(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-08
(54)【発明の名称】フィルタリングのための方法、装置及びデバイス
(51)【国際特許分類】
H04N 19/117 20140101AFI20240201BHJP
H04N 19/167 20140101ALI20240201BHJP
H04N 19/176 20140101ALI20240201BHJP
H04N 19/70 20140101ALI20240201BHJP
H04N 19/80 20140101ALI20240201BHJP
H04N 19/85 20140101ALI20240201BHJP
【FI】
H04N19/117
H04N19/167
H04N19/176
H04N19/70
H04N19/80
H04N19/85
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023547310
(86)(22)【出願日】2022-03-02
(85)【翻訳文提出日】2023-08-03
(86)【国際出願番号】 CN2022078876
(87)【国際公開番号】W WO2022184109
(87)【国際公開日】2022-09-09
(31)【優先権主張番号】202110247471.2
(32)【優先日】2021-03-05
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】508219313
【氏名又は名称】杭州海康威視数字技術股▲フン▼有限公司
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】潘 冬萍
(72)【発明者】
【氏名】▲孫▼ ▲ユ▼程
(72)【発明者】
【氏名】▲陳▼ 方▲棟▼
(72)【発明者】
【氏名】王 莉
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LA00
5C159MA04
5C159MA05
5C159PP16
5C159RC12
5C159TA69
5C159TB08
5C159TC33
5C159TC42
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
本発明はフィルタリング方法、装置及びデバイスを提供する。一例によれば、当該フィルタリング方法は、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定するステップと、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、第1のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行い、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、第2のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うステップと、を含む。ここで、前記第1のフィルタが7*7十字形+5*5正方形の中心対称フィルタであり、前記第2のフィルタが7*7十字形+3*3正方形の中心対称フィルタである。
【特許請求の範囲】
【請求項1】
符号化デバイス又は復号デバイスに適用されるフィルタリング方法であって、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定するステップと、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、第1のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行い、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、第2のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うステップと、を含み、
前記第1のフィルタが7*7十字形+5*5正方形の中心対称フィルタであり、前記第2のフィルタが7*7十字形+3*3正方形の中心対称フィルタである、
ことを特徴とするフィルタリング方法。
【請求項2】
現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対して適応的補正フィルタリングを行うプロセスにおいて、前記現在のフィルタリング画素のいずれかの参照画素について、
当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置する場合、当該参照画素の画素値を用いて適応的補正フィルタリングを行い、
当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置しない場合、
当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、前記現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、
当該参照画素の画素値を取得した場合に、当該参照画素の画素値を用いて適応的補正フィルタリングを行う、
ことを特徴とする請求項1に記載の方法。
【請求項3】
当該参照画素の画素値が取得できない場合は、
当該参照画素が現在の画像フレームの画像境界外に位置することと、
当該参照画素が現在のパッチのパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、
当該参照画素が前記現在の適応的補正フィルタリングユニットの上境界外に位置することと、
当該参照画素が前記現在の適応的補正フィルタリングユニットの下境界外に位置することと、の1つを含む、
ことを特徴とする請求項2に記載の方法。
【請求項4】
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行うことをさらに含む、
ことを特徴とする請求項2又は3に記載の方法。
【請求項5】
前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定するステップは、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットの値を決定するステップと、
前記フラグビットの値が第1の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、
前記フラグビットの値が第2の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定するステップと、を含む、
ことを特徴とする請求項1に記載の方法。
【請求項6】
前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットはEalfEnableFlagであり、
前記EalfEnableFlagの値は前記復号デバイスから導出され、又は前記復号デバイスにおいてビットストリームから前記EalfEnableFlagの値を取得し、又は前記EalfEnableFlagの値は定数値である、
ことを特徴とする請求項5に記載の方法。
【請求項7】
前記復号デバイスにおいてビットストリームから前記EalfEnableFlagの値を取得することは、
前記ビットストリームから解析して得られた拡張適応的補正フィルタリング許可フラグの値に基づいて、前記EalfEnableFlagの値を決定することを含み、
前記拡張適応的補正フィルタリング許可フラグはシーケンスレベルパラメータである、
ことを特徴とする請求項6に記載の方法。
【請求項8】
符号化デバイス又は復号デバイスに適用されるフィルタリング装置であって、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定するためのフィルタリングユニットを含み、
前記フィルタリングユニットはさらに、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、第1のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行い、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、第2のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うために用いられ、
前記第1のフィルタが7*7十字形+5*5正方形の中心対称フィルタであり、前記第2のフィルタが7*7十字形+3*3正方形の中心対称フィルタである、
ことを特徴とするフィルタリング装置。
【請求項9】
前記フィルタリングユニットはさらに、現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対して適応的補正フィルタリングを行うプロセスにおいて、前記現在のフィルタリング画素のいずれかの参照画素について、
当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置する場合、当該参照画素の画素値を用いて適応的補正フィルタリングを行い、
当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置しない場合、
当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、前記現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、
当該参照画素の画素値を取得した場合に、当該参照画素の画素値を用いて適応的補正フィルタリングを行うために用いられる、
ことを特徴とする請求項8に記載の装置。
【請求項10】
当該参照画素の画素値が取得できない場合は、
当該参照画素が現在の画像フレームの画像境界外に位置することと、
当該参照画素が現在のパッチのパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、
当該参照画素が前記現在の適応的補正フィルタリングユニットの上境界外に位置することと、
当該参照画素が前記現在の適応的補正フィルタリングユニットの下境界外に位置することと、の1つを含む、
ことを特徴とする請求項9に記載の装置。
【請求項11】
前記フィルタリングユニットはさらに、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行うために用いられる、
ことを特徴とする請求項9又は10に記載の装置。
【請求項12】
前記フィルタリングユニットが前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定することは、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットの値を決定し、
前記フラグビットの値が第1の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、
前記フラグビットの値が第2の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定することを含む、
ことを特徴とする請求項8に記載の装置。
【請求項13】
前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットはEalfEnableFlagであり、
前記EalfEnableFlagの値は前記復号デバイスから導出され、又は前記復号デバイスにおいてビットストリームから前記EalfEnableFlagの値を取得し、又は前記EalfEnableFlagの値は定数値である、
ことを特徴とする請求項12に記載の装置。
【請求項14】
前記復号デバイスにおいてビットストリームから前記EalfEnableFlagの値を取得することは、
前記ビットストリームから解析して得られた拡張適応的補正フィルタリング許可フラグの値に基づいて、前記EalfEnableFlagの値を決定することを含み、
前記拡張適応的補正フィルタリング許可フラグはシーケンスレベルパラメータである、
ことを特徴とする請求項13に記載の装置。
【請求項15】
プロセッサと、機械可読記憶媒体とを含み、前記機械可読記憶媒体には、前記プロセッサによって実行可能な機械実行可能命令が記憶されており、前記プロセッサは、請求項1~7のいずれか一項に記載のフィルタリング方法を実施するように、機械実行可能命令を実行するために用いられる、
ことを特徴とする復号デバイス。
【請求項16】
プロセッサと、機械可読記憶媒体とを含み、前記機械可読記憶媒体には、前記プロセッサによって実行可能な機械実行可能命令が記憶されており、前記プロセッサは、請求項1~7のいずれか一項に記載のフィルタリング方法を実施するように、機械実行可能命令を実行するために用いられる、
ことを特徴とする符号化デバイス。
【請求項17】
機械実行可能命令が記憶されている不揮発性記憶媒体であって、前記機械実行可能命令は、プロセッサによって実行されると、前記プロセッサに請求項1~7のいずれか一項に記載のフィルタリング方法を実施させる、
不揮発性記憶媒体。
【請求項18】
請求項8~14のいずれか一項に記載のフィルタリング装置を含むカメラデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ符号化/復号技術に関し、特にフィルタリングのための方法、装置及びデバイスに関する。
【背景技術】
【0002】
完全なビデオ符号化は、一般に、予測、変換、量子化、エントロピー符号化、フィルタリングなどの操作を含む。ブロックベースの動き補償の後に量子化操作があり、それによって符号化ノイズが発生し、ビデオ品質の歪みを引き起こす。一般に、ループ後処理技術は、このような歪みの影響を低減するために用いられ得る。しかしながら、実践により、従来のループ後処理技術のフィルタリング性能が悪いことが分かる。
【発明の概要】
【課題を解決するための手段】
【0003】
これに鑑みて、本発明はフィルタリング方法、装置及びデバイスを提供する。具体的には、本発明は以下の技術案によって実現される。
【0004】
本発明の実施例の第1の態様によれば、符号化/復号デバイスに適用されるフィルタリング方法を提供し、前記方法は、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定するステップと、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、第1のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うステップと、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、第2のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うステップと、を含む。ここで、前記第1のフィルタは7*7十字形+5*5正方形の中心対称フィルタであり、前記第2のフィルタは7*7十字形+3*3正方形の中心対称フィルタである。
【0005】
第1の態様と併せて、第1の可能な実現形態において、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定するステップは、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットの値を決定するステップと、前記フラグビットの値が第1の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、前記フラグビットの値が第2の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定するステップと、を含む。ここで、前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットはEalfEnableFlagであってもよく、前記EalfEnableFlagの値は前記復号デバイスから導出されてもよく、又は前記復号デバイスにおいてビットストリームから前記EalfEnableFlagの値を取得してもよく、又は前記EalfEnableFlagの値は定数値であってもよい。前記復号デバイスにおいてビットストリームから前記EalfEnableFlagの値を取得することは、前記ビットストリームから解析して得られた拡張適応的補正フィルタリング許可フラグの値に基づいて前記EalfEnableFlagの値を決定することを含み得、前記拡張適応的補正フィルタリング許可フラグはシーケンスレベルパラメータであってもよい。
【0006】
第1の態様と併せて、第2の可能な実現形態において、前記方法はさらに、現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対して適応的補正フィルタリングを行うプロセスにおいて、前記現在のフィルタリング画素のいずれかの参照画素について、当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置する場合、当該参照画素の画素値を用いて適応的補正フィルタリングを行い、当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置しない場合、当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、前記現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、当該参照画素の画素値を取得した場合に、当該参照画素の画素値を用いて適応的補正フィルタリングを行うことを含む。
【0007】
第1の態様の第2の可能な実現形態と併せて、第3の可能な実現形態において、当該参照画素の画素値が取得できない場合は、当該参照画素が、現在の画像フレームの画像境界外に位置することと、現在のパッチのパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、前記現在の適応的補正フィルタリングユニットの上境界外又は下境界外に位置することと、の1つを含む。
【0008】
第1の態様の第2の可能な実現形態又は第1の態様の第3の可能な実現形態と併せて、第4の可能な実現形態において、前記方法はさらに、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行うことを含む。
【0009】
本発明の実施例の第2の態様によれば、符号化/復号デバイスに適用されるフィルタリング装置を提供し、前記装置は、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定するためのフィルタリングユニットを含み、前記フィルタリングユニットはさらに、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、第1のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行い、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、第2のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うために用いられる。ここで、前記第1のフィルタが7*7十字形+5*5正方形の中心対称フィルタであり、前記第2のフィルタが7*7十字形+3*3正方形の中心対称フィルタである。
【0010】
第2の態様と併せて、第1の可能な実現形態では、前記フィルタリングユニットが前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定することは、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットの値を決定し、前記フラグビットの値が第1の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、前記フラグビットの値が第2の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定することを含む。ここで、前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットはEalfEnableFlagであってもよく、前記EalfEnableFlagの値は前記復号デバイスから導出されてもよく、又は前記復号デバイスにおいてビットストリームから前記EalfEnableFlagの値を取得してもよく、又は前記EalfEnableFlagの値は定数値であってもよい。前記復号デバイスにおいてビットストリームから前記EalfEnableFlagの値を取得することは、前記ビットストリームから解析して得られた拡張適応的補正フィルタリング許可フラグの値に基づいて前記EalfEnableFlagの値を決定することを含み得、前記拡張適応的補正フィルタリング許可フラグはシーケンスレベルパラメータであってもよい。
【0011】
第2の態様と併せて、第2の可能な実現形態では、前記フィルタリングユニットはさらに、現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対して適応的補正フィルタリングを行うプロセスにおいて、前記現在のフィルタリング画素のいずれかの参照画素について、当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置する場合、当該参照画素の画素値を用いて適応的補正フィルタリングを行い、当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置しない場合、当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、前記現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、当該参照画素の画素値を取得した場合に、当該参照画素の画素値を用いて適応的補正フィルタリングを行うために用いられる。
【0012】
第2の態様の第2の可能な実現形態と併せて、第3の可能な実現形態では、当該参照画素の画素値が取得できない場合は、当該参照画素が現在の画像フレームの画像境界外に位置することと、現在のパッチのパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、前記現在の適応的補正フィルタリングユニットの上境界外又は下境界外に位置することと、の1つを含む。
【0013】
第2の態様の第2の可能な実現形態又は第2の態様の第3の可能な実現形態と併せて、第4の可能な実現形態では、前記フィルタリングユニットはさらに、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行うために用いられる。
【0014】
本発明の実施例の第3の態様によれば、復号デバイスを提供し、プロセッサと、機械可読記憶媒体とを含み、前記機械可読記憶媒体には、前記プロセッサによって実行可能な機械実行可能命令が記憶されており、前記プロセッサは、上記第1の態様により提供されるフィルタリング方法を実施するように、機械実行可能命令を実行するために用いられる。
【0015】
本発明の実施例の第4の態様によれば、符号化デバイスを提供し、プロセッサと、機械可読記憶媒体とを含み、前記機械可読記憶媒体には、前記プロセッサによって実行可能な機械実行可能命令が記憶されており、前記プロセッサは、上記第1の態様により提供されるフィルタリング方法を実施するように、機械実行可能命令を実行するために用いられる。
【0016】
本発明の実施例のフィルタリングの方法は、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定し、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、第1のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行い、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、第2のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うことにより、フィルタ選択の柔軟性を向上させ、フィルタリング効果を最適化し、符号化/復号性能を向上させた。
【図面の簡単な説明】
【0017】
【
図1A】ビデオ符号化/復号を示すフローチャートである。
【
図1B】ビデオ符号化/復号を示すフローチャートである。
【
図4A】7*7十字形+5*5正方形の中心対称フィルタ形状を示す概略図である。
【
図4B】
図4Aに示されるフィルタに対応する参照画素を示す概略図である。
【
図4C】現在の適応的補正フィルタリングユニットに対してフィルタリングを行う参照画素位置を示す概略図である。
【
図5】本発明の例示的な実施例に係るサンプルフィルタリング補償ユニットを示す概略図である。
【
図6A】本発明の例示的な実施例に係るフィルタリング方法のフローチャートである。
【
図6B】本発明の例示的な実施例に係るフィルタリング方法のフローチャートである。
【
図7】本発明の例示的な実施例に係るフィルタリング方法のフローチャートである。
【
図8】本発明の例示的な実施例に係るフィルタリング方法のフローチャートである。
【
図9】7*7十字形+3*3正方形の中心対称フィルタ形状を示す概略図である。
【
図10】本発明の例示的な実施例に係る統合領域を示す概略図である。
【
図11A】本発明の例示的な実施例に係る複数の異なるフィルタ形状を示す概略図である。
【
図11B】本発明の例示的な実施例に係る複数の異なるフィルタ形状を示す概略図である。
【
図11C】本発明の例示的な実施例に係る複数の異なるフィルタ形状を示す概略図である。
【
図11D】本発明の例示的な実施例に係る複数の異なるフィルタ形状を示す概略図である。
【
図12】本発明の例示的な実施例に係る3*3画素ブロックを示す概略図である。
【
図13】本発明の例示的な実施例に係るフィルタリング係数が非対称なフィルタを示す概略図である。
【
図14A】本発明の例示的な実施例に係る参照画素位置を示す概略図である。
【
図14B】本発明の例示的な実施例に係るもう1つの参照画素位置を示す概略図である。
【
図15A】本発明の例示的な実施例に係る固定領域分割方法によって得られた複数の領域に対する二次分割を示す概略図である。
【
図15B】本発明の例示的な実施例に係る固定領域分割方法によって得られた複数の領域に対する二次分割を示す概略図である。
【
図15C】本発明の例示的な実施例に係る
図15Aにおける各二次分割方法に対応する領域番号を示す概略図である。
【
図16】本発明の例示的な実施例に係るフィルタリング装置の構造を示す概略図である。
【
図17】本発明の例示的な実施例に係るフィルタリング装置の構造を示す概略図である。
【
図18】本発明の例示的な実施例に係る復号デバイスのハードウェア構造を示す概略図である。
【
図19】本発明の例示的な実施例に係る符号化デバイスのハードウェア構造を示す概略図である。
【発明を実施するための形態】
【0018】
例示的な実施例をここで詳細に説明し、その例を添付の図面に示す。以下の説明が図面に言及する場合、特に明記しない限り、異なる図面の同じ番号は、同じ又は類似の要素を示す。以下の例示的な実施例に記載の実施形態は、本発明と一致する全ての実施形態を表すわけではない。逆に、それらは、添付の特許請求の範囲に詳述されているような、本発明のいくつかの態様と一致する装置及び方法の単なる例である。
【0019】
本発明で使用される用語は、特定の実施例を説明する目的のためだけであり、本発明を限定することを意図していない。本発明及び添付の特許請求の範囲で使用される単数形「一種」、「前記」及び「当該」は、文脈が明らかに他の意味を示さない限り、複数形も含むことを意図している。
【0020】
以下ではまず、本発明の実施例に係る技術用語と、既存のビデオ符号化/復号の主なフローと、ALFフィルタリング技術の実現について簡単に説明する。
一、技術用語
【0021】
1、レート歪み最適化(Rate-Distortion Optimized、RDOと略称する)原則:符号化効率を評価する指標は、ビットレートとピーク信号対雑音比(Peak Signal to Noise Ratio、PSNRと略称する)とを含む。ビットレートが小さいほど、圧縮率が大きくなり、PSNRが大きいほど、再構成画質がよくなる。モード選択の際には、判別式は実質的に両者の総合評価となる。
【0022】
モードに対応するコスト:J(mode)=D+λ*R。ここで、Dは歪み(Distortion)を表し、一般的にSSE(Sum of Squared Errors、残差平方和)指標を用いて測定され、SSEは再構成ブロックとソース画像ブロックとの残差平方和を指し、λはラグランジュ乗数であり、Rは当該モードで画像ブロックの符号化に必要な実際のビット数であり、符号化モード情報、動き情報、残差などに必要なビットの合計を含む。モードを選択する時、RDO原則を用いて符号化モードを比較決定すると、一般的に、符号化性能が最適であることを保証することができる。
【0023】
2、符号化ツリー(Coding Tree Unit、CTUと略称する):従来のビデオ符号化はいずれもマクロブロックに基づいて実現され、4:2:0サンプリングフォーマットのビデオに対し、1つのマクロブロックは1つの16×16サイズの輝度ブロック及び2つの8×8サイズの色度ブロックを含む。高精細ビデオ/超精細ビデオの自体特性を考慮し、汎用ビデオ符号化(Versatile Video Coding、VVCと略称する)にCTUを導入し、そのサイズはエンコーダに指定され、マクロブロックサイズより大きいことが許可される。同一位置の1つの輝度符号化ツリーブロック(Coding Tree Block、CTBと略称する)と2つの色度CTBとは、対応するシンタックス要素と共に、1つのCTUを構成する。VVCでは、1つのL×Lサイズの輝度CTBについて、L∈{8,16,32,64,128}である。
【0024】
輝度CTBの大きさは、{8×8,16×16,32×32,64×64,128×128}の範囲内で値をとる。
【0025】
色度CTBの大きさは、{4×4,8×8,16×16,32×32,64×64}の範囲内で値をとる。
【0026】
高解像度ビデオ符号化プロセスでは、より大きなCTBを用いると、より高い圧縮効果が得られる。
【0027】
3、デブロッキングフィルタリング(Deblocking Filter、DBFと略称する):画像符号化プロセスは異なるブロックに基づいて行われ、各ブロック内に相対的に独立した符号化が行われる。ブロック毎に異なるパラメータを用いるため、ブロック内の分布特性が互いに独立し、ブロックのエッジで不連続になり、これがブロック効果と呼ばれ得る。デブロッキングフィルタリングでは、主にブロック効果を除去するためにブロックの境界を平滑化する。
【0028】
4、サンプル適応補償(Sample Adaptive Offset、SAOと略称する):画素領域から着手し、再構成画像の特徴に基づいて、それを種別に分け、続いて画素領域で補償処理を行う。主にリンギングを低減するためである。
【0029】
5、適応的補正フィルタリング(Adaptive Leveling Filter、ALFと略称する):DBF及びSAOの後に適用され、主に客観的条件の下で、画質をさらに改善するためである。ALF技術では、参照画素の特徴に応じて最小2乗法に基づく重回帰モデルを構築し、画素領域に対してフィルタリング補正を行う。
【0030】
例示的に、ループ後処理技術は、DBF、SAO及びALFを含み得る。
【0031】
6、ウィーナーフィルタリング(wiener filtering):本質的には、推定誤差(所望の応答とフィルタの実際の出力との差として定義される)の2乗平均を最小化することである。
二、ビデオ符号化/復号の主なフロー
【0032】
図1Aを参照すると、ビデオ符号化を例として、ビデオ符号化は、一般に、予測、変換、量子化、エントロピー符号化などのプロセスを含む。さらに、符号化プロセスは、
図1Bのフレームに従って実現され得る。
【0033】
ここで、予測は、イントラ予測とインター予測とに分けられる。イントラ予測は、周辺の符号化済みブロックを参照として現在の未符号化ブロックを予測し、空間領域での冗長性を効果的に除去することである。インター予測は、隣接符号化済み画像を用いて現在の画像を予測し、時間領域での冗長性を効果的に除去することである。
【0034】
変換とは、画像を空間領域から変換領域に変換し、変換係数を用いて画像を表現することである。多くの画像は、多くの平坦領域とゆっくりと変化する領域を含み、適切な変換は、画像を空間領域における分散分布から変換領域における相対的に集中した分布に変換することができる。言い換えれば、変換により、信号間の周波数領域の相関を除去することができ、量子化プロセスと協働することでビットストリームを効果的に圧縮することができる。
【0035】
エントロピー符号化は、一連の要素記号を伝送又は記憶のためにバイナリビットストリームに変換する無損失符号化方式であり、入力された記号は、量子化後の変換係数、動きベクトル情報、予測モード情報、変換・量子化関連シンタックスなどを含み得る。エントロピー符号化は、ビデオ要素記号の冗長性を効果的に除去することができる。
【0036】
ビデオ復号は、ビデオ符号化のプロセスとは対照的であり、即ち、ビデオ復号は、一般に、エントロピー復号、予測、逆量子化、逆変換、フィルタリングなどのプロセスを含み、ビデオ復号における各プロセスの実現原理は、ビデオ符号化におけるプロセスと同じ又は類似している。
三、ALFフィルタリング技術の実現
【0037】
オーディオビデオ符号化規格(Audio Video coding Standard、AVSと略称する)のフレームの中で用いられるALF技術では、ウィーナーフィルタリングの原理に従って、二乗平均の意味で生信号及び歪み信号が達成可能な最適な線形フィルタリングを計算する。
【0038】
ALF符号化フローは、領域分割、参照画素取得、領域統合、フィルタリング係数計算、各LCUがフィルタリングを開始するか否かの意思決定を含み得る。プロセス全体において、計算して取得する必要があるパラメータには、1)フィルタリングパラメータの数、2)領域統合識別子、3)各グループのフィルタリング係数、4)LCUがフィルタリングを開始するか否かの識別子、5)現在の成分(Y,U,V)がフィルタリングを開始するか否かの識別子がある。
【0039】
以下、ALFフィルタリングの処理及び概念の一部について詳細に説明する。
1、領域分割
【0040】
ALFフローでは、取得した再構築ビデオデータについて、輝度成分のデータに対して領域分割処理を行い、色差成分のデータに対して非領域分割処理を行う。
【0041】
例示的に、領域分割の具体的な実現プロセスは、画像を、ほぼ同じ大きさである、LCUに基づいて整列された16個の領域に分割することであってもよい。非最右領域の幅は(((pic_width_InLcus+1)/4)×Lcu_Width)であり、ここで、pic_width_InLcusは画像の幅におけるLCUの個数を表し、Lcu_Widthは各LCUの幅を示す。最右領域の幅は、画像の幅と非最右の3つの領域の幅との差分(画像の幅から非最右の3つの領域の幅の合計を引く)である。
【0042】
同様に、非底部領域の高さは(((pic_height_InLcus+1)/4)×Lcu_Height)であり、ここで、pic_height_InLcusが画像の高さにおけるLCUの数を表し、Lcu_Heightが各LCUの高さを示す。最底部領域の高さは、画像の高さと非底部の3つの領域の高さとの差分(画像の高さから非底部の3つの領域の高さの合計を引く)である。
【0043】
画像全体の領域分割結果を得た後、各領域に1つのインデックス値を割り当てる例を
図2に示す。
2、領域統合
【0044】
領域統合とは、インデックス値の順に基づいて隣接領域を統合するか否かを判断することを指す。統合の目的は、符号化係数を減らすことである。現在領域が隣接領域と統合するか否かを示すための統合識別子を用いる必要がある。
【0045】
例えば、上記のように領域分割を行った後、合計16個の領域(16クラス又は16グループ(groups)と呼ばれてもよく、インデックス値は順に0~15である)を含み、1回目の統合に際しては、領域0と領域1、領域1と領域2、領域2と領域3、…、領域13と領域14、領域14と領域15、の順に統合を試み、誤差が最小となる統合方式で1回目の領域統合を行うことで、16個の領域が15個の領域に統合される。
【0046】
1回目の統合後の15個の領域(領域2と領域3が統合されたと仮定して領域2+3が得られる)については、領域0と領域1、領域1と領域2+3、領域2+3と領域4、…、領域13と領域14、領域14と領域15、の順に統合を試み、誤差が最小となる統合方式で2回目の領域統合を行うことで、15個の領域が14個の領域に統合される。
【0047】
2回目の統合後の14個の領域(領域14と領域15が統合されたと仮定して領域14+15が得られ、即ち、統合領域は領域2+3及び領域14+15を含む)については、領域0と領域1、領域1と領域2+3、領域2+3と領域4、…、領域12と領域13、領域13と領域14+15、の順に統合を試み、誤差が最小となる統合方式で3回目の領域統合を行うことで、14個の領域が13個の領域に統合される。
【0048】
このように類推し、1つの領域に統合するまで続け、その概略図は
図3に示すものであってもよい。
【0049】
上記の領域統合操作が完了した後、領域統合を行っていない場合(合計16個の領域)、領域統合を1回行った場合(合計15個の領域)、…、領域統合を14回行った場合(合計2個の領域)、領域統合を15回行った場合(合計1個の領域)の順に、フレーム画像全体に対してウィーナーフィルタリングを行う誤差を計算し、誤差が最小となる領域統合方式を最終的な領域統合方式として決定してもよい。
3、参照画素、フィルタリング係数
【0050】
上記方式に従って領域分割を行った後、各領域の各画素の参照画素を基に、ウィーナーフィルタリングの原理に従ってフィルタリング係数を計算してもよい。
【0051】
フィルタリングに係る全ての画素点については、各画素点をそれぞれ現在画素とし、当該画素点を中心とする一定範囲内で周辺画素点を参照画素とし、参照画素と現在画素を入力として、当該画素点の元の値を目標として最小二乗法によりフィルタリング係数を計算する。
【0052】
図4Aに示すのは、フィルタ形状の概略図である。
図4Aに示すように、7*7十字形+5*5正方形の中心対称フィルタ形状であり、当該フィルタに対応する参照画素は
図4Bに示すとおりである。
【0053】
図4Bに示すように、中心対称フィルタP0とP28のフィルタリング係数が同じであるため、符号化側でトレーニングを行うとき、(Pi+P28-i,i=0,…,13)を同一の特徴とし、P14を1つの特徴としてそれぞれ取得して入力し、15個のフィルタリング係数をトレーニングする。即ち、参照画素の選択は以下のとおりである。
E[i]=(Pi+P28-i)
E[14]=P14
【0054】
ここで、Piはフィルタリング前の再構成画像中の画素値に属し、E[i]は参照画素の値であり、i=0,1,2,3,4,5,6,7,8,9,10,11,12,13である。
【0055】
ウィーナーフィルタリングの目標は、現在画素の周辺の参照画素値に対する線形結合により、線形結合の結果を元の画像の現在画素値に近づけることである。
【0056】
ALF技術は、最大符号化ユニット(Largest Coding Unit、LCUと略称する)に基づいて処理を行う。同一の統合後の領域に属するLCUは、同一のグループのフィルタリング係数を用いてフィルタリングを行う。
4、適応的補正フィルタリングユニット
【0057】
図5に示すように、現在の最大符号化ユニットに基づいて以下のステップで適応的補正フィルタリングユニットを導出する。
【0058】
4.1、現在の最大符号化ユニットCが位置するサンプル領域の画像境界を越える部分を削除し、サンプル領域Dを得る。
【0059】
4.2、サンプル領域Dの下境界が位置するサンプルが画像の下境界に属しない場合、輝度成分及び色度成分のサンプル領域Dの下境界を上向きに4行縮小してサンプル領域E1を得、それ以外の場合、サンプル領域E1をサンプル領域Dに等しくようにし、サンプル領域Dの最終行のサンプルは、領域E1の下境界である。
【0060】
4.3、サンプル領域E1の上境界が位置するサンプルが画像の上境界に属する場合、又はパッチ境界に属し、且つcross_patch_loopfilter_enable_flagの値が「0」である場合、サンプル領域E2をサンプル領域E1に等しくようにし、それ以外の場合、輝度成分及び色度成分のサンプル領域E1の上境界を上向きに4行拡張してサンプル領域E2を得、サンプル領域E1の1行目のサンプルは、領域E2の上境界である。
【0061】
4.4、サンプル領域E2を現在の適応的補正フィルタリングユニットとし、画像の1行目のサンプルは、画像の上境界であり、画像の最終行のサンプルは、画像の下境界である。
5、適応的補正フィルタリング操作
【0062】
現在の適応的フィルタリングユニットに対してフィルタリングを行うと決定した場合、適応的補正フィルタリングプロセスに用いられる参照画素は適応的補正フィルタリングユニット内のサンプルである場合、当該サンプルを直接用いてフィルタリングを行う。
【0063】
適応的補正フィルタリングプロセスに用いられるサンプルが適応的補正フィルタリングユニット内のサンプルである場合、当該サンプルを直接用いてフィルタリングを行い、そうではない場合、以下の方法に従ってフィルタリングを行う。
【0064】
5.1、当該サンプルが画像境界外に位置する場合、又はパッチ境界外に位置し、且つcross_patch_loopfilter_enable_flagの値が「0」であり、即ち、パッチ境界を越えたフィルタリングが許可されない場合、当該サンプルの代わりに、適応的補正フィルタリングユニットにおける当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0065】
5.2、当該サンプルが適応的補正フィルタリングユニットの上境界外又は下境界外に位置する場合、当該サンプルの代わりに、適応的補正フィルタリングユニットにおける当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0066】
5.3、当該サンプルが適応的補正フィルタリングユニットの上境界外に位置せず、適応的補正フィルタリングユニットの下境界外にも位置しない場合、当該サンプルを直接用いてフィルタリングを行う。
6、ALFを開始するか否かの意思決定
【0067】
符号化デバイスについては、領域統合して各領域のフィルタリング係数を求めた後、意思決定が必要となり、即ち、LCUを基本単位として、現在の画像におけるLCU毎にALFを用いるか否かを判断する。
【0068】
符号化デバイスは、現在のLCUがALFを用いるか否かを決定するために、現在のLCUのオン及びオフの前後のレート歪みコストを計算してもよい。現在のLCUがALFを用いるとマーキングされている場合、LCU内の各画素に対してウィーナーフィルタリングを行う。
【0069】
関連技術において、ALF技術は、各領域に対して1グループの固定されたフィルタリング係数のみを伝達し、且つフィルタ形状は固定である。このため、固定的に分割された領域では、同じ特性の画素を同じクラスに分割することはできない、又は、用いるフィルタ形状が不適切である、などの問題が発生する可能性がある。また、分割された各領域は、最大で1グループのフィルタリング係数しか伝達できず、大きな領域やテクスチャが複雑な画像領域では1グループのフィルタリング係数は不十分である。
【0070】
ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、本発明の実施例は、以下の最適化手段を提出する。
【0071】
手段1、LCUを最小単位として、各フレームを複数の領域に適応的に分割し、各領域は、1つ以上のLCUを含み得、従って、各LCUを分類し、同一領域のLCUをN(Nは正の整数)個のクラスに分類することを提案する。例示的に、各領域内のLCUがすべて同一クラスに分割された場合、従来のALF手段の固定領域分割手段に対応する。従来のALF手段の固定領域分割方式と区別するために、N≧2とする。
【0072】
手段2、各領域において複数グループのフィルタリング係数を伝達してもよく、各グループのフィルタ形状は同じであっても異なってもよい。
【0073】
手段3、各LCUに基づいて1グループのフィルタリング係数を適応的に選択し、同一領域のLCUは隣接領域のフィルタリング係数を選択してもよい。
【0074】
手段4、各領域において1グループのフィルタリング係数しか伝達できないが、各領域のフィルタ形状が異なってもよい。
【0075】
手段5、対称フィルタを非対称フィルタに変更し、対称位置におけるフィルタリング係数が同じであることを、対称位置におけるフィルタリング係数が一定の比率関係、例えば0.5:1.5又は0.6:1.4などを満たすように最適化することを含む。
【0076】
手段6、フィルタリング時の境界のサンプル値に対して最適化を行う。
【0077】
本発明の実施例の上述の目的、特徴及び利点をより明確に分かりやすくするために、以下、添付の図面を合わせて本発明の実施例における技術案についてさらに詳細に説明する。
【0078】
以下、LCUのサイズで本発明の実施例により提供される手段を採用してALFフィルタリングを行うことを例とするが、本発明の実施例では、代わりに他のサイズ又は画像ブロックを表す方法を用いてもよく、例えばN*Mサイズの画像ブロックであり、Nは画像フレームの幅以下の正の整数であり、Mは画像フレームの高さ以下の正の整数である。
(実施例1)
【0079】
本発明の実施例は、復号デバイスに適用されるフィルタリング方法を提供し、ここで、当該フィルタリング方法は以下のステップを含む。
【0080】
T600において、現在の画像フレームの輝度成分に対して領域分割を行う。
【0081】
画像フレームの輝度成分に対する領域分割については、上記の「領域分割」に関する説明を参照されたい。
【0082】
T610において、ビットストリームから解析して得られたLCUの領域クラス識別子に基づいて、LCUの属する領域クラスを決定する。
【0083】
ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、固定領域分割方式で画像フレームの輝度成分に対して領域分割を行って複数の領域を得るとき、各領域については、領域内の各画素の画素特性に基づいて、領域内のLCUを少なくとも1つのクラスに分割し、即ち、1つの領域は、LCU分類の方式によって少なくとも1つのサブ領域又は領域クラスに分割されてもよい。いずれかのLCUについては、当該LCUの属する領域、及び当該LCUの属する領域おけるクラスに基づいて、その属する領域クラスを決定してもよい。例示的に、符号化デバイスが復号デバイスにビットストリームを送信するとき、各LCUの属する領域クラスを識別するための領域クラス識別子をビットストリームに付加して復号デバイスに送信してもよい。いずれかのLCUについて、復号デバイスはビットストリームから当該LCUの領域クラス識別子を解析し、解析して得られた当該LCUの領域クラス識別子に基づいて、当該LCUの属する領域クラスを決定してもよい。
【0084】
T620において、LCUの属する領域クラス及びビットストリームから解析して得られたフィルタリング係数に基づいて、LCUのフィルタリング係数を決定する。
【0085】
本発明の実施例では、上記した方式で各領域内のLCUを分類するとき、符号化デバイスは各領域クラスに対して領域統合を行い、少なくとも1つの統合後の領域(統合領域と呼ばれてもよい)を得、各統合領域のフィルタリング係数を決定する。各領域クラスに対して領域統合を行う実現方式は、上記の「領域統合」に関する説明と類似しているため、ここでは詳しい説明を省略する。
【0086】
例示的に、いずれかの領域クラスについて、符号化デバイスは、その属する統合領域に基づいて1つの係数インデックスを割り当ててもよく、当該係数インデックスはそのうちの1つの統合領域のフィルタリング係数に対応する。
【0087】
符号化デバイスは各統合領域のフィルタリング係数及び各領域クラスのインデックスをビットストリームに書き込み、復号デバイスに送信してもよい。
【0088】
例示的に、いずれかのLCUについて、復号デバイスは、当該LCUの属する領域クラスに基づいて、当該LCUの属する領域クラスの係数インデックスを決定し、当該係数インデックス、及びビットストリームから解析して得られたフィルタリング係数に基づいて、当該LCUのフィルタリング係数を決定してもよい。
【0089】
T630において、LCUのフィルタリング係数に基づいてLCUの画素に対して1つずつALFフィルタリングを行う。
【0090】
本発明の実施例では、いずれかのLCUについて、当該LCUのフィルタリング係数を決定すると、当該LCUのフィルタリング係数に基づいてLCUの画素に対して1つずつALFフィルタリングを行ってもよい。
【0091】
これから分かるように、固定領域分割方式で分割して得られた領域内のLCUを分類することにより、領域分割を各LCUの画素特性により合わせることで、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させることができる。
【0092】
一実施例では、T610において、ビットストリームから解析して得られたLCUの領域クラス識別子に基づいて、LCUの属する領域クラスを決定することは、LCUの属する領域、及びLCUの領域クラス識別子に基づいて、LCUの属する領域クラスを決定することを含む。
【0093】
例示的に、いずれかのLCUについては、当該LCUの属する領域(固定領域分割方式で得られた領域)、及び当該LCUの領域クラス識別子に基づいて、当該LCUの属する領域クラスを決定してもよい。
【0094】
一例では、LCUの領域クラス識別子はLCUの属する領域におけるLCUのクラスを識別するために用いられ、LCUの属する領域における当該LCUのクラスは、LCUの属する領域内の各LCUを分類することにより決定される。
【0095】
LCUの属する領域、及びLCUの領域クラス識別子に基づいて、LCUの属する領域クラスを決定することは、各領域のクラスの数、LCUの属する領域、及びLCUの領域クラス識別子に基づいて、LCUの属する領域クラスを決定することを含み得る。
【0096】
いずれかのLCUについては、復号デバイスはビットストリームから解析して得られた当該LCUの領域クラス識別子に基づいて、属する領域における当該LCUのクラスを決定してもよい。例を挙げて言うと、1つの領域内のLCUが最大で2クラスに分割されると仮定すると、第1のクラスに分割されたLCUについては、その領域クラス識別子は0であってもよく、第2のクラスに分割されたLCUについては、その領域クラス識別子は1であってもよい。
【0097】
いずれかの領域内のいずれかのLCUについては、ビットストリームから解析して得られた当該LCUの領域クラス識別子の値が0である場合、当該領域における当該LCUのクラスが第1のクラスであると決定してもよく、ビットストリームから解析して得られた当該LCUの領域クラス識別子の値が1である場合、当該領域における当該LCUのクラスが第2のクラスであると決定してもよい。
【0098】
例示的に、いずれかのLCUについて、復号デバイスは、各領域のクラス数、当該LCUの属する領域、及びLCUの属する領域クラスに基づいて、当該LCUの属する領域クラスを決定してもよい。
【0099】
一例として、各領域のクラス数、LCUの属する領域、及びLCUの領域クラス識別子に基づいてLCUの属する領域クラスを決定することは、LCUの属する領域の前の各領域のクラス数に基づいて、LCUの属する領域の前の各領域のクラスの合計数を決定することと、LCUの属する領域の前の各領域のクラスの合計数、及びLCUの領域クラス識別子に基づいて、LCUの属する領域クラスを決定することと、を含み得る。
【0100】
例示的に、いずれかのLCUについては、各領域のクラス数に基づいて、LCUの属する領域の前の各領域のクラスの合計数を決定し、当該LCUの属する領域の前の各領域のクラスの合計数及びLCUの領域クラス識別子に基づいて、LCUの属する領域クラスを決定してもよい。
【0101】
例を挙げて言うと、現在の画像フレームの輝度は全部L個の領域にそれぞれ分割され、各領域内のLCUはいずれもN個のクラスに分割されると仮定すると、領域K内のいずれかのLCUについては、ビットストリームから解析して得られた当該LCUの領域クラス識別子の値がmである場合、当該LCUの属する領域クラスがN*K+mであると決定してもよく、ここで、m∈[0,N-1]、N≧1、K∈[0,L-1]である。
【0102】
いくつかの実施例では、T620において、LCUの属する領域クラス及びビットストリームから解析して得られたフィルタリング係数に基づいて、LCUのフィルタリング係数を決定する前に、さらに、LCUに対してALFフィルタリングを開始するか否かを決定し、LCUに対してALFフィルタリングを開始すると決定した場合、LCUの属する領域クラス及びビットストリームから解析して得られたフィルタリング係数に基づいて、LCUのフィルタリング係数を決定する上記操作を実行すると決定することを含み得る。
【0103】
いずれかのLCUについて、符号化デバイスは、RDO決定に基づいて当該LCUに対してALFフィルタリングを開始するか否かを決定してもよい。
【0104】
復号デバイスは、LCUに対してALFフィルタリングを行う前に、当該LCUに対してALFフィルタリングを開始するか否かを先に決定してもよい。例えば、復号デバイスはビットストリームから解析して得られた、当該LCUに対してALFフィルタリングを開始するか否かを識別するための識別子に基づいて、当該LCUに対してALFフィルタリングを開始するか否かを決定してもよい。
【0105】
復号デバイスは、LCUに対してALFフィルタリングを開始すると決定した場合、上記実施例に記載の方式でLCUの属する領域クラス及びビットストリームから解析して得られたフィルタリング係数に基づいて、LCUのフィルタリング係数を決定してもよい。
【0106】
一例では、前記LCUに対してALFフィルタリングを開始するか否かを決定することは、ビットストリームからLCUのLCU係数識別子を解析することを含み、ここで、LCU係数識別子は、LCUの属する統合領域に用いられる少なくとも1グループのフィルタリング係数内の、LCUに用いられるフィルタリング係数を識別するために用いられ、LCUのLCU係数識別子の値が非第1の値である場合、LCUに対してALFフィルタリングを開始すると決定する。
【0107】
例示的に、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、1つの統合領域に用いられるフィルタリング係数は1グループのフィルタリング係数に限定されず、実際の状況に応じて1グループ又は複数グループのフィルタリング係数を選択して用いてもよい。
【0108】
例示的に、いずれかの統合領域について、符号化デバイスは複数グループのフィルタリング係数をトレーニングし、RDO決定に基づいて当該統合領域がそのうちの1グループ又は複数グループのフィルタリング係数を用いると決定する。当該領域のいずれかのLCUについて、符号化デバイスは、LCU係数識別子によって当該統合領域に用いられる1グループ又は複数グループのフィルタリング係数内の、当該LCUに用いられるフィルタリング係数を決定する。
【0109】
いずれかのLCUについては、当該LCUのLCU係数識別子の値が第1の値である場合、当該LCUに対してALFフィルタリングを開始しないことを示す。
【0110】
いずれかのLCUについては、復号デバイスによってビットストリームから解析して得られた当該LCUのLCU係数識別子の値が非第1の値である場合、当該LCUに対してALFフィルタリングを開始すると決定してもよい。
【0111】
例を挙げて言うと、第1の値が0であると仮定すると、いずれかのLCUについては、復号デバイスによってビットストリームから解析して得られた当該LCUのLCU係数識別子の値が0である場合、当該LCUに対してALFフィルタリングを開始しないと決定してもよく、復号デバイスによってビットストリームから解析して得られた当該LCUのLCU係数識別子の値が0ではない場合、当該LCUに対してALFフィルタリングを開始すると決定してもよく、当該LCUのLCU係数識別子に基づいて当該LCUに用いられるフィルタリング係数を決定してもよい。
【0112】
LCUのLCU係数識別子の値が非第1の値である場合、当該LCUの属する統合領域が1グループのフィルタリング係数を用いる場合、当該LCUのフィルタリング係数は当該グループのフィルタリング係数であり、当該LCUの属する統合領域が複数グループのフィルタリング係数を用いる場合、さらに当該LCUのLCU係数識別子の具体的な値に基づいて当該LCUのフィルタリング係数を決定する必要がある。
【0113】
一例では、LCUの属する領域クラス及びビットストリームから解析して得られたフィルタリング係数に基づいて、LCUのフィルタリング係数を決定することは、LCUの属する領域クラス、ビットストリームから解析して得られたフィルタリング係数、及びビットストリームから解析して得られたLCUの属する統合領域の領域係数識別子に基づいて、LCUのフィルタリング係数を決定することを含み得る。領域係数識別子は、予め設定された複数グループのフィルタリング係数内の、LCUの属する統合領域に用いられるフィルタリング係数を識別するために用いられる。
【0114】
例示的に、いずれかの統合領域について、符号化デバイスは複数グループのフィルタリング係数をトレーニングし、RDO決定に基づいて当該統合領域が当該複数グループのフィルタリング係数の1グループ又は複数グループを用いると決定し、当該統合領域に用いられるフィルタリング係数を識別するための領域係数識別子をビットストリームに書き込んでもよい。
【0115】
例示的に、いずれかの統合領域のいずれかのLCUについて、復号デバイスはビットストリームから解析して得られた当該統合領域の領域係数識別子に基づいて、当該統合領域に用いられるフィルタリング係数を決定してもよい。
【0116】
例を挙げて言うと、予め設定された複数グループのフィルタリング係数が2グループのフィルタリング係数(フィルタリング係数A及びフィルタリング係数Bであると仮定する)を含むと仮定すると、いずれかの統合領域について、符号化デバイスは当該統合領域がフィルタリング係数Aを用いると決定した場合、符号化デバイスは当該統合領域の領域係数識別子の値が0であると決定し、符号化デバイスは当該統合領域がフィルタリング係数Bを用いると決定した場合、符号化デバイスは当該統合領域の領域係数識別子の値が1であると決定し、符号化デバイスは当該統合領域がフィルタリング係数A及びフィルタリング係数Bを用いると決定した場合、符号化デバイスは当該統合領域の領域係数識別子の値が2であると決定する。
【0117】
いずれかの統合領域については、復号デバイスによってビットストリームから解析して得られた当該統合領域の領域係数識別子の値が0である場合、当該領域がフィルタリング係数Aを用いると決定し、復号デバイスによってビットストリームから解析して得られた当該統合領域の領域係数識別子の値が1である場合、当該統合領域がフィルタリング係数Bを用いると決定し、復号デバイスによってビットストリームから解析して得られた当該統合領域の領域係数識別子の値が2である場合、当該統合領域がフィルタリング係数A及びフィルタリング係数Bを用いると決定する。
【0118】
例示的に、いずれかの統合領域について、復号デバイスは、ビットストリームから解析して得られた当該統合領域の領域係数識別子に基づいて当該領域が1グループのフィルタリング係数を用いると決定した場合、当該統合領域のいずれかのLCUについては、当該LCUに対してALFフィルタリングを開始すると決定した場合、例えば、当該LCUのLCU係数識別子の値が非第1の値である場合、当該LCUに用いられるフィルタリング係数は当該統合領域に用いられるフィルタリング係数であると決定してもよく、復号デバイスは、ビットストリームから解析して得られた当該統合領域の領域係数識別子に基づいて当該領域が複数グループのフィルタリング係数を用いると決定した場合、当該LCUに対してALFフィルタリングを開始すると決定した場合、当該LCUのLCU係数識別子に基づいて、当該LCUに用いられるフィルタリング係数(当該統合領域に用いられる複数グループのフィルタリング係数のうちの1グループのフィルタリング係数)を決定してもよい。
【0119】
LCUの属する領域クラス、ビットストリームから解析して得られたフィルタリング係数、及びビットストリームから解析して得られたLCUの属する統合領域の領域係数識別子に基づいて、LCUのフィルタリング係数を決定することは、LCUの属する統合領域の領域係数識別子に基づいてLCUの属する統合領域が複数セットのフィルタリング係数を用いると決定した場合、LCUの属する領域クラス、ビットストリームから解析して得られたフィルタリング係数、及びLCUのLCU係数識別子に基づいて、LCUのフィルタリング係数を決定することを含み得る。
【0120】
いずれかのLCUについて、復号デバイスはビットストリームから解析して得られた当該LCUの領域クラス識別子に基づいて当該LCUの属する領域クラスを決定した場合、さらに当該LCUの属する領域クラスに基づいて当該LCUの属する統合領域を決定し、ビットストリームから解析して得られた当該領域クラスの属する統合領域の領域係数識別子に基づいて、当該領域クラスに用いられるフィルタリング係数を決定してもよい。
【0121】
例を挙げて言うと、固定領域分割方式で現在の画像フレームの輝度成分を16個の領域に分割した後、領域内のLCUを分類することによって合計32個の領域クラスを取得すると仮定すると、領域クラスを統合した後、領域クラスの統合状況に基づいてインデックステーブルを取得してもよく、当該インデックステーブルは、各要素が順に各領域クラスの属する統合領域のインデックスである32次元の1次元ベクトルであってもよい。
【0122】
当該32次元の1次元ベクトルが{a1,a2,a3,…,a32}であると仮定すると、a1は領域クラス0の属する統合領域のインデックスであり、…a32は領域クラス32の属する統合領域のインデックスである。a1~a5がいずれも0で、a6~a11がいずれも1であると仮定すると、領域クラス0~4が統合領域0に統合され、領域クラス5~10が統合領域1に統合されることが示される。
【0123】
符号化デバイスは、ビットストリームで上記インデックステーブルを復号デバイスに送信し、それにより、復号デバイスがビットストリームから解析して得られた当該インデックステーブルに基づいて、各領域クラスの属する統合領域を決定し、それにより、いずれかのLCUについては、当該LCUの領域クラス識別子に基づいて、当該LCUの属する領域クラスを決定し、当該LCUの属する領域クラスに基づいて当該LCUの属する統合領域を決定してもよい。
【0124】
復号デバイスはLCUの属する統合領域が複数グループのフィルタリング係数を用いると決定した場合、復号デバイスはビットストリームから解析して得られた当該LCUのLCU係数識別子に基づいて、当該LCUに用いられるフィルタリング係数を決定してもよい。
【0125】
いずれかの統合領域については、当該統合領域に用いられる複数グループのフィルタリング係数のフィルタ形状は全て同一であってもよく、全て同一でなくてもよい。例えば、統合領域1がフィルタリング係数A、フィルタリング係数B及びフィルタリング係数Cを用いると仮定すると、フィルタリング係数A、フィルタリング係数B及びフィルタリング係数Cのフィルタ形状は全て同じであってもよく、全て異なっていてもよく、又は一部が同じであってもよく、例えば、フィルタリング係数Aとフィルタリング係数Bのフィルタ形状が同じであるが、フィルタリング係数Aとフィルタリング係数Cのフィルタ形状が異なる。
【0126】
いくつかの実施例では、T620において、LCUの属する領域クラス及びビットストリームから解析して得られたフィルタリング係数に基づいて、LCUのフィルタリング係数を決定することは、LCUの属する領域クラス、ビットストリームから解析して得られたフィルタリング係数、及びLCUの係数選択識別子に基づいて、LCUのフィルタリング係数を決定することを含み得、ここで、係数選択識別子は、複数グループのフィルタリング係数候補のうち、LCUが選択して用いるフィルタリング係数を識別するために用いられる。
【0127】
ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、LCUは、その属する統合領域のフィルタリング係数を選択することに限定されず、複数グループのフィルタリング係数から1グループのフィルタリング係数を適応的に選択してALFフィルタリングを行ってもよい。
【0128】
例示的に、いずれかのLCUについて、当該LCUのフィルタリング係数候補は、その属する統合領域のフィルタリング係数及びその属する統合領域に隣接する統合領域のフィルタリング係数を含むがこれらに限定されず、それにより、各統合領域で1グループのフィルタリング係数を伝達する場合、1つのLCUに複数グループのフィルタリング係数候補が存在してもよく、それにより、LCUフィルタリング係数選択の柔軟性を高め、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させる。
【0129】
いずれかのLCUについて、符号化デバイスは、RDO決定に基づいて当該LCUが複数グループのフィルタリング係数において用いるフィルタリング係数を決定し、当該フィルタリング係数に対応する係数選択識別子をビットストリーム内に書き込んで復号デバイスに送信してもよい。復号デバイスはLCUの属する領域クラス、ビットストリームから解析して得られたフィルタリング係数、及びLCUの係数選択識別子に基づいて、LCUのフィルタリング係数を決定してもよい。
【0130】
一例では、LCUの属する領域クラス、ビットストリームから解析して得られたフィルタリング係数、及びLCUの係数選択識別子に基づいて、LCUのフィルタリング係数を決定することは、LCUの係数選択識別子の値が第1の値である場合、LCUの属する統合領域の1つ前の統合領域のフィルタリング係数をLCUのフィルタリング係数として決定することと、LCUの係数選択識別子の値が第2の値である場合、LCUの属する統合領域のフィルタリング係数をLCUのフィルタリング係数として決定することと、LCUの係数選択識別子の値が第3の値である場合、LCUの属する統合領域の1つ後の統合領域のフィルタリング係数をLCUのフィルタリング係数として決定することと、を含み得る。
【0131】
いずれかのLCUについて、そのフィルタリング係数候補は、その属する統合領域のフィルタリング係数、その属する統合領域の1つ前の統合領域のフィルタリング係数、及びその属する統合領域の1つ後の統合領域のフィルタリング係数を含み得る。例示的に、LCUの属する統合領域の1つ前の統合領域は、LCUの属する統合領域のインデックスの1つ前の隣接インデックスに対応する統合領域である。LCUの属する統合領域の1つ後の統合領域はLCUの属する統合領域のインデックスの1つ後の隣接インデックスに対応する統合領域である。
【0132】
例を挙げて言うと、LCUの属する統合領域が統合領域2で、その対応するインデックスが2であると仮定すると、当該LCUの属する統合領域の1つ前の統合領域は、インデックス2の1つ前の隣接インデックス(即ち1)に対応する統合領域(即ち統合領域1)であり、当該LCUの属する統合領域の1つ後の統合領域は、インデックス2の1つ後の隣接インデックス(即ち3)に対応する統合領域(即ち統合領域3)である。
【0133】
いずれかのLCUについて、符号化デバイスはRDO決定に基づいてそれに用いられるフィルタリング係数を決定してもよく、当該LCUに用いられるフィルタリング係数が当該LCUの属する統合領域の1つ前の統合領域のフィルタリング係数であると決定した場合、当該LCUの係数選択識別子の値が0などの第1の値であると決定してもよく、当該LCUに用いられるフィルタリング係数が当該LCUの属する統合領域のフィルタリング係数であると決定した場合、当該LCUの係数選択識別子の値が1などの第2の値であると決定してもよく、当該LCUに用いられるフィルタリング係数が当該LCUの属する統合領域の1つ後の統合領域のフィルタリング係数であると決定した場合、当該LCUの係数選択識別子の値が2などの第3の値であると決定してもよい。
【0134】
例示的に、いずれかのLCUについては、復号デバイスによってビットストリームから解析して得られた当該LCUの係数選択識別子の値が第1の値である場合、当該LCUの属する統合領域の1つ前の統合領域のフィルタリング係数を当該LCUのフィルタリング係数として決定してもよく、ビットストリームから解析して得られた当該LCUの係数選択識別子の値が第2の値である場合、当該LCUの属する統合領域のフィルタリング係数を当該LCUのフィルタリング係数として決定してもよく、ビットストリームから解析して得られた当該LCUの係数選択識別子の値が第3の値である場合、当該LCUの属する統合領域の1つ後の統合領域のフィルタリング係数を当該LCUのフィルタリング係数として決定してもよい。
【0135】
ビットストリームからフィルタリング係数を解析することは、いずれかの統合領域について、ビットストリームから当該統合領域のフィルタ形状を解析することと、当該フィルタ形状に基づいて、ビットストリームから当該統合領域のフィルタリング係数を解析することと、を含み得る。
【0136】
例示的に、フィルタリング係数の柔軟性を高め、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、各統合領域は、同一フィルタ形状を用いることに限定されず、異なるフィルタ形状を選択的に用い、即ち、異なる統合領域に用いられるフィルタ形状は同じであっても異なってもよい。
【0137】
例示的に、いずれかの統合領域について、符号化デバイスは異なるフィルタ形状の複数グループのフィルタリング係数をトレーニングし、RDO決定に基づいて当該統合領域に用いられるフィルタ形状及びフィルタリング係数を決定し、当該フィルタ形状及びフィルタリング係数をビットストリームに書き込んで復号デバイスに送信してもよい。
【0138】
例示的に、いずれかの統合領域について、復号デバイスは当該統合領域のフィルタリング係数を取得するとき、ビットストリームから当該統合領域のフィルタ形状を解析し、当該フィルタ形状に基づいて、ビットストリームから当該領域クラスのフィルタリング係数を解析してもよい。
【0139】
一例では、LCUの属する領域クラス及びビットストリームから解析して得られたフィルタリング係数に基づいて、LCUのフィルタリング係数を決定することは、LCUの属する領域クラス、及びビットストリームから解析して得られたフィルタ形状及びフィルタリング係数に基づいて、LCUのフィルタ形状及びフィルタリング係数を決定することを含み得る。
【0140】
LCUのフィルタリング係数に基づいてLCUの画素に対して1つずつALFフィルタリングを行うことは、当該LCUのフィルタ形状及びフィルタリング係数に基づいてLCUの画素に対して1つずつALFフィルタリングを行うことを含み得る。例示的に、いずれかのLCUについては、当該LCUの属する領域クラスに基づいて、当該LCUの属する統合領域を決定し、ビットストリームから当該統合領域のフィルタ形状及びフィルタリング係数を解析し、当該フィルタ形状及びフィルタリング係数を当該LCUのフィルタ形状及びフィルタリング係数として決定し、当該フィルタ形状及びフィルタリング係数に基づいてLCUの画素に対して1つずつALFフィルタリングを行ってもよい。
【0141】
本発明の実施例では、画像フレームに対してフィルタ形状を選択し、又は画像フレームの成分(例えば輝度成分及び/又は色度成分)に対してフィルタ形状を選択してもよい。例えば、画像フレームAが
図4Aに示す7*7十字形+5*5正方形の中心対称フィルタ形状を選択する場合、画像フレームAにおけるALFフィルタリングを開始する各LCUはいずれも7*7十字形+5*5正方形の中心対称フィルタ形状を用いる。
【0142】
いくつかの実施例では、T630において、LCUのフィルタリング係数に基づいてLCUの画素に対して1つずつALFフィルタリングを行うことは、LCUのフィルタリング係数及びビットストリームから解析して得られたLCUの属する統合領域に対応する各参照画素位置の重み係数に基づいて、LCUの画素に対して1つずつALFフィルタリングを行うことを含み得る。
【0143】
例示的に、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、ALFフィルタリングを行うときに用いられるフィルタは、対称フィルタに限定されず、非対称フィルタを採用してもよく、即ち、対称位置のフィルタリング係数が異なり、0.5:1.5又は0.6:1.4など、一定の比率関係を満たしてもよい。
【0144】
決定されたフィルタリング係数に基づいてALFフィルタリングを行うとき、いずれかの非中心位置のフィルタリング係数については、当該フィルタリング係数及び当該フィルタリング係数の対称位置のフィルタリング係数と、それぞれの対応位置の参照画素との積の和に基づいて、フィルタリング後の画素値を得る必要があるため、上記比率は、対称位置のフィルタリング係数同士の比率としてもよく、又は、対称位置のフィルタリング係数に対応する参照画素の画素値がALFフィルタリング計算に参与するときの重みの比率(重み比率とも呼ばれる)としてもよく、即ち、上記非対称フィルタとは、対称位置のフィルタリング係数が異なり、又は、対称位置のフィルタリング係数に対応する参照画素の画素値がALFフィルタリング計算に参与するときの重みが異なることを意味する。
【0145】
例を挙げて言うと、7*7十字形+5*5正方形の中心対称フィルタ形状のフィルタリング係数がC
iであり、その対称位置のフィルタリング係数がC
28-iであり、従ってC
i:C
28-i=A
i:(2-A
i)、又は、P
i及びP
28-iがALFフィルタリング計算に参与するときの重みの比率がA
i:(2-A
i)であり、P
iがC
iに対応する参照画素位置の画素値であり、P
28-iがC
28-iに対応する参照画素位置の画素値であり、LCUの現在のフィルタリング画素について、当該画素のフィルタリング後の画素値は以下の方式で決定されてもよい。
【数1】
【0146】
CiがLCUの属する統合領域のフィルタリング係数における(i+1)番目のフィルタリング係数であり、Piがフィルタリング係数Ciに対応する参照画素位置の画素値であり、P28-iに対応する参照画素位置とPiに対応する参照画素位置とは現在のフィルタリング画素の画素位置に対して中心対称であり、AiがPiに対応する参照画素位置の画素値の重み係数であり、P14が現在のフィルタリング画素の画素値であり、C14が現在のフィルタリング画素のフィルタリング係数であり、0<Ai<2である。
【0147】
例示的に、いずれかの統合領域について、符号化デバイスは、各位置が異なる重み係数に対応する下で、当該統合領域のフィルタリング係数及びフィルタリング性能を決定してもよい。フィルタリング性能の最適な1グループのフィルタリング係数を選択し、当該フィルタリング係数及び対応するフィルタの各位置に対応する重み係数を記録し、それをビットストリームに書き込んで復号デバイスに送信する。
【0148】
例示的に、重み係数セット(例えば、上記Aiの値セット)を予め構築し、当該セットから各重み係数をそれぞれ選択し、フィルタリング性能の最適なフィルタリング係数、及び対応するフィルタの各位置に対応する重み係数を得、当該重み係数の重み係数セットにおけるインデックスをビットストリームに書き込んで復号デバイスに送信してもよい。
【0149】
いずれかのLCUについて、復号デバイスはビットストリームから当該LCUの属する統合領域のフィルタリング係数及び当該LCUの属する統合領域に対応する各参照画素位置の重み係数を解析し、LCUの画素に対して1つずつALFフィルタリングを行ってもよい。
【0150】
いくつかの実施例では、T630において、LCUのフィルタリング係数に基づいてLCUの画素に対して1つずつALFフィルタリングを行うことは、LCUの現在のフィルタリング画素について、当該画素に対してALFフィルタリングを行うプロセスにおいて、当該画素の周辺画素の画素値に基づいて当該画素の画素値を更新することと、当該画素の更新後の画素値に基づいて、当該画素に対してALFフィルタリングを行うことと、を含み得る。
【0151】
例示的に、いずれかの画素位置については、当該画素位置の画素値が大きすぎたり小さすぎたりする場合、従来のALF技術に従って当該画素位置に対してフィルタリングを行うフィルタリング性能の低下を考慮すると、ALFフィルタリング効果を最適化するために、現在のフィルタリング画素について、当該画素に対してALFフィルタリングを行うプロセスにおいて、当該画素位置の画素値を周辺画素の画素値に対してより滑らかにするために、当該画素の周辺画素の画素値に基づいて当該画素の画素値を更新してもよい。
【0152】
一例では、当該画素の周辺画素の画素値に対して当該画素の画素値を更新することは、ターゲット画素ブロックにおける中心位置を除いた各画素の画素値の最大値及び最小値を決定し、ここで、ターゲット画素ブロックは当該画素を中心位置とする3*3画素ブロックであることと、当該画素の画素値が最大値より大きい場合、当該画素の画素値を最大値に更新することと、当該画素の画素値が最小値より小さい場合、当該画素の画素値を最小値に更新することと、を含み得る。
【0153】
画素の周辺画素が当該画素の8つの隣接画素を例として、即ち、当該画素を中心位置とする3*3画素ブロック(本明細書でターゲット画素ブロックと呼ばれる)から中心位置を除いた他の画素である。
【0154】
いずれかのLCUのうちのいずれかの画素については、ターゲット画素ブロックにおける中心位置を除いた各画素の画素値を決定し、各画素値内の最大値及び最小値を決定してもよい。当該画素の画素値が最大値より大きい場合、当該画素の画素値を最大値に更新し、当該画素の画素値が最小値より小さい場合、当該画素の画素値を最小値に更新する。
【0155】
図12に示す3*3画素ブロックを例として、現在のフィルタリング画素が画素0であり、その周辺画素が当該画素の8つの隣接画素、即ち画素1~画素8を含み、画素0に対してフィルタリングを行うとき、画素1~画素8の画素値をそれぞれ取得し、当該8つの画素の画素値のうちの最大値及び最小値を決定してもよい。画素1の画素値が最大で、画素8の画素値が最小であると仮定すると、当該8つの画素の画素値のうちの最大値は画素1の画素値(p1と仮定する)であり、最小値は画素8の画素値(p8と仮定する)であり、従って画素0の画素値(p0と仮定する)とp1及びp8とを比較し、p0>p1である場合、画素0の画素値をp1に更新し、p0<p8である場合、画素0の画素値をp8に更新する。
(実施例2)
【0156】
図6Aに示すのは、本発明の実施例により提供されるフィルタリング方法のフローチャートであり、ここで、当該フィルタリング方法は符号化/復号デバイスに適用されてもよく、
図6Aに示すように、当該フィルタリング方法は以下のステップを含み得る。
【0157】
ステップS600aにおいて、現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対してALFフィルタリングを行うプロセスにおいて、現在のフィルタリング画素のいずれかの参照画素については、当該参照画素が現在の適応的補正フィルタリングユニット内に位置しない場合、ステップS610aに移行する。
【0158】
ステップS610aにおいて、当該参照画素の画素値を取得できるか否かを決定し、そうである場合、ステップS630aに移行し、そうではない場合、ステップS620aに移行する。
【0159】
ステップS620aにおいて、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット及び境界領域のうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行う。
【0160】
ステップS630aにおいて、当該参照画素を用いてフィルタリングを行う。
【0161】
フィルタリングユニットはLCU、又はLCUに基づいて得られた画像ブロックであってもよく、例えば、LCUに対してクリッピング又は拡張することによって得られた画像ブロックであってもよい。
【0162】
LCUに基づいてフィルタリングユニットを得る実現については、上記の「適応的補正フィルタリングユニット」の関連説明を参照されたい。
【0163】
本発明の実施例では、フィルタリングユニットの境界画素について、当該境界画素の一部の参照画素が当該フィルタリングユニットの外に位置し、即ち当該フィルタリングユニット内に位置しない可能性があることを考慮すると、この場合、当該一部の参照画素の画素値が取得できない可能性がある。
【0164】
一例では、参照画素の画素値が取得できない場合は、当該参照画素が画像境界外に位置することと、パッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、現在の適応的補正フィルタリングユニットの上境界外又は下境界外に位置することと、の1つを含むが、これらに限定されない。
【0165】
例示的に、いずれかの画素位置については、当該画素から最も近い他の画素位置は、一般的に、画素値が当該画素位置の画素値に最も近い画素位置でもあることを考慮すると、ALFフィルタリング効果を最適化するために、参照画素の画素値が取得できない場合については、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット及び境界領域のうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行ってもよい。
【0166】
例示的に、画素位置の間の距離はユークリッド距離であってもよい。
【0167】
例示的に、境界領域は現在の適応的補正フィルタリングユニットの左境界外又は右境界外を含み、現在の適応的補正フィルタリングユニットの左境界外は現在の適応的補正フィルタリングユニットの左側に隣接するフィルタリングユニットのうちの一部又は全ての領域を含み、現在の適応的補正フィルタリングユニットの右境界外は現在の適応的補正フィルタリングユニットの右側に隣接するフィルタリングユニットのうちの一部又は全ての領域を含む。
【0168】
図5に示すフィルタリングユニット(即ち
図5におけるサンプルフィルタリング補償ユニット)を現在の適応的補正フィルタリングユニットとすることを例として、現在の適応的補正フィルタリングユニットの境界領域は
図5に示すサンプルフィルタリング補償ユニットの左境界の左側の3列の画素(即ち現在の適応的補正フィルタリングユニットの左側のフィルタリングユニットのうち、現在の適応的補正フィルタリングユニットに近接する3列の画素であり、左境界外と呼ばれてもよい)を含み得、現在の適応的補正フィルタリングユニットの境界領域は
図5に示すサンプルフィルタリング補償ユニットの右境界の右側の3列の画素(即ち現在の適応的補正フィルタリングユニット右側のフィルタリングユニットのうち、現在の適応的補正フィルタリングユニットに近接する3列の画素であり、右境界外と呼ばれてもよい)。
【0169】
図6Aに示す方法フローでは、現在の適応的補正フィルタリングユニットにおける各画素に対してALFフィルタリングを行うプロセスにおいて、現在の適応的補正フィルタリングユニット内に位置しない参照画素位置については、当該参照画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット及び境界領域のうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行い、ALFフィルタリング性能を最適化し、符号化/復号性能を向上させる。
【0170】
いくつかの実施例では、当該参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット及び境界領域のうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行う前に、さらに、当該参照画素がフィルタ形状の指定位置に対応しているか否かを決定することと、そうである場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット及び境界領域のうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行う操作を実行すると決定することと、を含み得る。
【0171】
ある特定の位置にある参照画素を考慮すると、当該参照画素の画素値が取得できない場合に、一般的には、境界領域内の当該位置から最も近い画素位置の画素値も取得できない。例えば、現在のフィルタリング画素位置の真左側、真右側、真上又は真下に位置する参照画素などである。
【0172】
例を挙げて言うと、現在のフィルタリング画素位置(即ちC14に対応する画素位置)が現在の適応的補正フィルタリングユニットの左境界に位置すると仮定すると、C11に対応する参照画素位置については、当該参照画素位置が現在のフィルタリング画素位置の左側に位置し、且つ現在のフィルタリング画素位置からの距離は3画素であるが、1つのフィルタリングユニットの幅は一般的には3画素より大きいため、C11に対応する参照画素位置の画素値が取得できない場合、現在の適応的補正フィルタリングユニットの左側のフィルタリングユニットは現在の画像フレーム(即ち現在の適応的補正フィルタリングユニットの位置する画像フレーム)の境界外に位置すること、又は、現在のパッチ(即ち現在の適応的補正フィルタリングユニットの位置するパッチ(patch))のパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないと決定してもよく、この場合、境界領域のうち、当該参照画素位置からの距離が最も近い画素位置、即ち、C12に対応する画素位置の画素値も取得できず、このとき、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素位置(C11に対応する参照画素位置)から最も近い画素でフィルタリングを行う必要がある。
【0173】
図14Aに示すシナリオを例として、C11に対応する参照画素位置の画素値が取得できない場合、C12に対応する参照画素位置も取得できない。
【0174】
また、現在のフィルタリング画素位置の左上、右上、左下又は右下に位置する参照画素については、その画素値が取得できない場合、その原因が現在の適応的補正フィルタリングユニットの上境界外又は下境界外(現在の適応的補正フィルタリングユニットの上境界外又は下境界外の画素位置の画素値が取得できない)に位置するかもしれず、この場合、当該参照画素位置からの距離が最も近い画素位置は現在の適応的補正フィルタリングユニットの左境界外又は右境界外に位置する可能性があり、その画素値が取得できる可能性がある。
【0175】
例を挙げて言うと、現在のフィルタリング画素位置(即ちC14に対応する画素位置)が現在の適応的補正フィルタリングユニットの左上に位置すると仮定すると、C1に対応する参照画素位置については、当該参照画素位置が現在のフィルタリング画素位置の左上に位置するため、現在のフィルタリング画素位置が現在の適応的補正フィルタリングユニットの左上頂点に比較的近い場合、C1に対応する参照画素位置は現在の適応的補正フィルタリングユニットの上境界外に位置する可能性があり、従って、当該参照画素位置の画素値が取得できず、この場合では、C6に対応する画素位置は現在の適応的補正フィルタリングユニットの左境界外に位置する可能性があり、その画素値が取得できる可能性がある。
【0176】
図14Bに示すシナリオを例として、C1に対応する参照画素位置は現在の適応的補正フィルタリングユニットの上境界外に位置するため、従って、C1に対応する参照画素位置の画素値が取得できないが、C6に対応する参照画素位置は現在の適応的補正フィルタリングユニットの左境界外に位置し、現在の適応的補正フィルタリングユニットの左境界外の画素値が取得でき、例えば現在の適応的補正フィルタリングユニットの左境界は画像境界又はパッチ境界ではない場合、C6に対応する参照画素位置の画素値が取得でき、従って、当該場合では、画素値が取得できない参照画素位置については、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット又は境界領域のうち、距離の最も近い画素位置の画素値を用いてフィルタリングを行ってもよい。
【0177】
ALFフィルタリング効果を最適化するために、フィルタ形状の指定位置に位置する参照画素については、当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット及び境界領域のうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行ってもよい。
【0178】
例示的に、当該参照画素がフィルタ形状の指定位置に対応しない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行ってもよく、即ち、境界領域内の画素を考慮しない。
【0179】
一例では、指定位置は第1のフィルタにおける第1の位置と、第2の位置と、第3の位置と、第1の位置、第2の位置及び第3の位置の対称位置と、を含み得るが、これらに限定されず、ここで、第1のフィルタが7*7十字形+5*5正方形の中心対称フィルタであり、第1の位置が第1のフィルタの左上隅位置であり、第2の位置が第1の位置の右側隣接位置であり、第3の位置が第1の位置の下方隣接位置であり、対称位置は軸対称位置及び中心対称位置を含む。
【0180】
例を挙げて言うと、
図4Aに示す第1のフィルタについては、第1の位置がC1位置であり、その軸対称位置がC5位置であり、第2の位置がC2位置であり、その軸対称位置がC4位置であり、第3の位置がC6位置であり、その軸対称位置がC10位置であり、即ち上記指定位置はC1、C2、C6、C4、C5及びC10を含み得る。
【0181】
いくつかの実施例では、当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット及び境界領域のうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行う前に、さらに、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定することと、そうである場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット及び境界領域のうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行う操作を実行すると決定することと、を含み得る。
【0182】
例示的に、拡張適応的補正フィルタリング(enhanced ALF)の使用が許容される場合と、拡張適応的補正フィルタリングの使用が許容されない場合とでは、通常、用いるフィルタが異なると考えられる。
【0183】
例示的に、拡張適応的補正フィルタリングの使用が許容される場合で用いられるフィルタは
図4Aに示すものであってもよいが、拡張適応的補正フィルタリングの使用が許容されない場合で用いられるフィルタは
図9に示すものであってもよい。
【0184】
図9に示すフィルタについては、参照画素の画素値が取得できない場合、一般的に、現在の適応的補正フィルタリングユニット以外の当該参照画素位置から最も近い画素位置の画素値も取得できず、従って、拡張適応的補正フィルタリングの使用が許容されない場合、当該画素値が取得できない参照画素の代わりに、境界領域内の画素を用いてフィルタリングを行うことを考慮せず、当該画素値が取得できない参照画素の代わりに、現在の適応的補正フィルタリングユニット内の画素を用いてフィルタリングを行うことを考慮してもよい。従って、いずれかの参照画素については、当該参照画素の画素値が取得できない場合に、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定してもよい。例示的に、EalfEnableFlagの値に基づいて現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定してもよく、EalfEnableFlagが1である場合、拡張適応的補正フィルタリングを用いることができると示し、EalfEnableFlagが0である場合、拡張適応的補正フィルタリングを用いるべきでないと示す。
【0185】
例示的に、EalfEnableFlagの値は復号側から導出されてもよく、又は復号側でビットストリームから取得されてもよく、EalfEnableFlagの値は定数値であってもよい。例示的に、ビットストリームから解析して得られた拡張適応的補正フィルタリング許可フラグ(ealf_enable_flag)の値に基づいてEalfEnableFlagの値を決定してもよい。
【0186】
「拡張適応的補正フィルタリング許可フラグ」はシーケンスレベルパラメータであってもよく、即ち、1つの「拡張適応的補正フィルタリング許可フラグ」の値は、1つの画像シーケンスが拡張適応的補正フィルタリングの使用を許可するか否かを示すために用いられてもよい。例示的に、復号デバイスは現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行ってもよい。
【0187】
例示的に、復号デバイスは現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、境界領域のうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行ってもよい。
【0188】
例示的に、復号デバイスは現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット及び境界領域のうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行ってもよい。
【0189】
例示的に、復号デバイスは現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行ってもよく、即ち、境界領域内の画素を考慮しない。
【0190】
図6Bに示すのは、本発明の実施例により提供されるフィルタリング方法のフローチャートであり、ここで、フィルタリング方法は符号化/復号デバイスに適用されてもよく、
図6Bに示すように、当該フィルタリング方法は以下のステップを含み得る。
【0191】
ステップS600bにおいて、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定する。そうである場合、ステップS610bに移行し、そうではない場合、ステップS620bに移行する。
【0192】
ステップS610bにおいて、第1のフィルタを用いて現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行う。
【0193】
ステップS620bにおいて、第2のフィルタを用いて現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行う。
【0194】
本発明の実施例では、フィルタ選択の柔軟性を高め、フィルタリング性能を最適化し、符号化/復号性能を向上させるために、適応的補正フィルタリングユニットは、拡張適応的補正フィルタリングの使用を許可する場合と、拡張適応的補正フィルタリングの使用を許可しない場合とは、用いられるフィルタが異なってもよい。例示的に、復号デバイスは現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うために用いられるフィルタは、第1のフィルタであってもよい。例えば、当該第1のフィルタは
図4Aに示されるフィルタであってもよい。
【0195】
例示的に、復号デバイスは現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うために用いられるフィルタは、第2のフィルタであってもよい。例えば、当該第2のフィルタは
図9に示されるフィルタであってもよい。
【0196】
いくつかの実施例では、ステップS600bで、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定することは、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットの値を決定することと、当該フラグビットの値が第1の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定することと、当該フラグビットの値が第2の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定することと、を含み得る。
【0197】
フラグビットによって現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示してもよい。例示的に、当該フラグビットの値が第1の値(例えば0)である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可することを示す。当該フラグビットの値が第2の値(例えば1)である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないことを示す。
【0198】
例示的に、復号デバイスは当該フラグビットの値を取得し、当該フラグビットの値に基づいて現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定してもよい。
【0199】
現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対して適応的補正フィルタリングを行うプロセスにおいて、現在のフィルタリング画素のいずれかの参照画素について、当該参照画素が現在の適応的補正フィルタリングユニット内に位置しない場合、当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、当該参照画素の画素値を取得した場合に、当該参照画素の画素値を用いて適応的補正フィルタリングを行う。例示的に、フィルタリングユニットの境界画素については、その参照画素における一部の参照画素が当該フィルタリングユニットの外に位置し、即ち当該フィルタリングユニット内に位置しない可能性があることを考慮すると、この場合、当該一部の参照画素の画素値が取得できない可能性がある。
【0200】
一例では、参照画素の画素値が取得できない場合は、当該参照画素が現在の画像フレームの画像境界外に位置することと、現在のパッチのパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、現在の適応的補正フィルタリングユニットの上境界外又は下境界外に位置することと、の1つを含むが、これらに限定されない。
【0201】
例示的に、いずれかの画素位置については、当該画素から最も近い他の画素位置は、一般的に、画素値が当該画素位置の画素値に最も近い画素位置でもあることを考慮すると、従って、フィルタリング効果を最適化するために、参照画素の画素値が取得できない場合については、当該参照画素の代わりに、現在の適応的補正フィルタリングユニット及び境界領域のうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行ってもよい。
【0202】
例示的に、画素位置の間の距離はユークリッド距離であってもよい。
【0203】
例示的に、境界領域は現在の適応的補正フィルタリングユニットの左境界外又は右境界外を含み、現在の適応的補正フィルタリングユニットの左境界外は現在の適応的補正フィルタリングユニットの左側に隣接するフィルタリングユニットのうちの一部又は全ての領域を含み、現在の適応的補正フィルタリングユニットの右境界外は現在の適応的補正フィルタリングユニットの右側に隣接するフィルタリングユニットのうちの一部又は全ての領域を含む。
【0204】
例示的に、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行う。
(実施例3)
【0205】
本発明の実施例は、復号デバイスに適用されるフィルタリング方法を提供し、ここで、当該フィルタリング方法は以下のステップを含み得る。
【0206】
T700において、現在の画像フレームの現在のLCUに対してALFフィルタリングを開始すると決定した場合、現在のLCUの属する統合領域の領域係数識別子を取得する。
【0207】
T710において、現在のLCUの属する統合領域の領域係数識別子に基づいて、現在のLCUのフィルタリング係数を取得し、領域係数識別子は、予め設定された複数グループのフィルタリング係数内の、LCUの属する統合領域に用いられるフィルタリング係数を識別するために用いられる。
【0208】
本発明の実施例では、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、1つの統合領域に用いられるフィルタリング係数は1グループのフィルタリング係数に限定されず、実際の状況に応じて1グループ又は複数グループのフィルタリング係数を選択して用いてもよい。
【0209】
例示的に、いずれかの統合領域について、符号化デバイスは、複数グループのフィルタリング係数をトレーニングし、RDO決定に基づいて当該統合領域が当該複数グループのフィルタリング係数のうちの1グループ又は複数グループを用いると決定し、当該統合領域に用いられるフィルタリング係数を識別するための領域係数識別子をビットストリームに書き込んでもよい。
【0210】
例示的に、復号デバイスは、現在の画像フレームの現在のLCUに対してALFフィルタリングを開始すると決定した場合、復号デバイスは、ビットストリームから解析して得られた情報から現在のLCUの属する統合領域の領域係数識別子を取得し、当該領域係数識別子に基づいて、現在のLCUの属する統合領域に用いられるフィルタリング係数を決定してもよい。
【0211】
現在のLCUの属する統合領域に用いられるフィルタリング係数が決定された場合、当該統合領域に用いられるフィルタリング係数から、現在のLCUのフィルタリング係数を決定してもよい。
【0212】
例示的に、現在のLCUの属する統合領域が1グループのフィルタリング係数を用いる場合、当該統合領域に用いられるフィルタリング係数を現在のLCUのフィルタリング係数として決定してもよい。
【0213】
T720において、現在のLCUのフィルタリング係数に基づいて現在のLCUの画素に対して1つずつALFフィルタリングを行う。
【0214】
本発明の実施例では、現在のLCUのフィルタリング係数が決定された場合、現在のLCUのフィルタリング係数に基づいて現在のLCUの画素に対して1つずつALFフィルタリングを行ってもよい。
【0215】
実施例3に記載の方法フローでは、各領域に複数グループのフィルタリング係数をトレーニングし、RDO決定に基づいて各統合領域がトレーニングされた複数グループのフィルタリング係数のうちの1グループ又は複数グループを用いると決定し、領域係数識別子によって決定結果を復号デバイスに通知することによって、1つの領域は1グループのフィルタリング係数を用いることに限定されず、性能に応じて1グループ又は複数グループのフィルタリング係数を選択してもよく、ALFフィルタリング性能を最適化し、符号化/復号性能を向上させた。
【0216】
いくつかの実施例では、T700において、現在の画像フレームの現在のLCUに対してALFフィルタリングを開始すると決定することは、ビットストリームから現在のLCUのLCU係数識別子を解析することを含み、ここで、当該LCU係数識別子は、現在のLCUの属する統合領域に用いられる少なくとも1グループのフィルタリング係数のうち、現在のLCUに用いられるフィルタリング係数を識別するために用いられ、LCUのLCU係数識別子の値が非第1の値である場合、現在のLCUに対してALFフィルタリングを開始すると決定する。
【0217】
例示的に、符号化デバイスは、領域係数識別子によって統合領域が1グループ又は複数グループのフィルタリング係数を用いることを復号デバイスに通知してもよい。当該統合領域のいずれかのLCUについては、符号化デバイスはLCU係数識別子によって当該統合領域に用いられる1グループ又は複数グループのフィルタリング係数のうち、当該LCUに用いられるフィルタリング係数を識別してもよい。
【0218】
例示的に、いずれかのLCUについては、復号デバイスはビットストリームから解析して得られた当該LCUのLCU係数識別子に基づいて、当該LCUに対してALFフィルタリングを開始するか否か、及び当該LCUに対してALFフィルタリングを開始するフィルタリング係数を決定してもよい。
【0219】
例示的に、いずれかのLCUについては、当該LCUのLCU係数識別子の値が第1の値である場合、当該LCUに対してALFフィルタリングを開始しないことを示す。
【0220】
いずれかのLCUについては、復号デバイスによってビットストリームから解析して得られた当該LCUのLCU係数識別子の値が非第1の値である場合、当該LCUに対してALFフィルタリングを開始すると決定してもよい。
【0221】
例を挙げて言うと、第1の値が0であると仮定すると、いずれかのLCUについては、復号デバイスによってビットストリームから解析して得られた当該LCUのLCU係数識別子の値が0である場合、当該LCUに対してALFフィルタリングを開始しないと決定してもよく、復号デバイスによってビットストリームから解析して得られた当該LCUのLCU係数識別子の値が0ではない場合、当該LCUに対してALFフィルタリングを開始すると決定してもよく、復号デバイスは、当該LCUのLCU係数識別子に基づいて当該LCUに用いられるフィルタリング係数を決定してもよい。
【0222】
LCUのLCU係数識別子の値が非第1の値である場合、当該LCUの属する統合領域が1グループのフィルタリング係数を用いる場合、当該LCUのフィルタリング係数は当該グループのフィルタリング係数であり、当該LCUの属する統合領域が複数グループのフィルタリング係数を用いる場合、さらに当該LCUのLCU係数識別子の具体的な値に基づいて当該LCUのフィルタリング係数を決定する必要がある。
【0223】
一例では、T710において、現在のLCUの属する統合領域の領域係数識別子に基づいて、現在のLCUのフィルタリング係数を取得することは、現在のLCUの属する統合領域の領域係数識別子に基づいてLCUの属する統合領域が複数グループのフィルタリング係数を用いると決定した場合、現在のLCUのLCU係数識別子に基づいて、LCUの属する統合領域に用いられる複数グループのフィルタリング係数から現在のLCUのフィルタリング係数を決定することを含み得る。
【0224】
いずれかのLCUについては、復号デバイスは、LCUの属する統合領域が複数グループのフィルタリング係数を用いると決定した場合、復号デバイスは、ビットストリームから解析して得られた当該LCUのLCU係数識別子に基づいて、当該LCUに用いられるフィルタリング係数を決定してもよい。いずれかの統合領域については、当該統合領域に用いられる複数グループのフィルタリング係数のフィルタ形状は全て同一であってもよく、全て同一でなくてもよい。
(実施例4)
【0225】
本発明の実施例は、復号デバイスに適用されるフィルタリング方法を提供し、ここで、当該フィルタリング方法は以下のステップを含み得る。
【0226】
T800において、現在の画像フレームの現在のLCUに対してALFフィルタリングを開始すると決定した場合、前記現在のLCUの係数選択識別子を取得する。
【0227】
T810において、現在のLCUの属する統合領域及び現在のLCUの係数選択識別子に基づいて、現在のLCUのフィルタリング係数を決定し、ここで、当該係数選択識別子は、現在のLCUが複数グループのフィルタリング係数候補から選択して用いるフィルタリング係数を識別するために用いられる。
【0228】
本発明の実施例では、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、LCUは、その属する統合領域のフィルタリング係数を選択することに限定されず、複数グループのフィルタリング係数から1グループのフィルタリング係数を適応的に選択してALFフィルタリングを行ってもよい。
【0229】
いずれかのLCUについて、当該LCUのフィルタリング係数候補は、その属する統合領域のフィルタリング係数及びその属する統合領域に隣接する領域のフィルタリング係数を含むがこれらに限定されず、それにより、各領域で1グループのフィルタリング係数を伝達する場合、1つのLCUに複数グループのフィルタリング係数候補が存在してもよく、それにより、LCUフィルタリング係数選択の柔軟性を高め、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させる。
【0230】
いずれかのLCUについて、符号化デバイスはRDO決定に基づいて当該LCUが複数グループのフィルタリング係数において用いるフィルタリング係数を決定し、当該フィルタリング係数に対応する係数選択識別子をビットストリーム内に書き込んで復号デバイスに送信してもよい。復号デバイスは現在のLCUの属する統合領域、及びビットストリームから解析して得られた現在のLCUの係数選択識別子に基づいて、現在のLCUのフィルタリング係数を決定してもよい。
【0231】
T820において、現在のLCUのフィルタリング係数に基づいて現在のLCUの画素に対して1つずつALFフィルタリングを行う。
【0232】
本発明の実施例では、復号デバイスは、現在のLCUのフィルタリング係数を決定した場合、現在のLCUのフィルタリング係数に基づいて現在のLCUの画素に対して1つずつALFフィルタリングを行ってもよい。
【0233】
実施例に記載の方法フローでは、各LCUに複数グループのフィルタリング係数を設定し、RDO決定に基づいて各LCUに用いられるフィルタリング係数を決定し、係数選択識別子によって決定結果を復号デバイスに通知することによって、各LCUに用いられるフィルタリング係数の柔軟性を高め、ALFフィルタリング性能を最適化し、符号化/復号性能を向上させることができる。
【0234】
いくつかの実施例では、T810において、LCUの属する統合領域及びLCUの係数選択識別子に基づいて、LCUのフィルタリング係数を決定することは、現在のLCUの係数選択識別子の値が第1の値である場合、現在のLCUの属する統合領域の1つ前の統合領域のフィルタリング係数を現在のLCUのフィルタリング係数として決定することと、現在のLCUの係数選択識別子の値が第2の値である場合、現在のLCUの属する統合領域のフィルタリング係数を現在のLCUのフィルタリング係数として決定することと、現在のLCUの係数選択識別子の値が第3の値である場合、現在のLCUの属する統合領域の1つ後の統合領域のフィルタリング係数を現在のLCUのフィルタリング係数として決定することと、を含み得る。
【0235】
例示的に、いずれかの統合領域内のいずれかのLCUについては、当該LCUのフィルタリング係数候補は、当該統合領域のフィルタリング係数、当該統合領域の1つ前の統合領域のフィルタリング係数、及び当該統合領域の1つ後の統合領域のフィルタリング係数を含み得る。
【0236】
例示的に、LCUの属する統合領域の1つ前の統合領域は、LCUの属する統合領域のインデックスの1つ前の隣接インデックスに対応する統合領域である。LCUの属する統合領域の1つ後の統合領域はLCUの属する統合領域のインデックスの1つ後の隣接インデックスに対応する統合領域である。
【0237】
固定領域分割方式で得られた16個の領域に対して領域統合を行って得られた統合領域(統合領域0~統合領域15の順であると仮定する)について、統合領域15の1つ後の統合領域は統合領域0であってもよく、統合領域0の1つ前の統合領域は領域15であってもよい。
【0238】
例示的に、いずれかのLCUについて、符号化デバイスはRDO決定に基づいてそれに用いられるフィルタリング係数を決定してもよく、当該LCUに用いられるフィルタリング係数が当該LCUの属する統合領域の1つ前の統合領域のフィルタリング係数であると決定した場合、当該LCUの係数選択識別子の値が0などの第1の値であると決定してもよく、当該LCUに用いられるフィルタリング係数が当該LCUの属する統合領域のフィルタリング係数であると決定した場合、当該LCUの係数選択識別子の値が1などの第2の値であると決定してもよく、当該LCUに用いられるフィルタリング係数が当該LCUの属する統合領域の1つ後の統合領域のフィルタリング係数であると決定した場合、当該LCUの係数選択識別子の値が2などの第3の値であると決定してもよい。
【0239】
例示的に、いずれかのLCUについては、復号デバイスによってビットストリームから解析して得られた当該LCUの係数選択識別子の値が第1の値である場合、当該LCUの属する統合領域の1つ前の統合領域のフィルタリング係数を当該LCUのフィルタリング係数として決定してもよく、ビットストリームから解析して得られた当該LCUの係数選択識別子の値が第2の値である場合、当該LCUの属する統合領域のフィルタリング係数を当該LCUのフィルタリング係数として決定してもよく、ビットストリームから解析して得られた当該LCUの係数選択識別子の値が第3の値である場合、当該LCUの属する統合領域の1つ後の統合領域のフィルタリング係数を当該LCUのフィルタリング係数として決定してもよい。
【0240】
これから分かるように、LCUの属する統合領域、当該LCUの属する統合領域の1つ前の統合領域及び1つ後の統合領域のフィルタリング係数をいずれもLCUのフィルタリング係数候補とし、RDO決定に基づいて1グループのフィルタリング係数を当該LCUのフィルタリング係数として選択することにより、1つの統合領域で1グループのフィルタリング係数のみをトレーニングしても、統合領域内のLCUには複数グループのフィルタリング係数があるようにし、1つの統合領域に対して複数グループのフィルタリング係数をトレーニングする必要がなく、LCUのフィルタリング係数の柔軟性を高め、それによりALFフィルタリング性能を最適化し、符号化/復号性能を向上させた。
(実施例5)
【0241】
図7に示すのは、本発明の実施例により提供されるフィルタリング方法のフローチャートであり、ここで、当該フィルタリング方法は復号デバイスに適用されてもよく、
図7に示すように、当該フィルタリング方法は以下のステップを含み得る。
【0242】
ステップS700において、現在の画像フレームの現在のLCUに対してALFフィルタリングを開始すると決定した場合、現在のLCUの属する統合領域に基づいて、現在のLCUの属する統合領域のフィルタ形状を取得する。
【0243】
ステップS710において、フィルタ形状に基づいて、現在のLCUの属する統合領域のフィルタリング係数を取得する。
【0244】
本発明の実施例では、フィルタリング係数の柔軟性を高め、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、各領域は、同一のフィルタ形状を用いることに限定されず、異なるフィルタ形状を選択的に用い、即ち、異なる統合領域に用いられるフィルタ形状は同じであっても異なってもよい。
【0245】
例示的に、いずれかの統合領域について、符号化デバイスは異なるフィルタ形状の複数グループのフィルタリング係数をトレーニングし、RDO決定に基づいて当該統合領域に用いられるフィルタ形状及びフィルタリング係数を決定し、当該フィルタ形状及びフィルタリング係数をビットストリームに書き込んで復号デバイスに送信してもよい。
【0246】
例示的に、いずれかの統合領域について、復号デバイスは当該統合領域のフィルタリング係数を取得するとき、ビットストリームから当該統合領域のフィルタ形状を解析し、当該フィルタ形状に基づいて、ビットストリームから当該統合領域のフィルタリング係数を解析してもよい。
【0247】
ステップS720において、フィルタ形状及びフィルタリング係数に基づいて現在のLCUの画素に対して1つずつALFフィルタリングを行う。
【0248】
本発明の実施例では、復号デバイスは、現在のLCUのフィルタリング係数を決定した場合、現在のLCUのフィルタリング係数に基づいて現在のLCUの画素に対して1つずつALFフィルタリングを行ってもよい。
【0249】
これから分かるように、
図7に示す方法フローでは、各領域に複数グループの異なるフィルタ形状のフィルタリング係数をトレーニングし、RDO決定に基づいて各統合領域に用いられるフィルタ形状及びフィルタリング係数を決定し、決定結果をビットストリームで復号デバイスに通知することにより、復号デバイスはビットストリームから各領域のフィルタ形状及びフィルタリング係数を解析して得ることができ、それにより、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させることができる。
【0250】
本発明の実施例では、画像フレームに対してフィルタ形状を選択し、又は画像フレームの成分(例えば輝度成分及び/又は色度成分)に対してフィルタ形状を選択してもよい。例えば、画像フレームAが7*7十字形+5*5正方形の中心対称フィルタ形状を選択する場合、画像フレームAにおけるALFフィルタリングを開始する各LCUはいずれも7*7十字形+5*5正方形の中心対称フィルタ形状を用いる。
(実施例6)
【0251】
図8に示すのは、本発明の実施例により提供されるフィルタリング方法のフローチャートであり、ここで、当該フィルタリング方法は復号デバイスに適用されてもよく、
図8に示すように、当該フィルタリング方法は以下のステップを含み得る。
【0252】
ステップS800において、現在の画像フレームの現在のLCUに対してALFフィルタリングを開始すると決定した場合、現在のLCUの属する統合領域に基づいて、現在のLCUの属する統合領域のフィルタリング係数及び各参照画素位置の重み係数を取得する。
【0253】
ステップS810において、フィルタリング係数及び各参照画素位置の重み係数に基づいて、現在のLCUの画素に対して1つずつALFフィルタリングを行う。
【0254】
本発明の実施例では、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、ALFフィルタリングを行うときに用いられるフィルタは、対称フィルタに限定されず、非対称フィルタを採用してもよく、即ち、対称位置のフィルタリング係数が異なり、0.5:1.5又は0.6:1.4など、一定の比率関係を満たしてもよい。
【0255】
決定されたフィルタリング係数に基づいてALFフィルタリングを行うとき、いずれかの非中心位置のフィルタリング係数については、当該フィルタリング係数及び当該フィルタリング係数の対称位置のフィルタリング係数と、それぞれの対応位置の参照画素との積の和に基づいて、フィルタリング後の画素値を得る必要があるため、上記比率は、対称位置のフィルタリング係数同士の比率としてもよく、又は、対称位置のフィルタリング係数に対応する参照画素の画素値がALFフィルタリング計算に参与するときの重みの比率(重み比率とも呼ばれる)としてもよく、即ち、上記非対称フィルタとは、対称位置のフィルタリング係数が異なり、又は、対称位置のフィルタリング係数に対応する参照画素の画素値の重みが異なることを意味する。
【0256】
例を挙げて言うと、7*7十字形+5*5正方形の中心対称フィルタ形状のフィルタリング係数がC
iであり、その対称位置のフィルタリング係数がC
28-iであり、従ってC
i:C
28-i=A
i:(2-A
i)、又は、P
i及びP
28-iがALFフィルタリング計算に参与するときの重みの比率がA
i:(2-A
i)であり、P
iがC
iに対応する参照画素位置の画素値であり、P
28-iがC
28-iに対応する参照画素位置の画素値であり、LCUの現在のフィルタリング画素について、当該画素のフィルタリング後の画素値は以下の方式で決定されてもよい。
【数2】
【0257】
CiがLCUの属する統合領域のフィルタリング係数における(i+1)番目のフィルタリング係数であり、Piがフィルタリング係数Ciに対応する参照画素位置の画素値であり、P28-iに対応する参照画素位置とPiに対応する参照画素位置とは現在のフィルタリング画素の画素位置に対して中心対称であり、AiがPiに対応する参照画素位置の画素値の重み係数であり、P14が現在のフィルタリング画素の画素値であり、C14が現在のフィルタリング画素のフィルタリング係数であり、0<Ai<2である。
【0258】
本発明の実施例では、いずれかの統合領域について、符号化デバイスは、各位置が異なる重み係数に対応する下で、当該統合領域のフィルタリング係数及びフィルタリング性能を決定してもよい。フィルタリング性能の最適な1グループのフィルタリング係数を選択し、当該フィルタリング係数及び対応するフィルタの各位置に対応する重み係数を記録し、それをビットストリームに書き込んで復号デバイスに送信する。
【0259】
例示的に、重み係数セット(例えば、上記Aiの値セット)を予め構築し、当該セットから各重み係数をそれぞれ選択し、フィルタリング性能の最適なフィルタリング係数、及び対応するフィルタの各位置に対応する重み係数を得、当該重み係数の重み係数セットにおけるインデックスをビットストリームに書き込んで復号デバイスに送信してもよい。
【0260】
いずれかのLCUについて、復号デバイスはビットストリームから当該LCUの属する統合領域のフィルタリング係数及び当該LCUの属する統合領域に対応する各参照画素位置の重み係数を解析し、LCUの画素に対して1つずつALFフィルタリングを行ってもよい。
【0261】
図8に示す方法フローでは、各統合領域に用いられるフィルタは対称フィルタに限定されず、対称位置の参照画素のフィルタリング係数は同じに限定されず、一定の比率関係を満たしてもよく、且つ対称位置のフィルタリング係数同士は当該比率関係を満たし、必要なフィルタリング係数の数は増やすことはないため、フィルタリング係数の柔軟性を高め、ALFフィルタリング性能を最適化し、符号化/復号性能を向上させた。
(実施例7)
【0262】
本発明の実施例は、符号化デバイスに適用されるフィルタリング方法を提供し、当該フィルタリング方法は以下のステップを含み得る。
【0263】
T100において、現在の画像フレームの輝度成分に対して領域分割を行う。
【0264】
画像フレームの輝度成分の領域分割については、上記の「領域分割」に関する説明を参照されたい。
【0265】
T110において、いずれかの領域については、当該領域内の各LCUに対して分類し、且つ各LCUのクラスに基づいて当該領域を複数の領域クラスに分割する。
【0266】
本発明の実施例では、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、固定領域分割方式で画像フレームの輝度成分に対して領域分割を行って複数の領域を得るとき、各領域については、領域内の各画素の画素特性に基づいて、領域内のLCUを少なくとも1つのクラスに分割し、即ち、1つの領域は、LCU分類の方式によって少なくとも1つのサブ領域又は領域クラスに分割されてもよい。
【0267】
T120において、各領域クラスに対して領域統合を行い、各統合後の領域のフィルタリング係数を決定する。
【0268】
T130において、各統合後の領域のフィルタリング係数及び各LCUの領域クラス識別子をビットストリームに書き込む。
【0269】
本発明の実施例では、符号化デバイスは上記したように各領域内のLCUを分類した場合、符号化デバイスは各領域クラスに対して領域統合を行い、少なくとも1つの統合後の領域を得、各統合後の領域のフィルタリング係数を決定する。
【0270】
各領域クラスに対して領域統合を行う実現方式は、上記の「領域統合」の部分の関連説明と類似しているため、ここでは詳しい説明を省略する。
【0271】
例示的に、いずれかの領域クラスについて、符号化デバイスは、その属する統合後の領域に基づいて1つの係数インデックスを割り当ててもよく、当該係数インデックスはそのうちの1つの統合後の領域のフィルタリング係数に対応する。
【0272】
本発明の実施例では、符号化デバイスは各統合後の領域のフィルタリング係数、各領域クラスのインデックス及び各LCUの属する領域クラスを識別するための領域クラス識別子をビットストリームに書き込み、復号デバイスに送信してもよい。
【0273】
復号デバイスの処理フローは上記実施例における関連説明を参照してもよく、ここでは詳しい説明を省略する。
(実施例8)
【0274】
本発明の実施例は、符号化デバイスに適用されるフィルタリング方法を提供し、当該フィルタリング方法は以下のステップを含み得る。
【0275】
T200において、現在の画像フレームのいずれかの統合領域について、RDO決定に基づいて当該統合領域に用いられるフィルタリング係数を決定する。
【0276】
T210において、当該領域に用いられるフィルタリング係数に基づいて当該統合領域の領域係数識別子を決定し、ここで、当該領域係数識別子は、予め設定された複数グループのフィルタリング係数内の、当該統合領域に用いられるフィルタリング係数を識別するために用いられる。
【0277】
T220において、各統合領域に用いられるフィルタリング係数及び各統合領域の領域係数識別子をビットストリームに書き込む。
【0278】
本発明の実施例では、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、1つの統合領域に用いられるフィルタリング係数は1グループのフィルタリング係数に限定されず、実際の状況に応じて1グループ又は複数グループのフィルタリング係数を選択して用いてもよい。
【0279】
いずれかの統合領域について、符号化デバイスは複数グループのフィルタリング係数をトレーニングし、RDO決定に基づいて当該統合領域が当該複数グループのフィルタリング係数のうちの1グループ又は複数グループを用いると決定し、当該統合領域に用いられるフィルタリング係数を識別するための領域係数識別子をビットストリームに書き込んでもよい。
【0280】
復号デバイスの処理フローは上記実施例における関連説明を参照してもよく、ここでは詳しい説明を省略する。
【0281】
上記フィルタリング方法はさらに、現在の画像フレームのいずれかの統合領域について、当該統合領域に用いられるフィルタリング係数が複数グループを含む場合、当該統合領域内の各LCUに用いられるフィルタリング係数に基づいて、各LCUのLCU係数識別子を決定することと、各LCUのLCU係数識別子をビットストリームに書き込むことと、を含み得る。
【0282】
例示的に、符号化デバイスは、領域係数識別子によって統合領域が1グループ又は複数グループのフィルタリング係数を用いることを復号デバイスに通知してもよい。当該統合領域のいずれかのLCUについて、符号化デバイスはLCU係数識別子によって当該統合領域に用いられる1グループ又は複数グループのフィルタリング係数内の、当該LCUに用いられるフィルタリング係数を識別してもよい。
【0283】
いずれかの統合領域について、符号化デバイスは当該統合領域が複数グループのフィルタリング係数を用いると決定した場合、当該統合領域のいずれかのLCUについて、符号化デバイスはLCU係数識別子によって当該複数グループのフィルタリング係数内の、当該LCUに用いられるフィルタリング係数を復号デバイスに通知してもよい。
【0284】
いずれかのLCUについては、当該LCUに対してALFフィルタリングを開始しない場合、符号化デバイスによってビットストリームに書き込む可能な当該LCUのLCU係数識別子の値が第1の値である。例を挙げて言うと、第1の値が0であると仮定すると、いずれかのLCUについて、符号化デバイスは当該LCUに対してALFフィルタリングを開始しないと決定した場合、ビットストリームに書き込まれる当該LCUのLCU係数識別子の値が0である。
(実施例9)
【0285】
本発明の実施例は、符号化デバイスに適用されるフィルタリング方法を提供し、当該フィルタリング方法は以下のステップを含み得る。
【0286】
T300において、現在の画像フレームのいずれかの統合領域について、RDO決定に基づいて複数グループのフィルタリング係数から当該統合領域に用いられるフィルタリング係数を決定する。
【0287】
T310において、当該領域に用いられるフィルタリング係数に基づいて、当該統合領域内の各LCUの係数選択識別子を決定し、ここで、当該係数選択識別子は、各LCUが複数グループのフィルタリング係数から選択して用いるフィルタリング係数を識別するために用いられる。
【0288】
T320において、各統合領域に用いられるフィルタリング係数及び各LCUの係数選択識別子をビットストリームに書き込む。
【0289】
本発明の実施例では、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、LCUは、その属する統合領域のフィルタリング係数を選択することに限定されず、複数グループのフィルタリング係数から1グループのフィルタリング係数を適応的に選択してALFフィルタリングを行ってもよい。
【0290】
例示的に、いずれかのLCUについて、当該LCUのフィルタリング係数候補は、その属する統合領域のフィルタリング係数及びその属する統合領域に隣接する領域のフィルタリング係数を含むがこれらに限定されず、それにより、各領域で1グループのフィルタリング係数を伝達する場合、1つのLCUに複数グループのフィルタリング係数候補が存在してもよく、それにより、LCUフィルタリング係数選択の柔軟性を高め、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させる。
【0291】
例示的に、いずれかのLCUについて、符号化デバイスはRDO決定に基づいて当該LCUが複数グループのフィルタリング係数において用いるフィルタリング係数を決定し、当該フィルタリング係数に対応する係数選択識別子をビットストリーム内に書き込んで復号デバイスに送信してもよい。
【0292】
復号デバイスの処理フローは上記実施例における関連説明を参照してもよく、ここでは詳しい説明を省略する。
【0293】
いずれかの統合領域内のいずれかのLCUについては、当該LCUのフィルタリング係数候補は、当該統合領域のフィルタリング係数、当該統合領域の1つ前の統合領域のフィルタリング係数、及び当該統合領域の1つ後の統合領域のフィルタリング係数を含み得る。
【0294】
固定領域分割方式で得られた16個の領域に対して領域統合を行って16個の統合領域を含むこと(統合領域0~統合領域15の順であると仮定する)について、統合領域15の1つ後の統合領域は統合領域0であってもよく、統合領域0の1つ前の統合領域は領域15であってもよい。
【0295】
いずれかのLCUについて、符号化デバイスはRDO決定に基づいてそれに用いられるフィルタリング係数を決定してもよく、当該LCUに用いられるフィルタリング係数が当該LCUの属する統合領域の1つ前の統合領域のフィルタリング係数であると決定した場合、当該LCUの係数選択識別子の値が0などの第1の値であると決定してもよく、当該LCUに用いられるフィルタリング係数が当該LCUの属する統合領域のフィルタリング係数であると決定した場合、当該LCUの係数選択識別子の値が1などの第2の値であると決定してもよく、当該LCUに用いられるフィルタリング係数が当該LCUの属する統合領域の1つ後の統合領域のフィルタリング係数であると決定した場合、当該LCUの係数選択識別子の値が2などの第3の値であると決定してもよい。
(実施例10)
【0296】
本発明の実施例は、符号化デバイスに適用されるフィルタリング方法を提供し、当該フィルタリング方法は以下のステップを含み得る。
【0297】
T400において、現在の画像フレームのいずれかの統合領域について、RDO決定に基づいて当該統合領域に用いられるフィルタ形状及びフィルタリング係数を決定する。
【0298】
T410において、各統合領域に用いられるフィルタ形状及びフィルタリング係数をビットストリームに書き込む。
【0299】
本発明の実施例では、フィルタリング係数の柔軟性を高め、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、各統合領域は、同一のフィルタ形状を用いることに限定されず、異なるフィルタ形状を選択的に用い、即ち、異なる統合領域に用いられるフィルタ形状は同じであっても異なってもよい。
【0300】
例示的に、いずれかの統合領域について、符号化デバイスは異なるフィルタ形状の複数グループのフィルタリング係数をトレーニングし、RDO決定に基づいて当該統合領域に用いられるフィルタ形状及びフィルタリング係数を決定し、当該フィルタ形状及びフィルタリング係数をビットストリームに書き込んで復号デバイスに送信してもよい。
【0301】
復号デバイスの処理フローは上記実施例における関連説明を参照してもよく、ここでは詳しい説明を省略する。
【0302】
本発明の実施例では、画像フレームに対してフィルタ形状を選択し、又は画像フレームの成分(例えば輝度成分及び/又は色度成分)に対してフィルタ形状を選択してもよい。例えば、画像フレームAが7*7十字形+5*5正方形の中心対称フィルタ形状を選択する場合、画像フレームAにおけるALFフィルタリングを開始する各LCUはいずれも7*7十字形+5*5正方形の中心対称フィルタ形状を用いる。
(実施例11)
【0303】
本発明の実施例は、符号化デバイスに適用されるフィルタリング方法を提供し、当該フィルタリング方法は以下のステップを含む。
【0304】
T500において、現在の画像フレームのいずれかの統合領域について、RDO決定に基づいて当該統合領域に用いられるフィルタリング係数及び対応する各参照画素位置の重み係数を決定する。
【0305】
T510において、各統合領域に用いられるフィルタリング係数及び対応する各参照画素位置の重み係数をビットストリームに書き込む。
【0306】
本発明の実施例では、ALFフィルタリング効果を最適化し、符号化/復号性能を向上させるために、ALFフィルタリングを行うときに用いられるフィルタは、対称フィルタに限定されず、非対称フィルタを採用してもよく、即ち、対称位置のフィルタリング係数が異なり、0.5:1.5又は0.6:1.4など、一定の比率関係を満たしてもよい。
【0307】
例を挙げて言うと、
図13に示すフィルタを例として、
図13に示すフィルタでは、C14の位置に関する中心対称であるフィルタリング係数は、同じに限定されず、C1:C27=0.5:1.5、C6:C22=0.6:1.4など、一定の比率関係を満たしてもよい。
【0308】
決定されたフィルタリング係数に基づいてALFフィルタリングを行うとき、いずれかの非中心位置のフィルタリング係数については、当該フィルタリング係数及び当該フィルタリング係数の対称位置のフィルタリング係数と、それぞれの対応位置の参照画素との積の和に基づいて、フィルタリング後の画素値を得る必要がある。従って、上記比率は、対称位置のフィルタリング係数同士の比率としてもよく、又は、対称位置のフィルタリング係数に対応する参照画素の画素値がALFフィルタリング計算に参与するときの重みの比率(重み比率とも呼ばれる)としてもよく、即ち、上記非対称フィルタとは、対称位置のフィルタリング係数が異なり、又は、対称位置のフィルタリング係数に対応する参照画素の画素値の重みが異なることを意味する。
【0309】
例を挙げて言うと、
図13に示す7*7十字形+5*5正方形の中心対称フィルタ形状のフィルタリング係数がC
iであり、その対称位置のフィルタリング係数がC
28-iであり、従ってC
i:C
28-i=A
i:(2-A
i)、又は、P
i及びP
28-iがALFフィルタリング計算に参与するときの重みの比率がA
i:(2-A
i)であり、P
iがC
iに対応する参照画素位置の画素値であり、P
28-iがC
28-iに対応する参照画素位置の画素値であり、LCUの現在のフィルタリング画素について、当該画素のフィルタリング後の画素値は以下の方式で決定されてもよい。
【数3】
【0310】
CiがLCUの属する統合領域のフィルタリング係数における(i+1)番目のフィルタリング係数であり、Piがフィルタリング係数Ciに対応する参照画素位置の画素値であり、P28-iに対応する参照画素位置とPiに対応する参照画素位置とは現在のフィルタリング画素の画素位置に対して中心対称であり、AiがPiに対応する参照画素位置の画素値の重み係数であり、P14が現在のフィルタリング画素の画素値であり、C14が現在のフィルタリング画素のフィルタリング係数であり、0<Ai<2である。
【0311】
図13に示すフィルタのように、C
i:C
28-i=A
i(2-A
i)と仮定すると、対称位置(C14に関する中心対称)のフィルタリング係数が異なる場合では、C0~C14の15個の係数をトレーニングするだけでよく、他の係数は重み係数に基づいて決定されてもよい。例えば、A1=0.5と仮定すると、C1:C27=0.5:1.5であり、A0=0.6と仮定すると、C0:C28=0.6:1.4である。
【0312】
本発明の実施例では、いずれかの統合領域について、符号化デバイスは、各位置が異なる重み係数に対応する下で、当該統合領域のフィルタリング係数及びフィルタリング性能を決定してもよい。フィルタリング性能の最適な1グループのフィルタリング係数を選択し、当該フィルタリング係数及び対応するフィルタの各位置に対応する重み係数を記録し、それをビットストリームに書き込んで復号デバイスに送信する。
【0313】
例示的に、重み係数セット(例えば、上記Aiの値セット)を予め構築し、当該セットから各重み係数をそれぞれ選択し、フィルタリング性能の最適なフィルタリング係数、及び対応するフィルタの各位置に対応する重み係数を得、当該重み係数の重み係数セットにおけるインデックスをビットストリームに書き込んで復号デバイスに送信してもよい。
【0314】
復号デバイスの処理フローは上記実施例における関連説明を参照してもよく、ここでは詳しい説明を省略する。
【0315】
当業者が本発明の実施例により提供される技術案をよりよく理解しやすいために、以下、具体的な実施例を合わせて本発明の実施例により提供される技術案について説明する。
【0316】
従来のALF技術の欠点に対して、本発明の実施例は以下の最適化手段を提供する。
【0317】
手段1、LCUを最小単位として、各フレームを複数の領域に適応的に分割し、各領域は、1つ以上のLCUを含み得、従って、各LCUを分類し、同一領域のLCUをN(Nは正の整数)個のクラスに分類することを提案する。
【0318】
手段2、各領域において複数グループのフィルタリング係数を伝達してもよく、各グループのフィルタ形状は同じであっても異なってもよい。
【0319】
手段3、各LCUに基づいて1グループのフィルタリング係数を適応的に選択し、同一領域のLCUは隣接領域のフィルタリング係数を選択してもよい。
【0320】
手段4、各領域において1グループのフィルタリング係数しか伝達できないが、各領域のフィルタ形状が異なってもよい。
【0321】
手段5、対称フィルタを非対称フィルタに変更し、対称位置におけるフィルタリング係数が同じであることを、対称位置におけるフィルタリング係数が一定の比率関係、例えば0.5:1.5又は0.6:1.4などを満たすように最適化することを含む。
【0322】
手段6、フィルタリング時の境界のサンプル値に対して最適化を行う。
【0323】
以下ではまず符号化側と復号側のそれぞれから本発明の主な改善点について説明する。
一、符号化方法及び符号化デバイス
【0324】
符号化デバイスについては、ALFスイッチシーケンスヘッダを取得し、現在のシーケンスにALF技術を開始する必要があるか否かを判断する。ALFスイッチシーケンスヘッダがオフである場合、ALF技術はオフであり、ALF技術の最適化(即ち、上記手段1~手段6のうちの1つ以上の最適化手段を含む本発明の実施例により提供されるALFフィルタリング手段の従来のALF技術に対する最適化)もオフであり、ALFスイッチシーケンスヘッダを復号デバイスに伝送する。ALFスイッチシーケンスヘッダがオンである場合、ALF技術符号化に入り、ALF技術最適化シーケンスヘッダを取得することができる。
【0325】
ALF技術の最適化がオフである場合、元のALF技術を用いてフィルタリングを行う。ALFスイッチシーケンスヘッダ、最適化技術シーケンスヘッダ及びALF技術に必要なパラメータを復号デバイスに伝送する。
【0326】
ALF技術の最適化がオンである場合、以下の方式で最適化してもよく、ALFスイッチシーケンスヘッダ、最適化技術シーケンスヘッダ及び最適化されたALF技術に必要なパラメータを復号デバイスに伝送する。
【0327】
例示的に、最適化技術シーケンスヘッダが存在しなくてもよく、この場合、ALFスイッチシーケンスヘッダがオンになると、最適化されたALF技術手段を用いると決定する。
【0328】
1.1、LCUを最小単位として適応的領域分割を行う
【0329】
輝度成分に対して固定領域分割を行い、複数の領域を得、同一の領域に属するLCUに対して再度分割し(即ち、同一の領域内の各LCUを分類する)、同一の領域は最大でN1個(N1は正の整数である)のクラスにさらに分割される。例示的に、N1=2である場合、領域総数は最大で元の2倍であり、N1=1である場合、元の固定領域分割手段である。
【0330】
符号化デバイスは各領域内のLCU分割の結果をマーキングして復号デバイスに送信してもよい(即ち、各LCUの領域クラス識別子を復号デバイスに送信する)。
【0331】
1.2、各領域において複数グループのフィルタリング係数手段を伝達してもよい
【0332】
いずれかの統合領域については、最大でnグループのフィルタリング係数を伝達してもよい。当該統合領域内の各LCUをマーキングする。0はオフ、即ちALFフィルタリングを開始しないことを示し、iは現在のLCUが当該領域内のあるグループのフィルタリング係数を用いることを示し、iの値の範囲は[1,n]である。
【0333】
例示的に、各セットのフィルタリング係数の取得方法は以下のとおりである。フィルタリング係数を初めてトレーニングするとき、全てのLCUがALFフィルタリングを開始するとデフォルトし、決定した後、オフのLCU(即ちALFフィルタリングを開始しないLCU)については、二回目のフィルタリング係数のトレーニングに参加せず、また、同じマークを有するLCUは同じグループのフィルタリング係数を共にトレーニングする。
【0334】
同様に、3回目のフィルタリング係数のトレーニングは、二回目の決定の結果に基づいて行われる。
【0335】
最後に、フレームレベル又は領域レベルに基づいて、当該画像フレーム又は当該統合領域が最大でnグループのフィルタリング係数を用いると決定し、最後に、各統合領域に対応するフィルタリング係数をビットストリームに書き込む。
【0336】
1.3、各LCUが1グループのフィルタリング係数を適応的に選択する
【0337】
輝度成分については、いずれかのLCUについて、決定時に現在のLCUが位置する領域のフィルタリング係数又は他の領域のフィルタリング係数を選択して用いてもよく、各LCUの選択可能なフィルタ数の最大値はN2(即ちN2グループのフィルタリング係数、N2≧2)であり、N2グループのフィルタリング係数でRDO決定を行い、性能の最適な1グループのフィルタリング係数を選択し、現在LCUの最適な選択結果を復号デバイスに送信する(即ち係数選択識別子を復号デバイスに送信する)。例示的に、N2は統合後の領域の数以下である。
【0338】
1.4、各領域が異なる形状のフィルタを選択する
【0339】
各領域は、1グループのフィルタリング係数を伝達するため、いずれかのLCUについて、符号化デバイスは、当該LCUに対してALFフィルタリングを開始する、又は開始しない(即ち、オフにする)ことを、1つのフラグビットにより復号デバイスに通知することができる。
【0340】
各領域のフィルタリング係数を計算する際には、いずれかの統合領域について、N3(N3≧2)種の異なるフィルタ形状でのフィルタリング係数をそれぞれ計算し、N3種のフィルタ形状でのフィルタ性能をそれぞれ計算し、性能の最適な1種のフィルタ形状を選択してもよい。その後、各統合領域内の性能の最適なフィルタ形状及びフィルタリング係数をビットストリームで復号デバイスに通知する。
【0341】
また、符号化デバイスは、フレームレベルに基づいて異なる形状のフィルタを選択してもよいし、Y、U、V成分に基づいて異なる形状のフィルタを選択してもよい。フレームレベルに基づいて異なる形状のフィルタを選択することを例として、いずれかの画像フレームについては、N4種の異なるフィルタ形状でのフィルタリング係数をそれぞれ計算し、N4(N4≧2)種のフィルタ形状で、当該画像フレームのフィルタリング性能をそれぞれ計算し、性能の最適な1種のフィルタ形状を選択してもよい。その後、当該画像フレームの性能の最適なフィルタ形状及び各領域のフィルタリング係数をビットストリームで復号デバイスに通知する。
【0342】
1.5、対称フィルタを非対称フィルタに変更する。
【0343】
【0344】
例示的に、対称フィルタを非対称フィルタに変更した後、対称位置のフィルタリング係数は異なる比率関係を満たし、それにより係数トレーニングを行う時、依然として
【数5】
のフィルタリング係数をトレーニングすればよい。
【0345】
図4Aに示すフィルタ形状を例にとると、C
iとC
28-iは対称位置である。RDO決定により各対称位置のフィルタリング係数の比率関係を選択してもよく、各位置のフィルタリング係数及び対称位置のフィルタリング係数の比率をビットストリームで復号デバイスに送信する。例示的に、全ての対称位置のフィルタリング係数の比率が1:1である場合、トレーニングにより得られたフィルタは依然として対称フィルタである。
二、復号方法及び復号デバイス
【0346】
復号デバイスについては、ビットストリームからALFスイッチシーケンスヘッダを読み取り、現在のシーケンスにALF技術を開始する必要があるか否かを判断してもよい。ALFスイッチシーケンスヘッダがオフである場合、ALF技術はオフである。ALFスイッチシーケンスヘッダがオンである場合、続いてALF技術最適化シーケンスヘッダを読み取ってもよい。
【0347】
ALF技術最適化シーケンスヘッダがオフである場合、元ALF技術に必要なフィルタリングパラメータを取得し、ALF技術最適化シーケンスヘッダがオンである場合、最適化されたALF技術に必要なフィルタリングパラメータを読み取る。
【0348】
例示的に、ALF最適化技術シーケンスヘッダが存在しなくてもよく、この場合、ALFスイッチシーケンスヘッダがオンである場合、最適化されたALF技術に必要なフィルタリングパラメータを読み取る。
【0349】
2.1、LCUを最小単位として適応的領域分割を行う
【0350】
輝度成分に対して固定領域分割を行い、複数の領域を得、ビットストリームから全領域のフィルタリング係数を読み取り、ALFフィルタリングを開始する全てのLCUの領域クラス識別子をビットストリームから読み取り、固定領域分割結果、及びLCUの領域クラス識別子に基づいてLCUの属する領域クラスを決定し、LCUの属する領域クラスに基づいて、対応するフィルタリング係数を取得し、LCUの画素に対して1つずつALFフィルタリングを行う。
【0351】
2.2、各領域において複数グループのフィルタリング係数手段を伝達してもよい
【0352】
ビットストリームからフレームレベル又は領域レベル係数識別子を読み取り、フレームレベル又は領域レベル係数識別子に基づいてビットストリームから各統合領域における複数グループのフィルタリング係数を取得し、フレームレベル又は領域レベル係数識別子によって選択可能なフィルタ数(即ちフィルタリング係数のグループ数)を決定する。
【0353】
ビットストリームから各LCUのLCU係数識別子を取得し、各LCUのLCU係数識別子に基づいて1グループのフィルタリング係数を選択する。現在のLCUに対してフィルタリングを行うとき、当該グループのフィルタリング係数を用いて当該LCUの画素に対して1つずつALFフィルタリングを行う。
【0354】
2.3、各LCUが1グループのフィルタリング係数を適応的に選択する
【0355】
各領域のフィルタリング係数、及び各LCUのALFフラグビット(即ち、LCUに対してALFフィルタリングを開始するか又は開始しない)をビットストリームから読み取り、ALFフィルタリングを開始する各LCUについては、当該LCUの係数選択識別子をビットストリームから読み取る。
【0356】
いずれかのLCUについては、選択可能なフィルタの数は最大でN2個(即ちフィルタリング係数候補は最大でN2グループ)である。
【0357】
2.4、各領域が異なる形状のフィルタを選択する
【0358】
いずれかの統合領域については、ビットストリームから当該統合領域のフィルタ形状を読み取り、フィルタ形状に基づいて、当該統合領域のフィルタリング係数を読み取ってもよい。フィルタ形状及びフィルタリング係数に基づいて当該統合領域内の各LCUの画素に対して1つずつALFフィルタリングを行う。
【0359】
2.5、対称フィルタを非対称フィルタに変更する。
【0360】
各統合領域のフィルタリング係数をビットストリームから読み取り、対称位置のフィルタリング係数の比率係数を読み取る。
【0361】
各位置におけるフィルタリング係数及び対称位置のフィルタリング係数の比率係数に応じて、当該統合領域の各位置におけるフィルタリング係数を導出し、当該統合領域内の各LCUの画素に対して1つずつALFフィルタリングを行う。
【0362】
以下、フィルタリング境界のサンプル値の最適化手段について説明する。
(実施例12)
フィルタリング境界のサンプル値の最適化手段1
【0363】
フィルタ形状は
図4Aに示すものであると仮定する。適応的補正フィルタリングプロセスに用いられるサンプル(即ち、適応的補正フィルタリングユニットにおける現在のフィルタリング画素に対してフィルタリングを行うときの参照画素)は適応的補正フィルタリングユニット内のサンプル(即ち当該参照画素は適応的補正フィルタリングユニット内に位置する)である場合、当該サンプルを用いてフィルタリングを行い、適応的補正フィルタリングプロセスに用いられるサンプルが適応的補正フィルタリングユニット内のサンプルに属しない(即ち当該参照画素は適応的補正フィルタリングユニット内に位置しない)場合、以下の方法に従ってフィルタリングを行う。
【0364】
12.1、当該サンプルが画像境界外に位置する場合、又はパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されない場合、
【0365】
12.1.1、当該サンプルはフィルタ形状のC1、C2、C6、C4、C5又はC10位置に対応する場合、当該サンプルの代わりに、適応的補正フィルタリングユニット及び境界領域のうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0366】
12.1.2、当該サンプルはフィルタ形状のC1、C2、C6、C4、C5又はC10位置に対応しない場合、当該サンプルの代わりに、適応的補正フィルタリングユニットのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0367】
12.2、当該サンプルが適応的補正フィルタリングユニットの上境界外又は下境界外に位置する場合、
【0368】
12.2.1、当該サンプルはフィルタ形状のC1、C2、C6、C4、C5又はC10位置に対応する場合、当該サンプルの代わりに、適応的補正フィルタリングユニット及び境界領域のうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0369】
12.2.2、当該サンプルはフィルタ形状のC1、C2、C6、C4、C5又はC10位置に対応しない場合、当該サンプルの代わりに、適応的補正フィルタリングユニットのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0370】
12.3、当該サンプルは12.1の条件と12.2の条件のいずれも満たさない場合、当該サンプルを用いてフィルタリングを行う。
(実施例13)
フィルタリング境界のサンプル値の最適化手段2
【0371】
フィルタ形状は
図4Aに示すものであると仮定する。適応的補正フィルタリングプロセスに用いられるサンプル(即ち、適応的補正フィルタリングユニットにおける現在のフィルタリング画素に対してフィルタリングを行うときの参照画素)は適応的補正フィルタリングユニット内のサンプル(即ち当該参照画素は適応的補正フィルタリングユニット内に位置する)である場合、当該サンプルを用いてフィルタリングを行い、適応的補正フィルタリングプロセスに用いられるサンプルが適応的補正フィルタリングユニット内のサンプルに属しない(即ち当該参照画素は適応的補正フィルタリングユニット内に位置しない)場合、以下の方法に従ってフィルタリングを行う。
【0372】
13.1、当該サンプルが画像境界外に位置する場合、又はパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されない場合、当該サンプルの代わりに、適応的補正フィルタリングユニット及び境界領域のうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0373】
13.2、当該サンプルが適応的補正フィルタリングユニットの上境界外又は下境界外に位置する場合、当該サンプルの代わりに、適応的補正フィルタリングユニット及び境界領域のうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0374】
13.3、当該サンプルは13.1の条件と13.2の条件のいずれも満たさない場合、当該サンプルを用いてフィルタリングを行う。
(実施例14)
フィルタリング境界のサンプル値の最適化手段3
【0375】
フィルタ形状は
図4Aに示すものであると仮定する。適応的補正フィルタリングプロセスに用いられるサンプル(即ち、適応的補正フィルタリングユニットにおける現在のフィルタリング画素に対してフィルタリングを行うときの参照画素)は適応的補正フィルタリングユニット内のサンプル(即ち当該参照画素は適応的補正フィルタリングユニット内に位置する)である場合、当該サンプルを用いてフィルタリングを行い、適応的補正フィルタリングプロセスに用いられるサンプルが適応的補正フィルタリングユニット内のサンプルに属しない(即ち当該参照画素は適応的補正フィルタリングユニット内に位置しない)場合、以下の方法に従ってフィルタリングを行う。
【0376】
14.1、当該サンプルが画像境界外に位置する場合、又はパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されない場合、
【0377】
14.1.1、EalfEnableFlag(拡張適応的補正フィルタリングのイネーブルフラグビット)が1である場合、当該サンプルの代わりに、適応的補正フィルタリングユニット及び境界領域のうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0378】
14.1.2、EalfEnableFlagが0である場合、当該サンプルの代わりに、適応的補正フィルタリングユニットのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0379】
14.2、当該サンプルが適応的補正フィルタリングユニットの上境界外又は下境界外に位置する場合、
【0380】
14.2.1、EalfEnableFlagが1である場合、当該サンプルの代わりに、適応的補正フィルタリングユニット及び境界領域のうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0381】
14.2.2、EalfEnableFlagが0である場合、当該サンプルの代わりに、適応的補正フィルタリングユニットのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0382】
14.3、当該サンプルは14.1の条件と14.2の条件のいずれも満たさない場合、当該サンプルを用いてフィルタリングを行う。
【0383】
EalfEnableFlagは、値が「1」又は「0」を含み得る1つのflagであり、EalfEnableFlagが1である場合、拡張適応的補正フィルタリングを用いることができると示し、EalfEnableFlagが0である場合、拡張適応的補正フィルタリングを用いるべきでないと示す。例示的に、EalfEnableFlagの値は復号側から導出されてもよく、又は復号側においてビットストリームから取得されてもよく、EalfEnableFlagの値は定数値であってもよい。EalfEnableFlagの値がealf_enable_flag(即ち拡張適応的補正フィルタリング許可フラグ)の値に等しくてもよく、EalfEnableFlagが1である場合、拡張適応的補正フィルタリングを用いることができると示し、EalfEnableFlagが0である場合、拡張適応的補正フィルタリングを用いるべきでないと示す。
(実施例15)
フィルタリング境界のサンプル値最適化手段4
【0384】
サンプルが画像境界外に位置する場合、又はパッチ境界外に位置し、且つCplfEnableFlagの値が0である場合、又は現在の適応的補正フィルタリングユニットの上境界外又は下境界外に位置する場合、当該サンプルの真値を取得することができず、当該サンプルの代わりに、現在の適応的補正フィルタリングユニットのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0385】
現在の適応的補正フィルタリングユニットは、
図4Aに示す第1のフィルタを用いてフィルタリングを行ってもよく、現在の適応的補正フィルタリングユニットは
図9に示す第2のフィルタを用いてフィルタリングを行ってもよい。
【0386】
現在の適応的補正フィルタリングユニットが
図4Aに示す第1のフィルタを用いてフィルタリングを行うと仮定すると、フィルタ形状は
図4Aに示すとおりである。
【0387】
適応的補正フィルタリングプロセスに用いられるいずれかのサンプル(現在の適応的補正フィルタリングユニットにおける現在のフィルタリング画素に対してフィルタリングを行うときの参照画素サンプル)が現在の適応的補正フィルタリングユニット内のサンプルである場合、当該サンプルを直接用いてフィルタリングを行い、適応的補正フィルタリングプロセスに用いられるいずれかのサンプルが現在の適応的補正フィルタリングユニット内のサンプルに属しない場合、以下の方法に従ってフィルタリングを行う。
【0388】
15.1、当該サンプルが画像境界外に位置する場合、又はパッチ境界外に位置し、且つCplfEnableFlagの値が0である場合、当該サンプルの代わりに、適応的補正フィルタリングユニットのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行い、CplfEnableFlagは、パッチ境界を越えて適応的補正フィルタリングを行うことができるか否かを示すために用いられる。
【0389】
15.2、当該サンプルが現在の適応的補正フィルタリングユニットの上境界外又は下境界外に位置する場合、当該サンプルの代わりに、現在の適応的補正フィルタリングユニットのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0390】
15.3、そうではない場合、当該サンプルを直接用いてフィルタリングを行う。
【0391】
例示的に、CplfEnableFlagはパッチ境界を越えて値を取ることが許可されるか否かを示し、cross_patch_loopfilter_enable_flagと呼ばれてもよい。
【0392】
図4Cに示すように、現在の適応的補正フィルタリングユニットにおいて適応的補正フィルタリングを行う画素位置は14サンプル位置であり、現在の適応的補正フィルタリングユニット外部の参照画素サンプルを取得する必要があり、
図4Cに示すように、一例として、参照画素サンプル0,1,2,3,4,5,6,7,8,9,10は現在の適応的補正フィルタリングユニットの上境界外に位置し、これらの位置のサンプル値が取得できない場合、他のサンプル値を見つけて代替する必要がある。
【0393】
フィルタリングサンプルが現在の適応的補正フィルタリングユニットの左上隅にある時、例えば、参照画素サンプル1,2,6及び7位置のサンプル値が取得できない場合、現在の適応的補正フィルタリングユニットのうち、当該サンプル1,2,6,7から最も近いサンプル位置のサンプル値を用いてフィルタリングを行い、14サンプル位置は現在の適応的補正フィルタリングユニットのうち、これら4つのサンプルから最も近い位置であり、従って、14サンプル位置のサンプル値をこれら4つのサンプルのそれぞれの値としてフィルタリングを行ってもよい。
【0394】
参照画素サンプル4,5,9,10位置のサンプル値が取得できない場合、現在の適応的補正フィルタリングユニットのうち、4,5,9,10から最も近いサンプル位置のサンプル値を用いてフィルタリングを行い、ここで、サンプル位置15は現在の適応的補正フィルタリングユニットのうち、4,9サンプルから最も近いサンプル位置であり、サンプル位置15のサンプル値を4,9サンプルのそれぞれの値としてフィルタリングを行ってもよく、ここで、16サンプル位置は現在の適応的補正フィルタリングユニットのうち、5,10サンプルから最も近いサンプル位置であり、16サンプル位置のサンプル値を5,10サンプルのそれぞれの値としてフィルタリングを行ってもよい。参照画素サンプル0,3,8位置のサンプル値が取得できない場合、現在の適応的補正フィルタリングユニットのうち、当該サンプル0,3,8から最も近いサンプル位置のサンプル値を用いてフィルタリングを行い、14サンプル位置は現在の適応的補正フィルタリングユニットのうち、これら3つのサンプルから最も近い位置であり、従って、14サンプル位置のサンプル値をこれら3つのサンプルのそれぞれの値としてフィルタリングを行ってもよい。
【0395】
以上は一部の参照画素サンプルが取得できない時の値の取得方式の例に過ぎず、全ての場合を示すものではなく、本発明の保護範囲を限定するものでもない。
【0396】
以下、ALFフィルタリング最適化手段について説明する。
(実施例16)
LCUを最小単位として適応的領域分割を行う
符号化デバイス
【0397】
図2に示す固定領域分割方式を例として、画像フレームの輝度成分については、上記の「領域分割」の部分で説明した方式で固定領域分割を行ってもよい。輝度成分を16個の領域に分割し、各領域はK(K∈[0,15])とマーキングされ、各領域内に1つ以上のLCUがある。
【0398】
同一領域に属するLCUを再度分割する。
【0399】
例示的に、領域内のLCU分割方法はLCU統合の方式を用いてもよく、LCUを2つずつ統合するコストを計算し、コストの最も小さい2つのLCUを統合し、このように類推し、統合が[1,N6]クラスのみを残す全てのコストを計算し、コストの最も小さい分割方法を選択する。各LCUの最後の選択をマーキングする。
【0400】
最大で2クラスに分割することを例とし、即ち上記N6=2であり、従って、各LCUは1又は0とマーキングされ、即ち上記LCUの領域クラス識別子の値は1又は0を含む。
【0401】
例示的に、0とマーキングされる(即ち領域クラス識別子の値が0である)LCUについて、所属する領域クラスは2Kであり、1とマーキングされる(即ち領域クラス識別子の値が1である)LCUについて、所属するクラスは2K+1である。
【0402】
例示的に、輝度成分は、最大で32個の領域に分割される。領域分割後、32個の領域に対して領域統合を行い、各統合後の領域のフィルタリング係数を計算する。LCU領域分割結果(即ち各LCUの領域クラス識別子)及び当該領域分割後に得られたフィルタリング係数をビットストリームで復号デバイスに送信する。
復号デバイス
【0403】
画像フレームの輝度成分については、上記の「領域分割」の部分で説明した方式で固定領域分割を行ってもよい。輝度成分を16個の領域に分割し、その分割結果の概略図は
図2に示すものであってもよい。
【0404】
領域KのいずれかのLCUについては、当該LCUの領域クラス識別子を取得し、領域クラス識別子の値が0であるLCUの所属する領域クラスが2Kであり、領域クラスが1であるLCUの所属する領域クラスが2K+1である。
【0405】
各LCUの領域クラス及びビットストリームから解析して得られたフィルタリング係数に基づいて、各LCUのフィルタリング係数を決定し、各LCUのフィルタリング係数に基づいて各LCUの画素に対して1つずつALFフィルタリングを行う。
(実施例17)
各領域において2グループのフィルタリング係数手段を伝達してもよい
符号化デバイス
【0406】
各LCUをマーキングし、0がALFフィルタリングをオフにすることを示し、1が第1のグループのフィルタリング係数を用いることを示し、2が第2のグループのフィルタリング係数を用いることを示すと仮定すると、LCUのLCU係数識別子の値は0、1又は2を含み、上記第1の値が0であり、非第1の値は1又は2を含む。
【0407】
各領域に対して係数をマーキングし、0が第1のグループのフィルタリング係数しか用いないことを示し、1が第2のグループのフィルタリング係数しか用いないことを示し、2が2グループのフィルタリング係数を用いることを示す。
【0408】
例示的に、第1のグループのフィルタリング係数のフィルタ形状は
図4Aに示すものであってもよく、第2のグループのフィルタリング係数のフィルタ形状は
図9に示すもの(7*7十字形+3*3正方形の中心対称フィルタ形状)であってもよい。
【0409】
フィルタリング係数のトレーニングプロセスにおいて、初めてフィルタリング係数を計算する時、フィルタリングパラメータは現在領域内の全てのLCUの画素を用いる。決定した後、第1のグループの係数をトレーニングし、識別子の値が1であるLCUのみを用いてトレーニングに参加する。第2グループの係数をトレーニングするとき、識別子の値が2であるLCUのみを用いてトレーニングに参加する。最後にRDO決定によって、現在の領域がある1グループのフィルタのみを用いる性能、又は2グループのフィルタを用いる性能を決定する。
【0410】
第1のグループのフィルタリング係数のみを用いる場合の性能が最適である場合、領域係数識別子の値が0であると決定してビットストリームに書き込み、第1のグループのフィルタリング係数をビットストリームに書き込み、各LCUのLCU係数識別子をビットストリームに書き込み、各LCUのLCU係数識別子の値が0又は1であり、第2のグループのフィルタリング係数のみを用いる場合の性能が最適である場合、領域係数識別子の値が1であると決定してビットストリームに書き込み、第2のグループのフィルタリング係数をビットストリームに書き込み、各LCUのLCU係数識別子をビットストリームに書き込み、各LCUのLCU係数識別子の値が0又は1であり、2グループのフィルタリングを用いる場合の性能が最適である場合、領域係数識別子の値が2であると決定してビットストリームに書き込み、2グループのフィルタリング係数をビットストリームに書き込み、各LCUのLCU係数識別子をビットストリームに書き込み、各LCUのLCU係数識別子の値が0、1又は2である。
復号デバイス
【0411】
いずれかの統合領域については、ビットストリームから当該統合領域の領域係数識別子を読み取り、領域係数識別子の値が0である場合、当該統合領域は15個のフィルタリング係数(即ち第1のグループのフィルタリング係数)を取得し、領域係数識別子の値が1である場合、当該統合領域は9個のフィルタリング係数(即ち第2のグループのフィルタリング係数)を取得し、領域係数識別子の値が2である場合、当該統合領域は9個のフィルタリング係数と15個のフィルタリング係数をそれぞれ取得する。
【0412】
例示的に、領域係数識別子の値が0である場合、当該統合領域内の全てのLCUのLCU係数識別子を取得し、LCU係数識別子の値が0である場合、当該LCUがALFフィルタリングをオフにすること、即ち、当該LCUに対してALFフィルタリングを開始しないことを示し、LCU係数識別子の値が1である場合、当該LCUがALFフィルタリングをオンにすること、即ち、当該LCUに対してALFフィルタリングを開始し、且つ当該LCUが第1のグループのフィルタリング係数を用いることを示す。
【0413】
領域係数識別子の値が1である場合、当該統合領域内の全てのLCUのLCU係数識別子を取得し、LCU係数識別子の値が0である場合、当該LCUがALFフィルタリングをオフにすること、即ち、当該LCUに対してALFフィルタリングを開始しないことを示し、LCU係数識別子の値が1である場合、当該LCUがALFフィルタリングをオンにすること、即ち、当該LCUに対してALFフィルタリングを開始し、且つ当該LCUが第2のグループのフィルタリング係数を用いることを示す。
【0414】
領域係数識別子の値が2である場合、当該統合領域内の全てのLCUのLCU係数識別子を取得し、LCU係数識別子の値が0である場合、当該LCUがALFフィルタリングをオフにすること、即ち、当該LCUに対してALFフィルタリングを開始しないことを示し、LCU係数識別子の値が1である場合、当該LCUがALFフィルタリングをオンにすること、即ち、当該LCUに対してALFフィルタリングを開始し、且つ当該LCUが第1のグループのフィルタリング係数を用いることを示し、LCU係数識別子の値が2である場合、当該LCUがALFフィルタリングをオンにすること、即ち、当該LCUに対してALFフィルタリングを開始し、且つ当該LCUが第2のグループのフィルタリング係数を用いることを示す。
(実施例18)
各LCUが1グループのフィルタリング係数を適応的に選択する
符号化デバイス
【0415】
各LCUが最大で3グループのフィルタリング係数を選択できることを例とする。いずれかのLCUについて、当該LCUのフィルタリング係数候補は、当該LCUの属する統合領域のフィルタリング係数(現在の統合領域のフィルタリング係数と呼ばれてもよい)、当該LCUの属する統合領域の1つ前の統合領域のフィルタリング係数(1つ前の統合領域のフィルタリング係数と呼ばれてもよい)、及び当該LCUの属する統合領域の1つ後の統合領域のフィルタリング係数(1つ後の統合領域のフィルタリング係数と呼ばれてもよい)を含み得る。
【0416】
いずれかのLCUについては、3グループのフィルタリング係数での性能をそれぞれ計算し(RDO決定)、性能の最適な1グループのフィルタリング係数を選択してもよい。
【0417】
例示的に、性能の最適な1グループのフィルタリング係数が1つ前の統合領域のフィルタリング係数である場合、LCUの係数選択識別子の値は0(即ち、上記第1の値が0であることを例とする)であり、性能の最適なフィルタリング係数が現在の統合領域のフィルタリング係数である場合、LCUの係数選択識別子の値は1(即ち、上記第2の値が1であることを例とする)であり、性能の最適なフィルタリング係数が1つ後の統合領域のフィルタリング係数である場合、LCUの係数選択識別子の値は2(即ち、上記第3の値が2であることを例とする)である。
【0418】
例を挙げて言うと、現在の画像フレームの統合領域が
図10に示すように、即ち、統合領域の数が16個であると仮定すると、決定するとき、現在処理されているLCUが統合領域2に属する場合、当該LCUのフィルタリング係数候補は統合領域1のフィルタリング係数、統合領域2のフィルタリング係数及び統合領域3のフィルタリング係数を含み得、RDO決定に基づいて性能の最適なフィルタリング係数を決定し、決定結果に基づいてLCUに対してマーキングしてもよい。
【0419】
色度成分(U成分又はV成分)には1グループのフィルタリング係数しかないため、そのLCUはフィルタリング係数の選択に参加しなくてもよく、又は、2つの色度成分のLCUはもう1つの成分におけるフィルタリング係数を選択してもよく、即ち、U成分のLCUはV成分のフィルタリング係数を選択してもよく、V成分のLCUはU成分のフィルタリング係数を選択してもよい。
復号デバイス
【0420】
現在のLCUの属する統合領域のフィルタリング係数(即ち現在の領域のフィルタリング係数)及びそれに隣接する2つの領域のフィルタリング係数(即ち1つ前の統合領域のフィルタリング係数及び1つ後の統合領域のフィルタリング係数)を取得し、LCUの係数選択識別子に基づいて、現在のLCUのフィルタリング係数を選択する。
【0421】
二つの色度成分のそれぞれには1グループのフィルタリング係数しかないため、そのLCUはフィルタリング係数の選択に参加しなくてもよく、又は、2つの色度成分が共にALFフィルタリングスイッチをオンにするとき、2つの色度成分のLCUはもう1つの成分におけるフィルタリング係数を選択してもよく、即ち、U成分のLCUはV成分のフィルタリング係数を選択してもよく、V成分のLCUはU成分のフィルタリング係数を選択してもよい。
(実施例19)
各領域が異なる形状のフィルタを選択する
符号化デバイス
【0422】
【0423】
いずれかの統合領域については、N3グループのフィルタリング係数をトレーニングしてもよく、当該N3グループのフィルタリング係数のフィルタ形状が異なり、各領域において当該統合領域がそのうちのある1つのフィルタ形状を用いた後の性能を計算し、性能の最適な1グループのフィルタリング係数を選択し、対応するフィルタ形状をビットストリームで復号デバイスに送信し、当該統合領域の性能の最適なフィルタリング係数を復号デバイスに送信する。
復号デバイス
【0424】
いずれかのLCUについては、当該LCUに対してALFフィルタリングを開始すると決定した場合、当該LCUの属する統合領域に基づいて、当該統合領域のフィルタ形状を取得し、当該フィルタ形状に基づいて当該統合領域のフィルタリング係数を取得する。
【0425】
現在のLCUのフィルタリング係数を決定すると、現在のLCUのフィルタリング係数に基づいて現在のLCUの画素に対して1つずつALFフィルタリングを行ってもよい。
(実施例20)
対称フィルタを非対称フィルタに変更する
符号化デバイス
【0426】
図4Aに示すフィルタ形状を例として、C
i(i=0,1,…,13)位置の参照画素の画素値の重み係数A
iを決定してもよく、この時その対称位置C
28-iに対応する参照画素値の重みは2-A
iである。
【0427】
例示的に、Ai∈[0.5,0.6,0.8,1.2,1.4,1.5,1]である。
【0428】
図4Aに示すように、全部で14個の対称位置が存在し、各位置が異なる重み係数に対応する下で、当該領域のフィルタリング係数及びフィルタリング性能を計算してもよい。フィルタリング性能の最適な1グループのフィルタリング係数を選択し、当該フィルタリング係数及び対応するフィルタの各位置に対応する重み係数を計算してもよい。
【0429】
例示的に、いずれかの重み係数については、当該重み係数の重み係数セットにおける位置の番号(又はインデックスと呼ばれる)を復号デバイスに伝達してもよい。
【0430】
復号デバイスは、各領域のフィルタリング係数及び各フィルタリング係数に対応する重み係数を取得する。
【0431】
いずれかの統合領域については、対応位置のフィルタリング係数を導出するために、そのフィルタリング係数及び各フィルタリング係数に対応する重み係数を取得する。
【0432】
LCUの現在のフィルタリング画素について、当該画素のフィルタリング後の画素値は以下の方式で決定されてもよい。
【数6】
【0433】
CiがLCUの属する統合領域のフィルタリング係数における(i+1)番目のフィルタリング係数であり、Piがフィルタリング係数Ciに対応する参照画素位置の画素値であり、P28-iに対応する参照画素位置とPiに対応する参照画素位置とは現在のフィルタリング画素の画素位置に対して中心対称であり、AiがPiに対応する参照画素位置の画素値の重み係数であり、P14が現在のフィルタリング画素の画素値であり、C14が現在のフィルタリング画素のフィルタリング係数であり、0<Ai<2である。
(実施例21)
各LCUが1グループのフィルタリング係数を適応的に選択する
【0434】
画素をフィルタリングするプロセスにおいて、いずれかのフィルタリング対象画素については、3*3画素ブロック内(現在のフィルタリング対象画素を中心点とする3*3画素ブロックであり、且つ現在のフィルタリング対象画素を含まない)で画素値の最大値と最小値、即ち現在のフィルタリング対象画素を中心とする3*3画素ブロックにおける中心位置以外の8個の画素の画素値のうちの最大値と最小値を取り出す。
【0435】
現在のフィルタリング対象画素の画素値が最大値より大きく、又は最小値より小さい場合、最大値又は最小値で現在のフィルタリング対象画素の画素値を代替してフィルタリングに参加し、即ち現在のフィルタリング対象画素の画素値が最大値より大きい場合、現在のフィルタリング対象画素の画素値を当該最大値に置き換えてフィルタリングに参加し、現在のフィルタリング対象画素の画素値が最小値より小さい場合、現在のフィルタリング対象画素の画素値を当該最小値に置き換えてフィルタリングに参加する。
【0436】
以下、適応的補正フィルタリングの復号フローについて説明する
(実施例22)
適応補正フィルタ復号フロー
一、適応的補正フィルタリングのパラメータ定義:
【0437】
パラメータ1、適応的補正フィルタリング許可フラグ(alf_enable_flag):2値変数である。値が「1」であることは、適応的補正フィルタリングを用いることができると示し、値が「0」であることは、適応的補正フィルタリングを用いるべきでないと示す。
【0438】
例示的に、AlfEnableFlagの値はalf_enable_flagの値と等しい。alf_enable_flagの値はシーケンスヘッダから取得することができ、即ちシーケンス全体の圧縮を開始する前に、値が「1」であることは、ビデオシーケンス全体のALF技術がオンであると示し、値が「0」であることは、ビデオシーケンス全体のALF技術がオフであると示し、当該フラグはシーケンスヘッダフラグである。
【0439】
パラメータ2、拡張適応的補正フィルタリング許可フラグ(ealf_enable_flag):2値変数である。値が「1」であることは、拡張適応的補正フィルタリングを用いることができると示し、値が「0」であることは、拡張適応的補正フィルタリングを用いるべきでないと示す。
【0440】
例示的に、EalfEnableFlagの値はealf_enable_flagの値と等しく、そのシンタクスは以下のように記述される。
【表1】
【0441】
AlfEnableFlagの値が1である場合、ビットストリームから拡張適応的補正フィルタリング許可フラグを読み取り、当該フラグはシーケンスヘッダフラグである。
【0442】
パラメータ3、画像レベル適応的補正フィルタリング許可フラグ(picture_alf_enable_flag[compIdx]):2値変数である。値が「1」であることは、現在の画像のcompIdx番目の成分は適応的補正フィルタリングを用いることができると示し、値が「0」であることは、現在の画像のcompIdx番目の成分は適応的補正フィルタリングを用いるべきでないと示す。
【0443】
例示的に、PictureAlfEnableFlag[compIdx]の値はpicture_alf_enable_flag[compIdx]の値と等しく、そのシンタクスは以下のように記述される。
【表2】
【0444】
AlfEnableFlagの値が1である場合、ビットストリームからY、U、Vという3つの成分の画像レベル適応的補正フィルタリング許可フラグを読み取り、当該フラグは画像ヘッダフラグである。
【0445】
パラメータ4、画像輝度成分サンプル適応的補正フィルタリング係数(alf_coeff_luma[i][j]):alf_coeff_luma[i][j]は、輝度成分のi番目の適応的補正フィルタのj番目の係数を示す。
【0446】
例示的に、AlfCoeffLuma[i][j]の値はalf_coeff_luma[i][j]の値と等しい。
【0447】
例示的に、EalfEnableFlagの値が0である場合、AlfCoeffLuma[i][j](j=0~7)の値の範囲は-64~63であるべきであり、AlfCoeffLuma[i][8]の値の範囲は-1088~1071であるべきである。
【0448】
EalfEnableFlagの値が1である場合、AlfCoeffLuma[i][j](j=0~13)の値の範囲は-64~63であるべきであり、AlfCoeffLuma[i][14]の値の範囲は-1088~1071であるべきである。
【0449】
パラメータx:各グループの画像輝度成分サンプル適応的補正フィルタリング係数の精度である。x=0である場合、AlfCoeffLuma[i][j](j=0~13)の値の範囲は-32~32であるべきであり、x=1である場合、AlfCoeffLuma[i][j](j=0~13)の値の範囲は-64~63であるべきであり、x=2である場合、AlfCoeffLuma[i][j](j=0~13)の値の範囲は-128~128であるべきである。
【0450】
パラメータ5、画像色度成分適応的補正フィルタリング係数(alf_coeff_chroma[0][j]、alf_coeff_chroma[1][j]):alf_coeff_chroma[0][j]は、Cb成分のj番目の適応的補正フィルタリング係数を示し、alf_coeff_chroma[1][j]はCr成分のj番目の適応的補正フィルタリング係数を示す。
【0451】
例示的に、AlfCoeffChroma[0][j]の値はalf_coeff_chroma[0][j]の値と等しく、AlfCoeffChroma[1][j]の値はalf_coeff_chroma[1][j]の値と等しい。
【0452】
例示的に、EalfEnableFlagの値が0である場合、AlfCoeffChroma[i][j](i=0~1、j=0~7)の値の範囲は-64~63であるべきであり、AlfCoeffChroma[i][8](i=0~1)の値の範囲は-1088~1071であるべきである。
【0453】
EalfEnableFlagの値が1である場合、AlfCoeffChroma[i][j](i=0~1、j=0~13)の値の範囲は-64~63であるべきであり、AlfCoeffChroma[i][14](i=0~1)の値の範囲は-1088~1071であるべきである。
【0454】
パラメータy:各グループの画像色度成分適応的補正フィルタリング係数の精度である。y=0である場合、AlfCoeffLuma[i][j](j=0~13)の値の範囲は-32~32であるべきであり、y=1である場合、AlfCoeffLuma[i][j](j=0~13)の値の範囲は-64~63であるべきであり、y=2である場合、AlfCoeffLuma[i][j](j=0~13)の値の範囲は-128~128であるべきである。
【0455】
パラメータ6、画像輝度成分の隣接する適応的補正フィルタリング領域の個数(alf_region_distance[i]):alf_region_distance[i]は輝度成分のi番目の適応的補正フィルタリング領域基本ユニット開始番号とi-1番目の適応的補正フィルタリング領域基本ユニット開始番号との間の差値を示す。
【0456】
例示的に、alf_region_distance[i]の値の範囲は1~FilterNum-1であるべきである。
【0457】
例示的に、ビットストリームにはalf_region_distance[i]が存在しない場合、iが0である場合、alf_region_distance[i]の値は0であり、iが0ではなく且つalf_filter_num_minus1の値がFilterNum-1である場合、alf_region_distance[i]の値は1である。
【0458】
例示的に、alf_region_distance[i](i=0~alf_filter_num_minus1)の合計は、FilterNum-1以下であるべきである。
【0459】
パラメータ7、最大符号化ユニットの適応的補正フィルタリング許可フラグ(alf_lcu_enable_flag[compIdx][LcuIndex]):2値変数である。値が「1」であることは、LcuIndex番目の最大符号化ユニットcompIdx成分のサンプルが適応的補正フィルタリングを用いるべきことを示し、値が「0」であることは、LcuIndex番目の最大符号化ユニットcompIdx成分のサンプルが適応的補正フィルタリングを用いるべきでないと示す。
【0460】
例示的に、AlfLCUEnableFlag[compIdx][LcuIndex]の値はalf_lcu_enable_flag[compIdx][LcuIndex]の値と等しく、そのシンタクスは以下のように記述される。
【表3】
【0461】
3つの成分上の画像レベル適応的補正フィルタリング許可フラグにおいて1つのフラグ値が1である場合、以下のような適応的補正フィルタリングパラメータを取得し、即ちEalfEnableFlag=1である場合、フィルタリング係数の個数は15であり、且つ輝度成分は64個の領域に分割され、そうではない場合、フィルタリング係数の数は9であり、輝度成分は16個の領域に分割される。また、3つの成分上のフィルタリング係数をそれぞれ取得し、画像レベル適応的補正フィルタリング許可フラグがオンである場合、色度において、当該成分上のフィルタリング係数alf_coeff_chromaを取得する必要があり、輝度において、領域統合方式フラグalf_region_order_idx、1つ減らしたフィルタリング係数の個数(alf_filter_num_minus1)、領域統合結果alf_region_distance[i]、及び各フィルタリング係数alf_coeff_lumaを取得する必要がある。
【0462】
上記適応的補正フィルタリングパラメータのシンタクスは以下のように記述される。
【表4】
二、適応的補正フィルタリングの復号の具体的なプロセス
【0463】
PictureAlfEnableFlag[compIdx]の値が0である場合、オフセット後のサンプル成分の値をそのまま再構成サンプル成分の値とし、そうではない場合、対応するオフセット後のサンプル成分に対して適応的補正フィルタリングを行う。例示的に、compIdxの値について、0は輝度成分を示し、1はCb成分を示し、2はCr成分を示す。
【0464】
適応的補正フィルタリングの単位は最大符号化ユニットによって導出された適応的補正フィルタリングユニットであり、ラスタスキャン順に順次処理される。まず適応的補正フィルタリング係数の復号プロセスに基づいて各成分の適応的補正フィルタリング係数を得、続いて適応的補正フィルタリングユニットを導出し、現在の適応的補正フィルタリングユニットの輝度成分の適応的補正フィルタリング係数インデックスを決定し、最後に適応的補正フィルタリングユニットの輝度及び色度成分に対して適応的補正フィルタリングを行い、再構成サンプルを得る。
【0465】
適応的補正フィルタリング係数の復号プロセス:
【0466】
22.1.1、EalfEnableFlagが0である場合、ビットストリームから輝度サンプルのi番目のグループのフィルタリング係数AlfCoeffLuma[i][j](i=0~alf_filter_num_minus1、j=0~7)を解析する。係数AlfCoeffLuma[i][8](即ち
図9に示すフィルタにおけるC8)に対して以下の処理を行う。
【数7】
【0467】
式中のAlfCoeffLuma[i][j](j=0~7)のビット幅は7ビットであり、値の範囲は-64~63であり、上記したように処理されたAlfCoeffLuma[i][8]の値の範囲は0~127である。
【0468】
EalfEnableFlagが1である場合、ビットストリームから輝度サンプルのi番目のグループのフィルタリング係数AlfCoeffLuma[i][j](i=0~alf_filter_num_minus1、j=0~13)を解析する。係数AlfCoeffLuma[i][14](即ち
図4Aに示すフィルタにおけるC14)に対して以下の処理を行う。
【数8】
【0469】
式中のAlfCoeffLuma[i][j](j=0~13)のビット幅は7ビットであり、値の範囲は-64~63であり、上記したように処理されたAlfCoeffLuma[i][14]の値の範囲は0~127である。
【0470】
22.1.2、alf_region_distance[i](i>1)に基づいて輝度成分適応的補正フィルタリング係数インデックスアレイ(alfCoeffIdxTab[FilterNum]と記す)を得る。
count=0
alfCoeffIdxTab[0]=0
for(i=1;i<alf_filter_num_minus1+1;i++){
for(j=0;j<alf_region_distance[i]-1;j++){
alfCoeffIdxTab[count+1]=alfCoeffIdxTab[count]
count=count+1
}
alfCoeffIdxTab[count+1]=alfCoeffIdxTab[count]+1
count=count+1
}
for(i=count;i<FilterNum;i++){
alfCoeffIdxTab[i]=alfCoeffIdxTab[count]
【0471】
22.1.3、EalfEnableFlagが0である場合、ビットストリームから色度サンプルのフィルタリング係数AlfCoeffChroma[0][j]及びAlfCoeffChroma[1][j](j=0~7)を解析する。係数AlfCoeffChroma[0][8]及びAlfCoeffChroma[1][8](即ち
図9に示すフィルタにおけるC8)に対してそれぞれ以下の処理を行う。
【数9】
【0472】
式中のAlfCoeffChroma[i][j](j=0~7)のビット幅は7ビットであり、値の範囲は-64~63であり、上記したように処理されたAlfCoeffChroma[i][8]の値の範囲は0~127である。
【0473】
EalfEnableFlagが1である場合、ビットストリームから色度サンプルのフィルタリング係数AlfCoeffChroma[0][j]及びAlfCoeffChroma[1][j](j=0~13)を解析する。係数AlfCoeffChroma[0][14]及びAlfCoeffChroma[1][14](即ち
図4Aに示すフィルタにおけるC14)に対してそれぞれ以下の処理を行う。
【数10】
【0474】
式中のAlfCoeffChroma[i][j](j=0~13)のビット幅は7ビットであり、値の範囲は-64~63であり、上記したように処理されたAlfCoeffChroma[i][14]の値の範囲は0~127である。
【0475】
適応的補正フィルタリングユニットを導出する
【0476】
現在の最大符号化ユニットに基づいて以下のステップに従って適応的補正フィルタリングユニット(
図5に示すものであってもよい)を導出する。
【0477】
22.2.1において、現在の最大符号化ユニットCが位置するサンプル領域の画像境界を越える部分を削除し、サンプル領域Dを得る。
【0478】
22.2.2において、サンプル領域Dの下境界が位置するサンプルが画像の下境界に属しない場合、輝度成分及び色度成分のサンプル領域Dの下境界を上向きに4行縮小してサンプル領域E1を得、それ以外の場合、サンプル領域E1をサンプル領域Dに等しくようにする。サンプル領域Dの最終行のサンプルは、領域E1の下境界である。
【0479】
22.2.3において、サンプル領域E1の上境界が位置するサンプルが画像の上境界に属する場合、又はパッチ境界に属し、且つcross_patch_loopfilter_enable_flagの値が「0」である場合、サンプル領域E2をサンプル領域E1に等しくようにし、それ以外の場合、輝度成分及び色度成分のサンプル領域E1の上境界を上向きに4行拡張してサンプル領域E2を得る。サンプル領域E1の1行目のサンプルは、領域E2の上境界である。
【0480】
22.2.4において、サンプル領域E2を現在の適応的補正フィルタリングユニットとする。画像の1行目のサンプルは、画像の上境界であり、最終行のサンプルは、画像の下境界である。
【0481】
輝度成分適応的補正フィルタリングユニットの適応的補正フィルタリング係数インデックスを決定する。
【0482】
EalfEnableFlagの値が0である場合、以下の方法に従って輝度成分適応的補正フィルタリングユニットの適応的補正フィルタリング係数インデックス(filterIdxと記す)を計算する。
xInterval=((((horizontal_size+(1<<LcuSizeInBit)-1)>>LcuSizeInBit)+1)>>2)<<LcuSizeInBit
yInterval=((((vertical_size+(1<<LcuSizeInBit)-1)>>LcuSizeInBit)+1)>>2)<<LcuSizeInBit
if(xInterval==0&&yInterval==0){
index=15
}
else if(xInterval==0){
index=Min(3,y/yInterval)*4+3
}
else if(yInterval==0){
index=Min(3,x/xInterval)+12
}
else{
index=Min(3,y/yInterval)*4+Min(3,x/xInterval)
}
filterIdx=alfCoeffIdxTab[regionTable[index]]
【0483】
ここで、(x,y)は、現在の適応的補正フィルタリングユニットの最大符号化ユニットの左上隅のサンプルの画像における座標を導出することであり、regionTableは以下のように定義される。
regionTable[16]={0,1,4,5,15,2,3,6,14,11,10,7,13,12,9,8}
【0484】
EalfEnableFlagの値が1である場合、以下の方法に従って現在の輝度成分適応的補正フィルタリングユニットの適応的補正フィルタリング係数インデックス(filterIdxと記す)を計算する。
lcu_width=1<<LcuSizeInBit
lcu_height=1<<LcuSizeInBit
y_interval=((((vertical_size+lcu_height-1)/lcu_height)+4)/8*lcu_height)
x_interval=((((horizontal_size+lcu_width-1)/lcu_width)+4)/8*lcu_width)
if(yInterval==0){
y_st_offset=0
}
else{
y_cnt=Clip3(0,8,(vertical_size+y_interval-1)/y_interval)
y_st_offset=vertical_size-y_interval*(y_cnt-1)
y_st_offset=(y_st_offset+lcu_height/2)/lcu_height*lcu_height
}
if(xInterval==0){
x_st_offset=0
}
else{
x_cnt=Clip3(0,8,(horizontal_size+x_interval-1)/x_interval)
x_st_offset=horizontal_size-x_interval*(x_cnt-1)
x_st_offset=(x_st_offset+lcu_width/2)/lcu_width*lcu_width
}
y_index=(y_interval==0)?7:Clip3(0,7,y/y_interval)
y_index_offset=y_index<<3
y_index2=(y_interval==0||y<y_st_offset)?0:Clip3(-1,6,(y-y_st_offset)/y_interval)+1
y_index_offset2=y_index2<<3
x_index=(x_interval==0)?7:Clip3(0,7,x/x_interval)
x_index2=(x_interval==0||x<x_st_offset)?0:Clip_post(-1,6,(x-x_st_offset)/x_interval)+1
if(AlfRegionOrderIndex==0){
filterIdx=alfCoeffIdxTab[regionTable[0][y_index_offset+x_index]]
}
else if(AlfRegionOrderIndex==1)
filterIdx=alfCoeffIdxTab[regionTable[1][y_index_offset+x_index2]]
}
else if(AlfRegionOrderIndex==2)
filterIdx=alfCoeffIdxTab[regionTable[2][y_index_offset2+x_index2]]
}
else if(AlfRegionOrderIndex==3)
filterIdx=alfCoeffIdxTab[regionTable[3][y_index_offset2+x_index]]
}
【0485】
ここで、(x,y)は、導出された現在の適応的補正フィルタリングユニットの最大符号化ユニットの左上隅のサンプルの画像における座標であり、regionTableは以下のように定義される。
regionTable[4][64]={
{63,60,59,58,5,4,3,0,62,61,56,57,6,7,2,1,49,50,55,54,9,8,13,14,48,51,52,53,10,11,12,15,47,46,33,32,31,30,17,16,44,45,34,35,28,29,18,19,43,40,39,36,27,24,23,20,42,41,38,37,26,25,22,21},
{42,43,44,47,48,49,62,63,41,40,45,46,51,50,61,60,38,39,34,33,52,55,56,59,37,36,35,32,53,54,57,58,26,27,28,31,10,9,6,5,25,24,29,30,11,8,7,4,22,23,18,17,12,13,2,3,21,20,19,16,15,14,1,0},
{21,22,25,26,37,38,41,42,20,23,24,27,36,39,40,43,19,18,29,28,35,34,45,44,16,17,30,31,32,33,46,47,15,12,11,10,53,52,51,48,14,13,8,9,54,55,50,49,1,2,7,6,57,56,61,62,0,3,4,5,58,59,60,63},
{0,1,14,15,16,19,20,21,3,2,13,12,17,18,23,22,4,7,8,11,30,29,24,25,5,6,9,10,31,28,27,26,58,57,54,53,32,35,36,37,59,56,55,52,33,34,39,38,60,61,50,51,46,45,40,41,63,62,49,48,47,44,43,42}}
適応的補正フィルタリング操作
【0486】
現在の適応的補正フィルタリングユニットの左境界外は画像境界であり、又はパッチ境界外に位置し且つCplfEnableFlagの値が0である場合、左境界外は存在せず、それ以外の場合、左境界外領域は、現在の適応的補正フィルタリングユニットを3つのサンプルポイント左にシフトした位置から現在の適応レベリングフィルタリングユニットまでの領域である。
【0487】
現在の適応的補正フィルタリングユニットの右境界外は画像境界であり、又はパッチ境界外に位置し且つCplfEnableFlagの値が0である場合、右境界外は存在せず、それ以外の場合、右境界外領域は、現在の適応的補正フィルタリングユニットを3つのサンプルポイント右にシフトした位置から現在の適応レベリングフィルタリングユニットまでの領域である。
【0488】
例示的に、境界領域は左境界外領域及び右境界外領域を含む。
【0489】
AlfLCUEnableFlag[compIdx][LcuIndex]が1である場合、compIdx成分に対して適応的補正フィルタリングを行い、そうではない場合、適応的補正フィルタリングを行わない。
【0490】
EalfEnableFlagが0である場合、適応的補正フィルタリングプロセスに用いられるサンプルが適応的補正フィルタリングユニット内のサンプルである場合、当該サンプルを直接用いてフィルタリングを行い、適応的補正フィルタリングプロセスに用いられるサンプルが適応的補正フィルタリングユニット内のサンプルに属しない場合、以下の方法に従ってフィルタリングを行う。
【0491】
22.3.1、当該サンプルが画像境界外に位置する場合、又はパッチ境界外に位置し且つCplfEnableFlagの値が0である場合、当該サンプルの代わりに、適応的補正フィルタリングユニットのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0492】
22.3.2、当該サンプルが適応的補正フィルタリングユニットの上境界外又は下境界外に位置する場合、当該サンプルの代わりに、適応的補正フィルタリングユニットにのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0493】
22.3.3、22.3.1の条件と22.3.2の条件のいずれも満たさない場合、当該サンプルを用いてフィルタリングを行う。
【0494】
例示的に、適応的補正フィルタリングユニットの輝度成分の適応的補正フィルタリング操作は以下のとおりである。
ptmp=AlfCoeffLuma[filterIdx][8]*p(x,y)
for(j=0;j<8;j++){
ptmp+=AlfCoeffLuma[filterIdx][j]*(p(x-Hor[j],y-Ver[j])+p(x+Hor[j],y+Ver[j])
}
ptmp=(ptmp+32)>>6
p’(x,y)=Clip3(0,(1<<BitDepth)-1,ptmp)
【0495】
ここで、p(x,y)はオフセット後サンプルであり、p’(x,y)は再構成サンプルであり、Hor[j]及びVer[j](j=0~7)である。
【0496】
例示的に、適応的補正フィルタリングユニットの色度成分の適応的補正フィルタリング操作は以下のとおりである。
ptmp=AlfCoeffChroma[i][8]*p(x,y)
for(j=0;j<8;j++){
ptmp+=AlfCoeffChroma[i][j]*(p(x-Hor[j],y-Ver[j])+p(x+Hor[j],y+Ver[j])
}
ptmp=(ptmp+32)>>6
p’(x,y)=Clip3(0,(1<<BitDepth)-1,ptmp)
【0497】
ここで、p(x,y)はオフセット後サンプルであり、p’(x,y)は再構成サンプルであり、Hor[j]及びVer[j](j=0~7)であり、表1に示すものであってもよい。
【表5】
【0498】
EalfEnableFlagが1である場合、適応的補正フィルタリングプロセスに用いられるサンプルが適応的補正フィルタリングユニット内のサンプルである場合、当該サンプルを直接用いてフィルタリングを行い、適応的補正フィルタリングプロセスに用いられるサンプルが適応的補正フィルタリングユニット内のサンプルに属しない場合、以下の方法に従ってフィルタリングを行う。
【0499】
22.4.1、当該サンプルが画像境界外に位置する場合、又はパッチ境界外に位置し且つCplfEnableFlagの値が0である場合、
【0500】
22.4.1.1、
図4Aに示すフィルタを例として、当該サンプルはフィルタ形状のC1、C2、C6、C4、C5又はC10位置に対応する場合、当該サンプルの代わりに、適応的補正フィルタリングユニット及び境界領域のうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0501】
22.4.1.2、そうではない場合、当該サンプルの代わりに、適応的補正フィルタリングユニットのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0502】
22.4.2、当該サンプルが適応的補正フィルタリングユニットの上境界外又は下境界外に位置する場合、
【0503】
22.4.2.1、
図4Aに示すフィルタを例として、当該サンプルはフィルタ形状のC1、C2、C6、C4、C5又はC10位置に対応する場合、当該サンプルの代わりに、適応的補正フィルタリングユニット及び境界領域のうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0504】
22.4.2.2、そうではない場合、当該サンプルの代わりに、適応的補正フィルタリングユニットのうち、当該サンプルから最も近いサンプルを用いてフィルタリングを行う。
【0505】
22.4.3、22.4.1の条件と22.4.2の条件のいずれも満たさない場合、当該サンプルを用いてフィルタリングを行う。
【0506】
例示的に、適応的補正フィルタリングユニットの輝度成分の適応的補正フィルタリング操作は以下のとおりである。
ptmp=AlfCoeffLuma[filterIdx][14]*p(x,y)
for(j=0;j<14;j++){
ptmp+=AlfCoeffLuma[filterIdx][j]*(p(x-Hor[j],y-Ver[j])+p(x+Hor[j],y+Ver[j])
}
ptmp=(ptmp+32)>>6
p’(x,y)=Clip3(0,(1<<BitDepth)-1,ptmp)
【0507】
ここで、表2に示すように、p(x,y)はオフセット後サンプルであり、p’(x,y)は再構成サンプルであり、Hor[j]及びVer[j](j=0~13)である。
【0508】
例示的に、適応的補正フィルタリングユニットの色度成分の適応的補正フィルタリング操作は以下のとおりである。
ptmp=AlfCoeffChroma[i][14]*p(x,y)
for(j=0;j<14;j++){
ptmp+=AlfCoeffChroma[i][j]*(p(x-Hor[j],y-Ver[j])+p(x+Hor[j],y+Ver[j])
}
ptmp=(ptmp+32)>>6
p’(x,y)=Clip3(0,(1<<BitDepth)-1,ptmp)
【表6】
(実施例23)
【0509】
まず、画像に対して固定領域分割を行ってもよく、固定領域分割の結果として、
図2に示すものであってもよく、各領域のインデックス値を得る。そのうちの各領域については、
図15Aに示すような8種類の分割を行うことが考えられ、或いは、
図15Bに示すように、
図15Aに示す分割方法の一部を残してもよい。
【0510】
各領域について、符号化デバイスはRDO決定に基づいて、最終的な分割方法を決定し、各領域の分割方法をビットストリームで復号デバイスに伝送してもよい。例示的に、
図15Aにおける最後の分割方法を例とする。最大で16個の固定分割方法で得られた領域を64個の領域に分割することができる。
【0511】
復号フローでは、復号デバイスはまず固定的な領域分割を行い、続いてビットストリームから各領域の具体的な分割方法を読み取り、フレーム全体の最終的な分割方法を得てもよい。例示的に、
図15Aにおけるそれぞれの分割方法については、分割後の領域番号は
図15Cに示すものであってもよい。例示的に、Jの値は1つ前の領域の最大値インデックス値+1である。
(実施例24)
【0512】
固定領域分割の最小ユニットがLCUであることを例として、画像の解像度が小さい場合、ある領域に番号のみが残され、領域内に画像情報が含まれない場合がある。このような場合、固定領域分割結果が決定された後、具体的にどのクラスに画像情報が存在しないかを決定してもよい。
【0513】
例示的に、画像の幅及び高さに含まれるLCUの数に基づいて決定してもよい。固定領域が固定された4*4領域に分割された場合、各領域インデックスは
図2に示すように、幅又は高さにおけるLCUの数が4未満である場合、ある列又は行における領域が画像情報を含まない場合がある。全てのこれらの画像情報を含まない領域をセットGと記す。セットGの大きさをN7とし、N7は正の整数である。
【0514】
全てのインデックス値のうちのいずれかのインデックス値iについては、
【0515】
24.1、iがセットGにおけるいずれかの要素に等しい場合、i=0であり、
【0516】
24.2、iがセットGにおけるいずれかの要素に等しくない場合、iがセットGにおけるn個の要素より大きい場合、i=i-kで、k≦N7である。
【0517】
上記実施例は本発明の実施例の実現形態の具体例に過ぎず、本発明の保護範囲を限定するものではなく、上記実施例に基づき、実施例の間の組み合わせにより、又は実施例を変形し、新たな実施例を得ることができ、それはいずれも本発明の保護範囲に属する。
【0518】
また、上記各実施例の符号化側と復号側の実現フローは互いに参照することができる。
【0519】
以上、本発明により提供される方法について説明した。以下、本発明の実施例により提供される装置について説明する。
【0520】
本発明の実施例は、符号化/復号デバイスに適用されるフィルタリング装置を提供し、前記装置はフィルタリングユニットを含み得、当該フィルタリングユニットは、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定し、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、第1のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行い、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、第2のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うために用いられる。ここで、前記第1のフィルタが7*7十字形+5*5正方形の中心対称フィルタであり、前記第2のフィルタが7*7十字形+3*3正方形の中心対称フィルタである。
【0521】
1つの可能な実現形態では、前記フィルタリングユニットはさらに、現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対して適応的補正フィルタリングを行うプロセスにおいて、前記現在のフィルタリング画素のいずれかの参照画素について、当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置する場合、当該参照画素の画素値を用いて適応的補正フィルタリングを行い、当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置しない場合、当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、前記現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、当該参照画素の画素値を取得した場合に、当該参照画素の画素値を用いて適応的補正フィルタリングを行うために用いられる。
【0522】
1つの可能な実現形態では、当該参照画素の画素値が取得できない前記場合は、当該参照画素が現在の画像フレームの画像境界外に位置することと、当該参照画素が現在のパッチのパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、当該参照画素が前記現在の適応的補正フィルタリングユニットの上境界外に位置することと、当該参照画素が前記現在の適応的補正フィルタリングユニットの下境界外に位置することと、の1つを含む。
【0523】
1つの可能な実現形態では、前記フィルタリングユニットはさらに、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行うために用いられる。
【0524】
1つの可能な実現形態では、前記フィルタリングユニットが前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定することは、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットの値を決定し、前記フラグビットの値が第1の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、前記フラグビットの値が第2の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定することを含む。
【0525】
1つの可能な実現形態では、前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットはEalfEnableFlagであり、前記EalfEnableFlagの値は前記復号デバイスから導出され、又は前記復号デバイスにおいてビットストリームから前記EalfEnableFlagの値を取得し、又は前記EalfEnableFlagの値は定数値である。
【0526】
1つの可能な実現形態では、前記復号デバイスにおいてビットストリームから前記EalfEnableFlagの値を取得することは、前記ビットストリームから解析して得られた拡張適応的補正フィルタリング許可フラグの値に基づいて前記EalfEnableFlagの値を決定することを含み、前記拡張適応的補正フィルタリング許可フラグはシーケンスレベルパラメータである。
【0527】
図16を参照し、
図16は本発明の実施例により提供されるフィルタリング装置の構造を示す概略図であり、当該フィルタリング装置は符号化/復号デバイスに適用されてもよく、当該装置はフィルタリングユニット1610を含み得、当該フィルタリングユニット1610は、現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対してALFフィルタリングを行うプロセスにおいて、前記現在のフィルタリング画素のいずれかの参照画素について、当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置する場合、当該参照画素の画素値を用いて適応的補正フィルタリングを行い、当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置しない場合、当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、前記現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いてフィルタリングを行い、当該参照画素の画素値を取得した場合に、当該参照画素の画素値を用いてフィルタリングを行うために用いられる。
【0528】
1つの可能な実施形態では、当該参照画素の画素値が取得できない場合は、当該参照画素が現在の画像フレームの画像境界外に位置することと、現在のパッチのパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、前記現在の適応的補正フィルタリングユニットの上境界外又は下境界外に位置することと、の1つを含む。
【0529】
図17を参照し、
図17は本発明の実施例により提供されるフィルタリング装置の構造を示す概略図であり、ここで、当該フィルタリング装置は符号化/復号デバイスに適用されてもよく、当該装置はフィルタリングユニット1710を含み得、当該フィルタリングユニット1710は、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定し、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、第1のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行い、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、第2のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うために用いられる。ここで、前記第1のフィルタが7*7十字形+5*5正方形の中心対称フィルタであり、前記第2のフィルタが7*7十字形+3*3正方形の中心対称フィルタである。
【0530】
1つの可能な実施形態では、前記フィルタリングユニット1710が前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定することは、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットの値を決定し、前記フラグビットの値が第1の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、前記フラグビットの値が第2の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定することを含む。
【0531】
1つの可能な実施形態では、前記フィルタリングユニット1710はさらに、現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対して適応的補正フィルタリングを行うプロセスにおいて、前記現在のフィルタリング画素のいずれかの参照画素について、当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置する場合、当該参照画素の画素値を用いて適応的補正フィルタリングを行い、当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置しない場合、当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、前記現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、当該参照画素の画素値を取得した場合に、当該参照画素の画素値を用いて適応的補正フィルタリングを行うために用いられる。
【0532】
1つの可能な実施形態では、当該参照画素の画素値が取得できない場合は、当該参照画素が現在の画像フレームの画像境界外に位置することと、現在のパッチのパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、前記現在の適応的補正フィルタリングユニットの上境界外又は下境界外に位置することと、の1つを含む。
【0533】
1つの可能な実施形態では、前記フィルタリングユニット1710はさらに、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための画素位置の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行うために用いられる。
【0534】
図18を参照し、
図18は本発明の実施例により提供される復号デバイスのハードウェア構造を示す概略図である。当該復号デバイスはプロセッサ1801と、機械実行可能命令が記憶されている機械可読記憶媒体1802とを含み得る。プロセッサ1801と機械可読記憶媒体1802とはシステムバス1803を介して通信することができる。また、プロセッサ1801は、機械可読記憶媒体1802におけるフィルタリング制御ロジックに対応する機械実行可能命令を読み取って実行することにより、上述した復号デバイスに適用されるフィルタリング方法を実行することができる。
【0535】
本明細書に言及される機械可読記憶媒体1802はいずれかの電子、磁性、光学又は他の物理的記憶装置であってもよく、実行可能なコマンド、データなどの情報を含む又は記憶することができる。例えば、機械可読記憶媒体は、例えば、RAM(Radom Access Memory、ランダムアクセスメモリ)、揮発性メモリ、不揮発性メモリ、フラッシュメモリ、記憶ドライブ(ハードディスクドライブなど)、ソリッドステートドライブ、任意のタイプの記憶ディスク(光ディスク、dvdなど)、又は類似の記憶媒体、又は、これらの組み合わせなどが挙げられる。
【0536】
いくつかの実施例では、機械実行可能命令が記憶されている機械可読記憶媒体をさらに提供し、前記機械実行可能命令は、プロセッサによって実行されると、復号デバイスに適用される上記フィルタリング方法が実現される。例えば、前記機械可読記憶媒体はROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ記憶デバイスなどであってもよい。
【0537】
図19を参照し、
図19は本発明の実施例により提供される符号化デバイスのハードウェア構造を示す概略図である。当該符号化デバイスはプロセッサ1901と、機械実行可能命令が記憶されている機械可読記憶媒体1902とを含み得る。プロセッサ1901と機械可読記憶媒体1902とはシステムバス1903を介して通信することができる。また、プロセッサ1901は、機械可読記憶媒体1902におけるフィルタリング制御ロジックに対応する機械実行可能命令を読み取って実行することにより、上述した符号化デバイスに適用されるフィルタリング方法を実行することができる。
【0538】
本明細書に言及される機械可読記憶媒体1902はいずれかの電子、磁性、光学又は他の物理的記憶装置であってもよく、実行可能なコマンド、データなどの情報を含む又は記憶することができる。例えば、機械可読記憶媒体は、例えば、RAM(Radom Access Memory、ランダムアクセスメモリ)、揮発性メモリ、不揮発性メモリ、フラッシュメモリ、記憶ドライブ(ハードディスクドライブなど)、ソリッドステートドライブ、任意のタイプの記憶ディスク(光ディスク、dvdなど)、又は類似の記憶媒体、又は、これらの組み合わせなどが挙げられる。
【0539】
いくつかの実施例では、機械実行可能命令が記憶されている機械可読記憶媒体をさらに提供し、前記機械実行可能命令は、プロセッサによって実行されると、符号化デバイスに適用される上記フィルタリング方法が実現される。例えば、前記機械可読記憶媒体はROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ記憶デバイスなどであってもよい。
【0540】
いくつかの実施例では、上記いずれかの実施例のフィルタリング装置を含むカメラデバイスをさらに提供する。
【0541】
なお、本明細書において、第1及び第2等のような関係用語は1つのエンティティ又は操作を他のエンティティ又は操作と区別するために用いられるだけであり、必ずしもこれらのエンティティ又は操作の間にいかなる実際の関係又は順序が存在することを要求又は示唆するものではない。また、用語「含む」、「含有」又はそのいずれかの他の変形は、非排他的な含有を含むことを意図し、それにより一連の要素を含むプロセス、方法、物品又は装置はそれらの要素を含むだけでなく、また明確に列挙されていない他の要素も含み、又はこのようなプロセス、方法、物品又はデバイスの固有の要素も含む。より多くの制限がない場合、文「1つの…を含む」により限定された要素は、前記要素を含むプロセス、方法、物品又はデバイスにさらに他の同じ要素が存在することを排除するものではない。
【0542】
以上の記載は本発明の好適な実施例に過ぎず、本発明を限定するものではなく、本発明の精神と原則内で行われたいかなる補正、均等置換又は改善などは、いずれも本発明の保護範囲内に含まれるべきである。
【符号の説明】
【0543】
1610 フィルタリングユニット
1710 フィルタリングユニット
1801 プロセッサ
1802 機械可読記憶媒体
1803 システムバス
1901 プロセッサ
1902 機械可読記憶媒体
1903 システムバス
【手続補正書】
【提出日】2023-08-03
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0144
【補正方法】変更
【補正の内容】
【0144】
決定されたフィルタリング係数に基づいてALFフィルタリングを行うとき、全てのフィルタリング係数のそれぞれと対応位置の参照画素との積の和に基づいて、フィルタリング後の画素値を得る必要があるため、上記比率は、対称位置のフィルタリング係数同士の比率としてもよく、又は、対称位置のフィルタリング係数に対応する参照画素の画素値がALFフィルタリング計算に参与するときの重みの比率(重み比率とも呼ばれる)としてもよく、即ち、上記非対称フィルタとは、対称位置のフィルタリング係数が異なり、又は、対称位置のフィルタリング係数に対応する参照画素の画素値がALFフィルタリング計算に参与するときの重みが異なることを意味する。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0255
【補正方法】変更
【補正の内容】
【0255】
決定されたフィルタリング係数に基づいてALFフィルタリングを行うとき、全てのフィルタリング係数のそれぞれと対応位置の参照画素との積の和に基づいて、フィルタリング後の画素値を得る必要があるため、上記比率は、対称位置のフィルタリング係数同士の比率としてもよく、又は、対称位置のフィルタリング係数に対応する参照画素の画素値がALFフィルタリング計算に参与するときの重みの比率(重み比率とも呼ばれる)としてもよく、即ち、上記非対称フィルタとは、対称位置のフィルタリング係数が異なり、又は、対称位置のフィルタリング係数に対応する参照画素の画素値の重みが異なることを意味する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0308
【補正方法】変更
【補正の内容】
【0308】
決定されたフィルタリング係数に基づいてALFフィルタリングを行うとき、全てのフィルタリング係数のそれぞれと対応位置の参照画素との積の和に基づいて、フィルタリング後の画素値を得る必要がある。従って、上記比率は、対称位置のフィルタリング係数同士の比率としてもよく、又は、対称位置のフィルタリング係数に対応する参照画素の画素値がALFフィルタリング計算に参与するときの重みの比率(重み比率とも呼ばれる)としてもよく、即ち、上記非対称フィルタとは、対称位置のフィルタリング係数が異なり、又は、対称位置のフィルタリング係数に対応する参照画素の画素値の重みが異なることを意味する。
【手続補正4】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
符号化デバイス又は復号デバイスに適用されるフィルタリング方法であって、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定するステップと、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、第1のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行い、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、第2のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うステップと、を含み、
前記第1のフィルタが7*7十字形+5*5正方形の中心対称フィルタであり、前記第2のフィルタが7*7十字形+3*3正方形の中心対称フィルタである、
ことを特徴とするフィルタリング方法。
【請求項2】
現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対して適応的補正フィルタリングを行うプロセスにおいて、前記現在のフィルタリング画素のいずれかの参照画素について
、
当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置しない場合、
当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、前記現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、
当該参照画素の画素値を取得した場合に、当該参照画素の画素値を用いて適応的補正フィルタリングを行う、
ことを特徴とする請求項1に記載の方法。
【請求項3】
当該参照画素の画素値が取得できない場合は、
当該参照画素が現在の画像フレームの画像境界外に位置することと、
当該参照画素が現在のパッチのパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、
当該参照画素が前記現在の適応的補正フィルタリングユニットの上境界外に位置することと、
当該参照画素が前記現在の適応的補正フィルタリングユニットの下境界外に位置することと、の1つを含む、
ことを特徴とする請求項2に記載の方法。
【請求項4】
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行うことをさらに含む、
ことを特徴とする請求項2又は3に記載の方法。
【請求項5】
前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定するステップは、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットの値を決定するステップと、
前記フラグビットの値が第1の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、
前記フラグビットの値が第2の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定するステップと、を含む、
ことを特徴とする請求項1に記載の方法。
【請求項6】
符号化デバイス又は復号デバイスに適用されるフィルタリング装置であって、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定するためのフィルタリングユニットを含み、
前記フィルタリングユニットはさらに、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定した場合、第1のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行い、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定した場合、第2のフィルタを用いて前記現在の適応的補正フィルタリングユニットに対して適応的補正フィルタリングを行うために用いられ、
前記第1のフィルタが7*7十字形+5*5正方形の中心対称フィルタであり、前記第2のフィルタが7*7十字形+3*3正方形の中心対称フィルタである、
ことを特徴とするフィルタリング装置。
【請求項7】
前記フィルタリングユニットはさらに、現在の適応的補正フィルタリングユニット内の現在のフィルタリング画素に対して適応的補正フィルタリングを行うプロセスにおいて、前記現在のフィルタリング画素のいずれかの参照画素について、
当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置する場合、当該参照画素の画素値を用いて適応的補正フィルタリングを行い、
当該参照画素が前記現在の適応的補正フィルタリングユニット内に位置しない場合、
当該参照画素の画素値が取得できない場合に、当該参照画素の代わりに、前記現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、
当該参照画素の画素値を取得した場合に、当該参照画素の画素値を用いて適応的補正フィルタリングを行うために用いられる、
ことを特徴とする請求項
6に記載の装置。
【請求項8】
当該参照画素の画素値が取得できない場合は、
当該参照画素が現在の画像フレームの画像境界外に位置することと、
当該参照画素が現在のパッチのパッチ境界外に位置し、且つパッチ境界を越えたフィルタリングが許可されないことと、
当該参照画素が前記現在の適応的補正フィルタリングユニットの上境界外に位置することと、
当該参照画素が前記現在の適応的補正フィルタリングユニットの下境界外に位置することと、の1つを含む、
ことを特徴とする請求項
7に記載の装置。
【請求項9】
前記フィルタリングユニットはさらに、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行い、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定し、且つ現在の適応的補正フィルタリングユニットの適応的補正フィルタリングを行うための参照画素の画素値が取得できない場合、当該参照画素の代わりに、現在の適応的補正フィルタリングユニットのうち、当該参照画素の位置から最も近い画素を用いて適応的補正フィルタリングを行うために用いられる、
ことを特徴とする請求項
7又は
8に記載の装置。
【請求項10】
前記フィルタリングユニットが前記現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを決定することは、
現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可するか否かを示すためのフラグビットの値を決定し、
前記フラグビットの値が第1の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可すると決定し、
前記フラグビットの値が第2の値である場合、現在の適応的補正フィルタリングユニットが拡張適応的補正フィルタリングの使用を許可しないと決定することを含む、
ことを特徴とする請求項
6に記載の装置。
【請求項11】
プロセッサと、機械可読記憶媒体とを含み、前記機械可読記憶媒体には、前記プロセッサによって実行可能な機械実行可能命令が記憶されており、前記プロセッサは、請求項1~
5のいずれか一項に記載のフィルタリング方法を実施するように、機械実行可能命令を実行するために用いられる、
ことを特徴とする復号デバイス。
【請求項12】
プロセッサと、機械可読記憶媒体とを含み、前記機械可読記憶媒体には、前記プロセッサによって実行可能な機械実行可能命令が記憶されており、前記プロセッサは、請求項1~
5のいずれか一項に記載のフィルタリング方法を実施するように、機械実行可能命令を実行するために用いられる、
ことを特徴とする符号化デバイス。
【請求項13】
機械実行可能命令が記憶されている不揮発性記憶媒体であって、前記機械実行可能命令は、プロセッサによって実行されると、前記プロセッサに請求項1~
5のいずれか一項に記載のフィルタリング方法を実施させる、
不揮発性記憶媒体。
【請求項14】
請求項
6~
10のいずれか一項に記載のフィルタリング装置を含むカメラデバイス。
【国際調査報告】