特開 2022-190128 映像符号化／復号化方法及びそのための装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190128

(43)【公開日】2022-12-22

(54)【発明の名称】映像符号化／復号化方法及びそのための装置

(51)【国際特許分類】

   H04N 19/117 20140101AFI20221215BHJP

   H04N 19/157 20140101ALI20221215BHJP

   H04N 19/86 20140101ALI20221215BHJP

   H04N 19/186 20140101ALI20221215BHJP

   H04N 19/82 20140101ALI20221215BHJP

【ＦＩ】

H04N19/117

H04N19/157

H04N19/86

H04N19/186

H04N19/82

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022177296

(22)【出願日】2022-11-04

(62)【分割の表示】P 2019510414の分割

【原出願日】2017-08-21

(31)【優先権主張番号】62/377,671

(32)【優先日】2016-08-21

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】チャン ヒョンムン

(72)【発明者】

【氏名】ナム チョンハク

(57)【要約】

【課題】映像をデコードするための方法の提供。
【解決手段】方法は、分割構造に従って分割された映像内の輝度ブロック及び色彩ブロックの境界を導出する段階と、輝度ブロック及び色彩ブロックの境界の内のデブロッキングフィルタを適用するためのエッジを決定する段階と、輝度ブロックの幅又は高さに基づいて、輝度ブロックの決定されたエッジのためのデブロッキングフィルタのタイプを決定する段階と、色彩ブロックがイントラ予測ブロックであることに基づいて、色彩ブロックの決定されたエッジのためのデブロッキングフィルタのタイプを決定する段階と、決定されたエッジの周囲の復元サンプルにタイプが決定されたデブロッキングフィルタを適用する段階と、を含み、デブロッキングフィルタのタイプを決定する段階は、デブロッキングフィルタが適用される前の復元サンプルに基づいてデブロッキングフィルタのタイプを決定する段階を含む。
【選択図】図３４

【特許請求の範囲】

【請求項1】

復号化装置が映像をフィルタリングする方法において、
前記映像のブロックの境界の内のデブロッキングフィルタが適用されるエッジを決定する段階と、
前記ブロックの幅又は高さに基づいて、前記決定されたエッジのための前記デブロッキングフィルタのタイプを決定する段階と、
前記デブロッキングフィルタの前記タイプに基づいて、復元されたピクチャのサンプルに対してデブロッキングフィルタリングを実行する段階と、を含み、
前記デブロッキングフィルタの前記タイプは、前記デブロッキングフィルタが使用される前のピクセルに基づいて決定され、
色彩ブロックがイントラ予測ブロックであることに基づいて、前記デブロッキングフィルタが適用される前記エッジ、及び前記デブロッキングフィルタの前記タイプは、前記色彩ブロックに対して決定される、方法。

【請求項2】

前記エッジのタイプが垂直エッジである場合、前記幅が８以上であるブロックの境界の内でのみ、前記デブロッキングフィルタが適用される前記エッジが決定される、請求項１に記載の方法。

【請求項3】

前記エッジのタイプが水平エッジである場合、前記高さが８以上であるブロックの境界の内でのみ、前記デブロッキングフィルタが適用される前記エッジが決定される、請求項１に記載の方法。

【請求項4】

前記エッジのタイプが垂直エッジであり、前記ブロックの幅が４以下である場合、前記デブロッキングフィルタの前記タイプは、弱いフィルタに決定される、請求項１に記載の方法。

【請求項5】

前記エッジのタイプが水平エッジであり、前記ブロックの高さが４以下である場合、前記デブロッキングフィルタの前記タイプは、弱いフィルタに決定される、請求項１に記載の方法。

【請求項6】

前記エッジのタイプが垂直エッジであり、前記ブロックの幅が４以下である場合、前記デブロッキングフィルタの前記タイプは、強いフィルタに決定され、
前記強いフィルタは、前記エッジの左側及び右側の２つの隣接するピクセル列のみに使用される、請求項１に記載の方法。

【請求項7】

前記エッジのタイプが水平エッジであり、前記ブロックの高さが４以下である場合、前記デブロッキングフィルタの前記タイプは、強いフィルタに決定され、
前記強いフィルタは、前記エッジの上側及び下側の２つの隣接するピクセル列のみに使用される、請求項１に記載の方法。

【請求項8】

前記デブロッキングフィルタリングが使用される前に、ピクセルに基づいて、前記デブロッキングフィルタが適用される前記エッジが決定される、請求項１に記載の方法。

【請求項9】

映像をフィルタリングする復号化装置において、
前記映像のブロックの境界の内のデブロッキングフィルタが適用されるエッジを決定するエッジ決定部と、
前記ブロックの幅又は高さに基づいて、前記決定されたエッジのための前記デブロッキングフィルタのタイプを決定するフィルタリングタイプ決定部と、
前記デブロッキングフィルタの前記タイプに基づいて、復元されたピクチャのサンプルに対してデブロッキングフィルタリングを実行するフィルタリング部と、を含み、
前記デブロッキングフィルタの前記タイプは、前記デブロッキングフィルタが使用される前のピクセルに基づいて決定され、
色彩ブロックがイントラ予測ブロックであることに基づいて、前記デブロッキングフィルタが適用される前記エッジ、及び前記デブロッキングフィルタの前記タイプは、前記色彩ブロックに対して決定される、装置。

【請求項10】

符号化装置が映像をフィルタリングする方法において、
前記映像のブロックの境界の内のデブロッキングフィルタが適用されるエッジを決定する段階と、
前記ブロックの幅又は高さに基づいて、前記決定されたエッジのための前記デブロッキングフィルタのタイプを決定する段階と、
前記デブロッキングフィルタの前記タイプに基づいて、復元されたピクチャのサンプルに対してデブロッキングフィルタリングを実行する段階と、を含み、
前記デブロッキングフィルタの前記タイプは、前記デブロッキングフィルタが使用される前のピクセルに基づいて決定され、
色彩ブロックがイントラ予測ブロックであることに基づいて、前記デブロッキングフィルタが適用される前記エッジ、及び前記デブロッキングフィルタの前記タイプは、前記色彩ブロックに対して決定される、方法。

【請求項11】

映像のためのビットストリームを含むデータの送信の方法において、
前記映像のための前記ビットストリームを取得する段階と、
前記ビットストリームの前記データを送信する段階と、を含み、
前記ビットストリームは、
前記映像のブロックの境界の内のデブロッキングフィルタが適用されるエッジを決定する段階と、
前記ブロックの幅又は高さに基づいて、前記決定されたエッジのための前記デブロッキングフィルタのタイプを決定する段階と、
前記デブロッキングフィルタの前記タイプに基づいて、復元されたピクチャのサンプルに対してデブロッキングフィルタリングを実行する段階と、
を実行することによって生成され、
前記デブロッキングフィルタの前記タイプは、前記デブロッキングフィルタが使用される前のピクセルに基づいて決定され、
色彩ブロックがイントラ予測ブロックであることに基づいて、前記デブロッキングフィルタが適用される前記エッジ、及び前記デブロッキングフィルタの前記タイプは、前記色彩ブロックに対して決定される、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、静止映像または動映像の処理方法に関し、さらに詳細にはデブロッキング（ｄｅ－ｂｌｏｃｋｉｎｇ）フィルタリングを実行する方法と、これを支援する装置に関する。

【背景技術】

【0002】

圧縮符号化とは、デジタル化した情報を通信回線を介して送信したり、格納媒体に適した形態で格納するための一連の信号処理技術を意味する。画像、イメージ、音声等のメディアが圧縮符号化の対象になることができ、特に、画像を対象として圧縮符号化を行う技術をビデオ画像圧縮と称する。

【0003】

次世代ビデオコンテンツは、高解像度（ｈｉｇｈ ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）、高フレーム率（ｈｉｇｈ ｆｒａｍｅ ｒａｔｅ）、及び画像表現の高次元化（ｈｉｇｈ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ ｓｃｅｎｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ）という特徴を有するようになるであろう。そのようなコンテンツを処理するためには、メモリ格納（ｍｅｍｏｒｙ ｓｔｏｒａｇｅ）、メモリアクセス率（ｍｅｍｏｒｙ ａｃｃｅｓｓ ｒａｔｅ）、及び処理電力（ｐｒｏｃｅｓｓｉｎｇ ｐｏｗｅｒ）の側面で莫大な増加を有してくるであろう。

【0004】

したがって、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、クワッドツリーとバイナリツリー（ＱＴＢＴ：Quad-Tree Binary-Tree）構造において後フィルタ（またはインループフィルタ）を効果的に実行するための方法及びこれを支援する装置を提案する。

【0006】

また、本発明の目的は、明暗（輝度）成分だけでなく、色差成分で条件に応じてデブロッキングフィルタリングを適応的に適用する方法及びこれを支援する装置を提案する。

【0007】

本発明で解決しようとする技術的課題は、以上で言及した技術的課題に限定されるものではなく、言及しないまた他の技術的課題は、下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解されることができる。

【課題を解決するための手段】

【0008】

本発明の一様相は、復号化装置が映像をフィルタリングする方法において、クワッドツリー（quad-tree）とバイナリツリー（binary-tree）構造に分割されたブロックの境界を導出する段階と、前記ブロックの境界の内、デブロッキング（de-blocking）フィルタリングが適用されるエッジ（edge）を決定する段階と、前記エッジに適用されるデブロッキングフィルタリングのタイプを決定する段階及び、前記デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルにデブロッキングフィルタリングを実行する段階を含み、前記ブロックの幅（ｗｉｄｔｈ）または高さ（ｈｅｉｇｈｔ）を考慮して前記エッジ（ｅｄｇｅ）または前記デブロッキングフィルタリングのタイプが決定されることができる。

【0009】

本発明の他の一様相は、映像をフィルタリングする復号化装置において、クワッドツリー（ｑｕａｄ－ｔｒｅｅ）とバイナリツリー（ｂｉｎａｒｙ－ｔｒｅｅ）構造に分割されたブロックの境界を導出するブロック境界導出部、前記ブロックの境界の内、デブロッキング（ｄｅ－ｂｌｏｃｋｉｎｇ）フィルタリングが適用されるエッジ（ｅｄｇｅ）を決定するエッジ決定部と、前記エッジに適用されるデブロッキングフィルタリングのタイプを決定するフィルタリングのタイプ決定部及び、前記デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルにデブロッキングフィルタリングを実行するフィルタリング部とを含み、前記ブロックの幅（ｗｉｄｔｈ）または高さ（ｈｅｉｇｈｔ）を考慮して前記エッジまたは前記デブロッキングフィルタリングのタイプが決定されることができる。

【0010】

好ましくは、前記エッジのタイプが垂直エッジ（ｖｅｒｔｉｃａｌ ｅｄｇｅ）である場合、前記ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記エッジが決定されることができる。

【0011】

好ましくは、前記エッジのタイプが水平エッジ（ｈｏｒｉｚｏｎｔａｌ ｅｄｇｅ）である場合、前記ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記エッジが決定されることができる。

【0012】

好ましくは、前記エッジのタイプが垂直エッジ（ｖｅｒｔｉｃａｌ ｅｄｇｅ）である場合、前記ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記デブロッキングフィルタリングのタイプが決定されることができる。

【0013】

好ましくは、前記エッジのタイプが水平エッジ（ｈｏｒｉｚｏｎｔａｌ ｅｄｇｅ）である場合、前記ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記デブロッキングフィルタリングのタイプが決定されることができる。

【0014】

好ましくは、前記エッジのタイプが垂直エッジ（ｖｅｒｔｉｃａｌ ｅｄｇｅ）である場合、前記ブロックの幅が８以上のブロックの境界の内にのみ、前記エッジが決定されることができる。

【0015】

好ましくは、前記エッジのタイプが水平エッジである場合、前記ブロックの高さが８以上のブロックの境界の内にのみ、前記エッジが決定されることができる。

【0016】

好ましくは、前記エッジのタイプが垂直エッジである場合、前記ブロックの幅が４以下であれば、前記デブロッキングフィルタリングのタイプは、弱いフィルタリングに決定することができる。

【0017】

好ましくは、前記エッジのタイプが水平エッジである場合、前記ブロックの高さが４以下であれば、前記デブロッキングフィルタリングのタイプは、弱いフィルタリングに決定することができる。

【0018】

好ましくは、前記エッジのタイプが垂直エッジである場合、前記ブロックの幅が４以下であれば、前記デブロッキングフィルタリングのタイプは、強いフィルタリングで決定され、前記強いフィルタリングは、前記エッジの左側及び右側にそれぞれ隣接する２つのピクセル列にのみ適用することができる。

【0019】

好ましくは、前記エッジのタイプが水平エッジである場合、前記ブロックの高さが４以下であれば、前記デブロッキングフィルタリングのタイプは、強いフィルタリングで決定され、前記強いフィルタリングは、前記エッジの上側及び下側にそれぞれ隣接する２つのピクセル列にのみ適用することができる。

【0020】

好ましくは、デブロッキングフィルタリングが適用される前に、ピクセルに基づいて、前記エッジが決定されることができる。

【0021】

好ましくは、デブロッキングフィルタリングが適用される前に、ピクセルに基づいて、前記デブロッキングフィルタリングのタイプが決定されることができる。

【0022】

好ましくは、前記ブロックが属するスライスがイントラスライス（Ｉ－ｓｌｉｃｅ：Ｉｎｔｒａ ｓｌｉｃｅ）である場合、前記ブロックが色彩ブロック（ｃｈｒｏｍａ ｂｌｏｃｋ）かどうかとは無関係に、前記エッジ及び前記デブロッキングフィルタリングのタイプが決定されることができる。

【発明の効果】

【0023】

本発明の実施形態に係れば、ＱＴＢＴ構造でデブロッキングフィルタを効率的に適用することにより、静止映像または動映像の主観的画質と客観的画質を向上させることができる。

【0024】

また、本発明の実施形態に係れば、並列化を介してデブロッキングフィルタリングの高速化を達成することができる。

【0025】

本発明で得られる効果は、以上で言及した効果に制限されず、言及しないまた他の効果は以下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解される。

【図面の簡単な説明】

【0026】

本発明に関する理解を助けるために、詳細な説明の一部として含まれる添付図面は、本発明に対する実施形態を提供し、詳細な説明とともに本発明の技術的特徴を説明する。

【図1】図１は、本発明が適用される実施形態として、ビデオ信号のエンコードが行われるエンコーダの概略的なブロック図である。

【図2】図２は、本発明が適用される実施形態として、ビデオ信号のデコードが行われるデコーダの概略的なブロック図を示す図である。

【図3】図３は、本発明が適用される実施形態として、コーディングユニットの分割構造を説明するための図である。

【図4】図４は、本発明が適用される実施形態として、コーディングユニットの分割構造の内、クワッドツリーバイナリツリーを説明するための図である。

【図5】図５は、本発明が適用される実施形態として、インループフィルタリング部の概略的な内部ブロック図を示す。

【図6】図６は、ＨＥＶＣのデブロッキングフィルタのフィルタリングを実行する方法を例示する図である。

【図7】図７は、ＨＥＶＣのデブロッキングフィルタリングのフィルタリングの実行境界を例示する図である。

【図8】図８は、ＨＥＶＣのフィルタリングを実行するかどうかを決定する方法を説明するための図である。

【図9】図９は、ＨＥＶＣのデブロッキングフィルタリングが適用されるピクセル領域を例示する図である。

【図10】図１０は、本発明が適用される実施形態として、ＱＴＢＴ分割構造を例示する図である。

【図11】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図12】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図13】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図14】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図15】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図16】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図17】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図18】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図19】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図20】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図21】図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【図22】図２２は、本発明の一実施形態に係るデブロッキングフィルタの種類を決定するための方法を例示する図である。

【図23】図２３は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【図24】図２４は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【図25】図２５は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【図26】図２６は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【図27】図２７は、本発明の一実施形態に係る強いフィルタリング方法を例示する図である。

【図28】図２８は、本発明の一実施形態に係る強いフィルタリング方法を例示する図である。

【図29】図２９は、垂直エッジ（vertical edge）フィルタリング時に横の長さが４以下のブロックでフィルタリングの実行結果を例示する図である。

【図30】図３０は、本発明の一実施形態に係るフィルタリングを実行するかどうか、及びフィルタの選択方法を例示する図である。

【図31】図３１は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【図32】図３２は、ＱＴＢＴブロック分割構造でＨＥＶＣデブロッキングフィルタリングを同様に適用する時に発生する問題点を説明するための図である。

【図33】図３３は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【図34】図３４は、本発明の一実施形態に係るデブロッキングフィルタリング処理部を例示する図である。

【図35】図３５は、本発明の一実施形態に係るデブロッキングフィルタリング処理部を例示する図である。

【発明を実施するための形態】

【0027】

以下、本発明に係る好ましい実施形態を添付された図面を参照して詳細に説明する。添付された図面とともに以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとするものであり、本発明が実施され得る唯一の実施形態を表そうとするものではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかしながら、当業者は、本発明がこのような具体的な細部事項がなくとも実施され得ることが分かる。

【0028】

いくつかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図形式で図示されることができる。

【0029】

合わせて、本発明で使用される用語は、なるべく現在広く使用される一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には、当該部分の詳細説明でその意味を明確に記載するので、本発明の説明で使用された用語の名称だけで単純に解釈されてはならず、その当該用語の意味まで把握して解釈されなければならないことを明かしておく。

【0030】

以下の説明で使用される特定用語等は、本発明の理解を助けるために提供されたものにおいて、このような特定用語の使用は、本発明の技術的思想を逸脱しない範囲で他の形態に変更されることができる。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適宜代替されて解釈され得るであろう。

【0031】

以下、本明細書において「ブロック」または「ユニット」は、予測、変換及び／又は量子化などのようなエンコード／デコードの過程が行われる単位を意味し、サンプル（または、ピクセル、ピクセル）の多次元配列で構成されることができる。

【0032】

「ブロック」または「ユニット」は、輝度（ｌｕｍａ）成分に対するサンプルの多次元配列を意味することができ、色差（ｃｈｒｏｍａ）成分に対するサンプルの多次元配列を意味することもできる。また、輝度（ｌｕｍａ）成分に対するサンプルの多次元配列と色差（ｃｈｒｏｍａ）成分に対するサンプルの多次元配列とを全て含むように総称することもできる。

【0033】

例えば、「ブロック」または「ユニット」は、エンコード／デコードの実行対象になるサンプルの配列を意味するコーディングブロック（ＣＢ：Ｃｏｄｉｎｇ Ｂｌｏｃｋ）、複数のコーディングブロックで構成されるコーディングツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）、同じ予測が適用されるサンプルの配列を意味する予測ブロック（ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）（または、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ））、同じ変換が適用されるサンプルの配列を意味する変換ブロック（ＴＢ：Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）（または、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ））を全て含む意味と解釈されることができる。

【0034】

また、本明細書で別の言及がない限り、「ブロック」または「ユニット」は、輝度（ｌｕｍａ）成分及び／又は色差（ｃｈｒｏｍａ）成分に対するサンプルの配列をエンコード／デコードする過程で利用されるシンタックス構造（ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ）を含む意味と解釈されることができる。ここで、シンタックス構造は、特定の順序でビットストリーム内に存在する０またはそれ以上のシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を意味し、シンタックス要素は、ビットストリーム内で表現されるデータの要素を意味する。

【0035】

例えば、「ブロック」または「ユニット」は、コーディングブロックＣＢと当該コーディングブロックＣＢのエンコードのために利用されるシンタックス構造を含むコーディングユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）、複数のコーディングユニットで構成されるコーディングツリーユニット（ＣＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、予測ブロックＰＢと当該予測ブロックＰＢの予測のために利用されるシンタックス構造を含む予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、変換ブロックＴＢと当該変換ブロックＴＢの変換のために利用されるシンタックス構造を含む変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）を全て含む意味と解釈されることができる。

【0036】

また、本明細書で「ブロック」または「ユニット」は、必ずしも正方形または長方形の形態のサンプル（または、ピクセル、ピクセル）の配列に限定されるものではなく、３個以上の頂点を有する多角形の形態のサンプル（または、ピクセル、ピクセル）の配列を意味することもできる。この場合、ポリゴン（Ｐｏｌｙｇｏｎ）ブロックまたはポリゴンユニットと呼ばれることもできる。

【0037】

図１は、本発明が適用される実施形態として、ビデオ信号のエンコードが行われるエンコーダの概略的なブロック図を示す。

【0038】

図１を参照すると、エンコーダ１００は、映像分割部１１０、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャバッファ（ＤＰＢ：Decoded picture Buffer）１７０、インター予測部１８０、イントラ予測部１８５及びエントロピーエンコード部１９０を含んで構成されることができる。

【0039】

映像分割部１１０は、エンコーダ１００に入力された入力映像（または、ピクチャ、フレーム）を１つ以上の処理ユニットに分割することができる。例えば、前記の処理ユニットは、コーディングツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）で有り得る。

【0040】

エンコーダ１００は、入力映像信号からインター予測部１８０またはイントラ予測部１８５から出力された予測信号を減算して残りの信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を生成することができ、生成された残りの信号は、変換部１２０に伝送される。

【0041】

変換部１２０は、残りの信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成することができる。たとえば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－ＬｏｅｖｅＴｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）の内、少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとしたときに、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもあり、正方形ではない可変サイズのブロックにも適用することができる。

【0042】

量子化部１３０は、変換係数を量子化してエントロピーエンコード部１９０に伝送し、エントロピーエンコード部１９０は、量子化された信号をエントロピーエンコードしてビットストリームに出力することができる。

【0043】

量子化部１３０から出力された量子化された信号は、予測信号を生成するために利用されることがある。例えば、量子化された信号は、ループ内の逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、残りの信号を復元することができる。復元された残りの信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号に加えることで復元信号が生成されることができる。

【0044】

フィルタリング部１６０は、復元信号にフィルタリングを適用して、これを再生装置に出力したり、復号ピクチャバッファ１７０に伝送する。復号ピクチャバッファ１７０に伝送されたフィルタリングされた信号は、インター予測部１８０から参照ピクチャとして使用することができる。このように、フィルタリングされたピクチャを画面間予測モードで参照ピクチャとして利用することにより、画質だけでなく、符号化効率も向上させることができる。

【0045】

復号ピクチャバッファ１７０は、フィルタリングされたピクチャをインター予測部１８０からの参照ピクチャとして使用するために格納することができる。

【0046】

インター予測部１８０は、復元ピクチャを参照して時間的重複性及び／または空間的重複性を除去するために時間的予測、及び／または空間的予測を行う。このとき、インター予測モードで伝送される動き情報の量を減らすために周囲のブロックと現在のブロックの間の動き情報の相関性に基づいて動き情報を予測することができる。

【0047】

イントラ予測部１８５は、現在符号化を進行しようとするブロックの周辺にあるサンプルを参照して、現在のブロックを予測することができる。前記イントラ予測部１８５は、イントラ予測を実行するために、次のような過程を実行することができる。まず、予測信号を生成するために必要な参照サンプルを準備することができる。そして、準備された参照サンプルを用いて予測信号を生成することができる。以後、予測モードを符号化することになる。このとき、参照サンプルは、参照サンプルパディング及び／または参照サンプルのフィルタリングを介して準備することができる。参照サンプルは、予測及び復元の過程を経たため、量子化誤差が存在することができる。したがって、このようなエラーを減らすためにイントラ予測に利用される各予測モードに対して参照サンプルのフィルタリング過程が実行されることができる。

【0048】

前記インター予測部１８０または前記イントラ予測部１８５を介して生成された予測信号は、復元信号を生成するために利用されるか、または残りの信号を生成するために用いることができる。

【0049】

図２は、本発明が適用される実施形態として、ビデオ信号のデコードが行われるデコーダの概略的なブロック図を示す。

【0050】

図２を参照すると、デコーダ２００は、エントロピーデコード部２１０、逆量子化部２２０）、逆変換部２３０、フィルタリング部２４０、復号ピクチャバッファ（DPB：Decoded picture Buffer Unit）２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成されることができる。

【0051】

そして、デコーダ２００を介して出力された復元映像信号は、再生装置を介して再生することができる。

【0052】

デコーダ２００は、図１のエンコーダ１００から出力された信号を受信することができ、受信された信号は、エントロピーデコード部２１０を介して、エントロピーデコードすることができる。

【0053】

逆量子化部２２０においては、量子化段階サイズ情報を用いて、エントロピーデコードされた信号から変換係数（transform coefficient）を獲得する。

【0054】

逆変換部２３０では、変換係数を逆変換して残りの信号を獲得することになる。

【0055】

獲得された残りの信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号に加えることで復元信号が生成される。

【0056】

フィルタリング部２４０は、復元信号にフィルタリングを適用して、これを再生装置に出力したり、復号ピクチャバッファ部２５０に伝送する。復号ピクチャバッファ部２５０に伝送されたフィルタリングされた信号は、インター予測部２６０から参照ピクチャとして使用することができる。

【0057】

本明細書において、エンコーダ１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施形態は、それぞれデコーダのフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも同様に適用することができる。

【0058】

映像分割（image patitioning）

【0059】

図３は、本発明が適用される実施形態として、コーディングユニットの分割構造を説明するための図である。

【0060】

エンコーダは、一つの映像（またはピクチャ）を四角形の形のコーディングツリーユニット（ＣＴＵ：Coding Tree Unit）単位に分割することができる。そして、ラスタースキャン順（ｒａｓｔｅｒ ｓｃａｎ ｏｒｄｅｒ）に応じて１つのＣＴＵずつ順次エンコードする。

【0061】

一つのＣＴＵは、クワッドツリー（ｑｕａｄｔｒｅｅ、以下「ＱＴ」と称する）の構造に分解することができる。例えば、一つのＣＴＵは正方形の形を有しながら、各辺の長さが半分ずつ減少する４つのユニットに分割されることができる。このようなＱＴ構造の分解は、再帰的に実行されることができる。

【0062】

図３を参照すると、ＱＴのルートノード（ｒｏｏｔ ｎｏｄｅ）は、ＣＴＵと関連することができる。ＱＴはリーフノード（ｌｅａｆ ｎｏｄｅ）に到達するまで分割することができ、この時、前記リーフノードは、コーディングユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）と称することができる。

【0063】

図３を参照すると、ＣＴＵは、ルートノード（ｒｏｏｔ ｎｏｄｅ）に対応し、最小の深さ（ｄｅｐｔｈ）（即ち、レベル０）の値を有する。入力映像の特性に応じてＣＴＵが分割されないことがあり、この場合、ＣＴＵはＣＵに相当する。

【0064】

ＣＴＵはＱＴ形で分解されることができ、その結果、レベル１の深さを有する下位ノードが生成されることができる。そして、レベル１の深さを有する下位ノードでこれ以上分割されないノード（即ち、リーフノード）は、ＣＵに相当する。例えば、図３（ｂ）でノードａ、ｂ及びｊに対応するＣＵ（ａ）、ＣＵ（ｂ）、ＣＵ（ｊ）は、ＣＴＵで一度分割されており、レベル１の深さを有する。

【0065】

一つのＣＵに対して、当該ＣＵが分割されるかどうかを示す情報がデコーダに伝達されることができる。例えば、前記情報は、分割フラグとして定義することができ、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）「ｓｐｌｉｔ＿ＣＵ＿ｆｌａｇ」で表現されることができる。前記分割フラグはＳＣＵを除外したすべてのＣＵに含まれることができる。例えば、前記分割フラグの値が「１」であれば、当該ＣＵは再び４つのＣＵに分かれ、前記分割フラグの値が「０」であれば、そのＣＵは、これ以上分かれないで、そのＣＵのコーディング（符号化）過程が実行されることができる。

【0066】

先に図３の実施形態においては、ＣＵの分割過程について例に挙げて説明したが、変換を実行する基本単位である変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）の分割過程に対しても、前述したＱＴ構造を適用することができる。

【0067】

ＴＵはコーディングしようとするＣＵからＱＴ構造に階層的に分割することができる。たとえば、ＣＵは変換ユニット（ＴＵ）のツリーのルートノード（root node）に対応することがある。

【0068】

ＴＵはＱＴ構造に分割されるので、ＣＵから分割されたＴＵは再びさらに小さな下位ＴＵに分割されることができる。たとえば、ＴＵのサイズは３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４の内、いずれか１つに決まることがあるが、本発明はこれに限定されず、高解像度の映像である場合、ＴＵのサイズはさらに大きくなるか、多様化することがある。

【0069】

一つのＴＵに対して、当該ＴＵが分割されるかどうかを示す情報がデコーダに伝達されることができる。例えば、前記情報は、分割変換フラグとして定義されることができ、シンタックス要素「ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ」で表現されることができる。

【0070】

前記で説明したように、ＣＵは、イントラ予測またはインター予測が行われるコーディングの基本単位である。入力映像をより効果的にコーディングするためにＣＵを予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）単位に分割することができる。

【0071】

ＰＵは予測ブロックを生成する基本単位として、１つのＣＵ内でもＰＵ単位で互いに異なるように予測ブロックを生成することができる。ＰＵはＰＵが属するＣＵのコーディングモードでイントラ予測モードが使用されるかインター予測モードが使用されるかに応じて異なるように分割することができる。

【0072】

図４は、本発明が適用される実施形態として、コーディングユニットの分割構造の内、クワッドツリーバイナリツリーを説明するための図である。

【0073】

エンコーダは、一つの映像（またはピクチャ）を四角形の形のコーディングツリーユニット（ＣＴＵ：Coding Tree Unit）単位に分割することができる。そして、ラスタースキャン順（raster scan order）に応じて１つのＣＴＵずつ順次エンコードする。

【0074】

一つのＣＴＵは、クワッドツリー（ｑｕａｄｔｒｅｅ、以下「ＱＴ」と称する）の構造とバイナリツリー（ｂｉｎａｒｙｔｒｅｅ、以下ＢＴと称する）に分解されることができる。例えば、一つのＣＴＵは正方形の形を有しながら、各辺の長さが半分ずつ減少する４つのユニットに分割したり、長方形の形を有しながら、幅または高さの長さが半分ずつ減少する２つのユニットに分割することができる。このようなＱＴＢＴ構造の分解は、再帰的に実行されることができる。

【0075】

図４を参照すると、ＱＴのルートノード（ｒｏｏｔ ｎｏｄｅ）は、ＣＴＵと関連することができる。ＱＴはＱＴリーフノード（ＱＴ ｌｅａｆ ｎｏｄｅ）に到達するまで分割することができ、ＱＴのリーフノードは、ＢＴに分割することができ、ＢＴリーフノードに到達するまでに分割されることができる。

【0076】

図４を参照すると、ＣＴＵは、ルートノード（ｒｏｏｔ ｎｏｄｅ）に対応し、最小の深さ（ｄｅｐｔｈ）（つまり、レベル０）の値を有する。入力映像の特性に応じてＣＴＵが分割されないことがあり、この場合、ＣＴＵはＣＵに相当する。

【0077】

ＣＴＵはＱＴ形で分解されることがあり、ＱＴリーフノードはＢＴ形で分割されることができる。その結果、レベルｎの深さを有する下位ノードが生成されることができる。そして、レベルｎの深さを有するサブノードでこれ以上分割されないノード（つまり、リーフノード）は、ＣＵに相当する。

【0078】

一つのＣＵに対して、当該ＣＵが分割されるかどうかを示す情報がデコーダに伝達されることができる。例えば、前記情報は、分割フラグとして定義することができ、シンタックス要素「ｓｐｌｉｔ＿ＣＵ＿ｆｌａｇ」で表現されることができる。また、ＱＴリーフノードからＢＴに分割されるかどうかを示す情報がデコーダに伝達されることができる。例えば、前記情報は、ＢＴ分割フラグとして定義することができ、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）「ｂｔ＿ｓｐｌｉｔ＿ｆｌａｇ」で表現されることができる。さらにｓｐｌｉｔ＿ｂｔ＿ｆｌａｇｈによってＢＴに分割される場合、半分のサイズの幅を有する長方形または半分のサイズの高さを有する長方形の形に分割されるようにＢＴ分割形状がデコーダに伝達することができる。例えば、前記情報は、ＢＴ分割モードで定義することができ、シンタックス要素「ｂｔ＿ｓｐｌｉｔ＿ｍｏｄｅ」で表現されることができる。

【0079】

図５は、本発明が適用される実施形態として、インループフィルタリング部の概略的な内部ブロック図を示す。

【0080】

インループフィルタリング部はデブロッキングフィルタリング部５１０、適応的オフセットフィルタリング部５２０と適応的ループフィルタリング部５３０の内、少なくとも一つを含むことができる。

【0081】

前記インループフィルタリング部は復元ピクチャにフィルタリングを適用して再生装置に出力したり、バッファに格納してインター予測モードで参照ピクチャとして用いることができる。

【0082】

デブロッキングフィルタリング部５１０は、復元ピクチャの境界で発生する歪みを改善する機能を実行する。たとえば、予測ユニットや変換ユニットの境界で発生するブロッキング劣化を改善することができる。

【0083】

まず、デブロッキングフィルタリング部５１０は、ブロック境界で復元ピクセル値が不連続かどうかを確認し、ブロッキング劣化が発生した場合、そのエッジ境界でデブロッキングフィルタリングを実行することができる。例えば、ブロック境界が８ｘ８ブロック境界でありながら、予測ユニットや変換ユニットの境界であるのかを判断し、それに基づいて境界強度（BS：Boundary Strength）値を算出することができる。前記境界強度（ＢＳ）値に基づいてフィルタリングを実行するかどうかを決定することができ、この時、フィルタリングパラメータを一緒に用いることができる。

【0084】

デブロッキングフィルタリング部５１０のフィルタリングを実行する方法について、より詳細な説明は後述する。

【0085】

適応的オフセットフィルタリング部５２０は、復元ピクセルにオフセットを加算して復元映像と元映像との間のエラーを最小化する機能を実行することができる。ここで、前記復元映像は、デブロッキングフィルタリングされた映像を意味することができる。エンコーダの場合、復元映像と元映像との間の誤差を補正するためのオフセットパラメータを算出して、これをデコーダに伝送し、デコーダの場合、伝送されたオフセットパラメータをエントロピー復号化した後、それに基づいてピクセル単位でフィルタリングを行うことができる。

【0086】

適応的ループフィルタリング部５３０は、元の映像と復元映像との誤差を最小化させる最適な係数を算出してフィルタリングを行うことができる。エンコーダの場合、元映像と復元映像との誤差を最小にするフィルタ係数を誘導し、適応的にブロックごとに適応的ループフィルタリングを適用するかどうかについての情報及びフィルタ係数をデコーダに伝送することができる。デコーダの場合、伝送された適応的ループフィルタリングを適用するかどうかについての情報及びフィルタ係数に基づいてフィルタリングを行うことができる。

【0087】

図６は、ＨＥＶＣのデブロッキングフィルタのフィルタリングを実行する方法を例示する図である。

【0088】

図６を参照すると、デブロッキングフィルタは、デブロッキングフィルタリングを適用するための境界を決定する。

【0089】

ただし、このとき、境界の決定は、デブロッキングフィルタリングが必要な位置（つまり、境界）だけを決定するものであり、実際のフィルタリングを実行するかは、Ｓ６０４段階でフィルタオン／オフ（filter on/off）段階で決定される。

【0090】

デブロッキングフィルタのための境界の種類は、ＣＵ（Coding Unit）境界、ＰＵ（Prediction Unit）境界、ＴＵ（Transform Unit）境界の３つで区分されることができる。一つのＣＵ境界はＰＵまたはＴＵ境界に対応することができるので、フィルタリングを実行すべき警戒対象に該当することができる。

【0091】

デブロッキングフィルタリングは、ＢＳを計算する（Ｓ６０２）。つまり、デブロッキングフィルタは、境界に隣接するブロックの特性に応じて、他の強度のデブロッキングフィルタを実行するために、境界強度ＢＳ（Boundary Strength）を決定する。

【0092】

デブロッキングフィルタリングは、フィルタリングを実行するかどうか、及びフィルタリングの選択などのしきい値として使用されるパラメータであるβ、ｔ＿ｃを決定する（Ｓ６０３）。

【0093】

デブロッキングフィルタリングは、フィルタのオン／オフ（Filter on/off decision）を行う（Ｓ６０４）。つまり、デブロッキングフィルタは、フィルタユニット単位でフィルタリングを実行するかどうかを決定する。

【0094】

デブロッキングフィルタは、フィルタリングが実行される境界で強いフィルタ（strong filter）を適用するか、弱いフィルタ（weak filter）を適用するかを決定する（Ｓ６０５）。

【0095】

デブロッキングフィルタは、ピクセルを決まったフィルタでフィルタリングを実行する（Ｓ６０６、Ｓ６０７）。

【0096】

ＱＴＢＴ（Quad-Tree Binary-Tree）構造のためのデブロッキング（De-Blocking）フィルタリング方法

【0097】

本発明の実施形態を説明する前に、ＨＥＶＣのデブロッキングフィルタの特性とＱＴＢＴ構造でデブロッキングフィルタの動作を説明しＱＴＢＴのデブロッキングフィルタの問題点について注意深く見る。

【0098】

まずＨＥＶＣのデブロッキングフィルタは、予測ブロック（ＰＢ：Prediction Block）の境界と変換ブロック（ＴＢ：Transform Block）の境界でフィルタリングを行う。しかし、ＱＴＢＴの場合、変換ブロックと予測ブロックの境界が別にないので、コーディングブロック（ＣＢ：Coding Block）境界面でフィルタリングを行うことができる。

【0099】

もちろんＨＥＶＣとＱＴＢＴのデブロッキングフィルタは、すべての境界面で無条件にフィルタリングを実行するのではなく、特定の条件が満たされた場合にのみ、（先の図６のＳ６０４段階で判断）強いフィルタリング（strong filtering）と弱いフィルタリング（weak filtering）を選択的に実行する。反面、条件が満たされない場合、境界面がこれに該当してもフィルタリングを実行しない。

【0100】

図７は、ＨＥＶＣのデブロッキングフィルタのフィルタリングの実行境界を例示する図である。

【0101】

図７（ａ）は、デブロッキングフィルタのフィルタリングの実行境界として垂直エッジ（vertical edge）を例示し、図７（ｂ）は、デブロッキングフィルタのフィルタリングの実行境界として水平エッジ（horizontal edge）を例示する。

【0102】

図７から分かるようにＨＥＶＣのデブロッキングフィルタは、予測ブロックの境界と変換ブロックの境界で実行される。しかし、すべての予測ブロック境界や変換ブロック境界でフィルタリングが実行されるものではなく、８ｘ８以上のブロック境界でのみ実行される。これはデブロッキングフィルタの並列処理が考慮したと見られる。

【0103】

前述したように、ブロック境界でフィルタリングを実行するかどうかを決定し、フィルタリングの実行条件が満たされる時、強いフィルタと弱いフィルタを選択的に実行する。

【0104】

このとき、フィルタリングを実行するかどうかを決定するために、ブロック境界面に隣接するピクセルの値を確認する。これに対して、以下の図８を参照して、さらに注意深くに見る。

【0105】

図８は、ＨＥＶＣのフィルタリングを実行するかどうかを決定する方法を説明するための図である。

【0106】

図８で実線は、ブロックの境界を示し、それぞれの円は一つのピクセル（例えば、輝度（luma）成分のサンプルまたは色差（chroma）成分のサンプル）を示す。

【0107】

図８を参照すると、ブロック境界面に隣接する各々３ピクセル（図８の陰影表示されたピクセル）をＸ軸とＹ軸成分をブロック境界に基づいてｐ（ｘ、ｙ）（またはｑ（ｘ、ｙ））とのような形で表記して図８のように表すことができる。そして、フィルタリングを実行条件を示す下の数式１に基づいて変数（パラメータ）ｄｐ０、ｄｐ３、ｄｑ０、ｄｑ３、ｄｐｑ０、ｄｐｑ３、ｄの値が計算されることができる。

【0108】

【数1】

【0109】

数式１によって計算された変数（パラメータ）ｄの値は、量子化パラメータ（Ｑ）に基づいて決まる変数（パラメータ）β値と比較してｄ値がβより小さい場合にのみ、デブロッキングフィルタリングが行われる。

【0110】

ここで、量子化パラメータ（Ｑ）及び変数（パラメータ）βを決定する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合（incorporated by reference）される。

【0111】

前述したように、特定の条件によって、当該ブロック境界のピクセルがフィルタリングが実行される条件に該当すると、以下の数式２に基づいて強いフィルタ（strong filter）を適用するか、弱いフィルタ（weak filter）を適用するかが決定される。

【0112】

下数式２の条件に基づいて数式２のすべての条件が満足すれば、強いフィルタが、そうでない場合には、弱いフィルタが適用される。

【0113】

【数2】

【0114】

数式２で、変数（パラメータ）ｔｃ（つまり、ｔ＿ｃ）は量子化パラメータ（Ｑ）に基づいて決まられる。

【0115】

ここで、変数（パラメータ）ｔｃ（つまり、ｔ＿ｃ）を決定する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として引用（ｉｎｃｏｒｐｏｒａｔｅｄ ｂｙ ｒｅｆｅｒｅｎｃｅ）される。

【0116】

数式２の条件によって決まるフィルタの種類（つまり、強いフィルタまたは弱いフィルタ）に基づいてフィルタリングが適用されるピクセル領域は、以下のも異なる。

【0117】

図９は、ＨＥＶＣのデブロッキングフィルタリングが適用されるピクセル領域を例示する図である。

【0118】

図９のように、強いフィルタまたは弱いフィルタが適用されるそれぞれのピクセル領域は、ブロック境界に基づいて異なる。

【0119】

前述したように、ブロック境界に基づいて左右または上下の３ピクセルを用いて、デブロッキングフィルタリングを適用するかどうかが決定される。そして、デブロッキングフィルタリングが適用される境界面で再びブロック境界に基づいて左右または上下の４ピクセルを用いて、デブロッキングフィルタの種類が決定される。

【0120】

前述したＨＥＶＣデブロッキングフィルタリング方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書は、本明細書で参照として引用される。

【0121】

このような理由から、ＨＥＶＣは４ｘ４予測ブロックまたは変換ブロック、８ｘ４と４ｘ８サイズの予測ブロックが発生することができるにもかかわらず、並列化のために８ｘ８以上のブロック境界面でのみデブロッキングフィルタリングが適用される。

【0122】

反面、ＱＴＢＴの場合、イントラスライス（Ｉ－ｓｌｉｃｅ：Ｉｎｔｒａ ｓｌｉｃｅ）（つまり、イントラ予測のみが使用されてデコードされるスライス）で輝度（ｌｕｍａ）と色差（ｃｈｒｏｍａ）のブロック構造が互いに違って、クワッドツリーとバイナリツリーによって、さまざまな形やサイズの符号化ブロックが発生することができる。

【0123】

図１０は、本発明が適用される実施形態として、ＱＴＢＴ分割構造を例示する図である。

【0124】

図１０に見られるように、すべてのブロック境界面でフィルタリングを実行しＨＥＶＣのデブロッキング方法を同様に使用しているために並列化だけでなく、chroma成分のフィルタリングが効果的に行われていない。

【0125】

図１０によると、ＱＴＢＴによって映像は、さまざまなサイズと形状の構造に分割されることができる。

【0126】

これにより、本発明においては、様々なブロック分割構造（つまり、様々なブロックのサイズと形状を有する分割構造）でデブロッキングフィルタを並列的に実行するための方法を提案する。

【0127】

図１０で例示されたように、ＱＴＢＴのデブロッキングフィルタは、ＨＥＶＣのデブロッキングフィルタを同様に適用するが、８ｘ８以上のブロック境界だけでなく、４ｘ４、４ｘ８、８ｘ４、４ｘ１６などのブロック境界でもデブロッキングフィルタが実行されることができる。

【0128】

ただし、この場合、当該ブロック境界でのフィルタリングは、隣接するブロックの境界でのフィルタリングによるピクセル値の変化によって並列化条件が成立しなくなる問題が発生することができる。

【0129】

図１１～図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。

【0130】

ＱＴＢＴによって、図１１のような構造に分割された場合、図１２のように４ｘ１６ブロックの垂直エッジ（vertical edge）に対して例を挙げて問題点を説明する。

【0131】

この時、図１２に示すように最初の４ｘ１６ブロックの垂直エッジ（つまり、ブロック境界１）に強いフィルタリングが行われたと仮定する。

【0132】

この場合、フィルタリングによってブロック境界に隣接する３つのピクセル（図１２の陰影表示されたピクセル）は、ピクセル値の変化が生じることになる。そして、ブロック境界１からフィルタリングによってノイズが除去されたと仮定する。

【0133】

次に、隣接するブロック境界（つまり、ブロック境界２）でフィルタリングを実行するために、まず、図１３で点線で示されたピクセルを介してフィルタリングを実行するかどうかを決定する。

【0134】

しかし、図１２の例によってフィルタリングされたピクセル（図１２の陰影表示されたピクセル）とフィルタリングされないピクセル（図１２で陰影が表示されないピクセル）を参照して、フィルタリングを実行するかどうかを決定しなければならない問題が生じる。

【0135】

まず、並列化の問題に焦点を当ててみると、図１３のようにブロック境界１とブロック境界２のフィルタリングは、同時に実行されることができないため、並列パイプラインが崩れるという問題が発生する。

【0136】

もちろん、図１３の並列化を考慮しないとしても、図１４のように、重畳してフィルタリングされる問題が発生する。

【0137】

図１４で見られるように、ブロック境界２でフィルタリングが実行される条件に該当し、また、強いフィルタリングが適用される条件を満たせば、図１４の黒ピクセルはデブロッキングフィルタのローパスフィルタが２回適用になるのである。

【0138】

また、図１５のように、ブロック境界２で強いフィルタリングではなく、弱いフィルタリングが適用されるとしても、図１５の黒ピクセルは二回のローパスフィルタが適用される問題が発生する。

【0139】

さらに、図１６のようにブロック境界１で弱いフィルタリングが適用されたと仮定する。

【0140】

この場合、図１７のようにブロック境界２でフィルタリングを実行するかどうかを決定するために点線で示されたピクセルを参照する。

【0141】

また、ブロック境界２でフィルタリングが実行されるように決定されたとしても、強いフィルタあるいは弱いフィルタの内、どのフィルタを適用するかどうかを決定するために図１８の点線で示されたピクセルを参照して、数式２の式を介して決定しなければならない。

【0142】

もし、ブロック境界２で強いフィルタリングの実行条件が満たされなくてブロック境界２で弱いフィルタリングが行われれば、図１９のように重畳してフィルタリングされる問題は発生しないが、強いフィルタリングの実行条件が満たされて、ブロック境界２で強いフィルタリングが行われれば図２０のように濃く陰影表示されたピクセルは、重畳してフィルタリングされる問題が発生する。

【0143】

以下、本発明の説明において、主に垂直エッジ（vertical edge）を例示して説明するが、これは説明の便宜のためであり、本発明がこれに限定されるものではない。つまり、水平エッジ（horizontal edge）である場合、ピクセルがブロック境界に基づいて上下に位置する違いがあるだけで過程は同じように実行されることがある。

【0144】

実施形態１

【0145】

本発明の一実施形態は、ＱＴＢＴ構造のデブロッキングフィルタを効果的に実行するための方法を提案する。

【0146】

前述のように、ＱＴＢＴブロック構造でＨＥＶＣで定義されたデブロッキングフィルタリング方法をそのまま適用すれば、ＱＴＢＴはブロック境界でフィルタリングされたピクセルを参照して、フィルタリングするかどうかを計算する問題により並列処理がされない場合が発生する問題点が発生する。

【0147】

これを防止するために、本発明は、垂直エッジの場合、ブロックの横幅／長さが４以下であるブロック（つまり、横のサンプルの数が４以下であるブロック）境界では、水平エッジの場合、ブロックの縦サイズが４以下であるブロック（つまり、縦サンプルの数が４以下であるブロック）境界でデブロッキングフィルタリングを実行する方法を提案する。

【0148】

実施形態１－１

【0149】

本発明の一実施形態に係れば、ＱＴＢＴ構造のデブロッキングフィルタで垂直エッジ（Vertival edge）のために横の長さが４以下であるブロック、水平エッジ（Horizontal edge）のために縦の長さが４以下であるブロックのフィルタリング方法を提案する。

【0150】

前述のように、ＱＴＢＴ構造でデブロッキングフィルタリングを実行するときに発生することができる問題は、並列化の問題とフィルタリングするかどうか、及び適応的フィルタの選択する際の参照ピクセルのフィルタリングに区分することができる。

【0151】

前述したＨＥＶＣのデブロッキングフィルタリングのように、特定の条件のブロック境界（例えば、横の長さが４以下であるブロックの境界または縦の長さが４以下であるブロックの境界）でフィルタリングを実行しないのは、並列化を可能にするが、これと同時に当該ブロック境界でのフィルタリングは実行されないので、客観的及び主観的画質劣化を起こすという問題が発生することができる。

【0152】

このような理由から、本発明の一実施形態においては、特定の条件を満たす場合、ブロック境界でフィルタリングする方法を提案する。

【0153】

ここで、特定の条件は、垂直エッジ（Vertical edge）をフィルタリングする過程でブロック横の長さが４以下及び／または水平エッジ（Horizontal edge）をフィルタリングする過程でブロック縦の長さが４以下の場合を意味する。

【0154】

上のような特定の条件ではフィルタリングによりフィルタリングされたピクセルを参照して図１３のようにフィルタリングを実行するかどうかを決定するとき、すでにフィルタリングがされてノイズが消えたピクセルが用いられる。

【0155】

図２１は、本発明の一実施形態に係るデブロッキングフィルタリングを実行するかどうかを決定するための方法を例示する図である。

【0156】

図２１及び下の数式参を参照すると、ｄはブロック境界のピクセル値の変化量の合計を意味するとすることができる。

【0157】

この時、Ｐブロックのピクセル（すなわち、図２２の点線で示されるピクセルの内、陰影処理されたピクセル）は、既にフィルタリングが適用されて平滑化が行われた状態なので、フィルタリングされないピクセルの値の差分値に比べて小さい値が出てくる確率が高い。

【0158】

したがって、数式３に基づいて、最終的に計算されるｄ値が小さくなることができ、結局フィルタリングを実行するかどうかを検査する際に確率的にフィルタリングを行うべき割合が高くなることができる。

【0159】

【数3】

【0160】

また、前記のような特定の条件では、フィルタリングによってフィルタリングされたピクセルを参照して、フィルタの種類が決定されることができる。

【0161】

図２２は、本発明の一実施形態に係るデブロッキングフィルタの種類を決定するための方法を例示する図である。

【0162】

図２２及び数式４を参照すると、強いフィルタと弱いフィルタを適応的に選択するために参照する数式もまたブロック境界のピクセル値の変化量を考慮することになる。

【0163】

この際、Ｐブロックのピクセル（すなわち、図２２で点線で示されたピクセルの内、陰影処理されたピクセル）は、フィルタリングが既に実行されたので、ピクセルが平滑化され、変化量が減少することができる。これにより数式４で例示される強いフィルタリングを実行するようにする条件を満足するようになるので、結果的に弱いフィルタよりは、強いフィルタが実行される場合が多く発生することができる。

【0164】

これは、既にフィルタリングされたピクセルに強いフィルタを適用するようになりブロック境界でむしろエッジが潰れる現象が発生することができる。

【0165】

【数4】

【0166】

実施形態１－２

【0167】

本発明の一実施形態は、ＱＴＢＴ構造の場合、デブロッキングフィルタで垂直エッジ（Vertival edge）フィルタリングのために横の長さが４以下のブロックまたは水平エッジ（Horizontal edge）フィルタリングのために縦の長さが４以下であるブロックのフィルタリングを実行しない方法を提案する。

【0168】

前述したように、現在ＱＴＢＴでデブロッキングフィルタは、特定のサイズのブロックの境界をフィルタリングする過程で多くの問題点がある。このような問題を避け、デブロッキングフィルタの並列化を可能にするために、本発明の一実施形態では、図２３のような方法を提案する。

【0169】

図２３は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【0170】

図２３を参照すると、デコーダは、コーディングユニット（またはコーディングブロック）の境界に該当するか判断する（Ｓ２３０１）。

【0171】

もし、Ｓ２３０１段階でコーディングユニット（またはコーディングブロック）の境界に該当しなければ、デコーダは、デブロッキングフィルタリングを終了する。

【0172】

一方、Ｓ２３０１段階ではコーディングユニット（またはコーディングブロック）の境界に該当すると、当該境界が垂直エッジに該当するか判断する（Ｓ２３０２）。

【0173】

もし、Ｓ２３０２段階で、境界が垂直エッジに該当すると、当該コーディングユニット（またはコーディングブロック）の幅（width）が８以上であるか判断する（Ｓ２３０３）。

【0174】

反面、Ｓ２３０２段階において、境界が垂直エッジに該当しなければ（つまり、水平エッジに該当する場合）、そのコーディングユニット（またはコーディングブロック）の高さが８以上であるか判断する（Ｓ２３０４）。

【0175】

Ｓ２３０３段階で、当該コーディングユニット（またはコーディングブロック）の幅が８以上である場合、またはＳ２３０４段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上である場合、デコーダは、従来（ｃｏｎｖｅｎｔｉｏｎａｌ）のデブロッキングフィルタリングを行う（Ｓ２３０５）。

【0176】

例えば、デコーダは、先の図６の例示のように、従来のデブロッキングフィルタリングを行うことができる。

【0177】

ここで、従来のデブロッキングフィルタリング方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合（ｉｎｃｏｒｐｏｒａｔｅｄ ｂｙ ｒｅｆｅｒｅｎｃｅ）される。

【0178】

反面、Ｓ２３０３段階において、コーディングユニット（またはコーディングブロック）の幅が８以上ではない場合、またはＳ２３０４段階で、コーディングユニット（またはコーディングブロック）の高さが８以上ではない場合、デコーダは、デブロッキングフィルタリングを終了する。

【0179】

図２３で例示されたように、垂直エッジ（ｖｅｒｔｉｃａｌ ｅｄｇｅ）である場合、コーディングユニット（またはコーディングブロック）の横の長さが８以上のコーディングユニット（またはコーディングブロック）にのみ、水平エッジ（ｈｏｒｉｚｏｎｔａｌ ｅｄｇｅ）である場合、コーディングユニット（またはコーディングブロック）の縦の長さが８以上のコーディングユニット（またはコーディングブロック）にのみフィルタリングを行い、８以上ではない、コーディングユニット（またはコーディングブロック）には、フィルタリングを実行しないことがある。

【0180】

前述したように、本実施形態においては、ブロックサイズだけを考慮してフィルタリングを適用するかどうかを決定するために最も簡単にデブロッキングフィルタリングを並列化することができる効果がある。

【0181】

実施形態１－３

【0182】

本発明の一実施形態に係れば、ＱＴＢＴ構造のデブロッキングフィルタで垂直エッジ（vertical edge）フィルタリングのために横の長さが４以下のブロックまたは水平エッジ（horizontal edge）フィルタリングのために縦の長さが４以下であるブロックに対して弱いフィルタリングを実行する方法を提案する。

【0183】

図２４は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【0184】

図２４を参照すると、デコーダは、コーディングユニット（またはコーディングブロック）の境界に該当するか判断する（Ｓ２４０１）。

【0185】

もし、Ｓ２４０１段階でコーディングユニット（またはコーディングブロック）の境界に該当しなければ、デコーダは、デブロッキングフィルタリングを終了する。

【0186】

一方、Ｓ２４０１段階においてコーディングユニット（またはコーディングブロック）の境界に該当すると、当該境界が垂直エッジに該当するか判断する（Ｓ２４０２）。

【0187】

もしＳ２４０２の段階で、当該境界が垂直エッジに該当すると、当該コーディングユニット（またはコーディングブロック）の幅が８以上であるか判断する（Ｓ２４０３）。

【0188】

一方、Ｓ２４０２段階において、当該境界が垂直エッジに該当しなければ（つまり、水平エッジに該当する場合）は、そのコーディングユニット（またはコーディングブロック）の高さが８以上であるか判断する（Ｓ２４０４）。

【0189】

Ｓ２４０３段階で、コーディングユニット（またはコーディングブロック）の幅が８以上である場合、またはＳ２４０４段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上であれば、デコーダは、従来のデブロッキングフィルタリングを行う（Ｓ２４０５）。

【0190】

例えば、デコーダは、先の図６の例示のように、従来のデブロッキングフィルタリングを行うことができる。

【0191】

ここで、従来（conventional）のデブロッキングフィルタリング方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合される。

【0192】

一方、Ｓ２４０３段階で、当該コーディングユニット（またはコーディングブロック）の幅（width）が８以上でない場合、デコーダは、その垂直エッジに弱いフィルタを適用することができる（Ｓ２４０６）

【0193】

また、Ｓ２４０４段階で、当該コーディングユニット（またはコーディングブロック）の高さ（height）が８以上でない場合、デコーダは、その水平エッジに弱いフィルタを適用することができる（Ｓ２４０７）。

【0194】

ここで、例えば、弱いフィルタを適用する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合（ｉｎｃｏｒｐｏｒａｔｅｄ ｂｙ ｒｅｆｅｒｅｎｃｅ）されることができる。

【0195】

図２４で例示されたように、垂直エッジである場合、コーディングユニット（またはコーディングブロック）の横の長さが８以上のコーディングユニット（またはコーディングブロック）にのみ、水平エッジである場合、コーディングユニット（またはコーディングブロック）の縦の長さが８以上のコーディングユニット（またはコーディングブロック）については、従来のデブロッキングフィルタリングが適用され、８以上ではない、コーディングユニット（またはコーディングブロック）にたいしては、弱いフィルタが適用されることができる。

【0196】

前述したように、本実施形態によれば、実施形態１－２で小さなブロックサイズでフィルタリングが適用されず、主観的画質が劣化することを最小化することができるという効果がある。

【0197】

実施形態１－４

【0198】

本発明の一実施形態においては、ＱＴＢＴ構造のデブロッキングフィルタで垂直エッジ（Vertival edge）のために横の長さが４以下であるブロックの境界の左右、水平エッジ（Horizotal edge）のために縦の長さが４以下のブロック境界の上下それぞれ２ピクセルだけ強いフィルタを実行する方法を提案する。

【0199】

このとき、下の図２５のように横の長さが４以下であるブロック、縦の長さが４以下のブロックには、フィルタセットを選択せずに強いフィルタリングを適用する方法を提案する。

【0200】

図２５は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【0201】

図２５を参照すると、デコーダは、コーディングユニット（またはコーディングブロック）の境界に該当するか判断する（Ｓ２５０１）。

【0202】

もし、Ｓ２５０１段階でコーディングユニット（またはコーディングブロック）の境界に該当しなければ、デコーダは、デブロッキングフィルタリングを終了する。

【0203】

一方、Ｓ２５０１段階でコーディングユニット（またはコーディングブロック）の境界に該当する場合、デブロッキングフィルタを適用する条件をチェックし（Ｓ２５０２）、デコーダは、デブロッキングフィルタを適用する条件に基づいて、その境界でデブロッキングフィルタを適用するかどうかを決定する（Ｓ２５０３）。

【0204】

このとき、デブロッキングフィルタの適用条件として先の数式１が用いられる。

【0205】

もし、Ｓ２５０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタを適用しないように決定すると（つまり、デブロッキングフィルタの適用条件に満足していない）、デコーダは、デブロッキングフィルタリングを終了する。

【0206】

一方、Ｓ２５０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタリングを適用するように決定すると（つまり、デブロッキングフィルタリングの適用条件に満足）、デコーダは、その境界が垂直エッジに該当するか判断する（Ｓ２５０４）。

【0207】

Ｓ２５０４段階で、当該境界が垂直エッジに該当すると、当該コーディングユニット（またはコーディングブロック）の幅（width）が８以上であるか判断する（Ｓ２５０５）。

【0208】

一方、Ｓ２５０４段階で、当該境界が垂直エッジに該当しなければ（つまり水平エッジに該当する場合）は、そのコーディングユニット（またはコーディングブロック）の高さが８以上であるか判断する（Ｓ２５０６）。

【0209】

Ｓ２５０５段階で、当該コーディングユニット（またはコーディングブロック）の幅が８以上ではない場合、またはＳ２５０６段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上でない場合、デコーダは、本実施形態で提案された強いフィルタを適用することにより、デブロッキングフィルタリングを実行する（Ｓ２５０７）。

【0210】

本実施形態で提案された強いフィルタを適用すると、ブロック境界の左右（垂直エッジの場合）、または上下（水平エッジの場合）、それぞれ２ピクセルだけ強いフィルタを実行することになり、これに対するより詳細な説明は後述する。

【0211】

一方、Ｓ２５０５段階で、コーディングユニット（またはコーディングブロック）の幅が８以上である場合、またはＳ２５０６段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上である場合、デコーダは、フィルタセットの選択条件をチェックし（Ｓ２５０８）、デコーダは、フィルタセットの選択条件に基づいて、そのエッジで強いフィルタを適用するかどうかを決定する（Ｓ２５０９）。

【0212】

このとき、デブロッキングフィルタのセットの選択条件として数式２が用いられる。

【0213】

もし、Ｓ２５０９段階で強いフィルタを適用するように決定した場合（例えば、先の数式２の条件がすべて満たされる場合）、デコーダは、そのエッジで、従来の強いフィルタを適用することができる（Ｓ２５１０）。

【0214】

ここで、例えば、強いフィルタを適用する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合されることができる。

【0215】

反面、Ｓ２５０９段階で強いフィルタを適用しないように決定したら（例えば、先に数式２の条件の内、いずれか１つでも満足していなければ）、デコーダは、当該エッジで弱いフィルタを適用することができる（Ｓ２５１１）。

【0216】

ここで、例えば、弱いフィルタを適用する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合（ｉｎｃｏｒｐｏｒａｔｅｄ ｂｙ ｒｅｆｅｒｅｎｃｅ）されることができる。

【0217】

また、下記図２６のように、従来の実行構造を維持したまま、強いフィルタを適用しなければならない、ブロック境界については、本発明で提案する強いフィルタを適用する方法を提案する。

【0218】

図２６は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【0219】

図２６を参照すると、デコーダは、コーディングユニット（またはコーディングブロック）の境界に該当するか判断する（Ｓ２６０１）。

【0220】

もし、Ｓ２６０１段階でコーディングユニット（またはコーディングブロック）の境界に該当しなければ、デコーダは、デブロッキングフィルタリングを終了する。

【0221】

一方、Ｓ２６０１段階でコーディングユニット（またはコーディングブロック）の境界に該当すると、デブロッキングフィルタの適用条件をチェックし（Ｓ２６０２）、デコーダは、デブロッキングフィルタの適用条件に基づいて、当該境界でデブロッキングフィルタを適用するかどうかを決定する（Ｓ２６０３）。

【0222】

このとき、デブロッキングフィルタを適用する条件で先の数式１が用いられる。

【0223】

もし、Ｓ２６０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタを適用しないように決定したら（つまり、デブロッキングフィルタの適用条件に満足しない）、デコーダは、デブロッキングフィルタリングを終了する。

【0224】

一方、Ｓ２６０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタを適用するように決定したら（つまり、デブロッキングフィルタの適用条件に満足）、デコーダは、フィルタセットの選択条件をチェックして（Ｓ２６０４）、デコーダは、フィルタセットの選択条件に基づいて、当該境界で強いフィルタを適用するかどうかを決定する（Ｓ２６０５）。

【0225】

このとき、デブロッキングフィルタのセットの選択条件として数式２が用いられる。

【0226】

もし、Ｓ２６０５段階で強いフィルタを適用しないように決定したら（例えば、先の数式２の条件の内、いずれか１つでも満足しなければ）、デコーダは、当該境界で弱いフィルタを適用することができる（Ｓ２６０６）。

【0227】

ここで、例えば、弱いフィルタを適用する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合されることができる。

【0228】

一方、Ｓ２６０５段階で強いフィルタを適用するように決定したら（例えば、先の数式２の条件がすべて満たされる場合）、デコーダは、当該境界が垂直エッジに該当するか判断する（Ｓ２６０７）。

【0229】

Ｓ２６０７段階で、当該境界が垂直エッジに該当すると、当該コーディングユニット（またはコーディングブロック）の幅（width）が８以上であるか判断する（Ｓ２６０８）。

【0230】

反面、Ｓ２６０７段階で、当該境界が垂直エッジに該当しなければ（つまり、水平エッジに該当する場合）は、当該コーディングユニット（またはコーディングブロック）の高さ（height）が８以上であるか判断する（Ｓ２６０９）。

【0231】

Ｓ２６０９段階で、コーディングユニット（またはコーディングブロック）の幅が８以上ではない場合、またはＳ２６０８段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上でない場合、デコーダは、本実施形態で提案された強いフィルタを適用することにより、デブロッキングフィルタリングを実行する（Ｓ２６１０）。

【0232】

本実施形態で提案された強いフィルタを適用すると、ブロック境界の左右（垂直エッジの場合）、または上下（水平エッジの場合）、それぞれ２ピクセルだけ強いフィルタを実行することになり、これに対するさらに詳細な説明は後述する。

【0233】

一方、Ｓ２６０９段階で、当該コーディングユニット（またはコーディングブロック）の幅が８以上である場合、またはＳ２６０８段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上である場合には、デコーダは、当該エッジで、従来の強いフィルタを適用することができる（Ｓ２６１１）。

【0234】

ここで、例えば、強いフィルタを適用する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合されることができる。

【0235】

以下、本発明の一実施形態に係る、強いフィルタリング方法について注意深く見る。

【0236】

本発明で提案する強いフィルタリング方法は、以下の図２７のように、従来のＨＥＶＣのフィルタを利用するが、境界（またはエッジ）に基づいて、左右それぞれ２ピクセルだけ（垂直エッジの場合）フィルタリングを適用することができる。逆に、水平エッジの場合、境界に基づいて左右それぞれ２ピクセルのみフィルタリングを適用することができる。

【0237】

図２７は、本発明の一実施形態に係る強いフィルタリング方法を例示する図である。

【0238】

図２７（ａ）は、本発明の一実施形態に係るフィルタリング前のピクセルを例示し、図２７（ｂ）は、本発明の一実施形態に係るフィルタリング後のピクセル（陰影表示されたピクセル）を例示する。

【0239】

図２７及び下数式５を参照すると、垂直エッジに基づいて左右それぞれ２ピクセルだけ（つまり、Ｐ（０、０）、Ｐ（１、０）、Ｐ（０、１）、Ｐ（１、１）、Ｐ（０、２）、Ｐ（１、２）、Ｐ（０、３）、Ｐ（１、３）、Ｑ（０、０）、Ｑ（１、０）、Ｑ（０、１）、Ｑ（１、１）、Ｑ（０、２）、Ｑ（１、２）、Ｑ（０、３）、Ｑ（１、３））フィルタリングを適用することができる。

【0240】

【数5】

【0241】

数式５においては説明の便宜のためにＰ（０、０）、Ｐ（１、０）、Ｑ（０、０）、Ｑ（１、０）への強いフィルタリング結果、すなわちＰ‘（０、０）、Ｐ’（１、０）、Ｑ‘（０、０）、Ｑ’（１、０）だけを例示しているが、同様の方法で、Ｐ（０、１）、Ｐ（１、１）、Ｐ（０、２）、Ｐ（１、２）、Ｐ（０、３）、Ｐ（１、３）、Ｑ（０、１）、Ｑ（１、１）、Ｑ（０、２）、Ｑ（１、２）、Ｑ（０、３）、Ｑ（１、３）にも強いフィルタリングが適用されることでＰ’（０、１）、Ｐ’（１、１）、Ｐ’（０、２）、Ｐ’（１、２）、Ｐ’（０、３）、Ｐ’（１、３）、Ｑ’（０、１）、Ｑ’（１、１）、Ｑ’（０、２）、Ｑ’（１、２）、Ｑ’（０、３）、Ｑ’（１、３）が導出されることができる。

【0242】

または、本発明で提案する強いフィルタリング方法は、図２８のように、新しいフィルタセットを使用する方法を提案する。

【0243】

図２８は、本発明の一実施形態に係る強いフィルタリング方法を例示する図である。

【0244】

図２８（ａ）は、本発明の一実施形態に係るフィルタリング前のピクセルを例示し、図２８（ｂ）は、本発明の一実施形態に係るフィルタリング後のピクセル（陰影表示されたピクセル）を例示する。

【0245】

図２８及び下の数式６を参照すると、垂直エッジに基づいて左右それぞれ２ピクセルだけ（つまり、Ｐ（０、０）、Ｐ（１、０）、Ｐ（０、１）、Ｐ（１、１）、Ｐ（０、２）、Ｐ（１、２）、Ｐ（０、３）、Ｐ（１、３）、Ｑ（０、０）、Ｑ（１、０）、Ｑ（０、１）、Ｑ（１、１）、Ｑ（０、２）、Ｑ（１、２）、Ｑ（０、３）、Ｑ（１、３））フィルタリングを適用することができる。

【0246】

【数6】

【0247】

数式６においては説明の便宜のためにＰ（０、０）、Ｐ（１、０）、Ｑ（０、０）、Ｑ（１、０）の強いフィルタリング結果、すなわちＰ’（０、０）、Ｐ’（１、０）、Ｑ’（０、０）、Ｑ’（１、０）だけ例示しているが、同様の方法で、Ｐ（０、１）、Ｐ（１、１）、Ｐ（０、２）、Ｐ（１、２）、Ｐ（０、３）、Ｐ（１、３）、Ｑ（０、１）、Ｑ（１、１）、Ｑ（０、２）、Ｑ（１、２）、Ｑ（０、３）、Ｑ（１、３）にも強いフィルタリングが適用されることでＰ’（０、１）、Ｐ’（１、１）、Ｐ’（０、２）、Ｐ’（１、２）、Ｐ’（０、３）、Ｐ’（１、３）、Ｑ’（０、１）、Ｑ’（１、１）、Ｑ’（０、２）、Ｑ’（１、２）、Ｑ’（０、３）、Ｑ’（１、３）が導出されることができる。

【0248】

数式５及び数式６において、ｐ０、ｐ１、ｐ２は、それぞれＰ（０、０）、Ｐ（１、０）、Ｐ（２、０）に該当して、ｑ１、ｑ２、ｑ３は、それぞれＱ（０、０）、Ｑ（１、０）、Ｑ（２、０）に該当することができる。

【0249】

また、数式５及び数式６において、クリップ３（Clip３）は、数式７のように計算することができる。

【0250】

【数7】

【0251】

また、数式５及び数式６において、ｘ>>ｙはｘの2の補数（two's complement）整数表現をｙ２進数（binary digit）だけ算出、右側シフト（Arithmetic right shift）を意味する。この関数は、ｙの負でない整数値（non-negative integer value）に対してのみ定義される。右側シフトの結果として、最上位ビット（ＭＳＢ：Most Significant Byte）にシフトされたビットは、シフト演算の前にｘの最上位ビット（ＭＳＢ：Most Significant Byte）と同じ値を有する。

【0252】

また、数式５及び数式６において、変数（パラメータ）ｔｃ（つまり、ｔ＿ｃ）は量子化パラメータ（Ｑ）に基づいて決まる。

【0253】

ここで、変数（パラメータ）ｔｃ（つまり、ｔ＿ｃ）を決定する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として引用（incorporated by reference）される。

【0254】

前述したように、本実施形態もまた、従来の小さなブロックでデブロッキングフィルタが適用されないで発生することがある主観的画質劣化を最小化することができる効果があり、また、実施形態１－３とは違って、適応的にフィルタを適用できるようにすることで、画質劣化を最小化することができるという効果がある。

【0255】

実施形態２

【0256】

ＱＴＢＴブロック分割構造でフィルタリングを実行するかどうかの検査及びフィルタリングを選択する際、前のブロック境界でフィルタリングされたピクセル値を参照して、条件を検査するため、問題が発生することになる。

【0257】

これにより、本発明の一実施形態では、ＱＴＢＴ構造のデブロッキングフィルタで垂直エッジ（Vertival edge）フィルタリングのために横の長さが４以下であるブロック、水平エッジ（Horizontal edge）フィルタリングのために縦の長さ４以下のブロックの境界でフィルタリングされないピクセルを参照して、フィルタリングを実行するかどうかを決定する方法及び適応的フィルタ決定の方法を提案する。

【0258】

本発明の一実施形態においては、垂直エッジ（vertical edge）をフィルタリングする過程に基づいて説明する。水平エッジ（Horizontal edge）のフィルタリング過程は、ブロック境界に基づいて、上下ピクセルを参照する差と縦の長さを考慮する差があるだけで実行過程は同じである。

【0259】

図２９は、垂直エッジ（vertical edge）フィルタリング時に横の長さが４以下のブロックでフィルタリングの実行結果を例示する図である。

【0260】

図２９（ａ）においては、垂直エッジ（vertical edge）フィルタリング時に横の長さが４以下のブロックでフィルタリング前のピクセルを例示し、図２９（ｂ）では、フィルタリングによってフィルタリングされたピクセル（陰影表示されたピクセル）を例示する。

【0261】

本発明の一実施形態においては、フィルタリングを実行するかどうか、及びフィルタを選択するため、図３０のようにフィルタリングされないピクセルを用いる方法を提案する。

【0262】

図３０は、本発明の一実施形態に係るフィルタリングを実行するかどうか、及びフィルタの選択方法を例示する図である。

【0263】

デコーダは、隣接するブロックの境界の間の横の長さが４以下のブロックは、図３０（ａ）のようにフィルタリングされないピクセルを用いて、（ｂ）のフィルタリングを実行するかどうかの条件と（ｃ）の適応的フィルタの選択条件を検査する。

【0264】

つまり、デコーダは、垂直エッジ（vertical edge）フィルタリングの時、横の長さが４以下のブロックでは、フィルタリングが実行される前にピクセルを用いて、以下の数式８のようにフィルタリングを実行するかどうかを決定することができる。

【0265】

【数8】

【0266】

また、デコーダは、垂直エッジ（vertical edge）フィルタリング時、横の長さが４以下のブロックでは、他の隣接するブロックの境界でのフィルタリングが実行される前にピクセルを用いて、以下の数式９のようにフィルタリングの種類を決定することができる。

【0267】

【数9】

【0268】

一方、フィルタリングされたピクセルを参照して、フィルタリングを実行するかどうか、及びフィルタの種類を判断することになる隣接するブロックの境界の間の横の長さが４以下のブロック境界にのみ該当する。

【0269】

このような理由から、ブロックサイズに応じて、（例えば、横の長さが４以下のブロックの場合、または縦の長さが４以下のブロックの場合）、フィルタリングを実行するかどうか、及びフィルタの種類を判断する時、参照するピクセルを決定するよりも、下の図３１のようにすべてのブロック境界に対してフィルタリングを実行するかどうか、及びフィルタの種類を判断する時、フィルタリングされないピクセルを参照する方法を提案する。

【0270】

図３１は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【0271】

図３１を参照すると、デコーダは、コーディングユニット（またはコーディングブロック）の境界に該当するか判断する（Ｓ３１０１）。

【0272】

もし、Ｓ３１０１段階でコーディングユニット（またはコーディングブロック）の境界に該当しなければ、デコーダは、デブロッキングフィルタリングを終了する。

【0273】

反面、Ｓ３１０１段階でコーディングユニット（またはコーディングブロック）の境界に該当すると、デブロッキングフィルタの適用条件をチェックし（Ｓ３１０２）、デコーダは、デブロッキングフィルタ適用条件に基づいて、当該境界でデブロッキングフィルタを適用するかどうかを決定する（Ｓ３１０３）。

【0274】

このとき、デブロッキングフィルタを適用するかどうかを決定するために、デコーダはフィルタリングされないピクセルのピクチャを入力として用いられる。

【0275】

このとき、デブロッキングフィルタを適用する条件で先の数式８を用いることができる。

【0276】

もし、Ｓ３１０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタを適用しないように決定したら（つまり、デブロッキングフィルタの適用条件に満足しない）、デコーダは、デブロッキングフィルタリングを終了する。

【0277】

一方、Ｓ３１０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタを適用するように決定したら（つまり、デブロッキングフィルタの適用条件に満足）、デコーダは、フィルタセットの選択条件をチェックし（Ｓ３１０４）、デコーダは、フィルタセットの選択条件に基づいて、その境界で強いフィルタを適用するかどうかを決定する（Ｓ３１０５）。

【0278】

このとき、強いフィルタを適用するかどうかを決定するために、デコーダはフィルタリングされないピクセルのピクチャを入力として用いられる。

【0279】

このとき、デブロッキングフィルタのセットの選択条件として数式９が用いられる。

【0280】

もし、Ｓ３１０５段階で強いフィルタを適用するように決定すると（例えば、先の数式９の条件がすべて満たされる場合）、デコーダは、該当境界で強いフィルタを適用することができる（Ｓ３１０６）。

【0281】

このとき、強いフィルタを適用するために、デコーダは、復元ピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）を入力として用いることができる。

【0282】

このとき、強いフィルタの適用に関連して先の実施形態１－４で提案した方法を用いることができる。

【0283】

または、例えば、強いフィルタを適用する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合されることができる。

【0284】

一方、Ｓ３１０５段階で強いフィルタを適用しないように決定したら（例えば、先の数式９の条件の内、いずれか１つでも満足しなければ）、デコーダは、その境界で弱いフィルタを適用することができる（Ｓ３１０７）。

【0285】

このとき、弱いフィルタを適用するために、デコーダは、復元ピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）を入力として用いることができる。

【0286】

ここで、例えば、弱いフィルタを適用する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合されることができる。

【0287】

Ｓ３１０６段階及びＳ３１０７段階で強いフィルタが適用されたピクセル、弱いフィルタが適用されたピクセルは、出力として復元ピクチャに反映されることができる。

【0288】

このように、図３１の例示のように、デコーダは、フィルタ適用をするかどうかと、フィルタセットを選択する条件に満足するかを決定するために、フィルタリングされないピクセルを参照して決定し、実際のフィルタリングは、復号化されたピクセルをフィルタリングすることができる。

【0289】

前述したように、本実施形態に係れば、デブロッキングフィルタリングの並列化のためにブロック境界でフィルタリングを決定するとき、隣接するブロック境界で既にフィルタリングが適用されたピクセルを参照せずにフィルタリングが適用されないピクセルを参照して、フィルタリングするかどうかを決定することにより並列化を可能にする効果がある。

【0290】

実施形態３

【0291】

本発明の一実施形態は、ＱＴＢＴ構造で色彩成分でデブロッキングフィルタを適応的に実行する方法を提案する。

【0292】

ＱＴＢＴ分割構造では、Ｉ－Ｓｌｉｃｅで輝度（ｌｕｍａ）領域と色彩（Ｃｈｒｏｍａ）領域のブロック構造が互いに異なるように分割されることができる。このように色差成分と輝度成分の間の互いに異なるブロックエッジを有しているのでフィルタリングが適用されるブロック境界を別に確認してフィルタリングが行われる。

【0293】

しかし、従来のＨＥＶＣデブロッキングフィルタリング方法をそのまま使用すると、輝度成分と同じ条件でＢＳを計算した後、ＢＳが２である条件に該当するブロックの境界は、フィルタリングを実行することになる問題が発生する。

【0294】

図３２は、ＱＴＢＴブロック分割構造でＨＥＶＣデブロッキングフィルタリングを同様に適用する時に発生する問題点を説明するための図である。

【0295】

図３２を参照すると、デコーダは、ピクチャループフィルタ（ｌｏｏｐＦｉｌｔｅｒＰｉｃ）過程を開始し、チャンネルタイプの輝度（ｌｕｍａ）であれば（Ｓ３２０１）、ＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３２０２、Ｓ３２０３）。

【0296】

図３２で点線で示されているボックス内の過程がｘＤｅｂｌｏｃｋＣＵを例示する。

【0297】

デコーダは、スライスタイプがＩ－Ｓｌｉｃｅかどうかを判断する（Ｓ３２０４）。

【0298】

もし、Ｓ３２０４段階でスライスタイプがＩ－Ｓｌｉｃｅであり、チャンネルタイプが色彩（chroma）であれば（Ｓ３２０５）、ＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３２０２、Ｓ３２０３）。

【0299】

一方、Ｓ３２０４段階でスライスタイプがＩ－Ｓｌｉｃｅでなければ、デコーダは、ピクチャループフィルタ（ｌｏｏｐＦｉｌｔｅｒＰｉｃ）過程を終了する。

【0300】

デコーダは、現在のブロック（例えば、ＣＴＵまたはＣＴＵからＱＴＢＴに分割されたブロック）がクワッドツリー（ＱＴ）構造に分割されるか判断する（Ｓ３２０６）

【0301】

もし、Ｓ３２０６段階で、現在のブロックがクワッドツリー（ＱＴ）構造に分割される場合、幅の値を１だけ右側シフトし（幅>>１）、また、高さの値を１だけ右側シフトする（高さ>>１）（Ｓ３２０７）。つまり、縦と横方向に現在のブロックを半分に分割する。

【0302】

デコーダは、４つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３２０８、３２０９）。

【0303】

一方、Ｓ３２０６段階において、現在のブロックがクワッドツリー（ＱＴ）構造に分割されない場合、デコーダは、現在のブロックがバイナリツリー（ＢＴ）の構造に分割されるか判断する（Ｓ３２１０）。

【0304】

Ｓ３２１０段階で、現在ブロックがバイナリツリー（ＢＴ）構造に分割される場合、デコーダは、ＢＴモードが水平分割かを判断する（Ｓ３２１１）。

【0305】

もし、Ｓ３２１１段階でＢＴモードが水平分割である場合、デコーダは、高さの値だけを１だけ右側にシフトする（高さ>>１）（Ｓ３２１２）。つまり、横方向に、現在のブロックを半分に分割する。そして、デコーダは、２つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３２１３、Ｓ３２１４）。

【0306】

一方、Ｓ３２１１段階でＢＴモードが水平分割でない場合、デコーダは、幅（width）の値だけを１だけ右側シフトする（幅>>１）（Ｓ３２１５）。つまり、縦方向に、現在のブロックを半分に分割する。そして、デコーダは、２つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３２１６、Ｓ３２１７）。

【0307】

一方、Ｓ３２１０段階で、現在のブロックがバイナリツリー（ＢＴ）の構造に分割されない場合、デコーダは、境界強度（ＢＳ）または境界フィルタリング強度（boundary filtering strength）を計算する（Ｓ３２１８）。

【0308】

デコーダは、現在のブロックが輝度ブロックであるかを判断する（Ｓ３２１９）。

【0309】

もし、Ｓ３２１９段階で、現在のブロックが輝度（ｌｕｍａ）ブロックである場合、デコーダは、輝度ブロックのエッジのフィルタリング（ｘＥｄｇｅＦｉｌｔｅｒＬｕｍａ）を実行する（Ｓ３２２０）。

【0310】

つまり、先の式１及び２と同様に、デコーダは、デブロッキングフィルタを適用するかを決定し、デブロッキングフィルタを適用する場合、フィルタの種類を決定した後、決定されたフィルタの種類に応じてデブロッキングフィルタを実行することができる。

【0311】

反面、Ｓ３２１９段階で、現在のブロックが輝度ブロックではない場合、現在のブロックが色彩（Ｃｈｒｏｍａ）ブロックであるかＩ－Ｓｌｉｃｅではなく、また、色彩成分フォーマットが４：０：０でなければ（！４００）（Ｓ３２２１）、デコーダは色彩ブロックのエッジのフィルタリング（ｘＥｄｇｅＦｉｌｔｅｒＣｈｒｏｍａ）を実行する（Ｓ３２２２）。

【0312】

つまり、先の数式１及び２と同様に、デコーダは、デブロッキングフィルタを適用するかを決定し、デブロッキングフィルタを適用する場合は、フィルタの種類を決定した後、決定されたフィルタの種類に応じてデブロッキングフィルタリングを実行することができる。

【0313】

図３２で例示されたように、輝度成分と同じ条件で計算されたＢＳの値が２である場合、色彩ブロックのエッジに対して別々のフィルタリングを実行するかどうかの計算なしで、色彩ブロックのエッジに対するフィルタリング（ｘＥｄｇｅＦｉｌｔｅｒＣｈｒｏｍａ）過程が実行される。

【0314】

したがって、Ｉ－Ｓｌｉｃｅで色彩成分のデブロッキングフィルタが効率的に適用されない問題が発生する。

【0315】

このような問題を解決するために、本発明の一実施形態においては、図３３のように色彩（Chroma）成分のデブロッキングフィルタを適用する方法を提案する。

【0316】

図３３は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【0317】

図３３を参照すると、デコーダは、ピクチャループフィルタ（ｌｏｏｐＦｉｌｔｅｒＰｉｃ）過程を開始し、チャンネルタイプの輝度であれば（Ｓ３３０１）、ＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３３０２、Ｓ３３０３）。

【0318】

図３３で点線で示されているボックス内の過程がｘＤｅｂｌｏｃｋＣＵを例示する。

【0319】

デコーダは、スライスタイプがＩ－Ｓｌｉｃｅかを判断する（Ｓ３３０４）。

【0320】

もし、Ｓ３３０４段階でスライスタイプがＩ－Ｓｌｉｃｅであり、チャンネルタイプが色彩（ｃｈｒｏｍａ）であれば（Ｓ３３０５）、ＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３３０２、Ｓ３３０３）。

【0321】

一方、Ｓ３３０４段階でスライスタイプがＩ－Ｓｌｉｃｅでなければ、デコーダは、ピクチャループフィルタ（ｌｏｏｐＦｉｌｔｅｒＰｉｃ）過程を終了する。

【0322】

デコーダは、現在のブロック（例えば、ＣＴＵまたはＣＴＵからＱＴＢＴに分割されたブロック）がクワッドツリー（ＱＴ）構造に分割されるか判断する（Ｓ３３０６）

【0323】

もし、Ｓ３３０６段階で、現在のブロックがクワッドツリー（ＱＴ）構造に分割される場合、幅の値を１だけ右側シフトして（幅>>１）、また、高さの値を１だけ右側シフトする（高さ>>１）（Ｓ３３０７）。つまり、縦と横方向に現在ブロックを半分に分割する。

【0324】

デコーダは、４つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３３０８、３３０９）。

【0325】

一方、Ｓ３３０６段階で、現在のブロックがクワッドツリー（ＱＴ）構造に分割されない場合、デコーダは、現在のブロックがバイナリツリー（ＢＴ）の構造に分割されるか判断する（Ｓ３３１０）。

【0326】

Ｓ３３１０段階で、現在のブロックがバイナリツリー（ＢＴ）の構造に分割される場合、デコーダは、ＢＴモードが水平分割かどうかを判断する（Ｓ３３１１）。

【0327】

もし、Ｓ３３１１段階でＢＴモードが水平分割である場合、デコーダは、高さ（height）の値だけを１だけ右側シフトする（高さ>>１）（Ｓ３３１２）。つまり、横方向に、現在のブロックを半分に分割する。そして、デコーダは、２つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（xDeblockCU）過程を実行する（Ｓ３３１３、Ｓ３３１４）。

【0328】

一方、Ｓ３３１１段階でＢＴモードが水平分割でない場合、デコーダは、幅（width）の値だけを１だけ右側シフトする（幅>>１）（Ｓ３３１５）。つまり、縦方向に、現在のブロックを半分に分割する。そして、デコーダは、２つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（xDeblockCU）過程を実行する（Ｓ３３１６、Ｓ３３１７）。

【0329】

反面、Ｓ３３１０段階で、現在のブロックがバイナリツリー（ＢＴ）の構造に分割されない場合、デコーダは、境界強度（ＢＳ）または境界フィルタリング強度（boundary filtering strength）を計算する（Ｓ３３１８）。

【0330】

デコーダは、現在のブロックが属するスライスがＩ－Ｓｌｉｃｅかどうかを判断する（Ｓ３３１９）。

【0331】

もし、Ｓ３３１９段階で、現在のブロックが属するスライスがＩ－Ｓｌｉｃｅではない場合、デコーダは、現在のブロックが輝度ブロックであるかを判断する（Ｓ３３２０）。

【0332】

Ｓ３３１９段階で、現在のブロックが属するスライスがＩ－Ｓｌｉｃｅである場合、またはＳ３３２０段階で、現在のブロックが輝度ブロックである場合、デコーダは、輝度（luma）ブロックのエッジのフィルタリング（xEdgeFilterLuma）を実行する（Ｓ３２２１）。

【0333】

つまり、現在のブロックが属するスライスがＩ－スライスの場合の色彩チャンネルである場合にもかかわらず、従来の輝度成分と同様にデコーダは、ブロック境界でフィルタリングを実行するかどうかをさらに計算（判断）し、強いフィルタリングと弱いフィルタリングを選択的に適用することができる。

【0334】

このとき、フィルタリングを実行するかどうかの判断方法及び／またはフィルタリングのタイプ（例えば、強いフィルタリングと弱いフィルタリング）を決定する方法は、先に説明した実施形態１及び／または実施形態２で説明した方法を用いることができる。

【0335】

または、フィルタリングを実行するかどうかの判断方法及び／またはフィルタリングのタイプ（例えば、強いフィルタリングと弱いフィルタリング）を決定する方法に関連して、ＩＴＵ－Ｔ Ｈ．２６５文書が、本明細書で参照として併合（incorporated by reference）されることがある。

【0336】

一方、Ｓ３３２０段階で、現在のブロックが輝度ブロックではない場合、現在のブロックが色彩（Chroma）ブロックであり、また、色彩成分フォーマットが４：０：０でなければ（つまり、！４００）（Ｓ３３２２）、デコーダは色彩（Chroma）ブロックのエッジのフィルタリング（xEdgeFilterChroma）を実行する（Ｓ３２２３）。

【0337】

つまり、輝度と色彩のブロック構造が同じである、Ｂ－スライスの場合、従来と同様にＢＳが２以上のブロック境界でフィルタリングが実行されることができる。

【0338】

図３３は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。

【0339】

図３３を参照すると、デコーダは、クワッドツリー（ｑｕａｄ－ｔｒｅｅ）とバイナリツリー（ｂｉｎａｒｙ－ｔｒｅｅ）構造に分割されたブロックの境界を導出する（Ｓ３３０１）。

【0340】

デコーダは、ブロックの境界の内、デブロッキング（ｄｅ－ｂｌｏｃｋｉｎｇ）フィルタリングが適用されるエッジを決定する（Ｓ３３０２）。

【0341】

つまり、デコーダは、ブロックの境界でデブロッキングフィルタリングが適用されるエッジを決定する。

【0342】

この際、ブロックの幅（width）または高さ（height）を考慮して、エッジ（edge）が決定されることができる。

【0343】

例えば、先の実施形態１－１と同様に、エッジのタイプが垂直エッジである場合、ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてエッジが決定されることができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてエッジが決定されることができる。

【0344】

また他の例として、実施形態１－２のように、エッジのタイプが垂直エッジ（vertical edge）である場合、ブロックの幅が８以上のブロックの境界の内にのみエッジが決定されることができる（つまり、ブロックの幅が４以下であるブロックの境界では、フィルタリングが適用されない）。また、エッジのタイプが水平エッジである場合、ブロックの高さが８以上のブロックの境界の内にのみエッジが決定されることができる（つまり、ブロックの高さが４以下であるブロックの境界では、フィルタリングが適用されない）。

【0345】

また他の例として、実施形態２のように、デブロッキングフィルタリングが適用される前、ピクセルに基づいてエッジが決定されることがある。

【0346】

デコーダは、エッジに適用されるデブロッキングフィルタリングのタイプを決定する（Ｓ３３０３）。

【0347】

例えば、デコーダは、エッジに強いフィルタリングが適用されるか、弱いフィルタリングが適用されるかを決定することができる。

【0348】

この際、ブロックの幅または高さを考慮して、デブロッキングフィルタリングのタイプが決定されることができる。

【0349】

例えば、先の実施形態１－１と同様に、エッジのタイプが垂直エッジである場合、ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることができる。また、エッジのタイプが水平エッジ（ｈｏｒｉｚｏｎｔａｌ ｅｄｇｅ）である場合、ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることができる。

【0350】

また他の例として、実施形態１－３と同様に、エッジのタイプが垂直エッジである場合、ブロックの幅が４以下であれば、デブロッキングフィルタのタイプは、弱いフィルタリングに決定することができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、デブロッキングフィルタのタイプは、弱いフィルタリングに決定することができる。

【0351】

また他の例として、実施形態１－４のように、エッジのタイプが垂直エッジ（vertical edge）である場合、ブロックの幅（width）が４以下であれば、デブロッキングフィルタのタイプは、強いフィルタリングで決定され、強いフィルタリングはエッジの左右にそれぞれ隣接する２つのピクセル列にのみ適用することができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、デブロッキングフィルタのタイプは、強いフィルタリングで決定され、強いフィルタリングは、エッジの上側及び下側にそれぞれ隣接する２つのピクセル列にのみ適用することができる。

【0352】

また他の例として、実施形態２のように、デブロッキングフィルタリングが適用される前、ピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることもある。

【0353】

また他の例として、実施形態３のように、ブロックが属するスライスがＩ－ｓｌｉｃｅである場合、ブロックが色彩ブロックかどうかとは無関係にＳ３３０２段階でエッジが決定され、Ｓ３３０３段階でデブロッキングフィルタリングのタイプが決定されることができる。

【0354】

デコーダは、デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルにデブロッキングフィルタリングを実行する（Ｓ３３０４）。

【0355】

図３５は、本発明の一実施形態に係るデブロッキングフィルタリング部を例示する図である。

【0356】

図３５を参照すると、デブロッキングフィルタリング部は前に、図６～図３４で提案された機能、過程及び／または方法を実現する。また、デブロッキングフィルタリング部は前に、図１で例示されたエンコーダの構成要素の内、全体または一部と結合して、エンコード装置に実現されることができ、または先に図２で例示されたデコーダの構成要素の内、全体または一部と結合されてデコード装置に実現されることができる。

【0357】

具体的に、デブロッキングフィルタリング部はブロック境界導出部３５０１、エッジ決定部３５０２、フィルタリングタイプ決定部３５０３及びフィルタリング部３５０４を含んで構成されることができる。

【0358】

ブロック境界導出部３５０１は、クワッドツリー（ｑｕａｄ－ｔｒｅｅ）及びバイナリツリー（ｂｉｎａｒｙ－ｔｒｅｅ）構造に分割されたブロックの境界を導出する。

【0359】

エッジ決定部３５０２は、ブロックの境界の内、デブロッキング（ｄｅ－ｂｌｏｃｋｉｎｇ）フィルタリングが適用されるエッジを決定する。

【0360】

つまり、エッジ決定部３５０２は、ブロックの境界でデブロッキングフィルタリングが適用されるエッジを決定する。

【0361】

この際、ブロックの幅または高さを考慮して、エッジが決定されることができる。

【0362】

例えば、先の実施形態１－１と同様に、エッジのタイプが垂直エッジである場合、ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてエッジが決定されることができる。また、エッジのタイプが水平エッジ（horizontal edge）である場合には、ブロックの高さ（height）が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてエッジ（edge）が決定されることができる。

【0363】

また他の例として、実施形態１－２のように、エッジのタイプが垂直エッジである場合、ブロックの幅が８以上のブロックの境界の内にのみエッジが決定されることができる（つまり、ブロックの幅が４以下であるブロックの境界では、フィルタリングが適用されない）。また、エッジのタイプが水平エッジである場合、ブロックの高さが８以上のブロックの境界の内にのみエッジが決定されることができる（つまり、ブロックの高さが４以下であるブロックの境界では、フィルタリングが適用されない）。

【0364】

また他の例として、実施形態２のように、デブロッキングフィルタリングが適用される前に、ピクセルに基づいてエッジが決定されることもある。

【0365】

フィルタリングタイプ決定部３５０３は、エッジに適用されるデブロッキングフィルタリングのタイプを決定する。

【0366】

例えば、フィルタリングタイプ決定部３５０３は、エッジに強いフィルタリングが適用されるか、弱いフィルタリングが適用されるかを決定することができる。

【0367】

この際、ブロックの幅または高さを考慮して、デブロッキングフィルタリングのタイプが決定されることができる。

【0368】

例えば、先の実施形態１－１のように、エッジのタイプが垂直エッジ（ｖｅｒｔｉｃａｌ ｅｄｇｅ）である場合、ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることができる。

【0369】

また他の例として、実施形態のように、エッジのタイプが垂直エッジである場合、ブロックの幅が４以下であれば、デブロッキングフィルタのタイプは、弱いフィルタリングに決定することができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、デブロッキングフィルタのタイプは、弱いフィルタリングに決定することができる。

【0370】

また他の例として、実施形態１－４のように、エッジのタイプが垂直エッジの場合には、ブロックの幅が４以下であれば、デブロッキングフィルタのタイプは、強いフィルタリングで決定され、強いフィルタリングはエッジの左右にそれぞれ隣接する２つのピクセル列にのみ適用することができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、デブロッキングフィルタのタイプは、強いフィルタリングで決定され、強いフィルタリングは、エッジの上側と下側にそれぞれ隣接する２つのピクセル列にのみ適用することができる。

【0371】

また他の例として、実施形態２のように、デブロッキングフィルタリングが適用される前にピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることもある。

【0372】

また他の例として、実施形態３のように、ブロックが属するスライスがＩ－ｓｌｉｃｅである場合、ブロックが色彩ブロックかどうかとは無関係にＳ３３０２段階でエッジが決定され、Ｓ３３０３段階でデブロッキングフィルタリングのタイプが決定されることができる。

【0373】

フィルタリング部３５０４は、デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルにデブロッキングフィルタリングを実行する。

【0374】

以上で説明された実施形態等は、本発明の構成要素等と特徴が所定形態に結合されたものなどである。各構成要素または特徴は、別の明示的言及がない限り、選択的なものと考慮されなければならない。各構成要素または特徴は、他の構成要素や特徴と結合されなかった形態で実施されることができる。また、一部構成要素等及び／又は特徴を結合して本発明の実施形態を構成することも可能である。本発明の実施形態等で説明される動作の順序は変更されることができる。ある実施形態の一部構成や特徴は、他の実施形態に含まれることができ、または、他の実施形態の対応する構成または特徴と交替されることができる。特許請求の範囲において明示的な引用関係がない請求項等を結合して実施形態を構成したり、出願後の補正により新しい請求項として含め得ることは自明である。

【0375】

本発明に係る実施形態は、様々な手段、例えば、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、またはそれらの組み合わせなどにより実現されることができる。ハードウェアによる実現の場合、本発明の一実施形態は、１つまたはそれ以上のＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより実現されることができる。

【0376】

ファームウェアやソフトウェアによる実現の場合、本発明の一実施形態は、以上で説明された機能または動作を行うモジュール、手順、関数などの形態で実現されることができる。ソフトウェアコードは、メモリに格納されてプロセッサにより駆動されることができる。前記メモリは、前記プロセッサの内部または外部に位置し、既に公知の様々な手段により前記プロセッサとデータをやり取りすることができる。

【0377】

本発明は、本発明の必須的特徴を逸脱しない範囲で他の特定の形態で具体化され得ることは当業者に自明である。したがって、前述した詳細な説明は、あらゆる面で制限的に解釈されてはならず、例示的なことと考慮されなければならない。本発明の範囲は、添付された請求項の合理的解釈により決定されなければならず、本発明の等価的範囲内でのあらゆる変更は、本発明の範囲に含まれる。

【産業上の利用可能性】

【0378】

以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものにおいて、当業者であれば、以下に添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施形態の改良、変更、代替、または付加などが可能であろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【手続補正書】

【提出日】2022-11-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

映像をデコードするための方法において、
分割構造に従って分割された前記映像内の輝度ブロック及び色彩ブロックの境界を導出する段階と、
前記輝度ブロック及び前記色彩ブロックの前記境界の内のデブロッキングフィルタを適用するためのエッジを決定する段階と、
前記輝度ブロックの幅又は高さに基づいて、前記輝度ブロックの前記決定されたエッジのための前記デブロッキングフィルタのタイプを決定する段階と、
前記色彩ブロックがイントラ予測ブロックであることに基づいて、前記色彩ブロックの前記決定されたエッジのための前記デブロッキングフィルタのタイプを決定する段階と、
前記決定されたエッジの周囲の復元サンプルに前記タイプが決定された前記デブロッキングフィルタを適用する段階と、を含み、
前記デブロッキングフィルタの前記タイプを決定する前記段階は、前記デブロッキングフィルタが適用される前の復元サンプルに基づいて前記デブロッキングフィルタの前記タイプを決定する段階を含む、方法。

【請求項2】

前記エッジが垂直エッジである場合、前記幅が８以上である前記輝度ブロックの境界の内でのみ前記エッジが決定される、請求項１に記載の方法。

【請求項3】

前記エッジが水平エッジである場合、前記高さが８以上である前記輝度ブロックの境界の内でのみ前記エッジが決定される、請求項１に記載の方法。

【請求項4】

前記エッジが垂直エッジであり、前記輝度ブロックの前記幅が４以下である場合、前記デブロッキングフィルタの前記タイプは、弱いフィルタに決定される、請求項１に記載の方法。

【請求項5】

前記エッジが水平エッジであり、前記輝度ブロックの前記高さが４以下である場合、前記デブロッキングフィルタの前記タイプは、弱いフィルタに決定される、請求項１に記載の方法。

【請求項6】

前記エッジが垂直エッジであり、前記輝度ブロックの前記幅が４以下である場合、前記デブロッキングフィルタの前記タイプは、強いフィルタに決定され、
前記強いフィルタは、前記エッジの左側及び右側の２つの隣接するピクセル列のみに適用される、請求項１に記載の方法。

【請求項7】

前記エッジが水平エッジであり、前記ブロックの前記高さが４以下である場合、前記デブロッキングフィルタの前記タイプは、強いフィルタに決定され、
前記強いフィルタは、前記エッジの上側及び下側の２つの隣接するピクセル行のみに適用される、請求項１に記載の方法。

【請求項8】

前記エッジを決定する前記段階は、前記デブロッキングフィルタが適用される前に、復元サンプルに基づいて前記エッジを決定する段階を含む、請求項１に記載の方法。

【請求項9】

前記デブロッキングフィルタの前記タイプは、フィルタリングが他の隣接するブロック境界に適用される前に、前記復元サンプルに基づいて決定される、請求項１に記載の方法。

【請求項10】

映像をエンコードするための方法において、
分割構造に従って分割された前記映像内の輝度ブロック及び色彩ブロックの境界を導出する段階と、
前記輝度ブロック及び前記色彩ブロックの前記境界の内のデブロッキングフィルタを適用するためのエッジを決定する段階と、
前記輝度ブロックの幅又は高さに基づいて、前記輝度ブロックの前記決定されたエッジのための前記デブロッキングフィルタのタイプを決定する段階と、
前記色彩ブロックがイントラ予測ブロックであることに基づいて、前記色彩ブロックの前記決定されたエッジのための前記デブロッキングフィルタのタイプを決定する段階と、
前記決定されたエッジの周囲の復元サンプルに前記タイプが決定された前記デブロッキングフィルタを適用する段階と、を含み、
前記デブロッキングフィルタの前記タイプを決定する前記段階は、前記デブロッキングフィルタが適用される前の復元サンプルに基づいて前記デブロッキングフィルタの前記タイプを決定する段階を含む、方法。

【請求項11】

映像を含むビットストリームを含むデータのための送信の方法において、
前記映像のための前記ビットストリームを取得する段階と、
前記ビットストリームを含む前記データを送信する段階と、を含み、
前記ビットストリームは、
分割構造に従って分割された前記映像内の輝度ブロック及び色彩ブロックの境界を導出する段階と、
前記輝度ブロック及び前記色彩ブロックの前記境界の内のデブロッキングフィルタを適用するためのエッジを決定する段階と、
前記輝度ブロックの幅又は高さに基づいて、前記輝度ブロックの前記決定されたエッジのための前記デブロッキングフィルタのタイプを決定する段階と、
前記色彩ブロックがイントラ予測ブロックであることに基づいて、前記色彩ブロックの前記決定されたエッジのための前記デブロッキングフィルタのタイプを決定する段階と、
前記決定されたエッジの周囲の復元サンプルに前記タイプが決定された前記デブロッキングフィルタを適用する段階と、を実行することによって生成され、
前記デブロッキングフィルタの前記タイプを決定する前記段階は、前記デブロッキングフィルタが適用される前の復元サンプルに基づいて前記デブロッキングフィルタの前記タイプを決定する段階を含む、方法。