IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートの特許一覧 ▶ コリア アドバンスド インスティチュート オブ サイエンス アンド テクノロジィの特許一覧

特許7284137クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置
<>
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図1
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図2
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図3
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図4
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図5
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図6
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図7
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図8
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図9
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図10
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図11
  • 特許-クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-22
(45)【発行日】2023-05-30
(54)【発明の名称】クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置
(51)【国際特許分類】
   H04N 19/70 20140101AFI20230523BHJP
   H04N 19/96 20140101ALI20230523BHJP
【FI】
H04N19/70
H04N19/96
【請求項の数】 17
(21)【出願番号】P 2020190539
(22)【出願日】2020-11-16
(62)【分割の表示】P 2018146237の分割
【原出願日】2011-10-04
(65)【公開番号】P2021040327
(43)【公開日】2021-03-11
【審査請求日】2020-11-16
(31)【優先権主張番号】10-2011-0100675
(32)【優先日】2011-10-04
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2011-0049257
(32)【優先日】2011-05-24
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2010-0131794
(32)【優先日】2010-12-21
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2010-0096559
(32)【優先日】2010-10-04
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】596099882
【氏名又は名称】エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート
【氏名又は名称原語表記】ELECTRONICS AND TELECOMMUNICATIONS RESEARCH INSTITUTE
(73)【特許権者】
【識別番号】502318478
【氏名又は名称】コリア アドバンスド インスティチュート オブ サイエンス アンド テクノロジィ
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100096921
【弁理士】
【氏名又は名称】吉元 弘
(72)【発明者】
【氏名】キム、ジョン、ホ
(72)【発明者】
【氏名】キム、フイ、ヨン
(72)【発明者】
【氏名】ジョン、セ、ユン
(72)【発明者】
【氏名】リム、スン、チャン
(72)【発明者】
【氏名】リー、ハ、ヒュン
(72)【発明者】
【氏名】リー、ジン、ホ
(72)【発明者】
【氏名】チョ、スク、ヒー
(72)【発明者】
【氏名】チェ、ジン、スー
(72)【発明者】
【氏名】キム、ジン、ウン
(72)【発明者】
【氏名】アン、チー、トゥク
(72)【発明者】
【氏名】キム、ムン、チュル
(72)【発明者】
【氏名】リー、ブム、シク
【審査官】坂東 大五郎
(56)【参考文献】
【文献】特許第5612215(JP,B2)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
エントロピー復号化部であって、
符号化単位における第1のコードブロックフラグ情報を復号化し、
前記第1のコードブロックフラグ情報および変換単位の大きさ情報に基づいて、分割情報フラグを復号化するかどうかを決定し、
前記分割情報フラグが復号化されると、前記分割情報フラグに基づいて、前記変換単位がさらに分割されない場合に、前記変換単位における第2のコードブロックフラグ情報を復号化し、
前記変換単位における変換係数を復号化する、エントロピー復号化部と、
前記復号化された変換係数を逆変換する逆変換部と、を備え、
前記大きさ情報は、前記変換単位の大きさを示し、
前記第1のコードブロックフラグ情報の値が所定の値に等しい場合、又は前記変換単位の前記大きさが第1の所定の大きさよりも大きくない場合、前記分割情報フラグは復号化されず、
前記変換単位の前記大きさが第2の所定の大きさと等しい場合、前記変換単位の前記第2のコードブロックフラグ情報は、前記分割情報フラグを復号化することなく復号化され
前記第1の所定の大きさと前記第2の所定の大きさとは、最小変換単位の大きさである、クワッドツリー構造を用いた映像復号化装置。
【請求項2】
前記エントロピー復号化部は、
前記第1のコードブロックフラグ情報は、統合コードブロックフラグであり、
前記第2のコードブロックフラグ情報は、前記変換単位の色差成分に関する0でない一つ以上の変換係数が前記変換単位内に存在するかどうかを示す色差成分に関するコードブロックフラグであり、
前記変換単位における変換深さが所定の値と等しい場合、前記第1のコードブロックフラグ情報を復号化する、請求項1に記載のクワッドツリー構造を用いた映像復号化装置。
【請求項3】
前記所定の値は、前記変換深さが、最上位の変換深さであることを示す、請求項2に記載のクワッドツリー構造を用いた映像復号化装置。
【請求項4】
前記第1のコードブロックフラグ情報は、前記変換単位における予め定めた変換深さにのみ適用される、請求項1に記載のクワッドツリー構造を用いた映像復号化装置。
【請求項5】
映像符号化のために用いられる情報の符号化方法であって、
符号化単位における第1のコードブロックフラグ情報を符号化するステップと、
前記第1のコードブロックフラグ情報および変換単位の大きさ情報に基づいて、分割情報フラグを符号化するかどうかを決定するステップと、
前記分割情報フラグが符号化される場合、前記分割情報フラグに基づいて、前記変換単位がさらに分割されない場合に、前記変換単位の第2のコードブロックフラグ情報を符号化するステップと、
を備え、
前記大きさ情報は、前記変換単位の大きさを示し、
前記第1のコードブロックフラグ情報の値が所定の値に等しい場合、又は前記変換単位の前記大きさが第1の所定の大きさよりも大きくない場合、前記分割情報フラグは符号化されず、
前記変換単位の前記大きさが第2の所定の大きさと等しい場合、前記変換単位の前記第2のコードブロックフラグ情報は、前記分割情報フラグを符号化することなく符号化され
前記第1の所定の大きさと前記第2の所定の大きさとは、最小変換単位の大きさである、情報の符号化方法。
【請求項6】
前記第1のコードブロックフラグ情報は、統合コードブロックフラグであり、
前記第2のコードブロックフラグ情報は、前記変換単位の色差成分に関する0でない一つ以上の変換係数が前記変換単位内に存在するかどうかを示す色差成分に関するコードブロックフラグであり、
前記変換単位の変換深さが所定の値と等しい場合、前記第1のコードブロックフラグ情報が符号化される、請求項5に記載の方法。
【請求項7】
前記所定の値は、前記変換深さが、最上位の変換深さであることを示す、請求項6に記載の方法。
【請求項8】
前記第1のコードブロックフラグ情報は、前記変換単位における予め定めた変換深さにのみ適用される、請求項5に記載の方法。
【請求項9】
前記第1のコードブロックフラグ情報、前記分割情報フラグ、前記第2のコードブロックフラグ情報を含むビットストリームが生成される、請求項5に記載の方法。
【請求項10】
ビットストリームを生成する方法であって、
符号化単位における第1のコードブロックフラグ情報を生成するステップと、
前記第1のコードブロックフラグ情報および変換単位の大きさ情報に基づいて、分割情報フラグを生成するかどうかを決定するステップと、
前記分割情報フラグが生成される場合、前記分割情報フラグに基づいて、前記変換単位がさらに分割されない場合に、前記変換単位の第2のコードブロックフラグ情報を生成するステップと、を備え、
前記大きさ情報は、前記変換単位の大きさを示し、
前記第1のコードブロックフラグ情報の値が所定の値に等しい場合、又は前記変換単位の前記大きさが第1の所定の大きさよりも大きくない場合、前記分割情報フラグは生成されず、
前記変換単位の前記大きさが第2の所定の大きさと等しい場合、前記変換単位の前記第2のコードブロックフラグ情報は、前記分割情報フラグを生成することなく生成され
前記第1の所定の大きさと前記第2の所定の大きさとは、最小変換単位の大きさである、方法。
【請求項11】
前記第1のコードブロックフラグ情報は、統合コードブロックフラグであり、
前記第2のコードブロックフラグ情報は、前記変換単位の色差成分に関する0でない一つ以上の変換係数が前記変換単位内に存在するかどうかを示す色差成分に関するコードブロックフラグであり、
前記変換単位の変換深さが所定の値と等しい場合、前記第1のコードブロックフラグ情報が生成される、請求項10に記載の方法。
【請求項12】
前記所定の値は、前記変換深さが、最上位の変換深さであることを示す、請求項11に記載の方法。
【請求項13】
前記第1のコードブロックフラグ情報は、前記変換単位における予め定めた変換深さにのみ適用される、請求項10記載の方法。
【請求項14】
ビットストリームを用いてコンピュータが実行可能なプログラムを格納するコンピュータが読み取り可能な媒体であって、実行されるとき、前記コンピュータが実行可能なプログラムが復号化装置に、以下のステップ:
前記ビットストリームにおける、符号化単位のための第1のコードブロックフラグ情報を復号化させるステップと、
前記第1のコードブロックフラグ情報及び変換単位の大きさ情報に基づいて、前記ビットストリームにおける分割情報を復号化させるかどうかを決定するステップと、
分割情報フラグが復号化される場合、前記変換単位が、前記分割情報フラグに基づいてさらに分割されない場合に、前記ビットストリームにおける、前記変換単位のための第2のコードブロックフラグ情報を復号化させるステップとを実行させ、
前記大きさ情報は、前記変換単位の大きさを示し、
前記第1のコードブロックフラグ情報の値が所定の値に等しい場合、又は前記変換単位の前記大きさが第1の所定の大きさよりも大きくない場合、前記分割情報フラグは復号化されず、
前記変換単位の前記大きさが第2の所定の大きさと等しい場合、前記変換単位の前記第2のコードブロックフラグ情報は、前記分割情報フラグを復号化することなく復号化され
前記第1の所定の大きさと前記第2の所定の大きさとは、最小変換単位の大きさである、コンピュータが読取可能な媒体。
【請求項15】
前記第1のコードブロックフラグ情報は、統合コードブロックフラグであり、
前記第2のコードブロックフラグ情報は、前記変換単位の色差成分に関する0でない一つ以上の変換係数が前記変換単位内に存在するかどうかを示す色差成分に関するコードブロックフラグであり、
前記変換単位の変換深さが所定の値と等しい場合、前記第1のコードブロックフラグ情報が生成される、請求項14に記載のコンピュータが読取可能な媒体。
【請求項16】
前記所定の値は、前記変換深さが、最上位の変換深さであることを示す、請求項15に記載のコンピュータが読取可能な媒体。
【請求項17】
前記第1のコードブロックフラグ情報は、前記変換単位における所定の変換深さにのみ適用される、請求項14に記載のコンピュータが読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置に関し、より詳しくは、映像符号化/復号化方法に関する。
【背景技術】
【0002】
最近、HD(High Definition)解像度を有する放送サービスが国内だけでなく、世界的に拡大されるにつれて、多くのユーザが高解像度、高画質の映像になれており、これにより、多くの機関が次世代映像機器に対する開発に拍車を掛けている。また、HDTVとともにHDTVの4倍以上の解像度を有するUHD(Ultra High Definition)に対する関心が増大し、より高い解像度、高画質の映像に対する圧縮機術が要求されている。
【0003】
映像圧縮のために、時間的に以前及び/又は以後のピクチャから現在ピクチャに含まれている画素値を予測するインター(inter)予測技術、現在ピクチャ内の画素情報を用いて現在ピクチャに含まれている画素値を予測するイントラ(intra)予測技術、出現頻度が高いシンボル(symbol)に短い符号を割り当て、出現頻度が低いシンボルに長い符号を割り当てるエントロピー符号化技術などが使われることができる。
【0004】
映像圧縮技術には流動的なネットワーク環境を考慮せずに、ハードウェアの制限的な動作環境下で一定のネットワーク帯域幅を提供する技術がある。しかし、随時帯域幅が変化するネットワーク環境に適用される映像データを圧縮するためには新たな圧縮技術が要求され、このためにスケーラブル(scalable)ビデオ符号化/復号化方法が使われることができる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の第1の目的は、映像符号化効率を上げるためにクワッドツリーを用いて変換単位情報を復号化する方法を提供することである。
【0006】
本発明の第2の目的は、映像符号化効率を上げるためにクワッドツリー及び結合符号化方法を用いて変換単位情報を復号化する方法を提供することである。
【0007】
本発明の第3の目的は、映像符号化効率を上げるためにクワッドツリーを用いて変換単位情報を復号化する装置を提供することである。
【0008】
本発明の第4の目的は、映像符号化効率を上げるためにクワッドツリー及び結合符号化方法を用いて変換単位情報を復号化する装置を提供することである。
【課題を解決するための手段】
【0009】
前述した本発明の第1の目的を達成するための本発明の一側面によるクワッドツリー構造を用いる変換単位情報復号化方法は、変換単位で統合コードブロックフラグ情報を復号化するステップ;及び、前記変換単位の大きさ情報と前記統合コードブロックフラグ情報に基づいて分割情報フラグを復号化するステップ;を含む。前記変換単位の大きさ情報と前記統合コードブロックフラグ情報に基づいて分割情報フラグを復号化するステップは、前記変換単位で変換係数が存在しない場合、前記分割情報フラグ情報を復号化せずに、前記変換単位のコードブロックフラグ情報を復号化するステップ;及び、前記分割情報フラグに基づいて前記変換単位が追加に分割されない場合、前記変換単位のコードブロックフラグ情報を復号化するステップ;を含む。前記クワッドツリー構造を用いる変換単位情報復号化方法は、前記変換単位の大きさが追加の変換単位に分割されない最小変換単位と同じ場合、前記統合コードフラグ及び前記分割情報フラグを復号化せずに、前記変換単位のコードブロックフラグ情報を復号化するステップをさらに含む。前記統合コードブロックフラグは、前記統合コードブロックフラグが適用される変換深さが一つに固定され、固定された変換深さでのみ前記統合コードブロックフラグが適用されたり、前記変換深さが所定のパラメータで定義されて複数個の変換単位深さで適応されたりする。
【0010】
また、前述した本発明の第2の目的を達成するための本発明の他の側面によるクワッドツリー構造を用いる変換単位情報復号化方法は、統合コードブロックフラグと変換情報フラグが結合されて符号化された変換単位情報結合フラグに基づいて変換単位のパターン情報を復号化するステップ;及び、前記パターン情報に基づいて前記パターン情報に該当する変換単位のコードブロックフラグ情報及び分割情報フラグ情報を復号化するステップ;を含む。前記パターン情報は、所定の変換単位にコードブロックフラグが存在する場合の数と分割情報フラグが存在する場合の数とに基づいて生成された変数である。前記パターン情報は、可変長さ符号化を用いたテーブルに基づいて二進符号化される。前記パターン情報は、輝度コードブロックフラグ値をMSB(Most Significant Bit)、cbコードブロックフラグをMSB-1、crコードブロックフラグをMSB-2、split_flagをLSB(Least Significant Bit)で表現した4ビット情報に基づいてパターン情報を符号化したものである。
【0011】
また、前述した本発明の第3の目的を達成するための本発明の他の側面による映像復号化装置は、統合コードブロックフラグ情報と変換単位の大きさ情報を復号化し、前記統合コードブロックフラグ情報と前記変換単位の大きさ情報に基づいて分割情報フラグを復号化し、前記変換単位の変換係数を復号化するエントロピー復号化部;及び、前記エントロピー復号化部から提供を受けた変換単位の変換係数情報を逆変換する逆変換部;を含む。
前記エントロピー復号化部は、前記変換単位で変換係数が存在しない場合、前記分割情報フラグ情報を復号化せずに、前記変換単位のコードブロックフラグ情報を復号化し、前記分割情報フラグに基づいて前記変換単位が追加に分割されない場合、前記変換単位のコードブロックフラグ情報を復号化する。前記エントロピー復号化部は、前記変換単位の大きさが追加の変換単位に分割されない最小変換単位と同じ場合、前記統合コードフラグ及び前記分割情報フラグを復号化せずに、前記変換単位のコードブロックフラグ情報を復号化する。
【0012】
また、前述した本発明の第4の目的を達成するための本発明の他の側面による映像復号化装置は、統合コードブロックフラグと変換情報フラグが結合されて符号化された変換単位情報結合フラグに基づいて変換単位のパターン情報を復号化し、前記パターン情報に基づいて前記パターン情報に該当する変換単位のコードブロックフラグ情報及び分割情報フラグ情報を復号化するエントロピー復号化部;及び、前記エントロピー復号化部から提供を受けた変換単位の変換係数情報を逆変換する逆変換部;を含む。前記パターン情報は、所定の変換単位にコードブロックフラグが存在する場合の数と分割情報フラグが存在する場合の数とに基づいて生成される。前記パターン情報は、可変長さ符号化を用いたテーブルに基づいて二進符号化される。前記パターン情報は、輝度コードブロックフラグ値をMSB(Most Significant Bit)、cbコードブロックフラグをMSB-1、crコードブロックフラグをMSB-2、split_flagをLSB(Least Significant Bit)で表現した4ビット情報に基づいてパターン情報を符号化したものである。
【発明の効果】
【0013】
前述したように、本発明の実施例に係るクワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置によると、統合コードフラグ情報及び分割情報フラグを用いて現在変換単位に変換係数情報及び分割可否情報を表現することができる。
したがって、少ないビットで変換単位の変換係数情報及び分割可否情報を符号化/復号化することができ、符号化/復号化効率を高めることができる。
【図面の簡単な説明】
【0014】
図1】本発明の一実施例に係る映像符号化装置を示すブロック図である。
図2】本発明の他の実施例に係る映像復号化器を示すブロック図である。
図3】本発明の他の実施例に係るクワッドツリー構造を用いる変換単位情報を送信する方法を示すフローチャートである。
図4】本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。
図5】本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。
図6】本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。
図7】本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを変換単位の深さ情報によって異に適用することを示す概念図である。
図8】本発明の他の実施例に係るクワッドツリー構造で変換単位情報の復号化過程を示す概念図である。
図9】変換単位情報結合フラグを使用する場合、変換単位の変換係数情報及び分割情報を符号化する方法を示すフローチャートである。
図10】本発明の他の実施例に係る統合コードフラグと分割情報フラグを結合して符号化し、同じ深さに存在する変換単位の変換単位情報を統合する方法を示す概念図である。
図11】本発明の他の実施例に係るクワッドツリー構造のブロック情報を復号化するためのフローチャートである。
図12】本発明の他の実施例に係る変換単位情報結合フラグ情報を復号化する方法を示すフローチャートである。
【発明を実施するための形態】
【0015】
本発明は、多様な変更を加えることができ、多様な実施例を有することができ、特定実施例を図面に例示して詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解されなければならない。各図面を説明しながら類似の参照符号を類似の構成要素に対して使用した。
【0016】
第1、第2などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第1の構成要素は第2の構成要素と命名することができ、同様に、第2の構成要素も第1の構成要素と命名することができる。及び/又はという用語は、複数の関連記載項目の組合せ又は複数の関連記載項目のうちいずれの項目を含む。
【0017】
一構成要素が他の構成要素に“連結されている”又は “接続されている”と言及された場合、該当他の構成要素に直接的に連結されていたり、接続されていたりすることもできるが、中間に他の構成要素が存在することもできると理解されなければならない。反面、一構成要素が他の構成要素に“直接連結されている”又は“直接接続されている”と言及された場合、中間に他の構成要素が存在しないと理解されなければならない。
【0018】
本出願で使用した用語は、単に特定の実施例を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本出願で、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらを組合せたものが存在することを指定するためのものであり、一つ又はその以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらを組合せたものの存在又は付加可能性を予め排除しないと理解されなければならない。
【0019】
以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。
【0020】
図1は、本発明の一実施例に係る映像符号化装置を示すブロック図である。
【0021】
図1を参照すると、映像符号化装置100は、ピクチャ分割部105、予測部110、変換部115、量子化部120、再整列部125、エントロピー符号化部130、逆量子化部135、逆変換部140、フィルタ部145、及びメモリ150を含むことができる。
【0022】
図1に示す各構成部は、映像符号化装置で互いに異なる特徴的な機能を表示すために独立的に示すものであり、各構成部が分離されたハードウェアや一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうち少なくとも二つの構成部が結合されて一つの構成部からなり、又は一つの構成部が複数個の構成部から分けられて機能を遂行することができ、このような各構成部の統合された実施例及び分離された実施例も本発明の本質から外れない限り、本発明の権利範囲に含まれる。
【0023】
また、一部の構成要素は、本発明で本質的な機能を遂行する必須な構成要素ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除いた本発明の本質具現に必須な構成部のみを含んで具現されることができ、単に性能向上のために使われる選択的構成要素を除いた必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
【0024】
ピクチャ分割部105は、入力されたピクチャを少なくとも一つの処理単位に分割することができる。このとき、処理単位は、予測単位(Prediction Unit;PU)であってもよく、変換単位(Transform Unit;TU)であってもよく、符号化単位(Coding Unit;CU)であってもよい。ピクチャ分割部105では、一つのピクチャに対して複数の符号化単位、予測単位、及び変換単位の組合せに分割し、所定の基準(例えば、費用関数)に一つの符号化単位、予測単位、及び変換単位の組合せを選択してピクチャを符号化することができる。
【0025】
例えば、一つのピクチャは、複数個の符号化単位に分割されることができる。ピクチャで符号化単位を分割するためにはクワッドツリー構造(Quad Tree Structure)のような再帰的なツリー構造を使用することができ、一つの映像又は最大大きさ符号化単位をルートにして他の符号化単位に分割される符号化ユニットは、分割された符号化単位の個数ほどの子ノードを有して分割されることができる。一定の制限によってこれ以上分割されない符号化単位は、リーフノードとなる。すなわち、一つのコーディングユニットに対して正方形分割のみが可能であると仮定する場合、一つの符号化単位は、最大4個の他の符号化単位に分割されることができる。
【0026】
以下、本発明の実施例では、符号化単位の意味を、符号化をする単位という意味だけでなく、復号化をする単位という意味として使用することができる。
【0027】
予測単位は、一つの符号化単位内で同じ大きさの少なくとも一つの正四角形又は直四角形などの形態を有して分割されたり、一つの符号化単位内で分割された予測単位のうち一つの予測単位の形態が異なる予測単位の形態と異なる形態を有して分割されたりすることができる。
【0028】
符号化単位に基づいて画面内予測を実行する予測単位を生成時に最小符号化単位でない場合、複数の予測単位(N×N)に分割せずに、画面内予測を実行することができる。
【0029】
予測部110は、画面間予測を実行する画面間予測部と画面内予測を実行する画面内予測部を含むことができる。予測単位に対して画面間予測を使用するか、画面内予測を実行するかを決定し、各予測方法による具体的な情報(例えば、画面内予測モード、動きベクトル、参照ピクチャ等)を決定することができる。このとき、予測が実行される処理単位と予測方法及び具体的な内容が決まる処理単位は異なってもよい。例えば、予測の方法と予測モードなどは、予測単位に決定され、予測の実行は、変換単位に実行されることもできる。生成された予測ブロックと原本ブロックとの間の残差値(残差ブロック)は、変換部115に入力されることができる。また、予測のために使用した予測モード情報、動きベクトル情報などは、残差値と共にエントロピー符号化部130で符号化されて復号化器に伝達されることができる。特定の符号化モードを使用する場合、予測部110を介して予測ブロックを生成せずに、原本ブロックをそのまま符号化して復号化部に送信することも可能である。
【0030】
画面間予測部は、現在ピクチャの以前ピクチャ又は以後ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測単位を予測することができる。画面間予測部は、参照ピクチャ補間部、動き予測部、動き補償部が含むことができる。
【0031】
参照ピクチャ補間部では、メモリ155から参照ピクチャ情報の提供を受け、参照ピクチャで整数画素以下の画素情報を生成することができる。輝度画素の場合、1/4画素単位に整数画素以下の画素情報を生成するためにフィルタ係数を異にするDCTベースの8タッブ補間フィルタ(DCT-based Interpolation Filter)が使われることができる。色差信号の場合、1/8画素単位に整数画素以下の画素情報を生成するためにフィルタ係数を異にするDCTベースの4タッブ補間フィルタ(DCT-based Interpolation Filter)が使われることができる。
【0032】
動き予測部は、参照ピクチャ補間部により補間された参照ピクチャに基づいて動き予測を実行することができる。動きベクトルを算出するための方法として、FBMA(Full search-based Block Matching Algorithm)、TSS(Three Step Search)、NTS(New Three-Step Search Algorithm)等、多様な方法が使われることができる。動きベクトルは、補間された画素に基づいて1/2又は1/4画素単位の動きベクトル値を有することができる。動き予測部では、動き予測方法を異にして現在予測単位を予測することができる。
動き予測方法として、スキップ(Skip)方法、マージ(Merge)方法、AMVP(Advanced Motion Vector Prediction)方法など、多様な方法が使われることができる。
【0033】
画面内予測部は、現在ピクチャ内の画素情報である現在ブロック周辺の参照ピクセル情報に基づいて予測単位を生成することができる。現在予測単位の周辺ブロックが画面間予測を実行したブロックであるため、参照ピクセルが画面間予測を実行したピクセルの場合、画面間予測を実行したブロックに含まれる参照ピクセルを周辺の画面内予測を実行したブロックの参照ピクセル情報に取り替えて使用することができる。すなわち、参照ピクセルを可用しない場合、可用しない参照ピクセル情報を可用な参照ピクセルのうち少なくとも一つの参照ピクセルに取り替えて使用することができる。
【0034】
画面内予測で予測モードは、参照ピクセル情報を予測方向によって使用する方向性予測モードと予測実行時に方向性情報を使用しない非方向性モードを有することができる。輝度情報を予測するためのモードと色差情報を予測するためのモードが異なり、色差情報を予測するために輝度情報を予測した画面内予測モード情報又は予測された輝度信号情報を活用することができる。
【0035】
画面内予測を実行時に予測単位の大きさと変換単位の大きさが同じ場合、予測単位の左側に存在するピクセル、左側上段に存在するピクセル、上段に存在するピクセルに基づいて予測単位に対する画面内予測を実行するが、画面内予測を実行時に予測単位の大きさと変換単位の大きさが異なる場合、変換単位に基づく参照ピクセルを用いて画面内予測を実行することができる。また、最小符号化単位に対してのみN×N分割を使用する画面内予測を使用することができる。
【0036】
画面内予測方法は、予測モードによって参照画素にAIS(Adaptive Intra Smoothing)フィルタを適用した後、予測ブロックを生成することができる。
参照画素に適用されるAISフィルタの種類は異なってもよい。画面内予測方法を実行するために現在予測単位の画面内予測モードは、現在予測単位の周辺に存在する予測単位の画面内予測モードから予測することができる。周辺予測単位から予測されたモード情報を用いて現在予測単位の予測モードを予測する場合、現在予測単位と周辺予測単位の画面内予測モードが同じであると、所定のフラグ情報を用いて現在予測単位と周辺予測単位の予測モードが同じであるという情報を送信することができ、もし、現在予測単位と周辺予測単位の予測モードが異なると、エントロピー符号化を実行して現在ブロックの予測モード情報を符号化することができる。
【0037】
また、予測部110で生成された予測単位に基づいて予測を実行した予測単位と予測単位の原本ブロックとの差値である残差値(Residual)情報を含む残差ブロックが生成されることができる。生成された残差ブロックは、変換部115に入力されることができる。変換部115では、原本ブロックと予測部110を介して生成された予測単位の残差値(residual)情報を含む残差ブロックをDCT(Discrete Cosine Transform)又はDST(Discrete Sine Transform)のような変換方法を使用して変換させることができる。残差ブロックを変換するためにDCTを適用するか、DSTを適用するかは、残差ブロックを生成するために使われた予測単位の画面内予測モード情報に基づいて決定することができる。
【0038】
量子化部120は、変換部115から周波数領域に変換された値を量子化することができる。ブロックによって又は映像の重要度によって量子化係数は変わることができる。量子化部120で算出された値は、逆量子化部135と再整列部125に提供されることができる。
【0039】
再整列部125は、量子化された残差値に対して係数値の再整列を実行することができる。
【0040】
再整列部125は、係数スキャニング(Coefficient Scanning)方法を介して2次元のブロック形態係数を1次元のベクトル形態に変更することができる。
例えば、再整列部125では、ジグザグスキャン(Zig-Zag Scan)方法を用いてDC係数から高周波数領域の係数までスキャンして1次元ベクトル形態に変更させることができる。変換単位の大きさ及び画面内予測モードによってジグザグスキャン方法でない、2次元のブロック形態係数を列方向にスキャンする垂直スキャン方法、2次元のブロック形態係数を行方向にスキャンする水平スキャン方法が使われることができる。すなわち、変換単位の大きさ及び画面内予測モードによって、ジグザグスキャン、垂直方向スキャン及び水平方向スキャンのうちいずれのスキャン方法が使われるかを決定することができる。
【0041】
エントロピー符号化部130は、再整列部125により算出された値に基づいてエントロピー符号化を実行することができる。エントロピー符号化は、例えば、指数ゴロム(Exponential Golomb)、CAVLC(Context-Adaptive Variable Length Coding)、CABAC(Context-Adaptive Binary Arithmetic Coding)のような多様な符号化方法を使用することができる。
【0042】
エントロピー符号化部130は、再整列部125及び予測部110から符号化単位の残差値係数情報及びブロックタイプ情報、予測モード情報、分割単位情報、予測単位情報及び送信単位情報、動きベクトル情報、参照フレーム情報、ブロックの補間情報、フィルタリング情報など、多様な情報を符号化することができる。
【0043】
エントロピー符号化部130では、再整列部125で入力された符号化単位の係数値をエントロピー符号化することができる。
【0044】
エントロピー符号化部130では、可変長さ符号化テーブル(Variable Length Coding Table)のようなエントロピー符号化を実行するためのテーブルが格納されることができ、格納された可変長さ符号化テーブルを使用してエントロピー符号化を実行することができる。エントロピー符号化を実行するにあたり、テーブルに含まれている一部のコードワード(Codeword)にカウンタ(Counter)を用いた方法又は直接変換(Direct Swapping)方法を使用して該当情報のコード番号に対するコードワード割当を変化させることができる。例えば、コード番号とコードワードをマッピングするテーブルで少ないビット数のコードワードが割り当てられた上位のいくつかのコード番号の場合、カウンタを使用してコード番号の合算された発生回数が最も多いコード番号に短い長さのコードワードを割り当てることができるように適応的にコードワードとコード番号をマッピングするテーブルのマッピング順序を変えることができる。カウンタでカウンティングされた回数が所定の閾値に達した場合、カウンタに記録されたカウンティング回数を半分に分けて再びカウンティングを実行することができる。
【0045】
カウンティングを実行しないテーブル内のコード番号は、直接変換(Direct Swapping)方法を使用してコード番号に該当する情報が発生する場合、真上のコード番号と位置を変換する方法を介して該当コード番号に割り当てられるビット数を少なくしてエントロピー符号化を実行することができる。
【0046】
エントロピー符号化部130では、現在変換深さで統合コードブロックフラグを符号化し、統合コードブロックフラグ情報に基づいて分割情報フラグを符号化することができる。また、エントロピー符号化部130では、統合コードブロックフラグ情報に基づいて分割情報フラグを結合して符号化することができる。以下、追加的な符号化方法に対し、以下の本発明の実施例で説明する。
【0047】
逆量子化部135及び逆変換部140では、量子化部120で量子化された値を逆量子化し、変換部115で変換された値を逆変換する。逆量子化部135及び逆変換部140で生成された残差値(Residual)は、予測部110に含まれている動き推定部、動き補償部及びイントラ予測部を介して予測された予測単位と加えられて復元ブロック(Reconstructed Block)を生成することができる。
【0048】
フィルタ部145は、ジブロッキングフィルタ、オフセット補正部、ALF(Adaptive Loop Filter)うち少なくとも一つを含むことができる。
【0049】
ジブロッキングフィルタ145は、復元されたピクチャでブロック間の境界によって生じたブロック歪曲を除去することができる。ジブロッキングを実行するかどうかを判断するために、ブロックに含まれているいくつかの列又は行に含まれているピクセルに基づいて現在ブロックにジブロッキングフィルタ適用するかどうかを判断することができる。ブロックにジブロッキングフィルタを適用する場合、必要なジブロッキングフィルタリング強度によって強いフィルタ(Strong Filter)又は弱いフィルタ(Weak Filter)を適用することができる。また、ジブロッキングフィルタを適用するにあたり、垂直フィルタリング及び水平フィルタリングを実行時、水平方向フィルタリング及び垂直方向フィルタリングが並行処理されるようにすることができる。
【0050】
オフセット補正部は、ジブロッキングを実行した映像に対してピクセル単位に原本映像とのオフセットを補正することができる。特定ピクチャに対するオフセット補正を実行するために映像に含まれているピクセルを一定の数の領域に区分した後、オフセットを実行する領域を決定し、該当領域にオフセットを適用する方法又は各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。
【0051】
ALF(Adaptive Loop Filter)は、フィルタリングした復元映像と元来の映像を比較した値に基づいてフィルタリングを実行することができる。映像に含まれているピクセルを所定のグループに分けた後、該当グループに適用される一つのフィルタを決定してグループ毎に差別的にフィルタリングを実行することができる。ALFを適用するかどうかに関連した情報は、輝度信号は符号化単位(Coding Unit;CU)別に送信されることができ、それぞれのブロックによって適用されるALFの大きさ及び係数は変わることができる。ALFは、多様な形態を有することができ、フィルタにより含まれる係数の個数も変わることができる。このようなALFのフィルタリング関連情報(フィルタ係数情報、ALF On/Off情報、フィルタ形態情報)は、ビットストリームで所定のパラメータセットに含まれて送信されることができる。
【0052】
メモリ150は、フィルタ部145を介して算出された復元ブロック又はピクチャを格納することができ、格納された復元ブロック又はピクチャは、画面間予測を実行時に予測部110に提供されることができる。
【0053】
図2は、本発明の他の実施例に係る映像復号化器を示すブロック図である。
【0054】
図2を参照すると、映像復号化器200は、エントロピー復号化部2110、再整列部215、逆量子化部220、逆変換部225、予測部230、フィルタ部235、メモリ240が含まれることができる。
【0055】
映像符号化器から映像ビットストリームが入力された場合、入力されたビットストリームは、映像符号化器と反対の手順に復号化されることができる。
【0056】
エントロピー復号化部210は、映像符号化器のエントロピー符号化部でエントロピー符号化を実行したことと反対の手順にエントロピー復号化を実行することができる。例えば、映像符号化器でエントロピー符号化を実行するために使われたVLCテーブルは、エントロピー復号化部でも同じ可変長さ符号化テーブルで具現されてエントロピー復号化を実行することができる。エントロピー復号化部210で復号化された情報のうち予測ブロックを生成するための情報は、予測部230に提供され、エントロピー復号化部でエントロピー復号化を実行した残差値は、再整列部215に入力されることができる。
【0057】
エントロピー復号化部210でもエントロピー符号化部と同様に、カウンタ(Counter)又は直接変換(Direct Swapping)方法を用いてコードワード割当テーブルを変化させることができ、変化されたコードワード割当テーブルに基づいてエントロピー復号化を実行することができる。
【0058】
符号化器で実行された画面内予測及び画面間予測に関連した情報を復号化することができる。前述したように映像符号化器で画面内予測及び画面間予測を実行時に所定の制約がある場合、このような制約に基づくエントロピー復号化を実行して現在ブロックに対する画面内予測及び画面間予測に関連した情報の提供を受けることができる。エントロピー復号化部では、以下の本発明の実施例の図3乃至図8で説明する復号化動作を実行することができる。
【0059】
エントロピー復号化部210では、変換単位で統合コードブロックフラグ情報を復号化し、変換単位の大きさ情報と統合コードブロックフラグ情報に基づいて分割情報フラグを復号化することができる。また、統合コードブロックフラグと変換情報フラグが結合されて符号化された変換単位情報結合フラグに基づいて変換単位のパターン情報を復号化し、パターン情報に基づいてパターン情報に該当する変換単位のコードブロックフラグ情報及び分割情報フラグ情報を復号化することができる。詳細なエントロピー復号化過程に対し、以下の本発明の実施例で記述する。
【0060】
再整列部215は、エントロピー復号化部210でエントロピー復号化されたビットストリームを符号化部で再整列した方法に基づいて再整列を実行することができる。1次元ベクトル形態に表現された係数を再び2次元のブロック形態の係数に復元して再整列することができる。再整列部では、符号化部で実行された係数スキャニングに関連した情報の提供を受け、該当符号化部で実行されたスキャニング順序に基づいて逆にスキャニングする方法を介して再整列を実行することができる。
【0061】
逆量子化部220は、符号化器で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を実行することができる。
【0062】
逆変換部225は、映像符号化器で実行した量子化結果に対して変換部で実行したDCT及びDSTに対して逆DCT及び逆DSTを実行することができる。逆変換は、映像符号化器で決定された送信単位に基づいて実行されることができる。映像符号化器の変換部では、DCTとDSTは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行されることができ、映像復号化器の逆変換部225では、映像符号化器の変換部で実行された変換情報に基づいて逆変換を実行することができる。
【0063】
変換を実行時に変換単位でない符号化単位を基準に変換を実行することができる。
【0064】
予測部230は、エントロピー復号化部210で提供された予測ブロック生成関連情報とメモリ240で提供された以前に復号化されたブロック又はピクチャ情報に基づいて予測ブロックを生成することができる。
【0065】
前述したように、映像符号化器での動作と同様に、画面内予測を実行時に予測単位の大きさと変換単位の大きさが同じ場合、予測単位の左側に存在するピクセル、左側上段に存在するピクセル、上段に存在するピクセルに基づいて予測単位に対する画面内予測を実行するが、画面内予測を実行時に予測単位の大きさと変換単位の大きさが異なる場合には、変換単位に基づく参照ピクセルを用いて画面内予測を実行することができる。また、最小符号化単位に対してのみN×N分割を使用する画面内予測を使用することができる。
【0066】
予測部230は、予測単位判別部、画面間予測部及び画面内予測部を含むことができる。予測単位判別部は、エントロピー復号化部で入力される予測単位情報、画面内予測方法の予測モード情報、画面間予測方法の動き予測関連情報など、多様な情報の入力を受けて現在符号化単位で予測単位を区分し、予測単位が画面間予測を実行するか、画面内予測を実行するかを判別することができる。画面間予測部は、映像符号化器で提供された現在予測単位の画面間予測に必要な情報を用いて現在予測単位が含まれている現在ピクチャの以前ピクチャ又は以後ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて現在予測単位に対する画面間予測を実行することができる。
【0067】
画面間予測を実行するために符号化単位を基準に該当符号化単位に含まれている予測単位の動き予測方法がスキップモード(Skip Mode)、マージモード(Merge Mode)、AMVPモード(AMVP Mode)のうちいずれの方法かを判断することができる。
【0068】
画面内予測部は、現在ピクチャ内の画素情報に基づいて予測ブロックを生成することができる。予測単位が画面内予測を実行した予測単位である場合、映像符号化器で提供された予測単位の画面内予測モード情報に基づいて画面内予測を実行することができる。画面内予測部には、AISフィルタ、参照画素補間部、DCフィルタを含むことができる。AISフィルタは、現在ブロックの参照画素にフィルタリングを実行する部分であり、現在予測単位の予測モードによってフィルタの適用可否を決定して適用することができる。映像符号化器で提供された予測単位の予測モード及びAISフィルタ情報を用いて現在ブロックの参照画素にAISフィルタリングを実行することができる。現在ブロックの予測モードがAISフィルタリングを実行しないモードの場合、AISフィルタは適用されない。
【0069】
参照画素補間部は、予測単位の予測モードが参照画素を補間した画素値に基づいて画面内予測を実行する予測単位の場合、参照画素を補間して整数値以下の画素単位の参照画素を生成することができる。現在予測単位の予測モードが参照画素を補間せずに、予測ブロックを生成する予測モードの場合、参照画素は補間されない。DCフィルタは、現在ブロックの予測モードがDCモードの場合、フィルタリングを介して予測ブロックを生成することができる。
【0070】
復元されたブロック又はピクチャは、フィルタ部235に提供されることができる。フィルタ部235は、ジブロッキングフィルタ、オフセット補正部、ALFを含むことができる。
【0071】
映像符号化器から該当ブロック又はピクチャにジブロッキングフィルタを適用したかどうかに対する情報及びジブロッキングフィルタを適用した場合、強いフィルタを適用したか、弱いフィルタを適用したかに対する情報の提供を受けることができる。映像復号化器のジブロッキングフィルタでは、映像符号化器で提供されたジブロッキングフィルタ関連情報の提供を受け、映像復号化器で該当ブロックに対するジブロッキングフィルタリングを実行することができる。映像符号化器と同様に、まず、垂直ジブロッキングフィルタリング及び水平ジブロッキングフィルタリングを実行し、重なる部分においては垂直ジブロッキング及び水平ジブロッキングのうち少なくとも一つを実行することができる。垂直ジブロッキングフィルタリング及び水平ジブロッキングフィルタリングが重なる部分で以前に実行されない垂直ジブロッキングフィルタリング又は水平ジブロッキングフィルタリングが実行されることができる。このようなジブロッキングフィルタリング過程を介してジブロッキングフィルタリングの並行処理(Parallel Processing)が可能である。
【0072】
オフセット補正部は、符号化時、映像に適用されたオフセット補正の種類及びオフセット値情報などに基づいて復元された映像にオフセット補正を実行することができる。
【0073】
ALFは、フィルタリングを実行後に復元された映像と元来の映像を比較した値に基づいてフィルタリングを実行することができる。符号化器から提供されたALF適用可否情報、ALF係数情報などに基づいて符号化単位にALFを適用することができる。このようなALF情報は、特定のパラメータセットに含まれて提供されることができる。
【0074】
メモリ240は、復元されたピクチャ又はブロックを格納して参照ピクチャ又は参照ブロックとして使用するようにすることができ、また、復元されたピクチャを出力部に提供することができる。
【0075】
前述したように、以下、本発明の実施例では、説明の便宜上、コーディングユニット(Coding Unit)を符号化単位という用語として使用するが、符号化だけでなく、復号化を実行する単位として使用されることもできる。以下、本発明の実施例に係る図3乃至図12で説明する二つの候補イントラ予測モードを用いた画面内予測モードの符号化/復号化方法は、図1及び図2で前述した各モジュールの機能に適するように具現されることができ、このような符号化器及び復号化器は本発明の権利範囲に含まれる。
【0076】
以下の本発明の実施例で使われる所定のフラグ情報を示す二進符号は例示に過ぎず、他の二進符号を介して同じ情報を表現することができ、このような実施例も本発明の権利範囲に含まれる。
【0077】
図3は、本発明の他の実施例に係るクワッドツリー構造を用いる変換単位情報を送信する方法を示すフローチャートである。
【0078】
図3を参照すると、現在変換単位の大きさが最小変換単位より大きいかどうかを判断する(ステップS300)。
【0079】
現在、変換単位の大きさは、変換深さ情報(trafoDepth)、最大変換単位大きさ情報を示す係数に基づいて算出されたり、直接的にブロック大きさ情報を示す係数を介して算出されたりすることができる。
【0080】
最小変換単位より大きい場合にのみ統合コードブロックフラグ情報を送信し、最小変換単位大きさである場合には、統合コードブロックフラグ情報を送信せずに、直ちに現在変換単位でそれぞれのコードブロックフラグ(cbf_y、cbf_u、cbf_v)を各々符号化することができる(ステップS340)。
【0081】
コードブロックフラグcbf_luma又はcbf_yは、現在変換単位に輝度信号を変換した変換係数値のうち0でない一つ以上の変換係数が存在するかどうか、cbf_cbは、現在変換単位に色差信号cbを変換した変換係数値のうち0でない一つ以上の変換係数が存在するかどうか、cbf_crは、現在変換単位で色差信号crを変換した変換係数値のうち0でない一つ以上の変換係数が存在するかどうかを示すことができる。
【0082】
現在、変換単位の大きさが最小変換単位より大きい場合、現在の変換深さで統合コードブロックフラグを符号化する(ステップS310)。
【0083】
統合コードブロックフラグは、輝度信号及び色差信号の変換量子化係数が存在するかどうかを示すフラグであり、0でない値の場合、該当変換単位で0でない一つ以上の変換係数が存在するということを意味する。
【0084】
統合コードフラグは、Y/Cb/Crコードブロックフラグを代表して示すフラグとして使われることができる。統合コードフラグの値は、Y/Cb/Crのcbfのうち一つでも0でない場合、統合コードフラグは0でない値で表現されることができ、Y/Cb/Crのcbfの全てが0である場合、統合コードフラグは0で表現されることができる。
【0085】
統合コードブロックフラグが使われる変換深さを固定的に予め定めて使用したり、統合コードブロックフラグが適用されることができる変換深さを適応的に変わって使用したりし、シーケンス又はピクチャ、スライスなど、多様な単位に統合コードブロックフラグの適用可否を異にすることができる。変換深さを適応的に変わるようにするための情報は、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、Slice Headerに含まれることができる。
【0086】
統合コードブロックフラグ情報によって現在変換深さで分割情報フラグを符号化する(ステップS320)。
【0087】
現在、変換単位が分割されたかどうかに関する情報は、構文要素split_transform_flagを介して送信されることができる。以下、本発明の実施例では分割情報フラグという用語をsplit_transform_flagと同じ意味として使用することができる。
【0088】
例えば、現在変換単位が分割される場合、分割情報フラグの値を0でない値に設定し、現在変換単位が分割されない場合、分割情報フラグの値を0に設定して使用することができる。本発明の実施例で使われる構文要素及び構文要素情報を表示するための二進符号は例示に過ぎず、本発明の本質で外れない限り他の構文要素及び他の構文要素の二進符号を使用することができる。
【0089】
本発明の実施例に係るクワッドツリーを用いるブロック情報送信方法では統合コードフラグによって分割情報を異に送信することができる。
【0090】
統合コードブロックフラグが0でなく、現在変換単位が下位変換単位に分割されない場合、分割情報フラグ値として0を有し、統合コードブロックフラグが0でなく、現在変換単位が下位変換単位に分割される場合、分割情報フラグ値として0でない値を有することができる。また、統合コードブロックフラグが0の場合、現在変換単位に対する分割情報を追加的に送信しないことによって不必要な分割情報を送信しない。統合コードブロックフラグと分割情報フラグは、結合されて結合符号化(Joint Coding)されることができる。統合コードブロックフラグと分割情報フラグが結合符号化される場合、ステップS300乃至ステップS320の手順が変わることができる。統合コードブロックフラグを適用する場合、符号化方法は、現在変換単位でcbf_y、cbf_u、cbf_v、split_flagのうち符号化しなければならない情報が何かを判断した後、必要な構文要素情報を所定のパターン情報で表現し、パターン情報に基づいて現在変換単位でそれぞれのコードブロックフラグ(cbf_y、cbf_u、cbf_v)と分割情報フラグ(split_transform_flag)を表現することができる。統合コードフラグを使用した符号化方法に対し、以下で詳細に説明する。
【0091】
現在変換単位が追加に分割されるかどうかを判断する(ステップS330)。
【0092】
変換単位が追加に分割される場合、ステップS300に戻り、分割された変換単位の大きさが最小大きさの変換単位かどうかを判断し、分割された変換単位が最小大きさの変換単位の場合、ステップS340に戻り、統合コードブロックフラグ情報を送信せずに、直ちに現在変換単位に存在するそれぞれの変換係数情報(cbf_y、cbf_u、cbf_v)を各々符号化した後、変換単位情報を符号化する手順を終了することができる。
【0093】
以下、図4乃至図6では、統合コードブロックフラグと分割情報フラグが符号化単位に基づいて送信される方法に対して記述する。すなわち、符号化単位に含まれる変換単位の変換係数情報及び分割情報を符号化単位別に送信することができる。しかし、本発明の実施例に係るツリーを用いるブロック情報送信方法では、変換単位別に統合コードブロックフラグと分割情報フラグを送信することも可能である。
【0094】
図4は、本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。
【0095】
図4を参照すると、図4の上段と図4の下段は、現在変換単位に含まれている変換係数が存在しないAZCB(All Zero Coefficient Block)であり、統合コードブロックフラグを最上位変換ブロックにのみ適用する場合、統合コードブロックフラグと分割情報フラグを送信する方法を説明するための概念図である。
【0096】
以下、本発明の実施例では現在変換単位に変換係数が存在しないAZCB(All Zero Coefficient Block)は、零変換係数変換単位という用語で表現されることができる。
【0097】
図4の上段は、符号化単位の大きさと最上位変換単位の大きさが同じであり、変換単位に含まれている変換係数が存在しない場合を示す。
【0098】
符号化単位の大きさと最上位変換単位の大きさが同じであり、変換単位に含まれている変換係数が存在しない場合、追加に分割されないため、最上位変換単位で統合コードブロックフラグを0に設定し、分割情報フラグは、送信しなくても現在変換単位の大きさ情報と変換係数情報を送信することができる。
【0099】
すなわち、本発明の実施例に係るクワッドツリーを用いるブロック情報送信方法では、変換係数が存在しない零変換係数変換単位に対しては追加の変換単位に分割されないため、分割情報が不必要であり、分割情報フラグは追加的に送信されない。
【0100】
図4の下段は、符号化単位の大きさと最上位変換単位の大きさが異なる場合を示し、変換単位に含まれている変換係数が存在しない場合を示す。
【0101】
最上位変換単位の大きさが符号化単位の大きさより小さく、符号化単位に含まれる最上位変換単位の全てが零変換係数変換単位の場合、統合コードブロックフラグを0に設定し、分割情報フラグは、送信しなくても現在変換単位の大きさ情報と変換係数情報を送信することができる。
【0102】
図5は、本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。
【0103】
図5を参照すると、図5の上段と下段は、現在変換単位に含まれている変換係数が存在し、統合コードブロックフラグを最上位変換ブロックにのみ適用する場合、統合コードフラグと分割情報フラグを送信するための方法を説明するための概念図である。
【0104】
図5の上段は、符号化単位の大きさと最上位変換単位の大きさが同じであり、変換係数が存在し、最上位変換単位が追加の変換単位に分割されない場合を示す。
【0105】
最上位変換単位で統合コードブロックフラグを0でない値に設定し、分割情報フラグを0で送信し、現在変換単位の分割可否情報と変換係数情報を送信することができる。
【0106】
図5の下段は、符号化単位の大きさと最上位変換単位の大きさが同じであり、変換係数が存在し、最上位変換単位が追加の変換単位に分割される場合を示す。
【0107】
最上位変換単位の大きさが符号化単位の大きさと同じであり、下位分割された変換単位のうち少なくとも一つの変換単位で変換係数が存在するブロックの場合、最上位変換単位で統合コードフラグを0でない値に設定し、分割情報フラグを0でない値で送信し、現在符号化単位に含まれている変換単位で変換係数が存在するかどうか及び分割状態を表現することができる。
【0108】
図6は、本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを適用する方法を示す概念図である。
【0109】
図6を参照すると、最上位変換単位の大きさが符号化単位より小さく、変換係数が存在する場合を示す。
【0110】
最上位変換単位の大きさが符号化単位より小さく、変換係数が存在すると、統合コードブロックフラグを0でない値で送信し、現在符号化単位より小さい大きさの変換単位に分割されるため、分割情報フラグを送信しなくても現在符号化単位に含まれている変換単位の分割情報を示すことができる。
【0111】
図7は、本発明の他の実施例に係る統合コードブロックフラグと分割情報フラグを変換単位の深さ情報によって異に適用することを示す概念図である。
【0112】
図7では、変換単位に基づいて統合コードブロックフラグと分割情報フラグを送信することができる。
【0113】
図7の上段を参照すると、変換単位の深さが0の場合、すなわち、最上位変換単位にのみ統合コードフラグを適用することを示す。
【0114】
変換単位の深さが0の場合、すなわち、最上位符号化単位にのみ統合コードブロックフラグと分割情報フラグを適用すると、最上位変換単位を基準に上位変換単位で変換係数が存在するかどうかに基づいて統合コードブロックフラグを送信し、最上位変換単位が追加的に分割されるかに対して分割情報フラグを送信することができる。図7の上段の場合、最上位変換単位を基準に変換係数が存在するため、統合コードブロックフラグを0でない値に設定し(cbf_yuv[depth]!=0)、分割情報フラグを1に設定することができる(split_transform_flag[depth]!=0)。
【0115】
図7の下段を参照すると、変換単位の深さ1まで統合コードブロックフラグ及び分割情報フラグを適用することを示す。
【0116】
図7の下段ブロックでは変換単位の深さが0の場合、変換係数が存在するため、統合コードブロックフラグを0でない値に設定し、追加の下位変換単位に分割されるため、分割情報フラグを1に設定することができる。
【0117】
変換深さが1の場合、各変換単位に対して再び統合コードフラグと分割情報フラグを適用することができる。例えば、zスキャン方向に基づいて第1の変換単位700、第2の変換単位710、第3の変換単位720、第4の変換単位730とする時、第1の変換単位700乃至第3の変換単位720は、変換係数が存在しないため、統合コードブロックフラグを0で送信し、変換係数の全てが0であり、追加の変換単位に分割されないため、分割情報フラグを送信しない(cbf_yuv[depth]=0、split_transform_flag[depth]=0)。第4の変換単位730は、変換係数が存在し、追加に変換単位に分割されるため、統合コードフラグを0でない値で送信し、分割情報フラグを1で送信することができる(cbf_yuv[depth]!=0、split_transform_flag[depth]!=0)。
【0118】
以下の表1は、統合コードフラグと分割情報フラグを送信する構文を示す。
【0119】
【表1】
【0120】
表1を参照すると、変換ツリー(transform tree)シンタックスで変換単位深さ情報によって統合コードブロックフラグと分割情報フラグを表現することができる。
【0121】
図8は、本発明の他の実施例に係るクワッドツリー構造で変換単位情報の復号化過程を示す概念図である。
【0122】
図8の左側に開示された変換単位は、最大変換単位の大きさが32×32であり、最小変換単位の大きさが4×4の場合を示す。
【0123】
図8の左側は、現在変換単位の分割状態と変換係数の存在可否を示すブロックであり、図8の右側は、変換単位のそれぞれの深さで統合コードブロックフラグと分割情報フラグを各々表現する方法を示すツリー構造である。
【0124】
図8で変換深さ0の場合800はcbf_yuv_flagが0でない値であり、変換単位深さ0では変換係数が存在するということを示し、split_transform_flagは1であり、下位変換単位に分割が発生するということを意味する。
【0125】
図8で変換深さ1の場合810、820、830、840は、変換単位深さ1に分割された変換単位での変換係数存在可否と変換単位深さ1の変換単位が追加に分割されるかどうかに対する情報を示す。すなわち、第1の変換ブロック850は、変換係数が存在しないため、統合コードブロックフラグの値に0を送信し、分割情報フラグを追加に送信しない。第4の変換ブロック860も第1の変換ブロックと同じであり、第2の変換ブロック870と第3の変換ブロック880の場合、変換係数が存在するため、統合コードブロックフラグを0でない値で送信し、追加の変換単位に分割されるため、分割情報フラグを1で送信することができる。
【0126】
第2の変換ブロックに基づいて追加に分割された変換単位を見ると、現在変換単位が追加に分割されない場合880、現在変換単位のcbf_y、cbf_u、cbf_vを各々送信することができ、追加に分割される場合890、現在変換単位での統合コードブロックフラグ情報と分割情報フラグを送信することができる。
【0127】
追加に分割された変換単位が最小の変換単位である場合895、直ちに、最小変換単位のcbf_y、cbf_u、cbf_v情報を各々送信することができる。
【0128】
前述したように本発明の他の実施例に係るクワッドツリーを用いるブロック情報送信方法及びその方法を使用する装置では、統合コードブロックフラグと分割情報フラグを結合して符号化することができる。
【0129】
統合コードブロックフラグの各要素であるcbf_y、cbf_u、cbf_vと分割情報を示すsplit_transform_flagを各々符号化することより、統合コードブロックフラグと分割情報フラグを結合してパターン化して符号化する場合、同じ情報をより小さいビット値で送信することができる。結合符号化を使用すると、統合コードブロックフラグの各要素であるcbf_y、cbf_u、cbf_vと分割情報を示すsplit_transform_flag情報を結合して各々符号化することができる。
【0130】
統合コードブロックフラグを算出することができる各要素であるcbf_y、cbf_u、cbf_vとsplit_transform_flag情報を結合して各々符号化されたcbf_yuv_split_flagという一つの構文要素で表現されることができ、変換単位情報結合フラグという用語もcbf_yuv_split_flagと同じ意味として使われる。
【0131】
以下の表2は、統合コードフラグと分割情報フラグを結合して送信するための結合符号化を実行するためのテーブルである。
【0132】
【表2】
【0133】
表2を参照すると、統合コードブロックフラグの各要素であるcbf_y、cbf_u、cbf_vと分割情報を示すsplit_transform_flagが出ることができる場合を一つのテーブルにより定義することができる。例えば、変換単位情報結合フラグは、パターン情報に基づいて統合コードブロックフラグの各要素であるcbf_y、cbf_u、cbf_vと分割情報を示すsplit_transform_flagが出ることができる場合を符号化することができる。
【0134】
例えば、上位単位の変換単位でcbf_uとcbf_vが既に符号化された場合、下位変換単位ではcbf_uとcbf_v情報は符号化する必要がなく、現在変換単位が最小符号化単位である場合、cbf_yの情報のみを符号すればよい。このような場合にはパターン1を介して現在変換単位に輝度信号が存在するかどうかに対する情報のみを符号化することができる。すなわち、現在変換単位のパターンは1であり、追加に現在変換単位に輝度信号が存在するかどうかに対する情報を送信することができる。
【0135】
他の例として、上位単位の変換単位でcbf_uとcbf_vが既に符号化され、現在変換単位が最小大きさの変換単位でない場合。パターン2に基づいて現在変換単位に輝度信号が存在するかどうかに対する情報を符号化することができる。すなわち、現在変換単位のパターンは2であり、現在変換単位の輝度信号が存在するか及び現在変換単位が分割されるかに対する情報を送信することができる。
【0136】
パターンを使用する方法を介して現在変換単位で符号化が必要な情報が何であるかを判断し、該当情報のみを符号化することができる。パターン情報は、優先的にcbf_y値をMSB、cbf_uをMSB-1、cbf_vをMSB-2、split_flagをLSBにする4ビット情報で優先的に表現されることができ、フラグパターンは、以後符号化時にVLCコードを用いた二進符号化も可能である。
【0137】
以下の表3は、統合コードフラグと分割情報フラグを結合して符号化した変換単位情報結合フラグのシンタックス構造である。
【0138】
【表3】
【0139】
表3を参照すると、transform_tree構文に新たな構文要素であるcbf_yuv_split_transを追加して現在符号化単位で輝度信号情報、色差信号情報及び分割情報を表現することができる。
【0140】
本発明の他の実施例に係るクワッドツリーを用いるブロック情報送信方法では、同じ深さに存在する同じ大きさの変換単位の変換単位情報結合フラグを再び結合符号化することができる。
【0141】
図9は、変換単位情報結合フラグを使用する場合、変換単位の変換係数情報及び分割情報を符号化する方法を示すフローチャートである。
【0142】
図9を参照すると、変換単位で符号化を実行すべきコードブロックフラグと分割情報フラグのパターンを符号化する(ステップS900)。
【0143】
コードブロックフラグと分割情報フラグのパターン情報は、表2に基づいて符号化されることができる。
【0144】
符号化されたパターン情報に基づいて該当コードブロックフラグ及び分割情報フラグを符号化する(ステップS910)。
【0145】
符号化されたパターン情報に基づいて該当パターン情報に該当するコードブロックフラグ及び分割情報フラグの値を符号化する。
【0146】
例えば、パターン情報が2の場合、現在変換単位に輝度信号が存在するかどうかに対する情報を符号化することができる。
【0147】
図10は、本発明の他の実施例に係る統合コードフラグと分割情報フラグを結合して符号化し、同じ深さに存在する変換単位の変換単位情報を統合する方法を示す概念図である。
【0148】
図10を参照すると、各ブロックは変換単位を示し、各変換単位に書かれている数字は結合フラグ情報のパターン情報を意味する。便宜上、ブロックと以下で説明する表で、0が意味することはパターン1、1が意味することはパターン2、3が意味することはパターン4を意味する。
【0149】
図10の左側を参照すると、変換単位はパターン情報1である4個の変換単位からなり、図10の右側を参照すると、変換単位は、パターン情報が2、4、2、1である4個の変換単位からなっている。
【0150】
すなわち、上位変換単位では下位変換単位のパターン情報を再び結合して一つの上位変換単位パターン情報を生成することができる。以下の表4は、上位変換単位パターン情報を示す。
【0151】
【表4】
【0152】
表4を参照すると、図8の左側に存在する変換単位の場合、zスキャン方向に、1番変換単位は0、2番変換単位は0、3番変換単位は0、4番変換単位は0のcbf_yuv_split_transのパターン値を有し、新たなパターン情報1を有することができる。図10の左側に存在する変換単位の場合、zスキャン方向に、1番変換単位は1、2番変換単位は3、3番変換単位は1、4番変換単位は0のcbf_yuv_split_transのパターン値を有し、新たなパターン情報5を有することができる。
【0153】
このような上位変換ブロックパターン情報もtransform_tree構文に新たな構文要素として定義されて使われることができる。
【0154】
図11は、本発明の他の実施例に係るクワッドツリー構造のブロック情報を復号化するためのフローチャートである。
【0155】
図11を参照すると、現在変換単位での統合コードブロックフラグ情報を復号化する(ステップS1100)。
【0156】
現在変換単位の大きさ情報と統合コードフラグ情報に基づいて分割情報フラグを復号化する(ステップS1110)。
【0157】
前述した統合コードブロックフラグとsplit_transform_flag情報を結合した変換単位情報結合フラグ(cbf_yuv_split_flag)が使われた場合、ステップS1100及びS1110の過程が変わることができる。表2で前述したように、現在変換単位の変換単位情報結合フラグ情報を復号化し、復号化したパターン情報に基づいて現在変換単位に輝度信号、色差信号が存在するか、分割されかに関する情報を追加的に復号化することができる。
【0158】
図12は、本発明の他の実施例に係る変換単位情報結合フラグ情報を復号化する方法を示すフローチャートである。
【0159】
図12を参照すると、変換単位情報結合フラグ情報に基づいてパターン情報を復号化する(ステップS1200)。
【0160】
復号化されたパターン情報に基づいてパターンに該当するコードブロックフラグ又は分割情報フラグ情報を復号化する(ステップS1210)。
【0161】
すなわち、前述した表2に基づいてパターン情報の提供を受け、該当パターン情報に該当するコードブロックフラグ情報及び分割情報フラグ情報を復号化することができる。
【0162】
以上、実施例を参照して説明したが、該当技術分野の熟練された当業者は、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更可能であることを理解することができる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12