▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-23
(45)【発行日】2022-07-01
(54)【発明の名称】復号化方法及び符号化方法
(51)【国際特許分類】
H04N 19/593 20140101AFI20220624BHJP
H04N 19/463 20140101ALI20220624BHJP
【ＦＩ】
H04N19/593
H04N19/463
【請求項の数】
2
(21)【出願番号】P 2021095240
(22)【出願日】2021-06-07
(62)【分割の表示】P 2020053113の分割
【原出願日】2013-01-17
(65)【公開番号】P2021145374
(43)【公開日】2021-09-24
【審査請求日】2021-06-07
(31)【優先権主張番号】10-2012-0006841
(32)【優先日】2012-01-20
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2013-0005333
(32)【優先日】2013-01-17
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】320010664
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】110000408
【氏名又は名称】特許業務法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】リー，ソン ヨン
【審査官】清山 昂平
(56)【参考文献】
【文献】国際公開第２０１３／１０５６２２（ＷＯ，Ａ１）
【文献】国際公開第２０１２／００８５１５（ＷＯ，Ａ１）
【文献】Edouard FRANCOIS, et al.，CE6b: Mode ranking for remaining mode coding with 2 or 3 MPMs，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，JCTVC-G242，2011年11月08日，pp.1-5
【文献】Ehsan Maani and Ali Tabatabai，Intra mode coding using logical mode numbering，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，JCTVC-H0407，2012年01月26日，pp.1-5
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
画面内予測モードの復号化方法であって、現在ブロックに対する候補画面内予測モードの一つと前記現在ブロックの画面内予測モードとが同一であるか否かのフラグ情報を復号化し、
前記現在ブロックに対する前記候補画面内予測モードの一つと前記現在ブロックの前記画面内予測モードとが同一である場合、前記候補画面内予測モードに関する情報の構文要素を復号化することによって前記現在ブロックの前記画面内予測モードを導出し、
前記現在ブロックの前記候補画面内予測モードと前記画面内予測モードとが同一でない場合、前記現在ブロックの残りの画面内予測モード情報の構文要素を復号化することによって前記現在ブロックの前記画面内予測モードを導出し、
前記導出された前記現在ブロックの前記画面内予測モードに基づいて、前記現在ブロックの予測ブロックを生成し、
前記現在ブロックの前記画面内予測モードを導出することは、画面内予測モード情報を含むテーブルに基づいて行われ、前記テーブルは、画面内予測モードと前記画面内予測モードのインデックス情報とをマッピングするテーブルであり、画面内予測モードがｐｌａｎａｒモードの場合、前記画面内予測モードがインデックス０にマッピングされ、画面内予測モードがＤＣモードの場合、前記画面内予測モードがインデックス１にマッピングされ、画面内予測モードが方向性画面内予測モードの場合、前記画面内予測モードが前記画面内予測モードの方向性によってインデックス２～３４にマッピングされ、
前記残りの画面内予測モード情報の前記構文要素は、固定された５ビットを使用して符号化された値であり、
前記候補画面内予測モードは、前記現在ブロックの予測輝度情報のための画面内予測モードであり、
前記現在ブロックの色差情報は、前記現在ブロックの前記予測輝度情報によって画面内予測モード情報に基づいて予測され、
前記現在ブロックに対する前記候補画面内予測モードのインデックスのコードワード長は、前記残りの画面内予測モード情報のインデックスのコードワード長よりも短い復号化方法。
【請求項2】
画面内予測モードの符号化方法であって、現在ブロックに対する候補画面内予測モードの一つと前記現在ブロックの画面内予測モードとが同一であるか否かを示すフラグ情報を決定して符号化し、
前記現在ブロックに対する前記候補画面内予測モードの一つと前記現在ブロックの前記画面内予測モードとが同一である場合、前記候補画面内予測モードに関する情報の構文要素を符号化し、
前記現在ブロックの前記候補画面内予測モードと前記画面内予測モードとが同一でない場合、前記現在ブロックの前記画面内予測モードに関する情報を含む前記現在ブロックの残りの画面内予測モード情報の構文要素を符号化し、
前記現在ブロックの前記画面内予測モードに基づいて、前記現在ブロックの予測ブロックを生成し、
前記現在ブロックの前記画面内予測モードは、テーブルに基づいて前記画面内予測モードのインデックス情報にマッピングされ、画面内予測モードがｐｌａｎａｒモードの場合、前記画面内予測モードがインデックス０にマッピングされ、画面内予測モードがＤＣモードの場合、前記画面内予測モードがインデックス１にマッピングされ、画面内予測モードが方向性画面内予測モードの場合、前記画面内予測モードが前記画面内予測モードの方向性によってインデックス２～３４にマッピングされ、
前記現在ブロックに対する前記候補画面内予測モードのインデックスのコードワード長は、前記残りの画面内予測モード情報のインデックスのコードワード長よりも短く、
前記残りの画面内予測モード情報の前記構文要素は、固定された５ビットを使用して符号化された値であり、
前記候補画面内予測モードは、前記現在ブロックの予測輝度情報のためのモードであり、
前記現在ブロックの色差情報は、前記現在ブロックの前記予測輝度情報によって画面内予測モード情報に基づいて予測される符号化方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画面内予測方法及び画像復号化装置に関し、より詳細には、符号化・復号化する方法及び装置に関する。
【背景技術】
【0002】
近年、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像のような高解像度、高品質の画像に対する要求が様々な応用分野で増加している。画像データが高解像度、高品質になるほど、既存の画像データに比べて相対的にデータ量が増加するため、既存の有線又は無線の広帯域回線のような媒体を利用して画像データを伝送し、既存の格納媒体を利用して格納する場合、伝送費用と格納費用が増加する。画像データが高解像度化、高品質化されるにつれて発生するこのような問題を解決するためには、高効率の画像圧縮技術を活用することができる。
【0003】
画像圧縮技術として、現在の画像（ピクチャー）の以前または以後の画像から、現在の画像に含まれた画素値を予測する画面間予測技術、現在の画像の画素情報を利用して現在の画像に含まれた画素値を予測する画面内予測技術、出現頻度が高い値に短い符号を割り当て、出現頻度が低い値に長い符号を割り当てるエントロピー符号化技術など、様々な技術が存在し、このような画像圧縮技術を利用して画像データを効果的に圧縮し、伝送または格納することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の第１目的は、画像符号化効率を向上させるための画面内予測モードマッピング方法を提供することにある。
【0005】
本発明の第２目的は、画像符号化効率を向上させるための画面内予測モードマッピング方法を行う装置を提供することにある。
【課題を解決するための手段】
【0006】
前述した本発明の第１目的を達成するための本発明の一側面による画面内予測方法は、現在ブロックに対する複数の候補画面内予測モードのうちの１つの候補画面内予測モードと現在ブロックの画面内予測モードとが同一であるか否かを示すフラグ情報を復号化し、現在ブロックに対する複数の候補画面内予測モードのうちの１つの候補画面内予測モードと現在ブロックの画面内予測モードとが同一でない場合、現在ブロックの画面内予測モードを導くために現在ブロックの画面内予測モードに関する情報を含む構文要素を復号化することができ、現在ブロックの画面内予測モードを導くために現在ブロックの画面内予測モードに関する情報を含む構文要素を復号化することは、画面内予測モード情報を含むテーブルに基づいて行われ、テーブルは、画面内予測モードと画面内予測モードのインデックス情報とをマッピングするテーブルであり、テーブルにおいて画面内予測モードがｐｌａｎａｒモードであればインデックス０、画面内予測モードがＤＣモードであればインデックス１、方向性画面内予測モードであれば画面内予測モードの方向性によってインデックス２～３４にマッピングされることができる。現在ブロックの画面内予測モードに関する情報を含む構文要素は、固定された５ビットを使用して符号化された値であって、５ビットの情報は、現在ブロックに対する複数の候補画面内予測モードを除いた残りの画面内予測モード情報のうちの１つの画面内予測モードを指示する情報であり得る。現在ブロックに対する複数の候補画面内予測モードは、現在ブロックの周辺ブロックに基づいて導かれた画面内予測モード及び追加の画面内予測モードに基づいて導かれた３個の互いに異なる画面内予測モードであり得る。フラグ情報は、フラグ情報が１である場合、フラグ情報に基づいて現在ブロックの候補画面内予測モードのうちの１つの候補画面内予測モードと現在ブロックの画面内予測モードとが同一であることを示し、フラグ情報が０である場合、フラグ情報に基づいて現在ブロックの複数の候補画面内予測モードと現在ブロックの画面内予測モードとが同一でないことを示すことができる。現在ブロックの画面内予測モードを導くために現在ブロックの画面内予測モードに関する情報を含む構文要素を復号化することは、テーブルにおいて現在ブロックに対する複数の候補画面内予測モードとして３個の画面内予測モードを除いた残りの３２個の画面内予測モード情報を導き、残りの３２個の画面内予測モード情報と現在ブロックの画面内予測モードに関する情報を含む構文要素をマッピングし、残りの３２個の画面内予測モード情報のうち、構文要素にマッピングされた１つの画面内予測モードを現在ブロックの画面内予測モードとして設定することを含むことができる。
【0007】
前述した本発明の第２目的を達成するための本発明の一側面による画像復号化装置は、現在ブロックに対する複数の候補画面内予測モードのうちの１つの候補画面内予測モードと現在ブロックの画面内予測モードとが同一であるか否かを示すフラグ情報及び現在ブロックに対する複数の候補画面内予測モードのうちの１つの候補画面内予測モードと現在ブロックの画面内予測モードとが同一でない場合、現在ブロックの画面内予測モードに関する情報を含む構文要素を復号化して構成するエントロピー復号化部と、現在ブロックに対する複数の候補画面内予測モードのうちの１つの候補画面内予測モードと現在ブロックの画面内予測モードとが同一でない場合、復号化された構文要素に基づいて現在ブロックの画面内予測モードを導く予測部とを備え、テーブルは、画面内予測モードと、画面内予測モードのインデックス情報とをマッピングするテーブルであり、テーブルにおいて画面内予測モードがｐｌａｎａｒモードであればインデックス０、画面内予測モードがＤＣモードであればインデックス１、方向性画面内予測モードであれば画面内予測モードの方向性によってインデックス２～３４にマッピングされることができる。構文要素は、固定された５ビットを使用して符号化された値であって、５ビットの情報は、現在ブロックに対する複数の候補画面内予測モードを除いた残りの画面内予測モード情報のうちの１つの画面内予測モードを指示する情報であり得る。現在ブロックに対する複数の候補画面内予測モードは、現在ブロックの周辺ブロックに基づいて導かれた画面内予測モード及び追加の画面内予測モードに基づいて導かれた３個の互いに異なる画面内予測モードであり得る。フラグ情報は、フラグ情報が１である場合、フラグ情報に基づいて現在ブロックの候補画面内予測モードのうちの１つの候補画面内予測モードと現在ブロックの画面内予測モードとが同一であることを示し、フラグ情報が０である場合、フラグ情報に基づいて現在ブロックの複数の候補画面内予測モードと現在ブロックの画面内予測モードとが同一でないことを示すことができる。予測部は、テーブルにおいて現在ブロックに対する複数の候補画面内予測モードとして３個の画面内予測モードを除いた残りの３２個の画面内予測モード情報を導き、残りの３２個の画面内予測モード情報と現在ブロックの画面内予測モードに関する情報を含む構文要素をマッピングし、残りの３２個の画面内予測モード情報のうち、構文要素にマッピングされた１つの画面内予測モードを現在ブロックの画面内予測モードとして設定するように実現されることができる。
【発明の効果】
【0008】
上述したように、本発明の実施形態に係る画面内予測方法及び画像復号化装置によれば、画面内予測モード情報を短いビット数を用いて符号化・復号化することにより、画像符号化効率を高めることができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施形態に係る符号化装置を示したブロック図である。
【図2】本発明の実施形態に係る復号化器を示したブロック図である。
【図3】本発明の実施形態に係る現在予測部の画面内予測モードを復号化する方法を示したフローチャートである。
【図4】本発明の実施形態に係る画面内予測モードを符号化する方法を示した概念図である。
【図5】本発明の実施形態に係る画面内予測モードを復号化する方法を示した概念図である。
【図6】本発明の実施形態に係るコード番号マッピングテーブルを使用しない場合を示した概念図である。
【図7】本発明の実施形態に係る３５個の画面内予測モードを使用する場合、非方向性画面内予測モードと方向性画面内予測モードとを示したものである。
【図8】本発明の実施形態に係る１９個の画面内予測モードを使用する場合、非方向性画面内予測モードと方向性画面内予測モードとを示したものである。
【図9】本発明の実施形態に係る１１個の画面内予測モードを使用する場合、非方向性画面内予測モードと方向性画面内予測モードとを示したものである。
【図10】本発明の実施形態に係るＭＰＭを除いたコード番号マッピングとコードワードマッピング方法を示した概念図である。
【図11】本発明の実施形態に係る画面内予測モードの符号化及び復号化を行う画像符号化装置及び画像復号化装置の一部を示した概念図である。
【図12】本発明の実施形態に係る画面内予測モードの符号化及び復号化を行う画像符号化装置及び画像復号化装置の一部を示した概念図である。
【発明を実施するための形態】
【0010】
本発明の実施形態及び図面に開示された各構成部は、画像符号化装置の互いに異なる特徴的な機能を示すために、独立した構成で示したものである。各構成部が分離されたハードウェアや１つのソフトウェア構成単位でなされことを意味するものではない。すなわち、各構成部は、説明の便宜上、それぞれの構成部に個別に含まれるように配置されるものであって、各構成部のうち、少なくとも２つの構成部が合わせられて１つの構成部からなってもよく、１つの構成部が複数個の構成部に分けられて機能を行ってもよい。このような各構成部の統合された実施形態及び分離された実施形態も本発明の本質から逸脱しない限り、本発明の権利範囲に含まれる。
【0011】
また、本発明において開示された一部の構成要素は、本発明において本質的な機能を行う必須な構成要素ではなく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上のために使用される構成要素を除いた本発明の本質を実現するのに必須な構成部のみを含んで実現されることができ、単に性能向上のために使用される選択的構成要素を除いた必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
【0012】
図１は、本発明の実施形態に係る符号化装置を示したブロック図である。
【0013】
図１に示すように、符号化装置は、分割部１００、予測部１１０、画面内予測部１０３、画面間予測部１０６、変換部１１５、量子化部１２０、再整列部１２５、エントロピー符号化部１３０、逆量子化部１３５、逆変換部１４０、フィルタ部１４５、及びメモリ１５０を備えることができる。
【0014】
符号化装置は、以下の本発明の実施形態において説明する画像符号化方法により実現されることができるが、一部の構成部での動作は、符号化器の複雑度を下げるために、または速いリアルタイム符号化のために行われないこともある。例えば、予測部で画面内予測を行う際に、リアルタイムで符号化を行うために、全ての画面内予測モード方法を使用して最適の画面内符号化方法を選択する方法を使用せずに、一部の制約的な個数の画面内予測モードを使用して、そのうちから１つの画面内予測モードを最終画面内予測モードとして選択する方法が使用され得る。さらに他の例として、画面内予測または画面間予測を行う際に、使用される予測ブロックの形態を制限的に使用させることも可能である。
【0015】
符号化装置で処理されるブロックの単位は、符号化を行う符号化単位、予測を行う予測単位、変換を行う変換単位となり得る。符号化単位は、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）、予測単位は、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、変換単位は、ＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）という用語として表現されることができる。
【0016】
分割部１００では、１つの画像（ピクチャー）を複数の符号化ブロック、予測ブロック、及び変換ブロックの組み合わせに分割し、所定の基準（例えば、費用関数）として、そのうちの１つの符号化ブロック、予測ブロック、及び変換ブロックの組み合わせを選択して画像を分割することができる。例えば、画像において符号化単位に分割するためには、クオッドツリー構造（ＱｕａｄＴｒｅｅ Ｓｔｒｕｃｔｕｒｅ）のような帰納的なツリー構造を使用することができる。以下、本発明の実施形態では、符号化ブロックの意味を、符号化をするブロックという意味のみならず、復号化を行うブロックという意味としても使用することができる。
【0017】
予測ブロックは、画面内予測または画面間予測を行う単位となり得る。画面内予測を行うブロックは、２Ｎ×２Ｎ、Ｎ×Ｎのような正方形の形態のブロックであってもよく、ＳＤＩＰ（Ｓｈｏｒｔ Ｄｉｓｔａｎｃｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）を使用する長方形の形態のブロックの形態を有してもよい。画面間予測を行うブロックとしては、２Ｎ×２Ｎ、Ｎ×Ｎのような正方形の形態または正方形の形態の予測ブロックを同じ形態に二分割した形態の２Ｎ×Ｎ、Ｎ×２Ｎ、もしくは非対称形態のＡＭＰ（Ａｓｙｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｐａｒｔｉｔｉｏｎｉｎｇ）を使用した予測ブロック分割方法がある。予測ブロックの形態によって変換部１１５では変換を行う方法が変わることがある。
【0018】
予測部１１０は、画面内予測を行う画面内予測部１０３と画面間予測を行う画面間予測部１０６とを備えることができる。予測ブロックに対して画面間予測を使用するかまたは画面内予測を行うかが決定されてもよい。予測が行われる処理単位と予測方法が決められる処理ブロックの単位とは異なることがある。例えば、画面内予測を行う場合、予測モードは予測ブロックを基準として決定され、予測を行う過程は変換ブロックを基準として行われることもできる。生成された予測ブロックと原本（オリジナル）ブロックとの間の残差値（残差ブロック）は変換部１１５に入力されることができる。また、予測のために使用された予測モード情報、動きベクトル情報などは、残差値とともにエントロピー符号化部１３０で符号化されて復号化器に伝達されることができる。
【0019】
ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅｄ Ｍｏｄｕｌａｔｉｏｎ）符号化モードを使用する場合、予測部１１０を介して予測を行わずに、オリジナルブロックをそのまま符号化して復号化部に伝送することも可能である。
【0020】
画面内予測部１０３では、現在ブロック（予測対象となるブロック）の周辺に存在する参照ピクセルに基づいて画面内予測されたブロックを生成することができる。現在ブロックに対する最適の画面内予測モードを算出するために、現在ブロックに対して画面内予測されたブロックを、複数の画面内予測モードを使用することで生成してから、そのうちの１つの予測ブロックを選択して現在ブロックの予測ブロックとして使用することができる。画面内予測方法において画面内予測モードは、予測方向によって参照ピクセル情報を使用する方向性予測モードと、予測を行うときに方向性情報を使用しない非方向性モードとを有することができる。輝度情報を予測するためのモードと色差情報を予測するためのモードとは種類が相違し得る。色差情報を予測するために、輝度情報を予測した画面内予測モード情報または予測された輝度信号情報を活用することができる。
【0021】
１つの画面内予測モードを使用して画面内予測を行う現在ブロックは、現在ブロックの周辺ブロックが画面内予測を行うときに使用された画面内予測モード情報から、現在ブロックの画面内予測モードを予測し、現在ブロックの画面内予測モード情報を符号化することができる。すなわち、現在ブロックの画面内予測モードは、現在ブロックの周辺に存在する予測ブロックの画面内予測モードから予測することができる。周辺ブロックから予測されたモード情報を利用して現在ブロックの画面内予測モードを予測する方法として次のような方法を使用することができる。
【0022】
１）現在ブロックの画面内予測モードと周辺ブロックの画面内予測モードとが同一である場合、所定のフラグ情報を符号化して現在ブロックの画面内予測モードと周辺ブロックの画面内予測モードとが同一であるという情報を伝送することができる。
【0023】
２）もし、現在ブロックの画面内予測モードと周辺ブロックの画面内予測モードとが相違する場合、現在ブロックの予測モード情報を符号化するために現在ブロックの画面内予測モード情報をエントロピー符号化することができる。
【0024】
１）及び２）において、現在ブロックの画面内予測モードを符号化するために使用する周辺ブロックの画面内予測モードは、候補画面内予測モードという用語として定義されて使用される。
【0025】
上記の１）及び２）の方法を行う際に、周辺ブロックの画面内予測モードが利用できなかった場合（例えば、周辺ブロックが存在しないか、周辺ブロックが画面間予測を行った場合）、予め設定された特定の画面内予測モード値を現在ブロックの画面内予測モードを予測するために候補画面内予測モード値として設定することができる。
【0026】
画面内予測部１０３は、現在の画像内の画素情報である現在ブロック周辺の参照ピクセル情報に基づいて画面内予測されたブロックを生成することができる。現在ブロックの周辺ブロックが画面間予測を行ったブロックであり、参照ピクセルが画面間予測を行って予測されたピクセルの復元されたピクセルであり得る。このような場合、当該ピクセルを使用せずに周辺の画面内予測を行ったブロックのピクセルを参照ピクセルとして使用して現在ブロックを画面内予測することができる。すなわち、参照ピクセルが利用できなかった場合、利用しなかった参照ピクセルの代わりに他のピクセルを使用することができる。
【0027】
予測ブロックは、複数個の変換ブロックを含むことができるが、画面内予測を行うとき、予測ブロックのサイズと変換ブロックのサイズとが同一である場合、予測ブロックの左側に存在するピクセル、左上側に存在するピクセル、上側に存在するピクセルに基づいて予測ブロックに対する画面内予測を行うことができる。しかし、画面内予測を行うとき、予測ブロックのサイズと変換ブロックのサイズとが相違して、予測ブロックの内部に複数の変換ブロックが含まれる場合、変換ブロックを基準として決定された参照ピクセルを用いて画面内予測を行うことができる。
【0028】
また、１つの符号化ブロックは、複数の予測ブロックに分割され得るが、符号化ブロックのサイズが最小の場合に対応する最小符号化ブロックにおいてのみ、１つの符号化ブロックが４個の正方形の予測ブロックに分割されたＮ×Ｎ分割を使用して画面内予測を行うことができる。
【0029】
画面内予測方法は、画面内予測モードによって参照画素にＭＤＩＳ（Ｍｏｄｅ Ｄｅｐｅｎｄｅｎｔ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルタを適用した後、予測ブロックを生成することができる。参照ピクセルに適用されるＭＤＩＳフィルタの種類は変化してもよい。画面内予測が行われた後に画面内の予測されたブロックに適用される追加のフィルタであるＭＤＩＳフィルタは、参照ピクセルと予測を行われた後に生成された画面内の予測されたブロックとの間に存在する差異を小さくするために用いることができる。ＭＤＩＳフィルタリングを行う際に、画面内予測モードの方向性によって、参照ピクセルと画面内の予測されたブロックに含まれた一部の列において、さまざまなフィルタリングを行うことができる。
【0030】
本発明の実施形態によれば、現在ブロックのサイズによって画面内予測を行う際に、利用することができる画面内予測モードの数が変化することがある。例えば、画面内予測の対象になる現在ブロックのサイズによって、利用することができる画面内予測モードの数が変化することがある。したがって、現在ブロックに対する画面内予測を行うとき、現在ブロックのサイズが決定され、画面内予測を行うことによって利用することができる画面内予測モードが決定されてもよい。
【0031】
画面間予測部１０６は、現在の画像の以前の画像または以後の画像のうち、少なくとも１つの画像に含まれたブロックの情報を参照して予測を行うことができる。画面間予測部１０６には、参照画像補間部、動き予測部、動き補償部が含まれ得る。
【0032】
参照画像補間部は、メモリ１５０から参照画像情報を受信し、参照画像において整数画素以下の画素情報を生成することができる。輝度画素の場合、１／４画素単位で整数画素以下の画素情報を生成するために、フィルタ係数を異にするＤＣＴ基盤の８タブ補間フィルタ（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）が使用され得る。色差信号の場合、１／８画素単位で整数画素以下の画素情報を生成するために、フィルタ係数を異にするＤＣＴ基盤の４タブ補間フィルタ（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）が使用され得る。
【0033】
画面間予測部１０６は、参照画像補間部により補間された参照画像に基づいて動き予測を行うことができる。動きベクトルを算出するための方法として、ＦＢＭＡ（Ｆｕｌｌ ｓｅａｒｃｈ－ｂａｓｅｄ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ａｌｇｏｒｉｔｈｍ）、ＴＳＳ（Ｔｈｒｅｅ Ｓｔｅｐ Ｓｅａｒｃｈ）、ＮＴＳ（Ｎｅｗ Ｔｈｒｅｅ－Ｓｔｅｐ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ）など、様々な方法が使用され得る。動きベクトルは、補間された画素に基づいて１／２または１／４画素単位の動きベクトル値を有することができる。画面間予測部１０６では、種々の画面間予測方法のうちの１つの画面間予測方法を適用して現在ブロックに対する予測を行うことができる。画面間予測方法としては、例えば、スキップ（Ｓｋｉｐ）方法、マージ（Ｍｅｒｇｅ）方法、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法など、様々な方法が使用され得る。
【0034】
予測部１１０で生成された予測されたブロック（画面内予測されたブロックまたは画面間予測されたブロック）と予測されたブロックのオリジナルブロックとの差値である残差値（Ｒｅｓｉｄｕａｌ）情報を含む残差ブロックが生成され得る。
【0035】
残差ブロックは、変換部１１５に入力され得る。変換部１１５は、オリジナルブロックと予測されたブロックとの残差値（ｒｅｓｉｄｕａｌ）情報を含む残差ブロックをＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）またはＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）のような変換方法を使用して変換させることができる。残差ブロックを変換するために、ＤＣＴ又はＤＳＴのいずれを適用するかは、残差ブロックを生成するために使用された予測ブロックの画面内予測モード情報及び予測ブロックのサイズ情報に基づいて決定することができる。すなわち、変換部は、予測ブロックのサイズ及び予測方法によって変換方法を異なるように適用することができる。
【0036】
量子化部１２０は、変換部１１５で周波数領域に変換された値を量子化することができる。ブロックによってまたは画像の重要度によって量子化係数は変わることができる。量子化部１２０で算出された値は、逆量子化部１３５と再整列部１２５に提供されることができる。
【0037】
再整列部１２５は、量子化された残差値に対して係数値の再整列を行うことができる。再整列部１２５は、係数スキャニング（Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法によって２次元のブロック型係数を１次元のベクトル形態に変更することができる。例えば、再整列部１２５では、ジグザグスキャン（Ｚｉｇ－Ｚａｇ Ｓｃａｎ）方法を利用してＤＣ係数から高周波数領域の係数までスキャンして、それらを１次元ベクトル形態に変更させることができる。変換ブロックのサイズ及び画面内予測モードによって、ジグザグスキャン方法以外の方法として、２次元のブロック型係数を列方向にスキャンする垂直スキャン方法、２次元のブロック型係数を行方向にスキャンする水平スキャン方法が使用され得る。すなわち、変換ブロックのサイズ及び画面内予測モードによって、ジグザグスキャン、垂直方向スキャン、及び水平方向スキャンのいずれか１つのスキャン方法が使用されるのかを決定することができる。
【0038】
エントロピー符号化部１３０は、再整列部１２５により算出された値に基づいてエントロピー符号化を行うことができる。エントロピー符号化は、例えば、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）のような様々な符号化方法を使用することができる。
【0039】
エントロピー符号化部１３０は、再整列部１２５及び予測部１１０から符号化ブロックの残差値係数情報及びブロックタイプ情報、予測モード情報、分割単位情報、予測ブロック情報及び伝送単位情報、動きベクトル情報、参照フレーム情報、ブロックの補間情報、フィルタリング情報など、様々な情報を受信し、所定の符号化方法に基づいてエントロピー符号化を行うことができる。また、エントロピー符号化部１３０では、再整列部１２５から入力された符号化単位の係数値をエントロピー符号化することができる。
【0040】
エントロピー符号化部１３０では、ＣＡＢＡＣを用いたＨＥＢ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｂｉｎａｒｉｚａｔｉｏｎ）方法またはＣＡＢＡＣのｂｙｐａｓｓコーディングをＣＡＶＬＣ係数２進法化方法を活用するＨＴＢ（Ｈｉｇｈ Ｔｈｒｏｕｇｈｐｕｔ Ｂｉｎａｒｉｚａｔｉｏｎ）方法によってエントロピーコーディングを行うことができる。
【0041】
エントロピー符号化部１３０は、画面内予測モード情報に対する２進法化を行って現在ブロックの画面内予測モード情報を符号化することができる。エントロピー符号化部１３０は、このような２進法化動作を行うためのコードワードマッピング部が含まれてもよく、画面内予測を行う予測ブロックのサイズによって２進法化を多様な方法で行うことができる。コードワードマッピング部は、コードワードマッピングテーブルが２進法化の演算によって適応的に生成されるか、コードワードマッピングテーブルを予め格納していてもよい。さらに他の実施形態として、エントロピー符号化部１３０は、コード番号マッピングを行うコード番号マッピング部とコードワードマッピングを行うコードワードマッピング部を利用する現在ブロックの画面内予測モード情報を表現することができる。コード番号マッピング部とコードワードマッピング部は、コード番号マッピングテーブルとコードワードマッピングテーブルが生成又は格納することができる。
【0042】
逆量子化部１３５及び逆変換部１４０では、量子化部１２０で量子化された値を逆量子化し、変換部１１５で変換された値を逆変換する。逆量子化部１３５及び逆変換部１４０で生成された残差値（Ｒｅｓｉｄｕａｌ）は、予測部１１０に含まれた動き推定部、動き補償部、及び画面内予測部を介して予測された予測ブロックと合わせられて復元ブロック（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｂｌｏｃｋ）を生成することができる。
【0043】
フィルタ部１４５は、デブロッキングフィルタ、オフセット補正部、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）のうち、少なくとも１つを含むことができる。
【0044】
デブロッキングフィルタは、復元された画像におけるブロック間の境界により生じたブロック歪みを除去することができる。デブロッキングを行うか否かを判断するために、ブロックに含まれたいくつかの列または行に含まれたピクセルに基づいて、現在ブロックにデブロッキングフィルタを適用するか否かが判断される。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度によって強いフィルタ（Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ）または弱いフィルタ（Ｗｅａｋ Ｆｉｌｔｅｒ）を適用することができる。また、デブロッキングフィルタを適用して、垂直フィルタリング及び水平フィルタリングを行う場合、水平方向フィルタリング及び垂直方向フィルタリングが並行処理することができる。
【0045】
オフセット補正部は、デブロッキングを行った画像に対してピクセル単位でオリジナル画像とのオフセットを補正することができる。特定画像に対するオフセット補正を行うために、画像に含まれたピクセルを一定の数の領域に区分した後、オフセットを行う領域を決定し、当該領域にオフセットを適用する方法、または各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。
【0046】
ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）は、フィルタリングされた復元画像と元の画像とを比較した値に基づいてフィルタリングを行うことができる。画像に含まれたピクセルを少なくとも１つ以上のグループに分けた後、当該グループに適用される１つのフィルタを決定してグループ毎に個別にフィルタリングを行うことができる。ＡＬＦを適用するか否かに関連する情報は符号化単位（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）別に伝送されてもよく、それぞれのブロックによって適用されるＡＬＦのサイズ及び係数は変化してもよい。ＡＬＦは、様々な形態を有することができ、それにより含まれるフィルタの係数の個数も変化することができる。このようなＡＬＦのフィルタリング関連情報（フィルタ係数情報、ＡＬＦ Ｏｎ／Ｏｆｆ情報、フィルタ形態情報）は、ビットストリーム形態でパラメータセットに含まれて伝送されてもよい。
【0047】
メモリ１５０は、フィルタ部１４５を介して算出された復元ブロックまたは画像を格納することができ、格納された復元ブロックまたは画像は、画面間予測を行うとき、予測部１１０に提供されてもよい。
【0048】
図２は、本発明の実施形態に係る復号化器を示したブロック図である。
【0049】
図２に示すように、復号化器は、エントロピー復号化部２１０、再整列部２１５、逆量子化部２２０、逆変換部２２５、予測部２３０、フィルタ部２３５、メモリ２４０が備えられていてもよい。
【0050】
符号化器からビットストリームが入力された場合、入力されたビットストリームは、符号化器と反対の手順で復号化されてもよい。
【0051】
エントロピー復号化部２１０は、符号化器のエントロピー符号化部でエントロピー符号化を行ったことと反対の手順でエントロピー復号化を行うことができる。エントロピー復号化部２１０で復号化された情報のうち、予測ブロックを生成するための情報は予測部２３０に提供され、エントロピー復号化部でエントロピー復号化を行った残差値は再整列部２１５に入力されてもよい。
【0052】
エントロピー復号化部２１０でもエントロピー符号化部と同様に、ＣＡＢＡＣを用いたＨＥＢまたはＣＡＶＬＣの係数コーディング方法を活用するＨＴＢ方法のうち、少なくとも１つの方法を利用して逆変換を行うことができる。
【0053】
エントロピー復号化部２１０では、符号化器で行われた画面内予測及び画面間予測に関連した情報を復号化することができる。エントロピー復号化部は、画面内予測モード番号として受信されたコードワード（ｃｏｄｅｗｏｒｄ）を生成するためのコードワードマッピングテーブルを含むために、コードワードマッピング部を含むことができる。コードワードマッピングテーブルは、予め格納されているか、適応的に生成されることができる。コード番号マッピングテーブルを使用する場合、コード番号マッピングを行うためのコード番号マッピング部がさらに備えられてもよい。
【0054】
再整列部２１５は、エントロピー復号化部２１０でエントロピー復号化されたビットストリームを符号化部で再整列した方法に基づいて再整列を行うことができる。１次元ベクトル形態で表現された係数を再度２次元のブロック形態の係数に復元して再整列することができる。再整列部では、符号化部で行われた係数スキャニングに関連した情報の提供を受け、当該符号化部で行われたスキャニング順序に基づいて逆にスキャニングする方法によって再整列を行うことができる。
【0055】
逆量子化部２２０は、符号化器で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を行うことができる。
【0056】
逆変換部２２５は、符号化器で行った量子化結果について、変換部で行ったＤＣＴ及びＤＳＴに対して逆ＤＣＴ及び逆ＤＳＴを行うことができる。逆変換は、符号化器で決定された伝送単位に基づいて行われてもよい。符号化器の変換部では、ＤＣＴとＤＳＴは、予測方法、現在ブロックのサイズ及び予測方向など、複数の情報に応じて選択的に行われてもよく、復号化器の逆変換部２２５は、符号化器の変換部で行われた変換情報に基づいて逆変換を行うことができる。
【0057】
変換を行うとき、変換ブロックでない符号化ブロックを基準として変換を行うことができる。
【0058】
予測部２３０は、エントロピー復号化部２１０から提供された予測ブロック生成関連情報と、メモリ２４０から提供された過去に復号化されたブロックまたは画像情報とに基づいて予測ブロックを生成することができる。
【0059】
前述したように、符号化器における動作と同様に画面内予測を行うとき、予測ブロックのサイズと変換ブロックのサイズとが同一である場合、予測ブロックの左側に存在するピクセル、左上側に存在するピクセル、上側に存在するピクセルに基づいて予測ブロックに対する画面内予測を行うが、画面内予測を行うとき、変換ブロックが予測ブロックに含まれる場合、変換ブロックを基準とした参照ピクセルを用いて画面内予測を行うことができる。また、前述したように、最小サイズの符号化ブロックに対してのみＮ×Ｎ分割を使用する画面内予測が使用されてもよい。
【0060】
予測部２３０は、予測単位判別部、画面間予測部、及び画面内予測部を備えることができる。予測単位判別部は、エントロピー復号化部から入力される予測単位情報、画面内予測方法の予測モード情報、画面間予測方法の動き予測関連情報など、様々な情報を受信して現在符号化ブロックで予測ブロックを区分し、予測ブロックが画面間予測を行うか、それとも、画面内予測を行うかの可否を判別することができる。画面間予測部は、符号化器から提供された現在予測ブロックの画面間予測に必要な情報を利用して現在予測ブロックが含まれた現在の画像の以前の画像または以後の画像のうち、少なくとも１つの画像に含まれた情報に基づいて現在予測ブロックに対する画面間予測を行うことができる。
【0061】
画面間予測を行うために、符号化ブロックを基準として当該符号化ブロックに含まれた予測ブロックの動き予測方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ モード）、ＡＭＶＰモード（ＡＭＶＰ Ｍｏｄｅ）のうち、いずれの方法であるかの可否を判断することができる。
【0062】
画面内予測部は、現在の画像内の画素情報に基づいて予測ブロックを生成することができる。予測ブロックが画面内予測を行った予測ブロックである場合、符号化器から提供された予測ブロックの画面内予測モード情報に基づいて画面内予測を行うことができる。画面内予測部には、ＭＤＩＳフィルタ、参照画素補間部、ＤＣフィルタを備えることができる。ＭＤＩＳフィルタは、現在ブロックの参照画素にフィルタリングを行う部分であって、現在予測ブロックの画面内予測モードによってフィルタの適用可否を決定して適用することができる。符号化器から提供された予測ブロックの予測モード及びＭＤＩＳフィルタ情報を利用して現在ブロックの参照画素にＭＤＩＳフィルタリングが行われてもよい。現在ブロックの予測モードがＭＤＩＳフィルタリングを行わないモードである場合、ＭＤＩＳフィルタは適用されなくてもよい。また、符号化器のように、同様に予測ブロックを生成した後、参照ピクセルとともにさらにフィルタリングが行われてもよい。
【0063】
参照画素補間部は、予測ブロックの予測モードが参照画素を補間した画素値に基づいて画面内予測を行う予測ブロックである場合、参照画素を補間して整数値以下の画素単位の参照画素を生成することができる。現在予測ブロックの予測モードが参照画素を補間せずに予測ブロックを生成する予測モードである場合、参照画素は補間されなくてもよい。ＤＣフィルタは、現在ブロックの予測モードがＤＣモードである場合、フィルタリングを介して予測ブロックを生成することができる。
【0064】
復元されたブロックまたは画像は、フィルタ部２３５に提供されてもよい。フィルタ部２３５は、デブロッキングフィルタ、オフセット補正部、ＡＬＦを備えることができる。
【0065】
符号化器から当該ブロックまたは画像にデブロッキングフィルタを適用したか否かに関する情報、及びデブロッキングフィルタを適用した場合、強いフィルタを適用したかまたは弱いフィルタを適用したかに関する情報の提供を受けることができる。復号化器のデブロッキングフィルタは、符号化器から提供されたデブロッキングフィルタ関連情報の提供を受け、復号化器で当該ブロックに対するデブロッキングフィルタリングを行うことができる。符号化器と同様に、まず、垂直デブロッキングフィルタリング及び水平デブロッキングフィルタリングが行われ、両者が重なる部分においては、垂直デブロッキング及び水平デブロッキングのうち少なくとも１つが行われてもよい。過去に行われなかった垂直デブロッキングフィルタリングまたは水平デブロッキングフィルタリングが、垂直デブロッキングフィルタリング及び水平デブロッキングフィルタリングが重なる部分で行われてもよい。このようなデブロッキングフィルタリング過程を介してデブロッキングフィルタリングの並行処理（Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ）が可能である。
【0066】
オフセット補正部は、符号化の際に画像に適用されたオフセット補正の種類及びオフセット値情報などに基づいて復元された画像にオフセット補正を行うことができる。
【0067】
ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）は、フィルタリングを行った後、復元された画像と元の画像とを比較した値に基づいてフィルタリングを行うことができる。符号化器から提供されたＡＬＦ適用可否情報、ＡＬＦ係数情報などに基づいて符号化単位にＡＬＦを適用することができる。このようなＡＬＦ情報は、特定のパラメータセットに含まれて提供され得る。
【0068】
メモリ２４０は、復元された画像またはブロックを格納して参照画像または参照ブロックとして使用できるようにすることができ、また、復元された画像を出力部に提供することができる。
【0069】
前述したように、以下、本発明の実施形態では、説明の便宜上、コーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ）が符号化ブロックという用語として使用されているが、符号化だけでなく、復号化を行うブロックであってもよい。以下、本発明の実施形態に係る図３～図１２において説明する画面内予測方法は、図１及び図２において前述した各モジュールの機能に応じて実現することができ、このような符号化器及び復号化器は、本発明の権利範囲に含まれる。
【0070】
現在予測ブロックの画面内予測モードは、周辺ブロックの画面内予測モードから予測され得る。このような画面内予測モードの予測方法をＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）というが、現在ブロックの左側及び上側に存在するブロックの画面内予測モードまたは頻繁に使用される画面内予測モードに基づいて第１のＭＰＭ及び第２のＭＰＭを設定し、現在ブロックの画面内予測モードが第１のＭＰＭ及び第２のＭＰＭの画面内予測モードのうち、少なくとも１つと同一であれば、現在ブロックの画面内予測モードとがＭＰＭの画面内予測モードと同一であるという情報を表示する情報である「ｐｒｅｖ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ」を使用し、「ｍｐｍ＿ｉｄｘ」情報を介して第１のＭＰＭ、第２のＭＰＭのうち、いずれの画面内予測モードと現在予測ブロックの画面内予測モードとが同一であるかを表示することができる。もし、現在ブロックの画面内予測モードとＭＰＭの画面内予測モードとが同一でない場合、現在ブロックの画面内予測モードに関する情報は、「ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ」情報で符号化することができる。
【0071】
図３は、本発明の実施形態に係る現在ブロックの画面内予測モードを復号化する方法を示した順序図である。
【0072】
図３に示すように、現在ブロックの画面内予測モード情報を復号化するために、前述した「ｐｒｅｖ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ」情報を復号化することができる（ステップＳ３００）。
【0073】
復号化された「ｐｒｅｖ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ」情報が１であるか０であるかの可否を判断する（ステップＳ３１０）。
【0074】
本発明の実施形態では、「ｐｒｅｖ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ」情報が１である場合、ＭＰＭと現在ブロックの画面内予測モードとが同一であると判断し、「ｐｒｅｖ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ」情報が０である場合、ＭＰＭと現在ブロックの画面内予測モード情報が異なると判断するが、「ｐｒｅｖ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ」情報に対する他の２進法化方法または他の情報表示方法を使用することも可能である。
【0075】
もし、「ｐｒｅｖ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ」を介して現在ブロックの画面内予測モードとＭＰＭの画面内予測モードとが同一であると判断される場合、「ｍｐｍ＿ｉｄｘ」を復号化して現在ブロックの画面内予測モードが第１のＭＰＭまたは第２のＭＰＭのうち、いずれの画面内予測モードと同一であるかの可否に関する情報を得ることができる（ステップＳ３２０）。もし、「ｐｒｅｖ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ」が現在ブロックの画面内予測モードとＭＰＭの画面内予測モードとが同一でないと判断される場合、現在ブロックの画面内予測モードは、残りのモード情報である「ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ」情報を復号化して現在ブロックの画面内予測モード情報を得ることができる（ステップＳ３３０）。
【0076】
「ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ」情報を符号化・復号化するためには、画面内予測モードにマッピングされたコードワード情報を利用することができる。下記の表１は、画面内予測モード情報を２進法化する方法のうち、１つである指数ゴロム符号化方法を示したものである。
【0077】
【0078】
表１に示すように、コードワードマッピングテーブル上でコード番号（ｃｏｄｅＮｕｍ）が小さいほど、短いコードワードでマッピングされてもよい。すなわち、頻繁に発生する情報に短いコードワードをマッピングする場合、同じ情報をより短いビットストリームで表現できるので、符号化・復号化効率が増加するということが分かる。
【0079】
下記の表２は、本発明の実施形態に係る画面内予測モードに対する順序を羅列したものである。表２は、表３のように表記することもできる。
【0080】
【0081】
【0082】
下記の表４は、本発明の実施形態に係る画面内予測モードとコードワードとをマッピングしておいた表である。表４でのコードワードは、任意に設定しておいたものであって、本発明の本質から逸脱しない限り、他のコードワードを使用して現在画面内予測モードに関する情報をマッピングすることができる。
【0083】
【0084】
表４に示すように、本発明の実施形態に係る画面内予測モードとコードワードのマッピング方法では、頻繁に発生する画面内予測モードに短いコードワードをマッピングし、頻繁に発生する画面内予測モードであるほど短いコードワードを有するようにすることができる。
【0085】
以下、本発明の実施形態で生成される順序に基づいて、最も短いか、最も先にマッピングされるコードワードを第１のコードワードと定義し、その後、順に第２のコードワード、第３のコードワード、第４のコードワード、第ｎのコードワードなどと表現することができる。すなわち、第ｎのコードワードの長さは、第ｎ＋１のコードワードの長さより短いか同一であり得るが、第ｎのコードワードの長さは、第ｎ＋１のコードワードの長さより長いことはない（ここで、ｎは整数）。
【0086】
画面内予測方法で符号化される場合、画面内予測モードのうち、非方向性画面内予測モードであるｐｌａｎａｒモードとＤＣモードとが頻繁に使用され、それに対し、方向性画面内予測モードの使用頻度は相対的に少ない。したがって、本発明の実施形態では、非方向性画面内予測モードに短いコードワードがマッピングされるようにし、非方向性画面内予測モードにマッピングされたコードワードより長いコードワードが方向性画面内予測モードにマッピングされるようにすることにより、画像の符号化及び復号化効率を高めることができる。
【0087】
表５及び表６は、本発明の実施形態に画面内予測モードによって異なる２進法符号化をする方法を示した表である。
【0088】
【0089】
【0090】
表５は、画面内予測モードとして１９個のモードを使用する場合を示したものであり、表６は、画面内予測モードとして３５個のモードを使用する場合に、画面内予測モードを表現するための２進法化方法を示したものである。
【0091】
表５及び表６に示すように、現在ブロックの画面内予測モードを表現するための２進法符号化方法としてｕｎａｒｙ ｃｏｄｅ（１進法符号）とｆｉｘｅｄ ｌｅｎｇｔｈ（固定長）を使用することができる。表５に示すように、画面内予測モードが０または１である場合、ｕｎａｒｙ ｃｏｄｅを用いたｐｒｅｆｉｘ（プレフィックス）は０に固定し、画面内予測モードである０と１を区分するためのｆｉｘｅｄ ｌｅｎｇｔｈを０または１に１ビットで表現することができる。また、画面内予測モードが２～５である場合、ｕｎａｒｙ ｃｏｄｅを用いたｐｒｅｆｉｘは１０に固定し、画面内予測モード２～５を区分するためにｆｉｘｅｄ ｌｅｎｇｔｈを２ビットで表現することができる。このような方式でｕｎａｒｙ ｃｏｄｅとｆｉｘｅｄ ｌｅｎｇｔｈを用いてコードワードと画面内予測モードをマッピングさせることができる。表６もこのような方式で画面内予測モード情報を２進法化して表現することができる。
【0092】
表５及び表６の場合も表２と同様に、画面内予測モード番号が小さいほど、２進法化の際に短いコードワードで生成される方法を使用することができる。したがって、本発明の実施形態によれば、小さい番号の画面内予測モードに対して頻繁に発生する画面内予測モードを配置することにより、少ないビットで当該情報を表現することができ、符号化効率を高めることができる。
【0093】
図４は、本発明の実施形態に係る画面内予測モードを符号化する方法を示した概念図である。
【0094】
図４に示すように、本発明の実施形態によれば、画面内予測モードを符号化するときに、コード番号マッピングテーブル（ｃｏｄｅＮｕｍ ｍａｐｐｉｎｇ ｔａｂｌｅ）を使用することができる。
【0095】
前述した表５または表６の実施形態とは異なり、コード番号マッピングテーブル（ｃｏｄｅＮｕｍ ｍａｐｐｉｎｇ ｔａｂｌｅ）を使用する場合、任意の画面内予測モードが決定されれば、コード番号マッピングテーブルでｔ番目である決定された画面内予測モードと（ｔ－１）番目の画面内予測モードとをスワッピングすることにより、発生頻繁の高い画面内予測モードのコード番号マッピングテーブル内の順位を上げることで、次の画面内予測モードが前記発生頻繁の高い画面内予測モードである場合、より小さい数のコード番号が割り当てられる。結果的に、当該コード番号に対して短いコードワードがマッピングされるようにする。すなわち、ｔ番目の画面内予測モードに対するコード番号順位を上げて再配列されたコード番号マッピングテーブルは、次の予測ブロックに対する画面内予測を行うときに使用することができる。図４をみると、決定された画面内予測モードは「２」となり、２番目の画面内予測モードにマッピングされるコード番号「２」をコード番号マッピングテーブルから読み出してコードワードマッピングテーブルで２番目のコード番号にマッピングされるコードワード（「１０００」）を２番目の画面内予測モードの結果値として出力するようになる。また、コード番号マッピングテーブルは、２番目の画面内予測モードと、すぐ上位に位置した１番目の画面内予測モードとをスワッピングして２番目の画面内予測モードのためのコード番号は「１」に、１番目の画面内予測モードのためのコード番号は「２」に修正されるようになる。そして、このように再配列されたコード番号マッピングテーブルは、次の予測ブロックの画面内予測モード符号化の際に用いられる。さらに他の実施形態では、ｔ番目及び（ｔ－１）番目の画面内予測モードの発生頻度数に基づいて、ｔ番目及び（ｔ－１）番目の画面内予測モードのスワッピング可否を決定する。すなわち、ｔ番目の画面内予測モードの発生頻度数が（ｔ－１）番目の画面内予測モードの発生頻度数より大きければ、ｔ番目及び（ｔ－１）番目の画面内予測モードのスワッピングを行い、再配列されたコード番号マッピングテーブルは、次の予測ブロックに対する画面内予測を行うときに使用することができる。逆に、ｔ番目の画面内予測モードの発生頻度数が（ｔ－１）番目の画面内予測モードの発生頻度数より小さければ、前記２つの画面内予測モードに対するスワッピングを行わずに、現在のコード番号マッピングテーブルを次の予測ブロックに対する画面内予測を行うときに使用することができる。このとき、全ての画面内予測モードに対する発生頻度数が無限に増加することを防止するために、周期的に全ての画面内予測モードに対する発生頻度数を同じ割合に減らすことができる。本実施形態の頻度数に基づいた画面内予測モードに対するスワッピング過程以外の他の過程（例えば、コードワードを決定する）は、前記実施形態（頻度数を用いずに直接スワッピングする）と同一であってもよい。
【0096】
図４では、説明の便宜上、画面内予測モード番号とコード番号マッピングテーブルのコード番号が同一であると仮定するが、他の実施形態では、画面内予測モード番号とコード番号をマッピングする初期コード番号マッピングテーブルが予め決定されて、画面内予測モード番号と相違した番号であるコード番号をマッピングすることができる。
【0097】
図４に示すように、任意の画面内予測モードが決定される場合、画面内予測モードは、コード番号マッピングテーブルのコード番号値にマッピングされてもよい。マッピングされたコード番号値は、コードワードマッピングテーブルを介してコードワード値にマッピングされてもよい。
【0098】
図５は、本発明の実施形態に係る画面内予測モードを復号化する方法を示した概念図である。
【0099】
図５に示すように、復号化器は、符号化器と同じ初期コードワードマッピングテーブルと初期コード番号マッピングテーブルとを有する。復号化器は、ビットストリームからコードワードを読み出し、当該コードワードに基づいてコードワードマッピングテーブルからマッピングされたコード番号値を取得し、前記コード番号にマッピングされる画面内予測モードをコード番号マッピングテーブルから取得すると、最終的に現在ブロックの画面内予測モードを決定することができる。復号化動作でも符号化器と同様に、任意の画面内予測モードが決定されれば、コード番号マッピングテーブルで前記画面内予測モードに対するスワッピングを行うことができる。
【0100】
上記のような方法を行う場合、不要なスワッピングを防止するために、初期コード番号マッピングテーブルの値が重要である。なぜなら、このようなテーブルは、スライスまたはフレームのような任意の単位で再度初期化され、現在スライスまたはフレームの特徴を反映したコード番号マッピングテーブルを生成するために、スワッピングは初期化後に行われる必要があるからである。したがって、画面内予測モードとコード番号値をマッピングさせるコード番号マッピングテーブルを設定の際、頻繁に発生する画面内予測モード値に対してより小さいコード番号値をマッピングすることが重要である。本発明の実施形態によれば、より頻繁に発生する画面内予測モード番号であるほど、より小さいコード番号をマッピングさせ、結果的に、前記画面内予測モードに対するコードワードの長さをより短くして符号化効率を期待することができる。
【0101】
図６は、本発明の実施形態に係るコード番号マッピングテーブルを異なるように使用する場合を示した概念図である。
【0102】
図６に示すように、画面内予測モードの２進法符号化においてＭＰＭを使用せずに、２進法符号化を行うことができる。すなわち、ＭＰＭのための別のフラグ情報を生成せずに、特定の予測ブロックの左側及び上側に存在するブロックの画面内予測モード情報に基づいてコード番号マッピングテーブルを再配列する方法を使用することができる。例えば、左側及び上側に存在するブロックの画面内予測モードが２及び３である場合、２と３をコード番号マッピングテーブルの上方に位置させ、残りの画面内予測モードを後回しにしてコード番号マッピングテーブルを構成する方法を使用することができる。すなわち、左側及び上側に存在するブロックの画面内予測モードをコード番号マッピングテーブル上の上方に位置させ、その後、左側及び上側に存在するブロックの画面内予測モードを除いた残りの画面内予測モードをコード番号マッピングテーブル上に配置する方法を使用して画面内予測モードに該当するコードワードを生成することができる。
【0103】
前述したコード番号マッピングテーブルの再配列方法では、特定の予測ブロックの画面内予測モードが特定の予測ブロックの左側及び／又は上側に存在するブロックの画面内予測モードのうち、少なくとも１つのモードと同一である可能性が大きいということを前提とする。したがって、相対的に発生頻繁が高い画面内予測モードを前記コード番号マッピングテーブルの上方に配置することで、前述したコード番号マッピングテーブルの再配列を最小化することができる。ここで、発生頻繁が高い画面内予測モードが特定の予測ブロックの左側及び／又は上側に存在するブロックの画面内予測モードであってもよく、そうでなくてもよい。もし、発生頻繁が高い画面内予測モードが特定の予測ブロックの左側及び／又は上側に存在するブロックの画面内予測モードであれば、相対的に再配列が発生する確率も低くなるので、不要な再配列を防ぐことができる。逆に、発生頻繁が高い画面内予測モードが特定の予測ブロックの左側及び／又は上側に存在するブロックの画面内予測モードでなければ、特定の予測ブロックの左側及び／又は上側に存在するブロックの画面内予測モードをコード番号マッピングテーブルの上方に位置させ、残りの画面内予測モードを後回ししてコード番号マッピングテーブルを再配列するとき、より短いコードワードを割り当てられるために、残りの画面内予測モードの中でも発生頻繁が高い画面内予測モードが相対的に小さいコード番号をマッピングされる必要がある。結果的に、発生頻繁が高い画面内予測モードが特定の予測ブロックの左側及び／又は上側に存在するブロックの画面内予測モードと同一であるか否かに関係なく、小さいコード番号を割り当てられるようになると、結果的に、圧縮性能及び／又は複雑度の側面で有利となる。
【0104】
さらに他の実施形態では、画面内予測モードの２進法符号化においてＭＰＭを使用して２進法符号化を行うことができる。しかし、ＭＰＭのための別のフラグ情報を生成せずに、特定の予測ブロックの第１のＭＰＭ及び第２のＭＰＭの画面内予測モード情報に基づいてコード番号マッピングテーブルを再配列する方法を使用してＭＰＭに対するコードワードを割り当てられることができる。例えば、第１のＭＰＭ及び第２のＭＰＭの画面内予測モードが２及び３である場合、２と３をコード番号マッピングテーブルの上方に位置させ、残りの画面内予測モードを後回ししてコード番号マッピングテーブルを構成する方法を使用することができる。それ以外の過程は、特定の予測ブロックの左側及び上側に存在するブロックの画面内予測モードをコード番号マッピングテーブル上の上方に位置させる前記実施形態と同一であり得る。
【0105】
本発明の実施形態によれば、前述したような画面内予測モードは、予測ブロックのサイズによって互いに異なる個数の画面内予測モードを使用することができる。
【0106】
下記の表５は、予測ブロックのサイズによって使用され得る画面内予測モードの数を表した表である。
【0107】
【0108】
表７に示すように、予測ブロックのサイズが４×４であるか、６４×６４のサイズである場合、画面内予測モードの数は、１１，１８または１９個が使用され得る。また、予測ブロックのサイズが１６×１６、３２×３２、６４×６４である場合、画面内予測モードの数は、３５個を使用することができる。
【0109】
３５個の画面内予測モードは、下記の表８のように、画面内予測モード番号とそれによる名称を有することができる。
【0110】
【0111】
図７は、本発明の実施形態に係る３５個の画面内予測モードを使用する場合の非方向性画面内予測モードと方向性画面内予測モードとを示したものである。
【0112】
予測ブロックに対する画面内予測を行うために、３５個の画面内予測モードを有する場合、Ｐｌａｎａｒ、ＤＣ、Ｖｅｒ＋ｘ（ｘは、－８から８までの整数）、Ｈｏｒ＋ｘ（ｘは、－７から８までの整数）であってもよい。
【0113】
図８は、本発明の実施形態に係る１９個の画面内予測モードを使用する場合の非方向性画面内予測モードと方向性画面内予測モードとを示したものである。
【0114】
予測ブロックに対する画面内予測を行うために、１９個の画面内予測モードを有する場合、ｐｌａｎａｒ、ＤＣ、Ｖｅｒ＋２ｘ（ｘは、－４から４までの整数）、Ｈｏｒ＋２ｘ（ｘは、－３から４までの整数）であってもよい。すなわち、１９個の画面内予測モードは、図７において３５個の画面内予測モードを使用する場合と異なり、垂直及び水平方向から２の倍数毎の角度動きに対する画面内予測モードのみを選択する方法を使用することができる。
【0115】
１８個の画面内予測モードを使用する場合では、１８番の画面内予測モードを除いた０から１７番までの画面内予測モードを使用して画面内予測を行う方法を行うことができる。
【0116】
図９は、本発明の実施形態に係る１１個の画面内予測モードを使用する場合の非方向性画面内予測モードと方向性画面内予測モードとを示したものである。
【0117】
１１個の画面内予測モードを有する場合、ｐｌａｎａｒ、ＤＣ、Ｖｅｒ＋４ｘ（ｘは、－２から２までの整数）、Ｈｏｒ＋４ｘ（ｘは、－１から２までの整数）であり得る。すなわち、１１個の画面内予測モードは、図７において３５個の画面内予測モードを使用する場合と異なり、垂直及び水平方向から４の倍数毎の角度動きに対する画面内予測モードのみを選択する方法を使用することができる。１１個の画面内予測モードは、図９のように、４番モードから１０番モードまで９個のモードを生成するために、ＶＥＲ（２番モード）及びＨＯＲ（３番モード）を基準とした空間が４等分される。当該９個のモードにｐｌａｎａｒ（０番モード）及びＤＣ（１番モード）を足すと、総１１個のモードが構成され得る。
【0118】
【0119】
予測ブロックのサイズが６４×６４である場合、当該ブロックをより小さく分割（例えば、３２×３２、１６×１６等）する必要がないということであり、これは、当該ブロックの画素値に大きい変化がないと判断することができる。したがって、このような平坦なブロックに対して３５個の全体モードを全て評価するようになると、ほとんどの画面内予測モードに対する予測値が類似して求められ、類似方向性を有したモード別の性能の大きい差は見えない。したがって、複雑度を考慮すれば、３５個のモードを全て評価することよりは、一部画面内予測モードのみに基づいて画面内予測を行うことが複雑度の側面で有利であり得る。それにより、本発明では、図８及び図９のように、６４×６４予測ブロックに対して１１個の画面内予測モード、１８個の画面内予測モード、１９個の画面内予測モードのうち、いずれか１つを使用して画面内予測を行うことができる。
【0120】
４×４サイズの予測ブロックの場合にも予測ブロックのサイズが小さいので、３５個の画面内予測モードとして作られたモード別の予測値が類似する可能性があり、３５個の全ての画面内予測モードを使用するよりは６４×６４サイズの予測ブロックのように１１、１８または１９個の画面内予測モードのうち、１つを使用して画面内予測を行ってもよい。
【0121】
前述したように、１１、１９または３５個の画面内予測モードが使用され、ＭＰＭモードの数が３個である場合、ＭＰＭを除くリメイニングモードに対するコード番号マッピングテーブルを生成することで符号化効率を高めることができる。
【0122】
以下、本発明の実施形態において使用されるＭＰＭは、現在ブロックの画面内予測モード値を予測する候補画面内予測モードの一般的な概念として使用するものであって、これと類似した概念であるＭＰＲＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｒｅｍａｉｎｉｎｇ Ｍｏｄｅ）が使用されてもよく、本発明の権利範囲に含まれるが、説明の便宜上、ＭＰＭについてのみ開示する。
【0123】
図１０は、本発明の実施形態に係るＭＰＭを除いた残りの（リメイニング）画面内予測モードに対してコード番号マッピング方法を示した概念図である。
【0124】
図１０に示すように、ＭＰＭが画面内予測モード番号で２、４、５である場合、コード番号マッピングテーブルで２、４、５を除いた残りの画面内予測モードに対してコード番号マッピングを行うことができる。すなわち、リメイニングモード符号化の際、ＭＰＭに該当する画面内予測モードは選択されないので、ＭＰＭを除いたリメイニングモードに対してのみコード番号値を付与することができる。コード番号値は、コードワードマッピングテーブルを使用してコードワードにマッピングされ得るが、このような方法によってリメイニングモードに該当する画面内予測モードに対してのみコードワードがマッピングされるので、不要なコードワードの浪費を防ぐことができ、符号化効率を高めることができる。
【0125】
復号化動作を行うときにも同様に、入力されたコードワードに基づいてコード番号を生成してＭＰＭに該当する画面内予測モードを除き、マッピングされたコード番号マッピングテーブルを用いて画面内予測モード情報を復号することができる。
【0126】
図１０は、画面内予測モードが１１個使用される場合を示したものであり、１１個の画面内予測モードを使用して予測ブロックに対する画面内予測を行い、ＭＰＭが３個使用される場合、８個のリメイニング画面内予測モードに対してコードワードがマッピングされ得る。リメイニング画面内予測モードを固定長で表現すれば、３ビットのコードワード長で残りの８個の画面内予測モードに対するコードワードをマッピングすることができる。
【0127】
下記の表９は、本発明の実施形態に係るリメイニング画面内予測モードを固定長で表現したものである。
【0128】
【0129】
表９のように、コード番号は、固定長符号化を使用したコードワードにマッピングされ得る。
【0130】
このような方法において、画面内予測モードが１１個、１９個、３５個であり、ＭＰＭが３個である場合、リメイニングモードが８個、１６個、３２個になるので、全体リメイニングモードの個数が２の指数乗であり、前記リメイニングモードを各指数ビットの固定長で表現される。下記の表は、各リメイニングの個数による指数ビットの固定長で表現される場合、リメイニングモードを示すためのコードワードの長さを示したものである。
【0131】
【0132】
表９に示すように、画面内予測モードの数が１１個であり、ＭＰＭの個数が３である場合は、リメイニングモードを示すためのコードワードは３ビットを使用することができる。画面内予測モードの数が１９個であり、ＭＰＭの個数が３である場合は、リメイニングモードを示すためのコードワードは４ビットを使用することができる。画面内予測モードの数が３５個であり、ＭＰＭの個数が３である場合は、リメイニングモードを示すためのコードワードは５ビットを使用することができる。すなわち、本発明の実施形態によれば、現在ブロックの画面内予測モードの個数は、当該リメイニング画面内モードに対応する数の２の指数乗によって生成されてもよい、つまり、前記リメイニングモードは各指数ビットの固定長によって表現されるように決定することができる。上記の実施形態では、ＭＰＭの個数を３に仮定したものであって、ＭＰＭの個数が変わる場合、予測ブロックの画面内予測に使用される画面内予測モードの個数は変化してもよい。
【0133】
図１１は、本発明の実施形態に係る画面内予測モードの符号化及び復号化を行う画像符号化装置及び画像復号化装置の一部を示した概念図である。
【0134】
図１１の上段を参照すれば、画像符号化装置のコードワードマッピング部１１００で画面内予測モード番号を受信してコードワードを生成することができる。前述したようなコードワードマッピングを行うためには、コードワードマッピング部１１００にはコードワードマッピングテーブルを格納していてもよく、また、コードワードマッピングテーブルを生成するための２進法化動作を行ってもよい。コードワードマッピング部は、エントロピーコーディング部の一部として含まれて動作してもよい。前述したように、画面内予測モードのうち、発生頻度が高いＤＣモードまたはｐｌａｎaｒモードのような非方向性画面内予測モードに小さい数の画面内予測モード番号を付与することができ、画面内予測モード番号が小さいほど、短いコードワードがマッピングされるようにするコードワードマッピングテーブルを生成することができる。
【0135】
図１１の下段に示すように、画像復号化装置のコードワードマッピング部１１１０でコードワードを受信し、入力されたコードワードをコードワードマッピング部に含まれたコードワードマッピングテーブルに基づいて画面内予測モード番号として生成することができる。
【0136】
図１２は、本発明の実施形態に係る画面内予測モードの符号化及び復号化を行う画像符号化装置及び画像復号化装置の一部を示した概念図である。
【0137】
図１２の上段に示すように、画像符号化装置の一部にはコード番号マッピング部１２００とコードワードマッピング部１２２０とを備えることができる。画像符号化装置のコード番号マッピング部１２００は、画面内予測モード番号を受信し、コード番号を出力することができる。コードワードマッピング部１２２０は、コード番号を受信し、コードワードを出力することができる。前述した実施形態に係るコード番号マッピング及びコードワードマッピングが行われてもよく、発生頻度が高い画面内予測モード番号ほど、小さい数のコード番号にマッピングされてもよい。前述したように、ＭＰＭを除いてコード番号マッピングをする方法を使用する場合、コード番号マッピング部は、ＭＰＭに該当する画面内予測モードを除いた残りの画面内予測モードに対してコード番号マッピングを行うことができる。
【0138】
図１２の下段に示すように、画像復号化装置は、コードワードマッピング部１２４０とコード番号マッピング部１２６０とを備えることができる。コードワードマッピング部１２４０は、入力されるコードワードに基づいてコード番号を算出することができ、コード番号マッピング部１２６０は、コード番号を受信し、画面内予測モード番号を算出することができる。コードワードマッピング部１２４０には、コードワードマッピングを行うためのコードワードマッピングテーブルが含まれてもよく、コード番号マッピング部１２６０には、受信されたコード番号に基づいて画面内予測モード番号を算出するためのコード番号マッピングテーブルが含まれてもよい。コードワードマッピングテーブルとコード番号マッピング部とは、予め格納されているか、適応的に生成されることができる。
【0139】
以上、実施形態を参照して説明したが、当該技術分野の熟練された当業者は下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を様々に修正及び変更させ得ることが理解できるであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】