特許第6595674号(P6595674)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サムスン エレクトロニクス カンパニー リミテッドの特許一覧
<>
  • 特許6595674-ビデオ復号化方法及びその装置 図000003
  • 特許6595674-ビデオ復号化方法及びその装置 図000004
  • 特許6595674-ビデオ復号化方法及びその装置 図000005
  • 特許6595674-ビデオ復号化方法及びその装置 図000006
  • 特許6595674-ビデオ復号化方法及びその装置 図000007
  • 特許6595674-ビデオ復号化方法及びその装置 図000008
  • 特許6595674-ビデオ復号化方法及びその装置 図000009
  • 特許6595674-ビデオ復号化方法及びその装置 図000010
  • 特許6595674-ビデオ復号化方法及びその装置 図000011
  • 特許6595674-ビデオ復号化方法及びその装置 図000012
  • 特許6595674-ビデオ復号化方法及びその装置 図000013
  • 特許6595674-ビデオ復号化方法及びその装置 図000014
  • 特許6595674-ビデオ復号化方法及びその装置 図000015
  • 特許6595674-ビデオ復号化方法及びその装置 図000016
  • 特許6595674-ビデオ復号化方法及びその装置 図000017
  • 特許6595674-ビデオ復号化方法及びその装置 図000018
  • 特許6595674-ビデオ復号化方法及びその装置 図000019
  • 特許6595674-ビデオ復号化方法及びその装置 図000020
  • 特許6595674-ビデオ復号化方法及びその装置 図000021
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6595674
(24)【登録日】2019年10月4日
(45)【発行日】2019年10月23日
(54)【発明の名称】ビデオ復号化方法及びその装置
(51)【国際特許分類】
   H04N 19/593 20140101AFI20191010BHJP
   H04N 19/11 20140101ALI20191010BHJP
   H04N 19/159 20140101ALI20191010BHJP
   H04N 19/176 20140101ALI20191010BHJP
【FI】
   H04N19/593
   H04N19/11
   H04N19/159
   H04N19/176
【請求項の数】2
【全頁数】43
(21)【出願番号】特願2018-146259(P2018-146259)
(22)【出願日】2018年8月2日
(62)【分割の表示】特願2017-79729(P2017-79729)の分割
【原出願日】2012年6月27日
(65)【公開番号】特開2018-191332(P2018-191332A)
(43)【公開日】2018年11月29日
【審査請求日】2018年8月2日
(31)【優先権主張番号】61/501,974
(32)【優先日】2011年6月28日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】キム,イル−グ
(72)【発明者】
【氏名】セレギン,ヴァディム
【審査官】 岩井 健二
(56)【参考文献】
【文献】 特開2013−150329(JP,A)
【文献】 国際公開第2013/064100(WO,A1)
【文献】 国際公開第2013/051903(WO,A1)
【文献】 国際公開第2012/172791(WO,A1)
【文献】 国際公開第2012/170812(WO,A1)
【文献】 国際公開第2012/087035(WO,A2)
【文献】 国際公開第2012/023762(WO,A2)
【文献】 Mei Guo, Xun Guo and Shawmin Lei,Improved Intra Mode Coding,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,4th Meeting: Daegu, Korea,2011年 1月,JCTVC-D166,pp.1-7
【文献】 Sandeep Kanumuri, TK Tan and Frank Bossen1,Enhancements to Intra Coding,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,4th Meeting: Daegu, KR,2011年 1月,JCTVC-D235,pp.1-7
【文献】 Wenpeng Ding et al.,Improved Intra Mode Coding by Multiple Mode Candidates,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,4th Meeting: Daegu, KR,2011年 1月,JCTVC-D253,pp.1-5
【文献】 Mei Guo, Xun Guo and Shawmin Lei,CE14 Subtest 1: The Most Probable Mode Signaling for Luma,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,5th Meeting: Geneva, Switzerland,2011年 3月,JCTVC-E088,pp.1-4
【文献】 Tzu-Der Chuang et al.,Luma Intra Prediction Mode Coding,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,6th Meeting: Torino, IT,2011年 7月,JCTVC-F062_r2,pp.1-5
【文献】 Toru Kumakura and Shigeru Fukushima,Intra prediction mode coding based on direction difference,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,6th Meeting: Torino, IT,2011年 7月,JCTVC-F339,pp.1-13
【文献】 Toru Kumakura, Shigeru Fukushima and Motoharu Ueda,Fixing the number of mpm candidates,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,6th Meeting: Torino, IT,2011年 7月,JCTVC-F340,pp.1-8
【文献】 Wei-Jung Chien, Xianglin Wang and Marta Karczewicz,Parsing friendly intra mode coding,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,6th Meeting: Torino, IT,2011年 7月,JCTVC-F459r2,pp.1-5
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 − 19/98
(57)【特許請求の範囲】
【請求項1】
左側ブロックのイントラ予測モードと上側ブロックのイントラ予測モードとに基づいて候補イントラ予測モードを決定する段階と、
前記候補イントラ予測モードから現在ブロックのイントラ予測モードが決定されるか否かを示すMPMフラグをビットストリームから獲得する段階と、
前記MPMフラグが、前記候補イントラ予測モードから前記現在ブロックのイントラ予測モードが決定されると示す時、前記ビットストリームから前記候補イントラ予測モードのうち一つを指すモードインデックスを獲得する段階と、
前記モードインデックスを用いて、現在ブロックのイントラ予測モードを決定する段階と、
前記現在ブロックのイントラ予測モードを用いて、前記現在ブロックに対してイントラ予測を行う段階と、を含み、
前記左側ブロックのイントラ予測モードと前記上側ブロックのイントラ予測モードが同一であり、前記左側ブロックのイントラ予測モードがDCモードである時、前記候補イントラ予測モードはプラナーモードを含むように決定されることを特徴とするビデオ復号化方法。
【請求項2】
左側ブロックのイントラ予測モードと上側ブロックのイントラ予測モードとに基づいて候補イントラ予測モードを決定する候補イントラ予測モード決定部と、
前記候補イントラ予測モードから現在ブロックのイントラ予測モードが決定されるか否かを示すMPMフラグをビットストリームから獲得し、
前記MPMフラグが、前記候補イントラ予測モードから前記現在ブロックのイントラ予測モードが決定されると示す時、前記ビットストリームから前記候補イントラ予測モードのうち一つを示すモードインデックスを獲得し、
前記モードインデックスを用いて、現在ブロックのイントラ予測モードを決定するイントラ予測モード決定部と、
前記現在ブロックのイントラ予測モードを用いて、前記現在ブロックに対してイントラ予測を行うイントラ予測遂行部と、を含み、
前記候補イントラ予測モード決定部は、前記左側ブロックのイントラ予測モードと前記上側ブロックのイントラ予測モードが同一であり、前記左側ブロックのイントラ予測モードがDCモードである時、前記候補イントラ予測モードがプラナーモードを含むように決定することを特徴とするビデオ復号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イントラ予測を伴うビデオ符号化及び復号化に関する。
【背景技術】
【0002】
高解像度または高画質ビデオコンテンツを再生、保存できるハードウェアの開発及び普及によって、高解像度または高画質ビデオコンテンツを効果的に符号化または復号化するビデオコーデックの必要性が増大しつつある。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。
【0003】
周波数変換を用いて、空間領域の映像データは周波数領域の係数に変換される。ビデオコーデックは、周波数変換の速い演算のために映像を所定サイズのブロックに分割し、ブロックごとにDCT変換を行ってブロック単位の周波数係数を符号化する。空間領域の映像データに比べて周波数領域の係数が圧縮しやすい形態を持つ。特に、ビデオコーデックのインター予測またはイントラ予測を通じて空間領域の映像画素値は予測誤差で表現されるので、予測誤差について周波数変換が行われれば、多くのデータが0に変換される。ビデオコーデックは、連続的に繰り返して発生するデータを小さなサイズのデータに置換することで、データ量を低減させている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、イントラ予測を伴ってイントラ予測モードを予測符号化するビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置を提供することである。
【課題を解決するための手段】
【0005】
本発明の一実施形態によるイントラ予測を通じるビデオ復号化方法は、受信したビットストリームから符号化されたビデオのブロックのシンボルをパージングする間に、前記ブロックのMPMフラッグをパージングする段階と、前記MPMフラッグに基づいて前記ブロックのイントラ予測モードを予測するために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定める段階と、前記MPMフラッグに基づいて前記複数の候補イントラ予測モードが用いられると定められた場合、前記ブロックのシンボルのパージングが完了した後、前記パージングされたシンボルを用いて前記ブロックのイントラ予測モードを復元する間に、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて前記所定数の複数の候補イントラ予測モードを定める段階と、前記定められた複数の候補イントラ予測モードを用いて前記ブロックのイントラ予測モードを予測する段階と、前記予測されたイントラ予測モードを用いて前記ブロックのためのイントラ予測を行う段階と、を含む。
【発明の効果】
【0006】
本発明の一実施形態によるビデオ符号化及び復号化は、候補イントラ予測モードを用いてイントラ予測モードを予測する場合に、常に一定数の候補イントラ予測モードを仮定するため、シンボルパージング過程で候補イントラ予測モードの数が変わる場合を考慮せずともMPMフラッグ及び現在イントラモード情報をパージングできるので、パージング動作の複雑度が低くなる。
【図面の簡単な説明】
【0007】
図1】本発明の一実施形態によるビデオ符号化装置のブロック図である。
図2】本発明の一実施形態によるビデオ復号化装置のブロック図である。
図3】一実施形態によって、イントラ予測モードを予測するために参照される隣接予測単位を示す図面である。
図4】ツリー構造による符号化単位に基づいたビデオコーディングで、イントラ予測モードを予測するために参照される予測単位を例示する図面である。
図5】本発明の一実施形態によるビデオ符号化方法のフローチャートである。
図6】本発明の一実施形態によるビデオ復号化方法のフローチャートである。
図7】本発明の一実施形態によって、ツリー構造の符号化単位に基づいたビデオ符号化装置のブロック図である。
図8】本発明の一実施形態によって、ツリー構造の符号化単位に基づいたビデオ復号化装置のブロック図である。
図9】本発明の一実施形態による符号化単位の概念を示す図面である。
図10】本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。
図11】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。
図12】本発明の一実施形態による深度別符号化単位及びパーティションを示す図面である。
図13】本発明の一実施形態による符号化単位及び変換単位の関係を示す図面である。
図14】本発明の一実施形態による深度別符号化情報を示す図面である。
図15】本発明の一実施形態による深度別符号化単位を示す図面である。
図16】本発明の一実施形態による符号化単位の関係を示す図面である。
図17】本発明の一実施形態による予測単位の関係を示す図面である。
図18】本発明の一実施形態による変換単位の関係を示す図面である。
図19】表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。
【発明を実施するための形態】
【0008】
本発明の一実施形態によるイントラ予測を通じるビデオ復号化方法は、受信したビットストリームから符号化されたビデオのブロックのシンボルをパージングする間に、前記ブロックのMPMフラッグをパージングする段階と、前記MPMフラッグに基づいて前記ブロックのイントラ予測モードを予測するために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定める段階と、前記MPMフラッグに基づいて前記複数の候補イントラ予測モードが用いられると定められた場合、前記ブロックのシンボルのパージングが完了した後、前記パージングされたシンボルを用いて前記ブロックのイントラ予測モードを復元する間に、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて前記所定数の複数の候補イントラ予測モードを定める段階と、前記定められた複数の候補イントラ予測モードを用いて前記ブロックのイントラ予測モードを予測する段階と、前記予測されたイントラ予測モードを用いて前記ブロックのためのイントラ予測を行う段階と、を含む。
【0009】
前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードに基づいて、前記複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める段階を含む。
【0010】
前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードを用いて前記複数の候補イントラ予測モードを定める段階を含む。
【0011】
前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、前記複数の候補イントラ予測モードのうち2つの候補イントラ予測モードを左側ブロック及び上端ブロックのイントラ予測モードと定める段階を含む。
【0012】
前記パージング段階は、前記MPMフラッグに基づいて前記ブロックのイントラ予測モードを定めるために複数の候補イントラ予測モードが用いられると定められれば、前記ビットストリームから前記複数の候補イントラ予測モードのうち1つを示すインデックス情報をパージングする段階を含み、前記ブロックのイントラ予測モード予測段階は、前記複数の候補イントラ予測モードのうち、前記インデックス情報に基づいて選択された1つの候補イントラ予測モードを前記ブロックのイントラ予測モードと定める段階を含む。
【0013】
前記パージング段階は、前記MPMフラッグに基づいて前記ブロックのイントラ予測モードが前記左側ブロック及び上端ブロックのイントラ予測モードと異なると定められた場合、前記ビットストリームから前記ブロックの現在イントラモード情報をパージングする段階を含み、前記ブロックのイントラ予測モード予測段階は、前記パージングされたブロックの現在イントラモード情報から前記ブロックのイントラ予測モードと前記複数の候補イントラ予測モードとの関係を読み取り、前記読み取り結果に基づいて前記ブロックのイントラ予測モードを定める段階を含む。
【0014】
本発明の一実施形態によるイントラ予測を通じるビデオ符号化方法は、ビデオのうち、ブロックのためのイントラ予測を通じて定められた前記ブロックのイントラ予測モードと、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードとを比較する段階と、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すMPMフラッグを符号化する段階と、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じモードがあれば、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても所定数の複数の候補イントラ予測モードを定める段階と、前記複数の候補イントラ予測モードに基づいて定められた前記ブロックの現在イントラモード情報を符号化する段階と、を含む。
【0015】
前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードに基づいて、前記複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める段階を含む。
【0016】
また、前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードを用いて前記複数の候補イントラ予測モードを定める段階を含む。
【0017】
また、前記複数の候補イントラ予測モードを定める段階は、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、前記複数の候補イントラ予測モードのうち、2つの候補イントラ予測モードを左側ブロック及び上端ブロックのイントラ予測モードと定める段階を含む。
【0018】
また、前記ブロックの現在イントラモード情報を符号化する段階は、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがある場合、前記複数の候補イントラ予測モードのうち、前記ブロックのイントラ予測モードと相応する候補イントラ予測モードを示すインデックス情報を符号化する段階を含む。
【0019】
また、前記ブロックの現在イントラモード情報を符号化する段階は、前記ブロックのイントラ予測モードが前記左側ブロック及び上端ブロックのイントラ予測モードと異なる場合、前記ブロックのイントラ予測モードと前記候補イントラ予測モードとの関係を示す前記ブロックの現在イントラモード情報を定める段階と、前記ブロックの現在イントラモード情報を符号化する段階と、を含む。
【0020】
本発明の一実施形態によるイントラ予測を通じるビデオ復号化装置は、受信したビットストリームから符号化されたビデオのブロックのシンボルをパージングする間に前記ブロックのMPMフラッグをパージングし、前記MPMフラッグに基づいて前記ブロックのイントラ予測モードを定めるために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定めるパージング部と、前記MPMフラッグに基づいて前記複数の候補イントラ予測モードが用いられると定められた場合、前記ブロックのシンボルのパージングが完了した後、前記パージングされたシンボルを用いて前記ブロックのイントラ予測モードを復元する間に、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて、前記所定数の複数の候補イントラ予測モードを定め、前記定められた複数の候補イントラ予測モードを用いて前記ブロックのイントラ予測モードを予測し、前記予測されたイントラ予測モードを用いて前記ブロックのためのイントラ予測を行うイントラ予測部と、を備える。
【0021】
本発明の一実施形態によるビデオ符号化装置は、ビデオの符号化のためにブロックに対してイントラ予測を行うイントラ予測部と、前記ブロックのイントラ予測を通じて生成されたシンボルを符号化するシンボル符号化部と、を備え、前記シンボル符号化部は、前記ブロックのためのイントラ予測を通じて定められた前記ブロックのイントラ予測モードと、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードとを比較し、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すMPMフラッグを符号化し、前記シンボル符号化部は、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じモードがあれば、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても所定数の複数の候補イントラ予測モードを定め、前記複数の候補イントラ予測モードに基づいて定められた前記ブロックの現在イントラモード情報を符号化する。
【0022】
本発明の一実施形態によるビデオ復号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体が開示される。
【0023】
以下、図1ないし図6を参照して、一実施形態によってイントラ予測モードの予測方式に基づいたビデオ符号化技法及びビデオ復号化技法が開示される。また、図7ないし図19を参照して、一実施形態によるツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法で、イントラ予測モードの予測方式が用いられる実施形態が開示される。以下、‘映像’は、ビデオの静止画や動画、すなわち、ビデオそれ自体を示す。
【0024】
先ず、図1ないし図6を参照して、一実施形態によって、イントラ予測モードの予測方式に基づいたビデオ符号化技法及びビデオ復号化技法が開示される。
【0025】
図1は、本発明の一実施形態によるビデオ符号化装置10のブロック図である。ビデオ符号化装置10は、空間領域のビデオデータをイントラ予測/インター予測、変換、量子化、シンボル符号化を通じて符号化する。以下、ビデオ符号化装置10がイントラ予測を行った結果で生成されたシンボルの符号化過程で発生する動作を詳述する。
【0026】
一実施形態によるビデオ符号化装置10は、イントラ予測部12及びシンボル符号化部14を備える。
【0027】
一実施形態によるビデオ符号化装置10は、ビデオの映像データを複数のデータ単位に分割し、データ単位別に符号化する。データ単位の形態は正方形または長方形であり、任意の幾何学的形態であってもよい。一定サイズのデータ単位に制限されるものではない。説明の便宜のために、以下でデータ単位の一種である‘ブロック’についてのビデオ符号化技法を詳述する。しかし、本発明の多様な実施形態によるビデオ符号化技法は、‘ブロック’についてのビデオ符号化技法のみに限定されると解釈されてはならず、多様なデータ単位に適用される。
【0028】
一実施形態によるイントラ予測部12は、ビデオのブロックについてイントラ予測を行う。イントラ予測部12は、それぞれのブロックについてのイントラ予測のために、隣接情報のうち参照情報が位置する方向を示すイントラ予測モードを定める。イントラ予測部12は、イントラ予測モードの種類によって現在ブロックについてイントラ予測を行う。
【0029】
一実施形態によるイントラ予測技法によれば、隣接ブロックのイントラ予測モードを参照して現在ブロックのイントラ予測モード(以下、現在イントラ予測モード)を予測する。一実施形態によるシンボル符号化部14は、現在イントラ予測モードの予測情報を符号化する。
【0030】
現在イントラ予測モードの予測のためにシンボル符号化部12は、現在ブロックのイントラ予測を通じて定められた現在イントラ予測モードと、現在ブロックに隣接している隣接ブロックのうち左側ブロック及び上端ブロックのイントラ予測モードとを比較する。
【0031】
例えば、シンボル符号化部14は、左側ブロック及び上端ブロックのイントラ予測モードのうち、現在ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すMPMフラッグ(most probable mode flag)を符号化する。
【0032】
例えば、シンボル符号化部14は、左側ブロック及び上端ブロックのイントラ予測モードのうち、現在イントラ予測モードと同じモードがあれば、左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても所定数の複数の候補イントラ予測モードを定める。例えば、シンボル符号化部14は、左側ブロック及び上端ブロックのイントラ予測モードのうち、現在イントラ予測モードと同じモードがあれば、現在イントラ予測モードのために常に3個の候補イントラ予測モードを仮定し、現在イントラモード情報を符号化する。他の例として、常に2個の候補イントラ予測モードを仮定して現在イントラモード情報が符号化されてもよい。シンボル符号化部14は、複数の候補イントラ予測モードに基づいて現在ブロックの現在イントラモード情報を定め、現在イントラモード情報を符号化する。現在イントラモード情報は、候補イントラ予測モードのうち1つを示すインデックス情報または現在イントラモードを示すインデックス情報である。
【0033】
シンボル符号化部14は、左側ブロック及び上端ブロックのイントラ予測モードのうち現在イントラ予測モードと同じモードがある場合、左側イントラ予測モードと上端イントラ予測モードとが同じかどうかは全く考慮せずとも、現在イントラ予測モードを予測するために用いられる候補イントラ予測モードを2つ以上定める。例えば、現在イントラ予測モードを定めるために2個、3個、4個など複数の候補イントラ予測モードが用いられる。
【0034】
また、候補イントラ予測モードの数が変わる場合を考慮せずとも、常に所定数の複数の候補イントラ予測モードを仮定したままシンボルが符号化されるため、イントラモードの符号化動作が単純になる。
【0035】
一実施形態によるシンボル符号化部14は、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、左側ブロックのイントラ予測モードに基づいて、複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める。他の実施形態によるシンボル符号化部14は、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、左側ブロックのイントラ予測モードを変形して複数の候補イントラ予測モードを定めてもよい。
【0036】
一実施形態によるシンボル符号化部14は、左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、複数の候補イントラ予測モードのうち2つの候補イントラ予測モードを、それぞれ左側ブロック及び上端ブロックのイントラ予測モードと定める。
【0037】
一実施形態によるシンボル符号化部14は、複数の候補イントラ予測モードに基づいて、現在イントラ予測モードに相応する候補イントラ予測モードを示す情報を符号化する。
【0038】
一実施形態によるシンボル符号化部14は、左側ブロック及び上端ブロックのイントラ予測モードのうちブロックのイントラ予測モードと同じイントラ予測モードがある場合、複数の候補イントラ予測モードのうち現在イントラ予測モードと相応する候補イントラ予測モードを示すインデックス情報を符号化する。
【0039】
一実施形態によるシンボル符号化部14は、現在ブロックのイントラ予測モードが左側ブロック及び上端ブロックのイントラ予測モードと異なる場合、現在ブロックのイントラ予測モードを示す現在イントラ予測モード情報を符号化する。
【0040】
他の実施形態によるシンボル符号化部14は、現在ブロックのイントラ予測モードが左側ブロック及び上端ブロックのイントラ予測モードと異なる場合にも、複数の候補イントラ予測モードから現在イントラ予測モードを類推できるように、候補イントラ予測モードと現在イントラ予測モードとの関係を示す現在イントラモード情報を符号化してもよい。この場合には、現在ブロックのイントラ予測モードが左側ブロック及び上端ブロックのイントラ予測モードと異なる場合であっても、シンボル符号化部14は、複数の候補イントラ予測モードを定め、複数の候補イントラ予測モードに基づいて現在イントラモード情報を符号化する。
【0041】
したがって、シンボル符号化部14は、現在ブロックのために符号化されたMPMフラッグに続いて現在イントラモード情報を出力する。
【0042】
また、シンボル符号化部14は、複数の候補イントラ予測モードの数を示す情報を符号化することもできる。
【0043】
一実施形態によるシンボル符号化部14は、現在ブロックのイントラ予測結果で生成された残差データの量子化された変換係数を符号化することもできる。
【0044】
したがって、一実施によるビデオ符号化装置10は、ビデオのブロックについてのイントラ予測結果で生成されたシンボルを符号化して出力する。
【0045】
一実施形態によるビデオ符号化装置10は、イントラ予測部12及びシンボル符号化部14を総括的に制御する中央プロセッサ(図示せず)を備える。または、イントラ予測部12及びシンボル符号化部14がそれぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が互いに有機的に作動することでビデオ符号化装置10が全体的に作動することもできる。または、一実施形態によるビデオ符号化装置10の外部プロセッサ(図示せず)の制御によって、イントラ予測部12及びシンボル符号化部14が制御されることもある。
【0046】
一実施形態によるビデオ符号化装置10は、イントラ予測部12及びシンボル符号化部14の入出力データが保存される1つ以上のデータ保存部(図示せず)を備える。ビデオ符号化装置10は、データ保存部(図示せず)のデータ入出力を担当するメモリ制御部(図示せず)を備えてもよい。
【0047】
一実施形態によるビデオ符号化装置10は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連携して作動することで、変換を含むビデオ符号化動作を行う。一実施形態によるビデオ符号化装置10の内部ビデオエンコーディングプロセッサは、別途のプロセッサだけではなく、ビデオ符号化装置10または中央演算装置、グラフィック演算装置がビデオエンコードプロセッシングモジュールを備えることで基本的なビデオ符号化動作を具現する場合も含む。
【0048】
図2は、本発明の一実施形態によるビデオ復号化装置20のブロック図である。ビデオ復号化装置20は、ビデオ符号化装置10によって符号化されたビデオデータを、パージング、シンボル復号化、逆量子化、逆変換、イントラ予測/動き補償などを通じて復号化し、空間領域の原本ビデオデータに近いビデオデータを復元する。以下、ビデオ符号化装置20が、ビットストリームからイントラ予測のためのシンボルをパージングし、パージングされたシンボルからイントラ予測モードを復元する過程を詳述する。
【0049】
一実施形態によるビデオ復号化装置20は、パージング部22及びイントラ予測部24を備える。
【0050】
ビデオ復号化装置20は、ビデオの符号化されたデータが収録されたビットストリームを受信する。パージング部22は、ビットストリームからシンボルをパージングする。
【0051】
一実施形態によるパージング部20は、ビットストリームから、ビデオのブロックについてのイントラ予測結果で生成されたシンボルをパージングする。
【0052】
パージング部22は、受信したビットストリームからビデオのブロックのシンボルをパージングする間に、ブロックのMPMフラッグをパージングする。
【0053】
一実施形態によるパージング部22は、パージングされた現在ブロックのMPMフラッグに基づいて現在ブロックのイントラ予測モードを予測するために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定める。
【0054】
候補イントラ予測モードが用いられる場合、常に一定数の候補イントラ予測モードが仮定されるため、パージング部22は、MPMフラッグをパージングした後で候補イントラ予測モードの数が変わる場合を考慮せずとも現在イントラモード情報をパージングする。
【0055】
パージング部22が現在ブロックのイントラ予測に係るシンボルをいずれもパージングした後、イントラ予測部24は、パージングされたシンボルを用いて現在ブロックのイントラ予測モードなど、イントラ予測のためのデータを復元する。パージング部22によってパージングされたデータから、現在ブロックのイントラ予測結果で生成された残差データの量子化された変換係数が復元されることもできる。
【0056】
前記でMPMフラッグに基づいて複数の候補イントラ予測モードが用いられると定められた場合、一実施形態によるイントラ予測部24は、ブロックのシンボルをパージング完了した後でシンボルを用いて現在ブロックの現在イントラ予測モードを復元しつつ、現在ブロックのイントラ予測モードを予測するための所定数の複数の候補イントラ予測モードを定める。一例として、イントラ予測部24は、常に3個の候補イントラ予測モードを用いて現在イントラ予測モードを予測する。他の例として、イントラ予測部24は、常に2個の候補イントラ予測モードが用いられると仮定してもよい。
【0057】
一実施形態によるイントラ予測部24は、現在ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて、複数の候補イントラ予測モードを定める。
【0058】
一実施形態によるイントラ予測部24は、パージングされた現在ブロックのシンボルからイントラ予測モードを復元して読み取る。イントラ予測部24は、イントラ予測モードを用いて現在ブロックのためのイントラ予測を行う。
【0059】
ビデオ復号化装置20は、ビットストリームから現在ブロックの残差データの量子化された変換係数がパージングされた場合、逆量子化及び逆変換過程を通じて、残差データの量子化された変換係数から空間領域の残差データを復元する。イントラ予測部24は、イントラ予測モードを用いて現在ブロックの空間領域の残差データについてイントラ予測を行う。
【0060】
一実施形態によるイントラ予測部24は、現在ブロックの左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても、現在イントラ予測モードを予測するために複数の候補イントラ予測モードを定める。よって、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じかどうかを全く考慮せずとも、一実施形態によるイントラ予測部24は複数の候補イントラ予測モードを定める。
【0061】
左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、一実施形態によるイントラ予測部24は、左側ブロックのイントラ予測モードに基づいて、複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める。例えば、左側ブロックのイントラ予測モードが所定イントラ予測モードである場合、複数の後輩イントラ予測モードは、複数のデフォルトイントラ予測モードを含むように定められる。
【0062】
さらに他の例として、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、イントラ予測部24は、左側ブロックのイントラ予測モードを用いて複数の候補イントラ予測モードを定める。例えば、左側ブロックのイントラ予測モードが所定イントラ予測モードである場合、複数の候補イントラ予測モードは、左側ブロックのイントラ予測モードを借用するか、または変形した値を含むように定められる。
【0063】
左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、一実施形態によるイントラ予測部24は、複数の候補イントラ予測モードのうち2つの候補イントラ予測モードとして、左側ブロック及び上端ブロックのイントラ予測モードを採択する。
【0064】
一実施形態によるパージング部22は、ビットストリームから現在ブロックのシンボルをパージングする時、MPMフラッグに続いて現在イントラモード情報をパージングする。
【0065】
一実施形態によるパージング部22は、パージングされたMPMフラッグに基づいて現在イントラ予測モードを定めるために、複数の候補イントラ予測モードが用いられると定められれば、現在イントラモード情報として、複数の候補イントラ予測モードのうち1つの候補イントラ予測モードを示すインデックス情報をパージングする。イントラ予測部24は、複数の候補イントラ予測モードのうちインデックス情報に基づいて選択された1つの候補イントラ予測モードを、現在イントラ予測モードと定める。
【0066】
一実施形態によるパージング部22で、MPMフラッグに基づいて、現在ブロックのイントラ予測モードが左側ブロック及び上端ブロックのイントラ予測モードと異なると定められた場合、現在イントラモード情報として、現在ブロックのイントラ予測方向を正確に称するイントラ予測モードのインデックスをパージングすることもできる。したがって、イントラ予測部24は、現在イントラモード情報から直接現在ブロックのイントラモードを定める。
【0067】
他の例として、イントラ予測部24は、現在ブロックの現在イントラモード情報及び複数の候補イントラ予測モードに基づいてブロックのイントラ予測モードを定めることもできる。例えば、現在イントラモード情報から、候補イントラ予測モードと現在イントラ予測モードとの関係が読み取られる。この場合、イントラ予測部24は、現在イントラ予測モードが左側ブロック及び右側ブロックのイントラ予測モードと異なっても複数の候補イントラ予測モードを定め、現在イントラモード情報を用いて候補イントラ予測モードから現在イントラ予測モードを類推して定める。
【0068】
一実施形態によるビデオ復号化装置20は、パージング部22及びイントラ予測部24を総括的に制御する中央プロセッサ(図示せず)を備える。または、パージング部22及びイントラ予測部24がそれぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が互いに有機的に作動することでビデオ復号化装置20が全体的に作動することもある。または、一実施形態によるビデオ復号化装置20の外部プロセッサ(図示せず)の制御によって、パージング部22及びイントラ予測部24が制御されることもある。
【0069】
一実施形態によるビデオ復号化装置20は、パージング部22及びイントラ予測部24の入出力データが保存される1つ以上のデータ保存部(図示せず)を備える。ビデオ復号化装置20は、データ保存部(図示せず)のデータ入出力を担当するメモリ制御部(図示せず)を備えてもよい。
【0070】
一実施形態によるビデオ復号化装置20は、ビデオ復号化を通じてビデオを復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連携して作動することで、逆変換を含むビデオ復号化動作を行う。一実施形態によるビデオ復号化装置20の内部ビデオデコーディングプロセッサは、別途のプロセッサだけではなく、ビデオ復号化装置20または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを備えることで、基本的なビデオ復号化動作を具現する場合も含む。
【0071】
図1及び図2を参照して前述されたビデオ符号化装置10及びビデオ復号化装置20によれば、ビットストリームからブロックのシンボルをパージングしてイントラ予測モードが復元される過程で、MPMフラッグ及び現在イントラモード情報を含んでブロックのシンボルをパージング完了した後、パージングされたシンボルのうち現在ブロックのMPMフラッグ及び現在イントラモード情報に基づいて現在イントラ予測モードが復元される。よって、ビットストリームからブロックのシンボルをパージングする過程と、パージングされたシンボルからイントラ予測モードを復元する過程とが分離される。シンボルのパージング及び復元過程が分離されなければ、シンボルをパージングする途中でシンボルを復元し、再びシンボルをパージングしてブロックシンボルのパージング動作及び復元動作が繰り返されるため、デコーディングプロセスの効率性が低下する。したがって、一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、シンボルのパージング過程中にイントラ予測モードのパージング過程と復元過程とを分離することでデコーディングプロセスの効率性を向上させる。
【0072】
もし候補イントラ予測モードが複数であっても、場合によって数が異なれば、イントラ関連情報をパージングする時に候補イントラ予測モードの数による変数を考慮せねばならないため、パージング過程が複雑になる。しかし、一実施形態によるビデオ復号化装置20は、候補イントラ予測モードを用いてイントラ予測モードを予測する場合に、常に一定数の候補イントラ予測モードを仮定するため、シンボルパージング過程で候補イントラ予測モードの数が変わる場合を考慮せずともMPMフラッグ及び現在イントラモード情報をパージングできるので、パージング動作の複雑度が低くなる。
【0073】
以下、一実施形態によるビデオ符号化装置10及びビデオ復号化装置20で具現可能なイントラ予測モードの予測のための多様な実施形態を詳述する。
【0074】
図3は、一実施形態によってイントラ予測モードを予測するために参照されるブロックを示す。
【0075】
ブロックとして、予測単位(PU;Prediction Unit)が例示される。予測単位は、ツリー構造による符号化単位に基づいたビデオ符号化方式で、各符号化単位の予測を行うためのデータ単位である。一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、固定サイズの予測単位に限定されず、多様なサイズの予測単位について予測を行う。ツリー構造による符号化単位に基づいたビデオ符号化方式及び予測単位については、図7ないし19を参照して後述する。以下、予測単位のイントラ予測モードを予測するための多様な実施形態が説明されても、多様な種類のブロックについても前記実施形態が類似して適用される。
【0076】
一実施形態によるビデオ符号化装置10は、一実施形態によって現在予測単位30のイントラ予測モードを予測するために、左側予測単位32及び上端予測単位33のイントラ予測モードのうち、現在予測単位30の現在イントラ予測モードと同じモードがあるかどうかを判断する。判断結果によってMPMフラッグが符号化される。
【0077】
例えば、左側予測単位32及び上端予測単位33のイントラ予測モードが現在イントラ予測モードと異なれば、MPMフラッグが‘0’に符号化され、左側予測単位32及び上端予測単位33のイントラ予測モードのうち少なくともいずれか1つが現在イントラ予測モードと同じならば、MPMフラッグは‘1’に符号化される。
【0078】
以下、説明の便宜のために、左側(上端)予測単位32、33のイントラ予測モードを、左側(上端)イントラ予測モードと称する。
【0079】
左側/上端イントラ予測モードと現在イントラ予測モードとが互いに異なる場合には、現在イントラ予測モードを示す現在イントラモード情報が符号化される。
【0080】
左側/上端イントラ予測モードのうち現在イントラ予測モードと同じモードがある場合、現在イントラ予測モードを予測するための2つ以上の互いに異なる候補イントラ予測モードが定められる。候補イントラ予測モードは、現在イントラ予測モードと予測される確率の高いモードが選定される。
【0081】
一応、2つの候補イントラ予測モードは、左側イントラ予測モード及び上端イントラ予測モードと採択される。
<MPM決定式1>
MPM0=min(leftIntraMode,aboveInftraMode);
MPM1=max(leftIntraMode,aboveInftraMode);
MPM決定式1で、MPM0及びMPM1は、それぞれ第1順位、第2順位候補イントラ予測モードを示す。min(A,B)は、AとBのうち小さな値を出力し、max(A,B)は、残りの大きい値を出力する関数である。
【0082】
MPM決定式1で、leftIntraMode及びaboveInftraModeは、それぞれ左側イントラ予測モードのインデックス及び上端イントラ予測モードのインデックスを示す。発生確率が高いか、または優先的に採択されねばならないイントラ予測モードに小さなインデックスが割り当てられる。
【0083】
すなわち、MPM決定式1によれば、左側イントラ予測モードのインデックス及び上端イントラ予測モードのインデックスのうちインデックスの小さな順に第1順位、第2順位候補イントラ予測モードにマッピングされるので、左側イントラ予測モードのインデックス及び上端イントラ予測モードのうち相対的に発生確率が高いか、または優先的に採択されねばならない順に候補イントラ予測モードとして採択される。
【0084】
ビデオ復号化装置20の場合も類似している。ビットストリームからMPMフラッグをパージングして、左側/上端イントラ予測モードと現在イントラ予測モードとが互いに異なる場合には、ビットストリームから現在イントラ予測モードを示す現在イントラモード情報をパージングし、左側/上端イントラ予測モードのうち現在イントラ予測モードと同じモードがある場合には、現在イントラ予測モードを予測するための2つ以上の互いに異なる候補イントラ予測モードを定める。
【0085】
しかし、左側イントラ予測モードと上端イントラ予測モードとが互いに同じ場合には、左側イントラ予測モード及び上端イントラ予測モードが候補イントラ予測モードと採択されても、まだ複数の互いに異なる候補イントラ予測モードが定められていない。
【0086】
以下、左側イントラ予測モードと上端イントラ予測モードのうち現在イントラ予測モードと同じモードがあり、左側イントラ予測モードと上端イントラ予測モードとが互いに同じ場合に、複数の互いに異なる候補イントラ予測モードを定めるための多様な実施形態が詳述される。
【0087】
1.複数の候補イントラ予測モードは、互いに異なるデフォルトイントラ予測モードを含む。一実施形態によるデフォルトイントラ予測モードとして、確率的に発生可能性の高いイントラ予測モード、予測性能に優れたイントラ予測モード、左側イントラ予測モードに近似しているモードなどが採択される。発生可能性が高いか、または予測性能に優れた予測モードは、DC予測モード、プラナーモード(Planar mode)、垂直方向予測モード(Verticalmode)などを含む。
【0088】
イントラ予測モードのうちプラナーモードによってイントラ予測が行われる場合、予測単位内のピクセルの輝度がグラデーション形態を持って、所定方向によって徐々に明るくなるか、または暗くなるように予測される。
【0089】
例えば、左側イントラ予測モードがDC予測モードまたはプラナーモードの場合に、3個の候補イントラ予測モードは、デフォルトイントラ予測モードとして、DC予測モード、プラナーモード、垂直方向予測モードで定められる。
【0090】
2.複数の候補イントラ予測モードは、左側イントラ予測モード及びデフォルトイントラ予測モードを含む。
<MPM決定式2>
if(leftIntraMode==aboveIntraMode==DC)
aboveIntramode=Planarmode{or 0 if no planar mode}
else
aboveIntraMode=DC
MPM決定式2によって左側イントラ予測モード及び上端イントラ予測モードを定めた後、再びMPM決定式1によって候補イントラ予測モードが定められる。
【0091】
MPM決定式2によれば、先ず、左側イントラ予測モードと上端イントラ予測モードともDCイントラモードである場合には、上端イントラ予測モードがプラナーモード(または、インデックス0のイントラ予測モード)に変更される。この場合、MPM決定式1によって候補イントラ予測モードは、左側イントラ予測モードであるDC予測モードまたはプラナーモード(または、インデックス0のイントラ予測モード)を含む。
【0092】
また、MPM決定式2によれば、先ず、左側イントラ予測モードと上端イントラ予測モードのうち少なくとも1つがDCイントラモードではない場合に、上端イントラ予測モードがDC予測モードに変更される。この場合、MPM決定式1によって候補イントラ予測モードは、左側イントラ予測モードまたはDCモードを含む。
【0093】
3.複数の候補イントラ予測モードが、左側イントラ予測モードを用いるか、または変形した値に定められる。
【0094】
例えば、左側イントラ予測モードが所定方向のイントラ予測モードである場合に、候補イントラ予測モードは、左側イントラ予測モードを含み、また左側イントラ予測モードを示すインデックスから所定オフセットほど増加または減少したインデックスに対応するイントラ予測モードを含む。
<MPM決定式3>
MPM0=leftIntraMode;
MPM1=leftIntraMode−n;
MPM2=leftIntraMode+n;
MPM決定式3によれば、第1順位候補イントラ予測モードは、左側イントラ予測モード、第2順位候補イントラ予測モードは、左側イントラ予測モードよりインデックスがnほど小さなモード、第3順位候補イントラ予測モードは、左側イントラ予測モードよりインデックスがnほど大きいモードが採択される。nは、1、2などの定数である。
【0095】
4.左側イントラ予測モードの値とこれに対応する候補イントラ予測モードとの相関関係を示すルックアップテイブルを用いて複数の候補イントラ予測モードが定められる。すなわち、ルックアップテイブルに基づいて、現在左側イントラ予測モードにマッピングする複数の候補イントラ予測モードが選択されてもよい。前述した1.、2.、3.の例も、左側イントラ予測モードによって候補イントラ予測モードが定められるので、左側イントラ予測モードによるルックアップテイブルのマッピング方式と類似した結果が導出される。
【0096】
5.候補イントラ予測モードのルックアップテイブルは、第1順位で左側イントラ予測モードを含み、第2順位からは統計的に発生頻度の最も高いイントラ予測モードを順次に含む。
【0097】
6.以前に符号化(復号化)されたイントラ予測モードごとに発生頻度または統計的確率を定め、統計的確率の最も高いイントラ予測モードが候補イントラ予測モードと採択される。
【0098】
7.左側予測単位及び上端予測単位を除いた隣接予測単位のうち左側、上端予測単位のイントラ予測モードと異なるイントラ予測モードが検出されれば、候補イントラ予測モードは、左側(上端)イントラ予測モード及び検出された隣接予測単位のイントラ予測モードを含む。
【0099】
実施形態7.についての具体的な例は、以下の図4を参照して詳述する。
【0100】
図4は、ツリー構造による符号化単位に基づいたビデオコーディングで、イントラ予測モードを予測するために参照される予測単位を例示する。
【0101】
現在予測単位40のイントラ予測モードを予測するために、左側予測単位41及び上端予測単位42が最優先的に参照される。現在予測単位40の左側境界または上端境界に隣接する予測単位が複数ある場合には、現在予測単位40内の左側上端サンプルに隣接する左側予測単位41及び上端予測単位42のイントラ予測モードが先ず参照される。
【0102】
左側予測単位41と上端予測単位42のイントラ予測モードとが互いに同じ場合には、現在予測単位40に隣接する隣接予測単位のうち、左側予測単位41及び上端予測単位42を除いた所定位置の隣接予測単位のイントラ予測モードが参照される。例えば、左側上端予測単位45、右側上端予測単位47及び左側下端予測単位49のイントラ予測モードが参照されてもよい。左側上端予測単位45、右側上端予測単位47及び左側下端予測単位49のうちいずれか1つのイントラ予測モードが、左側予測単位41及び上端予測単位42のイントラ予測モードと異なれば、候補イントラ予測モードとして採択される。
【0103】
例えば、第1順位の候補イントラ予測モードは、左側予測単位41及び上端予測単位42のイントラ予測モードである。左側上端予測単位45、右側上端予測単位47及び左側下端予測単位49のうち所定順序によって、左側予測単位41及び上端予測単位42のイントラ予測モードと異なるイントラ予測モードを持つかどうかを検出し、最初に検出されるイントラ予測モードが、第2順位の候補イントラ予測モードとして採択される。
【0104】
さらに他の例として、左側予測単位41及び上端予測単位42のイントラ予測モードが同じ場合には、現在予測単位40に隣接する隣接予測単位のうち左側予測単位41及び上端予測単位42を除いたすべての隣接予測単位43、44、45、47、49から、所定順序によって順次に、左側予測単位41及び上端予測単位42のイントラ予測モードと異なるイントラ予測モードを持つかを検出し、最初に検出されるイントラ予測モードが第2順位候補イントラ予測モードとして採択される。
【0105】
具体的な例として、右側上端予測単位47のイントラ予測モードをはじめとして、左側予測単位41及び上端予測単位42のイントラ予測モードと異なるかどうかを比較し、現在予測単位40の上端に位置している隣接予測単位47、44、45に沿って順次に左に移動しつつ、左側予測単位41及び上端予測単位42のイントラ予測モードと異なるイントラ予測モードを持つ予測単位があるかどうかを検索する。最初に検出されるイントラ予測モードが、第2順位候補イントラ予測モードとして採択される。
【0106】
左側上端予測単位45まで検索した結果、左側予測単位41及び上端予測単位42のイントラ予測モードと異なるイントラ予測モードを持つ予測単位がなければ、左側下端予測単位49から始まって現在予測単位40の左側に位置している隣接予測単位に沿って順次に上方へ移動しつつ、左側予測単位41及び上端予測単位42のイントラ予測モードと異なるイントラ予測モードを持つ予測単位があるかどうかを検索する。最初に検出されるイントラ予測モードが、第2順位候補イントラ予測モードとして採択される。
【0107】
前記実施形態で、右側上端予測単位47から始めて上端に位置している隣接予測単位を検索した後、左側下端予測単位49から始めて左側に位置している隣接予測単位を検索する実施形態が詳述されたが、このような順序は多様に変更される。
【0108】
前記で、左側イントラ予測モードと上端イントラ予測モードのうち現在イントラ予測モードと同じモードがあり、左側イントラ予測モードと上端イントラ予測モードとが互いに同じ場合に、複数の互いに異なる候補イントラ予測モードを定めるための多様な実施形態が詳述された。
【0109】
前述したところによって、一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、左側イントラ予測モードと上端イントラ予測モードのうち現在イントラ予測モードと同じモードがあり、左側イントラ予測モードと上端イントラ予測モードとが互いに異なるか、または同じ場合に、常に互いに異なる複数の候補イントラ予測モードを用いて現在イントラ予測モードを予測する。
【0110】
これによって、一実施形態によるビデオ符号化装置10は、隣接する左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、候補イントラ予測モードの数が変わる場合を考慮して候補イントラ予測モードの数が異なる場合を示す情報を符号化する必要がなく、イントラ予測モードに関する情報として、MPMフラッグ及び現在イントラモード情報のみ符号化する。
【0111】
したがって、一実施形態によるビデオ復号化装置20は、現在ブロックのイントラ予測に関する情報をパージングする過程で、MPMフラッグ及び現在イントラモード情報さえパージングすればよいので、隣接する左側ブロック及び上端ブロックのイントラ予測モードが互いに同じかどうかを判断する必要がない。左側ブロック及び上端ブロックのイントラ予測モードが互いに同じかどうかを判断する必要がないので、左側ブロック及び上端ブロックのイントラ予測モードを復元する必要がなく、シンボルのパージングする途中でパージングされたシンボルからイントラ予測モードを復元し、再びシンボルをパージングする過程が省略されるため、イントラ予測モードのパージングプロセスを迅速に処理できる。これにより、イントラ予測モードのパージング及び復元を含むデコーディングプロセスの効率性が図れる。
【0112】
また1つの候補イントラ予測モードのみを処理するためのイントラ予測モードの予測モードが省略されるので、デコーディングプロセスが全体的に簡単になる。
【0113】
図5は、本発明の一実施形態によるビデオ符号化方法のフローチャートを示す。段階51で、ビデオ中のブロックのうち現在ブロックのためのイントラ予測を通じて定められたイントラ予測モードと、現在ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードとが比較される。
【0114】
段階53で、現在ブロックの左側ブロック及び上端ブロックのイントラ予測モードのうち、ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すMPMフラッグが符号化される。
【0115】
段階55で、左側ブロック及び上端ブロックのイントラ予測モードのうち、現在ブロックのイントラ予測モードと同じモードがあれば、左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても、所定数の複数の候補イントラ予測モードが定められる。
【0116】
段階57で、複数の候補イントラ予測モードに基づいて定められた現在ブロックの現在イントラモード情報が符号化される。
【0117】
段階55で、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じ場合には、左側ブロックのイントラ予測モードに基づいて、複数の候補イントラ予測モードとしてデフォルトイントラ予測モードが定められる。
【0118】
また、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じ場合に、左側ブロックのイントラ予測モードを用いて複数の候補イントラ予測モードが定められる。
【0119】
また、左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、複数の候補イントラ予測モードのうち2つの候補イントラ予測モードが、左側ブロック及び上端ブロックのイントラ予測モードと定められる。
【0120】
段階57で、左側ブロック及び上端ブロックのイントラ予測モードのうち現在ブロックのイントラ予測モードと同じイントラ予測モードがある場合には、複数の候補イントラ予測モードのうち、ブロックのイントラ予測モードと相応する候補イントラ予測モードを示すインデックス情報が符号化される。
【0121】
また、段階55で、現在ブロックのイントラ予測モードが左側ブロック及び上端ブロックのイントラ予測モードと異なる場合であっても、現在ブロックのイントラ予測モード及び複数の候補イントラ予測モードに基づいて現在ブロックの現在イントラ予測モードが定められ、これによって段階57で、現在イントラ予測モードと候補イントラ予測モードとの関係を示す現在イントラモード情報が符号化される。
【0122】
図6は、本発明の一実施形態によるビデオ復号化方法のフローチャートを示す。段階61で、受信したビットストリームから符号化されたビデオのブロックのうち、現在ブロックのシンボルをパージングする間に現在ブロックのMPMフラッグがパージングされる。
【0123】
段階63で、MPMフラッグに基づいて現在ブロックのイントラ予測モードを予測するために、所定数の複数の候補イントラ予測モードが用いられるかどうかが定められる。
【0124】
段階65で、ブロックシンボルのパージングが完了した後、パージングされたシンボルを用いて現在ブロックのイントラ予測モードが復元される。段階63で、MPMフラッグに基づいて複数の候補イントラ予測モードが用いられると定められた場合には、段階65は、現在ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて、現在ブロックのイントラ予測モードを予測するために所定数の複数の候補イントラ予測モードが定められる。定められた複数の候補イントラ予測モードを用いて現在ブロックのイントラ予測モードが予測される。
【0125】
段階67では、段階65で予測されたイントラ予測モードを用いて現在ブロックのためのイントラ予測が行われる。
【0126】
前記の段階65で複数の候補イントラ予測モードが定められる時、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、左側ブロックのイントラ予測モードに基づいて、複数の候補イントラ予測モードとしてデフォルトイントラ予測モードが定められる。
【0127】
また、左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、左側ブロックのイントラ予測モードを用いて複数の候補イントラ予測モードが定められる。
【0128】
段階65で、複数の候補イントラ予測モードが定められる時、左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、複数の候補イントラ予測モードのうち2つの候補イントラ予測モードが、左側ブロック及び上端ブロックのイントラ予測モードと定められる。
【0129】
段階63で、MPMフラッグに基づいて現在ブロックのイントラ予測モードを定めるために複数の候補イントラ予測モードが用いられると定められれば、ビットストリームから複数の候補イントラ予測モードのうち1つを示すインデックス情報がパージングされる。この場合、段階65では、複数の候補イントラ予測モードのうちインデックス情報に基づいて選択された1つの候補イントラ予測モードが、ブロックのイントラ予測モードとして定められる。
【0130】
また、段階63で、MPMフラッグに基づいて現在ブロックのイントラ予測モードが前記左側ブロック及び上端ブロックのイントラ予測モードと異なると定められた場合、ビットストリームから現在ブロックの現在イントラモード情報がさらにパージングされる。この場合、段階64では、パージングされた現在ブロックの現在イントラモード情報から、現在ブロックのイントラ予測モードと複数の候補イントラ予測モードとの関係が読み取られ、読み取り結果に基づいてブロックのイントラ予測モードが定められる。
【0131】
一実施形態によるビデオ符号化装置10及び他の実施形態によるビデオ復号化装置20で、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位についてのイントラ予測のための予測単位が用いられる場合があるということは、前述した通りである。以下、図7ないし図19を参照して、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置が開示される。
【0132】
図7は、本発明の一実施形態によってツリー構造による符号化単位に基づいたビデオ符号化装置100のブロック図である。
【0133】
一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、最大符号化単位分割部110、符号化単位決定部120及び出力部130を備える。以下、説明の便宜のために、一実施形態によってツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、‘ビデオ符号化装置100’と略称する。
【0134】
最大符号化単位分割部110は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切る。現在ピクチャーが最大符号化単位より大きければ、現在ピクチャーの映像データは、少なくとも1つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ32×32、64×64、128×128、256×256などのデータ単位であり、横及び縦サイズが2の自乗である正方形のデータ単位である。映像データは、少なくとも1つの最大符号化単位別に符号化単位決定部120に出力される。
【0135】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度と、最小符号化単位が最下位符号化単位と定義される。 最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは減少するので、上位深度の符号化単位は、複数の下位深度の符号化単位を含む。
【0136】
前述したように、符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるので、最大符号化単位に含まれた空間領域(spatial domain)の映像データが深度によって階層的に分類される。
【0137】
最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが予め設定されている。
【0138】
符号化単位決定部120は、深度ごとに最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化して、少なくとも1つの分割領域別に最終符号化結果が出力される深度を定める。すなわち、符号化単位決定部120は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度と定める。定められた符号化深度及び最大符号化単位別映像データは、出力部130に出力される。
【0139】
最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも1つの符号化深度が定められる。
【0140】
最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の数は増加する。また、1つの最大符号化単位に含まれる同じ深度の符号化単位であっても、それぞれのデータについての符号化誤差を測定して下位深度への分割如何が定められる。よって、1つの最大符号化単位に含まれるデータであっても、位置によって深度別符号化誤差が異なるため、位置によって符号化深度が異なって定められる。よって、1つの最大符号化単位について符号化深度が1つ以上設定され、最大符号化単位のデータは、1つ以上の符号化深度の符号化単位によって区切られる。
【0141】
したがって、一実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位が定められる。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度と定められた深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では深度によって階層的に定められ、他の領域については独立して定められる。同様に、現在領域についての符号化深度は、他の領域についての符号化深度と独立して定められる。
【0142】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に関する指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を示す。例えば、最大符号化単位の深度が0であれば、最大符号化単位が1回分割された符号化単位の深度は1に設定され、2回分割された符号化単位の深度が2に設定される。この場合、最大符号化単位から4回分割された符号化単位が最小符号化単位ならば、深度0、1、2、3、4の深度レベルが存在するので、第1最大深度は4、第2最大深度は5に設定される。
【0143】
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。
【0144】
最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるすべての深度別符号化単位について予測符号化及び変換を含む符号化が行われねばならない。以下で説明の便宜のために、少なくとも1つの最大符号化単位のうち現在深度の符号化単位に基づいて予測符号化及び変換を説明する。
【0145】
一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択する。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、すべての段階にかけて同じデータ単位が使われてもよく、段階別にデータ単位が変更されてもよい。
【0146】
例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択する。
【0147】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、これ以上分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、これ以上分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも1つが分割されたデータ単位を含む。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同じサイズのパーティションである。
【0148】
例えば、サイズ2N×2N(但し、Nは正の定数)の符号化単位がこれ以上分割されない場合、サイズ2N×2Nの予測単位となり、パーティションのサイズは2N×2N、2N×N、N×2N、N×Nなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションだけではなく、1:nまたはn:1のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含む。
【0149】
予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも1つである。例えば、イントラモード及びインタモードは、2N×2N、2N×N、N×2N、N×Nサイズのパーティションについて行われる。また、スキップモードは、2N×2Nサイズのパーティションについてのみ行われる。符号化単位以内の1つの予測単位ごとに独立して符号化が行われ、符号化誤差の最も小さな予測モードが選択される。
【0150】
また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの変換を行う。符号化単位の変換のためには、符号化単位より小さいか、または同じサイズの変換単位に基づいて変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインタモードのための変換単位を含む。
【0151】
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さなサイズの変換単位に分割されつつ、符号化単位の残差データが変換深度によって、ツリー構造による変換単位によって区切られる。
【0152】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割して変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2N×2Nの現在符号化単位の変換単位のサイズが2N×2Nならば、変換深度0、変換単位のサイズがN×Nならば、変換深度1、変換単位のサイズがN/2×N/2ならば、変換深度2に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。
【0153】
符号化深度別符号化情報は、符号化深度だけではなく予測関連情報及び変換関連情報が必要である。よって、符号化単位決定部120は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションで分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを定める。
【0154】
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位/パーティション、及び変換単位の決定方式については、図7ないし19を参照して詳細に後述する。
【0155】
符号化単位決定部120は、深度別符号化単位の符号化誤差をラグランジュ乗数(Lagrangian Multiplier)基盤の率−歪曲最適化技法を用いて測定する。
【0156】
出力部130は、符号化単位決定部120で定められた少なくとも1つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに関する情報をビットストリーム形態に出力する。
【0157】
符号化された映像データは、映像の残差データの符号化結果である。
【0158】
深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。
【0159】
符号化深度情報は、現在深度で符号化せずに下位深度の符号化単位で符号化するかどうかを示す深度別分割情報を用いて定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位で符号化されるので、現在深度の分割情報はこれ以上下位深度に分割されないように定義される。逆に、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を用いる符号化を試みる必要があるので、現在深度の分割情報は下位深度の符号化単位に分割されるように定義される。
【0160】
現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が1つ以上存在するので、それぞれの下位深度の符号化単位ごとに繰り返して符号化が行われ、等しい深度の符号化単位ごとに再帰的符号化が行われる。
【0161】
1つの最大符号化単位内にツリー構造の符号化単位が定められ、符号化深度の符号化単位ごとに少なくとも1つの符号化モードに関する情報が定められねばならないので、1つの最大符号化単位については少なくとも1つの符号化モードに関する情報が定められる。また、最大符号化単位のデータは深度によって階層的に区切られ、位置別に符号化深度が異なる可能性があるため、データについて符号化深度及び符号化モードに関する情報が設定される。
【0162】
したがって、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも1つについて、該符号化深度及び符号化モードについての符号化情報が割り当てられる。
【0163】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるすべての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位である。
【0164】
例えば、出力部130を通じて出力される符号化情報は、符号化単位別符号化情報と予測単位別符号化情報とに分類される。符号化単位別符号化情報は、予測モード情報、パーティション大きさ情報を含む。予測単位別に伝送される符号化情報は、インタモードの推定方向に関する情報、インタモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。
【0165】
ピクチャー、スライスまたはGOP別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどに挿入される。
【0166】
また現在ビデオについて許容される変換単位の最大サイズに関する情報及び変換単位の最小サイズに関する情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどを通じて出力される。出力部130は、図1ないし図6を参照して前述した予測に関する参照情報、予測情報、単一方向予測情報、第4スライスタイプを含むスライスタイプ情報などを符号化して出力する。
【0167】
ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが2N×2Nならば、下位深度の符号化単位のサイズはN×Nである。また、2N×2Nサイズの現在符号化単位は、N×Nサイズの下位深度符号化単位を最大4個含む。
【0168】
したがって、ビデオ符号化装置100は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を定めてツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに多様な予測モード、変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。
【0169】
したがって、映像の解像度が非常に高いか、またはデータ量の非常に大きい映像を既存マクロブロック単位で符号化すれば、ピクチャーあたりマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が減少する傾向がある。よって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増加させつつ映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が増大する。
【0170】
図7のビデオ符号化装置100は、図1を参照して前述したビデオ符号化装置10の動作を行う。
【0171】
符号化単位決定部120は、ビデオ符号化装置10のイントラ予測部12の動作を行う。最大符号化単位ごとに、ツリー構造による符号化単位別に、イントラ予測のための予測単位を定め、予測単位ごとにイントラ予測を行う。
【0172】
出力部130は、ビデオ符号化装置10のシンボル符号化部14の動作を行う。予測単位ごとにイントラ予測モードの予測のために、MPMフラッグを符号化する。現在予測単位のイントラ予測モードが左側/上端予測単位のイントラ予測モードのうち少なくとも1つと同じ場合には、左側イントラ予測モードと上端イントラ予測モードとが互いに同じが、または異なるかに関係なく、常に所定数の複数の候補イントラ予測モードを定め、候補イントラ予測モードに基づいて現在予測単位のための現在イントラモード情報を定めて符号化する。
【0173】
出力部130は、候補イントラ予測モードの数を毎ピクチャーごとに定める。これと類似して、候補イントラ予測モードの数がスライスごとに、最大符号化単位ごとに、符号化単位ごとに、または予測単位ごとに定められてもよい。これに制限されずに所定データ単位ごとに候補イントラ予測モードの数が再び定められる。
【0174】
出力部130は、候補イントラ予測モードの数を更新したデータ単位のレベルによって、PPS(Picture Parameter Set)、SPS(Slice Parameter Set)、最大符号化単位レベル、符号化単位レベル、予測単位レベルなど多様なデータ単位レベルのパラメータとして、候補イントラ予測モードの数を示す情報を符号化することもできる。但し、所定データ単位ごとに毎度候補イントラ予測モードの数が定められても、常に候補イントラ予測モードの数を示す情報が符号化されるものではない。
【0175】
図8は、本発明の一実施形態によって、ツリー構造による符号化単位に基づいたビデオ復号化装置200のブロック図である。
【0176】
一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、受信部210、映像データ及び符号化情報抽出部220及び映像データ復号化部230を備える。以下、説明の便宜上、一実施形態によってツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、‘ビデオ復号化装置200’と略称する。
【0177】
一実施形態によるビデオ復号化装置200の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図7及びビデオ符号化装置100を参照して前述した通りである。
【0178】
受信部210は、符号化されたビデオについてのビットストリームを受信してパージングする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出して映像データ復号化部230に出力する。映像データ及び符号化情報抽出部220は、現在ピクチャーについてのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットから、現在ピクチャーの符号化単位の最大サイズに関する情報を抽出する。
【0179】
また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位についての符号化深度及び符号化モードに関する情報を抽出する。抽出された符号化深度及び符号化モードに関する情報は、映像データ復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割して、映像データ復号化部230が最大符号化単位ごとに映像データを復号化可能にする。
【0180】
最大符号化単位別符号化深度及び符号化モードに関する情報は、1つ以上の符号化深度情報について設定され、符号化深度別符号化モードに関する情報は、該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されてもよい。
【0181】
映像データ及び符号化情報抽出部220が抽出した最大符号化単位別符号化深度及び符号化モードに関する情報は、一実施形態によるビデオ符号化装置100のように符号化端で、最大符号化単位別深度別符号化単位ごとに繰り返して符号化を行って、最小符号化誤差を発生させることで定められた符号化深度及び符号化モードに関する情報である。よって、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元する。
【0182】
一実施形態による符号化深度及び符号化モードについての符号化情報は、該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部220は、所定データ単位別に符号化深度及び符号化モードに関する情報を抽出する。所定データ単位別に、該最大符号化単位の符号化深度及び符号化モードに関する情報が記録されていれば、同じ符号化深度及び符号化モードに関する情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。
【0183】
映像データ復号化部230は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含む。
【0184】
映像データ復号化部230は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行う。
【0185】
また、映像データ復号化部230は、最大符号化単位別逆変換のために、符号化単位別にツリー構造による変換単位情報を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行う。逆変換を通じて、符号化単位の空間領域の画素値を復元する。
【0186】
映像データ復号化部230は、深度別分割情報を用いて現在最大符号化単位の符号化深度を定める。もし、分割情報が現在深度でこれ以上分割されないことを示すならば、現在深度が符号化深度である。よって、映像データ復号化部230は、現在最大符号化単位の映像データについて現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を用いて復号化する。
【0187】
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同じ分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部230によって同じ符号化モードで復号化する1つのデータ単位と見なされる。このように定められた符号化単位ごとに符号化モードに関する情報を獲得して現在符号化単位の復号化が行われる。
【0188】
また、図8のビデオ復号化装置200は、図2を参照して前述したビデオ復号化装置20の動作を行う。
【0189】
受信部210は、ビデオ復号化装置20のパージング部22の動作を行う。映像データ及び符号化情報抽出部220と映像データ復号化部230とは、ビデオ復号化装置20のイントラ予測部24の動作を行う。
【0190】
パージング部22は、ツリー構造による符号化単位別に、イントラ予測のための予測単位が定められた場合、予測単位ごとにビットストリームから、イントラ予測モードの予測のためのMPMフラッグをパージングする。左側イントラ予測モードと上端イントラ予測モードとが互いに同じか、または異なるかを判断せずとも、ビットストリームからMPMフラッグに連続して現在イントラモード情報をパージングできる。映像データ及び符号化情報抽出部220は、MPMフラッグ及びイントラモード情報を含んでブロックのシンボルのパージングを完了した後、パージングされた情報から現在イントラ予測モードを復元する。所定数の複数の候補イントラ予測モードを用いて現在イントラ予測モードが予測されることもある。映像データ復号化部230は、復元された現在イントラ予測モード及び残差データを用いて現在予測単位についてのイントラ予測を行う。
【0191】
映像データ及び符号化情報抽出部220は、候補イントラ予測モードの数を毎ピクチャーごとに再び定める。
【0192】
パージング部22は、ビットストリームのPPS、SPS、最大符号化単位レベル、符号化単位レベル、予測単位レベルなどの多様なデータ単位レベルのパラメータから、所定数の候補イントラ予測モードの数を示す情報をパージングする場合があり得る。この場合、映像データ及び符号化情報抽出部220は、情報がパージングされたレベルに対応するデータ単位ごとに、パージングされた情報が示す数ほどの候補イントラ予測モードを定める。
【0193】
但し、映像データ及び符号化情報抽出部220は、候補イントラ予測モードの数を示す情報がパージングされないとしても、スライスごとに、最大符号化単位ごとに、符号化単位ごとに、または予測単位などの所定データ単位ごとに候補イントラ予測モードの数を更新する。
【0194】
結局、ビデオ復号化装置200は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って最小符号化誤差を発生させた符号化単位に関する情報を獲得し、現在ピクチャーについての復号化に用いる。すなわち、最大符号化単位ごとに最適符号化単位で定められたツリー構造による符号化単位の、符号化された映像データの復号化が可能になる。
【0195】
したがって、高い解像度の映像またはデータ量が過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を用いて、映像の特性に適応的に定められた符号化単位のサイズ及び符号化モードによって効率的に映像データを復号化して復元する。
【0196】
図9は、本発明の一実施形態による符号化単位の概念を示す。
【0197】
符号化単位の例は、符号化単位のサイズは幅×高さで表現され、サイズ64×64の符号化単位から32×32、16×16、8×8を含む。サイズ64×64の符号化単位は、サイズ64×64、64×32、32×64、32×32のパーティションに分割され、サイズ32×32の符号化単位は、サイズ32×32、32×16、16×32、16×16のパーティションに分割され、サイズ16×16の符号化単位は、サイズ16×16、16×8、8×16、8×8のパーティションに分割され、サイズ8×8の符号化単位は、サイズ8×8、8×4、4×8、4×4のパーティションに分割される。
【0198】
ビデオデータ310については、解像度は1920×1080、符号化単位の最大サイズは64、最大深度が2に設定されている。ビデオデータ320については、解像度は1920×1080、符号化単位の最大サイズは64、最大深度は3に設定されている。ビデオデータ330については、解像度は352×288、符号化単位の最大サイズは16、最大深度は1に設定されている。図9に示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
【0199】
解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけではなく映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。よって、ビデオデータ330に比べて、解像度の高いビデオデータ310、320は、符号化サイズの最大サイズが64に選択される。
【0200】
ビデオデータ310の最大深度は2であるので、ビデオデータ310の符号化単位315は、長軸サイズ64の最大符号化単位から、2回分割しつつ深度が2階層深くなって長軸サイズ32、16の符号化単位まで含む。一方、ビデオデータ330の最大深度は1であるので、ビデオデータ330の符号化単位335は、長軸サイズ16の符号化単位から、1回分割して深度が1階層深くなって長軸サイズ8の符号化単位まで含む。
【0201】
ビデオデータ320の最大深度は3であるので、ビデオデータ320の符号化単位325は、長軸サイズ64の最大符号化単位から、3回分割しつつ深度が3階層深くなって長軸サイズ32、16、8の符号化単位まで含む。深度が深くなるほど詳細情報の表現能が向上する。
【0202】
図10は、本発明の一実施形態による符号化単位に基づいた映像符号化部400のブロック図である。一実施形態による映像符号化部400は、ビデオ符号化装置100の符号化単位決定部120で映像データの符号化に経る作業を含む。すなわち、イントラ予測部410は、現在フレーム405のうちイントラモードの符号化単位についてイントラ予測を行い、動き推定部420及び動き補償部425は、インタモードの現在フレーム405及び参照フレーム495を用いてインタ推定及び動き補償を行う。
【0203】
イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、変換部430及び量子化部440を経て量子化された変換係数に出力される。量子化された変換係数は、逆量子化部460、逆変換部470を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びループフィルタリング部490を経て後処理されて参照フレーム495に出力される。量子化された変換係数は、エントロピー符号化部450を経てビットストリーム455に出力される。
【0204】
一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素であるイントラ予測部410、動き推定部420、動き補償部425、変換部430、量子化部440、エントロピー符号化部450、逆量子化部460、逆変換部470、デブロッキング部480及びループフィルタリング部490がいずれも、最大符号化単位ごとに最大深度を考慮してツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わねばならない。
【0205】
特に、イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮してツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを定め、変換部430は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを定めねばならない。
【0206】
特に、イントラ予測部410は、ビデオ符号化装置10のイントラ予測部12の動作を行う。最大符号化単位ごとに、ツリー構造による符号化単位別にイントラ予測のための予測単位を定め、予測単位ごとにイントラ予測を行う。
【0207】
現在予測単位と左側/上端予測単位とが同じ場合に、左側イントラ予測モードと上端イントラ予測モードとが互いに同じか、または異なる場合にいずれも複数の候補イントラ予測モードが定められるので、エントロピー符号化部450は、予測単位ごとにMPMフラッグを符号化し、次いで、現在予測単位のための後輩イントラ予測モードに基づいて定められた現在イントラモード情報を符号化する。
【0208】
図11は、本発明の一実施形態による符号化単位に基づいた映像復号化部500のブロック図である。
【0209】
ビットストリーム505がパージング部510を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。符号化された映像データは、エントロピー復号化部520及び逆量子化部530を経て逆量子化されたデータに出力され、逆変換部540を経て空間領域の映像データが復元される。
【0210】
空間領域の映像データについて、イントラ予測部550は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部560は、参照フレーム585を共に用いてインタモードの符号化単位について動き補償を行う。
【0211】
イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループフィルタリング部580を経て後処理されて復元フレーム595に出力される。また、デブロッキング部570及びループフィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。
【0212】
ビデオ復号化装置200の映像データ復号化部230で映像データを復号化するために、一実施形態による映像復号化部500のパージング部510以後の段階別作業が行われる。
【0213】
一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部500の構成要素であるパージング部510、エントロピー復号化部520、逆量子化部530、逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループフィルタリング部580はいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。
【0214】
特に、イントラ予測部550、動き補償部560は、ツリー構造による符号化単位それぞれごとにパーティション及び予測モードを定め、逆変換部540は、符号化単位ごとに変換単位のサイズを定めねばならない。
【0215】
特に、パージング部510は、ツリー構造による符号化単位別に、イントラ予測のための予測単位が定められた場合、予測単位ごとにビットストリームから、イントラ予測モードの予測のためのMPMフラッグをパージングする。左側イントラ予測モードと上端イントラ予測モードとが互いに同じか、または異なるかを判断せずとも、ビットストリームからMPMフラッグに連続して現在イントラモード情報をパージングできる。エントロピー復号化部520は、MPMフラッグ及び現在イントラモード情報を含んでブロックのシンボルのパージングを完了した後、パージングされた情報から現在イントラ予測モードを復元する。イントラ予測部550は、復元された現在イントラ予測モード及び残差データを用いて現在予測単位についてのイントラ予測を行う。
【0216】
図12は、本発明の一実施形態による深度別符号化単位及びパーティションを示す。
一実施形態によるビデオ符号化装置100及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められてもよく、ユーザのニーズに応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。
【0217】
一実施形態による符号化単位の階層構造600は、符号化単位の最大高さ及び幅が64であり、最大深度が4の場合を図示している。この時、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
【0218】
すなわち、符号化単位610は、符号化単位の階層構造600のうち最大符号化単位であって、深度が0であり、符号化単位のサイズ、すなわち、高さ及び幅が64×64である。縦軸に沿って深度が深くなり、サイズ32×32の深度1の符号化単位620、サイズ16×16の深度2の符号化単位630、サイズ8×8の深度3の符号化単位640、サイズ4×4の深度4の符号化単位650が存在する。サイズ4×4の深度4の符号化単位650は、最小符号化単位である。
【0219】
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64×64の符号化単位610が予測単位ならば、予測単位は、サイズ64×64の符号化単位610に含まれるサイズ64×64のパーティション610、サイズ64×32のパーティション612、サイズ32×64のパーティション614、サイズ32×32のパーティション616に分割される。
【0220】
同様に、深度1のサイズ32×32の符号化単位620の予測単位は、サイズ32×32の符号化単位620に含まれるサイズ32×32のパーティション620、サイズ32×16のパーティション622、サイズ16×32のパーティション624、サイズ16×16のパーティション626に分割される。
【0221】
同様に、深度2のサイズ16×16の符号化単位630の予測単位は、サイズ16×16の符号化単位630に含まれるサイズ16×16のパーティション630、サイズ16×8のパーティション632、サイズ8×16のパーティション634、サイズ8×8のパーティション636に分割される。
【0222】
同様に、深度3のサイズ8×8の符号化単位640の予測単位は、サイズ8×8の符号化単位640に含まれるサイズ8×8のパーティション640、サイズ8×4のパーティション642、サイズ4×8のパーティション644、サイズ4×4のパーティション646に分割される。
【0223】
最後に、深度4のサイズ4×4の符号化単位650は、最小符号化単位であって最下位深度の符号化単位であり、該予測単位もサイズ4×4のパーティション650のみで設定される。
【0224】
一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の符号化深度を定めるために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。
【0225】
同一範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度1の符号化単位1つが含むデータについて、深度2の符号化単位は4つ必要である。よって、同じデータの符号化結果を深度別に比べるために、1つの深度1の符号化単位及び4つの深度2の符号化単位を用いてそれぞれ符号化されねばならない。
【0226】
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行って、該深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行って、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位610のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位610の符号化深度及びパーティションタイプと選択される。
【0227】
図13は、本発明の一実施形態による符号化単位及び変換単位の関係を示す。
【0228】
一実施形態によるビデオ符号化装置100または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程中に変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。
【0229】
例えば、一実施形態によるビデオ符号化装置100または一実施形態によるビデオ復号化装置200で、現在符号化単位710が64×64サイズである時、32×32サイズの変換単位720を用いて変換が行われる。
【0230】
また、64×64サイズの符号化単位710のデータを、64×64サイズ以下の32×32、16×16、8×8、4×4サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。
【0231】
図14は、本発明の一実施形態による深度別符号化情報を示す。
【0232】
一実施形態によるビデオ符号化装置100の出力部130は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとにパーティションタイプに関する情報800、予測モードに関する情報810、変換単位サイズに関する情報820を符号化して伝送する。
【0233】
パーティションタイプに関する情報800は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に関する情報を示す。例えば、サイズ2N×2Nの現在符号化単位CU_0は、サイズ2N×2Nのパーティション802、サイズ2N×Nのパーティション804、サイズN×2Nのパーティション806、サイズN×Nのパーティション808のうちいずれか1つのタイプに分割されて用いられる。この場合、現在符号化単位のパーティションタイプに関する情報800は、サイズ2N×2Nのパーティション802、サイズ2N×Nのパーティション804、サイズN×2Nのパーティション806及びサイズN×Nのパーティション808のうち1つを示すように設定される。
【0234】
予測モードに関する情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードに関する情報810を通じて、パーティションタイプに関する情報800の示すパーティションがイントラモード812、インタモード814及びスキップモード816のうち1つで予測符号化が行われるかどうかが設定される。
【0235】
また、変換単位サイズに関する情報820は、現在符号化単位をいかなる変換単位に基づいて変換を行うかどうかを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1イントラ変換単位サイズ826、第2イントラ変換単位サイズ828のうち1つである。
【0236】
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報800、予測モードに関する情報810、変換単位サイズに関する情報820を抽出して復号化に用いる。
【0237】
図15は、本発明の一実施形態による深度別符号化単位を示す。
【0238】
深度の変化を示すために分割情報が用いられる。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるかどうかを示す。
【0239】
深度0及び2N_0×2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0×2N_0サイズのパーティションタイプ912、2N_0×N_0サイズのパーティションタイプ914、N_0×2N_0サイズのパーティションタイプ916、N_0×N_0サイズのパーティションタイプ918を含む。予測単位が対称的な割合で分割されたパーティション912、914、916、918のみ例示されているが、前述したようにパーティションタイプはこれに限定されず、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。
【0240】
パーティションタイプごとに、1つの2N_0×2N_0サイズのパーティション、2つの2N_0×N_0サイズのパーティション、2つのN_0×2N_0サイズのパーティション、4つのN_0×N_0サイズのパーティションごとに繰り返して予測符号化が行われねばならない。サイズ2N_0×2N_0、サイズN_0×2N_0及びサイズ2N_0×N_0及びサイズN_0×N_0のパーティションについては、イントラモード及びインタモードで予測符号化が行われる。スキップモードは、サイズ2N_0×2N_0のパーティションに予測符号化についてのみ行われる。
【0241】
サイズ2N_0×2N_0、2N_0×N_0及びN_0×2N_0のパーティションタイプ912、914、916のうち1つによる符号化誤差が最も小さければ、これ以上下位深度に分割する必要がない。
【0242】
サイズN_0×N_0のパーティションタイプ918による符号化誤差が最も小さければ、深度0を1に変更しつつ分割920し、深度2及びサイズN_0×N_0のパーティションタイプの符号化単位930について繰り返して符号化を行って最小符号化誤差を検索できる。
【0243】
深度1及びサイズ2N_1×2N_1(=N_0×N_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1×2N_1のパーティションタイプ942、サイズ2N_1×N_1のパーティションタイプ944、サイズN_1×2N_1のパーティションタイプ946、サイズN_1×N_1のパーティションタイプ948を含む。
【0244】
また、サイズN_1×N_1サイズのパーティションタイプ948による符号化誤差が最も小さければ、深度1を深度2に変更しつつ分割950し、深度2及びサイズN_2×N_2の符号化単位960について繰り返して符号化を行って最小符号化誤差を検索できる。
【0245】
最大深度がdである場合、深度別符号化単位は深度d−1の時まで設定され、分割情報は深度d−2まで設定される。すなわち、深度d−2から分割970されて深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)×2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)×2N_(d−1)のパーティションタイプ992、サイズ2N_(d−1)×N_(d−1)のパーティションタイプ994、サイズN_(d−1)×2N_(d−1)のパーティションタイプ996、サイズN_(d−1)×N_(d−1)のパーティションタイプ998を含む。
【0246】
パーティションタイプのうち、1つのサイズ2N_(d−1)×2N_(d−1)のパーティション、2つのサイズ2N_(d−1)×N_(d−1)のパーティション、2つのサイズN_(d−1)×2N_(d−1)のパーティション、4つのサイズN_(d−1)×N_(d−1)のパーティションごとに繰り返して予測符号化を通じる符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
【0247】
サイズN_(d−1)×N_(d−1)のパーティションタイプ998による符号化誤差が最も小さいとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)はこれ以上下位深度への分割過程を経ず、現在最大符号化単位900についての符号化深度が深度d−1と定められ、パーティションタイプは、N_(d−1)×N_(d−1)と定められる。また最大深度がdであるので、深度d−1の符号化単位952について分割情報は設定されない。
【0248】
データ単位999は、現在最大符号化単位に対する‘最小単位’と称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割されたサイズの正方形のデータ単位である。このような繰り返しの符号化過程を通じて、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較して最も小さな符号化誤差が発生する深度を選択して符号化深度を定め、該パーティションタイプ及び予測モードが、符号化深度の符号化モードと設定される。
【0249】
このような形で深度0、1、…、d−1、dのすべての深度別最小符号化誤差を比較して誤差の最も小さな深度が選択され、符号化深度と定められる。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報として符号化されて伝送される。また、深度0から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみ‘0’に設定され、符号化深度を除いた深度別分割情報は‘1’に設定されねばならない。
【0250】
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900についての符号化深度及び予測単位に関する情報を抽出して符号化単位912の復号化に用いる。一実施形態によるビデオ復号化装置200は、深度別分割情報を用いて分割情報が‘0’である深度を符号化深度と把握し、該深度についての符号化モードに関する情報を用いて復号化に用いる。
【0251】
図16ないし図18は、本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す。
【0252】
符号化単位1010は、最大符号化単位について一実施形態によるビデオ符号化装置100が定めた符号化深度別符号化単位である。予測単位1060は、符号化単位1010のうちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。
【0253】
深度別符号化単位1010は、最大符号化単位の深度が0であれば、符号化単位1012、1054は深度が1、符号化単位1014、1016、1018、1028、1050、1052は深度が2、符号化単位1020、1022、1024、1026、1030、1032、1048は深度が3、符号化単位1040、1042、1044、1046は深度が4である。
【0254】
予測単位1060のうち一部のパーティション1014、1016、1022、1032、1048、1050、1052、1054は、符号化単位が分割された形態である。すなわち、パーティション1014、1022、1050、1054は、2N×Nのパーティションタイプであり、パーティション1016、1048、1052は、N×2Nのパーティションタイプ、パーティション1032は、N×Nのパーティションタイプである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同じである。
【0255】
変換単位1070のうち一部1052の映像データについては、符号化単位に比べて小さなサイズのデータ単位で変換または逆変換が行われる。また、変換単位1014、1016、1022、1032、1048、1050、1052、1054は、予測単位1060のうち該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100及び一実施形態によるビデオ復号化装置200は、同じ符号化単位についてのイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であっても、それぞれ別途のデータ単位に基づいて行う。
【0256】
これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適符号化単位が定められることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位についての分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下の表1は、一実施形態によるビデオ符号化装置100及び一実施形態によるビデオ復号化装置200で設定できる一例を示す。
【0257】
【表1】
一実施形態によるビデオ符号化装置100の出力部130は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置200の符号化情報抽出部220は、受信されたビットストリームからツリー構造による符号化単位についての符号化情報を抽出する。
【0258】
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるかどうかを示す。現在深度dの分割情報が0ならば、現在符号化単位が下位符号化単位にこれ以上分割されない深度が符号化深度であるので、符号化深度についてパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって1段階さらに分割されねばならない場合には、分割された4個の下位深度の符号化単位ごとに独立して符号化が行われねばならない。
【0259】
予測モードは、イントラモード、インタモード及びスキップモードのうち1つで示す。イントラモード及びインタモードは、すべてのパーティションタイプで定義され、スキップモードは、パーティションタイプ2N×2Nのみで定義される。
【0260】
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションタイプ2N×2N、2N×N、N×2N及びN×Nと、非対称的な割合で分割された非対称的パーティションタイプ2N×nU、2N×nD、nL×2N、nR×2Nを示す。非対称的パーティションタイプ2N×nU及び2N×nDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnL×2N及びnR×2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。
【0261】
変換単位サイズは、イントラモードで2種のサイズ、インタモードで2種のサイズに設定される。すなわち、変換単位分割情報が0ならば、変換単位のサイズが現在符号化単位のサイズ2N×2Nに設定される。変換単位分割情報が1ならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ2N×2Nの現在符号化単位についてのパーティションタイプが対称形パーティションタイプならば、変換単位のサイズはN×N、非対称形パーティションタイプならば、N/2×N/2に設定される。
【0262】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも1つについて割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を1つ以上含む。
【0263】
したがって、隣接しているデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるかどうかが確認される。また、データ単位が保有している符号化情報を用いれば、該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。
【0264】
したがって、この場合に現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接している深度別符号化単位内のデータ単位の符号化情報が直接参照されて用いられる。
【0265】
さらに他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接している深度別符号化単位の符号化情報を用いて、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることで周辺符号化単位が参照されることもある。
【0266】
図19は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。
【0267】
最大符号化単位1300は、符号化深度の符号化単位1302、1304、1306、1312、1314、1316、1318を含む。このうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2N×2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2N×2N 1322、2N×N 1324、N×2N 1326、N×N 1328、2N×nU 1332、2N×nD 1334、nL×2N 1336及びnR×2N 1338のうち1つに設定される。
【0268】
変換単位分割情報(TU size flag)は、変換インデックスの一種であり、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
【0269】
例えば、パーティションタイプ情報が対称形パーティションタイプ2N×2N 1322、2N×N 1324、N×2N 1326及びN×N 1328のうち1つに設定されている場合、変換単位分割情報が0ならば、サイズ2N×2Nの変換単位1342が設定され、変換単位分割情報が1ならば、サイズN×Nの変換単位1344が設定される。
【0270】
パーティションタイプ情報が非対称形パーティションタイプ2N×nU 1332、2N×nD 1334、nL×2N 1336及びnR×2N 1338のうち1つに設定された場合、変換単位分割情報(TU size flag)が0ならば、サイズ2N×2Nの変換単位1352が設定され、変換単位分割情報が1ならば、サイズN/2×N/2の変換単位1354が設定される。
【0271】
図21を参照して前述された変換単位分割情報(TU size flag)は、0または1の値を持つフラッグであるが、一実施形態による変換単位分割情報が1ビットのフラッグに限定されるものではなく、設定によって0、1、2、3…などに増加しつつ変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として用いられる。
【0272】
この場合、一実施形態による変換単位分割情報を変換単位の最大サイズ、変換単位の最小サイズと共に用いれば、実際に用いられた変換単位のサイズが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化する。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPSに挿入される。一実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を用いてビデオ復号化に用いる。
【0273】
例えば、(a)現在符号化単位がサイズ64×64であり、最大変換単位サイズは32×32ならば、(a−1)変換単位分割情報が0である時に変換単位のサイズが32×32、(a−2)変換単位分割情報が1である時に変換単位のサイズが16×16、(a−3)変換単位分割情報が2である時に変換単位のサイズが8×8に設定される。
【0274】
他の例として、(b)現在符号化単位がサイズ32×32であり、最小変換単位サイズは32×32ならば、(b−1)変換単位分割情報が0である時に変換単位のサイズが32×32に設定され、変換単位のサイズが32×32より小さくてはならないため、これ以上の変換単位分割情報が設定されられない。
【0275】
さらに他の例として、(c)現在符号化単位がサイズ64×64であり、最大変換単位分割情報が1ならば、変換単位分割情報は0または1であり、他の変換単位分割情報が設定されられない。
【0276】
したがって、最大変換単位分割情報を‘MaxTransformSizeIndex’、最小変換単位サイズを‘MinTransformSize’、変換単位分割情報が0である場合の変換単位サイズを‘RootTuSize’と定義する時、現在符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’は、下記の関係式(1)のように定義される。
【0277】
CurrMinTuSize
=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))…(1)
現在符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’と比較して、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’は、システム上採択可能な最大変換単位サイズを示す。すなわち、関係式(1)によれば、‘RootTuSize/(2^MaxTransformSizeIndex)’は、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘MinTransformSize’は、最小変換単位サイズであるので、これらのうと小さな値が、現在符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’である。
【0278】
一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって変わってもよい。
【0279】
例えば、現在予測モードがインタモードならば、RootTuSizeは下記の関係式(2)によって定められる。関係式(2)で‘MaxTransformSize’は、最大変換単位サイズ、‘PUSize’は、現在予測単位サイズを示す。
【0280】
RootTuSize=min(MaxTransformSize,PUSize)…(2)
すなわち、現在予測モードがインタモードならば、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’は、最大変換単位サイズ及び現在予測単位サイズのうち小さな値に設定される。
【0281】
現在パーティション単位の予測モードがイントラモードならば、‘RootTuSize’は下記の関係式(3)によって定められる。‘PartitionSize’は、現在パーティション単位のサイズを示す。
【0282】
RootTuSize=min(MaxTransformSize,PartitionSize)…(3)
すなわち、現在予測モードがイントラモードならば、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さな値に設定される。
【0283】
但し、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズ‘RootTuSize’は一実施形態であるだけであり、現在最大変換単位サイズを定める要因がこれに限定されるものではないということに留意せねばならない。
【0284】
図7ないし図19を参照して前述されたツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって最大符号化単位ごとに復号化が行われつつ空間領域の映像データが復元され、ピクチャー及びピクチャーシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、または記録媒体に保存されるか、またはネットワークを通じて伝送される。
【0285】
一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成でき、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的判読媒体(例えば、CD−ROM、DVDなど)のような記録媒体を含む。
【0286】
これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は、本発明に含まれていると解釈されねばならない。
【0287】
付記を記す。
(付記1) イントラ予測を通じるビデオ復号化方法において、
受信したビットストリームから符号化されたビデオのブロックのシンボルをパージングする間に、前記ブロックのMPMフラッグをパージングする段階と、
前記MPMフラッグに基づいて前記ブロックのイントラ予測モードを予測するために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定める段階と、
前記MPMフラッグに基づいて前記複数の候補イントラ予測モードが用いられると定められた場合、前記ブロックのシンボルのパージングが完了した後、前記パージングされたシンボルを用いて前記ブロックのイントラ予測モードを復元する間に、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて前記所定数の複数の候補イントラ予測モードを定める段階と、
前記定められた複数の候補イントラ予測モードを用いて前記ブロックのイントラ予測モードを予測する段階と、
前記予測されたイントラ予測モードを用いて前記ブロックのためのイントラ予測を行う段階と、を含むことを特徴とするビデオ復号化方法。
(付記2) 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードに基づいて、前記複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める段階を含むことを特徴とする付記1に記載のビデオ復号化方法。
(付記3) 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードを用いて前記複数の候補イントラ予測モードを定める段階を含むことを特徴とする付記1に記載のビデオ復号化方法。
(付記4) 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、前記複数の候補イントラ予測モードのうち2つの候補イントラ予測モードを左側ブロック及び上端ブロックのイントラ予測モードと定める段階を含むことを特徴とする付記1に記載のビデオ復号化方法。
(付記5) 前記パージング段階は、前記MPMフラッグに基づいて前記ブロックのイントラ予測モードを定めるために複数の候補イントラ予測モードが用いられると定められれば、前記ビットストリームから前記複数の候補イントラ予測モードのうち1つを示すインデックス情報をパージングする段階を含み、
前記ブロックのイントラ予測モード予測段階は、前記複数の候補イントラ予測モードのうち、前記インデックス情報に基づいて選択された1つの候補イントラ予測モードを前記ブロックのイントラ予測モードと定める段階を含むことを特徴とする付記1に記載のビデオ復号化方法。
(付記6) 前記パージング段階は、前記MPMフラッグに基づいて前記ブロックのイントラ予測モードが前記左側ブロック及び上端ブロックのイントラ予測モードと異なると定められた場合、前記ビットストリームから前記ブロックの現在イントラモード情報をパージングする段階を含み、
前記ブロックのイントラ予測モード予測段階は、前記パージングされたブロックの現在イントラモード情報から前記ブロックのイントラ予測モードと前記複数の候補イントラ予測モードとの関係を読み取り、前記読み取り結果に基づいて前記ブロックのイントラ予測モードを定める段階を含むことを特徴とする付記1に記載のビデオ復号化方法。
(付記7) イントラ予測を通じるビデオ符号化方法において、
ビデオのうち、ブロックのためのイントラ予測を通じて定められた前記ブロックのイントラ予測モードと、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードとを比較する段階と、
前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すMPMフラッグを符号化する段階と、
前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じモードがあれば、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても所定数の複数の候補イントラ予測モードを定める段階と、
前記複数の候補イントラ予測モードに基づいて定められた前記ブロックの現在イントラモード情報を符号化する段階と、を含むことを特徴とするビデオ符号化方法。
(付記8) 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードに基づいて、前記複数の候補イントラ予測モードとしてデフォルトイントラ予測モードを定める段階を含むことを特徴とする付記7に記載のビデオ符号化方法。
(付記9) 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに同じならば、前記左側ブロックのイントラ予測モードを用いて前記複数の候補イントラ予測モードを定める段階を含むことを特徴とする付記7に記載のビデオ符号化方法。
(付記10) 前記複数の候補イントラ予測モードを定める段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なれば、前記複数の候補イントラ予測モードのうち、2つの候補イントラ予測モードを左側ブロック及び上端ブロックのイントラ予測モードと定める段階を含むことを特徴とする付記7に記載のビデオ符号化方法。
(付記11) 前記ブロックの現在イントラモード情報を符号化する段階は、
前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがある場合、前記複数の候補イントラ予測モードのうち、前記ブロックのイントラ予測モードと相応する候補イントラ予測モードを示すインデックス情報を符号化する段階を含むことを特徴とする付記7に記載のビデオ符号化方法。
(付記12) 前記ブロックの現在イントラモード情報を符号化する段階は、
前記ブロックのイントラ予測モードが前記左側ブロック及び上端ブロックのイントラ予測モードと異なる場合、前記ブロックのイントラ予測モードと前記候補イントラ予測モードとの関係を示す前記ブロックの現在イントラモード情報を定める段階と、
前記ブロックの現在イントラモード情報を符号化する段階と、を含むことを特徴とする付記7に記載のビデオ符号化方法。
(付記13) イントラ予測を通じるビデオ復号化装置において、
受信したビットストリームから符号化されたビデオのブロックのシンボルをパージングする間に前記ブロックのMPMフラッグをパージングし、前記MPMフラッグに基づいて前記ブロックのイントラ予測モードを定めるために、所定数の複数の候補イントラ予測モードが用いられるかどうかを定めるパージング部と、
前記MPMフラッグに基づいて前記複数の候補イントラ予測モードが用いられると定められた場合、前記ブロックのシンボルのパージングが完了した後、前記パージングされたシンボルを用いて前記ブロックのイントラ予測モードを復元する間に、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードに基づいて、前記所定数の複数の候補イントラ予測モードを定め、前記定められた複数の候補イントラ予測モードを用いて前記ブロックのイントラ予測モードを予測し、前記予測されたイントラ予測モードを用いて前記ブロックのためのイントラ予測を行うイントラ予測部と、を備えることを特徴とするビデオ復号化装置。
(付記14) ビデオ符号化装置において、
ビデオの符号化のためにブロックに対してイントラ予測を行うイントラ予測部と、
前記ブロックのイントラ予測を通じて生成されたシンボルを符号化するシンボル符号化部と、を備え、
前記シンボル符号化部は、前記ブロックのためのイントラ予測を通じて定められた前記ブロックのイントラ予測モードと、前記ブロックに隣接している左側ブロック及び上端ブロックのイントラ予測モードとを比較し、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じイントラ予測モードがあるかどうかを示すMPMフラッグを符号化し、
前記シンボル符号化部は、前記左側ブロック及び上端ブロックのイントラ予測モードのうち、前記ブロックのイントラ予測モードと同じモードがあれば、前記左側ブロック及び上端ブロックのイントラ予測モードが互いに異なるか、または同じであっても所定数の複数の候補イントラ予測モードを定め、前記複数の候補イントラ予測モードに基づいて定められた前記ブロックの現在イントラモード情報を符号化することを特徴とするビデオ符号化装置。
(付記15) 付記1及び7のうちいずれか一項に記載の方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19