特許 7599044 ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-04

(45)【発行日】2024-12-12

(54)【発明の名称】ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体

(51)【国際特許分類】

   H04N 19/122 20140101AFI20241205BHJP

   H04N 19/103 20140101ALI20241205BHJP

   H04N 19/119 20140101ALI20241205BHJP

   H04N 19/157 20140101ALI20241205BHJP

   H04N 19/176 20140101ALI20241205BHJP

【ＦＩ】

H04N19/122

H04N19/103

H04N19/119

H04N19/157

H04N19/176

【請求項の数】 1

(21)【出願番号】P 2024022837

(22)【出願日】2024-02-19

(62)【分割の表示】P 2021183506の分割

【原出願日】2010-02-23

(65)【公開番号】P2024045615

(43)【公開日】2024-04-02

【審査請求日】2024-02-19

(31)【優先権主張番号】10-2009-0076753

(32)【優先日】2009-08-19

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2009-0015013

(32)【優先日】2009-02-23

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】511205747

【氏名又は名称】コリア アドバンスド インスティテュート オブ サイエンス アンド テクノロジー

(73)【特許権者】

【識別番号】511205529

【氏名又は名称】コリアン ブロードキャスティング システム

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】キム，ムン チュル

(72)【発明者】

【氏名】リー，ブム シク

(72)【発明者】

【氏名】キム，ジェ イル

(72)【発明者】

【氏名】パク，チャン ソブ

(72)【発明者】

【氏名】ハン，サン ジン

(72)【発明者】

【氏名】チョ，イン ジョン

(72)【発明者】

【氏名】リー，ケウン シク

(72)【発明者】

【氏名】キム，ビョン サン

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１０／００２２１４（ＷＯ，Ａ２）

【文献】国際公開第２００８／０８８１４０（ＷＯ，Ａ１）

【文献】国際公開第２００３／０２１９７１（ＷＯ，Ａ１）

【文献】Jaeil Kim et al.，Enlarging MB size for high fidelity video coding beyond HD，ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group，VCEG-AJ21，36th Meeting: San Diego, USA，2008年10月，pp.1-6

【文献】P. Chen, Y. Ye and M. Karczewicz，Video Coding Using Extended Block Sizes，ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group，VCEG-AJ23_r1，36th Meeting: San Diego, USA，2008年10月，pp.1-3

【文献】S. Naito, A. Matsumura, and A. Koike，Efficient coding scheme for super high definition video based on extending H.264 high profile，Visual Communications and Image Processing 2006，Vol. 6077，SPIE，2006年，pp.1-8

【文献】Siwei Ma, and C.-C. Jay Kuo，High-definition Video Coding with Super-macroblocks，Visual Communications and Image Processing 2007，Vol. 6508，SPIE，2007年，pp.1-12

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオ復号化のための方法であって、
符号化されたビデオデータのビデオデータシーケンスを受信する段階であって、
前記ビデオデータシーケンスはスライスを含み、前記スライスは符号化単位（ＣＵ）ブロックを含み、
符号化単位（ＣＵ）ブロックは第１の下位符号化単位（ＣＵ）に分割され、
前記第１の下位符号化単位（ＣＵ）の少なくとも１つは第２の下位符号化単位（ＣＵ）に分割され、
それぞれの下位符号化単位（ＣＵ）は前記第１の下位符号化単位（ＣＵ）及び前記第２の下位符号化単位（ＣＵ）を含む、段階と、
前記それぞれの下位符号化単位（ＣＵ）のうちの下位符号化単位（ＣＵ）に対応する符号化モードを復号化する段階と、
前記復号化された符号化モードに基づいて前記対応する下位符号化単位について画面内予測又は画面間予測のいずれかを選択的に実行する段階と、
前記対応する下位符号化単位における残差信号を変換する段階であって、可変サイズの変換カーネルが前記対応する下位符号化単位に選択的に適用され、
前記可変サイズの変換カーネルは前記対応する下位符号化単位のサイズに従って選択され、
前記選択された可変サイズの変換カーネルは前記対応する下位符号化単位のサイズより小さい、段階と、を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオ符号化及び復号化で入力画面をブロック単位に分け、分割されたブロックを画面内及び画面間の予測符号化を同時に使用して符号化することができる方法と復号化することができる方法に関し、特に符号化効率を向上させることができ、分割ブロックのサイズによって正方形（squared）変換または非正方形（non-squared）変換を利用してブロック映像信号を符号化することによって、符号化効率をさらに向上させることができるビデオ符号化で画面間及び画面内の予測を用いた分割ブロック符号化及び復号化方法に関する。

【背景技術】

【0002】

ＩＳＯ／ＩＥＣとＩＴＵ－Ｔで共同に標準化したビデオ圧縮／符号化技術であるＩＳＯ／ＩＥＣ １４４９６－１０（ＭＰＥＧ－４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）またはＨ．２６４及びＩＳＯ／ＩＥＣ １４４９６－１０アメンドメント（Ａｍｅｎｄｍｅｎｔ）３（ＭＰＥＧ－４ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格、ＳＭＰＴＥ標準であるＶＣ－１、その他、オーディオビデオコーディング標準（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄｒａｄ、ＡＶＳ）規格などは、ビデオデータ圧縮効率において多くの前進があった。

【0003】

このようにビデオ圧縮効率の向上要因は、様々なものがあり得るが、特に既存のビデオ符号化標準（ＭＰＥＧ－１ Ｖｉｄｅｏ、ＭＰＥＧ－２ Ｖｉｄｅｏ、ＭＰＥＧ－４ Ｐａｒｔ ２ Ｖｉｓｕａｌ、Ｈ．２６１、Ｈ．２６３など）が符号化しようとする画面のサイズをマクロブロック（１６×１６ピクセル）単位に分割した後、これを予測符号化することとは異なって、マクロブロックを１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４単位にさらに細分化して分割し、これらの下位ブロックに対して予測符号化を行い、レート歪コストの観点からコスト最小化を発生させるブロックを最適のブロックモードにして符号化する。

【0004】

かくして、微細な動きや複雑な映像の動き予測をさらに効果的に行い、発生する残差信号を大きく低減することによって、圧縮効率を大きく向上させることができる。

【0005】

図１は、従来、Ｈ．２６４／ＡＶＣ符号化器において符号化のための１６×１６マクロブロック単位ブロックの分割ブロックタイプを示す図であって、Ｈ．２６４で使用される７個の動き予測ブロック分割タイプが示されている。

【0006】

図１に示されたように、通常、ブロック基盤の予測符号化方式は、入力映像を１６×１６サイズのマクロブロック単位に分割して符号化する。特に、ＩＳＯ／ＩＥＣ１４４９６－１０（ＭＰＥＧ－４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）またはＨ．２６４規格では、図１のように、マクロブロックを７個の下位ブロックに分割し、レート歪コストを最小化するブロックを最終選択し、予測符号化を行う。

【0007】

符号化しようとする１６×１６マクロブロックに対して分割されたサブブロックは、画面内の符号化を行う場合、マクロブロックは、１つの１６×１６ピクセル単位のサイズで画面内の予測符号化が行われるか、またはサブブロックに分割され、４個の８×８ブロックの画面内の予測符号化を行うか、または１６個の４×４ブロックの画面内の予測符号化を行う。

【0008】

一般的に、低解像度のビデオ符号化では、このような画面内の予測符号化技法が様々なブロックモードの場合の数を減らす側面で符号化効率があるが、高解像度（ＨＤ：High Definition）や超高解像度（ＵＨＤ：Ultra High Definition）ビデオ符号化においては、問題がある。すなわち、符号化単位ブロックである１６×１６マクロブロックを拡張した３２×３２またはそれ以上のサイズを有するスーパーマクロブロックの場合には、既存の方法のように、スーパーマクロブロック内の分割されたすべてのブロックのモードを１６×１６、８×８、または４×４ブロック基盤の同じ画面内の予測を適用すれば、符号化効率を低下させる結果をもたらす。

【0009】

言い換えれば、従来、分割ブロック基盤の予測符号化方法で注目すべきことは、分割されたブロックがすべて画面内または画面間の予測符号化を通じて符号化されることである。すなわち、分割ブロック画面内の予測符号化及び画面間の予測符号化を共に適用せず、いずれか１つの方式だけを選択して適用していることである。これは、画面内または画面間の符号化のうち１つだけを適用することによって、ブロック符号化モードを表現するシンタックスの単純化によってＨＤ解像度以下のイメージまたはビデオ圧縮においては、符号化効率の利得があり得るが、符号化単位がマクロブロック以上のスーパーマクロブロックである場合には、符号化効率を低下させる要因として作用することができる。

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明は、前述のような問題点を解決するためになされたものであって、その目的は、ビデオ符号化時に分割されたブロックのサブ分割ブロックに対して画面内または画面間の予測符号化選択方式を拡張して、画面内及び画面間の予測符号化モードを共に選択可能に拡張し、分割されたブロックの動き補償後の残差信号に対してブロックサイズによる正方形または非正方形変換カーネルを選択的に適用して符号化を行うことによって、さらに効果的な予測符号化方法を提供することにある。

【0011】

また、本発明の他の目的は、前記方法が実現されたコンピュータで読み取り可能な記録媒体を提供することにある。

【課題を解決するための手段】

【0012】

上記目的を達成するために、本発明の一態様によるビデオ符号化での分割ブロック符号化方法は、入力画面を符号化単位ブロックに分割する段階と、前記符号化単位ブロックを下位ブロックに分割する段階と、前記下位ブロックを画面内の予測符号化または画面間の予測符号化のうち１つ以上を選択的に使用して符号化する段階とを含む。

【0013】

ビデオ符号化での分割ブロック符号化方法は、前記符号化単位ブロック及び下位ブロックを通じた残差信号に対してブロックサイズによって可変変換カーネル（Variable block-size transform kernel）を選択的に適用して変換する段階と、変換された残差信号を量子化する段階と、その結果をエントロピー符号化する段階とをさらに含むことができる。

【0014】

前記下位ブロックを通じた残差信号に対してブロックサイズと符号化タイプによって１つ以上のブロック境界緩和フィルタ（de-blocking filter）を選択的に適用して符号化を行うことができる。

【0015】

前記符号化単位ブロックのサイズは、Ｎ＊Ｎサイズの正方形にし、前記符号化単位ブロックを分割し、任意サイズの１つ以上の正方形（squared）または非正方形（non-squared）の下位ブロックに分割することができる。

【0016】

前記正方形または非正方形の下位ブロックに対して画面内の予測符号化を使用して符号化する場合、１つ以上の画面内の予測符号化方法のうち１つの画面内の予測符号化方法を選択して符号化を行うことができる。

【0017】

前記正方形または非正方形の下位ブロックに対して画面内の予測符号化または画面間の予測符号化を行う場合、ブロックサイズによって選択された量子化した変換係数をスキャンしてエントロピー符号化を行うことができる。
前記正方形または非正方形の下位ブロックに対して画面内の予測符号化または画面間の予測符号化を行う場合、量子化された変換係数を当該ブロックサイズによって１つ以上のスキャン方法を選択的に適用してエントロピー符号化を行うことができる。

【0018】

前記正方形の下位ブロックに対して正方形変換カーネルを適用して変換することができる。

【0019】

前記正方形の下位ブロックに対して正方形変換カーネルを適用して変換する時、前記正方形の下位ブロックの横画素数と縦画素数とを比較し、小さいかまたは同一の画素数に対応する正方形変換カーネルを適用することができる。

【0020】

前記非正方形の下位ブロックに対して非正方形変換カーネルを適用して変換することができる。

【0021】

前記非正方形の下位ブロックに対して非正方形変換カーネルを適用して変換する時、前記非正方形の下位ブロックの横画素数と縦画素数とを比較し、小さいかまたは同一の画素数に対応する非正方形変換カーネルを適用することができる。
前記非正方形の下位ブロックに対して非正方形変換カーネルを適用して変換する時、前記非正方形の下位ブロックの横画素数と縦画素数とを比較し、大きい画素数のサイズに対応する正方形カーネルと、前記非正方形の下位ブロックの横画素数を縦画素数とを比較し、小さい画素数のサイズに対応する正方形変換カーネルを入力信号に対して順次に適用して非正方形変換を行うことができる。

【0022】

また、本発明の他の態様によるビデオ符号化での分割ブロック符号化方法は、（ａ）符号化しようとする画面を入力する段階と、（ｂ）入力された画面を符号化単位ブロックに分割する段階と、（ｃ）入力された各符号化単位ブロックを下位ブロックに分割する段階と、（ｄ）前記符号化単位ブロック及びその下位ブロックに対して画面内の予測符号化及び画面間の予測符号化を行い、それらのうち１つのブロックタイプを選定する段階と、（ｅ）前記ブロックタイプの予測結果を利用して符号化単位ブロックを含んでその下位ブロックに対して画面内の予測符号化及び／または画面間の予測符号化を行う段階と、を含むことができる。

【0023】

また、本発明のさらに他の態様によるビデオ符号化での分割ブロック符号化方法は、（ａ’）符号化しようとする画面を入力する段階と、（ｂ’）入力された画面を符号化単位ブロックに分割する段階と、（ｃ’）現在の入力画面が画面間の予測符号化を行うか否かを判別する段階と、（ｄ’）現在の入力画面が画面間の予測である場合には、入力画面で符号化される符号化単位ブロックの下位ブロックの順序を初期化する段階と、（ｅ’）符号化しようとする符号化単位ブロックのブロックモードを選択する段階と、（ｆ’）選択されたブロックモードに対して画面内及び画面間の予測符号化を共に行うか否かを判定する段階と、（ｇ’）選択されたブロックモードに対して画面内及び画面間の予測符号化を共に行う場合、選択されたブロックモードに対して画面内及び画面間の予測符号化を行う段階と、（ｈ’）前記（ｇ’）段階での予測符号化結果及びレート歪コスト値を保存する段階と、（ｉ’）選択されたブロックモードが最終モードなら、各ブロックモードに対するレート歪コストを比較し、符号化単位ブロックに対して最終ブロックモードを選択して符号化を決定する段階と、（ｊ’）現在符号化単位ブロックが現在入力画面で最終ブロックであるか否かを判別する段階と、（ｋ’）現在符号化単位ブロックが現在入力画面で最終ブロックなら、現在入力画面が最終画面であるか否かを判別し、現在入力画面が最終画面となるまで（ａ’）～（ｊ’）段階を繰り返し行う段階と、を含む。

【0024】

前記（ｃ’）段階後に、現在の入力画面が画面間の予測ではない場合、画面内の予測符号化を行う段階をさらに含むことができる。

【0025】

前記（ｆ’）段階後に、選択されたブロックモードに対して画面内及び画面間の予測符号化を共に行わない場合、選択されたブロックモードに対して画面間の予測符号化を行う段階をさらに含むことができる。

【0026】

前記（ｇ’）段階後に、選択されたブロックモードに対して画面間の予測符号化を行う場合、動き予測と補償実行を通じて残差信号を求め、この残差信号を利用して選択されたブロックを変換し、これを量子化した後、その結果をエントロピー符号化する段階をさらに含むことができる。

【0027】

前記（ｇ’）段階後に、選択されたブロックモードに対して画面内の予測符号化を行う場合、画面内の予測符号化を通じて残差信号を求め、この残差信号を利用して選択されたブロックを変換し、これを量子化した後、その結果をエントロピー符号化する段階をさらに含むことができる。

【0028】

前記残差信号を利用して選択されたブロックを変換する時、ブロックのサイズによって選択的に変換カーネルを適用して変換を行う段階をさらに含むことができる。

【0029】

また、本発明のさらに他の実施例による分割ブロック符号化方法によるビデオ復号方法は、（Ａ）復号化しようとするビートストリームを入力する段階と、（Ｂ）入力されたビットストリームが画面間の予測であるか否かを判断する段階と、（Ｃ）入力ビットストリームが画面内の予測符号化である場合、画面内の予測符号化を行う段階と、（Ｄ）入力ビットストリームが画面間の予測である場合、スライスを解釈する段階、（Ｅ）スライス内の単位符号化ブロックを解釈する段階、（Ｆ）単位符号化サブ分割ブロックの符号化モードを復号化する段階と、（Ｇ）サブ分割符号化ブロックが画面間の予測符号化ブロックであるか否かを解釈する段階と、（Ｈ）前記サブ分割符号化ブロックが画面間の予測である場合、画面間の予測復号化を行う段階と、（Ｉ）前記サブ分割符号化ブロックが画面内の予測である場合、画面内の予測復号化を行う段階と、（Ｊ）前記サブ分割ブロック復号化結果を単位復号化ブロック画素で構成する段階と、（Ｋ）前記復号化単位ブロック結果をスライス画素で構成する段階と、（Ｋ）前記スライス画素構成結果を画面で構成する段階とを含むことができる分割ブロック画面内の予測及び／または画面間の予測復号化を行うことができる。

【0030】

前記（Ｃ）段階で、単位符号化ブロックが１６ｘ１６マクロブロックサイズ以上のスーパーマクロブロックである場合、当該サイズに対応するサブ分割ブロック符号化モードを復号化し、画面内の予測復号化を行う段階をさらに含むことができる。

【0031】

前記（Ｃ）段階で、サブ分割ブロックのサイズに対応する境界緩和フィルタ（de-blocking filter）を適用して画面内の予測復号化を行う段階をさらに含むことができる。

【0032】

前記（Ｃ）段階で、サブ分割ブロックのサイズによって境界緩和フィルタ（de-blocking filter）を適用して画面内の予測復号化を行う段階をさらに含むことができる。

【0033】

前記（Ｆ）段階で、単位符号化ブロックが１６ｘ１６マクロブロックサイズ以上のスーパーマクロブロックである場合、当該サイズに対応するサブ分割ブロック符号化モードを復号化する段階をさらに含むことができる。

【0034】

前記（Ｈ）段階で、サブ分割ブロックのサイズに対応する正方形または非正方形変換をカーネルを適用して符号化された量子化変換係数を復号化し、画面内の予測復号化を行う段階をさらに含むことができる。

【0035】

前記（Ｈ）段階で、サブ分割ブロックのサイズ及び周辺復号化ブロックの復号化モード条件によって逆量子化方法を適用して符号化された量子化変換係数を復号化し、画面内の予測復号化を行う段階をさらに含むことができる。

【0036】

前記（Ｈ）段階で、サブ分割ブロックのサイズに対応する境界緩和フィルタ（de-blocking filter）を適用して画面間の予測復号化を行う段階をさらに含むことができる。

【0037】

また、入力されるビデオビットストリームが単位符号化ブロックで符号化されていて、前記単位符号化ブロックの下位ブロックが画面内の予測符号化と画面間の予測符号化のうち１つ以上を選択的に使用して符号化されたビデオビットストリームを復号化する段階を含むことを特徴とするビデオ復号化での分割ブロック復号化方法を提供する。
また、（ａ）復号化しようとする画面ビットストリームを入力する段階と、（ｂ）入力された画面ビットストリームをスライス単位で解釈する段階と、（ｃ）前記スライスの復号化単位ブロックを解釈する段階と、（ｄ）前記単位復号化ブロックのサブ分割ブロック符号化モードを復号化する段階と、（ｅ）前記分割サブブロックタイプ結果を利用して復号化単位ブロックを含んでその下位ブロックに対して画面内の予測復号化及び／または画面間の予測復号化を行う段階と、を含むことを特徴とするビデオ復号化での分割ブロック復号化方法を提供する。
本発明の他の実施例において、前記方法をコンピュータで実行させることができるプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

【発明の効果】

【0038】

本発明は、ビデオ符号化で符号化単位ブロック画素値を符号化するに際して、分割されたサブブロックまたはその下位分割ブロックに対して画面内の予測符号化と画面間の予測符号化を１つ以上適用して符号化することによって、分割されたブロックが画面内または画面間の予測符号化モードで符号化されることができるようにして、符号化単位ブロックまたはそのサブ分割ブロックが画面内及び画面間の予測が共に使用され、予測符号化されるようにして、符号化モード選択の柔軟性が増大し、符号化効率が増加する効果がある。

【0039】

また、本発明では、分割ブロック基盤の予測符号化において、各分割ブロックが下部の細分割ブロックに対して画面内の予測及び画面間の予測を共に適用することができるようにし、分割されたブロックのサイズによって選択的に可変変換カーネル（variable block-size transform kernel）サイズを適用して符号化を行うことによって、符号化効率を大きく向上させることができる効果がある。

【図面の簡単な説明】

【0040】

【図1】従来のＨ．２６４／ＡＶＣ符号化器において符号化のための１６×１６マクロブロック単位ブロックの分割ブロックタイプを示す図である。

【図2】本発明の一実施例による符号化器において画面内または画面間の予測符号化のためのスーパーマクロブロック単位ブロック及び分割ブロックタイプを例示した図である。

【図3】本発明の一実施例によるビデオ符号化での分割ブロック符号化方法を示す流れ図である。

【図4】本発明の一実施例によるビデオの分割ブロック方法で符号化されたビットストリームを復号化する方法を示す流れ図である。

【発明を実施するための形態】

【0041】

以下、添付の図面を参照して本発明の実施例を詳しく説明する。まず、各図面の構成要素に参照符号を付加するにあたって、同一の構成要素に限っては、たとえ他の図面上に表示されても、できるだけ同一の符号を有するようにしていることに留意しなければならない。なお、本発明を説明するにあたって、関連された公知機能あるいは構成に対する具体的な説明が本発明の要旨を不明瞭にすることができると判断される場合、その詳細な説明を省略する。

【0042】

図２は、本発明の一実施例による符号化器において画面内または画面間の予測符号化のためのスーパーマクロブロック単位ブロック及び分割ブロックタイプを例示した図である。図２は、本発明の一実施例で適用された１６×１６ピクセル単位マクロブロックサイズ以上のスーパーマクロブロック及びブロック分割タイプの一例を示す図である。

【0043】

図２から分かるように、スーパーマクロブロックをサブブロックに分割し、各分割されたブロックに画面内または画面間の予測符号化過程が行われ、スーパーマクロブロックは、最終符号化モードが画面内または画面間の予測符号化モードが混用されることができるように符号化が行われるようにして、映像の符号化効率を非常に効果的に増加させることができる。実際、符号化時に、数式１のように、レート歪コストを最小化するブロックモード（Ｍｏｄｅ）を選択して符号化することができる。

【0044】

【数1】

【0045】

ここで、Ｊ_ＭＯＤＥは、ブロック符号化モードに対するレート歪関数であり、ｓは、符号化しようとする元ブロックのピクセル入力であり、ｒは、参照映像ピクセル入力であり、ＱＰは、量子化パラメータであり、λは、モードに依存的なラグランジュ乗数であり、ＭＯＤＥは、分割ブロックモードタイプを示す。

【0046】

また、サイズが増加したスーパーマクロブロックの残差信号に対して変換符号化（transform coding）を適用する場合、既存の４ｘ４と８ｘ８より大きい１６ｘ１６またはそれ以上のサイズの正方形変換カーネル、または非正方形変換のための１６ｘ８、または８ｘ１６、またはそれ以上のサイズの非正方形変換カーネルを分割ブロックのサイズによって選択的に適用して符号化効率を増加させることができる。

【0047】

スーパーマクロブロックに１６ｘ１６またはそれ以上のサイズの正方形変換カーネルを適用する場合、数式２のように計算することができる。

【0048】

【数2】

【0049】

ここで、Ｘは、ＮｘＮ入力映像信号マトリックスを示し、Ａは、ＮｘＮ正方形変換カーネルマトリックスを示し、Ｙは、変換係数マトリックスを示す。もし分割されたサブブロックが非正方形ブロックである場合、数式３のように変換を行う。

【0050】

【数3】

【0051】

ここで、入力映像信号ＸがＭｘ（Ｍ／２）マトリックスである場合、Ａ_１は、ＭｘＭ正方形変換カーネルマトリックスを示し、Ａ_２は、（Ｍ／２）ｘ（Ｍ／２）正方形変換カーネルマトリックスを示し、Ｙは、変換係数マトリックスを示す。

【0052】

本発明の一実施例において、正方形または非正方形カーネル変換を適用する場合、分割ブロックの横または縦画素数の両者のうち小さい画素数と比較し、サイズが同一または小さいカーネルを適用して変換符号化を行うことが好ましい。

【0053】

図３は、本発明の一実施例によるビデオ符号化での分割ブロック符号化方法を示す流れ図である。

【0054】

図３を参照して説明すれば、まず、符号化のための画面ｉの順序を初期化（ｉ＝０）する（Ｓ１０１）。そして、符号化のために、順序に応じて画面ｉを入力する（Ｓ１０２）。

【0055】

次に、入力された画面ｉを符号化単位ブロックに分割する（Ｓ１０３）。本発明の一実施例において、符号化単位ブロックは、マクロブロックまたはスーパーマクロブロックになることができる。

【0056】

次に、現在の画面ｉが画面間の予測符号化を行うか否かを確認する（Ｓ１０４）。現在の画面ｉが画面間の予測ではない場合、画面内の予測符号化を行い（Ｓ１０５）、そうではなく、現在の画面ｉが画面間の予測である場合には、１つの画面ｉ内で符号化される符号化単位ブロックｊの順序を初期化（ｊ＝０）する（Ｓ１０６）。

【0057】

その後、符号化しようとする単位ブロックｊに対して下位ブロックに分割する（Ｓ１０７）。そして下位ブロックモードｋの順序を初期化（ｋ＝０）する（Ｓ１０８）。下位ブロックモードｋのうち１つのブロックモードを選択する（Ｓ１０９）。

【0058】

符号化単位ブロックで符号化される下位ブロックモードについて画面内及び画面間の予測実行可否を確認する（Ｓ１１０）。画面間及び画面内の予測を行う場合、画面内及び画面間の符号化を行い（Ｓ１１１）、そうではない場合には、画面間の予測符号化だけを行う（Ｓ１１２）。そして、符号化実行結果である予測符号化結果及びレート歪コスト値を保存する（Ｓ１１３）。

【0059】

下位ブロックモードｋが最終ブロックモードであるか否かを確認する（Ｓ１１４）。下位ブロックモードｋが最終ブロックモードではなければ、次のブロックモードに対してＳ１０９～Ｓ１１３段階を繰り返す。一方、下位ブロックモードｋが最終ブロックモードなら、最適の分割ブロックモードを決定し、当該符号化結果を最終選択する（Ｓ１１５）。

【0060】

そして、現在の符号化単位ブロックｊが現在の画面ｉで最終ブロックであるか否かを判別する（Ｓ１１６）。現在の符号化単位ブロックｊが最終ブロックではなければ、次の符号化単位ブロックを入力し、Ｓ１０７～Ｓ１１５段階を繰り返す。

【0061】

Ｓ１１６段階で、符号化単位ブロックｊが現在の画面ｉで最終ブロックなら、現在の画面ｉが最終画面であるか否かを確認する（Ｓ１１７）。現在の画面ｉが最終画面なら、アルゴリズムを終了し、そうではなければ、Ｓ１０２段階に戻って、次の画面を入力し、Ｓ１０２～Ｓ１１６段階を繰り返す。

【0062】

図４は、本発明の本発明の一実施例によるビデオの分割ブロック方法で符号化されたビットストリームを復号化する方法を示す流れ図である。

【0063】

図４を参照して説明すれば、まず、復号化のための画面ｉの順序を初期化（ｉ＝０）する（Ｓ２０１）。そして、復号化のために、順序に応じて画面符号化ビットストリームｉを入力する（Ｓ２０２）。

【0064】

次に、入力された画面ビットストリームｉが画面間の予測符号化であるか否かを確認する（Ｓ２０３）。現在の画面ビットストリームｉが画面間の予測符号化ではない場合、画面内の予測復号化を行い（Ｓ２０７）、そうではなく、現在の入力画面ビットストリームｉが画面間の予測符号化である場合には、１つの画面ｉ内で復号化されるスライスｊの順序を初期化（ｊ＝０）する（Ｓ２０４）。

【0065】

次に、入力画面ビットストリームに対してスライス情報を解釈する（Ｓ２０５）。１つの画面ｉ内で各スライス内で復号化される単位復号化ブロックｊの順序を初期化（ｋ＝０）する（Ｓ２０６）。本発明の一実施例において、復号化単位ブロックは、マクロブロックまたはスーパーマクロブロックになることができる。

【0066】

次に、各単位符号化ブロック情報を解釈した後（Ｓ２０８）、単位符号化ブロック内の分割サブブロックの順序を初期化（ｍ＝０）する（Ｓ２０９）。その後、単位符号化ブロック内の分割サブブロックの符号化モードを復号化する（Ｓ２１０）。分割サブブロックが画面間の予測符号化ブロックであるか否かを確認した後（Ｓ２１１）、画面間の予測符号化ブロックなら、画面間の予測復号化を行い（Ｓ２１３）、画面内の予測符号化ブロックなら、画面内の予測符号化を行う（Ｓ２１２）。

【0067】

その後、サブ分割ブロック復号化結果を利用してサブ分割ブロック画素値を復元する（Ｓ２１４）。その後、現在サブ分割ブロックｍが最終ブロックであるか否かを確認した後（Ｓ２１５）、最終サブ分割ブロックなら、単位復号化ブロック画素値を構成し（Ｓ２１６）、そうではなければ、次の分割サブブロックに対する復号化のために、Ｓ２１０段階に戻って、Ｓ２１０段階～Ｓ２１４段階を行う。

【0068】

その後、現在の単位符号化ブロックｋが最終単位符号化ブロックであるか否かを確認した後（Ｓ２１７）、最終単位符号化ブロックなら、スライス画素を構成し（Ｓ２１８）、そうではなければ、Ｓ２０８段階に戻って、Ｓ２０８段階～Ｓ２１６段階を行う。その後、現在のスライスｊが最終スライスであるか否かを確認した後（Ｓ２１９）、最終スライスなら画面画素を構成し（Ｓ２２０）、そうではなければ、Ｓ２０５～Ｓ２１８段階を行う。その後、現在の画面ｉが最終画面であるか否かを判定した後（Ｓ２２１）、最終画面なら終了し、そうではなければ、Ｓ２０２段階に戻って、次の画面ビットストリームを入力し、Ｓ２０２段階～Ｓ２２０段階を行う。

【0069】

本発明の実施例によるビデオ符号化において入力映像を符号化単位ブロックに分割し、符号化単位ブロックをさらに下位ブロックに分割した後、各サブ分割ブロックを符号化するに際して、画面内の予測及び画面間の予測のうち１つ以上を選択的に使用して符号化を行う。

【0070】

かくして、符号化単位ブロックの符号化モードが画面間の予測及び画面内の予測サブブロックモードを混用して符号化することができ、同時に、分割ブロックによって可変カーネル変換を選択的に適用することによって、符号化効率を向上させることができる。

【0071】

また、本発明の実施例によるビデオ復号化は、符号化過程の逆過程を行うことによって、向上した符号化効率を有する圧縮ビットストリームの復号化を行うことができる。

【0072】

本発明の他の実施例として、以上で説明したビデオ符号化での分割ブロック符号化方法をコンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードとして具現されることが可能である。コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み出されることができるデータが保存されるすべての種類の記録装置を含む。

【0073】

例えば、コンピュータが読み取り可能な記録媒体としては、ＲＯＭ（Read Only Memory）、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、ハードディスク、フロッピーディスク、移動式保存装置、非揮発性メモリ（Flash Memory）、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものをも含まれる。

【0074】

また、コンピュータで読み取り可能な記録媒体は、コンピュータ通信網で連結されたコンピュータシステムに分散され、分散方式で読み取り可能なコードとして保存されて実行されることができる。

【0075】

前述のような本発明によるビデオ符号化において画面内の予測符号化方法及び／または画面間の予測符号化方法の好ましい実施例に関する説明とその逆過程である復号化方法について説明したが、これらの実施例は、例示的なものであって、限定的なものではない。本発明の属する技術分野における通常の知識を有する者なら本発明の思想と添付の特許請求の範囲に提示された権利範囲を逸脱しない範囲内で多様な変化と修正を加えることができることを理解することができる。

【0076】

配列目録 Ｆｒｅｅ Ｔｅｘｔ
符号化、復号化、画面間の予測、画面内の予測、変換カーネル、正方形変換カーネル、非正方形変換カーネル、量子化、ＭＰＥＧ、レート歪コスト、 Ｈ．２６４／ＭＰＥＧ－４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ

【図1】

【図2】

【図3】

【図4】