知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5775950
(24)【登録日】2015年7月10日
(45)【発行日】2015年9月9日
(54)【発明の名称】映像復号化方法
(51)【国際特許分類】
H04N 19/50 20140101AFI20150820BHJP
【ＦＩ】
H04N19/50
【請求項の数】2
【全頁数】19
(21)【出願番号】特願2014-93165(P2014-93165)
(22)【出願日】2014年4月28日
(62)【分割の表示】特願2012-277248(P2012-277248)の分割
【原出願日】2004年7月20日
(65)【公開番号】特開2014-195262(P2014-195262A)
(43)【公開日】2014年10月9日
【審査請求日】2014年5月27日
(31)【優先権主張番号】2003-049129
(32)【優先日】2003年7月18日
(33)【優先権主張国】KR
(31)【優先権主張番号】2004-054472
(32)【優先日】2004年7月13日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】金 鉉 文
(72)【発明者】
【氏名】趙 大 星
(72)【発明者】
【氏名】金 祐 ▲堤▼
【審査官】
山▲崎▼ 雄介
(56)【参考文献】
【文献】
特開平１０−１３６３８５（ＪＰ，Ａ）
【文献】
特開平０３−２４７０９１（ＪＰ，Ａ）
【文献】
特開平１０−２４８０７２（ＪＰ，Ａ）
【文献】
特開平０９−１６３３７６（ＪＰ，Ａ）
【文献】
Woo-Shik Kim, et al.，Proposal for the unsolved issues in Professional Extensions，Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) PExt Ad Hoc Group Meeting，Trondheim，２００３年 ７月２４日，[JVT-I012r2.doc]，pp.1-11
【文献】
Woo-Shik Kim, et al.，Proposal for the unsolved issues in Professional Extensions II，Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) PExt Ad Hoc Group Meeting，Trondheim，２００３年 ７月２４日，[JVC-I012r3.doc]，pp.1-8
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １９／００−１９／９８
(57)【特許請求の範囲】
【請求項1】
加重予測が所定ブロックに適用される場合、前記ブロックの予測された画素値に乗算される少なくとも一つの第１値と前記ブロックの予測された画素値と前記第１値の乗算結果に加算される少なくとも一つの第２値を含む、前記加重予測のための変数を獲得する段階と、
前記獲得された変数に基づき前記ブロックの予測された画素値の加重予測値を獲得する段階とを含み、
前記第２値は所定値に２（N-M）を乗算して得られ、ここで、Ｎは前記画素のビット深度を表し、Ｍは所定数を表すことを特徴とする映像復号化方法。
前記獲得された変数に基づき前記ブロックの予測された画素値の加重予測値を獲得する段階とを含み、
前記第２値は所定値に２（N-M）を乗算して得られ、ここで、Ｎは前記画素のビット深度を表し、Ｍは所定数を表すことを特徴とする映像復号化方法。
【請求項2】
前記Ｍは８であることを特徴とする請求項１に記載の映像復号化方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は映像処理に係り、特に映像符号化および復号化装置、方法、並びに、かかる方法を具現するプログラムを記録したコンピュータ可読記録媒体に関する。
【背景技術】
【0002】
従来の映像符号化および復号化装置は、時間上連続する一連の映像を符号化する時に以前映像と現在映像間に重複される情報を除去するために、時間予測符号化および復号化方法を使用する。ここで、時間予測符号化および復号化方法とは、以前映像から現在映像を減算し、減算された結果を符号化および復号化する方法である。最近標準化が進行中であるISO／IEC MPEGおよびITU−T VCEGのJoint Video Team（ＪＶＴ）のH.264/MPEG-4pt.10 AVC標準化技術（非特許文献１参照）では色々な多様な従来の時間予測符号化および復号化方法を提供する。そのうち一つの方法として、加重予測符号化方法がある。この方法は以前映像の画素値に一定の値を乗算するか、加算した結果を利用して現在映像を予測符号化する方法である。特に、映像が順次暗くなるか、明るくなる部分または２種の場面が重なって変化される部分でこの方法は優れた圧縮効率を示す。図１Ａおよび図１Ｂは場面転換の例示的な態様を示す図面であり、図１Ａは相異なる２場面が重なって場面転換される態様を示し、図１Ｂはフェードアウトおよびフェードインを通じて場面転換される態様を示す。
図１Ａおよび図１Ｂに図示されたように場面転換がなされる時、加重予測符号化方法を使用すれば圧縮効率を大きく高めうる。すなわち、図１Ａの場合、前の場面と後の場面間に位置する中間映像は前の場面と後の場面とに適切な加重値を適用して予測符号化できる。同様に、図１Ｂの場合、前の場面に適切な加重値を使用してフェードアウト効果を奏することができ、後の場面に適切な加重値を使用してフェードイン効果を奏することができる。
しかし、このような従来の方法は映像の画素を表現するビット数を８ビットに固定して使用するために、順次に高画質映像に対する要求が高まる状況で実質的に適用し難い問題点を持つ。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】”Text of ISO/IEC FDIS 14496-10：Information Technology-Coding of audio-visual objects-Part 10：Advanced Video Coding”，ISO/IEC JTC 1/SC 29/WG 11，N5555，March，2003
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする技術的課題は、映像の画素を表現するビット数に適応して調整した加重値を利用して映像を符号化および復号化する映像符号化および復号化装置を提供するところにある。本発明が解決しようとする他の技術的課題は、映像の画素を表現するビット数に適応して調整した加重値を利用して映像を符号化および復号化する映像符号化および復号化方法並びにコンピュータ可読記録媒体を提供するところにある。
【課題を解決するための手段】
【0005】
前記課題を解決するための本発明による映像符号化および復号化装置は、現在映像の画素を表現するビット数に適応して少なくとも一つの加重値を調整し、以前映像に含まれたブロックのうち注目ブロックの画素値と類似した画素値を持つ少なくとも一つのブロックの画素値と前記少なくとも一つの調整された加重値とを演算して前記注目ブロックの画素値を予測し、前記予測された画素値を利用して前記注目ブロックの画素値を符号化する符号化部と、前記ビット数に適応して少なくとも一つの加重値を調整し、復元された以前映像に含まれたブロックのうち前記注目ブロックの画素値と類似した画素値を持つ前記少なくとも一つのブロックの画素値と前記少なくとも一つの調整された加重値とを演算して前記注目ブロックの予測された画素値を復元し、前記復元された画素値を利用して前記注目ブロックの画素値を復号化する復号化部と、を具備し、前記以前映像は前記現在映像より先にディスプレイされる映像であり、前記注目ブロックは前記現在映像で処理の対象となるブロックであることが望ましい。前記他の課題を解決するための本発明による映像符号化および復号化方法は、現在映像の画素を表現するビット数に適応して少なくとも一つの加重値を調整し、以前映像に含まれたブロックのうち注目ブロックの画素値と類似した画素値を持つ少なくとも一つのブロックの画素値と前記少なくとも一つの調整された加重値とを演算して前記注目ブロックの画素値を予測し、前記予測された画素値を利用して前記注目ブロックの画素値を符号化する段階と、前記ビット数に適応して少なくとも一つの加重値を調整し、復元された以前映像に含まれたブロックのうち前記注目ブロックの画素値と類似した画素値を持つ前記少なくとも一つのブロックの画素値と前記少なくとも一つの調整された加重値とを演算して前記注目ブロックの予測された画素値を復元し、前記復元された画素値を利用して前記注目ブロックの画素値を復号化する段階とを具備し、前記以前映像は前記現在映像より先にディスプレイされる映像であり、前記注目ブロックは前記現在映像で処理の対象となるブロックであることが望ましい。
【発明の効果】
【0006】
本発明による映像符号化および復号化装置および方法は、映像の画素を表現するビット数の変動に適応して調整した加重値を利用して映像を符号化および復号化できるため、すなわち、従来の加重予測符号化および復号化装置で使われる加重値Ｗ、Ｗ1、Ｗ2、Ｏ1、Ｏ2に一定値１または２N-Mを演算して調整した加重値を利用して加重予測を行うために、従来の装置のコーデックをそのまま利用しつつも効率的に符号化および復号化を行える。以下、本発明による映像符号化および復号化装置の構成および動作とその映像符号化および復号化方法を添付した図面を参照して次のように説明する。
【図面の簡単な説明】
【0007】
【図1A】場面転換の例示的な態様を示す図面である。
【図1B】場面転換の例示的な態様を示す図面である。
【図2】本発明による映像符号化および復号化装置を説明するための概略的なブロック図である。
【図3】本発明による映像符号化および復号化方法を説明するためのフローチャートである。
【図4A】映像の分割を例示的に示す図面である。
【図4B】映像の分割を例示的に示す図面である。
【発明を実施するための形態】
【0008】
図２は、本発明による映像符号化および復号化装置を説明するための概略的なブロック図であり、符号化部１０および復号化部１２で構成される。
【0009】
図３は、本発明による映像符号化および復号化方法を説明するためのフローチャートであり、ビット数に適応して調整された加重値を利用して画素値を符号化し、かつ復号化する段階（第２０および第２２段階）よりなる。
【0010】
図２に図示された符号化部１０は映像の画素を表現するビット数に適応して少なくとも一つの加重値を調整し、以前映像に含まれたブロック（以下、以前ブロックという）のうち注目ブロックの画素値と類似した画素値を持つブロック（以下、以前類似ブロックという）の画素値を見つけ、見つけられた画素値に少なくとも一つの調整された加重値を演算して注目ブロックの画素値を予測し、演算された結果に該当する予測された画素値を利用して注目ブロックの画素値を符号化する（第２０段階）。ここで、以前類似ブロックは複数個であり、以前映像とは現在映像より先にディスプレイされる映像を意味し、注目ブロックとは、入力端子ＩＮ１を通じて入力される現在映像で処理の対象となるブロック、すなわち、現在符号化しようとするブロックを意味する。また、画素値とは、画素を表現する赤（Ｒ：Ｒｅｄ）、緑（Ｇ：Ｇｒｅｅｎ）および青（Ｂ：Ｂｌｕｅ）を意味することもあり、輝度Ｙおよび色差信号ＣｂＣｒを意味することもある。
【0011】
この時、注目ブロックには多数個の画素が存在しうる。この場合、第２０段階で、注目ブロックに含まれた各画素の画素値と類似した画素値を持つ画素が以前類似ブロックで見つけられる。
【0013】
図４Ａに示すように、縦横それぞれ１６画素の大きさを持つマクロブロックは、１６×８、８×１６および８×８の多様な大きさに分割され、動きベクトルが構成される。また、図４Ｂに示すように、縦横それぞれ８画素の大きさを持つブロックは、さらに、８×４、４×８および４×４の大きさに細かく分割される。
【0014】
このように、図２に図示された本発明による映像の符号化および復号化装置は現在および以前映像それぞれを、たとえば、図４Ａまたは図４Ｂに図示されたような一定の大きさのブロックに分割し、分割されたブロック単位で処理する。
【0015】
図５は、図２に図示された符号化部１０の本発明による一実施例１０Ａのブロック図であり、符号化加重予測部４０、符号化空間予測部４２、符号化時間予測部４４、符号化選択部４６、減算部４８、変換および量子化部５０、エントロピー符号化部５２、逆量子化および逆変換部５４、符号化加算部５６および符号化非ブロック化部５８で構成される。
【0016】
図６は、図３に図示された第２０段階に関する本発明による実施例２０Ａを説明するためのフローチャートであり、モード別に画素値を異に予測する段階（第７０〜第７８段階）、予測符号化された値を求める段階（第８０段階）および変換、量子化およびエントロピー符号化を行う段階（第８２および第８４段階）よりなる。
【0017】
図５に図示された符号化選択部４６は符号化加重予測部４０、符号化空間予測部４２および符号化時間予測部４４で予測された画素値のうち一つを予測値として選択し、選択された予測値を減算部４８および符号化加算部５６にそれぞれ出力する（第７０および第７２段階）。
【0018】
例えば、符号化選択部４６は現在モードがイントラモードであるかどうかを判断する（第７０段階）。もし、現在モードがイントラモードでないと判断されれば、現在モードがインターモードであるか、それとも加重予測モードであるかを判断する（第７２段階）。
【0019】
もし、現在モードがイントラモードであると判断されれば、符号化選択部４６は符号化空間予測部４２の出力を選択する。ここで、符号化空間予測部４２は入力端子ＩＮ２を通じて入力した注目ブロックと符号化加算部５６から入力した隣接ブロックとを利用して注目ブロックの画素値を予測し、予測された画素値を符号化選択部４６に出力する（第７４段階）。ここで、隣接ブロックとは、現在映像に含まれたブロックのうち注目ブロックと空間的に隣接したブロックを意味する。
【0020】
図７Ａおよび図７Ｂは、図５に図示された符号化空間予測部４２の理解を助けるための図面であり、図７Ａは注目ブロック１０８および隣接ブロック１００〜１０６を表し、図７Ｂは空間予測方向を説明するための図面である。
【0021】
図７Ａに図示された注目ブロック１０８は画素Ｐa〜Ｐqよりなっており、隣接ブロック１００は注目ブロック１０８と隣接した画素Ｐoを少なくとも含み、隣接ブロック１０２は注目ブロック１０８と隣接した画素Ｐ1ないしＰ4を少なくとも含み、隣接ブロック１０４は注目ブロック１０８と隣接した画素Ｐ5ないしＰ8を少なくとも含み、隣接ブロック１０６は注目ブロック１０８と隣接した画素Ｐ9ないしＰ12を少なくとも含む。
【0022】
この時、注目ブロック１０８と空間上に隣接した画素を投影して注目ブロックに含まれた画素それぞれの画素値を予測するための予測方向としては、図７Ｂに図示されたように０〜８までの９種がある。ここで、２は方向性がないので図７Ｂに図示されていない。例えば、０方向の場合、画素Ｐ1ないしＰ4を垂直方向に投影して注目ブロック１０８に含まれた画素それぞれの画素値を予測する。すなわち、画素Ｐa、Ｐe、Ｐi、Ｐmそれぞれの予測された画素値は画素Ｐ1の画素値となり、画素Ｐb、Ｐf、Ｐj、Ｐnそれぞれの予測された画素値は画素Ｐ2の画素値となり、画素Ｐc、Ｐg、Ｐk、Ｐoそれぞれの予測された画素値は画素Ｐ3の画素値となり、画素Ｐd、Ｐh、Ｐl、Ｐqそれぞれの予測された画素値は画素Ｐ4の画素値となる。他の方向の場合にも同様に投影して注目ブロック１０８に含まれた画素それぞれの画素値を予測する。この時、符号化空間予測部４２は注目ブロックの画素値を予測する時に使用した各種付加情報、例えば、投影方向、すなわち、予測方向をエントロピー符号化部５２に出力する。
【0023】
一方、現在モードがインターモードであると判断されれば、符号化選択部４６は符号化時間予測部４４の出力を選択する。ここで、符号化時間予測部４４は入力端子ＩＮ２を通じて入力した注目ブロックおよび入力端子ＩＮ３を通じて入力した以前ブロックを利用して注目ブロックの画素値を予測し、注目ブロックの予測された画素値を符号化選択部４６に出力する（第７６段階）。例えば、符号化時間予測部４４は注目ブロックと以前ブロックとを比較して動きを推定し、推定された動きを利用して注目ブロックに含まれた画素それぞれの画素値を予測する。この時、符号化時間予測部４４で画素値を予測する時に使用した各種情報、例えば、予測された動きなどが付加情報としてエントロピー符号化部５２に出力される。
【0024】
一方、現在モードが加重予測モードであると判断されれば、符号化選択部４６は符号化加重予測部４０の出力を選択する。ここで、符号化加重予測部４０はビット数に適応して加重値を調整し、調整された加重値、入力端子ＩＮ２およびＩＮ３を通じてそれぞれ入力した注目ブロックおよび以前ブロックを利用して注目ブロックの画素値を予測し、予測された画素値を符号化選択部４６に出力する（第７８段階）。このために、必要に応じて、ビット数が入力端子ＩＮ４を通じて入力される。
【0025】
ここで、図５に図示された符号化加重予測部４０および符号化時間予測部４４に入力端子ＩＮ３を通じて入力される以前ブロックは、符号化非ブロック化部５８で以前に復号化された以前映像に属するブロックである。この時、符号化加重予測部４０で画素値を予測する時に使用した各種情報、例えば、予測された動きなどが付加情報としてエントロピー符号化部５２に出力される。
【0026】
本発明によれば、符号化加重予測部４０は加重値の大きさをビット数に比例して調整できる。
【0027】
図８は、図５に図示された符号化加重予測部４０の本発明による実施例４０Ａのブロック図であり、第１および第２符号化加重値生成部１２０および１２２、符号化加重値選択部１２４、符号化加重値調整部１２６および符号化画素値予測部１２８で構成される。
【0028】
図９は、図６に図示された第７８段階に関する本発明の実施例７８Ａを説明するためのフローチャートであり、加重値を生成して調整する段階（第１４０〜第１４６段階）および調整された加重値と以前類似ブロックの画素値とを演算する段階（第１４８段階）よりなる。
【0029】
図８に図示された第１符号化加重値生成部１２０および第２符号化加重値生成部１２２は加重値を生成する（第１４０段階）。すなわち、第１符号化加重値生成部１２０は所定値に固定された加重値を生成し、生成された加重値を符号化加重値選択部１２４に出力する。この時、第２符号化加重値生成部１２２はユーザーにより定義される値に加重値を生成し、生成された加重値を符号化加重値選択部１２４に出力する。このために、第２符号化加重値生成部１２２はユーザーにより定義された加重値を入力端子ＩＮ５を通じて入力することもあり、ユーザーにより操作されて加重値を生成する操作部（図示せず）を内蔵することもある。また、第２符号化加重値生成部１２２で生成された加重値は付加情報として出力端子ＯＵＴ４を通じてエントロピー符号化部５２に出力される。
【0030】
本発明によれば、第２符号化加重値生成部１２２は以前類似ブロックの画素値と演算される加重値を以前類似ブロック別に異に生成できる。
【0031】
第１４０段階後に、符号化加重値選択部１２４は第１符号化加重値生成部１２０および第２符号化加重値生成部１２２で生成された加重値のうち一つを選択し、選択された加重値を符号化加重値調整部１２６に出力する。すなわち、符号化加重値選択部１２４は第１符号化加重値生成部１２０で生成された固定された加重値を使用するか、それとも第２符号化加重値生成部１２２で生成されたユーザーにより定義された加重値を使用するかを判断し、判断された結果に応答して固定された加重値または定義された加重値を選択して符号化加重値調整部１２６に出力する（第１４２段階）。この時、符号化加重値選択部１２４は判断された結果を出力端子ＯＵＴ５を通じて付加情報としてエントロピー符号化部５２に出力する。すなわち、固定された加重値を使用すると判断されれば、符号化加重値選択部１２４は固定された加重値を選択して符号化加重値調整部１２６に出力する。一方、ユーザーにより定義された加重値を使用すると判断されれば、符号化加重値選択部１２４はユーザーにより定義された加重値を選択して符号化加重値調整部１２６に出力する。
【0032】
図５に図示されたエントロピー符号化部５２から出力端子ＯＵＴ２を通じて出力されるエントロピー符号化された結果に含まれるエラー量および／またはビット数は、図８に図示された符号化加重値選択部１２４が固定された加重値を選択するか、それともユーザーにより定義された加重値を選択するかによって変化する。したがって、ユーザーは、符号化加重値選択部１２４でいかなる加重値が選択されるときに、エントロピー符号化された結果のエラー量および／またはビット数が減少するかを認識した後、エントロピー符号化された結果のエラー量および／またはビット数を減らす加重値を選択するように、ユーザーは符号化加重値選択部１２４を制御することができる。例えば、符号化加重値選択部１２４でいかなる加重値を選択するかを判断する基準として、いかなる加重値が符号化加重値選択部１２４で選択されるときにエントロピー符号化された結果のエラー量および／またはビット数が減少するかということ等を採用することができる。
【0033】
この時、符号化加重値調整部１２６は固定された加重値またはユーザーにより定義された加重値を入力端子ＩＮ６を通じて入力したビット数に適応して調整し、調整された加重値を符号化画素値予測部１２８に出力する（第１４４段階または第１４６段階）。
【0034】
本発明の実施例によれば、符号化加重値調整部１２６は画素値を示すビット数に適応して加重値を次の数式１のように調整できる。
【0035】
【数1】
一般的に映像はカメラのような映像獲得装置を通じて獲得された後、サンプリングを通じて適切な大きさ、すなわち、画素の数で表現される。この時、各画素の画素値を表現するために必要なビット数が大きいほど表現できる画素値の範囲が広くなって映像を高画質で表現できる。多くの分野でビット数は８であり、高画質の応用分野でビット数は１０または１２に増加する。これを考慮すれば、数式１の所定数Ｍは例えば、”８”、”１０”または”１２”になりうる。
第１４４段階または第１４６段階後に、符号化画素値予測部１２８は入力端子ＩＮ７を通じて入力された以前ブロックのうち少なくとも一つの以前類似ブロックの画素値と調整された加重値とを演算し、演算された結果を注目ブロックの画素値を予測した結果として決定して出力端子ＯＵＴ６を通じて符号化選択部４６に出力する（第１４８段階）。
本発明によれば、符号化画素値予測部１２８は以前類似ブロックの画素値と調整された加重値とを乗算し、乗算された結果に調整された他の加重値を加算して注目ブロックの画素値を予測できる。例えば、符号化画素値予測部１２８は次の数式２のように注目ブロックの画素値を予測できる。
【0036】
【数2】
ここで、Ｅ（ｘ，ｙ）は注目ブロックに属する画素のうち位置（ｘ，ｙ）に存在する画素の予測された画素値を表し、ｐi（ｘ，ｙ）は以前類似ブロックに属する画素のうち位置（ｘ，ｙ）に存在する画素の画素値を表し、Ｗi’は加重値Ｗiを調整した加重値を表し、Ｏi’は加重値Ｏiを調整した加重値を表す。すなわち、ＷiおよびＯiは符号化加重値選択部１２４で選択された加重値を表し、Ｗi’およびＯi’は符号化加重値調整部１２６で調整された加重値を表す。
【0037】
例えば、ｉ＝１およびｉ＝２である場合、符号化加重値調整部１２６は加重値Ｗ1’、Ｗ2’、Ｏ1’、Ｏ2’を次の数式３または数式４のように調整できる。
【0038】
【数3】
【0040】
【数5】
ここで、Ｈ．２６４の場合、Ｗ1＝Ｗ2＝３２となり、Ｏ1＝Ｏ2＝０となる。
【0041】
しかし、以前類似ブロックが相異なる以前映像にそれぞれ含まれる時、第１符号化加重値生成部１２０は相異なる以前映像それぞれがディスプレイされる時間と現在映像がディスプレイされる時間との時間差によって加重値を生成する。
【0042】
結局、図５に図示された符号化部１０Ａは符号化加重予測部４０、符号化空間予測部４２または符号化時間予測部４４を使用して注目ブロックの画素値を予測することによって符号化効率を高められる。
【0043】
一方、第７４、第７６または第７８段階後に、減算部４８は入力端子ＩＮ２を通じて入力された注目ブロックの画素値から符号化選択部４６から入力された予測値を次の数式６のように減算し、減算された結果を予測符号化された値として変換および量子化部５０に出力する（第８０段階）。
【0044】
【数6】
【0045】
第８０段階後に、変換および量子化部５０は減算部４８から入力された予測符号化された値を変換した後、変換された結果を量子化し、その量子化された結果をエントロピー符号化部５２および逆量子化および逆変換部５４にそれぞれ出力する（第８２段階）。ここで、変換とは、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）またはＨ．２６４の整数変換である。
【0046】
第８２段階後に、エントロピー符号化部５２は変換および量子化部５０で変換および量子化された結果をエントロピー符号化し、エントロピー符号化された結果をビット列の形態で出力端子ＯＵＴ２を通じて復号化部１２に出力する（第８４段階）。
【0047】
この時、エントロピー符号化部５２は符号化加重予測部４０、符号化空間予測部４２および符号化時間予測部４４から付加情報を入力し、入力した付加情報を符号化し、符号化された結果をビット列に含めて出力端子ＯＵＴ２を通じて復号化部１２に出力する。ここで、符号化加重予測部４０および符号化時間予測部４４でエントロピー符号化部５２に送った予測された動きなどの付加情報をエントロピー符号化して復号化部１２に送る理由は、後述するように、以前類似ブロックを復号化部１２で分かるようにするためである。
【0048】
一方、第８４段階が行われる間に以前映像を参照するために、符号化部１０Ａの逆量子化および逆変換部５４、符号化加算部５６および符号化非ブロック化部５８は次のような動作を行える。
【0049】
逆量子化および逆変換部５４は変換および量子化部５０から入力した量子化された結果を逆量子化し、逆量子化された結果を逆変換し、逆変換された結果を予測符号化された値を復元した結果として符号化加算部５６に出力する。この時、符号化加算部５６は逆量子化および逆変換部５４から入力した復元された予測符号化された値を符号化選択部４６から入力した予測値と加算し、加算された結果を符号化非ブロック化部５８および符号化空間予測部４２にそれぞれ出力する。
【0050】
符号化非ブロック化部５８は符号化加算部５６で加算された結果を非ブロック化し、非ブロック化された結果を注目ブロックの画素値を復号化した結果として出力端子ＯＵＴ３を通じて出力する。ここで、符号化非ブロック化部５８で行われる非ブロック化とは、図３に図示された符号化部１０Ａが映像をブロック単位で処理することによって引き起こされるブロック化現象を除去することを意味する。
【0051】
一方、第２０段階後に、復号化部１２はビット数に適応して少なくとも一つの加重値を調整し、復元された以前映像に含まれたブロックのうち注目ブロックの画素値と類似した画素値を持つ少なくとも一つのブロックの画素値と少なくとも一つの調整された加重値とを演算して注目ブロックの予測された画素値を復元し、復元された画素値を利用して注目ブロックの画素値を復号化する（第２２段階）。
【0052】
図１０は、図１に図示された復号化部１２の本発明による実施例１２Ａのブロック図であり、エントロピー復号化部１６０、逆量子化および逆変換部１６２、復号化時間予測部１６４、復号化加重予測部１６６および復号化空間予測部１６８、復号化選択部１７０、復号化加算部１７２および復号化非ブロック化部１７４で構成される。
【0053】
図１１は図３に図示された第２２段階に関する本発明による実施例２２Ａを説明するためのフローチャートであり、エントロピー復号化、逆量子化および逆変換を行う段階（第１９０および第１９２段階）、モード別に画素値を異に復元する段階（第１９４〜第２０２段階）および符号化された値を復号化する段階（第２０４および第２０６段階）よりなる。
【0054】
図１０に図示されたエントロピー復号化部１６０は入力端子ＩＮ８を通じて符号化部１０から入力したビット列をエントロピー復号化し、エントロピー復号化された結果を逆量子化および逆変換部１６２に出力する（第１９０段階）。この時、ビット列に含まれた各種付加情報も復号化される。
【0055】
第１９０段階後に、逆量子化および逆変換部１６２はエントロピー復号化部１６０から入力されたエントロピー復号化された結果を逆量子化し、逆量子化された結果を逆変換し、逆変換された結果を復号化加算部１７２に出力する（第１９２段階）。この時、逆量子化および逆変換部１６２から出力される逆変換された結果は予測符号化された値を復元した結果である。
【0056】
第１９２段階後に、復号化選択部１７０は符号化部１０で注目ブロックの画素値を符号化したモードがイントラモードであるかどうかを判断する（第１９４段階）。もし、符号化部１０で注目ブロックの画素値を符号化したモードがイントラモードではないと判断されれば、復号化選択部１７０は符号化部１０で注目ブロックの画素値を符号化したモードがインターモードであるか、それとも加重予測モードであるかを判断する（第１９６段階）。このために、復号化選択部１７０は符号化加重値選択部１２４で判断された結果としてエントロピー符号化部５２で符号化された後、エントロピー復号化部１６０で復号化された付加情報を利用できる。例えば、エントロピー復号化部１６０から入力された付加情報に応答して、復号化選択部１７０は復号化加重予測部１６６、復号化空間予測部１６８および復号化時間予測部１６４で復元された予測された画素値のうち一つを復元された予測値として選択し、選択された結果を復号化加算部１７２に出力する。
【0057】
もし、復号化選択部１７０は符号化したモードがイントラモードであると判断されれば、復号化空間予測部１６８の出力を選択する。ここで、復号化空間予測部１６８は復元された現在映像に含まれたブロックを復号化加算部１７２から入力し、符号化部１０で予測された注目ブロックの画素値を復号化加算部１７２から入力されたブロックのうち注目ブロックと空間的に隣接したブロックを利用して復元し、復元された結果を復号化選択部１７０に出力する（第１９８段階）。このために、復号化空間予測部１６８は、エントロピー復号化部１６０で復号化された付加情報のうち予測方向に関する付加情報を利用して画素値を復元できる。
【0058】
復号化選択部１７０は符号化したモードがインターモードであると判断されれば、復号化時間予測部１６４の出力を選択する。ここで、復号化時間予測部１６４は注目ブロックおよび入力端子ＩＮ９を通じて入力された復元された以前映像に含まれたブロックを利用して注目ブロックの予測された画素値を復元し、復元された結果を復号化選択部１７０に出力する（第２００段階）。ここで、図１０に図示された復号化加重予測部１６６および復号化時間予測部１６４に入力端子ＩＮ９を通じて入力される復元された以前映像に含まれたブロックは、復号化非ブロック化部１７４で以前に復号化された以前映像に属するブロックである。
【0059】
前述した動作のために、復号化時間予測部１６４は、エントロピー復号化部１６０で復号化された付加情報のうち予測された動きなどの付加情報を入力し、入力した予測された動きに該当する付加情報を利用して注目ブロックの予測された画素値を復元できる。すなわち、復号化時間予測部１６４は予測された動きに該当する付加情報を通じて、復元された以前映像に含まれたブロックのうち注目ブロックの画素値と類似した画素値を持つ少なくとも一つのブロックが分かり、これを通じて注目ブロックの予測された画素値を復元できる。
【0060】
復号化選択部１７０は符号化したモードが加重予測モードであると判断されれば、復号化加重予測部１６６の出力を選択する。ここで、復号化加重予測部１６６はビット数に適応して少なくとも一つの加重値を調整し、調整された加重値を利用して注目ブロックの予測された画素値を復元し、復元された結果を復号化選択部１７０に出力する（第２０２段階）。
【0061】
本発明によれば、図１０に図示された復号化加重予測部１６６は加重値の大きさをビット数に比例して調整することができる。
【0062】
図１２は、図１０に図示された復号化加重予測部１６６の本発明による実施例１６６Ａのブロック図であり、第１および第２復号化加重値生成部２２０および２２２、復号化加重値選択部２２４、復号化加重値調整部２２６および復号化画素値復元部２２８で構成される。
【0063】
図１３は、図１１に図示された第２０２段階に対する本発明による実施例２０２Ａを説明するためのフローチャートであり、加重値を生成して調整する段階（第２４０〜第２４６段階）および調整された加重値を注目ブロックの画素値と類似した画素値を持つ少なくとも一つのブロックの画素値と演算する段階（第２４８段階）よりなる。
【0064】
第１復号化加重値生成部２２０および第２復号化加重値生成部２２２は加重値を生成する（第２４０段階）。例えば、第１復号化加重値生成部２２０は第１符号化加重値生成部１２０で生成された所定値と同じ所定値に加重値を固定させて生成し、生成された加重値を符号化加重値選択部１２４に出力する。この場合、第１符号化加重値生成部１２０および第１復号化加重値生成部２２０は生成する加重値を事前に互いに知っている。
【0065】
ここで、復元された以前映像に含まれたブロックのうち注目ブロックの画素値と類似した画素値を持つブロックが同じ復元された以前映像に含まれる時、第１復号化加重値生成部２２０は加重値を前述した数式５のように生成できる。しかし、復元された以前映像に含まれたブロックのうち注目ブロックの画素値と類似した画素値を持つブロックが相異なる復元された以前映像にそれぞれ含まれる時、第１復号化加重値生成部２２０は相異なる以前映像それぞれがディスプレイされる時間と現在映像がディスプレイされる時間との時間差によって加重値を生成する。
【0066】
また、第２復号化加重値生成部２２２は、エントロピー復号化部１６０で復号化された付加情報のうち第２符号化加重値生成部１２２で生成された加重値に該当する付加情報を入力端子ＩＮ１０を通じてエントロピー復号化部１６０から入力し、入力した付加情報を利用して加重値を生成し、生成された加重値を復号化加重値選択部２２４に出力する。すなわち、第２復号化加重値生成部２２２は、第２符号化加重値生成部１２２で生成された加重値を、付加情報を利用して復元する。この時、第２復号化加重値生成部２２２は、復元された以前映像に含まれたブロックのうち注目ブロックの画素値と類似した画素値を持つブロックの画素値と演算される加重値を、類似した画素値を持つブロック別に異に生成できる。
【0067】
第２４０段階後に、復号化加重値選択部２２４は第１復号化加重値生成部２２０および第２復号化加重値生成部２２２で生成された加重値のうち一つを選択し、選択された加重値を復号化加重値調整部２２６に出力する。このために、復号化加重値選択部２２４は符号化加重値選択部１２４で判断された結果に該当する付加情報をエントロピー復号化部１６０から入力端子ＩＮ１１を通じて入力し、入力した付加情報を利用して第１復号化加重値生成部２２０および第２復号化加重値生成部２２２で生成された加重値のうち一つを選択できる。例えば、符号化加重値選択部１２４で選択された加重値が定義された加重値であると付加情報を通じて認識すれば、復号化加重値選択部２２４は第２復号化加重値生成部２２２で生成された加重値を選択する。一方、符号化加重値選択部１２４で選択された加重値が固定された加重値であると付加情報を通じて認識すれば、復号化加重値選択部２２４は第１復号化加重値生成部２２０で生成された加重値を選択する。すなわち、付加情報に基づいて、復号化加重値選択部２２４は固定された加重値を使用するか、それともユーザーにより定義された加重値を使用するかを判断し、判断された結果によって固定された加重値またはユーザーにより定義された加重値を選択して復号化加重値調整部２２６に出力する（第２４２段階）。
【0068】
この時、復号化加重値調整部２２６は固定された少なくとも一つの加重値またはユーザーにより定義された少なくとも一つの加重値を入力端子ＩＮ１２を通じて入力したビット数に適応して調整し、調整された加重値を復号化画素値復元部２２８に出力する（第２４４および第２４６段階）。ここで、復号化加重値調整部２２６はビット数に適応して加重値を前述した数式１、３または４のように調整することができる。
【0069】
第２４４または第２４６段階後に、復号化画素値復元部２２８は入力端子ＩＮ１３を通じて入力された復元された以前映像に含まれたブロックのうち注目ブロックの画素値と類似した画素値を持つ少なくとも一つのブロックの画素値と、復号化加重値調整部２２６から入力した少なくとも一つの調整された加重値とを演算し、演算された結果を注目ブロックの予測された画素値を復元した結果として出力端子ＯＵＴ８を通じて復号化選択部１７０に出力する（第２４８段階）。このために、復号化画素値復元部２２８はエントロピー復号化部１６０で復号化された付加情報のうち予測された動きなどの付加情報を入力端子ＩＮ１３を通じて入力され、入力された予測された動きに該当する付加情報を利用して注目ブロックの予測された画素値を復元できる。すなわち、復号化画素値復元部２２８は予測された動きに該当する付加情報を通じて、復元された以前映像に含まれたブロックのうち注目ブロックの画素値と類似した画素値を持つ少なくとも一つのブロックが分かり、これを通じて注目ブロックの予測された画素値を復元できる。
【0070】
この時、符号化画素値予測部１２８が前述した数式２のように注目ブロックの画素値を予測する場合、復号化画素値復元部２２８は、復元された以前映像に含まれたブロックのうち注目ブロックの画素値と類似した画素値を持つ少なくとも一つのブロックの画素値と少なくとも一つの調整された加重値とを乗算し、乗算された結果に調整された他の加重値を加算して注目ブロックの予測された画素値を復元できる。
【0071】
一方、第１９８、第２００または第２０２段階後に、復号化加算部１７２は、復号化選択部１７０から入力した復元された予測値と逆量子化および逆変換部１６２から入力した逆変換された結果とを加算し、加算された結果を復号化空間予測部１６８および復号化非ブロック化部１７４にそれぞれ出力する（第２０４段階）。
【0072】
第２０４段階後に、復号化非ブロック化部１７４は復号化加算部１７２で加算された結果を非ブロック化し、非ブロック化された結果を注目ブロックの画素値を復号化した結果として出力端子ＯＵＴ７を通じて出力する（第２０６段階）。
【0073】
前述したことと違って、本発明の他の実施例によれば、図５に図示された符号化部１０Ａは符号化空間予測部４２、符号化時間予測部４４および符号化選択部４６を備えず、図１０に図示された復号化部１２Ａは復号化空間予測部１６８、復号化時間予測部１６４および復号化選択部１７０を備えないこともある。この場合、符号化加重予測部４０で予測された注目ブロックの画素値は減算部４８および符号化加算部５６に直接出力され、復号化加重予測部１６６で復元された注目ブロックの画素値は復号化加算部１７２に直接出力される。
【0074】
また、本発明の他の実施例によれば、図５に図示された符号化部１０Ａは符号化空間予測部４２および符号化時間予測部４４のうち一つのみ備え、図１０に図示された復号化部１２Ａは復号化空間予測部１６８および復号化時間予測部１６４のうち一つのみ備えることもある。
【0075】
一方、図５に図示された符号化部１０Ａは減算部４８、変換および量子化部５０、エントロピー符号化部５２、逆量子化および逆変換部５４、符号化加算部５６および符号化非ブロック化部５８は符号化選択部４６から出力される予測値を利用して注目ブロックの画素値を符号化できる一実施例に過ぎない。また、図１０に図示された復号化部１２Ａのエントロピー復号化部１６０、逆量子化および逆変換部１６２、復号化加算部１７２および復号化非ブロック化部１７４は復号化選択部１７０から出力される注目ブロックの復元された予測された画素値を利用して注目ブロックの画素値を復号化できる一実施例に過ぎない。したがって、本発明は図５または図１０に図示された構成に限定されない。
【0076】
前述した本発明による映像符号化および復号化装置および方法とそれら実施例は前述したISO／IEC MPEGおよびITU−T VCEGのJoint Video Team（ＪＶＴ）のH.264/MPEG-4 Part 10 AVC標準化技術を基準に説明した。この時、符号化非ブロック化部５８および復号化非ブロック化部１７４それぞれは標準化技術に開示された非ブロックフィルタ（図示せず）に該当する。しかし、本発明はこれに限定されない。特に、図５に図示された符号化空間予測部４２、符号化時間予測部４４、図１０に図示された復号化時間予測部１６４および復号化空間予測部１６８は他の時間および空間予測方法を行うこともできる。
【0077】
また、本発明は方法、装置およびシステムとして適用できる。本発明がソフトウェアを使用して行われるとき、本発明の構成要素は必要な動作のためにコードセグメントになりうる。プログラムやコードセグメントはプロセッサー可読記録媒体に保存されるか、転送ミディアムまたは通信ネットワークでキャリアウェーブと結合されるコンピュータデータ信号を通じて転送されることもある。プロセッサー可読記録媒体は、コンピュータシステムにより後で読取られる情報を保存または転送できるいずれかのデータ保存装置である。プロセッサー可読記録媒体の例は、電子回路、半導体メモリ、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＲＯＭ（Erasable ROM）、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、光フィーバーミディアムおよびＲＦネットワークを含む。コンピュータデータ信号は電気ネットワークチャンネル、光繊維、空気、電磁場およびＲＦネットワークなどの転送媒体を通じて伝播されうる信号を含む。
【0078】
本発明は映像を復号化する復号化装置および映像を符号化する符号化装置いずれにも適用できる。
【符号の説明】
【0079】
１０ 符号化部１２ 復号化部
４０ 符号化加重予測部
４２ 符号化空間予測部
４４ 符号化時間予測部
４６ 符号化選択部
４８ 減算部
５０ 変換および量子化部
５２ エントロピー符号化部
５４ 逆量子化および逆変換部
５６ 符号化加算部
５８ 符号化非ブロック化部
１２０ 第１符号化加重値生成部
１２２ 第２符号化加重値生成部
１２４ 符号化加重値選択部
１２６ 符号化加重値調整部
１２８ 符号化画素値予測部
１６０ エントロピー復号化部
１６２ 逆量子化および逆変換部
１６４ 復号化時間予測部
１６６ 復号化加重予測部
１６８ 復号化空間予測部
１７０ 復号化選択部
１７２ 復号化加算部
１７４ 復号化非ブロック化部
２２０ 第１復号化加重値生成部
２２２ 第２復号化加重値生成部
２２４ 復号化加重値選択部
２２６ 復号化加重値調整部
２２８ 復号化画素値復元部
Ｍ 所定数
Ｏi 加重値
Ｗi 加重値