(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、映像信号符号化過程で復元信号を用いて符号化対象信号と類似に予測信号を生成し、元映像信号と前記予測信号との差分により生成されることができる残余信号を符号化の対象から省略することによって符号化及び復号化の性能を高める省略符号化を用いた映像符号化及び復号化装置及び方法を提供する。
【0007】
また、本発明は、画面内の符号化過程で省略符号化を用いることによって映像信号符号化及び復号化の性能を高める映像符号化及び復号化装置及び方法を提供する。
【課題を解決するための手段】
【0008】
本発明の一実施例に係る省略符号化を用いた映像符号化方法は、画面内予測の実行において、符号化対象映像内で符号化対象信号より先に復元された復元信号に対してフィルタリングを実行するステップ、前記フィルタリングされた復元信号を用いて前記符号化対象信号の予測信号を生成するステップ、前記生成された予測信号を前記符号化対象信号の復元信号に設定し、前記符号化対象信号と前記予測信号との差分に基づいて生成されることができる残余信号を符号化しないことによって前記符号化対象信号を省略符号化するステップ、を含む。
【0009】
前記フィルタリングを実行するステップは、低域通過フィルタ、ジブロッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つを用いてフィルタリングを実行する。
【0010】
前記フィルタリングを実行するステップは、低域通過フィルタ、ジブロッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つ以上を段階的に実行する。
【0011】
前記フィルタリングを実行するステップは、画面内予測の実行において、前記符号化対象映像の参照映像が全部復元された後、前記復元された参照映像にフィルタリングを実行する。
【0012】
前記フィルタリングを実行するステップは、画面内予測の実行において、前記符号化対象映像の参照映像が一部復元された後、前記復元された参照映像にフィルタリングを実行する。
【0013】
前記予測信号を生成するステップは、前記符号化対象信号に隣接する復元された画素に基づいた方向別外挿入法(extrapolation)を実行して予測信号を生成する。
【0014】
前記予測信号を生成するステップは、前記符号化対象信号に隣接する復元された画素及び前記フィルタリングされた復元信号間のテンプレート照合(Template Matching)を実行して予測信号を生成する。
【0015】
前記予測信号を生成するステップは、前記符号化対象信号及び前記フィルタリングされた復元信号間の変位画面内予測(Displaced Intra Prediction)を実行して予測信号を生成する。
【0016】
前記予測信号を生成するステップは、向上階層(enhancement layer)内の前記符号化対象信号と前記符号化対象信号の位置に空間的に対応される基本階層(base layer)内の前記フィルタリングされた復元信号を用い、階層間画面内予測を実行して予測信号を生成する。
【0017】
前記予測信号を生成するステップは、向上時点(enhancement view)内の前記符号化対象信号と前記符号化対象信号の位置に空間的に対応される基本時点(base view)内の前記フィルタリングされた復元信号を用い、時点間画面内予測を実行して予測信号を生成する。
【0018】
また、本発明の他の実施例に係る省略符号化を用いた映像符号化方法は、前記残余信号の符号化なしに、前記符号化対象信号を省略符号化することを示すインジケータを復号化器に伝達するステップをさらに含む。
【0019】
また、本発明の実施例に係る省略符号化を用いた映像符号化装置は、画面内予測の実行において、符号化対象映像内で符号化対象信号より先に復元された復元信号に対してフィルタリングを実行するフィルタリング部、前記フィルタリングされた復元信号を用いて前記符号化対象信号の予測信号を生成する予測信号生成部、前記生成された予測信号を前記符号化対象信号の復元信号に設定し、前記符号化対象信号と前記予測信号との差分に基づいて生成されることができる残余信号を符号化しないことによって前記符号化対象信号を省略符号化する省略符号化部、前記残余信号の符号化なしに、前記符号化対象信号を省略符号化したことを示すインジケータ、を含む。
【0020】
また、本発明の実施例に係る省略符号化を用いた映像復号化方法は、画面内予測の実行において、復号化対象映像内の復号化対象信号に含まれた省略符号化に対するインジケータに基づいて、前記復号化対象信号より先に復元された復元信号に対してフィルタリングを実行するステップ、前記フィルタリングされた復元信号を用いて前記復号化対象信号の予測信号を生成するステップ、前記生成された予測信号を前記復号化対象信号の復元信号に設定し、残余信号を復号化しないことによって前記復号化対象信号を復号化するステップ、を含む。
【0021】
また、本発明の実施例に係る省略符号化を用いた映像復号化装置は、画面内予測の実行において、省略符号化器から伝達を受けた復号化対象映像内の復号化対象信号に含まれた省略符号化に対するインジケータ、前記インジケータに基づいて、前記復号化対象信号より先に復元された復元信号に対してフィルタリングを実行するフィルタリング部、前記フィルタリングされた復元信号及び前記インジケータに基づいて、前記復号化対象信号の予測信号を生成する予測信号生成部、残余信号を復号化しないことによって前記復号化対象信号を復号化する復号化部、を含む。
【発明の効果】
【0022】
本発明は、映像信号符号化過程で復元信号を用いて符号化対象信号と類似に予測信号を生成し、元映像信号と前記予測信号との差分により生成されることができる残余信号を符号化の対象で省略することによって符号化及び復号化の性能を高める省略符号化を用いた映像符号化及び復号化装置及び方法を提供することができる。
【0023】
また、本発明は、復元された符号化対象映像または以前に復元された映像に対して多様なフィルタリングを実行することによって映像雑音、ブロッキング現象、量子化エラー及びエイリアシング(Aliasing)などを除去することができる。
【0024】
また、本発明は、多様な方式にフィルタリングされた復元信号を用いて予測信号を符号化対象信号と類似に生成することができる。
【0025】
また、本発明は、元映像信号と予測信号との差分を介して生成されることができる残余信号の符号化過程を省略することによって映像符号化の性能を高めることができる。
【発明を実施するための形態】
【0027】
以下、本発明の実施例を添付図面を参照して詳細に説明する。
【0028】
図1は、本発明の一実施例に係る省略符号化を用いた映像符号化装置のブロック図である。
【0029】
図1を参照すると、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、フィルタリング部110、予測信号生成部120、省略符号化部130、及びインジケータ140を含む。
【0030】
フィルタリング部110は、画面内予測の実行において、符号化対象映像内で符号化対象信号より先に復元された復元信号に対してフィルタリングを実行する。符号化対象映像とは、元映像で符号化しようとする部分を意味する。符号化対象映像は、元映像の全体或いは一部である。符号化対象映像は、符号化対象信号を含むことができる。符号化対象信号は、符号化対象映像を画素、ブロック、ユニット(unit)、ピクチャ、及びフレーム単位に区分した信号である。即ち、符号化対象信号は、符号化対象画素、符号化対象ブロック、符号化対象ユニット、符号化対象ピクチャ、及び符号化対象フレームを含む概念である。符号化対象映像は、符号化対象信号より先に復元された復元信号を含むことができる。復元信号は、符号化対象映像に含まれた複数の信号のうち符号化が完了した以後に復元された信号を含むことができる。
【0031】
フィルタリング部110は、符号化対象信号より先に復元された復元信号に低域通過フィルタリング(low pass filter)を実行し、復元信号に存在する雑音を減少させることができる。この時、低域通過フィルタに使われるフィルタ係数は、符号化されて復号化器に送信されることができる。
【0032】
例えば、画面内予測時に使用する周辺の復元された参照サンプルに対して低域通過フィルタリングを実行することができる。この時、フィルタ適用回数は、1回、2回、N
f回等に実行することができる。この時、N
fは、任意の正の整数を意味する。
【0033】
また、前記フィルタリング実行可否は、符号化パラメータによって異なる。即ち、符号化対象信号のブロック大きさ、画面内予測モード、周辺ブロックの残余信号存在可否、CIP(Constrained Intra Prediction)が使われたかどうか、周辺ブロックの画面内予測方向類似度のうち少なくとも一つ以上の判別によってフィルタ適用可否を決定することができる。
【0034】
追加的に、前記でフィルタを適用すると決定した場合、フィルタの入力サンプル数を示すタッブ大きさ(tap size)、低域通過フィルタの係数(coefficient)、フィルタ強度などを異なるようにすることができる。この時、タッブ大きさは、2-tap、3-tap、N
t-tapのうち一つ以上のフィルタタッブ(tap)を用いてフィルタリングを実行することができる。この時、N
tは、任意の正の整数を意味する。
【0035】
また、フィルタリング部110は、復元信号にジブロッキングフィルタリング(deblocking filtering)を実行し、復元信号に存在するブロッキング現象を減少させることができる。ブロッキング現象は、映像符号化過程で実行される量子化のエラーのため発生される。
【0036】
例えば、ジブロッキングフィルタリングは、以下のように実行されることができる。
【0037】
第一、フィルタリングを実行する対象境界を判別することができる。基本的に映像符号化及び復号化過程で使われる映像が分割された符号化及び復号化単位がフィルタリングを実行する対象境界と判断されることができる。
【0038】
この時、符号化ユニット(coding unit)の境界、予測ユニット(prediction unit)の境界、変換ユニット(transform unit)の境界のうちいずれか一つの境界がフィルタリングを実行する対象境界になることができる。フィルタリング境界判別は、符号化ユニット単位、LCU(largest coding unit)単位、スライス(slice)単位、ピクチャ(picture)単位に実行されることができる。
【0039】
第二、フィルタリング対象境界のフィルタ強度と境界周辺画素値を用いた計算式の結果値のうち一つ以上を用いてフィルタリング実行可否を決定することができる。
【0040】
例えば、フィルタ強度は、境界周辺に存在する復元されたサンプルに対してフィルタリングを実行する時、低域通過フィルタ(low pass filter)の入力サンプル数を示すタッブ大きさ(tap size)、低域通過フィルタの係数(coefficient)などを示すことができる。この時、フィルタ強度を決定するために符号化パラメータが使われることができる。例えば、画面内予測モード、画面間予測モード、動きベクトル、参照映像索引、符号化ブロックフラッグのうち一つ以上を使用することができる。例えば、境界周辺画素値を用いた計算式の結果値は、フィルタリング対象境界が変換(transform)及び量子化(quantization)によるブロッキング現象(blocking artifact)か、映像内に存在する実際エッジ(edge)かを判別する計算式の結果値である。
【0041】
第三、前記決定されたフィルタリング対象境界及びフィルタ実行可否の情報を用いてフィルタリング対象境界に対するフィルタリングを実行する。この時、フィルタリングは、境界周辺の画素値の変化量等によって境界が人間の目によく見えないように境界周辺の画素値を柔らかくするために低域通過フィルタ、元映像と歪曲を最小化するためのウィーナ(Wiener)フィルタなどが使われることができる。また、フィルタリング対象境界によって1次元フィルタ或いは2次元以上の多次元フィルタが使われることができる。
【0042】
例えば、2次元以上の多次元フィルタは、四角形、円形、矩形などのフィルタの形状(shape)、水平対称、垂直対称、対角線対称などのフィルタ係数の構造(structure)を有することができる。
【0043】
また、前記フィルタリング実行可否決定手段で決定したフィルタ強度などによって前記羅列した多様なフィルタがフィルタリング実行手段で使われることができる。例えば、画面内予測、画面間予測、変換/逆変換、量子化/逆量子化、エントロピ符号化/エントロピ復号化を含む符号化及び復号化過程がスライス(slice)単位或いはLCU(largest coding unit)単位或いはCU(coding unit)単位に実行される時、スライス単位或いはLCU単位或いはCU単位にジブロッキングフィルタリングを実行することができる。符号化及び復号化対象LCUと空間的に隣接するLCUでジブロッキングフィルタリングを含んだ前記一連の符号化及び復号化過程が実行された場合、符号化及び復号化対象LCUの画面内予測時にジブロッキングフィルタリングが実行されたLCU内の復元されたサンプルを用いることができる。即ち、ジブロッキングフィルタリングが実行されたLCU内の復元されたサンプルを下記予測信号生成部120で用いることができる。
【0044】
また、フィルタリング部110は、復元信号に対してウィーナ(Wiener)フィルタに基づいた適応的ループフィルタリング(Adaptive Loop Filtering)を実行することによって、復元信号に存在する量子化エラーを減少させることができる。この時、適応的ループフィルタに使われるフィルタ係数は、符号化され、復号化器に送信されることができる。
【0045】
例えば、適応的ループフィルタリングは、以下のように実行されることができる。
【0046】
前記復号化器に送信された適応的ループフィルタ係数をジブロッキングフィルタリングが適用された復元サンプルにサンプル単位或いはN×M(NとMは、任意の正の整数)ブロック単位にフィルタリングを実行することができる。この時、適応的ループフィルタリングが適用されるサンプルとブロックは、適応的ループフィルタリングの実行可否を示すフィルタマップ(filter map)を用いて決定されることができる。符号化器でフィルタマップをフィルタ係数と共にビットストリームに含んで復号化器に送信することができる。また、前記フィルタは、適応的ループフィルタが適用されるサンプル及びブロックによって変わることができ、多様なフィルタタッブ大きさ(tap size)とフィルタ形状(filter shape)が使われることができる。適応的ループフィルタリングがサンプルとブロックに適用される場合、ジブロッキングフィルタリングが適用された復元サンプルを用いた計算式により、使用するフィルタが決定されることができる。
【0047】
例えば、画面内予測、画面間予測、変換/逆変換、量子化/逆量子化、エントロピ符号化/エントロピ復号化、ジブロッキングフィルタリングを含む符号化及び復号化過程がスライス(slice)単位或いはLCU(largest coding unit)単位或いはCU(coding unit)単位に実行される時、スライス単位或いはLCU単位或いはCU単位に適応的ループフィルタリングを実行することができる。この時、符号化及び復号化対象LCUと空間的に隣接するLCUで適応的ループフィルタリングを含んだ前記一連の符号化及び復号化過程が実行された場合、符号化及び復号化対象LCUの画面内予測時に適応的ループフィルタリングが実行されたLCU内の復元されたサンプルを用いることができる。即ち、適応的ループフィルタリングが実行されたLCU内の復元されたサンプルを下記予測信号生成部120で用いることができる。また、フィルタリング部110は、復元信号に補間(interpolation)フィルタリングを実行し、復元信号に存在するエイリアシング(Aliasing)現象を減少させることができる。フィルタリング部110は、サブ画素(sub-pel)単位に補間フィルタリングを実行することができる。この時、復元信号の補間フィルタリングは、1/2精密度の輝度信号、1/4精密度の色度信号などに実行されることができる。例えば、補間フィルタリング方法には、双一次(bilinear)補間方法、平均(average)補間方法などが使われることができ、1/8、1/16、1/32、1/N
i(N
iは、任意の整数)などの精密度(precision)に補間フィルタリングを実行することができる。この時、補間されたサンプルは、予測信号生成部120に用いられることができる。即ち、補間された値が予測信号になることができ、補間された値を用いて新たな予測信号を生成することもできる。
【0048】
また、フィルタリング部110は、復元信号にノイズ除去フィルタリングを実行し、復元信号に存在するノイズを除去したり減少させることができる。
【0049】
また、フィルタリング部110で実行されるフィルタリングは、復元信号の輝度(luminance)成分だけでなく、色度(chrominance)成分にも適用されることができる。
【0050】
また、フィルタリング部110は、画面内予測または画面間予測の実行において、符号化対象映像の参照映像が全部復元された後、前記復元された参照映像にフィルタリングを実行することができ、符号化対象映像の参照映像が一部復元された後、前記復元された参照映像にフィルタリングを実行することができる。この時、フィルタリング部110は、復元信号に低域通過フィルタ、ジブロッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つ以上を段階的に実行することができる。
【0051】
例えば、復元信号に低域通過フィルタを実行し、低域通過フィルタが実行された復元信号にジブロッキングフィルタを実行することができる。
【0052】
例えば、復元信号に低域通過フィルタを実行し、低域通過フィルタが実行された復元信号に補間フィルタを実行することができる。
【0053】
例えば、復元信号にジブロッキングフィルタを実行し、ジブロッキングフィルタが実行された復元信号に適応的ループフィルタを実行することができる。
【0054】
例えば、復元信号に適応的ループフィルタを実行し、適応的ループフィルタが実行された復元信号に補間フィルタを実行することができる。
【0055】
例えば、復元信号に低域通過フィルタを実行し、低域通過フィルタが実行された復元信号にジブロッキングフィルタを実行し、低域通過フィルタとジブロッキングフィルタが実行された復元信号に適応的ループフィルタを実行することができる。
【0056】
例えば、復元信号に低域通過フィルタを実行し、低域通過フィルタが実行された復元信号にジブロッキングフィルタを実行し、低域通過フィルタとジブロッキングフィルタが実行された復元信号に補間フィルタを実行することができる。
【0057】
例えば、復元信号にジブロッキングフィルタを実行し、ジブロッキングフィルタが実行された復元信号に適応的ループフィルタを実行し、ジブロッキングフィルタと適応的ループフィルタが実行された復元信号に補間フィルタを実行することができる。
【0058】
前記例のように、多様なフィルタが段階的に実行された復元信号を下記予測信号生成部120で用いることができる。
【0059】
予測信号生成部120は、フィルタリング部110でフィルタリングされた復元信号を用いて符号化対象信号の予測信号を生成する。
【0060】
予測信号生成部120は、テンプレート照合(Template Matching)を実行して予測信号を生成することができる。テンプレート照合は、符号化対象信号に隣接する復元された画素とフィルタリング部110でフィルタリングされた復元信号間の画素類似度を用いて実行されることができる。この時、画素類似度は、SAD(Sum of Absolute Difference)、SATD(Sum of Absolute Transformed Difference)、SSD(Sum of Squared Difference)を介して測定されることができる。
【0061】
テンプレート照合実行の場合、符号化器の符号化対象信号及び復号化器の復号化対象信号に隣接する復元された画素が同じであるため、テンプレート照合に対する別途のインジケータなしに、符号化器と復号化器で同じ予測信号が生成されることができる。即ち、符号化器と復号化器で同じテンプレートを用いて予測信号を生成することができる。テンプレート照合に使われるテンプレートの大きさは、映像符号化過程の演算処理速度、メモリなどによって適応的に選択することができる。また、予測信号生成部120は、フィルタリングされた復元信号のうち複数のフィルタリングされた復元信号を用いて予測信号を生成することができる。
【0062】
また、予測信号生成部120は、変位画面内予測(Displaced Intra Prediction)を実行して予測信号を生成することができる。変位画面内予測は、符号化対象信号とフィルタリング部110でフィルタリングされた復元信号間の画素類似度を用いて実行されることができる。
【0063】
変位画面内予測は、変位ベクトル(Displacement Vector)を使用する。変位ベクトルは、符号化対象信号と最も類似の値を有するフィルタリングされた復元信号の位置を示す。符号化器は、変位ベクトルを復号化器に伝達し、復号化器は、変位ベクトルの位置に存在する復元信号を用いて符号化器と同じ予測信号を生成することができる。復号化器は、符号化器から伝達を受けた変位ベクトルを用いて計算複雑度の大きい増加なしに予測信号を生成することができる。また、予測信号生成部120は、符号化対象信号周辺の復元信号に存在する変位ベクトルを符号化対象信号の変位ベクトル予測値として使用することができる。予測信号生成部120は、前記変位ベクトル予測値を基準に符号化対象信号の周辺領域を探索して予測信号を生成することができる。また、符号化器は、変位ベクトル予測値と符号化対象信号で探索された周辺領域の変位ベクトルの差分値を復号化器に伝達することができる。
【0064】
また、予測信号生成部120は、テンプレート照合を実行してフィルタリングされた復元信号のうち符号化対象信号と最も類似の初期地点を探索し、前記初期地点で変位画面内予測を実行して予測信号を生成することができる。また、予測信号生成部120は、変位画面内予測を実行してフィルタリングされた復元信号のうち符号化対象信号と最も類似の初期地点を探索し、前記初期地点でテンプレート照合を実行して予測信号を生成することができる。
【0065】
また、予測信号生成部120は、符号化対象信号に隣接する復元された画素を用い、ラインベースの画面内予測を実行し、予測信号を生成することができる。ラインベースの画面内予測は、符号化対象信号周辺の復元されたピクセルに対して、符号化対象信号を基準に方向別に外挿入法(extrapolation)を実行する方法である。
【0066】
この時、方向の個数は、一つ以上の多数である。例えば、2、4、8、16、33などの個数になることができ、方向及び個数は、予め固定して実行することもでき、復元された画素を用いて適応的に決まることもできる。
【0067】
この時、方向別に外挿入法を実行するにあたって、前記フィルタリング部110の一つ以上の方法を用いることができる。例えば、方向別に前記低域フィルタ適用可否及び方法を異なるようにしたり、前記補間フィルタ適用可否及び方法を異なるようにして得た信号を用いて外挿入法を実行することができる。
【0068】
追加的に、外挿入法を実行するにあたって、二つ以上の復元された画素の加重和を用いることができ、加重値は、距離またはブロックの大きさによって異なるようにすることができる。例えば、類似の方向に該当する予測信号等の加重和を最終予測信号にすることができる。
【0069】
また、予測信号生成部120は、空間解像度、画質、フレーム率などが基本階層より高い、或いは同じ向上階層(enhancement layer)内の符号化対象信号と符号化対象信号の位置に空間的に対応される基本階層(base layer)内の復元信号を用いて、階層間画面内予測を実行し、予測信号を生成することができる。
【0070】
例えば、基本階層の空間的解像度と向上階層の空間的解像度が同じ場合、基本階層内の復元信号を向上階層内の符号化対象信号の画面内予測に用いて、予測信号を生成することができる。
【0071】
例えば、基本階層の空間的解像度と向上階層の空間的解像度が異なる場合、向上階層の空間的解像度に合わせるように基本階層の空間的解像度をアップサンプリング(upsamping)或いはダウンサンプリング(downsampling)などを用いて調節し、基本階層内の復元信号を向上階層内の符号化対象信号の画面内予測に用いて、予測信号を生成することができる。
【0072】
また、予測信号生成部120は、向上時点(enhancement view)内の符号化対象信号と符号化対象信号の位置に空間的に対応される基本時点(base view)内の復元信号を用いて、時点間画面内予測を実行し、予測信号を生成することができる。
【0073】
例えば、基本時点の空間的解像度と向上時点の空間的解像度が同じ場合、基本時点内の復元信号を向上時点内の符号化対象信号の画面内予測に用いて、予測信号を生成することができる。
【0074】
例えば、基本時点の空間的解像度と向上階層の空間的解像度が異なる場合、向上時点の空間的解像度に合わせるように基本時点の空間的解像度をアップサンプリング(upsamping)或いはダウンサンプリング(downsampling)などを用いて調節し、基本時点内の復元信号を向上時点内の符号化対象信号の画面内予測に用いて、予測信号を生成することができる。
【0075】
また、予測信号生成部120は、任意の大きさを有するブロックに分割された符号化対象信号を用いて予測信号を生成することができる。この時、予測信号の生成は、ラインベースの画面内予測、テンプレート照合、変位画面内予測、階層間画面内予測、及び時点間画面内予測のうち一つを介して実行されることができる。予測信号生成部120は、分割された複数個の符号化対象信号を同じ予測信号生成方法を介して予測信号を生成することもでき、互いに異なる予測信号生成方法を介して予測信号を生成することもできる。
【0076】
省略符号化部130は、予測信号生成部120で生成された予測信号を符号化対象信号の復元信号に設定する。設定された復元信号は、符号化対象映像の次の(next)符号化対象信号の符号化時に使われることができる。また、省略符号化部130は、残余信号を符号化しないことによって符号化対象信号を省略符号化する。省略符号化部130は、残余信号に対する変換符号化、量子化、及びエントロピ符号化を実行しない。
【0077】
省略符号化部130は、符号化対象信号を任意のブロック大きさに分割して省略符号化することができる。この時、省略符号化される符号化対象信号のブロック大きさは、任意の整数N×M大きさに決定されることができる。各符号化対象信号のブロック大きさに対応される省略符号化に対するインジケータ及びブロック大きさ情報は、マクロブロック当たり任意の整数L個ほど復号化器に伝達されることができる。マクロブロックがN×M大きさに分割されると、この時、マクロブロックに含まれたブロックの個数をL個であるということができる。
【0078】
インジケータ140は、残余信号の符号化なしに、符号化対象信号を省略符号化したことを示すことができる。省略符号化を示すインジケータ140は、フラッグ(Flag)形態またはマクロブロックモードタイプ(Macroblock Mode Type)形態を有することができる。また、インジケータ140は、予測信号の生成方法を示すことができる。即ち、インジケータ140は、予測信号をラインベースの画面内予測実行、テンプレート照合、変位画面内予測、階層間画面内予測、及び時点間画面内予測のうちいずれか一つの方式を介して生成したことを示すことができる。この時、予測信号生成方法に対するインジケータ140は、フラッグ(Flag)形態またはマクロブロックモードタイプ(Macroblock Mode Type)の形態を有することができる。また、インジケータ140は、フィルタリング方法を示すことができる。インジケータ140は、低域通過フィルタ、ジブロッキングフィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタを含む復元信号に対するフィルタリング方法のうちいずれか一つの方式を介してフィルタリングを実行したことを示すことができる。また、インジケータ140は、復元信号に対するフィルタリング方法のうち最小一つ以上の方式を実行したことを示すことができる。例えば、復元信号に低域通過フィルタを実行してジブロッキングフィルタを実行したか、或いは低域通過フィルタを実行して補間フィルタを実行したか、或いはジブロッキングフィルタを実行して適応的ループフィルタを実行したか、或いは適応的ループフィルタを実行して補間フィルタを実行したか、或いは低域通過フィルタを実行してジブロッキングフィルタを実行して適応的ループフィルタを実行したか、或いは低域通過フィルタを実行してジブロッキングフィルタを実行して補間フィルタを実行したか、或いはジブロッキングフィルタを実行して適応的ループフィルタを実行して補間フィルタを実行したかに対してインジケータ140を介して示すことができる。この時、フィルタリング方法に対するインジケータ140は、フラッグ(Flag)形態またはマクロブロックモードタイプ(Macroblock Mode Type)の形態を有することができる。
【0079】
符号化器でインジケータを算術符号化(arithmetic coding)或いは可変長さ符号化(variable length coding)などにエントロピ符号化してビットストリームに挿入し、復号化器でビットストリームをエントロピ復号化して省略符号化可否或いは予測信号生成方法或いはフィルタリング方法を判別することができる。
【0080】
符号化器で省略符号化、予測信号生成方法、及びフィルタリング方法を示すインジケータ140は、復号化器に伝達されることができる。この時、復号化器は、残余信号に対する復号化なしに復号化器で生成された予測信号を復号化対象信号の復元信号として用いることができる。
【0081】
図2は、本発明の一実施例に係る省略符号化を用いた映像符号化過程の一例を示す。
【0082】
図2を参照すると、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、元映像210をブロック単位に省略符号化する。即ち、符号化対象信号は、符号化対象ブロックになることもできる。符号化対象映像220は、符号化対象Aブロック221及びAブロック221より先に復元された復元Bブロック223を含むことができる。フィルタリング部110は、復元Bブロック223に対してフィルタリングを実行する。この時、フィルタリングは、低域通過フィルタ、ジブロッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つを用いて実行されることができる。フィルタリング部110は、復元Bブロック223に対してフィルタリングを実行してCブロック230を生成することができる。予測信号生成部120は、Cブロック230を用いて符号化対象Aブロック221の予測Dブロック240を生成する。この時、予測Dブロック240は、ラインベースの画面内予測、テンプレート照合、変位画面内予測、階層間画面内予測、及び時点間画面内予測のうち一つを介して生成されることができる。省略符号化部130は、予測Dブロック240を符号化対象Aブロック221の復元ブロックに設定することができる。この復元ブロックは、Bブロックを省略符号化する時に用いられることができる。省略符号化部130は、符号化対象Aブロック221から予測Dブロック240を除去して残余Eブロック250を生成することができる。省略符号化部130は、符号化対象Aブロック221に含まれた残余Eブロック250を符号化しないことによって、符号化対象Aブロック221を省略符号化することができる。省略符号化部130は、省略符号化されたaブロック260を生成することができる。その後、bブロック270を符号化対象ブロックに設定して符号化対象映像220を省略符号化することができる。
【0083】
図3は、本発明の一実施例に係る省略符号化を用いた映像復号化装置のブロック図である。
【0084】
図3を参照すると、本発明の一実施例に係る省略符号化を用いた映像復号化装置は、インジケータ310、フィルタリング部320、予測信号生成部330、及び復号化部340を含む。
【0085】
インジケータ310は、画面内予測の実行において、省略符号化器で残余信号の符号化なしに、符号化対象信号を省略符号化したことを示すことができる。省略符号化を示すインジケータ140は、フラッグ(Flag)形態またはマクロブロックモードタイプ(Macroblock Mode Type)形態を有することができる。インジケータ310は、復号化対象映像内の復号化対象信号に含まれて識別されることができる。また、インジケータ310は、省略符号化過程で予測信号の生成方法を示すことができる。即ち、インジケータ310は、符号化対象信号の予測信号をラインベースの画面内予測実行、テンプレート照合、変位画面内予測、階層間画面内予測、及び時点間画面内予測のうちいずれか一つの方式を介して生成したことを示すことができる。また、インジケータ310は、フィルタリング方法を示すことができる。即ち、インジケータ310は、低域通過フィルタ、ジブロッキングフィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタを含む復元信号に対するフィルタリング方法のうちいずれか一つの方式を介してフィルタリングを実行したことを示すことができる。また、インジケータ310は、復元信号に対するフィルタリング方法のうち最小一つ以上の方式を実行したことを示すことができる。例えば、復元信号に低域通過フィルタを実行してジブロッキングフィルタを実行したか、或いは低域通過フィルタを実行して補間フィルタを実行したか、或いはジブロッキングフィルタを実行して適応的ループフィルタを実行したか、或いは適応的ループフィルタを実行して補間フィルタを実行したか、或いは低域通過フィルタを実行してジブロッキングフィルタを実行して適応的ループフィルタを実行したか、或いは低域通過フィルタを実行してジブロッキングフィルタを実行して補間フィルタを実行したか、或いはジブロッキングフィルタを実行して適応的ループフィルタを実行して補間フィルタを実行したかに対してインジケータ310を介して示すことができる。符号化器でインジケータを算術符号化(arithmetic coding)或いは可変長さ符号化(variable length coding)などにエントロピ符号化してビットストリームに挿入されたインジケータ310を復号化器でビットストリームをエントロピ復号化して省略符号化可否或いは予測信号生成方法或いはフィルタリング方法を判別することができる。
【0086】
フィルタリング部320は、インジケータ310に含まれた符号化過程で使われたフィルタリング方法に基づいて、復号化対象信号より先に復元された復元信号に対してフィルタリングを実行する。復号化対象信号は、復号化対象映像を画素、ブロック、ユニット(unit)、ピクチャ、及びフレーム単位に区分した信号である。即ち、復号化対象信号は、復号化対象画素、復号化対象ブロック、復号化対象ユニット、復号化対象ピクチャ、及び復号化対象フレームを含む概念である。省略符号化を用いた映像符号化装置のフィルタリング部110と同様に、フィルタリング部320は、復元信号に対して低域通過フィルタ、ジブロッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つを用いてフィルタリングを実行することができる。この時、フィルタリング部320は、復元信号に低域通過フィルタ、ジブロッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つ以上を段階的に実行することができる。フィルタリング部320は、符号化過程で適用されたフィルタリング方法を同様に適用して復元信号にフィルタリングを実行することができる。
【0087】
予測信号生成部330は、フィルタリング部320でフィルタリングされた復元信号及びインジケータ310に基づいて、復号化対象信号の予測信号を生成する。予測信号生成部330は、インジケータ310に含まれた符号化過程で使われた予測信号生成方法に基づいて復号化対象信号の予測信号を生成することができる。予測信号生成部330は、ラインベースの画面内予測、テンプレート照合、変位画面内予測、階層間画面内予測、及び時点間画面内予測のうち一つを介して復号化対象信号の予測信号を生成することができる。予測信号生成部330は、符号化過程の予測信号生成部120で適用した予測信号生成方法と同様の方法を適用して復号化対象信号の予測信号を生成することができる。
【0088】
復号化部340は、残余信号を復号化せずに予測信号を用いて復号化対象信号を復号化する。復号化部340は、復号化対象信号で残余信号を復号化しないことによって復号化対象信号を省略復号化する。復号化部340は、残余信号に対する変換復号化、量子化、及びエントロピ復号化を実行しない。
【0089】
図4は、本発明の一実施例に係る省略符号化を用いた映像符号化方法のフローチャートである。
【0090】
410ステップで、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、画面内予測の実行において、符号化対象映像内で符号化対象信号より先に復元された復元信号に対してフィルタリングを実行する。この時、フィルタリングは、低域通過フィルタ、ジブロッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つを用いて実行されることができる。この時、フィルタリングは、低域通過フィルタ、ジブロッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つ以上を段階的に実行することができる。
【0091】
420ステップで、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、フィルタリングされた復元信号を用いて符号化対象信号の予測信号を生成する。この時、予測信号の生成は、ラインベースの画面内予測、テンプレート照合、変位画面内予測、階層間画面内予測、及び時点間画面内予測のうち一つを介して実行されることができる。
【0092】
430ステップで、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、生成された予測信号を符号化対象信号の復元信号に設定する。設定された復元信号は、符号化対象映像の次の(next)符号化対象信号の符号化時に使われることができる。
【0093】
440ステップで、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、残余信号を符号化しないことによって符号化対象信号を省略符号化する。
【0094】
前述したように、符号化された映像データは、
図3に示すような映像復号化装置で伝達され、映像復号化装置では前述した映像符号化方法(
図4参照)に対応し、
図3に関する説明で詳細に説明したような映像復号化方法を実行することができる。
【0095】
本発明の実施例に係る方法は、多様なコンピュータ手段を介して実行されることができるプログラム命令形態に具現され、コンピュータ読み取り可能媒体に記録されることができる。前記コンピュータ読み取り可能媒体は、プログラム命令、データファイル、データ構造などを単独にまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであり、或いはコンピュータソフトウェア当業者に公知されて使用可能になるものである。
【0096】
以上のように、本発明は、限定された実施例と図面により説明したが、前記実施例に限定されるものではなく、本発明が属する分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。
【0097】
従って、本発明の範囲は、説明された実施例に限定されて決まってはならず、添付の特許請求の範囲だけでなく、特許請求の範囲と均等なものにより決まらなければならない。