【文献】
Chih-Ming Fu et al.,CE8 Subset3: Picture Quadtree Adaptive Offset,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,4th Meeting: Daegu, KR,2011年 1月,JCTVC-D122_r3,pp.1-10
【文献】
Chih-Ming Fu et al.,CE13: Sample Adaptive Offset with LCU-Independent Decoding,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,5th Meeting: Geneva, CH,2011年 3月,JCTVC-E049,pp.1-6
【文献】
Thomas Wiegand et al.,WD3: Working Draft 3 of High-Efficiency Video Coding,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,2011年 6月13日,JCTVC-E603_d6,pp.i-iii, 41-42, 70,URL,http://phenix.it-sudparis.eu/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E603-v6.zip
【文献】
Chih-Ming Fu et al.,Sample Adaptive Offset with LCU-based Syntax,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,6th Meeting: Torino, IT,2011年 7月,JCTVC-F056_r3,pp.1-6
【文献】
Woo-Shik Kim and Do-Kyoung Kwon,CE8 Subset c: Necessity of Sign Bits for SAO Offsets,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,8th Meeting: San Jose, CA, USA,2012年 2月,JCTVC-H0434_r1,pp.1-10
【文献】
Benjamin Bross et al.,High efficiency video coding (HEVC) text specification draft 6,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,2012年 2月,JCTVC-H1003_dJ,pp.i-x, 23-24, 30-31, 71-72, 154-156,URL,http://phenix.it-sudparis.eu/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v20.zip
(58)【調査した分野】(Int.Cl.,DB名)
前記オフセット併合情報によって前記現在ブロックのオフセットパラメータが前記隣接ブロックのオフセットパラメータから決定される場合、前記ビットストリームから前記現在ブロックのオフセットパラメータをパージングしない、
ことを特徴とする請求項1に記載のビデオ復号化方法。
【発明を実施するための形態】
【0008】
本発明の一実施形態によるビデオ復号化方法は、受信したビットストリームから、ビデオのブロックのうち、現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータが同一であるか否かを示すオフセット併合情報をパージングする段階と、前記オフセット併合情報に基づいて、前記現在ブロックのオフセット・パラメータのうち、オフセットタイプ及びオフセット値を復元する段階と、前記オフセットタイプが示す前記現在ブロックのエッジタイプまたはピクセル値バンドタイプに基づいて、前記復元ピクセルのエッジクラスまたはピクセル値バンドを決定する段階と、前記オフセット値から、前記復元ピクセルのエッジクラスまたはピクセル値バンドに対応するオフセット値を決定し、前記復元ピクセルのピクセル値を、前記オフセットほど調整する段階と、を含む。
【0009】
以下、
図1ない
図7を参照し、一実施形態による、ピクセル分類によるオフセット調整を利用するビデオ符号化技法及びビデオ復号化技法を開示する。また、タイプないし
図20を参照して、一実施形態によるツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法において、ピクセル分類によるオフセット調整が利用される実施形態を開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すものである。
【0010】
まず、
図1ないし
図7を参照し、一実施形態による、ピクセル分類によるオフセット調整を利用するビデオ符号化技法及びビデオ復号化技法を開示する。
【0011】
図1は、一実施形態によるビデオ符号化装置10のブロック図である。一実施形態によるビデオ符号化装置10は、オフセット決定部12及びオフセット・パラメータ符号化部14を含む。
【0012】
一実施形態によるビデオ符号化装置10は、ビデオの映像を入力され、それぞれの映像をブロックに区画し、ブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位において、最大符号化単位、符号化単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化/復号化方式は、
図8ないし
図20を参照して後述する。
【0013】
一実施形態によるビデオ符号化装置10は、映像ブロック別に、イントラ予測、インター予測、変換、量子化を行ってサンプルを生成し、サンプルに対してエントロピー符号化を行い、ビットストリームのタイプとして出力することができる。
【0014】
一実施形態によるビデオ符号化装置10は、原本映像のピクセル(原本ピクセル)と、復元映像のピクセル(復元ピクセル)との誤差を最小化するため、原本ピクセルと復元ピクセルとの差値を示すオフセット値を符号化することができる。
【0015】
一実施形態による符号化装置10は、ピクチャ、スライス、ブロックなど所定データ単位別にオフセット値を決定することができる。オフセット値と、オフセットタイプとを含むオフセット・パラメータも、所定データ単位別に符号化される。
【0016】
一実施形態によるオフセット決定部12は、現在ブロックのエッジタイプまたはピクセル値バンドタイプを決定する。現在ブロックのピクセル特性により、現在ブロックをエッジタイプによってピクセルを分類するか、あるいはピクセル値バンド形態によってピクセルを分類することが適するか否かを決定することができる。
【0017】
一実施形態によるエッジタイプは、復元ピクセルが隣接ピクセルと形成するエッジの方向及び大きさを示すことができる。また、一実施形態によるピクセル値バンドタイプは、現在ブロックのピクセル値の総範囲バンドが、所定個数のバンドに分割されるとき、ピクセル値バンドの総個数、各バンドの範囲などを示すことができる。
【0018】
一実施形態によるオフセット決定部12は、現在ブロックのオフセット値が、エッジタイプによって決定される場合、復元ピクセルごとに、属するエッジクラスを決定することができる。一実施形態によるエッジクラスは、現在復元ピクセルが、エッジのピクセルであるか否かを示す。例えば、エッジクラスは、現在復元ピクセルがエッジの極点であるか、エッジを構成するエッジピクセルであるか、あるいはエッジを構成するピクセルではないかということなどを示すことができる。
【0019】
一実施形態によるオフセット決定部12は、現在ブロックのオフセット値が、エッジタイプによって決定される場合、現在復元ピクセルのピクセル値と、エッジ方向及びエッジサイズによって、現在復元ピクセルに隣接して位置する隣接ピクセルのピクセル値と、を比較し、現在復元ピクセルがエッジピクセルであるか否かを示すエッジクラスを決定することができる。
【0020】
一実施形態によるオフセット決定部12は、現在ブロックのオフセット値が、ピクセル値バンドタイプによって決定される場合、復元ピクセルごとに、属するピクセル値バンドを決定することができる。一実施形態によるピクセル値バンドは、多数のピクセル値バンドのうち、現在復元ピクセルのピクセル値が属するピクセル値バンドを示す。多数のピクセル値バンドは、均等なピクセル値範囲によって分割される。また、非均等範囲によって、ピクセル値バンドが分割されてもよい。すなわち、オフセット決定部12は、多数のバンドのうち、現在復元ピクセルのピクセル値が属するピクセル値範囲を示すピクセル値バンドを決定することができる。
【0021】
一実施形態によるオフセット決定部12は、復元ピクセルと同一であるエッジクラスまたはピクセル値バンドに含まれる復元ピクセルと原本ピクセルとの差値を利用して、復元ピクセルのエッジクラスまたはピクセル値バンドに対応するオフセット値を決定する。
【0022】
一実施形態によるオフセット決定部14は、現在エッジクラスと同一であるエッジクラスまたは現在ピクセル値バンドと同一であるピクセル値バンドに含まれる復元ピクセルと原本ピクセルとの差値の平均、すなわち、復元ピクセルの平均誤差を、現在エッジクラスまたは現在ピクセル値バンドに対応するオフセット値として決定することができる。
【0023】
オフセット決定部12は、現在ブロック内の復元ピクセルごとに、エッジクラスまたはピクセル値バンドを決定することができる。これにより、オフセット決定部12は、ブロック内のエッジクラスごとに対応するそれぞれのオフセット値を決定することができる。また、オフセット決定部12は、ブロック内のピクセル値バンドごとに、対応するそれぞれのオフセット値を決定することができる。
【0024】
一実施形態によるオフセット・パラメータ符号化部14は、各ブロックのオフセットタイプ及びオフセット値を符号化することができる。一実施形態によるオフセットタイプは、各ブロックのエッジタイプまたはピクセル値バンドタイプを示す。
【0025】
各ブロックのオフセット・パラメータは、各ブロックのオフセットタイプと、オフセット値とを含んでもよい。オフセットタイプがエッジタイプである場合、オフセット・パラメータは、エッジクラスにおいて各エッジクラスごとに、対応するオフセット値を含んでもよい。また、オフセットタイプがピクセル値バンドタイプである場合、オフセット・パラメータは、ピクセル値バンドのうち各バンドごとに、対応するオフセット値を含んでもよい。すなわち、オフセット・パラメータ符号化部14は、各ブロックごとに、オフセット・パラメータを符号化することができる。
【0026】
一実施形態によるオフセット・パラメータ符号化部14は、現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータの同一性に基づいて、現在ブロックのオフセット・パラメータの符号化いかんを示す現在ブロックのオフセット併合情報を符号化することができる。
【0027】
一実施形態によるオフセット・パラメータ符号化部14は、現在ブロックの左側ブロック及び上端ブロックのうち、少なくとも1つのオフセット・パラメータが、現在ブロックのオフセット・パラメータと同一であれば、現在ブロックのオフセット・パラメータを除き、オフセット併合情報だけ符号化することもできる。
【0028】
一実施形態によるオフセット・パラメータ符号化部14は、現在ブロックの左側ブロック及び上端ブロックのオフセット・パラメータが、現在ブロックのオフセット・パラメータと異なれば、現在ブロックのオフセット併合情報と、オフセット・パラメータとを符号化することができる。
【0029】
一実施形態によるオフセット・パラメータ符号化部14は、隣接ブロックのオフセット・パラメータのうち一部情報だけ現在ブロックのオフセット・パラメータと同一であれば、1ビットのオフセット併合情報を符号化し、現在オフセット・パラメータのうち、隣接ブロックのオフセット・パラメータと同一である一部情報を除外した残りの情報のみを符号化することもできる。例えば、現在ブロックと隣接ブロックとのオフセット値のみ同一であれば、現在ブロックのために、1ビットのオフセット併合情報及びオフセットタイプだけ符号化される。
【0030】
一実施形態によるオフセット・パラメータ符号化部14は、隣接ブロックのオフセット値と現在オフセットとの差分情報を符号化することができる。
【0031】
一実施形態によるオフセット・パラメータ符号化部14は、オフセットが0である場合、オフセットを除外したまま、残りのオフセット・パラメータを符号化することもできる。
【0032】
一実施形態によるオフセット・パラメータ符号化部14は、現在ブロックのルマ成分及びクロマ成分のうち少なくとも1つのカラー成分は、それぞれのオフセット・パラメータを相互参照して予測符号化することができる。例えば、ルマ成分及びクロマ成分は、いずれもオフセット・パラメータを共有したり、あるいは相互参照し、予測符号化される。他の例として、第1クロマ成分及び第2クロマ成分は、オフセット・パラメータを共有したり、あるいは相互参照し、予測符号化される。
【0033】
一実施形態によるビデオ符号化装置10は、オフセット決定部12及びオフセット・パラメータ符号化部14を総括的に制御する中央プロセッサ(図示せず)を含んでもよい。または、オフセット決定部12及びオフセット・パラメータ符号化部14がそれぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が相互有機的に作動することにより、ビデオ符号化装置10が全体的に作動することもできる。または、一実施形態によるビデオ符号化装置10の外部プロセッサ(図示せず)の制御により、オフセット決定部12及びオフセット・パラメータ符号化部14が制御されもする。
【0034】
一実施形態によるビデオ符号化装置10は、オフセット決定部12及びオフセット・パラメータ符号化部14の入出力データが保存される一つ以上のデータ保存部(図示せず)を含んでもよい。ビデオ符号化装置10は、データ保存部(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含んでもよい。
【0035】
一実施形態によるビデオ符号化装置10は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディング・プロセッサ、または外部ビデオエンコーディング・プロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。一実施形態によるビデオ符号化装置10の内部ビデオエンコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ符号化装置10、中央演算装置またはグラフィック演算装置がビデオエンコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含んでもよい。
【0036】
図2は、一実施形態によるビデオ復号化装置20のブロック図である。
【0037】
一実施形態によるビデオ復号化装置20は、オフセット・パラメータ・パージング部22及びオフセット調整部24を含む。
【0038】
一実施形態によるビデオ復号化装置20は、ビデオの符号化されたデータを含むビットストリームを受信する。ビデオ復号化装置20は、受信したビットストリームから、符号化されたビデオサンプルをパージングし、映像ブロック別に、エントロピー復号化、逆量子化、逆変換、予測及び動き補償を行って復元ピクセルを生成し、結果として、復元映像を生成することができる。また、一実施形態によるビデオ復号化装置20は、原本ピクセルと復元ピクセルとの差値を示すオフセット値を受信し、原本映像と復元映像との誤差を最小化することができる。
【0039】
一実施形態によるオフセット・パラメータ・パージング部22は、ビットストリームから、ビデオのブロックのうち、現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータが同一であるか否かを示すオフセット併合情報をパージングすることができる。
【0040】
一実施形態によるオフセット・パラメータ・パージング部22は、現在ブロックのオフセット併合情報に基づいて、現在ブロックのオフセット・パラメータのうち、オフセットタイプ及びオフセット値を復元することができる。
【0041】
例えば、オフセット・パラメータ・パージング部22は、現在ブロックのオフセット併合情報に基づいて、現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータが異なるものであるならば、ビットストリームから、現在ブロックのオフセット・パラメータをパージングして復元することができる。しかし、オフセット・パラメータ・パージング部22は、現在ブロックのオフセット併合情報に基づいて、現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータが同一であるならば、ビットストリームから、現在ブロックのオフセット・パラメータをパージングすることなく、隣接ブロックのオフセット・パラメータを利用して、現在ブロックのオフセット・パラメータを復元することができる。
【0042】
一実施形態によるオフセット調整部24は、現在ブロックのオフセットタイプが示す現在ブロックのエッジタイプまたはピクセル値バンドタイプに基づいて、復元ピクセルのエッジクラスまたはピクセル値バンドを決定することができる。
【0043】
一実施形態によるオフセット調整部24は、現在ブロックのオフセット値から、復元ピクセルのエッジクラスまたはピクセル値バンドに対応するオフセット値を決定することができる。オフセット調整部24は、復元ピクセルのピクセル値をオフセットほど調整することができる。
【0044】
一実施形態によるオフセット調整部24は、現在ブロックのあらゆる復元ピクセルごとに、エッジクラスまたはピクセル値バンドを決定することができる。これにより、オフセット調整部24は、復元されたオフセット値のうち、それぞれの復元ピクセルごとに決定されたエッジクラスまたはピクセル値バンドに対応するオフセット値を決定し、復元ピクセルをそれぞれのオフセットほど調整することができる。
【0045】
一実施形態によるオフセット調整部24は、現在ブロックのオフセットタイプがエッジタイプである場合、エッジ方向及びエッジサイズによって位置する現在復元ピクセルの隣接ピクセルと、現在ブロックピクセルとのピクセル値を比較し、現在復元ピクセルのエッジクラスを決定することができる。これにより、オフセット調整部24は、オフセット値のうち、現在復元ピクセルのエッジクラスに対応するオフセット値を決定することができる。オフセット調整部24は、現在エッジクラスと同一であるエッジクラスに含まれる復元ピクセルに対して、復元ピクセルと原本ピクセルとの差値の平均を算出し、現在復元ピクセルに対応するオフセットとして決定することができる。
【0046】
一実施形態によるオフセット調整部24は、現在ブロックのオフセットタイプがピクセル値バンドタイプである場合、多数のバンドのうち、現在復元ピクセルのピクセル値が属するピクセル値バンドを決定することができる。これにより、オフセット調整部24は、復元されたオフセット値のうち、現在復元ピクセルのピクセル値バンドに対応するオフセット値を決定することができる。オフセット調整部24が復元したオフセット値のうち選択されたオフセットは、現在ピクセル値バンドと同一であるピクセル値バンドに含まれる復元ピクセルの原本ピクセルに対する差値の平均でもある。
【0047】
オフセット・パラメータ・パージング部22についてさらに説明するならば、オフセット併合情報に基づいて、現在ブロックの左側ブロック及び上端ブロックのうち、少なくとも1つのオフセット・パラメータが、現在ブロックのオフセット・パラメータと同一であるならば、現在ブロックの左側ブロック及び上端ブロックのうち少なくとも1つのオフセット・パラメータと同一に、現在ブロックのオフセット・パラメータが復元される。オフセット併合情報に基づいて、隣接ブロックのうちいずれのブロックのオフセット・パラメータを参照するかということも決定することができる。
【0048】
また、オフセット併合情報に基づいて、現在ブロックの左側ブロック及び上端ブロックのオフセット・パラメータが、現在ブロックのオフセット・パラメータと異なれば、オフセット・パラメータ・パージング部22は、ビットストリームから、現在ブロックのオフセット・パラメータをパージングして復元することができる。
【0049】
また、オフセット・パラメータ・パージング部22は、ビットストリームからパージングした1ビットのオフセット併合情報が、隣接ブロックのオフセット・パラメータのうち一部情報のみ現在ブロックのオフセット・パラメータと同一であるということを示しているならば、隣接ブロックのオフセット・パラメータのうち一部情報を利用して、現在ブロックのオフセット・パラメータのうち一部情報を復元することができる。現在ブロックのオフセット・パラメータのうち残りの情報は、ビットストリームからパージングされて復元される。
【0050】
また、オフセット・パラメータ・パージング部22は、ビットストリームから、オフセット値の差分値をパージングし、復元することができる。その場合、オフセット・パラメータ・パージング部22は、隣接ブロックのオフセット値と、現在ブロックのオフセット値との差分情報を組み合わせ、現在ブロックのオフセット値を予測復元することができる。
【0051】
また、オフセット・パラメータ・パージング部22は、オフセット・パラメータが、少なくとも1つのオフセット値を含むものでなければ、オフセット値を0として復元することができる。
【0052】
一実施形態によるオフセット・パラメータ・パージング部22は、現在ブロックのルマ成分及びクロマ成分のうち少なくとも1つのカラー成分は、それぞれのオフセット・パラメータを相互参照して予測復元することができる。例えば、ルマ成分及びクロマ成分は、いずれもオフセット・パラメータを共有したり、あるいは参照して復元される。他の例として、第1クロマ成分及び第2クロマ成分は、相互オフセット・パラメータを共有したり、あるいは参照して予測復元される。
【0053】
一実施形態によるスケーラブルビデオ復号化装置20は、オフセット・パラメータ・パージング部22及びオフセット調整部24を総括的に制御する中央プロセッサ(図示せず)を含んでもよい。または、オフセット・パラメータ・パージング部22及びオフセット調整部24が、それぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が相互有機的に作動することにより、ビデオ復号化装置20が全体的に作動されもする。または、一実施形態によるビデオ復号化装置20の外部プロセッサ(図示せず)の制御により、オフセット・パラメータ・パージング部22及びオフセット調整部24が制御されもする。
【0054】
一実施形態によるビデオ復号化装置20は、オフセット・パラメータ・パージング部22及びオフセット調整部24の入出力データが保存される一つ以上のデータ保存部(図示せず)を含んでもよい。ビデオ復号化装置20は、データ保存部(図示せず)のデータ入出力を管轄するメモリ制御部(図示せず)を含んでもよい。
【0055】
一実施形態によるビデオ復号化装置20は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディング・プロセッサ、または外部ビデオデコーディング・プロセッサと連繋して作動することにより、ビデオ復号化動作を遂行することができる。一実施形態によるビデオ復号化装置20の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ復号化装置20、中央演算装置またはグラフィック演算装置がビデオデコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。
【0056】
一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、原本ピクセルと復元ピクセルとの誤差を最小化するために、SAO(sample adaptive offset)技法を利用する。一実施形態によるSAO技法により、ビデオ符号化装置10は、映像ブロックごとに、ピクセルを既定ピクセルグループに分類し、各ピクセルを、当該ピクセルグループに割り当て、同一のピクセルグループに含まれた原本ピクセルと復元ピクセルとの誤差の平均値を示すオフセット値を符号化する。
【0057】
ビデオ符号化装置10と、ビデオ復号化装置20との間で、サンプルがシグナリングされる。すなわち、ビデオ符号化装置10は、サンプルを符号化し、ビットストリームのタイプによって伝送し、ビデオ復号化装置20は、受信したビットストリームから、サンプルをパージングして復元することができる。一実施形態によって、ビデオ符号化装置10とビデオ復号化装置20は、ピクセル分類を介して決定されたオフセットほど復元ピクセル値を調整し、原本ピクセルと復元ピクセルとの誤差を最小化するために、オフセット・パラメータをシグナリングする。ビデオ符号化装置10及びビデオ復号化装置20の間で、オフセット・パラメータとしてオフセット値が符号化されて送信され、受信されて復号化されるシグナリングが行われる。
【0058】
従って、一実施形態によるSAO技法により、ビデオ復号化装置20は、受信されたビットストリームを復号化し、映像ブロックごとに復元ピクセルを生成し、ビットストリームからオフセット値を復元し、復元ピクセルを当該オフセットほど調整することにより、原本映像との誤差が最小化された復元映像を生成することができる。
【0059】
以下、一実施形態によるSAO技法のために、ピクセルをピクセルグループに分類する実施形態について説明する。一実施形態によるSAO技法によれば、(i)復元ピクセルが構成するエッジタイプによって、ピクセルが分類されるか、あるいは、(ii)復元ピクセルのピクセル値バンドタイプによって、ピクセルが分類される。一実施形態による、ピクセルがエッジタイプによって分類されるか、あるいはピクセル値バンドタイプによって分類されるかということは、オフセットタイプによって定義される。
【0060】
まず、一実施形態によるSAO技法により、エッジタイプによってピクセルを分類する実施形態について説明する。
【0061】
現在ブロックに対して決定された現在エッジタイプにより、現在ブロックに含まれた各復元ピクセルのエッジクラスが決定される。すなわち、現在復元ピクセルと隣接ピクセルとのピクセル値を比較し、現在復元ピクセルのエッジクラスが定義される。
【0062】
例えば、下記の<プロセス1>によって、エッジクラスが決定される。
【0063】
<プロセス1>
Class = 0;
for i, j ∈ Ω
if Rec(i, j) < Rec(x, y) then Class ++
if Rec(i, j) < Rec(x, y) then Class --
現在復元ピクセルRec(x,y)のx及びyが、それぞれ水平座標及び垂直座標を示し、現在復元ピクセルRec(x,y)に隣接する隣接ピクセルRec(i,j)のi及びjが、それぞれ水平座標及び垂直座標を示す。Ωは、現在復元ピクセルとの比較対象になる隣接ピクセルRec(i,j)が位置する空間範囲を示す。すなわち、<プロセス1>によれば、現在復元ピクセルのRec(x,y)のエッジクラスClassは、隣接ピクセルRec(i,j)の個数によって決定される。所定空間範囲内に位置する隣接ピクセルRec(i,j)のうち、現在復元ピクセルRec(x,y)よりピクセル値が大きい隣接ピクセルRec(i,j)の個数によって、エッジクラスClassが増加し、現在復元ピクセルRec(x,y)よりピクセル値が小さい隣接ピクセルRec(i,j)の個数によって、エッジクラスClassが減少する。
【0064】
隣接ピクセルRec(i,j)が位置する<隣接ピクセル範囲Ω>は、下記のように定義される。
【0065】
<最大隣接ピクセル範囲>
(i, j) ∈ Ω, but (i, j) ≠ (x, y)
x-M ≦ i ≦ x+M, & y-M ≦ j ≦ y+M
Mは、現在復元ピクセルから隣接ピクセルまでの最大水平/垂直距離を示す。従って、最大隣接ピクセル範囲は、現在復元ピクセル周囲に位置する最大(4M^2+4M)個の隣接ピクセルを含んでもよい。その場合、エッジクラスClassの範囲は、最小(4M^2+4M)から最大(4M^2+4M)の範囲まで可能である。エッジクラスClassの範囲のうち中央値は、現在復元ピクセルがエッジピクセルではないエッジ周囲に位置するピクセルであるということを示すことができる。隣接ピクセル範囲Ω内の隣接ピクセルの個数は、エッジタイプによって増加したり、あるいは減少する。演算量を縮小させるためには、Mが1であることが望ましい。
【0066】
例えば、エッジタイプが垂直エッジである場合、現在復元ピクセルは、水平方向に位置した隣接ピクセルのみピクセル値と比較される。すなわち、垂直エッジの隣接ピクセル範囲Ωは、下記のように決定される。
【0067】
<垂直エッジの隣接ピクセル範囲>
(i, j) ∈ Ω, but (i, j) ≠ (x, y)
x-M ≦ i ≦ x+M, & j = y
隣接ピクセル範囲Ωのタイプ及び大きさは、範囲内ピクセルが形成する垂直エッジ、水平エッジ、対角エッジ、最高点(strict maximum)、最低点(strict minimum)のようなエッジタイプによって決定される。エッジクラス値は、エッジを構成するピクセルであるか、エッジ周囲に位置するピクセルであるかということを示す。従って、エッジタイプ及びエッジクラスの組み合わせによって、エッジを構成するピクセル値を修正するためのオフセットが決定されるので、エッジタイプ及びエッジクラスの組み合わせによって、ピクセルグループが定義される。
【0068】
エッジタイプによって、隣接ピクセル範囲Ωに含まれる隣接ピクセルの個数が決定され、エッジクラス値は、隣接ピクセルの個数の範囲内で決定される。従って、ビデオ符号化装置10及びビデオ復号化装置20は、現在エッジタイプのエッジクラスごとに、対応するオフセット値を符号化して送受信し、復元ピクセルをオフセット値ほど調整することができる。以下、所定エッジタイプによるエッジクラスの個数を、符号化してビデオ復号化装置20に伝送されるオフセット値のレングス(length)とする。
【0069】
エッジタイプ及びエッジクラスの所定組み合わせのためのオフセット値、すなわち、現在エッジタイプのエッジクラスNのためのオフセット値が0にあらかじめ決定される場合には、オフセット値が符号化され、ビデオ復号化装置20に伝送される必要がない。その場合、エッジタイプ及びエッジクラスの所定組み合わせのためのレングスが減少する。
【0070】
従って、一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、エッジタイプのような映像特性によってピクセルを分類し、同一特性のピクセル間の平均誤差値をオフセットとして決定し、復元ピクセルをオフセットほど調整することにより、原本映像と復元映像との誤差を最小化することができる。
【0071】
図3は、一実施形態によるピクセル分類のためのエッジタイプ(Type)及びレングス(Length)を図示している。
【0072】
エッジタイプ31,32,33,34,35,36は、それぞれインデックスが順に5、4、0、1、2、3に割り当てられる。エッジタイプの発生頻度が高いほど、エッジタイプのインデックスは小さく割り当てられる。インデックス5のエッジタイプ31で、現在復元ピクセルX0と、これに隣接した8個の隣接ピクセルX1,X2,X3,X4,X4,X5,X6,X7,X8とのピクセル値を比較し、現在復元ピクセルX0のエッジクラスが決定される。その場合、現在復元ピクセルX0に割り当てられるエッジクラスの個数が17個であるので、レングスが17に決定される。
【0073】
このように、インデックス4のエッジタイプ32において、現在復元ピクセルX0に、水平/垂直方向に隣接する4個の隣接ピクセルX1,X2,X3,X4と、現在復元ピクセル値とを比較し、決定されるエッジクラスの個数が9であるので、レングスが9に決定される。
【0074】
また、インデックス0のエッジタイプ33において、現在復元ピクセルX0に、水平方向に隣接する2個の隣接ピクセルX1,X2と、現在復元ピクセル値とを比較し、決定されるエッジクラスの個数が5であるので、レングスが5に決定される。
【0075】
また、インデックス1のエッジタイプ34において、現在復元ピクセルX0に、垂直方向に隣接する2個の隣接ピクセルX3,X4と、現在復元ピクセル値とを比較し、決定されるエッジクラスの個数が5であるので、レングスが5に決定される。
【0076】
また、インデックス2のエッジタイプ35において、現在復元ピクセルX0に、135°対角方向に隣接する2個の隣接ピクセルX5,X8と、現在復元ピクセル値とを比較し、決定されるエッジクラスの個数が5であるので、レングスが5に決定される。
【0077】
また、インデックス3のエッジタイプ36において、現在復元ピクセルX0に、45°対角方向に隣接する2個の隣接ピクセルX6,X7と、現在復元ピクセル値とを比較し、決定されるエッジクラスの個数が5であるので、レングスが5に決定される。
【0078】
例えば、インデックス0のエッジタイプ33のように、エッジタイプが垂直エッジであり、現在復元ピクセルX0と、水平方向に2個の隣接ピクセルX1,X2とのピクセル値を比較する場合、現在復元ピクセルX0のエッジクラスClassは、下記の<プロセス2>のように決定される。
【0079】
<プロセス2>
(1) IF(X0>X1 and X0<X2) then Class = 2
(2) IF(X0>X1 and X1==X2) or (X0==X1 and X1>X2) then Class = 1;
(3) IF(X0==X1 and X1==X2) or (X0==X1 and X1==X2) then Class = 0;
(4) IF(X0<X1 and X1==X2) or (X0==X1 and X1<X2) then Class = -1;
(5) IF(X0<X1 and X0<X2) then Class = -2;
<プロセス2>によれば、それぞれ現在復元ピクセルX0が、(1)エッジの極大点、(2)凸型エッジのピクセル、(3)エッジ部分ではないピクセル、(4)凹型エッジのピクセル、(5)エッジの極小点である場合、当該エッジクラスが決定される。エッジクラス値が0である場合、オフセット値が0である可能性が高いので、復元ピクセルのエッジクラスが符号化されないこともある。
【0080】
次に、一実施形態によるSAO技法により、ピクセル値バンドタイプによって、ピクセルを分類する実施形態について説明する。
【0081】
一実施形態によって、復元ピクセルのピクセル値は、それぞれピクセル値バンドのうち一つに属する。例えば、ピクセル値の最小値Min及び最大値Maxは、pビットサンプリングにより、総範囲が0,…,2^(p−1)でもある。ピクセル値範囲(Min,Max)は、K個のピクセル値バンドに分割され、B
kがk番目のピクセル値バンドの最大値を示す場合、ピクセル値バンドは、[B
0,B
1−1],[B
1,B
2−1],[B
2,B
3−1],…,[B
K−1,B
K]に分割される。現在復元ピクセルRec(x,y)のピクセル値が[B
k−1,B
k]に属する場合、現在ピクセル値バンドは、kと決定される。
【0082】
ピクセル値バンドは、均等なタイプに分割されるか、あるいは非均等タイプに分割される。かようなピクセル値バンドタイプは、ピクセル値の実際最小値Min及び最大値Maxを考慮して決定される。その場合には、ピクセル値バンドの分割基準が、ビデオ符号化装置10及びビデオ復号化装置20の間で符号化されてシグナリングされる。ピクセル値バンドをピクセル値の理論的範囲{0,…,2
p−1}によって分割される場合には、ピクセル値バンドタイプは、符号化することなく、決定される。かようなピクセル値バンドタイプがオフセットタイプと定義される。
【0083】
ピクセル値バンドタイプによって分類された多数のピクセル値バンドのうち、復元ピクセルごとに、それぞれのピクセル値が属するピクセル値バンドが決定される。また、それぞれのピクセル値バンドごとに、原本ピクセルと復元ピクセルとの誤差の平均を示すオフセット値が決定される。
【0084】
従って、ビデオ符号化装置10及びビデオ復号化装置20は、現在ピクセル値バンドタイプによって分類されたピクセル値バンドごとに、対応するオフセットを符号化して送受信し、復元ピクセルをオフセットほど調整することができる。また、オフセット値のレングスは、ピクセル値バンドの個数と同一であり、ビデオ符号化装置10は、レングスを符号化してビデオ復号化装置20に伝送する。
【0085】
ピクセル値バンドタイプ及びピクセル値バンドの所定組み合わせのためのオフセット値、すなわち、現在ピクセル値バンドタイプのk番目のピクセル値バンドのためのオフセット値が0にあらかじめ決定される場合には、オフセット値が符号化され、ビデオ復号化装置20に伝送される必要がない。その場合、エッジタイプ及びエッジクラスの所定組み合わせのためのレングスが減少する。
【0086】
例えば、ピクセル値分類タイプが8ビットピクセルの均等バンドである場合、ピクセル値は、32個のピクセル値バンドに分割される。具体的には、[0,7],[8,15],…,[240,247],[248,255]のピクセル値バンドに分類される。その場合、レングスが32である。
【0087】
ピクセル値バンドの総個数、すなわち、レングスが2の累乗である場合、一実施形態によるピクセル値バンドタイプによってピクセルを分類するための演算量が最小化される。
【0088】
従って、一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、ピクセル値バンドタイプのような映像特性によってピクセルを分類し、同一特性のピクセル間の平均誤差値をオフセットとして決定し、復元ピクセルをオフセットほど調整することにより、原本映像と復元映像との誤差を最小化することができる。
【0089】
一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、所定領域ごとに、オフセットタイプ及びオフセット値を決定することができる。ビデオ符号化装置10は、領域に含まれたピクセルごとに、原本ピクセル値と復元ピクセル値との誤差を決定し、ピクセル誤差の平均をオフセット値として決定することができる。迅速な演算のために、ビデオ符号化装置10及びビデオ復号化装置20は、ブロックごとにオフセット値を決定し、シグナリングすることができる。
【0090】
各ブロックの映像特性によって、オフセットタイプが決定される。例えば、垂直エッジ、水平エッジ、対角エッジなどを含むブロックは、エッジ値修正のために、エッジタイプによってピクセル値を分類し、オフセット値を決定する方が有利である。エッジブロックではない場合には、ピクセル値バンド分類によってオフセット値を決定する方が有利でもある。従って、ビデオ符号化装置10及びビデオ復号化装置20は、ブロックごとに、オフセットタイプをシグナリングすることができる。
【0091】
一実施形態によるオフセット・パラメータは、オフセットタイプ、オフセット値、レングス及びオフセットクラスを含んでもよい。レングスはbオフセットタイプによって決定される。一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、同一の原理により、オフセットタイプに対応するオフセットクラスを決定することができる。
【0092】
従って、一実施形態によるビデオ符号化装置10は、オフセット・パラメータのうち、オフセットタイプ及びオフセット値を符号化して伝送し、ビデオ復号化装置20は、オフセットタイプ及びオフセット値を受信し、オフセットタイプを基にして、レングス及びオフセットクラスを決定することができる。また、ビデオ復号化装置20は、受信したオフセット値のうち、レングスまたはオフセットクラスに対応するオフセット値を選択し、復元ピクセルをオフセット値ほど調整することができる。
【0093】
一実施形態によるビデオ符号化装置10は、オフセットタイプを符号化するために、オフセットタイプの発生頻度(hit ratio of appearance)によって、オフセットタイプのインデックスを決定することができる。例えば、オフセットタイプのうち、発生頻度が高いタイプのインデックスであればあるほど、さらに短いコードワードを有するように符号化される。
【0094】
ビデオ符号化装置10及びビデオ復号化装置20が、エッジタイプ及びピクセル値バンドタイプによるピクセル分類をいずれも含んだオフセットタイプのうち、採択することができるオフセットタイプのインデックスの一例は、次の通りである:
(i)SAO技法を利用しない場合のオフセットタイプは、−1;
(ii)垂直方向の3ピクセルから構成されたエッジタイプのオフセットタイプは、0;
(iii)水平方向の3ピクセルから構成されたエッジタイプのオフセットタイプは、1;
(iv)135°対角方向の3ピクセルから構成されたエッジタイプのオフセットタイプは、2;
(v)45°対角方向の3ピクセルから構成されたエッジタイプのオフセットタイプは、3;
(vi)ピクセル値バンドタイプのオフセットタイプは、4
前述の(ii)オフセットタイプが0である場合、エッジクラスは{−2,−1,1,2}に符号化される。エッジクラス0は、符号化される必要がないので、レングスは、4である。前述の(vi)オフセットタイプが4であり、ピクセル値バンドの個数が32である場合、レングスは、32である。
【0095】
図4は、一実施形態によるオフセット値の符号化過程を図示している。
【0096】
一実施形態によって、ビデオ符号化装置10及びビデオ復号化装置20の間でシグナリングされるために符号化/復号化されるオフセット値は、0である可能性が高い。0ではないオフセット値は、正または負の符号(sign)を有する。従って、一実施形態によるビデオ符号化装置10は、現在オフセット値が0であるか否かを判断し(段階41)、現在オフセット値が0ではないならば、オフセット値が0より大きいか否かを判断する(段階42)。現在オフセット値が0より大きければ、符号ビット「0」が符号化され(段階44)、オフセット値が0より大きくなければ、符号ビット「1」が符号化される(段階43)。符号ビットが符号化された後、オフセット値の絶対値から1を減じた値を単項二進化して生成されたビット列が、さらに符号化される(段階45)。ビデオ符号化装置10は、段階41で、現在オフセット値が0であるならば、最終的に0を符号化し(段階46)、オフセット値の符号化を完了することができる。
【0097】
ビデオ復号化装置20は、オフセット値を受信し、オフセット値が0であるか否かを判断し、0ではなければ、符号ビットと、オフセット値の絶対値から1を減じた値とをパージングし、現在オフセット値を復元することができる。
【0098】
一実施形態によるオフセット・パラメータは、ブロックごとに決定されてシグナリングされる。例えば、ビデオ符号化装置10及びビデオ復号化装置20は、オフセット・パラメータを、ピクチャごとにまたはスライスごとに決定し、シグナリングすることができる。または、ビデオ符号化装置10及びビデオ復号化装置20は、オフセット・パラメータを、ツリー構造の符号化単位ごとに、または最大符号化単位ごとに決定し、シグナリングすることもできる。一実施形態による最大符号化単位を含むツリー構造による符号化単位、及びツリー構造による符号化単位に基づいたビデオ符号化/復号化動作は、
図8ないし
図20を参照して詳しく後述する。
【0099】
各ブロックのオフセットタイプ及び/またはオフセット値は、隣接したブロック間で同一である可能性が高い。一実施形態によるビデオ符号化装置10は、現在ブロックのオフセット・パラメータを、隣接ブロックのオフセット・パラメータと比較し、オフセット・パラメータが同一である場合、現在ブロックと隣接ブロックとのオフセット・パラメータを一つに併合して符号化することができる。隣接ブロックのオフセット・パラメータが先に符号化されものであるならば、現在ブロックのオフセット・パラメータを符号化せず、現在ブロックについて、オフセット併合情報を符号化することができる。
【0100】
一実施形態によるビデオ復号化装置20は、受信したビットストリームから、オフセット・パラメータをパージングする前に、オフセット併合情報をまずパージングし、オフセット・パラメータのパージングいかんを決定することができる。ビデオ復号化装置20は、現在ブロックのオフセット併合情報に基づいて、隣接ブロックのうち、現在ブロックと、オフセット・パラメータが同一であるブロックがあるか否かを決定することができる。
【0101】
例えば、オフセット併合情報に基づいて、隣接ブロックのオフセット・パラメータのうち、現在ブロックのオフセット・パラメータが同一であるブロックがある場合、ビデオ復号化装置20は、現在ブロックのオフセット・パラメータをパージングせず、隣接ブロックの復元されたオフセット・パラメータと同一に、現在ブロックのオフセット・パラメータを復元することができる。また、オフセット併合情報に基づいて、隣接ブロックのうちいずれの隣接ブロックのオフセット・パラメータを参照するかということも決定することができる。
【0102】
例えば、オフセット併合情報に基づいて、隣接ブロックのオフセット・パラメータが、現在ブロックのオフセット・パラメータと異なる場合、ビデオ復号化装置20は、ビットストリームから、現在ブロックのオフセット・パラメータをパージングして復元することができる。
【0103】
図5は、一実施形態によって、オフセット・パラメータを併合するための候補参照ブロックを図示している。
【0104】
一実施形態によるビデオ符号化装置10は、現在ブロックより先行して復元された隣接ブロックのうち、現在ブロックのオフセット・パラメータの参照対象になる隣接ブロックの候補リストを決定することができる。ビデオ符号化装置10は、候補リストの隣接ブロックと現在ブロックとのオフセット・パラメータを比較することができる。
【0105】
一実施形態による候補リストは、現在ブロック50と同一である現在フレーム57に位置する隣接ブロックを含んでもよい。具体的には、左側ブロック51、上端ブロック52、左側上端ブロック53及び右側上端ブロック54が、候補リストに属する。
【0106】
他の例として、一実施形態によるビデオ符号化装置10は、現在フレーム57より先行して復元される隣接フレーム58,59に含まれたブロック55,56のオフセット・パラメータを参照することもできる。隣接フレーム58,59に含まれたブロック55,56は、時間的に、現在フレーム57の前/後フレーム58,59に位置し、現在ブロック50と、空間的には、同一の領域に位置するブロックでもある。その場合、候補リストは、現在フレーム57内の隣接ブロック51,52,53,54と、隣接フレーム58,59内のブロック55,56と、を含んでもよい。
【0107】
従って、一実施形態によるビデオ符号化装置10は、候補リストに含まれた隣接ブロックを、所定参照順序により、現在ブロックと、それぞれのオフセット・パラメータが同一であるか否かを比較することができる。例えば、左側ブロック51、上端ブロック52、左側上端ブロック53、右側上端ブロック54、以前ブロック55、以後ブロック56の参照順序により、現在ブロックと、オフセット・パラメータが比較される。比較されたブロックのうち、オフセット・パラメータが同一であるブロックが、参照ブロックとして決定される。
【0108】
ビデオ符号化装置10及びビデオ復号化装置20は、同一の候補リストを基にして、隣接するブロック間でオフセット・パラメータを参照して予測符号化し、シグナリングすることができる。一実施形態によるビデオ復号化装置20は、オフセット併合情報に基づいて、候補リストのうち、現在ブロックと、オフセット・パラメータが同一である隣接ブロックを決定し、当該隣接ブロックのオフセット・パラメータを参照し、同一値の現在ブロックのオフセット・パラメータを復元することができる。
【0109】
例えば、左側ブロック51及び上端ブロック52を含む候補リストを利用する場合を想定する。一実施形態によるオフセット・パラメータ符号化部14は、オフセット併合情報として、現在ブロック50の左側ブロック51のオフセット・パラメータが、現在ブロック50のオフセット・パラメータと同一であるか否かを示す左側オフセット併合情報と、上端ブロック52のオフセット・パラメータが、現在ブロック50のオフセット・パラメータと同一であるか否かを示す上端オフセット併合情報と、を符号化することができる。その場合、まず、現在ブロック50と左側ブロック51とのオフセット・パラメータが同一であるか比較し、次に、現在ブロック50と上端ブロック52とのオフセット・パラメータが同一であるか比較することができる。比較結果により、オフセット併合情報が決定される。
【0110】
左側ブロック51及び上端ブロック52のうち、少なくとも1つのオフセット・パラメータが、現在ブロック50のオフセット・パラメータと同一であるならば、オフセット・パラメータ符号化部14は、当該左側オフセット併合情報、及び上端オフセット併合情報だけ符号化し、現在ブロック50のオフセット・パラメータは、符号化しない。
【0111】
左側ブロック51及び上端ブロック52のオフセット・パラメータが、いずれも現在ブロック50のオフセット・パラメータと異なれば、オフセット・パラメータ符号化部14は、当該左側オフセット併合情報及び上端オフセット併合情報と、現在ブロック50のオフセット・パラメータは、符号化することができる。
【0112】
一実施形態によるオフセット・パラメータ符号化部14は、現在ブロック50の左側ブロック51及び上端ブロック52のオフセット・パラメータが、現在ブロック50のオフセット・パラメータと異なれば、現在ブロック50のオフセット併合情報と、オフセット・パラメータとを符号化することができる。
【0113】
他の例として、一実施形態によるオフセット・パラメータ符号化部14は、隣接ブロックのオフセット・パラメータのうち、一部情報のみ現在ブロックのオフセット・パラメータと同一であるならば、1ビットのオフセット併合情報を符号化し、現在オフセット・パラメータのうち、隣接ブロックのオフセット・パラメータと同一である一部情報を除外した残りの情報のみを符号化することもできる。例えば、現在ブロックと、隣接ブロックとのオフセット値のみ同一であるならば、現在ブロックのために、1ビットのオフセット併合情報及びオフセットタイプ値だけ符号化される。
【0114】
一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、現在ブロックと隣接ブロックとの間で、オフセットタイプ及びオフセット値をいずれも比較し、現在ブロックと同一であるオフセットタイプ及びオフセット値を有する隣接ブロックがあれば、オフセット併合情報をシグナリングすることができる。
【0115】
他の例として、現在ブロックと隣接ブロックとのオフセット・パラメータのうち、オフセットタイプを比較し、現在ブロックと同一であるオフセットタイプを有する隣接ブロックがあるならば、当該隣接ブロックのオフセットタイプの併合情報がシグナリングされる。
【0116】
さらに他の例として、現在ブロックと隣接ブロックとのオフセット・パラメータのうち、オフセット値を比較し、現在ブロックと同一であるオフセット値を有する隣接ブロックがあるならば、当該隣接ブロックのオフセット値の併合情報がシグナリングされる。
【0117】
隣接ブロック間で、オフセットタイプが異なるとしても、レングスが同一であるならば、隣接ブロックのオフセット値も、類似している。例えば、映像が図示している客体のうち、隣接するブロックが同一の客体領域を構成する可能性が高い。従って、現在ブロックのエッジタイプが垂直エッジであり、隣接ブロックのエッジタイプが対角エッジであり、エッジタイプが異なっても、現在ブロック及び隣接ブロックのピクセルは、同一の客体領域を構成することができる。従って、現在ブロックのオフセット値と、隣接ブロックとのオフセット値とが類似しているという傾向がある。それにより、現在ブロックのための隣接ブロックの候補リストは、エッジタイプの同一レングスを有する隣接ブロックのみを含んでもよい。
【0118】
一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、同一のレングスを有するブロック間で、隣接ブロックのオフセット・パラメータを参照し、現在ブロックのオフセット・パラメータを予測することもできる。
【0119】
オフセット・パラメータを予測符号化する場合、ビデオ符号化装置10及びビデオ復号化装置20は、オフセット・パラメータを予測符号化するために参照した隣接ブロックを含む予測候補リストをシグナリングすることもできる。または、現在ブロックに最も隣接する最隣接ブロックのオフセット・パラメータは、いつも参照されるので、予測候補リストのうち最隣接ブロックは、シグナリングされない。
【0120】
一実施形態によって、現在ブロックの最隣接ブロックを含む予測候補リストは、(i)現在ブロックより先行して復元され、同一のレングスを有する候補ブロックのうち、(ii)同一のオフセット・パラメータを有するブロックは除外され、(iii)参照順序によって羅列された候補ブロックを含んでもよい。予測候補リストのうち、第1順位候補ブロックは、最隣接ブロックでもある。例えば、予測候補リストが、現在ブロックから同一距離に位置した左側ブロック及び上端ブロックを含むものであるならば、アクセス演算量がさらに少ない左側ブロックが、最隣接ブロックでもある。
【0121】
予測候補リストが決定された後、最隣接ブロックのオフセット値を参照し、現在ブロックのオフセット値が予測符号化される。現在ブロックのオフセット値及び最隣接ブロックのオフセット値間の差値だけが符号化され、シグナリングされる。
【0122】
<オフセット予測値>
Offset[i] - Offset_prediction[i], O ≦i≦ Length-1
すなわち、<オフセット予測値>により、同一のレングスLengthを有する現在ブロックと、最隣接ブロックとの間で、エッジクラスi(または、ピクセル値バンド)ごとに、現在ブロックオフセット値(Offset[i])と最隣接ブロックのオフセット値(Offset_prediction[i])との差値(Offset[i]−Offset_prediction[i])だけが符号化されてシグナリングされる。エッジクラス(または、ピクセル値バンド)iが変更されるたびに、当該エッジクラス(または、ピクセル値バンド)に対する予測差分値がシグナリングされる。
【0123】
一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、オフセット・パラメータの併合符号化または予測符号化を制限的に行うことができる。例えば、ピクセル値バンドタイプによって、現在ブロックのオフセット・パラメータを符号化するために、2つの隣接ブロックが同一であるレングス、すなわち、同一個数のピクセル値バンドを有しても、隣接ブロックの最大値/最小値と、現在ブロックの最大値/最小値が異なっており、ピクセル値の総範囲も異なるものであるならば、ピクセル値バンドタイプによる隣接ブロックのオフセット・パラメータと、現在ブロックとのオフセット・パラメータとの関連性がない。従って、現在ブロックと隣接ブロックとのオフセットタイプによる特性が異なるものであるならば、ビデオ符号化装置10及びビデオ復号化装置20は、隣接ブロック間で、オフセット・パラメータを併合/予測符号化するには適さない。
【0124】
一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、カラー成分別に、オフセット・パラメータを予測符号化することができる。
【0125】
例えば、SAO技法は、YUVカラーフォーマットのルマブロック及びクロマブロックにいずれも適用される。Y成分のルマブロックのオフセットタイプ及び/またはオフセット値は、U,V成分のクロマブロックのオフセットタイプ及び/またはオフセット値と非常に類似している。
【0126】
例えば、ビデオ符号化装置10及びビデオ復号化装置20は、現在クロマブロックと同一であるブロック位置のルマブロックを、現在クロマブロックの候補リストに追加することにより、クロマブロックのオフセット・パラメータは、ルマブロックのオフセット・パラメータを参照して予測される。候補リストに含まれたブロックの参照順序のうち、ルマブロックに最優先順位が割り当てられることが望ましい。
【0127】
他の例として、ビデオ符号化装置10及びビデオ復号化装置20は、ルマ成分及びクロマ成分のオフセット・パラメータ間の所定関連性を基にして、オフセット・パラメータを符号化することができる。一般的には、クロマブロックは、ルマブロックに比べて平坦であり、クロマブロックの最大値/最小値、エッジクラス及びピクセル値バンドによるオフセット値の絶対値は、ルマブロックに比べて小さい。
【0128】
下記の<クロマオフセット予測式>は、ルマブロックのオフセット値を基にして、クロマブロックのオフセット値が決定される場合、クロマブロックのオフセット値の予測符号化する一実施形態について説明するものである。
【0129】
<クロマオフセット予測式>
Value_to_be_encoded[i] = Offset[i] - F(Offset_prediction[i]);
wherein F(x) = A*x + B;
ここでiは、レングスの範囲内で、現在エッジクラス(ピクセル値バンド)であり、クロマブロックが参照するルマブロックのオフセット値(Offset_prediction[i])を基にして決定された予測値(F(Offset_prediction[i]))と、クロマブロックのオフセット値(Offset[i])との誤差値(Value_to_be_encoded[i])が、ビデオ符号化装置10及びビデオ復号化装置20間でシグナリングされる。
【0130】
F(x)で、A及びBは、ルマブロックとクロマブロックとの間の相互関連性パラメータである。相互関連性パラメータA及びBは、U成分及びY成分ごとに別個に設定される。または、U成分及びY成分が相互関連性パラメータA及びBを共有することもできる。
【0131】
一実施形態によるビデオ符号化装置10及びビデオ復号化装置20は、カラー成分間の相互関連性を基にして、ルマブロックとクロマブロックとの間のオフセット値を予測符号化するために、F(x)の相互関連性パラメータA及びBを符号化してシグナリングすることができる。一実施形態による相互関連性パラメータA及びBは、所定値としてあらかじめ固定される。一実施形態による相互関連性パラメータA及びBは、ブロック、ピクチャ、スライス、ビデオシーケンスのような所定データ単位ごとに決定され、ブロック別パラメータ、PPS(picture parameter set)、スライスヘッダ、SPS(sequence parameter set)に含まれてシグナリングされる。
【0132】
図6は、一実施形態によるビデオ符号化方法のフローチャートである。段階61で、ビデオのブロックのうち、現在ブロックのエッジタイプによるエッジクラスが決定されるか、あるいはピクセル値バンドタイプによるピクセル値バンドが決定される。
【0133】
現在ブロックのオフセットがエッジタイプによって決定される場合、エッジ方向及びエッジサイズによって位置する現在復元ピクセルの隣接ピクセルと、現在復元ピクセルとのピクセル値を比較し、現在復元ピクセルが、隣接ピクセルのうち、極点であるか否かを示すエッジクラスが決定される。
【0134】
また、現在ブロックのオフセットが、復元ピクセルのピクセル値バンドタイプによって決定される場合、多数のバンドのうち、現在復元ピクセルのピクセル値が属するピクセル値範囲を示すピクセル値バンドが決定される。
【0135】
段階63で、エッジクラスまたはピクセル値バンドに含まれる復元ピクセルと原本ピクセルとの差値を利用して、現在エッジクラスまたはピクセル値バンドに対応するオフセットが決定される。同一のエッジクラスまたは同一のピクセル値バンドに含まれる復元ピクセルと原本ピクセルとの差値の平均値が、オフセット値として決定される。
【0136】
段階65で、各ブロックのオフセット・パラメータが符号化される。オフセット・パラメータは、当該ブロックのオフセットタイプ、オフセット値、レングス、エッジクラス/ピクセル値バンドを含んでもよい。
【0137】
各ブロックのオフセットタイプは、当該ブロックのエッジタイプまたはピクセル値バンドタイプを示す。ブロックのエッジタイプによって、ブロックの復元ピクセルは、多数のエッジクラスに分類され、エッジクラスごとに、それぞれのオフセット値が決定されるので、多数のエッジクラスに対応する多数のオフセット値が決定される。または、ブロックのピクセル値バンドタイプによって、ブロックの復元ピクセルは、多数のピクセル値バンドに分類され、ピクセル値バンドごとに、それぞれのオフセットが決定されるので、多数のピクセル値バンドに対応する多数のオフセット値が決定される。ブロックのエッジタイプまたはピクセル値バンドタイプによって、レングスが決定される。従って、ブロックのオフセット・パラメータのうち、オフセットタイプ及びオフセット値だけ符号化される。
【0138】
現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータの同一性に基づいて、現在ブロックのオフセット併合情報が符号化される。オフセット併合情報は、現在ブロックのオフセット・パラメータの符号化いかんを示すことができる。すなわち、隣接ブロックのうち、現在ブロックと、オフセット・パラメータが同一であるブロックがあれば、現在ブロックのオフセット併合情報だけ符号化され、オフセット・パラメータは、符号化されない。
【0139】
隣接ブロックのオフセット・パラメータと現在オフセット・パラメータとの間の予測を行い、オフセット・パラメータ間の差分情報が符号化される。現在ブロックのルマ成分及びクロマ成分のうち、少なくとも1つのカラー成分は、それぞれのオフセット・パラメータを相互参照して予測符号化される。
【0140】
図7は、一実施形態によるビデオ復号化方法のフローチャートである。段階71で、受信したビットストリームから、ビデオのブロックのうち、現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータが同一であるか否かを示すオフセット併合情報がパージングされる。
【0141】
段階73で、オフセット併合情報に基づいて、現在ブロックのオフセット・パラメータのうち、オフセットタイプ及びオフセット値が復元される。
【0142】
段階75で、オフセットタイプが示す現在ブロックのエッジタイプまたはピクセル値バンドタイプに基づいて、復元ピクセルのエッジクラスまたはピクセル値バンドが決定される。段階77で、オフセット値から、復元ピクセルのエッジクラスまたはピクセル値バンドに対応するオフセット値が決定され、復元ピクセルのピクセル値がオフセットほど調整される。
【0143】
段階75で、現在ブロックのオフセットタイプがエッジタイプである場合、エッジ方向及びエッジサイズによって位置する現在復元ピクセルの隣接ピクセルのピクセル値を比較し、現在復元ピクセルのエッジクラスが決定される。その場合、段階77は、受信されたオフセット値から、現在復元ピクセルのエッジクラスに対応するオフセット値を選択することができる。
【0144】
また、段階75で、現在ブロックのオフセットタイプが、ピクセル値バンドタイプである場合、現在復元ピクセルのピクセル値バンドが決定され、段階77では、オフセット値から、現在復元ピクセルのピクセル値バンドに対応するオフセット値が選択される。
【0145】
段階71で、オフセット併合情報に基づいて、現在ブロックの左側ブロック及びサダンロックのうち少なくとも1つのオフセット・パラメータが、現在ブロックのオフセット・パラメータと同一であるならば、現在ブロックの左側ブロック及び上端ブロックのうち少なくとも1つのオフセット・パラメータと同一に、現在ブロックのオフセット・パラメータが復元される。また、オフセット併合情報に基づいて、現在ブロックの左側ブロック及び上端ブロックのオフセット・パラメータが、現在ブロックのオフセット・パラメータと異なれば、受信されたビットストリームから、現在ブロックのオフセット・パラメータがパージングされて復元される。
【0146】
段階71で、ビットストリームから、オフセット値の差分値がパージングされた場合、隣接ブロックのオフセット値と、オフセット情報との差分情報を組み合わせ、現在ブロックのオフセット値が予測復元される。
【0147】
段階71で、現在ブロックのルマ成分及びクロマ成分のうち少なくとも1つのカラー成分は、それぞれのオフセット・パラメータを相互参照して予測復元される。
【0148】
従って、一実施形態によるSAO技法を利用するビデオ符号化装置10及びビデオ復号化装置20は、映像ブロックのエッジタイプまたはピクセル値バンドタイプのような映像特性によってピクセル値を分類し、同一特性に分類されたピクセル値の平均誤差値であるオフセット値をシグナリングし、復元ピクセルのうち、予想することができないピクセル値をオフセット値ほど調整することにより、原本映像と復元映像との誤差を最小することができる。
【0149】
一実施形態によるビデオ符号化装置10及び他の実施形態によるビデオ復号化装置20で、ビデオデータが分割されるブロックが、ツリー構造の符号化単位に分割され、最大符号化単位または符号化単位ごとに、ピクセル分類によるオフセット値を決定することができるということは、前述の通りである。以下、
図8ないし
図20を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、並びに該ビデオ復号化方法及びその装置を開示する。
【0150】
図8は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置100のブロック図である。
【0151】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、最大符号化単位分割部110、符号化単位決定部120及び出力部130を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、「ビデオ符号化装置100」と縮約して呼称する。
【0152】
最大符号化単位分割部110は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも1つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256のデータ単位であり、縦横に、大きさが2の累乗である正方形のデータ単位でもある。映像データは、少なくとも1つの最大符号化単位別に、符号化単位決定部120に出力される。
【0153】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が、最下位符号化単位と定義される。最大符号化単位は、深度が深くなることにより、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
【0154】
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域(spatial domainの映像データが、深度によって階層的に分類される。
【0155】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズが、あらかじめ設定されている。
【0156】
符号化単位決定部120は、深度ごとに、最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部120は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部130に出力される。
【0157】
最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも1つの符号化深度が決定される。
【0158】
最大符号化単位の大きさは、深度が深くなることにより、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、1つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに対する符号化誤差を測定し、下位深度への分割いかんが決定される。従って、1つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、1つの最大符号化単位に対して、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
【0159】
従って、一実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、異なる領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
【0160】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度が1に設定され、2回分割された符号化単位の深度が2に設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位であるならば、深度0,1,2,3及び4の深度レベルが存在するので、第1最大深度が4、第2最大深度が5に設定される。
【0161】
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
【0162】
最大符号化単位が、深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなることにより、生成されるあらゆる深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも1つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
【0163】
一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位の大きさまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、あらゆる段階にわたって、同一のデータ単位が使用され、段階別に、データ単位が変更されてもよい。
【0164】
例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【0165】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になるそれ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一である大きさのパーティションでもある。
【0166】
例えば、サイズ2Nx2N(ただし、Nは、正の整数)の符号化単位が、それ以上分割されない場合、サイズ2Nx2Nの予測単位になり、パーティションの大きさは、2Nx2N,2NxN,Nx2N,NxNなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的である比率に分割された対称的パーティションだけではなく、1:nまたはn:1のように、非対称的な比率に分割されたパーティション、幾何学的なタイプに分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【0167】
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、2Nx2N,2NxN,Nx2N,NxNサイズのパーティションに対して行われる。また、スキップモードは、2Nx2Nサイズのパーティションに対してのみ行われる。符号化単位以内の1つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【0168】
また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいは同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
【0169】
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データ(residual data)が、変換深度によって、ツリー構造による変換単位によって区画される。
【0170】
一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2Nx2Nの現在符号化単位の変換単位の大きさが、2Nx2Nであるならば、変換深度0、変換単位の大きさがNxNであるならば、変換深度1、変換単位の大きさがN/2xN/2であるならば、変換深度2に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【0171】
符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部120は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
【0172】
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位/パーティション、及び変換単位の決定方式については、
図17ないし
図19を参照して詳細に説明する。
【0173】
符号化単位決定部120は、深度別符号化単位の符号化誤差を、ラグランジュ乗数(Lagrangian multiplier)基板率・歪曲最適化技法(rate-distortion optimization)を利用して測定することができる。
【0174】
出力部130は、符号化単位決定部120で決定された少なくとも1つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報をビットストリーム状に出力する。
【0175】
符号化された映像データは、映像の残差データの符号化結果でもある。
【0176】
深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。
【0177】
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
【0178】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一の深度の符号化単位ごとに、再帰的(recursive)符号化が行われる。
【0179】
1つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少、なくとも1つの符号化モードに係わる情報が決定されなければならないので、1つの最大符号化単位については、少なくとも1つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。
【0180】
従って、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。
【0181】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位、及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
【0182】
例えば、出力部130を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。
【0183】
ピクチャ、スライスまたはGOP(group of pictures)別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットなどに挿入される。
【0184】
また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットなどを介して出力される。出力部130は、
図1ないし
図7を参照して説明した予測と係わる参照情報、予測情報、単一方向予測情報、スライスタイプを含むスライスタイプ情報などを符号化して出力することができる。
【0185】
ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、1階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが2Nx2Nであるならば、下位深度の符号化単位の大きさは、NxNである。また、2Nx2Nサイズの現在符号化単位は、NxNサイズの下位深度符号化単位を最大4個含んでもよい。
【0186】
従って、ビデオ符号化装置100は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像大きさの符号化単位の映像特性を考慮して最適の符号化モードが決定される。
【0187】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するとするなら、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。
【0188】
図8のビデオ符号化装置100は、
図1を参照して説明したビデオ符号化装置10の動作を遂行することができる。
【0189】
符号化単位決定部120は、ビデオ符号化装置10のオフセット決定部12の動作を遂行することができる。最大符号化単位ごとに、ピクセル値をエッジタイプによって分類し、エッジクラスごとに、それぞれのオフセット値を決定するか、ピクセル値を、ピクセル値バンドタイプによって分類し、ピクセル値バンドごとにそれぞれのオフセット値を決定することができる。エッジクラスまたはピクセル値バンドのような各ピクセルグループのオフセット値は、当該ピクセルグループに含まれる復元ピクセルと、原本ピクセルとの平均誤差値でもある。他の例として、符号化単位、予測単位、変換単位のような所定データ単位ごとに、エッジクラス及びオフセット値が決定されるか、ピクセル値バンド及びオフセット値が決定される。
【0190】
出力部130は、最大符号化単位ごとに決定されたオフセット・パラメータのうち、オフセットタイプと、オフセット値とを符号化することができる。符号化単位、予測単位、変換単位のような所定データ単位ごとに、オフセット・パラメータが決定された場合には、当該データ単位のパラメータとして符号化されることもできる。
【0191】
出力部130は、隣接最大符号化単位の隣接オフセット・パラメータを参照し、現在最大符号化単位の現在オフセット・パラメータを予測符号化することもできる。出力部130は、隣接オフセット・パラメータのうち、少なくとも一つが、現在オフセット・パラメータと同一であるならば、現在オフセット・パラメータを符号化せずに、現在最大符号化単位のためのオフセット併合情報のみを符号化することもできる。出力部130は、隣接オフセット・パラメータと、現在オフセット・パラメータとが異なるものであるならば、現在最大符号化単位のためのオフセット併合情報と、現在オフセット・パラメータとを共に符号化することもできる。
【0192】
図9は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置200のブロック図である。
【0193】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、受信部210、映像データ及び符号化情報抽出部220及び映像データ復号化部230を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、「ビデオ復号化装置200」と縮約して呼称する。
【0194】
一実施形態によるビデオ復号化装置200の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、
図8及びビデオ符号化装置100を参照して説明したところと同一である。
【0195】
受信部210は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部230に出力する。映像データ及び符号化情報抽出部220は、現在ピクチャに係わるヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
【0196】
また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部230が、最大符号化単位ごとに、映像データを復号化する。
【0197】
最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されてもよい。
【0198】
映像データ及び符号化情報抽出部220が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置100のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度、及び符号化モードに係わる情報である。従って、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。
【0199】
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部220は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。
【0200】
映像データ復号化部230は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。
【0201】
映像データ復号化部230は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによってイントラ予測または動き補償を行う。
【0202】
また、映像データ復号化部230は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値を復元することができる。
【0203】
映像データ復号化部230は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部230は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。
【0204】
すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位に対して設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部230によって、同一の符号化モードに復号化される1つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
【0205】
また、
図9のビデオ復号化装置200は、
図2を参照して説明したビデオ復号化装置20の動作を遂行することができる。
【0206】
映像データ及び符号化情報抽出部220と受信部210は、ビデオ復号化装置20のオフセット・パラメータ・パージング部22の動作を遂行することができる。映像データ復号化部230は、ビデオ復号化装置20のオフセット調整部24の動作を遂行することができる。
【0207】
映像データ及び符号化情報抽出部220は、ビットストリームから、現在最大符号化単位のためのオフセット・パラメータなしに、オフセット併合情報のみをパージングした場合、隣接オフセット・パラメータのうち、少なくとも一つと同一に、現在オフセット・パラメータを復元することができる。オフセット併合情報に基づいて、隣接オフセット・パラメータのうち、いずれのパラメータを参照するかが決定される。映像データ及び符号化情報抽出部220は、ビットストリームからパージングされた現在最大符号化単位のためのオフセット併合情報に基づいて、隣接オフセット・パラメータと、現在オフセット・パラメータとが異なると判断されるならば、ビットストリームから、現在最大符号化単位のための現在オフセット・パラメータがパージングされ、復元されもする。
【0208】
映像データ及び符号化情報抽出部220は、隣接最大符号化単位の隣接オフセット・パラメータを参照し、現在最大符号化単位の現在オフセット・パラメータを予測復元することもできる。
【0209】
映像データ復号化部230は、ビットストリームか、ら最大符号化単位ごとにオフセット・パラメータをパージングすることができる。復元されたオフセット・パラメータから、現在最大符号化単位のオフセットタイプが、エッジタイプであるか、あるいはピクセル値バンドタイプであるかを決定することができる。オフセットタイプが、エッジタイプである場合、復元ピクセルごとに、それぞれのエッジクラスを決定し、オフセット・パラメータのうち、オフセット値のうち、各復元ピクセルのエッジクラスに対応するオフセット値が選択される。オフセットタイプが、ピクセル値バンドタイプである場合、復元ピクセルごとに、それぞれのピクセル値バンドを決定し、オフセット・パラメータに含まれたパージングされるオフセット値のうち、各復元ピクセルのピクセル値バンドに対応するオフセット値が選択される。
【0210】
映像データ復号化部230は、各復元ピクセルに対応するオフセット値ほど、当該復元ピクセル値を調整することにより、原本ピクセルと誤差が最小化される復元ピクセルを生成することができる。他の例として、符号化単位、予測単位、変換単位のような所定データ単位ごとに、オフセット・パラメータがパージングされる場合、当該データ単位ごとに、各エッジクラスに対応するオフセット値が復元されるか、あるいは各ピクセル値バンドに対応するオフセット値が復元されもする。
【0211】
結局、ビデオ復号化装置200は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
【0212】
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【0213】
図10は、本発明の一実施形態による符号化単位の概念を図示している。
【0214】
符号化単位の例は、符号化単位の大きさは、幅x高さで表現され、サイズ64x64である符号化単位から、サイズ32x32,16x16,8x8を含んでもよい。サイズ64x64の符号化単位は、サイズ64x64,64x32,32x64,32x32のパーティションに分割され、サイズ32x32の符号化単位は、サイズ32x32,32x16,16x32,16x16のパーティションに、サイズ16x16の符号化単位は、サイズ16x16,16x8,8x16,8x8のパーティションに、サイズ8x8の符号化単位は、サイズ8x8,8x4,4x8,4x4のパーティションに分割される。
【0215】
ビデオデータ310については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が2に設定されている。ビデオデータ320については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が3に設定されている。ビデオデータ330については、解像度が352x288、符号化単位の最大サイズが16、最大深度が1に設定されている。
図10に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
【0216】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ330に比べて、解像度が高いビデオデータ310,320は、符号化サイズの最大サイズが64に選択される。
【0217】
ビデオデータ310の最大深度が2であるので、ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割されて深度が2階層深くなり、長軸サイズが32,16である符号化単位まで含んでもよい。一方、ビデオデータ330の最大深度が1であるので、ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割されて深度が1階層深くなり、長軸サイズが8である符号化単位まで含んでもよい。
【0218】
ビデオデータ320の最大深度が3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割されて深度が3階層深くなり、長軸サイズが32,16,8である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。
【0219】
図11は、本発明の一実施形態による符号化単位に基づいた映像符号化部400のブロック図である。
【0220】
一実施形態による映像符号化部400は、ビデオ符号化装置100の符号化単位決定部120で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部410は、現在フレーム405において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部420及び動き補償部425は、インターモードの現在フレーム405及び参照フレーム495を利用して、インター推定及び動き補償を行う。
【0221】
イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、変換部430及び量子化部440を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部460、逆変換部470を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びループ・フィルタリング部490を経て後処理され、参照フレーム495として出力される。量子化された変換係数は、エントロピー符号化部450を経て、ビットストリーム455として出力される。
【0222】
一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素であるイントラ予測部410、動き推定部420、動き補償部425、変換部430、量子化部440、エントロピー符号化部450、逆量子化部460、逆変換部470、デブロッキング部480及びループ・フィルタリング部490が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。
【0223】
特に、イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部430は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。
【0224】
映像符号化部400は、参照フレーム495の最大符号化単位ごとに、エッジタイプ(または、ピクセル値バンドタイプ)によってピクセルを分類し、復元ピクセルごとに、エッジクラス(または、ピクセル値バンド)を決定し、エッジクラス(または、ピクセル値バンド)ごとに、属する復元ピクセルの平均誤差値を決定することができる。最大符号化単位ごとに、それぞれのオフセットタイプ及びオフセット値が符号化されてシグナリングされる。
【0225】
図12は、本発明の一実施形態による符号化単位に基づいた映像復号化部500のブロック図である。
【0226】
ビットストリーム505がパージング部510を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部520及び逆量子化部530を経て、逆量子化されたデータとして出力され、逆変換部540を経て、空間領域の映像データが復元される。
【0227】
空間領域の映像データに対して、イントラ予測部550は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部560は、参照フレーム585を共に利用して、インターモードの符号化単位に対して動き補償を行う。
【0228】
イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループ・フィルタリング部580を経て後処理され、復元フレーム595として出力される。また、デブロッキング部570及びループ・フィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。
【0229】
ビデオ復号化装置200の映像データ復号化部230で、映像データを復号化するために、一実施形態による映像復号化部500のパージング部510以後の段階別作業が遂行される。
【0230】
一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部500の構成要素であるパージング部510、エントロピー復号化部520、逆量子化部530、逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループ・フィルタリング部580が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を遂行しなければならない。
【0231】
特に、イントラ予測部550、動き補償部560は、ツリー構造による符号化単位ことに、それぞれパーティション及び予測モードを決定し、逆変換部540は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
【0232】
映像復号化部500は、ビットストリームから、最大符号化単位のオフセット・パラメータを抽出し、オフセット・パラメータが含むオフセットタイプ及びオフセット値を利用して、復元フレーム595の最大符号化単位ごとに、復元ピクセルごとに、当該エッジクラスまたはピクセル値バンドに対応するオフセット値ほど調整することができる。
【0233】
図13は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
【0234】
一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって、適応的に決定され、ユーザの要求によって、多様に設定されもする。既設定の符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。
【0235】
一実施形態による符号化単位の階層構造600は、符号化単位の最大高及び最大幅が64であり、最大深度が4である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
【0236】
すなわち、符号化単位610は、符号化単位の階層構造600において最大符号化単位であって深度が0であり、符号化単位の大きさ、すなわち、高さ及び幅が64x64である。縦軸に沿って深度が深くなり、サイズ32x32である深度1の符号化単位620、サイズ16x16である深度2の符号化単位630、サイズ8x8である深度3の符号化単位640、サイズ4x4である深度4の符号化単位650が存在する。サイズ4x4である深度4の符号化単位650は、最小符号化単位である。
【0237】
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610が予測単位であるならば、予測単位は、サイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614、サイズ32x32のパーティション616に分割される。
【0238】
同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622)、サイズ16x32のパーティション624、サイズ16x16のパーティション626に分割される。
【0239】
同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634、サイズ8x8のパーティション636に分割される。
【0240】
同様に、深度3のサイズ8x8の符号化単位640の予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646に分割される。
【0241】
最後に、深度4のサイズ4x4の符号化単位650は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ4x4のパーティション650だけで設定される。
【0242】
一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の符号化深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
【0243】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度1の符号化単位一つが含むデータについて、深度2の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、1つの深度1の符号化単位及び4つの深度2の符号化単位を利用して、それぞれ符号化されなければならない。
【0244】
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位610において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位610の符号化深度及びパーティションタイプとして選択される。
【0245】
図14は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
【0246】
一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じ大きさの符号化単位で映像を符号化したり、あるいは復号化する。符号化過程のうち、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。
【0247】
例えば、一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200で、現在符号化単位710が64x64サイズであるとき、32x32サイズの変換単位720を利用して変換が行われる。
【0248】
また、64x64サイズの符号化単位710のデータを、64x64サイズ以下の32x32,16x16,8x8,4x4サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【0249】
図15は、本発明の一実施形態による深度別符号化情報を図示している。
【0250】
一実施形態によるビデオ符号化装置100の出力部130は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を符号化して伝送することができる。
【0251】
パーティションタイプに係わる情報800は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションのタイプに係わる情報を示す。例えば、サイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806、サイズNxNのパーティション808のうちいずれか1つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報800は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806及びサイズNxNのパーティション808のうち一つを示すように設定される。
【0252】
予測モードに係わる情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報810を介して、パーティションタイプに係わる情報800が示すパーティションが、イントラモード812、インターモード814及びスキップモード816のうち一つで予測符号化が行われるかということが設定される。
【0253】
また、変換単位サイズに係わる情報820は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826、第2インター変換単位サイズ828のうち一つである。
【0254】
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を抽出し、復号化に利用することができる。
【0255】
図16は、本発明の一実施形態による深度別符号化単位を図示している。
【0256】
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
【0257】
深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションタイプ912、2N_0xN_0サイズのパーティションタイプ914、N_0x2N_0サイズのパーティションタイプ916、N_0xN_0サイズのパーティションタイプ918を含んでもよい。予測単位が対称的な比率に分割されたパーティション912,914,916,918のみ例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
【0258】
パーティションタイプごとに、1つの2N_0x2N_0サイズのパーティション、2つの2N_0xN_0サイズのパーティション、2つのN_0x2N_0サイズのパーティション、4つのN_0xN_0サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ2N_0x2N_0、サイズN_0x2N_0、サイズ2N_0xN_0及びサイズN_0xN_0のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0のパーティションについてのみ予測符号化が行われる。
【0259】
サイズ2N_0x2N_0,2N_0xN_0及びN_0x2N_0のパーティションタイプ912,914,916のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要はない。
【0260】
サイズN_0xN_0のパーティションタイプ918による符号化誤差が最小であれば、深度0を1に変更しながら分割し(920)、深度2及びサイズN_0xN_0のパーティションタイプの符号化単位930についても、反復的に符号化を行い、最小符号化誤差を検索していくことができる。
【0261】
深度1及びサイズ2N_1x2N_1(=N_0xN_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションタイプ942、サイズ2N_1xN_1のパーティションタイプ944、サイズN_1x2N_1のパーティションタイプ946、サイズN_1xN_1のパーティションタイプ948を含んでもよい。
【0262】
また、サイズN_1xN_1サイズのパーティションタイプ948による符号化誤差が最小であれば、深度1を深度2に変更しながら分割し(950)、深度2及びサイズN_2xN_2の符号化単位960について反復的に符号化を行い、最小符号化誤差を検索していくことができる。
【0263】
最大深度がdである場合、深度別符号化単位は、深度d−1になるまで設定され、分割情報は、深度d−2まで設定される。すなわち、深度d−2から分割され(970)、深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)x2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)x2N_(d−1)のパーティションタイプ992、サイズ2N_(d−1)xN_(d−1)のパーティションタイプ994、サイズN_(d−1)x2N_(d−1)のパーティションタイプ996、サイズN_(d−1)xN_(d−1)のパーティションタイプ998を含んでもよい。
【0264】
パーティションタイプのうち、1つのサイズ2N_(d−1)x2N_(d−1)のパーティション、2つのサイズ2N_(d−1)xN_(d−1)のパーティション、2つのサイズN_(d−1)x2N_(d−1)のパーティション、4つのサイズN_(d−1)xN_(d−1)のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。
【0265】
サイズN_(d−1)xN_(d−1)のパーティションタイプ998による符号化誤差が最小であるとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に係わる符号化深度が深度d−1と決定され、パーティションタイプは、N_(d−1)xN_(d−1)と決定される。また、最大深度がdであるので、深度d−1の符号化単位952について、分割情報は、設定されない。
【0266】
データ単位999は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。
【0267】
かように深度0,1,…,d−1,dのあらゆる深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度0から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「0」に設定され、符号化深度を除いた深度別分割情報は、「1」に設定されなければならない。
【0268】
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位912を復号化するのに利用することができる。一実施形態によるビデオ復号化装置200は、深度別分割情報を利用して、分割情報が「0」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。
【0269】
図17、
図18及び
図19は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
【0270】
符号化単位1010は、最大符号化単位に対して、一実施形態によるビデオ符号化装置100が決定した符号化深度別符号化単位である。予測単位1060は、符号化単位1010において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。
【0271】
深度別符号化単位1010は、最大符号化単位の深度が0であるとすれば、符号化単位1012,1054は、深度が1、符号化単位1014,1016,1018,1028,1050,1052は、深度が2、符号化単位1020,1022,1024,1026,1030,1032,1048は、深度が3、符号化単位1040,1042,1044,1046は、深度が4である。
【0272】
予測単位1060において、一部パーティション1014,1016,1022,1032,1048,1050、1052,1054は、符号化単位が分割された形態である。すなわち、パーティション1014,1022,1050,1054は、2NxNのパーティションタイプであり、パーティション1016,1048,1052は、Nx2Nのパーティションタイプ、パーティション1032は、NxNのパーティションタイプである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、同じである。
【0273】
変換単位1070のうち一部変換単位1052の映像データについては、符号化単位に比べて、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、予測単位1060のうち当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100、及び一実施形態に他のビデオ復号化装置200は、同一の符号化単位に対するイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
【0274】
それにより、最大符号化単位ごとに、領域別に階層的である構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表1は、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200で設定することができる一例を示す。
【0275】
【表1】
一実施形態によるビデオ符号化装置100の出力部130は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置200の符号化情報抽出部220は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【0276】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度dの分割情報が0であるならば、現在符号化単位が下位符号化単位に、それ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、1段階さらに分割されなければならない場合には、分割された4個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【0277】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモード、はあらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ2Nx2Nでのみ定義される。
【0278】
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ2Nx2N,2NxN,Nx2N及びNxNと、非対称的な比率に分割された非対称的パーティションタイプ2NxnU,2NxnD,nLx2N,nRx2Nとを示すことができる。非対称的パーティションタイプ2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。
【0279】
変換単位サイズは、イントラモードで、二種の大きさ、インターモードで、二種の大きさに設定される。すなわち、変換単位分割情報が0であるならば、変換単位の大きさが、現在符号化単位のサイズ2Nx2Nに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ2Nx2Nである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、NxN、非対称形パーティションタイプであるならば、N/2xN/2に設定される。
【0280】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
【0281】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【0282】
従って、その場合、現在符号化単位が、周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【0283】
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
【0284】
図20は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
【0285】
最大符号化単位1300は、符号化深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。このうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326,NxN 1328,2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定される。
【0286】
変換単位分割情報(TU size flag)は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
【0287】
例えば、パーティションタイプ情報が、対称形パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326及びNxN 1328のうち一つに設定されている場合、変換単位分割情報が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344)が設定される。
【0288】
パーティションタイプ情報が、非対称形パーティションタイプ2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定された場合、変換単位分割情報(TU size flag)が0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。
【0289】
図20を参照して説明した変換単位分割情報(TU size flag)は、0または1の値を有するフラグであるが、一実施形態による変換単位分割情報は、1ビットのフラグに限定されるものではなく、設定によって0,1,2,3,…などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
【0290】
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPS(sequence parameter set)に挿入される。一実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
【0291】
例えば、(a)現在符号化単位がサイズ64x64であり、最大変換単位サイズが32x32であるならば、(a−1)変換単位分割情報が0であるとき、変換単位の大きさが32x32、(a−2)変換単位分割情報が1であるとき、変換単位の大きさが16x16、(a−3)変換単位分割情報が2であるとき、変換単位の大きさが8x8に設定される。
【0292】
他の例として、(b)現在符号化単位がサイズ32x32であり、最小変換単位サイズが32x32であるならば、(b−1)変換単位分割情報が0であるとき、変換単位の大きさが32x32に設定され、変換単位の大きさが32x32より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
【0293】
さらに他の例として、(c)現在符号化単位がサイズ64x64であり、最大変換単位分割情報が1であるならば、変換単位分割情報は、0または1であり、他の変換単位分割情報が設定されることがない。
【0294】
従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が0である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記の数式(1)のように定義される。
【0295】
CurrMinTuSize
=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex) (1)
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式(1)によれば、「RootTuSize/(2^MaxTransformSizeIndex)」は、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
【0296】
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。
【0297】
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記の数式(2)によって決定される。数式(2)で、「MaxTransformSize」は、最大変換単位サイズ、「PUSize」は、現在予測単位サイズを示す。
【0298】
RootTuSize=min(MaxTransformSize,PUSize) (2)
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち、小さい値に設定される。
【0299】
現在パーティション単位の予測モードが、イントラモードであるならば、「RootTuSize」は、下記の数式(3)によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
【0300】
RootTuSize=min(MaxTransformSize,PartitionSize) (3)
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち、小さい値に設定される。
【0301】
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それに限定されるものではないということに留意しなければならない。
【0302】
図8ないし
図20を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法により、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに、復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されたり、記録媒体に保存されたり、ネットワークを介して伝送される。
【0303】
また、ピクチャごとに、スライスごとに、最大符号化単位ごとに、ツリー構造による符号化単位ごとに、符号化単位の予測単位ごとに、または符号化単位の変換単位ごとに、オフセット・パラメータがシグナリングされる。一例として、最大符号化単位ごとに受信されたオフセット・パラメータに基づいて復元されたオフセット値を利用して、最大符号化単位の復元ピクセル値を調整することにより、原本ブロックとの誤差が最小化される最大符号化単位が復元される。
【0304】
一方、前述の本発明の実施は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM(read-only memory)、フロッピー(登録商標)ディスク、ハードディスクなど、光学的判読媒体(例えば、CD(compact disc)−ROM、DVD(digital versatile disc)など)のような記録媒体を含む。
【0305】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異は、本発明に含まれたものであると解釈されなければならないのである。
上記の実施形態につき以下の付記を残しておく。
(付記1)
ビデオ復号化方法において、
受信したビットストリームから、ビデオのブロックのうち、現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータが同一であるか否かを示すオフセット併合情報をパージングする段階と、
前記オフセット併合情報に基づいて、前記現在ブロックのオフセット・パラメータのうち、オフセットタイプ及びオフセット値を復元する段階と、
前記オフセットタイプが示す前記現在ブロックのエッジタイプまたはピクセル値バンドタイプに基づいて、前記復元ピクセルのエッジクラスまたはピクセル値バンドを決定する段階と、
前記オフセット値から、前記復元ピクセルのエッジクラスまたはピクセル値バンドに対応するオフセット値を決定し、前記復元ピクセルのピクセル値を、前記オフセットほど調整する段階と、を含むことを特徴とするビデオ復号化方法。
(付記2)
前記復元ピクセルのエッジクラスまたはピクセル値バンドを決定する段階は、
前記現在ブロックのオフセットタイプが、前記エッジタイプである場合、前記エッジタイプ及びエッジサイズによって位置する現在復元ピクセルの隣接ピクセルと、前記現在復元ピクセルとのピクセル値を比較し、前記現在復元ピクセルがエッジピクセルであるか否かを示す前記エッジクラスを決定する段階を含み、
前記オフセットほどピクセル値を調整する段階は、
前記オフセット値が、現在オフセットタイプに割り当てられたエッジクラスごとに、対応するオフセット値を含む場合、前記オフセット値から、前記現在復元ピクセルのエッジクラスに対応するオフセット値を決定する段階を含むことを特徴とする付記1に記載のビデオ復号化方法。
(付記3)
前記復元ピクセルのエッジクラスまたはピクセル値バンドを決定する段階は、
前記現在ブロックのオフセットタイプが、前記ピクセル値バンドタイプである場合、前記多数のバンドのうち、現在復元ピクセルのピクセル値が属するピクセル値範囲を示す前記ピクセル値バンドを決定する段階を含み、
前記オフセットほどピクセル値を調整する段階は、
前記オフセット値が、現在オフセットタイプに割り当てられたピクセル値バンドごとに対応するオフセット値を含む場合、前記オフセット値から、前記現在復元ピクセルのピクセル値バンドに対応するオフセット値を決定する段階を含むことを特徴とする付記1に記載のビデオ復号化方法。
(付記4)
前記現在ブロックのオフセットタイプ及びオフセット値を復元する段階は、
前記オフセット併合情報に基づいて、前記現在ブロックの左側ブロック及び上端ブロックのうち、少なくとも1つのオフセット・パラメータが、前記現在ブロックのオフセット・パラメータと同一であるならば、前記現在ブロックの左側ブロック及び上端ブロックのうち少なくとも1つのオフセット・パラメータと同一に、前記現在ブロックのオフセット・パラメータを復元する段階を含むことを特徴とする付記1に記載のビデオ復号化方法。
(付記5)
前記現在ブロックのオフセットタイプ及びオフセット値を復元する段階は、
前記オフセット併合情報に基づいて、前記現在ブロックの左側ブロック及び上端ブロックのオフセット・パラメータが、前記現在ブロックのオフセット・パラメータと異なれば、前記受信されたビットストリームから、前記現在ブロックのオフセット・パラメータをパージングして復元する段階を含むことを特徴とする付記1に記載のビデオ復号化方法。
(付記6)
前記現在ブロックのオフセットタイプ及びオフセット値を復元する段階は、
前記現在ブロックのルマ成分及びクロマ成分のうち少なくとも1つのカラー成分は、それぞれのオフセット・パラメータを相互参照して予測復元する段階を含むことを特徴とする付記1に記載のビデオ復号化方法。
(付記7)
前記オフセットは、同一のエッジクラスまたは同一のピクセル値バンドに含まれる復元ピクセルと原本ピクセルとの差値の平均であることを特徴とする付記1に記載のビデオ復号化方法。
(付記8)
ビデオ符号化方法において、
ビデオのブロックのうち、現在ブロックのエッジタイプによるエッジクラスまたはピクセル値バンドタイプによるピクセル値バンドを決定する段階と、
前記エッジクラスまたはピクセル値バンドに含まれる復元ピクセルと原本ピクセルとの差値を利用して、前記エッジクラスまたはピクセル値バンドに対応するオフセット値を決定する段階と、
各ブロックのオフセット・パラメータが、前記エッジタイプまたは前記ピクセル値バンドタイプを示すオフセットタイプと、前記エッジクラスまたはピクセル値バンドに対応するオフセットと、を含むとき、前記現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータの同一性に基づいて、前記現在ブロックのオフセット・パラメータの符号化いかんを示す前記現在ブロックのオフセット併合情報を符号化する段階と、を含むことを特徴とするビデオ符号化方法。
(付記9)
前記エッジクラスまたは前記ピクセル値バンドを決定する段階は、
前記現在ブロックのオフセットが、前記エッジタイプによって決定される場合、前記エッジタイプ及びエッジサイズによって位置する現在復元ピクセルの隣接ピクセルと、前記現在復元ピクセルとのピクセル値を比較し、前記現在復元ピクセルがエッジピクセルであるか否かを示す前記エッジクラスを決定する段階を含むことを特徴とする付記8に記載のビデオ符号化方法。
(付記10)
前記エッジクラスまたは前記ピクセル値バンドを決定する段階は、
前記現在ブロックのオフセットが、前記復元ピクセルのピクセル値バンドタイプによって決定される場合、前記多数のバンドのうち、現在復元ピクセルのピクセル値が属するピクセル値範囲を示す前記ピクセル値バンドを決定する段階を含むことを特徴とする付記8に記載のビデオ符号化方法。
(付記11)
前記現在ブロックのオフセット併合情報を符号化する段階は、
前記現在ブロックの左側ブロック及び上端ブロックのうち、少なくとも1つのオフセット・パラメータが、前記現在ブロックのオフセット・パラメータと同一であるならば、前記現在ブロックのオフセット・パラメータを除き、前記オフセット併合情報だけ符号化する段階を含むことを特徴とする付記8に記載のビデオ符号化方法。
(付記12)
前記エッジクラスまたはピクセル値バンドに対応するオフセット値を決定する段階は、
同一のエッジクラスまたは同一のピクセル値バンドに含まれる復元ピクセルと原本ピクセルとの差値の平均である前記オフセット値を決定する段階を含むことを特徴とする付記8に記載のビデオ符号化方法。
(付記13)
ビデオ復号化装置において、
受信したビットストリームから、ビデオのブロックのうち、現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータが同一であるか否かを示すオフセット併合情報をパージングし、前記オフセット併合情報に基づいて、前記現在ブロックのオフセット・パラメータのうち、オフセットタイプ及びオフセット値を復元するオフセット・パラメータ・パージング部と、
前記オフセットタイプが示す前記現在ブロックのエッジタイプまたはピクセル値バンドタイプに基づいて、前記復元ピクセルのエッジクラスまたはピクセル値バンドを決定し、前記オフセット値から、前記復元ピクセルのエッジクラスまたはピクセル値バンドに対応するオフセット値を決定し、前記復元ピクセルのピクセル値を、前記オフセットほど調整するオフセット調整部と、を含むことを特徴とするビデオ復号化装置。
(付記14)
ビデオ符号化装置において、
ビデオのブロックのうち、現在ブロックのエッジタイプによるエッジクラスまたはピクセル値バンドタイプによってピクセル値バンドを決定し、前記エッジクラスまたはピクセル値バンドに含まれる復元ピクセルと原本ピクセルとの差値を利用して、前記エッジクラスまたはピクセル値バンドに対応するオフセット値を決定するオフセット決定部と、
各ブロックのオフセット・パラメータが、前記エッジタイプまたはピクセル値バンドタイプを示すオフセットタイプと、前記エッジクラスまたはピクセル値バンドに対応するオフセットと、を含むとき、前記現在ブロックと、少なくとも1つの隣接ブロックとのオフセット・パラメータの同一性に基づいて、前記現在ブロックのオフセット・パラメータの符号化いかんを示す前記現在ブロックのオフセット併合情報を符号化するオフセット・パラメータ符号化部と、を含むことを特徴とするビデオ符号化装置。
(付記15)
付記1ないし8のうち、いずれか一項に記載の方法を電算的に具現するためのプログラムが記録されたコンピュータ可読記録媒体。