(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-21
(45)【発行日】2022-09-30
(54)【発明の名称】映像復号化方法
(51)【国際特許分類】
H04N 19/52 20140101AFI20220922BHJP
【FI】
H04N19/52
(21)【出願番号】P 2021022548
(22)【出願日】2021-02-16
(62)【分割の表示】P 2019036444の分割
【原出願日】2011-12-13
【審査請求日】2021-03-15
(31)【優先権主張番号】10-2010-0126630
(32)【優先日】2010-12-13
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2011-0133709
(32)【優先日】2011-12-13
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】596099882
【氏名又は名称】エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート
【氏名又は名称原語表記】ELECTRONICS AND TELECOMMUNICATIONS RESEARCH INSTITUTE
(74)【代理人】
【識別番号】100091487
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【氏名又は名称】吉田 昌司
(72)【発明者】
【氏名】リム、スン、チャン
(72)【発明者】
【氏名】キム、フイ、ヨン
(72)【発明者】
【氏名】ジョン、セ、ユン
(72)【発明者】
【氏名】チョ、スク、ヒー
(72)【発明者】
【氏名】キム、ジョン、ホ
(72)【発明者】
【氏名】リー、ハ、ヒュン
(72)【発明者】
【氏名】リー、ジン、ホ
(72)【発明者】
【氏名】チェ、ジン、スー
(72)【発明者】
【氏名】キム、ジン、ウン
(72)【発明者】
【氏名】アン、チー、トゥク
【審査官】岩井 健二
(56)【参考文献】
【文献】米国特許出願公開第2009/0304084(US,A1)
【文献】Takeshi Chujoh et al.,Description of video coding technology proposal by TOSHIBA,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-A117,1st Meeting: Dresden, DE,2010年04月,pp.1-6
【文献】Ken McCann et al.,Samsung's Response to the Call for Proposals on Video Compression Technology,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-A124,1st Meeting: Dresden, DE,2010年04月,pp.1-15
【文献】Joel Jung and Guillaume Laroche,ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group,Competition-Based Scheme for Motion Vector Selection and Coding,VCEG-AC06,29th Meeting: Klagenfurt, Austria,2006年07月,pp.1-7
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
復元された隣接ユニットの中から候補ユニットを選択するステップと、
前記選択された候補ユニットに基づいて復号化対象ユニットに対する候補ユニット集合を生成するステップと、
前記生成された候補ユニット集合および符号化パラメータ識別子に基づいて、前記復号化対象ユニットの動き情報を決定するステップであって、前記符号化パラメータ識別子は、前記生成された候補ユニット集合から、前記復号化対象ユニットのインター予測に用いられる参照ユニットの動きベクトルを指示する、ステップと、
前記決定された動き情報を用いることによって現在ブロックの予測サンプルを取得するステップと、を含み、
前記選択された候補ユニットは、前記復号化対象ユニットとは異なる参照ピクチャリストを有するが前記復元された隣接ユニットのうち前記復号化対象ユニットと同一の参照ピクチャを参照するユニットを示し、
選択される前記候補ユニットの個数は、所定の個数Nで制限され、Nは0より大きい正の整数であ
り、
前記復元された隣接ユニットは、前記復号化対象ユニットの上段に隣接する上段隣接ユニット、前記復号化対象ユニットの左側に隣接する左側隣接ユニット、前記復号化対象ユニットの右側上段コーナーに位置する右側上段コーナーユニット、前記復号化対象ユニットの左側上段コーナーに位置する左側上段コーナーユニット、及び前記復号化対象ユニットの左側下段コーナーに位置する左側下段コーナーユニットを含む、映像復号化方法。
【請求項2】
符号化対象ユニットの動き情報を決定するステップと、
前記符号化対象ユニットの予測サンプルを取得するステップと、
前記符号化対象ユニットの前記動き情報に基づいて、復元された隣接ユニットの中から候補ユニットを選択するステップと、
前記選択された候補ユニットに基づいて前記符号化対象ユニットに対する候補ユニット集合を生成するステップと、
前記生成された候補ユニット集合に基づいて前記符号化対象ユニットに対する符号化パラメータ識別子を符号化するステップであって、前記符号化パラメータ識別子は、前記生成された候補ユニット集合から前記符号化対象ユニットのインター予測に用いられる参照ユニットの動きベクトルを指示する、ステップと、を含み、
前記選択された候補ユニットは、前記符号化対象ユニットとは異なる参照ピクチャリストを有するが前記復元された隣接ユニットのうち前記符号化対象ユニットと同一の参照ピクチャを参照するユニットを示し、
選択される前記候補ユニットの個数は、所定の個数Nで制限され、Nは0より大きい正の整数であ
り、
前記復元された隣接ユニットは、前記符号化対象ユニットの上段に隣接する上段隣接ユニット、前記符号化対象ユニットの左側に隣接する左側隣接ユニット、前記符号化対象ユニットの右側上段コーナーに位置する右側上段コーナーユニット、前記符号化対象ユニットの左側上段コーナーに位置する左側上段コーナーユニット、及び前記符号化対象ユニットの左側下段コーナーに位置する左側下段コーナーユニットを含む、映像符号化方法。
【請求項3】
装置により映像を符号化する方法によって生成されたビットストリームを送信する方法であって、
前記映像を符号化する方法は、
符号化対象ユニットの動き情報を決定するステップと、
前記符号化対象ユニットの予測サンプルを取得するステップと、
前記符号化対象ユニットの前記動き情報に基づいて、復元された隣接ユニットの中から候補ユニットを選択するステップと、
前記選択された候補ユニットに基づいて前記符号化対象ユニットに対する候補ユニット集合を生成するステップと、
前記生成された候補ユニット集合に基づいて前記符号化対象ユニットに対する符号化パラメータ識別子を符号化するステップであって、前記符号化パラメータ識別子は、前記生成された候補ユニット集合から前記符号化対象ユニットのインター予測に用いられる参照ユニットの動きベクトルを指示する、ステップと、を含み、
前記選択された候補ユニットは、前記符号化対象ユニットとは異なる参照ピクチャリストを有するが前記復元された隣接ユニットのうち前記符号化対象ユニットと同一の参照ピクチャを参照するユニットを示し、
選択される前記候補ユニットの個数は、所定の個数Nで制限され、Nは0より大きい正の整数であ
り、
前記復元された隣接ユニットは、前記符号化対象ユニットの上段に隣接する上段隣接ユニット、前記符号化対象ユニットの左側に隣接する左側隣接ユニット、前記符号化対象ユニットの右側上段コーナーに位置する右側上段コーナーユニット、前記符号化対象ユニットの左側上段コーナーに位置する左側上段コーナーユニット、及び前記符号化対象ユニットの左側下段コーナーに位置する左側下段コーナーユニットを含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理に関し、より詳しくは、インター予測方法及び装置に関する。
【背景技術】
【0002】
最近、HD(High Definition)解像度を有する放送サービスが国内だけでなく、世界的に拡大されるにつれて、多くのユーザが高解像度、高画質の映像に慣れており、これにより、多くの機関が次世代映像機器に対する開発に拍車をかけている。また、HDTVと共にHDTVの4倍以上の解像度を有するUHD(Ultra High Definition)に対する関心が増大し、より高い解像度、高画質の映像に対する圧縮機術が要求されている。
【0003】
映像圧縮のために、時間的に以前及び/又は以後のピクチャから、現在ピクチャに含まれているピクセル値を予測するインター(inter)予測技術、現在ピクチャ内のピクセル情報を利用して現在ピクチャに含まれているピクセル値を予測するイントラ(intra)予測技術、出現頻度が高いシンボル(symbol)に短い符号を割り当て、出現頻度が低いシンボルに長い符号を割り当てるエントロピー符号化技術などが使われることができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の技術的課題は、映像符号化/復号化の効率を上げることができる映像符号化方法及び装置を提供することにある。
【0005】
本発明の他の技術的課題は、映像符号化/復号化の効率を上げることができる映像復号化方法及び装置を提供することにある。
【0006】
本発明の他の技術的課題は、映像符号化/復号化の効率を上げることができるインター予測方法及び装置を提供することにある。
【0007】
本発明の他の技術的課題は、映像符号化/復号化の効率を上げることができる参照ユニット決定方法及び装置を提供することにある。
【課題を解決するための手段】
【0008】
本発明の一実施形態は、インター予測方法である。前記方法は、復元された隣接ユニットの中から候補ユニットを選択するステップ、前記選択された候補ユニットを利用し、復号化対象ユニットに対する候補ユニット集合(candidate unit set)を生成するステップ、前記生成された候補ユニット集合を構成する前記候補ユニットの中から参照ユニットを決定するステップ、及び前記決定された参照ユニットを利用し、前記復号化対象ユニットに対するインター予測を実行するステップを含み、前記復元された隣接ユニットは、前記復号化対象ユニットの上段に隣接する上段隣接ユニット、前記復号化対象ユニットの左側に隣接する左側隣接ユニット、前記復号化対象ユニットの右側上段コーナーに位置する右側上段コーナーユニット、前記復号化対象ユニットの左側上段コーナーに位置する左側上段コーナーユニット、及び前記復号化対象ユニットの左側下段コーナーに位置する左側下段コーナーユニットを含む。
【0009】
前記候補ユニット選択ステップでは、前記上段隣接ユニット、前記左側隣接ユニット、前記右側上段コーナーユニット、前記左側上段コーナーユニット、及び前記左側下段コーナーユニットを前記候補ユニットとして選択する。
【0010】
前記候補ユニット選択ステップでは、前記上段隣接ユニット及び前記左側隣接ユニットを前記候補ユニットとして選択する。
【0011】
前記候補ユニット選択ステップでは、前記復元された隣接ユニットの中から、前記復号化対象ユニットに隣接する境界の長さが所定の閾値以上であるユニットを前記候補ユニットとして選択する。
【0012】
前記候補ユニット選択ステップでは、前記復元された隣接ユニットの中から、所定の閾値以上の大きさを有するユニットを前記候補ユニットとして選択する。
【0013】
前記候補ユニット選択ステップでは、前記復元された隣接ユニットの中から、所定の閾値以下の深さ値を有するユニットを前記候補ユニットとして選択する。
【0014】
前記候補ユニット選択ステップでは、前記復元された隣接ユニットが前記復号化対象ユニットに隣接する境界間の相対的な長さ、前記復元された隣接ユニット間の相対的な大きさ又は前記復元された隣接ユニット間の相対的な深さ値を基準にして前記候補ユニットを選択する。
【0015】
前記候補ユニット選択ステップでは、前記復号化対象ユニットの符号化パラメータ及び前記復元された隣接ユニットの符号化パラメータのうち少なくとも一つを利用し、前記候補ユニットを選択し、前記復号化対象ユニットの符号化パラメータ及び前記復元された隣接ユニットの符号化パラメータは、各々、動きベクトル(motion vector)、参照ピクチャリスト(reference picture list)、参照ピクチャインデックス(reference picture index)、予測方向(prediction direction)、及び動きベクトル予測器(motion vector predictor)のうち少なくとも一つを含む。
【0016】
前記復号化対象ユニットの第1の符号化パラメータは、第1の参照ピクチャリスト及び第1の参照ピクチャインデックスを含み、前記候補ユニット選択ステップは、第2の符号化パラメータを有するユニットを前記候補ユニットとして選択するステップをさらに含み、前記第2の符号化パラメータは、前記第1の参照ピクチャリストと同一の第2の参照ピクチャリスト及び前記第1の参照ピクチャインデックスと同一の第2の参照ピクチャインデックスのうち少なくとも一つを含む。
【0017】
前記候補ユニット選択ステップでは、前記復号化対象ユニットの参照ピクチャと同一の参照ピクチャを有するユニットを前記候補ユニットとして選択する。
【0018】
前記候補ユニット選択ステップでは、インター予測により符号化されたユニットのみを前記候補ユニットとして選択する。
【0019】
前記候補ユニット集合生成ステップでは、前記選択された候補ユニット及び同一位置ユニット(collocated unit)を共に利用し、前記候補ユニット集合を生成し、前記同一位置ユニットは、前記復号化対象ユニットに対する参照ピクチャ内のユニットの中から、前記復号化対象ユニットと同一な空間的位置にあるユニットである。
【0020】
前記候補ユニット選択ステップでは、所定の固定された個数のユニットを前記候補ユニットとして選択する。
【0021】
前記所定の固定された個数のユニットは、前記復号化対象ユニットの符号化パラメータと前記復元された隣接ユニットの符号化パラメータとの間の同一性に基づいて選択され、前記復号化対象ユニットの符号化パラメータ及び前記復元された隣接ユニットの符号化パラメータは、各々、動きベクトル、参照ピクチャリスト、参照ピクチャインデックス、予測方向、及び動きベクトル予測器のうち少なくとも一つを含む。
【0022】
前記所定の固定された個数のユニットは、前記復号化対象ユニットの参照ピクチャと前記復元された隣接ユニットの参照ピクチャとの間の同一性に基づいて選択される。
【0023】
前記候補ユニット選択ステップは、符号化パラメータ識別子を受信するステップ、前記受信された符号化パラメータ識別子を復号化するステップ、及び前記復号化された符号化パラメータ識別子に割り当てられた符号化パラメータ値を基準にして、前記候補ユニットを選択するステップを含み、前記符号化パラメータ識別子に割り当てられた符号化パラメータ値は、前記復元された隣接ユニットが前記符号化対象ユニットに隣接する境界の長さ、前記復元された隣接ユニットの大きさ、及び前記復元された隣接ユニットの深さ値のうち少なくとも一つである。
【0024】
前記参照ユニット決定ステップは、参照ユニット識別子を受信するステップ、前記受信された参照ユニット識別子を復号化するステップ、及び前記復号化された参照ユニット識別子を利用して前記参照ユニットを決定するステップを含み、前記参照ユニット識別子は、前記候補ユニット集合を構成する前記候補ユニットの中から、参照ユニットとして決定されるユニットを指示する識別子である。
【0025】
前記参照ユニット識別子に割り当てられたコードワード長さは、前記参照ユニット識別子が指示するユニットが前記参照ユニットとして決定される確率が高いほど、短い。
【0026】
前記候補ユニット集合生成ステップは、前記参照ユニットとして決定される確率が高い順に前記候補ユニットを整列するステップをさらに含み、前記参照ユニット決定ステップでは、前記整列された候補ユニットの中から、1番目のユニットを前記参照ユニットとして決定する。
【0027】
前記候補ユニット集合生成ステップでは、前記候補ユニットのうち、前記参照ユニットとして決定される確率が最も高い一個のユニットのみを前記候補ユニット集合に含ませ、前記参照ユニット決定ステップでは、前記候補ユニット集合に含まれている前記一個のユニットを前記参照ユニットとして決定する。
【発明の効果】
【0028】
本発明による映像符号化方法によると、映像符号化/復号化の効率が向上することができる。
【0029】
本発明による映像復号化方法によると、映像符号化/復号化の効率が向上することができる。
【0030】
本発明によるインター予測方法によると、映像符号化/復号化の効率が向上することができる。
【0031】
本発明による参照ユニット決定方法によると、映像符号化/復号化の効率が向上することができる。
【図面の簡単な説明】
【0032】
【
図1】本発明が適用される映像符号化装置の一実施例による構成を示すブロック図である。
【
図2】本発明が適用される映像復号化装置の一実施例による構成を示すブロック図である。
【
図3】一つのユニットが複数の下位ユニットに分割される実施例を概略的に示す概念図である。
【
図4】符号化器での参照ユニット決定方法の一実施例を概略的に示すフローチャートである。
【
図5】候補ユニット集合生成方法の一実施例を概略的に示す概念図である。
【
図6】候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。
【
図7】候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。
【
図8】候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。
【
図9】候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。
【
図10】候補ユニットが候補ユニット集合に含まれる順序を決定する方法の一実施例を概略的に示す概念図である。
【
図11】本発明の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。
【
図12】本発明の他の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。
【
図13】本発明の他の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。
【
図14】復号化器での参照ユニット決定方法の一実施例を概略的に示すフローチャートである。
【
図15】本発明の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。
【
図16】本発明の他の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。
【
図17】本発明の他の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。
【発明を実施するための形態】
【0033】
以下、図面を参照して本発明の実施形態に対して具体的に説明する。本明細書の実施例を説明するにあたって、関連した公知構成又は機能に対する具体的な説明が本明細書の要旨を不明にすると判断される場合にはその詳細な説明は省略する。
【0034】
一構成要素が他の構成要素に“連結されている”又は“接続されている”と言及された場合、該当他の構成要素に直接的に連結されている、又は接続されていることもあるが、中間に他の構成要素が存在することもあると理解されなければならない。また、本発明において、特定構成を“含む”と記述する内容は、該当構成以外の構成を排除するものではなく、追加的な構成が本発明の実施又は本発明の技術的思想の範囲に含まれることができることを意味する。
【0035】
第1、第2などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第1の構成要素は第2の構成要素と命名することができ、同様に、第2の構成要素も第1の構成要素と命名することができる。
【0036】
また、本発明の実施例に示す構成部は、互いに異なる特徴的な機能を示すために独立的に図示されるものであり、各構成部が分離されたハードウェアや一つのソフトウェア構成単位からなることを意味しない。即ち、各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうち少なくとも2個の構成部が統合されて一つの構成部からなり、又は一つの構成部が複数個の構成部に分けられて機能を遂行することができ、このような各構成部の統合された実施例及び分離された実施例も本発明の本質から外れない限り本発明の権利範囲に含まれる。
【0037】
また、一部の構成要素は、本発明で本質的な機能を遂行する必須な構成要素ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除外した本発明の本質を具現するのに必須な構成部のみを含んで具現されることができ、単に性能向上のために使われる選択的構成要素を除外した必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
【0038】
図1は、本発明が適用される映像符号化装置の一実施例による構成を示すブロック図である。
【0039】
図1を参照すると、前記映像符号化装置100は、動き予測部111、動き補償部112、イントラ予測部120、スイッチ115、減算器125、変換部130、量子化部140、エントロピー符号化部150、逆量子化部160、逆変換部170、加算器175、フィルタ部180、及び参照ピクチャバッファ190を含む。
【0040】
映像符号化装置100は、入力映像に対してイントラ(intra)モード又はインター(inter)モードに符号化を実行し、ビットストリームを出力することができる。イントラ予測は画面内予測を意味し、インター予測は画面間予測を意味する。イントラモードの場合、スイッチ115がイントラに転換され、インターモードの場合、スイッチ115がインターに転換されることができる。映像符号化装置100は、入力映像の入力ブロックに対する予測ブロックを生成した後、入力ブロックと予測ブロックとの残差(residual)を符号化することができる。
【0041】
イントラモードの場合、イントラ予測部120は、現在ブロック周辺の既に符号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生成することができる。
【0042】
インターモードの場合、動き予測部111は、動き予測過程で参照ピクチャバッファ190に格納されている参照映像で入力ブロックと最もよくマッチされる領域を探して動きベクトルを求めることができる。動き補償部112は、動きベクトルを利用して動き補償を実行することによって予測ブロックを生成することができる。ここで、動きベクトルは、インター予測に使われる2次元ベクトルであり、現在符号化/復号化の対象映像と参照映像との間のオフセットを示すことができる。
【0043】
減算器125は、入力ブロックと生成された予測ブロックとの残差により残差ブロック(residual block)を生成することができる。変換部130は、残差ブロックに対して変換(transform)を実行することで、変換係数(transform coefficient)を出力することができる。また、量子化部140は、入力された変換係数を量子化パラメータによって量子化することで、量子化された係数(quantized coefficient)を出力することができる。
【0044】
エントロピー符号化部150は、量子化部140で算出された値又は符号化過程で算出された符号化パラメータ値などに基づいてエントロピー符号化を実行することで、ビットストリーム(bit stream)を出力することができる。
【0045】
エントロピー符号化が適用される場合、高い発生確率を有するシンボル(symbol)に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、符号化対象シンボルに対するビット列の大きさが減少されることができる。したがって、エントロピー符号化を介して映像符号化の圧縮性能が高まることができる。エントロピー符号化部150は、エントロピー符号化のために、指数ゴロム(exponential golomb)、CAVLC(Context-Adaptive Variable Length Coding)、CABAC(Context-Adaptive Binary Arithmetic Coding)のような符号化方法を使用することができる。
【0046】
図1の実施例による映像符号化装置は、インター予測符号化、即ち、画面間予測符号化を実行するため、現在符号化された映像は、参照映像として使われるために、復号化されて格納される必要がある。したがって、量子化された係数は、逆量子化部160で逆量子化され、逆変換部170で逆変換される。逆量子化、逆変換された係数は、加算器175を介して予測ブロックと加えて復元ブロックが生成される。
【0047】
復元ブロックは、フィルタ部180を経て、フィルタ部180は、デブロッキングフィルタ(deblocking filter)、SAO(Sample Adaptive Offset)、ALF(Adaptive Loop Filter)のうち少なくとも一つ以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部180は、適応的インループ(in-loop)フィルタと呼ばれることもある。デブロッキングフィルタは、ブロック間の境界に生じたブロック歪曲を除去することができる。SAOは、コーディングエラーを補償するために、ピクセル値に適正オフセット(offset)値を加えることができる。ALFは、復元された映像と元来の映像を比較した値に基づいてフィルタリングを実行することができる。フィルタ部180を経た復元ブロックは、参照ピクチャバッファ190に格納されることができる。
【0048】
図2は、本発明が適用される映像復号化装置の一実施例による構成を示すブロック図である。
【0049】
図2を参照すると、前記映像復号化装置200は、エントロピー復号化部210、逆量子化部220、逆変換部230、イントラ予測部240、動き補償部250、加算器255、フィルタ部260、及び参照ピクチャバッファ270を含む。
【0050】
映像復号化装置200は、符号化器で出力されたビットストリームの入力を受けてイントラモード又はインターモードに復号化を実行することで、再構成された映像、即ち、復元映像を出力することができる。イントラモードの場合、スイッチがイントラに転換され、インターモードの場合、スイッチがインターに転換されることができる。映像復号化装置200は、入力を受けたビットストリームから残差ブロック(residual block)を得て予測ブロックを生成した後、残差ブロックと予測ブロックとを加えることで、再構成されたブロック、即ち、復元ブロックを生成することができる。
【0051】
エントロピー復号化部210は、入力されたビットストリームを確率分布によってエントロピー復号化し、量子化された係数(quantized coefficient)形態のシンボルを含むシンボルを生成することができる。エントロピー復号化方法は、前述したエントロピー符号化方法と同様である。
【0052】
エントロピー復号化方法が適用される場合、高い発生確率を有するシンボルに少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、各シンボルに対するビット列の大きさが減少されることができる。したがって、エントロピー復号化方法を介して映像復号化の圧縮性能が高まることができる。
【0053】
量子化された係数は、逆量子化部220で逆量子化され、逆変換部230で逆変換され、量子化された係数が逆量子化/逆変換された結果、残差ブロック(residual block)が生成されることができる。
【0054】
イントラモードの場合、イントラ予測部240は、現在ブロック周辺の既に符号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生成することができる。インターモードの場合、動き補償部250は、動きベクトル及び参照ピクチャバッファ270に格納されている参照映像を利用して動き補償を実行することによって、予測ブロックを生成することができる。
【0055】
残差ブロックと予測ブロックは、加算器255を介して加えられ、加えられたブロックは、フィルタ部260を経ることができる。フィルタ部260は、デブロッキングフィルタ、SAO、ALFのうち少なくとも一つ以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部260は、再構成された映像、即ち、復元映像を出力することができる。復元映像は、参照ピクチャバッファ270に格納されてインター予測に使われることができる。
【0056】
以下、ユニット(unit)は、映像符号化及び復号化の単位を意味する。映像符号化及び復号化時の符号化又は復号化単位は、映像を分割して符号化又は復号化する時のその分割された単位を意味するため、ブロック、符号化ユニット(CU:Coding Unit)、符号化ブロック、予測ユニット(PU:Prediction Unit)、予測ブロック、変換ユニット(TU:Transform Unit)、変換ブロック(transform block)などで呼ばれることもある。また、一つのユニットは、大きさが小さい下位ユニットに分割されることができる。
【0057】
ここで、予測ユニットは予測及び/又は動き補償実行の単位となる基本ユニットを意味する。予測ユニットは、複数のパーティション(partition)に分割されることができ、それぞれのパーティションは、予測ユニットパーティション(prediction unit partition)と呼ばれることもある。予測ユニットが複数のパーティションに分割された場合、複数のパーティションの各々が予測及び/又は動き補償実行の単位となる基本ユニットである。以下、本発明の実施例では予測ユニットが分割されたそれぞれのパーティションも予測ユニットと呼ばれることもある。
【0058】
一方、前述したように、インターモードで符号化器及び復号化器は、符号化/復号化の対象ユニットに対する予測及び/又は動き補償を実行することができる。ここで、符号化/復号化の対象ユニット(encoding/decoding target unit)は、予測ユニット及び/又は予測ユニットパーティションを意味する。この時、符号化器及び復号化器は、復元された隣接ユニット(reconstructed neighbor unit)の動きベクトルを利用することによって、符号化/復号化の効率を向上させることができる。ここで、復元された隣接ユニットは、既に符号化又は復号化されて復元されたユニットであり、符号化/復号化の対象ユニットに隣接するユニット、符号化/復号化の対象ユニットの右側上段コーナーに位置するユニット、符号化/復号化の対象ユニットの左側上段コーナーに位置するユニット及び/又は符号化/復号化の対象ユニットの左側下段コーナーに位置するユニットを含むことができる。
【0059】
一例として、符号化器及び復号化器は、復元された隣接ユニットの動きベクトルを符号化/復号化の対象ユニットの動きベクトルとして使用することができる。この時、符号化/復号化の対象ユニットでは復元された隣接ユニットの動きベクトルが使われるため、符号化器は、符号化/復号化の対象ユニットに対する動きベクトルを符号化しない。したがって、復号化器に送信されるビット量が減少され、符号化効率が向上することができる。このようなインター予測モードにはスキップモード(skip mode)及び/又はダイレクトモード(direct mode)などがある。
【0060】
この時、符号化器は、復元された隣接ユニットのうちいずれのユニットの動きベクトルが使われるかを指示する識別子及び/又はインデックスを使用することができる。前記識別子及び/又はインデックスが使われるインター予測モードは、マージモード(merge mode)と呼ばれることもある。
【0061】
他の例として、符号化器は、符号化対象ユニットの動きベクトルを利用して予測及び/又は補償を実行した後、符号化対象ユニットの動きベクトルを符号化する時、符号化対象ユニットの動きベクトルと復元された隣接ユニットの動きベクトルとの間の動きベクトル差分を生成することができる。符号化器は、生成された動きベクトル差分を符号化して復号化器に送信することができる。この時、復号化器は、動きベクトル差分を復号化し、復号化された動きベクトル差分と復元された隣接ユニットの動きベクトルとの和を介して復号化対象ユニットの動きベクトルを導出することができる。このようなインター予測方法は、MVP(Motion Vector Prediction:動きベクトル予測)と呼ばれることもある。MVPが使われることによって、符号化器から復号化器に送信される情報量が減少され、符号化効率が向上することができる。
【0062】
この時、符号化器は、復元された隣接ユニットのうちいずれのユニットの動きベクトルが使われるかを指示する識別子及び/又はインデックスを使用することができる。前記識別子及び/又はインデックスが追加的に利用されるMVPは、AMVP(Advanced Motion Vector Prediction)と呼ばれることもある。
【0063】
前述したスキップモード、ダイレクトモード、マージモード、MVP、AMVPなどでは、復元された隣接ユニットの中から参照ユニット(reference unit)が決定され、決定された参照ユニットの動きベクトルが現在符号化/復号化の対象ユニットの予測及び/又は動き補償に使われることができる。以下、参照ユニットは、符号化/復号化の対象ユニットの予測及び/又は動き補償に使われるユニットを意味する。符号化器及び復号化器は、現在符号化/復号化の対象ユニットに対するインター予測及び/又は動き補償を実行する場合、参照ユニットの符号化パラメータを利用することができる。
【0064】
符号化パラメータは、構文要素(syntax element)のように、符号化器で符号化されて復号化器に送信される情報だけでなく、符号化又は復号化過程で類推されることができる情報を含むことができ、映像を符号化したり復号化したりする時、必要な情報を意味する。符号化パラメータは、例えば、インター予測モード、動き情報、符号化ブロックパターン(CBP:Coded Block Pattern)、ブロック大きさ、ブロック分割情報などの値及び/又は統計を含むことができる。
【0065】
ここで、動き情報(motion information)は、インター予測及び動き補償に必要なパラメータを意味する。動き情報は、参照ピクチャリスト(reference picture list)、参照ピクチャインデックス(reference picture index)、動きベクトル(motion vector)、予測方向(prediction direction)、動きベクトル予測器(motion vector predictor)のうち少なくとも一つを含むことができる。ここで、参照ピクチャリストは、インター予測に使われる複数の参照映像で構成されたリストであり、参照ピクチャインデックスは、参照ピクチャリストに含まれている参照ピクチャのうち、符号化/復号化の対象ユニットのインター予測に使われる参照ピクチャを指示するインデックスである。
【0066】
インター予測には2個の参照ピクチャリストが使われることができ、一つは参照ピクチャリスト0と呼ばれ、他の一つは参照ピクチャリスト1と呼ばれることもある。動き情報に含まれている予測方向(prediction direction)は、インター予測時、いずれの参照ピクチャリストが使われるかを指示する情報である。即ち、予測方向は、参照ピクチャリスト0が使われるか、参照ピクチャリスト1が使われるか又は参照ピクチャリスト0と参照ピクチャリスト1の両方とも使われるかを指示することができる。動きベクトル予測器は、符号化器及び復号化器が動きベクトルを予測する時、予測候補となるユニット及び/又は予測候補となるユニットの動きベクトルを意味する。
【0067】
ブロック分割情報にはユニットの深さ(depth)に対する情報が含まれることができる。深さ情報は、ユニットが分割される回数及び/又は程度を示すことができる。
【0068】
図3は、一つのユニットが複数の下位ユニットに分割される実施例を概略的に示す概念図である。
【0069】
一つのユニットは、ツリー構造(tree structure)下で深さ情報(depth)を有して階層的に分割されることができる。それぞれの分割された下位ユニットは、深さ情報を有することができる。前記深さ情報は、ユニットが分割された回数及び/又は程度を示すため、前記下位ユニットの大きさに対する情報を含むこともできる。
【0070】
図3の310を参照すると、最も上位ノードはルートノード(root node)と呼ばれることもあり、最も小さい深さ値を有することができる。この時、最も上位ノードは、レベル0の深さを有することができ、分割されない最初のユニットを示すことができる。
【0071】
レベル1の深さを有する下位ノードは、最初のユニットが一回分割されたユニットを示すことができ、レベル2の深さを有する下位ノードは、最初のユニットが二回分割されたユニットを示すことができる。例えば、
図3の320において、ノードaに対応するユニットaは、最初のユニットで一回分割されたユニットであり、レベル1の深さを有することができる。
【0072】
レベル3のリーフノード(leaf node)は、最初のユニットが三回分割されたユニットを示すことができる。例えば、
図3の320において、ノードdに対応するユニットdは、最初のユニットで三回分割されたユニットであり、レベル3の深さを有することができる。したがって、最も下位ノードであるレベル3のリーフノードは、最も深い深さを有することができる。
【0073】
前述したように、符号化器及び復号化器は、スキップモード、ダイレクトモード、マージモード、MVP、AMVPなどを利用してインター予測及び/又は動き補償を実行する場合、復元された隣接ユニットの中から参照ユニットを決定し、決定された参照ユニットの動きベクトルを利用することができる。符号化/復号化の対象ユニットに隣接する復元された隣接ユニットは、互いに異なる特性を有することができ、例えば、前記特性は、復元された隣接ユニットのそれぞれの符号化パラメータにより示されることができる。したがって、符号化器及び復号化器は、参照ユニットを決定して符号化/復号化する場合、映像の符号化パラメータを効率的に利用する必要がある。また、一つのピクチャは、多様な大きさのユニット、多様な深さのユニットを含むことができる。したがって、符号化/復号化の性能を高めるために、ユニットの大きさ及び/又は深さの多様性を考慮して参照ユニットを決定する方法が提供されることができる。
【0074】
図4は、符号化器での参照ユニット決定方法の一実施例を概略的に示すフローチャートである。
【0075】
図4を参照すると、符号化器は、復元された隣接ユニットを利用し、候補ユニット集合を生成することができる(S410)。ここで、候補ユニット集合(candidate unit set)は、参照ユニット候補の集合を意味する。現在符号化対象ユニットの予測及び/又は動き補償に使われる参照ユニットは、前記参照ユニット候補の中から決定されることができる。以下、候補ユニットは、参照ユニット候補と同じ意味を有することができる。
【0076】
符号化器は、所定の基準及び/又は方法により、復元された隣接ユニットの中から候補ユニットを選択することができる。この時、符号化器は、映像の特性を反映するために、符号化対象ユニットの符号化パラメータ及び/又は復元された隣接ユニットの符号化パラメータを利用することができる。符号化器は、選択された候補ユニットを候補ユニット集合に包含及び/又は挿入させ、候補ユニット集合を生成することができる。候補ユニット集合生成方法の具体的な実施例は後述する。
【0077】
また、
図4を参照すると、符号化器は、生成された候補ユニット集合に含まれている候補ユニットの中から、現在符号化対象ユニットの予測及び/又は動き補償に使われる参照ユニットを決定することができる(S420)。
【0078】
参照ユニットが決定されると、符号化器は、決定された参照ユニットを利用して符号化対象ユニットに対するインター予測を実行することができる。この時、符号化器は、インター予測及び/又は動き補償を実行するにあたって、スキップモード、ダイレクトモード、マージモード、MVP、AMVPなどの方法を使用することができる。参照ユニット決定方法の具体的な実施例は後述する。
【0079】
参照ユニットが決定されると、符号化器は、参照ユニット識別情報を符号化して復号化器に送信することができる(S430)。参照ユニット識別情報には符号化パラメータ識別子、参照ユニット識別子などがあり、参照ユニット識別情報の符号化方法の具体的な実施例は後述する。
【0080】
図5は、候補ユニット集合生成方法の一実施例を概略的に示す概念図である。
【0081】
符号化器は、復元された隣接ユニットの中から、符号化対象ユニットに隣接するユニット及び符号化対象ユニットのコーナーに位置するユニットを候補ユニットとして選択して候補ユニット集合に含ませることができる。インター予測及び/又は動き補償が実行される符号化対象ユニットは、予測ユニット(Prediction Unit)である。
【0082】
以下、符号化対象ユニットの上段に隣接するユニットは上段隣接ユニットといい、符号化対象ユニットの左側に隣接するユニットは左側隣接ユニットという。また、符号化対象ユニットの右側上段コーナーに位置するユニットは右側上段コーナーユニットといい、符号化対象ユニットの左側上段コーナーに位置するユニットは左側上段コーナーユニットといい、符号化対象ユニットの左側下段コーナーに位置するユニットは左側下段コーナーユニットという。
【0083】
図5の510を参照すると、符号化器は、左側隣接ユニット(A)、上段隣接ユニット(B)、右側上段コーナーユニット(C)、左側上段コーナーユニット(D)、及び左側下段コーナーユニット(E)を、候補ユニット集合に含まれる候補ユニットとして選択することができる。この時、一実施例として、生成された候補ユニット集合は{A,B,C,D,E}のように構成されることができる。
【0084】
図5の520を参照すると、符号化器は、左側隣接ユニット(A,B,C)、上段隣接ユニット(D,E,F)、右側上段コーナーユニット(G)、左側上段コーナーユニット(H)、及び左側下段コーナーユニット(M)を、候補ユニット集合に含まれる候補ユニットとして選択することができる。この時、一実施例として、生成された候補ユニット集合は{H,D,E,F,G,A,B,C,M}のように構成されることができる。
【0085】
前述した実施例において、符号化器は、左側隣接ユニットのうち特定ユニットのみを候補ユニットとして選択することもできる。例えば、符号化器は、左側隣接ユニットのうち最も下段に位置するユニットのみを候補ユニットとして選択することができる。また、符号化器は、上段隣接ユニットのうち特定ユニットのみを候補ユニットとして選択することもできる。例えば、符号化器は、上段隣接ユニットのうち最も右側に位置するユニットのみを候補ユニットとして選択することができる。この場合、
図5の520で生成された候補ユニット集合は{H,F,G,C,M}である。
【0086】
図6は、候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。
【0087】
符号化器は、復元された隣接ユニットの中から、符号化対象ユニットの左側に隣接するユニット及び符号化対象ユニットの上段に隣接するユニットを候補ユニットとして選択して候補ユニット集合に含ませることができる。
【0088】
図6の610を参照すると、符号化器は、左側隣接ユニット(A)、上段隣接ユニット(B)を、候補ユニット集合に含まれる候補ユニットとして選択することができる。この時、一実施例として、生成された候補ユニット集合は{A,B}のように構成されることができる。
【0089】
図6の620を参照すると、符号化器は、左側隣接ユニット(A,B,C)、上段隣接ユニット(D,E,F)を、候補ユニット集合に含まれる候補ユニットとして選択することができる。この時、一実施例として、生成された候補ユニット集合は{D,E,F,A,B,C}で構成されることができる。
【0090】
図7は、候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。
図7の実施例において、符号化対象ユニット(X)の大きさは16×16と仮定し、C、D、H、Mユニットの大きさは8×8と仮定し、残りのユニットの大きさは4×4と仮定する。
【0091】
図6で前述したように、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットの左側に隣接するユニット及び符号化対象ユニットの上段に隣接するユニットを候補ユニットとして選択することができる。この時、符号化器は、左側隣接ユニット及び上段隣接ユニットの中から、符号化対象ユニットと隣接する境界の長さが所定の長さ以上であるユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。ここで、前記所定の長さは正の整数である。以下、符号化対象ユニットと復元された隣接ユニットが隣接する境界は隣接境界という。
【0092】
図7を参照すると、符号化器は、符号化対象ユニットと隣接する境界の長さが8以上であるユニットのみを候補ユニットとして選択することができる。C、Dユニットは、8×8の大きさであり、符号化対象ユニットとC、Dユニットが隣接する境界の長さが8であるため、候補ユニット集合に含まれる候補ユニットとして選択されることができる。一方、A、B、E、Fユニットは、4×4大きさであり、符号化対象ユニットとA、B、E、Fユニットが隣接する境界の長さが4であるため、候補ユニット集合に含まれる候補ユニットとして選択されない。この時、一実施例として、生成された候補ユニット集合は{C,D}である。
【0093】
他の例として、符号化器は、左側隣接ユニットの隣接境界及び上段隣接ユニットの隣接境界の相対的な長さを基準にして、候補ユニット集合に含まれる候補ユニットを選択することもできる。即ち、符号化器は、符号化対象ユニットに隣接するユニットの隣接境界長さを互いに比較して候補ユニットを選択することができる。
【0094】
例えば、復元された隣接ユニットのうち、隣接境界の長さが4であるユニット及び隣接境界の長さが8であるユニットが存在する場合、符号化器は、隣接境界の長さが相対的に長い後者のユニットのみを候補ユニット集合に含ませることができる。他の例として、復元された隣接ユニットのうち、隣接境界の長さが16であるユニット及び隣接境界の長さが4であるユニットが存在する場合、符号化器は、隣接境界の長さが相対的に短い後者のユニットのみを候補ユニット集合に含ませることができる。
【0095】
図8は、候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。
図8の実施例において、符号化対象ユニット(X)の大きさは16×16と仮定し、C、D、H、Mユニットの大きさは8×8と仮定し、残りのユニットの大きさは4×4と仮定する。
【0096】
図5で前述したように、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットに隣接するユニット及び符号化対象ユニットのコーナーに位置するユニットを候補ユニットとして選択することができる。この時、符号化器は、符号化対象ユニットに隣接するユニット及び符号化対象ユニットのコーナーに位置するユニットの中から、所定の大きさ以上のユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。ここで、前記所定の大きさはm*n(mは、正の整数、nは、正の整数)である。
【0097】
図8を参照すると、符号化器は、8×8以上の大きさを有するユニットのみを候補ユニットとして選択することができる。C、D、H、Mユニットは、8×8の大きさを有するため、候補ユニット集合に含まれる候補ユニットとして選択されることができる。一方、A、B、E、F、Gユニットは、4×4大きさを有するため、候補ユニット集合に含まれる候補ユニットとして選択されない。この時、一実施例として、生成された候補ユニット集合は{C,D,H,M}のように構成されることができる。
【0098】
他の例として、符号化器は、復元された隣接ユニットの相対的な大きさを基準にして、候補ユニット集合に含まれる候補ユニットを選択することもできる。即ち、符号化器は、復元された隣接ユニットの大きさを互いに比較して候補ユニットを選択することができる。例えば、大きさが8×8である復元された隣接ユニット及び大きさが16×16である復元された隣接ユニットが存在する場合、符号化器は、大きさが相対的に大きい後者のユニットのみを候補ユニット集合に含ませることができる。
【0099】
図9は、候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。
図9の実施例において、符号化対象ユニット(X)の深さ値は0と仮定し、C、D、H、Mユニットの深さ値は1と仮定し、残りのユニットの深さ値は2と仮定する。
【0100】
図5で前述したように、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットに隣接するユニット及び符号化対象ユニットのコーナーに位置するユニットを候補ユニットとして選択することができる。この時、符号化器は、符号化対象ユニットに隣接するユニット及び符号化対象ユニットのコーナーに位置するユニットの中から、所定の深さ以下のユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。ここで、前記所定の深さはn(nは、正の整数)である。
【0101】
図9を参照すると、符号化器は、1以下の深さを有するユニットのみを候補ユニットとして選択することができる。C、D、H、Mユニットは、1の深さを有するため、候補ユニット集合に含まれる候補ユニットとして選択されることができる。一方、A、B、E、F、Gユニットは、2の深さを有するため、候補ユニット集合に含まれる候補ユニットとして選択されない。この時、一実施例として、生成された候補ユニット集合は{H,D,C,M}のように構成されることができる。
【0102】
他の例として、符号化器は、復元された隣接ユニットの相対的な深さを基準にして、候補ユニット集合に含まれる候補ユニットを選択することもできる。即ち、符号化器は、復元された隣接ユニットの深さを互いに比較して候補ユニットを選択することができる。例えば、深さが0である復元された隣接ユニット及び深さが2である復元された隣接ユニットが存在する場合、符号化器は、深さ値が相対的に小さい前者のユニットのみを候補ユニット集合に含ませることができる。
【0103】
他の実施例として、符号化器は、符号化対象ユニットの符号化パラメータ及び/又は復元された隣接ユニットの符号化パラメータを利用し、候補ユニット集合に含まれる候補ユニットを選択することができる。この時、符号化器は、符号化対象ユニットと復元された隣接ユニットとの間の符号化パラメータ関連性を利用して候補ユニットを選択することもでき、復元された隣接ユニットの符号化パラメータのみを利用して候補ユニットを選択することもできる。
【0104】
一例として、符号化器は、復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が同じかどうかを判断した後、復元された隣接ユニットの中から、符号化対象ユニットと同一の動き情報を有するユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。例えば、前記動き情報は、動きベクトル、参照ピクチャリスト、参照ピクチャインデックス、予測方向、及び動きベクトル予測器のうち少なくとも一つ以上である。
【0105】
他の例として、符号化器は、復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が類似するかどうかを判断した後、復元された隣接ユニットの中から、符号化対象ユニットと類似の動き情報を有するユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。例えば、前記動き情報は、動きベクトル、参照ピクチャリスト、参照ピクチャインデックス、予測方向、及び動きベクトル予測器のうち少なくとも一つ以上である。復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が完全に同じではないが、所定の基準を満たす場合には、互いに類似すると判断されることができる。
【0106】
復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が類似する場合の実施例は、下記の通りである。例えば、復元された隣接ユニットの動きベクトルと符号化対象ユニットの動きベクトルの成分別大きさ差が、整数画素単位に所定の大きさ未満である場合、復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が類似すると判断されることができる。ここで、前記所定の大きさは、任意の自然数及び/又は正の実数であり、一例として、1である。他の例として、復元された隣接ユニットと符号化対象ユニットが互いに異なる参照ピクチャリストを有するが、互いに同一の参照ピクチャを使用する場合、復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が類似すると判断されることができる。他の例として、復元された隣接ユニットと符号化対象ユニットが互いに異なる参照ピクチャインデックスを有するが、互いに同一の参照ピクチャを使用する場合、復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が類似すると判断されることができる。
【0107】
また、例えば、符号化器は、復元された隣接ユニットの中から、イントラ予測により符号化されたユニットは候補ユニットとして選択しない。この時、符号化器は、イントラ予測により符号化されたユニットは候補ユニット集合に含ませない。一例として、符号化器は、復元された隣接ユニットの中から、インター予測により符号化されたユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることができる。
【0108】
符号化器は、復元された隣接ユニットに対する残差信号(residual signal)有無を判断した後、復元された隣接ユニットの中から、残差信号が存在しないユニットを候補ユニットとして選択して候補ユニット集合に含ませることもできる。ここで、前記残差信号有無は、残差信号有無に対する構文要素であるCBP(Coded Block Pattern)及び/又はCBF(Coded Block Flag)の値を介して判別されることができる。
【0109】
前述した候補ユニット集合生成方法の実施例において、前記候補ユニット集合に含まれる候補ユニットの個数は、所定の個数(例えば、N個)で制限されることができる。ここで、Nは、0より大きい正の整数を示すことができる。
【0110】
候補ユニット集合に含まれる候補ユニットの個数がN個で制限される場合、符号化器は、所定の基準を利用し、復元された隣接ユニットの中から、N個のユニットのみを候補ユニットとして選択することができる。ここで、前記所定の基準には、符号化対象ユニットとの隣接程度、符号化対象ユニット境界との隣接程度、符号化対象ユニットと隣接する境界の相対的な及び/又は絶対的な長さ、復元された隣接ユニットの相対的な及び/又は絶対的な大きさ、復元された隣接ユニットの相対的な及び/又は絶対的な深さ値、復元された隣接ユニットの符号化/復号化の順序及び/又は符号化対象ユニットの符号化パラメータと復元された隣接ユニットの符号化パラメータとの間の同一性/類似性などがある。復元された隣接ユニットの符号化パラメータと符号化対象ユニットの符号化パラメータが類似する場合の実施例は、前述したことがある。例えば、復元された隣接ユニットの符号化パラメータと符号化対象ユニットが互いに同一の参照ピクチャを使用する場合、復元された隣接ユニットの符号化パラメータと符号化対象ユニットの符号化パラメータが類似すると判断されることができる。
【0111】
例えば、候補ユニット集合に含まれる候補ユニットの個数は2個である。この時、一例として、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットに隣接する境界の長さが長い順に2個のユニットを候補ユニットとして選択して候補ユニット集合に含ませることができる。
【0112】
他の例として、候補ユニット集合に含まれる候補ユニットの個数は3個である。また、一例として、復元された隣接ユニットが同一の動き情報を有することができる。この時、符号化器は、同一の動き情報を有する復元された隣接ユニットの中から、符号化/復号化の順序上、後ほど復元された3個のユニットを候補ユニットとして選択して候補ユニット集合に含ませることができる。
【0113】
一方、前述した候補ユニット集合生成方法の実施例において、前記候補ユニット集合に含まれる候補ユニットは、符号化対象ユニットに対する参照ユニットとして決定される確率が高い順に整列されることができる。即ち、符号化器は、符号化対象ユニットに対する参照ユニットとして決定される確率が高いユニットを優先的に候補ユニット集合に包含及び/又は挿入させることができる。この時、符号化器は、参照ユニットとして決定される確率が高い候補ユニットであるほど、短いコードワードを有する参照ユニット識別子を割り当てて符号化効率を上げることができる。
【0114】
図10は、候補ユニットが候補ユニット集合に含まれる順序を決定する方法の一実施例を概略的に示す概念図である。
図10において、復元された隣接ユニットが符号化/復号化される順序は、H→D→K→L→E→F→N→O→G→P→I→A→J→B→C→Mと仮定する。
【0115】
例えば、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットの左側に隣接するユニット及び符号化対象ユニットの上段に隣接するユニットを候補ユニットとして選択して候補ユニット集合に含ませることができる。この時、符号化器は、選択された候補ユニットを符号化/復号化の順序によって候補ユニット集合に含ませることができる。
【0116】
図10を参照すると、符号化器は、符号化/復号化の順序上、先の候補ユニットを優先的に候補ユニット集合に含ませることができる。現在符号化対象ユニット(X)に隣接するユニットは、D→E→F→A→B→Cの順に符号化/復号化されることができるため、生成された候補ユニット集合は{D,E,F,A,B,C}のように構成されることができる。
【0117】
他の実施例として、符号化器は、候補ユニット集合に含まれる候補ユニットを、符号化対象ユニットに隣接する境界の長さが長い順に整列することができる。即ち、符号化器は、符号化対象ユニットに隣接する境界の長さが長い候補ユニットを優先的に候補ユニット集合に包含及び/又は挿入させることができる。
【0118】
他の実施例として、符号化器は、候補ユニット集合に含まれる候補ユニットを、深さ値が小さい順に整列することができる。即ち、符号化器は、深さ値が小さい候補ユニットを優先的に候補ユニット集合に包含及び/又は挿入させることができる。
【0119】
前述した候補ユニット集合生成方法の実施例において、符号化器は、復元された周辺ブロックの中から、候補ユニット集合に含まれる候補ユニットを選択することができる。この時、復元された周辺ブロックの中から選択された候補ユニットは空間的(spatial)候補ユニットと呼ばれることもある。
【0120】
符号化器は、空間的候補ユニット外に、参照ピクチャ内のユニットのうち、符号化対象ユニットと同一な空間的位置にあるユニットを候補ユニットとして選択して候補ユニット集合に含ませることもできる。以下、説明の便宜のために、参照ピクチャ内のユニットのうち、符号化対象ユニットと同一な空間的位置にあるユニットは、同一位置ユニット(collocated unit)及び/又は同一位置ブロック(collocated block)という。この時、参照ピクチャ内のユニットの中から選択された候補ユニットは、時間的(temporal)候補ユニットと呼ばれることもある。
【0121】
前述した候補ユニット集合生成過程で、符号化器は、復元された隣接ユニットに対する符号化パラメータ識別子を利用することができる。この時、候補ユニット集合に含まれる候補ユニットは、前記符号化パラメータ識別子を利用して選択されることができる。ここで、符号化パラメータ識別子が使われる符号化パラメータには、例えば、符号化対象ユニットと復元された隣接ユニットが隣接する境界の長さ、復元された隣接ユニットの大きさ、復元された隣接ユニットの深さ値などがある。
【0122】
符号化パラメータ識別子には所定の値が割り当てられることができる。この時、一例として、符号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値と同一の値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、符号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値より大きい値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、符号化器は、符号化パラメータ識別子に割り当てられた値より小さい値の符号化パラメータを有するユニットを候補ユニットとして選択することもできる。
【0123】
例えば、符号化対象ユニットと復元された隣接ユニットが隣接する境界の長さに対して符号化パラメータ識別子が使われると仮定する。ここで、前記符号化パラメータ識別子は、log2_unit_boundary_lengthにより示される。前述したように、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットと隣接する境界の長さが所定の長さより大きいユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。ここで、前記所定の長さが8と仮定すると、前記符号化パラメータ識別子log2_unit_boundary_lengthには3の値が割り当てられることができる。この時、符号化器は、前記符号化パラメータ識別子に割り当てられた値より大きい隣接境界長さを有するユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることができる。また、符号化器は、3の値が割り当てられた前記符号化パラメータ識別子を符号化し、復号化器に送信することができる。
【0124】
候補ユニット集合が生成されると、符号化器は、生成された候補ユニット集合に含まれている候補ユニットの中から、現在符号化対象ユニットの予測及び/又は動き補償に使われる参照ユニットを決定することができる。
【0125】
図11は、本発明の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。
【0126】
符号化器は、候補ユニット集合に含まれている候補ユニットの中から、率-歪曲観点で最適の符号化効率を示す候補ユニットを参照ユニットとして決定することができる。また、前述したように、符号化器は、候補ユニット集合に含まれている候補ユニットの符号化パラメータ(例えば、動き情報等)をインター予測及び動き補償に利用することができる。この時、符号化器は、前記符号化パラメータを利用し、率-歪曲観点で最適の符号化効率を示す候補ユニットを参照ユニットとして決定することができる。ここで、率(distortion)と歪曲(rate)の観点で最適の符号化方式を選択する方法は、率-歪曲最適化(RDO:Rate Distortion Optimization)と呼ばれることもある。
【0127】
率-歪曲最適化方式により参照ユニットが決定されると、符号化器は、候補ユニット集合に含まれている候補ユニットのうちいずれの候補ユニットが参照ユニットとして決定されるかを指示する参照ユニット識別子を符号化して復号化器に送信することができる。一例として、前記参照ユニット識別子は、参照ユニットとして決定される候補ユニットの候補ユニット集合内の順序及び/又は位置を指示することができる。他の例として、前記参照ユニット識別子は、符号化対象ユニットから参照ユニットまでの符号化順序差を指示することができる。他の例として、候補ユニット集合内の候補ユニットの各々には、参照ユニットインデックスが割り当てられることができ、前記参照ユニットインデックスが参照ユニット識別子として使われることができる。
【0128】
図11を参照すると、候補ユニット集合は、一実施例として{A,B,C,D,E,F}のように構成されることができる。この時、それぞれの候補ユニットには参照ユニットインデックスが割り当てられることができ、例えば、Aには0、Bには1、Cには2、Dには3、Eには4、Fには5のインデックスが割り当てられることができる。
【0129】
符号化器は、参照ユニットインデックスを符号化して復号化器に送信することができ、復号化器は、符号化された参照ユニットインデックスを受信して復号化することができる。符号化器がBを参照ユニットとして決定する場合、復号化器に送信される参照ユニットインデックスの値は1である。この時、復号化器は、前記参照ユニットインデックスの値を利用し、ユニットBを参照ユニットとして決定することができる。
【0130】
図12は、本発明の他の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。
図12において、復元された隣接ユニットが符号化/復号化される順序は、H→D→K→L→E→F→N→O→G→P→I→A→J→B→C→Mと仮定する。
【0131】
前述したように、候補ユニット集合生成過程における符号化器は、候補ユニット集合に含まれる候補ユニットを、参照ユニットとして決定される確率が高い順に整列することができる。この時、符号化器は、候補ユニット集合内に含まれている候補ユニットの中から、1番目の候補ユニットを参照ユニットとして決定することができる。
【0132】
図12を参照すると、符号化器は、符号化対象ユニットに隣接するユニットを候補ユニットとして選択することができる。この時、選択される候補ユニットは、A、B、C、D、E、Fである。符号化器は、選択された候補ユニットを符号化/復号化の順序によって整列することができる。例えば、符号化器は、符号化順序上、後ほど符号化されたユニットを優先的に候補ユニット集合に含ませることができる。この時、候補ユニット集合は{C,B,A,F,E,D}のように構成されることができる。符号化器は、前記候補ユニット集合内の1番目の候補ユニットCを参照ユニットとして決定することができる。この場合、符号化対象ユニットとの符号化順序差が最も小さい候補ユニットが参照ユニットとして決定されることができる。
【0133】
候補ユニット集合内の1番目の候補ユニットが参照ユニットとして決定される場合、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。したがって、符号化器は、参照ユニット識別子を符号化ぜず、参照ユニット識別子を復号化器に送信しない。
【0134】
図13は、本発明の他の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。
【0135】
図13を参照すると、符号化器は、符号化対象ユニットに隣接するユニットを候補ユニットとして選択することができる。この時、選択された候補ユニットはA、D、E、Fである。
【0136】
一方、候補ユニット集合に含まれる候補ユニットの個数は所定の個数で制限されることができ、前記所定の個数は1であってもよい。この時、符号化器は、復元された隣接ユニットの中から、参照ユニットとして選択される確率が最も高い一つのユニットのみを候補ユニットとして選択することで、候補ユニット集合を生成することができる。例えば、符号化器は、復元された隣接ユニットの大きさを互いに比較し、相対的に最も大きいユニット(例えば、ユニットA)のみを候補ユニットとして選択することができる。この時、候補ユニット集合は{A}のように構成され、候補ユニット集合を構成する候補ユニットの個数は1個である。
【0137】
候補ユニット集合を構成する候補ユニットの個数が1個である場合、符号化器及び復号化器は、該当候補ユニットを参照ユニットとして決定することができる。この時、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。したがって、符号化器は、参照ユニット識別子を符号化せず、参照ユニット識別子を復号化器に送信しない。
【0138】
図4で前述したように、参照ユニットが決定されると、符号化器は、参照ユニット識別情報を符号化して復号化器に送信することができる。参照ユニット識別情報は、符号化パラメータ識別子及び参照ユニット識別子のうち少なくとも一つを含むことができる。
【0139】
符号化器は、復元された隣接ユニットに対する符号化パラメータ識別子を利用することができる。この時、候補ユニット集合に含まれる候補ユニットは、前記符号化パラメータ識別子を利用して選択されることができる。
【0140】
符号化パラメータ識別子には所定の値が割り当てられることができる。この時、一例として、符号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値と同一の値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、符号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値より大きい値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、符号化器は、符号化パラメータ識別子に割り当てられた値より小さい値の符号化パラメータを有するユニットを候補ユニットとして選択することもできる。
【0141】
符号化器は、符号化パラメータ識別子を符号化することができる。この時、符号化された符号化パラメータ識別子は、復号化器に送信されることができる。
【0142】
また、前述したように、符号化器は、候補ユニット集合に含まれている候補ユニットの符号化パラメータをインター予測及び動き補償に利用することができる。この時、符号化器は、前記符号化パラメータを利用し、率-歪曲観点で最適の符号化効率を示す候補ユニットを参照ユニットとして決定することができる。
【0143】
率-歪曲最適化方式により参照ユニットが決定されると、符号化器は、候補ユニット集合に含まれている候補ユニットのうちいずれの候補ユニットが参照ユニットとして決定されるかを指示する参照ユニット識別子を符号化して復号化器に送信することができる。一例として、前記参照ユニット識別子は、参照ユニットとして決定される候補ユニットの候補ユニット集合内の順序及び/又は位置を指示することができる。他の例として、前記参照ユニット識別子は、符号化対象ユニットから参照ユニットまでの符号化順序差を指示することができる。他の例として、候補ユニット集合内の候補ユニットの各々には参照ユニットインデックスが割り当てられることができ、前記参照ユニットインデックスが参照ユニット識別子として使われることができる。
【0144】
復号化器は、符号化された参照ユニット識別子を受信して復号化することができる。復号化器は、復号化された参照ユニット識別子を利用して参照ユニットを決定することができる。
【0145】
候補ユニット集合内の1番目の候補ユニットが参照ユニットとして決定される場合及び候補ユニット集合を構成する候補ユニットの個数が1個である場合、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。この時、符号化器は、参照ユニット識別子の符号化を省略することもできる。
【0146】
図14は、復号化器での参照ユニット決定方法の一実施例を概略的に示すフローチャートである。
【0147】
図14を参照すると、復号化器は、符号化器から参照ユニット識別情報を受信して復号化することができる(S1410)。符号化器から送信された参照ユニット識別情報は、符号化パラメータ識別子及び参照ユニット識別子のうち少なくとも一つを含むことができる。
【0148】
復号化器は、参照ユニット識別情報に含まれている符号化パラメータ識別子を利用し、候補ユニット集合に含まれる候補ユニットを選択することができる。符号化パラメータ識別子には所定の値が割り当てられることができる。この時、一例として、復号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値と同一の値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、復号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値より大きい値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、復号化器は、符号化パラメータ識別子に割り当てられた値より小さい値の符号化パラメータを有するユニットを候補ユニットとして選択することもできる。ここで、符号化パラメータ識別子に割り当てられた値は、符号化器で使われた、符号化パラメータ及び/又は符号化パラメータ識別子の値と同一の値である。
【0149】
復号化器は、符号化器で符号化された参照ユニット識別子を復号化することができる。前述したように、参照ユニット識別子は、候補ユニット集合に含まれている候補ユニットのうちいずれの候補ユニットが参照ユニットとして決定されるかを指示することができる。一例として、前記参照ユニット識別子は、参照ユニットとして決定される候補ユニットの候補ユニット集合内の順序及び/又は位置を指示することができる。他の例として、前記参照ユニット識別子は、復号化対象ユニットから参照ユニットまでの復号化順序差を指示することができる。他の例として、候補ユニット集合内の候補ユニットの各々には参照ユニットインデックスが割り当てられることができ、前記参照ユニットインデックスが参照ユニット識別子として使われることができる。復号化器は、候補ユニット集合で参照ユニットを決定するにあたって、復号化された参照ユニット識別子を利用することができる。
【0150】
候補ユニット集合内の最初の候補ユニットが参照ユニットとして決定される場合及び候補ユニット集合を構成する候補ユニットの個数が1個である場合、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。この時、符号化器は、参照ユニット識別子を送信しないので、復号化器は、参照ユニット識別子を復号化しない。
【0151】
また、
図14を参照すると、復号化器は、復元された隣接ユニットを利用し、候補ユニット集合を生成することができる(S1420)。
【0152】
復号化器は、所定の基準及び/又は方法により、復元された隣接ユニットの中から候補ユニットを選択することができる。この時、復号化器は、映像の特性を反映するために、復号化対象ユニットの符号化パラメータ及び/又は復元された隣接ユニットの符号化パラメータを利用することができる。復号化器は、選択された候補ユニットを候補ユニット集合に包含及び/又は挿入させて、候補ユニット集合を生成することができる。
【0153】
復号化器は、符号化器と同様な過程を介して候補ユニット集合を生成することができる。符号化器での候補ユニット集合生成過程は前述したため、復号化器での候補ユニット集合生成過程の詳細な説明は省略する。
【0154】
候補ユニット集合が生成されると、復号化器は、生成された候補ユニット集合に含まれている候補ユニットの中から、現在復号化対象ユニットの予測及び/又は動き補償に使われる参照ユニットを決定することができる(S1430)。
【0155】
復号化器は、参照ユニット決定過程で、復号化された参照ユニット識別情報を利用することができる。参照ユニットが決定されると、復号化器は、決定された参照ユニットを利用して符号化対象ユニットに対するインター予測を実行することができる。参照ユニット決定方法の具体的な実施例は後述する。
【0156】
図15は、本発明の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。
【0157】
復号化器は、復号化された参照ユニット識別子を利用し、候補ユニット集合に含まれている候補ユニットの中から、復号化対象ユニットのインター予測及び動き補償に利用される参照ユニットを決定することができる。一例として、前記参照ユニット識別子は、参照ユニットとして決定される候補ユニットの候補ユニット集合内の順序及び/又は位置を指示することができる。他の例として、前記参照ユニット識別子は、復号化対象ユニットから参照ユニットまでの復号化順序差を指示することができる。他の例として、候補ユニット集合内の候補ユニットの各々には参照ユニットインデックスが割り当てられることができて、前記参照ユニットインデックスが参照ユニット識別子として使われることができる。
【0158】
図15を参照すると、候補ユニット集合は、一実施例として{A,B,C,D,E,F}のように構成されることができる。この時、それぞれの候補ユニットには参照ユニットインデックスが割り当てられることができ、例えば、Aには0、Bには1、Cには2、Dには3、Eには4、Fには5のインデックスが割り当てられることができる。復号化された参照ユニットインデックスの値が2の場合、復号化器は、前記参照ユニットインデックスの値を利用し、ユニットCを参照ユニットとして決定することができる。
【0159】
図16は、本発明の他の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。
図16において、復元された隣接ユニットが復号化される順序は、H→D→K→L→E→F→N→O→G→P→I→A→J→B→C→Mと仮定する。
【0160】
候補ユニット集合生成過程における復号化器は、候補ユニット集合に含まれる候補ユニットを、参照ユニットとして決定される確率が高い順に整列することができる。この時、復号化器は、候補ユニット集合内に含まれている候補ユニットの中から、1番目の候補ユニットを参照ユニットとして決定することができる。
【0161】
図16を参照すると、復号化器は、復号化対象ユニットに隣接するユニットを候補ユニットとして選択することができる。この時、選択される候補ユニットはA、B、C、D、E、Fである。復号化器は、選択された候補ユニットを復号化順序によって整列するこtろができる。例えば、復号化器は、復号化順序上、後ほど復号化されたユニットを優先的に候補ユニット集合に含ませることができる。この時、候補ユニット集合は{C,B,A,F,E,D}のように構成されることができる。復号化器は、前記候補ユニット集合内の1番目の候補ユニットCを参照ユニットとして決定することができる。この場合、復号化対象ユニットとの復号化順序差が最も小さい候補ユニットが参照ユニットとして決定されることができる。
【0162】
候補ユニット集合内の最初の候補ユニットが参照ユニットとして決定される場合、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。この時、符号化器は、参照ユニット識別子を復号化器に送信しないため、復号化器は参照ユニット識別子を復号化しない。
【0163】
図17は、本発明の他の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。
【0164】
図17を参照すると、復号化器は、復号化対象ユニットに隣接するユニットを候補ユニットとして選択することができる。この時、選択された候補ユニットはA、D、E、Fである。
【0165】
一方、候補ユニット集合に含まれる候補ユニットの個数は所定の個数で制限されることができ、前記所定の個数は1である。この時、復号化器は、復元された隣接ユニットの中から、参照ユニットとして選択される確率が最も高い一つのユニットのみを候補ユニットとして選択して候補ユニット集合を生成することができる。例えば、復号化器は、復元された隣接ユニットの大きさを互いに比較し、相対的に最も大きいユニット(例えば、ユニットA)のみを候補ユニットとして選択することができる。この時、候補ユニット集合は、{A}のように構成され、候補ユニット集合を構成する候補ユニットの個数は1個である。
【0166】
候補ユニット集合を構成する候補ユニットの個数が1個である場合、符号化器及び復号化器は、該当候補ユニットを参照ユニットとして決定することができる。この時、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。したがって、符号化器は、参照ユニット識別子を復号化器に送信しないため、復号化器は、参照ユニット識別子を復号化しない。
【0167】
前述した実施例において、方法は一連のステップ又はブロックで順序図に基づいて説明されているが、本発明はステップの順序に限定されるものではなく、あるステップは前述と異なるステップと異なる順に又は同時に発生することができる。また、当該技術分野において、通常の知識を有する者であれば、順序図に示すステップが排他的でなく、他のステップが含まれ、又は順序図の一つ又はそれ以上のステップが本発明の範囲に影響を及ぼさずに削除可能であるこを理解することができる。
【0168】
前述した実施例は、多様な態様の例示を含む。多様な態様を示すための全ての可能な組合せを記述することはできないが、該当技術分野の通常の知識を有する者は、他の組合せが可能であることを認識することができる。したがって、本発明は、特許請求の範囲に属する全ての交替、修正、及び変更を含む。