▶ エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-14
(45)【発行日】2022-11-22
(54)【発明の名称】画像復号方法、画像符号化方法及び記録媒体
(51)【国際特許分類】
H04N 19/50 20140101AFI20221115BHJP
H04N 19/176 20140101ALI20221115BHJP
H04N 19/105 20140101ALI20221115BHJP
【ＦＩ】
H04N19/50
H04N19/176
H04N19/105
【請求項の数】
5
(21)【出願番号】P 2021123095
(22)【出願日】2021-07-28
(62)【分割の表示】P 2018561254の分割
【原出願日】2017-05-23
(65)【公開番号】P2021185667
(43)【公開日】2021-12-09
【審査請求日】2021-07-28
(31)【優先権主張番号】 10-2016-0063644
(32)【優先日】2016-05-24
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】596099882
【氏名又は名称】エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート
【氏名又は名称原語表記】ＥＬＥＣＴＲＯＮＩＣＳ ＡＮＤ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】リム サン チャン
(72)【発明者】
【氏名】カン ジュン ウォン
(72)【発明者】
【氏名】リ ハ ヒュン
(72)【発明者】
【氏名】ジュン ドン サン
(72)【発明者】
【氏名】コウ ヒュン サク
(72)【発明者】
【氏名】リ ジン ホ
(72)【発明者】
【氏名】チョ スン ヒュン
(72)【発明者】
【氏名】キム フイ ヨン
(72)【発明者】
【氏名】チェ ジン スー
【審査官】岩井 健二
(56)【参考文献】
【文献】特開２０１３－２５１７５２（ＪＰ，Ａ）
【文献】特開２００４－００７３７９（ＪＰ，Ａ）
【文献】特開２００４－００７３７７（ＪＰ，Ａ）
【文献】国際公開第２０１７／１９７１４６（ＷＯ，Ａ１）
【文献】国際公開第２０１３／０４７８０５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
現在ブロックのインター予測方向に従って、前記現在ブロックに対する複数の動きベクトルを導出するステップと、前記複数の動きベクトルを用いて、前記現在ブロックに対する複数の予測ブロックを決定するステップと、
前記複数の予測ブロックの加重和に基づいて、前記現在ブロックに対する最終予測ブロックを取得するステップと、
を含み、
前記複数の予測ブロックの前記加重和のための重みは、予め決められた重みセットに含まれる複数の重みのうちの何れか１つであり、
前記重みは、前記現在ブロックの近傍ブロックの重みから導出され、
前記複数の動きベクトルは、Ｌ０参照画像リストに対するＬ０動きベクトル及びＬ１参照画像リストに対するＬ１動きベクトルである、
画像復号方法。
【請求項2】
前記重みは、前記複数の予測ブロックのそれぞれについて異なって決定される、請求項１に記載の画像復号方法。
【請求項3】
現在ブロックに対する複数の予測ブロックを決定するステップと、前記複数の予測ブロックの加重和に基づいて、前記現在ブロックに対する最終予測ブロックを決定するステップと、
を含み、
前記複数の予測ブロックの前記加重和のための重みは、予め決められた重みセットに含まれる複数の重みのうちの何れか１つであり、
前記重みは、前記現在ブロックの近傍ブロックの重みから導出され、
前記複数の予測ブロックは、Ｌ０予測ブロック及びＬ１予測ブロックである、
画像符号化方法。
【請求項4】
前記重みは、前記複数の予測ブロックのそれぞれについて異なって決定される、請求項３に記載の画像符号化方法。
【請求項5】
コンピュータ実行可能なコードを含むビットストリームを記録した非一過性のコンピュータ読み取り可能な記録媒体であって、前記コンピュータ実行可能なコードは、実行された場合に復号装置に、
現在ブロックのインター予測方向に従って、前記現在ブロックに対する複数の動きベクトルを導出するステップと、
前記複数の動きベクトルを用いて、前記現在ブロックに対する複数の予測ブロックを決定するステップと、
前記複数の予測ブロックの加重和に基づいて、前記現在ブロックに対する最終予測ブロックを取得するステップと、
を実行させ、
前記複数の予測ブロックの前記加重和のための重みは、予め決められた重みセットに含まれる複数の重みのうちの何れか１つであり、
前記重みは、前記現在ブロックの近傍ブロックの重みから導出され、
前記複数の動きベクトルは、Ｌ０参照画像リストに対するＬ０動きベクトル及びＬ１参照画像リストに対するＬ１動きベクトルである、
記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の符号化／復号方法及び装置に関し、より詳しくは、動きベクトル予測を用いて動き補償を行う方法及び装置に関する。
【背景技術】
【0002】
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な応用分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて相対的にデータ量が増加するので、従来の有線・無線ブロードバンド回線などの媒体を用いて画像データを送信したり従来の記憶媒体を用いて保存したりする場合には、送信及び保存のコストが増加することになる。このような画像データの高解像度、高品質化に伴って発生する問題を解決するためには、より高い解像度及び画質を有する画像に対する高効率画像符号化（ｅｎｃｏｄｉｎｇ）／復号（ｄｅｃｏｄｉｎｇ）技術が求められる。
【0003】
画像圧縮技術として、現在ピクチャよりも前又は後のピクチャから、現在ピクチャに含まれている画素値を予測するインター予測技術、現在ピクチャ内の画素情報を用いて、現在ピクチャに含まれている画素値を予測するイントラ予測技術、残余信号のエネルギーを圧縮するための変換及び量子化技術、出現頻度の高い値に短い符号を割り当て、出現頻度の低い値に長い符号を割り当てるエントロピー符号化技術などの様々な技術が存在し、このような画像圧縮技術を利用して画像データを効果的に圧縮して送信又は保存することができる。
【0004】
従来の動き補償では、空間動きベクトル候補、時間動きベクトル候補、ゼロ動きベクトル候補のみを動きベクトル候補リストに追加して使用し、一方向予測及び双方向予測のみを使用するので、符号化効率の向上に限界がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、画像の符号化／復号効率を向上させるために組み合わせ動きベクトル候補を用いて動き補償を行う方法及び装置を提供することができる。
【0006】
本発明は、画像の符号化／復号効率を向上させるために一方向予測、双方向予測、三方向予測、四方向予測を用いて動き補償を行う方法及び装置を提供することができる。
【課題を解決するための手段】
【0007】
本発明に係る画像復号方法は、現在ブロックのインター予測方向に従って、複数の動きベクトル候補リストを生成するステップと、前記複数の動きベクトル候補リストを用いて、前記現在ブロックに対する複数の動きベクトルを導出するステップと、前記複数の動きベクトルを用いて、前記現在ブロックに対する複数の予測ブロックを決定するステップと、前記複数の予測ブロックに基づいて、前記現在ブロックに対する最終予測ブロックを取得するステップとを含むことができる。
【0008】
本発明に係る画像符号化方法は、現在ブロックのインター予測方向に従って、複数の動きベクトル候補リストを生成するステップと、前記複数の動きベクトル候補リストを用いて、前記現在ブロックに対する複数の動きベクトルを導出するステップと、前記複数の動きベクトルを用いて、前記現在ブロックに対する複数の予測ブロックを決定するステップと、前記複数の予測ブロックに基づいて、前記現在ブロックに対する最終予測ブロックを取得するステップとを含むことができる。
【0009】
前記画像復号／符号化方法において、前記インター予測方向は、一方向又は複数方向予測を示し、前記複数方向予測は、三方向以上の予測を含むことができる。
【0010】
前記画像復号／符号化方法において、前記動きベクトル候補リストは参照画像リスト別に生成できる。
【0011】
前記画像復号／符号化方法において、前記動きベクトル候補リストは、前記現在ブロックの空間的近傍ブロックから導出される空間動きベクトル候補、前記現在ブロックの対応位置ブロックから導出される時間動きベクトル候補、及び予め定義された値の動きベクトル候補のうちの少なくとも一つを含むことができる。
【0012】
前記画像復号／符号化方法において、前記動きベクトル候補リストは、前記空間動きベクトル候補、前記時間動きベクトル候補及び前記予め定義された値の動きベクトル候補のうちの２つ以上を組み合わせて生成された組み合わせ動きベクトル候補を含むことができる。
【0013】
前記画像復号／符号化方法において、前記最終予測ブロックは、前記複数の予測ブロックの加重和に基づいて決定できる。
【0014】
前記画像復号／符号化方法において、前記複数の予測ブロックに適用される重みは、重み予測値及び重み差分値に基づいて決定できる。
【発明の効果】
【0015】
本発明では、画像の符号化／復号効率を向上させるために組み合わせ動きベクトル候補を用いて動き補償を行う方法及び装置が提供される。
【0016】
本発明では、画像の符号化／復号効率を向上させるために一方向予測、双方向予測、三方向予測、四方向予測を用いて動き補償を行う方法及び装置が提供される。
【図面の簡単な説明】
【0017】
【図1】本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。
【図2】本発明が適用される復号装置の一実施形態に係る構成を示すブロック図である。
【図3】画像を符号化及び復号するとき、画像の分割構造を示す概略図である。
【図4】符号化ユニット（ＣＵ）が含むことが可能な予測ユニット（ＰＵ）の形態を示す図である。
【図5】符号化ユニット（ＣＵ）が含むことが可能な変換ユニット（ＴＵ）の形態を示す図である。
【図6】イントラ予測処理の実施形態を説明するための図である。
【図7】インター予測処理の実施形態を説明するための図である。
【図8】イントラ予測モードによる変換セットを説明するための図である。
【図9】変換処理を説明するための図である。
【図10】量子化された変換係数のスキャニングを説明するための図である。
【図11】ブロック分割を説明するための図である。
【図12】本発明に係る画像符号化方法を示すフローチャートである。
【図13】本発明に係る画像復号方法を示すフローチャートである。
【図14】現在ブロックの空間動きベクトル候補を導出する例を説明するための図である。
【図15】現在ブロックの時間動きベクトル候補を導出する例を説明するための図である。
【図16】現在ブロックの時間動きベクトル候補を導出するために、対応位置ブロックの動きベクトルをスケーリングする例を示す図である。
【図17】動きベクトル候補リストが生成される例を示す図である。
【図18】所定の値を持つ動きベクトルを動きベクトル候補リストに追加する例を示す図である。
【図19】動きベクトル候補リストから動きベクトル候補が除去される例を示す図である。
【図20】動きベクトル候補リストの一例を示す図である。
【図21】動きベクトル候補リストから、現在ブロックの予測された動きベクトル候補を導出する例を示す図である。
【図22A】動き補償についての情報に対する構文を例示する図である。
【図22B】動き補償についての情報に対する構文を例示する図である。
【発明を実施するための形態】
【0018】
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ただし、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。図面において類似する参照符号は、様々な側面にわたって同一又は類似の機能を指し示す。図面における要素の形状及び大きさなどは、より明確な説明のために誇張することがある。後述する例示的実施形態についての詳細な説明は、特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が実施形態を実施し得る程度に十分に詳細に説明される。様々な実施形態は、互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲を逸脱することなく、様々な実施形態に実現できる。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は実施形態の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として取るものではなく、例示的な実施形態の範囲は、適切に説明されるならば、それらの請求項が主張するのと均等なすべての範囲及び添付の請求項によってのみ限定される。
【0019】
本発明において、用語「第１」、「第２」などは多様な構成要素の説明に使用できるが、これらの構成要素は上記の用語により限定されてはならない。これらの用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素も第１構成要素と命名することができる。用語「及び／又は」は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。
【0020】
本発明のある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いるとした場合には、その他の構成要素に直接連結されている或いは接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
【0021】
本発明の実施形態に示す構成部は、互いに異なる特徴的な機能を示すために独立に図示されるもので、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は、説明の便宜上、それぞれの構成部に羅列して含むもので、各構成部のうちの少なくとも２つの構成部が合わせられて一つの構成部をなすか、或いは一つの各構成部が複数の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施形態及び分離された実施形態も本発明の本質から外れない限り、本発明の権利範囲に含まれる。
【0022】
本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組み合わせが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解すべきである。つまり、本発明において、特定の構成を「含む」と記述する内容は、該当構成以外の構成を排除するものではなく、追加の構成が本発明の実施又は本発明の技術的思想の範囲に含まれ得ることを意味する。
【0023】
本発明の一部の構成要素は、本発明において本質的な機能を行う不可欠の構成要素ではなく、単に性能を向上させるための選択的構成要素であり得る。本発明は、単に性能向上のために使用される構成要素を除く、本発明の本質の実現に必要不可欠な構成部のみを含んで実現でき、単に性能向上のために使用される選択的構成要素を除く必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
【0024】
以下、図面を参照して、本発明の実施形態について具体的に説明する。本明細書の実施形態を説明するにあたり、関連した公知の構成又は機能についての具体的な説明が本明細書の要旨を曖昧にするおそれがあると判断された場合、その詳細な説明は省略し、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素についての重複説明は省略する。
【0025】
また、以下において、画像は動画像（ｖｉｄｅｏ）を構成する一つのピクチャを意味することもあり、動画像自体を示すこともある。例えば、「画像の符号化及び／又は復号」は、「ビデオの符号化及び／又は復号」を意味することができ、「ビデオを構成する画像のうちの一つの画像の符号化及び／又は復号」を意味することもできる。ここで、ピクチャは画像と同じ意味を持つことができる。
【0026】
用語説明
【0027】
符号化器（Ｅｎｃｏｄｅｒ）：符号化を行う装置を意味することができる。
【0028】
復号器（Ｄｅｃｏｄｅｒ）：復号を行う装置を意味することができる。
【0029】
パーシング（Ｐａｒｓｉｎｇ）：エントロピー復号して構文要素（Ｓｙｎｔａｘ Ｅｌｅｍｅｎｔ）の値を決定することを意味し、或いはエントロピー復号自体を意味することができる。
【0030】
ブロック（Ｂｌｏｃｋ）：サンプル（Ｓａｍｐｌｅ）のＭｘＮ配列であり、ここで、ＭとＮは正の整数値を意味し、ブロックは一般に２次元形状のサンプル配列を意味することができる。
【0031】
サンプル（Ｓａｍｐｌｅ）：ブロックを構成する基本単位であり、ビット深度（ｂｉｔ ｄｅｐｔｈ、Ｂｄ）に応じて０から２Ｂｄ－１までの値を表現することができる。本発明において、画素及びピクセルはサンプルと同じ意味で使用できる。
【0032】
ユニット（Ｕｎｉｔ）：画像符号化及び復号の単位を意味することができる。画像の符号化及び復号において、ユニットは、一つの画像の分割によって生成された領域であり得る。また、ユニットは、一つの画像を細分化されたユニットに分割して符号化或いは復号するとき、その分割された単位を意味することができる。画像の符号化及び復号において、ユニットごとに、予め定義された処理が実行できる。一つのユニットは、ユニットに比べてより小さい大きさを持つ下位ユニットにさらに分割できる。機能に応じて、ユニットは、ブロック（Ｂｌｏｃｋ）、マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ）、符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）、変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）などを意味することができる。また、ユニットは、ブロックと区分して指し示すために、輝度（Ｌｕｍａ）成分ブロック、それに対応する色差（Ｃｈｒｏｍａ）成分ブロック、及び各ブロックに対する構文要素を含むことを意味することができる。ユニットは、様々なサイズと形状を持つことができ、特に、ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。また、ユニット情報には、符号化ユニット、予測ユニット、変換ユニットなどを指し示すユニットのタイプ、ユニットの大きさ、ユニットの深さ、ユニットの符号化及び復号順序などのうちの少なくとも一つを含むことができる。
【0033】
再構築された近傍ユニット（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｎｅｉｇｈｂｏｒ Ｕｎｉｔ）：符号化／復号対象ユニットの周りに空間的（Ｓｐａｔｉａｌ）／時間的（Ｔｅｍｐｏｒａｌ）に既に符号化或いは復号されて再構築されたユニットを意味することができる。このとき、再構築された近傍ユニットは、再構築された近傍ブロックを意味することができる。
【0034】
近傍ブロック（Ｎｅｉｇｈｂｏｒ ｂｌｏｃｋ）：符号化／復号対象ブロックに隣接するブロックを意味することができる。符号化／復号対象ブロックに隣接するブロックは、符号化／復号対象ブロックに境界が接するブロックを意味することができる。近傍ブロックは符号化／復号対象ブロックの隣接頂点に位置するブロックを意味することができる。近傍ブロックは、再構築された近傍ブロックを意味することもできる。
【0035】
ユニット深さ（Ｄｅｐｔｈ）：ユニットが分割された程度を意味し、ツリー構造（Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）において、ルートノード（Ｒｏｏｔ Ｎｏｄｅ）は深さが最も浅く、リーフノード（Ｌｅａｆ Ｎｏｄｅ）は深さが最も深いといえる。
【0036】
シンボル（Ｓｙｍｂｏｌ）：符号化／復号対象ユニットの構文要素及び符号化パラメータ（ｃｏｄｉｎｇ ｐａｒａｍｅｔｅｒ）、変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）の値などを意味することができる。
【0037】
パラメータセット（Ｐａｒａｍｅｔｅｒ Ｓｅｔ）：ビットストリーム内の構造のうちのヘッダー情報に該当することができ、ビデオパラメータセット（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、適応パラメータセット（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）のうちの少なくとも一つがパラメータセットに含まれ得る。また、パラメータセットにはスライス（ｓｌｉｃｅ）ヘッダー及びタイル（ｔｉｌｅ）ヘッダー情報を含む意味を持つことができる。
【0038】
ビットストリーム（Ｂｉｔｓｔｒｅａｍ）：符号化された画像情報を含むビットの列を意味することができる。
【0039】
予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）：インター予測又はイントラ予測及びそれに対する補償を行うときの基本ユニットであり、一つの予測ユニットは、大きさが小さい複数のパーティション（Ｐａｒｔｉｔｉｏｎ）に分割されることも可能である。この場合、複数のパーティションそれぞれを前記予測及び補償実行時の基本ユニットとし、予測ユニットが分割されたパーティションも予測ユニットとすることができる。予測ユニットはさまざまなサイズと形状を有することができ、特に予測ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。
【0040】
予測ユニットパーティション（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ Ｐａｒｔｉｔｉｏｎ）：予測ユニットが分割された形状を意味することができる。
【0041】
参照画像リスト（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ）：インター予測或いは動き補償に使用される一つ以上の参照画像が含まれているリストを意味することができる。参照画像リストの種類は、ＬＣ（Ｌｉｓｔ Ｃｏｍｂｉｎｅｄ）、Ｌ０（Ｌｉｓｔ ０）、Ｌ１（Ｌｉｓｔ １）、Ｌ２（Ｌｉｓｔ ２）、Ｌ３（Ｌｉｓｔ ３）などがあり得る。インター予測には、一つ以上の参照画像リストが使用できる。
【0042】
インター予測インジケータ（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｉｎｄｉｃａｔｏｒ）：インター予測時に符号化／復号対象ブロックのインター予測方向（一方向予測、双方向予測など）を意味することができ、符号化／復号対象ブロックが予測ブロックを生成するときに使用する参照画像の数を意味することができ、符号化／復号対象ブロックがインター予測或いは動き補償を行うときに使用する予測ブロックの数を意味することができる。
【0043】
参照画像インデックス（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｉｎｄｅｘ）：参照画像リストから特定の参照画像に対するインデックスを意味することができる。
【0044】
参照画像（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ）：インター予測或いは動き補償のために特定のユニットが参照する画像を意味することができ、参照画像を参照ピクチャとも呼ぶことができる。
【0045】
動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）：インター予測或いは動き補償に使用される２次元ベクトルであり、符号化／復号対象画像と参照画像との間のオフセットを意味することができる。例えば、（ｍｖＸ、ｍｖＹ）は動きベクトルを示すことができ、ｍｖＸは横（ｈｏｒｉｚｏｎｔａｌ）成分、ｍｖＹは縦（ｖｅｒｔｉｃａｌ）成分を示すことができる。
【0046】
動きベクトル候補（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ）：動きベクトルを予測するときに予測候補となるユニット、或いはそのユニットの動きベクトルを意味することができる。
【0047】
動きベクトル候補リスト（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）：動きベクトル候補を用いて構成されたリストを意味することができる。
【0048】
動きベクトル候補インデックス（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｃａｎｄｉｄａｔｅ Ｉｎｄｅｘ）：動きベクトル候補リスト内の動きベクトル候補を示すインジケータ、動きベクトル予測器（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）のインデックス（ｉｎｄｅｘ）とも呼ぶことができる。
【0049】
動き情報（Ｍｏｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）：動きベクトル、参照画像インデックス、インター予測インジケータ（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｉｎｄｉｃａｔｏｒ）だけでなく、参照画像リスト情報、参照画像、動きベクトル候補、動きベクトル候補インデックスなどのうちの少なくとも一つを含む情報を意味することができる。
【0050】
マージ候補リスト（Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ Ｌｉｓｔ）：マージ候補を用いて構成されたリストを意味することができる。
【0051】
マージ候補（Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ）：空間マージ候補、時間マージ候補、結合マージ候補、結合双予測マージ候補、ゼロマージ候補などを含むことができ、マージ候補は、予測タイプ情報（ｐｒｅｄｉｃｔｉｏｎ ｔｙｐｅ ｉｎｆｏｒｍａｔｉｏｎ）、各リストに対する参照画像インデックス（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ）、動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）などの動き情報を含むことができる。
【0052】
マージインデックス（Ｍｅｒｇｅ Ｉｎｄｅｘ）：マージ候補リスト内のマージ候補を指し示す情報を意味することができる。また、マージインデックスは、空間的／時間的に現在ブロックと隣接するように再構築されたブロックのうち、マージ候補を導出したブロックを示すことができる。また、マージインデックスは、マージ候補が持つ動き情報のうちの少なくとも一つを示すことができる。
【0053】
変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）：変換、逆変換、量子化、逆量子化、変換係数符号化／復号のように残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）符号化／復号を行うときの基本ユニットを意味することができ、一つの変換ユニットは、分割されてサイズの小さい複数の変換ユニットに分割できる。変換ユニットは、さまざまなサイズと形状を持つことができ、特に、変換ユニットの形状は、長方形だけでなく、正方形、台形、三角形、五角形など、２次元的に表現できる幾何学的図形を含むことができる。
【0054】
スケーリング（Ｓｃａｌｉｎｇ）：変換係数レベルに因数を掛ける処理を意味することができ、結果として変換係数を生成することができる。スケーリングを逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）とも呼ぶことができる。
【0055】
量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）：量子化及び逆量子化において変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）をスケーリング（ｓｃａｌｉｎｇ）するときに使用する値を意味することができる。このとき、量子化パラメータは、量子化ステップサイズ（ｓｔｅｐ ｓｉｚｅ）にマッピングされた値であり得る。
【0056】
デルタ量子化パラメータ（Ｄｅｌｔａ Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）：予測された量子化パラメータと符号化／復号対象ユニットの量子化パラメータとの差分値を意味することができる。
【0057】
スキャン（Ｓｃａｎ）：ブロック或いは行列内係数の順序をソートする方法を意味することができ、例えば、２次元配列を１次元配列にソートすることをスキャンといい、１次元配列を２次元配列にソートすることもスキャン或いは逆スキャン（Ｉｎｖｅｒｓｅ Ｓｃａｎ）と呼ぶことができる。
【0058】
変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）：変換を行ってから生成された係数値、本発明では変換係数に量子化を適用した量子化変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）も変換係数の意味に含まれ得る。
【0059】
非ゼロ変換係数（Ｎｏｎ－ｚｅｒｏ Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ）：変換係数値の大きさが０ではない変換係数、或いは値の大きさが０ではない変換係数レベルを意味することができる。
【0060】
量子化行列（Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ）：画像の主観的画質或いは客観的画質を向上させるために量子化或いは逆量子化処理で利用する行列を意味することができる。量子化行列をスケーリングリスト（ｓｃａｌｉｎｇ ｌｉｓｔ）とも呼ぶことができる。
【0061】
量子化行列係数（Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ Ｃｏｅｆｆｉｃｉｅｎｔ）：量子化行列内の各要素（ｅｌｅｍｅｎｔ）を意味することができる。量子化行列係数を行列係数（ｍａｔｒｉｘ ｃｏｅｆｆｉｃｉｅｎｔ）とも呼ぶことができる。
【0062】
基本行列（Ｄｅｆａｕｌｔ Ｍａｔｒｉｘ）：符号化器と復号器で予め定義されている所定の量子化行列を意味することができる。
【0063】
非基本行列（Ｎｏｎ－ｄｅｆａｕｌｔ Ｍａｔｒｉｘ）：符号化器と復号器で予め定義されず、ユーザーによって送信／受信される量子化行列を意味することができる。
【0064】
符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）：一つの輝度成分（Ｙ）符号化ツリーブロックと関連する２つの色差成分（Ｃｂ、Ｃｒ）符号化ツリーブロックから構成できる。各符号化ツリーユニットは、符号化ユニット、予測ユニット、変換ユニットなどの下位ユニットを構成するために、４分木（ｑｕａｄ ｔｒｅｅ）、２分木（ｂｉｎａｒｙ ｔｒｅｅ）などの一つ以上の分割方式を用いて分割できる。入力画像の分割のように画像の復号／符号化処理で処理単位となるピクセルブロックを示すための用語として使用できる。
【0065】
符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）：Ｙ符号化ツリーブロック、Ｃｂ符号化ツリーブロック及びＣｒ符号化ツリーブロックのいずれかを示すための用語として使用できる。
【0066】
図１は本発明が適用される符号化装置の一実施形態に係る構成を示すブロック図である。
【0067】
符号化装置１００は、ビデオ符号化装置又は画像符号化装置であり得る。ビデオは、一つ以上の画像を含むことができる。符号化装置１００は、ビデオの一つ以上の画像を時間に応じて順次符号化することができる。
【0068】
図１を参照すると、符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０、及び参照ピクチャバッファ１９０を含むことができる。
【0069】
符号化装置１００は、入力画像に対してイントラモード及び／又はインターモードで符号化を行うことができる。また、符号化装置１００は、入力画像に対する符号化を介してビットストリームを生成することができ、生成されたビットストリームを出力することができる。予測モードとしてイントラモードが使用される場合、スイッチ１１５はイントラに切り替えられてよい。予測モードとしてインターモードが使用される場合、スイッチ１１５はインターに切り替えられてよい。ここで、イントラモードはイントラ予測モードを意味することができ、インターモードはインター予測モードを意味することができる。符号化装置１００は、入力画像の入力ブロックに対する予測ブロックを生成することができる。また、符号化装置１００は、予測ブロックが生成された後、入力ブロック及び予測ブロックの差分（ｒｅｓｉｄｕａｌ）を符号化することができる。入力画像は、現在符号化の対象である現在画像と称されることもある。入力ブロックは、現在符号化の対象となる現在ブロック或いは符号化対象ブロックと称されることもある。
【0070】
予測モードがイントラモードである場合、イントラ予測部１２０は、現在ブロックの近傍に既に符号化されたブロックのピクセル値を参照画素としても用いることができる。イントラ予測部１２０は、参照画素を用いて空間予測を行うことができ、空間予測を介して入力ブロックに対する予測サンプルを生成することができる。ここで、イントラ予測はイントラ予測を意味することができる。
【0071】
予測モードがインターモードである場合には、動き予測部１１１は、動き予測処理で参照画像から入力ブロックと最もよくマッチする領域を検索することができ、検索された領域を用いて動きベクトルを導出することができる。参照画像は参照ピクチャバッファ１９０に保存できる。
【0072】
動き補償部１１２は、動きベクトルを用いる動き補償を行うことにより、予測ブロックを生成することができる。ここで、動きベクトルは、インター予測に使用される２次元ベクトルであり得る。また、動きベクトルは、現在画像と参照画像との間のオフセット（ｏｆｆｓｅｔ）を示すことができる。ここで、インター予測はインターフレーム予測を意味することができる。
【0073】
前記動き予測部１１１と動き補償部１１２は、動きベクトルの値が整数値を持たない場合に参照画像内の一部の領域に対して補間フィルタ（Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を適用して予測ブロックを生成することができる。インター予測或いは動き補償を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニットの動き予測及び動き補償方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ ｍｏｄｅ）、ＡＭＶＰモード（ＡＭＶＰ Ｍｏｄｅ）及び現在ピクチャ参照モードのうちのいずれの方法であるかを判断することができ、各モードに応じて、インター予測或いは動き補償を行うことができる。ここで、現在ピクチャ参照モードは、符号化対象ブロックの属した現在ピクチャ内の既に再構築された領域を用いた予測モードを意味することができる。前記既に再構築された領域を特定するために、現在ピクチャ参照モードのための動きベクトルが定義できる。符号化対象ブロックが現在ピクチャ参照モードで符号化されるか否かは、符号化対象ブロックの参照画像インデックスを用いて符号化できる。
【0074】
減算器１２５は、入力ブロック及び予測ブロックの差分を用いて残余ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成することができる。残余ブロックは残余信号とも称される。
【0075】
変換部１３０は、残余ブロックに対して変換（ｔｒａｎｓｆｏｒｍ）を行って変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成することができ、変換係数を出力することができる。ここで、変換係数は、残余ブロックに対する変換を行うことにより、生成された係数値であり得る。変換省略（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）モードが適用される場合、変換部１３０は残余ブロックに対する変換を省略することもできる。
【0076】
変換係数に量子化を適用することにより、量子化された変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）が生成できる。以下、実施形態では、量子化された変換係数レベルも変換係数と称されることがある。
【0077】
量子化部１４０は、変換係数を量子化パラメータに基づいて量子化することにより、量子化された変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）を生成することができ、量子化された変換係数レベルを出力することができる。このとき、量子化部１４０では、量子化行列を用いて変換係数を量子化することができる。
【0078】
エントロピー符号化部１５０は、量子化部１４０で算出された値、又は符号化処理で算出された符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）値などに対して確率分布によるエントロピー符号化を行うことにより、ビットストリーム（ｂｉｔｓｔｒｅａｍ）を生成することができ、ビットストリームを出力することができる。エントロピー符号化部１５０は、画像のピクセルの情報の他に、画像の復号のための情報に対するエントロピー符号化を行うことができる。例えば、画像の復号のための情報は構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）などを含むことができる。
【0079】
エントロピー符号化が適用される場合、高い発生確率を有するシンボル（ｓｙｍｂｏｌ）に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることにより、符号化対象シンボルに対するビット列のサイズが減少できる。よって、エントロピー符号化を介して画像符号化の圧縮性能が高くなることができる。エントロピー符号化部１５０は、エントロピー符号化のために指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などの符号化方法を使用することができる。例えば、エントロピー符号化部１５０は、可変長符号化（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ／Ｃｏｄｅ；ＶＬＣ）テーブルを用いてエントロピー符号化を行うことができる。また、エントロピー符号化部１５０は、対象シンボルの２値化（ｂｉｎａｒｉｚａｔｉｏｎ）方法及び対象シンボル／ビン（ｂｉｎ）の確率モデル（ｐｒｏｂａｂｉｌｉｔｙ ｍｏｄｅｌ）を導出した後、導出された２値化方法又は確率モデルを用いて算術符号化を行うこともできる。
【0080】
エントロピー符号化部１５０は、変換係数レベルを符号化するために、変換係数スキャニング（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法を介して２次元のブロック形状係数を１次元のベクトルに変更することができる。例えば、アップライト（ｕｐ ｒｉｇｈｔ）スキャニングを用いてブロックの係数をスキャニングすることにより、１次元ベクトルに変更することができる。変換ユニットのサイズ及びイントラ予測モードに応じて、アップライトスキャンの代わりに、２次元のブロック形状係数を列方向にスキャニングする垂直スキャン、２次元のブロック形状係数を行方向にスキャニングする水平スキャンが使用されてもよい。つまり、変換ユニットのサイズ及びイントラ予測モードに応じてアップライトスキャン、垂直方向スキャン及び水平方向スキャンのうちのいずれのスキャン方法が使用されるかを決定することができる。
【0081】
符号化パラメータ（Ｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ）は、構文要素のように符号化器で符号化されて復号器へ送信される情報だけでなく、符号化或いは復号処理で導出される情報を含むことができ、画像を符号化又は復号するときに必要な情報を意味することができる。例えば、ブロックサイズ、ブロック深さ、ブロック分割情報、ユニットサイズ、ユニット深さ、ユニット分割情報、４分木分割フラグ、２分木分割フラグ、２分木分割方向、イントラ予測モード、イントラ予測方向、参照サンプルフィルタリング方法、予測ブロック境界フィルタリング方法、フィルタタップ、フィルタ係数、インター予測モード、動き情報、動きベクトル、参照画像インデックス、インター予測方向、インター予測インジケータ、参照画像リスト、動きベクトル予測、動きベクトル候補リスト、動きマージモード（ｍｏｔｉｏｎ ｍｅｒｇｅ ｍｏｄｅ）の使用有無、動きマージ候補、動きマージ候補リスト、スキップ（ｓｋｉｐ）モードの使用有無、補間フィルタの種類、動きベクトルのサイズ、動きベクトル表現の精度、変換種類、変換サイズ、追加（２次）変換の使用有無情報、残余信号の有無情報、符号化ブロックパターン（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）、符号化ブロックフラグ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ）、量子化パラメータ、量子化行列、ループ内フィルタ情報、ループ内フィルタを適用するか否かについての情報、ループ内フィルタ係数、２値化／逆２値化方法、コンテキストモデル、コンテキストビン、バイパスビン、変換係数、変換係数レベル、変換係数レベルのスキャニング方法、画像ディスプレイ／出力順序、スライス識別情報、スライスタイプ、スライス分割情報、タイル識別情報、タイルタイプ、タイル分割情報、ピクチャタイプ、ビット深度、輝度信号或いは色差信号に対する情報のうち少なくとも一つの値又は組み合わせ形態が符号化パラメータに含まれ得る。
【0082】
残余信号は、原信号と予測信号との差（ｄｉｆｆｅｒｅｎｃｅ）を意味することができる。又は、残余信号は、原信号と予測信号との差を変換（ｔｒａｎｓｆｏｒｍ）することにより生成された信号であり得る。又は、残余信号は、原信号と予測信号との差を変換及び量子化することにより生成された信号であり得る。残余ブロックはブロック単位の残余信号であり得る。
【0083】
符号化装置１００がインター予測を用いた符号化を行う場合、符号化された現在画像は、後で処理される他の画像に対して参照画像として使用できる。よって、符号化装置１００は、符号化された現在画像をさらに復号することができ、復号された画像を参照画像として保存することができる。復号のために、符号化された現在画像に対する逆量子化及び逆変換が処理できる。
【0084】
量子化された係数は、逆量子化部１６０で逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）でき、逆変換部１７０で逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）できる。逆量子化及び逆変換された係数は、加算器１７５を介して予測ブロックと合わせられ得る。逆量子化及び逆変換された係数と予測ブロックとを合わせることにより、再構築ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｂｌｏｃｋ）が生成できる。
【0085】
再構築ブロックはフィルタ部１８０を経ることができる。フィルタ部１８０は、デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応的オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ；ＳＡＯ）、適応的ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ；ＡＬＦ）のうちの少なくとも一つを再構築ブロック又は再構築画像に適用することができる。フィルタ部１８０はインループフィルタ（ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ）とも称される。
【0086】
デブロッキングフィルタは、ブロック間の境界に生じたブロック歪みを除去することができる。デブロッキングフィルタを行うか否かを判断するために、ブロックに含まれている幾つかの列又は行に含まれているピクセルに基づいて、現在ブロックにデブロッキングフィルタを適用するか否かを判断することができる。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度に応じて強いフィルタ（Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ）又は弱いフィルタ（Ｗｅａｋ Ｆｉｌｔｅｒ）を適用することができる。また、デブロッキングフィルタを適用するにあたり、垂直フィルタリング及び水平フィルタリングの際に水平方向のフィルタリング及び垂直方向のフィルタリングが並行処理されるようにすることができる。
【0087】
サンプル適応的オフセットは、符号化エラーを補償するために、ピクセル値に適正オフセット（ｏｆｆｓｅｔ）値を加えることができる。サンプル適応的オフセットは、デブロッキングを行った画像に対してピクセル単位で原本画像とのオフセットを補正することができる。特定のピクチャに対するオフセット補正を行うために、画像に含まれているピクセルを一定数の領域に区分した後、オフセットを行うべき領域を決定し、該当領域にオフセットを適用する方法、又は各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。
【0088】
適応的ループフィルタは、再構築画像と原画像とを比較した値に基づいてフィルタリングを行うことができる。画像に含まれているピクセルを所定のグループに分けた後、当該グループに適用されるべき一つのフィルタを決定してグループごとに差別的にフィルタリングを行うことができる。適応的ループフィルタを適用するか否かに関連した情報は、輝度信号は符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）ごとに送信でき、それぞれのブロックに応じて、適用される適応的ループフィルタの形状及びフィルタ係数は異なり得る。また、適用対象ブロックの特性を問わず、同じ形態（固定された形態）の適応的ループフィルタが適用されることも可能である。
【0089】
フィルタ部１８０を経た再構築ブロックは参照ピクチャバッファ１９０に保存できる。
【0090】
図２は本発明が適用される復号装置の一実施形態に係る構成を示すブロック図である。
【0091】
復号装置２００はビデオ復号装置又は画像復号装置であり得る。
【0092】
図２を参照すると、復号装置２００は、エントロピー復号部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、加算器２５５、フィルタ部２６０、及び参照ピクチャバッファ２７０を含むことができる。
【0093】
復号装置２００は、符号化装置１００から出力されたビットストリームを受信することができる。復号装置２００は、ビットストリームに対してイントラモード又はインターモードで復号を行うことができる。また、復号装置２００は、復号を介して再構築画像を生成することができ、再構築画像を出力することができる。
【0094】
復号に使用される予測モードがイントラモードである場合、スイッチがイントラに切り替えられてよい。復号に使用される予測モードがインターモードである場合、スイッチがインターに切り替えられてよい。
【0095】
復号装置２００は、入力されたビットストリームから、再構築された残余ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を取得することができ、予測ブロックを生成することができる。再構築された残余ブロック及び予測ブロックが取得されると、復号装置２００は、再構築された残余ブロックと予測ブロックを加えることにより、復号対象ブロックである再構築ブロックを生成することができる。復号対象ブロックは現在ブロックと称されることもある。
【0096】
エントロピー復号部２１０は、ビットストリームに対する確率分布に基づくエントロピー復号を行うことにより、シンボルを生成することができる。生成されたシンボルは、量子化された変換係数レベル（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ）形態のシンボルを含むことができる。ここで、エントロピー復号方法は、上述したエントロピー符号化方法と類似することができる。例えば、エントロピー復号方法は上述したエントロピー符号化方法の逆処理であり得る。
【0097】
エントロピー復号部２１０は、変換係数レベルを復号するために、変換係数のスキャニング（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法によって１次元のベクトル形態係数を２次元のブロック形態に変更することができる。例えば、アップライト（ｕｐ ｒｉｇｈｔ）スキャニングを用いてブロックの係数をスキャニングすることにより、２次元ブロック形態に変更させることができる。変換ユニットのサイズ及びイントラ予測モードに応じて、アップライトスキャンの代わりに垂直スキャン、水平スキャンが使用されてもよい。つまり、変換ユニットのサイズ及びイントラ予測モードに応じてアップライトスキャン、垂直方向スキャン及び水平方向スキャンのうちのいずれのスキャン方法が使用されるかを決定することができる。
【0098】
量子化された変換係数レベルは、逆量子化部２２０で逆量子化でき、逆変換部２３０で逆変換できる。量子化された変換係数レベルが逆量子化及び逆変換された結果として、再構築された残余ブロックが生成できる。このとき、逆量子化部２２０は、量子化された変換係数レベルに量子化行列を適用することができる。
【0099】
イントラモードが使用される場合、イントラ予測部２４０は、復号対象ブロック近傍の、既に復号されたブロックのピクセル値を用いる空間予測を行うことにより、予測ブロックを生成することができる。
【0100】
インターモードが使用される場合、動き補償部２５０は、動きベクトル及び参照ピクチャバッファ２７０に保存されている参照画像を用いる動き補償を行うことにより、予測ブロックを生成することができる。前記動き補償部２５０は、動きベクトルの値が整数値を持たない場合に参照画像内の一部の領域に対して補間フィルタ（Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を適用して予測ブロックを生成することができる。動き補償を行うために、符号化ユニットを基準に、該当符号化ユニットに含まれている予測ユニットの動き補償方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ ｍｏｄｅ）、ＡＭＶＰモード（ＡＭＶＰ Ｍｏｄｅ）、及び現在ピクチャ参照モードのうちのいずれの方法であるかを判断することができ、各モードに応じて動き補償を行うことができる。ここで、現在ピクチャ参照モードは、復号対象ブロックの属する現在ピクチャ内の既に再構築された領域を用いた予測モードを意味することができる。前記既に再構築された領域を特定するために、現在ピクチャ参照モードのための動きベクトルが利用できる。復号対象ブロックが現在ピクチャ参照モードで符号化されたブロックであるか否かを示すフラグ或いはインデックスが、シグナリング（ｓｉｇｎａｌｉｎｇ）されることもでき、復号対象ブロックの参照画像インデックスを用いて類推されることもできる。現在ピクチャ参照モードのための現在ピクチャは、復号対象ブロックのための参照画像リスト内で固定された位置（例えば、参照画像インデックスが０である位置又は最後の位置）に存在することができる。又は、参照画像リスト内に可変的に位置してもよく、このために、現在ピクチャの位置を示す別途の参照画像インデックスがシグナリングされてもよい。
【0101】
再構築された残予ブロック及び予測ブロックは加算器２５５を介して加わり得る。再構築された残予ブロック及び予測ブロックが加わることにより生成されたブロックはフィルタ部２６０を経ることができる。フィルタ部２６０は、デブロッキングフィルタ、サンプル適応的オフセット及び適応的ループフィルタのうちの少なくとも一つを再構築ブロック又は再構築画像に適用することができる。フィルタ部２６０は再構築画像を出力することができる。再構築画像は参照ピクチャバッファ２７０に保存されてインター予測に使用できる。
【0102】
【0103】
画像を効率よく分割するために、符号化及び復号において、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）が使用できる。ここで、符号化ユニットは、コーディングユニットを意味することができる。ユニットは、１）構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）及び２）画像サンプルを含むブロックを合わせて指し示す用語であり得る。例えば、「ユニットの分割」は、「ユニットに該当するブロックの分割」を意味することができる。ブロック分割情報には、ユニットの深さ（ｄｅｐｔｈ）に関する情報が含まれ得る。深さ情報は、ユニットが分割される回数及び／又は程度を示すことができる。
【0104】
図３を参照すると、画像３００は、最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＬＣＵ）単位で順次分割され、ＬＣＵ単位で分割構造が決定される。ここで、ＬＣＵは、符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ；ＣＴＵ）と同一の意味で使用できる。一つのユニットは、ツリー構造（ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）に基づいて深さ情報（ｄｅｐｔｈ）をもって階層的に分割できる。それぞれの分割された下位ユニットは深さ情報を持つことができる。前記深さ情報は、ユニットが分割された回数及び／又は程度を示すので、前記下位ユニットの大きさに関する情報を含むこともできる。
【0105】
分割構造は、ＬＣＵ３１０内での符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）の分布を意味することができる。ＣＵは画像を効率よく符号化するためのユニットであり得る。このような分布は、単一のＣＵを複数（２、４、８、１６などを含む２以上の正の整数）のＣＵに分割するか否かによって決定することができる。分割により生成されたＣＵの横幅と縦幅は、それぞれ分割前のＣＵの横幅の半分及び縦幅の半分であるか、分割された個数に応じて分割前のＣＵの横幅よりも小さいサイズ及び縦幅よりも小さいサイズを持つことができる。分割されたＣＵは、同様の方式で横幅及び縦幅が減少した複数のＣＵに再帰的に分割できる。
【0106】
このとき、ＣＵの分割は所定の深さまで再帰的に行われ得る。深さ情報は、ＣＵのサイズを示す情報であり、ＣＵごとに保存できる。例えば、ＬＣＵの深さは０であり、最小符号化ユニット（Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＳＣＵ）の深さは予め定義された最大深さであり得る。ここで、ＬＣＵは、上述したように、最大の符号化ユニットのサイズを持つ符号化ユニットであり、ＳＣＵは、最小の符号化ユニットのサイズを持つ符号化ユニットであり得る。
【0107】
ＬＣＵ３１０から分割が始まり、分割によりＣＵの横幅及び縦幅が減少するたびに、ＣＵの深さは１ずつ増加する。それぞれの深さ別に、分割されないＣＵは２Ｎｘ２Ｎのサイズを持つことができる。分割されるＣＵの場合は、２Ｎｘ２ＮサイズのＣＵがＮｘＮサイズの複数のＣＵに分割できる。Ｎのサイズは、深さが１ずつ増加するたびに半分に減少する。
【0108】
例えば、一つの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットの横幅及び縦幅は、分割される前の符号化ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが４つの符号化ユニットに分割される場合、分割された４つの符号化ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの符号化ユニットが４つの符号化ユニットに分割される場合、符号化ユニットは４分木（ｑｕａｄ－ｔｒｅｅ）状に分割されたといえる。
【0109】
例えば、一つの符号化ユニットが２つの符号化ユニットに分割される場合、分割された２つの符号化ユニットの横幅或いは縦幅は、分割される前の符号化ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが２つの符号化ユニットに縦分割される場合、分割された２つの符号化ユニットは、それぞれ１６ｘ３２のサイズを持つことができる。一例として、３２ｘ３２サイズの符号化ユニットが２つの符号化ユニットに横分割される場合、分割された２つの符号化ユニットは、それぞれ３２ｘ１６のサイズを持つことができる。一つの符号化ユニットが２つの符号化ユニットに分割される場合、符号化ユニットは２分木（ｂｉｎａｒｙ－ｔｒｅｅ）状に分割されたといえる。
【0110】
図３を参照すると、深さが０であるＬＣＵは６４ｘ６４画素であり得る。０は最小深さであり得る。深さが３であるＳＣＵは８ｘ８画素であり得る。３は最大深さであり得る。このとき、ＬＣＵである６４ｘ６４画素のＣＵは深さ０で表現できる。３２ｘ３２画素のＣＵは深さ１で表現できる。１６ｘ１６画素のＣＵは深さ２で表現できる。ＳＣＵである８ｘ８画素のＣＵは深さ３で表現できる。
【0111】
また、ＣＵが分割されるか否かについての情報は、ＣＵの分割情報を用いて表現できる。分割情報は１ビットの情報であり得る。ＳＣＵを除くすべてのＣＵは分割情報を含むことができる。例えば、分割情報の値が０であれば、ＣＵが分割されなくてもよく、分割情報の値が１であれば、ＣＵが分割されてもよい。
【0112】
図４は符号化ユニットＣＵが含むことが可能な予測ユニットＰＵの形態を示す図である。
【0113】
ＬＣＵから分割されたＣＵのうち、それ以上分割されないＣＵは、一つ以上の予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ；ＰＵ）に分けられ得る。このような処理も分割と称されることがある。
【0114】
ＰＵは予測に対する基本単位であり得る。ＰＵはスキップ（ｓｋｉｐ）モード、インターモード及びイントラモードのいずれかで符号化及び復号できる。ＰＵはモードに応じて様々な形で分割できる。
【0115】
また、符号化ユニットは予測ユニットに分割されず、符号化ユニットと予測ユニットは同じサイズを持つことができる。
【0116】
図４に示すように、スキップモードでは、ＣＵ内に分割が存在しないことがある。スキップモードでは、分割なしでＣＵと同じサイズの２Ｎｘ２Ｎモード４１０がサポートできる。
【0117】
インターモードでは、ＣＵ内で８つに分割された形態がサポートできる。例えば、インターモードでは、２Ｎｘ２Ｎモード４１０、２ＮｘＮモード４１５、Ｎｘ２Ｎモード４２０、ＮｘＮモード４２５、２ＮｘｎＵモード４３０、２ＮｘｎＤモード４３５、ｎＬｘ２Ｎモード４４０及びｎＲｘ２Ｎモード４４５がサポートできる。イントラモードでは、２Ｎｘ２Ｎモード４１０及びＮｘＮモード４２５がサポートできる。
【0118】
一つの符号化ユニットは一つ以上の予測ユニットに分割でき、一つの予測ユニットも一つ以上の予測ユニットに分割できる。
【0119】
例えば、一つの予測ユニットが４つの予測ユニットに分割される場合、分割された４つの予測ユニットの横幅及び縦幅は、分割される前の予測ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの予測ユニットが４つの予測ユニットに分割される場合、分割された４つの予測ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの予測ユニットが４つの予測ユニットに分割される場合、予測ユニットは４分木（ｑｕａｄ－ｔｒｅｅ）状に分割されたといえる。
【0120】
例えば、一つの予測ユニットが２つの予測ユニットに分割される場合、分割された２つの予測ユニットの横幅或いは縦幅は、分割される前の予測ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの予測ユニットが２つの予測ユニットに縦分割される場合、分割された２つの予測ユニットはそれぞれ１６ｘ３２のサイズを持つことができる。一例として、３２ｘ３２サイズの予測ユニットが２つの予測ユニットに横分割される場合、分割された２つの予測ユニットはそれぞれ３２ｘ１６のサイズを持つことができる。一つの予測ユニットが２つの予測ユニットに分割される場合、予測ユニットは２分木（ｂｉｎａｒｙ－ｔｒｅｅ）状に分割されたといえる。
【0121】
図５は符号化ユニットＣＵが含むことが可能な変換ユニットＴＵの形態を示す図である。
【0122】
変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ；ＴＵ）は、ＣＵ内で変換、量子化、逆変換及び逆量子化の処理のために使用される基本単位であり得る。ＴＵは、正方形や長方形などの形状を持つことができる。ＴＵはＣＵのサイズ及び／又は形状に依存的に（ｄｅｐｅｎｄｅｎｔ）決定されることもある。
【0123】
ＬＣＵから分割されたＣＵのうち、それ以上ＣＵに分割されないＣＵは、一つ以上のＴＵに分割できる。このとき、ＴＵの分割構造は４分木（ｑｕａｄ－ｔｒｅｅ）構造であり得る。例えば、図５に示すように、一つのＣＵ５１０が４分木構造によって１回或いはそれ以上分割できる。一つのＣＵが１回以上に分割される場合、再帰的に分割されるといえる。分割を介して、一つのＣＵ５１０は様々なサイズのＴＵから構成できる。又は、ＣＵを分割する垂直線（ｖｅｒｔｉｃａｌ ｌｉｎｅ）及び／又は水平線（ｈｏｒｉｚｏｎｔａｌ ｌｉｎｅ）の個数に基づいて一つ以上のＴＵに分割されることも可能である。ＣＵは対称型のＴＵに分割されてもよく、非対称型のＴＵに分割されてもよい。非対称型のＴＵへの分割のために、ＴＵのサイズ／形状に関する情報が、シグナリングされてもよく、ＣＵのサイズ／形状に関する情報から導出されてもよい。
【0124】
また、符号化ユニットは変換ユニットに分割されず、符号化ユニットと変換ユニットは同じサイズを持つことができる。
【0125】
一つの符号化ユニットは一つ以上の変換ユニットに分割でき、一つの変換ユニットも一つ以上の変換ユニットに分割できる。
【0126】
例えば、一つの変換ユニットが４つの変換ユニットに分割される場合、分割された４つの変換ユニットの横幅及び縦幅は、分割される前の変換ユニットの横幅及び縦幅と比較してそれぞれの半分のサイズを持つことができる。一例として、３２ｘ３２サイズの変換ユニットが４つの変換ユニットに分割される場合、分割された４つの変換ユニットはそれぞれ１６ｘ１６のサイズを持つことができる。一つの変換ユニットが４つの変換ユニットに分割される場合、変換ユニットは４分木（ｑｕａｄ－ｔｒｅｅ）状に分割されたといえる。
【0127】
例えば、一つの変換ユニットが２つの変換ユニットに分割される場合、分割された２つの変換ユニットの横幅或いは縦幅は、分割される前の変換ユニットの横幅或いは縦幅と比較して半分のサイズを持つことができる。一例として、３２ｘ３２サイズの変換ユニットが２つの変換ユニットで縦分割される場合、分割された２つの変換ユニットはそれぞれ１６ｘ３２のサイズを持つことができる。一例として、３２ｘ３２サイズの変換ユニットが２つの変換ユニットに横分割される場合、分割された２つの変換ユニットはそれぞれ３２ｘ１６のサイズを持つことができる。一つの変換ユニットが２つの変換ユニットに分割される場合、変換ユニットは２分木（ｂｉｎａｒｙ－ｔｒｅｅ）状に分割されたといえる。
【0128】
変換実行の際に残余ブロックを、予め定義された複数の変換方法のうちの少なくとも一つを用いて変換させることができる。一例として、予め定義された複数の変換方法として、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又はＫＬＴなどが用いられ得る。残余ブロックを変換するためにいずれの変換方法が適用されるかは、予測ユニットのインター予測モード情報、イントラ予測モード情報、変換ブロックのサイズ／形状のうちの少なくとも一つを用いて決定されてもよく、一定の場合、変換方法を指し示す情報がシグナリングされてもよい。
【0129】
図６はイントラ予測処理の実施形態を説明するための図である。
【0130】
イントラ予測モードは非方向性モード又は方向性モードであり得る。非方向性モードは、ＤＣモード又はＰｌａｎａｒモードであり、方向性モードは、特定の方向又は角度を持つ予測モードであって、個数は一つ以上のＭ個であり得る。前記方向性モードはモード番号、モード値、モード数及びモード角度のうちの少なくとも一つで表現できる。
【0131】
イントラ予測モードの個数は、前記非方向性及び方向性モードを含む一つ以上のＮ個であり得る。
【0132】
イントラ予測モードの個数は、ブロックのサイズによって異なり得る。例えば、ブロックのサイズが４ｘ４又は８ｘ８である場合には６７個、１６ｘ１６である場合には３５個、３２ｘ３２である場合には１９個、６４ｘ６４である場合には７個であり得る。
【0133】
イントラ予測モードの個数は、ブロックのサイズを問わずにＮ個に固定できる。例えば、ブロックのサイズを問わず、３５個又は６７個のうちの少なくとも一つに固定できる。
【0134】
イントラ予測モードの個数は、色成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）のタイプによって異なり得る。例えば、色成分が輝度（ｌｕｍａ）信号であるか色差（ｃｈｒｏｍａ）信号であるかによって、予測モードの個数が異なり得る。
【0135】
イントラ符号化及び／又は復号は、近傍の再構築されたブロックに含まれるサンプル値又は符号化パラメータを用いて行われ得る。
【0136】
現在ブロックをイントラ予測で符号化／復号するために、近傍の再構築されたブロックに含まれるサンプルが符号化／復号対象ブロックの参照サンプルとして利用可能であるか否かをチェックするステップが行われ得る。符号化／復号対象ブロックの参照サンプルとして利用できないサンプルが存在する場合、近傍の再構築されたブロックに含まれているサンプルのうちの少なくとも一つを用いて、参照サンプルとして利用することができないサンプルにサンプル値をコピー及び／又は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して符号化／復号対象ブロックの参照サンプルとして用いることができる。
【0137】
イントラ予測の際にイントラ予測モード及び符号化／復号対象ブロックのサイズの少なくとも一つに基づいて、参照サンプル又は予測サンプルの少なくとも一つにフィルタを適用することができる。このとき、符号化／復号対象ブロックは現在ブロックを意味することができ、符号化ブロック、予測ブロック及び変換ブロックのうちの少なくとも一つを意味することができる。参照サンプル又は予測サンプルに適用されるフィルタの種類は、現在ブロックのイントラ予測モード又はサイズ／形状のうちの少なくとも一つによって異なり得る。前記フィルタの種類はフィルタタップ数、フィルタ係数値又はフィルタ強度の少なくとも一つによって異なり得る。
【0138】
イントラ予測モードのうち、非方向性プラナー（Ｐｌａｎａｒ）モードは、対象符号化／復号ブロックの予測ブロックを生成するとき、予測ブロック内のサンプル値をサンプル位置に応じて現在サンプルの上側参照サンプル、現在サンプルの左側参照サンプル、現在ブロックの右上側参照サンプル、現在ブロックの左下側参照サンプルの加重和として生成することができる。
【0139】
イントラ予測モードのうち、非方向性ＤＣモードは、対象符号化／復号ブロックの予測ブロックを生成するとき、現在ブロックの上側参照サンプルと現在ブロックの左側参照サンプルとの平均値として生成することができる。また、符号化／復号ブロック内の参照サンプルに隣接する一つ又はそれ以上の上行、及び一つ又はそれ以上の左列に対しては参照サンプル値を用いてフィルタリングを行うこともできる。
【0140】
イントラ予測モードのうち、複数の方向性モード（ａｎｇｕｌａｒ ｍｏｄｅ）の場合、右上側及び／又は左下側参照サンプルを用いて予測ブロックを生成することができ、方向性モードは、互いに異なる方向性を持つことができる。予測サンプル値を生成するために、実数単位の補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うこともできる。
【0141】
イントラ予測方法を行うために、現在予測ブロックのイントラ予測モードは、現在予測ブロックの近傍に存在する予測ブロックのイントラ予測モードから予測することができる。近傍のイントラ予測モードから予測されたモード情報を用いて現在予測ブロックのイントラ予測モードを予測する場合、現在予測ブロックと近傍予測ブロックとのイントラ予測モードが同一であれば、所定のフラグ情報を用いて現在予測ブロックと近傍予測ブロックとのイントラ予測モードが同一であるという情報を送信することができ、もし現在予測ブロックと近傍予測ブロックとのイントラ予測モードが互いに異なる場合、エントロピー符号化を行って符号化／復号対象ブロックのイントラ予測モード情報を符号化することができる。
【0142】
図７はインター予測処理の実施形態を説明するための図である。
【0143】
図７における四角形は画像（又はピクチャ）を示すことができる。また、図７の矢印は予測方向を示すことができる。すなわち、画像は予測方向に応じて符号化及び／又は復号できる。各画像は、符号化タイプによってＩピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｕｎｉ－ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉ－ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）などに分類できる。各ピクチャは、各ピクチャの符号化タイプに応じて符号化され、復号され得る。
【0144】
符号化の対象である画像がＩピクチャである場合、画像はインター予測なしで画像自体に対してイントラ符号化できる。符号化の対象である画像がＰピクチャである場合、画像は、順方向にのみ参照画像を用いるインター予測或いは動き補償を介して符号化できる。符号化の対象である画像がＢピクチャである場合、順方向及び逆方向の両側に参照ピクチャを用いるインター予測或いは動き補償を介して符号化でき、順方向及び逆方向のうちのいずれかの方向に参照ピクチャを用いるインター予測或いは動き補償を介して符号化できる。ここで、インター予測モードが使用される場合、符号化器ではインター予測或いは動き補償を行うことができ、復号器ではそれに対応する動き補償を行うことができる。参照画像を用いて符号化及び／又は復号されるＰピクチャ及びＢピクチャの画像は、インター予測が使用される画像と看做すことができる。
【0145】
次に、実施形態に係るインター予測について具体的に説明する。
【0146】
インター予測或いは動き補償は、参照ピクチャ及び動き情報を用いて行われ得る。また、インター予測は、上述したスキップモードを用いることも可能である。
【0147】
参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）は、現在ピクチャよりも前のピクチャ又は現在ピクチャよりも後のピクチャのうちの少なくとも一つであり得る。このとき、インター予測は、参照ピクチャに基づいて、現在ピクチャのブロックに対する予測を行うことができる。ここで、参照ピクチャはブロックの予測に用いられる画像を意味することができる。このとき、参照ピクチャ内の領域は、参照ピクチャを指し示す参照画像インデックス（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ；ｒｅｆＩｄｘ）及び後述する動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）などを用いることにより特定できる。
【0148】
インター予測は、参照ピクチャ、及び参照ピクチャ内で現在ブロックに対応する参照ブロックを選択することができ、選択された参照ブロックを用いて現在ブロックに対する予測ブロックを生成することができる。現在ブロックは、現在ピクチャのブロックのうち、現在符号化又は復号の対象となるブロックであり得る。
【0149】
動き情報は、符号化装置１００及び復号装置２００のそれぞれによってインター予測の処理から導出できる。また、導出された動き情報は、インター予測を行うために使用できる。このとき、符号化装置１００及び復号装置２００は、再構築された近傍ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）の動き情報及び／又はコロケーテッドブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ；ｃｏｌ ｂｌｏｃｋ）の動き情報を用いることにより、符号化及び／又は復号効率を向上させることができる。コロケーテッドブロックは、既に再構築されたコロケーテッドピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ； ｃｏｌ ｐｉｃｔｕｒｅ）内で符号化／復号対象ブロックの空間的位置に対応するブロックであり得る。再構築された近傍ブロックは、現在ピクチャ内のブロックであるとともに、既に符号化及び／又は復号を介して再構築されたブロックであり得る。また、再構築ブロックは、符号化／復号対象ブロックに隣接する隣接ブロック及び／又は符号化／復号対象ブロックの外側コーナーに位置するブロックであり得る。ここで、符号化／復号対象ブロックの外側コーナーに位置するブロックとは、符号化／復号対象ブロックに横方向に隣接する隣接ブロックに縦方向に隣接するブロック、又は符号化／復号対象ブロックに縦方向に隣接する隣接ブロックに横方向に隣接するブロックであり得る。
【0150】
符号化装置１００及び復号装置２００のそれぞれは、コロケーテッドピクチャ内で空間的に符号化／復号対象ブロックに対応する位置に存在するブロックを決定することができ、決定されたブロックを基準に所定の相対的な位置を決定することができる。所定の相対的な位置は、空間的に符号化／復号対象ブロックに対応する位置に存在するブロックの内部及び／又は外部の位置であり得る。また、符号化装置１００及び復号装置２００のそれぞれは、決定された所定の相対的な位置に基づいてコロケーテッドブロックを導出することができる。ここで、コロケーテッドピクチャは、参照ピクチャリストに含まれている少なくとも一つの参照ピクチャのうちのいずれかであり得る。
【0151】
動き情報の導出方式は、符号化／復号対象ブロックの予測モードに応じて変わり得る。例えば、インター予測のために適用される予測モードとして、高度動きベクトル予測（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ；ＡＭＶＰ）及びマージモード（ｍｅｒｇｅ ｍｏｄｅ）などがあり得る。ここで、マージモードを動き併合モード（ｍｏｔｉｏｎ ｍｅｒｇｅ ｍｏｄｅ）と呼ぶことができる。
【0152】
例えば、予測モードとしてＡＭＶＰが適用される場合、符号化装置１００及び復号装置２００のそれぞれは、再構築された近傍ブロックの動きベクトル及び／又はコロケーテッドブロックの動きベクトルを用いて動きベクトル候補リスト（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を生成することができる。再構築された近傍ブロックの動きベクトル及び／又はコロケーテッドブロックの動きベクトルは、動きベクトル候補として使用できる。ここで、コロケーテッドブロックの動きベクトルを時間動きベクトル候補（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ）と呼ぶことができ、再構築された近傍ブロックの動きベクトルを空間動きベクトル候補（ｓｐａｔｉａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ）と呼ぶことができる。
【0153】
符号化装置１００によって生成されたビットストリームは、動きベクトル候補インデックス（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ ｉｎｄｅｘ）を含むことができる。すなわち、符号化装置１００は、動きベクトル候補インデックスをエントロピー符号化してビットストリームを生成することができる。動きベクトル候補インデックスは、動きベクトル候補リストに含まれている動きベクトル候補の中から選択された最適の動きベクトル候補を指し示すことができる。動きベクトル候補インデックスは、ビットストリームを介して符号化装置１００から復号装置２００へ送信できる。
【0154】
復号装置２００は、動きベクトル候補インデックスをビットストリームからエントロピー復号し、エントロピー復号された動きベクトル候補インデックスを用いて、動きベクトル候補リストに含まれている動きベクトル候補の中から復号対象ブロックの動きベクトル候補を選択することができる。
【0155】
符号化装置１００は、符号化対象ブロックの動きベクトルと動きベクトル候補との動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を計算することができ、ＭＶＤをエントロピー符号化することができる。ビットストリームは、エントロピー符号化されたＭＶＤを含むことができる。ＭＶＤはビットストリームを介して符号化装置１００から復号装置２００へ送信できる。このとき、復号装置２００は、受信されたＭＶＤをビットストリームからエントロピー復号することができる。復号装置２００は、復号されたＭＶＤと動きベクトル候補との和によって復号対象ブロックの動きベクトルを導出することができる。
【0156】
ビットストリームは、参照ピクチャを指し示す参照画像インデックスなどを含むことができる。参照画像インデックスは、エントロピー符号化されてビットストリームを介して符号化装置１００から復号装置２００へ送信できる。復号装置２００は、近傍ブロックの動き情報を用いて復号対象ブロックの動きベクトルを予測することができ、予測された動きベクトル及び動きベクトル差分を用いて復号対象ブロックの動きベクトルを導出することができる。復号装置２００は、導出された動きベクトルと参照画像インデックス情報に基づいて復号対象ブロックに対する予測ブロックを生成することができる。
【0157】
動き情報の導出方式の他の例として、マージモード（ｍｅｒｇｅ ｍｏｄｅ）がある。マージモードとは、複数のブロックに対する動きの併合を意味することができる。マージモードは、一つのブロックの動き情報を他のブロックにも一緒に適用させることを意味することができる。マージモードが適用される場合、符号化装置１００及び復号装置２００のそれぞれは、再構築された近傍ブロックの動き情報及び／又はコロケーテッド（ｃｏｌｌｏｃａｔｅｄ）ブロックの動き情報を用いてマージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を生成することができる。動き情報は、１）動きベクトル、２）参照画像インデックス、及び３）インター予測インジケータのうちの少なくとも一つを含むことができる。予測インジケータは、一方向（Ｌ０予測、Ｌ１予測）又は双方向であり得る。
【0158】
この時、マージモードはＣＵ単位又はＰＵ単位で適用できる。ＣＵ単位又はＰＵ単位でマージモードが行われる場合、符号化装置１００は、予め定義された情報をエントロピー符号化してビットストリームを生成した後、復号装置２００へ送信することができる。ビットストリームは予め定義された情報を含むことができる。予め定義された情報は、１）ブロックパーティション（ｐａｒｔｉｔｉｏｎ）ごとにマージモードを行うか否かを示す情報であるマージフラグ（ｍｅｒｇｅ ｆｌａｇ）、２）符号化対象ブロックに隣接する近傍ブロックのうちのいずれのブロックとマージするかについての情報であるマージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）を含むことができる。例えば、符号化対象ブロックの近傍ブロックは、符号化対象ブロックの左側隣接ブロック、符号化対象ブロックの上側隣接ブロック及び符号化対象ブロックの時間的（ｔｅｍｐｏｒａｌ）隣接ブロックを含むことができる。
【0159】
マージ候補リストは、動き情報が保存されたリストを示すことができる。また、マージ候補リストは、マージモードが行われる前に生成できる。マージ候補リストに保存される動き情報は、符号化／復号対象ブロックに隣接する近傍ブロックの動き情報、及び参照画像における符号化／復号対象ブロックに対応する（ｃｏｌｌｏｃａｔｅｄ）ブロックの動き情報、既にマージ候補リストに存在する動き情報の組み合わせによって生成された新たな動き情報、及びゼロマージ候補のうちの少なくとも一つであり得る。ここで、符号化／復号対象ブロックに隣接する近傍ブロックの動き情報は、空間マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）及び参照画像における符号化／復号対象ブロックに対応する（ｃｏｌｌｏｃａｔｅｄ）ブロックの動き情報は、時間マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と呼ぶことができる。
【0160】
スキップモードは、近傍ブロックの動き情報をそのまま符号化／復号対象ブロックに適用するモードであり得る。スキップモードは、インター予測に用いられるモードのいずれかであり得る。スキップモードが使用される場合、符号化装置１００は、どのブロックの動き情報を符号化対象ブロックの動き情報として用いるかについての情報をエントロピー符号化してビットストリームを介して復号装置２００へ送信することができる。符号化装置１００は、他の情報は復号装置２００に送信しないことがある。例えば、他の情報は構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）情報であり得る。構文要素情報は、動きベクトル差分情報、符号化ブロックフラグ及び変換係数レベルのうちの少なくとも一つを含むことができる。
【0161】
イントラ又はインター予測以降に生成された残差信号は、量子化処理の一環として、変換処理を介して周波数ドメインに変換することができる。この時、実行する１次変換はＤＣＴ ｔｙｐｅ ２（ＤＣＴ－ＩＩ）の他にさまざまなＤＣＴ、ＤＳＴカーネルを使用することができ、これらの変換カーネルは、残差信号に対して水平及び／又は垂直方向に１次元変換（１Ｄ ｔｒａｎｓｆｏｒｍ）をそれぞれ実行する可分変換（ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）によって変換が行われてもよく、又は２次元非可分変換（２Ｄ Ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）によって変換が行われてもよい。
【0162】
一例として、変換に使用されるＤＣＴ、ＤＳＴ ｔｙｐｅは、下記表のとおり、ＤＣＴ－ＩＩの他にＤＣＴ－Ｖ、ＤＣＴ－ＶＩＩＩ、ＤＳＴ－Ｉ、ＤＳＴ－ＶＩＩを１Ｄ変換の際に適応的に使用することができ、例えば、表１及び表２の例のとおり、変換セット（Ｔｒａｎｓｆｏｒｍ ｓｅｔ）を構成して、変換に使用されたＤＣＴ又はＤＳＴタイプを導出することができる。
【0163】
【表1】
【0164】
【表2】
【0165】
例えば、図８に示すように、イントラ予測モードに応じて、水平又は垂直方向に対して互いに異なる変換セット（Ｔｒａｎｓｆｏｒｍ ｓｅｔ）を定義した後、符号化／復号器において、現在符号化／復号対象ブロックのイントラ予測モード及びこれに対応する変換セットに含まれている変換を用いて変換及び／又は逆変換を行うことができる。この場合、変換セットは、エントロピー符号化／復号されるのではなく、符号化／復号器で同一のルールに基づいて定義できる。この場合、当該変換セットに属する変換のうちのいずれの変換が使用されたかを指し示すエントロピー符号化／復号が行われ得る。例えば、ブロックのサイズが６４ｘ６４以下である場合、イントラ予測モードに応じて、表２の例のように合計３つの変換セットを構成し、水平方向の変換と垂直方向の変換としてそれぞれ３つの変換を用いて合計９つの多重変換方法を組み合わせて行った後、最適の変換方法で残余信号を符号化／復号することにより符号化効率を向上させることができる。このとき、一つの変換セットに属する３つの変換のうちのいずれの変換が使用されたかについての情報をエントロピー符号化／復号するために、切り捨てられた単項（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ）２値化（Ｂｉｎａｒｉｚａｔｉｏｎ）を使用することもできる。このとき、垂直変換及び水平変換の少なくとも一つに対して、変換セットに属する変換のうちのいずれの変換が使用されたかを指し示す情報がエントロピー符号化／復号できる。
【0166】
符号化器では、前述した１次変換が完了した後、図９の例のように変換係数（Ｔｒａｎｓｆｏｒｍｅｄ ｃｏｅｆｆｉｃｉｅｎｔｓ）に対するエネルギー集中度を高めるために２次変換（Ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を行うことができる。２次変換も水平及び／又は垂直方向に対して１次元変換をそれぞれ実行する可分変換を行うこともでき、又は２次元非可分変換を行うこともでき、使用された変換情報が送信されるか或いは現在及び近傍符号化情報に応じて符号化器／復号器で暗黙的に導出され得る。例えば、１次変換のように２次変換に対する変換セットを定義することができ、変換セットは、エントロピー符号化／復号されるのではなく、符号化器／復化器で同じルールに基づいて定義できる。この場合、当該変換セットに属する変換のうちのいずれの変換が使用されたかを指し示す情報が送信でき、イントラ又はインター予測による残差信号のうちの少なくとも一つに適用できる。
【0167】
変換セット別に変換候補（ｔｒａｎｓｆｏｒｍ ｃａｎｄｉｄａｔｅｓ）の個数又は種類のうちの少なくとも一つは異なり、変換候補の個数又は種類のうちの少なくとも一つはブロック（ＣＵ、ＰＵ、ＴＵなど）の位置、大きさ、分割形態、予測モード（イントラ／インターモード）、又はイントラ予測モードの方向性／非方向性のうちの少なくとも一つを考慮して可変的に決定されることも可能である。
【0168】
復号器では、２次逆変換を実行するか否かに応じて２次逆変換を行うことができ、２次逆変換の実行結果から１次逆変換を実行するか否かに応じて１次逆変換を行うことができる。
【0169】
前述した１次変換及び２次変換は輝度／色差成分のうちの少なくとも一つの信号成分に適用されるか、或いは任意の符号化ブロックのサイズ／形状に応じて適用でき、任意の符号化ブロックでの使用有無、及び使用された１次変換／２次変換を指し示すインデックスをエントロピー符号化／復号するか、又は現在／近傍符号化情報のうちの少なくとも一つに基づいて符号化器／復号器で暗黙的に導出することができる。
【0170】
イントラ又はインター予測の後に生成された残差信号は、１次及び／又は２次変換完了の後、量子化処理を経る。量子化された変換係数は、エントロピー符号化処理を経る。この時、量子化された変換係数は、図１０に示すように、イントラ予測モード又は最小ブロックサイズ／形状のうちの少なくとも一つを基準に対角線、垂直方向、および、水平方向に沿ってスキャニング（ｓｃａｎｎｉｎｇ）できる。
【0171】
また、エントロピー復号された、量子化された変換係数は、逆スキャニング（Ｉｎｖｅｒｓｅ Ｓｃａｎｎｉｎｇ）され、ブロック形態で整列でき、当該ブロックに逆量子化又は逆変換のうちの少なくとも一つが実行されてよい。この時、逆スキャニングの方法として、対角（Ｄｉａｇｏｎａｌ）スキャン、水平（Ｈｏｒｉｚｏｎｔａｌ）スキャン及び垂直（Ｖｅｒｔｉｃａｌ）スキャンのうちの少なくとも一つが実行できる。
【0172】
一例として、現在符号化ブロックのサイズが８ｘ８であるとき、８ｘ８ブロックに対する残差信号は、１次変換、２次変換及び量子化の後、４つの４ｘ４サブブロックごとに、図１０に示された３つのスキャニング順序（Ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）方法のうちの少なくとも一つに応じて、量子化された変換係数をスキャニングしながらエントロピー符号化することができる。また、量子化された変換係数を逆スキャニングしながらエントロピー復号することができる。逆スキャニングされた、量子化された変換係数は、逆量子化後の変換係数となり、２次逆変換又は１次逆変換のうちの少なくとも一つが実行されて再構築された残余信号が生成できる。
【0173】
ビデオ符号化処理で、図１１を示すように、一つのブロックが分割されてよく、分割情報に該当するインジケータがシグナリングされてよい。この時、前記分割情報は、分割フラグ（ｓｐｌｉｔ＿ｆｌａｇ）、クワッド／２分木フラグ（ＱＢ＿ｆｌａｇ）、４分木分割フラグ（ｑｕａｄｔｒｅｅ＿ｆｌａｇ）、２分木分割フラグ（ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇ）、２分木分割タイプフラグ（Ｂｔｙｐｅ＿ｆｌａｇ）のうちの少なくとも一つであり得る。ここで、ｓｐｌｉｔ＿ｆｌａｇは、ブロックが分割されたか否かを示すフラグ、ＱＢ＿ｆｌａｇは、ブロックが４分木状に分割されたか、２分木状に分割されたかを示すフラグ、ｑｕａｄｔｒｅｅ＿ｆｌａｇは、ブロックが４分木状に分割されたか否かを示すフラグ、ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇは、ブロックが２分木状に分割されたか否かを示すフラグ、Ｂｔｙｐｅ＿ｆｌａｇは、ブロックが２分木状に分割された場合に垂直又は水平分割であることを示すフラグであり得る。
【0174】
前記分割フラグが１である場合には分割されたことを示し、前記分割フラグが０である場合には分割されていないことを示すことができ、前記クワッド／２分木フラグの場合、０であれば４分木分割を示し、１であれば２分木分割を示すことができ、逆に、０であれば２分木分割を示し、１であれば４分木分割を示すことができる。前記２分木分割タイプフラグの場合、０であれば水平方向分割を示し、１であれば垂直方向分割を示すことができ、逆に、０であれば垂直方向分割を示し、１であれば水平方向分割を示すことができる。
【0175】
例えば、図１１についての分割情報は、下記表３のとおり、ｑｕａｄｔｒｅｅ＿ｆｌａｇ、ｂｉｎａｒｙｔｒｅｅ＿ｆｌａｇ、Ｂｔｙｐｅ＿ｆｌａｇの少なくとも一つをシグナリングして導出することができる。
【0176】
【表3】
【0177】
例えば、図１１についての分割上方は、下記表4のとおり、ｓｐｌｉｔ＿ｆｌａｇ、ＱＢ＿ｆｌａｇ、Ｂｔｙｐｅ＿ｆｌａｇの少なくとも一つをシグナリングして導出することができる。
【0178】
【表4】
【0179】
前記分割方法は、ブロックのサイズ／形状に応じて４分木状にのみ分割可能であり、或いは２分木状にのみ分割可能である。このような場合、前記ｓｐｌｉｔ＿ｆｌａｇは、４分木分割か２分木分割かを示すフラグを意味することができる。前記ブロックのサイズ／形状はブロックの深さ情報に応じて導出でき、深さ情報はシグナリングできる。
【0180】
前記ブロックのサイズが所定の範囲内に属する場合には、４分木状にのみ分割が可能であり得る。ここで、所定の範囲は、４分木状にのみ分割が可能な最大ブロックのサイズ又は最小ブロックのサイズのうちの少なくとも一つと定義できる。前記４分木分割が許容される最大／最小ブロックのサイズを示す情報は、ビットストリームを介してシグナリングでき、当該情報は、シーケンス、ピクチャパラメータ又はスライス（セグメント）のうちの少なくとも一つの単位でシグナリングできる。又は、前記最大／最小ブロックのサイズは、符号化器／復号器に所定の固定されたサイズであってもよい。例えば、前記ブロックのサイズが２５６ｘ２５６～６４ｘ６４に該当する場合には、４分木状にのみ分割が可能である。このような場合、前記ｓｐｌｉｔ＿ｆｌａｇは４分木分割か否かを示すフラグであり得る。
【0181】
前記ブロックのサイズが所定の範囲内に属する場合には、２分木状にのみ分割が可能である。ここで、所定の範囲は、２分木状にのみ分割が可能な最大ブロックのサイズ又は最小ブロックのサイズのうちの少なくとも一つと定義できる。前記２分木分割が許容される最大／最小ブロックのサイズを示す情報は、ビットストリームを介してシグナリングでき、該当情報は、シーケンス、ピクチャパラメータ、又はスライス（セグメント）のうちの少なくとも一つの単位でシグナリングできる。又は、前記最大／最小ブロックのサイズは、符号化器／復号器に所定の固定されたサイズであってもよい。例えば、前記ブロックのサイズが１６ｘ１６～８ｘ８に該当する場合には、２分木状にのみ分割が可能である。このような場合、前記ｓｐｌｉｔ＿ｆｌａｇは２分木分割か否かを示すフラグであり得る。
【0182】
前記一つのブロックが２分木状に分割された後、前記分割されたブロックがさらに分割される場合には、２分木状にのみ分割できる。
【0183】
前記分割されたブロックの横幅又は縦幅が、それ以上分割できないサイズである場合には、前記一つ以上のインジケータをシグナリングしないことがある。
【0184】
前記４分木基盤の２分木分割の他に、２分木分割後、４分木基盤の分割が可能である。
【0185】
上述した事項に基づいて、本発明に係る、動きベクトルを用いた画像符号化／復号方法について詳細に説明する。
【0186】
【0187】
図１２を参照すると、符号化装置は、動きベクトル候補を導出し（Ｓ１２０１）、導出された動きベクトル候補を基に、動きベクトル候補リストを生成することができる（Ｓ１２０２）。動きベクトル候補リストが生成されると、生成された動きベクトル候補リストを用いて、動きベクトルを決定し（Ｓ１２０３）、動きベクトルを用いて、動き補償を行うことができる（Ｓ１２０４）。その後、符号化装置は、動き補償に関する情報をエントロピー符号化することができる（Ｓ１２０５）。
【0188】
図１３を参照すると、復号装置は、符号化装置から受信した動き補償に関する情報をエントロピー復号し（Ｓ１３０１）、動きベクトル候補を導出することができる（Ｓ１３０２）。そして、復号装置は、導出された動きベクトル候補を基に動きベクトル候補リストを生成し（Ｓ１３０３）、生成された動きベクトル候補リストを用いて、動きベクトルを決定することができる（Ｓ１３０４）。その後、復号装置は、動きベクトルを用いて、動き補償を行うことができる（Ｓ１３０５）。
【0189】
【0190】
まず、動きベクトル候補を導出するステップについて具体的に説明する（Ｓ１２０１、Ｓ１３０２）。
【0191】
現在ブロックに対する動きベクトル候補は、空間動きベクトル候補又は時間動きベクトル候補のうちの少なくとも一つを含むことができる。
【0192】
現在ブロックの空間動きベクトルは、現在ブロック近傍の再構築ブロックから導出できる。一例として、現在ブロック近傍の再構築ブロックの動きベクトルが、現在ブロックに対する空間動きベクトル候補として決定できる。
【0193】
図１４は現在ブロックの空間動きベクトル候補を導出する例を説明するための図である。
【0194】
図１４を参照すると、現在ブロックの空間動きベクトル候補は、現在ブロックＸに隣接する近傍ブロックから導出できる。ここで、現在ブロックに隣接する近傍ブロックは、現在ブロックの上側に隣接するブロックＢ１、現在ブロックの左側に隣接するブロックＡ１、現在ブロックの右上隅に隣接するブロックＢ０、現在ブロックの左上隅に隣接するブロックＢ２、及び現在ブロックの左下隅に隣接するブロックＡ０のうちの少なくとも一つを含むことができる。
【0195】
現在ブロックに隣接する近傍ブロックに動きベクトルが存在する場合、近傍ブロックの動きベクトルが現在ブロックの空間動きベクトル候補として決定できる。近傍ブロックの動きベクトルが存在するか否か、又は近傍ブロックの動きベクトルが現在ブロックの空間動きベクトル候補として利用可能であるか否かは、近傍ブロックが存在するか否か、又は近傍ブロックがインター予測を介して符号化されたか否かなどに基づいて判断できる。この際、近傍ブロックの動きベクトルが存在するか否か、又は近傍ブロックの動きベクトルが現在ブロックの空間動きベクトル候補として利用可能であるか否かは、所定の優先順位によって決定できる。一例として、図１４に示された例において、Ａ０、Ａ１、Ｂ０、Ｂ１及びＢ２位置のブロックの順に動きベクトルの可用性が判断できる。
【0196】
現在ブロックの参照ブロックと、動きベクトルを有する近傍ブロックの参照画像とが互いに異なる場合、近傍ブロックの動きベクトルをスケーリング（ｓｃａｌｉｎｇ）したものを、現在ブロックの空間動きベクトル候補として決定することができる。ここで、スケーリングは、現在画像と現在ブロックが参照する参照画像間の距離、及び現在画像と近傍ブロックが参照する参照画像間の距離のうちの少なくとも一つに基づいて行われ得る。一例として、現在画像と現在ブロックが参照する参照画像間の距離と、現在画像と近傍ブロックが参照する参照画像間の距離との差分値だけ近傍ブロックの動きベクトルをスケーリングすることにより、現在ブロックの空間動きベクトル候補が導出できる。
【0197】
現在ブロックの参照画像リストと隣接ブロックの参照画像リストとが異なる場合でも、現在ブロックと隣接ブロックとの参照画像が同一であるか否かによって、近傍ブロックの動きベクトルをスケーリングするか否かを決定することができる。ここで、参照画像リストは、Ｌｉｓｔ０（Ｌ０）、Ｌｉｓｔ１（Ｌ１）、Ｌｉｓｔ２（Ｌ２）及びＬｉｓｔ３（Ｌ３）などの少なくとも一つを含むことができる。
【0198】
要約すると、空間動きベクトル候補は、ブロックの可用性、イントラ予測モードでの符号化か否か、現在ブロックとの参照画像リストが同一であるか否か、又は現在ブロックとの参照画像が同一であるか否かのうちの少なくとも一つを考慮して導出できる。近傍ブロックが可用であり、イントラ予測モードで符号化されていない場合、現在ブロックの空間動きベクトル候補は、下記表５に例示した方法で生成できる。
【0199】
【表5】
【0200】
前記表５に示すように、現在ブロックと近傍ブロックとの参照画像リストが互いに異なる場合でも、現在ブロックと近傍ブロックとの参照画像が同一であれば、近傍ブロックの動きベクトルを現在ブロックの空間動きベクトル候補として決定することができる。
【0201】
これに対し、現在ブロックと近傍ブロックとの参照画像が互いに異なる場合には、現在ブロックの参照画像リストと近傍ブロックの参照画像リストとが同一であるか否かを問わず、近傍ブロックの動きベクトルをスケーリングすることにより、現在ブロックの空間動きベクトル候補として決定することができる。
【0202】
近傍ブロックから現在ブロックの空間動きベクトル候補を導出する場合、現在ブロックと隣接ブロックとの参照画像が同一であるか否かを考慮して、現在ブロックの空間動きベクトル候補の導出順序が決定できる。一例として、現在ブロックと同じ参照画像を有する近傍ブロックから優先的に空間ベクトル候補を導出し、導出された空間動きベクトル候補の数（又は導出された動きベクトル候補の数）が所定の最大値以下である場合には、現在ブロックとは異なる参照画像を有する近傍ブロックから空間ベクトル候補を導出することもできる。
【0203】
又は、現在ブロックの空間動きベクトル予測候補は、現在ブロック及び近傍ブロックが同じ参照画像を持つか否かと近傍ブロックの位置を考慮して決定されてもよい。
【0204】
一例として、現在ブロックの左側に隣接する近傍ブロック（Ａ０，Ａ１）から、参照画像の同一性有無に応じて、現在ブロックの空間動きベクトル候補を導出した後、現在ブロックの上側に隣接する近傍ブロック（Ｂ０，Ｂ１，Ｂ２）から、参照画像の同一性有無に応じて、現在ブロックの空間動きベクトル候補を導出することができる。表６は現在ブロックの空間動きベクトル候補の導出順序を例示するものである。
【0205】
【表6】
【0206】
現在ブロックの空間動きベクトル候補の最大個数は、符号化装置及び復号装置で同一の値を使用するように予め設定できる。又は、符号化装置は、現在ブロックの空間動きベクトル候補の最大個数を示す情報を符号化し、ビットストリームを介して復号装置へ送信することもできる。一例として、符号化装置は、現在ブロックの空間動きベクトル候補の最大個数を示す「ｍａｘＮｕｍＳｐａｔｉａｌＭＶＰＣａｎｄ」を符号化し、ビットストリームを介して復号装置へ送信することができる。このとき、「ｍａｘＮｕｍＳｐａｔｉａｌＭＶＰＣａｎｄ」は、０を含む正の整数に設定できる。例えば、「ｍａｘＮｕｍＳｐａｔｉａｌＭＶＰＣａｎｄ」は２に設定できる。
【0207】
現在ブロックの時間動きベクトル候補は、現在画像の対応位置画像（Ｃｏ－ｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）に含まれている、再構築されたブロックから導出できる。ここで、対応位置画像は、現在画像の前に符号化／復号が完了した画像であって、現在画像とは異なる時間的順序を持つ画像であり得る。
【0208】
図１５は現在ブロックの時間動きベクトル候補を導出する例を説明するための図である。
【0209】
図１５を参照すると、現在画像の対応位置画像（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）において、現在ブロックＸと空間的に同一の位置に対応するブロックの外部位置を含むブロック、又は現在ブロックＸと空間的に同一の位置に対応するブロックの内部位置を含むブロックから現在ブロックの時間動きベクトル候補を導出することができる。一例として、現在ブロックＸの時間動きベクトル候補は、現在ブロックと空間的に同一の位置に対応するブロックＣの左下隅に隣接するブロックＨ、又はブロックＣの中心点を含むブロックＣ３から導出できる。現在ブロックの時間動きベクトル候補を導出するために使用されるブロックＨ又はブロックＣ３などを「対応位置ブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）」と呼ぶことができる。
【0210】
ブロックＣの外部位置を含むブロックＨから現在ブロックの時間動きベクトル候補を導出することができる場合、ブロックＨが現在ブロックの対応位置ブロックとして設定できる。この場合、現在ブロックの時間動きベクトルは、ブロックＨの動きベクトルに基づいて導出することができる。これに対し、ブロックＨから現在ブロックの時間動きベクトル候補を導出することができない場合には、ブロックＣの内部位置を含むブロックＣ３が現在ブロックの対応位置ブロックとして設定できる。この場合、現在ブロックの時間動きベクトルは、ブロックＣ３の動きベクトルに基づいて導出できる。もしブロックＨ及びブロックＣ３から現在ブロックの時間動きベクトルを導出することができない場合には（例えば、ブロックＨ及びブロックＣ３が全てイントラ符号化された場合）、現在ブロックに対する時間動きベクトル候補は導出されないか、或いはブロックＨ及びブロックＣ３とは異なる位置のブロックから導出できるだろう。
【0211】
他の例として、現在ブロックの時間動きベクトル候補は、対応位置画像内の複数のブロックから導出されることも可能である。一例として、ブロックＨ及びブロックＣ３から現在ブロックに対する複数の時間動きベクトル候補を導出することもできる。
【0212】
図１５では、対応位置ブロックの左下隅に隣接するブロック又は対応位置ブロックの中心点を含むブロックから現在ブロックの時間動きベクトル候補を導出することができるものと図示した。ただし、現在ブロックの時間動きベクトル候補を導出するためのブロックの位置は、図１５に示された例に限定されない。一例として、現在ブロックの時間予測候補は対応位置ブロックの上／下側境界、左／右側境界又は一つの隅に隣接するブロックから導出されることもあり、対応位置ブロック内の特定の位置を含むブロック（例えば、対応位置ブロックの隅境界に隣接するブロック）から導出されることもある。
【0213】
現在ブロックの時間動きベクトル候補は、現在ブロックと対応位置ブロックの内部又は外部に位置するブロックの参照画像リスト（又は予測方向）を考慮して決定されてもよい。
【0214】
一例として、現在ブロックが利用可能な参照画像リストがＬ０である場合（すなわち、インター予測インジケータがＰＲＥＤ＿Ｌ０を指示する場合）、対応位置ブロックの内部又は外部に位置するブロックのうち、Ｌ０を参照画像として用いるブロックの動きベクトルを現在ブロックの時間動きベクトル候補として導出することができる。つまり、現在ブロックが利用可能な参照画像リストがＬＸである場合（ここで、Ｘは０、１、２又は３など、参照画像リストのインデックスを示す整数）、対応位置ブロックの内部又は外部に位置するブロックのうち、ＬＸを参照画像として用いるブロックの動きベクトルを現在ブロックの時間動きベクトル候補として導出することができる。
【0215】
現在ブロックが複数の参照画像リストを用いる場合にも、現在ブロックと対応位置ブロックの内部又は外部に位置するブロックの参照画像リストが同一であるか否かを考慮して、現在ブロックの時間動きベクトル候補を決定することができる。
【0216】
一例として、現在ブロックが双方向予測を行う場合（すなわち、インター予測インジケータがＰＲＥＤ＿ＢＩである場合）、対応位置ブロックの内部又は外部に位置するブロックのうち、Ｌ０とＬ１を参照画像として用いるブロックの動きベクトルを現在ブロックの時間動きベクトル候補として導出することができる。現在ブロックが三方向予測を行う場合（すなわち、インター予測インジケータがＰＲＥＤ＿ＴＲＩである場合）、対応位置ブロックの内部又は外部に位置するブロックのうち、Ｌ０、Ｌ１、Ｌ２を参照画像として用いるブロックの動きベクトルを現在ブロックの時間動きベクトル候補として導出することができる。現在ブロックが四方向予測を行う場合（すなわち、インター予測インジケータがＰＲＥＤ＿ＱＵＡＤである場合）、対応位置ブロックの内部又は外部に位置するブロックのうち、Ｌ０、Ｌ１、Ｌ２及びＬ３を参照画像として用いるブロックの動きベクトルを現在ブロックの時間動きベクトル候補として導出することができる。
【0217】
又は、現在ブロックがいずれかの参照画像を用いて複数方向予測を行うように設定された場合、外部ブロックが現在ブロックと同一の参照ピクチャリスト及び同一の予測方向を持つか否かを考慮して、現在ブロックの時間動き予測ベクトル候補を決定することができる。
【0218】
一例として、現在ブロックがＬ０参照ピクチャリストに対して双方向予測を行う場合（すなわち、リストＬ０に対するインター予測インジケータがＰＲＥＤ＿ＢＩである場合）、対応位置ブロックの内部又は外部に位置するブロックのうち、Ｌ０を参照画像として用いながらＬ０に対して双方向予測を行うブロックの動きベクトルを現在ブロックの時間動きベクトル候補として導出することができる。
【0219】
また、符号化パラメータのうちの少なくとも一つに基づいて、時間動きベクトル候補を導出することもできる。
【0220】
時間動きベクトル候補は、導出された空間動きベクトル候補の個数が動きベクトル候補の最大個数よりも小さいときに予備的に導出できる。これにより、導出された空間動きベクトル候補の個数が動きベクトル候補の最大個数に達した場合には、時間動きベクトル候補を導出する処理が省略できる。
【0221】
一例として、動きベクトル候補の最大個数が２つであり、導出された空間動きベクトル候補２つが互いに異なる値を持つ場合には、時間動きベクトル候補を導出する処理が省略できる。
【0222】
他の例として、現在ブロックの時間動きベクトル候補は、時間動きベクトル候補の最大個数に基づいて導出されることも可能である。ここで、時間動きベクトル候補の最大個数は、符号化装置及び復号装置で同一の値を使用するように予め設定できる。又は、現在ブロックの時間動きベクトル候補の最大個数を示す情報は、ビットストリームを介して符号化され、復号装置へ送信されることも可能である。一例として、符号化装置は、現在ブロックの時間動きベクトル候補の最大個数を示す「ｍａｘＮｕｍＴｅｍｐｏｒａｌＭＶＰＣａｎｄ」を符号化し、ビットストリームを介して復号装置へ送信することができる。このとき、「ｍａｘＮｕｍＴｅｍｐｏｒａｌＭＶＰＣａｎｄ」は、０を含む正の整数として設定できる。例えば、「ｍａｘＮｕｍＴｅｍｐｏｒａｌＭＶＰＣａｎｄ」は１に設定できる。
【0223】
現在ブロックが含まれている現在画像と現在ブロックの参照画像間の距離と、対応位置ブロックが含まれている対応位置ピクチャと対応位置ブロックの参照画像間の距離とが異なる場合、現在ブロックの時間動きベクトル候補は、対応位置ブロックの動きベクトルをスケーリングすることにより取得できる。
【0224】
図１６は現在ブロックの時間動きベクトル候補を導出するために、対応位置ブロックの動きベクトルをスケーリングする例を示す。
【0225】
対応位置ベクトルの動きベクトルは、対応位置画像の表示順を示すＰＯＣ（Ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）と対応位置ブロックの参照画像のＰＯＣとの差分値（ｔｄ）、及び現在画像のＰＯＣと現在ブロックの参照画像のＰＯＣとの差分値（ｔｂ）のうちの少なくとも一つに基づいてスケーリングできる。
【0226】
スケーリングを行うに先立ち、所定の範囲内にｔｄ又はｔｂが存在するようにｔｄ又はｔｂを調節することができる。一例として、所定の範囲が－１２８～１２７を示す場合、ｔｄ又はｔｂが－１２８よりも小さい場合には、ｔｄ又はｔｂを－１２８に調節することができる。ｔｄ又はｔｂが１２７よりも大きい場合には、ｔｄ又はｔｂは１２７に調節することができる。ｔｄ又はｔｂが－１２８～１２７の範囲に含まれる場には、ｔｄ又はｔｂを調整しない。
【0227】
ｔｄ又はｔｂに基づいてスケーリングファクターＤｉｓｔＳｃａｌｅＦａｃｔｏｒを演算することができる。このとき、スケーリングファクターは下記数式１に基づいて計算できる。
【0228】
【数1】
【0229】
式中、Ａｂｓ（）は絶対値関数を示し、該当関数の出力値は入力値の絶対値になる。
【0230】
数式１に基づいて演算されたスケーリングファクターＤｉｓｔＳｃａｌｅＦａｃｔｏｒの値は所定の範囲に調整できる。一例として、ＤｉｓｔＳｃａｌｅＦａｃｔｏｒは－１０２４～１０２３の範囲内に存在するように調整できる。
【0231】
スケーリングファクターを用いて対応位置ブロックの動きベクトルをスケーリングすることにより、現在ブロックの時間動きベクトル候補を決定することができる。一例として、現在ブロックの時間動きベクトル候補は、下記数式２によって決定できる。
【0232】
【数2】
【0233】
式中、Ｓｉｇｎ（）は、（）に含まれている値の符号情報を出力する関数である。一例として、Ｓｉｇｎ（－１）であれば－を出力する。前記数式２において、ｍｖＣｏｌは対応位置ブロックの動きベクトル、すなわち、スケーリングされる前の時間動きベクトル予測器を示す。
【0234】
次に、導出された動きベクトル候補を基に、動きベクトル候補リストを生成するステップについて説明する（Ｓ１２０２、Ｓ１３０３）。
【0235】
動きベクトル候補リストを生成するステップは、動きベクトル候補を動きベクトル候補リストに対して追加或いは除去するステップ、及び組み合わせ動きベクトル候補を動きベクトル候補リストに追加するステップを含むことができる。
【0236】
導出された動きベクトル候補を動きベクトル候補リストに対して追加或いは除去するステップから考察すると、符号化装置及び復号装置は、動きベクトル候補の導出順に、導出された動きベクトル候補を動きベクトル候補リストに追加することができる。
【0237】
生成される動きベクトル候補リストは、現在ブロックのインター予測方向に応じて決定できる。一例として、参照画像リスト別の一つの動きベクトル候補リストが生成されることもあり、参照画像別の一つの動きベクトル候補リストが生成されることもある。複数の参照画像リスト又は複数の参照画像が一つの動きベクトル候補リストを共有することも可能である。
【0238】
後述する実施形態において、動きベクトル候補リストｍｖｐＬｉｓｔＬＸは、参照画像リストＬ０、Ｌ１、Ｌ２及びＬ３に対応する動きベクトル候補リストを意味すると仮定する。例えば、参照画像リストＬ０に対応する動きベクトル候補リストはｍｖｐＬｉｓｔＬ０と呼ぶことができる。
【0239】
動きベクトル候補リストが含む動きベクトル候補の個数は、符号化装置及び復号装置が、予め設定された同一の値を使用するように設定できる。又は、動きベクトル候補リストが含む動きベクトル候補の最大個数は、符号化装置で符号化されてビットストリームを介して復号装置へ送信されてもよい。
【0240】
一例として、動きベクトル候補リストｍｖｐＬｉｓｔＬＸが含むことが可能な最大動きベクトル候補の個数ｍａｘＮｕｍＭＶＰＣａｎｄＬｉｓｔは、０を含む正の整数であり得る。一例として、ｍａｘＮｕｍＭＶＰＣａｎｄＬｉｓｔは、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５又は１６などの整数であり得る。ｍａｘＮｕｍＭＶＰＣａｎｄＬｉｓｔが２であることは、ｍｖｐＬｉｓｔＬＸに最大２つの動きベクトル候補が含まれ得ることを意味する。これにより、ｍｖｐＬｉｓｔＬＸに最も先に追加された動きベクトル候補のインデックス値は０に設定され、次に追加された動きベクトル候補のインデックス値は１に設定され得る。最大動きベクトル候補の個数は、動きベクトル候補リストごとに定義されてもよい。すべての動きベクトル候補リストに共通して定義されてもよい。例えば、ｍｖｐＬｉｓｔＬ０及びｍｖｐＬｉｓｔＬ１の最大動きベクトル候補は、互いに異なる値を持ってもよく、同一の値を持ってもよい。
【0241】
図１７は動きベクトル候補リストが生成される例を示す図である。
【0242】
図１７の（ｂ）に示された、Ａ１位置のブロックから空間的にスケーリングされていない空間動きベクトル候補（１，０）が導出され、図１７の（ａ）に示されたＨ位置のブロックからスケーリングされた時間動きベクトル候補（２，３）が導出されたと仮定する。この場合、図１７の（ｃ）に示された例のように、Ａ１位置のブロックから導出された空間動きベクトル候補、及びＨ位置のブロックから導出された時間動きベクトル候補が順次動きベクトル候補リストに含まれ得る。
【0243】
導出された動きベクトル候補は、所定の順序に従って動きベクトル候補リストに含まれ得る。一例として、空間動きベクトル候補が動きベクトル候補リストに追加された後、動きベクトル候補リストに含まれている動きベクトル候補の数が最大動きベクトル候補の数よりも小さい場合には、時間動きベクトル候補が動きベクトル候補リストに追加できる。逆に、時間動きベクトル候補が空間動きベクトル候補よりも優先順位をもって動きベクトル候補リストに追加されてもよい。この場合、時間動きベクトル候補との同一か否かに応じて、空間動きベクトル候補が選択的に動きベクトル候補リストに追加されてもよい。
【0244】
また、符号化装置及び復号装置は、動きベクトル候補リストに追加された順に、各動きベクトル候補を識別するためのインデックスを割り当てることができる。図１７の（ｃ）では、Ａ１位置のブロックから導出された動きベクトル候補のインデックス値は０に設定され、Ｈ位置のブロックから導出された動きベクトル候補のインデックス値は１に設定されたことを示す。
【0245】
空間動きベクトル候補及び時間動きベクトル候補以外の所定の値を持つ動きベクトルが動きベクトル候補リストに追加されてもよい。一例として、動きベクトルリストに含まれている動きベクトル候補の数が最大動きベクトル候補の数よりも小さい場合、値が０である動きベクトルを動きベクトル候補リストに追加することができる。
【0246】
図１８は所定の値を持つ動きベクトルを動きベクトル候補リストに追加する例を示す図である。
【0247】
図１８に示された例において、「ｎｕｍＭＶＰＣａｎｄＬＸ」は、動きベクトル候補リストｍｖｐＬｉｓｔＬＸに含まれている動きベクトル候補の個数を示す。一例として、ｎｕｍＭＶＰＣａｎｄＬ０は、動きベクトル候補リストｍｖｐＬｉｓｔＬ０に含まれている動きベクトル候補の個数を示すことができる。
【0248】
また、ｍａｘＮｕｍＭＶＰＣａｎｄは、動きベクトル候補リストｍｖｐＬｉｓｔＬＸが含むことが可能な動きベクトル候補の最大個数を示す。ｎｕｍＭＶＰＣａｎｄＬＸ及びｍａｘＮｕｍＭＶＰＣａｎｄは、０を含む整数値を持つことができる。
【0249】
ｎｕｍＭＶＰＣａｎｄＬＸがｍａｘＮｕｍＭＶＰＣａｎｄよりも小さい場合、動きベクトル候補リストに、所定の値を持つ動きベクトルを追加し、ｎｕｍＭＶＰＣａｎｄＬＸ値を１だけ増加させることができる。このとき、動きベクトル候補リストに追加される動きベクトルは、固定された値を有し、動きベクトル候補リストに最後に追加できる。一例として、動きベクトル候補リストに追加される所定の値を持つ動きベクトルは、（０，０）値を持つゼロ動きベクトル候補であり得る。
【0250】
一例として、図１８の（ａ）に示された例のように、ｎｕｍＭＶＰＣａｎｄＬＸが１であり、ｍａｘＮｕｍＭＶＰＣａｎｄが２である場合、動きベクトル候補リストに、（０，０）値を持つ一つのゼロ動きベクトル候補を追加しながら、ｎｕｍＭＶＰＣａｎｄＬＸ値を１だけ増加することができる。
【0251】
ｍａｘＮｕｍＭＶＰＣａｎｄとｎｕｍＭＶＰＣａｎｄＬＸとの差分値が２以上である場合には、所定の値を持つ動きベクトルを、前記差分値だけ繰り返して動きベクトル候補リストに含ませることもできる。
【0252】
一例として、ｍａｘＮｕｍＭＶＰＣａｎｄが２であり、ｎｕｍＭＶＰＣａｎｄＬＸが０である場合には、ｎｕｍＭＶＰＣａｎｄＬＸがｍａｘＮｕｍＭＶＰＣａｎｄと同一になるまで、動きベクトル候補リストに、所定の値を持つ動きベクトルを繰り返し追加することもできる。図１８の（ｂ）では、動きベクトル候補リストに、（０，０）値を持つゼロ動きベクトル候補２つが動きベクトル候補リストに追加されたものと図示された。
【0253】
他の例として、所定の値の動きベクトルは、動きベクトル候補リストに、所定の値の動きベクトルと同じ動きベクトル候補が含まれていない場合にのみ、動きベクトル候補リストに含まれ得る。
【0254】
一例として、ｎｕｍＭＶＰＣａｎｄＬＸがｍａｘＮｕｍＭＶＰＣａｎｄよりも小さく、動きベクトル候補リストに、（０，０）を持つ動きベクトルが含まれていない場合、図１８の（ｃ）に示された例のように、動きベクトル候補リストに、（０，０）を持つ動きベクトルを追加し、ｎｕｍＭＶＰＣａｎｄＬＸを１だけ増加させることができる。
【0255】
図１８では、動きベクトル候補リストに追加される所定の動きベクトルの値が（０，０）であることを例示したが、動きベクトル候補リストに追加される所定の動きベクトルの値は、図示された例に限定されない。また、図１８の（ｂ）に示された例のように、複数の所定の動きベクトル候補を追加する場合、動きベクトル候補リストに追加される複数の所定の動きベクトルは、異なる値を持つこともできる。
【0256】
符号化装置及び復号装置は、動きベクトル候補リストに含まれている動きベクトル候補を除去して、動きベクトル候補リストのサイズを調節することもできる。
【0257】
一例として、符号化装置及び復号装置は、動きベクトル候補リスト内の同じ動きベクトル候補が存在するか否かを検査することができる。もし、動きベクトル候補リストに同一の動きベクトル候補が存在する場合、同一の動きベクトル候補のうち、動きベクトル候補インデックスが最も小さい動きベクトル候補を除く残余動きベクトル候補は、動きベクトル候補リストから除去できる。
【0258】
動きベクトル候補間の同一性の判断は、空間動きベクトルの間又は時間動きベクトルの間でのみ適用されてもよく、空間動きベクトルと時間動きベクトルとの間で適用されてもよい。
【0259】
動きベクトル候補リストに含まれている動きベクトル候補の数が、動きベクトル候補リストが含むことが可能な最大動きベクトル候補の数よりも大きい場合には、動きベクトル候補リストに含まれている動きベクトル候補の数と最大動きベクトル候補の数との差分値だけの動きベクトル候補が動きベクトル候補リストから除去できる。
【0260】
図１９は動きベクトル候補リストから動きベクトル候補が除去される例を示す図である。
【0261】
ｎｕｍＭＶＰＣａｎｄＬＸがｍａｘＮｕｍＭＶＰＣａｎｄと同じ又はそれより大きい場合には、ｍａｘＮｕｍＭＶＰＣａｎｄ－１よりも大きいインデックス値を持つ動きベクトル候補を動きベクトル候補リストから除去することができる。
【0262】
一例として、図１９に示された例では、ｎｕｍＭＶＰＣａｎｄＬＸが３であり、ｍａｘＮｕｍＭＶＰＣａｎｄが２である場合、ｍａｘＮｕｍＭＶＰＣａｎｄ－１よりも大きいインデックス２が割り当てられた動きベクトル候補（４，－３）が動きベクトル候補リストから除去されるものと図示された。
【0263】
次に、組み合わせ動きベクトル候補を動きベクトル候補リストに追加するステップについて説明する。
【0264】
動きベクトル候補リストに含まれている動きベクトル候補の数が最大動きベクトル候補の数よりも小さい場合、動きベクトル候補リストに含まれている動きベクトル候補のうちの少なくとも一つを用いて、組み合わせ動きベクトルを動きベクトル候補リストに追加することができる。一例として、動きベクトル候補リストに含まれている空間動きベクトル候補、時間動きベクトル候補及びゼロ動きベクトル候補のうちの少なくとも一つを用いて、組み合わせ動きベクトル候補を生成し、生成された組み合わせ動きベクトル候補を動きベクトル候補リストに含むことができる。
【0265】
又は、動きベクトル候補リストに含まれていない動きベクトル候補を用いて、組み合わせ動きベクトル候補を生成することもできる。一例として、動きベクトル候補リストに含まれていないが、空間動きベクトル候補又は時間動きベクトル候補のうちの少なくとも一つを導出するのに利用することが可能なブロックから導出される動きベクトル候補を用いるか、或いは動きベクトル候補リストに含まれていない所定の値を持つ動きベクトル候補（例えば、ゼロ動きベクトル）を用いて、組み合わせ動きベクトル候補を生成することができる。
【0266】
又は、符号化パラメータのうちの少なくとも一つに基づいて、組み合わせ動きベクトル候補を生成し、或いは、符号化パラメータのうちの少なくとも一つに基づいて、組み合わせ動きベクトル候補を動きベクトル候補リストに追加することもできる。
【0267】
動きベクトル候補リストが含むことが可能な最大動きベクトル候補の個数は、空間動きベクトル候補、時間動きベクトル候補又は所定の値の動きベクトル候補のうちの少なくとも一つが追加された後、組み合わせ動きベクトルの数だけ又はこれよりも少ない個数だけ増加することができる。一例として、ｍａｘＮｕｍＭＶＰＣａｎｄＬｉｓｔは、空間動きベクトル候補又は時間動きベクトル候補に対して第１の値を有し、空間動きベクトル候補又は時間動きベクトル候補が追加された後には、組み合わせ動きベクトル候補を追加挿入するために、第１の値よりも大きい第２の値に増加することができる。
【0268】
図２０は動きベクトル候補リストの一例を示す図である。
【0269】
現在ブロックは、動きベクトル候補リストに含まれている動きベクトル候補を用いて、動き補償を行うことができる。現在ブロックの動き補償は、一つの参照画像リストに対して一つの動きベクトルを用いて行われてもよく、一つの参照画像リストに対して複数の動きベクトルを用いて行われてもよい。一例として、現在ブロックのインター予測方向が双方向である場合には、現在ブロックの動き補償は、参照ピクチャリストＬ０及びＬ１それぞれに対して一つの動きベクトルを導出することにより行われてもよく、参照ピクチャリストＬ０に対して２つの動きベクトルを導出することにより行われてもよい。
【0270】
動きベクトル候補リストには、空間動きベクトル候補、時間動きベクトル候補、ゼロ動きベクトル候補、及びこれらのうちの二つ以上を組み合わせることにより、生成された組み合わせ動きベクトル候補の少なくとも一つが含まれ得る。それぞれの動きベクトル候補は、動きベクトル候補インデックスによって識別できる。
【0271】
現在ブロックのインター予測方向に基づいて、複数の動きベクトル候補を含む動きベクトル候補セットが一つの動きベクトル候補インデックスによって識別されることも可能である。ここで、動きベクトル候補セットは、現在ブロックのインター予測方向の数Ｎに応じて、Ｎ個の動きベクトル候補を含むことができる。一例として、動きベクトル候補セットは、第１動きベクトル候補、第２動きベクトル候補、第３動きベクトル候補及び第４動きベクトル候補など、複数の動きベクトル候補を含むことができる。
【0272】
動きベクトル候補セットは、空間動きベクトル候補、時間動きベクトル候補及びゼロ動きベクトル候補のうちの少なくとも２つを組み合わせて生成されたものであり得る。一例として、図２０では、２つの動きベクトルの候補を含む動きベクトル候補セットが動きベクトル候補インデックス４～１３に割り当てられたことが例示された。また、それぞれの動きベクトル候補セットは、空間動きベクトル候補（ｍｘＬＸＡ、ｍｘＬＸＢ）、時間動きベクトル（ｍｘＬＸＣｏｌ）、ゼロ動きベクトル（ｍｖＺｅｒｏ）を組み合わせることにより生成されたものと図示された。
【0273】
参照画像リストＬＸに対する予測方向に基づいて、参照画像リストから一つ以上の動きベクトルを導出することができる。一例として、参照画像リストＬＸに対して一方向予測を行う場合、動きベクトルインデックス０～３に割り当てられた動きベクトル候補のいずれかを用いて、現在ブロックの動きベクトルを導出することができる。これに対し、参照画像リストＬＸに対して双方向予測を行う場合、動きベクトルインデックス４～１３に割り当てられた動きベクトル候補セットを用いて、現在ブロックに対する動きベクトルを導出することができる。すなわち、符号化／復号処理で、動きベクトル候補リストに含まれている動きベクトル候補に基づいて少なくとも一つの動きベクトルが導出できる。
【0274】
現在ブロックの動きベクトルは、動きベクトル候補に動きベクトル差分値を合算することにより導出できる。一例として、図２０に示された例では、動きベクトル候補インデックス０～３の中からいずれかの動きベクトル候補が選択された場合、選択された動きベクトル候補に動きベクトル差分値（ＭＶＤ）を合算することにより、動きベクトルが導出されるものと図示された。
【0275】
複数の動きベクトル候補を含む動きベクトル候補セットが選択された場合、動きベクトル候補セットに含まれている複数の動きベクトル候補に基づいて、現在ブロックに対する複数の動きベクトルを導出することができる。このとき、動きベクトル候補セットに含まれている複数の動きベクトル候補それぞれに対する動きベクトル差分値を符号化／復号することができる。この場合、現在ブロックに対して、各動きベクトル候補に対応する動きベクトル差分値を合算することにより、複数の動きベクトルが導出できる。
【0276】
他の例として、動きベクトル候補セットに含まれている複数の動きベクトル候補の一部に対する動きベクトル差分値を符号化／復号することもできる。一例として、複数の動きベクトル候補を含む動きベクトル候補セットに対して一つの動きベクトル差分値が符号化／復号できる。この場合、現在ブロックは、動きベクトル候補セットに含まれているいずれかの動きベクトル候補に動きベクトル差分値を合算することにより導出した動きベクトルと、動きベクトル候補からそのまま導出した動きベクトルを用いることができる。図２０に示された例では、二つの動きベクトル候補を含む動きベクトル候補セットに対して、第１動きベクトル又は第２動きベクトルは、いずれか一つの動きベクトル候補に動きベクトル差分値を合算することにより導出され、もう一つは動きベクトル候補と同一であることが例示された。
【0277】
他の例として、動きベクトル候補セットに含まれている複数の動きベクトル候補は、同一の動きベクトル差分値を共有することもできる。
【0278】
インター予測インジケータは、所定の参照画像リストに対して一方向予測又は複数方向予測を指示することができる。一例として、インター予測インジケータは、参照画像リストＬＸに対する一方向予測を指示するＰＲＥＤ＿ＬＸ、参照画像リストＬＸに対する双方向予測を指示するＰＲＥＤ＿ＢＩ＿ＬＸなどで表現できる。ここで、Ｘは、０を含む整数であって、０、１、２、３など、参照画像リストのインデックスを示すことができる。
【0279】
一例として、参照画像リストＬ０に対して一方向予測を行う場合、インター予測インジケータはＰＲＥＤ＿Ｌ０に設定できる。また、参照画像リストＬ１に対して一方向予測を行う場合、インター予測インジケータはＰＲＥＤ＿Ｌ１に設定できる。
【0280】
これに対し、参照画像リストＬ１に対して双方向予測を行う場合、インター予測インジケータはＰＲＥＤ＿ＢＩ＿Ｌ１に設定できる。参照画像リストＬ１に対するインター予測インジケータがＰＲＥＤ＿ＢＩ＿Ｌ１である場合、現在ブロックは、動きベクトル候補リストを用いて２つの動きベクトルを導出し、参照画像リストＬ１に含まれている参照画像から２つの予測ブロックを導出してインター予測を行うことができる。このとき、２つの予測ブロックそれぞれは、参照画像リストＬ１に含まれている２つの互いに異なる参照画像から導出されてもよく、又は、参照画像リストＬ１に含まれている一つの参照画像から導出されてもよい。
【0281】
インター予測インジケータは、現在ブロックに対する全体予測方向の数を示すように符号化／復号されてもよく、参照画像リストそれぞれの予測方向の数を示すように符号化／復号されてもよい。
【0282】
一例として、参照画像リストＬ０に対して一方向を指示するインター予測インジケータ（ＰＲＥＤ＿Ｌ０）、及び参照画像リストＬ１に対して双方向予測を指示するインター予測インジケータ（ＰＲＥＤ＿ＢＩ＿Ｌ１）が、現在ブロックに対して符号化できる。又は、参照画像リストＬ０に対して一方向予測を行い、参照画像リストＬ１に対して双方向予測を行う場合、現在ブロックに対するインター予測インジケータはＰＲＥＤ＿ＴＲＩを指示することができる。
【0283】
図２０に示された例は、特定の参照画像リストＬＸに対する動きベクトル候補リストｍｖｐＬｉｓｔＬＸを示す。Ｌ０、Ｌ１、Ｌ２及びＬ３など、複数の参照画像リストが存在する場合、参照画像リストごとに動きベクトル候補リストが生成できる。これにより、最小１個から最大Ｎ個までの予測ブロックを生成して、現在ブロックのインター予測又は動き補償に利用することができる。ここで、Ｎは、１以上の整数であって、２、３、４、５、６、７、８などを示すことができる。
【0284】
動きベクトル候補リストに含まれている動きベクトル候補のうちの少なくとも一つが、現在ブロックに対する予測された動きベクトル（又は動きベクトル予測器（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ））として決定できる。決定された、予測された動きベクトルは、現在ブロックの動きベクトルの算出に利用でき、動きベクトルは、現在ブロックのインター予測或いは動き補償に利用できる。
【0285】
現在ブロックにおいて、複数の動きベクトル候補を含む動きベクトル候補セットを選択した場合、動きベクトル候補セットに含まれている複数の動きベクトル候補及び前記複数の動きベクトル候補に基づいて算出した現在ブロックの動きベクトルを、現在ブロックの動き補償に関する情報として保存することができる。ここで、前記保存された現在ブロックの動き補償に関する情報は、後で近傍ブロックにおける動きベクトル候補リストの生成或いは動き補償の際に活用することができる。
【0286】
図２０に示された例では、参照画像リストごとに動きベクトル候補リストが生成されることを例示した。動きベクトル候補リストは、参照画像ごとに生成されてもよい。一例として、参照画像リストＬＸに対して双方向予測を行う場合、参照画像リストＬＸに含まれている参照ピクチャのうち、双方向予測に用いられる第１参照画像のために第１動きベクトル候補リストを生成し、双方向予測に用いられる第２参照画像のために第２動きベクトル候補リストを生成することができる。
【0287】
次に、動きベクトル候補リストから予測された動きベクトルを決定するステップについて考察する（Ｓ１２０３、Ｓ１３０４）。
【0288】
動きベクトル候補リストに含まれている動きベクトル候補のうち、動きベクトル候補インデックスが指し示す動きベクトル候補を、現在ブロックに対する予測された動きベクトルとして決定することができる。
【0289】
図２１は動きベクトル候補リストから現在ブロックの予測された動きベクトル候補を導出する例を示す図である。
【0290】
図２１では、動きベクトル候補リストが含むことが可能な最大動きベクトル候補の個数ｍａｘＮｕｍＭＶＰＣａｎｄが２であり、動きベクトル候補リストに含まれている動きベクトル候補の個数も２であることを示した。このとき、動きベクトル候補インデックスがインデックス１を指し示す場合、動きベクトル候補リストに含まれている第二の動きベクトル候補（すなわち、インデックス１が割り当てられた動きベクトル候補）である（２，３）が、現在ブロックの予測された動きベクトルとして決定できる。
【0291】
符号化装置は、動きベクトルと予測された動きベクトルとの差分を計算して動きベクトル差分値を算出することができる。復号装置は、予測された動きベクトルと動きベクトル差分を合わせて動きベクトルを算出することができる。
【0292】
図示してはいないが、動きベクトル候補インデックスが動きベクトル候補セットを指し示す場合、動きベクトル候補セットに含まれている複数の動きベクトル候補から複数の動きベクトルを導出することができる。この際、現在ブロックの動きベクトルは、動きベクトル候補に動きベクトル差分を合わせたものであってもよく、動きベクトル候補と同一の値を持ってもよい。
【0293】
次に、動きベクトルを用いて、動き補償を行うステップについて説明する（Ｓ１２０４、Ｓ１３０５）。
【0294】
符号化装置及び復号装置は、予測された動きベクトルと動きベクトル差分値を用いて動きベクトルを算出することができる。動きベクトルが算出されると、算出された動きベクトルを用いて、インター予測又は動き補償を行うことができる。又は、図２０に示された例のように、動きベクトル予測値をそのままに動きベクトルとして決定することもできる。
【0295】
現在ブロックは、予測方向に基づいて、最小１個乃至最大Ｎ個の動きベクトルを持つことができる。動きベクトルを用いて、最小１個乃至最大Ｎ個の予測ブロックを生成して、現在ブロックの最終予測ブロックを導出することができる。
【0296】
一例として、現在ブロックが一つの動きベクトルを持つ場合、前記動きベクトルを用いて生成された予測ブロックを、現在ブロックの最終予測ブロックとして決定することができる。
【0297】
これに対し、現在ブロックが複数の動きベクトルを持つ場合、複数の動きベクトルを用いて複数の予測ブロックを生成し、複数の予測ブロックの加重和に基づいて、現在ブロックの最終予測ブロックを決定することができる。複数の動きベクトルによって指示される複数の予測ブロックそれぞれを含む参照画像は、互いに異なる参照画像リストに含まれてもよく、同一の参照画像リストに含まれてもよい。
【0298】
各予測ブロックに適用される重みは、１／Ｎ（ここで、Ｎは生成された予測ブロックの数）であって、均等な値を持つことができる。一例として、２つの予測ブロックが生成された場合には、各予測ブロックに適用される重みは１／２であり、３つの予測ブロックが生成された場合には、各予測ブロックに適用される重みは１／３であり、４つの予測ブロックが生成された場合には、各予測ブロックに適用される重みは１／４であり得る。又は、予測ブロックごとに異なる重みを付けて、現在ブロックの最終予測ブロックを決定することもできる。
【0299】
重みは、予測ブロックごとに固定された値を持たなければならないのではなく、予測ブロック別の可変値を持つこともできる。このとき、各予測ブロックに適用される重みは、互いに同一であってもよく、互いに異なってもよい。可変重みを適用するために、現在ブロックのための一つ又はそれ以上の重み情報がビットストリームを介してシグナリングされてもよい。重み情報は、予測ブロックごとにそれぞれシグナリングされてもよく、参照画像ごとにシグナリングされてもよい。複数の予測ブロックが一つの重み情報を共有することも可能である。
【0300】
下記数式３～数式５は、それぞれ、現在ブロックのインター予測インジケータがＰＲＥＤ＿ＢＩ、ＰＲＥＤ＿ＴＲＩ及びＰＲＥＤ＿ＱＵＡＤであり、各参照画像リストに対する予測方向が一方向である場合、現在ブロックの最終予測ブロックを生成する例を示す。
【0301】
【数3】
【0302】
【数4】
【0303】
【数5】
【0304】
前記数式３乃至５において、Ｐ＿ＢＩ、Ｐ＿ＴＲＩ、Ｐ＿ＱＵＡＤは現在ブロックの最終予測ブロックを示し、ＬＸ（Ｘ＝０、１、２、３）は参照画像リストを意味することができる。ＷＦ＿ＬＸは、ＬＸを用いて生成された予測ブロックの重み値を示し、ＯＦＦＳＥＴ＿ＬＸは、ＬＸを用いて生成された予測ブロックに対するオフセット値を示すことができる。Ｐ＿ＬＸは、現在ブロックのＬＸに対する動きベクトルを用いて生成した予測ブロックを意味する。ＲＦは、丸めファクター（Ｒｏｕｎｄｉｎｇ ｆａｃｔｏｒ）を意味し、０、正数又は負数に設定できる。
【0305】
所定の参照画像リストに対する予測方向が複数方向である場合でも、予測ブロックの加重和に基づいて、現在ブロックに対する最終予測ブロックを取得することができる。このとき、同一の参照画像リストから導出された予測ブロックに適用される重みは、同一の値を持ってもよく、互いに異なる値を持ってもよい。
【0306】
複数の予測ブロックに対する重み（ＷＦ＿ＬＸ）及びオフセット（ＯＦＦＳＥＴ＿ＬＸ）のうちの少なくとも一つは、エントロピー符号化／復号される符号化パラメータであり得る。他の例として、重み及びオフセットは、現在ブロック近傍の符号化／復号された近傍ブロックから導出されてもよい。ここで、現在ブロック近傍の近傍ブロックは、現在ブロックの空間動きベクトル候補を導出するために用いられるブロック、又は現在ブロックの時間動きベクトル候補を導出するために用いられるブロックのうちの少なくとも一つを含むことができる。
【0307】
他の例として、重み及びオフセットは、現在画像と各参照画像の表示順（ＰＯＣ）に基づいて決定されてもよい。この場合、現在画像と参照画像間の距離が遠いほど、重み又はオフセットを小さい値に設定し、現在画像と参照画像間の距離が近いほど、重み又はオフセットを大きな値に設定することができる。一例として、現在画像とＬ０参照画像とのＰＯＣの差が２である場合、Ｌ０参照画像を参照して生成された予測ブロックに適用される重み値を１／３に設定するのに対し、現在画像とＬ０参照画像とのＰＯＣの差が１である場合、Ｌ０参照画像を参照して生成された予測ブロックに適用される重み値を２／３に設定することができる。上記に例示したように、重み又はオフセット値は、現在画像と参照画像間の表示順の差と反比例の関係を持つことができる。他の例として、重み又はオフセット値は、現在画像と参照画像間の表示順の差と比例の関係を持つようにすることも可能である。
【0308】
他の例として、符号化パラメータのうちの少なくとも一つに基づいて、重み又はオフセットのうちの少なくとも一つをエントロピー符号化／復号することもできる。また、符号化パラメータのうちの少なくとも一つに基づいて、予測ブロックの加重和を計算することもできる。
【0309】
次に、動き補償に関する情報をエントロピー符号化／復号する処理について詳細に説明する（Ｓ１２０５、Ｓ１３０１）。
【0310】
【0311】
符号化装置は、動き補償に関する情報を、ビットストリームを介してエントロピー符号化し、復号装置は、ビットストリームに含まれている動き補償に関する情報をエントロピー復号することができる。ここで、エントロピー符号化／復号される動き補償に関する情報は、インター予測インジケータ（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｉｎｄｉｃａｔｏｒ）（ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ＿ｌ０、ｒｅｆ＿ｉｄｘ＿ｌ１、ｒｅｆ＿ｉｄｘ＿ｌ２、ｒｅｆ＿ｉｄｘ＿ｌ３）、動きベクトル候補インデックス（ｍｖｐ＿ｌ０＿ｉｄｘ、ｍｖｐ＿ｌ１＿ｉｄｘ、ｍｖｐ＿ｌ２＿ｉｄｘ 、ｍｖｐ＿ｌ３＿ｉｄｘ）、動きベクトル差分、重み値（ｗｆ＿ｌ０、ｗｆ＿ｌ１、ｗｆ＿ｌ２、ｗｆ＿ｌ３）及びオフセット値（ｏｆｆｓｅｔ＿ｌ０、ｏｆｆｓｅｔ＿ｌ１、ｏｆｆｓｅｔ＿ｌ２、ｏｆｆｓｅｔ＿ｌ３）のうちの少なくとも一つを含むことができる。
【0312】
インター予測インジケータは、現在ブロックのインター予測で符号化／復号される場合、現在ブロックのインター予測方向を意味することができる。一例として、インター予測インジケータは、一方向予測を指示し、或いは、双方向予測、三方向予測又は四方向予測などの複数方向予測を指示することができる。インター予測インジケータは、現在ブロックが予測ブロックを生成するときに使用する参照画像の数を意味することができる。又は、一つの参照画像が複数方向予測のために利用されることもある。この場合、Ｍ個の参照画像を用いて、Ｎ（Ｎ＞Ｍ）個の方向予測を行うことができる。インター予測インジケータは、現在ブロックに対するインター予測又は動き補償を行うときに使用される予測ブロックの数を意味することもできる。
【0313】
このように、インター予測インジケータに応じて、現在ブロックの予測ブロックを生成するときに使用される参照画像の数、現在ブロックのインター予測又は動き補償を行うときに使用される予測ブロックの数、又は現在ブロックが利用可能な参照画像リストの個数などが決定できる。ここで、参照画像リストの個数Ｎは、正の整数であって、１、２、３、４又はそれ以上の値を持つことができる。例えば、参照画像リストは、Ｌ０、Ｌ１、Ｌ２及びＬ３などを含むことができる。現在ブロックは、一つ以上の参照画像リストを用いて動き補償を行うことができる。
【0314】
一例として、現在ブロックは、少なくとも一つの参照画像リストを用いて、少なくとも一つの予測ブロックを生成して、現在ブロックの動き補償を行うことができる。一例として、参照画像リストＬ０を用いて一つ以上の予測ブロックを生成して動き補償を行うか、或いは、参照画像リストＬ０及びＬ１を用いて一つ以上の予測ブロックを生成して動き補償を行うことができる。又は、参照画像リストＬ０、Ｌ１及びＬ２を用いて一つ以上の予測ブロック又は最大Ｎ個の予測ブロック（ここで、Ｎは３又は２以上の正の整数）を生成して動き補償を行うか、或いは、参照画像リストＬ０、Ｌ１、Ｌ２及びＬ３を用いて、一つ以上の予測ブロック又は最大Ｎ個の予測ブロック（ここで、Ｎは４又は２以上の正の整数）を用いて現在ブロックに対する動き補償を行うことができる。
【0315】
参照画像インジケータは、現在ブロックの予測方向の数に応じて、一方向（ＰＲＥＤ＿ＬＸ）、双方向（ＰＲＥＤ＿ＢＩ）、三方向（ＰＲＥＤ＿ＴＲＩ）、四方向（ＰＲＥＤ＿ＱＵＡＤ）又はそれ以上の方向性を指示することができる。
【0316】
一例として、各参照画像リストに対して一方向予測が行われることを仮定する場合、インター予測インジケータＰＲＥＤ＿ＬＸは、参照画像リストＬＸ（Ｘは０、１、２又は３などの整数）を用いて一つの予測ブロックを生成し、生成された一つの予測ブロックを用いてインター予測又は動き補償を行うことを意味することができる。インター予測インジケータＰＲＥＤ＿ＢＩは、Ｌ０及びＬ１参照画像リストを用いて、２つの予測ブロックを生成し、生成された２つの予測ブロックを用いて、インター予測又は動き補償を行うことを意味することができる。インター予測インジケータＰＲＥＤ＿ＴＲＩは、Ｌ０、Ｌ１及びＬ２参照画像リストを用いて３つの予測ブロックを生成し、生成された３つの予測ブロックを用いてインター予測又は動き補償を行うことを意味することができる。インター予測インジケータＰＲＥＤ＿ＱＵＡＤは、Ｌ０、Ｌ１、Ｌ２及びＬ３の参照画像リストを用いて４つの予測ブロックを生成し、生成された４つの予測ブロックを用いてインター予測又は動き補償を行うことを意味することができる。すなわち、現在ブロックのインター予測の実行に用いられる予測ブロックの数の合計がインター予測インジケータに設定できる。
【0317】
参照画像リストに対して複数方向予測が行われる場合、インター予測インジケータＰＲＥＤ＿ＢＩは、Ｌ０参照画像リストに対する双方向予測が行われることを意味し、インター予測インジケータＰＲＥＤ＿ＴＲＩは、Ｌ０参照画像リストに対して三方向予測が行われること、Ｌ０参照画像リストに対して一方向予測が行われ、Ｌ１参照画像リストに対して双方向予測が行われること、又はＬ０参照画像リストに対して双方向予測が行われ、Ｌ１参照画像リストに対して一方向予測が行われることを意味することができる。
【0318】
このように、インター予測インジケータは、少なくとも一つの参照画像リストから最小１個から最大Ｎ個（ここで、Ｎはインター予測インジケータによって指示される予測方向の数）の予測ブロックを生成して動き補償を行うことを意味し、或いは、Ｎ個の参照画像から最小１個から最大Ｎ個の予測ブロックを生成し、生成された予測ブロックを用いて現在ブロックに対する動き補償を行うことを意味することができる。
【0319】
例えば、インター予測インジケータＰＲＥＤ＿ＴＲＩは、Ｌ０、Ｌ１、Ｌ２、Ｌ３参照画像リストのうちの少なくとも一つを用いて３つの予測ブロックを生成して現在ブロックのインター予測或いは動き補償を行うことを意味するか、或いは、Ｌ０、Ｌ１、Ｌ２、Ｌ３参照画像リストのうちの少なくとも３つを用いて３つの予測ブロックを生成して現在ブロックのインター予測或いは動き補償を行うことを意味することができる。また、ＰＲＥＤ＿ＱＵＡＤは、Ｌ０、Ｌ１、Ｌ２、Ｌ３参照画像リストのうちの少なくとも一つを用いて４つの予測ブロックを生成して現在ブロックのインター予測或いは動き補償を行うことを意味するか、或いは、Ｌ０、Ｌ１、Ｌ２、Ｌ３参照画像リストのうちの少なくとも４つを用いて４つの予測ブロックを生成して現在ブロックのインター予測或いは動き補償を行うインター予測インジケータを意味することができる。
【0320】
インター予測インジケータに応じて利用可能なインター予測方向が決定でき、現在ブロックのサイズ及び／又は形状に基づいて前記利用可能なインター予測方向の全部又は一部が選択的に利用されてもよい。
【0321】
各参照画像リストが含む参照画像の数は、予め定義されているか、或いは符号化装置でエントロピー符号化されて復号装置へ送信され得る。一例として、構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）「ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１」（ここで、Ｘは０、１、２、３など、参照画像リストのインデックスを示す）は、Ｌ０、Ｌ１、Ｌ２又はＬ３などの参照画像リストに対する参照画像の数を示すことができる。
【0322】
参照画像インデックスは、各参照画像リストから、現在ブロックが参照する参照画像を特定することができる。各参照画像リストに対して一つ以上の参照画像インデックスがエントロピー符号化／復号できる。現在ブロックは、一つ以上の参照画像インデックスを用いて動き補償を行うことができる。
【0323】
Ｎ個の参照画像インデックスを用いてＮ個の参照画像が選択されると、最小１個からＮ個（又はＮ個以上）の予測ブロックを生成して、現在ブロックに対する動き補償を行うことができる。
【0324】
動きベクトル候補インデックスは、参照画像リストごと又は参照画像インデックスごとに生成された動きベクトル候補リストから、現在ブロックに対する動きベクトル候補を示す。動きベクトル候補リストごとに少なくとも一つの動きベクトル候補インデックスがエントロピー符号化／復号できる。現在ブロックは、少なくとも一つの動きベクトル候補インデックスを用いて動き補償を行うことができる。
【0325】
一例として、Ｎ個の動きベクトル候補インデックスに基づいて、最小１個からＮ個（又はＮ個以上）の予測ブロックを生成して、現在ブロックに対する動き補償を行うことができる。
【0326】
動きベクトル差分は、動きベクトルと予測された動きベクトルとの差分値を示す。現在ブロックに対する参照画像リスト又は参照画像インデックスごとに生成された動きベクトル候補リストに対して一つ以上の動きベクトル差分がエントロピー符号化／復号できる。現在ブロックは、一つ以上の動きベクトル差分を用いて動き補償を行うことができる。
【0327】
一例として、Ｎ個の動きベクトル差分を用いて最小１個から最大Ｎ個（又はＮ個以上）の予測ブロックを生成して、現在ブロックに対する動き補償を行うことができる。
【0328】
現在ブロックに対する動き補償の際に２つ以上の予測ブロックが生成された場合、各予測ブロックに対する加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）を介して、現在ブロックに対する最終予測ブロックが生成できる。加重和演算の際に、各予測ブロックに対して重み及びオフセットのうちの少なくとも一つが適用できる。重み又はオフセットなどのように加重和演算に用いられる加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）ファクターは、参照画像リスト、参照画像、動きベクトル候補インデックス、動きベクトル差分又は動きベクトルのうちの少なくとも一つの個数だけエントロピー符号化／復号できる。
【0329】
加重和ファクターは、符号化装置と復号装置で予め定義された集合のいずれかを特定するインデックス情報によって導出されることも可能である。この場合、重み及びオフセットのうちの少なくとも一つを特定するためのインデックス情報がエントロピー符号化／復号できる。
【0330】
加重和ファクターに関連する情報は、ブロック単位でエントロピー符号化／復号されてもよく、上位レベルでエントロピー符号化／復号されてもよい。一例として、重み又はオフセットは、ＣＴＵ、ＣＵ又はＰＵなどのブロック単位でエントロピー符号化／復号されるか、或いは、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、適応パラメータセット（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はスライスヘッダ（Ｓｌｉｃｅ Ｈｅａｄｅｒ）などの上位レベルでエントロピー符号化／復号できる。
【0331】
加重和ファクターは、加重和ファクターと加重和ファクター予測値との差分値を示す加重和ファクター差分値に基づいてエントロピー符号化／復号されることも可能である。一例として、重み予測値と重み差分値をエントロピー符号化／復号し、或いはオフセット予測値とオフセット差分値をエントロピー符号化／復号することができる。ここで、重み差分値は重みと重み予測値との差分値を示し、オフセット差分値はオフセットとオフセット予測値との差分値を示すことができる。
【0332】
このとき、加重和ファクター差分値は、ブロック単位でエントロピー符号化／復号され、加重和ファクター予測値は、上位レベルでエントロピー符号化／復号され得る。重み予測値又はオフセット予測値などの加重和ファクター予測値がピクチャ又はスライス単位でエントロピー符号化／復号される場合、ピクチャ又はスライスに含まれているブロックは共通の加重和ファクター予測値を用いることができる。
【0333】
加重和ファクター予測値は、画像、スライス或いはタイル内の特定の領域又はＣＴＵ又はＣＵ内の特定の領域を介して導出されることも可能である。一例として、画像、スライス、タイル、ＣＴＵ又はＣＵ内の特定の領域の重み値又はオフセット値を重み予測値又はオフセット予測値として使用することができる。この場合、加重和ファクター予測値のエントロピー符号化／復号は省略し、加重和ファクター差分値のみをエントロピー符号化／復号することができる。
【0334】
又は、加重和ファクター予測値は、現在ブロックの近傍に符号化／復号された近傍ブロックから導出されることも可能である。一例として、現在ブロックの近傍に符号化／復号された近傍ブロックの重み値又はオフセット値を現在ブロックの重み予測値又はオフセット予測値に設定することができる。ここで、現在ブロックの近傍ブロックは、空間動きベクトル候補の導出に用いられるブロック、及び時間動きベクトル候補の導出に用いられるブロックのうちの少なくとも一つを含むことができる。
【0335】
重み予測値及び重み差分値を用いる場合、復号装置は、重み予測値及び重み差分値を合わせて予測ブロックに対する重み値を算出することができる。また、オフセット予測値及びオフセット差分値を用いる場合、復号装置は、オフセット予測値及びオフセット差分値を合わせて、予測ブロックに対するオフセット値を算出することができる。
【0336】
現在ブロックの加重和ファクターに関する情報をエントロピー符号化／復号する代わりに、現在ブロックの近傍に符号化／復号されたブロックの加重和ファクターを、現在ブロックの加重和ファクターとして用いることも可能である。一例として、現在ブロックの重み又はオフセットは、現在ブロックの近傍に符号化／復号された近傍ブロックの重み又はオフセットと同一の値に設定できる。
【0337】
前記動き補償に関する情報のうちの少なくとも一つを符号化パラメータを用いてビットストリームを介してエントロピー符号化／復号するか、或いは、少なくとも一つの符号化パラメータを用いて前記動き補償に関する情報のうちの少なくとも一つを導出することもできる。
【0338】
動き補償に関連した情報をエントロピー符号化／復号する場合、切り捨てられたライス（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）２値化方法、Ｋ次数指数－ゴロム（Ｋ－ｔｈ ｏｒｄｅｒ Ｅｘｐ＿Ｇｏｌｏｍｂ）２値化方法、制限されたＫ次数指数－ゴロム（Ｋ－ｔｈ ｏｒｄｅｒ Ｅｘｐ＿Ｇｏｌｏｍｂ）２値化方法、固定長（Ｆｉｘｅｄ－ｌｅｎｇｔｈ）２値化方法、単項（Ｕｎａｒｙ）２値化方法、又は切り捨てられた単項（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ）２値化方法などの２値化（Ｂｉｎａｒｉｚａｔｉｏｎ）方法が利用できる。
【0339】
動き補償に関する情報をエントロピー符号化／復号するとき、現在ブロック近傍の近傍ブロックの動き補償に関する情報、前に符号化／復号された動き補償に関する情報、現在ブロックの深さに関する情報、及び現在ブロックのサイズに関する情報のうちの少なくとも一つを用いて、コンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を決定することができる。
【0340】
また、動き補償に関する情報をエントロピー符号化／復号するとき、近傍ブロックの動き補償に関する情報、前に符号化／復号された動き補償に関する情報、現在ブロックの深さに関する情報、及び現在ブロックのサイズに関する情報のうちの少なくとも一つを、現在ブロックの動き補償に関する情報に対する予測値として用いて、エントロピー符号化／復号を行うこともできる。
【0341】
輝度及び色差信号それぞれに対して前記インター符号化／復号処理を行うことができる。例えば、前記インター符号化／復号処理で、インター予測インジケータの取得、動きベクトル候補リストの生成、動きベクトルの導出及び動き補償の実行のうちの少なくとも一つの方法が、輝度信号及び色差信号に対して互いに異なるように適用できる。
【0342】
輝度及び色差信号に対する前記インター符号化／復号処理を同一に行うことができる。例えば、輝度信号に対して適用した前記インター符号化／復号処理でインター予測インジケータ、動きベクトル候補リスト、動きベクトル候補、動きベクトル及び参照画像のうちの少なくとも一つを色差信号に同様に適用することができる。
【0343】
これらの方法は、符号化器及び復号器で同様の方法で行うことができる。例えば、前記インター符号化／復号処理で、動きベクトル候補リストの導出、動きベクトル候補の導出、動きベクトルの導出及び動き補償のうちの少なくとも一つの方法が符号化器及び復号器で同様に適用できる。また、これらの方法の適用順序は符号化器と復号器で互いに異なることができる。
【0344】
上述した本発明の実施形態は、符号化ブロック、予測ブロック、ブロック及びユニットのうちの少なくとも一つの大きさに応じて適用できる。ここでのサイズは、これらの実施形態が適用されるために、最小サイズ及び／又は最大サイズと定義されることもあり、前記実施形態が適用される固定サイズと定義されることもある。また、これらの実施形態は、第１の大きさでは第１実施形態が適用でき、第２の大きさでは第２実施形態が適用できる。すなわち、これらの実施形態は、大きさに応じて複合的に適用できる。また、上述した本発明の実施形態は、最小サイズ以上及び最大サイズ以下の場合にのみ適用できる。すなわち、これらの実施形態を、ブロックのサイズが一定の範囲内に含まれる場合にのみ適用可能である。
【0345】
たとえば、符号化／復号対象ブロックのサイズが８ｘ８以上である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが１６ｘ１６以上である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが３２ｘ３２以上である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが６４ｘ６４以上である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが１２８ｘ１２８以上である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが４ｘ４である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが８ｘ８以下である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが１６ｘ１６以下である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが８ｘ８以上、１６ｘ１６以下である場合にのみ、前記実施形態が適用できる。たとえば、符号化／復号対象ブロックのサイズが１６ｘ１６以上、６４ｘ６４以下である場合にのみ、前記実施形態が適用できる。
【0346】
上述した本発明の実施形態は、時間的階層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）に応じて適用できる。これらの実施形態が適用可能な時間的階層を識別するために、別途の識別子（ｉｄｅｎｔｉｆｉｅｒ）がシグナリングされ、該当識別子によって特定された時間的階層に対してこれらの実施形態が適用できる。ここでの識別子は、前記実施形態に適用可能な最小階層及び／又は最大階層と定義されることもあり、前記実施形態が適用される特定の階層を指し示すものと定義されることもある。
【0347】
たとえば、現在画像の時間的階層が最下位階層である場合にのみ、前記実施形態が適用できる。たとえば、現在画像の時間的階層識別子が０である場合にのみ、前記実施形態が適用できる。たとえば、現在画像の時間的階層識別子が１以上である場合にのみ、前記実施形態が適用できる。たとえば、現在画像の時間的階層が最上位階層である場合にのみ、前記実施形態が適用できる。
【0348】
上述した本発明の実施形態のように、参照画像リストの生成（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ ｃｏｎｓｔｒｕｃｔｉｏｎ）及び参照画像リストの修正（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ ｍｏｄｉｆｉｃａｔｉｏｎ）処理に使用される参照画像セット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）は、Ｌ０、Ｌ１、Ｌ２及びＬ３のうちの少なくとも一つの参照画像リストを使用することができる。
【0349】
本発明の実施形態によってデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）が境界強度（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）を算出するとき、符号化／復号対象ブロックの動きベクトルを一つ以上、最大Ｎ個まで使用することができる。ここで、Ｎは、１以上の正の整数であって、２、３、４などを示す。
【0350】
動きベクトル予測時の動きベクトルが１６画素（１６－ｐｅｌ）単位、８画素（８－ｐｅｌ）単位、４－画素（４－ｐｅｌ）単位、整数－画素（ｉｎｔｅｇｅｒ－ｐｅｌ）単位、１／２－画素（１／２－ｐｅｌ）単位、１／４画素（１／４－ｐｅｌ）単位、１／８画素（１／８－ｐｅｌ）単位、１／１６画素（１／１６－ｐｅｌ）単位、１／３２画素（１／３２－ｐｅｌ）単位及び１／６４画素（１／６４－ｐｅｌ）単位のうちの少なくとも一つを持つときも、上述した本発明の実施形態が適用できる。また、動きベクトル予測時の動きベクトルは、前記画素単位で選択的に使用できる。
【0351】
上述した本発明の実施形態が適用されるスライスタイプ（ｓｌｉｃｅ ｔｙｐｅ）が定義され、当該スライスタイプに応じて本発明の実施形態が適用できる。
【0352】
例えば、スライスタイプがＴ（Ｔｒｉ－ｐｒｅｄｉｃｔｉｖｅ）－ｓｌｉｃｅである場合、少なくとも３つの動きベクトルを用いて予測ブロックを生成し、少なくとも３つの予測ブロックの加重和を計算して符号化／復号対象ブロックの最終予測ブロックとして使用することができる。例えば、スライスタイプがＱ（Ｑｕａｄ－ｐｒｅｄｉｃｔｉｖｅ）－ｓｌｉｃｅである場合、少なくとも４つの動きベクトルを用いて予測ブロックを生成し、少なくとも４つの予測ブロックの加重和を計算して符号化／復号対象ブロックの最終予測ブロックとして使用することができる。
【0353】
上述した本発明の実施形態は、動きベクトル予測を用いたインター予測及び動き補償方法に適用できるのみならず、スキップモード、マージモードなどを用いたインター予測及び動き補償方法に適用できる。
【0354】
上述した本発明の実施形態が適用されるブロックの形状は、正方形（ｓｑｕａｒｅ）或いは非正方形（ｎｏｎ－ｓｑｕａｒｅ）の形状を有することができる。
【0355】
上述した実施形態において、これらの方法は、一連のステップ又はユニットでフローチャートに基づいて説明されているが、本発明は、これらのステップの順序に限定されるものではなく、あるステップは、上述したのと異なるステップと異なる順序で又は同時に発生することができる。また、当該技術分野における通常の知識を有する者であれば、フローチャートに示されたステップが排他的ではなく、他のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本発明の範囲に影響することなく削除できることを理解することができるだろう。
【0356】
上述した実施形態は、様々な態様の例示を含む。様々な態様を示すためのすべての可能な組み合わせを記述することはできないが、当該技術分野における通常の知識を有する者は、他の組み合わせが可能であることを認識することができるだろう。よって、本発明は、以下の特許請求の範囲内に属するすべての様々な交替、修正及び変更を含むといえる。
【0357】
以上説明した本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行できるプログラム命令の形で実現され、コンピュータ可読の記録媒体に記録できる。前記コンピュータ可読の記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ可読の記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたもの、又はコンピュータソフトウェア分野の当業者に公知されて使用可能なものである。コンピュータ可読の記録媒体の例には、ハードディスク、フロッピーディスク（登録商標）及び磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られる機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行できる高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために一つ以上のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。
【0358】
以上で、本発明が、具体的な構成要素などの特定の事項、限定された実施形態及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施形態に限定されるものではない。本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
【0359】
よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形したすべてのものは本発明の思想の範疇に属するというべきである。
【産業上の利用可能性】
【0360】
本発明は、画像を符号化／復号する装置に利用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22A】
【図22B】