特開 2024-73645 画面間予測を使用してビデオ信号を処理するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024073645

(43)【公開日】2024-05-29

(54)【発明の名称】画面間予測を使用してビデオ信号を処理するための方法及び装置

(51)【国際特許分類】

   H04N 19/70 20140101AFI20240522BHJP

   H04N 19/58 20140101ALI20240522BHJP

【ＦＩ】

H04N19/70

H04N19/58

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2024045202

(22)【出願日】2024-03-21

(62)【分割の表示】P 2022187225の分割

【原出願日】2020-01-02

(31)【優先権主張番号】62/787,384

(32)【優先日】2019-01-02

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ブルートゥース

３．ＢＬＵＥＴＯＯＴＨ

４．ＺＩＧＢＥＥ

５．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(74)【代理人】

【識別番号】100120385

【弁理士】

【氏名又は名称】鈴木 健之

(72)【発明者】

【氏名】シータル パルリ

(72)【発明者】

【氏名】キム スンファン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA05

5C159NN10

5C159NN11

5C159NN21

5C159RC16

5C159RC38

5C159UA02

5C159UA05

(57)【要約】

【課題】画面間予測を使用してビデオ信号をデコーディングするための方法及び装置を提供する。
【解決手段】前記ビデオ信号で現在のピクチャの参照ピクチャリストを構成する段階と、前記参照ピクチャリストを使用して現在のピクチャに対する予測を行う段階とを含み、前記参照ピクチャリストを構成する段階は、前記参照ピクチャリストの第１エントリーがＳＴＲＰエントリーに該当すると、前記第１エントリーに関するピクチャと他のピクチャのＰＯＣの差異値を獲得する段階と、前記参照ピクチャリストの第２エントリーがＬＴＲＰエントリーに該当すると、前記第２エントリーに関するピクチャのＰＯＣのモデューロ値を獲得する段階とを含む。単純で効果的にピクチャの識別のための参照ピクチャリストを生成することによって、圧縮性能を増加させ、演算時間を減少させることができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

装置がビデオ信号をデコーディングするための方法であって、
現在のピクチャの参照ピクチャリストに含まれるエントリーの数を獲得するステップと、
前記エントリーの数だけ前記参照ピクチャリストのエントリーのそれぞれに対してＳＴＲＰ又はＬＴＲＰとしてマーキングを行うステップと、
前記参照ピクチャリストに基づいて、前記現在のピクチャに対する予測サンプルを導出するステップと、を含み、
前記エントリーのそれぞれに対してマーキングを行うステップは、
前記ＬＴＲＰがインター予測のために用いられるか否かの情報に基づいて、前記参照ピクチャリストのエントリーがＳＴＲＰエントリーであるかＬＴＲＰエントリーであるかを指示する第１フラグを獲得するステップと、
前記参照ピクチャリストの前記エントリーが前記ＳＴＲＰエントリーであることに基づいて、前記ＳＴＲＰエントリーに関連する参照ピクチャとその他のピクチャとの間のＰＯＣの差異値を獲得するステップと、
前記ＰＯＣの差異値に基づいて、前記ＰＯＣの差異値の符号（ｓｉｇｎ）を指示する第２フラグを獲得するステップと、
前記参照ピクチャリストのエントリーが前記ＬＴＲＰエントリーであることに基づいて、前記ＬＴＲＰエントリーに関連する参照ピクチャのＰＯＣのモデューロ値を獲得するステップと、を含み、
前記エントリーの数は、復号ピクチャバッファの最大要求サイズに１４を足した値を最大値として有し、
前記ＰＯＣの差異値に基づいた値が０より大きいことに基づいて、前記第２フラグが獲得される、方法。

【請求項2】

前記ＰＯＣの差異値は、前記ＳＴＲＰエントリーに関連する前記参照ピクチャのＰＯＣを引いた前記その他のピクチャのＰＯＣの絶対値である、請求項１に記載の方法。

【請求項3】

前記参照ピクチャのエントリーのそれぞれのマーキングにおいて、前記ＳＴＲＰとしてマーキングされた前記エントリーが第１ＳＴＲＰエントリーであることに基づいて、前記その他のピクチャは前記現在のピクチャであり、又は前記参照ピクチャのエントリーのそれぞれのマーキングにおいて、前記ＳＴＲＰとしてマーキングされた前記エントリーが前記第１ＳＴＲＰでないことに基づいて、前記その他のピクチャは前記参照ピクチャリスト内の以前のＳＴＲＰである、請求項１に記載の方法。

【請求項4】

前記エントリーのそれぞれに対してマーキングを行うステップは、
ＳＴＲＰエントリーの数及びＬＴＲＰエントリーの数を獲得するステップと、
前記ＳＴＲＰエントリーの数だけＳＴＲＰマーキングを行い、前記ＬＴＲＰエントリーの数だけＬＴＲＰマーキングを行うステップと、を含む、請求項１に記載の方法。

【請求項5】

装置がビデオ信号をエンコーディングする方法であって、
現在のピクチャの参照ピクチャリストを構成するステップと、
前記参照ピクチャリストを構成するためのコード情報を生成するステップと、を含み、
前記コード情報は、前記参照ピクチャリスト内のエントリーの数と、前記参照ピクチャリストのエントリーがＳＴＲＰエントリーであるかＬＴＲＰエントリーであるかを指示する第１フラグと、前記ＳＴＲＰエントリーに関連する参照ピクチャとその他のピクチャとの間のＰＯＣの差異値と、前記ＰＯＣの差異値の符号（ｓｉｇｎ）を指示する第２フラグと、前記ＬＴＲＰエントリーに関連する参照ピクチャのＰＯＣのモデューロ値と、を含み、
前記エントリーの数は、復号ピクチャバッファの最大要求サイズに１４を足した値を最大値として有し、
前記ＰＯＣの差異値に基づいた値が０より大きいことに基づいて、前記第２フラグが生成される、方法。

【請求項6】

前記ＰＯＣの差異値は、前記ＳＴＲＰエントリーに関連する前記参照ピクチャのＰＯＣを引いた前記その他のピクチャのＰＯＣの絶対値である、請求項５に記載の方法。

【請求項7】

ＳＴＲＰとしてマーキングされた前記エントリーが、前記コード情報内の第１ＳＴＲＰエントリーであることに基づいて、前記その他のピクチャは前記現在のピクチャであり、又は前記ＳＴＲＰとしてマーキングされた前記エントリーが、前記コード情報内の前記第１ＳＴＲＰでないことに基づいて、前記その他のピクチャは前記参照ピクチャリスト内の以前のＳＴＲＰである、請求項５に記載の方法。

【請求項8】

少なくとも１つのコード情報は、前記ビデオ信号に関連するシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）又はスライスヘッダに含まれる、請求項５に記載の方法。

【請求項9】

ビデオ信号に関連するビットストリームを含むデータの送信方法であって、
前記ビデオ信号に関連する前記ビットストリームを獲得するステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記ビットストリームは、
現在のピクチャの参照ピクチャリストを構成するステップと、
前記参照ピクチャリストを構成するためのコード情報を生成するステップと、を実行することにより生成され、
前記コード情報は、前記参照ピクチャリスト内のエントリーの数と、前記参照ピクチャリストのエントリーがＳＴＲＰエントリーであるかＬＴＲＰエントリーであるかを指示する第１フラグと、前記ＳＴＲＰエントリーに関連する参照ピクチャとその他のピクチャとの間のＰＯＣの差異値と、前記ＰＯＣの差異値の符号（ｓｉｇｎ）を指示する第２フラグと、前記ＬＴＲＰエントリーに関連する参照ピクチャのＰＯＣのモデューロ値と、を含み、
前記エントリーの数は、復号ピクチャバッファの最大要求サイズに１４を足した値を最大値として有し、
前記ＰＯＣの差異値に基づいた値が０より大きいことに基づいて、前記第２フラグが生成される、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の実施例は、画面間予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）を使用してビデオ信号を処理する方法及び装置に関し、より具体的に、現在のピクチャの予測のための参照ピクチャリストを構成するための方法及び装置に関する。

【背景技術】

【0002】

圧縮符号化とは、デジタル化した情報を通信回線を介して送信するか、保存媒体に適した形態で保存するための一連の信号処理技術を意味する。画像、イメージ、音声等のメディアが圧縮符号化の対象になり得、特に、画像を対象に圧縮符号化を行う技術をビデオ画像圧縮と称する。

【0003】

次世代ビデオコンテンツは、高解像度（ｈｉｇｈ ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）、高フレーム率（ｈｉｇｈ ｆｒａｍｅ ｒａｔｅ）、及び画像表現の高次元化（ｈｉｇｈ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ ｓｃｅｎｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）という特徴を有するようになる。そのようなコンテンツを処理するためには、メモリストレージ（ｍｅｍｏｒｙ ｓｔｏｒａｇｅ）、メモリアクセス率（ｍｅｍｏｒｙ ａｃｃｅｓｓ ｒａｔｅ）、及び処理電力（ｐｒｏｃｅｓｓｉｎｇ ｐｏｗｅｒ）の側面で大幅な増加をもたらすであろう。

【0004】

従って、次世代画像コンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。特に、ＨＥＶＣ（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準以降のビデオコデックの標準は、資源をより効率的に使用しながら、正確に予測サンプルを生成することができる予測技術を要求する。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書の実施例は、現在のピクチャの予測のために必要な参照ピクチャリストを構成するための方法及び装置を提供する。

【0006】

また、本明細書の実施例は、参照ピクチャリストを構成するために必要な情報を獲得するための方法及び装置を提供する。

【0007】

また、本明細書の実施例は、参照ピクチャリストの構成のために必要なエントリーの数を定義するための方法及び装置を提供する。

【0008】

また、本明細書の実施例は、参照ピクチャリストを構成するために必要なシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の量を減少させるための方法及び装置を提供する。

【0009】

また、本明細書の実施例は、参照ピクチャリストを構成する過程で参照ピクチャのマーキングの回数をカウンティングするための方法及び装置を提供する。

【0010】

本発明で解決しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及しないまた別の技術的課題は、以下の記載から本明細書が属する技術分野で通常の知識を有する者に明確に理解されるべきである。

【課題を解決するための手段】

【0011】

本明細書の実施例は、画面間予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）を使用してビデオ信号をデコーディングするための方法及び装置を提供する。本明細書の一実施例にかかるビデオ信号の処理方法は、前記ビデオ信号で現在のピクチャの参照ピクチャリストを構成する段階と、前記参照ピクチャリストを使用して現在のピクチャに対する予測を行う段階とを含み、前記参照ピクチャリストを構成する段階は、前記参照ピクチャリストの第１エントリーがＳＴＲＰ（ｓｈｏｒｔ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）エントリーに該当すると、前記第１エントリーに関するピクチャと他のピクチャのＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）の差異値（ＰＯＣ ｄｉｆｆｅｒｅｎｃｅ）を獲得する段階と、前記参照ピクチャリストの第２エントリーがＬＴＲＰ（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）エントリーに該当すると、前記第２エントリーに関するピクチャのＰＯＣモデューロ（ｍｏｄｕｌｏ）値を獲得する段階とを含む。

【0012】

一実施例において、前記参照ピクチャリストを構成する段階は、前記参照ピクチャリストのエントリーの数を獲得する段階と、前記エントリーの数だけ前記参照ピクチャリストのエントリーのそれぞれに対してＬＴＲＰ又はＳＴＲＰに参照ピクチャのマーキングを行う段階とを含み得る。

【0013】

一実施例において、前記エントリーの数は、復号ピクチャバッファの最大要求サイズで１４を足した値を最大値として有し得る。

【0014】

一実施例において、前記参照ピクチャのマーキングを行う段階は、ＳＴＲＰエントリーの数とＬＴＲＰエントリーの数を獲得する段階と、前記ＳＴＲＰエントリーの数だけＳＴＲＰのマーキングを行い、前記ＬＴＲＰエントリーの数だけＬＴＲＰのマーキングを行う段階とを含み得る。

【0015】

一実施例において、前記参照ピクチャリストを構成する段階は、第１フラグを獲得する段階と、前記第１フラグに基づいて前記参照ピクチャリストのエントリーが前記ＳＴＲＰエントリー又はＬＴＲＰエントリーに該当するか否かを決定する段階とを含み得る。

【0016】

一実施例において、前記ＰＯＣの差異値は、前記他のピクチャのＰＯＣから前記第１エントリーに関するピクチャのＰＯＣを引いた値の絶対値と決定され得る。

【0017】

一実施例において、前記参照ピクチャリストを構成する段階は、前記絶対値が０より大きい場合、前記ＰＯＣの差異値の符号（ｓｉｇｎ）を指示する第２フラグを獲得する段階を含み得る。

【0018】

本明細書の別の実施例にかかるビデオ信号のエンコーディン方法は、前記ビデオ信号で現在のピクチャの参照ピクチャリストを構成する段階と、前記参照ピクチャリストを使用して現在のピクチャに対する予測を行う段階と、前記参照ピクチャリストを構成するための情報をコーディングする段階とを含む。前記参照ピクチャリストを構成するための情報は、前記参照ピクチャリストでＳＴＲＰ（ｓｈｏｒｔ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）エントリーに関するピクチャと他のピクチャのＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）の差異値（ＰＯＣ ｄｉｆｆｅｒｅｎｃｅ）と、前記参照ピクチャリストで第２エントリーがＬＴＲＰ（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）エントリーに関するピクチャのＰＯＣのモデューロ（ｍｏｄｕｌｏ）値とを含み得る。

【0019】

一実施例において、前記参照ピクチャリストを構成するための情報は、前記参照ピクチャリストのエントリーの数をさらに含み、前記エントリーの数は、復号ピクチャバッファの最大要求サイズで１４を足した値を最大値として有し得る。

【0020】

一実施例において、前記参照ピクチャリストを構成するための情報は、前記参照ピクチャリストのエントリーが前記ＳＴＲＰエントリーに該当するか否かを指示する第１フラグをさらに含み得る。

【0021】

一実施例において、前記参照ピクチャリストを構成するための情報は、前記ＰＯＣの差異値が０より大きいエントリーに対する前記ＰＯＣの差異値の符号（ｓｉｇｎ）を指示する第２フラグをさらに含み得る。

【0022】

一実施例において、前記参照ピクチャリストを構成するための情報は、前記ビデオ信号に関するビットストリームでＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、又はスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）に含まれ得る。

【0023】

本明細書の別の実施例にかかるビデオ信号のデコーディング装置は、前記ビデオ信号を保存するメモリと、前記メモリと結合されるプロセッサとを含む。前記プロセッサは、前記ビデオ信号で現在のピクチャの参照ピクチャリストを構成し、前記参照ピクチャリストを使用して現在のピクチャに対する予測を行うように設定される。また、前記プロセッサは、前記参照ピクチャリストを構成するために、前記参照ピクチャリストの第１エントリーがＳＴＲＰエントリーに該当すると、前記第１エントリーに関するピクチャと他のピクチャのＰＯＣの差異値を獲得し、前記参照ピクチャリストの第２エントリーがＬＴＲＰエントリーに該当すると、前記第２エントリーに関するピクチャのＰＯＣのモデューロ値を獲得するように設定される。

【0024】

本明細書の別の実施例にかかるビデオ信号のエンコーディング装置は、前記ビデオ信号を保存するメモリと、前記メモリと結合されるプロセッサとを含む。前記プロセッサは、前記ビデオ信号で現在のピクチャの参照ピクチャリストを構成し、前記参照ピクチャリストを使用して現在のピクチャに対する予測を行い、前記参照ピクチャリストを構成するための情報をコーディングするように設定され、前記参照ピクチャリストを構成するための情報は、前記参照ピクチャリストでＳＴＲＰ（ｓｈｏｒｔ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）エントリーに関するピクチャと他のピクチャのＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）の差異値（ＰＯＣ ｄｉｆｆｅｒｅｎｃｅ）と、前記参照ピクチャリストで第２エントリーがＬＴＲＰ（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）エントリーに関するピクチャのＰＯＣのモデューロ（ｍｏｄｕｌｏ）値とを含むことを特徴とする装置。

【0025】

本明細書の別の実施例は、1つ又はそれ以上のコマンドを保存する非一時的コンピュータ読取可能な媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を提供する。1つ又はそれ以上のプロセッサによって実行される前記1つ又はそれ以上のコマンドは、ビデオ信号で現在のピクチャの参照ピクチャリストを構成し、前記参照ピクチャリストを使用して現在のピクチャに対する予測を行うようにビデオ信号処理装置を制御する。また、前記1つ又はそれ以上のコマンドは、前記参照ピクチャリストを構成するために、前記参照ピクチャリストの第１エントリーがＳＴＲＰ（ｓｈｏｒｔ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）エントリーに該当すると、前記第１エントリーに関するピクチャと他のピクチャのＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）の差異値（ＰＯＣ ｄｉｆｆｅｒｅｎｃｅ）を獲得し、前記参照ピクチャリストの第２エントリーがＬＴＲＰ（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）エントリーに該当すると、前記第２エントリーに関するピクチャのＰＯＣのモデューロ（ｍｏｄｕｌｏ）値を獲得するように前記ビデオ信号処理装置を制御する。

【発明の効果】

【0026】

本明細書の実施例にかかると、参照ピクチャのマーキングを介して現在のピクチャの予測のために必要な参照ピクチャリストを構成することができる。

【0027】

また、本明細書の実施例にかかると、参照ピクチャのタイプ別に適切な情報を獲得することができる。

【0028】

また、本明細書の実施例にかかると、参照ピクチャリストの構成のために必要なエントリーの数を定義することによって、ピクチャの保存に必要なメモリを効率的に管理することができる。

【0029】

また、本明細書の実施例にかかると、一部のシンタックスエレメントのパーシングを省略することによって、参照ピクチャリストを構成するために必要なデータ量を減少させることができる。

【0030】

また、本明細書の実施例にかかると、参照ピクチャのマーキング回数をカウンティングすることによって、参照ピクチャリストを構成するためのシンタックスを効率的に実現することができる。

【0031】

本発明で得られる効果は、以上で言及した効果に制限されず、言及しないまた別の効果は、以下の記載から本発明が属する技術分野で通常の知識を有する者に明確に理解されるべきである。

【図面の簡単な説明】

【0032】

本明細書に関する理解を助けるために詳細な説明の一部に含まれる、添付図は、本明細書に対する実施例を提供し、詳細な説明と共に本明細書の技術的特徴を説明する。

【0033】

【図1】本明細書の実施例にかかるビデオコーディングシステムの例を示す。

【図2】本明細書の実施例にかかるビデオ／イメージ信号のエンコーディングのためのエンコーディング装置の概略的なブロック図を示す。

【図3】本明細書の実施例として、画像信号のデコーディングのためのデコーディング装置の概略的なブロック図を示す。

【図4】本明細書の実施例にかかるコンテンツストリーミングシステムの構造図の例を示す。

【図5】本明細書の実施例にかかるビデオ信号を処理するための装置のブロック図の例を示す。

【図6a】本明細書の実施例にかかる画像のブロックの分割構造の例であって、ＱＴ（ＱｕａｄＴｒｅｅ、ＱＴ）によるブロックの分割構造の例を示す。

【図6b】本明細書の実施例にかかる画像のブロックの分割構造の例であって、ＢＴ（Ｂｉｎａｒｙ Ｔｒｅｅ、ＢＴ）によるブロックの分割構造の例を示す。

【図6c】本明細書の実施例にかかる画像のブロックの分割構造の例であって、ＴＴ（Ｔｅｒｎａｒｙ Ｔｒｅｅ、ＴＴ）によるブロックの分割構造の例を示す。

【図6d】本明細書の実施例にかかる画像のブロックの分割構造の例であって、ＡＴ（Ａｓｙｍｍｅｔｒｉｃ Ｔｒｅｅ、ＡＴ）によるブロックの分割構造の例を示す。

【図7】本明細書の実施例にかかるインター予測に基づくビデオ／画像のエンコーディング手続及びエンコーディング装置内のインター予測部を示す。

【図8】本明細書の実施例にかかるインター予測に基づくビデオ／画像のエンコーディング手続及びエンコーディング装置内のインター予測部を示す。

【図9】本明細書の実施例にかかるインター予測に基づくビデオ／画像のデコーディング手続及びデコーディング装置内のインター予測部を示す。

【図10】本明細書の実施例にかかるインター予測に基づくビデオ／画像のデコーディング手続及びデコーディング装置内のインター予測部を示す。

【図11】本明細書の実施例にかかる参照ピクチャリストを構成するためのフローチャートの例を示す。

【図12】本明細書の実施例にかかる参照ピクチャのマーキングのためのフローチャートの例を示す。

【図13】本明細書の実施例にかかる参照ピクチャのマーキングのためのフローチャートの例を示す。

【図14】本明細書の実施例にかかる参照ピクチャのマーキングのためのフローチャートの別の例を示す。

【図15】本明細書の実施例にかかるビデオ信号を処理するためのフローチャートの例を示す。

【発明を実施するための形態】

【0034】

以下、本明細書にかかる好ましい実施形態を添付図を参照として詳細に説明する。添付図と共に以下に開示される詳細な説明は、本明細書の例示的な実施形態を説明しようとするものであり、本明細書が実施され得る唯一の実施形態を示そうとするものではない。以下の詳細な説明は、本明細書の完全な理解を提供するために具体的な細部事項を含む。しかし、当業者は、本明細書がこのような具体的な細部事項がなくても実施され得ることを知る。

【0035】

いくつかの場合、本明細書の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図の形式で示し得る。

【0036】

また、本明細書で使用される用語は、できる限り現在広く使用される一般的な用語を選択しているが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合は、該当部分の詳細な説明でその意味を明確に記載するので、本明細書の説明で使用された用語の名称だけで単純解釈されてはならず、その該当用語の意味まで把握して解釈されるべきであることを明らかにしておく。

【0037】

以下の説明で使用される特定用語は、本明細書の理解を助けるために提供されたものであり、このような特定用語の使用は、本明細書の技術的思想を外れない範囲で他の形態に変更され得る。例えば、信号、データ、サンプル、ピクチャ、スライス、タイル、フレーム、ブロックの場合、各コーディング過程で適切に代替して解釈され得る。

【0038】

以下、本明細書における「処理ユニット」は、予測、変換及び／又は量子化等のようなエンコーディング／デコーディングの処理過程が行われる単位を意味する。また、処理ユニットは、輝度（ｌｕｍａ）成分に対する単位と色差（ｃｈｒｏｍａ）成分に対する単位を含む意味と解釈され得る。例えば、処理ユニットは、ブロック（ｂｌｏｃｋ）、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）又は変換ブロック（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）に該当し得る。

【0039】

また、処理ユニットは輝度成分に対する単位又は色差成分に対する単位と解釈され得る。例えば、処理ユニットは、輝度成分に対するＣＴＢ（ｃｏｄｉｎｇ ｔｒｅｅ ｂｌｏｃｋ）、ＣＢ（ｃｏｄｉｎｇ ｂｌｏｃｋ）、ＰＵ又はＴＢ（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ）に該当し得る。或いは、処理ユニットは色差成分に対するＣＴＢ、ＣＢ、ＰＵ又はＴＢに該当し得る。また、これに限定されるわけではなく、処理ユニットは輝度成分に対する単位と色差成分に対する単位を含む意味と解釈されることもある。

【0040】

また、処理ユニットは、必ずしも正方形のブロックに限定されるわけではなく、３つ以上の頂点を有する多角形の形態で構成されることもある。

【0041】

また、以下、本明細書でピクセル、画素、又は係数（変換係数又は１次変換を経た変換係数）はサンプルと通称される。また、サンプルを利用するというのは、ピクセル値、画素値、又は係数（変換係数又は１次変換を経た変換係数）等を利用するということを意味し得る。

【0042】

図１は、本明細書の実施例にかかるビデオコーディングシステムの例を示す。

【0043】

ビデオコーディングシステムは、ソースデバイス１０及び受信デバイス２０を含むことができる。ソースデバイス１０は、エンコーディングされたビデオ／画像の情報又はデータをファイル又はストリーミングの形態でデジタル保存媒体又はネットワークを介して受信デバイス２０に伝達することができる。

【0044】

ソースデバイス１０は、ビデオソース１１、エンコーディング装置１２、送信機１３を含むことができる。受信デバイス２０は、受信機２１、デコーディング装置２２及びレンダラー２３を含むことができる。エンコーディング装置１０は、ビデオ／画像のエンコーディング装置と呼ばれ、デコーディング装置２０は、ビデオ／画像のデコーディング装置と呼ばれる。送信機１３は、エンコーディング装置１２に含まれ得る。受信機２１は、デコーディング装置２２に含まれ得る。レンダラー２３は、ディスプレイ部を含んでもよく、ディスプレイ部は別のデバイス又は外部のコンポーネントで構成されてもよい。

【0045】

ビデオソースは、ビデオ／画像のキャプチャー、合成又は生成過程等を介してビデオ／画像を獲得することができる。ビデオソースは、ビデオ／画像のキャプチャーデバイス及び／又はビデオ／画像の生成デバイスを含むことができる。ビデオ／画像のキャプチャーデバイスは、例えば、１つ以上のカメラ、以前にキャプチャーされたビデオ／画像を含むビデオ／画像のアーカイブ等を含むことができる。ビデオ／画像の生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォン等を含むことができ（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータ等を介して仮想のビデオ／画像が生成でき、この場合、関連データが生成される過程にビデオ／画像のキャプチャー過程に代えることができる。

【0046】

エンコーディング装置１２は、入力ビデオ／画像をエンコーディングすることができる。エンコーディング装置１２は、圧縮及びコーディングの効率のために予測、変換、量子化等一連の手続を行うことができる。エンコーディングされたデータ（エンコーディングされたビデオ／画像の情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）の形態で出力されることができる。

【0047】

送信部１３は、ビットストリームの形態で出力されたエンコーディングされたビデオ／画像の情報又はデータをファイル又はストリーミングの形態でデジタル保存媒体又はネットワークを介して、受信デバイスの受信部に伝達することができる。デジタル保存媒体は、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）、ＳＤ（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）、ＣＤ（ｃｏｍｐａｃｔ ｄｉｓｋ）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ）、ブルーレイ（ｂｌｕｒａｙ）、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）のような多様な保存媒体を含むことができる。送信部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信機２１は、ビットストリームを抽出し、デコーディング装置２２に伝達することができる。

【0048】

デコーディング装置２２は、エンコーディング装置１２の動作に対応する逆量子化、逆変換、予測等一連の手続を行い、ビデオ／画像をデコーディングすることができる。

【0049】

レンダラー２３は、デコーディングされたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像はディスプレイ部を介してディスプレイされることができる。

【0050】

図２は、本明細書の実施例にかかるビデオ／イメージ信号のエンコーディングのためのエンコーディング装置の概略的なブロック図を示す。

【0051】

図２を参照すると、エンコーディング装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５、及びエントロピーエンコーディング部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は予測部と通称され得る。即ち、予測部は、インター予測部１８０及びイントラ予測部１８５を含むことができる。変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０は、残差（ｒｅｓｉｄｕａｌ）処理部に含まれ得る。残差処理部は、減算部１１５を更に含んでもよい。前述した画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、インター予測部１８０、イントラ予測部１８５、及びエントロピーエンコーディング部１９０は、実施例にかかって１つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）によって構成されることができる。また、メモリ１７０は、実施例にかかって１つのハードウェアコンポーネント（例えば、メモリ又はデジタル保存媒体）によって構成されることができ、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）１７５を含むことができる。

【0052】

画像分割部１１０はエンコーディング装置１００に入力された入力画像（又は、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、処理ユニットは、コーディングユニット（ＣＵ）と呼ばれる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大のコーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ）構造によって、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、及び／又はバイナリツリー構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造が後に適用され得る。或いは、バイナリツリー構造が先に適用されることもある。これ以上分割されない最終のコーディングユニットに基づいて、本明細書にかかるコーディング手続が行われる。この場合、画像の特性によるコーディングの効率等に基づいて、最大のコーディングユニットが直ぐに最終のコーディングユニットとして使用されることができ、或いは必要に応じて、コーディングユニットは再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）より下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終のコーディングユニットとして使用されることができる。ここで、コーディング手続というのは、後述する予測、変換、及び復元などの手続を含むことができる。別の例として、処理ユニットは、予測ユニット（ＰＵ）又は変換ユニット（ＴＵ）をさらに含むことができる。この場合、予測ユニット及び変換ユニットは、それぞれ前述した最終のコーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットはサンプル予測の単位であってもよく、前記変換ユニットは変換係数を誘導する単位及び／又は変換係数から残差信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であってもよい。

【0053】

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）等の用語と混用して使用してもよい。一般的な場合、ＭｘＮのブロックはＭ個の列とＮ個の行とからなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセル又はピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（又は画像）をピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）に対応する用語として使用されることができる。

【0054】

エンコーディング装置１００は、入力画像信号（原本ブロック、原本サンプルアレイ）でインター予測部１８０又はイントラ予測部１８５から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して残差信号（残余ブロック、残余サンプルアレイ）を生成することができ、生成された残差信号は変換部１２０へ送信される。この場合、示すように、エンコーディング装置１００内で入力画像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部１１５と呼ばれる。予測部は、処理対象のブロック（以下、現在のブロックという）に対する予測を行い、現在のブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、ブロック又はＣＵ単位でイントラ予測が適用されるか、若しくはインター予測が適用されるか決定できる。予測部は、各予測モードに対する説明で後述するように、予測モード情報のように予測に関する多様な情報を生成してエントロピーエンコーディング部１９０へ伝達することができる。予測に関する情報は、エントロピーエンコーディング部１９０でエンコーディングされ、ビットストリームの形態で出力されることができる。

【0055】

イントラ予測部１８５は、現在のピクチャ内のサンプルを参照して現在のブロックを予測することができる。参照されるサンプルは、予測モードによって前記現在のブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、或いは離れて位置してもよい。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含み得る。方向性モードは、予測方向の細密な程度によって、例えば、３３個の方向性予測モード又は６５個の方向性予測モードを含み得る。但し、これは例示であって、設定によってそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在のブロックに適用される予測モードを決定することもできる。

【0056】

インター予測部１８０は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づき、現在のブロックに対する予測されたブロックを誘導することができる。この際、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在のブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック又はサンプル単位で予測することができる。動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）の情報を更に含むことができる。インター予測の場合、周辺ブロックは、現在のピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。参照ブロックを含む参照ピクチャと、時間的周辺ブロックを含む参照ピクチャとは同一であってもよく、異なってもよい。時間的周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）等の名称で呼ばれ、時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報の候補リストを構成し、現在のブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われ、例えば、スキップモードとマージモードの場合に、インター予測部１８０は周辺ブロックの動き情報を現在のブロックの動き情報として利用することができる。スキップモードの場合、マージモードと異なり、残差信号が送信されなくてもよい。動きベクトル予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることによって、現在のブロックの動きベクトルを指示することができる。

【0057】

インター予測部１８０又はイントラ予測部１８５を介して生成された予測信号は、復元信号を生成するために利用されるか、残差信号を生成するために利用されることができる。

【0058】

変換部１２０は、残差信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（ｄｉｓｃｒｅｔｅ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（ｇｒａｐｈ－ｂａｓｅｄ ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（ｃｏｎｄｉｔｉｏｎａｌｌｙ ｎｏｎ－ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍ）のうち少なくとも１つを含んでもよい。ここで、ＧＢＴはピクセル間の関係情報をグラフで表現するという際、このグラフから得られた変換を意味する。ＣＮＴは以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックにも適用されてもよい。

【0059】

量子化部１３０は、変換係数を量子化してエントロピーエンコーディング部１９０に送信され、エントロピーエンコーディング部１９０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームに出力することができる。量子化された変換係数に関する情報は残差情報と呼ばれる。量子化部１３０は係数のスキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロックの形態の量子化された変換係数を１次元のベクトルの形態で再整列することができ、１次元のベクトルの形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）等のような多様なエンコーディング方法を行うことができる。エントロピーエンコーディング部１９０は、量子化された変換係数以外のビデオ／イメージの復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共に、又は別にエンコーディングすることもできる。エンコーディングされた情報（例えば、ビデオ／画像の情報）は、ビットストリームの形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信又は保存されることができる。ビットストリームは、ネットワークを介して送信されることができ、又はデジタル保存媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網等を含むことができ、デジタル保存媒体はＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤ等の多様な保存媒体を含むことができる。エントロピーエンコーディング部１９０から出力された信号は、送信する送信部（図示せず）及び／又は保存する保存部（図示せず）がエンコーディング装置１００の内／外部のエレメントとして構成されてもよく、又は送信部はエントロピーエンコーディング部１９０の構成要素であってもよい。

【0060】

量子化部１３０から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に対してループ内の逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することによって、残差信号が復元できる。加算部１５５は、復元された残差信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることによって、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成できる。スキップモードが適用された場合のように、処理対象のブロックに対する残差がない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５は、復元部又は復元ブロック生成部と称される。復元信号は、現在のピクチャ内の次の処理対象のブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために使用されることもできる。

【0061】

フィルタリング部１６０は、復元信号にフィルタリングを適用し、主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに多様なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、修正された復元ピクチャを復号ピクチャバッファ１７０に送信することができる。多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）を含むことができる。フィルタリング部１６０は、各フィルタリング方法に関する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部１９０へ伝達することができる。フィルタリング関する情報は、エントロピーエンコーディング部１９０でエンコーディングされてビットストリームの形態で出力されることができる。

【0062】

復号ピクチャバッファ１７０に送信された修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。エンコーディング装置１００はこれを介して、インター予測が適用される場合、エンコーディング装置１００とデコーディング装置２００での予測ミスマッチを避けることができ、符号化の効率も向上させることができる。

【0063】

復号ピクチャバッファ１７０は、修正された復元ピクチャをインター予測部１８０での参照ピクチャとして使用するために保存することができる。

【0064】

図３は、本明細書の実施例として、画像信号のデコーディングのためのデコーディング装置の概略的なブロック図を示す。

【0065】

図３を参照すると、デコーディング装置２００は、エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０、及びイントラ予測部２６５を含んで構成されることができる。インター予測部２６０及びイントラ予測部２６５は、予測部と通称され得る。即ち、予測部は、インター予測部１８０及びイントラ予測部１８５を含み得る。逆量子化部２２０と逆変換部２３０は、残差処理部と通称され得る。即ち、残差処理部は逆量子化部２２０と逆変換部２３０を含むことができる。エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、インター予測部２６０、及びイントラ予測部２６５は、実施例にかかって１つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）により構成されることができる。また、復号ピクチャバッファ２５０は、実施例にかかって１つのハードウェアコンポーネント（例えば、メモリ又はデジタル保存媒体）によって実現されることができる。また、メモリ２５０は、ＤＰＢ１７５を含むことができ、デジタル保存媒体によって構成されることもできる。

【0066】

ビデオ／イメージの情報を含むビットストリームが入力されると、デコーディング装置２００は、図２のエンコーディング装置１００でビデオ／イメージの情報が処理されたプロセスに対応し、画像を復元することができる。例えば、デコーディング装置２００は、エンコーディング装置１００で適用された処理ユニットを利用してデコーディングを行うことができる。従って、デコーディングの際の処理ユニットは、例えば、コーディングユニットであってもよく、コーディングユニットはコーディングツリーユニット又は最大のコーディングユニットからクアッドツリー構造及び／又はバイナリツリー構造に従って分割されることができる。また、デコーディング装置２００を介してデコーディング及び出力された復元画像信号は再生装置を介して再生されることができる。

【0067】

デコーディング装置２００は、図２のエンコーディング装置１００から出力された信号をビットストリームの形態で受信することができ、受信された信号はエントロピーデコーディング部２１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部２１０は、ビットストリームをパーシングして、画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像の情報）を導出することができる。例えば、エントロピーデコーディング部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣ等のコーディング方法に基づいてビットストリーム内の情報をデコーディングし、画像の復元に必要なシンタックスエレメントの値、残差に関する変換係数の量子化された値を出力することができる。より詳細に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各構文要素に該当するビン（ｂｉｎ）を受信し、デコーディング対象の構文要素情報と周辺及びデコーディング対象のブロックのデコーディング情報、又は以前段階でデコーディングされたシンボル／ビンの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってビンの発生確率を予測し、ビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各構文要素の値に該当するシンボルを生成することができる。この際、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのためにデコーディングされたシンボル／ビンの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコーディング部２１０でデコーディングされた情報のうちの予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピーデコーディング部２１０でエントロピーデコーディングが行われた残差値、即ち、量子化された変換係数及び関連のパラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピーデコーディング部２１０でデコーディングされた情報のうちのフィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、エンコーディング装置１００から出力された信号を受信する受信部（図示せず）がデコーディング装置２００の内／外部のエレメントとしてさらに構成されることができ、又は受信部はエントロピーデコーディング部２１０の構成要素であってもよい。

【0068】

逆量子化部２２０では、量子化された変換係数を逆量子化することによって変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロックの形態で再整列することができる。この場合、エンコーディング装置１００で行われた係数のスキャン順序に基づいて再整列を行うことができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を獲得することができる。

【0069】

逆変換部２３０は、変換係数に対する逆変換を適用することによって残差信号（残差ブロック、残差サンプルアレイ）を出力することができる。

【0070】

予測部は、現在のブロックに対する予測を行い、現在のブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部２１０から出力された予測に関する情報に基づいて、現在のブロックにイントラ予測が適用されるか、又はインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定することができる。

【0071】

イントラ予測部２６５は、現在のピクチャ内のサンプルを参照することによって現在のブロックを予測することができる。参照されるサンプルは、予測モードによって現在のブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、又は離隔して位置してもよい。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部２６５は、周辺ブロックに適用された予測モードを利用して、現在のブロックに適用される予測モードを決定することもできる。

【0072】

インター予測部２６０は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づき、現在のブロックに対する予測されたブロックを誘導することができる。この際、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在のブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、又はサンプル単位で予測することができる。動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）に対する情報をさらに含むことができる。インター予測の場合、周辺ブロックは現在のピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報の候補リストを構成し、受信された候補選択情報に基づいて、現在のブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が行われ、予測に関する情報は、現在のブロックに対するインター予測のモードを指示する情報を含むことができる。

【0073】

加算部２３５は、獲得された残差信号をインター予測部２６０又はイントラ予測部２６５から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることによって、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象のブロックに対する残差がない場合、予測されたブロックが復元ブロックとして使用できる。

【0074】

加算部２３５は、復元部又は復元ブロック生成部と呼ばれる。生成された復元信号は、現在のピクチャ内の次の処理対象のブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0075】

フィルタリング部２４０は、復元信号にフィルタリングを適用することによって、主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに多様なフィルタリング方法を適用し、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、修正された復元ピクチャを復号ピクチャバッファ２５０に送信することができる。多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ、ＡＬＦ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）等を含むことができる。

【0076】

復号ピクチャバッファ２５０に送信された修正された復元ピクチャは、インター予測部２６０により参照ピクチャに使用されることができる。

【0077】

本明細書で、エンコーディング装置１００のフィルタリング部１６０、インター予測部１８０、及びイントラ予測部１８５で説明された実施例は、各々デコーディング装置のフィルタリング部２４０、インター予測部２６０、及びイントラ予測部２６５にも同一又は対応するように適用されることができる。

【0078】

図４は、本明細書の実施例にかかるコンテンツストリーミングシステムの構造図の例を示す。

【0079】

本明細書が適用されるコンテンツストリーミングシステムは、大きくエンコーディングサーバ４１０、ストリーミングサーバ４２０、ウェブサーバ４３０、メディアストレージ４４０、ユーザ装置４５０、及びマルチメディア入力装置４６０を含むことができる。

【0080】

エンコーディングサーバ４１０は、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これをストリーミングサーバ４２０に送信することができる。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置４６０がビットストリームを直接生成する場合、エンコーディングサーバ４１０は省略され得る。

【0081】

ビットストリームは、本明細書が適用されるエンコーディング方法又はビットストリーム生成方法により生成されることができ、ストリーミングサーバ４２０は、ビットストリームを送信又は受信する過程で、一時的にビットストリームを保存することができる。

【0082】

ストリーミングサーバ４２０はウェブサーバ４３０を介したユーザの要請に基づいて、マルチメディアデータをユーザ装置４５０に送信し、ウェブサーバ４３０は、ユーザにどのサービスがあるかを知らせる媒介体の役割をする。ユーザがウェブサーバ４３０に希望するサービスを要請すると、ウェブサーバ４３０はこれをストリーミングサーバ４２０に伝達し、ストリーミングサーバ４２０はユーザにマルチメディアデータを送信する。この際、コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、制御サーバは、コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

【0083】

ストリーミングサーバ４２０は、メディアストレージ４４０及び／又はエンコーディングサーバ４１０からコンテンツを受信することができる。例えば、ストリーミングサーバ４２０は、エンコーディングサーバ４１０からコンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、ストリーミングサーバ４２０はビットストリームを一定時間の間に保存することができる。

【0084】

例えば、ユーザ装置４５０は、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ラップトップパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、ガラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージを含むことができる。

【0085】

コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは分散処理されることができる。

【0086】

図５は、本明細書の実施例にかかるビデオ信号を処理するための装置のブロック図の例を示す。図５のビデオ信号処理装置は、図２のエンコーディング装置１００又は図３のデコーディング装置２００に該当し得る。

【0087】

本明細書の実施例にかかるビデオ信号処理装置５００は、ビデオ信号を保存するメモリ５２０と、前記メモリと結合されつつ、ビデオ信号を処理するプロセッサ５１０とを含むことができる。

【0088】

本明細書の実施例にかかるプロセッサ５１０は、ビデオ信号の処理のための少なくとも一つのプロセシング回路で構成されることができ、ビデオ信号をエンコーディング又はデコーディングのためのコマンドを実行することによって、画像信号を処理することができる。即ち、プロセッサ５１０は、以下説明されるエンコーディング又はデコーディング方法を実行することによって、原本ビデオ信号をエンコーディングするか、エンコーディングされたビデオ信号をデコーディングすることができる。

【0089】

本発明の実施例にかかるプロセッサ５１０は、画像信号の処理のための少なくとも一つのプロセシング回路で構成されることができ、画像信号をエンコーディング又はデコーディングのためのコマンドを実行することによって、画像信号を処理することができる。即ち、プロセッサ５１０は、前述したエンコーディング又はデコーディング方法を実行することによって、原本画像データをエンコーディングするか、エンコーディングされた画像信号をデコーディングすることができる。

【0090】

図６は、本明細書の実施例にかかる画像のブロックの分割構造の例として、図６ａはＱＴ（ＱｕａｄＴｒｅｅ、ＱＴ）、図６ｂはＢＴ（Ｂｉｎａｒｙ Ｔｒｅｅ、ＢＴ）、図６ｃはＴＴ（Ｔｅｒｎａｒｙ Ｔｒｅｅ、ＴＴ）、図６ｄはＡＴ（Ａｓｙｍｍｅｔｒｉｃ Ｔｒｅｅ、ＡＴ）によるブロックの分割構造の例を示す。

【0091】

ビデオコーディングで１つのブロックはＱＴベースに分割されることができる。また、ＱＴによって分割された１つのサブブロック（ｓｕｂｂｌｏｃｋ）は、ＱＴを使用して再帰的にさらに分割されることができる。これ以上ＱＴ分割されないリーフブロック（ｌｅａｆ ｂｌｏｃｋ）は、ＢＴ、ＴＴ又はＡＴのうち少なくとも一つの方式によって分割されることができる。ＢＴは、ｈｏｒｉｚｏｎｔａｌ ＢＴ（２ＮｘＮ、２ＮｘＮ）とｖｅｒｔｉｃａｌ ＢＴ（Ｎｘ２Ｎ、Ｎｘ２Ｎ）の２つの形態の分割を有することができる。ＴＴは、ｈｏｒｉｚｏｎｔａｌ ＴＴ（２Ｎｘ１／２Ｎ、２ＮｘＮ、２Ｎｘ１／２Ｎ）とｖｅｒｔｉｃａｌ ＴＴ（１／２Ｎｘ２Ｎ、Ｎｘ２Ｎ、１／２Ｎｘ２Ｎ）の２つの形態の分割を有することができる。ＡＴはｈｏｒｉｚｏｎｔａｌ－ｕｐ ＡＴ（２Ｎｘ１／２Ｎ、２Ｎｘ３／２Ｎ）、ｈｏｒｉｚｏｎｔａｌ－ｄｏｗｎ ＡＴ（２Ｎｘ３／２Ｎ、２Ｎｘ１／２Ｎ）、ｖｅｒｔｉｃａｌ－ｌｅｆｔ ＡＴ（１／２Ｎｘ２Ｎ、３／２Ｎｘ２Ｎ）、ｖｅｒｔｉｃａｌ－ｒｉｇｈｔ ＡＴ（３／２Ｎｘ２Ｎ、１／２Ｎｘ２Ｎ）の４つの形態の分割を有することができる。それぞれのＢＴ、ＴＴ、ＡＴは、ＢＴ、ＴＴ、ＡＴを使用して再帰的にさらに分割されることができる。

【0092】

図６ａは、ＱＴの分割の例を示す。ブロックＡは、ＱＴによって４個のサブブロック（Ａ０、Ａ１、Ａ２、Ａ３）に分割されることができる。サブブロックＡ１は再度ＱＴによって４個のサブブロック（Ｂ０、Ｂ１、Ｂ２、Ｂ３）に分割されることができる。

【0093】

図６ｂは、ＢＴの分割の例を示す。ＱＴによってこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＢＴ（Ｃ０、Ｃ１）又はｈｏｒｉｚｏｎｔａｌ ＢＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ０のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＢＴ（Ｅ０、Ｅ１）又はｖｅｒｔｉｃａｌ ＢＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。

【0094】

図６ｃは、ＴＴの分割の例を示す。ＱＴによってこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＴＴ（Ｃ０、Ｃ１、Ｃ２）又はｈｏｒｉｚｏｎｔａｌ ＴＴ（Ｄ０、Ｄ１、Ｄ２）に分割されることができる。ブロックＣ１のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＴＴ（Ｅ０、Ｅ１、Ｅ２）又はｖｅｒｔｉｃａｌ ＴＴ（Ｆ０、Ｆ１、Ｆ２）の形態のように再帰的にさらに分割されることができる。

【0095】

図６ｄは、ＡＴの分割の例を示す。ＱＴによってこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ ＡＴ（Ｃ０、Ｃ１）又はｈｏｒｉｚｏｎｔａｌ ＡＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ１のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ ＡＴ（Ｅ０、Ｅ１）又はｖｅｒｔｉｃａｌ ＴＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。

【0096】

一方、ＢＴ、ＴＴ、ＡＴの分割は共に使用して分割が可能である。例えば、ＢＴによって分割されたサブブロックは、ＴＴ又はＡＴによる分割が可能である。また、ＴＴによって分割されたサブブロックは、ＢＴ又はＡＴによる分割が可能である。ＡＴによって分割されたサブブロックは、ＢＴ又はＴＴによる分割が可能である。例えば、ｈｏｒｉｚｏｎｔａｌ ＢＴの分割の以降、それぞれのサブブロックがｖｅｒｔｉｃａｌ ＢＴに分割されることができ、又はｖｅｒｔｉｃａｌ ＢＴの分割の以降、それぞれのサブブロックがｈｏｒｉｚｏｎｔａｌ ＢＴに分割されることもできる。この場合、分割の順序は異なるが、最終的に分割される形状は同一である。

【0097】

また、ブロックが分割されると、ブロックを探索する順序を多様に定義することができる。一般に、左側から右側に、上段から下段に探索を行い、ブロックを探索するというのは、各分割されたサブブロックの更なるブロックの分割可否を決定する順序を意味するか、ブロックがこれ以上分割されない場合、各サブブロックの符号化順序を意味するか、又はサブブロックから他の隣接ブロックの情報を参照する際の探索順序を意味することができる。

【0098】

図７及び図８は、本明細書の実施例にかかるインター予測に基づくビデオ／画像のエンコーディング手続及びエンコーディング装置内のインター予測部を示す。

【0099】

エンコーディング装置１００は、現在のブロックに対するインター予測を行う（Ｓ７１０）。エンコーディング装置１００は、現在のブロックのインター予測モード及び動き情報を導出し、現在のブロックの予測サンプルを生成することができる。ここで、インター予測モードの決定、動き情報の導出、及び予測サンプル生成手続は、同時に行われてもよく、いずれかの手続が他の手続より先に行われてもよい。例えば、エンコーディング装置１００のインター予測部１８０は、予測モード決定部１８１、動き情報導出部１８２、予測サンプル導出部１８３を含むことができ、予測モード決定部１８１で現在のブロックに対する予測モードを決定し、動き情報導出部１８２から現在のブロックの動き情報を導出し、予測サンプル導出部１８３から現在のブロックの予測サンプルを導出することができる。例えば、エンコーディング装置１００のインター予測部１８０は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定領域（サーチ領域）内で前記現在のブロックと類似のブロックをサーチし、現在のブロックとの差が最小又は一定基準以下である参照ブロックを導出することができる。これに基づいて、前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、参照ブロックと現在のブロックの位置の差異に基づいて動きベクトルを導出することができる。エンコーディング装置１００は、多様な予測モードのうち現在のブロックに対して適用されるモードを決定することができる。エンコーディング装置１００は、多様な予測モードに対するＲＤ費用（ｃｏｓｔ）を比較し、現在のブロックに対する最適の予測モードを決定することができる。

【0100】

例えば、エンコーディング装置１００は、現在のブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、マージ候補リストに含まれたマージ候補の指す参照ブロックのうち、現在のブロックとの差が、最小又は一定基準以下である参照ブロックを導出することができる。この場合、導出された参照ブロックと関連したマージ候補が選択され、選択されたマージ候補を指すマージインデックス情報が生成され、デコーディング装置２００にシグナリングされることができる。選択されたマージ候補の動き情報を利用し、現在のブロックの動き情報が導出できる。

【0101】

別の例として、エンコーディング装置１００は、現在のブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、（Ａ）ＭＶＰ候補リストに含まれたＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち選択されたＭＶＰ候補の動きベクトルを現在のブロックのＭＶＰとして利用できる。この場合、例えば、前述した動き推定によって導出された参照ブロックを指す動きベクトルが、現在のブロックの動きベクトルとして利用されることができ、ＭＶＰ候補のうち、現在のブロックの動きベクトルとの差が最も小さい動きベクトルを有するＭＶＰ候補が選択されたＭＶＰ候補になることができる。現在のブロックの動きベクトルからＭＶＰを引いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出できる。この場合、ＭＶＤに関する情報がデコーディング装置２００にシグナリングされることができる。また、（Ａ）ＭＶＰモードが適用される場合、参照ピクチャインデックスの値は、参照ピクチャインデックス情報構成され、別にデコーディング装置２００にシグナリングされることができる。

【0102】

エンコーディング装置１００は、予測サンプルに基づいて残差サンプルを導出することができる（Ｓ７２０）。エンコーディング装置１００は、現在のブロックの原本サンプルと予測サンプルとの比較を通じて、残差サンプルを導出することができる。

【0103】

エンコーディング装置１００は、予測情報及び残差情報を含む画像情報をエンコーディングする（Ｓ７３０）。エンコーディング装置１００は、エンコーディングされた画像情報をビットストリームの形態で出力することができる。予測情報は、予測手続に関する情報として、予測モード情報（例えば、スキップフラグ、マージフラグ、又はモードインデックス）及び動き情報を含むことができる。動き情報は、動きベクトルを導出するための情報である候補選択情報（例えば、マージインデックス、ｍｖｐフラグ、又はｍｖｐインデックス）を含むことができる。また、動き情報は、前述したＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含むことができる。さらに、動き情報は、Ｌ０予測、Ｌ１予測、又は双（ｂｉ）予測が適用されるか否かを示す情報を含むことができる。残差情報は、残差サンプルに関する情報である。残差情報は、残差サンプルに対する量子化された変換係数に関する情報を含むことができる。

【0104】

出力されたビットストリームは、（デジタル）保存媒体に保存されてデコーディング装置に伝達されることができ、又はネットワークを介してデコーディング装置に伝達されることもできる。

【0105】

一方、前述したように、エンコーディング装置は、前記参照サンプル及び前記残差サンプルに基づいて、復元ピクチャ（復元サンプル及び復元ブロック含む）を生成することができる。これは、デコーディング装置２００で行われるものと同一の予測結果をエンコーディング装置１００から導出するためであり、これを介して、コーディングの効率を高めることができるためである。従って、エンコーディング装置１００は、復元ピクチャ（又は復元サンプル、復元ブロック）をメモリに保存し、インター予測のための参照ピクチャとして活用できる。復元ピクチャにインループフィルタリング手続等がさらに適用できることは前述した通りである。

【0106】

図９及び図１０は、本明細書の実施例にかかるインター予測に基づくビデオ／画像のデコーディング手続及びデコーディング装置内のインター予測部を示す。

【0107】

デコーディング装置２００はエンコーディング装置１００で行われた動作と対応する動作を行うことができる。デコーディング装置２００は、受信された予測情報に基づいて現在のブロックに予測を行い、予測サンプルを導出することができる。

【0108】

具体的に、デコーディング装置２００は受信された予測情報に基づいて、現在のブロックに対する予測モードを決定することができる（Ｓ９１０）。デコーディング装置２００は、予測情報内の予測モード情報に基づいて、現在のブロックにどんなインター予測モードが適用されるか決定できる。

【0109】

例えば、デコーディング装置２００はマージフラグ（ｍｅｒｇｅ ｆｌａｇ）に基づいて、現在のブロックにマージモードが適用されるか、又は（Ａ）ＭＶＰモードが決定されるか否かを決定することができる。或いは、デコーディング装置２００は、モードインデックス（ｍｏｄｅ ｉｎｄｅｘ）に基づいて、多様なインター予測モードの候補のうち一つを選択することができる。インター予測モードの候補は、スキップモード、マージモード及び／又は（Ａ）ＭＶＰモードを含んでもよく、又は後述する多様なインター予測モードを含んでもよい。

【0110】

デコーディング装置２００は、決定されたインター予測モードに基づいて、現在のブロックの動き情報を導出する（Ｓ９２０）。例えば、デコーディング装置２００は、現在のブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、マージ候補リストに含まれたマージ候補のうち一つのマージ候補を選択することができる。マージ候補の選択は、マージインデックス（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われる。選択されたマージ候補の動き情報から現在のブロックの動き情報が導出できる。選択されたマージ候補の動き情報が現在のブロックの動き情報として利用されることができる。

【0111】

別の例として、デコーディング装置２００は、現在のブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、（Ａ）ＭＶＰ候補リストに含まれたＭＶＰ候補のうち選択されたＭＶＰ候補の動きベクトルを現在のブロックのＭＶＰとして利用することができる。ＭＶＰの選択は、前述した選択情報（ＭＶＰフラグ又はＭＶＰインデックス）に基づいて行われる。この場合、デコーディング装置２００は、ＭＶＤに関する情報に基づいて前記現在のブロックのＭＶＤを導出することができ、現在のブロックのＭＶＰとＭＶＤに基づいて、現在のブロックの動きベクトルを導出することができる。また、デコーディング装置２００は、参照ピクチャインデックス情報に基づいて現在のブロックの参照ピクチャインデックスを導出することができる。現在のブロックに関する参照ピクチャリスト内で、参照ピクチャインデックスの指すピクチャが現在のブロックのインター予測のために参照される参照ピクチャとして導出されることができる。

【0112】

一方、後述するように、候補リストの構成なしで、前記現在のブロックの動き情報が導出でき、この場合、後述する予測モードで開始された手続によって、現在のブロックの動き情報が導出できる。この場合、前述したような候補リストの構成は省略され得る。

【0113】

デコーディング装置２００は、現在のブロックの動き情報に基づいて、現在のブロックに対する予測サンプルを生成することができる（Ｓ９３０）。この場合、デコーディング装置２００は、現在のブロックの参照ピクチャインデックスに基づいて参照ピクチャを導出し、現在のブロックの動きベクトルが参照ピクチャ上で指す参照ブロックのサンプルを利用し、現在のブロックの予測サンプルを導出することができる。この場合、後述するように、場合によって現在のブロックの予測サンプルのうち全て又は一部に対する予測サンプルのフィルタリング手続がさらに行われる。

【0114】

例えば、デコーディング装置２００のインター予測部２６０は、予測モード決定部２６１、動き情報導出部２６２、予測サンプル導出部２６３を含むことができ、予測モード決定部１８１で受信された予測モード情報に基づいて前記現在のブロックに対する予測モードを決定し、動き情報導出部１８２で受信された動き情報に関する情報に基づいて、前記現在のブロックの動き情報（動きベクトル及び／又は参照ピクチャインデックス等）を導出し、予測サンプル導出部１８３から前記現在のブロックの予測サンプルを導出することができる。

【0115】

デコーディング装置２００は受信された残差情報に基づいて、前記現在のブロックに対する残差サンプルを生成する（Ｓ９４０）。デコーディング装置２００は、予測サンプル及び残差サンプルに基づいて現在のブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成することができる（Ｓ９５０）。以降、前記復元ピクチャにインループフィルタリング手続等がさらに適用できることは前述した通りである。

【0116】

前述したようにインター予測手続は、インター予測モード決定段階、決定された予測モードによる動き情報導出段階、導出された動き情報に基づく予測実行（予測サンプルの生成）段階を含むことができる。

【0117】

ピクチャ内現在のブロックの予測のために多様なインター予測モードが使用できる。例えば、マージモード、スキップモード、ＭＶＰモード、アフィン（Ａｆｆｉｎｅ）モード等多様なモードが使用できる。ＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード等が付随的なモードにさらに使用されることができる。アフィンモードは、アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）モードとも呼ばれる。ＭＶＰモードは、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードとも呼ばれる。

【0118】

現在のブロックのインター予測モードを指す予測モード情報がエンコーディング装置からデコーディング装置２００にシグナリングされることができる。予測モード情報は、ビットストリームに含まれてデコーディング装置２００で受信されることができる。予測モード情報は、多数の候補モードのうち一つを指示するインデックス情報を含むことができる。或いは、フラグ情報の階層的シグナリングを介してインター予測モードを指示することもできる。この場合、予測モード情報は、１つ以上のフラグを含むことができる。例えば、エンコーディング装置１００は、スキップフラグをシグナリングしてスキップモードの適用可否を指示し、スキップモードが適用されない場合に、マージフラグをシグナリングしてマージモードの適用可否を指示し、マージモードが適用されない場合に、ＭＶＰモードが適用されるものと指示するか、更なる区分のためのフラグをさらにシグナリングすることもできる。アフィンモードは、独立したモードにシグナリングされてもよく、又はマージモード又はＭＶＰモード等に従属的なモードにシグナリングされてもよい。例えば、アフィンモードは、後述するように、マージ候補リスト又はＭＶＰ候補リストの１つの候補で構成されることもできる。

【0119】

エンコーディング装置１００又はデコーディング装置２００は、現在のブロックの動き情報を利用してインター予測を行うことができる。エンコーディング装置１００は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手続を介して、現在のブロックに対する最適の動き情報を導出することができる。例えば、エンコーディング装置１００は、現在のブロックに対する原本ピクチャ内の原本ブロックを利用し、相関性の高い類似の参照ブロックを参照ピクチャ内の決められた探索範囲内で分数ピクセル単位で探索することができ、これを介して、動き情報を導出することができる。ブロックの類似性は、位相（ｐｈａｓｅ）ベースのサンプル値の差に基づいて導出することができる。例えば、ブロックの類似性は、現在のブロック（又は現在のブロックのテンプレート）と参照ブロック（又は参照ブロックのテンプレート）間のＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）に基づいて計算されることができる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて様々な方法によってデコーディング装置にシグナリングされることができる。

【0120】

マージモード（ｍｅｒｇｅ ｍｏｄｅ）が適用される場合、現在の予測ブロックの動き情報が直接的に送信されず、周辺予測ブロックの動き情報を利用し、現在の予測ブロックの動き情報を誘導することになる。従って、エンコーディング装置１００はマージモードを利用したことを知らせるフラグ情報及び周辺のどの予測ブロックを利用したかを知らせるマージインデックスを送信することによって、現在の予測ブロックの動き情報を指示することができる。

【0121】

エンコーディング装置１００は、マージモードを行うために、現在の予測ブロックの動き情報を誘導するために利用されるマージ候補ブロック（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）をサーチすべきである。例えば、マージ候補ブロックは最大５個まで利用され得るが、本明細書はこれに限定されない。そして、マージ候補ブロックの最大個数はスライスヘッダで送信されることができ、本明細書はこれに限定されない。マージ候補ブロックを見付けた後、エンコーディング装置１００はマージ候補リストを生成することができ、これらのうち最も小さい費用を有するマージ候補ブロックを最終のマージ候補ブロックとして選択できる。

【0122】

本明細書は、マージ候補リストを構成するマージ候補ブロックに対する様々な実施例を提供する。

【0123】

マージ候補リストは、例えば、５個のマージ候補ブロックを利用することができる。例えば、４個の空間的マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と１個の時間的マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を利用することができる。

【0124】

以下、前述したインター予測のために、参照ピクチャリストを構成するための方法について説明する。

【0125】

ＨＬＳ（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）は、共通の情報（ｃｏｍｍｏｎ ｉｎｆｏｒｍａｔｉｏｎ）の全般的な共有を制御するためにビデオコーディングシステムに存在する。ＨＬＳは、メモリの使用が効率的に可能なビット数を減少させるために、フレームを管理するためであることを目的とする。ＨＬＳは、参照ピクチャ管理システムを使用し、これは、参照ピクチャマーキング（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｍａｒｋｉｎｇ）と称されるプロセスを呼び出す（ｉｎｖｏｋｅ）。本プロセスは、現在のフレームのデコーディングのための有用性（ｕｓａｂｉｌｉｔｙ）に応じて、各フレームをレーベリング（ｌａｂｅｌｉｎｇ）する。ＨＬＳを設計して実現するのにおいて、目標は現在のピクチャのデコーディングのために必要なピクチャの識別のために単純で効果的な手段を有することである。

【0126】

実施例１

【0127】

本実施例において、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ、ｐｉｃｔｕｒｅ ｌｉｓｔ、ＲＰＬ）管理システムを紹介し、これは直接的にシグナリングされて導出される。２つのリスト（即ち、Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ０、Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ１）が使用される。２つの参照ピクチャリストを導出するための情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、及びスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒｓ）でシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）としてシグナリングされる。２つのリストは、全てのタイプのスライスに対して生成される。しかしながら、Ｉ－スライスは、前記リストからいかなる情報も使用せず、反面、Ｐ－スライスは、ただＬｉｓｔ０からの情報のみを使用し、Ｂ－スライスは、前記全てのリストから情報を使用する。ピクチャは、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）のナンバーを使用して識別される。各ピクチャは、「ＬＴＲＰ（ｌｏｎｇ－ｔｅｒｍ－ｒｅｆｅｒｅｎｃｅ－ｐｉｃｔｕｒｅ）」又は「ＳＴＲＰ（ｓｈｏｒｔ－ｔｅｒｍ－ｒｅｆｅｒｅｎｃｅ－ｐｉｃｔｕｒｅ）」に分類できる。ＬＴＲＰ又はＳＴＲＰに分類されたピクチャは、活性ピクチャ（ａｃｔｉｖｅ ｐｉｃｔｕｒｅ）であり、デコーディング中に使用できることを表し、非活性のピクチャ（ｉｎａｃｔｉｖｅ ｐｉｃｔｕｒｅ）は、デコーディングプロセス中に使用されないものである。

【0128】

図１１は、本明細書の実施例にかかる参照ピクチャリストを構成するためのフローチャートの例を示す。図１１の動作は、デコーディング装置２００により行われる。

【0129】

図１１は、参照ピクチャリストの構成プロセスの全般を示す。まず、Ｓ１１０５の段階で、デコーディング装置２００は、リストでエントリーの全個数をパーシングする。以降、それぞれのエントリーに対して、ピクチャが参照ピクチャのマーキングプロセス（Ｓ１１２０）を介してＬＴＲＰ又はＳＴＲＰとしてマークされる。本文書で、ピクチャに対するマーキングは、ピクチャに関する情報（パラメータ）を追加するかアップデートする動作を意味する。具体的に、デコーディング装置２００は、エントリーインデックス（ｉ）を初期化し（Ｓ１１１０）、エントリーインデックス（ｉ）が全エントリーの数より小さいか等しい場合（Ｓ１１１５）、参照ピクチャのマーキングを行う（Ｓ１１２０）。また、デコーディング装置は、参照ピクチャのマーキングが完了すると、エントリーインデックス（ｉ）をアップデートする（Ｓ１１２５）。本発明の実施例は、参照ピクチャの管理システムを改善するための新しい構造を提案する。

【0130】

図１２及び図１３は、本明細書の実施例にかかる参照ピクチャのマーキングのためのフローチャートの例を示す。

【0131】

【表1】

【0132】

表１は、参照ピクチャリストを構成するためのシンタックスの例である。ここで、本実施例は、参照ピクチャの管理のための可能な構造を提供し、ここで、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔの関数は、シンタックスエレメントｒｐｌ１＿ｓａｍｅ＿ａｓ＿ｒｐｌ０＿ｆｌａｇにより指示されるｌｉｓｔＩｄｘを第１入力に受ける。即ち、もしフラグ（ｒｐｌ１＿ｓａｍｅ＿ａｓ＿ｒｐｌ０＿ｆｌａｇ）が真（ｔｒｕｅ）であると、これは、リストは同一であり、１つのリスト（Ｌ０又はＬ１）はもう１つ（Ｌ１又はＬ０）から類推できることを表す。ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ関数の第２入力（ｒｐｌｓＩｄｘ）はＳＰＳで明示されるコーディングされたビデオシーケンスで使用される参照ピクチャリストの数を表す。ｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓは、シンタックスの構造ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐＩｓＩｄｘ）でエントリーの数を表す。各エントリーに対して、ＬＴＲＰフレームが使用されると、フラグがリストでフレームがＬＴＲＰ又はＳＴＲＰと取り扱われるか否かを読み取るためにパーシングされる。エントリーがＳＴＲＰであり、シンタックスの構造ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐＩｓＩｄｘ）で一番目のＳＴＲＰエントリーであると、現在のピクチャのＰＯＣとｉ番目のエントリーにより参照されるピクチャのＰＯＣの絶対差（ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）を表し、或いは、ｉ番目のエントリーがＳＴＲＰエントリーであるが、一番目のエントリーでないと、ｉ番目のエントリーにより参照されるピクチャのＰＯＣと以前のＳＴＲＰにより指示されるピクチャのＰＯＣ間の絶対差を表す。（Ｉｆ ｔｈｅ ｅｎｔｒｙ ｉｓ ａ ＳＴＲＰ， ｉｔ ｉｓ ｔｈｅ ｆｉｒｓｔ ＳＴＲＰ ｅｎｔｒｙ ｉｎ ｔｈｅ ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃ（ｌｉｓｔＩｄｘ，ｒｐＩｓＩｄｘ） ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｉｔ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ ｉｎ ＰＯＣ ｏｆ ｔｈｅ ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ ａｎｄ ｔｈｅ ｐｉｃｔｕｒｅ ｒｅｆｅｒｒｅｄ ｔｏ ｂｙ ｔｈｅ ｉ－ｔｈ ｅｎｔｒｙ ｏｒ ｗｈｅｎ ｔｈｅ ｉ－ｔｈ ｅｎｔｒｙ ｉｓ ａｎ ＳＴＲＰ ｅｎｔｒｙ ｂｕｔ ｎｏｔ ｔｈｅ ｆｉｒｓｔ ｅｎｔｒｙ， ｔｈｅｎ ｉｔ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ＰＯＣ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅｄ ｒｅｆｅｒｒｅｄ ｔｏ ｂｙ ｔｈｅ ｉ－ｔｈ ｅｎｔｒｙ ａｎｄ ｂｙ ｔｈｅ ｐｒｅｖｉｏｕｓ ＳＴＲＰ）．ｉ番目のエントリーに対するａｂｓ＿ｄｅｌｔａ＿ｐｏｃが０より大きいと、ＳＴＲＰの符号の情報をマークするフラグがシグナルされる。しかし、もしｓｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが０であると、ｉ番目のエントリーがロングターム参照ピクチャ（ｌｏｎｇ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）であることを表す。ＬＴＲＰは、ＰＯＣ ＬＳＢ（ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）によりシグナルされる。

【0133】

表１に関するシンタックスエレメントは、下記のように定義できる。

【0134】

ｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］はｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）シンタックスの構造でエントリーの数を表す。ｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］の値は０からｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１＋１４の間の値になり得る。

【0135】

ｒｐｌ１＿ｓａｍｅ＿ａｓ＿ｒｐｌ０＿ｆｌａｇが１であると、シンタックスの構造ｎｕｍ＿ｒｅｆ＿ｐｉｃ＿ｌｉｓｔｓ＿ｉｎ＿ｓｐｓ［１］とｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（１，ｒｐｌｓＩｄｘ）が存在せず、以下が適用される。

【0136】

－ ｎｕｍ＿ｒｅｆ＿ｐｉｃ＿ｌｉｓｔｓ＿ｉｎ＿ｓｐｓ［１］の値は、ｎｕｍ＿ｒｅｆ＿ｐｉｃ＿ｌｉｓｔｓ＿ｉｎ＿ｓｐｓ［０］の値と同一のものと類推される。

【0137】

－ ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（１，ｒｐｌｓＩｄｘ）でそれぞれのシンタックスエレメントの値は０からｎｕｍ＿ｒｅｆ＿ｐｉｃ＿ｌｉｓｔｓ＿ｉｎ＿ｓｐｓ［０］－１の間の値になり得るｒｐｌｓＩｄｘに対するｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（０，ｒｐｌｓＩｄｘ）での該当シンタックスエレメントの値と同一のものと類推される。

【0138】

ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃｓ＿ｆｌａｇが０であると、ＬＴＲＰがＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）で、あるコーディングされたピクチャのインター予測のために使用されないことを表す。ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃｓ＿ｆｌａｇが１であると、ＬＴＲＰがＣＶＳで１つ又はそれ以上のコーディングされたピクチャのインター予測のためにＬＴＲＰが使用されることを表す。

【0139】

ｓｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］［ｉ］が１であると、シンタックスの構造ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）でｉ番目のエントリーがＳＴＲＰエントリーであることを表す。ｓｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］［ｉ］が０であると、シンタックスの構造ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）でｉ番目のエントリーがＬＴＲＰエントリーであることを表す。存在しないと、ｓｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］［ｉ］の値は１と類推される。

【0140】

ａｂｓ＿ｄｅｌｔａ＿ｐｏｃ＿ｓｔ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］［ｉ］は、ｉ番目のエントリーがシンタックスの構造ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）で一番目のＳＴＲＰであると、現在のピクチャとｉ番目のエントリーにより参照されるピクチャのピクチャ順序のカウント値間の絶対差を表すか、又はｉ番目のエントリーがＳＴＲＰエントリーであるが、シンタックスの構造ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）で一番目のＳＴＲＰエントリーでないと、ｉ番目のエントリーとシンタックスの構造ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）で以前のＳＴＲＰにより指示されるピクチャのピクチャ順序のカウント値間の絶対差を表す。

【0141】

ａｂｓ＿ｄｅｌｔａ＿ｐｏｃ＿ｓｔ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］［ｉ］の値は０から２１５－１の間の値を有する。

【0142】

ｓｔｒｐ＿ｅｎｔｒｙ＿ｓｉｇｎ＿ｆｌａｇ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］［ｉ］が１であると、シンタックスの構造ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）でｉ番目のエントリーが０より大きいか等しい値を有することを表す。ｓｔｒｐ＿ｅｎｔｒｙ＿ｓｉｇｎ＿ｆｌａｇ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］［ｉ］が０であると、シンタックスの構造ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）でｉ番目のエントリーが０より小さい値を有することを表す。存在しないと、ｓｔｒｐ＿ｅｎｔｒｙ＿ｓｉｇｎ＿ｆｌａｇ［ｉ］［ｊ］の値は１と類推される。

【0143】

ｐｏｃ＿ｌｓｂ＿ｌｔ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］［ｉ］は、シンタックスの構造ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）でｉ番目のエントリーにより参照されるピクチャのピクチャ順序カウントのモデューロ（ｍｏｄｕｌｏ）ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂを表す。シンタックスエレメントｐｏｃ＿ｌｓｂ＿ｌｔ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］［ｉ］の長さは、ｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４＋４ ｂｉｔｓである。

【0144】

前述したシンタックスエレメントの説明は、下記の表２のように整理できる。

【0145】

【表2】

【0146】

図１２を参照すると、デコーディング装置２００は、該当参照ピクチャリストのエントリーでＬＴＲＰが使用されるか否かをｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃｓ＿ｆｌａｇを介して確認し（Ｓ１２０５）、ＬＴＲＰが使用されると（ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃｓ＿ｆｌａｇが１であると）、ｓｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇをパーシングし（Ｓ１２１０）、ｓｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが真（ｔｒｕｅ）であるか否かを確認する（Ｓ１２１５）。ｓｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが真（ｔｒｕｅ）（１）であると（即ち、現在のエントリーがＳＴＲＰに該当すると）、デコーディング装置２００はａｂｓ＿ｄｅｌｔａ＿ｐｏｃ＿ｓｔをパーシングする。即ち、現在のエントリーがＳＴＲＰエントリーに該当すると、デコーディング装置２００は現在のエントリーに関するピクチャと以前のピクチャのＰＯＣの差異値を獲得する。

【0147】

もし、１２０５の段階で、ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃｓ＿ｆｌａｇが偽（ｆａｌｓｅ）であると、デコーディング装置は直ぐにａｂｓ＿ｄｅｌｔａ＿ｐｏｃ＿ｓｔをパーシングする。以降、デコーディング装置２００は、ａｂｓ＿ｄｅｌｔａ＿ｐｏｃ＿ｓｔが０より大きいか否かを確認し（Ｓ１２２５）、ａｂｓ＿ｄｅｌｔａ＿ｐｏｃ＿ｓｔが０より大きいと、ｓｔｒｐ＿ｅｎｔｒｙ＿ｓｉｇｎ＿ｆｌａｇをパーシングする（Ｓ１２３０）。

【0148】

Ｓ１２１５の段階で、ｓｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが偽（ｆａｌｓｅ）（０）であると、デコーディング装置２００は、ｐｏｃ＿ｌｓｂ＿ｌｔをパーシングする（Ｓ１２３５）。即ち、現在のエントリーがＬＴＲＰエントリーに該当すると、デコーディング装置２００は、現在のエントリーに関するピクチャのＰＯＣ ｍｏｄｕｌｏ値を獲得する。ピクチャのＰＯＣ ｍｏｄｕｌｏ値は、該当ピクチャのＰＯＣ値を導出するために使用される値であって、ＰＯＣ ＭＳＢ（ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）と組み合わせてピクチャのＰＯＣ値が誘導できる。

【0149】

前述した参照ピクチャリストの構成過程は、図１３のように２つのブロックで表現され得る。各ブロックの動作は、同一のハードウェア又は互いに異なるハードウェアにより実現されることができる。デコーディング装置２００は、エントリーの数（ｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓ）とロングターム参照ピクチャが使用されるか否かを表すフラグ（ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ）を獲得し（１３１０）、各エントリー毎にＬＴＲＰ又はＳＴＲＰであるか否かを決定することができる（１３２０）。

【0150】

実施例２

【0151】

本実施例において、表１で説明されたパラメータｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓを制限することを提案する。通常、ｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓ［ｌｉｓｔＩｄｘ］［ｒｐＩｓＩｄｘ］は、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐＩｓＩｄｘ）でエントリーの数を表す。ｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓの値が０からｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１＋１４までの範囲の値を有し得ることが確認される。より少ないフレームが使用されるために、ｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓの範囲に対する制限が導入され得る。最悪のシナリオ（ｗｏｒｓｔ ｃａｓｅ ｓｃｅｎａｒｉｏ）は、ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１により指示される値より１４フレームがさらに多い場合を要求することである。これは、そのように多くのフレームを収容するために復号ピクチャバッファが充分なメモリを有することができなければならないということを意味する。代わりに、階層的ピクチャのグループ（ｈｉｅｒａｒｃｈｉｃａｌ ｇｒｏｕｐｓ ｏｆ ｓｔｒｕｃｔｒｅｓ （ＧＯＰ）ｓ）に対して、レイヤーのｔｅｍｐｏｒａｌＩｄ（時間的ＩＤ）を考慮して制限が導入され得る。

【0152】

更なるシンタックスが表３のように定義できる。 ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１足す１は、ピクチャの格納バッファの単位でＣＶＳに１つの復号ピクチャバッファの最大要求サイズを表す。ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１の値は０からＭａｘＤｐｂＳｉｚｅ－１の間の値を有し得、ＭａｘＤｐｂＳｉｚｅは別に定義されることができる。

【0153】

【表3】

【0154】

即ち、参照ピクチャリストのエントリーの数は、復号ピクチャバッファの最大要求サイズで１４を足した値を最大値として有し得る。また、本実施例（実施例２）にかかると、参照ピクチャリストのエントリーの数は復号ピクチャバッファの最大要求サイズを最大値として有し得る。

【0155】

実施例３

【0156】

本実施例において、シンタックスエレメントｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃｓ＿ｆｌａｇをｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐＩｓＩｄｘ）から除去する方法が提案される。本シンタックスエレメント（ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃｓ＿ｆｌａｇ）が０であると、これ以上ＬＴＲＰがＣＶＳでのあるコーディングされたピクチャのインター予測のために使用されないことを示す。ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃｓ＿ｆｌａｇが１であると、ＬＴＲＰがＣＶＳで１つ又はそれ以上のコーディングされたフィルタのインター予測のために使用されることを表す。シンタックスエレメントｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃｓ＿ｆｌａｇを除去することによって、ＬＴＲＰが基本的にＣＶＳで使用されることが類推できる。これは、ＬＴＲＰが普通ＤＰＢで高い信頼度のピクチャであるため有用である。

【0157】

実施例４

【0158】

図１４は、本明細書の実施例にかかる参照ピクチャのマーキングのためのフローチャートの別の例を示す。

【0159】

ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐＩｓＩｄｘ）に対する別の実施例が提供される。特に、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐＩｓＩｄｘ）は、ＬＴＲＰとＳＴＲＰが別にシグナリングされる場合を考慮して設定されることができる。これは、下記の表４のように表現され得る。ここで、本明細書の実施例は、使用されるＳＴＲＰの総数を表すｎｕｍ＿ｓｔｒｐ＿ｅｎｔｒｉｅｓ［ｌｉｓｔＩｄｘ］［ｒｐＩｓＩｄｘ］と、ＬＴＲＰの総数を表すｎｕｍ＿ｌｔｒｐ＿ｅｎｔｒｉｅｓ［ｌｉｓｔＩｄｘ］［ｒｐＩｓＩｄｘ］を制限する方法を提供する。

【0160】

図１４は、ＬＴＲＰとＳＴＲＰの数が別にシグナリングされる提案構造の概要を表す。ここで、ＳＴＲＰとＬＴＲＰの数は、ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆ＿ｐｉｃｓ＿ｆｌａｇによるＬＴＲＰを使用して先にパーシングされる。以降、各エントリーに対して、ｌｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇがパーシングされ、これは、ピクチャがＬＴＲＰであるか否かを指示する。ｌｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが真（ｔｒｕｅ）であると、ＬＴＲＰに対するカウンターが増加する。そうでないと、ＳＴＲＰに対するカウンターが増加する。さらに、ｌｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが偽（ｆａｌｓｅ）であると、ＳＴＲＰはｄｅｌｔａ＿ｐｏｃ＿ｓｔのパーシングとその符号の情報（ｄｅｌｔａ＿ｐｏｃ＿ｓｔが０より大きい場合）をパーシングすることによってＳＴＲＰが確認される。そうでないと、ＬＴＲＰがそのＬＳＢ ＰＯＣにより確認される。

【0161】

下記の表４は、本実施例にかかる参照ピクチャリストの構成のためのシンタックスの例である。

【0162】

【表4】

【0163】

ｎｕｍ＿ｓｔｒｐ＿ｅｎｔｒｉｅｓ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］は、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）でＳＴＲＰエントリーの数を表す。

【0164】

ｎｕｍ＿ｌｔｒｐ＿ｅｎｔｒｉｅｓ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］は、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ，ｒｐｌｓＩｄｘ）でＬＴＲＰエントリーの数を表す。

【0165】

ｌｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］が存在しないと、ｌｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］の値は下記のように類推される。

【0166】

ｎｕｍ＿ｌｔｒｐ＿ｅｎｔｒｉｅｓ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］が０であると、その値（ｌｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］）は、０と類推される。そうでないと、ｎｕｍＬｔｒｐｓ（ＬＴＲＰの数）がｎｕｍ＿ｌｔｒｐ＿ｅｎｔｒｉｅｓ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］のようであるとき、０と類推され、ｎｕｍＳｔｒｐｓ（ＳＴＲＰの数）がｎｕｍ＿ｓｔｒｐ＿ｅｎｔｒｉｅｓ［ｌｉｓｔＩｄｘ］［ｒｐｌｓＩｄｘ］のようであるとき、０と類推される。

【0167】

【表5】

【0168】

図１４を参照すると、デコーディング装置２００は参照リストの構成を開始し（Ｓ１４０５）、ＳＴＲＰエントリーの数（ｎｕｍ＿ｓｔｒｐ＿ｅｎｔｒｉｅｓ）をパーシングする（Ｓ１４１０）。デコーディング装置２００は、ＬＴＲＰが使用されるか否かを確認し（Ｓ１４１５）、ＬＴＲＰが使用されるとＬＴＲＰの数（ｎｕｍ＿ｌｔｒｐ＿ｅｎｔｒｉｅｓ）をパーシングする（Ｓ１４２０）。デコーディング装置２００は、変数ｉ、ｎｕｍＬｔｒｐｓ、ｎｕｍＳｔｒｐｓを０と初期化し（Ｓ１４２５）、変数ｉがエントリーの数（ｎｕｍ＿ｒｅｆ＿ｅｎｔｉｒｅｓ）より等しいか小さいかどうかを決定し（Ｓ１４３０）、ｉがエントリーの数（ｎｕｍ＿ｒｅｆ＿ｅｎｔｉｒｅｓ）より等しいか小さいと、参照ピクチャのマーキング動作を行い（Ｓ１４３５）、ｉをアップデートする（Ｓ１４４０）。

【0169】

図１５は、本明細書の実施にかかるビデオ信号を処理するためのフローチャートの例を示す。図１５の動作は、デコーディング装置２００により行われる。

【0170】

Ｓ１５１０の段階で、デコーディング装置２００は、ビデオ信号で現在のピクチャの参照ピクチャリストを構成する。ここで、デコーディング装置２００は、参照ピクチャリストの第１エントリーがＳＴＲＰエントリーに該当すると、第１エントリーに関するピクチャと以前のピクチャのＰＯＣの差異値（ＰＯＣ ｄｉｆｆｅｒｅｎｃｅ）（例：ａｂｓ＿ｄｅｌｔａ＿ｐｏｃ＿ｓｔ）を獲得し、参照ピクチャリストの第２エントリーがＬＴＲＰエントリーに該当すると、前記第２エントリーに関するピクチャのＰＯＣのモデューロ（ｍｏｄｕｌｏ）値（例：ｐｏｃ＿ｌｓｂ＿ｌｔ）を獲得する。

【0171】

一実施例において、参照ピクチャリストを構成する過程で、デコーディング装置２００は、前記参照ピクチャリストのエントリーの数（ｎｕｍ＿ｒｅｆ＿ｅｎｔｒｉｅｓ）を獲得し、エントリーの数だけ参照ピクチャリストのエントリーのそれぞれに対して、ＬＴＲＰ又はＳＴＲＰに参照ピクチャのマーキングを行うことができる。

【0172】

一実施例において、エントリーの数は、復号ピクチャバッファの最大要求サイズで１４を足した値（ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１＋１４）又は復号ピクチャバッファの最大要求サイズ（ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１）を最大値として有し得る。

【0173】

一実施例において、参照ピクチャのマーキングを行う過程で、デコーディング装置２００は、表４のようにＳＴＲＰエントリーの数（例：ｎｕｍ＿ｓｔｒｐ＿ｅｎｔｒｉｅｓ）とＬＴＲＰエントリーの数（例：ｎｕｍ＿ｌｔｒｐ＿ｅｎｔｒｉｅｓ）を獲得し、ＳＴＲＰエントリーの数だけＳＴＲＰのマーキングを行い、ＬＴＲＰエントリーの数だけＬＴＲＰのマーキングを行うことができる。

【0174】

一実施例において、参照ピクチャリストを構成する過程で、デコーディング装置２００は、第１フラグを獲得し、第１フラグに基づいて参照ピクチャリストのエントリーがＳＴＲＰエントリー又はＬＴＲＰエントリーに該当するか否かを決定することができる。例えば、デコーディング装置２００は、現在のエントリーに関するピクチャがＳＴＲＰに該当するか否かを指示するフラグ（例：ｓｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ）を使用し、現在のエントリーがＳＴＲＰエントリーであるか、又はＬＴＲＰエントリーであるかどうかを決定することができる。

【0175】

一実施例において、ＰＯＣの差異値は、以前のピクチャのＰＯＣから前記第１エントリーに関するピクチャのＰＯＣを引いた値の絶対値を表す。また、絶対値（ＰＯＣの絶対差）（例：ａｂｓ＿ｄｅｌｔａ＿ｐｏｃ＿ｓｔ）が０より大きい場合、デコーディング装置２００は、ＰＯＣの差異値の符号（ｓｉｇｎ）を指示する第２フラグ（例：ｓｔｒｐ＿ｅｎｔｒｙ＿ｓｉｇｎ＿ｆｌａｇ）を獲得することができる。

【0176】

Ｓ１５２０の段階で、デコーディング装置２００は、参照ピクチャリストを使用して現在のピクチャに対する予測を行う。例えば、デコーディング装置２００は、第１参照ピクチャリストＬ０又は第２参照ピクチャリストＬ１に含まれた参照ピクチャで動きベクトルにより指示されるサンプル値を使用し、予測サンプルを生成することができる。

【0177】

本明細書の実施例は、参照ピクチャリストを構成するために必要な情報をエンコーディングするための方法及び装置を提供する。エンコーディング装置１００は、参照ピクチャリストを構成し、参照ピクチャリストの参照ピクチャを使用して予測を行うことができる。

【0178】

また、エンコーディング装置１００は、参照ピクチャリストの各エントリーに対して、各エントリー別に参照ピクチャリストを構成するための情報をコーディングすることができる。例えば、参照ピクチャリストを構成するための情報は、ＳＴＲＰに該当するピクチャと以前のピクチャのＰＯＣの差異値（例：ａｂｓ＿ｄｅｌｔａ＿ｐｏｃ＿ｓｔ）を含み、ＬＴＲＰに該当するピクチャのＰＯＣのモデューロ（ｍｏｄｕｌｏ）値（例：ｐｏｃ＿ｌｓｂ＿ｌｔ）を含む。

【0179】

また、エンコーディング装置１００は、参照ピクチャリスト内のエントリーのピクチャがＳＴＲＰであるかＬＴＲＰであるかどうかを指示するための第１フラグ（例：ｓｔ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇ）を参照ピクチャリストを構成するための情報に含ませてコーディングすることができる。更に、ＰＯＣの差異値（例：ａｂｓ＿ｄｅｌｔａ＿ｐｏｃ＿ｓｔ）が０より大きい場合、ＰＯＣの差異値の符号（ｓｉｇｎ）を指示する第２フラグ（例：ｓｔｒｐ＿ｅｎｔｒｙ＿ｓｉｇｎ＿ｆｌａｇ）を含むことができる。参照ピクチャリストを構成するための情報は、ＳＰＳ、ＰＰＳ、又はスライスヘッダに含まれてシグナリングされることができる。

【0180】

本明細書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取られる記録媒体に保存されることができる。本明細書にかかるデータ構造を有するマルチメディアデータもまた、コンピュータが読み取られる記録媒体に保存されることができる。前記コンピュータが読み取られる記録媒体は、コンピュータで読むことができるデータが保存される全ての種類の保存装置及び分散保存装置を含む。前記コンピュータが読み取られる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ保存装置を含むことができる。また、前記コンピュータが読み取られる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で実現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取られる記録媒体に保存されるか、有無線通信ネットワークを介して送信されることができる。

【0181】

また、本明細書の実施例は、プログラムコードによるコンピュータプログラム製品で実現されることができ、前記プログラムコードは、本明細書の実施例によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に保存されることができる。

【0182】

本明細書が適用されるデコーディング装置及びエンコーディング装置は、デジタル機器（ｄｉｇｉｔａｌ ｄｅｖｉｃｅ）に含まれ得る。「デジタル機器（ｄｉｇｉｔａｌ ｄｅｖｉｃｅ）」というのは、例えば、データ、コンテンツ、サービス等を送信、受信、処理、及び出力のうち少なくとも一つを実行可能な全てのデジタル機器を含む。ここで、デジタル機器がデータ、コンテンツ、サービス等を処理することは、データ、コンテンツ、サービス等をエンコーディング及び／又はデコーディングする動作を含む。このようなデジタル機器は、有／無線ネットワーク（ｗｉｒｅ／ｗｉｒｅｌｅｓｓ ｎｅｔｗｏｒｋ）を介して他のデジタル機器、外部サーバ（ｅｘｔｅｒｎａｌ ｓｅｒｖｅｒ）等とペアリング又は連結（ｐａｉｒｉｎｇ ｏｒ ｃｏｎｎｅｃｔｉｎｇ）（以下「ペアリング」）されてデータを送受信し、必要に応じて変換（ｃｏｎｖｅｒｔｉｎｇ）する。

【0183】

デジタル機器は、例えば、ネットワークＴＶ（ｎｅｔｗｏｒｋ ＴＶ）、ＨＢＢＴＶ（Ｈｙｂｒｉｄ Ｂｒｏａｄｃａｓｔ Ｂｒｏａｄｂａｎｄ ＴＶ）、スマートＴＶ（Ｓｍａｒｔ ＴＶ）、ＩＰＴＶ（ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ ｔｅｌｅｖｉｓｉｏｎ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のような固定型機器（ｓｔａｎｄｉｎｇ ｄｅｖｉｃｅ）と、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）、ノートパソコン等のようなモバイル機器（ｍｏｂｉｌｅ ｄｅｖｉｃｅ ｏｒ ｈａｎｄｈｅｌｄ ｄｅｖｉｃｅ）を全て含む。

【0184】

一方、本明細書で記述される「有／無線ネットワーク」というのは、デジタル機器又はデジタル機器と外部サーバ間で相互連結又は／及びデータの送受信のために多様な通信規格乃至プロトコルを支援する通信ネットワークを通称する。このような有／無線ネットワークは、規格によって現在又は今後支援される通信ネットワークとそのための通信プロトコルを全て含むことができるが、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＣＶＢＳ（Ｃｏｍｐｏｓｉｔｅ Ｖｉｄｅｏ Ｂａｎｋｉｎｇ Ｓｙｎｃ）、コンポーネント、Ｓ－ビデオ（アナログ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＲＧＢ、Ｄ－ＳＵＢのような有線連結のための通信規格乃至プロトコルと、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ， ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）（Ｗｉ－Ｆｉ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗｉ－Ｆｉダイレクト（Ｄｉｒｅｃｔ）のような無線連結のための通信規格によって形成されることができる。

【0185】

以上で説明された実施例は、本明細書の構成要素と特徴が所定の形態で結合されたものである。各構成要素又は特徴は、別途の明示的言及がない限り、選択的なものと考慮されるべきである。各構成要素又は特徴は、他の構成要素や特徴と結合されない形態で実施され得る。また、一部の構成要素及び／又は特徴を結合し、本明細書の実施例を構成することも可能である。本明細書の実施例で説明される動作の順序は変更され得る。いずれかの実施例の一部構成や特徴は他の実施例に含まれてもよく、又は他の実施例の対応する構成又は特徴と交替し得る。特許請求範囲で明示的な引用関係がない請求項を結合して実施例を構成するか、出願後の補正によって新しい請求項に含ませ得ることは自明である。

【0186】

ファームウェアやソフトウェアによる実現の場合、本明細書の一実施例は、以上で説明された機能又は動作を行うモジュール、手続、関数等の形態で実現されることができる。ソフトウェアコードは、メモリに保存され、プロセッサによって駆動されることができる。前記メモリは、前記プロセッサの内部又は外部に位置し、既に公知となった多様な手段により前記プロセッサとデータをやり取りすることができる。

【0187】

本明細書は、本明細書の必須的特徴を外れない範囲で、他の特定の形態で具体化できることは当業者にとって自明である。従って、前述した詳細な説明は、全ての面で制限的に解釈されてはならず、例示的なものと考慮されるべきである。本明細書の範囲は、添付された請求項の合理的解釈によって決定されなければならず、本明細書の等価的範囲内での全ての変更は、本明細書の範囲に含まれる。

【産業上の利用可能性】

【0188】

以上、前述した本発明の好ましい実施例は、例示の目的のために開示されたもので、当業者であれば、以下添付される特許請求範囲に開示された本発明の技術的思想とその技術的範囲内で、多様な他の実施例を改良、変更、代替又は付加等が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6a】

【図6b】

【図6c】

【図6d】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】