特許 6559337 ３６０度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6559337

(24)【登録日】2019年7月26日

(45)【発行日】2019年8月14日

(54)【発明の名称】３６０度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 19/597 20140101AFI20190805BHJP

   H04N 19/105 20140101ALI20190805BHJP

   H04N 19/167 20140101ALI20190805BHJP

   H04N 19/176 20140101ALI20190805BHJP

   H04N 19/33 20140101ALI20190805BHJP

   H04N 19/503 20140101ALI20190805BHJP

   H04N 19/593 20140101ALI20190805BHJP

   H04N 19/13 20140101ALI20190805BHJP

   H04N 19/117 20140101ALI20190805BHJP

【ＦＩ】

   H04N19/597

   H04N19/105

   H04N19/167

   H04N19/176

   H04N19/33

   H04N19/503

   H04N19/593

   H04N19/13

   H04N19/117

【請求項の数】12

【全頁数】69

(21)【出願番号】特願2018-515484(P2018-515484)

(86)(22)【出願日】2016年9月21日

(65)【公表番号】特表2018-534827(P2018-534827A)

(43)【公表日】2018年11月22日

(86)【国際出願番号】FI2016050653

(87)【国際公開番号】WO2017051072

(87)【国際公開日】20170330

【審査請求日】2018年4月25日

(31)【優先権主張番号】62/222,366

(32)【優先日】2015年9月23日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】315002955

【氏名又は名称】ノキア テクノロジーズ オーユー

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田 光紀

(72)【発明者】

【氏名】ハンヌクセラ ミスカ

【審査官】 久保 光宏

(56)【参考文献】

【文献】 特表２００８−５１０３５８（ＪＰ，Ａ）

【文献】 特許第４２５８８７９（ＪＰ，Ｂ２）

【文献】 特表２００８−５１０３５９（ＪＰ，Ａ）

【文献】 特表２０１６−５３９５４０（ＪＰ，Ａ）

【文献】 Li Chen, et al.，"Disparity-compensated Inter-layer Motion Prediction Using Standardized HEVC Extensions"，Proceedings of 2015 IEEE International Symposium on Circuits and Systems (ISCAS 2015)，２０１５年 ５月２７日，Pages 2776-2779，ISBN: 978-1-4799-8391-9, <DOI: 10.1109/ISCAS.2015.7169262>

【文献】 大久保榮監修，「改訂三版H.264/AVC教科書」，日本，株式会社インプレスＲ＆Ｄ，２００９年 １月 １日，第１版，第１１０〜１１５，２８９〜３００頁，ISBN:978-4-8443-2664-9

【文献】 村上篤道（外２名）編，「高効率映像符号化技術 HEVC/H.265とその応用」，日本，株式会社オーム社，２０１３年 ２月２５日，第１版，第１４６〜１５８頁，ISBN:978-4-274-21329-8

【文献】 OCHI, D., et al.，"Live Streaming System for Omnidirectional Video"，Proceedings of IEEE Virtual Reality Conference 2015，２０１５年 ３月２７日，p.349-350，ISBN: 978-1-4799-1727-3, <DOI: 10.1109/VR.2015.7223439>

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

− レイヤ間予測用３６０度パノラマソースピクチャを再構成することと；
− 前記３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出することと；
を含む方法であって、前記導出が、
○ 前記３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングすることであって、前記アップサンプリングが、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に用いて、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることを含む、前記アップサンプリングすること；
○ 前記３６０度パノラマソースピクチャのピクチャ境界を越える参照領域を決定し、かつ、
・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方を前記参照領域に含めること；
の一方又は両方を含む、方法。

【請求項2】

− 視差値を導出することと；
− 参照領域左オフセット及び参照領域右オフセットのシンタックス要素を前記視差値に設定することと；
− 参照領域上オフセット及び参照領域下オフセットのシンタックス要素をゼロに設定することと；
の一つ又は複数を更に含む、請求項１に記載の方法。

【請求項3】

一つ又は複数のアクセス単位のピクチャから前記視差値を導出することを更に含み、前記導出が、次のこと：
− 前記ピクチャに関連する一つ又は複数の深度マップから平均視差を導くこと；
− 前記ピクチャに適用するカメラパラメータから前記視差を導くこと；
− ステレオ整合アルゴリズムを用いてビュー間平均視差を導くこと；
− 相異なるビューのピクチャ間に適用するビュー間動きベクトルから平均視差を導くこと；
の一つ又は複数を用いて行われる、請求項２に記載の方法。

【請求項4】

− 一つ又は複数のピクチャから平均視差値を導出すること；
− スケール済み参照レイヤ左オフセット及びスケール済み参照レイヤ右オフセットのシンタックス要素を前記視差値に設定すること；
− スケール済み参照レイヤ上オフセット及びスケール済み参照レイヤ下オフセットのシンタックス要素は０に設定すること；
の一つ又は複数を更に含む、請求項１から３の何れかに記載の方法。

【請求項5】

− 基本ビューピクチャの二つの出現を参照ピクチャ・リストに作成することであって、第１の出現が従来のレイヤ間参照ピクチャであり、第２の出現が再サンプリングピクチャである、前記作成することと；
− 選択的に、前記二つの出現の作成をビット列に標示することと；
を更に含む、請求項１から４の何れかに記載の方法。

【請求項6】

方法であって、
− ３６０度パノラマピクチャの境界領域のサンプルを符号化することを含み、前記符号化が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節すること；
の一つ又は複数を含む、方法。

【請求項7】

方法であって、
− ３６０度パノラマピクチャの境界領域のサンプルを復号することを含み、前記復号が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節すること；
の一つ又は複数を含む、方法。

【請求項8】

− 処理手段と；
− レイヤ間予測用３６０度パノラマソースピクチャを再構成する手段と；
− 前記３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出する手段と；
を備える装置であって、前記導出する手段が、
○ 前記３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングすることであって、前記アップサンプリングが、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に用いて、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることを含む、前記アップサンプリングすること；
○ 前記３６０度パノラマソースピクチャのピクチャ境界を越える参照領域を決定し、かつ、
・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領 域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値を前記参照領域に含めること；
の一方又は両方を実行するように構成される、装置。

【請求項9】

− 処理手段と；
− ３６０度パノラマピクチャの境界領域のサンプルを符号化する手段と；
を備える装置であって、前記符号化する手段が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値を利用するように構成され、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節すること；
の一つ又は複数を含む、装置。

【請求項10】

− 処理手段と；
− ３６０度パノラマピクチャの境界領域のサンプルを復号する手段と；
を備える装置であって、前記復号する手段が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値を利用するように構成され、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、
の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節すること；
の一つ又は複数を含む、装置。

【請求項11】

処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１から７の何れかに記載の方法を遂行させるように構成される、装置。

【請求項12】

装置の処理手段に実行されると、前記装置に、請求項１から７の何れかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願の実施形態は３６０度パノラマビデオの符号化に関する。

【背景】

【0002】

本節では、特許請求の範囲に記載される本発明の背景や関連について説明する。本願での説明は追求されうる概念を含むこともあるが、必ずしも既に着想又は追求されてきたもののみを含むものではない。したがって、本願中で特段の指定がない限り、本節で記述される内容は、本願の明細書及び特許請求の範囲に対する先行技術ではなく、本節で記述されていることのみをもって先行技術と認定してはならない。

【0003】

３６０度パノラマ画像及びビデオは、撮像位置を囲む３６０度全方位の視野を水平方向にカバーしている。３６０度パノラマビデオコンテンツは、例えば複数のカメラセンサからの画像を合成して単一の３６０度パノラマイメージにすることによって取得できる。あるいは、３６０度パノラマイメージを生成する光学配置を有する一台のイメージセンサが使用されてもよい。

【摘要】

【0004】

実施形態によれば、３６０度パノラマビデオを符号化及び復号する方法、及びその方法を実装する装置が提供される。

【0005】

本発明の種々の態様は、詳細な説明に提示されている。

【0006】

第１の態様によれば、
− レイヤ間予測用３６０度パノラマソースピクチャを再構成することと；
− 前記３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出することと；
を含む方法であって、前記導出が：
○ 前記３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングすることであって、前記アップサンプリングが、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に用いて、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることを含む、前記アップサンプリングすること；
○ 前記３６０度パノラマソースピクチャのピクチャ境界を越える参照領域を決定し、かつ、
・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を前記参照領域に含めること；
の一方又は両方を含む、方法が提供される。

【0007】

第２の態様によれば、方法であって、
− ３６０度パノラマピクチャの境界領域のサンプルを符号化することを含み、前記符号化が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方である、前記符号化することを含み、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方に基づいて、コンテキスト適応型エントロピー復号を調節すること；
の一つ又は複数を含む、前記方法が提供される。

【0008】

第３の態様によれば、方法であって、
− ３６０度パノラマピクチャの境界領域のサンプルを復号することを含み、前記復号が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方に基づいて、コンテキスト適応型エントロピー復号を調節すること；
の一つ又は複数を含む、前記方法が提供される。

【0009】

第４の態様によれば、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリを備える装置であって、前記少なくとも一つのメモリ及びコンピュータプログラムコードが、前記少なくとも一つのプロセッサを用いて、前記装置に少なくとも：
− レイヤ間予測用３６０度パノラマソースピクチャを再構成することと；
− 前記３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出することと；
を実行させるように構成され、前記導出が、
○ 前記３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングすることであって、前記アップサンプリングが、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に用いて、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることを含む、前記アップサンプリングすること；
○ 前記３６０度パノラマソースピクチャのピクチャ境界を越える参照領域を決定し、かつ、
・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を前記参照領域に含めること；
の一方又は両方を含む、前記装置が提供される。

【0010】

第５の態様によれば、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリを備える装置であって、前記少なくとも一つのメモリ及びコンピュータプログラムコードが、前記少なくとも一つのプロセッサを用いて、前記装置に少なくとも：
− ３６０度パノラマピクチャの境界領域のサンプルを符号化することを遂行させるように構成され、前記符号化が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方に基づいて、コンテキスト適応型エントロピー復号を調節すること；
の一つ又は複数を含む、前記装置が提供される。

【0011】

第６の態様によれば、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリを備える装置であって、前記少なくとも一つのメモリ及びコンピュータプログラムコードが、前記少なくとも一つのプロセッサを用いて、前記装置に少なくとも：
− ３６０度パノラマピクチャの境界領域のサンプルを復号することを遂行させるように構成され、前記復号が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方である、前記復号することを実行させるように構成され、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方に基づいて、コンテキスト適応型エントロピー復号を調節すること；
の一つ又は複数を含む、前記装置が提供される。

【0012】

第７の態様によれば、
− 処理手段と；
− レイヤ間予測用３６０度パノラマソースピクチャを再構成する手段と；
− 前記３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出する手段と；
を備える装置であって、前記導出する手段が、
○ 前記３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングすることであって、前記アップサンプリングが、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に用いて、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることを含む、前記アップサンプリングすること；
○ 前記３６０度パノラマソースピクチャのピクチャ境界を越える参照領域を決定し、かつ、
・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を前記参照領域に含めること；
の一方又は実行するように構成される、前記装置が提供される。

【0013】

第８の態様によれば、
− 処理手段と；
− ３６０度パノラマピクチャの境界領域のサンプルを符号化する手段と；
を備える装置であって、前記符号化する手段が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用するように構成され、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方に基づいて、コンテキスト適応型エントロピー復号を調節すること；
の一つ又は複数を含む、前記装置が提供される。

【0014】

第９の態様によれば、
− 処理手段と；
− ３６０度パノラマピクチャの境界領域のサンプルを復号する手段と；
を備える装置であって、前記復号する手段が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用するように構成され、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方に基づいて、コンテキスト適応型エントロピー復号を調節すること；
の一つ又は複数を含む、前記装置が提供される。

【0015】

第１０の態様によれば、コンピュータプログラム製品であって、前記コンピュータプログラム製品が、コンピュータで使用されるコンピュータプログラムコードを保持するコンピュータ可読媒体を備え、前記コンピュータプログラムコードが：
− レイヤ間予測用３６０度パノラマソースピクチャを再構成するコードと；
− 前記３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出するコードと；
を含み、前記導出するコードが、
○ 前記３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングするコードであって、前記アップサンプリングが、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に用いて、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることを含む、前記アップサンプリングするコード；
○ 前記３６０度パノラマソースピクチャのピクチャ境界を越える参照領域を決定し、かつ、
・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を前記参照領域に含めるコード
の一方又は両方を含む、前記コンピュータプログラム製品が提供される。

【0016】

第１１の態様によれば、コンピュータプログラム製品であって、前記コンピュータプログラム製品が、コンピュータで使用されるコンピュータプログラムコードを保持するコンピュータ可読媒体を備え、前記コンピュータプログラムコードが：
− ３６０度パノラマピクチャの境界領域のサンプルを符号化するコードを含み、前記符号化が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得するコード；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方に基づいて、前記境界領域の中間再構成サンプルをフィルタリングするコード；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方に基づいて、コンテキスト適応型エントロピー復号を調節するコード；
の一つ又は複数を含む、前記コンピュータプログラム製品が提供される。

【0017】

第１２の態様によれば、コンピュータプログラム製品であって、前記コンピュータプログラム製品が、コンピュータで使用されるコンピュータプログラムコードを保持するコンピュータ可読媒体を備え、前記コンピュータプログラムコードが：
− ３６０度パノラマピクチャの境界領域のサンプルを復号するコードを含み、前記復号が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得するコード；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方に基づいて、前記境界領域の中間再構成サンプルをフィルタリングするコード；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方に基づいて、コンテキスト適応型エントロピー復号を調節するコード；
の一つ又は複数を含む、前記コンピュータプログラム製品が提供される。

【図面の簡単な説明】

【0018】

本発明の例示的実施形態をより詳細に理解するために、次の添付図面と合わせて以下の説明を参照されたい。

【0019】

【図1】特定の実施形態によるビデオ符号化システムのブロック図を示す。

【0020】

【図2】特定の実施形態による装置のレイアウトを示す。

【0021】

【図3】特定の実施形態による、装置、ネットワーク、ネットワーク要素を複数備えるビデオ符号化構成を示す。

【0022】

【図4】特定の実施形態によるビデオエンコーダのブロック図を示す。

【0023】

【図5】特定の実施形態によるビデオデコーダのブロック図を示す。

【0024】

【図6】図７及び８で利用される実施例を示す。

【0025】

【図7】インター予測処理においてピクチャ境界外のサンプルを参照する処理に関する実施例を示す。

【0026】

【図8】（パノラマビデオの符号化における）ピクチャ境界外のサンプル又は動きベクトルへのアクセス処理に関する実施例を示す。

【0027】

【図9】整数サンプル位置における輝度サンプルであって、予測輝度サンプル値を生成するために用いられる輝度サンプルに関する実施例を示す。

【0028】

【図10】参照レイヤ位置のオフセットを示す。

【0029】

【図11】参照領域を有するサンプル配列の実施例を示す。

【0030】

【図12】予測に使用されるリファレンスサンプルの実施例を示す。

【0031】

【図13】特定の実施形態による方法を示すフロー図である。

【0032】

【図14】別の実施形態による方法を示すフロー図である。

【実施形態の詳細説明】

【0033】

本願は３６０度パノラマビデオコンテンツに関するものである。３６０度パノラマビデオコンテンツの撮影又は生成、あるいはその両方を行う専用デバイス及びソフトウェアにより、こうしたコンテンツの量は急速に増え続けている。

【0034】

３６０度パノラマビデオコンテンツを撮影及び／又は生成する装置の実施形態は、図１及び２に示されている。装置５０は、携帯端末や無線通信システムのユーザ装置、カメラデバイス等の電子デバイスである。装置５０は、デバイスを組込んで保護するハウジング３０を備えてもよい。装置５０は更に、液晶ディスプレイ等のディスプレイ３２、又は画像やビデオを表示できるその他の表示技術を備えてもよい。装置５０はまた、キーパッド３４を備えてもよい。別の実施形態によっては、あらゆる適切なデータ又はユーザインタフェース機構が用いられてもよい。例えば、ユーザインタフェースはタッチセンサ式ディスプレイに属する仮想キーボードやデータ入力システムとして実装されてもよい。装置はマイクロフォン３６や、デジタル又はアナログ信号の任意適当な音声入力を備えてもよい。装置５０は更に、音声出力デバイスを備えてもよい。音声出力デバイスはイヤホン３８、スピーカー、又はアナログ音声若しくはデジタル音声出力接続の何れかでもよい。また、装置５０はバッテリー４０を備えていてもよい（別の実施形態によっては、デバイスの電力源として太陽電池、燃料電池、ぜんまい式発電機等あらゆる適切な携帯エネルギーデバイスを用いてもよい）。装置は、画像やビデオを録画撮影できるカメラ４２を備えてもよく、カメラに接続されてもよい。カメラ４２は水平方向又は垂直方向、あるいはその両方において３６０度視野を撮影可能でもよい。これは例えば、従来の二次元カラーイメージセンサをパノラマミラー配置にしたり、複数の広視野角レンズ又は複数のカラーイメージセンサ、あるいはその両方を用いたりして可能となる。要するに、カメラ４２又は装置が接続されるカメラは複数のカメラを備えてもよい。実施形態によっては、装置５０は更に、他のデバイスと短可視距離通信するための赤外線ポート４２を備えてもよい。実施形態によっては、装置５０は更に、ブルートゥース（登録商標）無線通信やＵＳＢ／ＦｉｒｅＷｉｒｅ有線ソリューション等あらゆる適切な短距離通信ソリューションを備えてもよい。

【0035】

装置５０は、それを制御するコントローラ５６又はプロセッサを備えてもよい。コントローラ５６はメモリ５８に接続されてもよい。実施形態によっては、メモリが画像形態データと音声データの両方を保存してもよく、コントローラ５６に実装される命令を保存してもよく、それら両方を行ってもよい。また、コントローラ５６はビデオコーデック回路５４に接続されてもよい。ビデオコーデック回路は、音声及び／又はビデオデータの符号化・復号の遂行や、コントローラ５６が遂行する符号化・復号を補助するのに適している。

【0036】

ビデオコーデック回路５４は、入力されたビデオを保存／伝送に適した圧縮表現に変換するエンコーダと、その圧縮表現を可視形態に戻す復元を行えるデコーダを備える。エンコーダは、ビデオをよりコンパクトな形態で（即ち低いビットレートで）表現するために、元のビデオシーケンスの情報の一部を切り捨ててもよい。図４はビデオエンコーダの一例を示す。ここで、Ｉ_ｎは符号化される画像；Ｐ'_ｎは画像ブロックの予測表現；Ｄ_ｎは予測誤差信号；Ｄ'_ｎは再構成予測誤差信号；Ｉ'_ｎは一次再構成画像；Ｒ'_ｎは最終再構成画像；Ｔ，Ｔ_−１は変換及び逆変換；Ｑ，Ｑ_−１は量子化及び逆量子化；Ｅはエントロピー符号化；ＲＦＭは参照フレームメモリ；Ｐ_{ｉｎｔｅｒ}はインター予測；Ｐ_{ｉｎｔｒａ}はイントラ予測；ＭＳはモード選択；Ｆはフィルタリングである。図５はビデオデコーダのブロック図を示す。ここで、Ｐ'_ｎは画像ブロックの予測表現；Ｄ'ｎは再構成予測誤差信号；Ｉ'_ｎは一次再構成画像；Ｒ'_ｎは最終再構成画像；Ｔ_−１は逆変換；Ｑ_−１は逆量子化；Ｅ_−１はエントロピー復号；ＲＦＭは参照フレームメモリ；Ｐは予測（インター予測及びイントラ予測の何れか）；Ｆはフィルタリングである。装置５０（図１及び２）は、実施形態によってはエンコーダのみ又はデコーダのみを備え、他の実施形態では両方を備える。

【0037】

図１及び２を改めて参照する。装置５０はまた、カードリーダー４８とスマートカード４６を備えてもよい。例えば、ユーザ情報を提供し、ネットワークでユーザ認証及び認可のための認証情報を提供するのに適したＵＩＣＣ及びＵＩＣＣリーダーを備えてもよい。

【0038】

装置５０は、コントローラに接続され、無線通信信号を生成するのに適した無線インタフェース回路５２を備えてもよい。無線通信は例えば、携帯通信ネットワークや無線通信システム，無線ローカルエリアネットワークでの通信である。装置５０は更に、無線インタフェース回路５２に接続されたアンテナ４４を備えてもよい。アンテナは、無線インタフェース回路５２で生成された無線信号を他の（一又は複数の）装置へ送信し、無線信号を他の（一又は複数の）装置から受信することができる。

【0039】

実施形態によっては、装置５０が、個々のフレームを記録又は検出できるカメラを備え、それらのフレームが処理対象としてコーデック５４又はコントローラに送られる。実施形態によっては、装置は、処理用ビデオ画像データの伝送、保存、あるいはその両方の前に、その処理用ビデオ画像データを別のデバイスから受信してもよい。実施形態によっては、装置５０は、無線接続及び有線接続の何れかによって処理用画像を受け取ってもよい。

【0040】

図３は、ある実施形態による複数の装置、ネットワーク、ネットワーク要素を含むシステム構成を示す。システム１０は、１つ又は複数のネットワークを通じて通信できる複数の通信デバイスを含む。システム１０は任意の無線又は有線ネットワークの組合せを備えてもよく、無線携帯電話ネットワーク（ＧＳＭ（登録商標）やＵＭＴＳ、ＣＤＭＡネットワーク等）やＩＥＥＥ ８０２．ｘの何れかの規格で規定される無線ローカルエリアネットワーク（ＷＬＡＮ），ブルートゥース（登録商標）・パーソナルエリアネットワーク，イーサネット（登録商標）・ローカルエリアネットワーク，トークンリング・ローカルエリアネットワーク，広域ネットワーク，インターネットを含んでもよい。ただし、これらに限定されない。

【0041】

システム１０は無線・有線両方の通信デバイスを含んでもよく、本願の実施形態を実装するのに適した装置５０を含んでもよい。例えば、図３に示すシステムは、携帯電話ネットワーク１１とインターネット２８を表わす表現を示している。インターネット２８への接続は長距離無線接続や短距離無線接続，様々な有線接続を含んでもよいが、これらに限定されない。有線接続には電話回線やケーブル線，電力線，その他類似の通信線が含まれるが、これらに限定されない。

【0042】

システム１０に示される例示的通信デバイスは電子デバイスや装置５０，携帯情報端末（ＰＤＡ）１６，ＰＤＡと携帯電話１４の組合せ，統合通信デバイス（integrated messaging device; IMD）１８，デスクトップコンピュータ２０，ノート型コンピュータ２２，デジタルカメラ１２を含んでもよい。ただし、これらに限定されない。装置５０は固定型でもよく、移動する人が持ち運べる携帯型でもよい。装置５０は特定の交通手段の中に配置されてもよい。

【0043】

さらなる装置の中には、呼び出し及びメッセージを送受信し、基地局２４への無線接続２５を介してサービスプロバイダと通信できるものもある。基地局２４は、携帯電話ネットワーク１１とインターネット２８間の通信を可能にするネットワークサーバ２６に接続されてもよい。本システムには、追加の通信デバイス、様々なタイプの通信デバイスが含まれてもよい。

【0044】

通信デバイスは種々の伝送技術を用いて通信することができる。こうした技術には、符号分割多元接続（ＣＤＭＡ）やＧＳＭ（登録商標）、ユニバーサル携帯電話システム（ＵＭＴＳ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、ＴＣＰ−ＩＰ（transmission control protocol-internet protocol）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージサービス（ＭＭＳ）、電子メール、ＩＭＳ（ｉｎｓｔａｎｔ ｍｅｓｓａｇｉｎｇ ｓｅｒｖｉｃｅ）、ブルートゥース（登録商標）、ＩＥＥＥ ８０２．１１、その他類似する無線通信技術が含まれるが、これらに限定されない。本発明の様々な実施形態への実装に含まれる通信デバイスは、様々な媒体を介して通信できる。こうした媒体として、無線，赤外線，レーザー，ケーブル接続，その他適切な接続が含まれるが、これらに限定されない。

【0045】

前述の通り、本願の実施形態は３６０度パノラマイメージ及びビデオに関する。このような３６０度パノラマビデオコンテンツは、撮影デバイス（図１のカメラ又は装置）の撮像位置を囲む３６０度全方位の視野を水平方向にカバーしている。垂直視野は変化してもよく、例えば１８０度にすることもできる。３６０度水平視野及び１８０度垂直視野をカバーするパノラマイメージは、正距円筒図法を用いて二次元画像平面に投影された球を表現する。この場合、変換や拡大縮小を適用せずに水平座標が経度、垂直座標が緯度にそれぞれ等価であるとみなしてよい。場合によっては、３６０度水平視野を持つが垂直視野が１８０度未満であるパノラマコンテンツを正距円筒図法の特別な場合としてみなしてもよい。この場合、球の極領域は二次元画像平面に投影されていない。

【0046】

３６０度パノラマビデオコンテンツは様々な手段で取得可能である。例えば、複数のカメラセンサの画像を合成して単一の３６０度パノラマイメージにすることができる。これを実装する専用デバイス及びカメラ装備が市場にはある。しかしながら、別の非限定的な実施例として、特定の光学配置を持つ単一のイメージセンサによって３６０度パノラマビデオコンテンツを取得することもできる。

【0047】

次に、関連技術分野のビデオ符号化について説明する。

【0048】

Ｈ．２６４／ＡＶＣ（Advanced Video Coding）規格は、ＩＴＵ−Ｔ（国際電気通信連合の電気通信標準化部門）のビデオ符号化専門家グループ（ＶＣＥＧ）及びＩＳＯ（国際標準化機構）／ＩＥＣ（国際電気標準会議）の動画専門家グループ（ＭＰＥＧ）による統合ビデオチーム（ＪＶＴ）によって開発された。Ｈ．２６４／ＡＶＣ規格はその元となる両標準化機構によって公開されており、ＩＴＵ−Ｔ勧告Ｈ．２６４及びＩＳＯ／ＩＥＣ国際規格１４４９６−１０と呼ばれる。ＩＳＯ／ＩＥＣ１４４９６−１０はＭＰＥＧ−４パート１０アドバンスドビデオ符号化（ＡＶＣ）として知られている。Ｈ．２６４／ＡＶＣ規格には複数のバージョンがあり、規格に新たな拡張や仕様を統合している。こうした拡張には、スケーラブルビデオ符号化（Scalable Video Coding；SVC）とマルチビュービデオ符号化（Multiview Video Coding；MVC）が含まれる。

【0049】

高効率ビデオ符号化（High Efficiency Video Coding；H.265/HEVC。HEVCとしても知られている）規格のバージョン１は、ＶＣＥＧとＭＰＥＧの合同開発チームによるビデオ符号化（Joint Collaborative Team - Video Coding；JCT-VC）によって開発された。この規格は、その元となる両標準化機構によって公開されており、ＩＴＵ−Ｔ勧告Ｈ．２６５及びＩＳＯ／ＩＥＣ国際規格２３００８−２と呼ばれる。これはＭＰＥＧ−Ｈパート２アドバンスドビデオ符号化（ＡＶＣ）としても知られている。Ｈ．２６５／ＨＥＶＣバージョン２には、スケーラブル、マルチビュー、忠実度拡張が含まれ、それぞれＳＨＶＣ、ＭＶ−ＨＥＶＣ、ＲＥＸＴと略される。Ｈ．２６５／ＨＥＶＣバージョン２は、ＩＴＵ−Ｔ勧告Ｈ．２６５（２０１４年１０月）及びＩＳＯ／ＩＥＣ国際規格２３００８−２第２版として公開された。Ｈ．２６５／ＨＥＶＣへの追加拡張を開発する標準化チームも現在稼働している。こうした追加拡張には三次元拡張とスクリーンコンテンツ符号化拡張が含まれ、それぞれ３Ｄ−ＨＥＶＣ及びＳＣＣと略される。

【0050】

ＳＨＶＣ、ＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣは、ＨＥＶＣ規格バージョン２の付録Ｆに規定された共通基盤仕様を用いている。この共通基盤は高水準シンタックスとその意味等を含み、例えば、レイヤ間依存性のようなビット列のレイヤにおける特性の一部を規定したり、マルチレイヤ・ビット列用のレイヤ間参照ピクチャ及びピクチャ順序カウント導出を含む参照ピクチャ・リスト構築のような復号処理を行ったりする。付録Ｆは、ＨＥＶＣにおける将来のマルチレイヤ拡張にも用いられる。以降では ＳＨＶＣ、ＭＶ−ＨＥＶＣの一方又は両方のような特定の拡張を参照してビデオエンコーダ、ビデオデコーダ、符号化方法、復号方法、ビット列構成、その他の実施形態の一部又は全部が説明されている。これらの形態が一般にＨＥＶＣのあらゆるマルチレイヤ拡張に適用可能であり、更には、一般にあらゆるマルチレイヤビデオ符号化法に適用可能であることが理解されるべきである。

【0051】

Ｈ．２６４／ＡＶＣ及びＨＥＶＣを含む多くのハイブリッドビデオコーデックは、ビデオ情報を２段階で符号化する。第１段階では、いわゆるサンプル予測及び／又はシンタックス予測等として予測符号化が適用される。

【0052】

サンプル予測では、特定のピクチャ領域又は「ブロック」のピクセル値又はサンプル値が予測される。こうしたピクセル又はサンプル値は、例えば次の方法の１つ又は複数を用いて予測することができる。

・ 動き補償機構（時間予測や動き補償時間予測、動き補償予測、ＭＣＰ、インター予測とも呼ばれる）。これには、符号化されるブロックと合致する、先に符号化済みのビデオフレームの１つにある領域の検索と標示が含まれる。

・ インター予測。これは、空間領域の関係性の検索と標示を含む空間機構によって、ピクセル値又はサンプル値を予測することができる。より一般的には、イントラ予測は、空間ドメイン又は変換ドメインで行うことができる。すなわち、サンプル値及び変換係数の何れかを予測できる。イントラ符号化では通常イントラ予測が利用され、インター予測が適用されることはない。

【0053】

Ｈ．２６４／ＡＶＣ及びＨＥＶＣを含む多くのビデオコーデックにおいて、動き情報は、動き補償された画像ブロックのそれぞれに関連する動きベクトルによって示される。こうした動きベクトルはそれぞれ、（エンコーダで）符号化されるピクチャ又は（デコーダで）復号されるピクチャの画像ブロックと、先に符号化又は復号された画像（又はピクチャ）の１つにおける予測元ブロックとの間の移動量を表わす。Ｈ．２６４／ＡＶＣ及びＨＥＶＣは、その他多くのビデオ圧縮規格と同様にピクチャを長方形のメッシュに分割する。これらの長方形のそれぞれに対し、参照ピクチャの１つにある同じブロックがインター予測用に示される。予測ブロックの位置は、符号化されるブロックに対する予測ブロックの相対位置を示す動きベクトルとして符号化される。

【0054】

符号化処理の成果として、動きベクトルと量子化変換係数のような符号化パラメータセットがある。多くのパラメータは、最初に空間的又は時間的に隣接するパラメータから予測される場合、それをより効率的にエントロピー符号化することができる。例えば、動きベクトルは空間的に隣接する動きベクトルから予測されてもよく、動きベクトル予測に関する差のみが符号化されてもよい。符号化パラメータの予測、及びイントラ予測は、まとめてインピクチャ予測とも呼ばれる。

【0055】

シンタックス予測はパラメータ予測とも呼ばれるが、この予測において、先に符号化（復号）されたシンタックス要素、及び／又は先に算出された変数から、シンタックス要素、及び／又はシンタックス要素から算出されるシンタックス要素値及び／又は変数が予測される。ただし、以下ではシンタックス予測の非限定的実施例が示されている。

・ 動きベクトル予測では、例えばインター予測及び／又はビュー間予測のための動きベクトルが、ブロック固有の予測動きベクトルに関して差動符号化されてもよい。多くのビデオコーデックにおいて、予測動きベクトルは所定の方法、例えば、隣接ブロックの符号化／復号動きベクトルの中央値を計算する方法で生成される。動きベクトル予測を行う別の方法は、高度動きベクトル予測（advanced motion vector prediction、AMVP）とも呼ばれ、時間軸上の参照ピクチャにおける隣接ブロック及び／又は同位置のブロックから予測候補のリストを作成し、選択された候補を動きベクトルの予測として信号で伝える。動きベクトルの値の予測に加え、先に符号化／復号されたピクチャのリファレンスインデクスが予測されてもよい。参照インデクスは、時間軸上の参照ピクチャにおける隣接ブロック及び／又は同位置のブロックから予測される。動きベクトルの差動符号化は、スライス境界を跨ぐときは無効にされる。

・ ＣＴＵからＣＵ、更にＰＵといったブロックパーティショニングも予測されてもよい。

・ フィルターパラメータ予測では、サンプル適応オフセットに対するフィルタリングパラメータが予測されてもよい。

【0056】

先に符号化された画像からの画像情報を用いた予測アプローチは、インター予測法とも呼ばれ、また、時間予測及び動き補償とも呼ばれる。インター予測は動き補償時間予測のみを含むものとみなしてよく、あるいは、予測元としてサンプルの中の再構成／復号ブロックが使用される全てのタイプの予測、即ち従来のビュー間予測等を含むものとみなしてもよい。インター予測は、サンプル予測のみを含むものとみなしてよいが、サンプル予測とシンタックス予測の両方を含むものとみなしてもよい。シンタックス予測及びサンプル予測の結果として、ピクセル又はサンプルの予測ブロックが取得されてもよい。同一画像内の画像情報を用いた予測アプローチは、イントラ予測法とも呼ばれる。

【0057】

第２段階は、ピクセル又はサンプルの予測ブロックとそのピクセル又はサンプルの元のブロックとの間の誤差の符号化の一つである。これは、特定の変換を用いてピクセル値又はサンプル値の差を変換することによって達成されてもよい。この変換は、例えば離散コサイン変換（Discrete Cosine Transform；DCT）やその変形でもよい。差の変換後、変換された差は量子化されエントロピー符号化される。符号化方式によっては、エンコーダが変換を迂回するために変換単位に基づく等で情報を示し、サンプルドメインに予測誤差ブロックを符号化できる。

【0058】

量子化処理の忠実性を変えることによって、エンコーダはピクセル又はサンプル表現の正確性（すなわち、ピクチャの視覚的品質）と、結果として得られる符号化ビデオ表現のサイズ（すなわち、ファイルサイズや伝送ビットレート）との間のバランスを制御できる。

【0059】

デコーダは、予測されたピクセル又はサンプルのブロック表現を形成して予測誤差を復号するために、エンコーダが用いたのと同様の予測機構を適用することによって出力ビデオを再構成する（ここで、予測表現の形成は、エンコーダが作成し、画像の圧縮表現に格納された動き情報や空間情報を使用し、予測誤差の復号は、空間領域で量子化された予測誤差信号を回復する、予測誤差符号化の逆操作を使用して行われる）。

【0060】

ピクセル又はサンプルの予測及び誤差復号処理の後、デコーダは、出力ビデオフレームを形成するために、予測信号と予測誤差信号（ピクセル値又はサンプル値）を合成する。

【0061】

デコーダ（及びエンコーダ）は、出力ビデオをディスプレイに送る、及び／又はビデオシーケンスにおける後続ピクチャ用の予測リファレンスとして格納する前に、出力ビデオの品質を向上するために追加のフィルタリング処理を適用してもよい。フィルタリングには、例えばデブロッキング、サンプル適応オフセット（ＳＡＯ）、適応ループフィルタリング（ＡＬＦ）の一部又は全部が含まれてもよい。

【0062】

ブロックベースの符号化は、再構成又は復号ピクチャのブロック境界において目に見える不連続を作ることがある。グリッド（例えば４×４輝度サンプルのグリッド）の境界のフィルタリングは、（例えば符号化規格で）定義済みの又は信号伝送された、あるいはその両方である条件セットが満たされる場合、エンコーダ、デコーダの一方又は両方がそれを決定する。この条件セットは次のようなものである：

・ 境界はブロック境界であり、例えば、ＨＥＶＣで規定されるような予測単位の境界又は変換単位の境界である；

・ 境界強度（下記参照）は強又は弱であり、例えばゼロより大きい；

・ 境界両端におけるサンプル値の変動は特定の閾値よりも小さい。ここで特定の閾値は、例えば変換符号化で用いられる量子化パラメータ等に依存してもよい。

【0063】

デブロッキングループフィルタリングで用いられる境界強度は、複数の条件及び規則に基づいて決定される。こうした条件及び規則は次のようなものの一つ又は複数である：

・ 境界に隣接する少なくとも一つのブロックがイントラ符号化される場合、境界強度は２のような強の値に設定可能である；

・ 境界に隣接する少なくとも一つのブロックの符号化済み残差係数がゼロでなく、境界がＴＵ境界である場合、境界強度は１のような弱の値に設定可能である；

・ 境界に隣接する二つのブロックそれぞれの動きベクトルの差の絶対値が輝度サンプル整数値単位で１以上である場合、境界強度は１のような弱の値に設定可能である；

・ 境界に隣接する二つのブロックそれぞれの動きベクトルに対して相異なる参照ピクチャが用いられる場合、境界強度は１のような弱の値に設定可能である；

・ 二つのブロックにおける複数の動きベクトルが境界に隣接する場合、境界強度は１のような弱の値に設定可能である；

・ 左記以外では、境界強度は０のような強でも弱でもない値に設定可能である。

【0064】

ブロッキングループフィルタは、複数のフィルタリングモード又は強度を含んでもよい。こうしたモード又は強度は、量子化パラメータ値のような境界に隣接するブロックの特性や、エンコーダによってビット列に含められる信号伝送に基づいて適応的に選択されてもよい。例えば、ブロッキングループフィルタには、通常フィルタリングモードと強フィルタリングモードがあってもよい。これらのモードは、フィルタタップ数（即ち境界両側でフィルタリングされるサンプルの数）、及びフィルタタップ値の何れか又は両方の点で異なってもよい。例えば、クリッピング操作における可能な影響を除く場合、
（３ ７ ９ −３）／１６のインパルス応答を持つフィルタで境界両側の２サンプルのフィルタリングを行ってもよい。

【0065】

次に、ＨＥＶＣを参照してＳＡＯの例を示す。ただし、このＳＡＯは他の符号化方式でも同様に適用可能である。ＳＡＯでは、一つのピクチャが複数の領域に分割され、各領域に対して別々のＳＡＯ決定が行われる。ＨＥＶＣでは、ＳＡＯパラメータを適応する基本単位がＣＴＵである（従って、ＳＡＯ領域は対応するＣＴＵがカバーするブロックである）。

【0066】

ＳＡＯアルゴリズムでは、一連の規則に基づいてＣＴＵでのサンプルが分類され、分類された各サンプルセットがオフセット値を加えて拡張される。オフセット値はビット列で信号伝送される。オフセットには１）バンドオフセット、２）エッジオフセットの二種類がある。ＣＴＵでは、ＳＡＯ無し、バンドオフセット、エッジオフセットの何れかが採用される。このＳＡＯ無し、バンドオフセット、エッジオフセットのどれを使用するかの選択は、レート歪み最適化（ＲＤＯ）等を用いてエンコーダが決定し、デコーダに信号伝送してもよい。

【0067】

再構成サンプルの質を向上させるもう一つの方法は適応ループフィルタ（ＡＬＦ）である。これは、ループでサンプル値をフィルタリングすることで実現される。実施形態によっては、エンコーダは、ピクチャのどの領域がフィルタリングされるべきかとフィルタ係数をＲＤＯ等に基づいて決定し、この情報をデコーダに信号伝送する。

【0068】

インター予測処理は、次のファクタの一つ又は複数を用いて特徴付けられてもよい：

・ 動きベクトル表現の正確さ例えば、動きベクトルは４分の１ピクセルの精度であって、非整数ピクセルの位置でのサンプル値は、有限インパルス応答（finite impulse response；FIR）フィルタを用いて得られてもよい。

・ インター予測用のブロックパーティショニングＨ．２６４／ＡＶＣ及びＨＥＶＣを含む多くの符号化規格では、エンコーダでの動き補償予測用に適用される動きベクトルのためにブロックのサイズと形状を選択でき、エンコーダで行われた動き補償予測をデコーダが再構成できるように、選択されたサイズと形状をビット列で示すことができる。

・ インター予測用参照ピクチャの数インター予測の元データは、先に復号されたピクチャである。Ｈ．２６４／ＡＶＣ及びＨＥＶＣを含む多くの符号化規格では、インター予測用に複数の参照ピクチャを格納し、ブロックバイアスに応じて使用される参照ピクチャを選択できる。例えば、参照ピクチャは、Ｈ．２６４／ＡＶＣでのマクロブロック又はマクロブロックパーティションのバイアスや、ＨＥＶＣのＰＵ又はＣＵのバイアスに関して選択されてもよい。Ｈ．２６４／ＡＶＣ及びＨＥＶＣなどの多くの符号化規格は、デコーダが１つ以上の参照ピクチャ・リストを作成できるシンタックス構造をビット列に含む。参照ピクチャ・リストを示す参照ピクチャ・インデクスは、複数の参照ピクチャの中のどれが特定のブロックに対するインター予測用として使用されるかを示すのに使われてもよい。参照ピクチャ・インデクスは、選択されたインター符号化法でエンコーダがビット列に符号化してもよく、あるいは他のインター符号化法で（エンコーダ及びデコーダが）隣接ブロック等を使って導出してもよい。

・ 動きベクトル予測動きベクトルをビット列に効率よく表現するために、動きベクトルは、ブロック毎の予測動きベクトルに関して差動符号化されてもよい。多くのビデオコーデックにおいて、予測動きベクトルは所定の方法、例えば、隣接ブロックの符号化／復号動きベクトルの中央値を計算する方法で生成される。動きベクトル予測を行う別の方法は、高度動きベクトル予測（advanced motion vector prediction、AMVP）とも呼ばれ、時間軸上の参照ピクチャにおける隣接ブロック及び／又は同位置のブロックから予測候補のリストを作成し、選択された候補を動きベクトルの予測として信号で伝える。動きベクトルの値の予測に加え、先に符号化／復号されたピクチャのリファレンスインデクスが予測されてもよい。参照インデクスは、例えば、時間軸上の参照ピクチャにおける隣接ブロック、同一位置ブロックの何れか又は全てから予測されてもよい。動きベクトルの差動符号化は、スライス境界を跨ぐときは無効にされる。

・ 多仮説動き補償予測Ｈ．２６４／ＡＶＣ及びＨＥＶＣでは、Ｐスライスで単一の予測ブロックを使用できる（このため、Ｐスライスは単予測スライスと呼ばれる）。また、Ｂスライスとも呼ばれる双予測スライスに対しては２つの動き補償予測ブロックの線形結合を使用できる。Ｂスライスの個別ブロックは双予測や単予測，イントラ予測されたものでもよく、Ｐスライスの個別ブロックは単予測又はイントラ予測されたものでもよい。双予測ピクチャ用の参照ピクチャは、出力順で後続ピクチャと先行ピクチャに限定しなくてもよく、任意の参照ピクチャが使用されてもよい。Ｈ．２６４／ＡＶＣ及びＨＥＶＣなどの多くの符号化規格では、参照ピクチャ・リスト０と呼ばれる特定の参照ピクチャ・リストがＰスライス用に構成され、２つの参照ピクチャ・リストであるリスト０及びリスト１がＢスライス用に構成される。Ｂスライスに関して、前方予測は参照ピクチャ・リスト０の参照ピクチャからの予測のことであり、後方予測は参照ピクチャ・リスト１の参照ピクチャからの予測のことである。ここで、予測用参照ピクチャは互いに、又は現ピクチャに関連する復号処理や出力順序を持っていてもよい。

・ 重み付き予測多くの符号化規格は、インター（Ｐ）ピクチャの予測ブロックに対して予測重み１、Ｂピクチャの各予測ブロックに対して予測重み０．５を（結果として平均するのに）用いる。Ｈ．２６４／ＡＶＣでは、ＰとＢの両スライスで重み付き予測を行える。暗黙的（implicit）重み付き予測では、重みはピクチャ順序カウント（ＰＯＣ）に比例し、明示的（explicit）重み付き予測では、予測の重みは明示的に示される。

【0069】

このインター予測処理は、少なくとも次の（但し、これらに限定されない）理由でピクチャ境界外のサンプル位置の参照を含んでもよい：

・ 動きベクトルがピクチャ境界外の予測ブロックを指し示す可能性があるため。

・ ピクチャ境界外の位置から入力サンプルを取り出すフィルタリングを用いてサンプル値が補間される非整数サンプル位置を動きベクトルが指し示す可能性があるため。

【0070】

動きベクトル又は動きに関する情報は、水平動きベクトル成分及び垂直動きベクトル成分を含むものとみなされる。ただし、動きベクトル又は動きに関する情報は、使用される参照ピクチャの情報又は識別情報を含むものとみなされる場合もある。

【0071】

ピクチャに関連する動きフィールドは、そのピクチャの全符号化ブロックについて生成された一連の動き情報を含むとみなされる。動きフィールドは、例えばブロックの座標を用いてアクセス可能でもよい。動きフィールドはＨＥＶＣのＴＭＶＰ等で用いられてもよく、あるいは、現在の符号化（復号）ピクチャ以外の予測ソース又は予測レファレンスが使用されるその他の動き予測機構で用いられてもよい。

【0072】

動きフィールドの表現又は保存、あるいはその両方のために、異なる空間粒度又は単位が適用されてもよい。例えば、空間単位の規則的なグリッドが使用されてもよい。例えば、一つのピクチャが特定サイズの矩形ブロックに分割されてもよい（このとき、右端と下端のようなピクチャの端ではブロックが除外される可能性もある）。例えば、空間単位の大きさは、輝度サンプル単位における４×４ブロックのような、エンコーダがビット列中で個別の動きを示すための最小サイズと等しくてもよい。例えば、いわゆる圧縮動きフィールドが使用されてもよく、その場合、空間単位は、輝度サンプル単位における１６×１６ブロックのような、所定又は指定のサイズと等しくてもよい。こうしたサイズが、個別の動きを示すための最小サイズより大きくてもよい。例えば、ＨＥＶＣエンコーダ、デコーダの一方又は両方は、各復号動きフィールドに対して（あらゆるピクチャ間予測に動きフィールドを使用する前に）動きデータ記憶削減（Motion Data Storage Reduction; ＭＤＳＲ）又は動きフィールド圧縮が行われるように実装されてもよい。ＨＥＶＣの実装では、ＭＤＳＲにより、圧縮動きフィールドにおける１６×１６ブロックの左上サンプルに適用可能な動きを維持しながら、輝度サンプル単位における１６×１６ブロックに対して動きデータの粒度を削減することができる。エンコーダは、圧縮動きフィールドの空間単位に関連する一つ（又は複数）の標示情報を一つ又は複数のシンタックス要素及び／又はシンタックス要素値として符号化してもよい。こうしたシンタックス要素及び／又はシンタックス要素値は、例えば特定のシーケンスレベルのシンタックス構造におけるビデオパラメータセットやシーケンスパラメータセットである。特定の符号化（又は復号）方法、そのデバイスの何れか又は全ての中には、動き予測のブロックパーティショニング（例えば、ＨＥＶＣ規格の予測単位）に従って動きフィールドの表現及び／又は保存が行われるものもある。特定の符号化（又は復号）方法、そのデバイスの何れか又は全ての中には、規則的なグリッドとブロックパーティショニングの組合せが適用され、それによって所定又は指定の空間単位よりも大きい区画に関連する動きがこれらの区画に関連付けられて表現及び／又は保存され、一方で所定又は指定の空間単位よりも小さい又は揃っていない区画に関連する動きがその所定又指定の単位に対して表現及び／又は保存されるようになるものもある。

【0073】

ビデオエンコーダは、所期のマクロブロックモード及び関連する動きベクトル等のレート歪み（ＲＤ）最適符号化モードを探索するために、ラグランジュ費用関数（Lagrangian cost function）を利用してもよい。この種の費用関数は、非可逆符号化法による（正確な又は推定された）画像歪みと、画像領域のピクセル値を表現するのに必要である（正確な又は推定された）情報量を一緒に固定するために、重み付きファクタλを用いる。

C = D +λR (1)

ここで、Cは最小化すべきラグランジュコスト、Dはそのモード及び考慮される動きベクトルによる画像歪み（平均二乗誤差など）、Rはデコーダで画像ブロックを再構成するために要求されるデータ（候補の動きベクトルを表わすためのデータ量を含んでもよい）を表わすのに必要なビット数である。

【0074】

本節では、Ｈ．２６４／ＡＶＣ及びＨＥＶＣの重要な定義やビット列、コーディング構造、概念の一部が、ビデオのエンコーダやデコーダ、符号化方法、復号方法、ビット列構造の例として説明される。本発明の実施形態はこうした例に実装されてもよい。Ｈ．２６４／ＡＶＣの重要な定義やビット列、コーディング構造、概念の中には、ＨＥＶＣにあるものと同一のものもある。したがって、以下ではこれらも一緒に説明される。本発明の態様はＨ．２６４／ＡＶＣやＨＥＶＣに限定されるものではない。本明細書は、本発明の一部又は全部が実現される上での可能な原理を説明するためのものである。

【0075】

数ある従来のビデオコーディング規格と同様にＨ．２６４／ＡＶＣとＨＥＶＣでも、エラーの無いビット列の復号処理のみならず、ビット列の構文と意味についても規定されている。符号化処理は規定されていないが、エンコーダは必ずビット列の確認を行わなくてはならない。ビット列とデコーダの適合性は、仮想リファレンスデコーダ(Hypothetical Reference Decoder；HRD）を用いて検証できる。標準規格は伝送エラーや伝送損失対策を助けるコーディングツールを含む。しかし、こうしたツールを符号化で使用するのは任意選択であって、誤ったビット列に対する復号処理は何も規定されていない。

【0076】

現存の規格に関する記述と同様に例示的実施形態の記述においても、シンタックス要素はビット列で表わされるデータの要素として定義される。シンタックス構造は、特定の順序のビット列で表わされる０以上のデータの要素として定義される。現存規格の説明と同様に本例示的実施形態の説明においても、「外部手段により」又は「外部手段を通じて」という表現が使用されている。例えば、復号処理で使用されるシンタックス構造や変数値のようなエンティティは、その復号処理に対して「外部手段により」提供される。この「外部手段により」という表現は、エンコーダが生成したビット列にこうしたエンティティが含まれず、例えば制御プロトコルの使用などビット列以外の手段で伝えることを含意してもよい。あるいは又は加えて、この表現が、こうしたエンティティをエンコーダが生成するのではなく、プレーヤーや復号制御ロジック、デコーダを使用するその他のものが生成することを意味してもよい。デコーダは、変数値のような外部手段を入力するインタフェースを具備してもよい。

【0077】

Ｈ．２６４／ＡＶＣ又はＨＥＶＣのエンコーダへの入力及びＨ．２６４／ＡＶＣ又はＨＥＶＣのデコーダからの出力のための基本単位はそれぞれピクチャである。エンコーダへの入力として与えられたピクチャをソースピクチャと呼び、デコーダが復号したピクチャを復号ピクチャと呼ぶ。

【0078】

ソースピクチャ及び復号ピクチャはそれぞれ一つ又は複数のサンプル配列から成る。サンプル配列は次の中の一つとして与えられる：

・ 輝度（Ｙ）のみ（モノクロ）；

・ 輝度及び二種類の色差（ＹＣｂＣｒ又はＹＣｇＣｏ）；

・ 緑、青、赤（ＲＧＢとも呼ばれる）；

・ 他の未規定モノクロ又は三刺激値色（tri-stimulus color）サンプリング（ＹＺＸ等。ＸＹＺとも呼ばれる）を表現する配列。

【0079】

以降では、こうした配列を輝度（Ｌ又はＹ）及び色差と呼ぶことにする。ここで二種類の色差配列は、実際に用いられる色表現法とは関係なくＣｂ及びＣｒと呼ぶことにする。実際に用いられる色表現法は、例えば、Ｈ．２６４／ＡＶＣ、ＨＥＶＣに一方又は両方におけるビデオユーザビリティ情報（ＶＵＩ）シンタックス等を用いて符号化ビット列に標示できる。各成分は、こうした三つのサンプル配列（輝度及び二つの色差）の何れか一つ、又はモノクロフォーマット画像を含む配列の中の一サンプルから得られる一配列又は一サンプルとして定義される。

【0080】

Ｈ．２６４／ＡＶＣ及びＨＥＶＣにおいて、ピクチャはフレーム又はフィールドの何れでもよい。フレームは輝度（luma）サンプルと場合により対応する色差（chroma）サンプルの行列を含む。フィールドは、１フレームに関する代替の横サンプル行のセットであり、ソース信号がインターレースである場合、エンコーダ入力として用いられてもよい。色差サンプル配列は無くてもよく（従ってモノクロサンプリングが用いられる）、輝度サンプル配列と比較されるときにサブサンプリングされてもよい。幾つかの色差フォーマットは次のようにまとめられる。

・ モノクロサンプリングでは、一つのサンプル配列のみが存在し、名目上輝度配列とみなされる。

・ ４：２：０サンプリングでは、２つの色差配列の各々の縦横寸法は、それぞれ輝度配列の縦横寸法の半分である。

・ ４：２：２サンプリングでは、２つの色差配列の各々の縦横寸法は、それぞれ輝度配列の縦寸法と同じで横寸法の半分である。

・ ４：４：４サンプリングでは、別個の色平面が使用されない場合、２つの色差配列の各々の縦横寸法は、それぞれ輝度配列の縦横寸法と同じである。

【0081】

Ｈ．２６４／ＡＶＣ及びＨＥＶＣでは、サンプル配列を別個の色平面としてビット列に符号化し、そのビット列から符号化色平面をそれぞれ別々に復号することができる。別個の色平面が用いられる場合、それらの各々は（エンコーダ及び／又はデコーダによって）モノクロサンプリングのピクチャとして別々に処理される。

【0082】

パーティショニングとは、１つのセットの各要素が正確にサブセットの１つであるように、そのセットを複数のサブセットに分割することとして定義することができる。

【0083】

ＨＥＶＣの符号化、復号の一方又は両方の動作を記述する場合、次の用語が使用される。符号化ブロックは特定の値Ｎを用いてＮ×Ｎサンプルのブロックとして定義される。このとき、符号化ツリーブロックから符号化ブロックへの分割がパーティショニングである。符号化ツリーブロック（ＣＴＢ）は特定の値Ｎを用いてＮ×Ｎサンプルのブロックとして定義される。このとき、一成分から符号化ツリーブロックへの分割もパーティショニングである。符号化ツリー単位（ＣＴＵ）は、三つのサンプル配列を有する画像においては、輝度サンプルの符号化ツリーブロック、色差サンプルに対応する二つの符号化ツリーブロックとして定義される。モノクロ画像や、サンプル符号化に三つの別々の色平面とそのサンプル符号化に用いるシンタックス構造を使って符号化された画像では、そうしたサンプルの符号化ツリーブロックとして定義されてもよい。符号化単位（ＣＵ）は、三つのサンプル配列を有する画像においては、輝度サンプルの符号化ブロック、色差サンプルに対応する二つの符号化ブロックとして定義される。モノクロ画像や、サンプル符号化に三つの別々の色平面とそのサンプル符号化に用いるシンタックス構造を使って符号化された画像では、そうしたサンプルの符号化ブロックとして定義されてもよい。

【0084】

高効率ビデオ符号化（ＨＥＶＣ）コーデック等のビデオコーデックによっては、ビデオピクチャは、ピクチャ領域を覆う複数の符号化単位（ＣＵ）に分割される。ＣＵは１つ又は複数の予測単位（ＰＵ）と１つ又は複数の変換単位（ＴＵ）から成る。ＰＵはＣＵ内のサンプルに対する予測処理を規定し、ＴＵはＣＵのサンプルに対する予測誤差の符号化処理を規定する。通常ＣＵは、正方形のサンプルブロックから成り、既定されている可能なＣＵサイズのセットから選択可能なサイズを持つ。最大許容サイズのＣＵはＬＣＵ（最大符号化単位）又はＣＴＵ（符号化ツリー単位）と呼ばれることもあり、ビデオピクチャは重なり合わないＬＣＵに分割される。ＬＣＵは、例えば、ＬＣＵと分割の結果得られるＣＵを再帰的に分割することによって更に小さいＣＵの組合せに分割されることもある。分割の結果得られる各ＣＵは通常、少なくとも１つのＰＵとそれに関連する少なくとも１つのＴＵを有する。ＰＵとＴＵはそれぞれ、予測処理と予測誤差符号化処理の粒度を上げるために、更に小さい複数のＰＵとＴＵに分割されることもある。各ＰＵは、それぞれのＰＵ内のピクセルに適用される予測タイプを定義する、それぞれのＰＵに関連した予測情報（例えば、インター予測されたＰＵに対しては動きベクトルの情報、イントラ予測されたＰＵに対してはイントラ予測の方向情報など）を持つ。

【0085】

各ＴＵは、それぞれのＴＵ内のサンプルに対する予測誤差復号処理を記述する情報（ＤＣＴ係数情報なども含む）に関連付けられる。通常、各ＣＵに対して予測誤差符号化が適用されるか否かがＣＵレベルで伝達される。ＣＵに関連する予測誤差の残差がない場合、そのＣＵに対するＴＵが存在しないと見做される。ピクチャをＣＵに分割し、ＣＵをＰＵとＴＵに分割することは通常、デコーダがこうした単位から目的の構造を再生できるようにビット列信号で伝えられる。

【0086】

ＨＥＶＣでは、ピクチャはタイルに分割される。タイルは長方形で、整数のＬＣＵを含む。ＨＥＶＣでは、タイル分割（パーティショニング）は正規グリッド（regular grid）を形成し、タイルの縦横寸法は最大１ＬＣＵ分だけ互いに異なる。ＨＥＶＣでは、スライスは、一つの独立スライスセグメント、及び同一アクセス単位内でその独立スライスセグメントの直後から（存在する場合）次の独立スライスセグメントの直前までの（存在する場合）全ての従属スライスセグメントに含まれる符号化ツリー単位の整数値として定義される。ＨＥＶＣでは、スライスセグメントは、タイルスキャンの連続順序で一つのＮＡＬ単位に含まれる符号化ツリー単位の整数値として定義される。各ピクチャからスライスセグメントへの分割がパーティショニングである。ＨＥＶＣでは、独立スライスセグメントは、スライスセグメントヘッダのシンタックス要素値が前のスライスセグメントの値から推定されないようなスライスセグメントと定義され、従属スライスセグメントは、スライスセグメントヘッダのシンタックス要素の一部の値が復号順で前の独立スライスセグメントの値から推定されるようなスライスセグメントと定義される。ＨＥＶＣでは、現在のスライスセグメント、又は現在のスライスセグメントより前の独立スライスセグメントである独立スライスセグメントのスライスセグメントヘッダをスライスヘッダと定義する。スライスセグメントヘッダは、スライスセグメントに現れる先頭の又は全ての符号化ツリー単位に関するデータ要素を含む符号化スライスセグメントの一部と定義される。ＣＵは、タイル内、又はタイルが使われない場合はピクチャ内でＬＣＵのラスタースキャン順にスキャンされる。ＬＣＵ内では、ＣＵは特定のスキャン順序を持つ。

【0087】

ビデオ符号化規格及び標準は、エンコーダが符号化ピクチャを符号化スライス等に分割できるようにしてもよい。通常、スライス境界を跨ぐインピクチャ予測は無効である。したがって、スライスは符号化ピクチャを独立に復号される部分に分割する方法だと考えられる。Ｈ．２６４／ＡＶＣ及びＨＥＶＣでは、ピクチャ内でスライス境界を跨ぐ予測が無効でもよい。したがって、スライスは符号化ピクチャを独立に復号される部分に分割する方法だと考えられることもあり、それ故しばしば、伝送の基本単位と見做される。多くの場合、エンコーダは、スライス境界を超える際にオフにされたピクチャ内予測タイプをビット列に示してもよい。この情報は、デコーダの動作によって、どの予測ソースが利用可能であるかを決定する際などで考慮される。例えば、隣接するマクロブロックやＣＵが別のスライスに存在する場合、その隣接するマクロブロックやＣＵからのサンプルはイントラ予測には利用できないと見做されてもよい。

【0088】

Ｈ．２６４／ＡＶＣ又はＨＥＶＣのエンコーダからの出力及びＨ．２６４／ＡＶＣ又はＨＥＶＣのデコーダへの入力のための基本単位はそれぞれ、ネットワーク抽象化層（Network Abstraction Layer；ＮＡＬ）単位である。パケット指向ネットワークでの伝送や構造化ファイルへの格納に対して、ＮＡＬ単位はパケットや類似の構造にカプセル化されてもよい。ＮＡＬ単位は、後続データの種類の標示を含むシンタックス構造と、ＲＢＳＰ（raw byte sequence payload）の形態で必要に応じてスタートコード・エミュレーション・プリベンション（startcode emulation prevention）バイトと一緒に散在するデータを含む複数バイトとして定義されてもよい。ＲＢＳＰは、ＮＡＬ単位にカプセル化される整数値を含むシンタックス構造として定義されてもよい。ＲＢＳＰは空であるか、ＲＢＳＰストップビット及び０に等しいシーケンスビット０個以上に続くシンタックス構造要素を含むデータビット列の形態を持つかの何れかである。ＮＡＬ単位はヘッダとペイロードから成る。

【0089】

ＨＥＶＣでは、規定されるＮＡＬ単位タイプの全てに対して２バイトのＮＡＬ単位ヘッダが使用される。ＮＡＬ単位ヘッダは、１ビットの予約ビット、６ビットのＮＡＬ単位タイプ標示情報、３ビットのnuh_temporal_id_plus1時間レベル用標示情報（１以上を要求してもよい）、６ビットのnuh_layer_idシンタックス要素を含む。temporal_id_plus1シンタックス要素はNAL単位の時間識別子とみなされ、ゼロベースのTemporalId変数は、

TemporalId = temporal_id_plus1 - 1

のように算出することができる。

TemporalIdが0のときは、最下位時間レベルに対応する。２つのNAL単位ヘッダバイトを含む符号化エミュレーションの開始を避けるために、temporal_id_plus1の値はゼロでない値であることが求められる。選択された値以上のTemporalIdを持つ全てのＶＣＬ−ＮＡＬ単位を除外し、それ以外の全てのＶＣＬ−ＮＡＬ単位を含めることによって生成されたビット列が適合するものである。その結果、TIDと等しいTemporalIdを持つピクチャは、TIDを超えるTemporalIdを持つどのピクチャもインター予測リファレンスとして使用しない。サブレイヤ又は時間サブレイヤは、TemporalId変数の特定の値を持つＶＣＬ−ＮＡＬ単位及び関連する非ＶＣＬ−ＮＡＬ単位から成る、時間スケーラブルビット列の時間スケーラブルレイヤとして規定されてもよい。nuh_layer_idはスケーラブルレイヤ識別子とすることができる。

【0090】

ＮＡＬ単位はビデオ符号化層（Video Coding Layer；VCL）ＮＡＬ単位と非ＶＣＬ−ＮＡＬ単位に分類できる。Ｈ．２６４／ＡＶＣでは、符号化スライスＮＡＬ単位は１つ又は複数の符号化マクロブロックを表わすシンタックス要素を含み、それぞれが非圧縮ピクチャのサンプルブロックに対応する。ＨＥＶＣでは、ＶＣＬ−ＮＡＬ単位は１つ又は複数のＣＵを表わすシンタックス要素を含む。

【0091】

非ＶＣＬ−ＮＡＬ単位は例えば、次のタイプの１つでもよい。
・ シーケンスパラメータセット；
・ ピクチャパラメータセット；
・ 補助拡張情報（supplemental enhancement information；SEI）ＮＡＬ単位；
・ アクセス単位区切り；
・ シーケンスＮＡＬ単位の一部；
・ ビット列ＮＡＬ単位の一部；
・ 補充データＮＡＬ単位。
パラメータセットは復号ピクチャの再構成に必要であってもよいが、他の非ＶＣＬ−ＮＡＬ単位の多くは、復号サンプル値の再構成には必要ない。

【0092】

符号化ビデオシーケンスで不変のパラメータがシーケンスパラメータセットに含まれてもよい。復号処理に必要なパラメータに加え、シーケンスパラメータセットがビデオユーザビリティ情報（video usability information；VUI）を含んでもよい。これは、バッファリングやピクチャ出力タイミング、レンダリング、リソース予約に重要なパラメータを含む。ＨＥＶＣでは、シーケンスパラメータセットＲＢＳＰには、１つ又は複数のピクチャパラメータセットＲＢＳＰ、又はバッファリング期間（buffering period）ＳＥＩメッセージを含む１つ又は複数のＳＥＩ−ＮＡＬ単位によって参照可能なパラメータが含まれる。ピクチャパラメータセットは、複数の符号化ピクチャで不変であるようなパラメータを含む。ピクチャパラメータセットＲＢＳＰは、１つ又は複数の符号化ピクチャの符号化スライスＮＡＬ単位によって参照可能なパラメータを含んでもよい。

【0093】

ＨＥＶＣにおいて、ビデオパラメータセット（ＶＰＳ）は、ゼロ以上の全符号化ビデオシーケンスに適用するシンタックス要素を含むシンタックス構造として定義されてもよい。各スライスセグメントヘッダから取得されたシンタックス要素によってＰＰＳが参照され、このＰＰＳから取得されたシンタックス要素によってＳＰＳが参照され、更にこのＳＰＳから取得されたシンタックス要素の内容によってＶＰＳが決定されるためである。ビデオパラメータセットＲＢＳＰは、１つ又は複数のシーケンスパラメータセットＲＢＳＰによって参照可能なパラメータを含んでもよい。

【0094】

ビデオパラメータセット（ＶＰＳ）とシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）の間の関係及び階層は次のように記述できる。ＶＰＳは、スケーラビリティ及び／又は３Ｄビデオの背景では、パラメータセット階層でＳＰＳの１段上に位置する。ＶＰＳは、全ての（スケーラブル又はビュー）レイヤに亘って全スライスに共通なパラメータを符号化ビデオシーケンス全体に含んでもよい。ＳＰＳは、特定の（スケーラブル又はビュー）レイヤにおける全スライスに共通なパラメータを符号化ビデオシーケンス全体に含み、複数の（スケーラブル又はビュー）レイヤで共有されてもよい。ＰＰＳは、特定のレイヤ表現（特定のアクセス単位における特定のスケーラブル又はビューレイヤの表現）における全スライスに共通なパラメータを含み、複数のレイヤ表現における全スライスで共有されるものである。

【0095】

Ｈ．２６４／ＡＶＣ及びＨＥＶＣのシンタックスでは様々なパラメータセットの事例が許容され、各事例は固有の識別子で識別される。パラメータセットに必要なメモリ使用量を制限するために、パラメータセット識別値域は制限されている。Ｈ．２６４／ＡＶＣ及びＨＥＶＣでは、各スライスヘッダは、そのスライスを含むピクチャの復号に対してアクティブなピクチャパラメータセットの識別子を含む。各ピクチャパラメータセットは、アクティブなシーケンスパラメータセットの識別子を含む。その結果、ピクチャとシーケンスパラメータセットの伝送がスライスの伝送と正確に同期されている必要がない。実際に、アクティブシーケンスとピクチャパラメータセットはそれらが参照される前までに受取られていれば十分であり、スライスデータ用のプロトコルよりも高い信頼性のある伝送機構を使って「帯域外」でパラメータセットを伝送することが可能になる。例えば、パラメータセットはリアルタイム転送プロトコル(Real-time Transport Protocol；RTP）セッション用のセッション記述でのパラメータとして含まれてもよい。パラメータセットは、帯域内で伝送される場合、エラー耐性を高めるために繰り返されることもある。

【0096】

あるいは又は加えて、こうした帯域外伝送や信号伝送、記憶保存が、アクセスの容易性やセッションネゴシエーションのような、伝送エラー耐性以外の目的に使われることもある。例えば、ＩＳＯＢＭＦＦに従うファイルにおけるトラックのサンプルエントリはパラメータセットを含むことができるが、ビット列の符号化データはファイルの別の場所、又は別のファイルに保存される。本願に記載された特許請求の範囲及び実施形態では、帯域外データをビット列に関連付ける方法で帯域外伝送や信号伝送、記憶保存が用いられてもよい。ビット列等に沿って復号するフレーズは、そのビット列に関連付けられる（帯域外伝送や信号伝送、記憶保存で取得可能な）参照済み帯域外データの復号と呼んでもよい。

【0097】

特定の符号化法に利用可能なイントラ予測モードには様々なタイプがある。エンコーダは、例えばブロックや符号化単位ベースで使用されるタイプを選択し、それを示すことができる。デコーダは、示されたイントラ予測モードを復号し、それに従って予測ブロックを再構成できる。例えば、角度方向別にそれぞれ異なる角度イントラ予測モードが利用可能でもよい。角度イントラ予測は、線形予測方向に沿って隣接するブロックの境界サンプルを外挿するものとみなしてよい。あるいは又は加えて、平面予測モードが利用可能でもよい。平面予測は、本質的には予測ブロックを形成するものとみなしてよい。この場合、予測ブロックの各サンプルは、現ブロックの左側に隣接する縦サンプル列に揃えられたサンプルと、同じ現ブロックの上側に隣接する横サンプル列に揃えられたサンプルとの平均として特定することができる。あるいは又は加えて、ＤＣ予測モードが利用可能でもよい。この場合、予測ブロックは、本質的に隣接する一つ（又は複数）のブロックの平均サンプル値である。

【0098】

Ｈ．２６５／ＨＥＶＣには、二種類の動きベクトル予測法、即ち高度動きベクトル予測（ＡＭＶＰ）とマージモードが含まれる。ＡＭＶＰ又はマージモードでは、ＰＵから動きベクトル候補のリストが導出される。候補には空間的候補と時間的候補の二種類がある。時間的候補はＴＭＶＰ候補とも呼ばれる。

【0099】

マージリスト、ＡＭＶＰ用候補リスト、その他類似する動きベクトル候補リストの何れか又は全てからの候補の一つは、指定又は推定された参照ピクチャ内の同一位置ブロック（collocated block）から導出できるＴＭＶＰ候補又はその同種のものでもよい。こうした参照ピクチャは、例えばスライスヘッダに示されたものである。ＨＥＶＣでは、同一位置区画を取得するために使用されるべき参照ピクチャ・リストは、スライスヘッダのcollocated_from_l0_flagシンタックス要素に従って選ばれる。このフラグが１に等しい場合、リスト０から同一位置区画を含むピクチャが導出されることを規定し、それ以外の場合はリスト１からピクチャが導出される。collocated_from_l0_flagが存在しない場合、それが１に等しいと推定される。スライスヘッダのcollocated_ref_idxは、同一位置区画を含むピクチャの参照インデクスを規定する。現スライスがＰスライスである場合、collocated_ref_idxはリスト０のピクチャを参照する。現スライスがＢスライスである場合、collocated_from_l0が１のときには、collocated_ref_idxはリスト０のピクチャを参照し、それ以外のときにはリスト１のピクチャを参照する。collocated_ref_idxは常に有効なリストエントリを参照し、その結果として得られるピクチャは符号化ピクチャの全スライスで同一となる。collocated_ref_idxが存在しない場合、それが０に等しいと推定される。

【0100】

ＨＥＶＣでは、マージリストにおける時間的動きベクトル予測用のいわゆる対象参照インデクスは、動き符号化モードがマージモードである場合は０に設定される。ＨＥＶＣにおいて時間的動きベクトル予測を利用する動き符号化モードが高度動きベクトル予測である場合、対象参照インデクス値は明示的に（例えばＰＵ毎に）示される。

【0101】

ＨＥＶＣでは、候補予測動きベクトル（ＰＭＶ）の可用性が次のように（空間的候補及び時間的候補の両方について）決定されてもよい（ここで、ＳＲＴＰは短期参照ピクチャ、ＬＲＴＰは長期参照ピクチャである）：

【0102】

ＨＥＶＣでは、対象参照インデクス値が決定されると、時間的動きベクトル予測の動きベクトル値が次のように導出されてもよい：現予測単位の右下近傍と同一位置のブロックにおける動きベクトルＰＭＶが取得される。同一位置ブロックが存在するピクチャは、例えば、前述のようにスライスヘッダで信号伝送された参照インデクスに従って決定されてもよい。右下近傍のＰＭＶが利用できない場合、同一位置ピクチャの現ＰＵの位置での動きベクトルＰＭＶが取得される。同一位置ブロックにおいて決定された利用可能な動きベクトルＰＭＶは、第１のピクチャ順序カウント差と第２のピクチャ順序カウント差の比に対して拡大縮小される。第１のピクチャ順序カウント（ＰＯＣ）差は、同一位置ブロックを含むピクチャとその同一位置ブロックの動きベクトルに関する参照ピクチャの間から導出される。第２のピクチャ順序カウント差は、現ピクチャと対象参照ピクチャの間から導出される。対象参照ピクチャ、及び同一位置ブロックの動きベクトルに関する参照ピクチャの何れか一方が長期参照ピクチャである（もう一方が短期参照ピクチャである）場合、ＴＭＶＰ候補は利用不可であるとみなしてよい。対象参照ピクチャ、及び同一位置ブロックの動きベクトルに関する参照ピクチャの両方が長期参照ピクチャである場合、ＰＯＣに基づく動きベクトルの拡大縮小が適用されなくてもよい。

【0103】

Ｈ．２６３，Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣなど複数のビデオ符号化規格では、予測ブロックを取得するために、動きベクトルがピクチャ境界の外側の領域を指し示すことが許され、非整数サンプル補間でピクチャ境界外のサンプル位置を使用できる。予測処理の一部としてピクチャ境界外のサンプルを取得するために、ピクチャ境界外の各サンプルが効果的にコピーされる。これについては、図６で説明した凡例を用いて図７に示す。図６では、参照番号６１０が参照ピクチャのサンプル配列であり、参照番号６２０がサンプル配列の中の位置（ｘ，ｙ）に在るサンプルである。図７は、インター予測処理においてピクチャ境界外のサンプルを参照する従来の処理方法を示す。

【0104】

インター予測処理においてピクチャ境界外のサンプル位置に対応する機構は、複数の方式で実装される。その一つの方式は、復号ピクチャの寸法よりも大きいサンプル配列を割り当てる、即ち画像の上下左右にマージンを持たせる方式である。こうしたマージンの使用に加えて、あるいはそれに代えて、予測に用いるサンプルの位置（予測ブロックに対して非整数サンプルを補間する入力として、あるいは予測ブロック自体に含まれるサンプルとして与えられる）は、それがピクチャ境界（マージンを使用する場合はマージンを含む境界）を超えないように飽和させてもよい。ビデオ符号化規格によっては、こうした方法でピクチャ境界を越える動きベクトルに対応することが記述されている。

【0105】

例えば、ＨＥＶＣでは、（中間）予測ブロックを生成する非整数サンプル補間用として、輝度サンプル（又は参照ピクチャ）の所定の配列refPicLXL内の位置（xA_{i, j}, yA_{i, j}）を導出するために、次の式が用いられる：

xA_{i, j} = Clip3(0，pic_width_in_luma_samples - 1, xInt_L + i)
yA_{i, j} = Clip3(0，pic_height_in_luma_samples - 1, yInt_L + j)

ここで、

（xInt_L, yInt_L）は整数サンプル単位での輝度位置、
i及びjは補間フィルタウィンドウ内の相対位置、
pic_width_in_luma_samplesは輝度サンプル単位でのピクチャの横寸法、
pic_height_in_luma_samplesは輝度サンプル単位でのピクチャの縦寸法であり、
演算Clip3( ) は次のように規定される：

【0106】

これにより、（Clip3演算前に）サンプル位置の座標が負である場合、Clip3演算は０に飽和させることが分かる。同様に、サンプル位置の座標が（水平位置では）横寸法又は（垂直位置では）縦寸法よりも大きい場合、それぞれ横寸法−１、縦寸法−１に飽和させる。

【0107】

色差成分のインター予測において、色差サンプル配列の境界内に在るべき色差サンプルを非整数サンプル補間で合成する場合にも、同様の式が存在する。

【0108】

３６０度パノラマビデオの符号化、復号の一方又は両方を行う場合は、前述の通り、動きベクトルがピクチャ境界外を指し示すために、又はピクチャ境界外のサンプル値を用いた非整数サンプル補間のために、あるいはそれら両方のために、ピクチャ境界外のサンプルを参照サンプルとして使用できる。完全な３６０度視野が表現されているという事実により、従来アプローチの代わりにピクチャの反対側からのサンプル値を使用することもできる。従来アプローチでは、予測処理でピクチャの水平方向境界外のサンプルが必要な場合、境界サンプルを利用していた。これは、図８に示されている。図８は、（パノラマビデオの符号化において）ピクチャ境界を越える動きベクトルを処理するために適用される。ピクチャ境界外ピクセルに対するこうした処理は、参照ピクチャを復号ピクチャよりも（縦横の一方又は両方で）拡大することによって可能となる。後で記述するように別の実装も可能である。

【0109】

負の水平サンプル位置を０に飽和させたり、横寸法−１を越える水平位置（即ちピクチャの最右縦サンプル列の水平サンプル位置）を横寸法−１に飽和させたりする代わりに、参照されるピクチャ境界外水平サンプル位置をラップアラウンドさせてもよい。これは、横寸法−１を超える水平サンプル位置がピクチャ左側の縦サンプル列を参照するようにラップアラウンドされることを意味する。これとは逆に、０未満の水平サンプル位置はピクチャ右側の縦サンプル列を参照するようにラップアラウンドされる。

【0110】

こうしたラップアラウンド関数Wrap()は次のように規定される：

【0111】

ＨＥＶＣにおける非整数輝度サンプル補間で前述した式を参照すれば、次の式が用いられる：

xA_{i, j} = Wrap( 0，pic_width_in_luma_samples - 1, xInt_L + i )

【0112】

これは、次の従来の式に代わるものである：

xA_{i, j} = Clip3( 0，pic_width_in_luma_samples - 1, xInt_L + i )

【0113】

前述の二つの技術（即ちピクチャ境界外サンプルの参照、及び参照サンプルの水平サンプル位置のラップアラウンド）に加えて、これらの技術の組合せも利用できる。マージンは、例えば、復号ピクチャの境界内外両方のサンプルを参照する最大領域をカバーするように設定できる。サンプル位置のラップアラウンドは、復号ピクチャ境界から完全に外の予測単位に対して用いられる。この組合せ法は、サンプル位置のラップアラウンドのみを使用するアプローチよりもメモリアクセスを高速化できる。

【0114】

前述のように、動きベクトルは参照ピクチャの非整数サンプル位置を参照できる。非整数サンプル位置でのサンプル値は、非整数サンプル補間処理を通じて取得できる。輝度サンプル配列には、色差サンプル配列とは異なる処理を用いてもよい。ある実施例によれば、輝度成分に対する非整数サンプル補間処理は次に記述するように動作してもよい。ここで示される処理はＨＥＶＣからのものであるが、例示目的で示されたものであり、例えばフィルタタップを変更する等、同様の処理も実現可能である点を理解する必要がある。

【0115】

この処理への入力は、整数サンプル単位での輝度位置（xInt_L, yInt_L）；非整数サンプル単位での輝度位置（xFrac_L, yFrac_L）；輝度参照サンプル配列refPicLX_Lである。この処理の出力は予測輝度サンプル値predSampleLX_Lである。

【0116】

図９において、大文字A_{i, j}を付された影付きブロックの位置は、所定の二次元輝度サンプル配列refPicLX_Lの内部に在る整数サンプル位置での輝度サンプルを表わす。予測輝度サンプル値predSampleLXLを生成するために、これらのサンプルを使用してもよい。所定の輝度サンプル配列refPicLX_L内の輝度サンプルA_{i, j}に対応する位置（xA_{i, j}, yA_{i, j} ）は次のように導かれる：

xA_{i, j} = Clip3( 0，pic_width_in_luma_samples - 1, xInt_L + i )
yA_{i, j} = Clip3( 0，pic_height_in_luma_samples - 1, yInt_L + j )

【0117】

小文字を付された影無しブロックの位置は、４分の１非整数サンプル位置の輝度サンプルを表わす。非整数サンプル単位での輝度位置オフセット（xFrac_L, yFrac_L）は、整数サンプル及び非整数サンプル位置で生成された輝度サンプルの中のどれが予測輝度サンプル値predSampleLX_Lに割り当てられるかを特定する。この割当ては以下の表１のように規定される。predSampleLX_Lは出力値である。

【0118】

変数shift1，shift2、shift3は次のように導かれる：
変数shift1はMin(2，14 - BitDepth_Y)、変数shift2は6、変数shift3はMax(2，14 - BitDepth_Y)に、それぞれ設定される。

【0119】

整数サンプル位置（xA_{i, j}, yA_{i, j}）での輝度サンプル をA_{i, j}とすると、非整数サンプル位置での輝度サンプルa_0,0からr_0,0は次のように導かれる。

・ a_0,0，b_0,0，c_0,0，d_0,0，h_0,0、n_0,0を付されたサンプルは、８タップフィルタを適用して、次のように最近似整数位置（nearest integer position）サンプルを導く。

a_0,0 = ( -A_-3,0 + 4 * A_-2,0 - 10 * A_-1,0 + 58 * A_0,0 + 17 * A_1,0 - 5 * A_2,0 + A_3,0 ) >> shift1

b_0,0 = ( -A_-3,0 + 4 * A_-2,0 - 11 * A_-1,0 + 40 * A_0,0 + 40 * A_1,0 - 11 * A_2,0 + 4 * A_3,0 - A_4,0 ) >> shift1

c_0,0 = ( A_-2,0 - 5 * A_-1,0 + 17 * A_0,0 + 58 * A_1,0 - 10 * A_2,0 + 4 * A_3,0 - A_4,0 ) >> shift1

d_0,0 = ( -A_0,-3 + 4 * A_0,-2 - 10 * A_0,-1 + 58 * A_0,0 + 17 * A_0,1 - 5 * A_0,2 + A_0,3 ) >> shift1

h_0,0 = ( -A_0,-3 + 4 * A_0,-2 - 11 * A_0,-1 + 40 * A_0,0 + 40 * A_0,1 - 11 * A_0,2 + 4 * A_0,3 - A_0,4 ) >> shift1

n_0,0 = ( A_0,-2 - 5 * A_0,-1 + 17 * A_0,0 + 58 * A_0,1 - 10 * A_0,2 + 4 * A_0,3 - A_0,4 ) >> shift1


・ e_0,0，i_0,0，p_0,0，f_0,0，j_0,0，q_0,0，g_0,0，k_0,0、r_0,0を付されたサンプルは、８タップフィルタを適用して、次のように i = -3，…，4におけるサンプルa_0,i，b_0,i，c_0,iを導く。

e_0,0 = ( -a_0,-3 + 4 * a_0,-2 - 10 * a_0,-1 + 58 * a_0,0 + 17 * a_0,1 - 5 * a_0,2 + a_0,3 ) >> shift2

i_0,0 = ( -a_0,-3 + 4 * a_0,-2 - 11 * a_0,-1 + 40 * a_0,0 + 40 * a_0,1 - 11 * a_0,2 + 4 * a_0,3 - a_0,4 ) >> shift2

p_0,0 = ( a_0,-2 - 5 * a_0,-1 + 17 * a_0,0 + 58 * a_0,1 - 10 * a_0,2 + 4 * a_0,3 - a_0,4 ) >> shift2

f_0,0 = ( -b_0,-3 + 4 * b_0,-2 - 10 * b_0,-1 + 58 * b_0,0 + 17 * b_0,1 - 5 * b_0,2 + b_0,3 ) >> shift2

j_0,0 = ( -b_0,-3 + 4 * b_0,-2 - 11 * b_0,-1 + 40 * b_0,0 + 40 * b_0,1 - 11 * b_0,2 + 4 * b_0,3 - b_0,4 ) >> shift2

q_0,0 = ( b_0,-2 - 5 * b_0,-1 + 17 * b_0,0 + 58 * b_0,1 - 10 * b_0,2 + 4 * b_0,3 - b_0,4 ) >> shift2

g_0,0 = ( -c_0,-3 + 4 * c_0,-2 - 10 * c_0,-1 + 58 * c_0,0 + 17 * c_0,1 - 5 * c_0,2 + c_0,3 ) >> shift2

k_0,0 = ( -c_0,-3 + 4 * c_0,-2 - 11 * c_0,-1 + 40 * c_0,0 + 40 * c_0,1 - 11 * c_0,2 + 4 * c_0,3 - c_0,4 ) >> shift2

r_0,0 = ( c_0,-2 - 5 * c_0,-1 + 17 * c_0,0 + 58 * c_0,1 - 10 * c_0,2 + 4 * c_0,3 - c_0,4 ) >> shift2

【0120】

スケーラブルビデオ符号化は、コンテンツに関してビットレートや解像度、フレームレート等が異なる複数の表現を一つのビット列が格納できるような符号化構造を言及することもある。このような場合、受信側は、その特定（例えば、ディスプレイ装置に最適な解像度）に応じて望ましい表現を抽出できる。あるいは、サーバ又はネットワーク要素が、例えばネットワーク特性や受信側の処理能力に応じて、受信側に送信されるべきビット列の一部を抽出することもできる。意味のある復号表現は、スケーラブルビット列の特定部分のみを復号することによって生成できる。スケーラブルビット列は、一般的には、利用可能な最低品質ビデオを提供する１層の基本レイヤ（base layer）と、下位レイヤと共に受信・復号されるとビデオ品質を高める１又は複数層の拡張レイヤ（enhancement layer）から構成される。拡張レイヤに対する符号化効率を高めるために、レイヤの符号化表現は、一般に下位レイヤに依存する。例えば、拡張レイヤの動き情報及びモード情報が下位レイヤから予測されてもよい。同様に、拡張レイヤ予測を作成するために、下位レイヤのピクセルデータを用いることもできる。

【0121】

スケーラブルビデオ符号化方式によっては、ビデオ信号は基本レイヤ及び１つ又は複数の拡張レイヤに符号化されてもよい。拡張レイヤは、例えば時間分解能（すなわち、フレームレート）や空間分解能を上げたり、別のレイヤやその一部によって表わされるビデオコンテンツの品質を単に上げたりしてもよい。各レイヤは、それぞれの全ての従属レイヤと合わせて、例えば特定の空間分解能、時間分解能、品質レベルでのビデオ信号の一表現となる。本願では、全ての従属レイヤを伴うスケーラブルレイヤを「スケーラブルレイヤ表現」と呼ぶ。特定の忠実度で元の信号表現を生成するために、スケーラブルレイヤ表現に対応するスケーラブルビット列の一部が抽出され復号される。

【0122】

スケーラビリティモード又はスケーラビリティ次元には以下のものが含まれるが、これらに限定されない。

・ 品質スケーラビリティ：
基本レイヤピクチャは、拡張レイヤピクチャよりも低い品質で符号化され、例えば、基本レイヤが拡張レイヤよりも大きな量子化パラメータ値を使用することができる（即ち伝送係数量子化における量子化ステップサイズをより大きくすることができる）。

・ 空間スケーラビリティ：
基本レイヤピクチャは、拡張レイヤピクチャよりも低い解像度で符号化される（即ち、より少ないサンプルを有する）。空間スケ−ラビリティと品質スケーラビリティは、特にその粗粒度スケーラビリティというタイプにおいて同種のタイプとみなされることもある。

・ ビット深度スケーラビリティ：
基本レイヤピクチャは、（例えば１０から１２ビットの）拡張レイヤピクチャよりも低いビット深度（例えば８ビット）で符号化される。

・ ダイナミックレンジスケーラビリティスケーラブルレイヤは、種々の色調マッピング関数、種々の光学変換関数の何れか又は全てを用いて得られるそれぞれ異なったダイナミックレンジ、画像の何れか又は全てを表現する。

・ クロマフォーマットスケーラビリティ：
基本レイヤピクチャは、（例えば４：２：０クロマフォーマットで符号化された）色差サンプル配列において、（例えば４：４：４フォーマットの）拡張レイヤピクチャよりも低い空間分解能を与える。

・ 色域スケーラビリティ：
拡張レイヤピクチャは、基本レイヤピクチャよりも豊富な又は広い色表現範囲を有する。例えば、拡張レイヤは超高精細テレビ（ＵＨＤＴＶ、ＩＴＵ−Ｒ ＢＴ．２０２０規格）の色域を有し、基本レイヤはＩＴＵ−Ｒ ＢＴ．７０９規格の色域を有してもよい。

・ ビュースケーラビリティ：
マルチビュー符号化とも呼ばれる。基本レイヤが第１のビューを表現し、拡張レイヤが第２のビューを表現する。

・ 深度スケーラビリティ：
深度拡張符号化とも呼ばれる。ビット列における一つ又は一部のレイヤが一つ（又は複数の）テクスチャビューを表現し、他の一つ又は複数のレイヤが一つ（又は複数の）深度ビューを表現できる。

・ 関心領域スケーラビリティ（詳細は以下で記述する）

・ インターレース−プログレッシブ・スケーラビリティ（フィールド−フレーム・スケーラビリティとも呼ばれる）：
プログレッシブソースコンテンツを表現するために、基本レイヤにおける符号化インターレースソースコンテンツ素材が拡張レイヤで拡張される。

・ ハイブリッド符号化スケーラビリティ（符号化規格スケーラビリティとも呼ばれる）：
ハイブリッド符号化スケーラビリティでは、基本レイヤのビット列シンタックス処理、セマンティック処理、復号処理が異なるビデオ符号化規格で規定される。これにより、基本レイヤピクチャは、拡張レイヤピクチャとは異なる符号化規格又はフォーマットに従って符号化される。例えば、基本レイヤがＨ．２６４／ＡＶＣで符号化され、拡張レイヤがＨＥＶＣマルチレイヤ拡張で符号化されてもよい。外部基本レイヤピクチャは復号ピクチャであって、拡張レイヤの復号処理のための外部手段として与えられ、拡張レイヤの復号処理において復号基本レイヤピクチャのように扱われる復号ピクチャとして規定されてもよい。ＳＨＶＣ及びＭＶ−ＨＥＶＣによって、外部基本レイヤピクチャを使用できる。

【0123】

こうした様々なタイプのスケーラビリティの多くが相互に組み合わせて適用できることが理解されなくてはならない。例えば、色域スケーラビリティとビット深度スケーラビリティを組み合わせてもよい。

【0124】

レイヤという用語は、あらゆるタイプのスケーラビリティの文脈においてビュースケーラビリティと深度拡張を含むものとして用いられる。拡張レイヤは、信号対ノイズ比（ＳＮＲ）、空間、マルチビュー、深度、ビット深度、クロマフォーマット、色域の何れか又は全てのような、あらゆるタイプの拡張を対象とすることができる。基本レイヤは、基本ビューやＳＮＲ／空間スケーラビリティにおける基本レイヤ、深度拡張ビデオ符号化におけるテクスチャ基本ビューのようなあらゆるタイプの基本ビデオシーケンスを対象とすることができる。

【0125】

現在、３次元（３Ｄ）ビデオコンテンツを提供する様々な技術が研究・開発されている。立体ビデオや２ビュービデオでは、一つのビデオシーケンス又はビューが左目用に表現され、そのパラレルビューが右目用に表現されるとみなされている。視点が切り替えられるアプリケーションや多数の視点を同時に表現できる自動立体ディスプレイには２より多くのパラレルビューが必要とされることもある。こうした多数のパラレルビューにより、コンテンツを見る人が様々な視点からそれを見ることになる。

【0126】

一つのビューは、一台のカメラ又は一視点を表現するピクチャシーケンスとして規定できる。ビューを表現するピクチャはビュー成分とも呼ばれる。換言すれば、ビュー成分は、単一のアクセス単位におけるビューの符号化表現として規定できる。マルチビュービデオ符号化では、一つのビット列に複数のビューが符号化される。複数のビューは通常、立体ディスプレイやマルチビュー自動立体ディスプレイに表示されたり、他の三次元構成で使用されたりすることを目的としているため、同一シーンを表現し、なおかつ、コンテンツに対して相異なる視点を表現しているとしても内容的には一部が重なっている。このため、マルチビュービデオ符号化ではインタービュー相関を活かすインタービュー予測が利用され、圧縮効率を向上させることができる。インタービュー予測を実現する一つの方法は、第１のビューに内在して符号化又は復号されるピクチャに関する一つ（又は複数）の参照ピクチャ・リストに、一つ又は複数の別のビューに関する一つ又は複数の復号ピクチャを含めることである。ビュースケーラビリティは、マルチビュービデオ符号化やマルチビュービデオビット列等を対象とすることができ、一つ又は複数の符号化ビューの除去又は削除が可能となる。一方、結果として得られるビット列は同調して元のものよりも少ない数のビューでビデオを表現できる。

【0127】

関心領域（ＲＯＩ）符号化は、ビデオ内の特定領域をより高い忠実度で符号化するものとして規定できる。ＲＯＩスケーラビリティは、拡張レイヤがレイヤ間予測用ソースピクチャの一部のみを、例えば空間的に、質的に、ビット深度で、更に他のスケーラビリティ次元の何れか又は全てにおいて拡張するようなタイプのスケーラビリティとして規定できる。ＲＯＩスケーラビリティは他のタイプのスケーラビリティと一緒に使用できるため、別カテゴリのスケーラビリティタイプを形成するものとみなされる。ＲＯＩ符号化用アプリケーションには要件毎に異なるものが複数存在する。これらはＲＯＩスケーラビリティを利用して実現されてもよい。例えば、基本レイヤの特定領域の品質、解像度の何れか又は両方を拡張するために、拡張レイヤを伝送することもできる。拡張レイヤと基本レイヤの両方のビット列を受け取るデコーダは、両方のレイヤを復号し、互いのレイヤの上に復号ピクチャを重ねて最終ピクチャを表示してもよい。

【0128】

ここで、スケーラビリティは二通りの方法で実行可能である。その一つは、スケーラブル表現の下位レイヤからピクセル値又はシンタックスの予測を行なうために新しい符号化モードを導入するアプローチであり、もう一つは、下位レイヤピクチャを上位レイヤの参照ピクチャ・バッファ（復号ピクチャ・バッファ、ＤＰＢ等）に配置するアプローチである。第１のアプローチは、より柔軟性があり、大部分の場合で高い符号化効率を実現できる。一方、第２のアプローチは、単レイヤコーデックに対して最小限の変更のみで効率的に実装可能でありながら、殆どの場合で符号化効率の向上を実現することができる。第２のアプローチは、外部参照フレームベースのスケーラビリティ又は高水準シンタックスのみのスケーラブルビデオ符号化等と呼ばれる。基本的には、参照フレームベーススケーラビリティのコーデックは、全レイヤに対して同じハードウェア又はソフトウェアを用いて実装可能であり、外部手段がＤＰＢ管理を処理するのみでよい。

【0129】

品質スケーラビリティ（信号対ノイズ比又はＳＮ比とも呼ばれる）及び／又は空間スケーラビリティ対応スケーラブルビデオエンコーダは、次のように実装されてもよい。基本レイヤに対しては、従来の非スケーラブルビデオエンコーダ及びデコーダが使用されてもよい。基本レイヤの再構成／復号ピクチャは、拡張レイヤに対して、参照ピクチャ・バッファ及び／又は参照ピクチャ・リストに含められる。空間スケーラビリティの場合、再構成／復号基本レイヤピクチャは、拡張レイヤピクチャに対して参照ピクチャ・リストに挿入される前に、アップサンプリング（upsample）されてもよい。基本レイヤ復号ピクチャは、拡張レイヤの復号参照ピクチャと同様に、拡張レイヤピクチャの符号化／復号のため、参照ピクチャ・リストに挿入されてもよい。その結果、エンコーダはインター予測リファレンスとして基本レイヤ参照ピクチャを選択し、その使用を参照ピクチャ・インデクスを用いて符号化ビット列に示してもよい。デコーダはビット列から、例えば参照ピクチャ・インデクスから、基本レイヤピクチャが拡張レイヤ用インター予測リファレンスとして使用されることを復号する。復号基本レイヤピクチャは、拡張レイヤ用予測リファレンスとして使用される場合、レイヤ間参照ピクチャと呼ばれる。

【0130】

前段では１層の拡張レイヤと１層の基本レイヤという２層のスケーラビリティレイヤを持つスケーラブルビデオコーデックを記述したが、こうした記述は２層を超えるレイヤを持つスケーラビリティ階層における任意の２層のレイヤと一般化されてもよいことに留意する必要がある。この場合、第２の拡張レイヤは符号化及び／又は復号処理で第１の拡張レイヤに依存してもよく、その結果、第１の拡張レイヤは、第２の拡張レイヤの符号化及び／又は復号に対する基本レイヤと呼ばれてもよい。さらに、拡張レイヤに対する参照ピクチャのバッファ又は参照ピクチャのリストにおける複数レイヤからレイヤ間参照ピクチャが得られ、このレイヤ間参照ピクチャの各々が基本レイヤ、あるいは符号化、復号の何れか又は両方が行われる拡張レイヤに対応する参照レイヤに存在するものとみなせることを理解する必要がある。また更に、参照レイヤピクチャのアップサンプリングとは異なるタイプのレイヤ間処理が代替として又は追加で実行可能であることを理解する必要がある。例えば、参照レイヤピクチャのサンプルのビット深度が拡張レイヤのビット深度に変換されてもよく、サンプル値が参照レイヤの色空間から拡張レイヤの色空間へのマッピングに従ってもよい。あるいは、これら両方が行われてもよい。

【0131】

スケーラブルビデオ符号化及び／又は復号法は、次のように特徴付け可能なマルチループ符号化及び／又は復号を用いてもよい。符号化／復号において、基本レイヤピクチャは、同一レイヤにおいて符号化／復号の順序で後続のピクチャに対する動き補償参照ピクチャとして、あるいはレイヤ間（又はビュー間、成分間）予測用リファレンスとして使用されるように再構成／復号できる。再構成／復号基本レイヤピクチャはＤＰＢに保存されてもよい。拡張レイヤピクチャも同様に、同一レイヤにおいて符号化／復号の順序で後続のピクチャに対する動き補償参照ピクチャとして、あるいはこれより上位の拡張レイヤが存在する場合、その上位拡張レイヤに対するレイヤ間（又はビュー間、成分間）予測用リファレンスとして使用されるように再構成／復号できる。レイヤ間／成分間／ビュー間予測では、再構成／復号サンプル値に加えて、基本／拡張レイヤのシンタックス要素値、又は基本／拡張レイヤのシンタックス要素値から導出される変数が使用されてもよい。

【0132】

高効率ビデオ符号化（ＨＥＶＣ）規格第１バージョンに対するスケーラブル拡張とマルチビュー拡張は２０１５年に完成した。このスケーラブルビデオ符号化拡張（ＳＨＶＣ）には、空間、ビット深度、色域、品質の各スケーラビリティを提供する機構が含まれるが、レイヤ間冗長性を活用している。マルチビュー拡張（ＭＶ−ＨＥＶＣ）は、例えば立体ディスプレイに適したマルチビュービデオデータの符号化を可能にする。ＭＶ−ＨＥＶＣでは通常、符号化のための入力マルチビュービデオシーケンスは一列に並べられた多数のカメラで撮影される。カメラの投影中心は通常同一線上にあり、互いに等間隔で並んでいる。カメラも通常、同じ向きを向いている。ＳＨＶＣとＭＶ−ＨＥＶＣは同じ高水準シンタックスを共有し、その復号処理の大部分も同一である。これは、同じコーデック実装でＳＨＶＣとＭＶ−ＨＥＶＣの両方に対応できるという魅力がある。ＳＨＶＣとＭＶ−ＨＥＶＣはＨＥＶＣバージョン２で含まれるようになった。

【0133】

ＭＶ−ＨＥＶＣでは、符号化又は復号される現ピクチャの一つ（又は複数）の参照ピクチャ・リストにビュー間参照ピクチャを含めることができる。ＳＨＶＣはマルチループ復号処理を使う。ＳＨＶＣは参照インデクスベースのアプローチを使うものとみなしてよい。すなわち、（前述したように）符号化又は復号される現ピクチャの一つ又は複数の参照ピクチャ・リストにレイヤ間参照ピクチャを含めることができる。

【0134】

拡張レイヤの符号化のために、ＳＨＶＣ、ＭＶ−ＨＥＶＣ、及び／又はそれらの同種の技術において、ＨＥＶＣ基本レイヤの概念及び符号化ツールを使用できる。ただし、追加されるレイヤ間予測ツールは、拡張レイヤを効率的に符号化するために（再構成ピクチャサンプル、及び動き情報とも呼ばれる動きパラメータを含む）符号化データを既に利用しており、ＳＨＶＣ、ＭＶ−ＨＥＶＣ、その他類似のコーデックの何れか又は全てに統合させてもよい。

【0135】

前述のようなビデオ及び／又は画像の符号化及び／又は復号に適用される予測方法は、サンプル予測とシンタックス予測に分類できる。種々の予測タイプを分類する補足的な方法は、予測に関わるドメインやスケーラビリティの種類を考慮することである。この分類では、次のタイプの予測の１つ又は複数が導入される。場合によっては、これらが予測方向と呼ばれることもある。

・ 時間予測。これは例えば、通常、同一スケーラビリティレイヤ、同一ビュー、同一成分タイプ（テクスチャ又は深度）における前のピクチャから予測される、サンプル値又は動きベクトルの時間予測である。

・ ビュー間予測（クロスビュー予測とも呼ばれる）。これは、通常、同一時刻又はアクセス単位、同一成分タイプのビュー成分間で行う予測である。

・ レイヤ間予測。これは、通常、同一時刻、同一成分タイプ、同一ビューのレイヤ間で行う予測である。

・ インター成分予測は、復号処理で用いられるシンタックス要素値やサンプル値、変数値、又は特定のタイプの成分ピクチャから別のタイプの成分ピクチャまでのあらゆるものの予測を含むように定義されてもよい。例えば、インター成分予測は、深度ビュー成分からテクスチャビュー成分を予測すること、又はその逆を含んでもよい。別の実施例では、輝度成分（又はサンプル配列）から色差成分（又はサンプル配列）への成分間予測が行われる。

【0136】

レイヤ間予測は、（符号化又は復号される）現ピクチャのレイヤとは異なるレイヤから得られる参照ピクチャのデータ要素（サンプル値や動きベクトル等）に依存する方法による予測として規定されてもよい。レイヤ間予測には多くのタイプが在り、スケーラブルビデオエンコーダ／デコーダで適用することができる。利用可能なレイヤ間予測タイプは、例えば、ビット列又はビット列中の特定レイヤが符号化される際に従った符号化プロファイル、あるいは復号時に、ビット列又はビット列中の特定レイヤが準拠するように指示される符号化プロファイルに依存してもよい。あるいは又は加えて、利用可能なレイヤ間予測タイプは、スケーラビリティのタイプや、使用されるスケーラブルコーデック又はビデオ符号化の規格修正（ＳＨＶＣやＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣ等）のタイプに依存してもよい。

【0137】

レイヤ間予測のタイプには次のレイヤ間サンプル予測、レイヤ間動き予測、レイヤ間残差予測の一つ又は複数が含まれるが、これらに限定されない。レイヤ間サンプル予測では、レイヤ間予測用ソースピクチャに関する再構成サンプル値の中の少なくとも一部のセットが現ピクチャのサンプル値を予測するためのリファレンスとして使用される。レイヤ間動き予測では、レイヤ間予測用ソースピクチャの動きベクトルの中の少なくとも一部のセットが現ピクチャの動きベクトルを予測するためのリファレンスとして使用される。通常、どの参照ピクチャが動きベクトルに関連付けられているかという情報の予測は、レイヤ間動き予測にも含まれる。例えば、動きベクトル用参照ピクチャの参照インデクスがレイヤ間予測で得られてもよく、参照ピクチャのピクチャ順序やその他のあらゆる情報がレイヤ間予測で得られてもよい。レイヤ間動き予測には、ブロック符号化モード、ヘッダ情報、ブロックパーティショニング、その他類似のパラメータの何れか又は全ての予測が含まれる場合もある。また場合によっては、ブロックパーティショニングのレイヤ間予測のような符号化パラメータ予測が別のレイヤ間予測タイプとみなされてもよい。レイヤ間残差予測では、レイヤ間予測用ソースピクチャから選択されたブロックの予測誤差又は残差が現ピクチャのサンプル値の予測に使用される。

【0138】

ビュー間予測は、他のスケーラビリティタイプや次元ではなくビュー同士の間で適用する点を除けば、レイヤ間予測と等価又は類似するものとみなせる。ビュー間予測はビュー間サンプル予測のみを対象とする場合がある。このビュー間サンプル予測は、同士の間で適用する点を除けば動き補償時間予測に類似する。ビュー間予測は、ビュー間サンプル予測及びビュー間動き予測の両方のようにビュー同士の間で実行できるあらゆるタイプの予測を含むものとみなしてよい。

【0139】

３Ｄ−ＨＥＶＣ等のマルチビュープラス深度では、成分間レイヤ間予測が適用されてもよい。この場合、深度ピクチャのような第１タイプのピクチャが、従来のテクスチャピクチャのような第２タイプのピクチャのレイヤ間予測に影響を与える。例えば、視差補償レイヤ間サンプル値予測及び／又は動き予測が適用され、視差情報が少なくとも部分的に深度ピクチャから導出されてもよい。ビュー合成予測という用語は、関連する深度情報又は視差情報に基づいて予測ブロックが少なくとも部分的に構成されるときに用いることができる。

【0140】

直接参照レイヤは、特定レイヤのレイヤ間予測に使用される参照レイヤであって、その参照レイヤが特定レイヤ用の直接参照レイヤである場合の参照レイヤとして定義される。直接予測レイヤは、特定レイヤのための参照レイヤが直接参照レイヤである場合のその特定レイヤとして定義される。間接参照レイヤは、第２のレイヤの直接参照レイヤではなく、第３のレイヤの直接参照レイヤであるような参照レイヤであって、第３のレイヤは第２のレイヤの直接参照レイヤの更に直接参照レイヤ又は間接参照レイヤであり、その参照レイヤが第２のレイヤ用の間接参照レイヤである場合の参照レイヤとして定義される。間接予測レイヤは、特定レイヤのための参照レイヤが間接参照レイヤである場合のその特定レイヤとして定義される。独立レイヤは、直接参照レイヤを持たないレイヤとし定義される。換言すれば、独立レイヤはレイヤ間予測で予測されない。非基本レイヤは、基本レイヤ以外のレイヤとして定義され、基本レイヤは、ビット列中の最下位レイヤとして定義される。独立非基本レイヤは、独立レイヤかつ非基本レイヤであるレイヤとして定義される。

【0141】

レイヤ間予測用ソースピクチャは、レイヤ間参照ピクチャ自体、又はそれを導出するのに使用されるものの何れかである復号ピクチャであって、そのレイヤ間参照ピクチャは現ピクチャの予測用参照ピクチャとして使用されるような復号ピクチャとして定義される。マルチレイヤＨＥＶＣ拡張では、レイヤ間参照ピクチャが現ピクチャのレイヤ間参照ピクチャセットに含まれる。レイヤ間参照ピクチャは、現ピクチャのレイヤ間予測に使用できる参照ピクチャとして定義される。符号化及び／又は復号処理において、レイヤ間参照ピクチャが長期参照ピクチャとして扱われてもよい。参照レイヤピクチャは、現レイヤ又は（符号化又は復号される）現ピクチャのような特定レイヤ又は特定ピクチャの直接参照レイヤにおけるピクチャとして定義される。参照レイヤピクチャはレイヤ間予測用ソースピクチャとして使用されてもよいが、必須ではない。参照レイヤピクチャとレイヤ間予測用ソースピクチャという用語はほぼ同じ意味で使用される場合もある。

【0142】

レイヤ間予測用ソースピクチャは、現ピクチャとして同一アクセス単位に存在する必要がある。場合により、例えば、再サンプリングや動きフィールドマッピング、その他のレイヤ間処理が必要とされる場合、レイヤ間予測用ソースピクチャとそれぞれのレイヤ間参照ピクチャは同一でもよい。場合により、例えば、参照レイヤのサンプリンググリッドを（符号化又は復号される）現ピクチャのレイヤのサンプリンググリッドに対応させるために再サンプリングが必要とされる場合、レイヤ間予測用ソースピクチャからレイヤ間参照ピクチャを導出するためにレイヤ間処理が適用される。こうしたレイヤ間処理の実施例を以降の段落で詳述する。

【0143】

レイヤ間サンプル予測には、レイヤ間予測用ソースピクチャから一つ（又は複数）のサンプル配列を再サンプリングすることが含まれてもよい。エンコーダ、デコーダの一方又は両方は、拡張レイヤ及びその参照レイヤの組に対して、例えばその組に対する参照レイヤ位置オフセットに基づいて、水平倍率（例えば、変数ScaleFactorHorに保存される）及び垂直倍率（例えば、変数 ScaleFactorVerに保存される）を導出してもよい。これらの倍率の何れか又は両方が１でない場合、拡張レイヤピクチャを予測するレイヤ間参照ピクチャを生成するために、レイヤ間予測用ソースピクチャを再サンプリングしてもよい。この処理と、再サンプリングに使用されるフィルタの何れか又は両方は、例えば、符号化規格で定義済みであったり、エンコーダがビット列に（例えば、定義済み再サンプリング処理又はフィルタに関するインデクスで）標示したり、デコーダがビット列から復号したりしてもよく、これら全てが行われてもよい。倍率の値に応じて異なる再サンプリング処理をエンコーダが標示したり、デコーダが復号したり、エンコーダ、デコーダの一方又は両方が推定したりしてもよく、これら全てが行われてもよい。例えば、二つの倍率が共に１未満である場合、所定のダウンサンプリング処理が推定されてもよく、二つの倍率が共に１を超える場合、所定のアップサンプリング処理が推定されてもよい。あるいは又は加えて、処理されるサンプル配列に応じて異なる再サンプリング処理をエンコーダが標示したり、デコーダが復号したり、エンコーダ、デコーダの一方又は両方が推定したりしてもよく、これら全てが行われてもよい。例えば、第１の再サンプリング処理は輝度サンプル配列用に使用されると推測されてもよく、第２の再サンプリング処理は色差サンプル配列用に使用されると推測されてもよい。

【0144】

次に、再サンプリング済み輝度サンプル値を取得するレイヤ間再サンプリング処理の実施例を説明する。入力輝度サンプル配列は輝度参照サンプル配列としても参照することができ、変数rlPicSampleLを通じて参照される。拡張レイヤピクチャの左上輝度サンプルに対する相対的な輝度サンプル位置（xP，yP）における再サンプリング済み輝度サンプル値が導出される。この処理の結果、再サンプリング済み輝度サンプルが得られ、変数rsLumaSampleを通じてアクセスできる。この実施例では、輝度再サンプリング処理に対して次の係数f_L[ p，x ]を持つ８タップフィルタが使用される。ここで、p = 0 … 15、x = 0 … 7である。（以下、下付きでない記号を伴う表記であっても、下付き記号の表記として解釈するものとする。例えば、f_LはfLと同じであると解釈する。）

【0145】

補間輝度サンプルrsLumaSampleの値は、次の順序のステップを適用して導出できる。

【0146】

1. 座標（xP，yP）に対応する又はこれと同一位置の参照レイヤサンプル位置は、例えば、参照レイヤ位置オフセットに基づいて導かれる。この参照レイヤサンプル位置は、１６分の１サンプル単位で（xRef16，yRef16）と表わされる。次に、参照レイヤ位置オフセットに基づいて座標（xP，yP）に対応する又はこれと同一位置の参照レイヤサンプル位置を導出する例示的方法が提供される。

【0147】

2. 変数xRef及びxPhaseは次のように導かれる：

xRef = ( xRef16 >> 4 )
xPhase = ( xRef16 ) % 16

ここで、">>"は右ビットシフト演算子である。すなわち、２の補数で表現される整数xを２進数ｙビット分だけ右にシフトする数学的演算である。この関数は、非負整数値yに対してのみ定義できる。右シフトの結果ＭＳＢ（最上位ビット）までビットシフトされると、シフト演算前のxのＭＳＢと同じ値になる。"%"は剰余演算子である。すなわち、xをyで除した余りを返す。この演算はx >= 0及びy > 0である整数x及びyについてのみ定義できる。

【0148】

3. 変数 yRef及びyPhaseは次のように導かれる：

yRef = ( yRef16 >> 4 )
yPhase = ( yRef16 ) % 16

【0149】

4. 変数shift1，shift2、offsetは次のように導かれる：

shift1 = RefLayerBitDepthY - 8
shift2 = 20 - BitDepthY
offset = 1 << ( shift2 - 1)

ここで、RefLayerBitDepthYは参照レイヤの１輝度サンプル当たりのビット数であり、BitDepthYは拡張レイヤの１輝度サンプル当たりのビット数である。ここで、"<<"は左ビットシフト演算子である。すなわち、２の補数で表現される整数xを２進数ｙビット分だけ左にシフトする数学的演算である。この関数は、非負整数値yに対してのみ定義できる。左シフトの結果ＬＳＢ（最下位ビット）までビットシフトされると、０と同じ値になる。

【0150】

5. n = 0...7であるサンプル値tempArray[n]は次のように導かれる：

yPosRL = Clip3(0, RefLayerPicHeightInSamplesY-1, yRef+n-3 )

refW = RefLayerPicWidthInSamplesY

tempArray[n] = (fL[xPhase, 0] * rlPicSampleL[Clip3(0, refW-1, xRef-3), yPosRL] +
fL[xPhase, 1] * rlPicSampleL[Clip3(0, refW-1, xRef-2), yPosRL] +
fL[xPhase, 2] * rlPicSampleL[Clip3(0, refW-1, xRef-1), yPosRL] +
fL[xPhase, 3] * rlPicSampleL[Clip3(0, refW-1, xRef ), yPosRL] +
fL[xPhase, 4] * rlPicSampleL[Clip3(0, refW-1, xRef+1), yPosRL] +
fL[xPhase, 5] * rlPicSampleL[Clip3(0, refW-1, xRef+2), yPosRL] +
fL[xPhase, 6] * rlPicSampleL[Clip3(0, refW-1, xRef+3), yPosRL] +
fL[xPhase, 7] * rlPicSampleL[Clip3(0, refW-1, xRef+4), yPosRL] ) >> shift1

ここで、RefLayerPicHeightInSamplesYは輝度サンプル単位で表わしたレイヤ間予測用ソースピクチャの縦寸法であり、RefLayerPicWidthInSamplesYは輝度サンプル単位で表わしたレイヤ間予測用ソースピクチャの横寸法である。

【0151】

6. 補間輝度サンプル値rsLumaSampleは次のように導かれる：

rsLumaSample = ( fL[ yPhase，0 ] * tempArray [ 0 ] +
fL[ yPhase，1 ] * tempArray [ 1 ] +
fL[ yPhase，2 ] * tempArray [ 2 ] +
fL[ yPhase，3 ] * tempArray [ 3 ] +
fL[ yPhase，4 ] * tempArray [ 4 ] +
fL[ yPhase，5 ] * tempArray [ 5 ] +
fL[ yPhase，6 ] * tempArray [ 6 ] +
fL[ yPhase，7 ] * tempArray [ 7 ] + offset ) >> shift2
rsLumaSample = Clip3( 0，( 1 << BitDepthY) - 1 ，rsLumaSample )

【0152】

再サンプル済み色差サンプル値を取得するレイヤ間再サンプリング処理は、輝度サンプル値について前述した処理と同一又は類似のものとして規定できる。例えば、色差サンプルには輝度サンプルとは異なるタップ数のフィルタが使用されてもよい。

【0153】

再サンプリングは、例えばピクチャに関して（例えば、レイヤ間予測用ソースピクチャ全体に対して）行われてもよく、スライスに関して（例えば、拡張レイヤスライスの対応する参照領域に対して）や、ブロックに関して（例えば、拡張レイヤの符号化ツリー単位に対応する参照領域に対して）行われてもよい。レイヤ間予測用ソースピクチャから決定された領域（ピクチャやスライス、拡張レイヤピクチャの符号化ツリー単位等）に関する再サンプリング処理は、例えば、その決定領域の全サンプル位置をループし、各サンプル位置においてサンプル対象の再サンプリング処理を行うことによって行われてもよい。ただし、こうした決定領域を再サンプリングする他の方法の可能性もある点を理解すべきである。例えば、特定サンプル位置のフィルタリングで直前のサンプル位置の変数値が使用されてもよい。

【0154】

ＳＶＨＣ及びＭＶ−ＨＥＶＣは、レイヤ間サンプル予測とレイヤ間動き予測を可能にする。レイヤ間サンプル予測では、予測ブロックのサンプル値を取得するためにレイヤ間参照（ＩＬＲ）ピクチャを使用する。ＭＶ−ＨＥＶＣでは、レイヤ間予測用ソースピクチャが変更を受けずにＩＬＲピクチャとしての役割を果たす。ＳＨＶＣの空間スケーラビリティ及び色域スケーラビリティでは、ＩＬＲピクチャを取得するために、再サンプリング等のレイヤ間処理がレイヤ間予測用ソースピクチャに適用される。ＳＨＶＣの再サンプリング処理では、ＩＬＲピクチャを取得するために、レイヤ間予測用ソースピクチャに対してクロップ、アップサンプリング、パディングの何れか又は全てを行ってもよい。アップサンプリング済みのレイヤ間予測用ソースピクチャの拡張レイヤピクチャに値する相対位置は、いわゆる参照レイヤ位置オフセットを介して示される。こうした特徴は関心領域（ＲＯＩ）スケーラビリティを可能にし、拡張レイヤピクチャには基本レイヤにおける一部のピクチャ領域のみを拡張すればよい。

【0155】

ＳＨＶＣは、色域スケーラビリティに対して重み付き予測や三次元ルックアップテーブル（ＬＵＴ）に基づく色マッピング処理の利用を可能にする。三次元ＬＵＴアプローチは以降で詳述される。各色成分のサンプル値の範囲は最初、二つの範囲に分割され２ｘ２ｘ２のオクタントを形成してもよい。次に輝度の値域が更に４部分に分けられ、結果として８ｘ２ｘ２のオクタンとを形成することができる。各オクタント内で色マッピングを行うために、クロスカラー成分線形モデル（cross color component linear model）が適用される。各オクタントに対して、そのオクタント内の線形モデルを表現するために四つのベクトルがビット列に符号化され、ビット列から復号される。各色成分に対する色マッピングテーブルは、それぞれ別々にビット列に符号化され、ビット列から復号される。色マッピングは三つのステップを含むものとみなせる：第１に、所定の参照レイヤサンプルトリプレット（Ｙ，Ｃｂ，Ｃｒ）が属するオクタントが決定される。第２に、色成分調節処理を適用して輝度及び色差のサンプル位置が揃えられる。第３に、決定されたオクタントに対して特定される線形マッピングが適用される。このマッピングにはクロス成分特性があってもよい。すなわち、色成分の入力値が別の色成分のマッピングされた値に影響を及ぼしてもよい。さらに、レイヤ間再サンプリングが必要な場合、再サンプリング処理への入力は色マッピング済みのピクチャである。色マッピングは、第１のビット深度サンプルを別のビット深度サンプルにマッピングしてもよい（が必須ではない）。

【0156】

レイヤ間動き予測は次のように実現できる。Ｈ．２６５／ＨＥＶＣのＴＭＶＰのような時間動きベクトル予測処理は、相異なるレイヤ間での動きデータの冗長性を活用するために使用されてもよい。これは次のように行われてもよい。
レイヤ間予測用ソースピクチャがアップサンプリングされる場合、特定の処理においてレイヤ間予測用ソースピクチャの動きデータも拡張レイヤの解像度にマッピングされる。これは動きフィールドマッピング（ＭＦＭ）とも呼ばれる。拡張レイヤピクチャが、例えばＨ．２６５／ＨＥＶＣのＴＭＶＰのような時間動きベクトル予測機構を使って基本レイヤピクチャからの動きベクトル予測を利用する場合、対応する動きベクトル予測はマッピング済みである参照レイヤの動きフィールドに由来する。こうした相異なるレイヤの動きデータの間の相関は、スケーラブルビデオコーダの符号化効率を向上させるために活用されてもよい。ＳＨＶＣ、同種の規格の何れか又は全てにおいて、レイヤ間動き予測は、ＴＭＶＰを導出するための同一位置参照ピクチャとしてレイヤ間参照ピクチャを設定することによって行われてもよい。そのため、マッピング済み動きフィールドは、動きベクトル予測処理におけるＴＭＶＰ候補の元となる。ＳＨＶＣの空間スケーラビリティでは、ＩＬＲピクチャの動き情報を基本レイヤピクチャから取得するために、動きフィールドマッピング（ＭＦＭ）が使用される。ただし、レイヤ間に空間スケーラビリティが適用されない場合、マッピング済み動きフィールドはレイヤ間予測用ソースピクチャのそれと同一である。ＭＦＭでは、レイヤ間予測用ソースピクチャにおける予測依存性はコピーされて一つ（又は複数）のＩＬＲピクチャ用参照ピクチャ・リストを生成する。一方、動きベクトル（ＭＶ）は、このＩＬＲピクチャと基本レイヤピクチャとの間の空間分解能比率に従ってもう一度拡大縮小される。これとは逆にＭＶ−ＨＥＶＣでは、レイヤ間動き予測の処理中に参照される参照ビューピクチャに対してＭＦＭは適用されない。

【0157】

参照レイヤピクチャと拡張レイヤピクチャとの間の空間対応は推定されてもよく、一つ又は複数のタイプのいわゆる参照レイヤ位置オフセットを用いて示されてもよい。二つのレイヤの間でレイヤ間予測が行われるかどうかとは無関係に、この二つのレイヤの間の空間的な関係を参照レイヤ位置オフセットを用いて標示できてもよい。ＨＥＶＣでは、エンコーダが参照レイヤ位置オフセットをＰＰＳに含めてもよく、デコーダがＰＰＳからそれを復号してもよい。参照レイヤ位置オフセットはＲＯＩスケーラビリティを実現するために使用されるが、これに限定されるものではない。参照レイヤ位置オフセットには、スケール済み参照レイヤオフセット、参照領域オフセット、再サンプリング位相セットの一つ又は複数が含まれてもよい。スケール済み参照レイヤオフセットは、参照レイヤの復号ピクチャ内の参照領域の左上輝度サンプルと同一位置である現ピクチャのサンプル間の水平・垂直オフセット、及び参照レイヤの復号ピクチャ内の参照領域の右下輝度サンプルと同一位置である現ピクチャのサンプル間の水平・垂直オフセットを特定するものとみなしてよい。別の方法として、アップサンプリングされた参照領域の隅のサンプル位置を、拡張レイヤピクチャのそれぞれの隅サンプルに対する相対位置として特定するためにスケール済み参照レイヤオフセットを考慮する方法がある。こうしたスケール済み参照レイヤオフセットの値は符号付きでもよい。参照領域オフセットは、参照レイヤの復号ピクチャ内の参照領域の左上輝度サンプルと、同じ復号ピクチャの左上輝度サンプルとの間の水平・垂直オフセット、及び参照レイヤの復号ピクチャ内の参照領域の右下輝度サンプルと、同じ復号ピクチャの右下輝度サンプルとの間の水平・垂直オフセットを特定するものとみなしてよい。こうした参照領域オフセットの値は符号付きでもよい。再サンプリング位相セットは、レイヤ間予測用ソースピクチャの再サンプリング処理に用いられる位相オフセットを特定するものとみなしてよい。輝度成分と色差成分とでそれぞれ異なる位相オフセットが与えられてもよい。

【0158】

ＨＥＶＣ規格では、参照レイヤ位置オフセットに関連するシンタックス要素の意味が次のように定義されている。

【0159】

num_ref_loc_offsets（原文では太字体）は、PPSに存在する参照レイヤ位置オフセットの数を指定する。num_ref_loc_offsetsの値は０以上vps_max_layers_minus1以下の範囲であるとする。

【0160】

ref_loc_offset_layer_id[ i ] （"ref_loc_offset_layer_id"は、原文では太字体）は、i番目の参照レイヤ位置オフセットパラメータが指定されるレイヤ識別子nuh_layer_idの値を指定する。ref_loc_offset_layer_id[ i ] は、例えば、補助ピクチャとそれに関連する主要ピクチャとの間の空間対応が規定されている場合、直接参照レイヤである必要がない点に留意すべきである。i番目の参照レイヤ位置オフセットパラメータは、i番目のスケール済み参照レイヤオフセットパラメータ、i番目の参照領域オフセットパラメータ、i番目の再サンプリング位相セットパラメータで構成される。

【0161】

scaled_ref_layer_offset_present_flag[ i ] （"scaled_ref_layer_offset_present_flag"は、原文では太字体）が１である場合、PPSにi番目のスケール済み参照レイヤオフセットパラメータが存在することが特定される。scaled_ref_layer_offset_present_flag[ i ] が0である場合、PPSにi番目のスケール済み参照レイヤオフセットパラメータが存在しないことが特定される。scaled_ref_layer_offset_present_flag[ i ]が存在しない場合、その値は０であると推定される。i番目のスケール済み参照レイヤオフセットパラメータは、このPPSを参照するピクチャの空間対応であって、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域に対する相対的な空間対応を指定する。

【0162】

scaled_ref_layer_left_offset[ ref_loc_offset_layer_id[ i ] ] （"scaled_ref_layer_left_offset"は、原文では太字体）は、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の左上輝度サンプルと同一位置にある現ピクチャのサンプルと、現ピクチャのsubWC輝度サンプル単位での左上輝度サンプルとの間の水平オフセットを指定する。ここで、subWCはこのPPSを参照するピクチャのSubWidthCと等しい。scaled_ref_layer_left_offset[ ref_loc_offset_layer_id[ i ] ]の値は-2¹⁴以上2¹⁴ - 1以下の範囲であるとする。scaled_ref_layer_left_offset[ ref_loc_offset_layer_id[ i ] ] が存在しない場合、その値は０であると推定される。

【0163】

scaled_ref_layer_top_offset[ ref_loc_offset_layer_id[ i ] ] （"scaled_ref_layer_top_offset"は、原文では太字体）は、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の左上輝度サンプルと同一位置にある現ピクチャのサンプルと、現ピクチャのsubHC輝度サンプル単位での左上輝度サンプルとの間の垂直オフセットを指定する。ここで、subHCはこのPPSを参照するピクチャのSubHeightCと等しい。scaled_ref_layer_top_offset[ ref_loc_offset_layer_id[ i ] ]の値は-2¹⁴以上2¹⁴ - 1以下の範囲であるとする。scaled_ref_layer_top_offset[ ref_loc_offset_layer_id[ i ] ]が存在しない場合、その値は０であると推定される。

【0164】

scaled_ref_layer_right_offset[ ref_loc_offset_layer_id[ i ] ] （"scaled_ref_layer_right_offset"は、原文では太字体）は、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の右下輝度サンプルと同一位置にある現ピクチャのサンプルと、現ピクチャのsubWC輝度サンプル単位での右下輝度サンプルとの間の水平オフセットを指定する。ここで、subWCはこのPPSを参照するピクチャのSubWidthCと等しい。scaled_ref_layer_right_offset[ ref_loc_offset_layer_id[ i ] ]の値は-2¹⁴以上2¹⁴ - 1以下の範囲であるとする。scaled_ref_layer_right_offset[ ref_loc_offset_layer_id[ i ] ]が存在しない場合、その値は０であると推定される。

【0165】

scaled_ref_layer_bottom_offset[ ref_loc_offset_layer_id[ i ] ] （"scaled_ref_layer_bottom_offset"は、原文では太字体）は、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の右下輝度サンプルと同一位置にある現ピクチャのサンプルと、現ピクチャのsubHC輝度サンプル単位での右下輝度サンプルとの間の垂直オフセットを指定する。ここで、subHCはこのPPSを参照するピクチャのSubHeightCと等しい。scaled_ref_layer_bottom_offset[ ref_loc_offset_layer_id[ i ] ]の値は-2¹⁴以上2¹⁴ - 1以下の範囲であるとする。scaled_ref_layer_bottom_offset[ ref_loc_offset_layer_id[ i ] ]が存在しない場合、その値は０であると推定される。

【0166】

currTopLeftSample、currBotRightSample、colRefRegionTopLeftSample、colRefRegionBotRightSampleを、それぞれ現ピクチャの左上輝度サンプル、現ピクチャの右下輝度サンプル、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の左上輝度サンプルと同一位置にある現ピクチャのサンプル、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の右下輝度サンプルと同一位置にある現ピクチャのサンプルとする。

【0167】

scaled_ref_layer_left_offset[ ref_loc_offset_layer_id[ i ] ]の値が０を超える場合、colRefRegionTopLeftSampleはcurrTopLeftSampleの右側に位置する。scaled_ref_layer_left_offset[ ref_loc_offset_layer_id[ i ] ]の値が０未満の場合、colRefRegionTopLeftSampleはcurrTopLeftSampleの左側に位置する。

【0168】

scaled_ref_layer_top_offset[ ref_loc_offset_layer_id[ i ] ]の値が０を超える場合、colRefRegionTopLeftSampleはcurrTopLeftSampleの下側に位置する。scaled_ref_layer_top_offset[ ref_loc_offset_layer_id[ i ] ]の値が０未満のを場合、colRefRegionTopLeftSampleはcurrTopLeftSampleの上側に位置する。

【0169】

scaled_ref_layer_right_offset[ ref_loc_offset_layer_id[ i ] ]の値が０を超える場合、colRefRegionBotRightSampleはcurrBotRightSampleの左側に位置する。scaled_ref_layer_right_offset[ ref_loc_offset_layer_id[ i ] ]の値が０未満の場合、colRefRegionTopLeftSampleはcurrBotRightSampleの右側に位置する。

【0170】

scaled_ref_layer_bottom_offset[ ref_loc_offset_layer_id[ i ] ]の値が０を超える場合、colRefRegionBotRightSampleはcurrBotRightSampleの上側に位置する。scaled_ref_layer_bottom_offset[ ref_loc_offset_layer_id[ i ] ]の値が０未満の場合、colRefRegionTopLeftSampleはcurrBotRightSampleの下側に位置する。

【0171】

ref_region_offset_present_flag[ i ] （"ref_region_offset_present_flag"は、原文では太字体）が１である場合、PPSにi番目の参照領域オフセットパラメータが存在することが特定される。ref_region_offset_present_flag[ i ]が0である場合、PPSにi番目の参照領域オフセットパラメータが存在しないことが特定される。ref_region_offset_present_flag[ i ]が存在しない場合、その値は０であると推定される。i番目の参照領域オフセットパラメータは、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の空間対応であって、同一復号ピクチャに対する相対的な空間対応を指定する。

【0172】

ref_region_left_offset[ ref_loc_offset_layer_id[ i ] ] （"ref_region_left_offset"は、原文では太字体）は、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の左上輝度サンプルと、同一復号ピクチャのsubWC輝度サンプル単位での左上輝度サンプルとの間の水平オフセットを指定する。ここで、subWCはnuh_layer_idがref_loc_offset_layer_id[ i ]であるレイヤのSubWidthCと等しい。ref_region_left_offset[ ref_loc_offset_layer_id[ i ] ]の値は-2¹⁴以上2¹⁴ - 1以下の範囲であるとする。ref_region_left_offset[ ref_loc_offset_layer_id[ i ] ]が存在しない場合、その値は０であると推定される。

【0173】

ref_region_top_offset[ ref_loc_offset_layer_id[ i ] ] （"ref_region_top_offset"は、原文では太字体）は、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の左上輝度サンプルと、同一復号ピクチャのsubHC輝度サンプル単位での左上輝度サンプルとの間の垂直オフセットを指定する。ここで、subHCはnuh_layer_idがref_loc_offset_layer_id[ i ]であるレイヤのSubHeightCと等しい。ref_region_top_offset[ ref_loc_offset_layer_id[ i ] ]の値は-2¹⁴以上2¹⁴ - 1以下の範囲であるとする。ref_region_top_offset[ ref_loc_offset_layer_id[ i ] ]が存在しない場合、その値は０であると推定される。

【0174】

ref_region_right_offset[ ref_loc_offset_layer_id[ i ] ] （"ref_region_right_offset"は、原文では太字体）は、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の右下輝度サンプルと、同一復号ピクチャのsubWC輝度サンプル単位での右下輝度サンプルとの間の水平オフセットを指定する。ここで、subWCはnuh_layer_idがref_loc_offset_layer_id[ i ]であるレイヤのSubWidthCと等しい。ref_layer_right_offset[ ref_loc_offset_layer_id[ i ] ]の値は-2¹⁴以上2¹⁴ - 1以下の範囲であるとする。ref_region_right_offset[ ref_loc_offset_layer_id[ i ] ]が存在しない場合、その値は０であると推定される。

【0175】

ref_region_bottom_offset[ ref_loc_offset_layer_id[ i ] ] （"ref_region_bottom_offset"は、原文では太字体）は、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の右下輝度サンプルと、同一復号ピクチャのsubHC輝度サンプル単位での右下輝度サンプルとの間の垂直オフセットを指定する。ここで、subHCはnuh_layer_idがref_loc_offset_layer_id[ i ]であるレイヤのSubHeightCと等しい。ref_layer_bottom_offset[ ref_loc_offset_layer_id[ i ] ]の値は-2¹⁴以上2¹⁴ - 1以下の範囲であるとする。ref_region_bottom_offset[ ref_loc_offset_layer_id[ i ] ]が存在しない場合、その値は０であると推定される。

【0176】

refPicTopLeftSample、refPicBotRightSample、refRegionTopLeftSample、refRegionBotRightSampleを、それぞれnuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャの左上輝度サンプル、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャの右下輝度サンプル、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の左上輝度サンプル、nuh_layer_idがref_loc_offset_layer_id[ i ]である復号ピクチャ内の参照領域の右下輝度サンプルとする。

【0177】

ref_region_left_offset[ ref_loc_offset_layer_id[ i ] ]の値が０を超える場合、refRegionTopLeftSampleはrefPicTopLeftSampleの右側に位置する。ref_region_left_offset[ ref_loc_offset_layer_id[ i ] ]の値が０未満の場合、refRegionTopLeftSampleはrefPicTopLeftSampleの左側に位置する。

【0178】

ref_region_top_offset[ ref_loc_offset_layer_id[ i ] ]の値が０を超える場合、refRegionTopLeftSampleはrefPicTopLeftSampleの下側に位置する。ref_region_top_offset[ ref_loc_offset_layer_id[ i ] ]の値が０未満の場合、refRegionTopLeftSampleはrefPicTopLeftSampleの上側に位置する。

【0179】

ref_region_right_offset[ ref_loc_offset_layer_id[ i ] ]の値が０を超える場合、refRegionBotRightSampleはrefPicBotRightSampleの左側に位置する。ref_region_right_offset[ ref_loc_offset_layer_id[ i ] ]の値が０未満の場合、refRegionBotRightSampleはrefPicBotRightSampleの右側に位置する。

【0180】

ref_region_bottom_offset[ ref_loc_offset_layer_id[ i ] ]の値が０を超える場合、refRegionBotRightSampleはrefPicBotRightSampleの上側に位置する。ref_region_bottom_offset[ ref_loc_offset_layer_id[ i ] ]の値が０未満の場合、refRegionBotRightSampleはrefPicBotRightSampleの下側に位置する。

【0181】

resample_phase_set_present_flag[ i ] （"resample_phase_set_present_flag"は、原文では太字体）が１である場合、PPSにi番目の再サンプリング位相セットが存在することが特定される。resample_phase_set_present_flag[ i ] が０である場合、PPSにi番目の再サンプリング位相セットが存在しないことが特定される。resample_phase_set_present_flag[ i ]が存在しない場合、その値は０であると推定される。

【0182】

i番目の再サンプリング位相セットは、nuh_layer_idがref_loc_offset_layer_id[ i ]である直接参照レイヤピクチャの再サンプリング処理で使用される位相オフセットを指定する。ref_loc_offset_layer_id[ i ]で指定されるレイヤが現レイヤの直接参照レイヤでない場合、シンタックス要素phase_hor_luma[ ref_loc_offset_layer_id[ i ] ]、phase_ver_luma[ ref_loc_offset_layer_id[ i ] ]、phase_hor_chroma_plus8[ ref_loc_offset_layer_id[ i ] ]、phase_ver_chroma_plus8[ ref_loc_offset_layer_id[ i ] ]の値は指定されず、デコーダは無視するものとする。

【0183】

phase_hor_luma[ ref_loc_offset_layer_id[ i ] ] （"phase_hor_luma"は、原文では太字体）は、nuh_layer_idがref_loc_offset_layer_id[ i ]である直接参照レイヤピクチャの再サンプリング処理で使用される水平方向輝度位相シフトを指定する。phase_hor_luma[ ref_loc_offset_layer_id[ i ] ]の値は0以上31以下の範囲であるとする。phase_hor_luma[ ref_loc_offset_layer_id[ i ] ]が存在しない場合、その値は０であると推定される。

【0184】

phase_ver_luma[ ref_loc_offset_layer_id[ i ] ] （"phase_ver_luma"は、原文では太字体）は、nuh_layer_idがref_loc_offset_layer_id[ i ]である直接参照レイヤピクチャの再サンプリングで使用される垂直方向輝度位相シフトを指定する。phase_ver_luma[ ref_loc_offset_layer_id[ i ] ]の値は0以上31以下の範囲であるとする。phase_ver_luma[ ref_loc_offset_layer_id[ i ] ]が存在しない場合、その値は０であると推定される。

【0185】

phase_hor_chroma_plus8[ ref_loc_offset_layer_id[ i ] ] - 8は、nuh_layer_idがref_loc_offset_layer_id[ i ]である直接参照レイヤピクチャの再サンプリングで使用される水平方向色差位相シフトを指定する。phase_hor_chroma_plus8[ ref_loc_offset_layer_id[ i ] ]の値は0以上63以下の範囲であるとする。phase_hor_chroma_plus8[ ref_loc_offset_layer_id[ i ] ]が存在しない場合、その値は8であると推定される。

【0186】

phase_ver_chroma_plus8[ ref_loc_offset_layer_id[ i ] ] - 8は、nuh_layer_idがref_loc_offset_layer_id[ i ]である直接参照レイヤピクチャの再サンプリング処理で使用される垂直方向色差位相シフトを指定する。phase_ver_chroma_plus8[ ref_loc_offset_layer_id[ i ] ]の値は0以上63以下の範囲であるとする。phase_ver_chroma_plus8[ ref_loc_offset_layer_id[ i ] ] が存在しない場合、その値は( 4 * scaledRefRegHeight + refRegHeight / 2 ) / refRegHeight + 4であると推定される。ここで、scaledRefRegHeightの値は、このPPSを参照するピクチャの直接参照レイヤピクチャであって、nuh_layer_idがref_loc_offset_layer_id[ i ]である直接参照レイヤピクチャから導出されるScaledRefRegionHeightInSamplesYの値と等しく、refRegHeightの値は、このPPSを参照するピクチャの直接参照レイヤピクチャであって、nuh_layer_idがref_loc_offset_layer_id[ i ]である直接参照レイヤピクチャから導出されるRefLayerRegionHeightInSamplesYに等しい。

【0187】

図１０は参照レイヤ位置のオフセットを示す。ここではスケール済み参照レイヤオフセットを使用しているが、参照領域オフセットは存在しない又は０であり、再サンプリング位相セットは存在しない又はその値がデフォルト値（推定値）である。図１０は、スケール済み／アップサンプリング済み基本レイヤ１０１０に加えて拡張レイヤ１０３０、基本レイヤ１０２０を示している。

【0188】

nuh_layer_idがrLIdである特定の直接参照レイヤに関して、変数ScaledRefLayerLeftOffset、ScaledRefLayerTopOffset、ScaledRefLayerRightOffset、ScaledRefLayerBottomOffsetは、現ピクチャを輝度サンプル単位で表現するために（必要であれば）拡大縮小してそれぞれscaled_ref_layer_left_offset[ rLId ]、scaled_ref_layer_top_offset[ rLId ]、scaled_ref_layer_right_offset[ rLId ]、scaled_ref_layer_bottom_offset[ rLId ]に設定することができる。変数ScaledRefRegionWidthInSamplesY及びScaledRefRegionHeightInSamplesYは、現ピクチャ内の参照領域の横寸法及び縦寸法にそれぞれ設定することができる。輝度サンプル配列の水平倍率及び垂直倍率は、参照領域の横寸法（レイヤ間予測用ソースピクチャの輝度サンプル配列ではScaledRefRegionWidthInSamplesYで表わされる）に対するScaledRefRegionWidthInSamplesYの比、及び参照領域の縦寸法（レイヤ間予測用ソースピクチャの輝度サンプル配列ではScaledRefRegionHeightInSamplesYで表わされる）に対するScaledRefRegionHeightInSamplesYの比としてそれぞれ導出することができる。倍率の導出において、再サンプリング処理のサブサンプル粒度が考慮されてもよい。例えば、再サンプリング処理が16分の１サンプル粒度で行われる場合、輝度サンプル配列の水平倍率ScaleFactorHorは、( ( RefLayerRegionWidthInSamplesY << 16 ) + ( ScaledRefRegionWidthInSamplesY >> 1 ) ) / ScaledRefRegionWidthInSamplesYに設定することができる。ここで、"<<"は、左ビットシフト演算子、">>"は右ビットシフト演算子、"/"は整数除算演算子である。色差サンプル配列の倍率も同様に導くことができる。

【0189】

輝度サンプル配列におけるサンプル位置（xP，yP）に対応する又はそれと同一位置である参照レイヤサンプル位置は、参照レイヤ位置オフセットに基づいて、例えば次の処理を用いて導出することができる。ここで、サンプル位置（xP, yP）は輝度成分の左上サンプルからの相対位置とする。処理の結果として、輝度成分の左上サンプルからの相対位置であって、16分の1サンプル単位での参照レイヤサンプル位置を特定するサンプル位置（xRef16, yRef16）が生成される。ここで、xRef16は、( ( ( xP - ScaledRefLayerLeftOffset ) * ScaleFactorHor + addHor + ( 1 << 11 ) ) >> 12 ) + refOffsetLeftに設定される。addHorは、輝度の水平位相オフセットに基づいて設定され、refOffSetLeftは、レイヤ間予測用ソースピクチャにおける輝度サンプル配列の左上サンプルから相対的に16分の1サンプル単位で数えた参照領域の左オフセットである。ここで、yRef16は、( ( ( yP - ScaledRefLayerTopOffset ) * ScaleFactorVer + addVer + ( 1 << 11 ) ) >> 12 ) + refOffsetTopに設定される。addVerは、輝度の垂直位相オフセットに基づいて設定され、refOffSetTopは、レイヤ間予測用ソースピクチャにおける輝度サンプル配列の左上サンプルから相対的に16分の1サンプル単位で数えた参照領域の上オフセットである。色差サンプル配列におけるサンプル位置（xP，yP）に対応する又は同一位置である参照レイヤサンプル位置も、上述と同様に導くことができる。

【0190】

コンテキスト適応型可変長符号（[0190] Context-based Adaptive Binary Arithmetic Coding; CABAC）はエントロピーコーダの一タイプであり、シンタックス要素（SE）を符号化する可逆圧縮ツールである。SEは、ビデオがどのように符号化されていて、どのように復号すべきかを記述する情報である。SEは、通常全ての予測法（例えば、CU／PU／TU分割、予測タイプ、イントラ予測モード、動きベクトル等）や、予測誤差（残差） 符号化情報（例えば、残差スキップ／スプリット、変換スキップ／スプリット、coefficient_last_x、coefficient_last_y、significant_coefficient等）に対して定義される。例えばＨＥＶＣ規格では、様々なＣＡＢＡＣが全体として次のステップを有する。
・ 二値化：シンタックス要素は２値シンボル（２進数）にマッピングされる。単項、切捨て単項、指数ゴロム、固定長（等確率）それぞれの２値化のような幾つかの異なる２値化は、シンタックス要素に関して期待される統計に基づいて使用することができる。
・ コンテキストモデル化：各２進数の出現確率は、その記載される特性と同一コンテキストを用いて予め符号化された２進数に基づいて推定される。同じ振舞いと分布を持つ２進数は、同一コンテキストを共有することができる。コンテキストは通常、シンタックス要素、シンタックス要素での２進数位置、輝度／色差、ブロックサイズ、予測モード、隣接情報の何れか又は全てに基づいて定義される。ＨＥＶＣ規格では約２００のコンテキストが定義されている。算術符号化中に、各コンテキストは確率状態テーブルを有し、そのコンテキストで符号化される２進数の確率を決定する。ＨＥＶＣ規格の確率状態テーブルには約１２８の可能な確率状態が定義されている。
・ 算術符号化：２進数は、対応する推定確率に基づく算術符号化で符号化される。特別な場合として、２進数が５０％の等確率で符号化されてもよい（「バイパス」符号化とも呼ばれる）。
・ 確率更新：コンテキストの確率状態変数は、そのコンテキストに関する現在の確率状態変数及び符号化ビットの値に基づいて更新される。ＨＥＶＣ規格では、この目的のために所定の更新テーブルが定義されている。

【0191】

イントラブロックコピー（ＩＢＣ）と呼ばれる符号化ツール又は符号化モードはインター予測に類似するが、符号化又は復号される現ピクチャを参照ピクチャとして使用する点が異なる。当然ながら、現ブロックが符号化又は復号される前では、符号化済み又は復号済みのブロックのみが予測用リファレンスとして使用できる。ＨＥＶＣのスクリーンコンテンツ符号化（ＳＣＣ）拡張もＩＢＣに含まれる予定である。

【0192】

本願の実施形態は、３６０度パノラマ画像及びビデオの何れか又は両方の符号化及び／又は復号を対象とする。本実施形態は、３６０度全方位視野が水平方向でカバーされるという事実に基づいている。そのため、サンプル配列の最右縦サンプル列がそのサンプル配列の左側縦サンプル列に隣接するものとみなせる。本実施形態の多くは、３６０度パノラマ画像及び／又はビデオの圧縮効率を向上させるために用いることができ、あるいは又は加えて、以下に記述するようなその他の利点を有する。

【0193】

その幾つかの例を以下にに示す。

【0194】

１．レイヤ間予測

【0195】

空間スケーラブル画像及び／又はビデオの符号化は、再構成基本レイヤピクチャの再サンプリングによって実現され、拡張レイヤピクチャの符号化又は復号（以下、符号化／復号と呼ぶ）のための参照ピクチャを提供することができる。あるいは、空間スケーラブルビデオ符号化は、イントラ符号化ブロックのような基本レイヤピクチャの一部の再サンプリングによって実現され、拡張レイヤピクチャの一部を符号化／復号するための参照ピクチャを提供することができる。再サンプリングにはフィルタリング演算が含まれてもよく、参照サンプルを取得するために複数の基本レイヤサンプルがフィルタリングされる。したがって、こうした再サンプリングがピクチャ境界外のサンプル位置にアクセスしてもよい。参照領域の位置オフセット又は類似のものは、拡張レイヤピクチャの参照レイヤピクチャに対する空間対応を示すために使用され、参照レイヤピクチャのピクチャ境界外サンプルを参照するレイヤ間再サンプリング処理を行うことができる。参照領域位置オフセットが例えば品質・ＲＯＩ統合スケーラビリティのためのものである、即ち空間スケーラビリティ以外の目的でも使用可能であることは留意すべき点である。以下では、３６０度パノラマピクチャのピクチャ境界外のサンプル位置にアクセスする実施形態も説明される。

【0196】

ある実施形態によれば、エンコーダ又はデコーダがレイヤ間予測のための３６０度パノラマソースピクチャを再構成する。あるいは、エンコーダ又はデコーダは、レイヤ間予測用３６０度パノラマソースピクチャとしての役割を果たす外部基本レイヤピクチャを受け取る。次に、エンコーダ又はデコーダは、レイヤ間予測用ソースピクチャからレイヤ間参照ピクチャを導出する。この導出にはレイヤ間再サンプリングも含まれる。前述のレイヤ間再サンプリングは、これまでに説明してきた事項に対しても同様に行うことができる。ただし、ピクチャ境界外のサンプル位置がフィルタリングの入力として使用される場合、再サンプリング値は次で説明するように違った方法で導出される。フィルタリング処理でピクチャ境界外のサンプル位置が参照されるとき、図８に示すように境界領域反対側のサンプル値が使用される。換言すれば、再サンプリング済みサンプル値の導出でピクチャ境界外水平方向のサンプルが必要である場合、その境界サンプルを使用するという従来のアプローチに代えて、ピクチャの反対側からのサンプル値が使用される。

【0197】

ピクチャ境界外のサンプル位置の参照は、レイヤ間予測用ソースピクチャの一つ（又は複数）のサンプル配列を拡張することによって行うことができる。その結果、レイヤ間再サンプリングで使用できるこうしたピクチャ境界外のサンプル位置を、この一つ（又は複数）のサンプル配列に含めることができる。図８に示すように、前述の拡張は、ピクチャを水平方向に拡張するサンプル位置によって表わされることであると理解できる。

【0198】

また、参照されたサンプルの水平サンプル位置をラップアラウンドすることによってピクチャ境界外サンプル位置への参照が行われてもよい。負の水平サンプル位置を０に飽和させたり、横寸法−１を越える水平位置（即ちピクチャの最右縦サンプル列の水平サンプル位置）を横寸法−１に飽和させたりする代わりに、参照されるピクチャ境界外水平サンプル位置をラップアラウンドさせてもよい。これは、横寸法−１を超える水平サンプル位置がピクチャ左側の縦サンプル列を参照するようにラップアラウンドされることを意味する。これとは逆に、０未満の水平サンプル位置はピクチャ右側の縦サンプル列を参照するようにラップアラウンドされる。

【0199】

ある例示的実施形態では、前述のレイヤ間再サンプリングにおいて、水平サンプル位置を参照する処理ステップ５でClip3関数ではなくラップアラウンド関数を使用するように変更して、前述した例示的なレイヤ間再サンプリング処理が使用される。したがって、レイヤ間予測用３６０度パノラマソースピクチャに対するステップ５は次のようになる。n = 0 … 7であるサンプル値tempArray[ n ]は次のように導かれる：
yPosRL = Clip3( 0, RefLayerPicHeightInSamplesY-1, yRef+n-3 )
refW = RefLayerPicWidthInSamplesY
tempArray[n] = ( fL[xPhase, 0] * rlPicSampleL[Wrap( 0, refW-1, xRef-3), yPosRL] +
fL[xPhase, 1] * rlPicSampleL[Wrap( 0, refW-1, xRef-2), yPosRL] +
fL[xPhase, 2] * rlPicSampleL[Wrap( 0, refW-1, xRef-1), yPosRL] +
fL[xPhase, 3] * rlPicSampleL[Wrap( 0, refW-1, xRef ), yPosRL] +
fL[xPhase, 4] * rlPicSampleL[Wrap( 0, refW-1, xRef+1), yPosRL] +
fL[xPhase, 5] * rlPicSampleL[Wrap( 0, refW-1, xRef+2), yPosRL] +
fL[xPhase, 6] * rlPicSampleL[Wrap( 0, refW-1, xRef+3), yPosRL] +
fL[xPhase, 7] * rlPicSampleL[Wrap( 0, refW-1, xRef+4), yPosRL] ) >> shift1
ここで、RefLayerPicHeightInSamplesYは輝度サンプル単位で表わしたレイヤ間予測用ソースピクチャの縦寸法であり、RefLayerPicWidthInSamplesYは輝度サンプル単位で表わしたレイヤ間予測用ソースピクチャの横寸法である。

【0200】

実施形態によっては、レイヤ間再サンプリングにおいてピクチャ境界外サンプル位置が前述のように処理されるか従来方法で処理されるかが、ビット列に示される。エンコーダは、ビデオコンテンツのタイプ（コンテンツが３６０度パノラマか否か等）に関する情報を取得してもよい。あるいは又は加えて、エンコーダは、コンテンツが３６０度パノラマコンテンツかどうかを検出するアルゴリズムを使用してもよい。レイヤ間再サンプリングで使用されるピクチャ境界外サンプル位置の処理方法の決定に応答して、エンコーダは、その方法をビット列に標示する。この信号伝送はレイヤ間再サンプリングにおけるピクチャ境界外サンプル位置の処理に特化していてもよく、インター予測におけるピクチャ境界外サンプル位置の処理と統合されてもよい。例えば、エンコーダは、次の標示情報の一つ又は複数、あるいは類似する情報をビット列に含めてもよい。

・ シーケンスパラメータセット（ＳＰＳ）にようなシーケンスレベルのシンタックス構造におけるhor_wraparound_flag：ＳＰＳがアクティブＳＰＳである全てのピクチャについて、hor_wraparound_flagは、
○ hor_wraparound_flagが0のとき、ピクチャ境界外水平サンプル位置をピクチャ境界内に飽和させ、
○ hor_wraparound_flagが1のとき、ピクチャ境界外水平サンプル位置をピクチャ境界内でラップアラウンドさせる。

・ ピクチャパラメータセット（ＰＰＳ）のようなピクチャレベルのシンタックス構造におけるhor_wraparound_flag：ＰＰＳのhor_wraparound_flagは前述のＳＰＳフラグと同様に定義されるが、ＰＰＳがアクティブＰＰＳである全てのピクチャに対して適用される。ＰＰＳがアクティブＰＰＳであるピクチャであって、そのピクチャがレイヤ間予測用ソースピクチャ、インター予測用参照ピクチャの何れか又は両方として使用される場合、ＰＰＳフラグは、そのピクチャに適用するように規定されていてもよい。あるいは又は加えて、ＰＰＳフラグは、ＰＰＳがアクティブＰＰＳであるピクチャのレイヤ間予測用ソースピクチャ（又は複数のソースピクチャ）、ＰＰＳがアクティブＰＰＳであるピクチャのインター予測用参照ピクチャの何れか又は両方に適用するように規定されていてもよい。あるいは又は加えて、ＰＰＳフラグは、現ピクチャの一つ（又は複数）の組の間で適用するように示されてもよい。例えば、ＰＰＳがアクティブＰＰＳであるピクチャと特定のレイヤ間予測用ソースピクチャとの間に適用することが、例えば参照レイヤ位置オフセット内で又はそれと合わせて、直接参照レイヤのnuh_layer_id等を用いて示されてもよい。

・ 予測単位シンタックス構造のようなピクチャレベルより下位のシンタックス構造におけるhor_wraparound_flag：hor_wraparound_flagは条件付きでビット列に含めることができる。ある実施形態では、hor_wraparound_flagは、事前又は決定後に、あるいはピクチャ境界から（ＳＰＳ等で）信号伝送された範囲内のＰＵに存在する。この範囲は、例えば、レイヤ間再サンプリングフィルタのタップ数、所定又は指定の水平動きベクトルの最大長の何れか又は全てに基づいて決められてもよい。別の実施形態では、hor_wraparound_flagは、条件付きでインター予測処理においてピクチャ境界外サンプル位置が必要であるときに存在する。hor_wraparound_flagは、インター予測で使用される水平サンプル位置に適用してもよい。エンコーダは、例えば、hor_wraparound_flagの値に対してレート歪み最適化による決定を用いてもよい。hor_wraparound_flagは、ＣＡＢＡＣのようなコンテキスト適応型エントロピーコーダで符号化され、hor_wraparound_flagの他の値がコードワードの符号化に影響を及ぼしてもよい。

【0201】

実施形態によっては、シーケンスレベルのhor_wraparound_flagが１であるとき、ピクチャレベルのhor_wrapaound_flagの存在を示してもよい。シーケンスレベルのhor_wraparound_flagが0の場合、ピクチャ境界外水平サンプル位置をピクチャ境界内に飽和させる。それ以外では、ピクチャレベルのhor_wraparound_flagが前述の規定通りに適用できる。

【0202】

実施形態によっては、シーケンスレベルのhor_wraparound_flagが標示子で置換されてもよい。この標示子の値が0及び1では前述の規定通りでもよく、値が2のときは、ピクチャレベルのhor_wraparound_flagによる制御として飽和又はラップアラウンドの何れかが使用されてもよい。ピクチャレベルのhor_wraparound_flagは、シーケンスレベルの標示子が2のときのみ存在する。

【0203】

実施形態によっては、シーケンスレベルの標示子又はフラグでピクチャレベルのhor_wraparound_flag を通門制御（gating）するのと同様に、ピクチャレベルより下位のhor_wraparound_flagはピクチャレベルの標示子又はフラグで通門制御される。

【0204】

実施形態によっては、デコーダは、レイヤ間再サンプリングにおいてピクチャ境界外サンプル位置が前述のように処理されるか従来方法で処理されるかを示す一つ又は複数のシンタックス要素をビット列から復号する。例えば、デコーダは、前述の一つ又は複数のシンタックス要素をビット列から復号してもよい。デコーダは、レイヤ間再サンプリングで使用されるピクチャ境界外サンプル位置の処理方法を結論付けるシンタックス要素を使用する。この信号伝送はレイヤ間再サンプリングにおけるピクチャ境界外サンプル位置の処理に特化していてもよく、インター予測におけるピクチャ境界外サンプル位置の処理と統合されてもよい。

【0205】

ある実施形態において、特定のピクチャ境界や右側ピクチャ境界など限られた境界に適用する前述の標示情報は、符号化規格等で定義済みでもよく、あるいは、エンコーダの標示、デコーダの復号の何れか又は両方によるものでもよい。実施形態によっては、こうした標示情報を特定のピクチャ境界又は限られた境界のみに適用する制約条件が、インター予測ではなくレイヤ間再サンプリングに適用されてもよい。例えば、ピクチャの右側に関する信号伝送とは無関係に、サンプル配列の最左縦列の水平座標より左側の水平サンプル位置を最左縦列の水平座標に飽和させることが、（符号化規格等で）定義済みであってもよく、指定されてもよい。サンプル位置を飽和する場合、再サンプリングでピクチャ右側のサンプル値は不要であり、基本レイヤピクチャと拡張レイヤピクチャの並列符号化（復号）が可能である。例えば、符号化単位をラスター予測での符号化単位として、拡張レイヤの符号化（復号）を、例えば基本レイヤの各横ＣＴＵ列に対して１ＣＴＵ列分だけ遅延させることができる。

【0206】

ある実施例において、基本レイヤは、例えば複数のイメージセンサが撮影したビデオを合成することによって生成される３６０度パノラマビデオを表現する。カメラセンサは、最初から別々の空間解像度を有していてもよく、そうした空間分解能を使用するように構成されてもよい。あるいは又は加えて、別々の空間解像度を使用するために、パノラマビデオの一つ又は複数の領域が選択されてもよい。あるいは又は加えて、エンコーダやビデオ処理ユニット、ユーザの何れか又は全てが検出アルゴリズムや手動入力の何れか又は両方を使い、関心領域としてパノラマビデオの一つ又は複数の領域を選択してもよい。その結果、３６０度パノラマビデオの全空間領域ではなくその一部が、より高い空間解像度による符号化を利用することができる。実施例によっては、基本レイヤが基本品質で３６０度パノラマビデオコンテンツを表現し、拡張レイヤが、９０度水平視野のようなビデオコンテンツの水平サブセットを品質拡張したものを表現する。この実施例では、基本レイヤと拡張レイヤのサンプリンググリッドは同一である、即ち空間上の拡大縮小は行われていない。

【0207】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、拡張レイヤは関心領域レイヤである。すなわち、拡張レイヤは、その一つ（又は複数）の直接参照レイヤの空間領域のサブセットを表現する。例えば、ＨＥＶＣのスケーラブル拡張で規定されるように、参照レイヤ位置オフセットのような情報の信号伝送は、各レイヤ間予測用ソースピクチャに対する拡張レイヤピクチャの空間対応を規定するために、エンコーダが使用する。実施形態によっては、ピクチャ境界を超える参照領域をエンコーダが示し、ピクチャ境界外領域は、他の実施形態で説明した方法と同様に、ピクチャの反対側のサンプル値で表現される。これは、３６０度パノラマ基本レイヤのピクチャ境界を超えて広がる関心領域の拡張レイヤの使用を可能にする。

【0208】

実施形態によっては、エンコーダが、参照領域の右オフセット（例えば、前述のref_region_right_offset[ ]シンタックス要素又は類似する要素）に負の値を設定する。この値は、参照領域の右境界がレイヤ間予測用ソースピクチャの右境界よりも右に位置することを示す。この実施例では、レイヤ間予測用ソースピクチャの右側境界より右に位置するサンプル位置をピクチャ境界内にラップアラウンドさせる。図１１はこの実施例の説明図である。破線ボックス１１１０はレイヤ間予測用ソースピクチャにおけるサンプル配列のピクチャ境界を示し、点線ボックス１１２０は参照領域を示す。小さい実線ボックスは個々のサンプルを示す。図１１において、ref_region_right_offsetは（レイヤ間予測用ソースピクチャのサンプル配列のサンプルの単位で）-n以下である。したがって、参照領域はピクチャの右側境界外に縦サンプル列でn列分だけ広がっている。図１１に示すように、ピクチャの右境界の更に右側にあるnサンプル列のサンプル値は、ピクチャの最左から縦n列のコピーである。

【0209】

ある実施形態において、参照領域の左オフセット（例えば、前述のref_region_left_offset[ ]シンタックス要素又は類似する要素）に負の値が設定される。この値は、参照領域の左境界がレイヤ間予測用ソースピクチャの左境界よりも左に位置することを示す。この実施例では、レイヤ間予測用ソースピクチャの左側境界より左に位置するサンプル位置をピクチャ境界内にラップアラウンドさせる。

【0210】

実施形態によっては、エンコーダが、参照領域オフセット値の代わりに又は追加でスケール済み参照レイヤオフセット値を設定する。この値は、拡張レイヤピクチャが、参照レイヤピクチャの反対側ピクチャ境界を超える参照レイヤピクチャの領域に対応することを示す。同様に、デコーダは、参照領域オフセット値の代わりに又は追加でスケール済み参照レイヤオフセット値を復号してもよい。この値は、拡張レイヤピクチャが、参照レイヤピクチャの反対側ピクチャ境界を超える参照レイヤピクチャの領域に対応することを示す。例えば、スケール済み参照レイヤの左オフセットが負の値に設定され、スケール済み参照レイヤの右オフセットが正の値に設定されてもよい。この場合、参照レイヤピクチャの右境界が、拡張レイヤピクチャの右境界の左側にある縦サンプル列に対応することを示す。このような配置は、他の実施形態及び実施例と同様に、スケール済み参照レイヤの右オフセットが示す縦サンプル列の右側のサンプル位置をアクセスするときに、参照レイヤピクチャの反対側境界領域のサンプル値が使用されることを意味する。別の実施例では、スケール済み参照レイヤの左オフセットが正の値に設定され、スケール済み参照レイヤの右オフセットが負の値に設定されてもよい。この場合、参照レイヤピクチャの左境界が、拡張レイヤピクチャの左境界の右側にある縦サンプル列に対応することを示す。このような配置は、他の実施形態及び実施例と同様に、スケール済み参照レイヤの左オフセットが示すサンプル列の左側の縦サンプル位置をアクセスするときに、参照レイヤピクチャの反対側境界領域のサンプル値が使用されることを意味する。

【0211】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、拡張レイヤは関心領域レイヤである。すなわち、拡張レイヤは、その一つ（又は複数）の直接参照レイヤの空間領域のサブセットを表現する。例えば、ＨＥＶＣのスケーラブル拡張で規定されるように、参照レイヤ位置オフセットのような情報の信号伝送は、各レイヤ間予測用ソースピクチャに対する拡張レイヤピクチャの空間対応を規定するために、エンコーダが使用する。実施形態によっては、ピクチャ境界を超える参照領域をエンコーダが示す。ピクチャ境界外領域の動きフィールドは、ピクチャの反対側の動きフィールドによって表現される。これは、３６０度パノラマ基本レイヤのピクチャ境界を超えて広がる関心領域の拡張レイヤにおけるレイヤ間動き予測を可能にする。例えば、図１１は、レイヤ間予測用ソースピクチャの動きフィールドを表わしているとみなしてよい。ここで、破線ボックスはレイヤ間予測用ソースピクチャの動きフィールドに関するピクチャ境界、点線ボックスは参照領域、小実線ボックスは動きフィールドの粒度（例えば、１６×１６の輝度サンプルブロックのグリッド）での動きベクトルをそれぞれ示す。図１１において、ref_region_right_offset又は類似したものは（動きフィールドグリッド単位で）-nに等しい。したがって、参照領域は動きフィールドで縦n列分だけピクチャの右境界に広がっている。図１１に示すように、ピクチャの右境界の更に右側にある縦n列の動きフィールドに対する動きベクトルは、ピクチャの最左列から縦n列の動きフィールドのコピーである。

【0212】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、デコーダは、例えばＨＥＶＣのスケーラブル拡張で規定されるような参照レイヤ位置オフセットを復号して、各レイヤ間予測用ソースピクチャに対する拡張レイヤピクチャの空間対応を決定する。実施形態によっては、ピクチャ境界を超える参照領域をデコーダが復号し、ピクチャ境界外領域は、他の実施形態で説明した方法と同様に、ピクチャの反対側のサンプル値で表現される。これは、３６０度パノラマ基本レイヤのピクチャ境界を超えて広がる関心領域の拡張レイヤの使用を可能にする。

【0213】

実施形態によっては、デコーダが、参照領域の右オフセット（例えば、前述のref_region_right_offset[ ]シンタックス要素又は類似する要素）に負の値を復号する。この値は、参照領域の右境界がレイヤ間予測用ソースピクチャの右境界よりも右に位置することを示す。この実施例では、レイヤ間予測用ソースピクチャの右側境界より右に位置するサンプル位置をピクチャ境界内にラップアラウンドさせる。

【0214】

ある実施形態において、デコーダは、参照領域の左オフセット（例えば、前述のref_region_left_offset[ ]シンタックス要素又は類似する要素）に負の値を復号する。この値は、参照領域の左境界がレイヤ間予測用ソースピクチャの左境界よりも左に位置することを示す。この実施例では、レイヤ間予測用ソースピクチャの左側境界より左に位置するサンプル位置をピクチャ境界内にラップアラウンドさせる。

【0215】

実施形態によっては、レイヤ間予測用ソースピクチャのピクチャ境界外に広がる参照領域が、レイヤ間予測用ソースピクチャの一つ（又は複数）のサンプル配列を拡張することによって処理される。実施形態によっては、レイヤ間予測用ソースピクチャのピクチャ境界外に広がる参照領域が、前述のような参照サンプルに対する水平サンプル位置のラップアラウンドによって処理され、レイヤ間再サンプリングの例では、（処理ステップ５で）水平サンプル位置を参照するときにClip3関数の代わりにラップアラウンド関数が使用される。実施形態によっては、図１１で示されるようなレイヤ間予測用ソースピクチャからのサンプル値のコピーによって参照領域が生成される。

【0216】

種々の実施形態において、前述した二つの技術（即ち一つ（又は複数）のサンプル配列の拡張及び参照サンプルの水平サンプル位置のラップアラウンド）を混合して利用することもできる。拡張された一つ（又は複数）のサンプル配列のマージンは、例えば、参照領域がレイヤ間予測用ソースピクチャ内にある場合にレイヤ間再サンプリング処理によって参照サンプル位置をカバーするように拡張することができる。少なくとも一部がレイヤ間予測用ソースピクチャのピクチャ境界外にある参照領域に対して、サンプル位置のラップアラウンドが使用される。この組合せ法は、サンプル位置のラップアラウンドのみを使用するアプローチよりもメモリアクセスを高速にすることができる。

【0217】

図１３に示す実施形態によれば、レイヤ間予測用３６０度パノラマソースピクチャを再構成することと；３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出することと；含む方法であって、前記導出が、３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングすることであって、前記アップサンプリングが、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることであって、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に使用して、前記フィルタリングすることを含む、前記アップサンプリングすることと；前記３６０度パノラマソースピクチャのピクチャ境界を超える参照領域を決定し、かつ、前記反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する変数値を前記参照領域に含めることと；の一方又は両方を含む、前記方法が提供される。

【0218】

２．インピクチャ予測

【0219】

２．１イントラ予測

【0220】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、ピクチャの反対側からの再構成又は復号サンプル値は、イントラ予測用ソースとして使用される。このイントラ予測は、ブロック又は符号化単位の符号化又は復号の一部でもよい。

【0221】

図１２は、次に説明する実施形態の一部に基づき、Ｎ×Ｎサンプルのブロックサイズに対して予測サンプルP_x,yを取得する予測処理で使用される参照サンプルR_x,yの実施例を示す。表記R_x,y及びR(x,y)は同じものとして使用される。同様に、表記P_x,y及びP(x,y)も同じものとして使用される。イントラ予測用ソースとしてのピクチャの反対側から再構成又は復号されたサンプル値の使用において、次の実施形態の何れか又はそれらの組合せが使用されてもよい。

・ ピクチャの最右ブロック（例えば最右ＰＵ）における右上参照サンプルのラップアラウンド。現Ｎ×Ｎブロックの中の最右縦サンプル列がピクチャの最も右側である場合、x＝１…Ｎに対してR(N+x,y)をQ(x-1,j)に設定する。ここで、Q(x,y)は現復号ピクチャのサンプル配列であり（座標系は０で開始する）、jは現復号ピクチャの座標系における上ブロックの最後の横サンプル列である。換言すれば、イントラ予測の参照サンプル位置がピクチャ境界の外にある場合、各サンプル値はピクチャの反対側から取得される。

・ ピクチャの最右ブロック（例えば最右ＰＵ）における右上参照サンプルを取得するための、ピクチャ最左縦サンプル列の利用。最左縦サンプル列は、角度予測モードに従って選択されてもよい。

・ 水平ミラーリングブロックを符号化（復号）するブロック符号化モード（例えばＰＵ符号化モード）において、y＝０…２Ｎに対する参照サンプルR(0,y)としてピクチャ最左縦サンプル列の利用。この符号化モードでは、 x＝１…２Ｎに対して参照サンプルR(x,0)はQ(w-x,j)と設定される。ここで、wはサンプル配列の重み、jは現復号ピクチャの座標系における上ブロック（例えばＰＵ）の最後の横サンプル列である。エンコーダは、例えば、この符号化モードの使用又は不使用を決めるＲＤ最適決定を行ってもよい。この符号化モードを使用する場合、エンコーダは次のように動作できる。
はじめに、エンコーダは水平方向で符号化される非圧縮ブロックをミラーリングする。次に、エンコーダは、上で取得された利用可能な参照サンプルＲ、及びミラーリングブロックを使用して従来通りにイントラ予測モードを選択する。エンコーダは、ミラーリング符号化モード及びイントラ予測モードの一つ又は複数の標示情報をビット列に符号化する。すなわち、ミラーリング符号化モードに標示情報は別のシンタックス要素として符号化されてもよく、あるいは、一つ又は複数の予測モードとしてイントラ予測モードの一つ（又は複数）のシンタックス要素と一緒に含められてもよい。従来のイントラ予測モードの選択は、例えばＲＤ最適化を用いて行われてもよい。エンコーダは、選択されたイントラ予測モードに従って予測ブロックを作成する。このとき、予測誤差ブロックを符号化してもよい。エンコーダは更に、予測ブロックから、そして再構成予測誤差ブロックがある場合はそれから、ミラーリング再構成ブロックを再構成する。次に、エンコーダは、ミラーリングされた再構成ブロックを水平にミラーリングする。ミラーリング再構成ブロックはサンプル配列Ｑに保存され、予測用ソースとして利用することもできる。
デコーダは次のように動作できる。はじめに、デコーダは、ミラーリング符号化モード及びイントラ予測モードの一つ又は複数の標示情報をビット列から復号する。ミラーリング符号化モードが使用される場合、デコーダは前述のように参照サンプルＲを生成する。次に、デコーダは、イントラ予測モード及び参照サンプルＲに基づいて予測ブロックを再構成する。ビット列で予測誤差ブロックが利用できる場合、デコーダはそれを復号する。デコーダは更に、予測ブロックから、そして復号予測誤差ブロックがある場合はそれから、ミラーリング再構成ブロックを再構成する。次に、デコーダは、ミラーリングされた再構成ブロックを水平にミラーリングする。ミラーリング再構成ブロックはサンプル配列Ｑに保存され、予測用ソースとして利用することもできる。

・ 符号化（復号）されるブロック（例えばＰＵ）の左上及び右下の利用可能なサンプル間での補間を指定された角度方向で行わせることを目的とした、最右ブロック（例えばＰＵ）についての角度予測モードの変更。

・ 最右ブロック（例えば最右ＰＵ）に対して、イントラ予測で右側及び右下からの新たな角度方向が使用される。この新たな角度イントラ予測方向は、ピクチャの最左縦サンプル列からのサンプルをイントラ予測用ソースとして使用する。

【0222】

ある実施形態において、前述のイントラ予測の実施形態がループフィルタリング前の再構成又は復号サンプル値に適用される。別の実施形態では、前述のイントラ予測の実施形態がループフィルタリング中の再構成又は復号サンプル値に適用される。また別の実施形態では、前述のイントラ予測の実施形態が、デブロッキングのような特定のループフィルタリング中であって、サンプル適応オフセットのような別のループフィルタリングの前の再構成又は復号サンプル値に適用される。実施形態によっては、前述のイントラ予測がループフィルタリングのステージに関連して行われる順序が、例えば符号化規格において定義済みである。他の実施形態では、前述のイントラ予測がループフィルタリングのステージに関連して行われる順序をエンコーダがビット列に示し、デコーダがビット列から復号する。

【0223】

２．２．ループフィルタリング

【0224】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、ピクチャの反対側からの中間再構成又は中間復号サンプル値及び／又は変数値は、ピクチャ境界領域の中間再構成又は復号サンプル値をフィルタリングするために使用される。

【0225】

実施形態によっては、デブロッキングフィルタリングがピクチャの縦の端を越えて適用されてもよい。この目的のために、ピクチャの最右ブロックは（ブロックグリッドの垂直位置が同じである）ピクチャの最左ブロックに隣接し、そのピクチャの最左ブロックの左側にあるものとみなすことができる。同様に、ピクチャの最右から縦Ｎサンプル列は、ピクチャの最左から縦Ｎサンプル列に隣接するものとみなせる。ここで、Ｎは縦の境界に沿ったデブロッキングフィルタリングで影響を受けるサンプル数である。デブロッキングフィルタリングは、ピクチャの左側境界領域及びピクチャの右側境界領域におけるサンプル値を利用し、この左側境界領域及び右側境界領域の一方又は両方を変更する。あるいは又は加えて、デブロッキングフィルタリングは、ピクチャの左側境界領域及びピクチャの右側境界領域に関する符号化モード、量子化パラメータ値の何れか又は両方のような変数値を利用する。この実施形態では、これまでに概説したデブロッキングフィルタのようなあらゆるタイプのデブロッキングフィルタが使用されてもよい。

【0226】

ある実施形態において、例えば、デブロッキングループフィルタリングに境界長を用いることが決定される場合、ループフィルタリングは、ピクチャの反対側ブロックの動きベクトル値を利用する。この実施形態では、（ブロックグリッドの同一垂直位置での）フィルタリングにおいてピクチャの反対側における水平方向の二つのブロックの動きベクトル値を使用する前に、これらのベクトル値が像の円筒表現で同じ向きを指すように、条件付きで正規化することができる。例えば、ピクチャ最右ブロックの動きベクトルが、ピクチャの左側を指す負の水平成分を持つ場合、その動きベクトル水平成分は、図８に示すようなサンプル位置をラップアラウンドさせるときと同じ位置を指す正の水平成分となるように正規化されてもよい。この正規化は、例えば、ピクチャの反対側ブロックにおける動きベクトル水平成分が相異なる符号を有し、その動きベクトル水平成分の絶対値が正規化されていない（元の）動きベクトル水平成分の絶対値よりも小さい場合に行われてもよい。

【0227】

実施形態によっては、前述の実施形態で説明したようなループフィルタリングの適用に代えて、あるいはそれに加えて、ポストフィルタリングが同様に適用される。このポストフィルタリングは、ピクチャの反対側からの再構成又は復号サンプル値及び／又は変数値が、そのピクチャの境界領域における再構成又は復号サンプル値をフィルタリングするために使用されるような方法で適用される。ポストフィルタリングされたサンプル値は、例えば表示処理用に適用されるが、符号化（復号）で使用される復号参照ピクチャのサンプル値に影響を及ぼさない。

【0228】

２．３．コンテキスト適応型エントロピー符号化（復号）におけるコンテキスト適応

【0229】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、ピクチャの反対側からの情報は、次の一方又は両方の方法で利用される。

・ ピクチャの最右ブロックにおける一つ又は複数の２進数の確率の推定において、確率は、同一コンテキストを用いて期待される特性及び直前に符号化された２進数に基づいて推定される。先に符号化された２進数には、ピクチャの反対側由来の情報が含まれる。

・ コンテキストの確率状態変数及び符号化２進数の値の更新において、コンテキストの確率状態変数は、ピクチャの反対側における一つ又は複数のコンテキスト状態に少なくとも部分的に基づいて更新される。

【0230】

ある実施形態では、ピクチャ境界外のサンプル位置、ピクチャ境界外のサンプル位置に関連するパラメータの何れか又は全てが、インピクチャ予測に関連する前述の実施形態で説明されたように処理されるかどうかは、エンコーダがビット列に標示するか、デコーダがビット列から復号するか、あるいはエンコーダ及びデコーダが共にそれぞれの処理を行う。この標示は、予測タイプ（例えば、イントラ予測ｍループフィルタリング、エントロピー符号化）に特化していてもよく、他の一つ（又は複数）の予測タイプと組み合わせられてもよい（例えば、前述したように、非整数サンプル補間、ピクチャ境界を越える動きベクトルの何れか又は両方のために、ピクチャ境界外サンプルがピクチャの反対側から取得されること、及び、デブロッキングフィルタリングがピクチャの縦境界を越えて適用されることを同時に示す標示でもよい）。あるいは又は加えて、こうした標示が、一つ又は複数の境界に特化していてもよく、（例えば符号化規格で）定義済み又は指定されるものでもよい。レイヤ間予測に関連する実施形態について前述されたものに類似する標示が、インピクチャ予測用に使用されてもよい。

【0231】

図１４に示す実施形態によれば、３６０度パノラマソースピクチャの境界領域のサンプルを符号化又は復号することを含む方法が提供される。ここで、前記符号化又は復号が、反対側境界領域の一つ又は複数のサンプル値、及び／又は予測における反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値、及び／又は前記境界領域のサンプルの再構成を利用する。また前記予測及び／又は再構成は、次のこと：
・ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
・ 前記反対側境界領域の一つ又は複数のサンプル値、及び／又は予測における反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
・ 前記反対側境界領域の一つ又は複数のサンプル値、及び／又は予測における反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値に基づいて、コンテキスト適応型エントロピー符号化又は復号を調節すること；
の一つ又は複数を含む。

【0232】

本実施形態は以降で詳述する。

【0233】

［ピクチャ境界外サンプルについての補足実施形態］

【0234】

有効ピクチャ領域の利用

【0235】

復号ピクチャの縦横寸法には制約があってもよく、例えば、（最小）符号化単位サイズの倍数であるように制約されてもよい。例えば、ＨＥＶＣにおける復号ピクチャの縦横寸法は輝度サンプル８個分の倍数である。符号化ピクチャこうした制約を満たさない範囲を有する場合でも、その制約に準拠するピクチャサイズで符号化（復号）が行われてもよい。ただし、不要な縦横のサンプル列をクロップして出力されてもよい。ＨＥＶＣでは、こうしたクロップをいわゆる適合クロッピングウィンドウ（conformance cropping window）機能を用いてエンコーダが制御できる。適合クロッピングウィンドウは（エンコーダによって）ＳＰＳで規定され、デコーダは、ピクチャを出力するとき、この適合クロッピングウィンドウに従って復号ピクチャをクロップするよう求められる。

【0236】

ある実施形態において、前述の実施形態におけるラップアラウンド動作は、復号ピクチャ領域ではなく、例えば適合クロッピングウィンドウで規定される有効ピクチャ領域を使用する。例えば、前述の方法では、最左縦サンプル列の水平位置に０を使う代わりに、適合クロッピングウィンドウの左側が使われる。同様に、前述の方法では、pic_width_in _luma_samplesの代わりに、適合クロッピングウィンドウの最右縦サンプル列が使用される。

【0237】

実施形態によっては、前述の実施形態におけるラップアラウンド動作を有効ピクチャ領域に適用することは、エンコーダがビット列に標示するか、デコーダがビット列から復号するか、あるいはエンコーダ及びデコーダが共にそれぞれの処理を行う。適合クロッピングウィンドウに関する標示情報など有効ピクチャ領域を規定する標示情報は、エンコーダがビット列に標示するか、デコーダがビット列から復号するか、あるいはエンコーダ及びデコーダが共にそれぞれの処理を行う。

【0238】

位相シフトラップアラウンド

【0239】

３６０度パノラマコンテンツは、複数のイメージセンサから取得された画像の合成によって生成されてもよい。その結果、合成の継ぎ目を跨ぐ信号は、完全な連続信号を表現せず、位相ずれのような不完全な状態を生じさせる可能性がある。ある実施形態において、ピクチャ境界を跨ぐサンプル位置をラップアラウンドするときに使用される整数及び／又は非整数サンプル位置ずれに関する情報は、エンコーダがビット列に符号化してもよく、デコーダがビット列から復号してもよい。例えば、この情報は、ＳＰＳにようなシーケンスレベルのシンタックス構造、ＰＰＳのようなピクチャレベルのシンタックス構造の何れか又は全てに符号化されてもよく、それから復号されてもよく、あるいは符号化・復号が共に行われてもよい。非整数サンプル位置でのサンプル値は、ピクチャ境界外サンプル位置に対する従来の演算（即ち飽和演算）で生成されてもよい。非整数サンプル補間用の入力サンプル値を取得するために、前述の非整数サンプル位置でのサンプル値は、生成後、完全なサンプル値であるかのように使用することができる。

【0240】

立体３６０度ビデオにおけるビュー間予測

【0241】

３６０度パノラマビデオの二つのビューでそれらの間に視差がある、これら二つのビューは、例えばコンテンツが仮想現実ヘッドセットのような立体ディスプレイに表示されるときに深度を知覚させるために、符号化されてもよい。実施形態がインター予測を参照して説明されてきたとしても、これらの実施形態にビュー間予測も同様に適用可能であることを理解する必要がある。これは、ビュー同士の間でビュー間予測を伴う３６０度パノラマビデオの二つ以上のビューを符号化するときに有益となりうる。また、ＲＯＩスケーラビリティに関連して説明された実施形態が、例えば第１のビューを表現できる基本レイヤの領域ではなく、（例えば第２のビューの）３６０度パノラマビデオを表現する拡張レイヤに対しても同様に適用可能であることを理解する必要もある。

【0242】

ブロック内コピー

【0243】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、ブロック内コピーベクトルは、ピクチャ境界外の一部又は全部を指し示したり、サブピクセルサンプル位置を指し示したり、あるいはこれら両方を行い、ピクチャ境界外の位置に由来するサンプル値の少なくとも一部をフィルタリングすることによって、サンプル値の再構成を行う。ピクチャ境界外サンプル値は、他の実施形態と同様に、ピクチャの反対側境界領域から取得される。

【0244】

ある実施形態において、ＩＢＣ符号化処理のための参照ブロック探索は、ピクチャ境界外サンプル位置が、そのピクチャの反対側にある各々のサンプル位置が未符号化又は未復号のときは参照されないように制限されている。ＩＢＣ動きベクトルは、ピクチャの反対側にある各々のサンプル位置が未符号化又は未復号のとき、ピクチャ境界外サンプル位置を参照するため、このようなＩＢＣ動きベクトルをビット列に含めることは、ビデオ符号化規格では禁止されていてもよい。

【0245】

実施形態によっては、ピクチャ境界外サンプル位置の処理は、ピクチャの反対側にある各々のサンプル位置が符号化済み又は復号済みであるかどうかを条件とする。ピクチャの反対側にある各々のサンプル位置が符号化済み又は復号済みである場合、ピクチャの反対側にあるサンプル値は、ＩＢＣにおける予測ブロック生成でピクチャ境界外サンプル位置を参照するときに使用される。ピクチャの反対側にある各々のサンプル位置が未符号化又は未復号である場合、ＩＢＣにおける予測ブロック生成でピクチャ境界外サンプル位置を参照するときに、境界サンプル拡張やサンプル位置をピクチャ境界内に収める飽和演算のような従来手法が用いられる。

【0246】

垂直サンプル位置のラップアラウンド

【0247】

前述の方法が追加的に又は代替的に、垂直方向に対しても同様に適用可能であることをを理解する必要がある。これは、例えば、水平・垂直両方向で３６０度をカバーする、又は垂直方向のみ３６０度をカバーするビデオコンテンツであって、例えば水平軸が３６０度、垂直軸が１８０度をそれぞれ表せる場合に有用である。この場合、本実施形態は水平・垂直両方向で適用可能である。別の実施例では、撮影デバイスが第１軸に沿って３６０度、（第１軸に直交する）第２軸に沿って１８０度未満を撮影可能であり、この撮影デバイスは傾けられて、垂直方向での３６０度撮影が行われる。この場合、本実施形態は垂直方向に適用可能であり、水平方向には適用されない。

【0248】

［立体３６０度ビデオの視差補償ビュー間予測］

【0249】

次に、視差補償ビュー間予測に関する実施形態を説明する。この実施形態は、他の実施形態と共に又はそれと独立に適用できる。ビュー間予測にＳＨＶＣ符号化ツール（又は類似のもの）が使用されるように符号化される場合、視差補償ビュー間予測は、次のように実現することができる。より具体的には、視差補償ビュー間動き予測を実現するために、ＳＨＶＣ（又は類似のもの）の参照レイヤ位置オフセット機能を使用することができる。このオフセットは、ビュー間視差に従って選択される。

【0250】

本実施形態に従うエンコーダ、デコーダの何れか又は両方で、特定ビューにおけるピクチャの動きフィールドは、ビュー間視差を補償することによって、別のビューにおけるピクチャの時間動きベクトル予測器として使用されるようにマッピングされる。エンコーダは、参照レイヤ位置オフセットを用いてこのマッピングを示してもよい。デコーダは、ビット列から解析された参照レイヤ位置オフセットからマッピングを復号してもよい。前述の実施形態であって、参照ピクチャ再サンプリング、動きフィールドマッピングの何れか又は両方にためにラップアラウンドされた位置を使用するレイヤ間予測に関する実施形態の一つ又は複数は、エンコーダ及びデコーダで使用される。

【0251】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、エンコーダは、次のステップの一つ又は複数を行うことができる。

・ 視差値は、導出又は推定されてもよい。

・ スケール済み参照レイヤ左オフセット、スケール済み参照レイヤ右オフセットの一方又は両方のシンタックス要素は、視差値に設定され、正しい符号も考慮される。

・ スケール済み参照レイヤ上オフセット及びスケール済み参照レイヤ下オフセットのシンタックス要素は０に設定される。

【0252】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、エンコーダは、次のステップの一つ又は複数を行うことができる。

・ 視差値は、導出又は推定されてもよい。

・ 参照領域左オフセット、参照領域右オフセットの一方又は両方のシンタックス要素は、視差値に設定され、正しい符号も考慮される。

・ 参照領域上オフセット及び参照領域下オフセットのシンタックス要素は０に設定される。

【0253】

エンコーダは、例えば、限定されないが次の方法の一つ又は複数を用いて、一つ又は複数のアクセス単位におけるピクチャから視差値を導出してもよい。

・ 当該ピクチャに関連する一つ又は複数の深度マップから平均視差を導く。

・ 当該ピクチャに適用されたカメラパラメータから視差を導出又は推定する。

・ ビュー間の平均推定視差であって、この推定が、例えばステレオ整合アルゴリズムを用いて行われる。

・ 相異なるビューのピクチャ間に適用されるビュー間動きベクトルから平均視差を導く。

【0254】

前述において、平均視差の代わりに中央値や最大値のような別の統計量、論理演算の何れか又は全てが使用されてもよい。

【0255】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、エンコーダは、次のステップの一つ又は複数を行うことができる。

・ 一つ又は複数のピクチャに関して、平均視差が導出又は推定されてもよい。

・ スケール済み参照レイヤ左オフセット及びスケール済み参照レイヤ右オフセットのシンタックス要素は、平均視差に設定され、正しい符号も考慮される。

・ スケール済み参照レイヤ上オフセット及びスケール済み参照レイヤ下オフセットのシンタックス要素は０に設定される。

【0256】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、エンコーダは、次のステップの一つ又は複数を行うことができる。

・ エンコーダは、レイヤ間参照ピクチャ（基本ビューピクチャ）の二つの出現を参照ピクチャ・リストに作成してもよい。その一つの出現は、ＭＶ−ＨＥＶＣにおける従来の（再サンプリングされていない）レイヤ間参照ピクチャである。もう一つの出現は、参照レイヤ位置オフセットによって決定されて再サンプリングされたものである。エンコーダは、参照ピクチャ・リスト並び替えシンタックス又は類似するものの使用を通じて、ビット列にこの二つの出現の作成を標示してもよい。エンコーダは、第２の出現が参照ピクチャ・リストの一方又は両方の最後に現れるように並べてもよい。

・ エンコーダは、再サンプリング参照ピクチャをＴＭＶＰの同一位置ピクチャとしてのみ使用する。エンコーダは、例えば、スライスヘッダにこの同一位置ピクチャを標示してもよい。エンコーダは、再サンプリングピクチャをサンプル予測用リファレンスとして使用しない。

【0257】

ある実施形態であって、他の実施形態と共に又はそれと独立に適用できる実施形態において、エンコーダは、相異なるビューのピクチャとの間の実際の視差、及び同一位置事前補償オフセットに基づいて、視差値又は参照レイヤ位置オフセットを導出してもよい。同一位置事前補償オフセットは、次のように決定される。ＨＥＶＣのＴＭＶＰでは、同一位置ピクチャにおいて動きベクトルを選定するデフォルト位置が（符号化又は復号される）現ＰＵの位置の右上になっている。デフォルトＴＭＶＰに利用可能な動きベクトルが存在しない場合であって、例えば対応するブロックがイントラ符号化される場合のみ、現ＰＵの（部分的に同一位置の）位置が考慮される。ＴＭＶＰ候補に関するデフォルト位置は、実際の視差から右上隅に向かってずれが生じているものとみなしてよい。それ故、エンコーダは、生成された視差値又は参照レイヤ位置オフセットにおいて選択されたＴＭＶＰデフォルト位置を事前補償してもよい。例えば、エンコーダは、水平・垂直両方向に８輝度サンプル分だけ事前補償しても、即ち参照レイヤ位置オフセットで規定されるウィンドウを左上に向かって水平・垂直両方向に８輝度サンプル分だけ「移動」させてもよい。

【0258】

前述の実施形態がマルチビュービデオ、即ちビューの数が２を超える場合にも適用できることを理解する必要がある。

【0259】

本願の実施形態には種々の利点がある。例えば、圧縮効率を向上させることができる。また、３６０度パノラマ基本レイヤ内にあって、拡張レイヤにおいて拡張される参照領域を決定する上での柔軟性がある。例えば、本実施形態は、３６０度パノラマ基本レイヤのピクチャ境界を超えて広がる関心領域の拡張レイヤの使用を可能にする。別の実施例では、デブロッキングフィルタリングによって、３６０度パノラマイメージの左境界と右境界との間の目に見える不連続性が軽減又は隠される。このデブロッキングフィルタリングは、こうした境界が互いに隣接して表示されるときに、感覚的な品質を向上させることができる。

【0260】

前述において、エンコーダを参照して例示的実施形態が記述されていたことに対して、結果として得られるビット列とデコーダに対応する要素が備わることも理解されるべきである。同様に、デコーダを参照して例示的実施形態が記述されていたことに対して、デコーダによって復号されるビット列を生成する構成及び／又はコンピュータプログラムをエンコーダが備えることも理解されるべきである。

【0261】

前述において、基本レイヤ、基本レイヤピクチャの一方又は両方の用語に関連して説明された実施形態もある。これらの実施形態がそれぞれ直接参照レイヤ、参照レイヤピクチャの一方又は両方に対しても同様に適用できることを理解する必要がある。

【0262】

前述において、基本レイヤ及び拡張レイヤのような二つのレイヤに関連して説明された実施形態もある。これらの実施形態が、拡張レイヤに関する任意数の直接参照レイヤに対しても同様に適用できることを理解する必要がある。また、これらの実施形態が任意数の拡張レイヤに対しても同様に適用できることも理解する必要がある。例えば、複数のＲＯＩ拡張レイヤが符号化（復号）されてもよい。さらに、各ＲＯＩ拡張レイヤが３６０度パノラマ基本レイヤの相異なる空間サブセットに対応してもよい。

【0263】

前述において、レイヤ間動き予測に関連して説明された実施形態もある。これらの実施形態が動き予測に限定されず、他のあらゆるタイプのレイヤ間パラメータ予測に対しても同様に適用できることを理解する必要がある。

【0264】

前述において、再構成サンプル及び再構成ピクチャレベルという用語は、主に符号化に関連して使用されていた。ここで、サンプル及びピクチャは符号化処理の一部として再構成され、復号処理の結果得られる復号サンプル及び復号ピクチャに対してそれぞれ同一の値を有する。再構成サンプルという用語は、復号サンプルという用語と同じ意味で使用される。再構成ピクチャという用語も、復号ピクチャという用語と同じ意味で使用される。

【0265】

前述において、ビデオ符号化（復号）方法に関連して説明された実施形態もある。これらの実施形態が画像符号化（復号）方法に対しても同様に適用できることを理解する必要がある。画像符号化（復号）方法では、単一の画像が符号化され、単一の符号化画像又は（複数の符号化画像を相異なるスケーラビリティレイヤに格納できる）アクセス単位が復号される。

【0266】

本発明の様々な実施形態は、メモリに存在するコンピュータプログラムコードを用いて実装でき、関連する装置に本発明を遂行させられる。例えば、デバイスは、データの処理・送受信を行う回路及び電子装置と、メモリにコンピュータプログラムコードと、プロセッサを備え、プロセッサは、コンピュータプログラムコードを実行すると、デバイスに本実施形態の構成を遂行させてもよい。また更に、サーバ等のネットワーク装置は、データの処理・送受信を行う回路及び電子装置と、メモリにコンピュータプログラムコードと、プロセッサを備えてもよい。プロセッサは、コンピュータプログラムコードを実行すると、ネットワーク装置に本実施形態の構成を遂行させる。

【0267】

本発明の実施形態は、本明細書に紹介したものに限定されるものではないことは当然であり、請求項の範囲内で様々に変形されうるものであることは明らかである。

【0268】

第１の態様によれば、
− レイヤ間予測用３６０度パノラマソースピクチャを再構成することと；
− 前記３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出することと；
を含む方法であって、前記導出が、
○ 前記３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングすることであって、前記アップサンプリングが、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に用いて、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることを含む、前記アップサンプリングすること；
○ 前記３６０度パノラマソースピクチャのピクチャ境界を越える参照領域を決定し、かつ、
・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を前記参照領域に含めること；
の一方又は両方を含む、前記方法が提供される。

【0269】

第２の態様によれば、方法であって、
− ３６０度パノラマピクチャの境界領域のサンプルを符号化することを含み、前記符号化が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節すること；
の一つ又は複数を含む、前記方法が提供される。

【0270】

第３の態様によれば、方法であって
− ３６０度パノラマピクチャの境界領域のサンプルを復号することを含み、前記復号が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節すること；
の一つ又は複数を含む、前記方法が提供される。

【0271】

第４の態様によれば、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリを備える装置であって、前記少なくとも一つのメモリ及びコンピュータプログラムコードが、前記少なくとも一つのプロセッサを用いて、前記装置に少なくとも：
− レイヤ間予測用３６０度パノラマソースピクチャを再構成することと；
− 前記３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出することと；
を実行させるように構成され、前記導出が、
○ 前記３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングすることであって、前記アップサンプリングが、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に用いて、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることを含む、前記アップサンプリングすること；
○ 前記３６０度パノラマソースピクチャのピクチャ境界を越える参照領域を決定し、かつ、
・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を前記参照領域に含めること；
の一方又は両方を含む、前記装置が提供される。

【0272】

第５の態様によれば、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリを備える装置であって、前記少なくとも一つのメモリ及びコンピュータプログラムコードが、前記少なくとも一つのプロセッサを用いて、前記装置に少なくとも：
− ３６０度パノラマピクチャの境界領域のサンプルを符号化することを遂行させるように構成され、前記符号化が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節すること；
の一つ又は複数を含む、前記装置が提供される。

【0273】

第６の態様によれば、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリを備える装置であって、前記少なくとも一つのメモリ及びコンピュータプログラムコードが、前記少なくとも一つのプロセッサを用いて、前記装置に少なくとも：
− ３６０度パノラマピクチャの境界領域のサンプルを復号することをを遂行させるように構成され、前記復号が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方である、前記復号することを実行させるように構成され、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節すること；
の一つ又は複数を含む、前記装置が提供される。

【0274】

第７の態様によれば、
− 処理手段と；
− レイヤ間予測用３６０度パノラマソースピクチャを再構成する手段と；
− 前記３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出する手段と；
を備える装置であって、前記導出する手段が、
○ 前記３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングすることであって、前記アップサンプリングが、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に用いて、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることを含む、前記アップサンプリングすること；
○ 前記３６０度パノラマソースピクチャのピクチャ境界を越える参照領域を決定し、かつ、
・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を前記参照領域に含めること；
の一方又は実行するように構成される、前記装置が提供される。

【0275】

第８の態様によれば、
− 処理手段と；
− ３６０度パノラマピクチャの境界領域のサンプルを符号化する手段と；
を備える装置であって、前記符号化する手段が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用するように構成され、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節すること；
の一つ又は複数を含む、前記装置が提供される。

【0276】

第９の態様によれば、
− 処理手段と；
− ３６０度パノラマピクチャの境界領域のサンプルを復号する手段と；
を備える装置であって、前記復号する手段が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用するように構成され、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が、次のこと：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得すること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングすること；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節すること；
の一つ又は複数を含む、前記装置が提供される。

【0277】

第１０の態様によれば、コンピュータプログラム製品であって、前記コンピュータプログラム製品が、コンピュータで使用されるコンピュータプログラムコードを保持するコンピュータ可読媒体を備え、前記コンピュータプログラムコードが：
− レイヤ間予測用３６０度パノラマソースピクチャを再構成するコードと；
− 前記３６０度パノラマソースピクチャからレイヤ間参照ピクチャを導出するコードと；
を含み、前記導出するコードが、
○ 前記３６０度パノラマソースピクチャの少なくとも一部をアップサンプリングするコードであって、前記アップサンプリングが、反対側境界領域の一つ又は複数のサンプル値、及び／又は前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値を少なくとも部分的に用いて、前記３６０度パノラマソースピクチャの境界領域のサンプルをフィルタリングすることを含む、前記アップサンプリングするコード；
○ 前記３６０度パノラマソースピクチャのピクチャ境界を越える参照領域を決定し、かつ、
・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を前記参照領域に含めるコード；
の一方又は両方を含む、前記コンピュータプログラム製品が提供される。

【0278】

第１１の態様によれば、コンピュータプログラム製品であって、前記コンピュータプログラム製品が、コンピュータで使用されるコンピュータプログラムコードを保持するコンピュータ可読媒体を備え、前記コンピュータプログラムコードが：
− ３６０度パノラマピクチャの境界領域のサンプルを符号化するコードを含み、前記符号化が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得するコード；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングするコード；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節するコード；
の一つ又は複数を含む、前記コンピュータプログラム製品が提供される。

【0279】

第１２の態様によれば、コンピュータプログラム製品であって、前記コンピュータプログラム製品が、コンピュータで使用されるコンピュータプログラムコードを保持するコンピュータ可読媒体を備え、前記コンピュータプログラムコードが：
− ３６０度パノラマピクチャの境界領域のサンプルを復号するコードを含み、前記復号が、前記境界領域のサンプルの処理において、
・反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値を利用することを含み、
− 前記サンプルの処理が、前記境界領域のサンプルの予測、前記境界領域のサンプルの再構成の一方又は両方であり、前記処理が：
○ 前記一つ又は複数のサンプル値に基づいて、イントラ予測用予測ブロックを取得するコード；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、前記境界領域の中間再構成サンプルをフィルタリングするコード；
○ ・前記反対側境界領域の一つ又は複数のサンプル値、
・前記反対側境界領域の一つ又は複数のブロックに関連する一つ又は複数の変数値の一方又は両方の値に基づいて、コンテキスト適応型エントロピー符号化を調節するコード；
の一つ又は複数を含む、前記コンピュータプログラム製品が提供される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】