特許7518230ジオメトリパディングに基づいた３６０度ビデオのための予測符号化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-08
(45)【発行日】2024-07-17
(54)【発明の名称】ジオメトリパディングに基づいた３６０度ビデオのための予測符号化
(51)【国際特許分類】
H04N 19/563 20140101AFI20240709BHJP
H04N 19/597 20140101ALI20240709BHJP
【ＦＩ】
H04N19/563
H04N19/597
【請求項の数】
20
(21)【出願番号】P 2023043919
(22)【出願日】2023-03-20
(62)【分割の表示】P 2019550792の分割
【原出願日】2018-03-15
(65)【公開番号】P2023093440
(43)【公開日】2023-07-04
【審査請求日】2023-04-19
(31)【優先権主張番号】62/473,105
(32)【優先日】2017-03-17
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】シャオユ・シュ
(72)【発明者】
【氏名】ユウェン・ヘ
(72)【発明者】
【氏名】ヤン・イェ
【審査官】松元 伸次
(56)【参考文献】
【文献】Jill Boyce, ET AL;，JVET common test conditions and evaluation procedures for 360° video，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15-21 October 2016，JVET-D1030_v1，2016年12月20日，pp.1-4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
フレームパッキングされたピクチャ内に並べられた複数のフェイスを含む３６０度ビデオコンテンツを取得するステップであって、前記複数のフェイスは現在フェイスにおいて現在ブロックを含む、ステップと、
前記３６０度ビデオコンテンツのフレームパッキング情報に基づいて、前記現在ブロックに関連付けられたテンプレートサンプルを識別するステップと、
前記テンプレートサンプルに基づいて、前記現在ブロックに対する予測パラメータを導出するステップと、
前記導出された予測パラメータに基づいて、前記現在ブロックを予測するステップと
を備えるビデオデコーディングの方法。
【請求項2】
前記フレームパッキング情報は、前記複数のフェイスのロケーションおよび向きのインジケーションを含み、および、前記テンプレートサンプルを識別するステップは、
前記複数のフェイスの前記ロケーションおよび向きに基づいて、前記テンプレートサンプルのロケーションおよび向きを識別することをさらに含む請求項１に記載の方法。
【請求項3】
前記フレームパッキング情報は、前記３６０度ビデオコンテンツの３Ｄジオメトリ情報を含み、前記３Ｄジオメトリ情報は、前記複数のフェイスのロケーションおよび向きを決定するのに使用され、前記テンプレートサンプルを識別するステップは、
前記複数のフェイスの前記ロケーションおよび向きに基づいて、前記テンプレートサンプルのロケーションおよび向きを識別することをさらに含む請求項１に記載の方法。
【請求項4】
前記現在フェイスは、第１のフェイスであり、
前記現在ブロックが前記第１のフェイスの境界に位置していることを決定するステップと、
前記現在ブロックが前記第１のフェイスの前記境界に位置していることの決定に応答して、前記フレームパッキング情報に基づいて、前記テンプレートサンプルを含む第２のフェイスを識別するステップと、
前記テンプレートサンプルに基づいて、前記現在ブロックに対するテンプレートベースの符号化を使用して、前記予測パラメータを導出するステップと
をさらに備える請求項１に記載の方法。
【請求項5】
前記導出された予測パラメータは、照明補償（ＩＣ）パラメータまたはフレームレートアップコンバージョン（ＦＲＵＣ）パラメータを含む請求項１に記載の方法。
【請求項6】
前記テンプレートサンプルは、第１のテンプレートサンプルであり、および、前記フェイスは第１のフェイスであり、
前記現在ブロックに関連付けられた第２のテンプレートサンプルを識別するステップと、
前記フレームパッキング情報に基づいて、前記第２のテンプレートサンプルが、前記現在ブロックに対する前記予測パラメータを導出するために利用可能かどうかを決定するステップであって、前記第２のテンプレートサンプルを含む第２のフェイスが前記第１のフェイスと幾何学的に隣接している条件に基づいて、前記第２のテンプレートサンプルが利用可能であると決定される、ステップと
をさらに備える請求項１に記載の方法。
【請求項7】
前記テンプレートサンプルは、第１のテンプレートサンプルであり、および、前記フェイスは第１のフェイスであり、
前記現在ブロックに関連付けられた第２のテンプレートサンプルを識別するステップと、
前記フレームパッキング情報に基づいて、前記第２のテンプレートサンプルが、前記現在ブロックに対する前記予測パラメータを導出するために利用可能かどうかを決定するステップであって、前記第２のテンプレートサンプルを含む第２のフェイスが前記第１のフェイスと幾何学的に隣接していない条件に基づいて、前記第２のテンプレートサンプルが利用不可能であると決定される、ステップと
をさらに備える請求項１に記載の方法。
【請求項8】
前記フレームパッキングされたピクチャ内に並べられた前記複数のフェイスは、マルチフェイス投影フォーマットで表示され、前記マルチフェイス投影フォーマットは、キューブマップフォーマット、８面体フォーマット、２０面体フォーマットである請求項１に記載の方法。
【請求項9】
フレームパッキングされたピクチャ内に並べられた複数のフェイスを含む３６０度ビデオコンテンツを取得し、前記複数のフェイスは現在フェイスにおいて現在ブロックを含んでおり、
前記３６０度ビデオコンテンツのフレームパッキング情報に基づいて、前記現在ブロックに関連付けられたテンプレートサンプルを識別し、
前記テンプレートサンプルに基づいて、前記現在ブロックに対する予測パラメータを導出し、
前記導出された予測パラメータに基づいて、前記現在ブロックを予測するよう構成されたプロセッサ
を備えたビデオデコーディングのための装置。
【請求項10】
前記フレームパッキング情報は、前記複数のフェイスのロケーションおよび向きのインジケーションを含み、前記プロセッサは、
前記複数のフェイスの前記ロケーションおよび向きに基づいて、前記テンプレートサンプルのロケーションおよび向きを識別するようさらに構成された請求項９に記載の装置。
【請求項11】
前記フレームパッキング情報は、前記３６０度ビデオコンテンツの３Ｄジオメトリ情報を含み、前記３Ｄジオメトリ情報は、前記複数のフェイスのロケーションおよび向きを決定するのに使用され、前記プロセッサは、
前記複数のフェイスの前記ロケーションおよび向きに基づいて、前記テンプレートサンプルのロケーションおよび向きを識別するようさらに構成された請求項９に記載の装置。
【請求項12】
前記現在フェイスは、第１のフェイスであり、前記プロセッサは、
前記現在ブロックが前記第１のフェイスの境界に位置していることを決定し、
前記現在ブロックが前記第１のフェイスの前記境界に位置していることの決定に応答して、前記フレームパッキング情報に基づいて、前記テンプレートサンプルを含む第２のフェイスを識別し、
前記第２のフェイスが幾何学的に前記第１のフェイスに隣接している場合、前記テンプレートサンプルに基づいて、前記現在ブロックに対するテンプレートベースの符号化を使用して、前記予測パラメータを導出するようさらに構成された請求項９に記載の装置。
【請求項13】
前記導出された予測パラメータは、照明補償（ＩＣ）パラメータまたはフレームレートアップコンバージョン（ＦＲＵＣ）パラメータを含む請求項９に記載の装置。
【請求項14】
前記テンプレートサンプルは、第１のテンプレートサンプルであり、および、前記フェイスは第１のフェイスであり、前記プロセッサは、
前記現在ブロックに関連付けられた第２のテンプレートサンプルを識別し、
前記フレームパッキング情報に基づいて、前記第２のテンプレートサンプルが、前記現在ブロックに対する前記予測パラメータを導出するために利用可能かどうかを決定し、前記第２のテンプレートサンプルを含む第２のフェイスが前記第１のフェイスと幾何学的に隣接している条件に基づいて、前記第２のテンプレートサンプルが利用可能であると決定される
ようさらに構成された請求項９に記載の装置。
【請求項15】
前記テンプレートサンプルは、第１のテンプレートサンプルであり、および、前記フェイスは第１のフェイスであり、前記プロセッサは、
前記現在ブロックに関連付けられた第２のテンプレートサンプルを識別し、
前記フレームパッキング情報に基づいて、前記第２のテンプレートサンプルが、前記現在ブロックに対する前記予測パラメータを導出するために利用可能かどうかを決定し、前記第２のテンプレートサンプルを含む第２のフェイスが前記第１のフェイスと幾何学的に隣接していない条件に基づいて、前記第２のテンプレートサンプルが利用不可能であると決定される
ようさらに構成された請求項９に記載の装置。
【請求項16】
前記フレームパッキングされたピクチャ内に並べられた前記複数のフェイスは、マルチフェイス投影フォーマットで表示され、前記マルチフェイス投影フォーマットは、キューブマップフォーマット、８面体フォーマット、または２０面体フォーマットである請求項９に記載の装置。
【請求項17】
フレームパッキングされたピクチャ内に並べられた複数のフェイスを含む３６０度ビデオコンテンツを取得することであって、前記複数のフェイスは現在フェイスにおいて現在ブロックを含み、
前記３６０度ビデオコンテンツのフレームパッキング情報に基づいて、前記現在ブロックに関連付けられたテンプレートサンプルを識別することと、
前記テンプレートサンプルに基づいて、前記現在ブロックに対する予測パラメータを導出することと、
前記導出された予測パラメータに基づいて、前記現在ブロックを予測することを、１つ以上のプロセッサに実施させる、ビデオデコーディングのための命令を含む非一時コンピュータ読取り可能媒体。
【請求項18】
前記フレームパッキング情報は、前記複数のフェイスのロケーションおよび向きのインジケーションを含み、および、前記テンプレートサンプルを識別することは、
前記複数のフェイスの前記ロケーションおよび向きに基づいて、前記テンプレートサンプルのロケーションおよび向きを識別することをさらに含む請求項１７に記載の非一時コンピュータ読取り可能媒体。
【請求項19】
前記フレームパッキング情報は、前記３６０度ビデオコンテンツの３Ｄジオメトリ情報を含み、前記３Ｄジオメトリ情報は、前記複数のフェイスのロケーションおよび向きを決定するのに使用され、前記テンプレートサンプルを識別することは、
前記複数のフェイスの前記ロケーションおよび向きに基づいて、前記テンプレートサンプルのロケーションおよび向きを識別することをさらに含む請求項１７に記載の非一時コンピュータ読取り可能媒体。
【請求項20】
前記現在フェイスは、第１のフェイスであり、
前記命令は、
前記現在ブロックが前記第１のフェイスの境界に位置していることを決定することと、
前記現在ブロックが前記第１のフェイスの前記境界に位置していることの決定に応答して、前記フレームパッキング情報に基づいて、前記テンプレートサンプルを含む第２のフェイスを識別することと、
前記テンプレートサンプルに基づいて、前記現在ブロックに対するテンプレートベースの符号化を使用して、前記予測パラメータを導出することと
を前記１つ以上のプロセッサにさらに実施させる請求項１７に記載の非一時コンピュータ読取り可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
ビデオのための予測符号化に関する。
【背景技術】
【0002】
関連出願の相互参照
本出願は、その内容が参照によって本明細書に組み込まれる、２０１７年３月１７日に出願された、米国特許仮出願第６２／４７３，１０５号明細書の利益を主張する。
本出願は、その内容が参照によって本明細書に組み込まれる、２０１７年３月１７日に出願された、米国特許仮出願第６２／４７３，１０５号明細書の利益を主張する。
【0003】
バーチャルリアリティ（ＶＲ）が、我々の日常生活の中に入り込み始めた。例えば、ＶＲは、ヘルスケア、教育、ソーシャルネットワーキング、工業デザイン／トレーニング、ゲーム、映画、ショッピング、および／またはエンターテイメントを含むが、それらに限定されない分野における、多くのアプリケーションを有する。ＶＲは、視聴者を取り囲むバーチャル環境を作成することによって、没入型の視聴体験をもたらすことができる。ＶＲは、視聴者の本当に「そこにいる」ような感覚を生み出すことができる。ユーザの体験は、例えば、ＶＲ環境内において十分にリアルな感じを提供することに依存することができる。例えば、ＶＲシステムは、姿勢、ジェスチャ、視線、および／または音声を通した対話をサポートすることができる。ＶＲシステムは、触覚フィードバックをユーザに提供して、ユーザがＶＲ世界内のオブジェクトと自然な方法で対話することを可能にすることができる。ＶＲシステムは、３６０度ビデオを使用して、例えば、水平方向においては３６０度の角度、および／または垂直方向においては１８０度の角度からシーンを見る能力を、ユーザに提供することができる。ＶＲシステムおよび／または３６０度ビデオは、例えば、超高精細（ＵＨＤ）サービスを超える、メディア消費（medium consumption）であることができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ＶＲにおける３６０度ビデオの品質を改善する、および／またはクライアントの相互運用性のために処理チェーンを標準化する。
【課題を解決するための手段】
【0005】
ビデオ符号化システムは、３６０度ビデオのためのフェイスベースのサブブロック動き補償を実行して、サブブロックの１つまたは複数のサンプルを予測することができる。ビデオ符号化システムは、エンコーダ、および／またはデコーダを含むことができる。ビデオ符号化システムは、３６０度ビデオコンテンツを受信することができる。３６０度ビデオコンテンツは、複数のフェイスを含むことができる。例えば、３６０度ビデオコンテンツは、フレームパッキングされたピクチャ内に並べられた複数のフェイスを含むことができる。３６０度ビデオコンテンツは、現在ブロックを含むことができる。現在ブロックは、１つまたは複数のサブブロックを含むことができる。例えば、現在ブロックは、１つまたは複数のサブブロックに分割することができる。３６０度ビデオコンテンツに対して、サブブロックレベルのフェイス関連付けを実行することができる。例えば、現在ブロックのために、サブブロックモードが使用されるとき、３６０度ビデオコンテンツと関連付けられた、フレームパッキングされたピクチャ内のサブブロックのロケーションに基づいて、サブブロックレベルのフェイス関連付けを実行することができる。
【0006】
例においては、サブブロックモードは、高度時間動きベクトル予測（ＡＴＭＶＰ）モード、空間－時間動きベクトル予測（ＳＴＭＶＰ）モード、フレームレートアップコンバージョン（ＦＲＵＣ）モード、またはアフィンモードのうちの少なくとも１つを含むことができる。
【0007】
ビデオ符号化システムは、現在ブロックが、３６０度ビデオコンテンツと関連付けられた複数のフェイス上に配置されたサンプルを含むかどうかを決定することができる。システムは、現在ブロック内の１つまたは複数のサンプルを予測することができる。例えば、システムは、サブブロックレベルのフェイス関連付けに基づいて、現在ブロック内の１つまたは複数のサンプルを予測することができる。システムは、複数のフェイス上において、ジオメトリパディングを実行することができる。フェイスは、フェイスと関連付けられた、パディングされた領域を含むことができる。例えば、第１のフェイスは、第１のフェイスと関連付けられた、パディングされた領域を含むことができる。
【0008】
例においては、現在ブロック内の第１のサブブロックについて、システムは、第１のサブブロックの第１のロケーションを識別することができる。システムは、第１のサブブロックを第１のフェイスと関連付けることができる。例えば、システムは、第１のサブブロックの識別された第１のロケーションに基づいて、第１のサブブロックを第１のフェイスと関連付けることができる。システムは、第１のサブブロック内の第１のサンプルを予測することができる。例えば、システムは、第１のサブブロックと関連付けられた第１のフェイスに基づいて、第１のサブブロック内の第１のサンプルを予測することができる。
【0009】
システムは、第１のフェイスと関連付けられた基準サンプル（reference sample）を識別することによって、第１のサブブロックと関連付けられた第１のサンプルを予測することができる。例えば、システムは、動きベクトルを使用して、第１のフェイスと関連付けられた基準サンプルを識別することができる。システムは、識別された基準サンプルに基づいて、第１のサブブロック内の第１のサンプルを予測することができる。例えば、システムは、識別された基準サンプルを使用して、第１のサブブロック内の第１のサンプルを予測することができる。識別された基準サンプルは、第１のフェイス、または第１のフェイスのパディングされた領域と関連付けることができる。例えば、識別された基準サンプルは、第１のフェイス、または第１のフェイスのパディングされた領域内に配置することができる。
【0010】
例においては、現在ブロック内の第２のサブブロックについて、システムは、第２のサブブロックの第２のロケーションを識別することができる。システムは、第２のサブブロックを第２のフェイスと関連付けることができる。例えば、システムは、第２のサブブロックの識別された第２のロケーションに基づいて、第２のサブブロックを第２のフェイスと関連付けることができる。システムは、第２のサブブロック内の第２のサンプルを予測することができる。例えば、システムは、第２のサブブロックと関連付けられた第２のフェイスに基づいて、第２のサブブロック内の第２のサンプルを予測することができる。本明細書において説明される第２のフェイスは、第１のフェイスと異なることができる。
【0011】
第１のサブブロックが、第１のフェイスと関連付けられ、第２のサブブロックが、第２のフェイスと関連付けられ、第１のフェイスが、第２のフェイスと異なる場合、システムは、第１のフェイスと関連付けられた第１の基準サンプルを使用して、第１のサンプルを予測することができ、第２のフェイスと関連付けられた第２の基準サンプルを使用して、第２のサンプルを予測することができる。
【発明の効果】
【0012】
ジオメトリパディングに基づいた３６０度ビデオのための予測符号化のシステムを提供する。
【図面の簡単な説明】
【0013】
【図1A】正距円筒投影（ＥＲＰ）を使用した２Ｄ平面への球面幾何学投影の例を示す図である。
【図1B】正距円筒投影（ＥＲＰ）を使用した２Ｄ平面への球面幾何学投影の例を示す図である。
【図1C】正距円筒投影（ＥＲＰ）を使用した２Ｄ平面への球面幾何学投影の例を示す図である。
【図2A】キューブマッププロジェクション（ＣＭＰ）の例を示す図である。
【図2B】キューブマッププロジェクション（ＣＭＰ）の例を示す図である。
【図2C】キューブマッププロジェクション（ＣＭＰ）の例を示す図である。
【図3】３６０度ビデオシステムの例示的なワークフローを示す図である。
【図4A】ＥＲＰを使用し、境界を反復的にパディングすることで生成された、拡張されたピクチャの例を示す図である。
【図4B】ＣＭＰを使用し、境界を反復的にパディングすることで生成された、拡張されたピクチャの例を示す図である。
【図5A】ＥＲＰについてのジオメトリパディングの例であって、パディングジオメトリを示す図である。
【図5B】ＥＲＰについてのジオメトリパディングの例であって、パディングされたＥＲＰピクチャを示す図である。
【図6A】ＣＭＰについてのジオメトリパディングの例を示す図である。
【図6B】ＣＭＰについてのジオメトリパディングの例を示す図である。
【図7】ブロックベースのビデオエンコーダの例示的な図である。
【図8】ブロックベースのビデオデコーダの例示的な図である。
【図9】例示的な高度時間動きベクトル予測（ＡＴＭＶＰ）を示す図である。
【図10】例示的な空間－時間動きベクトル予測（ＳＴＭＶＰ）を示す図である。
【図11】例示的なオーバーラップブロック動き補償（ＯＢＭＣ）を示す図である。
【図12】例示的な局所的照明補償（ＩＣ）を示す図である。
【図13A】テンプレートマッチングでのフレームレートアップコンバージョン（ＦＲＵＣ）の例を示す図である。
【図13B】バイラテラルマッチングでのフレームレートアップコンバージョン（ＦＲＵＣ）の例を示す図である。
【図14】例示的四分木プラス二分木（ＱＴＢＴ）ブロック区分化を示す図である。
【図15】３６０度ビデオ符号化に対してジオメトリパディングが適用されるときの、例示的なテンプレートベース符号化を示す図である。
【図16A】３Ｄジオメトリにおけるテンプレートベースの符号化のための異なる基準サンプル導出の例を示す図である。
【図16B】直接的な左および／または上近隣におけるテンプレートベースの符号化のための異なる基準サンプル導出例を示す図である。
【図16C】ジオメトリベースのテンプレート導出におけるテンプレートベースの符号化のための異なる基準サンプル導出例を示す図である。
【図17】接続されたおよび／または接続されていない近隣フェイスからのテンプレートサンプルを使用できるブロックの例を示す図である。
【図18】マージモードを使用する例示的なジオメトリベース動き予測を示す図である。
【図19】異なるフェイス間の例示的なジオメトリベース動きベクトル投影を示す図である。
【図20】ＯＢＭＣのための例示的なジオメトリベース基準ブロック導出を示す図である。
【図21】ジオメトリパディングが適用される、制約されないＱＴＢＴブロック区分化の例を示す図である。
【図22】内部フェイス動き補償を用いる、制約されないＱＴＢＴブロック区分化の例を示す図である。
【図23A】１つまたは複数の開示される実施形態を実施することができる、例示的通信システムを示すシステム図である。
【発明を実施するための形態】
【0014】
説明的な実施形態についての詳細な説明が、様々な図を参照して、今から行われる。この説明は、可能な実施の詳細な例を提供するが、詳細は、例示的であることが意図されており、決して出願の範囲を限定しないことが留意されるべきである。
【0015】
ＶＲにおける３６０度ビデオの品質を改善すること、および／またはクライアントの相互運用性のために処理チェーンを標準化することが、１つまたは複数のグループによって注力されてきた。例えば、全方位メディアアプリケーションフォーマットのための要件および／または技術に取り組むために、ＭＰＥＧ－Ａ（マルチメディアアプリケーションフォーマット）パート１９に属するアドホックグループが、ＩＳＯ／ＩＥＣ／ＭＰＥＧ内に設立された。例えば、アドホックグループ、自由視点ＴＶ（ＦＴＶ）は、３６０度３Ｄビデオアプリケーションのための探索実験を実行した。ＦＴＶは、３６０度ビデオ（例えば、全方位ビデオ）ベースのシステム、および／またはマルチビューベースのシステムについてテストした。例えば、ＭＰＥＧおよびＩＴＵ－Ｔに属する共同ビデオ探索チーム（ＪＶＥＴ）は、ビデオ符号化規格のためのＶＲを含むシーケンスをテストした。２Ｄビデオの符号化効率を高効率ビデオ符号化（ＨＥＶＣ）よりも高めるために設計された、共同探索モデル（ＪＥＭ）を、３６０度ビデオ符号化の探索作業のために使用することができる。ビデオ圧縮技術についての予備的なコールフォーエビデンス（ＣｆＥ）を公表することが計画され、そこでは、ビデオソースコンテンツのカテゴリとして、ＶＲおよび／または３６０度ビデオを含むことができる。
【0016】
キャプチャリング、処理、表示を含むＶＲ処理チェーン内の１つもしくは複数の態様、および／またはアプリケーションの、品質および／またはユーザのエクスペリエンスを改善することができる。例えば、キャプチャリングサイド上において、ＶＲシステムは、１つまたは複数のカメラを使用して、１つまたは複数の異なるビュー（例えば、６～１２のビュー）からシーンをキャプチャすることができる。異なるビューは、一緒につなぎ合わされて、高解像度（例えば、４Ｋまたは８Ｋ）の３６０度ビデオを形成することができる。例えば、クライアントまたはユーザサイド上において、ＶＲシステムは、計算プラットフォーム、ヘッドマウントディスプレイ（ＨＭＤ）、および／またはヘッドトラッキングセンサを含むことができる。計算プラットフォームは、３６０度ビデオを受信および／またはデコードすることができ、表示のためのビューポートを生成することができる。ビューポートに対して、各眼ごとに１つの、２つのピクチャをレンダリングすることができる。立体視のために、２つのピクチャをＨＭＤ内に表示することができる。例えば、より良く見えるように、ＨＭＤ内に表示される画像を拡大するために、レンズを使用することができる。ヘッドトラッキングセンサは、視聴者の頭部の向きを追跡し続ける（例えば、常にし続ける）ことができる。ヘッドトラッキングセンサは、向き情報をシステムに供給して、その向き用のビューポートピクチャを表示させることができる。ＶＲシステムは、例えば、仮想世界内のオブジェクトと対話するための、視聴者用のタッチデバイス（例えば、専用タッチデバイス）を提供することができる。例においては、ＶＲシステムは、ＧＰＵサポートを備えるワークステーションによって駆動することができる。例においては、ＶＲシステムは、計算プラットフォーム、ＨＭＤディスプレイ、および／またはヘッドトラッキングセンサとして、スマートフォンを使用することができる。空間ＨＭＤ解像度は、２１６０×１２００であることができる。リフレッシュレートは、９０Ｈｚであることができ、視野（ＦＯＶ）は、１１０度であることができる。ヘッドトラッキングセンサのためのサンプリングレートは、１０００Ｈｚであることができ、それは、速い（例えば、非常に速い）運動をキャプチャすることができる。ＶＲシステムの例は、計算プラットフォームとして、スマートフォンを使用することができ、レンズおよび／またはボール紙を含むことができる。３６０度ビデオストリーミングサービスが、存在することができる。
【0017】
３６０度ビデオ配信は、球面幾何学構造を使用して、３６０度情報を表すことができる。例えば、１つまたは複数のカメラによってキャプチャされた、同期が取れた１つまたは複数のビューは、一体構造として、球上においてつなぎ合わせることができる。球情報は、幾何学変換プロセスを用いて、２Ｄ平面に投影することができる。投影フォーマットを説明するために、例えば、正距円筒投影（ＥＲＰ）および／またはキューブマッププロジェクション（ＣＭＰ）を使用することができる。
【0018】
ＥＲＰは、球の緯度および／または経度座標を、グリッドの水平および／または垂直座標上に（例えば、直接的に）マッピングすることができる。図１Ａは、経度（φ）および緯度（θ）における球サンプリングの例を示している。図１Ｂは、例えば、ＥＲＰを使用して、２Ｄ平面に投影された球の例を示している。図１Ｃは、ＥＲＰを用いた投影ピクチャの例を示している。範囲［－π，π］内の経度φは、航空学における、偏揺れであることができ、範囲［－π／２，π／２］内の緯度θは、縦揺れであることができる。πは、円の円周の、それの直径に対する比であることができる。図１Ａ～図１Ｂにおいて、（ｘ，ｙ，ｚ）は、３Ｄ空間内の点の座標を表すことができ、（ｕｅ，ｖｅ）は、２Ｄ平面内の点の座標を表すことができる。ＥＲＰは、式１および／または式２に示されるように、数学的に表すことができ、
ｕｅ＝（φ／（２×π）＋０．５）×Ｗ （１）
ｖｅ＝（０．５－θ／π）×Ｈ （２）
ここで、ＷおよびＨは、２Ｄ平面ピクチャの幅および高さであることができる。図１Ａに示されるように、球上における経度Ｌ４と緯度Ａ１の交点である点Ｐは、式１および／または式２を使用して、２Ｄ平面内の（例えば、図１Ｂにおける）点ｑにマッピングすることができる。２Ｄ平面内の点ｑは、例えば、逆投影を介して、球上の点Ｐに投影し戻すことができる。図１Ｂにおける視野（ＦＯＶ）は、Ｘ軸沿いの視野角が約１１０度になるように、球におけるＦＯＶを２Ｄ平面にマッピングすることができることの例を示すことができる。
ｕｅ＝（φ／（２×π）＋０．５）×Ｗ （１）
ｖｅ＝（０．５－θ／π）×Ｈ （２）
ここで、ＷおよびＨは、２Ｄ平面ピクチャの幅および高さであることができる。図１Ａに示されるように、球上における経度Ｌ４と緯度Ａ１の交点である点Ｐは、式１および／または式２を使用して、２Ｄ平面内の（例えば、図１Ｂにおける）点ｑにマッピングすることができる。２Ｄ平面内の点ｑは、例えば、逆投影を介して、球上の点Ｐに投影し戻すことができる。図１Ｂにおける視野（ＦＯＶ）は、Ｘ軸沿いの視野角が約１１０度になるように、球におけるＦＯＶを２Ｄ平面にマッピングすることができることの例を示すことができる。
【0019】
図１Ｃに示されるように、ＥＲＰピクチャの上部および／または下部（例えば、それぞれ北極および／または南極）は、例えば、ピクチャの中央部（例えば、赤道）と比較して、引き延ばされることができる。ＥＲＰピクチャの上部および／または下部の引き延ばしは、ＥＲＰフォーマットについては、球サンプリング密度が不均一であることができることを示すことができる。近隣ＥＲＰピクチャ間の時間相関を記述することができる動き場は、２Ｄビデオよりも複雑になることができる。ＭＰＥＧ－２、Ｈ．２６４、またはＨＥＶＣなどのビデオコーデックは、並進モデルを使用して、動き場を記述することができる。ビデオコーデックは、平面ＥＲＰピクチャ内の形状変化運動を表す（例えば、効率的に表す）ことができる。３６０度ビデオを複数のフェイスにマッピングするために、１つまたは複数の幾何学的投影フォーマットを使用することができる。
【0020】
ＣＭＰは、圧縮フレンドリなフォーマットであることができる。図２Ａは、ＣＭＰのための３Ｄ幾何学構造の例を示している。ＣＭＰは、６つの正方形フェイスを含むことができる。正方形フェイスには、ＰＸ、ＰＹ、ＰＺ、ＮＸ、ＮＹ、および／またはＮＺというラベルを付けることができ、Ｐは、正を表すことができ、Ｎは、負を表すことができ、Ｘ、Ｙ、Ｚは、軸を指すことができる。正方形フェイスには、数（例えば、０～５）を使用して、ＰＸ（０）、ＮＸ（１）、ＰＹ（２）、ＮＹ（３）、ＰＺ（４）、および／またはＮＺ（５）というように、ラベルを付けることができる。内接球の半径は、１に設定することができ、１つまたは複数のフェイスの横の長さは、２に設定することができる。ビデオコーデックが、球ビデオを扱う（例えば、直接的に扱う）ように設計されていないことがあるので、ＣＭＰフォーマットの６つの正方形フェイスは、ピクチャ（例えば、単一のピクチャ）内に一緒にパッキングすることができる。近隣フェイス間の連続性を最大化するために、１つまたは複数のフェイスは、ある度だけ回転することができる。図２Ｂは、６つのフェイスを長方形ピクチャ内に配置するためのパッキングの例を示しており、１つまたは複数のフェイスインデックスは、フェイスの対応する回転と合致することができる向きに置かれている。例えば、図２Ｂに示されるように、フェイス＃３およびフェイス＃１は、それぞれ、反時計回りに２７０度および１８０度だけ回転することができる。他のフェイス（例えば、フェイス＃０、＃２、＃４、および／または＃５）は、回転しないことができる。図２Ｃは、ＣＭＰを用いた投影ピクチャの例を示している。
【0021】
図３は、３６０度ビデオシステムのための例示的なワークフローを示している。ワークフローは、１つまたは複数のカメラを使用して、全球をカバーするビデオをキャプチャすることができる。キャプチャされたビデオは、幾何学構造（例えば、ネイティブ幾何学構造）において、例えば、ＥＲＰフォーマットで、一緒につなぎ合わせることができる。幾何学構造は、ビデオコーデックを使用するエンコーディングのために、別の幾何学構造（例えば、ＣＭＰフォーマットまたは他の投影フォーマット）に変換することができる。受信機において、ビデオは、デコードすることができ、圧縮解除されたフレームは、表示のために、ジオメトリに変換することができる。ビデオは、ユーザの視野角に従ったビューポート投影を介して、レンダリングすることができ、ＨＭＤに表示することができる。
【0022】
ビデオコーデックは、平面上においてキャプチャされた２Ｄビデオを考慮して、設計することができる。動き補償予測が、基準ピクチャの境界の外側のサンプルを使用するとき、ピクチャ境界からサンプル値をコピーすることによって、パディングを実行することができる。例えば、ピクチャ境界からサンプル値をコピーすることによって、反復パディングを実行することができる。図４Ａおよび図４Ｂは、ＥＲＰ（例えば、図４Ａ）およびＣＭＰ（例えば、図４Ｂ）についての反復パディングによって生成された、拡張されたピクチャの例を示している。図４Ａおよび図４Ｂにおいては、元のピクチャは、点線ボックス内にあることができ、拡張された境界は、点線ボックスの外部にあることができる。３６０度ビデオは、２Ｄビデオとは異なることができる。例えば、３６０度ビデオは、全球上におけるビデオ情報を含むことができ、３６０度ビデオは、循環的特性を有することができる。３６０度ビデオの循環的特性を考慮すると、３６０度ビデオのピクチャが含む情報は、球を包み込むことができるので、３６０度ビデオのピクチャ（例えば、表現のために使用される投影フォーマットは、無関係であることができる）は、境界を有さないことができる。３６０度ビデオ符号化のために、ジオメトリパディングを使用することができる。例えば、サンプルをパディングすることによって、および／または３６０度ビデオにおいて表される３Ｄ幾何学構造を考慮することによって、３６０度ビデオ符号化のために、ジオメトリパディングを使用することができる。例えば、３６０度ビデオを符号化するために適用される投影フォーマットに基づいて、１つまたは複数の異なるパディング手法を、動き補償予測のために使用することができる。
【0023】
ＥＲＰのためのジオメトリパディングを、経度および／または緯度を有する球上において、定義することができる。例えば、（例えば、ＥＲＰピクチャの外部の）パディングされる点（ｕ，ｖ）を与えられると、パディングサンプルを導出するために使用される点（ｕ’，ｖ’）は、１つまたは複数の式３～式５を使用して、計算することができる。
（ｕ＜０またはｕ≧Ｗ）かつ（０≦ｖ＜Ｈ）である場合、ｕ’＝ｕ％Ｗ、ｖ’＝ｖ （３）
（ｖ＜０）である場合、ｖ’＝－ｖ－１、ｕ’＝（ｕ＋Ｗ／２）％Ｗ （４）
（ｖ≧Ｈ）である場合、ｖ’＝２×Ｈ－１－ｖ、ｕ’＝（ｕ＋Ｗ／２）％Ｗ （５）
ここで、ＷおよびＨは、ＥＲＰピクチャの幅および高さであることができる。図５Ａは、ＥＲＰのためのジオメトリパディングプロセスの例を示している。左および／または右境界において、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、および／またはＦにおけるサンプルは、それぞれ、Ａ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’、および／またはＦ’におけるサンプルを用いて、パディングすることができる。上境界において、Ｇ、Ｈ、Ｉ、および／またはＪにおけるサンプルは、それぞれ、Ｇ’、Ｈ’、Ｉ’、および／またはＪ’におけるサンプルを用いて、パディングすることができる。下境界において、Ｋ、Ｌ、Ｍ、および／またはＮにおけるサンプルは、それぞれ、Ｋ’、Ｌ’、Ｍ’、および／またはＮ’におけるサンプルを用いて、パディングすることができる。図５Ｂは、ジオメトリパディングを使用した、拡張されたＥＲＰピクチャの例を示している。図５Ｂにおけるジオメトリパディングは、意味あるサンプルを提供することができ、ＥＲＰピクチャ境界の外部のエリアについて、近隣サンプルの連続性を改善することができる。
（ｕ＜０またはｕ≧Ｗ）かつ（０≦ｖ＜Ｈ）である場合、ｕ’＝ｕ％Ｗ、ｖ’＝ｖ （３）
（ｖ＜０）である場合、ｖ’＝－ｖ－１、ｕ’＝（ｕ＋Ｗ／２）％Ｗ （４）
（ｖ≧Ｈ）である場合、ｖ’＝２×Ｈ－１－ｖ、ｕ’＝（ｕ＋Ｗ／２）％Ｗ （５）
ここで、ＷおよびＨは、ＥＲＰピクチャの幅および高さであることができる。図５Ａは、ＥＲＰのためのジオメトリパディングプロセスの例を示している。左および／または右境界において、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、および／またはＦにおけるサンプルは、それぞれ、Ａ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’、および／またはＦ’におけるサンプルを用いて、パディングすることができる。上境界において、Ｇ、Ｈ、Ｉ、および／またはＪにおけるサンプルは、それぞれ、Ｇ’、Ｈ’、Ｉ’、および／またはＪ’におけるサンプルを用いて、パディングすることができる。下境界において、Ｋ、Ｌ、Ｍ、および／またはＮにおけるサンプルは、それぞれ、Ｋ’、Ｌ’、Ｍ’、および／またはＮ’におけるサンプルを用いて、パディングすることができる。図５Ｂは、ジオメトリパディングを使用した、拡張されたＥＲＰピクチャの例を示している。図５Ｂにおけるジオメトリパディングは、意味あるサンプルを提供することができ、ＥＲＰピクチャ境界の外部のエリアについて、近隣サンプルの連続性を改善することができる。
【0024】
投影フォーマットが、ＣＭＰであるとき、ＣＭＰのフェイスは、近隣フェイスのサンプルを現在フェイスの拡張されたエリア上に投影することを通したジオメトリパディングによって、拡張することができる。図６Ａは、与えられたＣＭＰフェイスに対して、ジオメトリパディングをどのように実行することができるかについての例を示している。図６Ａにおいては、点Ｐは、フェイスＦ１上にあることができるが、フェイスＦ１の境界の外部にあることができる。点Ｏは、球の中心にあることができる。Ｒは、点Ｐに最も近い左境界点であることができ、Ｒは、フェイスＦ１の内部にあることができる。点Ｑは、中心点Ｏからの、近隣フェイスＦ２上における点ｐの投影点であることができる。ジオメトリパディングは、点Ｑにおけるサンプル値を使用して、点Ｐにおけるサンプル値を満たすように構成することができ、（例えば、反復パディングを使用して）点Ｒにおけるサンプル値を使用して、点Ｐにおけるサンプル値を満たさないことができる。図６Ｂは、ＣＭＰフォーマットについてのジオメトリパディングによる、拡張された６つのフェイスの例を示している。図６Ｂに示されるジオメトリパディングは、フェイス境界の外部の意味ある基準サンプル（reference sample）を提供することができ、および／または時間予測の効率を改善することができる。
【0025】
図７は、エンコーディングプロセスの例示的な図を示しており、図８は、デコーディングプロセスの例示的な図を示している。エンコーディングおよび／またはデコーディングプロセスは、例えば、ＨＥＶＣエンコーディングおよび／またはデコーディングワークフローに準拠することができ、空間予測（例えば、イントラ予測）、時間予測（例えば、インター予測）、変換、量子化、エントロピ符号化、および／またはループフィルタを含む、機能ブロック（例えば、同じ機能ブロック）に基づくことができる。動き補償予測、残差変換、ループフィルタ、および／またはエントロピ符号化など、インター符号化と関連付けられた１つまたは複数のモジュールは、拡張する（例えば、さらに拡張する）ことができる。
【0026】
図７は、例示的なブロックベースのハイブリッドビデオエンコーディングシステム６００を示している。入力ビデオ信号６０２は、ブロックごとに処理することができる。（例えば、符号化ユニットまたはＣＵと呼ばれる）拡張されたブロックサイズを使用して、高解像度（例えば、１０８０ｐおよび／またはそれ以上）ビデオ信号を圧縮することができる。ＣＵは、最大で６４×６４ピクセルを有することができる。ＣＵは、予測ユニットまたはＰＵに区分化（partition）することができ、それらに対して、別個の予測を適用することができる。入力ビデオブロック（例えば、マクロブロック（ＭＢ）またはＣＵ）に対して、空間予測６６０または時間予測６６２を実行することができる。空間予測（例えば、イントラ予測）は、同じビデオピクチャおよび／またはスライス内のすでに符号化された近隣ブロックからのピクセルを使用して、現在ビデオブロックを符号化することができる。空間予測は、ビデオ信号に内在する空間冗長性を低減させることができる。（例えば、インター予測または動き補償予測と呼ばれる）時間予測は、すでに符号化されたビデオピクチャからのピクセルを使用して、現在ビデオブロックを符号化することができる。時間予測は、ビデオ信号に内在する時間冗長性を低減させることができる。与えられたビデオブロックについての時間予測信号は、現在ブロックとそれの基準ブロックとの間の動きの量および／または方向を示す、動きベクトルによって伝達することができる。複数の基準ピクチャが、サポートされる場合、ビデオブロックの基準ピクチャインデックスをデコーダに伝達することができる。基準インデックスを使用して、時間予測信号が、基準ピクチャストア６６４内のどの基準ピクチャから来ることができるかを識別することができる。
【0027】
空間および／または時間予測の後、エンコーダ内のモード決定６８０が、例えば、レート－歪み最適化に基づいて、予測モードを選択することができる。６１６において、現在ビデオブロックから予測ブロックを減算することができる。変換モジュール６０４および量子化モジュール６０６を使用して、予測残差を脱相関させて、ターゲットビットレートを達成することができる。量子化された残差係数を、６１０において逆量子化、６１２において逆変換して、再構成された残差を形成することができる。６２６において、再構成された残差を予測ブロックに加算し戻して、再構成されたビデオブロックを形成することができる。６６６において、デブロッキングフィルタおよび／または適応ループフィルタなどのインループフィルタを、再構成されたビデオブロックに適用することができ、その後、それは、基準ピクチャストア６６４内に置かれる。基準ピクチャストア６６４内の基準ピクチャを使用して、将来のビデオブロックを符号化することができる。出力ビデオビットストリーム６２０を形成することができる。符号化モード（例えば、インターもしくはイントラ符号化モード）、予測モード情報、動き情報、および／または量子化された残差係数を、エントロピ符号化ユニット６０８に送信して、圧縮およびパッキングを行い、ビットストリーム６２０を形成することができる。
【0028】
図８は、例示的なブロックベースのハイブリッドビデオデコーダを示している。図８におけるデコーダは、図７におけるエンコーダに対応することができる。エントロピデコーディングユニット２０８において、ビデオビットストリーム２０２を受信し、アンパッキングし、および／またはエントロピデコードすることができる。符号化モードおよび／または予測情報を、（例えば、イントラ符号化の場合は）空間予測ユニット２６０に、および／または（例えば、インター符号化の場合は）時間予測ユニット２６２に送信することができる。空間予測ユニット２６０および／または時間予測ユニット２６２において、予測ブロックを形成することができる。残差変換係数を、逆量子化ユニット２１０および逆変換ユニット２１２に送信して、残差ブロックを再構成することができる。２２６において、予測ブロックと残差ブロックを加算することができる。再構成されたブロックは、インループフィルタ２６６を通過することができ、基準ピクチャストア２６４内に記憶することができる。基準ピクチャストア２６４内の再構成されたビデオを使用して、表示デバイスを駆動すること、および／または将来のビデオブロックを予測することができる。
【0029】
ビデオブロックは、予測方向のための動きベクトル（例えば、たかだか動きベクトル）を有することができる。サブブロックレベルの動きベクトル予測を適用できる。ブロック（例えば、大きいブロック）は、複数のサブブロック（例えば、複数の小さいサブブロック）に分割することができる。１つまたは複数（例えば、すべて）のサブブロックのための動き情報を導出することができる。高度時間動きベクトル予測（ＡＴＭＶＰ）は、時間動きベクトル予測（ＴＭＶＰ）に立脚することができる。ＡＴＭＶＰは、符号化ブロックが、それのサブブロックの動き情報を、それの時間近隣ピクチャ（例えば、併置された（collocated）基準ピクチャ）からの複数の小さいブロックから、フェッチすることを可能にすることができる。空間－時間動きベクトル予測（ＳＴＭＶＰ）は、例えば時間近隣の動きベクトルを空間近隣のそれと平均することによって、サブブロックの動き情報を導出する（例えば再帰的に導出する）ことができる。
【0030】
ＡＴＭＶＰにおいては、ＴＭＶＰは、ブロックが、ブロック内のサブブロックのための（例えば、動きベクトルおよび／または基準インデックスを含む）複数の動き情報を、現在ピクチャの時間近隣ピクチャの１つまたは複数（例えば、複数）のより小さいブロックから導出することを可能にすることができる。ＡＴＭＶＰは、本明細書において説明されるように、ブロックのサブブロックの動き情報を導出することができる。ＡＴＭＶＰは、時間基準ピクチャ内の（例えば、併置されたブロック（collocated block）と呼ばれることがある）現在ブロックに対応するブロックを識別することができる。選択された時間基準ピクチャは、併置されたピクチャ（collocated picture）と呼ばれることがある。ＡＴＭＶＰは、図９に示されるように、現在ブロックを１つまたは複数のサブブロックに分割することができ、併置されたピクチャ内の対応する小さいブロックから、サブブロック（例えば、サブブロックの各々）の動き情報を導出することができる。
【0031】
併置されたブロックおよび／または併置されたピクチャは、現在ブロックの空間近隣ブロックの動き情報によって識別することができる。ＡＴＭＶＰ設計においては、マージ候補リスト内の利用可能な（例えば、第１の利用可能な）候補を考えることができる。図９は、ＡＴＭＶＰの例を示している。例えば、図９は、例えば、マージ候補リストのスキャニング順序に基づいて、現在ブロックの第１の利用可能なマージ候補として、ブロックＡが識別されることを仮定することができる。ブロックＡの対応する動きベクトル（例えば、ＭＶA）、およびそれの基準インデックスを使用して、併置されたピクチャおよび／または併置されたブロックを識別することができる。併置されたピクチャ内の併置されたブロックのロケーションは、ブロックＡの動きベクトル（例えば、ＭＶA）を現在ブロックの座標に加算することによって決定することができる。
【0032】
現在ブロック内のサブブロックについて、併置されたブロック内の（例えば、図９において矢印によって示される）対応する小さいブロックの動き情報を使用して、現在ブロック内の対応するサブブロックの動き情報を導出することができる。併置されたブロック内の小さいブロックの動き情報が、識別された後、併置されたブロック内の小さいブロックは、時間動きベクトルスケーリングを適用することができる、例えば、ＨＥＶＣにおけるＴＭＶＰで、現在ブロック内の対応するサブブロックの動きベクトルおよび／または基準インデックスに変換することができる。
【0033】
ＳＴＭＶＰにおいては、符号化ブロック内のサブブロックの動き情報は、例えば、再帰的方式で、導出することができる。図１０は、ＳＴＭＶＰの例を示している。図１０は、現在ブロックが、「Ａ」、「Ｂ」、「Ｃ」、および／または「Ｄ」などの１つまたは複数のサブブロック（例えば、４つのサブブロック）を含むことができることを仮定することができる。現在ブロックの空間近隣である、近隣の小さいブロックには、それぞれ、「ａ」、「ｂ」、「ｃ」、および／または「ｄ」というラベルを付けることができる。サブブロック「Ａ」についての動き導出は、空間近隣（例えば、２つの空間近隣）を識別することができる。例えば、サブブロック「Ａ」の近隣は、上近隣「ｃ」であることができる。小さいブロック「ｃ」が、利用可能でない、またはイントラ符号化されていない場合、現在ブロックの上側の次の近隣の小さいブロックを、（例えば、左から右に）順番にチェックすることができる。サブブロック「Ａ」の他の近隣は、左近隣「ｂ」であることができる。小さいブロック「ｂ」が、利用可能でない、またはイントラ符号化されていない場合、現在ブロックの左側の次の近隣の小さいブロックを、（例えば、上から下に）順番にチェックすることができる。空間近隣の動き情報をフェッチした後、サブブロック「Ａ」の時間近隣の動き情報を、例えば、ＨＥＶＣにおけるＴＭＶＰプロセスによって、決定することができる。利用可能な空間および／または時間近隣のいくつかまたはすべての動き情報（例えば、最大で３つ）は、平均することができ、および／またはサブブロック「Ａ」の動き情報として使用することができる。ラスタスキャン順序に基づいて、ＳＴＭＶＰプロセスを繰り返して、現在ビデオブロック内のいくつかまたはすべての他のサブブロックの動き情報を導出することができる。
【0034】
オーバーラップブロック動き補償（ＯＢＭＣ）を使用して、動き補償ステージにおいて、ブロッキングアーチファクトを除去することができる。例えば、ブロックの右および／または下境界を除く、１つまたは複数（例えば、すべて）のインターブロック境界に対して、ＯＢＭＣを実行することができる。ビデオブロックが、サブブロックモード（例えば、ＡＴＭＶＰおよび／またはＳＴＭＶＰ）で符号化されるとき、サブブロックの境界に対して、ＯＢＭＣを実行することができる。図１１は、ＯＢＭＣの例を示している。例えば、ＯＢＭＣが、サブブロック（例えば、図１１におけるサブブロック「Ａ」）に適用されるとき、現在サブブロックの動きベクトルに加えて、（例えば、最大で４つの）近隣サブブロックの動きベクトルを使用して、現在サブブロックの予測信号を導出することができる。近隣サブブロックの動きベクトルを使用した、１つまたは複数の予測ブロックは、平均して、現在サブブロックの予測信号（例えば、最終予測信号）を生成することができる。
【0035】
ＯＢＭＣにおいて、加重平均を使用して、ブロックの予測信号を生成することができる。近隣サブブロックの動きベクトルを使用した予測信号は、ＰＮと表記することができる。現在サブブロックの動きベクトルを使用した予測信号は、ＰＣと表記することができる。ＯＢＭＣが、適用されるとき、ＰＮの最初および／または最後の４つの行および／または列内のサンプルは、ＰＣにおける同じ位置のサンプルと加重平均をとることができる。加重平均が適用されるサンプルは、例えば、対応する近隣サブブロックのロケーションに従って、決定することができる。例えば、近隣サブブロックが、上近隣（例えば、図１１におけるサブブロック「ｂ」）であるとき、現在サブブロックの最初の４つの行内のサンプルを調整することができる。近隣サブブロックが、下近隣（例えば、図１１におけるサブブロック「ｄ」）であるとき、現在サブブロックの最後の４つの行内のサンプルを調整することができる。近隣サブブロックが、左近隣（例えば、図１１におけるサブブロック「ａ」）であるとき、現在サブブロックの最初の４つの列内のサンプルを調整することができる。近隣サブブロックが、右近隣（例えば、図１１におけるサブブロック「ｃ」）であるとき、現在サブブロックの最後の４つの列内のサンプルを調整することができる。現在ブロックが、サブブロックモードで符号化されていないとき、ＰＮの最初の４つの行および／または列のために、加重係数｛１／４，１／８，１／１６，１／３２｝を使用することができ、ＰＣの最初の４つの行および／または列のために、加重係数｛３／４，７／８，１５／１６，３１／３２｝を使用することができる。現在ブロックが、サブブロックモードで符号化されているとき、ＰＮとＰＣの最初の２つの行および／または列を平均することができる。ＰＮのために、加重係数｛１／４，１／８｝を使用することができ、ＰＣのために、加重係数｛３／４，７／８｝を使用することができる。
【0036】
ＨＥＶＣにおいては、１つまたは複数（例えば、すべて）のインター予測パラメータ（例えば、動きベクトル、基準インデックス、および／または加重された予測パラメータ）を、エンコーダにおいて、レート－歪み（Ｒ－Ｄ）最適化によって決定することができ、デコーダに伝達することができる。符号化インター予測パラメータは、オーバヘッド（例えば、著しいオーバヘッド）を考慮することができる。シグナリングオーバヘッドは、例えば、ＪＥＭにおけるテンプレートベースの符号化を使用することによって、回避することができる。テンプレートベースの符号化は、デコーダにおいて、現在ブロックのすでに再構成された近隣サンプルであることができるテンプレートを使用して、インター予測パラメータを導出することができる。局所的照明補償（ＩＣ）は、例えば、テンプレートを使用する線形モデルに基づいて、局所的加重パラメータを導出することができ、および／または例えば、導出された加重パラメータを使用して、加重された動き補償予測を適用することができる。フレームレートアップコンバージョン（ＦＲＵＣ）は、デコーダにおいて、テンプレートマッチングまたはバイラテラルマッチングを使用して、動き情報を導出することができる。
【0037】
ＩＣは、スケーリング係数「ａ」および／またはオフセット「ｂ」を使用する、照明変化のための線形モデルに基づくことができる。１つまたは複数のインター符号化されたブロックに対して、ツールを適応的に有効化および／または無効化することができる。図１２は、局所的ＩＣプロセスの例を示している。図１２においては、ＩＣが、ブロックに対して適用されるとき、現在ブロックの近隣サンプル（例えば、テンプレート）と、時間基準ピクチャ内のそれらに対応する基準サンプルとの間の歪みを最小化することによって、パラメータ「ａ」および「ｂ」を導出するために、最小平均２乗誤差（ＬＭＳＥ）を利用することができる。図１２に示されるように、テンプレートは、サブサンプリング（例えば、２：１サブサンプリング）することができる。例えば、図１２における影付きサンプルを使用して、「ａ」および「ｂ」を導出することができる。導出されたスケーリング係数「ａ」およびオフセット「ｂ」に基づいて、現在ブロックの予測サンプルを、例えば、以下のような線形モードに基づいて、調整することができ、
Ｐ（ｘ，ｙ）＝ａ・Ｐr（ｘ＋ｖx，ｙ＋ｖy）＋ｂ
ここで、Ｐ（ｘ，ｙ）は、座標（ｘ，ｙ）における、現在ブロックの予測信号であることができ、Ｐr（ｘ＋ｖx，ｙ＋ｖy）は、動きベクトル（ｖx，ｖy）によって指し示される基準ブロックであることができる。
Ｐ（ｘ，ｙ）＝ａ・Ｐr（ｘ＋ｖx，ｙ＋ｖy）＋ｂ
ここで、Ｐ（ｘ，ｙ）は、座標（ｘ，ｙ）における、現在ブロックの予測信号であることができ、Ｐr（ｘ＋ｖx，ｙ＋ｖy）は、動きベクトル（ｖx，ｖy）によって指し示される基準ブロックであることができる。
【0038】
（例えば、動き情報を伝達するオーバヘッドを減じるために）インター符号化されたブロックのために、ＦＲＵＣモードをサポートすることができる。ＦＲＵＣモードが、有効化されているとき、ブロックの（例えば、動きベクトルおよび／または基準インデックスを含む）動き情報は、伝達されないことができる。動き情報は、デコーダサイドにおいて、例えば、テンプレートマッチングまたはバイラテラルマッチングによって、導出することができる。デコーダにおける動き導出プロセス中に、ブロックのマージ候補リスト、および／またはブロックのためにＡＴＭＶＰライクの予測を使用して生成された予備的な動きベクトルのセットをチェックする（例えば、最初にチェックする）ことができる。絶対差（ＳＡＤ）の最小和をもたらすことができる候補を、開始点として選択することができる。開始点の周りにおいて、テンプレートマッチングまたはバイラテラルマッチングに基づいた局所探索を実行することができ、および／または最小ＳＡＤをもたらす動きベクトル（ＭＶ）を、ブロック全体のためのＭＶとして取得することができる。動き情報は、例えば、サブブロックレベルにおいて、精緻化する（例えば、さらに精緻化する）ことができる。
【0039】
図１３Ａ～図１３Ｂは、例示的なＦＲＵＣプロセスを示している。図１３Ａに示されるように、テンプレートマッチングを使用して、現在ピクチャ内のテンプレート（例えば、現在ブロックの上および／または左近隣ブロック）と、基準ピクチャ内の（例えば、テンプレートと同じサイズの）ブロックとの間においてマッチ（例えば、最良マッチ）を見つけることによって、現在ブロックの動き情報を導出することができる。図１３Ｂにおいては、バイラテラルマッチングを使用して、２つの異なる基準ピクチャ内の、現在ブロックの動き軌道沿いの２つのブロック間においてマッチ（例えば、最良マッチ）を見つけることによって、現在ブロックの動き情報を導出することができる。バイラテラルマッチングの動き探索プロセスは、動き軌道に基づくことができる。例えば、２つの基準ブロックを指し示す動きベクトルＭＶ０およびＭＶ１は、現在ピクチャと、２つの基準ピクチャのうちの１つまたは複数との間の時間距離（例えば、Ｔ０およびＴ１）に比例することができる。
【0040】
四分木プラス二分木（ＱＴＢＴ）ブロック区分化構造(partitioning structure)を適用することができる。ＱＴＢＴ構造においては、四分木のルートノードである、符号化ツリーユニット（ＣＴＵ）は、四分木方式で、区分化(partition)する（例えば、最初に区分化する）ことができ、ノードの四分木分割は、ノードが、許容される四分木サイズの最小値（ＭｉｎＱＴＳｉｚｅ）に到達するまで、反復することができる。四分木ノードサイズが、許容される二分木サイズの最大値（ＭａｘＢＴＳｉｚｅ）ほどの大きさである場合、四分木ノードは、水平または垂直方向において、二分木を使用して、区分化する（例えば、さらに区分化する）ことができる。二分木の分割は、二分木ノードが、許容される二分木ノードサイズの最小値（ＭｉｎＢＴＳｉｚｅ）、または許容される二分木深度の最大値に到達するまで、反復することができる。二分木ノードは、さらなる区分化を行わない、予測および／または変換の基本ユニットとして、使用することができる（例えば、ＨＥＶＣテストモデル（ＨＭ）においては、予測ユニット（ＰＵ）および／または変換ユニット（ＴＵ）の概念が、存在しないことがある）。本明細書においては、ＱＴＢＴ区分化構造の例を説明することができる。ＣＴＵサイズは、１２８×１２８であることができ、ＭｉｎＱＴＳｉｚｅは、１６×１６であることができ、ＭａｘＢＴＳｉｚｅは、６４×６４であることができ、ＭｉｎＢＴＳｉｚｅは、４であることができる。四分木区分化をＣＴＵに適用して（例えば、最初に適用して）、四分木リーフノードを生成することができる。四分木リーフノードサイズは、例えば、１２８×１２８から１６×１６までの範囲であることができる。四分木ノードが、１２８×１２８である場合、四分木ノードは、最大二分木サイズを超えるので（例えば、ＭａｘＢＴＳｉｚｅは、６４×６４であることができる）、四分木ノードは、二分木によって分割することができない。四分木ノードが、１２８×１２８でない場合、四分木ノードは、二分木によって区分化する（例えば、さらに区分化する）ことができる。四分木ノードは、二分木のルートノードであることができる。二分木深度は、０に等しいことができる。二分木区分化は、二分木深度が、ＭａｘＢＴＤｅｐｔｈに到達するまで、または二分木ノードが、ＭｉｎＢＴＳｉｚｅに等しい幅もしくは高さを有するまで、反復することができる。図１４は、ＱＴＢＴブロック区分化の例を示しており、実線は、四分木分割を表すことができ、点線は、二分木分割を表すことができる。
【0041】
ビデオコーデックは、同じ平面上においてキャプチャすることができる、２Ｄビデオ信号を検討する（例えば、それだけを検討する）ことができる。（例えば、１つまたは複数の投影フェイスを含むことができる）３６０度ビデオを検討するとき、１つまたは複数のフェイスは、例えば、異なる投影平面に基づいて、生成されるので、フェイス間の連続性は、壊されることがある。様々なフレームパッキングについて、フェイス間の不連続性は、増加することがある。３６０度ビデオ符号化の動き補償予測については、ジオメトリパディングを適用することができる。ジオメトリパディングは、フェイス境界の外部にあることができるピクチャエリアのための時間基準を提供することができる。ジオメトリパディングを使用する３６０度ビデオのための動き補償予測を実行することができる。
【0042】
近隣領域から再構成されたサンプルを使用して、インター予測パラメータ（例えば、ＩＣのための重みおよび／もしくはオフセット、ならびに／またはＦＲＵＣのための動き情報）を導出するために、テンプレートベースの符号化（例えば、ＩＣおよび／またはＦＲＵＣ）を使用することができる。ジオメトリパディングが、テンプレートベースの符号化とともに適用される（例えば、共同で適用される）とき、複雑さが、上昇することがある。ジオメトリパディングにおいては、基準ピクチャ内のフェイスは、パディングすることができ、符号化される現在ピクチャ内のフェイスは、パディングすることができない。テンプレートベースの符号化が、使用されるとき、現在ブロックが、フェイス境界に配置される場合、ＩＣおよび／またはＦＲＵＣによって使用されるテンプレートは、現在フェイスの外部にあることができる。ジオメトリパディングが、例として使用される場合、現在ブロックのテンプレートは、近隣フェイスからの、または現在ピクチャの外部からのものとすることができる。基準ピクチャ内のテンプレートの基準は、基準ピクチャ内の現在フェイスのパディングされた領域内にあることができる。テンプレートと、テンプレートの基準は、互いに不一致である（例えば、あまり一致しない）ことがある。図１５は、ジオメトリパディングが３６０度ビデオ符号化に対して適用されるときの、テンプレートベースの符号化の例を示している。図１５においては、（例えば、時間Ｔ０における）現在ブロックは、フェイスＦ１の上境界に配置することができる。現在ブロックの上テンプレートは、フェイスＦ０内に（例えば、異なるフェイス内に）配置することができる。ジオメトリパディングのせいで、（例えば、時間Ｔ１における）基準ブロックの上テンプレートの基準は、フェイスＦ１のパディングされた領域から獲得することができる。上テンプレート内のサンプルと、上テンプレートの基準内のサンプルは、強い相関を有さないことがある。
【0043】
空間および／または時間近隣ブロックの動き情報は、１つまたは複数のインター符号化ツールを使用して、現在ブロックの動き情報（例えば、高度動きベクトル予測（ＡＭＶＰ）、ＴＭＶＰ、マージモード、ＡＴＭＶＰおよび／もしくはＳＴＭＶＰ）を予測すること、または現在ブロックの予測信号（例えば、ＯＢＭＣ）を生成することができる。現在ブロックが、フェイス境界上に配置される場合、現在ブロックの空間および／または時間近隣は、他のフェイスからフェッチすることができる。フェイス内において定義された動きベクトルを使用して、動きベクトルを予測すること、または別のフェイス内において定義されたブロックの予測信号を生成することができる。３６０度ビデオの１つまたは複数のフェイスは、フレームパッキングプロセス中に、回転させること、ひっくり返すこと、および／または順序を乱すことができる。異なるフェイスからの動きベクトルは、強い相関を有さないことがある。
【0044】
ジオメトリパディングが、有効化されたとき、現在ブロックの基準サンプルは、現在フェイスのパディングされた領域からの（例えば常に、現在フェイスのパディングされた領域からの）ものとすることができる。ジオメトリパディングは、３６０度ビデオの内在的な対称特性のために、現在ブロックと相関がある（例えば、高い相関がある）ことができる基準ブロックを、パディングされた領域内において識別して、現在ブロックを予測することができることを保証することができる。ＱＴＢＴ区分化構造が、３６０度ビデオ符号化に適用される（例えば、直接的に適用される）とき、現在ピクチャ内の四分木／二分木（ＱＴ／ＢＴ）リーフノードは、１つまたは複数のフェイスにまたがることができ、１つまたは複数のフェイスからのサンプルを含むことができる（例えば、フェイス境界は、ＱＴ／ＢＴリーフノード内に存在することができる）。フレームパッキングされたピクチャ内の近隣フェイス（例えば、２つの近隣フェイス）は、３Ｄ空間内においては、もはや隣接していないことがある。近隣フェイス（例えば、２つの近隣フェイス）境界の周りのサンプルは、異なる特性を示す（例えば、異なるオブジェクトに属している）ことがある。基準ピクチャ内の現在フェイスのパディングされた領域は、現在ブロックと強い相関を有する基準ブロックを提供することができないことがある。
【0045】
ジオメトリパディングに基づいた、３６０度ビデオのための動き補償予測を、実行することができる。テンプレートベースの符号化のための基準サンプル導出プロセスは、テンプレートサンプルをフェッチすることができる。例えば、テンプレートベースの符号化のための基準サンプル導出プロセスは、上および／または左近隣からテンプレートサンプルをフェッチすることができる。（例えば、上および／または左近隣からの）テンプレートサンプルは、異なるフェイスからのものとすることができ、および／または不連続な情報を含むことができる。テンプレートベースの符号化のための異なるプロセスの例は、現在フェイスの領域を超えることができるテンプレートサンプルを導出するとき、３Ｄジオメトリを検討することができる。
【0046】
３６０度ビデオ符号化のための動き予測のために、ジオメトリベースの基準ブロック導出、および／またはジオメトリベースの動きベクトル投影を使用することができる。３６０度ビデオの幾何学的特性を検討することができる。
【0047】
ＱＴＢＴブロック区分化は、（例えば、フェイス横断（ｃｒｏｓｓｉｎｇ－ｆａｃｅ）ＱＴ／ＢＴリーフノードを無効化する）ジオメトリパディングの影響を考慮して、フレームパッキングされた３６０度ビデオのフェイス境界において、ブロックを区分化することができる。
【0048】
ビデオブロックが、フェイス境界上に配置され、テンプレートベースの符号化（例えば、ＩＣおよび／またはＦＲＵＣ）を使用して符号化される場合、ビデオブロックの１つまたは複数のテンプレートサンプルは、別のフェイスからの上および／または左近隣から獲得することができ、一方、テンプレートの基準サンプルは、時間ピクチャ内の現在フェイスのパディングされた領域から獲得することができる（例えば、図１５）。不整合が、発生することがある。
【0049】
テンプレートサンプルは、３６０度ビデオの３Ｄジオメトリに基づいて、フェッチすることができる。例えば、現在ピクチャの現在ブロックが、フェイス境界上にある場合、テンプレートサンプルは、現在フェイスの境界の外部に配置することができる。現在ピクチャの現在ブロックが、フェイス境界上にある場合、現在ブロックのテンプレートサンプルを導出するときに、３Ｄジオメトリ情報を適用することができる。３Ｄジオメトリ情報を使用して、現在ブロックのテンプレートサンプルを導出することは、現在ブロックと相関がある（例えば、より相関がある）ことができるテンプレートサンプルを提供することができる。ＣＭＰを例として使用すると、図１６Ａ～図１６Ｃは、テンプレートベースの符号化のための異なる基準サンプル導出の例を示している。例えば、図１６Ａは、３Ｄ空間における、現在ブロックのロケーションと、それのテンプレートサンプルのそれとの間の例示的な関係を示している。図１６Ｂは、左および／または上近隣（直接的な左および／または上近隣）に基づいたサンプル導出の例を示している。図１６Ｃは、３Ｄジオメトリ情報に基づいた導出の例を示している。図１６Ａ～図１６Ｃにおいては、現在ブロックは、フェイス＃１の上境界に配置することができる。左テンプレートのサンプルは、図１６Ｂおよび図１６Ｃに示されるように、現在ブロックと同じフェイス内にあることができる、近隣ブロックの再構成されたサンプルから導出することができる。上テンプレートを導出するために、図１６Ｃに示されるように、（例えば、幾何学投影に基づいて導出することができる）フェイス＃５からのサンプルを使用することができる。フェイス＃１とフェイス＃５は、（例えば、図１６Ａに示されるように）３Ｄジオメトリに従えば、近隣フェイスであることができる。ジオメトリ情報（例えば、３Ｄジオメトリ情報）を使用して、テンプレートサンプルを導出することは、現在ブロックとの相関（例えば、より良い相関）を示すことができるテンプレートサンプルを提供することができる。ジオメトリ情報が、使用されるとき、テンプレートのサンプルは、現在ピクチャ内のデコードされた（例えば、すでにデコードされた）サンプルから導出することができる。ジオメトリパディングが、使用されるとき、また現在ピクチャが、１つまたは複数のスライスおよび／またはタイルを含む場合、ジオメトリ情報を使用して導出されたテンプレートサンプルは、テンプレートサンプルが、現在ブロックと同じスライスおよび／またはタイル内にない場合、利用可能でないことがある。スライスおよび／またはタイルは、デコードする（例えば、独立にデコードする）ことができるので、テンプレートサンプルは、利用不可能と見なすことができる。
【0050】
現在ブロックのテンプレート基準サンプルは、例えば、３Ｄジオメトリ情報に基づいた幾何学的近隣から、導出することができる。ジオメトリ情報（例えば、３Ｄジオメトリ情報）を使用することは、テンプレートのサンプルと現在ブロックとの間の相関を最大化することができる。ジオメトリ情報を使用するとき、デコーダは、先に再構成されたフェイスのサンプルを維持する（例えば、一時的に維持する）ことができる。ラインバッファサイズを低減させるために、テンプレートサンプルが、現在フェイスの境界の外部にある場合、テンプレートサンプルは、無効化することができる（例えば、利用不可能と見なすことができる）。例えば、現在ブロックが、フェイス境界上にある場合、テンプレートベースの符号化ツールは、無効化することができる。フェイス境界上のブロックの数は、小さいものであることができるので、テンプレートベースの符号化ツールを無効化することは、限定的な性能しか影響を伴わずに、ラインバッファサイズを低減させることができる。図１６Ａ～図１６Ｃに示されるように、使用されるフレームパッキングに応じて、フレームパッキングされたレイアウト内のいくつかの近隣フェイスは、３Ｄジオメトリに基づいて、隣接していることができる。例えば、フェイス＃４とフェイス＃５、および／またはフェイス＃３とフェイス＃１は、フレームパッキングされたフォーマットにおいて近隣であること、および／または３Ｄ空間において近隣であることができる。空間近隣から導出されたサンプルは、テンプレートベースの符号化のための候補（例えば、良好な候補）を提供することができる。テンプレートサンプルが、幾何学的に現在フェイスに対して近隣でないことができる近隣フェイスからのものである場合、テンプレートサンプルは、無効化することができる。例えば、テンプレートが、現在フェイスからのものである場合、または幾何学的に近隣フェイスからのものである場合、テンプレートは、テンプレートベースの符号化のために有効である（例えば、利用可能である）と見なすことができる。左ＣＴＵのサンプル、および／または上ＣＴＵ行のサンプルは、キャッシュされないことができるので、本明細書において説明されるテンプレートベースの符号化は、より少ないラインバッファを必要とすることができる。
【0051】
図１７は、ＣＭＰ投影フォーマットに基づいた、接続された近隣フェイスからのテンプレートサンプルを使用するブロックと、接続されていない近隣フェイスからのテンプレートサンプルを使用するブロックの例を示している。図１７においては、点々のあるブロック１７０４は、現在フェイスと３Ｄ空間における幾何学的な近隣フェイスとの間の境界上に配置された符号化ブロックを表すことができる。点々のあるブロックの左および上テンプレート内のサンプルは、利用可能としてマークすることができる。図１７における線のあるブロック１７０２は、現在フェイスと３Ｄ空間における幾何学的な不連続フェイスとの間の境界上に配置された符号化ブロックを表すことができる。線のあるブロックの（例えば、上テンプレートではなく）左テンプレートのサンプルは、テンプレートベースのために利用可能であることができる。
【0052】
エンコーダおよび／またはデコーダは、テンプレートベースの符号化のために、テンプレートピクセルのロケーションおよび／または向きを決定することができる。
【0053】
マルチフェイス投影フォーマットの第１のフェイス内に配置された現在ブロックについて、現在ブロックのテンプレートが、第１のフェイス内に存在するかどうかを決定することができる。現在ブロックのテンプレートが、第１のフェイス内に存在しない場合、現在ブロックのテンプレートのロケーションおよび／または向きを、決定することができる。例えば、マルチフェイス投影フォーマットのフェイス間の幾何学的関係を使用して、第２のフェイスを識別することができる。第２のフェイスは、第１のフェイスと異なることができ、現在ブロックのテンプレートは、第２のフェイス内に存在することができる。フェイスパッキング関係を使用して、マルチフェイス投影フォーマット内の第２のフェイス内の現在ブロックのテンプレートのロケーションおよび／または向きを識別することができる。テンプレートベースの符号化に従って、現在ブロックの予測のためのテンプレートを使用することができる。
【0054】
テンプレートベースの符号化は、現在フレーム内の、または符号化された（例えば、すでにエンコードおよび／またはデコードされた）基準フレーム内の現在ブロックのロケーションに隣接することができる、符号化された（例えば、すでにエンコードおよび／またはデコードされた）ピクセルの１つまたは複数のテンプレートと関連付けることができる、ＩＣ、ＦＲＵＣ、または他の予測であることができる。テンプレートは、現在ブロックの上に配置された「上」テンプレート、現在ブロックの左に配置された「左」テンプレート、現在ブロックの下に配置された「下」テンプレート、現在ブロックの右に配置された「右」テンプレート、または関連ロケーションにおいて現在ブロックに隣接するように定義された他のテンプレートであることができる。マルチフェイス投影フォーマットは、キューブマップフォーマット、８面体フォーマット、２０面体フォーマット、または圧縮のためにフェイスを２Ｄフレーム内にパッキングすることができる他のマルチフェイス投影フォーマットであることができる。幾何学的関係は、図１６Ａに示されるような、３Ｄジオメトリにおけるフェイス間の関係を定義することができる。フェイスパッキング関係は、フェイスパッキングされた２Ｄ投影フォーマット内の１つまたは複数のフェイスのロケーションおよび／または向きを指定することができる。例えば、パッキングされたフェイスの並びを、図１６Ｃに示すことができる。
【0055】
ジオメトリパディングが、３６０度ビデオを符号化するために使用されるときに、ブロックが、現在フェイスの領域の外部にあるサンプルを参照する場合、基準サンプル値を生成することができる。例えば、基準サンプル値は、例えば、３Ｄジオメトリを使用して、近隣フェイスの対応するサンプルを現在フェイス内に投影することによって、生成することができる。フェイス内の１つまたは複数のブロックの動きベクトルは、基準ピクチャ内のフェイスのパディングされた領域を超えることができる基準サンプルを参照することができない。空間および／または時間近隣ブロックの動き情報を使用して、動き情報を予測すること、または現在ブロックの動き補償信号を生成することができる。現在ブロックの位置が、１つまたは複数のフェイス境界上に配置される場合、現在ブロックの空間および／または時間近隣は、近隣フェイスからのものとすることができる。現在フェイスと、それの近隣フェイスが、３Ｄ空間において隣接していない場合、現在ブロックとそれの空間および／または時間近隣の動きは、相関（例えば、明らかな相関）を有さないことがある。動きベクトルは、３Ｄジオメトリに基づいて、予測することができる。
【0056】
基準ブロックの動きベクトルを導出するために、３Ｄジオメトリを適用することができる。例えば、基準ブロックの動きベクトルは、それの位置が、現在ブロックが属するフェイスの外部にあるとき、３Ｄジオメトリに基づいて、導出することができる。３Ｄジオメトリに基づいた動きベクトル予測は、フェイス境界上に配置することができるブロックのための効率的な動きベクトル予測子（ｐｒｅｄｉｃｔｏｒ）を提供することができる。図１８は、マージモードを使用するジオメトリベースの動き予測の例を示している。図１８に示されるように、５つの空間近隣候補（例えば、左（Ｌ）、上（Ａ）、左下（ＢＬ）、右上（ＡＲ）、および左上（ＡＬ））を使用することができる。現在ブロックは、フェイス＃１内に配置され、フェイス＃１とフェイス＃３は、３Ｄジオメトリにおいて近隣フェイスであるので、対応する左および左下近隣を、フェイス＃３から導出することができる（例えば、３Ｄジオメトリ情報を使用して導出された近隣ブロックは、Ｌおよび／またはＢＬ候補について同じであることができる）。上、右上、および／または左上近隣については、（例えば、３Ｄジオメトリに従えば、フェイス＃１に対する隣接フェイスである）フェイス＃５のフェイス境界上のブロック、すなわち、それぞれ、図１８におけるブロックＡ’、ＡＲ’、およびＡＬ’を使用することができる。フェイス＃１とフェイス＃５との間の３Ｄ連続性を与えられると、ジオメトリベースの導出は、現在ブロックの動きベクトルと相関があることができる、動きベクトル予測子を提供することができる。フレームパッキングプロセス中に、１つまたは複数のフェイスは、回転させることができる（例えば、図１８におけるフェイス＃１および／またはフェイス＃３）。対応する基準ブロックが、異なるフェイスから導出されるとき、動きベクトルは、回転させることができる。例えば、図１８においては、フェイス＃１は、フレームパッキングされたＣＭＰピクチャにおいて、１８０度だけ回転させる（例えば、反時計回りに回転させる）ことができるので、フェイス＃５内のＡ’、ＡＲ’、および／またはＡＬ’から導出される動きベクトルは、１８０度だけ回転させて（例えば、反時計回りに回転させて）、フェイス＃１内の現在ブロックの動きベクトルの座標と合わせることができる。
【0057】
例えば、図１８においては、フェイス＃１内の現在ブロックの動きベクトルを予測するために、エンコーダおよび／またはデコーダは、フェイス＃５の右境界上のブロックの１つまたは複数（例えば、すべて）の動き情報を維持することができる。対応する近隣ブロックが、現在フェイスの境界の外部にある場合、動きベクトル候補は、無効化することができる（例えば、動きベクトル候補は、利用不可能と見なすことができる）。例えば、図１８における５つの動きベクトル候補（例えば、Ｌ、Ａ、ＢＬ、ＡＲ、および／またはＡＬ）のうちの１つまたは複数は、動きベクトル候補が、現在ブロックと同じフェイス内にあることができないので、マージプロセスのためには無効として扱うことができる。動きベクトル候補が、３Ｄ空間において現在フェイスに幾何学的に隣接することができない近隣フェイスからのものである場合、動きベクトル候補は、無効化することができる。例えば、基準ブロックが、現在フェイスに幾何学的に近隣であるフェイス内に配置された場合、対応する動きは、現在ブロックの動きベクトル予測のために有効と見なすことができる。例えば、図１８においては、現在ブロックの動きベクトルを予測するとき、基準ブロックＬおよび／またはＢＬは、有効な候補と見なすことができ、一方、基準ブロックＡ、ＡＲ、および／またはＡＬは、無効な候補と見なすことができる。
【0058】
エンコーダおよび／またはデコーダは、動きベクトルを予測において使用する動きベクトル候補のロケーションおよび／または向きを決定することができる。現在ブロックについて、動きベクトル候補を提供するブロックが、現在ブロックと同じフェイス内に存在するかどうかを決定することができる。動きベクトル候補を提供するブロックが、現在ブロックと同じフェイス内に存在しない場合、動きベクトル候補を提供するブロックのロケーションおよび／または向きは、例えば、幾何学的関係に基づいて、決定することができる。マルチフェイス投影フォーマットのフェイス間の幾何学的関係を使用して、動きベクトル候補を提供するブロックが存在する（例えば、現在ブロックを含むフェイスと異なる）フェイスを識別することができる。フェイスパッキング関係を使用して、マルチフェイス投影フォーマットにおける識別されたフェイス内の動きベクトル候補を提供するブロックのロケーションおよび／または向きを識別することができる。動きベクトル候補は、ブロックの識別されたロケーションおよび／または向きに基づいて、取り出すことができる。取り出された動きベクトル候補は、動きベクトル予測に従って、現在ブロックの動きを予測することができる。
【0059】
動きベクトル候補を提供するブロックが、現在ブロックと同じフェイス内に存在するかどうかを決定することができる。例えば、動きベクトル候補を提供するブロックが、現在フェイスと同じフェイス内に存在するかどうかを決定することは、現在ブロックの位置に関する動きベクトル候補を提供するブロックの位置を使用して、決定することができる。そのような関連する位置（例えば、ＡＬ、Ａ、ＡＲ、Ｌ、および／またはＢＬ）の例を、図１８に示すことができる。現在ブロックの動きの予測において、１つまたは複数の候補動きベクトルを使用することができる。１つまたは複数の候補動きベクトルが、様々な関連する位置に配置されるとき、本明細書において説明される動きベクトル予測において使用する、動きベクトル候補のロケーションおよび／または向きの決定を、関連する１つまたは複数の候補動きベクトル位置について繰り返すことができる。動きベクトル候補を提供するブロックの識別された向きが、マルチフェイス投影フォーマット内の現在ブロックの向きと異なる場合、動きベクトルを回転させて、向きの違いを補償することができる。マルチフェイス投影フォーマットは、キューブマップフォーマット、８面体フォーマット、２０面体フォーマット、または圧縮のためにフェイスを２Ｄフレーム内にパッキングすることができる他のマルチフェイス投影フォーマットであることができる。幾何学的関係は、図１８の左側に描かれた３Ｄキューブに示されるような、３Ｄジオメトリにおけるフェイス間の関係を定義することができる。フェイスパッキング関係は、図１８の右側のフェイスの並びに示されるような、フェイスパッキングされた２Ｄ投影フォーマット内の１つまたは複数のフェイスのロケーションおよび／または向きを指定することができる。
【0060】
エンコーダおよび／またはデコーダは、動きベクトル候補が、動きベクトル予測において使用するために利用可能であるかどうかを決定することができる。現在ブロックについて、動きベクトル候補を提供するブロックが、現在ブロックと同じフェイス内に存在するかどうかを決定することができる。動きベクトル候補を提供するブロックが、現在ブロックと同じフェイス内に存在しない場合、マルチフェイス投影フォーマットのフェイス間の幾何学的関係を使用して、動きベクトル候補を提供するブロックが存在する（例えば、現在フェイスを含むフェイスと異なる）フェイスを識別することができる。フェイスパッキング関係を使用して、動きベクトル候補を提供するブロックが、マルチフェイス投影フォーマット内の現在ブロックに関して、それの適切な近隣位置にあるかどうかを決定することができる。現在ブロックと同じフェイスと、識別されたフェイスとの間の境界における不連続性のせいで、動きベクトル候補を提供するブロックが、現在ブロックに関して、それの適切な近隣位置にないかどうかを、決定することができる。動きベクトル候補を提供するブロックが、現在ブロックに関して、それの適切な近隣位置にあると決定された場合、動きベクトル候補は、予測のために利用可能として、マークすることができる。動きベクトル候補が、予測のために利用可能である場合、動きベクトル候補は、例えば、動きベクトル予測に従って、現在ブロックの動きを予測することができる。動きベクトル候補を提供するブロックが、現在ブロックに関して、それの適切な近隣位置にない場合、動きベクトル候補は、予測のために利用不可能として、マークすることができる。
【0061】
エンコーダおよび／またはデコーダは、動きベクトル候補が、動きベクトル予測において使用するために利用可能であるかどうかを決定することができる。現在ブロックについて、動きベクトル候補を提供するブロックが、現在ブロックと同じフェイス内に存在するかどうかを決定することができる。動きベクトル候補を提供するブロックが、現在ブロックと同じフェイス内に存在する場合、動きベクトル候補は、予測のために利用可能として、マークすることができる。動きベクトル候補が、予測のために利用可能である場合、動きベクトル候補は、本明細書において説明される動きベクトル予測に基づいて、現在ブロックの動きを予測することができる。動きベクトル候補を提供するブロックが、現在ブロックと同じフェイス内に存在しない場合、動きベクトル候補は、予測のために利用不可能として、マークすることができる。
【0062】
３６０度ビデオが、（例えば、ＣＭＰを使用して）複数のフェイス上に投影されるとき、１つまたは複数のフェイスピクチャは、２Ｄピクチャに類似したものに見えることができる。直線投影は、（例えば、フェイス境界に近いオブジェクトについて）形状歪みを引き起こすことがある。３Ｄ空間における連続的構造は、連続的構造が、フレームパッキングされた２Ｄピクチャ上において、フェイス境界を横断するとき、連続的でないことがある。例えば、２つの近隣フェイスを横断する直線は、２つの近隣フェイスの境界において、異なる方向の２つの線分になることができる。フェイス境界を越える動きは、不連続になることができる。例えば、運動するオブジェクトは、フェイス境界を横断した後、それの動き方向を変えることができる。本明細書において説明されるジオメトリベースの動きベクトル予測においては、例えば、３Ｄジオメトリに基づいて導出される基準ブロック（例えば、基準ブロックは必要な場合は回転させることができる）の動きベクトルを、動きベクトル予測子として使用して、現在ブロックの動きベクトルを予測することができる。フェイス境界を横断するとき、動き方向が、変わることができる。近隣フェイスからの動きベクトルを使用して、フェイス境界上におけるブロックの動きベクトルを予測することは、難しいことがある。動きベクトル投影の例を、３６０度ビデオの動きベクトル予測に対して適用することができる。現在ブロックと、それの基準ブロックが、異なるフェイスからのものである場合、動きベクトル領域におけるジオメトリ情報の使用は、動きベクトル予測を適用することができる前に、基準ブロックの動きベクトルを、現在ブロックが属するフェイス上に投影することができる。本明細書において説明される動きベクトル投影は、ジオメトリパディングに類似したものであることができ、３Ｄ点と、２Ｄ投影平面上における対応する点との間の直線投影に基づくことができる。
【0063】
ＣＭＰフォーマットに基づいて、図１９は、異なるフェイス間のジオメトリベースの動きベクトル投影の例を示している。図１９においては、フェイスＦ１は、現在フェイスであることができ、フェイスＦ２は、点Ｑと点Ｑ’とを含む、基準フェイスであることができる。点Ｏは、球の中心であることができる。点Ｑと点Ｑ’は、フェイスＦ２上の２点であることができ、基準動きベクトルＭＶを示すために、使用することができる。ＭＶをＦ１上に投影するために、動きベクトル投影は、例えば、中心Ｏから発する直線投影に基づいて、フェイスＦ１上におけるＱおよびＱ’の対応する投影点（例えば、ＰおよびＰ’）を導出することができる。投影された動きベクトルＭＶ’は、例えば、始点および終点として、ＰおよびＰ’を使用することによって、指定することができる。図１９に示されるように、投影された動きベクトルＭＶ’は、動き軌道に対する３Ｄジオメトリの影響を決定することができる。投影された動きベクトルＭＶ’は、フェイスＦ１における動きベクトルを推定することができる。図１９においては、基準動きベクトルＭＶの始点および終点（例えば、ＱおよびＱ’）は、ブロックのロケーションを指定することができ、動きベクトル候補と、同じフェイス内におけるそれの基準ブロックとを提供することができる。動きベクトル投影が、適用されるとき、ブロック内の位置を使用して、対応する動きベクトル予測子を定義することができる。異なる位置を使用することは、投影された動きベクトルの値に影響し、直線投影によって引き起こされる投影歪みをもたらす。例えば、動きベクトルは、ブロックの左上隅において開始することができ、それの基準ブロックの左上隅において終了することができる。例えば、動きベクトルは、ブロックの中心において開始することができ、それの基準ブロックの中心において終了することができる。
【0064】
本明細書において説明されるジオメトリベースの基準ブロック導出、および／または本明細書において説明されるジオメトリベースの動きベクトル投影は、互いに動作させる（例えば、一緒または独立に動作させる）ことができる。ジオメトリベースの基準ブロック導出は、
例えば、３６０度ビデオの動きベクトル予測のためのジオメトリベースの動きベクトル予測と組み合わることができる。現在ブロックの１つまたは複数の動きベクトル候補を導出することができる。例えば、対応する幾何学的近隣ブロックの動きベクトルを、本明細書において説明されるジオメトリベースの基準ブロック導出に従って、フェッチすることができる。動きベクトルは、本明細書において説明されるジオメトリベースの動きベクトル投影を使用して、投影することができる。投影された動きベクトルは、現在ブロックの動きベクトル予測子として使用することができる。ジオメトリベースの基準ブロック導出は、３６０度ビデオの動きベクトル予測のために、使用することができる。例えば、ジオメトリベースの基準ブロック導出は、ジオメトリベースの動きベクトル投影を無効化する３６０度ビデオの動きベクトル予測のために、使用することができる。幾何学的近隣ブロックの動きベクトルは、動きベクトル予測のための候補として、使用することができる。（例えば、空間および／または時間近隣に依存する）基準ブロック導出は、３６０度ビデオの動きベクトルを予測するためのジオメトリベースの動きベクトル投影と組み合わせることができる。動き候補は、現在ブロックの空間および／または時間近隣ブロックからフェッチすることができ、（例えば、基準ブロックが異なるフェイスからのものである場合）現在ブロックの動きベクトルを予測するために使用される前に、動きベクトル投影方式に従って、調整することができる。
例えば、３６０度ビデオの動きベクトル予測のためのジオメトリベースの動きベクトル予測と組み合わることができる。現在ブロックの１つまたは複数の動きベクトル候補を導出することができる。例えば、対応する幾何学的近隣ブロックの動きベクトルを、本明細書において説明されるジオメトリベースの基準ブロック導出に従って、フェッチすることができる。動きベクトルは、本明細書において説明されるジオメトリベースの動きベクトル投影を使用して、投影することができる。投影された動きベクトルは、現在ブロックの動きベクトル予測子として使用することができる。ジオメトリベースの基準ブロック導出は、３６０度ビデオの動きベクトル予測のために、使用することができる。例えば、ジオメトリベースの基準ブロック導出は、ジオメトリベースの動きベクトル投影を無効化する３６０度ビデオの動きベクトル予測のために、使用することができる。幾何学的近隣ブロックの動きベクトルは、動きベクトル予測のための候補として、使用することができる。（例えば、空間および／または時間近隣に依存する）基準ブロック導出は、３６０度ビデオの動きベクトルを予測するためのジオメトリベースの動きベクトル投影と組み合わせることができる。動き候補は、現在ブロックの空間および／または時間近隣ブロックからフェッチすることができ、（例えば、基準ブロックが異なるフェイスからのものである場合）現在ブロックの動きベクトルを予測するために使用される前に、動きベクトル投影方式に従って、調整することができる。
【0065】
ＣＭＰフォーマットおよび／またはマージモードを使用して、本明細書において説明される、ジオメトリベースの基準ブロック導出、および／またはジオメトリベースの動きベクトル投影について説明することができる。ジオメトリベースの基準ブロック導出、および／またはジオメトリベースの動きベクトル投影は、他の３６０度ビデオ投影フォーマットおよび／またはインター符号化ツールに適用可能であることができる。一般性を失うことなしに、図２０は、ＯＢＭＣのためのジオメトリベースの基準ブロック導出の例を示している。図２０においては、現在ブロック内のサブブロックＡの予測信号は、例えば、４つの近隣サブブロックの動きベクトルを使用する、動き補償予測信号の加重平均として計算することができる。図２０においては、サブブロックＡは、フェイス＃１の上境界上に配置することができる。図２０に示されるように、左近隣「ａ」、右近隣「ｃ」、および下近隣「ｄ」は、空間近隣から導出することができる。ジオメトリベースの基準ブロック導出に基づいて、上近隣「ｂ」は、フェイス＃５から獲得することができる。例えば、上近隣「ｂ」は、フェイス＃５から獲得することができる。
【0066】
ビデオエンコーダおよび／またはビデオデコーダは、現在ブロックと同じフェイス内において、現在ブロックのための動きベクトル予測候補を決定することができる。（例えば、現在ブロックのロケーションに関連する）動きベクトル候補を提供する、ブロックのロケーションを決定することができる。動きベクトル候補を提供する、ブロックのロケーションは、ブロックのロケーションが、現在ブロックと同じフェイス内にあるかどうかに基づいて、決定することができる。ブロックのロケーションが、現在ブロックと同じフェイス内にない場合、本明細書において説明されるように、動きベクトル候補を決定することができる。マルチフェイス投影フォーマットのフェイス間の幾何学的関係を使用して、動きベクトル候補を提供するブロックが存在する（例えば、現在ブロックを含むフェイスと異なる）フェイスを識別することができる。識別されたフェイス内の動きベクトル候補を提供するブロックを識別することができる。識別されたフェイス内の動きベクトルの表現を決定することができる。動きベクトルの表現は、識別されたフェイスから、現在ブロックと同じフェイスの平面に投影することができる。投影された動きベクトルは、現在ブロックのための動きベクトル予測候補として、使用することができる。
【0067】
マルチフェイス投影フォーマットは、キューブマップフォーマット、８面体フォーマット、２０面体フォーマット、または圧縮のためにフェイスを２Ｄフレーム内にパッキングすることができる他のマルチフェイス投影フォーマットであることができる。幾何学的関係は、図１６Ａに示されるような、３Ｄジオメトリにおけるフェイス間の関係を定義することができる。識別されたフェイス内における、動きベクトル候補を提供するブロックの識別は、マルチフェイス投影フォーマットと関連付けられたフェイスパッキング関係を使用することができる。識別されたフェイス内において、動きベクトル候補の表現を決定することは、識別されたフェイス内において、動きベクトルのための終点のペアのロケーションを決定することを含むことができる。このケースにおいては、識別されたフェイスから、現在ブロックと同じフェイスの平面への、動きベクトルの投影は、識別されたフェイスから、現在ブロックと同じフェイスの平面への、終点のペアのうちの１つまたは複数の終点の投影を含むことができる。動きベクトル予測候補は、現在ブロックの動きベクトルを予測するための予測候補であることができる。動きベクトル予測候補は、現在ブロックの予測において使用すると考えられる、または使用される、複数の動きベクトル予測候補のうちの１つであることができる。
【0068】
ＱＴ／ＢＴノードが、２つのフェイス間の境界にまたがるとき、対応するＱＴ／ＢＴ分割インジケーション（例えば、フラグ）をスキップすることができる。（例えば、さらに分割されるために）値（例えば、１）を推測することができる。ＱＴ／ＢＴノードが、フェイス内部にあるとき、ＱＴ／ＢＴシグナリングを適用することができる。例えば、ＱＴ／ＢＴシグナリングは、現在ノードをさらに分割することができるかどうかを示すために、インジケーション（例えば、フラグ）を伝達することができる。フェイス境界にまたがるＱＴ／ＢＴノードのための値（例えば、１）に設定されたインジケーション（例えば、分割フラグ）は、フェイス境界が、ＱＴ／ＢＴリーフノードの境界と揃えられることができることを推測することができる。ＱＴ／ＢＴリーフノードは、例えば、本明細書において説明されるＱＴＢＴ区分化を適用することができた後、フェイスからのサンプルを含むことができる。
【0069】
（例えば、ＱＴＢＴ設計における）パラメータＭａｘＢＴＤｅｐｔｈは、許容される二分木区分化の最大深度を指定することができる。ＱＴ／ＢＴノードは、現在の二分木の深度が、ＭａｘＢＴＤｅｐｔｈに到達していないとき、分割する（例えば、水平または垂直に分割する）ことができる。複数のフェイスにまたがるＱＴ／ＢＴノードは、ＢＴ区分化を使用するフェイス境界の分離をサポートするのに十分な区分化粒度を提供することができないことがある。フェイス境界と揃うように、四分木（ＱＴ）区分化を（例えば、ＱＴおよび二分木（ＢＴ）区分化の両方ではなく、ＱＴ区分化だけを）使用することができる。例えば、ＣＴＵは、ＱＴ方式で、区分化する（例えば、最初に区分化する）ことができ、ＱＴノードが、１つまたは複数のフェイス境界に被さる場合、ＱＴノードを強制的に分割することができる。ＱＴ分割は、対応する下位ＱＴノードのうちの１つまたは複数をフェイス内に含む（例えば、完全に含む）ことができるまで、反復することができる。ＱＴノードは、ＢＴによって区分化する（例えば、さらに区分化する）ことができる。フェイス境界と揃えるために使用される、１つまたは複数（例えば、すべて）の強制されたＢＴ分割は、対応するＢＴ構造の総深度に向かってカウントすることができる。ＱＴ／ＢＴノードが、１つまたは複数のフェイスにまたがるとき、伝達されることなく、さらに分割するための対応するＢＴインジケーション（例えば、分割フラグ）（例えば、１に設定されたフラグ）を推測することができる。インジケーション（例えば、フラグ）が、伝達されない場合、現在のＢＴ構造の総深度を計算するときに、（例えば、フェイス境界と揃えるために使用することができる）対応するＢＴ分割を考慮しないことができる。ＭａｘＢＴＤｅｐｔｈの制約に従うことなく、フェイス境界と揃えるために、ＢＴを分割する（例えば、さらに分割する）ことができる。
【0070】
本明細書において説明される制約されたＱＴＢＴ区分化においては、ＱＴ／ＢＴリーフノードを、フェイス境界と揃えるための基本ユニットとして、使用することができる。１つまたは複数のフェイスのサイズは、十分なブロック区分化粒度を保証するために、基本ユニットのサイズのうちの１つまたは複数であることができる。例えば、ＱＴ／ＢＴ分割インジケーション（例えば、フラグ）を伝達することをスキップする手法について、ＱＴ／ＢＴノードが、本明細書において説明されるように、２つのフェイス間の境界にまたがるとき、フェイスサイズは、最小ＢＴサイズ（例えば、ＭｉｎＢＴＳｉｚｅ）の倍数であることができる。本明細書において説明される、フェイス境界と揃えるためにＱＴ区分化を使用する手法について、フェイスサイズは、最小ＱＴサイズ（例えば、ＭｉｎＱＴＳｉｚｅ）の倍数であることができる。本明細書において説明される制約されたＱＴＢＴ区分化を適用して、ジオメトリパディングが適用されるピクチャをインター符号化することができる。本明細書において説明される制約されたＱＴＢＴ区分化は、ピクチャ（例えば、Ｂおよび／またはＰピクチャ）をインター符号化するために適用することができ、イントラ符号化されたピクチャ（例えば、Ｉピクチャ）に対して無効化することができる。制約されたＱＴＢＴ区分化は、３６０度（例えば、全３６０度）ビデオシーケンスのビデオブロックに適用することができる。３６０度（例えば、全３６０度）ビデオブロック内において、均質なエリア（例えば、空、地面、および／または水）が、フェイス境界をまたいで存在することがある。（例えば、フェイス境界にまたがることができる）均質なエリアは、符号化ブロック（例えば、大きい符号化ブロック）内に入れることができ、符号化モード、動き関連情報、および／または残差のシグナリングオーバヘッドを減じることができる。ＱＴＢＴ区分化を有効化および／または無効化することについて、高位レベル（例えば、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、および／またはスライスヘッダ）で伝達される、インジケーション（例えば、フラグ）を使用できる。領域ベースの有効化および／または無効化は、本明細書において説明される制約されたＱＴＢＴ区分化に適用可能であることができる。制約されたＱＴＢＴ区分化は、異質な特性を示すフェイス境界エリアに適用することができるが、均質なフェイス境界に対して無効化できる。例えば、フレームパッキングされたピクチャが、全部で６つのフェイスを含む場合、１つまたは複数のフェイスのために、ビットを伝達して、制約されたＱＴＢＴ区分化手法がそのフェイスに適用されるかどうかを示すことができる。本明細書において説明される制約されたＱＴＢＴ区分化構造は、ＨＭにおける四分木ベースの区分化、非対称ブロック区分化、および／またはマルチタイプツリー区分化を含むが、それらに限定されない、他のブロック区分化フレームワークに適用可能であることができる。
【0071】
ＱＴＢＴ区分化制約を使用して、現在ブロックがフェイス（例えば、単一のフェイス）内にサンプルを含むことを保証することができる。例えば、ジオメトリパディングのせいで一致しない基準ブロックを回避することができる。１つまたは複数のサブブロックレベル動き補償技法（例えば、ＡＴＭＶＰおよび／またはＳＴＭＶＰ）をサポートすることができる。１つまたは複数のサブブロックレベル動き補償技法は、大きいブロックが１つもしくは複数の小さいサブブロックに分かれることを可能にすることができ、および／または１つもしくは複数のサブブロックのための独自の動き情報を導出することができる。大きいブロックは、３６０度ビデオと関連付けられた現在ブロックであることができる。本明細書において説明されるフェイスベースのサブブロック動き補償は、ＱＴＢＴブロック区分化構造において、大きい符号化ブロック（例えば、ＱＴ／ＢＴリーフノード）の使用を増やすことができる。ビデオブロックが、（例えば、３Ｄ空間において隣接していないことがある）１つまたは複数のフェイスの境界にまたがるとき、現在ブロック内部の（例えば、様々なフェイスからの異なるオブジェクトを表すことができる）サブブロックは、異なる動き情報を使用して予測することができるので、ＱＴＢＴブロック区分化構造において符号化ブロック（例えば、大きい符号化ブロック）を使用する手法を、３６０度ビデオ符号化のために使用することができる。ジオメトリパディングが、サブブロックレベル動き補償技法とともに適用される（例えば、共同で適用される）とき、動き補償ステージにおいて、異なる手法を適用して、１つまたは複数のサブブロックのための基準サンプルを導出することができる。例えば、現在ブロック内の１つまたは複数（例えば、すべて）のサブブロックの基準サンプルを、フェイス（例えば、単一のフェイス）のパディングされた領域から導出することができる。例えば、図２１に示されるように、現在ブロックの左上サンプルは、フェイスＦ０内に配置することができる。現在ブロック内のサブブロックの１つまたは複数（例えば、すべて）の動き補償予測信号は、フェイスＦ０のパディングされた領域から生成することができる。図２１においては、現在ブロック内の左上サンプルの座標を使用して、動き補償予測のために使用されるフェイスを選択することができる。現在ブロック内の異なるロケーションにあるサンプルを適用することができる。例えば、現在ブロックの中心にあるサンプルを適用することができる。（例えば、フレームパッキングされたピクチャにおいては近隣であることができる）２つのフェイスが、３Ｄジオメトリに従うと、隣接していない場合、フェイス境界にまたがるビデオサンプルは、相関（例えば、強い相関）を示さないことがある。例えば、図２１に示されるように、サブブロックＣおよび／またはＤは、Ｆ０のパディングされた領域内のサンプルを使用することによって、予測されない（例えば、良好に予測されない）ことがある。
【0072】
フェイスベースのサブブロック動き補償は、ジオメトリパディングが、３６０度ビデオを符号化するために適用されるときに、使用することができる。フェイス境界上におけるビデオブロックを符号化するときに、サブブロックモードの細かい粒度の動きを利用することができ、本明細書において説明されるように、フェイス境界と揃えるために、ＱＴ区分化を使用する際、制約なしに、ＱＴＢＴブロック区分化を適用することができる。ＱＴＢＴリーフノードが、１つまたは複数のフェイスの領域を占有することを可能にすることができる。フェイスベースのサブブロック動き補償は、１つまたは複数のサブブロックのサンプルを、サブブロックが属する対応するフェイスのパディングされた領域からの動き補償予測信号を使用して、予測することができる。図２２は、内部フェイス動き補償を用いる、制約されないＱＴＢＴブロック区分化の例を示している。図２２においては、サブブロックＡおよび／またはＢは、フェイスＦ０のパディングされた領域から予測することができ、サブブロックＣおよび／またはＤは、フェイスＦ１のパディングされた領域から予測することができる。本明細書において説明され、図２２に示される手法は、サブブロックＣおよび／またはＤのための相関のある（例えば、より相関のある）予測信号を提供することができる。
【0073】
本明細書において説明されるサブブロック動き補償は、１つまたは複数のサブブロックレベル動き補償モードに適用することができる。サブブロックレベル動き補償モードは、ＡＴＭＶＰモード、ＳＴＭＶＰモード、ＦＲＵＣモード、および／またはアフィンモードを含むことができるが、それらに限定されない。サブブロック動き補償が、有効化されているとき、フェイス境界におけるビデオブロックは、サブブロックレベル動き補償モードによって符号化することができる。ビデオブロックが、１つまたは複数のフェイス境界にまたがることが見出された場合、ビデオブロックは、符号化モードによって符号化することができる。符号化モードを使用して、サブブロックレベルにおいて動き情報を導出することができる。
【0074】
例えば、サブブロックモードが、現在ブロックに対して使用される場合、および現在ブロックが、３６０度ビデオコンテンツと関連付けられた複数のフェイス上に配置されたサンプルを含む場合、現在ブロック内の１つまたは複数のサンプルは、サブブロックレベルのフェイス関連付けに基づいて、予測することができる。現在ブロック内のサブブロック（例えば、第１のサブブロックおよび／または第２のサブブロック）について、サブブロックのロケーションを識別することができる。サブブロックは、サブブロックの識別されたロケーションに基づいて、フェイスと関連付けることができる。サブブロック内のサンプルは、サブブロックと関連付けられたフェイスに基づいて、予測することができる。
【0075】
符号化モードを示すためのインジケーション（例えば、フラグ）のシグナリングは、スキップすることができる。例えば、（例えば、ブロック全体についての方向のための単一の動きベクトルを関連付けることができる）符号化モードは、エンコーダにおけるレート歪みプロセス中に、検査されないことがある。（例えば、サブブロックレベル動きを伴う、またはサブブロックレベル動きを伴わない）１つまたは複数（例えば、すべて）の許容される符号化モードが、フェイス境界においてビデオブロックを符号化することを可能にすることができる。シンタックス（例えば、追加のシグナリングシンタックス）を伝達することを適用して、どの符号化モードが選択されたかを示すことができる。
【0076】
図２３Ａは、１つまたは複数の開示される実施形態を実施することができる、例示的な通信システム１００を示す図である。通信システム１００は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであることができる。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、ゼロテールユニークワードＤＦＴ拡散ＯＦＤＭ（ＺＴ ＵＷ ＤＴＳ－ｓ ＯＦＤＭ）、ユニークワードＯＦＤＭ（ＵＷ－ＯＦＤＭ）、リソースブロックフィルタードＯＦＤＭ、およびフィルタバンクマルチキャリア（ＦＢＭＣ）など、１つまたは複数のチャネルアクセス方法を利用することができる。
【0077】
図２３Ａに示されるように、通信システム１００は、無線送受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、１０２ｄと、ＲＡＮ１０４／１１３と、ＣＮ１０６／１１５と、公衆交換電話網（ＰＳＴＮ）１０８と、インターネット１１０と、他のネットワーク１１２とを含むことができるが、開示される実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図していることが理解されよう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの各々は、無線環境において動作および／または通信するように構成された任意のタイプのデバイスであることができる。例として、それのどれもが、「局」および／または「ＳＴＡ」と呼ばれることがある、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信および／または受信するように構成することができ、ユーザ機器（ＵＥ）、移動局、固定または移動加入者ユニット、サブスクリクションベースのユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはＭｉ－Ｆｉデバイス、モノのインターネット（ＩｏＴ）デバイス、ウォッチまたは他のウェアラブル、ヘッドマウントディスプレイ（ＨＭＤ）、乗物、ドローン、医療用デバイスおよびアプリケーション（例えば、遠隔手術）、工業用デバイスおよびアプリケーション（例えば、工業用および／または自動化された処理チェーン状況において動作するロボットおよび／または他の無線デバイス）、家電デバイス、ならびに商業用および／または工業用無線ネットワーク上において動作するデバイスなどを含むことができる。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいずれも、交換可能に、ＵＥと呼ばれることがある。
【0078】
通信システム１００は、基地局１１４ａおよび／または基地局１１４ｂも含むことができる。基地局１１４ａ、１１４ｂの各々は、ＣＮ１０６／１１５、インターネット１１０、および／または他のネットワーク１１２など、１つまたは複数の通信ネットワークへのアクセスを容易にするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの少なくとも１つと無線でインターフェースをとるように構成された任意のタイプのデバイスであることができる。例として基地局１１４ａ、１１４ｂは、基地送受信機局（ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、ｇＮＢ、ＮＲノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、および無線ルータなどであり得る。基地局１１４ａ、１１４ｂは、各々が、単一の要素として描かれているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含むことができることが理解されよう。
【0079】
基地局１１４ａは、ＲＡＮ１０４／１１３の一部であることができ、ＲＡＮ１０４／１１３は、他の基地局、および／または基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなどのネットワーク要素（図示されず）も含むことができる。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示されず）と呼ばれることがある、１つまたは複数のキャリア周波数上において、無線信号を送信および／または受信するように構成することができる。これらの周波数は、免許要スペクトル、免許不要スペクトル、または免許要スペクトルと免許不要スペクトルとの組み合わせの中にあることができる。セルは、相対的に一定であることができる、または時間とともに変化することができる特定の地理的エリアに、無線サービス用のカバレージを提供することができる。セルは、さらに、セルセクタに分割することができる。例えば、基地局１１４ａと関連付けられたセルは、３つのセクタに分割することができる。したがって、一実施形態においては、基地局１１４ａは、送受信機を３つ、すなわち、セルの各セクタに対して１つずつ含むことができる。実施形態においては、基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を利用することができ、セルの各セクタに対して複数の送受信機を利用することができる。例えば、所望の空間方向において信号を送信および／または受信するために、ビームフォーミングを使用することができる。
【0080】
基地局１１４ａ、１１４ｂは、エアインターフェース１１６上において、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つまたは複数と通信することができ、エアインターフェース１１６は、任意の適切な無線通信リンク（例えば、無線周波（ＲＦ）、マイクロ波、センチメートル波、マイクロメートル波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）であることができる。エアインターフェース１１６は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して、確立することができる。
【0081】
より具体的には、上で言及されたように、通信システム１００は、多元接続システムであることができ、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、およびＳＣ－ＦＤＭＡなど、１つまたは複数のチャネルアクセス方式を利用することができる。例えば、ＲＡＮ１０４／１１３内の基地局１１４ａと、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、広帯域ＣＤＭＡ（ＷＣＤＭＡ）を使用して、エアインターフェース１１５／１１６／１１７を確立することができる、ユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実施することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンク（ＤＬ）パケットアクセス（ＨＳＤＰＡ）、および／または高速アップリンク（ＵＬ）パケットアクセス（ＨＳＵＰＡ）を含むことができる。
【0082】
実施形態においては、基地局１１４ａと、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ロングタームエボリューション（ＬＴＥ）、および／またはＬＴＥアドバンスト（ＬＴＥ－Ａ）、および／またはＬＴＥアドバンストプロ（ＬＴＥ－Ａ Ｐｒｏ）を使用して、エアインターフェース１１６を確立することができる、進化型ＵＭＴＳ地上無線アクセス（Ｅ－ＵＴＲＡ）などの無線技術を実施することができる。
【0083】
実施形態においては、基地局１１４ａと、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ニューラジオ（ＮＲ）を使用して、エアインターフェース１１６を確立することができる、ＮＲ無線アクセスなどの無線技術を実施することができる。
【0084】
実施形態においては、基地局１１４ａと、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、複数の無線アクセス技術を実施することができる。例えば、基地局１１４ａと、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、例えば、デュアルコネクティビティ（ＤＣ）原理を使用して、ＬＴＥ無線アクセスと、ＮＲ無線アクセスとを一緒に実施することができる。したがって、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、ならびに／または複数のタイプの基地局（例えば、ｅＮＢおよびｇＮＢ）に／から送信される送信によって特徴付けることができる。
【0085】
他の実施形態においては、基地局１１４ａと、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１１（すなわち、ワイヤレスフィデリティ（ＷｉＦｉ））、ＩＥＥＥ８０２．１６（すなわち、マイクロ波アクセス用世界的相互運用性（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ－ＤＯ、暫定標準２０００（ＩＳ－２０００）、暫定標準９５（ＩＳ－９５）、暫定標準８５６（ＩＳ－８５６）、移動体通信用グローバルシステム（ＧＳＭ）、ＧＳＭエボリューション用高速データレート（ＥＤＧＥ）、およびＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実施することができる。
【0086】
図２３Ａにおける基地局１１４ｂは、例えば、無線ルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントであることができ、事業所、自宅、乗物、キャンパス、産業用施設、（例えば、ドローンによって使用される）エアコリド、および車道など、局所化されたエリアにおける無線接続性を容易にするために、任意の適切なＲＡＴを利用することができる。一実施形態においては、基地局１１４ｂと、ＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実施して、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立することができる。実施形態においては、基地局１１４ｂと、ＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実施して、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立することができる。また別の実施形態においては、基地局１１４ｂと、ＷＴＲＵ１０２ｃ、１０２ｄは、セルラベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、ＮＲなど）を利用して、ピコセルまたはフェムトセルを確立することができる。図２３Ａに示されるように、基地局１１４ｂは、インターネット１１０への直接的な接続を有することができる。したがって、基地局１１４ｂは、ＣＮ１０６／１１５を介してインターネット１１０にアクセスする必要がないことがある。
【0087】
ＲＡＮ１０４／１１３は、ＣＮ１０６／１１５と通信することができ、ＣＮ１０６／１１５は、音声、データ、アプリケーション、および／またはボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスを、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つまたは複数に提供するように構成された任意のタイプのネットワークであることができる。データは、異なるスループット要件、待ち時間要件、エラー耐性要件、信頼性要件、データスループット要件、およびモビリティ要件など、様々なサービス品質（ＱｏＳ）要件を有することができる。ＣＮ１０６／１１５は、呼制御、ビリングサービス、モバイルロケーションベースのサービス、プリペイド発呼、インターネット接続性、ビデオ配信などを提供することができ、および／またはユーザ認証など、高レベルセキュリティ機能を実行することができる。図２３Ａには示されていないが、ＲＡＮ１０４／１１３および／またはＣＮ１０６／１１５は、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを利用する他のＲＡＮと直接的または間接的通信を行うことができることが理解されよう。例えば、ＮＲ無線技術を利用していることがあるＲＡＮ１０４／１１３に接続されていることに加えて、ＣＮ１０６／１１５は、ＧＳＭ、ＵＭＴＳ、ＣＤＭＡ２０００、ＷｉＭＡＸ、Ｅ－ＵＴＲＡ、またはＷｉＦｉ無線技術を利用する別のＲＡＮ（図示されず）とも通信することができる。
【0088】
ＣＮ１０６／１１５は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄが、ＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするためのゲートウェイとしての役割も果たすことができる。ＰＳＴＮ１０８は、基本電話サービス（ＰＯＴＳ）を提供する、回線交換電話網を含むことができる。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコルスイート内の伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、および／またはインターネットプロトコル（ＩＰ）など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなる地球規模のシステムを含むことができる。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される、有線および／または無線通信ネットワークを含むことができる。例えば、ネットワーク１１２は、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを利用することができる１つまたは複数のＲＡＮに接続された、別のＣＮを含むことができる。
【0089】
通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちのいくつかまたはすべては、マルチモード機能を含むことができる（例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンク上において、異なる無線ネットワークと通信するための、複数の送受信機を含むことができる）。例えば、図２３Ａに示されるＷＴＲＵ１０２ｃは、セルラベースの無線技術を利用することができる基地局１１４ａと通信するように、またＩＥＥＥ８０２無線技術を利用することができる基地局１１４ｂと通信するように構成することができる。
【0090】
図２３Ｂは、例示的なＷＴＲＵ１０２を示すシステム図である。図２３Ｂに示されるように、ＷＴＲＵ１０２は、とりわけ、プロセッサ１１８、送受信機１２０、送信／受信要素１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、非リムーバブルメモリ１３０、リムーバブルメモリ１３２、電源１３４、全地球測位システム（ＧＰＳ）チップセット１３６、および／または他の周辺機器１３８を含むことができる。ＷＴＲＵ１０２は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。
【0091】
プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、および状態機械などであることができる。プロセッサ１１８は、信号符号化、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ１０２が無線環境において動作することを可能にする他の任意の機能性を実行することができる。プロセッサ１１８は、送受信機１２０に結合することができ、送受信機１２０は、送信／受信要素１２２に結合することができる。図２３Ｂは、プロセッサ１１８と送受信機１２０を別個の構成要素として描いているが、プロセッサ１１８と送受信機１２０は、電子パッケージまたはチップ内に一緒に統合することができることが理解されよう。
【0092】
送信／受信要素１２２は、エアインターフェース１１６上において、基地局（例えば、基地局１１４ａ）に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態においては、送信／受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナであることができる。実施形態においては、送信／受信要素１２２は、例えば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成された放射器／検出器であることができる。また別の実施形態においては、送信／受信要素１２２は、ＲＦ信号および光信号の両方を送信および／または受信するように構成することができる。送信／受信要素１２２は、無線信号の任意の組み合わせを送信および／または受信するように構成することができることが理解されよう。
【0093】
図２３Ｂにおいては、送信／受信要素１２２は、単一の要素として描かれているが、ＷＴＲＵ１０２は、任意の数の送信／受信要素１２２を含むことができる。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を利用することができる。したがって、一実施形態においては、ＷＴＲＵ１０２は、エアインターフェース１１６上において無線信号を送信および受信するための２つ以上の送信／受信要素１２２（例えば、複数のアンテナ）を含むことができる。
【0094】
送受信機１２０は、送信／受信要素１２２によって送信されることになる信号を変調し、送信／受信要素１２２によって受信された信号を復調するように構成することができる。上で言及されたように、ＷＴＲＵ１０２は、マルチモード機能を有することができる。したがって、送受信機１２０は、ＷＴＲＵ１０２が、例えば、ＮＲおよびＩＥＥＥ８０２．１１など、複数のＲＡＴを介して通信することを可能にするための、複数の送受信機を含むことができる。
【0095】
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば、液晶表示（ＬＣＤ）ディスプレイユニットもしくは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８にユーザデータを出力することもできる。加えて、プロセッサ１１８は、非リムーバブルメモリ１３０および／またはリムーバブルメモリ１３２など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。非リムーバブルメモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、およびセキュアデジタル（ＳＤ）メモリカードなどを含むことができる。他の実施形態においては、プロセッサ１１８は、サーバまたはホームコンピュータ（図示されず）上などに配置された、ＷＴＲＵ１０２上に物理的に配置されていないメモリから情報を入手することができ、それらにデータを記憶することができる。
【0096】
プロセッサ１１８は、電源１３４から電力を受け取ることができ、ＷＴＲＵ１０２内の他の構成要素に電力を分配するように、および／またはそれらへの電力を制御するように構成することができる。電源１３４は、ＷＴＲＵ１０２に給電するための任意の適切なデバイスであることができる。例えば、電源１３４は、１つまたは複数の乾電池（例えば、ニッケル－カドミウム（ＮｉＣｄ）、ニッケル－亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウム－イオン（Ｌｉ－ｉｏｎ）など）、太陽電池、および燃料電池などを含むことができる。
【0097】
プロセッサ１１８は、ＧＰＳチップセット１３６にも結合することができ、ＧＰＳチップセット１３６は、ＷＴＲＵ１０２の現在ロケーションに関するロケーション情報（例えば、経度および緯度）を提供するように構成することができる。ＧＰＳチップセット１３６からの情報に加えて、またはそれの代わりに、ＷＴＲＵ１０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインターフェース１１６上においてロケーション情報を受信することができ、および／または２つ以上の近くの基地局から受信している信号のタイミングに基づいて、自らのロケーションを決定することができる。ＷＴＲＵ１０２は、実施形態との整合性を保ちながら、任意の適切なロケーション決定方法を用いて、ロケーション情報を獲得することができることが理解されよう。
【0098】
プロセッサ１１８は、さらに他の周辺機器１３８に結合することができ、他の周辺機器１３８は、追加の特徴、機能性、および／または有線もしくは無線接続性を提供する、１つまたは複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含むことができる。例えば、周辺機器１３８は、加速度計、ｅコンパス、衛星送受信機、（写真および／またはビデオ用の）デジタルカメラ、ユニバーサルシリアルバス（ＵＳＢ）ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実および／または拡張現実（ＶＲ／ＡＲ）デバイス、ならびにアクティビティトラッカなどを含むことができる。周辺機器１３８は、１つまたは複数のセンサを含むことができ、センサは、ジャイロスコープ、加速度計、ホール効果センサ、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および／または湿度センサのうちの１つまたは複数であることができる。
【0099】
ＷＴＲＵ１０２は、（例えば、（例えば、送信用の）ＵＬと（例えば、受信用の）ダウンリンクの両方のための特定のサブフレームと関連付けられた）信号のいくつかまたはすべての送信および受信が、並列および／または同時であることができる、全二重無線を含むことができる。全二重無線は、ハードウェア（例えば、チョーク）を介して、またはプロセッサ（例えば、別個のプロセッサ（図示されず）もしくはプロセッサ１１８）を介する信号処理を介して、自己干渉を低減させ、および／または実質的に除去するために、干渉管理ユニットを含むことができる。実施形態においては、ＷＴＲＵ１０２は、（例えば、（例えば、送信用の）ＵＬまたは（例えば、受信用の）ダウンリンクのどちらかのための特定のサブフレームと関連付けられた）信号のいくつかまたはすべての送信および受信のための、半二重無線を含むことができる。
【0100】
図２３Ｃは、実施形態に従った、ＲＡＮ１０４およびＣＮ１０６を示すシステム図である。上で言及されたように、ＲＡＮ１０４は、Ｅ－ＵＴＲＡ無線技術を利用して、エアインターフェース１１６上において、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信することができる。ＲＡＮ１０４は、ＣＮ１０６とも通信することができる。
【0101】
ＲＡＮ１０４は、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃを含むことができるが、ＲＡＮ１０４は、実施形態との整合性を保ちながら、任意の数のｅノードＢを含むことができることが理解されよう。ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、各々が、エアインターフェース１１６上においてＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための、１つまたは複数の送受信機を含むことができる。一実施形態においては、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、ＭＩＭＯ技術を実施することができる。したがって、ｅノードＢ１６０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、および／またはＷＴＲＵ１０２ａから無線信号を受信することができる。
【0102】
ｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々は、特定のセル（図示されず）と関連付けることができ、無線リソース管理決定、ハンドオーバ決定、ならびにＵＬおよび／またはＤＬにおけるユーザのスケジューリングなどを処理するように構成することができる。図２３Ｃに示されるように、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、Ｘ２インターフェース上において、互いに通信することができる。
【0103】
図２３Ｃに示されるＣＮ１０６は、モビリティ管理エンティティ（ＭＭＥ）１６２と、サービングゲートウェイ（ＳＧＷ）１６４と、パケットデータネットワーク（ＰＤＮ）ゲートウェイ（またはＰＧＷ）１６６とを含むことができる。上記の要素の各々は、ＣＮ１０６の部分として描かれているが、これらの要素のうちのいずれも、ＣＮオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。
【0104】
ＭＭＥ１６２は、Ｓ１インターフェースを介して、ＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々に接続することができ、制御ノードとしての役割を果たすことができる。例えば、ＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザを認証すること、ベアラアクティブ化／非アクティブ化、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの初期アタッチ中に特定のサービングゲートウェイを選択することなどを担うことができる。ＭＭＥ１６２は、ＲＡＮ１０４と、ＧＳＭおよび／またはＷＣＤＭＡなどの他の無線技術を利用する他のＲＡＮ（図示されず）との間における交換のためのコントロールプレーン機能を提供することができる。
【0105】
ＳＧＷ１６４は、Ｓ１インターフェースを介して、ＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々に接続することができる。ＳＧＷ１６４は、一般に、ユーザデータパケットをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに／からルーティングおよび転送することができる。ＳＧＷ１６４は、ｅノードＢ間ハンドオーバ中にユーザプレーンをアンカリングすること、ＤＬデータがＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに利用可能なときにページングをトリガすること、ならびにＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストを管理および記憶することなど、他の機能を実行することができる。
【0106】
ＳＧＷ１６４は、ＰＧＷ１６６に接続することができ、ＰＧＷ１６６は、インターネット１１０など、パケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。
【0107】
ＣＮ１０６は、他のネットワークとの通信を容易にすることができる。例えば、ＣＮ１０６は、ＰＳＴＮ１０８など、回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の固定電話回線通信デバイスとの間の通信を容易にすることができる。例えば、ＣＮ１０６は、ＣＮ１０６とＰＳＴＮ１０８との間のインターフェースとしての役割を果たすＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことができ、またはそれと通信することができる。加えて、ＣＮ１０６は、他のネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供することができ、他のネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線および／または無線ネットワークを含むことができる。
【0108】
図２３Ａ～図２３Ｄにおいては、ＷＴＲＵは、無線端末として説明されるが、ある代表的な実施形態においては、そのような端末は、通信ネットワークとの有線通信インターフェースを（例えば、一時的または永続的に）使用することができることが企図されている。
【0109】
代表的な実施形態においては、他のネットワーク１１２は、ＷＬＡＮであることができる。
【0110】
インフラストラクチャ基本サービスセット（ＢＳＳ）モードにあるＷＬＡＮは、ＢＳＳのためのアクセスポイント（ＡＰ）と、ＡＰと関連付けられた１つまたは複数の局（ＳＴＡ）とを有することができる。ＡＰは、トラフィックをＢＳＳ内および／またはＢＳＳ外に搬送する、ディストリビューションシステム（ＤＳ）または別のタイプの有線／無線ネットワークへのアクセスまたはインターフェースを有することができる。ＢＳＳ外部から発信されたＳＴＡへのトラフィックは、ＡＰを通って到着することができ、ＳＴＡに配送することができる。ＳＴＡからＢＳＳ外部の送信先に発信されたトラフィックは、それぞれの送信先に配送するために、ＡＰに送信することができる。ＢＳＳ内のＳＴＡ間のトラフィックは、ＡＰを通って送信することができ、例えば、送信元ＳＴＡは、トラフィックをＡＰに送信することができ、ＡＰは、トラフィックを送信先ＳＴＡに配送することができる。ＢＳＳ内のＳＴＡ間のトラフィックは、ピアツーピアトラフィックと見なすことができ、および／またはピアツーピアトラフィックと呼ばれることがある。ピアツーピアトラフィックは、直接リンクセットアップ（ＤＬＳ）を用いて、送信元ＳＴＡと送信先ＳＴＡとの間で（例えば、直接的に）送信することができる。ある代表的な実施形態においては、ＤＬＳは、８０２．１１ｅ ＤＬＳまたは８０２．１１ｚトンネルＤＬＳ（ＴＤＬＳ）を使用することができる。独立ＢＳＳ（ＩＢＳＳ）モードを使用するＷＬＡＮは、ＡＰを有さないことがあり、ＩＢＳＳ内の、またはＩＢＳＳを使用するＳＴＡ（例えば、ＳＴＡのすべて）は、互いに直接的に通信することができる。ＩＢＳＳモードの通信は、本明細書においては、ときに「アドホック」モードの通信と呼ばれることがある。
【0111】
８０２．１１ａｃインフラストラクチャモードの動作または類似したモードの動作を使用するとき、ＡＰは、プライマリチャネルなどの固定されたチャネル上において、ビーコンを送信することができる。プライマリチャネルは、固定された幅（例えば、２０ＭＨｚ幅帯域幅）、またはシグナリングを介して動的に設定された幅であることができる。プライマリチャネルは、ＢＳＳの動作チャネルであることができ、ＡＰとの接続を確立するために、ＳＴＡによって使用することができる。ある代表的な実施形態においては、例えば、８０２．１１システムにおいては、キャリアセンス多重アクセス／衝突回避（ＣＳＭＡ／ＣＡ）を実施することができる。ＣＳＭＡ／ＣＡの場合、ＡＰを含むＳＴＡ（例えば、あらゆるＳＴＡ）は、プライマリチャネルをセンスすることができる。プライマリチャネルが、センス／検出され、および／または特定のＳＴＡによってビジーであると決定された場合、特定のＳＴＡは、バックオフすることができる。与えられたＢＳＳ内においては、任意の与えられた時間に、１つのＳＴＡ（例えば、ただ１つのＳＴＡ）が、送信することができる。
【0112】
高スループット（ＨＴ）ＳＴＡは、例えば、プライマリ２０ＭＨｚチャネルを隣接または非隣接２０ＭＨｚチャネルと組み合わせて、４０ＭＨｚ幅のチャネルを形成することを介して、通信のために４０ＭＨｚ幅チャネルを使用することができる。
【0113】
超高スループット（ＶＨＴ）ＳＴＡは、２０ＭＨｚ、４０ＭＨｚ、８０ＭＨｚ、および／または１６０ＭＨｚ幅チャネルをサポートすることができる。４０ＭＨｚおよび／または８０ＭＨｚチャネルは、連続する２０ＭＨｚチャネルを組み合わせることによって形成することができる。１６０ＭＨｚチャネルは、８つの連続する２０ＭＨｚチャネルを組み合わせることによって形成することができ、または２つの非連続な８０ＭＨｚチャネルを組み合わせることによって形成することができ、これは、８０＋８０構成と呼ばれることがある。８０＋８０構成の場合、データは、チャネルエンコーディングの後、データを２つのストリームに分割することができるセグメントパーサを通過することができる。各ストリームに対して別々に、逆高速フーリエ変換（ＩＦＦＴ）処理、および時間領域処理を行うことができる。ストリームは、２つの８０ＭＨｚチャネル上にマッピングすることができ、データは、送信ＳＴＡによって送信することができる。受信ＳＴＡの受信機においては、８０＋８０構成のための上で説明された動作を逆転することができ、組み合わされたデータは、媒体アクセス制御（ＭＡＣ）に送信することができる。
【0114】
１ＧＨｚ未満モードの動作は、８０２．１１ａｆおよび８０２．１１ａｈによってサポートされる。チャネル動作帯域幅およびキャリアは、８０２．１１ｎおよび８０２．１１ａｃにおいて使用されるそれらと比べて、８０２．１１ａｆおよび８０２．１１ａｈにおいては低減させられる。８０２．１１ａｆは、ＴＶホワイトスペース（ＴＶＷＳ）スペクトルにおいて、５ＭＨｚ、１０ＭＨｚ、および２０ＭＨｚ帯域幅をサポートし、８０２．１１ａｈは、非ＴＶＷＳスペクトルを使用して、１ＭＨｚ、２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、および１６ＭＨｚ帯域幅をサポートする。代表的な実施形態に従うと、８０２．１１ａｈは、マクロカバレージエリアにおけるＭＴＣデバイスなど、メータタイプ制御／マシンタイプコミュニケーションをサポートすることができる。ＭＴＣデバイスは、一定の機能を、例えば、一定の帯域幅および／または限られた帯域幅のサポート（例えば、それらのサポートだけ）を含む限られた機能を有することができる。ＭＴＣデバイスは、（例えば、非常に長いバッテリ寿命を維持するために）閾値を上回るバッテリ寿命を有するバッテリを含むことができる。
【0115】
８０２．１１ｎ、８０２．１１ａｃ、８０２．１１ａｆ、および８０２．１１ａｈなど、複数のチャネルおよびチャネル帯域幅をサポートすることができる、ＷＬＡＮシステムは、プライマリチャネルとして指定することができるチャネルを含む。プライマリチャネルは、ＢＳＳ内のすべてのＳＴＡによってサポートされる最大の共通動作帯域幅に等しい帯域幅を有することができる。プライマリチャネルの帯域幅は、ＢＳＳ内において動作するすべてのＳＴＡの中の、最小帯域幅動作モードをサポートするＳＴＡによって設定および／または制限することができる。８０２．１１ａｈの例においては、ＢＳＳ内のＡＰおよび他のＳＴＡが、２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、１６ＭＨｚ、および／または他のチャネル帯域幅動作モードをサポートする場合であっても、１ＭＨｚモードをサポートする（例えば、それだけをサポートする）ＳＴＡ（例えば、ＭＴＣタイプデバイス）のために、プライマリチャネルは、１ＭＨｚ幅であることがある。キャリアセンシングおよび／またはネットワークアロケーションベクトル（ＮＡＶ）設定は、プライマリチャネルのステータスに依存することができる。例えば、（１ＭＨｚ動作モードだけをサポートする）ＳＴＡが、ＡＰに送信しているせいで、プライマリチャネルが、ビジーである場合、周波数バンドの大部分が、アイドルのままであり、利用可能であることがあるとしても、利用可能な周波数バンド全体が、ビジーと見なされることがある。
【0116】
米国においては、８０２．１１ａｈによって使用することができる利用可能な周波数バンドは、９０２ＭＨｚから９２８ＭＨｚである。韓国においては、利用可能な周波数バンドは、９１７．５ＭＨｚから９２３．５ＭＨｚである。日本においては、利用可能な周波数バンドは、９１６．５ＭＨｚから９２７．５ＭＨｚである。８０２．１１ａｈのために利用可能な合計帯域幅は、国の規則に応じて、６ＭＨｚから２６ＭＨｚである。
【0117】
図２３Ｄは、実施形態に従った、ＲＡＮ１１３およびＣＮ１１５を示すシステム図である。上で言及されたように、ＲＡＮ１１３は、ＮＲ無線技術を利用して、エアインターフェース１１６上において、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信することができる。ＲＡＮ１１３は、ＣＮ１１５とも通信することができる。
【0118】
ＲＡＮ１１３は、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃを含むことができるが、ＲＡＮ１１３は、実施形態との整合性を保ちながら、任意の数のｇＮＢを含むことができることが理解されよう。ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、各々が、エアインターフェース１１６上においてＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための、１つまたは複数の送受信機を含むことができる。一実施形態においては、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実施することができる。例えば、ｇＮＢ１８０ａ、１０８ｂは、ビームフォーミングを利用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃに信号を送信し、および／またはｇＮＢ１８０ａ、１８０ｂ、１８０ｃから信号を受信することができる。したがって、ｇＮＢ１８０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、および／またはＷＴＲＵ１０２ａから無線信号を受信することができる。実施形態においては、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、キャリアアグリゲーション技術を実施することができる。例えば、ｇＮＢ１８０ａは、ＷＴＲＵ１０２ａに複数のコンポーネントキャリアを送信することができる（図示されず）。これらのコンポーネントキャリアのサブセットは、免許不要スペクトル上にあることができるが、残りのコンポーネントキャリアは、免許要スペクトル上にあることができる。実施形態においては、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、多地点協調（ＣｏＭＰ）技術を実施することができる。例えば、ＷＴＲＵ１０２ａは、ｇＮＢ１８０ａとｇＮＢ１８０ｂ（および／またはｇＮＢ１８０ｃ）から調整された送信を受信することができる。
【0119】
ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、スケーラブルなヌメロロジ（ｎｕｍｅｒｏｌｏｇｙ）と関連付けられた送信を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信することができる。例えば、ＯＦＤＭシンボル間隔、および／またはＯＦＤＭサブキャリア間隔は、異なる送信、異なるセル、および／または無線送信スペクトルの異なる部分ごとに様々であることができる。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、（例えば、様々な数のＯＦＤＭシンボルを含む、および／または様々な長さの絶対時間だけ持続する）様々なまたはスケーラブルな長さのサブフレームまたは送信時間間隔（ＴＴＩ）を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信することができる。
【0120】
ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、スタンドアロン構成および／または非スタンドアロン構成で、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するように構成することができる。スタンドアロン構成においては、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、（例えば、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃなどの）他のＲＡＮにアクセスすることもなしに、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信することができる。スタンドアロン構成においては、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つまたは複数を、モビリティアンカポイントとして利用することができる。スタンドアロン構成においては、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、免許不要バンド内において信号を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信することができる。非スタンドアロン構成においては、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃなどの別のＲＡＮとも通信し／別のＲＡＮにも接続しながら、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し／ｇＮＢ１８０ａ、１８０ｂ、１８０ｃに接続することができる。例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＤＣ原理を実施して、１つまたは複数のｇＮＢ１８０ａ、１８０ｂ、１８０ｃ、および１つまたは複数のｅノードＢ１６０ａ、１６０ｂ、１６０ｃと実質的に同時に通信することができる。非スタンドアロン構成においては、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのためのモビリティアンカとしての役割を果たすことができ、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにサービスするための追加のカバレージおよび／またはスループットを提供することができる。
【0121】
ｇＮＢ１８０ａ、１８０ｂ、１８０ｃの各々は、特定のセル（図示されず）と関連付けることができ、無線リソース管理決定、ハンドオーバ決定、ＵＬおよび／またはＤＬにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、ＮＲとＥ－ＵＴＲＡとの間のインターワーキング、ユーザプレーンデータのユーザプレーン機能（ＵＰＦ）１８４ａ、１８４ｂへのルーティング、ならびにコントロールプレーン情報のアクセスおよびモビリティ管理機能（ＡＭＦ）１８２ａ、１８２ｂへのルーティングなどを処理するように構成することができる。図２３Ｄに示されるように、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、Ｘｎインターフェース上において、互いに通信することができる。
【0122】
図２３Ｄに示されるＣＮ１１５は、少なくとも１つのＡＭＦ１８２ａ、１８２ｂと、少なくとも１つのＵＰＦ１８４ａ、１８４ｂと、少なくとも１つのセッション管理機能（ＳＭＦ）１８３ａ、１８３ｂと、おそらくは、データネットワーク（ＤＮ）１８５ａ、１８５ｂとを含むことができる。上記の要素の各々は、ＣＮ１１５の部分として描かれているが、これらの要素のうちのいずれも、ＣＮオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。
【0123】
ＡＭＦ１８２ａ、１８２ｂは、Ｎ２インターフェースを介して、ＲＡＮ１１３内のｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つまたは複数に接続することができ、制御ノードとしての役割を果たすことができる。例えば、ＡＭＦ１８２ａ、１８２ｂは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザを認証すること、ネットワークスライシングのサポート（例えば、異なる要件を有する異なるＰＤＵセッションの処理）、特定のＳＭＦ１８３ａ、１８３ｂを選択すること、レジストレーションエリアの管理、ＮＡＳシグナリングの終了、およびモビリティ管理などを担うことができる。ネットワークスライシングは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃによって利用されるサービスのタイプに基づいて、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに対するＣＮサポートをカスタマイズするために、ＡＭＦ１８２ａ、１８２ｂによって使用することができる。例えば、超高信頼低遅延（ＵＲＬＬＣ）アクセスに依存するサービス、高速大容量モバイルブロードバンド（ｅＭＢＢ）アクセスに依存するサービス、および／またはマシンタイプコミュニケーション（ＭＴＣ）アクセスのためのサービスなど、異なる使用事例のために、異なるネットワークスライスを確立することができる。ＡＭＦ１６２は、ＲＡＮ１１３と、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、および／またはＷｉＦｉのような非３ＧＰＰアクセス技術など、他の無線技術を利用する他のＲＡＮ（図示されず）との間の交換のためのコントロールプレーン機能を提供することができる。
【0124】
ＳＭＦ１８３ａ、１８３ｂは、Ｎ１１インターフェースを介して、ＣＮ１１５内のＡＭＦ１８２ａ、１８２ｂに接続することができる。ＳＭＦ１８３ａ、１８３ｂは、Ｎ４インターフェースを介して、ＣＮ１１５内のＵＰＦ１８４ａ、１８４ｂに接続することもできる。ＳＭＦ１８３ａ、１８３ｂは、ＵＰＦ１８４ａ、１８４ｂを選択および制御し、ＵＰＦ１８４ａ、１８４ｂを通したトラフィックのルーティングを構成することができる。ＳＭＦ１８３ａ、１８３ｂは、ＵＥ ＩＰアドレスの管理および割り当てを行うこと、ＰＤＵセッションを管理すること、ポリシ実施およびＱｏＳを制御すること、ならびにダウンリンクデータ通知を提供することなど、他の機能を実行することができる。ＰＤＵセッションタイプは、ＩＰベース、非ＩＰベース、およびイーサネットベースなどであることができる。
【0125】
ＵＰＦ１８４ａ、１８４ｂは、Ｎ３インターフェースを介して、ＲＡＮ１１３内のｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つまたは複数に接続することができ、それらは、インターネット１１０など、パケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。ＵＰＦ１８４ａ、１８４ｂは、パケットをルーティングおよび転送すること、ユーザプレーンポリシを実施すること、マルチホーミングＰＤＵセッションをサポートすること、ユーザプレーンＱｏＳを処理すること、ダウンリンクパケットをバッファすること、ならびにモビリティアンカリングを提供することなど、他の機能を実行することができる。
【0126】
ＣＮ１１５は、他のネットワークとの通信を容易にすることができる。例えば、ＣＮ１１５は、ＣＮ１１５とＰＳＴＮ１０８との間のインターフェースとしての役割を果たすＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことができ、またはそれと通信することができる。加えて、ＣＮ１１５は、他のネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供することができ、他のネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線および／または無線ネットワークを含むことができる。一実施形態においては、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＵＰＦ１８４ａ、１８４ｂへのＮ３インターフェース、およびＵＰＦ１８４ａ、１８４ｂとＤＮ１８５ａ、１８５ｂとの間のＮ６インターフェースを介して、ＵＰＦ１８４ａ、１８４ｂを通して、ローカルデータネットワーク（ＤＮ）１８５ａ、１８５ｂに接続することができる。
【0127】
図２３Ａ～図２３Ｄ、および図２３Ａ～図２３Ｄについての対応する説明に鑑みて、ＷＴＲＵ１０２ａ～ｄ、基地局１１４ａ～ｂ、ｅノードＢ１６０ａ～ｃ、ＭＭＥ１６２、ＳＧＷ１６４、ＰＧＷ１６６、ｇＮＢ１８０ａ～ｃ、ＡＭＦ１８２ａ～ａ、ＵＰＦ１８４ａ～ｂ、ＳＭＦ１８３ａ～ｂ、ＤＮ１８５ａ～ｂ、および／または本明細書において説明される他の任意のデバイスのうちの１つまたは複数に関する、本明細書において説明される機能の１つもしくは複数またはすべては、１つまたは複数のエミュレーションデバイス（図示されず）によって実行することができる。エミュレーションデバイスは、本明細書において説明される機能の１つもしくは複数またはすべてをエミュレートするように構成された、１つまたは複数のデバイスであることができる。例えば、エミュレーションデバイスは、他のデバイスをテストするために、ならびに／またはネットワークおよび／もしくはＷＴＲＵ機能をシミュレートするために、使用することができる。
【0128】
エミュレーションデバイスは、実験室環境において、および／またはオペレータネットワーク環境において、他のデバイスの１つまたは複数のテストを実施するように設計することができる。例えば、１つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および／または無線通信ネットワークの一部として、完全または部分的に実施および／または配備されながら、１つもしくは複数またはすべての機能を実行することができる。１つまたは複数のエミュレーションデバイスは、有線および／または無線通信ネットワークの一部として、一時的に実施／配備されながら、１つもしくは複数またはすべての機能を実行することができる。エミュレーションデバイスは、テストの目的で、別のデバイスに直接的に結合することができ、および／またはオーバザエア無線通信を使用して、テストを実行することができる。
【0129】
１つまたは複数のエミュレーションデバイスは、有線および／または無線通信ネットワークの一部として実施／配備されずに、すべての機能を含む、１つまたは複数の機能を実行することができる。例えば、エミュレーションデバイスは、１つまたは複数の構成要素のテストを実施するために、テスト実験室、ならびに／または配備されていない（例えば、テスト）有線および／もしくは無線通信ネットワークにおける、テストシナリオにおいて利用することができる。１つまたは複数のエミュレーションデバイスは、テスト機器であることができる。データを送信および／または受信するために、直接ＲＦ結合、および／または（例えば、１つもしくは複数のアンテナを含むことができる）ＲＦ回路を介した無線通信を、エミュレーションデバイスによって使用することができる。
【符号の説明】
【0130】
１０２ａ～１０２ｄ ＷＴＲＵ
１０４、１０５ ＲＡＮ
１０６、１０７、１０９ コアネットワーク
１０８ ＰＳＴＮ
１１０ インターネット
１１２ 他のネットワーク
１８０ａ、１８０ｂ 基地局
１１８ プロセッサ
１２０ トランシーバ（送受信機）
１２２ アンテナ
１０４、１０５ ＲＡＮ
１０６、１０７、１０９ コアネットワーク
１０８ ＰＳＴＮ
１１０ インターネット
１１２ 他のネットワーク
１８０ａ、１８０ｂ 基地局
１１８ プロセッサ
１２０ トランシーバ（送受信機）
１２２ アンテナ
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16A】
【図16B】
【図16C】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23A】
【図23B】
【図23C】
【図23D】