知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023105219
(43)【公開日】2023-07-28
(54)【発明の名称】ジオメトリ投影を使用する３６０度ビデオ符号化
(51)【国際特許分類】
H04N 19/132 20140101AFI20230721BHJP
H04N 19/597 20140101ALI20230721BHJP
H04N 19/167 20140101ALI20230721BHJP
【ＦＩ】
H04N19/132
H04N19/597
H04N19/167
【審査請求】有
【請求項の数】25
【出願形態】ＯＬ
(21)【出願番号】P 2023094844
(22)【出願日】2023-06-08
(62)【分割の表示】P 2021138935の分割
【原出願日】2017-07-07
(31)【優先権主張番号】62/500,605
(32)【優先日】2017-05-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/463,242
(32)【優先日】2017-02-24
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/404,017
(32)【優先日】2016-10-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/360,112
(32)【優先日】2016-07-08
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ユーウェン・ヘー
(72)【発明者】
【氏名】ヤン・イエ
(72)【発明者】
【氏名】フィリッペ・ハンハート
(72)【発明者】
【氏名】シャオユー・シュー
(57)【要約】
【課題】３６０度ビデオコンテンツを符号化するための投影ジオメトリを提供する。
【解決手段】ビデオデータの処理は、複数のカメラを用いてビデオデータをキャプチャすることと、ビデオデータを一緒につなぎ合わせて、３６０度ビデオを獲得することとを含むことができる。キャプチャされ、つなぎ合わされたビデオデータに基づいて、フレームパッキングされたピクチャを提供できる。フレームパッキングされたピクチャ内において、現在のサンプルロケーションを識別することができる。近隣サンプルロケーションが、フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられているかどうかを、決定することができる。近隣サンプルロケーションが、コンテンツ境界の外部に位置付けられているとき、３６０度ビデオコンテンツの少なくとも１つの円特性と、投影ジオメトリとに基づいて、パディングサンプルロケーションを導出できる。パディングサンプルロケーションに基づいて、３６０度ビデオコンテンツを処理できる。
【選択図】図２８
【解決手段】ビデオデータの処理は、複数のカメラを用いてビデオデータをキャプチャすることと、ビデオデータを一緒につなぎ合わせて、３６０度ビデオを獲得することとを含むことができる。キャプチャされ、つなぎ合わされたビデオデータに基づいて、フレームパッキングされたピクチャを提供できる。フレームパッキングされたピクチャ内において、現在のサンプルロケーションを識別することができる。近隣サンプルロケーションが、フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられているかどうかを、決定することができる。近隣サンプルロケーションが、コンテンツ境界の外部に位置付けられているとき、３６０度ビデオコンテンツの少なくとも１つの円特性と、投影ジオメトリとに基づいて、パディングサンプルロケーションを導出できる。パディングサンプルロケーションに基づいて、３６０度ビデオコンテンツを処理できる。
【選択図】図２８
【特許請求の範囲】
【請求項1】
３６０度ビデオコンテンツを符号化する方法であって、
第１の投影ジオメトリと関連付けられたフレームパッキングされたピクチャ内における現在のサンプルロケーションを識別するステップと、
近隣サンプルロケーションが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定するステップと、
前記３６０度ビデオコンテンツの少なくとも１つの円特性と、前記第１の投影ジオメトリとに基づいて、パディングサンプルロケーションを導出するステップと、
前記パディングサンプルロケーションに基づいて、前記３６０度ビデオコンテンツを処理するステップと
を備える方法。
第１の投影ジオメトリと関連付けられたフレームパッキングされたピクチャ内における現在のサンプルロケーションを識別するステップと、
近隣サンプルロケーションが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定するステップと、
前記３６０度ビデオコンテンツの少なくとも１つの円特性と、前記第１の投影ジオメトリとに基づいて、パディングサンプルロケーションを導出するステップと、
前記パディングサンプルロケーションに基づいて、前記３６０度ビデオコンテンツを処理するステップと
を備える方法。
【請求項2】
前記コンテンツ境界は、フレームパッキングされたピクチャの境界、または面分境界
のうちの少なくとも一方を含む請求項１に記載の方法。
のうちの少なくとも一方を含む請求項１に記載の方法。
【請求項3】
前記第１の投影ジオメトリは、エクイレクタングラ投影、正積投影、キューブマップ投影、８面体投影、または円筒投影のうちの少なくとも１つを含む請求項１に記載の方法。
【請求項4】
前記フレームパッキングされたピクチャは、前記第１の投影ジオメトリと関連付けられた複数の面分を含み、前記コンテンツ境界は、面分間の境界を定義し、前記パディングサンプルロケーションを導出するステップは、
前記現在のサンプルロケーションを含む第１の面分を識別するステップと、
前記第１の面分と関連付けられた前記近隣サンプルロケーションの３Ｄ位置を計算するステップと、
前記近隣サンプルロケーションの前記３Ｄ位置に基づいて、前記パディングサンプルロケーションを含む第２の面分を識別するステップと、
前記パディングサンプルロケーションとして、前記第２の面分内における前記近隣サンプルロケーションの２Ｄ平面位置を導出するために、前記近隣サンプルロケーションの前記３Ｄ位置を用いて、ジオメトリ投影を適用するステップと
を含む請求項１に記載の方法。
前記現在のサンプルロケーションを含む第１の面分を識別するステップと、
前記第１の面分と関連付けられた前記近隣サンプルロケーションの３Ｄ位置を計算するステップと、
前記近隣サンプルロケーションの前記３Ｄ位置に基づいて、前記パディングサンプルロケーションを含む第２の面分を識別するステップと、
前記パディングサンプルロケーションとして、前記第２の面分内における前記近隣サンプルロケーションの２Ｄ平面位置を導出するために、前記近隣サンプルロケーションの前記３Ｄ位置を用いて、ジオメトリ投影を適用するステップと
を含む請求項１に記載の方法。
【請求項5】
前記パディングサンプルロケーションを導出するステップは、
前記第１の投影ジオメトリにおける座標を、第２の投影ジオメトリと関連付けられた中間座標に変換するステップであって、前記近隣サンプルロケーションの前記３Ｄ位置は、前記中間座標で計算され、前記第２の面分内における前記近隣サンプルロケーションの前記２Ｄ平面位置は、前記中間座標で識別される、ステップと、
前記第２の投影ジオメトリと関連付けられた前記近隣サンプルロケーションの前記識別された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標に変換し戻すステップと
をさらに備える請求項４に記載の方法。
前記第１の投影ジオメトリにおける座標を、第２の投影ジオメトリと関連付けられた中間座標に変換するステップであって、前記近隣サンプルロケーションの前記３Ｄ位置は、前記中間座標で計算され、前記第２の面分内における前記近隣サンプルロケーションの前記２Ｄ平面位置は、前記中間座標で識別される、ステップと、
前記第２の投影ジオメトリと関連付けられた前記近隣サンプルロケーションの前記識別された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標に変換し戻すステップと
をさらに備える請求項４に記載の方法。
【請求項6】
補間フィルタを使用して、前記パディングサンプルロケーションにおけるパディングサンプル値を導出するステップであって、前記３６０度ビデオコンテンツは、前記パディングサンプル値に基づいて処理される、ステップ
をさらに備える請求項１に記載の方法。
をさらに備える請求項１に記載の方法。
【請求項7】
前記補間フィルタは、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、または離散コサイン変換ベースの補間フィルタのうちの少なくとも１つを含む請求項６に記載の方法。
【請求項8】
前記３６０度ビデオコンテンツを処理するステップは、
前記パディングサンプルロケーションにおけるパディングサンプル値を導出するステップと、
前記導出されたパディングサンプル値を使用して、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、または適応ループフィルタリングのうちの少なくとも１つを実行するステップと
を含む請求項１に記載の方法。
前記パディングサンプルロケーションにおけるパディングサンプル値を導出するステップと、
前記導出されたパディングサンプル値を使用して、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、または適応ループフィルタリングのうちの少なくとも１つを実行するステップと
を含む請求項１に記載の方法。
【請求項9】
前記３６０度ビデオコンテンツを処理するステップは、
前記現在のサンプルロケーションが、前記コンテンツ境界上に位置付けられたときに、前記パディングサンプルロケーションに基づいて、デブロッキングフィルタを適用するステップ
を含む請求項１に記載の方法。
前記現在のサンプルロケーションが、前記コンテンツ境界上に位置付けられたときに、前記パディングサンプルロケーションに基づいて、デブロッキングフィルタを適用するステップ
を含む請求項１に記載の方法。
【請求項10】
前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記右コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記フレームパッキングされたピクチャの前記右端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けられ、
前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの前記左端コンテンツ境界の近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記左コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記フレームパッキングされたピクチャの前記左端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの前記右端コンテンツ境界の近くに位置付けられ、
前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記上端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記上端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記上端コンテンツ境界の第２のエリアの近くに位置付けられ、
前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記下端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記下端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記下端コンテンツ境界の第２のエリアの近くに位置付けられる
請求項１に記載の方法。
前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの前記左端コンテンツ境界の近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記左コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記フレームパッキングされたピクチャの前記左端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの前記右端コンテンツ境界の近くに位置付けられ、
前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記上端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記上端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記上端コンテンツ境界の第２のエリアの近くに位置付けられ、
前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記下端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記下端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記下端コンテンツ境界の第２のエリアの近くに位置付けられる
請求項１に記載の方法。
【請求項11】
３６０度ビデオコンテンツを符号化する方法であって、
第１の投影ジオメトリと関連付けられたフレームパッキングされたピクチャ内における現在のブロックを識別するステップと、
初期基準ブロックが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定するステップと、
前記初期基準ブロックが前記コンテンツ境界の外部にあるという条件において、前記３６０度ビデオコンテンツの少なくとも１つの円特性と、前記第１の投影ジオメトリとに基づいて、マッピングされた基準ブロックを導出するステップと、
前記マッピングされた基準ブロックと関連付けられた属性を導出するステップと、
前記マッピングされた基準ブロックと関連付けられた前記属性に基づいて、前記現在のブロックを予測するステップと
を備える方法。
第１の投影ジオメトリと関連付けられたフレームパッキングされたピクチャ内における現在のブロックを識別するステップと、
初期基準ブロックが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定するステップと、
前記初期基準ブロックが前記コンテンツ境界の外部にあるという条件において、前記３６０度ビデオコンテンツの少なくとも１つの円特性と、前記第１の投影ジオメトリとに基づいて、マッピングされた基準ブロックを導出するステップと、
前記マッピングされた基準ブロックと関連付けられた属性を導出するステップと、
前記マッピングされた基準ブロックと関連付けられた前記属性に基づいて、前記現在のブロックを予測するステップと
を備える方法。
【請求項12】
前記コンテンツ境界は、フレームパッキングされたピクチャの境界、または面分境界のうちの少なくとも一方を含む請求項１１に記載の方法。
【請求項13】
前記第１の投影ジオメトリは、エクイレクタングラ投影、正積投影、キューブマップ投影、８面体投影、または円筒投影のうちの少なくとも１つを含む請求項１１に記載の方法。
【請求項14】
前記フレームパッキングされたピクチャは、前記第１の投影ジオメトリと関連付けられた複数の面分を含み、前記コンテンツ境界は、面分間の境界を定義し、前記方法は、
前記現在のブロックのロケーションを含む第１の面分を識別するステップと、
前記初期基準ブロックと関連付けられたロケーションの３Ｄ位置を計算するステップであって、前記３Ｄ位置は、前記第１の面分と関連付けられる、ステップと、
前記初期基準ブロックと関連付けられた前記ロケーションの前記３Ｄ位置に基づいて、前記マッピングされた基準ブロックを含む第２の面分を識別するステップと、
前記マッピングされた基準ブロックを導出するための、前記第２の面分内における前記初期基準ブロックの２Ｄ平面位置を導出するために、前記初期基準ブロックと関連付けられた前記ロケーションの前記３Ｄ位置を用いて、ジオメトリ投影を適用するステップと
をさらに備える請求項１１に記載の方法。
前記現在のブロックのロケーションを含む第１の面分を識別するステップと、
前記初期基準ブロックと関連付けられたロケーションの３Ｄ位置を計算するステップであって、前記３Ｄ位置は、前記第１の面分と関連付けられる、ステップと、
前記初期基準ブロックと関連付けられた前記ロケーションの前記３Ｄ位置に基づいて、前記マッピングされた基準ブロックを含む第２の面分を識別するステップと、
前記マッピングされた基準ブロックを導出するための、前記第２の面分内における前記初期基準ブロックの２Ｄ平面位置を導出するために、前記初期基準ブロックと関連付けられた前記ロケーションの前記３Ｄ位置を用いて、ジオメトリ投影を適用するステップと
をさらに備える請求項１１に記載の方法。
【請求項15】
前記マッピングされた基準ブロックを導出するステップは、
前記第１の投影ジオメトリにおける座標を、第２の投影ジオメトリと関連付けられた中間座標に変換するステップであって、前記初期基準ブロックロケーションと関連付けられた前記ロケーションの前記３Ｄ位置は、前記中間座標で計算され、前記マッピングされた基準ブロックを導出するための、前記第２の面分内における前記初期基準ブロックの前記２Ｄ平面位置は、前記中間座標で識別される、ステップと、
前記第２の投影ジオメトリと関連付けられた前記初期基準ブロックの前記識別された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標に変換し戻すステップと
を含む請求項１４に記載の方法。
前記第１の投影ジオメトリにおける座標を、第２の投影ジオメトリと関連付けられた中間座標に変換するステップであって、前記初期基準ブロックロケーションと関連付けられた前記ロケーションの前記３Ｄ位置は、前記中間座標で計算され、前記マッピングされた基準ブロックを導出するための、前記第２の面分内における前記初期基準ブロックの前記２Ｄ平面位置は、前記中間座標で識別される、ステップと、
前記第２の投影ジオメトリと関連付けられた前記初期基準ブロックの前記識別された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標に変換し戻すステップと
を含む請求項１４に記載の方法。
【請求項16】
補間フィルタを使用して、前記マッピングされた基準ブロックと関連付けられた複数のサンプル値を導出するステップであって、前記３６０度ビデオコンテンツは、前記マッピングされた基準ブロックと関連付けられた前記複数のサンプル値に基づいて処理される、ステップ
をさらに含む請求項１１に記載の方法。
をさらに含む請求項１１に記載の方法。
【請求項17】
前記補間フィルタは、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、または離散コサイン変換ベースの補間フィルタのうちの少なくとも１つを含む請求項１６に記載の方法。
【請求項18】
前記マッピングされた基準ブロックにおいて複数のサンプル値を導出するステップと、
前記マッピングされた基準ブロック内の前記複数のサンプル値を使用して、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、または適応ループフィルタリングのうちの少なくとも１つを実行するステップと
をさらに含む請求項１１に記載の方法。
前記マッピングされた基準ブロック内の前記複数のサンプル値を使用して、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、または適応ループフィルタリングのうちの少なくとも１つを実行するステップと
をさらに含む請求項１１に記載の方法。
【請求項19】
前記現在のブロックが、前記フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けられ、前記決定された初期基準ブロックが、前記右コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記フレームパッキングされたピクチャの前記右端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けられ、
前記現在のブロックが、前記フレームパッキングされたピクチャの前記左端コンテンツ境界の近くに位置付けられ、前記決定された初期基準ブロックが、前記左コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記フレームパッキングされたピクチャの前記左端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの前記右端コンテンツ境界の近くに位置付けられ、
前記現在のブロックが、前記フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された初期基準ブロックが、前記上端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記上端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記上端コンテンツ境界の第２のエリアの近くに位置付けられ、
前記現在のブロックが、前記フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された初期基準ブロックが、前記下端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記下端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記下端コンテンツ境界の第２のエリアの近くに位置付けられる
請求項１１に記載の方法。
前記現在のブロックが、前記フレームパッキングされたピクチャの前記左端コンテンツ境界の近くに位置付けられ、前記決定された初期基準ブロックが、前記左コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記フレームパッキングされたピクチャの前記左端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの前記右端コンテンツ境界の近くに位置付けられ、
前記現在のブロックが、前記フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された初期基準ブロックが、前記上端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記上端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記上端コンテンツ境界の第２のエリアの近くに位置付けられ、
前記現在のブロックが、前記フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された初期基準ブロックが、前記下端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記下端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記下端コンテンツ境界の第２のエリアの近くに位置付けられる
請求項１１に記載の方法。
【請求項20】
前記属性は、マッピングされたブロックの位置の、イントラモード、インターモード、マージモード、または動き情報のうちの少なくとも１つを含む請求項１１に記載の方法。
【請求項21】
前記マッピングされた基準ブロックは、前記第１の投影ジオメトリと関連付けられた３Ｄジオメトリを展開することによって、導出される請求項１１に記載の方法。
【請求項22】
前記初期基準ブロックが、前記コンテンツ境界に対して対角線位置上にないとき、前記現在のブロックは、前記コンテンツ境界に対して垂直または対角線方向に位置付けられた最も近い利用可能なブロックを複製することによって予測される請求項２１に記載の方法。
【請求項23】
前記現在のブロックを予測するステップは、
面分の有効なパディングされる領域を、前記第１の投影ジオメトリと関連付けられた前記面分のサイズに基づいて、決定するステップと、
前記初期基準ブロックが、前記有効なパディングされる領域内に位置付けられているかどうかを決定するステップであって、前記初期基準ブロックが、前記有効なパディングされる領域の外部に位置付けられているとき、前記現在のブロックは、前記有効なパディングされる領域内に位置付けられた最も近い利用可能なブロックに基づいて予測される、ステップと
を含む請求項１１に記載の方法。
面分の有効なパディングされる領域を、前記第１の投影ジオメトリと関連付けられた前記面分のサイズに基づいて、決定するステップと、
前記初期基準ブロックが、前記有効なパディングされる領域内に位置付けられているかどうかを決定するステップであって、前記初期基準ブロックが、前記有効なパディングされる領域の外部に位置付けられているとき、前記現在のブロックは、前記有効なパディングされる領域内に位置付けられた最も近い利用可能なブロックに基づいて予測される、ステップと
を含む請求項１１に記載の方法。
【請求項24】
前記初期基準ブロックが、前記有効なパディングされる領域内に位置付けられているとき、前記現在のブロックは、前記マッピングされた基準ブロックに基づいて予測される請求項２３に記載の方法。
【請求項25】
前記現在のブロックを予測するステップは、
面分の有効なパディングされる領域を、前記第１の投影ジオメトリと関連付けられた前記面分のサイズに基づいて、決定するステップと、
初期基準ブロックが、前記有効なパディングされる領域内に位置付けられた第１のサブブロックと、前記有効なパディングされる領域の外部に位置付けられた第２のサブブロックとを含むと決定するステップと、
前記有効なパディングされる領域の外部に位置付けられた前記第２のサブブロック内の複数のサンプルを、前記有効なパディングされる領域内のそれぞれの近隣サンプル値を用いて、パディングするステップと、
前記第１のサブブロック内の複数のサンプルと、前記第２のサブブロック内の前記複数のパディングされたサンプルとに基づいて、前記現在のブロックを予測するステップと
を含む請求項１１に記載の方法。
面分の有効なパディングされる領域を、前記第１の投影ジオメトリと関連付けられた前記面分のサイズに基づいて、決定するステップと、
初期基準ブロックが、前記有効なパディングされる領域内に位置付けられた第１のサブブロックと、前記有効なパディングされる領域の外部に位置付けられた第２のサブブロックとを含むと決定するステップと、
前記有効なパディングされる領域の外部に位置付けられた前記第２のサブブロック内の複数のサンプルを、前記有効なパディングされる領域内のそれぞれの近隣サンプル値を用いて、パディングするステップと、
前記第１のサブブロック内の複数のサンプルと、前記第２のサブブロック内の前記複数のパディングされたサンプルとに基づいて、前記現在のブロックを予測するステップと
を含む請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ジオメトリ投影を使用する３６０度ビデオ符号化に関する。
【背景技術】
【0002】
関連出願の相互参照
本出願は、その内容が参照によって本明細書に組み込まれる、２０１６年７月８日に出願された米国特許仮出願第６２／３６０１１２号明細書、２０１６年１０月４日に出願された米国特許仮出願第６２／４０４０１７号明細書、２０１７年２月２４日に出願された米国特許仮出願明細書第６２／４６３２４２号明細書、および２０１７年５月３日に出願された米国特許仮出願明細書第６２／５００６０５号の利益を主張し、本出願は、これらの優先出願の出願日の利益を主張する。
本出願は、その内容が参照によって本明細書に組み込まれる、２０１６年７月８日に出願された米国特許仮出願第６２／３６０１１２号明細書、２０１６年１０月４日に出願された米国特許仮出願第６２／４０４０１７号明細書、２０１７年２月２４日に出願された米国特許仮出願明細書第６２／４６３２４２号明細書、および２０１７年５月３日に出願された米国特許仮出願明細書第６２／５００６０５号の利益を主張し、本出願は、これらの優先出願の出願日の利益を主張する。
【0003】
バーチャルリアリティ（ＶＲ）は、ヘルスケア、教育、ソーシャルネットワーキング、工業デザイン／トレーニング、ゲーム、映画、ショッピング、および／またはエンターテイメントなどを含むが、それらに限定されない、多くの応用分野において適用されている。ＶＲは、例えば、視聴者を取り巻く仮想環境を作り出し、視聴者が本当に「そこにいる」感覚を生み出すことによって、視聴者の体験を高めることができる。ＶＲシステムは、姿勢、ジェスチャ、視線、声などを通した対話をサポートすることができる。システムは、ユーザが、ＶＲ環境内のオブジェクトと自然な方法で対話することができるように、触覚フィードバックをユーザに提供することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
３６０度ビデオコンテンツを符号化するための投影ジオメトリを提供する。
【課題を解決するための手段】
【0005】
ビデオデータの処理は、複数のカメラを用いてビデオデータをキャプチャすることと、ビデオデータを一緒につなぎ合わせて、３６０度ビデオを獲得することとを含むことができる。本明細書において使用される場合、３６０度ビデオは、全球ビデオ、全方位ビデオ、バーチャルリアリティ（ＶＲ）ビデオ、パノラマビデオ、没入型ビデオ（例えば、６自由度を含むことができるライトフィールドビデオ）、および／またはポイントクラウドビデオなどを含むことができる。３６０度ビデオのエンコーディングおよび／またはデコーディングの間、ジオメトリパディングを適用することができる。
【0006】
３６０度ビデオコンテンツは、符号化することができる。１つまたは複数のカメラを用いてキャプチャされたビデオデータと、キャプチャされたビデオデータのつなぎ合わせとに基づいて、フレームピクチャを提供することができる。フレームパッキングされたピクチャ内において、現在のサンプルロケーションを識別することができる。フレームパッキングされたピクチャは、第１の投影ジオメトリと関連付けられた、１つまたは複数の面分を含むことができる。現在のサンプルロケーションは、第１の投影ジオメトリと関連付けることができる。第１の投影ジオメトリは、例えば、エクイレクタングラ投影、正積投影、キューブマップ投影、８面体投影、または円筒投影などのうちの少なくとも１つを含むことができる。３６０度ビデオコンテンツを符号化するための本明細書において説明される投影ジオメトリは、例示的な方法として使用され、当業者は、他の投影フォーマットを交換可能に使用することができることを理解するであろう。
【0007】
近隣サンプルロケーションが、フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられているかどうかを、決定することができる。コンテンツ境界は、フレームパッキングされたピクチャの境界、および／または面分境界などを含むことができる。近隣サンプルロケーションが、フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられている場合、３６０度ビデオコンテンツの１つまたは複数の円特性と、第１の投影ジオメトリとに基づいて、パディングサンプルロケーションを導出することができる。近隣サンプルロケーションの３Ｄ位置を計算することができる。近隣サンプルロケーションは、現在のサンプルロケーションを含む面分と関連付けて、計算することができる。近隣サンプルロケーションの３Ｄ位置に基づいて、パディングサンプルロケーションを含む第２の面分を決定することができる。第２の面分は、現在のサンプルロケーションを含む第１の面分と異なることができる。第２の面分内における２Ｄ平面位置を導出するために、近隣サンプルロケーションの３Ｄ位置を用いて、ジオメトリ投影を適用することができる。第２の面分内における近隣サンプルロケーションの２Ｄ平面位置は、近隣サンプルロケーションの３Ｄ位置のジオメトリ投影に基づいて、パディングサンプルロケーションとして導出することができる。
【0008】
近隣サンプルロケーションが、フレームパッキングされたピクチャのコンテンツ境界の内部に位置付けられている場合、パディングサンプルロケーションの導出は、スキップすることができる。３６０度ビデオコンテンツは、（例えば、コンテンツ境界の内部に位置付けられた）近隣サンプルロケーションを使用して、処理することができる。
【0009】
パディングサンプルロケーションを導出するために、中間投影を使用することができる。例えば、第１の投影ジオメトリにおける座標は、第２の投影ジオメトリと関連付けられた中間座標に変換することができる。第１の投影ジオメトリは、ユニキューブ投影とすることができ、第２の投影ジオメトリは、キューブマップ投影とすることができる。近隣サンプルロケーションの３Ｄ位置は、中間座標において計算することができ、第２の面分内における近隣サンプルロケーションの２Ｄ平面位置は、中間座標において識別することができる。第２の投影ジオメトリと関連付けられた近隣サンプルロケーションの識別された２Ｄ平面位置は、第１の投影ジオメトリと関連付けられた座標に変換され戻すことができる。
【0010】
３６０度ビデオコンテンツは、導出されたパディングサンプルロケーションに基づいて処理することができる。例えば、パディングサンプルロケーションにおいて、パディングサンプル値を導出することができる。パディングサンプルロケーションにおけるパディングサンプル値は、補間フィルタを使用して、導出することができる。例えば、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、および／または離散コサイン変換ベースの補間フィルタなどを使用することができる。例えば、パディングサンプル値を導出するために、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、および／または適応ループフィルタリングなどを実行することができる。現在のサンプルロケーションが、コンテンツ境界上に位置付けられているときは、パディングサンプルロケーションに基づいたデブロッキングフィルタを適用することができる。
【0011】
３６０度ビデオコンテンツの円特性に従って、現在のサンプルロケーションが、フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けられ、決定された近隣サンプルロケーションが、右側コンテンツ境界を越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、パディングサンプルロケーションは、フレームパッキングされたピクチャの右端コンテンツ境界に円環的に接続される、フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けることができる。現在のサンプルロケーションが、フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けられ、決定された近隣サンプルロケーションが、左側コンテンツ境界を越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、パディングサンプルロケーションは、フレームパッキングされたピクチャの左端コンテンツ境界に円環的に接続される、フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けることができる。現在のサンプルロケーションが、フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、決定された近隣サンプルロケーションが、上端コンテンツ境界の第１のエリアを越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、パディングサンプルロケーションは、上端コンテンツ境界の第１のエリアの円環的な反対側に位置付けられる、上端コンテンツ境界の第２のエリアの近くに位置付けることができる。現在のサンプルロケーションが、フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、決定された近隣サンプルロケーションが、下端コンテンツ境界の第１のエリアを越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、パディングサンプルロケーションは、下端コンテンツ境界の第１のエリアの円環的な反対側に位置付けられる、下端コンテンツ境界の第２のエリアの近くに位置付けることができる。
【0012】
３６０度ビデオコンテンツを符号化するために、導出またはマッピングされた基準ブロックに基づいて、現在のブロックを予測することができる。現在のブロックと関連付けられた初期基準ブロックが、フレームパッキングされたピクチャのコンテンツ境界の外側に位置付けられているかどうかを、決定することができる。初期基準ブロックが、コンテンツ境界の外側にある場合、３６０度ビデオコンテンツの１つまたは複数の円特性と、第１の投影ジオメトリとに基づいて、マッピングされた基準ブロックを導出することができる。初期基準ブロックと関連付けられたロケーションの３Ｄ位置を識別することができる。初期基準ブロックと関連付けられたロケーションは、現在のブロックを含む面分と関連付けて、計算することができる。初期基準ブロックと関連付けられたロケーションの３Ｄ位置に基づいて、マッピングされた基準ブロックを含む第２の面分を識別することができる。第１の面分は、第２の面分と異なることができる。ジオメトリ投影は、初期基準ブロックと関連付けられたロケーションの３Ｄ位置に基づいて、適用することができる。ジオメトリ投影に基づいて、マッピングされた基準ブロックについて、第２の面分内における初期基準ブロックの２Ｄ平面位置を導出することができる。
【0013】
初期基準ブロックが、コンテンツ境界の内部にある場合、マッピングされた基準ブロックの導出は、スキップすることができる。現在のブロックは、（例えば、コンテンツ境界の内部に位置付けられた）初期基準ブロックに基づいて、予測することができる。
【0014】
マッピングされた基準ブロックを導出するために、中間投影を使用することができる。例えば、第１の投影ジオメトリにおける座標は、第２の投影ジオメトリと関連付けられた中間座標に変換することができる。第１の投影ジオメトリは、ユニキューブ投影とすることができ、第２の投影ジオメトリは、キューブマップ投影とすることができる。初期基準ブロックロケーションと関連付けられたロケーションの３Ｄ位置は、中間座標において計算することができる。マッピングされた基準ブロックを導出するための第２の面分内における初期基準ブロックの２Ｄ平面位置は、中間座標において識別することができる。第２の投影ジオメトリと関連付けられた初期基準ブロックの識別された２Ｄ平面位置は、第１の投影ジオメトリと関連付けられた座標に変換され戻すことができる。
【0015】
現在のブロックが、フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けられ、決定された初期基準ブロックが、右側コンテンツ境界を越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、マッピングされた基準ブロックは、フレームパッキングされたピクチャの右端コンテンツ境界に円環的に接続される、フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けることができる。現在のブロックが、フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けられ、決定された初期基準ブロックが、左側コンテンツ境界を越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、マッピングされた基準ブロックは、フレームパッキングされたピクチャの左端コンテンツ境界に円環的に接続される、フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けることができる。現在のブロックが、フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、決定された初期基準ブロックが、上端コンテンツ境界の第１のエリアを越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、マッピングされた基準ブロックは、上端コンテンツ境界の第１のエリアの円環的な反対側に位置付けられる、上端コンテンツ境界の第２のエリアの近くに位置付けることができる。現在のブロックが、フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、決定された初期基準ブロックが、下端コンテンツ境界の第１のエリアを越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、マッピングされた基準ブロックは、下端コンテンツ境界の第１のエリアの円環的な反対側に位置付けられる、下端コンテンツ境界の第２のエリアの近くに位置付けることができる。
【0016】
マッピングされた基準ブロックと関連付けられたサンプル値は、補間フィルタを使用して、導出することができる。例えば、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、および／または離散コサイン変換ベースの補間フィルタなどを使用することができる。
【0017】
現在のブロックを予測するために、マッピングされた基準ブロックと関連付けられた１つまたは複数の属性を導出することができる。例えば、属性は、マッピングされたブロックの位置の、イントラモード、インターモード、マージモード、および／または動き情報などを含むことができる。現在のブロックは、属性に基づいて、予測することができる。３６０度ビデオコンテンツを処理するために、マッピングされた基準ブロック内のサンプル値を導出することができる。例えば、ビデオ処理のために、マッピングされた基準ブロック内の複数のサンプル値を導出するために、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、および／または適応ループフィルタリングなどを使用することができる。
【0018】
マッピングされた基準ブロックは、第１の投影ジオメトリと関連付けられた３Ｄジオメトリを展開することによって、導出することができる。初期基準ブロックが、コンテンツ境界に対して対角線位置上にないときは、現在のブロックは、コンテンツ境界に対して垂直または対角線に位置付けられた、最も近くの利用可能なブロックを複製することによって、予測することができる。
【0019】
現在のブロックは、面分のサイズに基づいて、面分の有効なパディングされた領域を決定することによって、予測することができる。初期基準ブロックが、有効なパディングされた領域内に位置付けられているかどうかを、決定することができる。初期基準ブロックが、有効なパディングされた領域の外部に位置付けられているときは、現在のブロックは、有効なパディングされた領域内に位置付けられた、最も近くの利用可能なブロックに基づいて、予測することができる。初期基準ブロックが、有効なパディングされた領域の内部に位置付けられているときは、現在のブロックは、マッピングされた基準ブロックに基づいて、予測することができる。
【0020】
初期基準ブロックは、部分的に、有効なパディングされた領域の外部に位置付けることができる。例えば、初期基準ブロックは、有効なパディングされた領域内に位置付けられた第１のサブブロックと、有効なパディングされた領域の外部に位置付けられた第２のサブブロックとを含むことができる。有効なパディングされた領域の外部に位置付けられた第２のサブブロックのサンプルは、その後、有効なパディングされた領域内に位置付けられたそれぞれの近隣サンプル値を使用して、パディングすることができる。現在のブロックは、第１のサブブロック内のサンプルと、第２のサブブロック内のパディングされたサンプルとに基づいて、予測することができる。
【0021】
有効なパディングされた領域の範囲は、第１の投影ジオメトリと関連付けられた面分の少なくとも位置および／またはサイズに基づいて、決定することができる。初期基準ブロックが、少なくとも部分的に、有効なパディングされた領域の外部に位置付けられているかどうかを、決定することができる。初期基準ブロックが、少なくとも部分的に、有効なパディングされた領域の外部に位置付けられているときは、初期基準ブロックは、現在のブロックの予測から除外することができる。
【0022】
本明細書において開示される実施形態についてのより詳細な理解は、添付の図面と併せて、例によって与えられる、以下の説明から得ることができる。
【図面の簡単な説明】
【0023】
【図1A】エクイレクタングラ投影（ＥＲＰ）における、経度方向および緯度方向に沿った、例示的な球サンプリングを示す図である。
【図1B】ＥＲＰにおける例示的な２Ｄ平面を示す図である。
【図1C】ＥＲＰを使用して生成された例示的なピクチャを示す図である。
【図2A】キューブマップ投影（ＣＭＰ）における例示的な３Ｄジオメトリ構造を示す図である。
【図2B】４×３フレームパッキングを用いた６つの面分を有する例示的な２Ｄ平面を示す図である。
【図2C】キューブマップ投影を使用し生成された例示的ピクチャの図である。
【図3A】正積投影（ＥＡＰ）における例示的球サンプリングを示す図である。
【図3B】ＥＡＰにおける例示的な２Ｄ平面を示す図である。
【図3C】ＥＡＰを使用して生成された例示的なピクチャを示す図である。
【図4A】８面体投影における例示的な３Ｄジオメトリ構造を示す図である。
【図4B】８面体投影における例示的２Ｄ平面フレームパッキングの図である。
【図4C】８面体投影を使用して生成された例示的なピクチャを示す図である。
【図5】例示的な３６０度ビデオ処理を示す図である。
【図6】例示的なブロックベースのエンコーダのブロック図である。
【図7】例示的なブロックベースのデコーダのブロック図である。
【図8】ＨＥＶＣイントラ予測において基準サンプルを使用する例を示す図である。
【図9】ＨＥＶＣにおけるイントラ予測方向の例示的な表示を示す図である。
【図10】１つの動きベクトルを用いた例示的なインター予測を示す図である。
【図11】ＨＥＶＣ／Ｈ．２６４におけるピクチャ境界の外部の基準サンプルのためのパディングを示す図である。
【図12】ＨＥＶＣマージプロセスにおいて空間マージ候補を導出するために、いかに空間近隣ブロックを使用することができるかを示す図である。
【図13】キューブマップを使用して投影される面分ピクチャについての不連続性およびジオメトリパディングを示す図である。
【図14】（Ａ）は、キューブマップのためのパディングの例示的３Ｄ表現を示す図であり、（Ｂ）は、キューブマップのためのパディングの、正面面分の周囲に展開された面分を有する、例示的なフラット表現を示す図である。
【図15】（Ａ）は、最も近い近隣の技法を使用した、コーナエリアにおける欠損サンプルの例示的な外挿を示す図であり、（Ｂ）は、面分境界に対して対角線方向の技法を使用した、コーナエリアにおける欠損サンプルの例示的な外挿を示す図である。
【図16】キューブマップ４×３フレームパッキングされたピクチャについての例示的な動き補償予測を示す図である。
【図17A】球上における連続性を示すための、エクイレクタングラ投影を用いて投影されたピクチャに対する例示的なパディングの図である。
【図17B】エクイレクタングラ投影を用いて投影されたピクチャに対する例示的なパディングの別の図である。
【図18】ルックアップテーブルを使用してサイン関数どう導出するのかを示す図である。
【図19A】動き推定のためのパディングされた面分用バッファの図である。
【図19B】パディングされた面分用バッファ内における動き推定の図である。
【図20A】ソースピクチャサイズが、最小符号化ユニット（ＣＵ）サイズの倍数ではないときの、水平方向におけるパディングを示す図である。
【図20B】ソースピクチャサイズが、最小ＣＵサイズの倍数ではないときの、垂直方向におけるパディングを示す図である。
【図20C】ソースピクチャサイズが、最小ＣＵサイズの倍数ではないときの、水平方向および垂直方向におけるパディングを示す図である。
【図21】現在のブロックをデブロッキングするときに使用される近隣ブロックを示す図である。
【図22】エッジオフセットサンプル適応オフセット（ＳＡＯ）によってフィルタリングすることができるピクセルを示す図である。
【図23A】実行される例示的なデコード済みピクチャバッファ（ＤＰＢ）管理の図である。
【図23B】実行される例示的なＤＰＢ管理の別の図である。
【図24A】キューブマップについてキューブ面分の一様サンプリングの図である。
【図24B】キューブマップについての非一様な球サンプリングの例示的図である。
【図24C】ユニキューブについてキューブ面分の非一様サンプリングの図である。
【図24D】ユニキューブについての一様な球サンプリングの例示的図である。
【図25】（Ａ）は、キューブ面分の非一様な区分化グリッドからユニキューブ面分の一様な区分化グリッドへの例示的マッピングを示す図であり、（Ｂ）は、ユニキューブ面分の一様な区分化グリッドからキューブ面分の非一様な区分化グリッドへの例示的マッピングを示す図である。
【図26A】キューブ面分上における例示的な非一様な区分化を示す図である。
【図26B】球上における例示的な一様な区分化を示す図である。
【図26C】キューブ面分の座標βとユニキューブ面分の座標β’との間の例示的マッピングを示す図である。
【図27】１つのユニキューブ面分についてのパディングされるサンプルの有効な領域の例示的な図である。
【図28】ユニキューブフォーマットについてのパディングされるサンプルの有効な領域にＭＶをクリッピングする例示的な図である。
【図29】ユニキューブ投影についてのハイブリッドパディングの例示的図である。
【図30】ユニキューブ投影についてのハイブリッドパディングの例示的ピクチャを示す図である。
【図31】キューブマップ、ユニキューブ、ＡＣＰ、およびＥＡＣのマッピング関数の例示的な比較を示す図である。
【図32】ユニキューブについてのジオメトリパディングのために６つの面分に対してルックアップを使用する例示的な図である。
【図33A】１つまたは複数の開示される実施形態を実施できる、例示的通信システムの図である。
【発明を実施するための形態】
【0024】
説明的な実施形態についての詳細な説明が、様々な図を参照して、今から行われる。この説明は、可能な実施の詳細な例を提供するが、詳細は、例示的であることが意図されており、決して本出願の範囲を限定しないことに留意されたい。
【0025】
ＶＲシステムは、１つまたは複数の３６０度ビデオを使用することができる。３６０度ビデオは、水平方向においては３６０度の角度から、垂直方向においては１８０度の角度から、見ることができる。ＶＲシステムおよび３６０度ビデオは、超高解像度（ＵＨＤ）サービスを超えたメディア消費のために、使用することができる。フリービューＴＶ（ＦＴＶ）は、ソリューションの性能をテストすることができる。例えば、ＦＴＶは、３６０度ビデオ（もしくは、例えば、全方位ビデオ）ベースのシステム、および／またはマルチビューベースのシステムの性能をテストすることができる。
【0026】
ＶＲシステムは、処理チェーンを含むことができる。処理チェーンは、キャプチャリング、処理、表示、および／または適用を含むことができる。キャプチャリングに関して、ＶＲシステムは、１つまたは複数のカメラを使用して、異なる多様なビュー（例えば、６から１２のビュー）からシーンをキャプチャすることができる。ビューは、一緒につなぎ合わせることができ、（例えば、４Ｋまたは８Ｋなどの高解像度で）３６０度ビデオを形成することができる。ＶＲシステムのクライアントおよび／またはユーザサイドは、計算プラットフォーム、頭部装着型ディスプレイ（ＨＭＤ）、および／または頭部追跡センサを含むことができる。計算プラットフォームは、（例えば、３６０度ビデオを）受け取り、デコードし、および／または表示のためにビューポートを生成することができる。（例えば、各目に対して１つの）２つのピクチャを、表示のためにレンダリングすることができる。２つのピクチャは、立体視のために、ＨＭＤにおいて表示することができる。ＨＭＤにおいて表示される画像を拡大するために、レンズを使用することができる。例えば、より良く見えるように、レンズを使用して、ＨＭＤにおいて表示される画像を拡大することができる。頭部追跡センサは、視聴者の頭部の向きを追跡する（例えば、常に追跡する）ことができる。向き情報は、その向きのためのビューポートピクチャを表示するために、ＶＲシステムに供給することができる。ＶＲシステムは、専用のタッチデバイスを提供することができる。例えば、専用のタッチデバイスは、視聴者が、仮想世界内のオブジェクトと対話することを可能にすることができる。ＶＲシステムは、グラフィカル処理ユニット（ＧＰＵ）サポートを備えるワークステーションによって、駆動することができる。ＶＲシステムは、計算プラットフォームとして、ＨＭＤディスプレイとして、および／または頭部追跡センサとして、モバイルデバイス（例えば、スマートフォン）を使用することができる。空間ＨＭＤ解像度は、例えば、２１６０×１２００であることができる。リフレッシュレートは、例えば、９０Ｈｚであることができる。視野（ＦＯＶ）は、例えば、１１０度であることができる。頭部追跡センサのサンプリングレートは、速い動きをキャプチャするために、例えば、１０００Ｈｚであることができる。ＶＲシステムは、レンズと、カードボードとを備えることができ、スマートフォンによって駆動することができる。ＶＲシステムは、ゲーミングのために、使用することができる。１つまたは複数の３６０度ビデオストリーミングサービスを、提供することができる。
【0027】
ＶＲシステムは、対話性および／または触覚フィードバックを提供することが可能であることができる。大きいＨＭＤは、人が着用するのに便利ではないことがある。（例えば、あるＨＭＤによって提供されるような）立体視のための２１６０×１２００の解像度は、十分でないことがあり、いくらかのユーザにめまいおよび不快感を起こさせることがある。解像度の増加が、望ましいことがある。ＶＲ体験は、ＶＲシステムの視覚的効果を、現実世界の力フィードバックと組み合わせることによって、高めることができる。ＶＲジェットコースタアプリケーションは、ＶＲシステムの視覚的効果を、現実世界の力フィードバックと組み合わせた例であることができる。
【0028】
３６０度ビデオは、例えば、動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）ベースのビデオストリーミング技法を使用して、圧縮および／または配信することができる。３６０度ビデオコンテンツは、球面ジオメトリ構造を用いて、表すことができる。例えば、同期が取られた複数のビューを、複数のカメラによってキャプチャすることができ、球上においてつなぎ合わせることができる。同期が取られた複数のビューは、一体構造として、球上においてつなぎ合わせることができる。球情報は、ジオメトリ変換プロセスを介して、２Ｄ平面上に投影することができる。例えば、球情報は、エクイレクタングラ投影（ＥＲＰ）を使用することによって、ジオメトリ変換プロセスを介して、２Ｄ平面上に投影することができる。図１Ａは、経度（φ）および緯度（θ）における例示的な球サンプリングを示している。図１Ｂは、ＥＲＰを使用して、２Ｄ平面上に投影された、例示的な球を示している。航空学においては、範囲［－π，π］内の経度φは、ヨーと呼ばれることがあり、範囲［－π／２，π／２］内の緯度θは、ピッチと呼ばれることがあり、πは、円の直径に対する円周の比であることができ、（ｘ，ｙ，ｚ）は、３Ｄ空間内における点の座標を表すことができ、（ｕｅ，ｖｅ）は、ＥＲＰ後の、２Ｄ平面内における点座標を表すことができる。ＥＲＰは、例えば、式（１）および／または（２）に示されるように、数学的に表すことができ、
ｕｅ＝（φ／２×π）＋０．５）×Ｗ （１）
ｖｅ＝（０．５－θ／π）×Ｈ （２）
ＷおよびＨは、２Ｄ平面ピクチャの幅および高さであることができる。図１Ａに示されるように、球上における経度Ｌ４と緯度Ａ１との間の交点である点Ｐは、式（１）および／または（２）を使用して、図１Ｂにおける２Ｄ平面内の一意的な点ｑにマッピングすることができる。図１Ｂに示された２Ｄ平面内の点ｑは、例えば、逆投影を介して、図１Ａに示された球上の点Ｐに投影し戻すことができる。図１Ｂにおける視野（ＦＯＶ）は、球におけるＦＯＶが、Ｘ軸方向では約１１０度の視野角で、２Ｄ平面にマッピングされる例を示している。
ｕｅ＝（φ／２×π）＋０．５）×Ｗ （１）
ｖｅ＝（０．５－θ／π）×Ｈ （２）
ＷおよびＨは、２Ｄ平面ピクチャの幅および高さであることができる。図１Ａに示されるように、球上における経度Ｌ４と緯度Ａ１との間の交点である点Ｐは、式（１）および／または（２）を使用して、図１Ｂにおける２Ｄ平面内の一意的な点ｑにマッピングすることができる。図１Ｂに示された２Ｄ平面内の点ｑは、例えば、逆投影を介して、図１Ａに示された球上の点Ｐに投影し戻すことができる。図１Ｂにおける視野（ＦＯＶ）は、球におけるＦＯＶが、Ｘ軸方向では約１１０度の視野角で、２Ｄ平面にマッピングされる例を示している。
【0029】
１つまたは複数の３６０度ビデオを、２Ｄビデオにマッピングすることができる。例えば、３６０度ビデオは、ＥＲＰを使用して、２Ｄビデオにマッピングすることができる。３６０度ビデオは、Ｈ．２６４または高効率ビデオ符号化（ＨＥＶＣ）などのビデオコーデックを用いて、エンコードすることができ、クライアントに配信することができる。クライアントサイドにおいては、ビデオは、例えば、エクイレクタングラピクチャ内のＦＯＶに属する部分をＨＭＤ上に投影し、表示することによって、ユーザのビューポートに基づいて、（例えば、エクイレクタングラフォーマットで）デコードし、レンダリングすることができる。エクイレクタングラ２Ｄピクチャの特性は、２Ｄピクチャ（例えば、レクティリニアビデオピクチャ）と異なることができる。図１Ｃは、例示的なエクイレクタングラピクチャを示している。ピクチャの上部は、北極に対応することができ、下部は、南極に対応することができる。図１Ｃに示されるように、上部および／または下部は、引き延ばすことができる。例えば、上部および／または下部は、赤道に対応するピクチャの中央部に比べて、引き延ばすことができる。上部および／または下部における引き延ばしは、２Ｄ空間領域におけるエクイレクタングラサンプリングが、非一様なことがあることを示すことができる。２Ｄエクイレクタングラピクチャ内のモーションフィールドは、複雑なことがある。例えば、時間方向における２Ｄエクイレクタングラピクチャ内のモーションフィールドは、複雑なことがある。
【0030】
並進モデルを使用して、モーションフィールドを記述する、あるビデオコーデック（例えば、ＭＰＥＧ－２、Ｈ．２６４、および／またはＨＥＶＣ）は、エクイレクタングラ投影された２Ｄ平面ピクチャにおいて、形状変化運動を表すことができないことがある。ＥＲＰを用いる場合、極により近いエリアは、視聴者および／またはコンテンツプロバイダにとって、あまり関心がないことがある。例えば、極により近いエリアは、赤道により近いエリアと比べて、視聴者および／またはコンテンツプロバイダにとって、あまり関心がないことがあり、視聴者は、長い持続時間にわたって、上部および下部に焦点を合わせないことがある。上部および下部は、ＥＲＰの後、（例えば、歪曲効果のせいで）引き延ばされて、２Ｄ平面の大きい部分になることができる。引き延ばされた部分のビデオ圧縮は、多数のビットを要することができる。ある処理技法を、エクイレクタングラピクチャ符号化に適用することができる。例えば、平滑化などの前処理を極エリアに適用して、それらのエリアを符号化するためのビットコストを低減させることができる。
【0031】
キューブマップ、正積、円筒、ピラミッド、および／または８面体などを含むが、それらに限定されない、１つまたは複数の異なるジオメトリ投影を使用して、３６０度ビデオを表すことができる。キューブマップは、６つの面分を利用することができる。キューブマップにおける面分は、平面正方形であることができる。図２Ａは、例示的なキューブマップ投影（ＣＭＰ）を示している。キューブマップは、６つの面分を含むことができる。例えば、キューブマップは、６つの正方形面分を含むことができる。示された内接球の半径が、１であると仮定すると、キューブマップの面分（例えば、正方形面分）の横長は、２であることができる。図２Ｂは、エンコーディングおよび配信のために使用することができる、６つの面分を長方形エリアに配置するための例示的なパッキングを示している。図２Ｃは、ＣＭＰを使用して生成された例示的なピクチャを示している。ピクチャのない、グレイ部分２０１、２０３は、長方形ピクチャを満たすための、１つまたは複数のパディングされた領域を表すことができる。ＣＭＰにおける面分については、ピクチャは、２Ｄピクチャと同じに見えることができる。面分の境界は、連続的でないことがある。例えば、２つの近隣面分を横断する直線は、それら２つの面分の境界において、曲げられることがある。面分境界における動きは、不連続なことがある。
【0032】
図３Ａは、正積投影（ＥＡＰ）の例示的なジオメトリ構造を示している。正積投影の球上における垂直サンプリングは、一様な間隔のピッチに基づかないことがある。サンプリングされた緯度（例えば、各サンプリングされた緯度）のＹ軸上への投影は、球上のサンプルが同じ面積を占めることができるように、一様に分布することができる。垂直方向におけるサンプリングは、極領域に近い領域については、疎らになることができる。図３Ａに示されるように、赤道付近では、より多くのサンプルを使用することができる。ユーザは、極に近い領域よりも、赤道に近い領域を、より頻繁に見ることがある。図３Ｂは、ＥＡＰにおける例示的な２Ｄ平面を示している。図３Ｃは、ＥＡＰを用いた例示的なピクチャを示している。図３Ｃに示されるように、赤道付近の領域（例えば、３０１）は、拡大させることができ、一方、極付近の領域（例えば、３０３）は、すぼませることができる。
【0033】
図４Ａは、８面体投影の例示的なジオメトリ構造を示している。８面体は、８つの等しい側面三角形面分を含むことができる。内接球の半径が、１である場合、各三角形の横長は、
【0034】
【数1】
【0035】
であることができる。図４Ｂは、８つの三角形を長方形エリアに配置するための例示的なパッキングを示している。図４Ｃは、８面体投影を用いた例示的なピクチャを示している。２つの隣接三角形の共有される境界のコーナ（例えば、４０１）において、歪曲歪みを観察することができる。
【0036】
異なるジオメトリ投影の符号化効率を、比較することができる。例えば、比較のために、緯度ベースのピーク信号対雑音比（Ｌ－ＰＳＮＲ）を、使用することができる。１つまたは複数（例えば、２つ）の要因、すなわち、球上における一様なサンプリング、および／または視聴者の視聴挙動について考えることができる。球上に一様に分布するサンプルの具体的な数を定義することができる。緯度に基づいて、サンプルの重みを定義することができる。歪みは、一様に分布するサンプルを考えることによって、加重された平均２乗誤差（ＭＳＥ）を用いて、測定することができる。重みは、視聴者の視野角を追跡することによって、導出することができる。例えば、重みは、トレーニング系列を使用して、視聴者の視野角を追跡することによって、導出することができる。
【0037】
サンプルに対して、それがより頻繁に視聴される場合、より大きい重みを与えることができる。例えば、興味深いコンテンツは、赤道周辺に位置付けられることがあるので、極に近いサンプルよりも、赤道周辺のサンプルに、より大きい重みを与えることができる。球上において一様に分布するサンプルを使用することによって、異なる投影の性能を比較できる。これらの球サンプルは、事前定義することができ、異なる投影が適用されるときは、整数サンプリング位置に投影されないことがある。補間フィルタベースの再サンプリングが、適用される場合、追加の補間誤差が、導入されることがある。最も近い近隣サンプリングが、適用される場合、一様なサンプリングは保証されないことがある。
【0038】
１つまたは複数の３６０度カメラおよびつなぎ合わせを用いて、エクイレクタングラフォーマットをサポートすることができる。キューブマップジオメトリを用いた３６０度ビデオのエンコーディングの間に、エクイレクタングラフォーマットは、キューブマップフォーマットに変換することができる。エクイレクタングラとキューブマップとの間の関係が、存在することができる。図２Ａにおいては、面分は、球の中心から面分の中心へと延びる３つの軸の各々を用いて、参照することができる。図２Ａに示されるように、Ｐは、正を表すことができ、Ｎは、負を表すことができる。ＰＸは、球の中心からの、正のｘ軸沿いの方向を表すことができ、ＮＸは、ＰＸの反対方向を表すことができる。ＰＹ、ＮＹ、ＰＺ、および／またはＮＺに対しても、同様の記法を使用することができる。６つの面分（例えば、ＰＸ、ＮＸ、ＰＹ、ＮＹ、ＰＺ、および／またはＮＺ）は、それぞれ、前、後、上、下、左、および／または右の面分に対応することができる。面分には、０から５までのインデックスを付けることができる。例えば、面分には、以下のように、すなわち、ＰＸ（０）、ＮＸ（１）、ＰＹ（２）、ＮＹ（３）、ＰＺ（４）、および／またはＮＺ（５）のように、インデックスを付けることができる。Ｐｓ（Ｘ＿ｓ、Ｙ＿ｓ、Ｚ＿ｓ）は、半径１の球上の点とすることができる。点Ｐｓは、以下のように、ヨーφおよびピッチθで表すことができる。
Ｘ＿ｓ＝ｃｏｓ（θ）ｃｏｓ（φ） （３）
Ｙ＿ｓ＝ｓｉｎ（θ） （４）
Ｚ＿ｓ＝－ｃｏｓ（θ）ｓｉｎ（φ） （５）
Ｘ＿ｓ＝ｃｏｓ（θ）ｃｏｓ（φ） （３）
Ｙ＿ｓ＝ｓｉｎ（θ） （４）
Ｚ＿ｓ＝－ｃｏｓ（θ）ｓｉｎ（φ） （５）
【0039】
点Ｐｆは、直線が、球中心からＰｓに延ばされたときの、キューブ上の点とすることができる。Ｐｆは、面分ＮＺ上に存在することができる。Ｐｆの座標（Ｘ＿ｆ，Ｙ＿ｆ，Ｚ＿ｆ）は、以下のように計算することができ、
Ｘ＿ｆ＝Ｘ＿ｓ／｜Ｚ＿ｓ｜ （６）
Ｙ＿ｆ＝Ｙ＿ｓ／｜Ｚ＿ｓ｜ （７）
Ｚ＿ｆ＝－１ （８）
ここで、｜ｘ｜は、変数ｘの絶対値とすることができる。面分ＮＺの２Ｄ平面内のＰｆの座標（ｕｃ，ｖｃ）は、以下のように計算することができる。
ｕｃ＝Ｗ×（１－Ｘ＿ｆ）／２ （９）
ｖｃ＝Ｈ×（１－Ｙ＿ｆ）／２ （１０）
Ｘ＿ｆ＝Ｘ＿ｓ／｜Ｚ＿ｓ｜ （６）
Ｙ＿ｆ＝Ｙ＿ｓ／｜Ｚ＿ｓ｜ （７）
Ｚ＿ｆ＝－１ （８）
ここで、｜ｘ｜は、変数ｘの絶対値とすることができる。面分ＮＺの２Ｄ平面内のＰｆの座標（ｕｃ，ｖｃ）は、以下のように計算することができる。
ｕｃ＝Ｗ×（１－Ｘ＿ｆ）／２ （９）
ｖｃ＝Ｈ×（１－Ｙ＿ｆ）／２ （１０）
【0040】
１つまたは複数の式（３）から（１０）を使用して、特定の面分上のキューブマップにおける座標（ｕｃ，ｖｃ）と、球上の点（φ，θ）との間の関係を、導出することができる。エクイレクタングラ点（ｕｅ，ｖｅ）と、球上の座標（φ，θ）との間の関係は、式（１）および／または（２）から知ることができる。エクイレクタングラジオメトリとキューブマップジオメトリとの間の関係が、存在することができる。
【0041】
キューブマップからエクイレクタングラへのジオメトリマッピングは、以下のように表現することができる。キューブマップ上の１つの面分上に点（ｕｃ，ｖｃ）を与えると、エクイレクタングラ平面上の出力（ｕｅ，ｖｅ）は、以下のうちの１つまたは複数として計算することができる。（ｕｃ，ｖｃ）を用いた面分上の３Ｄ点Ｐ＿ｆの座標は、式（９）および／または（１０）における関係に従って、計算することができる。Ｐ＿ｆを用いた球上の３Ｄ点Ｐ＿ｓの座標は、式（６）、（７）、および／または（８）における関係に従って、計算することができる。Ｐ＿ｓを用いた球上の（φ，θ）の座標は、式（３）、（４）、および／または（５）における関係に従って、計算することができる。（φ，θ）からのエクイレクタングラピクチャ上の点（ｕｅ，ｖｅ）の座標は、式（１）および／または（２）における関係に従って、計算することができる。
【0042】
キューブマップを使用して、２Ｄピクチャで３６０度ビデオを表すために、キューブマップの６つの面分を、長方形エリア内にパッキングすることができる。これは、フレームパッキングと呼ばれることがある。フレームパッキングされたピクチャは、２Ｄピクチャとして扱う（例えば、符号化する）ことができる。異なるフレームパッキング構成（例えば、３×２および／または４×３）を使用することができる。３×２構成においては、６つのキューブマップ面分を、１行内に３つの面分を有する２行内にパッキングすることができる。４×３構成においては、４つの面分（例えば、ＰＸ、ＮＺ、ＮＸ、およびＰＺ）を、１つの行（例えば、中央行）内にパッキングすることができ、他の２つの面分（例えば、ＰＹおよびＮＹ）を、２つの異なる行（例えば、上行および下行）内に別々にパッキングすることができる。図２Ｃは、図１Ｃにおけるエクイレクタングラピクチャに対応する、４×３フレームパッキングの例を示している。
【0043】
エクイレクタングラフォーマットにおける３６０度ビデオは、キューブマップフォーマットに変換することができる。例えば、エクイレクタングラフォーマットにおける３６０度ビデオは、エクイレクタングラフォーマットにおける３６０度ビデオを入力として使用して、キューブマップフォーマットに変換することができる。キューブマップフォーマットにおけるサンプル点（ｕｃ，ｖｃ）に対して、エクイレクタングラフォーマットにおける対応する座標（ｕｅ，ｖｅ）を計算することができる。エクイレクタングラにおける計算された座標（ｕｅ，ｖｅ）が、整数サンプル位置にない場合、補間フィルタを使用することができる。例えば、隣接整数位置のサンプルを使用して、この分数位置におけるサンプル値を獲得するために、補間フィルタを使用することができる。
【0044】
キューブマップフォーマットは、３６０度ビデオの表現フォーマットであることができる。球上におけるサンプルは、キューブマップフォーマットによって非一様にサンプリングすることができる。例えば、球上におけるサンプルは、面分境界の近くでは、より高いサンプリングレートを、および／または面分中央の近くでは、より低いサンプリングレートを用いて、キューブマップフォーマットによって、非一様にサンプリングすることができる。球上におけるサンプルは、レクティリニア投影の制限のせいで、キューブマップフォーマットによって、非一様にサンプリングされることがある。キューブマップフォーマットには、ある球サンプリング特性が、存在することができる。例えば、キューブマップフォーマットには、面分境界では、より高いサンプリングレート、および／または面分中央では、より低いサンプリングレートという、球サンプリング特性が、存在することができる。キューブマップ投影は、面分の境界付近の領域を拡大することができ、および／または面分の中央付近の領域を縮めることができる。
【0045】
モーションモデルは、並進モーションモデルおよび／またはアフィンモーションモデルなどを含むことができる。キューブマップ投影は、投影面分における結果のモーションフィールドの規則性を低下させることがある。
【0046】
ユニキューブマップ投影フォーマットを提供することができる。キューブマップのサンプリンググリッドは、球上における一様なサンプリンググリッドに転換することができる。実際のキューブ面分が生成される前に、２Ｄ平面面分上におけるサンプルの座標を変更するために、マッピングを使用することができる。
【0047】
図２４Ａ～図２４Ｄは、キューブマップとユニキューブとの間の平面サンプリングパターンおよび球サンプリングパターンの例を示している。例えば、図２４Ａは、キューブマップについてのキューブ面分の例示的な一様なサンプリングを示している。図２４Ａに示されるように、キューブマップ面分のサンプリンググリッドは、平行な直線の２つのセット、すなわち、一方は水平方向の直線、他方は垂直方向の直線を含むことができる。平行な区分化直線のセットは、一様な間隔で隔てられることができる。キューブマップ面分が、球上に投影されるとき、サンプリンググリッドは、変形されることがある。例えば、図２４Ｂに示されるように、平面面分内の直線は、曲線になることがある。図２４Ｂは、キューブマップについての例示的な非一様な球サンプリングを示している。球上のサンプリンググリッドは、非一様になることがある。例えば、図２４Ｂに示されるように、レクティリニア投影は、距離が保存される投影ではないことがあるので、球上のサンプリンググリッドは、非一様になることがある。キューブマップと同様のサンプリング構造を維持するために、ユニキューブフォーマット内の面分は、平行な直線の１つまたは複数（例えば、２つ）のセットに基づいて、サンプリングすることができる。セット内の平行な直線は、球上の対応するサンプリンググリッドが、一様であることができるように、非一様に分布することができる。図２４Ｃは、ユニキューブについてのキューブ面分の例示的な非一様なサンプリングを示している。例えば、図２４Ｃに示されるように、セット内の平行な直線は、非一様に分布することができる。図２４Ｄは、ユニキューブについての例示的な一様な球サンプリングを示している。図２４Ｄに示されるように、球上の対応するサンプリンググリッドは、一様であることができる。
【0048】
図２４Ｃの例に示されるような、キューブ面分上における非一様な区分化は、近隣サンプル間において変化する距離と関連付けることができる。非一様な平面サンプリンググリッドを、一様な平面サンプリンググリッドに変換するために、マッピングを使用することができる。図２５は、キューブ面分とユニキューブ面分との間の例示的なマッピングを示している。例えば、図２５Ａは、キューブ面分の非一様な区分化グリッドからユニキューブ面分の一様な区分化グリッドへの例示的なマッピングを示している。図２５Ｂは、ユニキューブ面分の一様な区分化グリッドからキューブ面分の非一様な区分化グリッドへの例示的なマッピングを示している。水平変換と垂直変換とが、分離可能である場合、（ｘ，ｙ）から（ｘ’，ｙ’）へのマッピングは、１つまたは複数（例えば、２つ）の別々の変換を含むことができ、例えば、ｘ’＝ｆ（ｘ）、ｙ’＝ｆ（ｙ）であり、変換は、ｘおよびｙに対して適用することができる。例えば、変換は、ｘおよびｙに対して独立に適用することができる。（ｘ’，ｙ’）を（ｘ，ｙ）にマッピングすることができる、逆変換を計算することができ、例えば、ｘ＝ｇ（ｘ’）、ｙ＝ｇ（ｙ’）である。ｘおよびｙの２つの変換は、同一であることができる。ｘおよびｙの２つの変換関数が、同一である場合、ｙの変換関数の導出を実行することができる。例えば、β∈［－１，１］が、キューブ上のパターンエリアのｙ座標である場合、図２６は、キューブ面分の座標とユニキューブ面分の座標との間のマッピング関数を計算する例を示している。図２６Ａは、キューブ面分上において１つの非一様な区分化を使用する、ユニキューブの例示的なマッピング関数を示している。図２６Ｂは、球上において対応する一様な区分化を使用する、ユニキューブの例示的なマッピング関数を示している。図２６Ｃは、キューブ面分の座標βとユニキューブ面分の座標β’との間のマッピング関数を示している。マッピング関数β’＝ｆ（β）は、（例えば、図２４Ｂに示されるように）球上において等しいレクティリニア構造区分化を用いて、βをβ’に変換することを目標とすることができ、ｆ（β）は、βに対応する球領域の面積に比例することができる。例えば、図２６Ｂに示されるように、ｆ（β）の値は、パターン球領域と球の４分の１との面積間の比に等しいことができる。例えば、マッピング関数ｆ（β）は、
【0049】
【数2】
【0050】
【数3】
【0051】
のように計算することができ、ここで、β’∈［－１，１］である。図２６Ｃは、βとβ’との間の対応するマッピング関係を示している。
【0052】
キューブマップに似た投影フォーマットは、キューブマップの座標を調整することによって、１つまたは複数の球サンプリング特徴を提供することができる。例えば、１つまたは複数のマッピング関数を使用することによって、キューブマップの座標を調整することができる。調整されたキューブマップ投影（ＡＣＰ）は、球サンプリング一様性を提供することができる。キューブ領域における座標は、以下のマッピング関数のうちの１つまたは複数に基づいて、調整することができ、
β’＝ｆ（β）＝ｓｇｎ（β）（－０．３６・β2＋１．３６・｜β｜） （１３）
β’＝ｆ（β）＝ｓｇｎ（β）（－０．３６・β2＋１．３６・｜β｜） （１３）
【0053】
【数4】
【0054】
ここで、ｓｇｎ（・）は、入力の符号を返すことができる。
【0055】
キューブ領域と等角キューブマップ（ＥＡＣ）領域との間の座標を変換することによって、ＥＡＣ投影を実行することができる。例えば、キューブ領域とＥＡＣ領域との間の座標は、キューブマップサンプリンググリッド上において、球サンプルの角度のタンジェントに基づいて、変換することができる。ＥＡＣ投影のためのマッピング関数は、
【0056】
【数5】
【0057】
【数6】
【0058】
のように計算することができる。
【0059】
図３１は、キューブマップ、ユニキューブ、ＡＣＰ、およびＥＡＣについてのマッピング関数ｇ（β’）の例示的な比較を示している。
【0060】
図５は、３６０度ビデオ処理のための例示的なワークフローを示している。３６０度ビデオキャプチャは、１つまたは複数のカメラを使用して、キャプチャすることができる。例えば、１つまたは複数のカメラを使用して、球空間をカバーする３６０度ビデオをキャプチャすることができる。ビデオは、一緒につなぎ合わせることができる。例えば、ビデオは、エクイレクタングラジオメトリ構造を使用して、一緒につなぎ合わせることができる。エクイレクタングラジオメトリ構造は、エンコーディング（例えば、ビデオコーデックを用いたエンコーディング）のために、キューブマップジオメトリなど、他のジオメトリ構造に変換することができる。符号化されたビデオは、例えば、動的ストリーミングおよび／またはブロードキャスティングを介して、クライアントに配信することができる。ビデオは、例えば、受信機において、デコードすることができる。伸張されたフレームは、アンパッキングして、表示ジオメトリなどの表示にすることができる。例えば、表示ジオメトリは、エクイレクタングラジオメトリとすることができる。レンダリングのために、ジオメトリを使用することができる。例えば、レンダリングのために、ユーザの視野角に従ったビューポート投影を介して、ジオメトリを使用することができる。
【0061】
クロマ成分は、サブサンプリングして、ルーマ成分のそれよりも小さい解像度にすることができる。クロマサブサンプリングは、エンコーディングのために使用されるビデオデータの量を減らすことができ、帯域幅および／またはコンピューティング能力を節約することができ、ビデオ品質に影響を与える（例えば、著しく影響を与える）ことなく、そうすることができる。４：２：０クロマフォーマットを用いる場合、両方のクロマ成分をサブサンプリングして、ルーマ解像度の１／４にすることができる。例えば、クロマ成分を、水平方向においてルーマ解像度の１／２、垂直方向においても１／２にサブサンプリングすることができる。クロマサブサンプリングの後、クロマサンプリンググリッドは、ルーマサンプリンググリッドと異なることができる。図５においては、処理フロー全体にわたって、１つまたは複数のステージにおいて処理される３６０度ビデオは、クロマ成分がサブサンプリングされたクロマフォーマットとすることができる。
【0062】
図６は、例示的なブロックベースのハイブリッドビデオエンコーディングシステム６００のブロック図を示している。入力ビデオ信号６０２は、ブロック毎に処理することができる。高解像度（例えば、１０８０ｐおよび／またはそれ以上）のビデオ信号を圧縮するために、（例えば、ＨＥＶＣにおいては）（例えば、符号化ユニットまたはＣＵと呼ばれる）拡張されたブロックサイズを使用することができる。ＣＵは、（例えば、ＨＥＶＣにおいては）最大で６４×６４ピクセルを有することができる。ＣＵは、それに対して別々の予測を適用することができる、予測ユニットまたはＰＵに区分化することができる。入力ビデオブロック（例えば、マクロブロック（ＭＢ）またはＣＵ）に対して、空間予測６６０または時間予測６６２を実行することができる。空間予測（または、例えば、イントラ予測）は、同じビデオピクチャおよび／またはスライス内のすでに符号化された近隣ブロックに属するピクセルを使用して、現在のビデオブロックを予測することができる。空間予測は、ビデオ信号に内在する空間冗長性を低減させることができる。（例えば、インター予測または動き補償予測と呼ばれる）時間予測は、すでに符号化されたビデオピクチャに属するピクセルを使用して、現在のビデオブロックを予測することができる。時間予測は、ビデオ信号に内在する時間冗長性を低減させることができる。与えられたビデオブロックのための時間予測信号は、現在のブロックとそれの基準ブロックとの間の動きの量および／または方向を示す、動きベクトルによって伝達することができる。（例えば、Ｈ．２６４／ＡＶＣまたはＨＥＶＣにおいて）複数の基準ピクチャが、サポートされる場合、ビデオブロックの基準ピクチャインデックスを、デコーダに伝達することができる。時間予測信号が、基準ピクチャストア６６４内のどの基準ピクチャに由来することができるかを、基準インデックスを使用して、識別することができる。
【0063】
空間および／または時間予測の後、エンコーダ内のモード決定６８０は、例えば、レート－歪み最適化に基づいて、予測モードを選択することができる。６１６において、現在のビデオブロックから予測ブロックを減算することができる。変換モジュール６０４および量子化モジュール６０６を使用して、予測残差を脱相関して、目標ビットレートを達成することができる。量子化された残差係数を、６１０において、逆量子化し、６１２において、逆変換して、再構成された残差を形成することができる。６２６において、再構成された残差を、予測ブロックに加算し直し、再構成されたビデオブロックを形成することができる。６６６において、再構成されたビデオブロックに、デブロッキングフィルタおよび／または適応ループフィルタなどの、インループフィルタを適用することができ、その後、それは、基準ピクチャストア６６４に入れられる。基準ピクチャストア６６４内の基準ピクチャは、将来のビデオブロックを符号化するために、使用することができる。出力ビデオビットストリーム６２０を形成することができる。符号化モード（例えば、インターもしくはイントラ）、予測モード情報、動き情報、および／または量子化された残差係数を、エントロピ符号化ユニット６０８に送って、圧縮およびパッキングを施し、ビットストリーム６２０を形成することができる。
【0064】
図７は、例示的なブロックベースのビデオデコーダの全体的なブロック図を示している。エントロピデコーディングユニット２０８において、ビデオビットストリーム２０２を受け取り、アンパッキングし、および／またはエントロピデコードすることができる。（例えば、イントラ符号された場合）空間予測ユニット２６０に、および／または（例えば、インター符号された場合）時間予測ユニット２６２に、符号化モードおよび／または予測情報を送ることができる。空間予測ユニット２６０および／または時間予測ユニット２６２において、予測ブロックを形成することができる。逆量子化ユニット２１０および逆変換ユニット２１２に、残差変換係数を送って、残差ブロックを再構成することができる。２２６において、予測ブロックと残差ブロックとを加算することができる。再構成されたブロックは、インループフィルタリング２６６を通過することができ、基準ピクチャストア２６４内に記憶することができる。基準ピクチャストア２６４内の再構成されたビデオは、表示デバイスを駆動するために、および／または将来のビデオブロックを予測するために、使用することができる。
【0065】
２Ｄ平面レクティリニアビデオを符号化するために、Ｈ．２６４および／またはＨＥＶＣなどのビデオコーデックを使用することができる。ビデオ符号化は、空間および／または時間相関を利用して、情報冗長性を除去することができる。ビデオ符号化の間に、イントラ予測および／またはインター予測など、１つまたは複数の予測技法を適用することができる。イントラ予測は、近隣の再構成されたサンプルを用いて、サンプル値を予測することができる。図８は、現在の変換ユニット（ＴＵ）をイントラ予測するために使用することができる、例示的な基準サンプルを示している。基準サンプルは、現在のＴＵの上および／または左に位置付けられた、再構成されたサンプルを含むことができる。
【0066】
それらから選択する複数のイントラ予測モードが、存在することができる。図９は、ＨＥＶＣにおけるイントラ予測方向の例示的な表示を示している。例えば、ＨＥＶＣは、図９に示されるように、平面（０）、ＤＣ（１）、および／または角度予測（２～３４）を含む、３５個のイントラ予測モードを指定することができる。適切なイントラ予測モードを選択することができる。例えば、エンコーダサイドにおいて、適切なイントラ予測モードを選択することができる。複数の候補イントラ予測モードによって生成された予測は、比較することができる。予測サンプルと元のサンプルとの間に最も小さい歪みを生成する、候補イントラ予測モードを選択することができる。選択されたイントラ予測モードは、符号化して、ビットストリーム内に収めることができる。
【0067】
角度予測を使用して、方向性テクスチャを予測することができる。図１０は、１つの動きベクトル（ＭＶ）を用いた、例示的なインター予測を示している。基準ピクチャ内のブロックＢ０’およびＢ１’は、それぞれ、現在のピクチャのブロックＢ０およびＢ１についての基準ブロックであることができる。基準ブロックＢ０’は、部分的に、基準ピクチャの境界の外部にあることができる。パディングプロセスを使用して、ピクチャ境界の外部の未知のサンプルを満たすことができる。図１１は、ピクチャ境界の外部の基準サンプルのための例示的なパディングを示している。例えば、ブロックＢ０’のためのパディング例は、４つの部分Ｐ０、Ｐ１、Ｐ２、およびＰ３を有することができる。部分Ｐ０、Ｐ１、およびＰ２は、ピクチャ境界の外部にあることができ、例えば、パディングプロセスを介して、満たすことができる。例えば、部分Ｐ０は、基準ピクチャの左上サンプルを用いて、満たすことができる。部分Ｐ１は、基準ピクチャの上端行を使用して、垂直パディングを用いて、満たすことができる。部分Ｐ２は、ピクチャの左端列を使用して、水平パディングを用いて、満たすことができる。
【0068】
インター符号化のために、動きベクトル予測および／またはマージモードを使用することができる。
【0069】
動きベクトル予測においては、現在のＭＶの予測因子として、近隣ＰＵおよび／または時間的に併置されたＰＵからの動きベクトルを使用できる。選択されたＭＶ予測因子のインデックスは、符号化し、および／またはデコーダに伝達することができる。デコーダは、複数のエントリを有するＭＶ予測因子リストを構成することができる。伝達されたインデックスを有するエントリを使用して、現在のＰＵのＭＶを予測することができる。
【0070】
マージモードを用いる場合、空間および／または時間近隣ＰＵについてのＭＶ情報を再使用することができ、現在のＰＵのための動きベクトル符号化は、スキップすることができる。図１２は、マージ候補導出のために使用することができる、例示的な空間近隣ブロックを示している。例えば、マージ候補導出のために、左下（Ａ０）、左（Ａ１）、右上（Ｂ０）、上（Ｂ１）、および／または左上（Ｂ２）を使用することができる。時間的に併置されたブロックを、マージ候補として使用できる。選択されたマージ候補のインデックスを符号化することができる。デコーダサイドにおいて、マージ候補リストを構成することができる。例えば、デコーダサイドにおいて構成されたマージ候補リストは、エンコーダサイドにおけるＭＶ予測因子リストの構成に類似することができる。伝達されたマージ候補インデックスを有するエントリを、現在のＰＵのＭＶとして使用することができる。
【0071】
３６０度ビデオ符号化および２Ｄ平面ビデオ符号化は、様々な態様において異なることができる。例えば、３６０度ビデオは、フレームパッキングすることができ、視聴者を取り巻く環境の３６０度情報を含むことができる。そのため、３６０度ビデオは、２Ｄビデオが有さないことがある、１つまたは複数の本質的な円特性を有することができる。２Ｄビデオを符号化するのに適したものであることができる、ＭＰＥＧ－２、Ｈ．２６４、および／またはＨＥＶＣなどの、あるコーデックは、３６０度ビデオの円特性特徴を十分に考慮していないことがある。例えば、３６０度ビデオ内のピクセルは、ピクチャの境界の外部にある場合、反復的なパディングを適用することができる。
【0072】
符号化のために、３６０度ビデオの１つまたは複数の面分を長方形ピクチャ内に配置するために、フレームパッキングを使用することができる。面分境界沿いのサンプル値は、連続的でないことがある。不連続性は、空間予測の効率を低下させることがある。図８に示されるように、近隣の再構成されたサンプルを使用して、現在のＴＵをイントラ予測するための基準サンプルを導出できる。近隣の再構成されたサンプルは、現在のＴＵが属する面分とは異なる面分内に位置付けることができる。例えば、現在のＴＵが、キューブマップ内の面分の境界に近い、または境界にある場合、対応するフレームパッキングされた２Ｄピクチャ内において最も近い近隣サンプルは、近隣面分内にあることができ、サンプルは、フレームパッキングされたピクチャ内において、連続的でないことがある。
【0073】
図１３は、キューブマップの面分ピクチャ内における不連続サンプルおよびパディングの例を示している。円は、球の赤道を表すことができる。正方形の４つの側部／辺は、赤道が投影される、キューブマップの４つの辺面分上の４つの直線を表すことができる。Ｐは、キューブマップの面分を表すことができ、Ｑは、面分Ｐの近隣面分を表すことができる。Ｐｘ（ｘ∈［０，３］）は、面分Ｐ上におけるサンプリング点を表すことができる。Ｑｘ（ｘ∈［０，３］）は、近隣面分Ｑ上におけるサンプリング点を表すことができる。例えば、近隣サンプルＰ４、Ｐ５、およびＰ６が、面分境界の外側のサンプルである場合、およびＰ４、Ｐ５、およびＰ６が、（例えば、一様なサンプリング間隔を用いて）面分Ｐ上においてパディングされるべき場合、パディングサンプルＫ０、Ｋ１、およびＫ２は、それぞれ、球の中心から面分Ｑ上へのＰ４、Ｐ５、およびＰ６の投影を表すことができる。Ｐ４、Ｐ５、およびＰ６の点ロケーションは、近隣サンプルロケーション、または初期基準ブロックと関連付けられた初期サンプルロケーションと呼ばれることがある。図１３に示されるように、Ｋ０とＱ０とは、互いに重なり合わないことがある。Ｋ１とＱ１、およびＫ２とＱ２とは、重なり合わないことがある。延長されたサンプルが、面分境界に対して遠いほど、不一致は、より大きくなることができる。パディングサンプルＫ０、Ｋ１、およびＫ２を使用して、それぞれ、Ｐ４、Ｐ５、およびＰ６におけるサンプルを満たすことができる。Ｋ０、Ｋ１、およびＫ２は、基準サンプル、導出されたサンプルロケーション、パディングサンプルロケーション、またはそれぞれの基準サンプルロケーションに位置付けられたマッピングされた基準ブロックと関連付けられた複数のサンプル値と呼ばれることがある。図１３に示されるように、Ｋ０とＱ０とは、互いに重なり合わないことがあり、同じことが、Ｋ１とＱ１、およびＫ２とＱ２について当てはまることがある。パディングサンプルＫ０、Ｋ１、および／またはＫ２を使用して、Ｐ４、Ｐ５、および／またはＰ６におけるサンプルを満たすことができる。
【0074】
インター動き補償予測は、不連続なサンプルを有することができる。例えば、（例えば、図２Ｂに示されるような）キューブマップ４×３フレームパッキングが、エンコーディングの間に適用される場合、現在のブロックの面分の外側の基準ブロックのピクセルは、不連続であることがある。図１６は、キューブマップ４×３フレームパッキングされたピクチャについての例示的な動き補償予測を示している。図１６に示されるように、面分Ｖは、フレームパッキングのための仮想面分であることができる。現在のブロックＢ０が、現在のピクチャの面分０に属し、動きベクトルによって指し示される時間基準ブロックＢ０’が、部分的に基準ピクチャの面分０の外側に位置付けられる場合、面分４上のサブブロック１４０２（例えば、ブロックＢ０’のサブブロック）は、異なるテクスチャ方向を有することができる。現在のブロックＢ０は、２つの予測ユニットに分割することができる。
【0075】
フレームパッキングされたピクチャ内の面分境界沿いの動きは、連続的でないことがある。例えば、図１２における現在のＰＵは、面分境界にあることができる。近隣ブロックＡ０、Ａ１、Ｂ０、Ｂ１、および／またはＢ２は、１つまたは複数の異なる面分内に位置付けることができる。近隣ブロック（例えば、Ａ０、Ａ１、Ｂ０、Ｂ１、および／またはＢ２）の動きは、現在のブロックの動き方向とは異なる１つまたは複数の方向を有することができる。
【0076】
３６０度ビデオ符号化は、符号化されるビデオのジオメトリ構造および／または特性を考慮することができる。イントラおよび／またはインター予測については、基準サンプルが、フレームパッキングされたピクチャの外部にある場合、ピクチャの１つまたは複数の円特性を考慮することによって、ジオメトリパディングを適用できる。ジオメトリパディングは、ピクチャの外部の基準サンプルに対する予測効率を高めることができる。例えば、ジオメトリパディングは、インター動き補償予測の場合に、ピクチャの外部の基準サンプルに対する予測効率を高めることができる。例えば、図１１に示されるようなサブブロックＰ０、Ｐ１、および／またはＰ２内の点ｐの値は、本明細書において説明されるように、ジオメトリマッピングおよび／または補間を介して、導出することができる。
【0077】
イントラ予測および／またはインター予測については、フレームパッキングされたピクチャ内の基準サンプルが、ピクチャの内部にあるが、現在のブロックが属する面分の外部にある場合、基準サンプル値は、ジオメトリパディングを使用して、導出することができる。例えば、ジオメトリパディングを使用して、不連続性を扱うことができる。現在のブロックの面分の外部にあることができる、近隣サンプルロケーション、および／または初期基準ブロックと関連付けられた１つもしくは複数の初期サンプルロケーションと呼ばれることがある、基準サンプル位置は、例えば、ジオメトリマッピングを使用することによって、それの現在の面分から他の面分にマッピングすることができる。例えば、図１３における基準サンプル位置Ｐ４は、Ｋ０にマッピングすることができ、位置Ｋ０におけるサンプル値は、近隣面分上のサンプル値（例えば、Ｑ０および／またはＱ１など）から導出することができる。例えば、インター予測のために使用することができる、図１６におけるサブブロック１４０２は、ジオメトリパディングを介して、導出することができる。例えば、図１６においては、面分４上のサンプル値は、インター予測のために（例えば、直接的に）使用されないことがある。
【0078】
動きベクトル予測および／またはインターマージモードにおいては、空間近隣ブロック、または時間動きベクトル予測のための時間的に併置されたブロックは、現在のブロックの面分の外部にあることができる。例えば、時間動きベクトル予測のための時間的に併置されたブロックは、ＨＥＶＣによって、定義することができる。近隣ブロック位置は、ジオメトリマッピングプロセスを介して、導出することができる。例えば、サンプル位置は、マッピングすることができる。サンプル値は、マッピングされた位置に基づいて、導出することができる。
【0079】
３６０度ビデオは、ハイブリッド投影技法を使用して、エンコードすることができる。例えば、ハイブリッド投影技法は、ビデオの特性および／または投影技法に基づくことができる。例えば、イントラピクチャは、ある投影を用いて符号化することができ、一方、インターピクチャは、他の投影で符号化することができる。例えば、イントラピクチャは、ＥＲＰまたは正積投影を用いて符号化することができる。インターピクチャは、キューブマップ投影で符号化することができる。
【0080】
３６０度ビデオ符号化において、ジオメトリパディングを適用することができる。図１７Ａおよび図１７Ｂは、エクイレクタングラピクチャについての例示的なジオメトリパディングを示している。図１７Ａおよび図１７Ｂに示されるように、右境界と左境界とは、球的に連続であることができる。例えば、図１７Ａに示された矢印は、球上における連続性を示すことができる。例えば、図１７Ａにおける、０２と０２’、３２と３２’、４２と４２’、０４と０４’、３４と３４’、および４４と４４’など、同じ参照番号を有する矢印は、球上における右および左境界の連続性を示すことができる。上境界は、球の北極を表すことができ、下境界は、球の南極を表すことができる。本明細書において説明されるように、上境界および下境界は、球的に接続しないことができ、球上において最も遠く離れていることができる。上境界２０と２０’、２２と２２’、２６と２６’、および／または２８と２８’は、北極における球的な連続性を示すことができる。下境界０６と０６’、０８と０８’、１０と１０’、および／または１２と１２’は、南極における球的な連続性を示すことができる。
【0081】
本明細書において説明され、図１７Ａおよび図１７Ｂに示されるような、球特性を使用すると、近隣サンプルロケーションが、ピクチャの右境界を越える場合（例えば、０２、３２、４２、Ｄ、Ｅ、および／またはＦ）、ピクチャの左境界に巻き戻すことによって（例えば、それぞれ、０２’、３２’、４２’、Ｄ’、Ｅ’、および／またはＦ’）、パディングサンプルロケーションを使用して、パディングを実行することができる。パディングは、ピクチャの円特性のうちの１つまたは複数に基づいて、巻き戻すことによって、実行することができる。近隣サンプルロケーションが、ピクチャの右境界の内側にある場合、パディングのために、ピクチャ境界の内側の右端の線からの繰り返しを実行することができる。近隣サンプルロケーションが、ピクチャの下境界を越える場合（例えば、０６、０８、１０、１２、Ｋ、Ｌ、Ｍ、および／またはＮ）、パディングは、経度線を辿って、反対側の半球に進むことができる（例えば、それぞれ、０６’、０８’、１０’、１２’、Ｋ’、Ｌ’、Ｍ’、および／またはＮ’）。図１７Ｂにおける矢印および対応するアルファベットのラベルは、パディングされるサンプルと、近隣サンプルロケーションをパディングするために使用することができる、パディングするサンプルとの間の対応を示すことができる。例えば、矢印Ａにおいて満たされるパディングは、矢印Ａ’に沿って取得することができる。矢印Ｂにおいて満たされるパディングは、矢印Ｂ’に沿って取得することができ、他も同様である。
【0082】
初期基準サンプル点（ｕ，ｖ）は、ピクチャ内における現在のロケーションに基づいて、提供することができる。例えば、点（ｕ，ｖ）は、エクイレクタングラピクチャの外部にあることができる。初期基準サンプルロケーション（ｕ，ｖ）を使用して、パディングサンプルロケーション（ｕｐ，ｖｐ）を導出することができる。点（ｕｐ，ｖｐ）は、パディングサンプル、またはマッピングされた基準ブロックと関連付けられた１つもしくは複数のサンプル値と呼ばれることがある。エクイレクタングラピクチャについての導出される基準サンプルロケーション（ｕｐ，ｖｐ）は、以下のように計算することができる。
ｕ＜０、またはｕ≧Ｗ、かつ０≦ｖ＜Ｈである場合、ｕｐ＝ｕ％Ｗ、ｖｐ＝ｖ （１７）
ｖ＜０である場合、ｖｐ＝－ｖ－１、ｕｐ＝（ｕ＋Ｗ／２）％Ｗ （１８）
ｖ≧Ｈである場合、ｖｐ＝２×Ｈ－１－ｖ、ｕｐ＝（ｕ＋Ｗ／２）％Ｗ （１９）
ここで、ＷおよびＨは、エクイレクタングラピクチャの幅および高さとすることができる。例えば、パディングサンプルロケーション（ｕｐ，ｖｐ）は、点（ｕ，ｖ）のロケーションに基づいて、計算することができる。例えば、点（ｕ，ｖ）が、右または左境界を越える場合、式（１７）に基づいて、パディングサンプル（ｕｐ，ｖｐ）を計算することができる。右または左境界を越える点（ｕ，ｖ）のパディングサンプル（ｕｐ，ｖｐ）は、それぞれ、エクイレクタングラピクチャの左または右境界の近くに位置付けられた点に対応することができる。他のパディングサンプルは、式（１８）および／または式（１９）に対応することができる点（ｕ，ｖ）の位置に基づいて、計算することができる。
ｕ＜０、またはｕ≧Ｗ、かつ０≦ｖ＜Ｈである場合、ｕｐ＝ｕ％Ｗ、ｖｐ＝ｖ （１７）
ｖ＜０である場合、ｖｐ＝－ｖ－１、ｕｐ＝（ｕ＋Ｗ／２）％Ｗ （１８）
ｖ≧Ｈである場合、ｖｐ＝２×Ｈ－１－ｖ、ｕｐ＝（ｕ＋Ｗ／２）％Ｗ （１９）
ここで、ＷおよびＨは、エクイレクタングラピクチャの幅および高さとすることができる。例えば、パディングサンプルロケーション（ｕｐ，ｖｐ）は、点（ｕ，ｖ）のロケーションに基づいて、計算することができる。例えば、点（ｕ，ｖ）が、右または左境界を越える場合、式（１７）に基づいて、パディングサンプル（ｕｐ，ｖｐ）を計算することができる。右または左境界を越える点（ｕ，ｖ）のパディングサンプル（ｕｐ，ｖｐ）は、それぞれ、エクイレクタングラピクチャの左または右境界の近くに位置付けられた点に対応することができる。他のパディングサンプルは、式（１８）および／または式（１９）に対応することができる点（ｕ，ｖ）の位置に基づいて、計算することができる。
【0083】
図１３に示されるように、ＣＭＰのためのパディングを提供することができる。パディングは、点（ｕ，ｖ）に適用することができる。点ｐ（ｕ，ｖ）は、ジオメトリ構造におけるビデオコンテンツ内に位置付けることができる。点ｐ（ｕ，ｖ）は、現在のサンプルの近隣サンプルであることができる。以下のうちの１つまたは複数を使用して、サンプル値を導出することができる。
【0084】
点ｐ（ｕ，ｖ）は、現在のサンプルロケーションにおける現在のサンプルに基づいて、識別することができる。例えば、現在のサンプルロケーションにおける現在のサンプルは、現在の面分ロケーションにあることができる。現在のサンプルは、パディングサンプルと関連付けることができる。点ｐ（ｕ，ｖ）は、現在の面分境界の外側に位置付けることができる。点ｐ（ｕ，ｖ）は、異なる面分内に位置付けることができる。点ｐ（ｕ，ｖ）が属する面分に応じて、点の３Ｄ位置Ｐｆ（Ｘ，Ｙ，Ｚ）を計算することができる。例えば、点ｐの面分が、ＮＺである場合、式（６）、式（７）、および／または式（８）を使用して、点ｐの３Ｄ位置（Ｘ，Ｙ，Ｚ）を計算することができる。パディングのために使用されるサンプルが属する新しい面分は、３Ｄ位置（Ｘ，Ｙ，Ｚ）に基づいて、決定することができる。サンプルは、以下のように（Ｘ，Ｙ，Ｚ）を使用して、パディングのために使用することができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＞０である場合、新しい面分は、ＰＸとすることができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＜０である場合、新しい面分は、ＮＸとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＞０）である場合、新しい面分は、ＰＹとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＜０）である場合、新しい面分は、ＮＹとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＞０）である場合、新しい面分は、ＰＺとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＜０）である場合、新しい面分は、ＮＺとすることができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＞０である場合、新しい面分は、ＰＸとすることができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＜０である場合、新しい面分は、ＮＸとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＞０）である場合、新しい面分は、ＰＹとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＜０）である場合、新しい面分は、ＮＹとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＞０）である場合、新しい面分は、ＰＺとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＜０）である場合、新しい面分は、ＮＺとすることができる。
【0085】
点ｐの２Ｄ位置（ｕ’，ｖ’）は、Ｐｓ（Ｘ’，Ｙ’，Ζ’）を使用して、計算することができる。例えば、点ｐの２Ｄ位置（ｕ’，ｖ’）は、新しい面分のロケーションに基づいて、計算することができる。新しい面分が、ＮＺに位置付けられる場合、式（９）および／または式（１０）を使用し、（Ｘ’，Ｙ’）を用いて、パディングサンプルロケーション（ｕ’，ｖ’）を計算することができる。（ｕ’，ｖ’）におけるサンプル値は、補間フィルタを使用して、および／または（ｕ’，ｖ’）が属する新しい面分上の整数位置サンプルに基づいて、決定することができる。
【0086】
ジオメトリ構造における点（ｕ，ｖ）のためのパディングは、以下のうちの１つまたは複数を含むことができる。パディングサンプルと関連付けられた、現在のサンプルロケーションにおける現在のサンプルを決定することができる。点（ｕ，ｖ）に基づいて、パディングされる面分上の３Ｄ位置Ｐｆ（Ｘ，Ｙ，Ｚ）を決定することができる。点（ｕ，ｖ）は、ピクチャ境界または面分の外側に位置付けられた点を表すことができる。パディングサンプルロケーションは、パディングされるサンプルのロケーションに基づいて、決定することができる。例えば、２Ｄ平面位置（ｕ’，ｖ’）は、パディングサンプルの３Ｄ位置のジオメトリ投影を、ジオメトリ構造に適用することによって、識別することができる。パディングサンプルロケーション、２Ｄ平面位置（ｕ’，ｖ’）におけるパディングサンプル値を導出することができる。２Ｄ平面位置（ｕ’，ｖ’）におけるサンプル値は、補間フィルタを使用して、および／または整数位置におけるサンプルに基づいて、決定することができる。マッピングされたサンプル位置、および／またはパディングサンプル値を導出することができる。
【0087】
１つまたは複数の補間フィルタを使用することができる。例えば、新しい面分上の（ｕ’，ｖ’）におけるサンプル値を決定するときに、１つまたは複数の補間フィルタを使用することができる。例えば、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、および／または離散コサイン変換ベースの補間フィルタ（ＤＣＴ－ＩＦ）を使用することができる。最も近い近隣による補間を、使用することができる。図１３に示されるように、最も近い近隣による補間が、使用される場合、Ｐ４および／またはＰ５をパディングするために、Ｑ０の値を使用することができる。例えば、Ｑ０は、Ｋ０およびＫ１に最も近い近隣であることができるので、Ｐ４および／またはＰ５をパディングするために、Ｑ０の値を使用することができる。Ｐ６をパディングするために、Ｑ１の値を使用することができる。例えば、Ｑ１は、Ｋ２に最も近い近隣であることができるので、Ｐ６をパディングするために、Ｑ１の値を使用することができる。図１３においては、近似は、粗いものであることができる。例えば、サンプリングが、疎らであることができるので、図１３における近似は、粗いものであることができる。それは、キューブマップジオメトリが、キューブ境界の近くの球をオーバサンプリングすることがあることを考慮して、より密なサンプリングのための近似を提供することができる。
【0088】
最も近い近隣による補間は、マッピングされたサンプル位置を導出することができる。例えば、マッピングされたサンプル位置は、以下のうちの１つまたは複数を含むことができる。点（ｕ，ｖ）に基づいて、パディングされる面分上において、３Ｄ位置Ｐｆ（Ｘ，Ｙ，Ｚ）を計算することができる。Ｐｆ（Ｘ，Ｙ，Ｚ）をジオメトリ構造上に投影することによって、位置Ｐｓ（Ｘ’，Ｙ’，Ｚ’）を計算することができる。新しい面分上において、２Ｄ平面位置（ｕ’，ｖ’）を計算することができる。例えば、最も近い近隣による補間は、マッピングされたサンプル位置を導出することができ、それは、非線形関数を含むことがある。パディングを使用することができる。例えば、面分ベースのパディングを使用することができる。面分ベースのパディングを用いる場合、キューブの展開に対応することができる、周囲のパディングされる領域を満たすために、１つまたは複数の近隣面分を使用することができる。例えば、面分ベースのパディングの場合、周囲のパディングされる領域を満たすために、４つの近隣面分を使用する（例えば、直接的に使用する）ことができる。図１４は、キューブマップのためのパディングプロセスの例を示している。図１４Ａは、キューブマップのためのパディングプロセスの例示的な３Ｄ表現を示している。図１４Ｂは、キューブマップのためのパディングプロセスの、正面面分の周囲に展開された面分を有する、例示的なフラット表現を示している。図１４に示されるように、破線によって囲まれたパディングされる領域は、近隣面分からのサンプルを用いて満たすことができる。例えば、図１４に示される、破線によって囲まれたパディングされる領域は、近隣面分からのサンプルを用いて直接的に満たすことができる。図１３に示されるように、面分ベースのパディングが、使用される場合、Ｐ４、Ｐ５、および／またはＰ６をパディングするために、それぞれ、Ｑ０、Ｑ１、および／またはＱ２を使用することができる。Ｑ２は、Ｐサンプルを含む面分によって定義される半球に関して、反対側の半球に属することができ、および／またはＰサンプルを含む面分をパディングするためには、意味がないことがある。面分ベースのパディングは、面上の面分サイズの半分よりも大きいサイズによるパディングのためには、意味がないことがある。パディングされる領域のサイズが、小さい（例えば、数サンプル幅である）場合、投影角は、キューブ境界をそれの中心に結び付ける４５度の角度に近いことができ、および／または面分ベースのパディングは、十分な近似を提供することができる。図１４Ｂに示されるように、パディングされる領域の４つのコーナは、外挿することができる。図１４Ｂに示される、パディングされる領域の４つのコーナは、近隣面分から直接的に利用可能ではないサンプルを有することができる。１つまたは複数のコーナにおいて、反復パディングを使用することができる。例えば、４つのコーナにおいて、反復パディングを使用することができる。以下の外挿、すなわち、利用可能なサンプルを鏡像反転するもの、最も近い利用可能なサンプルを（例えば、図１５Ａに示されるように、面分境界に垂直に）複製するもの、および／またはサンプルを、図１５Ｂに示されるように、面分境界に対して対角線方向に複製するもののうちの１つまたは複数を使用することができる。例えば、サンプル値は、以下のように導出することができる。
｜ｘ｜≧｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ｖ（ｓｉｇｎ（ｘ）（｜ｘ｜＋｜ｙ｜），０）
｜ｘ｜＜｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ｖ（０，ｓｉｇｎ（ｙ）（｜ｘ｜＋｜ｙ｜）
｜ｘ｜≧｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ｖ（ｓｉｇｎ（ｘ）（｜ｘ｜＋｜ｙ｜），０）
｜ｘ｜＜｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ｖ（０，ｓｉｇｎ（ｙ）（｜ｘ｜＋｜ｙ｜）
【0089】
それの位置が２つの既存のサンプルから等距離にある、外挿されるサンプルについては、２つの既存のサンプルの平均を使用することができる。例えば、図１５Ａおよび図１５Ｂに示されるように、（例えば、破線として示される）対角線沿いでは、外挿されるサンプルは、２つの既存のサンプルから等距離にあることができ、利用可能なサンプルまでの距離に基づいた加重和を、使用することができる。サンプル値を導出することができる。例えば、図１５Ａに示された例示的な原理に従って、以下のように、サンプル値を導出することができる。
｜ｘ｜≧｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ａ×ｖ（ｘ，０）＋ｂ×ｖ（０，ｘ）、ａ＝（２×｜ｘ｜－｜ｙ｜）／（２×｜ｘ｜）、ｂ＝｜ｙ｜／（２×｜ｘ｜）
｜ｘ｜＜｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ａ×ｖ（ｙ，０）＋ｂ×ｖ（０，ｙ）、ａ＝｜ｘ｜／（２×｜ｙ｜）、ｂ＝（２×｜ｙ｜－｜ｘ｜）／（２×｜ｙ｜）
および／または、図１５Ｂに示された例示的な原理に従って、以下のように、サンプル値を導出することができる。
ｖ（ｘ，ｙ）＝ａ×ｖ（ｓｉｇｎ（ｘ）（｜ｘ｜＋｜ｙ｜），０）＋ｂ×ｖ（０，ｓｉｇｎ（ｙ）（｜ｘ｜＋｜ｙ｜）、ａ＝｜ｘ｜／（｜ｘ｜＋｜ｙ｜）、ｂ＝｜ｙ｜／（｜ｘ｜＋｜ｙ｜）
｜ｘ｜≧｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ａ×ｖ（ｘ，０）＋ｂ×ｖ（０，ｘ）、ａ＝（２×｜ｘ｜－｜ｙ｜）／（２×｜ｘ｜）、ｂ＝｜ｙ｜／（２×｜ｘ｜）
｜ｘ｜＜｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ａ×ｖ（ｙ，０）＋ｂ×ｖ（０，ｙ）、ａ＝｜ｘ｜／（２×｜ｙ｜）、ｂ＝（２×｜ｙ｜－｜ｘ｜）／（２×｜ｙ｜）
および／または、図１５Ｂに示された例示的な原理に従って、以下のように、サンプル値を導出することができる。
ｖ（ｘ，ｙ）＝ａ×ｖ（ｓｉｇｎ（ｘ）（｜ｘ｜＋｜ｙ｜），０）＋ｂ×ｖ（０，ｓｉｇｎ（ｙ）（｜ｘ｜＋｜ｙ｜）、ａ＝｜ｘ｜／（｜ｘ｜＋｜ｙ｜）、ｂ＝｜ｙ｜／（｜ｘ｜＋｜ｙ｜）
【0090】
１つまたは複数の面分を含む、１つまたは複数の投影ジオメトリについて、プロセス（例えば、類似のプロセス）を使用することができる。例えば、１つまたは複数の面分から構成される投影ジオメトリは、８面体および／または２０面体を含むことができるが、それらに限定されない。
【0091】
以下のケースのうちの１つまたは複数において、ジオメトリパディングを適用することができる。例えば、イントラ予測において、ジオメトリパディングを実行することができる。例えば、近隣サンプルが、ピクチャ境界の外部にあるときに、ジオメトリパディングを実行することができる。例えば、近隣サンプルが、予測される現在のサンプルと同じ面分内にないときに、ジオメトリパディングを実行することができる。インター予測において、ジオメトリパディングを実行することができる。例えば、基準サンプルが、基準ピクチャ境界の外部にあるときに、ジオメトリパディングを実行することができる。例えば、基準サンプルが、予測される現在のサンプルと同じ面分内にないときに、ジオメトリパディングを実行することができる。マッピングされるサンプル位置の導出は、以下のうちの１つまたは複数を含むことができる。パディングされる面分上における３Ｄ位置Ｐｆ（Ｘ，Ｙ，Ｚ）を、点（ｕ，ｖ）に基づいて、計算することができる。Ｐｆ（Ｘ，Ｙ，Ｚ）をジオメトリ構造上に投影することによって、位置Ｐｓ（Ｘ’，Ｙ’，Ｚ’）を計算することができる。新しい面分上における２Ｄ平面位置（ｕ’，ｖ’）を計算することができる。ピクチャ境界の外部にあることができる空間近隣ブロックを導出するために、マッピングされるサンプル位置の導出を使用することができる。予測されるブロックと同じ面分内にないことがある空間近隣ブロックを導出するために、マッピングされるサンプル位置の導出を使用することができる。マッピングブロック位置の属性を、ブロック（例えば、現在のブロック）のための予測因子として、使用することができる。例えば、マッピングブロック位置の属性は、以下のうちの、すなわち、イントラモード、インターモード、マージモード、ならびに／または（動きベクトルおよび／もしくは基準ピクチャインデックスを含むことができる）動き情報などのうちの１つまたは複数を含むことができる。ブロックのための予測因子として使用されるマッピングブロック位置は、ｐ（ｕ，ｖ）の３Ｄ位置Ｐｆ（Ｘ，Ｙ，Ｚ）を計算すること、Ｐｓ（Ｘ’，Ｙ’，Ｚ’）を計算すること、および／または２Ｄ位置（ｕ’，ｖ’）を計算することなどの技法を使用して導出される、以下のうちの１つまたは複数を含むことができる。例えば、インターマージモードの動きベクトル予測および／または動きベクトル導出のために、本明細書において説明されるように導出されたマッピングブロック位置の動きベクトルは、動きベクトル予測因子として、および／またはマージ候補の動きベクトルとして、使用することができる。近隣ブロックの位置を導出することができ、および／またはマッピングされたブロックからの属性を推測することができる。近隣ブロックのどの１つ（例えば、左、上など）かを考慮して、例えば、現在のブロックに最も近いロケーションｐ（ｕ，ｖ）として、近隣ブロックの位置を計算することができる。例えば、（ｕｃ，ｖｃ）が、現在のブロックの左上コーナのロケーションである場合、（ｕｃ－１，ｖｃ）を使用して、左近隣ブロックのロケーションを計算することができ、（ｕｃ，ｖｃ－１）を使用して、上近隣ブロックのロケーションを計算することができるなどである。近隣ブロックの位置は、近隣ブロックの中心として、計算することができる。例えば、（ｕｃ，ｖｃ）が、現在のブロックの左上コーナのロケーションである場合、位置（ｕｃ－１，ｖｃ）を含むブロックの中心位置として、左近隣ブロックのロケーションを計算することができ、（ｕｃ，ｖｃ－１）を含むブロックの中心位置として、上近隣ブロックのロケーションを計算することができるなどである。例えば、３Ｄジオメトリを展開することによって、近隣ブロックの位置を決定できる。３Ｄジオメトリの展開は、近隣面分上におけるマッピングブロック位置を決定できる。
【0092】
図１４Ｂに示されるように、パディングされる４つのコーナ領域における１つまたは複数のサンプルについてのマッピング位置は、反復パディングを使用するときは、面分内部の最も近いコーナサンプル位置であることができる。近隣ブロックの位置が、（例えば、図１５Ａおよび／または図１５Ｂにおいて破線を使用して表される）対角線上にある場合、それの位置は、面分に属さないことがある、キューブ面分境界にマッピングされることがあるので、利用不可能と見なすことができる。近隣ブロックの位置が、対角線上にない場合、近隣ブロック位置は、それぞれ、図１５Ａおよび／または図１５Ｂに示されるように、面分境界に関して最も近い利用可能な位置に投影することができる。例えば、近隣ブロック位置は、図１５Ａに示されるように、面分境界に関して垂直方向に最も近い利用可能な位置に投影することができる。例えば、近隣ブロック位置は、図１５Ｂに示されるように、面分境界に関して対角線方向に最も近い利用可能な位置に投影することができる。ジオメトリパディング技法は、ビデオ符号化の間に、１つまたは複数のフィルタリングプロセスに適用することができる。フィルタリングプロセスは、例えば、ループフィルタリング、サンプル適応オフセット（ＳＡＯ）、および／または適応ループフィルタリング（ＡＬＦ）を含むことができ、近隣サンプルを使用することができる。近隣サンプルが、ピクチャ境界の外部にある、またはフィルタリングされるサンプルと同じ面分内にないときは、近隣サンプル値を導出するために、ジオメトリパディングを使用することができる。
【0093】
式（３）、式（４）、および／または式（５）は、サイン関数および／またはコサイン関数を使用する。式（３）、式（４）、および／または式（５）におけるサイン関数および／またはコサイン関数などの、非線形関数のハードウェア実施は、ルックアップテーブル（ＬＵＴ）および／または線形補間を使用することができる。それらは、円関数であるので、ＬＵＴは、範囲［０，９０］内において定義することができる。近似精度は、アプリケーション要件および／またはメモリサイズ制約に基づいて、決定することができる。図１８は、ＬＵＴを使用した、サイン関数の例示的な導出を示している。ｓｉｎ（ｘ）は、変数ｘのサイン関数とすることができる。１つまたは複数の黒く塗り潰した円１６０２は、範囲［０，９０］内において一様にサンプリングされた、関数ｓｉｎ（ｘ）についてのＬＵＴを定義することができる。ｘは、それの値がＬＵＴ内において定義されていないことがある、入力変数とすることができる。ＰおよびＱは、入力ｘの第１および第２の最も近い近隣（または、例えば、サンプリング点）とすることができる。１つまたは複数の異なる補間を適用して、ｓｉｎ（ｘ）の値を導出することができる。例えば、最も近い近隣による補間が、使用される場合、ｓｉｎ（ｘ）は、ｓｉｎ（ｘ）＝ｓｉｎ（Ｐ）として、近似することができる。線形補間が、使用される場合、ｓｉｎ（ｘ）は、ｓｉｎ（ｘ）＝ｓｉｎ（Ｐ）＋（ｓｉｎ（Ｑ）－ｓｉｎ（Ｐ））×（Ｑ－ｘ）／（Ｑ－Ｐ）として、近似することができる。
【0094】
ＬＵＴは、ある範囲間では、非一様なサンプリングを用いて、定義することができる。例えば、ｓｉｎ（ｘ）については、（例えば、０度付近の勾配は、９０度付近のそれよりも大きいので）０度に近い範囲内においては、より多いサンプリング点を使用することができ、９０度に近い範囲内については、より少ないサンプリング点を使用できる。
【0095】
フレームパッキングされたピクチャの面分は、ジオメトリパディングを用いてパディングし、および／またはデコード済みピクチャバッファ内に記憶することができる。例えば、図１９Ａに示されるように、１つまたは複数（例えば、すべて）の面分を、ジオメトリパディングを用いてパディングし、および／または将来のピクチャ符号化の動き推定のために、デコード済みピクチャバッファ内に記憶することができる。面分は、エンコーダサイドにおいて、および／またはデコーダサイドにおいて、ジオメトリパディングを用いてパディングし、および／またはデコード済みピクチャバッファ内に記憶することができる。面分は、基準ピクチャが再構成された後に、ジオメトリパディングを用いてパディングし、および／またはデコード済みピクチャ内に記憶することができる。１つまたは複数の面分を、ジオメトリパディングを用いてパディングし、および／または将来のピクチャ符号化の動き推定のために、デコード済みピクチャバッファ内に記憶することができる。動き推定プロセスは、フレームパッキング情報に従って、現在のブロックを位置付けることができる面分および／または位置を決定することができる。
【0096】
エンコーディングを行うことなく、ブロック（例えば、ブロック全体）をスキップすることができる。例えば、ブロック（例えば、ブロック全体）が、図１９Ａにおいて「Ｖ」マークを付けられたヌル面分内部にある場合、エンコーディングを行うことなく、ブロック（例えば、ブロック全体）をスキップすることができる。ブロック（例えば、ブロック全体）が、図１９Ａにおいて「Ｖ」マークを付けられたヌル面分内部にない場合、動き推定プロセスは、開始位置および／または事前定義された探索範囲に基づいて、ブロックのための探索窓を決定することができる。例えば、図１９Ａおよび図１９Ｂに示されるように、ブロック「Ｂ」は、面分「０」内に位置付けることができる。開始位置は、それの空間および／または時間近隣ブロックから導出される、動きベクトル予測因子とすることができる。探索窓は、パディングされた面分用バッファ内にあるように、制限することができる。例えば、探索窓は、完全にパディングされた面分用バッファ内にあるように、制限することができる。動き探索を使用することができる。例えば、動き探索は、完全探索および／または高速探索などを含むことができる。例えば、動き探索は、探索窓を決定するときに、使用することができる。
【0097】
パディングされる領域のサイズは、性能に影響を与えることができる。例えば、パディングされる面分用バッファ内にあるように、探索窓を制限することができるので、パディングされる領域のサイズは、性能に影響を与えることができる。基準ピクチャのためのパディングされる面分を得るために、ジオメトリパディングを実行することができる。ジオメトリパディングは、デコーダサイドにおいて、および／またはエンコーダサイドにおいて、実行することができる。パディングされる面分用バッファは、動き補償のために使用することができる。ジオメトリパディングは、予測ブロックを生成することができる。例えば、ジオメトリパディングは、臨機応変に、予測ブロックを生成することができる。ジオメトリパディングを介した予測ブロックの生成は、ブロック毎にパディングを実行することができる。例えば、ジオメトリパディングを介した予測ブロックの生成は、必要に応じて、パディングを実行することができる。
【0098】
インターブロックをデコードするために、デコーダは、予測ブロック（または予測ブロックの部分）が、面分の外部にあることができるか、それとも面分の内部にあることができるかを決定することができる。例えば、デコーダは、予測ブロックが、現在の面分の外部にあることができるかどうかを決定することができる。デコーダは、予測ブロックの部分が、現在の面分の外部にあることができるかどうかを決定することができる。デコーダは、予測ブロック（または、例えば、予測ブロックの部分）が、現在の面分の外部にあることができるかどうかを、デコーディングブロックの位置、および／またはそれの動きベクトルに基づいて、決定することができる。デコーダは、いかなるパディングも実行しないことがある。例えば、予測ブロックが、面分の内部にある場合、デコーダは、パディングをスキップできる。デコーダは、ジオメトリパディング技法を使用して、特定のブロック（または、例えば、予測ブロックの部分）を生成することができる（例えば、それだけを生成することができる）。デコーダは、面分境界（例えば、面分境界全体）をパディングしないことがある。例えば、予測ブロック（および／または予測ブロックの部分）が、面分の外部にある場合、デコーダは、ジオメトリパディング技法を使用して、その特定のブロック（および／または、例えば、予測ブロックの部分）を生成することができる。
【0099】
対応するサンプル位置情報を記憶するルックアップテーブルを使用することができる。ルックアップテーブルは、各面分のパディングされる各位置についての対応するサンプル位置情報を記憶することができる。パディングされる領域のサイズについての１つまたは複数の制約を定義することができる。例えば、ジオメトリパディングのために使用されるＬＵＴのサイズについての要件を低減させるために、パディング領域の最大サイズおよび／またはサイズについての制約を定義することができる。パディングされる領域のサイズ（例えば、最大サイズ）についての１つまたは複数の制約は、ピクチャサイズに応じて、定義することができ、それは、実施リソース要件を低減させるために、プロファイル／レベル定義とすることができる。例えば、より大きいピクチャサイズを有するビデオは、より大きいパディングされる領域のサイズを使用することができる。パディングされる領域のサイズは、シーケンスパラメータセット（ＳＰＳ）および／またはピクチャパラメータセット（ＰＰＳ）など、シーケンスレベルで伝達することができる。
【0100】
デコーダは、初期化することができる。例えば、パディングされる領域のサイズをシーケンスレベルで伝達することによって、ＬＵＴを構築することができるので、デコーダを初期化することができる（例えば、より高速に初期化することができる）。ＬＵＴは、伝達された情報に基づいて、構築することができる。
【0101】
動き補償予測のために、ジオメトリパディング技法が、使用されるとき、および時間基準サンプルが、現在のブロックが属する面分の外部にあるとき、現在のブロックの動きベクトル、および／または現在のブロックの近隣ブロックの動きベクトルは、異なることができる。例えば、現在のブロックおよびそれの近隣ブロックが、異なる投影面分に属するとき、現在のブロックおよび／または現在のブロックの近隣ブロックの動きベクトルは、まったく異なることができる。フレームパッキングされたピクチャ内の２つの近隣面分は、３Ｄ空間内において隣接（例えば、直に隣接）しないことがあるので、現在のブロックの動きベクトル、および／または現在のブロックの近隣ブロックの動きベクトルは、まったく異なることができる。３Ｄ空間内における２つの隣接（例えば、直に隣接）する面分が、２Ｄフレームパッキングされたピクチャ内に配置されるとき、歪曲効果が存在することがあり、それが、面分境界において、サンプル値および／または動きベクトルの不連続性を引き起こすことがあるので、現在のブロックの動きベクトル、および／または現在のブロックの近隣ブロックの動きベクトルは、まったく異なることができる。現在のブロックを予測するために、動きベクトル予測因子のための近隣ブロックの動きベクトルを使用することができるかどうかは、近隣ブロックが異なる面分に属するかどうかに基づいて、決定することができる。エンコーダおよび／またはデコーダは、１つまたは複数（例えば、２つ）の隣接する面分境界が、３Ｄ空間において接続することができるかどうかをチェックすることができる。１つの面分境界は、近隣ブロックが属することができる面分の境界であることができる。他の面分境界は、現在のブロックが属することができる面分の境界であることができる。１つまたは複数（例えば、２つ）の面分境界が、３Ｄ空間において接続される場合、近隣ブロックの動きベクトルは、現在のブロックのための動きベクトル予測因子として、使用することができる。１つまたは複数（例えば、２つ）の面分境界が、３Ｄ空間において接続されない場合、近隣ブロックの動きベクトルは、現在のブロックの動きベクトル予測のために、使用されないことがある。１つまたは複数（例えば、２つ）の動きベクトル予測制約が、インターマージモードに適用可能であることができる。例えば、近隣ブロックが、異なる面分に属する場合、近隣ブロックは、インターマージモードのためのマージ候補として、使用されないことがある。
【0102】
ユニキューブ、ＡＣＰ、およびＥＡＣ投影のためのジオメトリパディングを実行することができる。
【0103】
本明細書において説明されるように、式（１１）および／または式（１２）は、ユニキューブ領域における座標（ｘ’，ｙ’）と、キューブ領域における座標（ｘ，ｙ）との間の関係を提供することができる。キューブ領域における座標と、球上における対応する３Ｄ点Ｐｓとの間の幾何学的関係を知ることができる。ユニキューブ投影フォーマットについての、パディングされる領域内における基準サンプルを導出するために、中間ステージとしてキューブマップを使用して、キューブマップジオメトリパディングを拡張することができる。例えば、ユニキューブ面分のパディングされる領域内の座標における基準サンプルを導出するために、以下のうちの１つまたは複数を実行することができる。フレームパッキングされたピクチャの入力投影と関連付けられた座標は、中間座標にマッピングすることができる。例えば、ユニキューブ投影と関連付けられた座標は、例えば、式（１２）に基づいて、キューブ面分内において定義されたように、中間座標にマッピングすることができる。中間キューブ座標は、近隣面分内の１つまたは複数の他のキューブ座標上に投影することができる。例えば、中間キューブ座標は、キューブマップフォーマットのジオメトリ投影関数に基づいて、近隣面分内の１つまたは複数の他のキューブ座標上に投影することができる。キューブ座標は、例えば、式（１１）に基づいて、ユニキューブ領域において定義された基準座標にマッピングし戻すことができる。ユニキューブ面分内の基準座標におけるサンプルは、例えば、補間フィルタを使用して、導出することができる。
【0104】
面分のパディングされる領域内の座標（ｕ，ｖ）を提供することができる。ユニキューブフォーマットのためのジオメトリパディングを実行することができる。１つまたは複数の座標を、ユニキューブフォーマット／ジオメトリからキューブフォーマット／ジオメトリに変換することができる。例えば、ユニキューブ面分内において、入力座標（ｕ，ｖ）を定義することができる。キューブ面分内において定義される中間座標（ｕｃ，ｖｃ）を、式（１２）に従って、計算することができる。以下のうちの１つまたは複数を介して、（ｕｃ，ｖｃ）を近隣キューブ面分上に投影することによって、基準座標（ｕｃ’，ｖｃ’）を導出することができる。キューブから３Ｄ空間への２Ｄから３Ｄへのマッピングを実行することができる。（ｕｃ，ｖｃ）が属する面分に応じて、対応する３Ｄ位置である（Ｘ，Ｙ，Ｚ）を計算することができる。例えば、面分が、ＮＺである場合、式（６）、式（７）、および／または式（８）を使用して、３Ｄ位置である（Ｘ，Ｙ，Ｚ）を計算することができる。基準サンプルが属する新しい面分は、例えば、３Ｄ座標（Ｘ，Ｙ，Ｚ）に基づいて、決定することができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＞０である場合、新しい面分は、ＰＸとすることができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＜０である場合、新しい面分は、ＮＸとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＞０である場合、新しい面分は、ＰＹとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＜０である場合、新しい面分は、ＮＹとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＞０である場合、新しい面分は、ＰＺとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＜０である場合、新しい面分は、ＮＺとすることができる。
３Ｄ空間からキューブへの３Ｄから２Ｄへのマッピングを実行することができる。（Ｘ，Ｙ，Ｚ）を使用して、新しい面分において、投影された２Ｄ座標（ｕｃ’，ｖｃ’）を計算することができる。例えば、新しい面分が、ＮＺである場合、式（９）および／または式（１０）を使用して、（Ｘ，Ｙ，Ｚ）を用いて、（ｕｃ’，ｖｃ’）を導出することができる。１つまたは複数の座標を、キューブフォーマット／ジオメトリからユニキューブフォーマット／ジオメトリに変換することができる。例えば、キューブ面分内において定義された基準座標（ｕｃ’，ｖｃ’）を与えられた場合、ユニキューブ面分内において定義された対応する基準座標（ｕ’，ｖ’）を計算することができる。パディングのために使用される、ユニキューブ面分内の基準座標（ｕ’，ｖ’）におけるサンプルは、ユニキューブ面分内の（ｕ’，ｖ’）周囲の整数位置におけるサンプルに補間フィルタを適用することによって、導出することができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＞０である場合、新しい面分は、ＰＸとすることができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＜０である場合、新しい面分は、ＮＸとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＞０である場合、新しい面分は、ＰＹとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＜０である場合、新しい面分は、ＮＹとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＞０である場合、新しい面分は、ＰＺとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＜０である場合、新しい面分は、ＮＺとすることができる。
３Ｄ空間からキューブへの３Ｄから２Ｄへのマッピングを実行することができる。（Ｘ，Ｙ，Ｚ）を使用して、新しい面分において、投影された２Ｄ座標（ｕｃ’，ｖｃ’）を計算することができる。例えば、新しい面分が、ＮＺである場合、式（９）および／または式（１０）を使用して、（Ｘ，Ｙ，Ｚ）を用いて、（ｕｃ’，ｖｃ’）を導出することができる。１つまたは複数の座標を、キューブフォーマット／ジオメトリからユニキューブフォーマット／ジオメトリに変換することができる。例えば、キューブ面分内において定義された基準座標（ｕｃ’，ｖｃ’）を与えられた場合、ユニキューブ面分内において定義された対応する基準座標（ｕ’，ｖ’）を計算することができる。パディングのために使用される、ユニキューブ面分内の基準座標（ｕ’，ｖ’）におけるサンプルは、ユニキューブ面分内の（ｕ’，ｖ’）周囲の整数位置におけるサンプルに補間フィルタを適用することによって、導出することができる。
【0105】
式（１２）に示されるように、変換関数β＝ｇ（β’）は、座標をユニキューブ面分からキューブ面分にマッピングすることができる。式１２の変換関数β＝ｇ（β’）は、分母に平方根を含む、分数を含むことができる。分母がゼロになることを防止するために、以下を実行することができ、
【0106】
【数7】
【0107】
β’∈［－１，１］は、ユニキューブ面分の内部のサンプルの座標の範囲を定義することができる。β’∈［－１，１］が、ユニキューブ面分の内部のサンプルの座標の範囲を定義することができる場合、式（２０）は、任意の３Ｄ点が、ユニキューブ面分上に投影されるとき、面分上の投影は、面分中心に中心を置くことができる、ならびに／または水平および／もしくは垂直方向において面分サイズの１．５倍の大きさであることができる領域内にあることができることを提供することができる。ジオメトリパディングをユニキューブフォーマットに適用するとき、ユニキューブ面分についてのパディングされる領域の最大サイズに対する限界が存在することがある。例えば、ユニキューブ面分のパディングされる領域の最大サイズは、面分サイズの１．５倍を超えることはできない。図２７は、ユニキューブ投影フォーマットについての、面分内におけるパディングされるサンプルの有効な領域の例を示している。
【0108】
動き補償予測が、ピクチャ境界および／または面分境界の外部にあるサンプルを参照するとき、符号化投影フォーマットによって表される３Ｄジオメトリ構造を考慮して、対応する基準サンプルをパディングするために、本明細書において説明されるジオメトリパディングを適用できる。例えば、予測ブロック（または予測ブロックの部分）は、ユニキューブ面分内のパディングされるサンプルの有効な領域の外部にあることができる。
【0109】
ジオメトリパディングは、ユニキューブ投影に基づいて、３６０度ビデオ符号化において実行することができる。
【0110】
図２８は、ユニキューブフォーマットについての、パディングされるサンプルの有効な領域への例示的なＭＶクリッピングを示している。図２８に示されるように、ＭＶクリッピング操作は、エンコーダおよび／またはデコーダにおいて、動き補償予測の前に、実行できる。例えば、時間予測は、ユニキューブ面分内のパディングされるサンプルの有効な領域からのものである、基準サンプルを使用することができる。ＭＶが、ユニキューブ面分の有効なパディングされる領域の外部にあること、または部分的に外部にあることができる、基準ブロックを指し示す場合、ＭＶは、予測ブロックの基準サンプルが、パディングについての有効な領域内にあることができるように、最も近い値にクリッピングすることができる。図２８に示されるように、基準ブロックＡは、部分的に、有効なパディングされる領域の外部にある。基準ブロックＡと関連付けられたＭＶは、基準ブロックＡ’を指し示す、ＭＶ’を生成するために、クリッピングすることができる。基準ブロックＡ’は、有効なパディングされる領域内にある、近隣ブロックであることができる。
【0111】
符号化されたＭＶが、適切な値を有することを保証するために、ビットストリームコンフォーマンスを提供することができる。例えば、符号化されたＭＶが、予測ブロックの基準サンプルのうちの１つまたは複数（例えば、すべて）が、ユニキューブ面分の有効なパディングされる領域からのものである適切な値を有することを保証するために、ビットストリームコンフォーマンスを提供することができる。符号化ブロックの位置および／またはサイズを与えられた場合、有効なＭＶの範囲を決定することができる。例えば、有効なＭＶの範囲は、有効なパディングされる領域の外部の基準サンプルを使用しない、動き補償予測信号に対応することができる。適合されたビットストリーム内のＭＶの値は、事前決定された範囲内にあることができる。
【0112】
ユニキューブについての動き補償予測のための基準サンプルをパディングするために、ハイブリッドパディングを実行することができる。ハイブリッドパディングは、ジオメトリパディングおよび反復パディングを合同で適用することができる。基準サンプルの位置が、ユニキューブ面分内のパディングされるサンプルの有効な領域内にある場合、３６０度ビデオにおいて表される３Ｄジオメトリ構造に基づいて、対応するサンプル値を導出するために、ジオメトリパディングを適用することができる。基準サンプルの位置が、ユニキューブ面分内のパディングされるサンプルの有効な領域内にない（例えば、基準サンプルの位置が、ユニキューブ面分内の有効なパディングされる領域の外部にある）場合、水平方向および／または垂直方向において、サンプル位置を有効なパディングされる領域内にある最も近い位置にクリッピングすることによって、サンプルをパディングするために、反復パディングを適用することができる。図２９は、ユニキューブ投影フォーマットについての例示的なハイブリッドパディングを示している。図２９に示されるように、基準ブロックＢは、ユニキューブ面分内の有効なパディングされる領域の外部（例えば、部分的に外部）にあることができる。サブブロックＢ３内のサンプルは、有効なパディングされる領域の内部にあることができ、サンプル値は、ジオメトリパディングに基づいて、導出することができる。サブブロックＢ０、Ｂ１、およびＢ２については、対応するサンプルは、有効なパディングされる領域の境界からサンプル値をコピー（例えば、反復的にコピー）することによって、パディングすることができる。例えば、Ｂ０は、Ｂ３の左上サンプルを用いて、満たすことができる。Ｂ１は、Ｂ３の最上行を用いて、満たすことができる。Ｂ２は、Ｂ３の左列を用いて、満たすことができる。図３０は、ハイブリッドパディングを使用してパディングされたピクチャの例を示している。反復パディングは、ハイブリッドパディングにおいて、例として利用することができる。ユニキューブ投影フォーマットについての、パディングされるサンプルの有効な領域の外部にあることができるサンプルをパディングするために、１つまたは複数の他のパディング方法（例えば、図１４における面分ベースのパディング、ならびに／または図１５における垂直外挿ベースおよび／もしくは対角線外挿ベースのパディングなど）を、ハイブリッドパディングにおいて適用することができる。
【0113】
シーケンスレベルにおいて、ユニキューブ面分サイズが、知られているとき、以下のうちの１つまたは複数を事前計算し、および／またはＬＵＴとして記憶することができる。例えば、パディングサンプル位置ＬＵＴは、キューブ面分内において定義された計算された中間座標（ｕｃ，ｖｃ）、導出された基準座標（ｕｃ’，ｖｃ’）、および／またはユニキューブ面分内において定義された計算された基準座標（ｕ’，ｖ’）の相関を示すことができる。ＬＵＴは、パディングされるサンプル位置においてサンプル値をパディングするために使用することができる、導出されたサンプル位置を記憶することができる。ユニキューブ面分内の基準座標（ｕ’，ｖ’）における導出されたマッピングされたサンプルを、ピクチャのために計算する（例えば、動的に計算する）ことができる。３Ｄ空間から６つのユニキューブ面分上への投影は、対称的であることができる。他の５つの面分のうちの１つまたは複数によって再使用することができる面分のために、基準ＬＵＴを記憶することができる。例えば、他の５つの面分のうちの１つまたは複数によって再使用することができる面分のために、単一の基準ＬＵＴを記憶することができる。図３２は、ユニキューブについてのジオメトリパディングのために６つの面分に対してＬＵＴを使用する例示的な図を示している。図３２に示されるように、３×２のフレームパッキング配置を適用することができる。図３２においては、空白のブロック３２０１は、面分領域を表すことができる。パターンを付されたブロック３２０３は、パディングされる領域を表すことができる。図３２に示されるように、サンプルＡおよびサンプルＢは、それぞれ、面分＃０および面分＃５のパディングされる領域内の同じ位置に位置付けることができる、２つのサンプルとすることができる。サンプルＡは、面分＃４内の２Ｄ座標（ｕ，ｖ）上に投影することができる。図３２において提示されるような、対称的な３Ｄ投影構造に基づいて、サンプルＢは、面分＃５の近隣面分、例えば、面分＃０内の同じ座標（例えば、（ｕ，ｖ））に投影することができる。例えば、異なる面分のパディングされる領域内における同じサンプル位置については、投影面分内における対応する座標は、同一であることができる。他の面分内のパディングされるサンプルの投影される座標を計算するために再使用することができる面分のために、パディングされるサンプル位置についての投影される座標を含むＬＵＴを記憶することができる。ＬＵＴが、面分の１つまたは複数（例えば、すべて）にわたって、再使用されるとき、マッピングされるサンプルの座標は、投影面分内にマッピングすることができる。例えば、ＬＵＴ（例えば、同じＬＵＴ）が、フレームパッキングプロセスの間に、回転に基づいて、面分のうちの１つまたは複数（例えば、すべて）にわたって、再使用されるとき、マッピングされるサンプルの座標は、投影面分内にマッピングすることができる。
【0114】
ジオメトリパディングが、３６０度ビデオ符号化に対して適用されるとき、限定されたパディングされる領域を記述するために、本明細書においては、ユニキューブ投影を使用することがあるが、限定されたパディングされる領域は、実際のキューブマップ面分が生成される前に、２Ｄ平面面分上のサンプルの座標を変更することによって、異なる球サンプリンググリッドを達成することができる、他のキューブ様の投影フォーマット（例えば、ＡＣＰおよび／またはＥＡＣなど）のために存在するように、適用することができる。ジオメトリパディングが、１つまたは複数の他の投影フォーマットと一緒に使用されるとき、本明細書において説明されるジオメトリパディング技法のうちの１つまたは複数（例えば、ＭＶクリッピング、ビットストリームコンフォーマンス、および／またはハイブリッドパディング）が、適用可能であることができる。異なる投影フォーマットによって使用されるマッピング関数は、様々であることができる。有効なパディングされる領域のサイズは、投影フォーマットに基づいて、調整することができる。例えば、ＡＣＰが、符号化投影フォーマットとして使用されるとき、式（１４）の平方根の内側が、ゼロよりも小さくないことを保証するために、－１．２８≦β’≦１．２８を使用することができる。例えば、ＡＣＰ面分についてのパディングされる領域の最大サイズは、面分サイズの１．２８倍であることができる。ＥＡＣが、符号化投影フォーマットとして使用されるとき、パディングされる領域の最大サイズは、式（１６）から、－２＜β’＜２として導出することができる。
【0115】
コンフォーマンス窓を用いた、基準ピクチャのためのジオメトリパディングを提供することができる。符号化されるピクチャのサイズは、水平および／または垂直方向において、最小ＣＵサイズの倍数であることができる。例えば、ピクチャは、符号化のために符号化ユニットに区分化することができるので、符号化されるピクチャのサイズは、水平および／または垂直方向において、最小ＣＵサイズの倍数であることができる。コンフォーマンス窓を使用することができ、および／またはパディングされるピクチャのサイズを最小ＣＵサイズの倍数にするために、シーケンスパラメータセットに収めて、窓サイズを伝達することができる。例えば、ソースピクチャサイズが、最小ＣＵサイズの倍数ではない場合、パディングされるピクチャのサイズを最小ＣＵサイズの倍数にするために、シーケンスパラメータセットに収めて、窓サイズを伝達することができる。パラメータＷおよびＨは、ソースピクチャの幅および高さを示すことができる。パラメータｍＣＵ＿ｗｉｄｔｈおよびｍＣＵ＿ｈｅｉｇｈｔは、最小ＣＵの幅および高さを示すことができる。パラメータｄＷおよびｄＨは、コンフォーマンス窓のための水平および垂直方向におけるパディングされるサイズを示すことができる。Ｃｅｉｌ（ｘ）は、変数ｘ以上の最小の整数値を計算するためのシーリング関数とすることができる。
ｄＷ＝Ｃｅｉｌ（Ｗ／ｍＣＵ＿ｗｉｄｔｈ）×ｍＣＵ＿ｗｉｄｔｈ－Ｗ
ｄＨ＝Ｃｅｉｌ（Ｈ／ｍＣＵ＿ｈｅｉｇｈｔ）×ｍＣＵ＿ｈｅｉｇｈｔ－Ｈ
ｄＷ＝Ｃｅｉｌ（Ｗ／ｍＣＵ＿ｗｉｄｔｈ）×ｍＣＵ＿ｗｉｄｔｈ－Ｗ
ｄＨ＝Ｃｅｉｌ（Ｈ／ｍＣＵ＿ｈｅｉｇｈｔ）×ｍＣＵ＿ｈｅｉｇｈｔ－Ｈ
【0116】
図２０Ａ、図２０Ｂ、および図２０Ｃは、ソースピクチャサイズが、水平および／または垂直方向において、最小ＣＵサイズの倍数ではないときの、パディングの３つの例を示している。図２０Ａは、ソースピクチャサイズが、最小ＣＵサイズの倍数ではないときの、水平方向における例示的なパディングを示している。図２０Ｂソースピクチャサイズが、最小ＣＵサイズの倍数ではないときの、垂直方向における例示的なパディングを示している。図２０Ｃは、ソースピクチャサイズが、最小ＣＵサイズの倍数ではないときの、水平方向および垂直方向における例示的なパディングを示している。基準ピクチャの面分に対して、ジオメトリパディングが、実行されるとき、パディングは、面分境界から開始することができ、パディングされる面分を連続にするために、コンフォーマンス窓を含まないことがある、外側に移動することができる。例えば、基準ピクチャの面分に対して、ジオメトリパディングが、実行されるとき、パディングは、面分境界から開始することができ、コンフォーマンス窓内におけるパディングは、エンコーダによって示すことができるので、外側に移動することができる。例えば、基準ピクチャの面分は、パディングされる面分を連続にするために、コンフォーマンス窓を含まないことがある。例えば、基準ピクチャの面分は、パディングされる面分を連続にするために、コンフォーマンス窓を含むことができる。コンフォーマンス窓は、変化させずに保つことができ、および／またはジオメトリパディングが、実行されるとき、パディングは、コンフォーマンス窓から開始することができる。
【0117】
ジオメトリパディングを用いたデブロッキングを実行することができる。ブロッキングアーチファクトを除去するために、デブロッキングフィルタを適用することができる。例えば、１つもしくは複数（例えば、２つ）の近隣予測ユニット間の境界上において、および／または１つもしくは複数（例えば、２つ）の変換ユニット間の境界上において、エンコーディングプロセスによって導入されたブロッキングアーチファクトを除去するために、デブロッキングフィルタを適用することができる。境界については、近隣ブロック内の１つまたは複数のサンプルを、現在のブロック内におけるそれらのサンプルのフィルタリングのために、使用することができる。例えば、図２１においては、ブロック「ｐ」は、現在のブロック「ｑ」の近隣ブロックであることができる。１つまたは複数の基準サンプル（ｐ0、ｐ1、ｐ2、および／またはｐ3）を使用して、１つまたは複数の基準サンプル（ｑ0、ｑ1、ｑ2、および／またはｑ3）をフィルタリングすることができる。境界が、面分境界である場合、ブロック「ｐ」および／またはブロック「ｑ」は、１つまたは複数（例えば、２つ）の異なる面分内にあることができる。境界が、面分境界である場合、基準サンプル｛ｐ0、ｐ1、ｐ2、ｐ3｝と基準サンプル｛ｑ0、ｑ1、ｑ2、ｑ3｝との間に、不連続性が、存在することがある。例えば、境界が、面分境界である場合、ジオメトリ歪曲のために、サンプル｛ｐ0、ｐ1、ｐ2、ｐ3｝とサンプル｛ｑ0、ｑ1、ｑ2、ｑ3｝との間に、不連続性が、存在することがある。面分境界上におけるデブロッキングフィルタの適用は、ブロッキングアーチファクトを除去しないことがある。面分境界上におけるデブロッキングフィルタの適用は、主観的な視覚品質を低下させることがある。面分境界は、ピクチャ境界として扱うことができる。例えば、面分境界は、その面分境界上において、デブロッキングフィルタを実行しないことができるように、ピクチャ境界として扱うことができる。導出された近隣サンプル値は、それらの近隣サンプルを別の面分内において直接的に使用する代わりに、デブロッキングフィルタに対する入力として使用される近隣サンプルのために、ジオメトリパディング技法に従って、使用することができる。例えば、サンプルｑ0、ｑ1、ｑ2、および／またはｑ3をフィルタリングするとき、ジオメトリパディング技法を使用して、導出される基準サンプルｐ0、ｐ1、ｐ2、および／またはｐ3を、必要に応じて導出することができる。面分境界は、フレームパッキング情報に従って、決定することができる。
【0118】
ジオメトリパディングを用いたサンプル適応オフセット（ＳＡＯ）を使用することができる。高周波数符号化アーチファクトを除去するために、ＳＡＯを使用することができる。例えば、ＨＥＶＣにおける高周波数符号化アーチファクトを除去するために、ＳＡＯを使用することができる。ＳＡＯは、バンドオフセットおよび／またはエッジオフセットを含むことができる。符号化ツリーユニット（ＣＴＵ）のために、ＳＡＯパラメータを伝達することができる。例えば、ＣＴＵは、６４×６４のブロックサイズを有することができる。エッジオフセットの場合、ＳＡＯプロセスは、ピクセルが、エッジ境界上にあるか、または与えられた方向に沿っていないかを決定することができる。図２２は、エッジオフセットＳＡＯによってピクセルを処理することができる例を示している。Ｓ（ｘ）は、位置ｘにおけるサンプル値とすることができる。Ｐは、現在のサンプルロケーションとすることができ、ｎ0は、それの左／上近隣位置とすることができ、ｎ1は、それの右／下近隣位置とすることができる。図２２に示される４つの例において、現在のサンプルは、エッジ境界にあることができる。エッジ境界は、エッジオフセットＳＡＯによって処理することができる。エッジオフセットＳＡＯプロセスは、それの近隣サンプル値を参照することができる。現在のサンプルが、面分境界に位置付けられる場合、現在のサンプルの近隣サンプルは、異なる面分内に位置付けることができる。例は、導出されたサンプルを使用することができる。例えば、導出されたサンプルは、１つまたは複数の近隣サンプルを置き換えることができる。現在のサンプルが、面分境界上にある場合、１つまたは複数の近隣サンプルを置き換えることができる。面分境界は、ピクチャ境界として扱うことができ、および／またはそれらの面分境界サンプルに対するＳＡＯフィルタリングは、スキップすることができる。
【0119】
ＳＡＯパラメータを伝達するかどうかは、ＣＴＵのロケーションに基づいて、決定することができる。例えば、３６０度ビデオ符号化については、ＣＴＵ（例えば、ＣＴＵ全体）が、（図１９Ａにおいて「Ｖ」マークを付された）ヌル面分の内部にある場合、サンプルは、フレームパッキングのために使用されることがあり、ユーザに提供されないことがあるので、ＳＡＯパラメータは、伝達されないことがある。
【0120】
異なる投影ジオメトリは、異なる特性を有することができる。例えば、ＥＲＰおよび／または正積投影は、１つの面分を有することがあり、面分境界問題は、ピクチャが引き延ばされるときでさえも、些細な事柄であることがある。キューブマップは、フレームパッキングされるピクチャにおいて、６つの面分と、多くの面分境界とを有することができる。そのため、ピクチャは、異なる投影ジオメトリで符号化することができる。（例えば、表１に列挙されるような）投影ジオメトリインデックスを、スライスのために（例えば、各スライスのために）伝達することができる。表１は、例示的な投影ジオメトリインデックスを提供する。
【0121】
【表1】
【0122】
投影フォーマットは、スライスレベルで伝達することができる。投影フォーマットシグナリングは、ピクチャレベルで実行することができる。例えば、投影フォーマットシグナリングは、投影ジオメトリのインデックスを介して、ピクチャレベルで実行することができる。シーケンスレベルにおいて、シーケンス全体において使用される投影フォーマットの総数、および／またはフォーマット自体を、伝達することができる。表２は、シーケンスレベルにおける、例示的な投影フォーマットシグナリングを提供する。
【0123】
【表2】
【0124】
パラメータｎｕｍ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔは、シーケンスにおいて使用される投影フォーマットの総数を指定することができる。パラメータｐｒｏｊｅｃｔ＿ｇｅｏｍｅｔｒｙ＿ｉｄｘ［ｉ］は、（例えば、ピクチャ／スライスレベルにおいて伝達されるような）第ｉのインデックスによって示される、（例えば、表１に示されるような）マッピングインデックスを指定することができる。例えば、エクイレクタングラ投影および正積投影が、シーケンスにおいて使用される場合、ならびにビットストリーム内において、正積およびエクイレクタングラを表すために、それぞれ、インデックス「０」および「１」が、使用される場合、ｐｒｏｊｅｃｔ＿ｇｅｏｍｅｔｉｙ＿ｉｄｘは、以下のようにカスタマイズし、表２に従って伝達することができる。
ｐｒｏｊｅｃｔ＿ｇｅｏｍｅｔｒｙ＿ｉｄｘ［０］＝２
ｐｒｏｊｅｃｔ＿ｇｅｏｍｅｔｒｙ＿ｉｄｘ［１］＝０
ｐｒｏｊｅｃｔ＿ｇｅｏｍｅｔｒｙ＿ｉｄｘ［０］＝２
ｐｒｏｊｅｃｔ＿ｇｅｏｍｅｔｒｙ＿ｉｄｘ［１］＝０
【0125】
ピクチャのための投影フォーマットは、レート－歪み最適化を使用して、決定することができる。エンコーダは、１つまたは複数の利用可能な投影フォーマットを用いて、現在のピクチャをエンコードすることができる。例えば、エンコーダは、１つまたは複数の利用可能な投影フォーマットを用いて、現在のピクチャをエンコードすることができる。エンコーダは、投影されるフォーマットのレート－歪みコストを測定することができる。最小のレート－歪みコストを有する投影フォーマットを選択することができる。歪みは、元のフォーマット領域において、測定することができる。例えば、Ｏは、元の投影フォーマットを表すことができ、Ｘは、測定された投影フォーマットを表すことができ、Ｉは、元のピクチャを表すことができ、Ｉ’は、再構成されたピクチャを表すことができる。元のピクチャＩは、元の投影フォーマットＯから符号化投影フォーマットＸに変換することができる。ピクチャは、符号化および再構成することができる。Ｐｒｏｊｅｃｔｉｏｎ（Ｉ，Ｆ）は、ピクチャＩをフォーマットＦに変換するために使用される、投影関数を表すことができる。ＩとＩ’から変換されたピクチャとの間の歪みは、以下のように、決定することができる。｜｜ｔ｜｜は、変数ｔの平方誤差（ＳＳＥ）の和とすることができる。
歪み＝｜｜Ｉ－Ｐｒｏｊｅｃｔｉｏｎ（Ｉ’，Ｏ）｜｜
歪み＝｜｜Ｉ－Ｐｒｏｊｅｃｔｉｏｎ（Ｉ’，Ｏ）｜｜
【0126】
デコード済みピクチャバッファ（ＤＰＢ）管理は、以下のように実行することができる。オンザフライ変換モードを使用することができる。再構成されたピクチャは、ＤＰＢ内に記憶することができる。基準ピクチャと現在のピクチャとが、異なる投影フォーマットを有する場合、基準ピクチャは、現在のピクチャのフォーマットに変換することができる。図２３Ａおよび図２３Ｂは、ＤＰＢ管理をいかに実行することができるかについての例を示している。影付きブロックおよび空白ブロックは、それぞれ、２つの投影フォーマットを示すことができる。破線ブロックは、仮想的ピクチャを示すことができ、実線ブロックは、物理的ピクチャを示すことができる。基準ピクチャＲ０は、１つの投影フォーマットにあることができる。基準ピクチャＲ１およびＲ２は、他の投影フォーマット（例えば、Ｒ０のための投影フォーマットとは異なる投影フォーマット）にあることができる。現在のピクチャＰは、ピクチャＲ１およびＲ２と同じ投影フォーマットを有することができる。破線境界を有するブロックピクチャ（例えば図２３Ａに示される基準ピクチャリストに属するＲ１およびＲ２）は、仮想的ピクチャを表すことができる。実線境界を有するブロック（例えば、図２３Ａに示される基準ピクチャリストに属するＲ０）は、バッファ内に記憶された物理的ピクチャを表すことができる。図２３Ａに示されるように、基準ピクチャＲ０は、それがデコードされる前に、ピクチャＰの投影フォーマットに変換することができる。変換されたバージョンは、基準ピクチャリスト上に配置することができる。基準ピクチャＲ１およびＲ２は、基準ピクチャバッファ内に配置することができる。例えば基準ピクチャＲ１およびＲ２は、ピクチャＰと同じ投影フォーマットを有するので、それらは、基準ピクチャバッファ内に直接的に配置することができる。
【0127】
基準ピクチャは、ＤＰＢ内に記憶される一方で、基準ピクチャは、異なる投影フォーマットに変換することができる。図２３Ｂに示されるように、基準ピクチャは、現在のピクチャＰの投影フォーマットに基づいて、ＤＰＢから選択することができる。基準ピクチャを使用して、基準ピクチャリストを構成することができる。
【0128】
１つまたは複数（例えば、すべて）のイントラスライス、および１つまたは複数（例えば、すべて）のインタースライスは、同じ投影ジオメトリ符号化を使用することができる。１つまたは複数（例えば、すべて）のイントラスライスは、１つの投影ジオメトリ符号化を使用することができ、一方、１つまたは複数（例えば、すべて）のインタースライスは、（例えば、イントラスライスにおいて使用される投影ジオメトリ符号化とは異なる）他の投影ジオメトリを使用することができる。再構成されたイントラピクチャは、インタースライスが使用する投影ジオメトリに変換することができる。例えば、デコード済みピクチャバッファ内に存在することができる、再構成されたイントラピクチャは、動き補償を直接的に適用することができるように、インタースライスが使用する投影ジオメトリに変換することができる。例えば、イントラスライスは、符号化のためにＥＲＰを使用することができ、一方、インタースライスは、符号化のためにキューブマップ投影を使用することができる。２つの投影のための解像度は、異なることができる。例えば、イントラスライスは、インタースライスよりも大きい解像度を有することができる。解像度が、異なる場合、再構成されたイントラピクチャ（例えば、デコード済みピクチャバッファ内に記憶された１つ）を、インタースライスが使用するジオメトリ投影に変換することができる。再構成されたイントラピクチャは、インタースライスと同じ解像度に再サンプリングすることができる。
【0129】
図３３Ａは、１つまたは複数の開示される実施形態を実施することができ、および／または使用することができる、例示的な通信システム１００の図を示している。通信システム１００は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムとすることができる。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能することができる。例えば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、およびシングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）など、１つまたは複数のチャネルアクセス方法を利用することができる。
【0130】
図３３Ａに示されるように、通信システム１００は、無線送受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄ（全体として、または一括して、ＷＴＲＵ１０２と呼ばれることがある）、無線アクセスネットワーク（ＲＡＮ）１０３／１０４／１０５、コアネットワーク１０６／１０７／１０９、公衆交換電話網（ＰＳＴＮ）１０８、インターネット１１０、ならびに他のネットワーク１１２を含むことができるが、開示される実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図していることが理解されよう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄの各々は、無線環境において動作および／または通信するように構成された、任意のタイプのデバイスとすることができる。例として、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄは、無線信号を送信および／または受信するように構成することができ、ユーザ機器（ＵＥ）、移動局、固定もしくは移動加入者ユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、および家電製品などを含むことができる。
【0131】
通信システム１００は、基地局１１４ａおよび基地局１１４ｂも含むことができる。基地局１１４ａ、１１４ｂの各々は、コアネットワーク１０６／１０７／１０９、インターネット１１０、および／またはネットワーク１１２などの１つまたは複数の通信ネットワークへのアクセスを容易にするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄのうちの少なくとも１つと無線でインターフェースするように構成された、任意のタイプのデバイスとすることができる。例として、基地局１１４ａおよび／または１１４ｂは、基地送受信機局（ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、および無線ルータなどとすることができる。基地局１１４ａ、１１４ｂは、各々が、単一の要素として示されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含むことができることが理解されよう。
【0132】
基地局１１４ａは、ＲＡＮ１０３／１０４／１０５の部分とすることができ、ＲＡＮ１０３／１０４／１０５は、他の基地局、および／または基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなどのネットワーク要素（図示されず）も含むことができる。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示されず）と呼ばれることがある、特定の地理的領域内において無線信号を送信および／または受信するように構成することができる。セルは、さらにセルセクタに分割することができる。例えば、基地局１１４ａに関連付けられたセルは、３つのセクタに分割することができる。したがって、一実施形態においては、基地局１１４ａは、送受信機を３つ、すなわち、セルのセクタ毎に１つずつ含むことができる。別の実施形態においては、基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を利用することができ、したがって、セルのセクタ毎に複数の送受信機を利用することができる。
【0133】
基地局１１４ａおよび／または１１４ｂは、エアインターフェース１１５／１１６／１１７上において、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄのうちの１つまたは複数と通信することができ、エアインターフェース１１５／１１６／１１７は、任意の適切な無線通信リンク（例えば、無線周波（ＲＦ）、マイクロ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）とすることができる。エアインターフェース１１５／１１６／１１７は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立することができる。
【0134】
より具体的には、上で言及されたように、通信システム１００は、多元接続システムとすることができ、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、およびＳＣ－ＦＤＭＡなどの、１つまたは複数のチャネルアクセス方式を利用することができる。例えば、ＲＡＮ１０３／１０４／１０５内の基地局１１４ａ、ならびにＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃは、広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））を使用してエアインターフェース１１５／１１６／１１７を確立することができる、ユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実施することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含むことができる。
【0135】
別の実施形態においては、基地局１１４ａ、ならびにＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃは、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥアドバンスト（ＬＴＥ－Ａ）を使用してエアインターフェース１１５／１１６／１１７を確立することができる、進化型ＵＭＴＳ地上無線アクセス（Ｅ－ＵＴＲＡ）などの無線技術を実施することができる。
【0136】
他の実施形態においては、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃは、ＩＥＥＥ８０２．１６（すなわち、マイクロ波アクセス用の世界的相互運用性（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ－ＤＯ、暫定標準２０００（ＩＳ－２０００）、暫定標準９５（ＩＳ－９５）、暫定標準８５６（ＩＳ－８５６）、移動体通信用グローバルシステム（ＧＳＭ（登録商標））、ＧＳＭエボリューション用の高速データレート（ＥＤＧＥ）、およびＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実施することができる。
【0137】
図３３Ａの基地局１１４ｂは、例えば、無線ルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントとすることができ、職場、家庭、乗物、およびキャンパスなどの局所的エリアにおける無線接続性を容易にするために、任意の適切なＲＡＴを利用することができる。一実施形態においては、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実施して、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立することができる。別の実施形態においては、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実施して、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立することができる。また別の実施形態においては、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、セルラベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａなど）を利用して、ピコセルまたはフェムトセルを確立することができる。図３３Ａに示されるように、基地局１１４ｂは、インターネット１１０への直接的な接続を有することがある。したがって、基地局１１４ｂは、コアネットワーク１０６／１０７／１０９を介してインターネット１１０にアクセスする必要がないことがある。
【0138】
ＲＡＮ１０３／１０４／１０５は、コアネットワーク１０６／１０７／１０９と通信することができ、コアネットワーク１０６／１０７／１０９は、音声、データ、アプリケーション、および／またはボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄのうちの１つまたは複数に提供するように構成された、任意のタイプのネットワークとすることができる。例えば、コアネットワーク１０６／１０７／１０９は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供することができ、および／またはユーザ認証など、高レベルのセキュリティ機能を実行することができる。図３３Ａには示されていないが、ＲＡＮ１０３／１０４／１０５および／またはコアネットワーク１０６／１０７／１０９は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを利用する他のＲＡＮと直接的または間接的に通信することができることが理解されよう。例えば、Ｅ－ＵＴＲＡ無線技術を利用することができるＲＡＮ１０３／１０４／１０５に接続するのに加えて、コアネットワーク１０６／１０７／１０９は、ＧＳＭ無線技術を利用する別のＲＡＮ（図示されず）とも通信することができる。
【0139】
コアネットワーク１０６／１０７／１０９は、ＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするための、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄのためのゲートウェイとしての役割も果たすことができる。ＰＳＴＮ１０８は、基本電話サービス（ＰＯＴＳ）を提供する回線交換電話網を含むことができる。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコルスイート内の伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、およびインターネットプロトコル（ＩＰ）など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなるグローバルシステムを含むことができる。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される有線または無線通信ネットワークを含むことができる。例えば、ネットワーク１１２は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを利用することができる１つまたは複数のＲＡＮに接続された、別のコアネットワークを含むことができる。
【0140】
通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄのいくつかまたはすべては、マルチモード機能を含むことができ、すなわち、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄは、異なる無線リンク上で異なる無線ネットワークと通信するための複数の送受信機を含むことができる。例えば、図３３Ａに示されるＷＴＲＵ１０２ｃは、セルラベースの無線技術を利用することができる基地局１１４ａと通信するように、またＩＥＥＥ８０２無線技術を利用することができる基地局１１４ｂと通信するように構成することができる。
【0141】
図３３Ｂは、例示的なＷＴＲＵ１０２のシステム図を示している。図３３Ｂに示されるように、ＷＴＲＵ１０２は、プロセッサ１１８と、送受信機１２０と、送信／受信要素１２２と、スピーカ／マイクロフォン１２４と、キーパッド１２６と、ディスプレイ／タッチパッド１２８と、非リムーバブルメモリ１３０と、リムーバブルメモリ１３２と、電源１３４と、全地球測位システム（ＧＰＳ）チップセット１３６と、他の周辺機器１３８とを含むことができる。ＷＴＲＵ１０２は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。また、実施形態は、基地局１１４ａ、１１４ｂ、ならびに／またはとりわけ、送受信機局（ＢＴＳ）、ノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、ホームノードＢ、進化型ノードＢ（ｅＮｏｄｅＢ）、ホーム進化型ノードＢ（ＨｅＮＢ）、ホーム進化型ノードＢゲートウェイ、およびプロキシノードなどの、しかしそれらに限定されない、基地局１１４ａ、１１４ｂが代表することができるノードが、図３３Ｂにおいて示され、本明細書において説明される要素のいくつかまたはすべてを含むことができることを企図している。
【0142】
プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、および状態機械などとすることができる。プロセッサ１１８は、信号符号化、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ１０２が無線環境で動作することを可能にする他の任意の機能性を実行することができる。プロセッサ１１８は、送受信機１２０に結合することができ、送受信機１２０は、送信／受信要素１２２に結合することができる。図３３Ｂは、プロセッサ１１８と送受信機１２０を別個の構成要素として示しているが、プロセッサ１１８と送受信機１２０は、電子パッケージまたはチップ内に一緒に統合することができることが理解できよう。
【0143】
送信／受信要素１２２は、エアインターフェース１１５／１１６／１１７上において、基地局（例えば、基地局１１４ａ）に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態においては、送信／受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナとすることができる。別の実施形態においては、送信／受信要素１２２は、例えば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成された放射器／検出器とすることができる。また別の実施形態においては、送信／受信要素１２２は、ＲＦ信号および光信号の両方を送信および受信するように構成することができる。送信／受信要素１２２は、無線信号の任意の組み合わせを送信および／または受信するように構成することができることが理解されよう。
【0144】
加えて、図３３Ｂにおいては、送信／受信要素１２２は単一の要素として示されているが、ＷＴＲＵ１０２は、任意の数の送信／受信要素１２２を含むことができる。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を利用することができる。したがって、一実施形態においては、ＷＴＲＵ１０２は、エアインターフェース１１５／１１６／１１７上において無線信号を送信および受信するための２つ以上の送信／受信要素１２２（例えば、複数のアンテナ）を含むことができる。
【0145】
送受信機１２０は、送信／受信要素１２２によって送信されることになる信号を変調し、送信／受信要素１２２によって受信された信号を復調するように構成することができる。上で言及されたように、ＷＴＲＵ１０２は、マルチモード機能を有することができる。したがって、送受信機１２０は、ＷＴＲＵ１０２が、例えば、ＵＴＲＡおよびＩＥＥＥ８０２．１１など、複数のＲＡＴを介して通信することを可能にするための、複数の送受信機を含むことができる。
【0146】
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば液晶表示（ＬＣＤ）ディスプレイユニットもしくは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８にユーザデータを出力することもできる。加えてプロセッサ１１８は、非リムーバブルメモリ１３０および／またはリムーバブルメモリ１３２など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。非リムーバブルメモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスク、または他の任意タイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、およびセキュアデジタル（ＳＤ）メモリカードなどを含むことができる。他の実施形態においては、プロセッサ１１８は、サーバまたはホームコンピュータ（図示されず）上などに配置された、ＷＴＲＵ１０２上に物理的に配置されていないメモリから情報を入手することができ、それらにデータを記憶することができる。
【0147】
プロセッサ１１８は、電源１３４から電力を受け取ることができ、ＷＴＲＵ１０２内の他の構成要素への電力の分配および／または制御を行うように構成することができる。電源１３４は、ＷＴＲＵ１０２に給電するための任意の適切なデバイスとすることができる。例えば、電源１３４は、１つまたは複数の乾電池（例えば、ニッケル－カドミウム（ＮｉＣｄ）、ニッケル－亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ－ｉｏｎ）など）、太陽電池、および燃料電池などを含むことができる。
【0148】
プロセッサ１１８は、ＧＰＳチップセット１３６に結合することもでき、ＧＰＳチップセット１３６は、ＷＴＲＵ１０２の現在ロケーションに関するロケーション情報（例えば、経度および緯度）を提供するように構成することができる。ＧＰＳチップセット１３６からの情報に加えて、またはその代わりに、ＷＴＲＵ１０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインターフェース１１５／１１６／１１７上においてロケーション情報を受信することができ、および／または２つ以上の近くの基地局から受信している信号のタイミングに基づいて、自らのロケーションを決定することができる。ＷＴＲＵ１０２は、実施形態との整合性を保ちながら、任意の適切なロケーション決定方法を用いて、ロケーション情報を獲得することができることが理解されよう。
【0149】
プロセッサ１１８は、他の周辺機器１３８にさらに結合することができ、他の周辺機器１３８は、追加的な特徴、機能性、および／または有線もしくは無線接続性を提供する、１つまたは複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含むことができる。例えば、周辺機器１３８は、加速度計、ｅコンパス、衛星送受信機、（写真またはビデオ用の）デジタルカメラ、ユニバーサルシリアルバス（ＵＳＢ）ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、およびインターネットブラウザなどを含むことができる。
【0150】
図３３Ｃは、実施形態による、ＲＡＮ１０３およびコアネットワーク１０６のシステム図を示している。上で言及されたように、ＲＡＮ１０３は、ＵＴＲＡ無線技術を利用して、エアインターフェース１１５上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信することができる。ＲＡＮ１０３は、コアネットワーク１０６と通信することもできる。図３３Ｃに示されるように、ＲＡＮ１０３は、ノードＢ１４０ａ、１４０ｂ、および／または１４０ｃを含むことができ、ノードＢ１４０ａ、１４０ｂ、および／または１４０ｃは、各々が、エアインターフェース１１５上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信するための１つまたは複数の送受信機を含むことができる。ノードＢ１４０ａ、１４０ｂ、および／または１４０ｃは、各々、ＲＡＮ１０３内の特定のセル（図示されず）に関連付けることができる。ＲＡＮ１０３は、ＲＮＣ１４２ａおよび／または１４２ｂを含むこともできる。ＲＡＮ１０３は、実施形態との整合性を保ちながら、任意の数のノードＢおよびＲＮＣを含むことができることが理解されよう。
【0151】
図３３Ｃに示されるように、ノードＢ１４０ａおよび／または１４０ｂは、ＲＮＣ１４２ａと通信することができる。加えて、ノードＢ１４０ｃは、ＲＮＣ１４２ｂと通信することができる。ノードＢ１４０ａ、１４０ｂ、および／または１４０ｃは、Ｉｕｂインターフェースを介して、それぞれのＲＮＣ１４２ａ、１４２ｂと通信することができる。ＲＮＣ１４２ａ、１４２ｂは、Ｉｕｒインターフェースを介して、互いに通信することができる。ＲＮＣ１４２ａ、１４２ｂの各々は、それが接続されたそれぞれのノードＢ１４０ａ、１４０ｂ、および／または１４０ｃを制御するように構成することができる。加えて、ＲＮＣ１４２ａ、１４２ｂの各々は、アウタループ電力制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、およびデータ暗号化など、他の機能性を実施またはサポートするように構成することができる。
【0152】
図３３Ｃに示されるコアネットワーク１０６は、メディアゲートウェイ（ＭＧＷ）１４４、モバイル交換センタ（ＭＳＣ）１４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ）１４８、および／またはゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）１５０を含むことができる。上記の要素の各々は、コアネットワーク１０６の部分として示されているが、これらの要素のうちのいずれの１つも、コアネットワークオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。
【0153】
ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＣＳインターフェースを介して、コアネットワーク１０６内のＭＳＣ１４６に接続することができる。ＭＳＣ１４６は、ＭＧＷ１４４に接続することができる。ＭＳＣ１４６およびＭＧＷ１４４は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと従来の固定電話回線通信デバイスとの間の通信を容易にすることができる。
【0154】
ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＰＳインターフェースを介して、コアネットワーク１０６内のＳＧＳＮ１４８に接続することもできる。ＳＧＳＮ１４８は、ＧＧＳＮ１５０に接続することができる。ＳＧＳＮ１４８とＧＧＳＮ１５０は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。
【0155】
上で言及されたように、コアネットワーク１０６は、ネットワーク１１２に接続することもでき、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含むことができる。
【0156】
図３３Ｄは、実施形態による、ＲＡＮ１０４およびコアネットワーク１０７のシステム図を示している。上で言及されたように、ＲＡＮ１０４は、エアインターフェース１１６上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信するために、Ｅ－ＵＴＲＡ無線技術を利用することができる。ＲＡＮ１０４は、コアネットワーク１０７と通信することもできる。
【0157】
ＲＡＮ１０４は、ｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃを含むことができるが、ＲＡＮ１０４は、実施形態との整合性を保ちながら、任意の数のｅノードＢを含むことができることが理解されよう。ｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃは、各々が、エアインターフェース１１６上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信するための１つまたは複数の送受信機を含むことができる。一実施形態においては、ｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃは、ＭＩＭＯ技術を実施することができる。したがって、ｅノードＢ１６０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、ＷＴＲＵ１０２ａから無線信号を受信することができる。
【0158】
ｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃの各々は、特定のセル（図示されず）に関連付けることができ、無線リソース管理決定、ハンドオーバ決定、ならびにアップリンクおよび／またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成することができる。図３３Ｄに示されるように、ｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃは、Ｘ２インターフェース上において互いに通信することができる。
【0159】
図３３Ｄに示されるコアネットワーク１０７は、モビリティ管理ゲートウェイ（ＭＭＥ）１６２と、サービングゲートウェイ１６４と、パケットデータネットワーク（ＰＤＮ）ゲートウェイ１６６とを含むことができる。上記の要素の各々は、コアネットワーク１０７の部分として示されているが、これらの要素のうちのいずれの１つも、コアネットワークオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。
【0160】
ＭＭＥ１６２は、Ｓ１インターフェースを介して、ＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃの各々に接続することができ、制御ノードとしての役割を果たすことができる。例えば、ＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃのユーザの認証、ベアラアクティブ化／非アクティブ化、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃの初期接続中における特定のサービングゲートウェイの選択などを担うことができる。ＭＭＥ１６２は、ＲＡＮ１０４と、ＧＳＭまたはＷＣＤＭＡなどの他の無線技術を利用する他のＲＡＮ（図示されず）との間の交換のためのコントロールプレーン機能を提供することもできる。
【0161】
サービングゲートウェイ１６４は、Ｓ１インターフェースを介して、ＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃの各々に接続することができる。サービングゲートウェイ１６４は、一般に、ユーザデータパケットのＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃへの／からのルーティングおよび転送を行うことができる。サービングゲートウェイ１６４は、ｅノードＢ間ハンドオーバ中におけるユーザプレーンのアンカリング、ダウンリンクデータがＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに利用可能なときのページングのトリガ、ならびにＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃのコンテキストの管理および記憶など、他の機能を実行することもできる。
【0162】
サービングゲートウェイ１６４は、ＰＤＮゲートウェイ１６６に接続することもでき、ＰＤＮゲートウェイ１６６は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。
【0163】
コアネットワーク１０７は、他のネットワークとの通信を容易にすることができる。例えば、コアネットワーク１０７は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと従来の固定電話回線通信デバイスとの間の通信を容易にすることができる。例えば、コアネットワーク１０７は、コアネットワーク１０７とＰＳＴＮ１０８との間のインターフェースとしての役割を果たすＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことができ、またはそれと通信することができる。加えて、コアネットワーク１０７は、ネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供することができ、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含むことができる。
【0164】
図３３Ｅは、実施形態による、ＲＡＮ１０５およびコアネットワーク１０９のシステム図を示している。ＲＡＮ１０５は、ＩＥＥＥ８０２．１６無線技術を利用して、エアインターフェース１１７上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信する、アクセスサービスネットワーク（ＡＳＮ）とすることができる。以下でさらに説明されるように、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃ、ＲＡＮ１０５、ならびにコアネットワーク１０９の異なる機能エンティティ間の通信リンクは、参照点として定義することができる。
【0165】
図３３Ｅに示されるように、ＲＡＮ１０５は、基地局１８０ａ、１８０ｂ、および／または１８０ｃと、ＡＳＮゲートウェイ１８２とを含むことができるが、ＲＡＮ１０５は、実施形態との整合性を保ちながら、任意の数の基地局およびＡＳＮゲートウェイを含むことができることが理解されよう。基地局１８０ａ、１８０ｂ、および／または１８０ｃは、各々、ＲＡＮ１０５内の特定のセル（図示されず）に関連付けることができ、各々が、エアインターフェース１１７上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信するための１つまたは複数の送受信機を含むことができる。一実施形態においては、基地局１８０ａ、１８０ｂ、および／または１８０ｃは、ＭＩＭＯ技術を実施することができる。したがって、基地局１８０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、ＷＴＲＵ１０２ａから無線信号を受信することができる。基地局１８０ａ、１８０ｂ、および／または１８０ｃは、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、およびサービス品質（ＱｏＳ）ポリシ実施などの、モビリティ管理機能を提供することもできる。ＡＳＮゲートウェイ１８２は、トラフィック集約ポイントとしての役割を果たすことができ、ページング、加入者プロファイルのキャッシング、およびコアネットワーク１０９へのルーティングなどを担うことができる。
【0166】
ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃとＲＡＮ１０５との間のエアインターフェース１１７は、ＩＥＥＥ８０２．１６仕様を実施する、Ｒ１参照点として定義することができる。加えて、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃの各々は、コアネットワーク１０９との論理インターフェース（図示されず）を確立することができる。ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃとコアネットワーク１０９との間の論理インターフェースは、Ｒ２参照点として定義することができ、Ｒ２参照点は、認証、認可、ＩＰホスト構成管理、および／またはモビリティ管理のために使用することができる。
【0167】
基地局１８０ａ、１８０ｂ、および／または１８０ｃの各々の間の通信リンクは、Ｒ８参照点として定義することができ、Ｒ８参照点は、ＷＴＲＵハンドオーバおよび基地局間におけるデータの転送を容易にするためのプロトコルを含む。基地局１８０ａ、１８０ｂ、および／または１８０ｃとＡＳＮゲートウェイ１８２との間の通信リンクは、Ｒ６参照点として定義することができる。Ｒ６参照点は、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃの各々に関連付けられたモビリティイベントに基づいたモビリティ管理を容易にするためのプロトコルを含むことができる。
【0168】
図３３Ｅに示されるように、ＲＡＮ１０５は、コアネットワーク１０９に接続することができる。ＲＡＮ１０５とコアネットワーク１０９との間の通信リンクは、Ｒ３参照点として定義することができ、Ｒ３参照点は、例えば、データ転送およびモビリティ管理機能を容易にするためのプロトコルを含む。コアネットワーク１０９は、モバイルＩＰホームエージェント（ＭＩＰ－ＨＡ）１８４と、認証認可課金（ＡＡＡ）サーバ１８６と、ゲートウェイ１８８とを含むことができる。上記の要素の各々は、コアネットワーク１０９の部分として示されているが、これらの要素のうちのいずれの１つも、コアネットワークオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。
【0169】
ＭＩＰ－ＨＡは、ＩＰアドレス管理を担うことができ、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃが、異なるＡＳＮおよび／または異なるコアネットワークの間においてローミングを行うことを可能にすることができる。ＭＩＰ－ＨＡ１８４は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。ＡＡＡサーバ１８６は、ユーザ認証、およびユーザサービスのサポートを担うことができる。ゲートウェイ１８８は、他のネットワークとの網間接続を容易にすることができる。例えば、ゲートウェイ１８８は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと従来の固定電話回線通信デバイスとの間の通信を容易にすることができる。加えて、ゲートウェイ１８８は、ネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供することができ、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含むことができる。
【0170】
図３３Ｅには示されていないが、ＲＡＮ１０５は、他のＡＳＮに接続することができ、コアネットワーク１０９は、他のコアネットワークに接続することができることが理解されるべきであり、理解でき、および／または理解されよう。ＲＡＮ１０５と他のＡＳＮとの間の通信リンクは、Ｒ４参照点として定義することができ、Ｒ４参照点は、ＲＡＮ１０５と他のＡＳＮとの間においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃのモビリティを調整するためのプロトコルを含むことができる。コアネットワーク１０９と他のコアネットワークとの間の通信リンクは、Ｒ５参照点として定義することができ、Ｒ５参照は、ホームコアネットワークと在圏コアネットワークとの間の網間接続を容易にするためのプロトコルを含むことができる。
【0171】
上では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用することができ、または他の特徴および要素との任意の組み合わせで使用することができることを当業者は理解されよう。加えて、本明細書において説明された方法は、コンピュータまたはプロセッサによって実行される、コンピュータ可読媒体内に含まれる、コンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読媒体の例は、（有線または無線接続上で送信される）電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、ならびにＣＤ－ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含むが、それらに限定されない。ソフトウェアと連携するプロセッサを使用して、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータにおいて使用される、無線周波数送受信機を実施することができる。
【産業上の利用可能性】
【0172】
本発明は、通信ビデオ符号化に利用できる。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19A】
【図19B】
【図20A】
【図20B】
【図20C】
【図21】
【図22】
【図23A】
【図23B】
【図24A】
【図24B】
【図24C】
【図24D】
【図25】
【図26A】
【図26B】
【図26C】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33A】
【図33B】
【図33C】
【図33D】
【図33E】
【手続補正書】
【提出日】2023-07-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオデコーディングの方法であって、
ビデオコンテンツにおける現在のブロックロケーションを取得するステップであって、前記現在のブロックロケーションは前記ビデオコンテンツの現在のブロックに関連付けられている、ステップと、
空間近隣ブロックロケーションを取得するステップであって、前記現在のブロックは、前記空間近隣ブロックロケーションに基づいてデコードされるよう構成されている、ステップと、
前記空間近隣ブロックロケーションが、前記ビデオコンテンツのコンテンツ境界の外に位置付けられていると決定するステップと、
前記空間近隣ブロックロケーションが、前記ビデオコンテンツの前記コンテンツ境界の外に位置付けられていることの前記決定に基づいて、前記空間近隣ブロックロケーションと関連付けられたマッピングされたブロックロケーションを取得するステップと、
前記マッピングされたブロックロケーションに関連付けられた属性を取得するステップと、
前記マッピングされたブロックロケーションに関連付けられた前記取得された属性に基づいて、前記現在のブロックをデコードするステップと
を備える方法。
ビデオコンテンツにおける現在のブロックロケーションを取得するステップであって、前記現在のブロックロケーションは前記ビデオコンテンツの現在のブロックに関連付けられている、ステップと、
空間近隣ブロックロケーションを取得するステップであって、前記現在のブロックは、前記空間近隣ブロックロケーションに基づいてデコードされるよう構成されている、ステップと、
前記空間近隣ブロックロケーションが、前記ビデオコンテンツのコンテンツ境界の外に位置付けられていると決定するステップと、
前記空間近隣ブロックロケーションが、前記ビデオコンテンツの前記コンテンツ境界の外に位置付けられていることの前記決定に基づいて、前記空間近隣ブロックロケーションと関連付けられたマッピングされたブロックロケーションを取得するステップと、
前記マッピングされたブロックロケーションに関連付けられた属性を取得するステップと、
前記マッピングされたブロックロケーションに関連付けられた前記取得された属性に基づいて、前記現在のブロックをデコードするステップと
を備える方法。
【請求項2】
前記ビデオコンテンツは、複数の面分を含み、前記空間近隣ブロックロケーションと関連付けられたマッピングされたブロックロケーションを取得するステップは、
前記複数の面分の内の面分のコーナの外に延びている対角線に垂直に前記空間近隣ブロックロケーションを投影して、中間ロケーションを取得することと、
第２のコンテンツ境界に垂直な前記中間ロケーションを投影して、前記空間近隣ブロックロケーションに関連付けられた前記マッピングされたブロックロケーションを取得することを含む請求項１に記載の方法。
前記複数の面分の内の面分のコーナの外に延びている対角線に垂直に前記空間近隣ブロックロケーションを投影して、中間ロケーションを取得することと、
第２のコンテンツ境界に垂直な前記中間ロケーションを投影して、前記空間近隣ブロックロケーションに関連付けられた前記マッピングされたブロックロケーションを取得することを含む請求項１に記載の方法。
【請求項3】
前記ビデオコンテンツは、複数の面分を含み、前記空間近隣ブロックロケーションと関連付けられたマッピングされたブロックロケーションを取得するステップは、
前記複数の面分の内の面分のコーナの外に延びている対角線に斜めに前記空間近隣ブロックロケーションを投影して、中間ロケーションを取得することと、
第２のコンテンツ境界に斜めに前記中間ロケーションを投影して、前記空間近隣ブロックロケーションに関連付けられた前記マッピングされたブロックロケーションを取得することを含む請求項１に記載の方法。
前記複数の面分の内の面分のコーナの外に延びている対角線に斜めに前記空間近隣ブロックロケーションを投影して、中間ロケーションを取得することと、
第２のコンテンツ境界に斜めに前記中間ロケーションを投影して、前記空間近隣ブロックロケーションに関連付けられた前記マッピングされたブロックロケーションを取得することを含む請求項１に記載の方法。
【請求項4】
前記マッピングされたブロックロケーションに関連付けられた前記属性は、マージモードを含み、
前記空間近隣ブロックロケーションに関連付けられた候補ブロックロケーションのインデックスを取得するステップであって、前記候補ブロックロケーションの前記インデックスは前記マッピングされたブロックロケーションを含む、ステップと、
前記候補ブロックロケーションの前記取得されたインデックスに基づいて、前記マッピングされたブロックロケーションを取得するステップと、
前記取得されたマッピングされたブロックロケーションに基づいて、前記現在のブロックの予測動き情報のための１つ以上の動きベクトルを取得ステップと
をさらに備える請求項１に記載の方法。
前記空間近隣ブロックロケーションに関連付けられた候補ブロックロケーションのインデックスを取得するステップであって、前記候補ブロックロケーションの前記インデックスは前記マッピングされたブロックロケーションを含む、ステップと、
前記候補ブロックロケーションの前記取得されたインデックスに基づいて、前記マッピングされたブロックロケーションを取得するステップと、
前記取得されたマッピングされたブロックロケーションに基づいて、前記現在のブロックの予測動き情報のための１つ以上の動きベクトルを取得ステップと
をさらに備える請求項１に記載の方法。
【請求項5】
前記マッピングされたブロックロケーションに関連付けられた前記属性は、イントラモードを含み、
前記マッピングされたブロックロケーションに関連付けられたブロックの前記イントラモードに基づいて、前記現在のブロックを再構成するステップ
をさらに備える請求項１に記載の方法。
前記マッピングされたブロックロケーションに関連付けられたブロックの前記イントラモードに基づいて、前記現在のブロックを再構成するステップ
をさらに備える請求項１に記載の方法。
【請求項6】
前記ビデオコンテンツは、複数の面分を含み、
前記空間近隣ブロックロケーションは第１の面分内に位置しており、前記マッピングされたブロックロケーションは第２の面分内に位置しており、前記第１の面分は、前記第２の面分と異なる請求項１に記載の方法。
前記空間近隣ブロックロケーションは第１の面分内に位置しており、前記マッピングされたブロックロケーションは第２の面分内に位置しており、前記第１の面分は、前記第２の面分と異なる請求項１に記載の方法。
【請求項7】
前記ビデオコンテンツは、複数の面分を含み、
前記マッピングされたブロックロケーションを取得するステップは、
前記空間近隣ブロックロケーションに関連付けられた３Ｄ位置を計算することであって、前記空間近隣ブロックロケーションは第１の面分と関連付けられていることと、
前記空間近隣ブロックロケーションに関連付けられた前記計算された３Ｄ位置に基づいて、前記マッピングされたブロックロケーションに関連付けられた第２の面分を識別することと、
前記空間近隣ブロックロケーションの前記３Ｄ位置で、ジオメトリ投影を適用して、前記マッピングされたブロックロケーションとして、前記第２の面分内における前記空間近隣ブロックロケーションの２Ｄ平面位置を導き出すことと
を含む請求項１に記載の方法。
前記マッピングされたブロックロケーションを取得するステップは、
前記空間近隣ブロックロケーションに関連付けられた３Ｄ位置を計算することであって、前記空間近隣ブロックロケーションは第１の面分と関連付けられていることと、
前記空間近隣ブロックロケーションに関連付けられた前記計算された３Ｄ位置に基づいて、前記マッピングされたブロックロケーションに関連付けられた第２の面分を識別することと、
前記空間近隣ブロックロケーションの前記３Ｄ位置で、ジオメトリ投影を適用して、前記マッピングされたブロックロケーションとして、前記第２の面分内における前記空間近隣ブロックロケーションの２Ｄ平面位置を導き出すことと
を含む請求項１に記載の方法。
【請求項8】
前記ビデオコンテンツは、第１の投影ジオメトリに関連付けられた複数の面分を含み、
前記第１の投影ジオメトリに関連付けられた座標を、中間座標に変換するステップであって、前記中間座標は第２の投影ジオメトリに関連付けられており、前記空間近隣ブロックロケーションの前記３Ｄ位置は前記中間座標において取得され、前記第２の面分内における前記空間近隣ブロックロケーションの前記２Ｄ平面位置は、前記中間座標において取得される、ステップと、
前記第２の投影ジオメトリと関連付けられた空間近隣ブロックロケーションの前記導き出された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標へ変換し戻すステップと
をさらに備える請求項７に記載の方法。
前記第１の投影ジオメトリに関連付けられた座標を、中間座標に変換するステップであって、前記中間座標は第２の投影ジオメトリに関連付けられており、前記空間近隣ブロックロケーションの前記３Ｄ位置は前記中間座標において取得され、前記第２の面分内における前記空間近隣ブロックロケーションの前記２Ｄ平面位置は、前記中間座標において取得される、ステップと、
前記第２の投影ジオメトリと関連付けられた空間近隣ブロックロケーションの前記導き出された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標へ変換し戻すステップと
をさらに備える請求項７に記載の方法。
【請求項9】
前記コンテンツ境界は、フレームパッキングされたピクチャ境界または面分境界の少なくとも１つであり、前記ビデオコンテンツは、３６０度ビデオコンテンツを含み、前記マッピングされたブロックロケーションは、前記３６０度ビデオコンテンツの円特性に基づいて取得される請求項１に記載の方法。
【請求項10】
ビデオデコーディングのための装置であって、
ビデオコンテンツにおける現在のブロックロケーションを取得するステップであって、前記現在のブロックロケーションは前記ビデオコンテンツの現在のブロックに関連付けられており、
空間近隣ブロックロケーションを取得するステップであって、前記現在のブロックは、前記空間近隣ブロックロケーションに基づいてデコードされるよう構成されており、
前記空間近隣ブロックロケーションが、前記ビデオコンテンツのコンテンツ境界の外に位置付けられていると決定し、
前記空間近隣ブロックロケーションが、前記ビデオコンテンツの前記コンテンツ境界の外に位置付けられていることの前記決定に基づいて、前記空間近隣ブロックロケーションと関連付けられたマッピングされたブロックロケーションを取得し、
前記マッピングされたブロックロケーションに関連付けられた属性を取得し、
前記マッピングされたブロックロケーションに関連付けられた前記取得された属性に基づいて、前記現在のブロックをデコードする
よう構成されたプロセッサ
を備えた装置。
ビデオコンテンツにおける現在のブロックロケーションを取得するステップであって、前記現在のブロックロケーションは前記ビデオコンテンツの現在のブロックに関連付けられており、
空間近隣ブロックロケーションを取得するステップであって、前記現在のブロックは、前記空間近隣ブロックロケーションに基づいてデコードされるよう構成されており、
前記空間近隣ブロックロケーションが、前記ビデオコンテンツのコンテンツ境界の外に位置付けられていると決定し、
前記空間近隣ブロックロケーションが、前記ビデオコンテンツの前記コンテンツ境界の外に位置付けられていることの前記決定に基づいて、前記空間近隣ブロックロケーションと関連付けられたマッピングされたブロックロケーションを取得し、
前記マッピングされたブロックロケーションに関連付けられた属性を取得し、
前記マッピングされたブロックロケーションに関連付けられた前記取得された属性に基づいて、前記現在のブロックをデコードする
よう構成されたプロセッサ
を備えた装置。
【請求項11】
前記ビデオコンテンツは、複数の面分を含み、前記空間近隣ブロックロケーションと関連付けられたマッピングされたブロックロケーションを取得することは、前記プロセッサが、
前記複数の面分の内の面分のコーナの外に延びている対角線に垂直に前記空間近隣ブロックロケーションを投影して、中間ロケーションを取得し、
第２のコンテンツ境界に垂直な前記中間ロケーションを投影して、前記空間近隣ブロックロケーションに関連付けられた前記マッピングされたブロックロケーションを取得する
よう構成された請求項１０に記載の装置。
前記複数の面分の内の面分のコーナの外に延びている対角線に垂直に前記空間近隣ブロックロケーションを投影して、中間ロケーションを取得し、
第２のコンテンツ境界に垂直な前記中間ロケーションを投影して、前記空間近隣ブロックロケーションに関連付けられた前記マッピングされたブロックロケーションを取得する
よう構成された請求項１０に記載の装置。
【請求項12】
前記ビデオコンテンツは、複数の面分を含み、前記空間近隣ブロックロケーションと関連付けられたマッピングされたブロックロケーションを取得することは、前記プロセッサが、
前記複数の面分の内の面分のコーナの外に延びている対角線に斜めに前記空間近隣ブロックロケーションを投影して、中間ロケーションを取得し、
第２のコンテンツ境界に斜めに前記中間ロケーションを投影して、前記空間近隣ブロックロケーションに関連付けられた前記マッピングされたブロックロケーションを取得する
よう構成された請求項１０に記載の装置。
前記複数の面分の内の面分のコーナの外に延びている対角線に斜めに前記空間近隣ブロックロケーションを投影して、中間ロケーションを取得し、
第２のコンテンツ境界に斜めに前記中間ロケーションを投影して、前記空間近隣ブロックロケーションに関連付けられた前記マッピングされたブロックロケーションを取得する
よう構成された請求項１０に記載の装置。
【請求項13】
前記マッピングされたブロックロケーションに関連付けられた前記属性は、マージモードを含み、前記プロセッサは、
前記空間近隣ブロックロケーションに関連付けられた候補ブロックロケーションのインデックスを取得し、前記候補ブロックロケーションの前記インデックスは前記マッピングされたブロックロケーションを含んでおり、
前記候補ブロックロケーションの前記取得されたインデックスに基づいて、前記マッピングされたブロックロケーションを取得し、
前記取得されたマッピングされたブロックロケーションに基づいて、前記現在のブロックの予測動き情報のための１つ以上の動きベクトルを取得する
よう構成された請求項１０に記載の装置。
前記空間近隣ブロックロケーションに関連付けられた候補ブロックロケーションのインデックスを取得し、前記候補ブロックロケーションの前記インデックスは前記マッピングされたブロックロケーションを含んでおり、
前記候補ブロックロケーションの前記取得されたインデックスに基づいて、前記マッピングされたブロックロケーションを取得し、
前記取得されたマッピングされたブロックロケーションに基づいて、前記現在のブロックの予測動き情報のための１つ以上の動きベクトルを取得する
よう構成された請求項１０に記載の装置。
【請求項14】
前記マッピングされたブロックロケーションに関連付けられた前記属性は、イントラモードを含み、前記プロセッサは、
前記マッピングされたブロックロケーションに関連付けられたブロックの前記イントラモードに基づいて、前記現在のブロックを再構成するよう構成された請求項１０に記載の装置。
前記マッピングされたブロックロケーションに関連付けられたブロックの前記イントラモードに基づいて、前記現在のブロックを再構成するよう構成された請求項１０に記載の装置。
【請求項15】
前記ビデオコンテンツは、複数の面分を含み、前記空間近隣ブロックロケーションは第１の面分内に位置しており、前記マッピングされたブロックロケーションは第２の面分内に位置しており、前記第１の面分は、前記第２の面分と異なり、前記コンテンツ境界は、フレームパッキングされたピクチャ境界または面分境界の少なくとも１つであり、前記ビデオコンテンツは、３６０度ビデオコンテンツを含み、前記マッピングされたブロックロケーションは、前記３６０度ビデオコンテンツの円特性に基づいて取得される請求項１０に記載の装置。
【請求項16】
前記ビデオコンテンツは、複数の面分を含み、
前記マッピングされたブロックロケーションを取得することは、前記プロセッサが、
前記空間近隣ブロックロケーションに関連付けられた３Ｄ位置を計算し、前記空間近隣ブロックロケーションは第１の面分と関連付けられており、
前記空間近隣ブロックロケーションに関連付けられた前記計算された３Ｄ位置に基づいて、前記マッピングされたブロックロケーションに関連付けられた第２の面分を識別し、
前記空間近隣ブロックロケーションの前記３Ｄ位置で、ジオメトリ投影を適用して、前記マッピングされたブロックロケーションとして、前記第２の面分内における前記空間近隣ブロックロケーションの２Ｄ平面位置を導き出す
よう構成された請求項１０に記載の装置。
前記マッピングされたブロックロケーションを取得することは、前記プロセッサが、
前記空間近隣ブロックロケーションに関連付けられた３Ｄ位置を計算し、前記空間近隣ブロックロケーションは第１の面分と関連付けられており、
前記空間近隣ブロックロケーションに関連付けられた前記計算された３Ｄ位置に基づいて、前記マッピングされたブロックロケーションに関連付けられた第２の面分を識別し、
前記空間近隣ブロックロケーションの前記３Ｄ位置で、ジオメトリ投影を適用して、前記マッピングされたブロックロケーションとして、前記第２の面分内における前記空間近隣ブロックロケーションの２Ｄ平面位置を導き出す
よう構成された請求項１０に記載の装置。
【請求項17】
前記ビデオコンテンツは、第１の投影ジオメトリに関連付けられた複数の面分を含み、前記プロセッサは、
前記第１の投影ジオメトリに関連付けられた座標を、中間座標に変換し、前記中間座標は第２の投影ジオメトリに関連付けられており、前記空間近隣ブロックロケーションの前記３Ｄ位置は前記中間座標において取得され、前記第２の面分内における前記空間近隣ブロックロケーションの前記２Ｄ平面位置は前記中間座標において取得され、
前記第２の投影ジオメトリと関連付けられた空間近隣ブロックロケーションの前記導き出された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標へ変換し戻す
ようさらに構成された請求項１６に記載の装置。
前記第１の投影ジオメトリに関連付けられた座標を、中間座標に変換し、前記中間座標は第２の投影ジオメトリに関連付けられており、前記空間近隣ブロックロケーションの前記３Ｄ位置は前記中間座標において取得され、前記第２の面分内における前記空間近隣ブロックロケーションの前記２Ｄ平面位置は前記中間座標において取得され、
前記第２の投影ジオメトリと関連付けられた空間近隣ブロックロケーションの前記導き出された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標へ変換し戻す
ようさらに構成された請求項１６に記載の装置。
【請求項18】
ビデオデエンコーディングの方法であって、
ビデオコンテンツを取得するステップと、
前記ビデオコンテンツにおける現在のブロックロケーションを取得するステップであって、前記現在のブロックロケーションは前記ビデオコンテンツの現在のブロックに関連付けられている、ステップと、
マッピングされたブロックロケーションと、前記マッピングされたブロックロケーションに関連付けられた属性を取得するステップと、
前記取得されたマッピングされたブロックロケーションと、前記マッピングされたブロックロケーションに関連付けられた前記属性に基づいて、空間近隣ブロックロケーションを取得するステップであって、前記空間近隣ブロックロケーションは、前記ビデオコンテンツのコンテンツ境界の外に位置付けられており、前記空間近隣ブロックロケーションは前記マッピングされたブロックロケーションと関連付けられている、ステップと、
前記空間近隣ブロックロケーションのための空間近隣ブロックロケーションインジケーションを含めるステップと
を備える方法。
ビデオコンテンツを取得するステップと、
前記ビデオコンテンツにおける現在のブロックロケーションを取得するステップであって、前記現在のブロックロケーションは前記ビデオコンテンツの現在のブロックに関連付けられている、ステップと、
マッピングされたブロックロケーションと、前記マッピングされたブロックロケーションに関連付けられた属性を取得するステップと、
前記取得されたマッピングされたブロックロケーションと、前記マッピングされたブロックロケーションに関連付けられた前記属性に基づいて、空間近隣ブロックロケーションを取得するステップであって、前記空間近隣ブロックロケーションは、前記ビデオコンテンツのコンテンツ境界の外に位置付けられており、前記空間近隣ブロックロケーションは前記マッピングされたブロックロケーションと関連付けられている、ステップと、
前記空間近隣ブロックロケーションのための空間近隣ブロックロケーションインジケーションを含めるステップと
を備える方法。
【請求項19】
前記マッピングされたブロックロケーションに関連付けられた前記属性は、マージモードを含み、
前記空間近隣ブロックロケーションに関連付けられた候補ブロックロケーションのインデックスを取得するステップであって、前記候補ブロックロケーションの前記インデックスは前記マッピングされたブロックロケーションを含んでいる、ステップと、
前記候補ブロックロケーションの前記取得されたインデックスに基づいて、前記マッピングされたブロックロケーションを取得するステップと、
前記取得されたマッピングされたブロックロケーションに基づいて、前記現在のブロックの予測動き情報のための１つ以上の動きベクトルを取得するステップと
を備える請求項１８に記載の方法。
前記空間近隣ブロックロケーションに関連付けられた候補ブロックロケーションのインデックスを取得するステップであって、前記候補ブロックロケーションの前記インデックスは前記マッピングされたブロックロケーションを含んでいる、ステップと、
前記候補ブロックロケーションの前記取得されたインデックスに基づいて、前記マッピングされたブロックロケーションを取得するステップと、
前記取得されたマッピングされたブロックロケーションに基づいて、前記現在のブロックの予測動き情報のための１つ以上の動きベクトルを取得するステップと
を備える請求項１８に記載の方法。
【請求項20】
前記コンテンツ境界は、フレームパッキングされたピクチャ境界または面分境界の少なくとも１つであり、前記ビデオコンテンツは、３６０度ビデオコンテンツを含み、前記マッピングされたブロックロケーションは、前記３６０度ビデオコンテンツの円特性に基づいて取得される請求項１８に記載の方法。
【請求項21】
ビデオデエンコーディングのための装置であって、
ビデオコンテンツを取得し、
前記ビデオコンテンツにおける現在のブロックロケーションを取得し、前記現在のブロックロケーションは前記ビデオコンテンツの現在のブロックに関連付けられており、
マッピングされたブロックロケーションと、前記マッピングされたブロックロケーションに関連付けられた属性とを取得し、
前記取得されたマッピングされたブロックロケーションと、前記マッピングされたブロックロケーションに関連付けられた前記属性に基づいて、空間近隣ブロックロケーションを取得し、前記空間近隣ブロックロケーションは、前記ビデオコンテンツのコンテンツ境界の外に位置付けられており、前記空間近隣ブロックロケーションは前記マッピングされたブロックロケーションと関連付けられており、
前記空間近隣ブロックロケーションのための空間近隣ブロックロケーションインジケーションを含める
よう構成されたプロセッサ
を備えた装置。
ビデオコンテンツを取得し、
前記ビデオコンテンツにおける現在のブロックロケーションを取得し、前記現在のブロックロケーションは前記ビデオコンテンツの現在のブロックに関連付けられており、
マッピングされたブロックロケーションと、前記マッピングされたブロックロケーションに関連付けられた属性とを取得し、
前記取得されたマッピングされたブロックロケーションと、前記マッピングされたブロックロケーションに関連付けられた前記属性に基づいて、空間近隣ブロックロケーションを取得し、前記空間近隣ブロックロケーションは、前記ビデオコンテンツのコンテンツ境界の外に位置付けられており、前記空間近隣ブロックロケーションは前記マッピングされたブロックロケーションと関連付けられており、
前記空間近隣ブロックロケーションのための空間近隣ブロックロケーションインジケーションを含める
よう構成されたプロセッサ
を備えた装置。
【請求項22】
前記マッピングされたブロックロケーションに関連付けられた前記属性は、マージモードを含み、前記プロセッサは、
前記空間近隣ブロックロケーションに関連付けられた候補ブロックロケーションのインデックスを取得し、前記候補ブロックロケーションの前記インデックスは前記マッピングされたブロックロケーションを含んでおり、
前記候補ブロックロケーションの前記取得されたインデックスに基づいて、前記マッピングされたブロックロケーションを取得し、
前記取得されたマッピングされたブロックロケーションに基づいて、前記現在のブロックの予測動き情報のための１つ以上の動きベクトルを取得する
よう構成された請求項２１に記載の装置。
前記空間近隣ブロックロケーションに関連付けられた候補ブロックロケーションのインデックスを取得し、前記候補ブロックロケーションの前記インデックスは前記マッピングされたブロックロケーションを含んでおり、
前記候補ブロックロケーションの前記取得されたインデックスに基づいて、前記マッピングされたブロックロケーションを取得し、
前記取得されたマッピングされたブロックロケーションに基づいて、前記現在のブロックの予測動き情報のための１つ以上の動きベクトルを取得する
よう構成された請求項２１に記載の装置。
【請求項23】
前記コンテンツ境界は、フレームパッキングされたピクチャ境界または面分境界の少なくとも１つであり、前記ビデオコンテンツは、３６０度ビデオコンテンツを含み、前記マッピングされたブロックロケーションは、前記３６０度ビデオコンテンツの円特性に基づいて取得される請求項２１に記載の装置。
【請求項24】
プロセッサに、請求項１乃至９いずれかに記載の方法を実施させる、ビデオデコーディングのための命令を含む非一時的コンピュータ読取り可能媒体。
【請求項25】
プロセッサに、請求項１８乃至２０いずれかに記載の方法を実施させる、ビデオエンコーディングのための命令を含む非一時的コンピュータ読取り可能媒体。