特表 2022-513487 没入型ビデオビットストリーム処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-08

(54)【発明の名称】没入型ビデオビットストリーム処理

(51)【国際特許分類】

   H04N 19/597 20140101AFI20220201BHJP

   H04N 19/85 20140101ALI20220201BHJP

   H04N 19/46 20140101ALI20220201BHJP

【ＦＩ】

H04N19/597

H04N19/85

H04N19/46

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021533828

(86)(22)【出願日】2018-12-14

(85)【翻訳文提出日】2021-08-12

(86)【国際出願番号】 CN2018121093

(87)【国際公開番号】W WO2020034509

(87)【国際公開日】2020-02-20

(81)【指定国・地域】

(71)【出願人】

【識別番号】510020354

【氏名又は名称】中▲興▼通▲訊▼股▲ふぇん▼有限公司

【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】ＺＴＥ Ｐｌａｚａ Ｋｅｊｉ Ｒｏａｄ Ｓｏｕｔｈ，Ｈｉ－Ｔｅｃｈ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ウー， ジャオ

(72)【発明者】

【氏名】リー， ミン

(72)【発明者】

【氏名】ウー， ピン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA00

5C159PP03

5C159RB09

5C159RC11

5C159SS26

5C159UA02

5C159UA05

5C159UA16

(57)【要約】

デジタルビデオまたはピクチャをエンコードまたはデコードするための技法は、３次元座標におけるパノラマ画像の複数の領域を含む２次元画像である、エンコードされたビデオ画像を含む、ビデオビットストリームを入手するステップと、複数の領域に関する近隣情報を抽出するステップと、近隣情報を使用して、ビデオビットストリームからデコードされるビデオ画像の後処理を実施するステップと、後処理の後、ビデオ画像から表示画像を発生させるステップとを含む。

【特許請求の範囲】

【請求項1】

ビデオまたはピクチャ処理のための方法であって、
３次元座標におけるパノラマ画像の複数の領域を含む２次元画像であるエンコードされたビデオ画像を含むビデオビットストリームを入手することと、
前記複数の領域に関する近隣情報を抽出することと、
前記近隣情報を使用して、前記ビデオビットストリームからデコードされるビデオ画像の後処理を実施することと、
前記後処理の後、前記ビデオ画像から表示画像を発生させることと
を含む、方法。

【請求項2】

前記近隣情報は、補完的拡張情報（ＳＥＩ）フィールドの中の前記ビデオビットストリームの中に含まれる、請求項１に記載の方法。

【請求項3】

前記近隣情報は、ビデオ有用性情報（ＶＵＩ）フィールドの中の前記ビットストリームの中に含まれる、請求項１－２のいずれかに記載の方法。

【請求項4】

前記近隣情報は、メディアプレゼンテーション記述（ＭＰＤ）フォーマットの中に含まれる、請求項１－３のいずれかに記載の方法。

【請求項5】

前記近隣情報は、前記複数の領域の領域に関して、１つ以上の隣接領域の数、前記１つ以上の隣接領域に関する３次元座標および長方形座標、または前記１つ以上の隣接領域の回転のインジケーションを含む情報を含む、請求項１－４のいずれかに記載の方法。

【請求項6】

前記近隣情報はさらに、前記１つ以上の隣接領域に関する回転の１つ以上の角度を含む、請求項５に記載の方法。

【請求項7】

前記近隣情報は、隣接情報テーブルを含む、請求項５－６のいずれかに記載の方法。

【請求項8】

前記３次元座標は、円筒座標正距円筒図法（ＥＲＰ）マッピング、立方体マッピング、八面体マッピング、二十面体マッピング二十面体、角錐台マッピング、セグメント化球投影、または正四角錐台を含む、請求項１－７のいずれかに記載の方法。

【請求項9】

ビデオまたはピクチャ処理の方法であって、
３次元座標において表わされるパノラマ画像を入手することと、
前記パノラマ画像を、複数の領域を含む２次元画像にマッピングすることと、
前記複数の領域の近隣情報を決定することと、
前記近隣情報を含む前記パノラマ画像からビデオビットストリームを発生させることと、
前記ビデオビットストリームを伝送または記憶することと
を含む、方法。

【請求項10】

前記近隣情報は、補完的拡張情報（ＳＥＩ）フィールドの中の前記ビデオビットストリームの中に含まれる、請求項９に記載の方法。

【請求項11】

前記近隣情報は、ビデオ有用性情報（ＶＵＩ）フィールドの中の前記ビットストリームの中に含まれる、請求項９に記載の方法。

【請求項12】

前記近隣情報は、メディアプレゼンテーション記述（ＭＰＤ）フォーマットの中に含まれる、請求項９に記載の方法。

【請求項13】

前記近隣情報は、前記複数の領域の領域に関して、１つ以上の隣接領域の数、前記１つ以上の隣接領域に関する３次元座標および長方形座標、または前記１つ以上の隣接領域の回転のインジケーションを含む情報を含む、請求項９－１２のいずれかに記載の方法。

【請求項14】

前記近隣情報はさらに、前記１つ以上の隣接領域に関する回転の１つ以上の角度を含む、請求項１３に記載の方法。

【請求項15】

前記近隣情報は、隣接情報テーブルを含む、請求項１１－１２のいずれかに記載の方法。

【請求項16】

前記３次元座標は、円筒座標正距円筒図法（ＥＲＰ）マッピング、立方体マッピング、八面体マッピング、二十面体マッピング二十面体、角錐台マッピング、セグメント化球投影、または正四角錐台を含む、請求項１－８のいずれかに記載の方法。

【請求項17】

ビデオエンコーダ装置であって、請求項９－１６のうちのいずれか１つ以上のものに記載の方法を実行するように構成されるプロセッサを備える、ビデオエンコーダ装置。

【請求項18】

ビデオデコーダ装置であって、請求項１－８のうちのいずれか１つ以上のものに記載の方法を実行するように構成されるプロセッサを備える、ビデオエンコーダ装置。

【請求項19】

コンピュータプログラム製品であって、前記コンピュータプログラム製品は、その上に記憶されたコードを有しており、前記コードは、プロセッサによって実行されると、前記プロセッサに、請求項１－１６のいずれか１つ以上のものに記載の方法を実行させる、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本特許文書は、概して、ビデオおよび画像のエンコーディングおよびデコーティングを対象とする。

【背景技術】

【0002】

ビデオエンコーディングは、圧縮ツールを使用し、２次元のビデオフレームを、ネットワークを経由して記憶または搬送するためにより効率的である、圧縮されたビットストリーム表現にエンコードする。エンコーディングのために２次元のビデオフレームを使用する従来的なビデオコーディング技法は、時として、３次元の視覚場面の視覚情報の表現に関して非効率的である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本特許文書は、とりわけ、多次元画像に関連する視覚情報を搬送するデジタルビデオをエンコードおよびデコードするための技法を説明する。

【課題を解決するための手段】

【0004】

１つの例示的側面では、ビデオまたはピクチャ処理のための方法が、開示される。本方法は、３次元座標におけるパノラマ画像の複数の領域を含む２次元画像である、エンコードされたビデオ画像を含む、ビデオビットストリームを入手するステップと、複数の領域に関する近隣情報を抽出するステップと、近隣情報を使用して、ビデオビットストリームからデコードされるビデオ画像の後処理を実施するステップと、後処理の後、ビデオ画像から表示画像を発生させるステップとを含む。

【0005】

別の例示的側面では、ビデオまたはピクチャ処理の別の方法が、開示される。本方法は、３次元座標におけるパノラマ画像を入手するステップと、パノラマ画像を、複数の領域を含む２次元画像にマッピングするステップと、複数の領域の近隣情報を決定するステップと、ビデオビットストリームを伝送または記憶するステップとを含む。

【0006】

別の例示的側面では、ビデオまたはピクチャの１つ以上のビットストリームを処理するための装置が、開示される。

【0007】

さらに別の例示的側面では、コンピュータプログラム記憶媒体が、開示される。コンピュータプログラム記憶媒体は、その上に記憶されたコードを含む。コードは、プロセッサによって実行されると、プロセッサに説明される方法を実行させる。

【0008】

これらおよび他の側面が、本書に説明される。

【図面の簡単な説明】

【0009】

【図1】図１は、ビデオエンコーディングのある例示的プロセスのフローチャートである。

【0010】

【図2A】図２Ａ－２Ｂは、球座標系から２次元座標系へのマッピングのある実施例を示す。

【図2B】図２Ａ－２Ｂは、球座標系から２次元座標系へのマッピングのある実施例を示す。

【0011】

【図3】図３は、マッピングされる領域を含む、ビデオフレームのある実施例を示す。

【0012】

【図4】図４は、マップおよび回転される領域を含む、ビデオフレームのある実施例を示す。

【0013】

【図5】図５は、ビデオデコーディングプロセスのある例示的フローチャートを示す。

【0014】

【図6】図６は、ビデオエンコーディング装置のある実施例のブロック図である。

【0015】

【図7】図７は、ビデオデコーディング装置のある実施例のブロック図である。

【0016】

【図8】図８は、本明細書に説明される方法を実行するためのハードウェアプラットフォームのある実施形態のブロック図である。

【0017】

【図9】図９は、球座標における没入型ビデオ画像の別の実施例を示す。

【0018】

【図10】図１０は、図９の球画像の２次元マッピングを示す。

【0019】

【図11】図１１は、異なるビュー間の視覚連続性を維持するためにピクチャ領域をマッピングおよび回転した後に発生されるビデオフレームのある実施例を示す。

【発明を実施するための形態】

【0020】

節の見出しは、可読性を改良するためのみに本書で使用され、各節内の開示される実施形態および技法の範囲をその節のみに限定しない。ある特徴が、Ｈ．２６４／ＡＶＣ（高度なビデオコーディング）およびＨ．２６５／ＨＥＶＣ（高効率ビデオコーディング）規格の実施例を使用して説明される。しかしながら、開示される技法の可用性は、Ｈ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣシステムのみに限定されない。

【0021】

簡潔な解説

【0022】

モバイル通信は、人々の生活を大いに変化させている。モバイル通信の開発に伴い、ＳＤからウルトラＨＤへ、フラットからパノラマステレオへ、標準ダイナミックレンジ（ＳＤＲ）から高ダイナミックレンジ（ＨＤＲ）へ、擬似色から真色へ、インターレース型からプログレッシブ型に変化した。ＴＶからモバイルフォンまで、秒あたり３０フレーム～秒あたり１２０フレームの走査において、人々は、ますますメディアコンテンツを閲覧することを要求し、閲覧形態は、多様である。没入型メディアは、異なる経験を、体性感覚的ゲームおよび没入型映画等のエンターテインメントおよびゲームにおいて、ユーザにもたらす。

【0023】

以前のビデオとは異なり、没入型ビデオは、元のビデオデータを捕捉するために複数のカメラを使用する。Ｈ．２６５／ＨＥＶＣ等の既存のビデオコーディング規格を使用するために、入手によって入手された元のデータは、マップおよび再配列され、最終的に、長方形コーディング面積を発生させる必要がある。

【0024】

本明細書に開示されるいくつかの実施形態では、没入型メディアデータが、球形から２次元平面にマッピングされ、次いで、再配列される。再配列後の隣接マッピング面積は、必ずしも元の球表面に隣接しているわけではない。球表面に隣接していない面積では、空間連続性特性が、存在せず、ともにエンコードされる場合、最適な圧縮率が、取得されることができない。

【0025】

簡潔な概観

【0026】

本明細書に説明されるいくつかの実施形態は、マッピングされた、または再配列データ領域の隣接面積が、球表面上で相互に隣接し、隣接情報を使用することによってエンコーディングの範囲を制御し、非隣接面積をともにエンコードすることを回避し、コーディング効率を改良するかどうかをマーキングするための有利な技法から恩恵を得られ得る。デコードするとき、隣接情報の使用は、誤差回復または後処理のためにより標的化されることができる。

【0027】

実施形態の実施例Ｉ

【0028】

本発明の実施形態によると、球座標下のパノラマ画像データが、収集され、パノラマ画像データは、球座標から長方形の２次元座標にマッピングされ、次いで、マップされた画像は、元の球座標下の再配列された４週間の各領域内の隣接領域の隣接関係を決定するように再配列され、隣接関係情報は、コードストリームに書き込まれる。コードのストリームを送信または記憶する。

【0029】

図１は、本発明の実施形態による、コードフロー処理方法１００のフローチャートである。

【0030】

ステップは、以下の通りである。

【0031】

ステップ１０１：球座標下のパノラマ画像を収集および入手する。画像は、カメラ源から、または画像が記憶される、記憶ユニットから受信されてもよい。

【0032】

例えば、球座標におけるパノラマ画像データが、カメラによる入手によって発生される。複数のカメラが、入手の後に同時に接合されることができる、または単一のカメラが、複数の画像を捕捉し、次いで、平行移動および回転動作を通して接合することができる。

【0033】

ステップ１０２：パノラマ画像を球座標から２次元の長方形座標（直交）にマッピングする。

【0034】

パノラマ画像データが、設定されたマッピング規則に従ってマッピングおよび転換され、２次元の長方形画像データを発生させる。

【0035】

マッピング規則は、限定ではないが、円筒マッピング正距円筒図法（ＥＲＰ）、立方体マッピング立方体マップ（ＣＭＰ）、八面体マッピング八面体（ＯＨＰ）、二十面体マッピング二十面体（ＩＳＰ）、角錐台マッピング正四角錐台（ＴＳＰ）、セグメント化球投影（ＳＳＰ）、調節済立方体マップ投影（ＡＣＰ）、回転球投影（ＲＳＰ）、等角立方体マップ投影（ＥＡＣ）、赤道円筒投影（ＥＣＰ）、ハイブリッド等角立方体マップ投影（ＨＥＣ）、直線投影を使用したビューポート発生、クラスタ放物線投影（ＣＣＰ）等であり得る。

【0036】

図２Ａは、球座標系において得られ、次いで、複数の平面（例えば、６つの２Ｄ表面）にマッピングされる、画像のある実施例を示す。図２Ａでは、各平面図が、等しい寸法（例えば、Ｗ×Ｗ×Ｗ（Ｗは、幅、高さ、および奥行を表す））を有し得る。代替として、２Ｄ表面のいくつかは、長方形であってもよい。例えば、ボックスの寸法は、Ｗ×Ｄ×Ｈであってもよい（Ｗは、幅であり、Ｄは、奥行きであり、Ｈは、高さであり、Ｗ、Ｄ、およびＨの少なくともいくつかは、相互と異なってもよい）。

【0037】

図２Ｂは、２次元平面内の対応する結果として生じる６つの領域を示す。領域は、上、左、前、右、後、および下の視認平面を表す。本特定のマッピングは、時として、立方体マッピングと呼ばれる。

【0038】

ステップ１０３：本ステップでは、マッピングされた２次元の長方形画像の再配列または再位置付けが、実施される。図２Ｂでは、ある画像データが、画像領域によって占有される一方、破線が付けられた長方形の残りの４つの隅が、対応する画像データを有していないことが見られ得る。

【0039】

再配列が実施された後、再配列画像が発生された後のステレオマッピングである、図３に示されるような完全な画像長方形データ面積から非画像データ面積を排除することが、可能であってもよい。

【0040】

図３に描写される再配列画像は、依然として、領域のうちのいくつかの間の視覚不連続性を有してもよい。視覚連続性は、図４に示されるように、画像の領域またはタイルのうちの１つを回転させることによって確立されてもよい。ステレオマッピングの後のサブ領域の本回転および再配列画像は、したがって、元の３Ｄ画像から全ての情報を捕捉し、これをコンパクトな視覚的に相関される様式において２Ｄ長方形領域上に提示する、２Ｄ画像を提供する。例えば、図４に示される長方形のビデオピクチャにおいて、ピクセルのうちのいかなるものも、いかなる画像情報も表さない「ダミー」ピクセルではない。

【0041】

ステップ１０４：本ステップにおいて、並替の後の異なる領域間の近隣物関係が、決定され、記憶されてもよい。本ステップは、並替プロセスの間に他のステップと同時に実装されてもよい。

【0042】

隣接関係は、異なる領域および周囲の領域が、球座標内で隣接しているかどうかを含み、表１は、領域と周囲の領域との間の隣接関係の内容の編成関係を示す。表において、用語「ｕｉｍｓｂｆ」は、「符号なし整数の最上位ビットを最初にする（ｕｎｓｉｇｎｅｄ ｉｎｔｅｇｅｒ ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ ｆｉｒｓｔ）」の略であり、用語「ｄｏｕｂｌｅ」は、倍精度フォーマット、例えば、６４ビットを指す。

【表1】

【0043】

いくつかの例示的実施形態では、上記にリスト化される構文要素のための以下の使用が、使用されてもよい。

【0044】

ｔａｂｌｅ＿ｉｄ：表の識別子

【0045】

ｖｅｒｓｉｏｎ：バージョン情報

【0046】

ｌｅｎｇｔｈ：（ビットまたはバイト数における）長さ情報

【0047】

ａｄｊａｃｅｎｔ＿ｎｕｍ：隣接面積の数

【0048】

ｓｐｈｅｒｅ＿ａｄｊａｃｅｎｔ＿ｆｌａｇ：本近隣が、現在の面積に隣接しているかどうか、１：隣接している、０：隣接していない

【0049】

（ｓｐｈｅｒｅ＿ｐｏｓｉｔｉｏｎ＿ｘ， ｓｐｈｅｒｅ＿ｐｏｓｉｔｉｏｎ＿ｙ， ｓｐｈｅｒｅ＿ｐｏｓｉｔｉｏｎ＿ｚ）：本近隣の左上隅の球表面上の３次元座標情報

【0050】

（ｒｅｃｔ＿ｐｏｓｉｔｉｏｎ＿ｘ， ｒｅｃｔ＿ｐｏｓｉｔｉｏｎ＿ｙ）：長方形平面上の近隣の左上隅の２次元座標情報

【0051】

ｒｏｔａｔｅ＿ｆｌａｇ：本近隣が、回転されるかどうか、１：回転される、０：回転されない

【0052】

ｒｏｔａｔｅ＿ｄｅｇｒｅｅ：本近隣の回転角度

【0053】

ｕｓｅｒ＿ｄａｔａ（）：ユーザ情報

【0054】

ステップ１０５：本ステップにおいて、隣接関係情報が、３Ｄビデオのビットストリーム表現内のフィールドに書き込まれてもよい。

【0055】

例えば、表１に示される構文は、上記の隣接関係情報が、コードストリームの中に書き込まれることを表すために使用されてもよい。

【0056】

ステップ１０６：３Ｄビデオの圧縮された表現の発生に応じて、本ステップは、後の使用または伝送のためにビットストリームを伝送または記憶するステップを含んでもよい。

【0057】

フィールドは、本文書に説明される技法のうちの１つを使用してビットストリームの中に含まれ得る。

【0058】

実施形態の実施例ＩＩ

【0059】

第１の実施形態のステップ１０４において、ａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｔａｂｌｅが、ビデオストリームＯＭＡＦの中のＲｅｃｔＲｅｇｉｏｎＰａｃｋｉｎｇ構造の中に書き込まれることができ、具体的な実施例は、表２に示される通りである。種々の実施形態では、ａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｔａｂｌｅは、あるシーケンスレベル、またはピクチャレベル、またはタイルレベル、またはＮＡＬレベルにおいてビデオビットストリームの中に挿入されてもよい。

【表2】

【0060】

ａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｔａｂｌｅのあるインスタンスは、表３に示される通りである。本実施例では、隣接情報テーブルは、テーブル（ａｄｊａｃｅｎｔ＿ｎｕｍ）の中に存在する情報要素の数を含む。テーブルは、次いで、領域の球形および長方形の位置をそれぞれ、リスト化してもよい。特定の領域が回転された場合、テーブルは、回転および回転の量を示す、フィールドを含む。

【0061】

表３は、球座標系と長方形座標系との間の転換のある実施例を示すが、本文書に説明される他の座標系とそれらの対応する２次元座標系表現との間のマッピング（および、該当する場合、回転）を表す類似のテーブルが、含まれ得る。ある場合には、エンコーダの座標系の選定が、シーケンスまたはピクチャレベルにおいてビデオビットストリームの中で信号伝達されてもよい。

【表3】

【0062】

実施形態の実施例ＩＩＩ

【0063】

実施形態１のステップ１０４において、ａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｔａｂｌｅに対応するビットが、表４に示される構造に示されるように、ビデオビットストリームの中の補完的な拡張情報（補完的拡張情報、ＳＥＩ）フィールドの中に記憶され得る。

【表4】

【0064】

表２では、ａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｔａｂｌｅ （）は、領域の隣接情報を含有する、実施形態１を伴うａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｔａｂｌｅデータ構造である。

【0065】

情報をＡＤＪＡＣＥＮＴ＿ＩＮＦＯとして識別する情報が、ＳＥＩ情報から取得されることができる。

【0066】

実施形態の実施例ＩＶ

【0067】

本実施形態において、実施形態Ｉのステップ１０４を参照すると、ビデオエンコーダは、表５に示される構造に示されるように、ａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｔａｂｌｅをビデオアプリ情報フィールド（ビデオ有用性情報、ＶＵＩ）に書き込んでもよい。本文書内の表では、以下の用語が、使用される。

【0068】

ｕ（ｎ）：ｎ個のビットを使用する、負号なし整数。ｎが、構文テーブルにおいて「ｖ」であるとき、ビット数は、他の構文要素の値に依存する様式において変動する。

【0069】

ｕｅ（ｖ）：左ビットが最初である、負号内整数の０次指数ゴロムコーディングされた構文要素。

【表5】

【0070】

表５のａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｆｌａｇ値は、「１」に等しく、後続の面積隣接情報が存在することを示す。

【0071】

ａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｔａｂｌｅ （）は、領域の隣接情報を含有する、実施形態１を伴うａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｔａｂｌｅデータ構造である。

【0072】

実施形態の実施例Ｖ

【0073】

実施形態１のステップ１０４において、ａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｔａｂｌｅは、搬送ストリームの記述、（ボックス等の）ファイルフォーマットにおけるデータユニット、メディアプレゼンテーション記述内のメディアレンダリング記述情報ユニット等の搬送ストリームのメディア記述情報、またはＭＰＤファイル等のシステムレイヤメディアプロパティ記述ユニットに書き込まれることができる。

【0074】

実施形態の実施例ＶＩ

【0075】

実施形態１の１０４において、領域の隣接情報は、Ｈ．２６５／ＨＥＶＣ規格を使用する時間ドメイン運動の限定されたタイルセット（時間的運動制約タイルセット、すなわち、ＭＣＴＳ）と組み合わせられる。ある例示的構文は、表６に示される通りである。

【0076】

下記の構文では、ａｄｊａｃｅｎｔ＿ｉｎｆｏ＿ｆｌａｇ：０は、面積隣接情報が存在しないことを示し、１は、領域隣接情報が存在することを示す。

【表6】

【0077】

ａｄｊａｃｅｎｔ＿ｉｎｆｏフィールドのある実施例が、表７に示される。

【表7】

【0078】

本表では、種々のエントリが、下記のような情報を表す値を有し得る。

【0079】

ｌｅｎｇｔｈ：長さ情報（ビットまたはバイトにおけるテーブル長）

【0080】

ａｄｊａｃｅｎｔ＿ｎｕｍ：隣接面積の数

【0081】

ｓｐｈｅｒｅ＿ａｄｊａｃｅｎｔ＿ｆｌａｇ：本近隣が、球表面上の現在の面積に隣接しているかどうか、１：隣接している、０：隣接していない

【0082】

（ｓｐｈｅｒｅ＿ｐｏｓｉｔｉｏｎ＿ｘ，ｓｐｈｅｒｅ＿ｐｏｓｉｔｉｏｎ＿ｙ，ｓｐｈｅｒｅ＿ｐｏｓｉｔｉｏｎ＿ｚ）：球表面上の本近隣の左上隅の３次元座標情報

【0083】

（ｒｅｃｔ＿ｐｏｓｉｔｉｏｎ＿ｘ，ｒｅｃｔ＿ｐｏｓｉｔｉｏｎ＿ｙ）：本近隣の左上隅における長方形平面上の２次元座標情報

【0084】

ｒｏｔａｔｅ＿ｆｌａｇ：本近隣が、回転するかどうか、１：回転後、０：回転なし

【0085】

ｒｏｔａｔｅ＿ｄｅｇｒｅｅ：本近隣の回転角度

【0086】

実施形態の実施例ＶＩＩ

【0087】

本実施形態は、ビデオデコーダにおいて実装され得る。本実施形態、すなわち、図５に示されるプロセスフロー５００によると、ビデオデコーダは、上記の情報に従って、ビットストリームを入手し（５０１）、ビットストリームから領域の隣接情報を抽出し（５０２）、ビットストリームの中で取得された領域データを処理して（５０３）もよい。ビットストリームおよび隣接関係情報は、ユーザインターフェースに表示するためのデコードまたは解凍された画像を発生させる（５０４）ために使用されてもよい。

【0088】

種々の実施形態では、上記のステップはそれぞれさらに、以下のように実装され得る。

【0089】

ステップ５０１：ビットストリームを入手する。

【0090】

ビットストリームは、システムレイヤ情報を含む、ビデオストリームまたはストリーミングメディアストリームであり得る。ビットストリームは、ネットワーク接続を経由して、またはハードドライブ、光ディスク、またはソリッドステートメモリ等のデータ記憶デバイスから入手され得る。

【0091】

ステップ５０２：ビットストリームから面積近隣物情報を抽出する。

【0092】

面積の近隣情報は、ＳＥＩ、ＶＵＩ、ＭＰＤ、および同等物等の着目領域情報によって設置される異なる場所に従って抽出される。

【0093】

ステップ５０３：上記の情報に従って面積データ上で後処理を実施する。

【0094】

Ｈ．２６４／ＡＶＣ規格スライス群（スライス群）を使用して、またはＨ．２６５／ＨＥＶＣ規格タイル（タイル）を使用して、コーデックユニット等のビデオコーデックユニットと組み合わせられた、面積近隣物情報に従って、画像データが、後処理される。１つの例示的後処理用途は、隣接面積上での境界フィルタリングを含み得る。そのような動作が、画像の視認品質を向上させるために実施されてもよい。別の例示的後処理動作は、境界フィルタリングを伴わずに非隣接面積を処理するステップを含む。例えば、近隣領域についての情報を使用して、フィルタリングが、視覚不連続性の境界を横断して抑制または無効化され得る。後処理の別の実施例は、誤差の補償または回復であり得る。そのような動作では、ある場所における欠損された視覚情報のための誤差補償は、非隣接面積情報構成を使用することなく、補償のための隣接面積のデータのみを使用して発生され得る。ビデオデコーダにおけるそのような方略は、例えば、有利には、ユーザに視覚的に持続的に見える画像を提供することによって、ビットストリーム内の欠損されたビットからの誤差の視覚自明性を覆い隠す。

【0095】

ステップ５０４：表示のための画像を発生させる。

【0096】

ビデオのデコーディング（解凍）および付加的な後処理の後、画像が、発生され得、データメモリの中に記憶される、および／またはディスプレイデバイス上に表示されてもよい。

【0097】

実施形態の実施例ＶＩＩＩ

【0098】

本実施形態では、ビデオ面積は、立体ビデオに属し、面積の隣接情報は、左および右の視野において同時に使用される。

【0099】

実施形態の実施例ＩＸ

【0100】

いくつかの実施形態では、ビデオデータの領域は、再配列されることなくエンコードされ得、同時に、領域近隣物情報が、発生される。隣接領域が、パディング領域である場合、領域近隣情報ｓｐｈｅｒｅ＿ａｄｊａｃｅｎｔ＿ｆｌａｇが、２に設定され、近隣が球表面上に存在しないことを示す。

【表8】

【0101】

実施形態の実施例Ｘ

【0102】

本実施形態は、実施形態１に説明されるビットストリーム処理方法１００に対応する。実施形態１０は、図６に示されるように、デバイス６００に対応し得る。デバイス６００は、以下を含む。

【0103】

球形のパノラマビデオ画像情報を収集するように構成される、入手モジュール６０１。本モジュールは、メモリからまたはカメラフレームバッファからビデオデータを読み取るための入力／出力コントローラ回路網を含んでもよい。本モジュールは、ビデオデータを読み取るためのプロセッサ実行可能命令を含んでもよい。

【0104】

球形のパノラマビデオ画像データをマッピングおよび再配列させ、領域近隣物情報を発生させるように構成される、マッピング再配列モジュール６０２。本モジュールは、プロセッサ実行可能ソフトウェアコードとして実装されてもよい。

【0105】

面積近隣物情報に従って再配列されたビデオ画像データをエンコードするように構成される、ビデオエンコーダモジュール６０３。ビデオエンコーダモジュール６０３は、例えば、形状が長方形であるビデオおよび画像のエンコーディングのために好適である、従来のＨ．２６４／Ｈ．２６５または別のコーデックであってもよい。ビデオエンコーダモジュール６０３は、運動推定／補償または画像内コーディング技法を使用する、技法を使用してもよい。

【0106】

表示／伝送モジュール６０４は、ビデオエンコードデータまたはメディアデータに対してストレージまたはネットワーク伝送レイヤコーディングのいずれかを実施するように構成され、面積の近隣物情報を含むビデオデータをエンコードする、またはビデオデータおよび面積の隣接データを別個にエンコードしてもよい。

【0107】

上記に説明される入手デバイス６０１、マッピング再配列モジュール６０２、ビデオエンコーダ６０３、および伝送モジュール６０４は、専用ハードウェア、または適切なソフトウェアとの組み合わせにおいて処理を実施することが可能なハードウェアを使用することによって、実装されることができる。そのようなハードウェアまたは特殊目的ハードウェアは、特定用途向け集積回路（ＡＳＩＣ）、種々の他の回路、種々のプロセッサ、および同等物を含み得る。プロセッサによって実装されると、機能性が、単一の専用プロセッサ、単一の共有プロセッサ、またはそのうちのいくつかが共有され得る、複数の独立型プロッセッサによって提供され得る。加えて、プロセッサは、ソフトウェアを実行することが可能であるハードウェアを指すように理解されるべきではないが、暗黙的に、限定ではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性記憶デバイスを含み得る。

【0108】

本実施形態におけるデバイス６００は、モバイルフォン、コンピュータ、サーバ、セットトップボックス、持ち運び可能なモバイル端末、デジタルビデオカメラ、テレビブロードキャストシステムデバイス、または同等物等のビデオ用途におけるデバイスであり得る。

【0109】

実施形態の実施例ＸＩ

【0110】

本実施形態は、実施形態ＶＩＩに説明される、ビットストリーム処理方法に対応し、実施形態ＸＩは、ビデオデコーディングを実装するデバイス７００に関する。図７に示されるように、本デバイスは、以下を含む。

【0111】

入手モジュール７０１は、ネットワークまたは記憶デバイスからビットストリームを入手し、ビデオエンコードデータまたはメディアデータを含むネットワーク伝送レイヤデータからのデコーディングを実施するように構成され、面積近隣物情報データのみを提案する、または面積近隣物情報を含むビデオデータを抽出してもよい。

【0112】

隣接面積情報処理モジュール７０２は、面積近隣物情報を解析するように構成される。

【0113】

ビデオデコーダ７０３は、ビデオデータ情報をデコードする、パノラマビデオをデコードする、または着目領域がデコーディングのために位置する独立的デコーディングユニットを抽出するように構成される。

【0114】

ディスプレイデバイス７０４は、パノラマビデオ画像を発生させる、または表示する、または部分的な隣接面積画像表示を選択するように構成される。

【0115】

上記に説明される伝送モジュール７０１、面積隣接情報処理モジュール７０２、ビデオデコーダ７０３、およびディスプレイデバイス７０４は、専用ハードウェア、または適切なソフトウェアとの組み合わせにおいて処理を実施することが可能なハードウェアを使用することによって、実現されることができる。そのようなハードウェアまたは特殊目的ハードウェアは、特定用途向け集積回路（ＡＳＩＣ）、種々の他の回路、種々のプロセッサ、および同等物を含み得る。プロセッサによって実装されると、機能性が、単一の専用プロセッサ、単一の共有プロセッサ、またはそのうちのいくつかが共有され得る、複数の独立型プロッセッサによって提供され得る。加えて、プロセッサは、ソフトウェアを実行することが可能であるハードウェアを指すように理解されるべきではないが、暗黙的に、限定ではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性記憶デバイスを含み得る。

【0116】

本実施形態のデバイスは、モバイルフォン、コンピュータ、サーバ、セットトップボックス、持ち運び可能なモバイル端末、デジタルビデオカメラ、テレビブロードキャストシステムデバイス、または同等物等のビデオ用途におけるデバイスであり得る。

【0117】

実施形態の実施例ＸＩＩ

【0118】

図９は、球座標系における没入型ビデオピクチャのある実施例を示す。本座標系は、図２Ａに描写される座標系に類似する。２つの視覚特徴、すなわち、標識された視覚特徴１および視覚特徴２が、図９に示される。これらの特徴は、現実世界におけるリジッドオブジェクトの視覚表現であり得る。視覚特徴１は、球座標系の湾曲表面に沿って存在し、上視および左視の両方において可視であり得る。同様に、視覚特徴２は、左視において可視であり得、底視においても可視であり続ける。本球形表現の寸法は、Ｗ×Ｈ×Ｄであり得、Ｗ、Ｈ、およびＤは、一般的には、異なる数量であり得る。

【0119】

図１０は、図９の球形図の２次元の長方形座標系へのマッピングを示す。図から見られ得るように、視覚特徴１および２は両方とも、それぞれ、上／左視および左／下視の縁を横断して分割されている。

【0120】

これは、いかなる情報の損失ももたらさず、デコーダ側における再マッピングが、本書に説明される隣接情報テーブルを使用して視覚連続性を復元させることができるが、運動予測および運動後補償フィルタリング等のあるビデオ処理が、境界においてアーチファクトを生成する傾向にあり得る。そのようなアーチファクトは、本技法を使用して排除または抑圧され得る。

【0121】

図１１は、領域の２次元座標系へのマッピングおよび並替を示し、領域のうちのいくつかが、回転され、視覚特徴１および視覚特徴２等の視覚特徴の視覚連続性を再確立する。マッピングおよび回転の後、結果として生じるビデオピクチャは、２^＊Ｗ＋Ｄの幅および２^＊Ｈの高さである。本実施例では、領域のうちの１つが、反時計回りに１８０度回転され、別の領域が、時計回りに９０度（すなわち、反時計回りに２７０度）回転される。本実施形態の１つの有利な側面は、マッピングおよび回転に起因して、Ｈ、Ｗ、およびＤが、異なる値を有し得るときでさえ、結果として生じる２次元のピクチャが、長方形のピクチャであることである。したがって、本スキームは、３次元の没入型ビデオが、マッピング動作の間にバウンディングボックスの異なる寸法を使用して捕捉されるときでさえ、作用する。

【0122】

図８は、本文書に説明されるエンコーダ側またはデコーダ側技法を実装するために使用され得る、ある例示的装置８００を示す。装置８００は、エンコーダ側またはデコーダ側技法または両方を実施するように構成され得る、プロセッサ８０２を含む。装置８００はまた、プロセッサ実行可能命令を記憶するため、およびビデオビットストリームおよび／または表示データを記憶するためのメモリ（図示せず）を含んでもよい。装置８００は、変換回路、算術コーディング／デコーディング回路、ルックアップテーブルベースのデータコーディング技法等のビデオ処理回路網（図示せず）を含んでもよい。ビデオ処理回路網は、部分的に、プロセッサの中に、および／または、部分的に、グラフィックプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の他の専用回路網の中に含まれてもよい。

【0123】

開示される技法のうちのいくつかは、以下の付記ベースの説明を使用して説明されることができる。

【0124】

１．ビデオまたはピクチャ処理のための方法であって、３次元座標におけるパノラマ画像の複数の領域を含む２次元画像であるエンコードされたビデオ画像を含むビデオビットストリームを入手するステップと、複数の領域に関する近隣情報を抽出するステップと、近隣情報を使用して、ビデオビットストリームからデコードされるビデオ画像の後処理を実施するステップと、後処理の後、ビデオ画像から表示画像を発生させるステップとを含む、方法。

【0125】

付記１に記載の方法は、単一のピクチャまたはビデオビットストリーム等のシーケンスピクチャをデコードするために使用され得る。図５および関連する説明は、付記１に記載の方法の付加的な実施形態および特徴を説明する。

【0126】

２．ビデオまたはピクチャ処理の方法であって、３次元座標において表わされるパノラマ画像を入手するステップと、パノラマ画像を、複数の領域を含む２次元画像にマッピングするステップと、複数の領域の近隣情報を決定するステップと、近隣情報を含むパノラマ画像からビデオビットストリームを発生させるステップと、ビデオビットストリームを伝送または記憶するステップとを含む、方法。

【0127】

付記２に記載の方法は、単一のピクチャまたはビデオビットストリーム等のシーケンスピクチャをエンコードするために使用され得る。図１および関連する説明は、付記２に記載の方法の付加的な実施形態および特徴を説明する。

【0128】

３．近隣情報は、補完的拡張情報（ＳＥＩ）フィールドの中のビデオビットストリームの中に含まれる、付記１－２に記載の方法。

【0129】

４．近隣情報は、ビデオ有用性情報（ＶＵＩ）フィールドの中のビットストリームの中に含まれる、付記１－２のいずれかに記載の方法。

【0130】

５．近隣情報は、メディアプレゼンテーション記述（ＭＰＤ）フォーマットの中に含まれる、付記１－２のいずれかに記載の方法。

【0131】

６．近隣情報は、複数の領域の領域に関して、１つ以上の隣接領域の数、１つ以上の隣接領域に関する３次元座標および長方形座標、または１つ以上の隣接領域の回転のインジケーションを含む、情報を含む、付記１－５のいずれかに記載の方法。

【0132】

７．近隣情報はさらに、１つ以上の隣接領域に関する回転の１つ以上の角度を含む、付記６に記載の方法。

【0133】

８．近隣情報は、隣接情報テーブルを含む、付記４－５のいずれかに記載の方法。

【0134】

９．３次元座標は、円筒座標正距円筒図法（ＥＲＰ）マッピング、立方体マッピング、八面体マッピング、二十面体マッピング二十面体、角錐台マッピング、セグメント化球投影、または正四角錐台を含む、付記１－８のいずれかに記載の方法。

【0135】

１０．ビデオエンコーダ装置であって、付記２－９のうちのいずれか１つ以上のものに記載の方法を実行するように構成される、プロセッサを備える、ビデオエンコーダ装置。

【0136】

１１．ビデオデコーダ装置であって、付記１または３－９のうちのいずれか１つ以上のものに記載の方法を実行するように構成される、プロセッサを備える、ビデオエンコーダ装置。

【0137】

１２．コンピュータプログラム製品であって、コンピュータプログラム製品は、その上に記憶されたコードを有し、コードは、プロセッサによって実行されると、プロセッサに、付記１－９のいずれか１つ以上のものに記載の方法を実行させる、コンピュータプログラム製品。

【0138】

付記に説明される技法の付加的な実施形態および特徴が、本書の全体を通して開示される。

【0139】

当業者は、上記のステップの全てまたは一部が、読取専用メモリ、磁気ディスク、または光ディスク等の関連付けられるハードウェアに命令するプログラムによって成し遂げられ得ることを理解するであろう。代替として、上記の実施形態のステップの全てまたは一部はまた、１つ以上の集積回路を使用して実装されてもよい。対応して、上記の実施形態における各モジュール／ユニットは、ハードウェアの形態において、またはソフトウェア関数モジュールの形態において実装されてもよい。本発明は、ハードウェアおよびソフトウェアの任意の具体的な形態の組み合わせに限定されない。

【0140】

本書に説明される、開示されるおよび他の実施形態、モジュール、および機能動作が、デジタル電子回路で、または本書に開示される構造およびそれらの構造均等物を含む、コンピュータソフトウェア、ファームウェア、またはハードウェアで、またはそれらのうちの１つ以上のものの組み合わせで、実装されることができる。開示されるおよび他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはその動作を制御するために、コンピュータ可読媒体上でエンコードされるコンピュータプログラム命令の１つ以上のモジュールとして、実装されることができる。コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝搬信号を生じさせる構成物、または１つ以上のそれらの組み合わせであり得る。用語「データ処理装置」は、一例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。本装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つ以上のもののある組み合わせを成すコードを含むことができる。伝搬信号は、人工的に発生される信号、例えば、好適な受信機装置に伝送するために情報をエンコードするように発生される、機械で発生される電気、光学、または電磁信号である。

【0141】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても公知である）が、コンパイラ型またはインタープリタ型言語を含む、任意の形態のプログラミング言語で書かれることができ、独立型プログラムとして、またはコンピューティング環境内の使用のために好適なモジュール、コンポーネント、サブルーチン、または他のユニットとしてを含む、任意の形態で展開されることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラムまたはデータを保持するファイル（例えば、マークアップ言語文書内に記憶された１つ以上のスクリプト）の一部内に、当該プログラム専用の単一のファイル内に、または複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を記憶するファイル）内に記憶されることができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの地点に位置する、または複数の地点を横断して分散され、通信ネットワークによって相互接続される複数のコンピュータ上で、実行されるように展開されることができる。

【0142】

本書に説明されるプロセスおよび論理フローは、入力データに作用し、出力を発生させることによって機能を実施するように、１つ以上のコンピュータプログラムを実行する、１つ以上のプログラマブルプロセッサによって、実施されることができる。プロセスおよび論理フローはまた、特殊用途論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実施されることもでき、装置もまた、それとして実装されることができる。

【0143】

コンピュータプログラムの実行のために好適なプロセッサは、一例として、汎用および特殊用途マイクロプロセッサの両方、および任意の種類のデジタルコンピュータのいずれか１つ以上のプロセッサを含む。概して、プロセッサは、読取専用メモリまたはランダムアクセスメモリまたは両方から、命令およびデータを受信するであろう。コンピュータの不可欠な要素は、命令を実施するためのプロセッサ、および命令およびデータを記憶するための１つ以上のメモリデバイスである。概して、コンピュータはまた、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、磁気光学ディスク、または光ディスクを含む、またはそこからデータを受信する、またはそこにデータを転送する、または両方を行うように、動作可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するために好適なコンピュータ可読媒体は、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク、磁気光学ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊用途論理回路網によって補完される、またはそれに組み込まれることができる。

【0144】

本特許文書は、多くの詳細を含有するが、これらは、任意の発明または請求され得るものの範囲への限定としてではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別個の実施形態との関連で本特許文書に説明されるある特徴もまた、単一の実施形態において組み合わせて実装されることができる。逆に、単一の実施形態との関連で説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。また、特徴が、ある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴が、ある場合には、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。

【0145】

同様に、動作が、特定の順序で図面に描写されるが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または順次順序で実施されること、または全ての図示される動作が実施されることを要求するものとして理解されるべきではない。また、本特許文書に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。

【0146】

いくつかの実装および実施例のみが、説明され、他の実装、向上、および変形例も、本特許文書に説明および図示されるものに基づいて成されることができる。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2021-08-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオまたはピクチャ処理のための方法であって、
３次元座標における幅Ｗ、高さＨ、および奥行Ｄに対応するパノラマ画像の複数の領域を含む長方形２次元画像であるエンコードされたビデオ画像を含むビデオビットストリームを入手することであって、前記エンコードされたビデオ画像は、幅２Ｗ＋Ｄおよび高さ２Ｄを有し、前記複数の領域の領域は、反時計回り方向に１８０度回転された下視を表す左上部分と、時計回りに９０度回転された左視を表す上中央部分と、上視を表す右上視と、前視を表す左下部分と、右視を表す下中央部分と、前記パノラマ画像の後視を表す右下部分とを含む、ことと、
前記複数の領域に関する近隣情報を抽出することと、
前記近隣情報を使用して、前記ビデオビットストリームからデコードされるビデオ画像の後処理を実施することと、
前記後処理の後、前記ビデオ画像から表示画像を発生させることと
を含む、方法。

【請求項2】

前記近隣情報は、補完的拡張情報（ＳＥＩ）フィールド、またはビデオ有用性情報（ＶＵＩ）フィールド、またはメディアプレゼンテーション記述（ＭＰＤ）フォーマットの中の前記ビデオビットストリームの中に含まれる、請求項１に記載の方法。

【請求項3】

前記近隣情報は、前記複数の領域の領域に関して、１つ以上の隣接領域の数、前記１つ以上の隣接領域に関する３次元座標および長方形座標、または前記１つ以上の隣接領域の回転のインジケーションを含む情報を含む、請求項１－２のいずれかに記載の方法。

【請求項4】

前記近隣情報はさらに、前記１つ以上の隣接領域に関する回転の１つ以上の角度を含む、請求項３に記載の方法。

【請求項5】

前記近隣情報は、隣接情報テーブルを含む、請求項３のいずれかに記載の方法。

【請求項6】

前記３次元座標は、円筒座標正距円筒図法（ＥＲＰ）マッピング、立方体マッピング、八面体マッピング、二十面体マッピング二十面体、角錐台マッピング、セグメント化球投影、または正四角錐台を含む、請求項１－５のいずれかに記載の方法。

【請求項7】

ビデオまたはピクチャ処理の方法であって、
３次元座標において表わされる幅Ｗ、高さＨ、および奥行Ｄを有するパノラマ画像を入手することと、
前記パノラマ画像を、複数の領域を含む長方形２次元画像にマッピングすることであって、前記複数の領域は、反時計回り方向に１８０度回転された下視を表す左上部分と、時計回りに９０度回転された左視を表す上中央部分と、上視を表す右上視と、前視を表す左下部分と、右視を表す下中央部分と、前記パノラマ画像の後視を表す右下部分とを含む、ことと、
前記複数の領域の近隣情報を決定することと、
前記近隣情報を含む前記パノラマ画像からビデオビットストリームを発生させることと、
前記ビデオビットストリームを伝送または記憶することと
を含む、方法。

【請求項8】

前記近隣情報は、補完的拡張情報（ＳＥＩ）フィールド、またはビデオ有用性情報（ＶＵＩ）フィールド、またはメディアプレゼンテーション記述（ＭＰＤ）フォーマットの中の前記ビデオビットストリームの中に含まれる、請求項７に記載の方法。

【請求項9】

前記近隣情報は、前記複数の領域の領域に関して、１つ以上の隣接領域の数、前記１つ以上の隣接領域に関する３次元座標および長方形座標、または前記１つ以上の隣接領域の回転のインジケーションを含む情報を含む、請求項７－８のいずれかに記載の方法。

【請求項10】

前記近隣情報はさらに、前記１つ以上の隣接領域に関する回転の１つ以上の角度を含む、請求項９に記載の方法。

【請求項11】

前記近隣情報は、隣接情報テーブルを含む、請求項９に記載の方法。

【請求項12】

ビデオエンコーダ装置であって、請求項７－１１のうちのいずれか１つに記載の方法を実行するように構成されるプロセッサを備える、ビデオエンコーダ装置。

【請求項13】

ビデオデコーダ装置であって、請求項１－６のうちのいずれか１つに記載の方法を実行するように構成されるプロセッサを備える、ビデオエンコーダ装置。

【請求項14】

コンピュータプログラム製品であって、前記コンピュータプログラム製品は、その上に記憶されたコードを有しており、前記コードは、プロセッサによって実行されると、前記プロセッサに、請求項１－１１のいずれか１つに記載の方法を実行させる、コンピュータプログラム製品。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

これらおよび他の側面が、本書に説明される。
（項目１）
ビデオまたはピクチャ処理のための方法であって、
３次元座標におけるパノラマ画像の複数の領域を含む２次元画像であるエンコードされたビデオ画像を含むビデオビットストリームを入手することと、
上記複数の領域に関する近隣情報を抽出することと、
上記近隣情報を使用して、上記ビデオビットストリームからデコードされるビデオ画像の後処理を実施することと、
上記後処理の後、上記ビデオ画像から表示画像を発生させることと
を含む、方法。
（項目２）
上記近隣情報は、補完的拡張情報（ＳＥＩ）フィールドの中の上記ビデオビットストリームの中に含まれる、項目１に記載の方法。
（項目３）
上記近隣情報は、ビデオ有用性情報（ＶＵＩ）フィールドの中の上記ビットストリームの中に含まれる、項目１－２のいずれかに記載の方法。
（項目４）
上記近隣情報は、メディアプレゼンテーション記述（ＭＰＤ）フォーマットの中に含まれる、項目１－３のいずれかに記載の方法。
（項目５）
上記近隣情報は、上記複数の領域の領域に関して、１つ以上の隣接領域の数、上記１つ以上の隣接領域に関する３次元座標および長方形座標、または上記１つ以上の隣接領域の回転のインジケーションを含む情報を含む、項目１－４のいずれかに記載の方法。
（項目６）
上記近隣情報はさらに、上記１つ以上の隣接領域に関する回転の１つ以上の角度を含む、項目５に記載の方法。
（項目７）
上記近隣情報は、隣接情報テーブルを含む、項目５－６のいずれかに記載の方法。
（項目８）
上記３次元座標は、円筒座標正距円筒図法（ＥＲＰ）マッピング、立方体マッピング、八面体マッピング、二十面体マッピング二十面体、角錐台マッピング、セグメント化球投影、または正四角錐台を含む、項目１－７のいずれかに記載の方法。
（項目９）
ビデオまたはピクチャ処理の方法であって、
３次元座標において表わされるパノラマ画像を入手することと、
上記パノラマ画像を、複数の領域を含む２次元画像にマッピングすることと、
上記複数の領域の近隣情報を決定することと、
上記近隣情報を含む上記パノラマ画像からビデオビットストリームを発生させることと、
上記ビデオビットストリームを伝送または記憶することと
を含む、方法。
（項目１０）
上記近隣情報は、補完的拡張情報（ＳＥＩ）フィールドの中の上記ビデオビットストリームの中に含まれる、項目９に記載の方法。
（項目１１）
上記近隣情報は、ビデオ有用性情報（ＶＵＩ）フィールドの中の上記ビットストリームの中に含まれる、項目９に記載の方法。
（項目１２）
上記近隣情報は、メディアプレゼンテーション記述（ＭＰＤ）フォーマットの中に含まれる、項目９に記載の方法。
（項目１３）
上記近隣情報は、上記複数の領域の領域に関して、１つ以上の隣接領域の数、上記１つ以上の隣接領域に関する３次元座標および長方形座標、または上記１つ以上の隣接領域の回転のインジケーションを含む情報を含む、項目９－１２のいずれかに記載の方法。
（項目１４）
上記近隣情報はさらに、上記１つ以上の隣接領域に関する回転の１つ以上の角度を含む、項目１３に記載の方法。
（項目１５）
上記近隣情報は、隣接情報テーブルを含む、項目１１－１２のいずれかに記載の方法。
（項目１６）
上記３次元座標は、円筒座標正距円筒図法（ＥＲＰ）マッピング、立方体マッピング、八面体マッピング、二十面体マッピング二十面体、角錐台マッピング、セグメント化球投影、または正四角錐台を含む、項目１－８のいずれかに記載の方法。
（項目１７）
ビデオエンコーダ装置であって、項目９－１６のうちのいずれか１つ以上のものに記載の方法を実行するように構成されるプロセッサを備える、ビデオエンコーダ装置。
（項目１８）
ビデオデコーダ装置であって、項目１－８のうちのいずれか１つ以上のものに記載の方法を実行するように構成されるプロセッサを備える、ビデオエンコーダ装置。
（項目１９）
コンピュータプログラム製品であって、上記コンピュータプログラム製品は、その上に記憶されたコードを有しており、上記コードは、プロセッサによって実行されると、上記プロセッサに、項目１－１６のいずれか１つ以上のものに記載の方法を実行させる、コンピュータプログラム製品。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００４８

【補正方法】変更

【補正の内容】

【0048】

ｓｐｈｅｒｅ＿ａｄｊａｃｅｎｔ＿ｆｌａｇ：本近隣が、球表面上の現在の面積に隣接しているかどうか、１：隣接している、０：隣接していない

【国際調査報告】