特許 7279047 全方位ビデオを表すマルチビュービデオシーケンスを符号化及び復号化する方法及びデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-12

(45)【発行日】2023-05-22

(54)【発明の名称】全方位ビデオを表すマルチビュービデオシーケンスを符号化及び復号化する方法及びデバイス

(51)【国際特許分類】

   H04N 19/597 20140101AFI20230515BHJP

   H04N 19/70 20140101ALI20230515BHJP

【ＦＩ】

H04N19/597

H04N19/70

【請求項の数】 16

(21)【出願番号】P 2020532700

(86)(22)【出願日】2018-11-26

(65)【公表番号】

(43)【公表日】2021-02-22

(86)【国際出願番号】 FR2018052978

(87)【国際公開番号】W WO2019115899

(87)【国際公開日】2019-06-20

【審査請求日】2021-08-10

(31)【優先権主張番号】1762251

(32)【優先日】2017-12-15

(33)【優先権主張国・地域又は機関】FR

(73)【特許権者】

【識別番号】591034154

【氏名又は名称】オランジュ

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【氏名又は名称】松島 鉄男

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【識別番号】100170379

【弁理士】

【氏名又は名称】徳本 浩一

(74)【代理人】

【識別番号】100180231

【弁理士】

【氏名又は名称】水島 亜希子

(74)【代理人】

【氏名又は名称】有原 幸一

(72)【発明者】

【氏名】ジュング，ジョエル

(72)【発明者】

【氏名】レイ，バッパディティヤ

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２００７－１５９１１１（ＪＰ，Ａ）

【文献】特開２０１７－１３０９５３（ＪＰ，Ａ）

【文献】国際公開第２０１７／０９０９８８（ＷＯ，Ａ１）

【文献】Johannes Sauer, et al.，Geometry correction for motion compensation of planar-projected 360VR video，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-D0067，2016年10月06日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

全方位ビデオを表すマルチビュービデオシーケンスを表す符号化されたデータ信号を復号化する方法であって、前記マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含み、該復号化する方法は、以下のステップ、すなわち、
前記第２のビューの平面から前記第１のビューの平面への変換を表すホモグラフィ行列を得る（６１）ことを可能にするパラメータを前記データ信号内で読み取るステップ（６０）と、
前記第２のビューの画像を復号化するステップ（６２）であって、前記第２のビューの前記画像は、ピクセルが前記ホモグラフィ行列を介して前記第１のビューの画像上に投影されたときに、前記第１のビューの前記画像に含まれる前記ピクセルを含むアクティブエリアと呼ばれるエリアを含む、前記第２のビューの画像を復号化するステップと
を含み、
前記第２のビューの前記画像を復号化する前記ステップは、
前記第１のビューの画像の以前に再構築されたピクセルと前記ホモグラフィ行列とから求められたピクセル値を含む基準画像を生成するステップ（６２０）と、
前記第２のビューの前記画像の少なくとも１つのブロックについて、以前に再構築された前記第２のビューの少なくとも１つの画像を含む基準画像リストであって、前記ブロックの少なくとも一部が前記アクティブエリアに属するときに生成される前記基準画像を含む基準画像リストに含まれる基準画像を表すインデックスを前記データ信号内で読み取るステップ（６２１）と、前記読み取られたインデックスによって示される前記基準画像から前記ブロックの前記少なくとも一部又は前記ブロックを再構築するステップ（６２５）と
を含む、方法。

【請求項2】

前記パラメータは、前記第１のビューに関連した第１のカメラと、前記第２のビューに関連した第２のカメラとにそれぞれ関連したカメラパラメータであり、前記方法は、前記カメラパラメータからの前記ホモグラフィ行列の計算を更に含む、請求項１に記載の復号化する方法。

【請求項3】

前記パラメータは前記ホモグラフィ行列の係数である、請求項１に記載の復号化する方法。

【請求項4】

前記アクティブエリアの境界が、前記再構築されるブロックと交差しているとき、前記復号化する方法は、
前記基準画像リストに含まれる基準画像を表す別のインデックスを前記データ信号内で読み取ること
を更に含み、
前記基準画像リストは前記生成された基準画像を含まず、前記アクティブエリアに属しない前記再構築されるブロックの前記ピクセルは、前記読み取られた別のインデックスによって示される前記基準画像のピクセルから再構築される、請求項１～３のいずれか１項に記載の復号化する方法。

【請求項5】

前記方法は、前記第２のビューの平面から第３のビューの平面への前記変換を表す別のホモグラフィ行列を得ることを可能にするパラメータを前記データ信号内で読み取ることを更に含み、
前記別のホモグラフィ行列を介して前記第３のビューの画像内に投影される前記第２のビューの前記画像の少なくとも１つのピクセルは、前記第３のビューの前記画像に含まれ、
前記生成された基準画像は、前記第３のビューの前記画像の以前に再構築されたピクセルと前記別のホモグラフィ行列とから求められたピクセル値を更に含む、請求項１～４のいずれか１項に記載の復号化する方法。

【請求項6】

全方位ビデオを表すマルチビュービデオシーケンスをデータ信号に符号化する方法であって、前記マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含み、該符号化する方法は、以下のステップ、すなわち、
前記第２のビューの平面から前記第１のビューの平面への変換を表すホモグラフィ行列を計算するステップ（４０）と、
復号化の際に前記ホモグラフィ行列を得ることを可能にするパラメータをデータ信号に符号化するステップ（４１）と、
前記第２のビューの画像を符号化するステップ（４２）であって、前記第２のビューの前記画像は、ピクセルが前記ホモグラフィ行列を介して前記第１のビューの画像上に投影されたときに、前記第１のビューの前記画像に含まれる前記ピクセルを含むアクティブエリアと呼ばれるエリアを含む、前記第２のビューの画像を符号化するステップと
を含み、
前記画像を符号化する前記ステップは、
前記第１のビューの画像の以前に再構築されたピクセルと前記ホモグラフィ行列とから求められるピクセル値を含む基準画像を生成するステップ（４２０）と、
前記第２のビューの前記画像の少なくとも１つのブロックについて、以前に再構築された前記第２のビューの少なくとも１つの画像を含む基準画像リストであって、前記ブロックの少なくとも一部が前記アクティブエリアに属するときに生成される前記基準画像を含む基準画像リストに含まれる基準画像から前記ブロック又は前記ブロックの前記少なくとも一部を予測するステップ（４２４）と、前記ブロック又は前記ブロックの前記少なくとも一部を予測するのに用いられる前記基準画像を表すインデックスを前記データ信号に符号化するステップ（４２４）と
を含む、方法。

【請求項7】

前記パラメータは、前記第１のビューに関連した第１のカメラと、前記第２のビューに関連した第２のカメラとにそれぞれ関連したカメラパラメータである、請求項６に記載の符号化する方法。

【請求項8】

前記パラメータは前記ホモグラフィ行列の係数である、請求項６に記載の符号化する方法。

【請求項9】

前記アクティブエリアの境界が、前記符号化されるブロックと交差しているとき、前記符号化する方法は、
前記基準画像リストに含まれる基準画像を表す別のインデックスを前記データ信号に符号化すること
を更に含み、
前記基準画像リストは前記生成された基準画像を含まず、前記アクティブエリアに属しない前記符号化されるブロックの前記ピクセルは、前記別のインデックスによって示される前記基準画像のピクセルから予測される、請求項６～８のいずれか１項に記載の符号化する方法。

【請求項10】

前記方法は、
前記第２のビューの平面から第３のビューの平面への前記変換を表す別のホモグラフィ行列を計算することであって、前記別のホモグラフィ行列を介して前記第３のビューの画像内に投影される前記第２のビューの前記画像の少なくとも１つのピクセルは、前記第３のビューの前記画像に含まれる、計算することと、
前記別のホモグラフィ行列を得ることを可能にするパラメータを前記データ信号に符号化することと
を更に含み、
前記生成された基準画像は、前記第３のビューの前記画像の以前に再構築されたピクセルと前記別のホモグラフィ行列とから求められたピクセル値を更に含む、請求項６～９のいずれか１項に記載の符号化する方法。

【請求項11】

前記ブロックが前記アクティブエリアに属しないときは、前記生成された基準画像は前記基準画像リストに含まれない、請求項１～５のいずれか１項に記載の方法。

【請求項12】

前記ブロックが前記アクティブエリアに属しないときは、前記生成された基準画像は前記基準画像リストに含まれない、請求項６～１０のいずれか１項に記載の方法。

【請求項13】

全方位ビデオを表すマルチビュービデオシーケンスを表す符号化されたデータ信号を復号化するデバイスであって、前記マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含み、該復号化するデバイスは、
前記第２のビューの平面から前記第１のビューの平面への変換を表すホモグラフィ行列を得ることを可能にするパラメータを前記データ信号内で読み取る手段と、
前記第２のビューの画像を復号化する手段であって、前記第２のビューの前記画像は、ピクセルが前記ホモグラフィ行列を介して前記第１のビューの画像上に投影されたときに、前記第１のビューの前記画像に含まれる前記ピクセルを含むアクティブエリアと呼ばるエリアを含む、前記第２のビューの画像を復号化する手段と
を備え、
前記第２のビューの前記画像を復号化する前記手段は、
前記第１のビューの画像の以前に再構築されたピクセルと前記ホモグラフィ行列とから求められたピクセル値を含む基準画像を生成する手段と、
前記第２のビューの前記画像の少なくとも１つのブロックについて、以前に再構築された前記第２のビューの少なくとも１つの画像を含む基準画像リストであって、前記ブロックの少なくとも一部が前記アクティブエリアに属するときに生成される前記基準画像を含む基準画像リストに含まれる基準画像を表すインデックスを前記データ信号から読み取る手段と、前記読み取られたインデックスによって示される前記基準画像から前記ブロック又は前記ブロックの前記少なくとも一部を再構築する手段と
を備える、デバイス。

【請求項14】

全方位ビデオを表すマルチビュービデオシーケンスをデータ信号に符号化するデバイスであって、前記マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含み、該符号化するデバイスは、
前記第２のビューの平面から前記第１のビューの平面への変換を表すホモグラフィ行列を計算する手段と、
前記ホモグラフィ行列を得ることを可能にするパラメータを前記データ信号に符号化する手段と、
前記第２のビューの画像を符号化する手段であって、前記第２のビューの前記画像は、ピクセルが前記ホモグラフィ行列を介して前記第１のビューの画像上に投影されたときに、前記第１のビューの前記画像に含まれる前記ピクセルを含むアクティブエリアと呼ばれるエリアを含む、前記第２のビューの画像を符号化する手段と
を備え、
前記画像を符号化する前記手段は、
前記第１のビューの画像の以前に再構築されたピクセルと前記ホモグラフィ行列とから求められるピクセル値を含む基準画像を生成する手段と、
前記第２のビューの前記画像の少なくとも１つのブロックについて、以前に再構築された前記第２のビューの少なくとも１つの画像を含む基準画像リストであって、前記ブロックの少なくとも一部が前記アクティブエリアに属するときに生成される前記基準画像を含む基準画像リストに含まれる基準画像から前記ブロック又は前記ブロックの前記少なくとも一部を予測する手段と、前記ブロック又は前記ブロックの前記少なくとも一部を予測するのに用いられる前記基準画像を表すインデックスを前記データ信号に符号化する手段と
を備える、デバイス。

【請求項15】

コンピュータプログラムであって、該プログラムがプロセッサによって実行されると、請求項１～５又は１１のいずれか１項に記載の復号化する方法を実施する命令を含む、コンピュータプログラム。

【請求項16】

コンピュータプログラムであって、該プログラムがプロセッサによって実行されると、請求項６～１０又は１２のいずれか１項に記載の符号化する方法を実施する命令を含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特に３６０度ビデオ、１８０度ビデオ等の全方位ビデオに関する。より詳細には、本発明は、そのようなビデオの符号化及び復号化に関する。

【背景技術】

【0002】

３６０度ビデオは、球形プラットフォーム上に設置された複数のカメラによってキャプチャされる。これらのカメラは、全ての方向のシーンをキャプチャするように配置されているので、ダイバージェント（divergent）であると言われる。各カメラはシーンの一部をキャプチャし、これらのカメラによってキャプチャされた全てのビューによって、３６０度視野によるシーンを表すビデオを生成することが可能になる。

【0003】

そのような３６０度ビデオは、その上、ユーザが、あたかもシーンの中心にいるようにシーンを見ることを可能にするとともに、自身の３６０度の周囲全体を見ることを可能にし、したがって、ビデオを鑑賞する新たな方法が提供される。そのようなビデオは、一般に、「Head Mounted Device（ヘッドマウントデバイス）」を表す名称ＨＭＤによっても知られている仮想現実ヘッドセット上に再現される。しかし、それらのビデオは、適合したユーザインタラクション手段を備える２Ｄ画面上に表示することもできる。３６０度シーンをキャプチャするカメラの数は、使用されるプラットフォームに応じて変化する。

【0004】

しかしながら、使用されるプラットフォームを問わず、２つの近傍のカメラは各々、これらの２つのカメラによってキャプチャされるデータが重複するシーンの部分をキャプチャする。換言すれば、３６０度でキャプチャされたシーンの一部は、２つの近傍のカメラによって各々キャプチャされた２つの各ビューの間で共通している。これは、２つのビュー、すなわち、第１のカメラによってキャプチャされたビュー１と、第１のカメラの右側に配置された第２のカメラによってキャプチャされたビュー２とを示す図１に示されている。図１では、ビュー１における右側のエリア（実線の枠で囲まれている）は、ビュー２における左側のエリア（実線の枠で囲まれている）と同じキャプチャされたシーンの部分に対応する。したがって、ビュー１及び２の間にシーンデータの重複が存在する。そのような重複は、ユーザが３６０度ビデオによって提供される視野を横断するときに切れ目のない移行を可能にするのに必要である。

【0005】

３６０度ビデオを生成するために、異なるカメラによってキャプチャされたダイバージェントビューは、ビューの間の重複を考慮して端から端に配置され、パノラマ２Ｄビューを生成する。このステップは「スティッチング」としても知られている。例えば、正距円筒投影（ＥＲＰ：EquiRectangular projection）が、そのようなパノラマ画像を得る可能な投影である。この投影によれば、各ビューの画像は球形表面上に投影される。キューブマッピング型投影（立方体の面上への投影）等の他のタイプの投影も可能である。表面上に投影された画像は、次に、２Ｄ平面上に投影され、所与の時点においてキャプチャされたシーンの全てのビューを含む２Ｄ画像が得られる。

【0006】

このようにして得られた２Ｄ画像は、その後、従来の２Ｄビデオエンコーダ、例えば、ＨＥＶＣ（「High Efficiency Video Coding（高効率ビデオコーディング）」の略語）規格に準拠したエンコーダを用いて符号化される。

【0007】

この技法の主な不利点は、３６０度ビデオがユーザに戻されたときに、静止した中心点の回りに回転することによって視点を変化させることが可能であるが、例えば、前後左右に数センチメートル移動することによって、この中心点から変位することが可能でないということである。換言すれば、視点を変化させるには、回転しか可能でなく、他のあらゆる動き、特に並進は除外されている。したがって、そのような技法は、３自由度（「3 Degree Of Freedom」を表す３ＤｏＦ）を提供するが、６自由度（６ＤｏＦ）による自然な動きを提供しない。

【0008】

この不利点は、ユーザが回転運動しか行わないときであっても、実際には多くの小さな寄生する並進運動があるためなおさらいらつくことになる。そのような並進運動は正確にレンダリングされない。これによって、ユーザの脳によって予想されるものに完全に対応しているとは限らないピクセルがユーザに表示されるという結果がもたらされる。これは、ＨＭＤタイプの機器のユーザが感じる不快の主な原因の１つである。

【0009】

ＭＶ－ＨＥＶＣエンコーダ及び３Ｄ－ＨＥＶＣエンコーダは、マルチビューコンテンツを符号化するのに用いられる。そのようなエンコーダは、マルチビューコンテンツのビュー間の類似度を利用する。しかしながら、そのようなエンコーダは、シーンの外部に位置決めされた異なる中心を有するカメラによってキャプチャされる複数の直線ビュー又は収束ビューを取り扱うように設計されている。したがって、これらのエンコーダでは、「ベースライン距離」と呼ばれる２つのカメラ中心の間の距離が、奥行きマップの援助を受けて不一致を計算するのに用いられる。不一致は、その後、不一致補償による予測を介して幾つかのブロックの予測に用いられ、これによって、ビデオシーケンスの画像を符号化するときにビュー間類似度を利用することが可能になる。

【発明の概要】

【発明が解決しようとする課題】

【0010】

３６０度ビデオの場合に、ビューはダイバージェントであり、そのようなマルチビューエンコーダは、３６０度ビデオのビューの符号化には最適でなく、エンコーダによって用いられるビュー間予測はわずかであるか、使用されないことさえある。実際、３６０度ビデオの２つのビューの間には、ビューの間で予測することができる類似したコンテンツはほとんどない。

【0011】

加えて、２つの近傍のビューの間の重複エリアは、完全に類似しているとは限らない。実際、重複エリアのピクセルは、ビューの間で幾何学変換を受けており、重複エリアにおけるビュー間でのピクセルの単純なコピーは、効果のないビュー間予測をもたらす。

【0012】

したがって、現行技術水準を改善することが必要とされている。

【課題を解決するための手段】

【0013】

本発明は、現行技術水準を改善する。このために、本発明は、全方位ビデオを表すマルチビュービデオシーケンスを表す符号化されたデータ信号を復号化する方法に関し、マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含む。このような復号化する方法は、
第２のビューの平面から第１のビューの平面への変換を表すホモグラフィ行列を得ることを可能にするパラメータをデータ信号内で読み取ることと、
第２のビューの画像を復号化することであって、第２のビューの画像は、ピクセルがホモグラフィ行列を介して第１のビューの画像上に投影されたときに、第１のビューの画像に含まれる当該ピクセルを含むアクティブエリアと呼ばれるエリアを含む、第２のビューの画像を復号化することと
を含み、
第２のビューの画像を復号化することは、
第１のビューの画像の以前に再構築されたピクセルとホモグラフィ行列とから求められたピクセル値を含む基準画像を生成することと、
第２のビューの画像の少なくとも１つのブロックについて、以前に再構築された第２のビューの少なくとも１つの画像を含む基準画像リストに含まれる基準画像を表すインデックスをデータ信号内で読み取ることと、ブロックがアクティブエリアに属するか否かを判断することと、読み取られたインデックスによって示される上記基準画像から上記ブロックを再構築することであって、生成された基準画像は、上記ブロックがアクティブエリアに属するときは、上記基準画像リストに含まれ、生成された基準画像は、上記ブロックがアクティブエリアに属しないときは、上記基準画像リストに含まれない、再構築することと
を含む。

【0014】

したがって、本発明による方法は、ビュー間重複エリアに属するブロックの近傍のビューの間の冗長性を利用することによって、ダイバージェントビューを符号化するマルチビューエンコーダの圧縮性能を改善することを可能にする。

【0015】

有利には、ビュー間予測は、ビューの間の幾何学的歪を補償することを可能にするホモグラフィ行列を考慮することによって改善される。

【0016】

ビュー間重複エリアは、第１のビューの画像平面から第２のビューの画像平面への変換を表すホモグラフィ行列を用いて特定される。

【0017】

本発明によれば、復号化される画像のアクティブエリアに属するブロックについて、ホモグラフィ行列と以前に再構築されたビューの画像とによって生成される新たな基準画像を考慮することが可能であることによって、予測が改善される。そのような新たな基準画像は、アクティブエリアに属するブロックにのみ利用可能である。したがって、そのような新たな基準画像を基準画像リストに挿入することは、アクティブエリアに属しない他のブロックの基準画像をシグナリングするコストに影響を与えない。

【0018】

アクティブエリアに属するブロックのロケーションは、ホモグラフィ行列を介して復号化される画像のピクセルの、以前に再構築された画像上への投影から直接推論され、そのため、これらのブロックが新たな基準画像を用いることができるか否かを示す追加の情報を符号化する必要はない。

【0019】

ブロックがアクティブエリアに属しないときは、このブロックは、例えば、従来どおりに、イントラ予測によって以前に再構築されたピクセル、又は、画像間予測によって以前に符号化及び復号化された同じビューの別の画像に属するピクセルを用いて再構築される。

【0020】

有利には、基準画像は、第２のビューの平面内に画定される。より詳細には、アクティブエリアが、ホモグラフィ行列を用いて第１のビューの画像内に投影された全てのピクセルによって第２のビューの画像内に特定される。

【0021】

したがって、新たな基準画像は、ホモグラフィ行列によって第１のビューの画像上に投影された第２のビューの画像のピクセルに対応するアクティブピクセルと呼ばれるピクセルを含む。第１のビューの画像において対応関係を有しない基準画像のピクセルの残りは、非アクティブピクセルと呼ばれる。

【0022】

以下に述べる様々な実施の形態又は特徴は、上記で定義した復号化する方法の特徴に単独で追加することもできるし、互いに組み合わせて追加することもできる。

【0023】

本発明の特定の実施の形態によれば、パラメータは、第１のビューに関連した第１のカメラと、第２のビューに関連した第２のカメラとにそれぞれ関連したカメラパラメータであり、方法は、当該カメラパラメータからの上記ホモグラフィ行列の計算を更に含む。

【0024】

本発明のこの特定の実施の形態によれば、ホモグラフィ行列は、復号化の間に、特に各カメラの焦点距離及び第１のビューのカメラと第２のビューのカメラとの間の回転角度を表す角度分離等の、マルチビューシーケンスを表すデータ信号に符号化されたカメラパラメータから計算される。

【0025】

本発明の別の特定の実施の形態によれば、パラメータはホモグラフィ行列の係数である。

【0026】

本発明のこの特定の実施の形態によれば、復号化の際にホモグラフィ行列を再計算する必要はない。その係数は、エンコーダにおいて計算され、マルチビューシーケンスを表すデータ信号において送信される。この結果、デコーダにおける計算複雑度はより低くなる。

【0027】

本発明の別の特定の実施の形態によれば、アクティブエリアの境界が、再構築されるブロックと交差しているとき、復号化する方法は、
基準画像群に含まれる基準画像を表す別のインデックスをデータ信号内で読み取ること
を更に含み、
上記基準画像群は生成された基準画像を含まず、アクティブエリアに属しない再構築されるブロックのピクセルは、読み取られた上記別のインデックスによって示される基準画像のピクセルから再構築される。

【0028】

本発明のこの特定の実施の形態は、アクティブエリアの境界に位置しているブロックのセグメンテーションを、このセグメンテーションを符号化するとともに、これらのブロックのピクセルの予測を、境界に対するブロック内のピクセルの位置に従って適合させる情報の符号化を必要とすることなく提供することを可能にする。

【0029】

本発明の別の特定の実施の形態によれば、復号化する方法は、第２のビューの平面から第３のビューの平面への変換を表す別のホモグラフィ行列を得ることを可能にするパラメータをデータ信号内で読み取ることを更に含み、
上記別のホモグラフィ行列を介して第３のビューの画像内に投影される第２のビューの画像の少なくとも１つのピクセルは、第３のビューの画像に含まれ、
生成された基準画像は、第３のビューの画像の以前に再構築されたピクセルと上記別のホモグラフィ行列とから求められたピクセル値を更に含む。

【0030】

本発明のこの特定の実施の形態は、以前に再構築された別のビューの画像を考慮して新たな基準画像を生成することを可能にする。したがって、第２のビューを予測するのに別のビューも利用可能であるとき、非アクティブピクセルのエリアが削減される。実際、第２のビューから第３のビューに切り替わることを可能にする上記別のホモグラフィ行列は、ピクセルが当該別のホモグラフィ行列を介して第３のビューの画像上に投影されたときに、第３のビューの画像に含まれる当該ピクセルに対応する新たなアクティブエリアを基準画像内に画定することを可能にする。

【0031】

本発明は、全方位ビデオを表すマルチビュービデオシーケンスをデータ信号に符号化する方法にも関し、マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含む。復号化する方法は、
第２のビューの平面から第１のビューの平面への変換を表すホモグラフィ行列を計算することと、
復号化の際に上記ホモグラフィ行列を得ることを可能にするパラメータをデータ信号に符号化することと、
第２のビューの画像を符号化することであって、第２のビューの画像は、ピクセルがホモグラフィ行列を介して第１のビューの画像上に投影されたときに、第１のビューの画像に含まれるピクセルを含むアクティブエリアと呼ばれるエリアを含む、第２のビューの画像を符号化することと
を含み、
上記画像を符号化することは、
第１のビューの画像の以前に再構築されたピクセルとホモグラフィ行列とから求められるピクセル値を含む基準画像を生成することと、
第２のビューの画像の少なくとも１つのブロックについて、ブロックがアクティブエリアに属するか否かを判断することと、以前に再構築された第２のビューの少なくとも１つの画像を含む基準画像リストに含まれる基準画像から上記ブロックを予測することであって、生成された基準画像は、上記ブロックがアクティブエリアに属するときは上記基準画像リストに含まれ、生成された基準画像は、上記ブロックがアクティブエリアに属しないときは上記基準画像リストに含まれない、予測することと、上記ブロックを予測するのに用いられる基準画像を表すインデックスをデータ信号に符号化することと
を含む。

【0032】

本発明の特定の実施の形態によれば、パラメータは、第１のビューに関連した第１のカメラと、第２のビューに関連した第２のカメラとにそれぞれ関連したカメラパラメータである。

【0033】

本発明の別の特定の実施の形態によれば、パラメータはホモグラフィ行列のパラメータである。

【0034】

本発明の別の特定の実施の形態によれば、アクティブエリアの境界が、符号化されるブロックと交差しているとき、符号化する方法は、
基準画像群に含まれる基準画像を表す別のインデックスをデータ信号に符号化すること
を更に含み、
上記基準画像群は生成された基準画像を含まず、アクティブエリアに属しない符号化されるブロックのピクセルは、上記別のインデックスによって示される基準画像のピクセルから予測される。

【0035】

本発明の別の特定の実施の形態によれば、符号化する方法は、
第２のビューの平面から第３のビューの平面への変換を表す別のホモグラフィ行列を計算することであって、当該別のホモグラフィ行列を介して第３のビューの画像内に投影される第２のビューの画像の少なくとも１つのピクセルは、第３のビューの画像に含まれる、計算することと、
上記別のホモグラフィ行列を得ることを可能にするパラメータをデータ信号に符号化することと
を更に含み、
生成された基準画像は、第３のビューの画像の以前に再構築されたピクセルと上記別のホモグラフィ行列とから求められたピクセル値を更に含む。

【0036】

本発明は、全方位ビデオを表すマルチビュービデオシーケンスを表す符号化されたデータ信号を復号化するデバイスにも関し、マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含み、復号化するデバイスは、
第２のビューの平面から第１のビューの平面への変換を表すホモグラフィ行列を得ることを可能にするパラメータをデータ信号内で読み取る手段と、
第２のビューの画像を復号化する手段であって、第２のビューの画像は、ピクセルがホモグラフィ行列を介して第１のビューの画像上に投影されたときに、第１のビューの画像に含まれる当該ピクセルを含むアクティブエリアと呼ばれるエリアを含む、第２のビューの画像を復号化する手段と
を備え、
第２のビューの画像を復号化する上記手段は、
第１のビューの画像の以前に再構築されたピクセルとホモグラフィ行列とから求められたピクセル値を含む基準画像を生成する手段と、
第２のビューの画像の少なくとも１つのブロックについて、以前に再構築された第２のビューの少なくとも１つの画像を含む基準画像リストに含まれる基準画像を表すインデックスをデータ信号から読み取る手段と、ブロックがアクティブエリアに属するか否かを判断する手段と、読み取られたインデックスによって示される上記基準画像から上記ブロックを再構築する手段であって、生成された基準画像は、上記ブロックがアクティブエリアに属するときは、上記基準画像リストに含まれ、生成された基準画像は、上記ブロックがアクティブエリアに属しないときは、上記基準画像リストに含まれない、再構築する手段と
を備える。

【0037】

本発明は、全方位ビデオを表すマルチビュービデオシーケンスをデータ信号に符号化するデバイスにも関し、マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含み、符号化するデバイスは、
第２のビューの平面から第１のビューの平面への変換を表すホモグラフィ行列を計算する手段と、
上記ホモグラフィ行列を得ることを可能にするパラメータをデータ信号に符号化する手段と、
第２のビューの画像を符号化する手段であって、第２のビューの画像は、ピクセルがホモグラフィ行列を介して第１のビューの画像上に投影されたときに、第１のビューの画像に含まれる当該ピクセルを含むアクティブエリアと呼ばれるエリアを含む、第２のビューの画像を符号化する手段と
を備え、
上記画像を符号化する上記手段は、
第１のビューの画像の以前に再構築されたピクセルとホモグラフィ行列とから求められるピクセル値を含む基準画像を生成する手段と、
第２のビューの画像の少なくとも１つのブロックについて、ブロックがアクティブエリアに属するか否かを判断する手段と、以前に再構築された第２のビューの少なくとも１つの画像を含む基準画像リストに含まれる基準画像から上記ブロックを予測する手段であって、生成された基準画像は、上記ブロックがアクティブエリアに属するときは上記基準画像リストに含まれ、生成された基準画像は、上記ブロックがアクティブエリアに属しないときは上記基準画像リストに含まれない、予測する手段と、上記ブロックを予測するのに用いられる基準画像を表すインデックスをデータ信号に符号化する手段と
を備える。

【0038】

本発明の特定の実施の形態によれば、上記復号化する方法及び上記符号化する方法は、それぞれコンピュータプログラムによって実施される。本発明は、コンピュータプログラムであって、当該プログラムがプロセッサによって実行されると、上記で説明した特定の実施の形態のうちの任意の１つによる復号化する方法又は符号化する方法を実施する命令を含む、コンピュータプログラムにも関する。そのようなプログラムは、任意のプログラミング言語を用いることができる。このプログラムは、通信ネットワークからダウンロードすることができ、及び／又は、コンピュータ可読媒体に保存することができる。このプログラムは、任意のプログラミング言語を用いることができ、ソースコードの形態、オブジェクトコードの形態、若しくは部分的にコンパイルされた形態等のソースコードとオブジェクトコードとの間の中間コードの形態、又は他の任意の所望の形態のものとすることができる。

【0039】

本発明は、コンピュータによって可読であり、上述したようなコンピュータプログラムの命令を含む記録媒体又は情報媒体にも関する。上述した記録媒体は、プログラムを記憶することが可能な任意のエンティティ又はデバイスとすることができる。例えば、媒体は、ＲＯＭ、例えば、ＣＤ ＲＯＭ若しくは超小型電子回路ＲＯＭ、又はそれ以外に磁気記録手段、例えば、フロッピィディスク若しくはハードディスク等の記憶手段を含むことができる。他方、記録媒体は、電気ケーブル若しくは光ケーブルを介して、無線によって又は他の手段によって送ることができる電気信号又は光信号等の伝送可能媒体に対応することができる。本発明によるプログラムは、特に、インターネットタイプのネットワークからダウンロードすることができる。或いは、記録媒体は、プログラムが組み込まれた集積回路に対応することができ、この回路は、対象となる方法を実行するように又は実行において使用されるように適合されている。

【0040】

本発明の他の特徴及び利点は、限定する例ではなく単なる説明例として与えられている特定の実施形態及び添付図面の以下の説明を読むことによってより明確になる。

【図面の簡単な説明】

【0041】

【図1】２つのカメラによってキャプチャされ、重複エリアを有する２つのダイバージェントビューを示す図である。

【図2】ダイバージェントビューをキャプチャする一例を概略的に示す図である。

【図3】隣接するビューが図２に示すシステムに従って配置される場合の１つ又は２つの重複エリアを有するビューの２つの例を概略的に示す図である。

【図4】本発明の特定の実施形態による全方位ビデオを符号化する方法のステップを概略的に示す図である。

【図5】中心ビューの左側ビュー及び右側ビューから符号化又は復号化される中心ビューの、本発明の特定の実施形態に従って生成される基準画像の一例を示す図である。

【図6】本発明の特定の実施形態による全方位ビデオを復号化する方法のステップを概略的に示す図である。

【図7】符号化又は復号化される画像のアクティブエリアと非アクティブエリアとの間の境界を通って交差するブロックの一例を示す図である。

【図8】本発明の特定の実施形態による全方位ビデオを符号化するデバイスを概略的に示す図である。

【図9】本発明の特定の実施形態による全方位ビデオを復号化するデバイスを概略的に示す図である。

【図10A】本発明の特定の実施形態による全方位ビデオを表す符号化されたデータ信号を概略的に示す図である。

【図10B】本発明の特定の実施形態による全方位ビデオを表す符号化されたデータ信号を概略的に示す図である。

【図11】２つのダイバージェントカメラＡ及びＢのそれぞれの２つの画像平面上の３Ｄ空間の点Ｐの投影を示す図である。

【発明を実施するための形態】

【0042】

１．一般原理
本発明の目的のうちの１つは、全方位ビデオがマルチビューエンコーダによって符号化されるときのそのようなビデオの符号化を改良することである。このマルチビューエンコーダでは、各ビューは、以前に符号化された同じビューの画像に関する時間予測によって又は別のビューの画像に関するビュー間予測によって符号化される。

【0043】

全方位ビデオのビューを符号化するときのビュー間予測を改善するために、新たな基準画像が、符号化されるビューの近傍のビューの以前に符号化された画像から生成される。より詳細には、符号化又は復号化されるビューからこの符号化又は復号化されるビューに隣接するビューの画像へのピクセルの投影を可能にするホモグラフィ行列が計算される。隣接するビューの画像の境界に投影する符号化又は復号化されるビューのピクセルは、その場合、符号化又は復号化される画像のアクティブエリアを画定する。そのようなアクティブエリアは、その場合、隣接するビューの画像のピクセルが以前に再構築されているときは、これらのピクセルから予測することができる。ビュー間予測は、このように、ビュー間重複のエリアを考慮することによって全方位ビデオのビューを符号化するときに改善される。

【0044】

有利には、現在のビューの画像ブロックを符号化又は復号化するために、新たな基準画像が、隣接するビューの以前に再構築されたピクセル及びホモグラフィ行列から生成される。符号化又は復号化されるブロックが、符号化又は復号化される画像のアクティブエリアに少なくとも部分的に属するとき、この新たな基準画像は、基準画像リストにおいて用いることができる。

【0045】

したがって、この新たな基準画像をシグナリングするコストは、アクティブエリアに属しない他のブロックの符号化に影響を与えない。

【0046】

２．実施の例
図２は、６つのビュー（Ｖ１～Ｖ６）が、図２における点Ｃによって表されるプラットフォーム上に配置された６つのカメラからそれぞれキャプチャされる、ダイバージェントビューキャプチャの一例を概略的に示している。図２では、各カメラの視野は実線又は点線によって表され、各カメラに関連したビューの画像平面は、カメラの視野と同じ実線又は点線を用いて表されている。ビューごとに、現在のビューとその左側ビュー及び右側ビューとのそれぞれの間に重複エリアが存在することが見て取れる。換言すれば、２つの隣接した又は近傍のビューは、各カメラによってそれぞれキャプチャされたシーンの同じ３Ｄデータを表すピクセルを有する。例えば、図２において、エリアＺＣ１はビューＶ１とＶ６との間の重複を示し、エリアＺＣ２はビューＶ２とＶ３との間の重複を示し、エリアＺＣ５はビューＶ５とＶ６との間の重複を示す。

【0047】

しかしながら、隣接するビューの重複エリアからの情報を現在のビューの符号化に用いるには、隣接するビューが以前に符号化及び再構築されていることが必要である。

【0048】

したがって、例えば、ビューの符号化の順序がＶ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５及びＶ６である場合には、ビューＶ１は、どのビューもまだ符号化されていないので、重複エリアに関する予測なしに符号化される。ビューＶ１の画像は、例えば、ビューＶ１の以前に符号化された画像に関する時間予測によって符号化されることになる。

【0049】

ビューＶ２、Ｖ３、Ｖ４及びＶ５の符号化は、同じビューの以前に符号化された画像に関する時間予測、及び／又は、現在のビューＶ２、Ｖ３、Ｖ４及びＶ５とそれぞれの右側のビューＶ１、Ｖ２、Ｖ３、Ｖ４との間の重複エリアを用いたビュー間予測を実施することができる。

【0050】

ビューＶ６の符号化は、同じビューの以前に符号化された画像に関する時間予測、及び／又は、現在のビューＶ６と右側のビューＶ５との間の重複エリアを用いたビュー間予測、及び／又は、現在のビューＶ６と左側のビューＶ１との間の重複エリアを用いたビュー間予測を用いることができる。

【0051】

例えば、図３に示すように、ビューＶ６の場合には、ビューＶ１とビューＶ６との重複を表すエリアＺＡ１、及び、ビューＶ５とビューＶ６との重複を表す重複エリアＺＡ５をビューＶ６の予測に用いることができる。

【0052】

別の例によれば、ビューＶ３の場合には、ビューＶ２とビューＶ３との重複を表すエリアＺＡ２をビューＶ３の予測に用いることができる。

【0053】

以下で説明される全方位ビデオを符号化及び復号化する方法は、一般に、Ｎ個のビューを有するマルチビュー画像シーケンスの場合に適用される。Ｎは２以上の整数である。

【0054】

全方位ビデオを符号化及び復号化する方法は、以下で一般的に説明されており、任意のタイプのマルチビュービデオエンコーダ／デコーダ、例えば、３Ｄ－ＨＥＶＣ規格若しくはＭＶ－ＨＥＶＣ規格、又はそれ以外のものに組み込むことができる。

【0055】

図４は、本発明の特定の実施形態による全方位ビデオを符号化する方法のステップを概略的に示している。

【0056】

ステップ４０の間に、符号化される各ビューｋについて、符号化されるビューｋの平面から符号化されるビューｋに隣接するビュー（例えば、ｋ－１）の平面への変換を表すホモグラフィ行列が計算される。ここで、符号化されるビューに隣接するビューの画像は以前に符号化及び再構築されていると考えられる。したがって、ここでは、ビューｋ－１の画像は、同じビューの以前に符号化及び再構築された画像に関する時間予測によって又はビュー間予測によって以前に符号化及び再構築されていると考えられる。

【0057】

符号化される現在のビューｋが、それぞれの側部において以前に符号化及び再構築された２つのビューと隣接しているときは、符号化されるビューの平面から右側のビューの平面への変換と、符号化されるビューの平面から左側のビューの平面への変換とにそれぞれ対応する２つのホモグラフィ行列がそれぞれ計算される。

【0058】

ビューｋの符号化は以下で検討される。隣接するビューｋ－１は、以前に符号化及び再構築されており、ビューｋと重複エリアを有するものである。

【0059】

ここで、ビューｋの画像の少なくとも１つのピクセルがビューｋ－１の画像上に投影される場合に、ビューｋはビューｋ－１と重複エリアを有すると考えられる。そのようなピクセルは、その場合、ビューｋの画像のアクティブエリアと呼ばれるエリアに存在する。

【0060】

ステップ４０の間に、隣接するビューｋ－１と符号化される現在のビューｋとの間のホモグラフィ行列が、隣接するビューｋ－１及び現在のビューｋにそれぞれ関連したカメラパラメータから計算される。

【0061】

ホモグラフィ行列の計算を、２つのダイバージェントカメラＡ及びＢのキャプチャ視野が表されている図１１に関して説明する。カメラＡの主軸は、カメラＡの画像平面ＰＬ_Ａに垂直な軸に対応する軸ｚ_Ａである。隣接するカメラＢは、カメラＡの軸Ｚ_Ａに対してθｓｅｐの角度で回転される。カメラＢの主軸は、カメラＢの画像平面ＰＬ_Ｂに垂直な軸に対応する軸ｚ_Ｂである。

【0062】

３Ｄ空間の点Ｐ（ｐｘ，ｐｙ，ｐｚ）は、カメラＡの画像平面ＰＬ_ＡにおけるＰ_Ａ（ｐａｘ，ｐａｙ）及びカメラＢの画像平面ＰＬ_ＢにおけるＰ_Ｂ（ｐｂｘ，ｐｂｙ）に投影される。点Ｐ、Ｐ_Ａ、Ｐ_Ｂの間の関係は以下の式によって与えられる。

【数1】

この式において、Ｋ_Ａ及びＫ_Ｂは、

【数2】

等のカメラＡ及びＢの内部パラメータを表す。ただし、ｆ_Ａ及びｆ_ＢはそれぞれカメラＡ及びＢの焦点距離である。Ｒ_Ａ２Ｂは、ｙ軸の回りの角度θｓｅｐの時計回り回転に対応する、カメラＢの主軸ｚ_Ｂに向けたカメラＡの主軸ｚ_Ａの回転を表す。Ｒ_Ｂ２Ａは、ｙ軸の回りの角度θｓｅｐの反時計回り回転に対応する、カメラＡの主軸ｚ_Ａに向けたカメラＢの主軸ｚ_Ｂの回転を表す。

【数3】

【0063】

式（２）は、更に以下のように記述することができる。

【数4】

【0064】

式（１）によって与えられるＰの値を代入することによって、Ｐ_ＡとＰ_Ｂとの間の関係を以下の式によって推論することができる。

【数5】

【0065】

したがって、点Ｐ_Ａ及びＰ_Ｂは、ホモグラフィ行列Ｈを介して結び付けられる。

【0066】

したがって、行列Ｈのパラメータは、カメラＡ及びＢの焦点距離と、２つのカメラの間の角度のずれθｓｅｐとから得ることができる。

【0067】

ステップ４０の間に、ビューｋからビューｋ－１への変換を表すホモグラフィ行列Ｈ_{ｋ，ｋ－１}のパラメータが、ビューｋ及びｋ－１にそれぞれ関連したカメラの焦点距離と、これらの２つのカメラの間の分離角θｓｅｐとから計算される。

【0068】

ステップ４１の間に、ホモグラフィ行列Ｈ_{ｋ，ｋ－１}を得ることを可能にするパラメータが、全方位ビデオを表すデータ信号内に符号化される。

【0069】

１つの変形形態によれば、３×３ホモグラフィ行列Ｈ_{ｋ，ｋ－１}の９つの係数が信号内に符号化される。

【0070】

別の変形形態によれば、ビューｋ－１のカメラ及びビューｋのカメラの内部パラメータ及び外部パラメータ、すなわち、これらのカメラの焦点距離及びこれらの２つのカメラの間の分離角θｓｅｐが信号内に符号化される。この変形形態によれば、ホモグラフィ行列Ｈ_{ｋ，ｋ－１}をデコーダにおいて再計算する必要がある。

【0071】

ステップ４１に続いて、現在のビューｋが画像ごとにデータ信号内に符号化される。ステップ４２の間に、ビューｋの時刻ｔの現在の画像

【数6】

が符号化される。

【0072】

このために、ステップ４２０の間に、新たな基準画像Ｉ_ｒｅｆが生成される。この新たな基準画像Ｉ_ｒｅｆは、隣接するビューｋ－１の同じ時刻ｔにおける画像であって、以前に符号化及び再構築された画像

【数7】

のピクセルから生成される。このために、基準画像の各ピクセルについて、基準画像のピクセル（ｘ，ｙ）が、ホモグラフィ行列Ｈ_{ｋ，ｋ－１}によってビューｋ－１の基準フレーム内の点（ｘ’，ｙ’）に投影される。ピクセル（ｘ，ｙ）は、点（ｘ’，ｙ’）が画像

【数8】

に属する場合には、ビューｋ－１の画像

【数9】

に投影される。投影されたピクセルが画像

【数10】

に属しない場合、すなわち、投影されたピクセルがこの画像の境界の外部にある場合には、基準画像内のピクセルの値は、デフォルト値、例えば１２８に設定される。このピクセルは非アクティブピクセルと呼ばれる。

【0073】

投影されたピクセルが画像

【数11】

内にある場合、すなわち、投影されたピクセルがこの画像の境界内にある場合には、基準画像内のピクセルの値は、画像ピクセル

【数12】

から取得される。その場合、このピクセルは、アクティブピクセルと呼ばれる。

【0074】

投影されたピクセルが画像

【数13】

のグリッドのピクセルに対応する場合には、基準画像内に投影されたピクセルの値は、画像

【数14】

の対応するピクセルの値を取る。そうでない場合、すなわち、投影されたピクセルが画像

【数15】

内のサブピクセル位置に位置している場合には、基準画像内に投影されたピクセルの値は、従来どおりに、画像

【数16】

内に投影されたピクセルの位置を取り囲む画像

【数17】

のグリッドのピクセルの値から補間される。

【0075】

アクティブピクセル及び非アクティブピクセルは、このように、基準画像内のアクティブエリア及び非アクティブエリアを画定する。

【0076】

符号化されるビューｋが、以前に符号化及び再構築されたもう１つの隣接するビューｋ＋１を有する場合には、ステップ４２０は、この時、ビューｋとビューｋ＋１との間で計算されたホモグラフィ行列と、ビューｋ＋１からの画像

【数18】

とを用いて反復される。

【0077】

図５は、現在のビューの左側近傍ビュー及び右側近傍ビューから、現在のビューについて本発明の特定の実施形態に従って生成された基準画像の一例を示している。図５の例では、隣接する左側及び右側の各ビューについて１つずつの２つのホモグラフィ行列が用いられた。隣接するビューの間の重複エリアのみが、ホモグラフィ行列による投影を介して基準画像内に再構築されることが見て取れる。実際、図５では、基準画像は、非アクティブエリア（灰色エリア）と、現在のビューと左側のビュー及び右側のビューとの重複をそれぞれ表す２つのアクティブエリアＺＡｇ及びＺＡｄとを提示している。

【0078】

図４を再び参照すると、ビューｋの現在の画像

【数19】

は、その後、符号化される。このために、この画像は、ピクセルブロックにカットされ、画像のこれらのピクセルブロックは、以下で見られるように、空間予測、時間予測又はビュー間予測によって符号化されるように走査される。

【0079】

現在の画像

【数20】

の各ブロックＢ_ｋについて、以下のステップが実施される。

【0080】

ステップ４２１の間に、ブロックＢ_ｋが現在の画像のアクティブエリアに位置しているか否かが判断される。換言すれば、ブロックＢ_ｋがアクティブピクセルを含むか否かが判断される。

【0081】

基準画像が、符号化される現在のビューの画像平面に表されるとき、符号化される現在のビューの画像内のアクティブエリア及び非アクティブエリアは基準画像のアクティブエリア及び非アクティブエリアに対応することに留意されたい。

【0082】

したがって、ここで説明する本発明の特定の実施形態によれば、ブロックＢ_ｋの全てのピクセルがアクティブである場合、すなわち、ブロックＢ_ｋの全てのピクセルがアクティブエリアにある場合には、ブロックＢ_ｋはアクティブエリアに属する。

【0083】

ブロックＢ_ｋがアクティブエリアに属する場合には、ステップ４２２の間に、新たな基準画像Ｉ_ｒｅｆが、ブロックＢ_ｋを符号化するために基準画像のリストに追加される。そうでない場合、すなわち、ブロックＢ_ｋがアクティブエリアに属しない場合には、ブロックＢ_ｋを符号化するための基準画像のリストは変更されず、符号化される現在のビューｋの以前に再構築された画像のみを含む。

【0084】

ステップ４２３の間に、ブロックＢ_ｋの符号化モードが決定される。例えば、レート歪最適化が実施され、この間に、ブロックＢ_ｋに利用可能な全ての符号化モードが比較選択の対象になる。より詳細には、レート歪最適化の間に、従来どおり、空間予測又は画像内予測による符号化モードが検査されるとともに、基準画像のリストを用いた時間予測による符号化モードが検査される。

【0085】

ここで説明する本発明の特定の実施形態によれば、有利には、現在のブロックの符号化モードを決定するエンコーダの従来の動作は変更されない。実際、ブロックＢ_ｋがアクティブエリアに位置しているとき、新たな基準画像は基準画像のリストに追加済みである。したがって、レート歪最適化は、ステップ４２０の間に生成された新たな基準画像に関する予測を用いる符号化モードが、従来のイントラ符号化モード又はインタ符号化モードよりもブロックＢ_ｋにとって好都合である場合には、この符号化モードを選択する。従来、時間予測符号化モードが検査されるとき、現在のブロックと基準画像リストの基準画像内のピクセルブロックとの間の動きが、例えば、ブロックマッチング方法によって推定される。

【0086】

ステップ４２４の間に、ブロックＢ_ｋの最良の符号化モードが決定されると、このブロックのデータがデータ信号内に符号化される。従来どおりに、予測ブロックは、ステップ４２３の間に決定された符号化モードに従って構築される。

【0087】

特に、ステップ４２３において決定された符号化モードが、新たな基準画像に関する予測を用いる場合には、予測ブロックは、例えば、ステップ４２３において求められた現在のブロックＢ_ｋの動きベクトル又は不一致情報によって指し示される新たな基準画像内のピクセルブロックに対応する。

【0088】

現在のブロックＢ_ｋと予測ブロックとの間の差を計算することによって、残差ブロックが得られる。予測残差は、例えば、ＤＣＴ（「Discrete Cosine Transform（離散コサイン変換）」を表す）タイプの変換によって変換され、定量化され、エントロピエンコーダによって符号化される。予測モードもデータ信号内に符号化されるとともに、予測に用いられる動きベクトル又は不一致ベクトル、基準画像のインデックス等の関連した符号化パラメータがデータ信号内に符号化される。

【0089】

従来どおりに、現在のブロックＢ_ｋは、次のブロックの符号化の予測としての機能を果たすために再構築される。

【0090】

ステップ４２５の間に、現在の画像の全てのブロックが符号化されたか否かが確認される。符号化されるブロックがまだ存在する場合には、方法は、符号化される画像内の次のブロックに切り替わり、ステップ４２１に戻る。そうでない場合には、現在の画像の符号化は終了する。再構築された現在の画像は、次の画像又は後続のビューを符号化するための基準画像としての機能を果たすために記憶される。

【0091】

図１０Ａは、図４に関して説明した本発明の特定の実施形態による全方位ビデオを表す符号化されたデータ信号の一例を概略的に示している。そのようなデータ信号は、ビューｋの平面から近傍のビューｋ－１の平面への変換を表すホモグラフィ行列を得ることを可能にするパラメータＰＡＲを含む。ビューｋの各画像について、符号化されたデータＤＡＴは、画像のアクティブエリアの少なくとも１つのブロックについて、このブロックを再構築するのに用いられる基準画像リストからの基準画像を示すインデックスｉｄｘを含む。

【0092】

図６は、本発明の特定の実施形態による全方位ビデオを表す符号化されたデータ信号を復号化する方法のステップを概略的に示している。例えば、符号化されたデータ信号は、図４に関して説明した符号化方法に従って生成されたものである。ここでは、ビューｋ－１に隣接する現在のビューｋの復号化が検討される。上記と同様に、ビューｋ－１の画像は以前に復号化及び再構築されていると考えられる。

【0093】

ステップ６０の間に、復号化されるビューｋの平面から隣接するビューｋ－１の平面への変換を表すホモグラフィ行列Ｈ_{ｋ，ｋ－１}を得ることを可能にするパラメータが、信号内で読み取られる。

【0094】

１つの変形形態によれば、３×３ホモグラフィ行列Ｈ_{ｋ，ｋ－１}の９つのパラメータが信号内で読み取られる。別の変形形態によれば、ビューｋ－１及びビューｋのカメラの内部パラメータ及び外部パラメータ、すなわち、カメラの焦点距離及び２つのカメラの間の分離角θｓｅｐが信号内で読み取られる。

【0095】

ステップ６１の間に、ホモグラフィ行列Ｈ_{ｋ，ｋ－１}が得られる。行列のパラメータが信号内で読み取られると、これらのパラメータから、ホモグラフィ行列Ｈ_{ｋ，ｋ－１}が直接得られる。

【0096】

読み取られたパラメータがカメラパラメータに対応するとき、ホモグラフィ行列Ｈ_{ｋ，ｋ－１}は、上記で与えられた式（３）を用いて計算される。

【0097】

ステップ６１に続いて、現在のビューｋは、データ信号に含まれるデータから画像ごとに復号化される。ステップ６２の間に、ビューｋの時刻ｔの現在の画像

【数21】

が復号化される。

【0098】

このために、ステップ６２０の間に、新たな基準画像Ｉ_ｒｅｆが生成される。新たな基準画像Ｉ_ｒｅｆは、隣接するビューｋ－１の同じ時刻ｔにおける画像であって、以前に再構築された画像

【数22】

のピクセルから生成される。図４のステップ４２０に関して説明したものと同じメカニズムが基準画像Ｉ_ｒｅｆを生成するために実施される。

【0099】

次に、ビューｋの現在の画像

【数23】

が復号化される。このために、この画像は、ピクセルブロックにカットされ、画像のこれらのピクセルブロックは、復号化及び再構築されるように走査される。

【0100】

現在の画像

【数24】

の各ブロックＢ_ｋについて、以下のステップが実施される。

【0101】

ステップ６２１の間に、ブロックＢ_ｋの符号化されたデータが信号内で読み取られる。特に、ブロックＢ_ｋが、基準画像リストに含まれる基準画像に関する予測（画像間予測）によって符号化されているとき、基準画像インデックスが読み取られる。従来どおりに、画像が画像間予測によって符号化されている場合、基準画像リストは、再構築される現在の画像と同じビューから以前に再構築された少なくとも１つの画像を含む。符号化モード、動きベクトル又は不一致情報、予測残差係数等の現在のブロックＢ_ｋの他の情報も、場合によって信号内で読み取ることができる。従来どおりに、ブロックについて読み取られたデータは、エントロピデコーダによって復号化される。復号化された係数に、符号化において実施された量子化と逆の量子化を適用し、量子化を解除された復号化係数に、符号化において実施された変換と逆の変換を適用することによって、残差ブロックが得られる。

【0102】

ステップ６２２の間に、ブロックＢ_ｋが現在の画像のアクティブエリアに位置しているか否かが判断される。換言すれば、ブロックＢ_ｋがアクティブピクセルを含むか否かが判断される。

【0103】

ここで説明する本発明の特定の実施形態によれば、ブロックＢ_ｋの全てのピクセルがアクティブである場合、すなわち、ブロックＢ_ｋの全てのピクセルがアクティブエリアにある場合には、ブロックＢ_ｋはアクティブエリアに属する。

【0104】

ブロックＢ_ｋがアクティブエリアに属する場合には、ステップ６２３の間に、新たな基準画像Ｉ_ｒｅｆが、基準画像のリストに追加される。そうでない場合、すなわち、ブロックＢ_ｋがアクティブエリアに属しない場合には、ブロックＢ_ｋを復号化するための基準画像のリストは変更されず、復号化される現在のビューｋの以前に再構築された画像のみを含む。

【0105】

次に、ステップ６２４の間に、ブロックＢ_ｋの予測が従来どおりに計算される。ここで説明する本発明の特定の実施形態によれば、有利には、現在のブロックを予測するデコーダの従来の動作は変更されない。

【0106】

ブロックＢ_ｋがアクティブエリアに位置しているとき、新たな基準画像は、基準画像リストに追加済みである。したがって、現在のブロックＢ_ｋの予測ブロックの構築は、現在のブロックについて求められた動き情報又は不一致情報及び信号内で読み取られた基準インデックスによって示される基準画像からの動き補償又は不一致補償によって行われる。

【0107】

ステップ６２５の間に、現在のブロックＢ_ｋが再構築される。このために、ステップ６２４の間に構築された予測ブロックは、ステップ６２１の間に得られた残差ブロックに追加される。

【0108】

ステップ６２６の間に、現在の画像の全てのブロックが復号化されたか否かが確認される。復号化されるブロックがまだ存在する場合には、方法は、復号化される画像における次のブロックに進み、ステップ６２１に戻る。そうでない場合には、現在の画像の復号化は終了する。再構築された現在の画像は、後続の画像又は後続のビューを復号化する基準画像としての機能を果たすために記憶される。

【0109】

上記で説明した本発明の特定の実施形態では、符号化又は復号化されるブロックＢ_ｋの全てのピクセルがアクティブである場合、すなわち、ブロックＢ_ｋの全てのピクセルがアクティブエリアにある場合に、ブロックＢ_ｋは現在の画像のアクティブエリアに属すると判断される。

【0110】

本発明の別の特定の実施形態では、符号化又は復号化されるブロックの少なくとも１つのピクセルがアクティブピクセルである場合に、ブロックＢ_ｋはアクティブエリアに属すると判断される。

【0111】

本発明の上記特定の実施形態によれば、符号化方法及び復号化方法は、符号化又は復号化されるブロックの全てのピクセルがアクティブであるときは類似する。

【0112】

同じことは、符号化又は復号化されるブロックの全てのピクセルが非アクティブであるときも当てはまる。

【0113】

上記別の実施形態によれば、少なくとも１つのアクティブピクセル及び少なくとも１つの非アクティブピクセルを含む、符号化又は復号化されるブロックについて、そのようなブロックの予測が適合される。

【0114】

図７は、符号化又は復号化される画像のアクティブエリア７１と非アクティブエリア７２との間の境界７０を通って交差する符号化又は復号化されるブロックの一例を示している。

【0115】

このタイプのブロックの場合、図４のステップ４２４及び図６のステップ６２４において決定された予測ブロックが、ステップ４２０及び６２０において生成された新たな基準画像を用いて構築されるとき、この予測ブロックは、その場合、このブロックのアクティブエリア７１には、新たな基準画像に関する動き補償によって得られたピクセルを含むとともに、このブロックの非アクティブエリア７２には、基準画像リストに含まれる現在のビューの以前に再構築された画像に関する動き補償によって得られたピクセルを含む。したがって、アクティブエリアと非アクティブエリアとの間の境界を通って交差するブロックの場合、
－第１の基準インデックスが、信号内に符号化されるか又は信号から復号化される。この第１の基準インデックスは、ブロックのアクティブエリアを符号化するのに用いられる基準画像のインデックスに対応する；及び
－ブロックの非アクティブエリアを符号化するのに用いられる現在のビューの以前に再構築された基準画像のインデックスに対応する第２の基準インデックスが、信号内に符号化されるか又は信号から復号化される。

【0116】

そのような信号の一例を図１０Ｂに示す。図１０Ｂのデータ信号は、現在のビューの平面から近傍のビューの平面への変換を表すホモグラフィ行列を得ることを可能にするパラメータＰＡＲを含む。現在のビューの各画像について、符号化されたデータＤＡＴは、画像のアクティブエリアと非アクティブエリアとの間の境界を通って交差する少なくとも１つのブロックについて、ブロックを再構築するのに用いられる、基準画像リストからの基準画像を示す２つのインデックスｉｄｘ１及びｉｄｘ２を含む。

【0117】

代替的に、第１のインデックスｉｄｘ１が、ブロックのアクティブエリアに用いられる基準画像がステップ４２０又は６２０において生成された新たな基準画像に対応することを示す場合にのみ、第２のインデックスｉｄｘ２は、画像のアクティブエリアと非アクティブエリアとの間の境界を通って交差するブロックの信号内に符号化される。この変形形態によれば、ブロックを予測するのに用いられる基準画像が、現在のビューから以前に再構築された画像であるとき、第２のインデックスを符号化する必要はない。

【0118】

図８は、上記で説明した本発明の特定の実施形態のうちの任意の１つによる符号化方法を実施するように適合された符号化デバイスＣＯＤの簡略化した構造を示している。

【0119】

そのような符号化デバイスは、メモリＭＥＭと、例えばプロセッサＰＲＯＣを備え、メモリＭＥＭに記憶されたコンピュータプログラムＰＧによって制御される処理ユニットＵＴとを備える。コンピュータプログラムＰＧは、当該プログラムがプロセッサＰＲＯＣによって実行されると、前述したような符号化方法のステップを実施する命令を含む。

【0120】

初期化において、コンピュータプログラムＰＧのコード命令は、例えば、プロセッサＰＲＯＣによって実行される前に処理ユニットのメモリ（図示せず）内にロードされる。処理ユニットＵＴのプロセッサＰＲＯＣは、特に、コンピュータプログラムＰＧの命令に従って、図４及び図７に関して説明した符号化方法のステップを実施する。

【0121】

本発明の特定の実施形態によれば、符号化デバイスは、特に、符号化デバイスが、全方位ビデオを表す符号化されたデータ信号を通信ネットワークを介して送信することを可能にする通信インタフェースＣＯＭを備える。

【0122】

本発明の特定の実施形態によれば、上記で説明した符号化デバイスは端末に含まれる。

【0123】

図９は、上記で説明した本発明の特定の実施形態のうちの任意の１つによる復号化方法を実施するように適合された復号化デバイスＤＥＣの簡略化した構造を示している。

【0124】

そのような復号化デバイスは、メモリＭＥＭ０と、例えばプロセッサＰＲＯＣ０を備え、メモリＭＥＭ０に記憶されたコンピュータプログラムＰＧ０によって制御される処理ユニットＵＴ０とを備える。コンピュータプログラムＰＧ０は、当該プログラムがプロセッサＰＲＯＣ０によって実行されると、上述したような復号化方法のステップを実施する命令を含む。

【0125】

本発明の特定の実施形態によれば、復号化デバイスＤＥＣは、特に、復号化デバイスが、全方位ビデオを表す符号化されたデータ信号を通信ネットワークを介して受信することを可能にする通信インタフェースＣＯＭ０を備える。

【0126】

初期化において、コンピュータプログラムＰＧ０のコード命令は、例えば、プロセッサＰＲＯＣ０によって実行される前に処理ユニットのメモリ（図示せず）内にロードされる。処理ユニットＵＴ０のプロセッサＰＲＯＣ０は、特に、コンピュータプログラムＰＧ０の命令に従って、図６及び図７に関して説明した復号化方法のステップを実施する。

【0127】

本発明の特定の実施形態によれば、上記で説明した復号化デバイスは端末に含まれる。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項１：
全方位ビデオを表すマルチビュービデオシーケンスを表す符号化されたデータ信号を復号化する方法であって、前記マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含み、該復号化する方法は、以下のステップ、すなわち、
前記第２のビューの平面から前記第１のビューの平面への前記変換を表すホモグラフィ行列を得る（６１）ことを可能にするパラメータを前記データ信号内で読み取るステップ（６０）と、
前記第２のビューの画像を復号化するステップ（６２）であって、前記第２のビューの前記画像は、ピクセルが前記ホモグラフィ行列を介して前記第１のビューの画像上に投影されたときに、前記第１のビューの前記画像に含まれる前記ピクセルを含むアクティブエリアと呼ばれるエリアを含む、前記第２のビューの画像を復号化するステップと
を含み、
前記第２のビューの前記画像を復号化する前記ステップは、
前記第１のビューの画像の以前に再構築されたピクセルと前記ホモグラフィ行列とから求められたピクセル値を含む基準画像を生成するステップ（６２０）と、
前記第２のビューの前記画像の少なくとも１つのブロックについて、以前に再構築された前記第２のビューの少なくとも１つの画像を含む基準画像リストに含まれる基準画像を表すインデックスを前記データ信号内で読み取るステップ（６２１）と、前記ブロックが前記アクティブエリアに属するか否かを判断するステップ（６２２）と、前記読み取られたインデックスによって示される前記基準画像から前記ブロックを再構築するステップ（６２５）であって、前記生成された基準画像は、前記ブロックが前記アクティブエリアに属するときは、前記基準画像リストに含まれ、前記生成された基準画像は、前記ブロックが前記アクティブエリアに属しないときは、前記基準画像リストに含まれない、再構築するステップと
を含む、方法。
請求項２：
前記パラメータは、前記第１のビューに関連した第１のカメラと、前記第２のビューに関連した第２のカメラとにそれぞれ関連したカメラパラメータであり、前記方法は、前記カメラパラメータからの前記ホモグラフィ行列の前記計算を更に含む、請求項１に記載の復号化する方法。
請求項３：
前記パラメータは前記ホモグラフィ行列の前記係数である、請求項１に記載の復号化する方法。
請求項４：
前記アクティブエリアの前記境界が、前記再構築されるブロックと交差しているとき、前記復号化する方法は、
前記基準画像群に含まれる基準画像を表す別のインデックスを前記データ信号内で読み取ること、
を更に含み、
前記基準画像群は前記生成された基準画像を含まず、前記アクティブエリアに属しない前記再構築されるブロックの前記ピクセルは、前記読み取られた別のインデックスによって示される前記基準画像のピクセルから再構築される、請求項１～３のいずれか１項に記載の復号化する方法。
請求項５：
前記方法は、前記第２のビューの平面から第３のビューの平面への前記変換を表す別のホモグラフィ行列を得ることを可能にするパラメータを前記データ信号内で読み取ることを更に含み、
前記別のホモグラフィ行列を介して前記第３のビューの画像内に投影される前記第２のビューの前記画像の少なくとも１つのピクセルは、前記第３のビューの前記画像に含まれ、
前記生成された基準画像は、前記第３のビューの前記画像の以前に再構築されたピクセルと前記別のホモグラフィ行列とから求められたピクセル値を更に含む、請求項１～４のいずれか１項に記載の復号化する方法。
請求項６：
全方位ビデオを表すマルチビュービデオシーケンスをデータ信号に符号化する方法であって、前記マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含み、該符号化する方法は、以下のステップ、すなわち、
前記第２のビューの平面から前記第１のビューの平面への前記変換を表すホモグラフィ行列を計算するステップ（４０）と、
復号化の際に前記ホモグラフィ行列を得ることを可能にするパラメータをデータ信号に符号化するステップ（４１）と、
前記第２のビューの画像を符号化するステップ（４２）であって、前記第２のビューの前記画像は、ピクセルが前記ホモグラフィ行列を介して前記第１のビューの画像上に投影されたときに、前記第１のビューの前記画像に含まれる前記ピクセルを含むアクティブエリアと呼ばれるエリアを含む、前記第２のビューの画像を符号化するステップと
を含み、
前記画像を符号化する前記ステップは、
前記第１のビューの画像の以前に再構築されたピクセルと前記ホモグラフィ行列とから求められるピクセル値を含む基準画像を生成するステップ（４２０）と、
前記第２のビューの前記画像の少なくとも１つのブロックについて、前記ブロックが前記アクティブエリアに属するか否かを判断するステップ（４２１）と、以前に再構築された前記第２のビューの少なくとも１つの画像を含む基準画像リストに含まれる基準画像から前記ブロックを予測するステップ（４２４）であって、前記生成された基準画像は、前記ブロックが前記アクティブエリアに属するときは前記基準画像リストに含まれ、前記生成された基準画像は、前記ブロックが前記アクティブエリアに属しないときは前記基準画像リストに含まれない、予測するステップと、前記ブロックを予測するのに用いられる前記基準画像を表すインデックスを前記データ信号に符号化するステップ（４２４）と
を含む、方法。
請求項７：
前記パラメータは、前記第１のビューに関連した第１のカメラと、前記第２のビューに関連した第２のカメラとにそれぞれ関連したカメラパラメータである、請求項６に記載の符号化する方法。
請求項８：
前記パラメータは前記ホモグラフィ行列の前記パラメータである、請求項６に記載の符号化する方法。
請求項９：
前記アクティブエリアの前記境界が、前記符号化されるブロックと交差しているとき、前記符号化する方法は、
前記基準画像群に含まれる基準画像を表す別のインデックスを前記データ信号に符号化すること
を更に含み、
前記基準画像群は前記生成された基準画像を含まず、前記アクティブエリアに属しない前記符号化されるブロックの前記ピクセルは、前記別のインデックスによって示される前記基準画像のピクセルから予測される、請求項６～８のいずれか１項に記載の符号化する方法。
請求項１０：
前記方法は、
前記第２のビューの平面から第３のビューの平面への前記変換を表す別のホモグラフィ行列を計算することであって、前記別のホモグラフィ行列を介して前記第３のビューの画像内に投影される前記第２のビューの前記画像の少なくとも１つのピクセルは、前記第３のビューの前記画像に含まれる、計算することと、
前記別のホモグラフィ行列を得ることを可能にするパラメータを前記データ信号に符号化することと
を更に含み、
前記生成された基準画像は、前記第３のビューの前記画像の以前に再構築されたピクセルと前記別のホモグラフィ行列とから求められたピクセル値を更に含む、請求項６～９のいずれか１項に記載の符号化する方法。
請求項１１：
全方位ビデオを表すマルチビュービデオシーケンスを表す符号化されたデータ信号を復号化するデバイスであって、前記マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含み、該復号化するデバイスは、
前記第２のビューの平面から前記第１のビューの平面への前記変換を表すホモグラフィ行列を得ることを可能にするパラメータを前記データ信号内で読み取る手段と、
前記第２のビューの画像を復号化する手段であって、前記第２のビューの前記画像は、ピクセルが前記ホモグラフィ行列を介して前記第１のビューの画像上に投影されたときに、前記第１のビューの前記画像に含まれる前記ピクセルを含むアクティブエリアと呼ばれるエリアを含む、前記第２のビューの画像を復号化する手段と
を備え、
前記第２のビューの前記画像を復号化する前記手段は、
前記第１のビューの画像の以前に再構築されたピクセルと前記ホモグラフィ行列とから求められたピクセル値を含む基準画像を生成する手段と、
前記第２のビューの前記画像の少なくとも１つのブロックについて、以前に再構築された前記第２のビューの少なくとも１つの画像を含む基準画像リストに含まれる基準画像を表すインデックスを前記データ信号から読み取る手段と、前記ブロックが前記アクティブエリアに属するか否かを判断する手段と、前記読み取られたインデックスによって示される前記基準画像から前記ブロックを再構築する手段であって、前記生成された基準画像は、前記ブロックが前記アクティブエリアに属するときは、前記基準画像リストに含まれ、前記生成された基準画像は、前記ブロックが前記アクティブエリアに属しないときは、前記基準画像リストに含まれない、再構築する手段と
を備える、デバイス。
請求項１２：
全方位ビデオを表すマルチビュービデオシーケンスをデータ信号に符号化するデバイスであって、前記マルチビュービデオシーケンスは、少なくとも１つの第１のビュー及び１つの第２のビューを含み、該符号化するデバイスは、
前記第２のビューの平面から前記第１のビューの平面への前記変換を表すホモグラフィ行列を計算する手段と、
前記ホモグラフィ行列を得ることを可能にするパラメータを前記データ信号に符号化する手段と、
前記第２のビューの画像を符号化する手段であって、前記第２のビューの前記画像は、ピクセルが前記ホモグラフィ行列を介して前記第１のビューの画像上に投影されたときに、前記第１のビューの前記画像に含まれる前記ピクセルを含むアクティブエリアと呼ばれるエリアを含む、前記第２のビューの画像を符号化する手段と
を備え、
前記画像を符号化する前記手段は、
前記第１のビューの画像の以前に再構築されたピクセルと前記ホモグラフィ行列とから求められるピクセル値を含む基準画像を生成する手段と、
前記第２のビューの前記画像の少なくとも１つのブロックについて、前記ブロックが前記アクティブエリアに属するか否かを判断する手段と、以前に再構築された前記第２のビューの少なくとも１つの画像を含む基準画像リストに含まれる基準画像から前記ブロックを予測する手段であって、前記生成された基準画像は、前記ブロックが前記アクティブエリアに属するときは前記基準画像リストに含まれ、前記生成された基準画像は、前記ブロックが前記アクティブエリアに属しないときは前記基準画像リストに含まれない、予測する手段と、前記ブロックを予測するのに用いられる前記基準画像を表すインデックスを前記データ信号に符号化する手段と
を備える、デバイス。
請求項１３：
コンピュータプログラムであって、該プログラムがプロセッサによって実行されると、請求項１～５のいずれか１項に記載の復号化する方法を実施する命令、及び／又は、請求項６～１０のいずれか１項に記載の符号化する方法を実施する命令を含む、コンピュータプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】