知財求人 - 知財ポータルサイト「IP Force」
特開2025-4019マルチビュービデオシーケンスをコード化および復号化するための方法およびデバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025004019
(43)【公開日】2025-01-14
(54)【発明の名称】マルチビュービデオシーケンスをコード化および復号化するための方法およびデバイス
(51)【国際特許分類】
H04N 19/597 20140101AFI20250106BHJP
H04N 19/46 20140101ALI20250106BHJP
【ＦＩ】
H04N19/597
H04N19/46
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024161113
(22)【出願日】2024-09-18
(62)【分割の表示】P 2021555500の分割
【原出願日】2020-02-27
(31)【優先権主張番号】1902659
(32)【優先日】2019-03-15
(33)【優先権主張国・地域又は機関】FR
(71)【出願人】
【識別番号】591034154
【氏名又は名称】オランジュ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(72)【発明者】
【氏名】ジョエル・ジュン
(72)【発明者】
【氏名】パトリック・ボワソナード
(57)【要約】 （修正有）
【課題】マルチビュービデオを表すデータストリームを復号する方法及び符号化する方法を提供する。
【解決手段】データストリームを復号するための方法は、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、テクスチャデータおよびテクスチャデータに関連付けられる深度データを備え、サブ画像が少なくとも1つのゾーンを備える。サブ画像が第1の方法または第2の方法に従ってコード化されているかどうかを示すインジケータが復号される。インジケータがサブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、ピクセルが有用なゾーンに属するかどうかを示すバイナリマップが復号される。インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンの外側に位置するピクセルのサブ画像の深度データは復号された深度値を備える。
【選択図】なし
【解決手段】データストリームを復号するための方法は、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、テクスチャデータおよびテクスチャデータに関連付けられる深度データを備え、サブ画像が少なくとも1つのゾーンを備える。サブ画像が第1の方法または第2の方法に従ってコード化されているかどうかを示すインジケータが復号される。インジケータがサブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、ピクセルが有用なゾーンに属するかどうかを示すバイナリマップが復号される。インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンの外側に位置するピクセルのサブ画像の深度データは復号された深度値を備える。
【選択図】なし
【特許請求の範囲】
【請求項1】
マルチビュービデオを表す少なくとも1つのデータストリームを復号化するための方法であって、前記少なくとも1つデータストリームが、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、有用なゾーンと呼ばれる少なくとも1つのゾーンと、有用でないゾーンと呼ばれる1つのゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、前記復号化方法が、
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像に復号化するステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化するステップであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記深度データが、割当て深度値を備える、ステップと
を備える、方法。
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像に復号化するステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化するステップであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記深度データが、割当て深度値を備える、ステップと
を備える、方法。
【請求項2】
マルチビュービデオを表すデータストリームをコード化するための方法であって、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化するステップを備え、前記サブ画像が、前記有用なゾーンと呼ばれるゾーンと有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、前記少なくとも1つのサブ画像をコード化するステップが、
- 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定するステップと、
- 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像にコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当て深度値を決定するステップと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記サブ画像の前記深度データに前記割当て深度値を割り当てるステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化するステップとを備える、方法。
- 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定するステップと、
- 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像にコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当て深度値を決定するステップと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記サブ画像の前記深度データに前記割当て深度値を割り当てるステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化するステップとを備える、方法。
【請求項3】
前記割当て深度値が、少なくとも前記サブ画像の前記有用なゾーンにわたって決定され、あらかじめ定められた値だけ減少された最小深度値から決定される、請求項2に記載のコード化方法。
【請求項4】
前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記割当て深度値を表す情報の項目を復号化またはコード化するステップをさらに備え、前記割当て深度値0が、前記有用なゾーンの外側に位置する前記ピクセルについて、前記復号化またはコード化された深度値に対応する、請求項1に記載の復号化方法または請求項2もしくは3に記載のコード化方法。
【請求項5】
前記データストリームにコード化された前記サブ画像の前記深度データが、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差を備える、請求項4に記載の方法。
【請求項6】
前記データストリームにおいて、前記少なくとも1つのサブ画像に対して、前記深度データが、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差によってコード化されるかどうかを示すインジケータを復号化またはコード化するステップを備える、請求項5に記載の方法。
【請求項7】
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、または、前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記復号化されたバイナリマップから、前記有用なゾーンを決定するステップと、
- 前記有用なゾーンの外側に位置する前記ピクセルに無限の値が割り当てられる前記サブ画像の深度マップを構築するステップと、
- 前記深度マップを合成モジュールに送信するステップと
をさらに備える、請求項4から6のいずれか一項に記載の復号化方法。
- 前記有用なゾーンの外側に位置する前記ピクセルに無限の値が割り当てられる前記サブ画像の深度マップを構築するステップと、
- 前記深度マップを合成モジュールに送信するステップと
をさらに備える、請求項4から6のいずれか一項に記載の復号化方法。
【請求項8】
前記サブ画像が前記第2の方法に従ってコード化されていることを前記インジケータが示す場合、
- 前記再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、前記有用なゾーンを決定するステップと、
- 前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
- 前記バイナリマップを合成モジュールに送信するステップと
をさらに備える、請求項4から6のいずれか一項に記載の復号化方法。
- 前記再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、前記有用なゾーンを決定するステップと、
- 前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
- 前記バイナリマップを合成モジュールに送信するステップと
をさらに備える、請求項4から6のいずれか一項に記載の復号化方法。
【請求項9】
少なくとも2つの有用なゾーンがそれぞれ少なくとも2つのサブ画像に属し、前記少なくとも1つのビューの前記少なくとも1つの画像を生成するために使用されることが意図された前記少なくとも2つの有用なゾーンが、前記データストリームにコード化され、前記最小深度値が、前記少なくとも2つの有用なゾーンの各有用なゾーンから決定される、請求項3に記載の方法。
【請求項10】
前記少なくとも1つのデータストリームが、前記ビデオの少なくとも1つのビューのコード化されたデータを備え、前記少なくとも1つのビューが、少なくとも1つのソースビューからのコード化において決定されたビューに対応する、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記サブ画像の前記テクスチャデータおよび前記深度データを受信するステップをさらに備え、前記サブ画像が、ビューイングボリューム内の視聴者の位置および視聴方向の合成された中間ビューから生じる、請求項1または4から10のいずれか一項に記載の復号化方法。
【請求項12】
マルチビュービデオを表す少なくとも1つのデータストリームを復号化するためのデバイスであって、前記少なくとも1つのデータストリームが、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、前記有用なゾーンと呼ばれるゾーンと前記有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、前記復号化デバイスが、
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像に復号化することと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化することであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記深度データが、割当て深度値を備える、復号化することと
を行うように構成される、デバイス。
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像に復号化することと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化することであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記深度データが、割当て深度値を備える、復号化することと
を行うように構成される、デバイス。
【請求項13】
マルチビュービデオを表すデータストリームをコード化するためのデバイスであって、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化するように構成され、前記サブ画像が、前記有用なゾーンと呼ばれるゾーンと前記有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、
- 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定することと、
- 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像にコード化することと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当て深度値を決定することと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記サブ画像の前記深度データに前記割当て深度値を割り当てることと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化することと
を備える、デバイス。
- 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定することと、
- 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像にコード化することと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当て深度値を決定することと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記サブ画像の前記深度データに前記割当て深度値を割り当てることと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化することと
を備える、デバイス。
【請求項14】
マルチビュービデオを表すデータストリームであって、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、前記有用なゾーンと呼ばれるゾーンと、前記有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記有用なゾーンが、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図され、前記データストリームが、
- 前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを表すコード化されたデータと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、深度値を備える、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記深度データと
を備える、データストリーム。
- 前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを表すコード化されたデータと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、深度値を備える、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記深度データと
を備える、データストリーム。
【請求項15】
請求項1もしくは4から10のいずれか一項に記載の復号化方法を実装するための命令、および/または、請求項2から6または9もしくは10のいずれか一項に記載のコード化方法を実装するための命令を備えるコンピュータプログラムであって、前記プログラムがプロセッサによって実行される、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、1つまたは複数のカメラによってキャプチャされたシーンを表す没入型ビデオに関する。より詳細には、本発明は、そのようなビデオのコード化および復号化に関する。
【背景技術】
【0002】
没入型ビデオのコンテキスト、すなわち、視聴者がシーンに没頭しているような感覚の場合、シーンは通常、図1に示されるように、カメラのセットによってキャプチャされる。これらのカメラはタイプ2D(図1におけるカメラC1、C2、C3、C4)であってもよく、タイプ360、すなわち、カメラの周囲360度のシーン全体をキャプチャするもの(図1におけるカメラC5)であってもよい。
【0003】
これらのキャプチャされたビューはすべて、従来、視聴者の端末によってコード化され、次いで復号化される。しかしながら、十分な品質の体験を提供し、したがって、視聴者に表示されるシーンにおける視覚的品質および良好な没入感を提供するためには、キャプチャされたビューのみを表示することは不十分である。
【0004】
シーンへの没入感を向上させるために、通常、中間ビューと呼ばれる1つまたは複数のビューが、復号化されたビューから計算される。
【0005】
これらの中間ビューは、ビューの「合成」アルゴリズムによって計算することができる。合成アルゴリズムの例が図2に示されており、これは、主にビュー合成アルゴリズムの入力/出力を示している。この例によれば、n個のビュー(ここでは1～4)から、合成アルゴリズムは、カメラの位置に応じて、ビューイングボリュームと呼ばれる所与のボリュームに位置する視点「v」を合成することができる。n個のビューおよび合成されたビューは、カメラに対するシーンの要素間の距離を表すテクスチャデータ(T1～T4、Tv)と深度データ(D1～D4、Dv)の両方で構成される。深度データは通常、深度マップ、すなわち、画像の各ポイントにおいて、そのポイントにおいて表されるオブジェクトに関連付けられる深度を示す画像の形態で表される。
【0006】
これらの深度マップは、特定のカメラによってキャプチャされるか、テクスチャビューから計算される。大量のデータが考慮されるため、シーンを表すためにキャプチャされたビューを圧縮することは困難である。
【0007】
さらに、キャプチャされたビューは中間ビューを合成するために必要であるため、ビューのコード化効率と中間ビュー合成の品質との間の妥協が必要である。
【0008】
MV-HEVCおよび3D-HEVCエンコーダは、マルチビュービデオのコード化に適合した2D HEVCエンコーダの2つの拡張機能である(「High Efficiency Video Coding, Coding Tools and Specification」、Matthias Wien、Signals and Communication Technology、2015年)。
【0009】
そのようなエンコーダは、ビューのセットと、任意で関連付けられる深度マップを入力として受け取る。MV-HEVCエンコーダは、ブロックレベルで任意の特定のコード化ツールを適用しない。現在のビューの画像をコード化する場合、現在のビューの以前にコード化/復号化された画像に加えて、別のビューの画像を参照画像として単に使用する。
【0010】
3D-HEVCエンコーダは、深度マップコード化に特定のツールを追加し、より高度なビュー間冗長性とコンポーネント間冗長性を使用し、深度マップコード化はテクスチャコード化を利用する。
【0011】
しかしながら、360度マルチビューコンテンツの場合、ビュー間の冗長性はこれら2つのコーデックによって適切に活用されていないようである。したがって、それらのコード化効率は最適とはほど遠いものである。さらに、合成されたビューの画像の品質に影響を与える閉塞につながる可能性のあるゾーンを保持するために何も行われない。
【0012】
図3は、マルチビュービデオをコード化し、デコーダ側において中間ビューを合成するための別の方法を示している。
【0013】
この方法によれば、1つまたは複数の基本ビュー(図3におけるTb、Db)は、2Dエンコーダ、たとえば、HEVCエンコーダ、またはマルチビューエンコーダでコード化される。
【0014】
他のビュー(Ts、Ds)は、これらのビューの各々から特定のゾーンを抽出するために処理される。
【0015】
キャプチャされたビューのすべてがデコーダに送信されるわけではない場合、またはカメラが自然に離れている場合、閉塞ゾーンが増加する。これらのゾーンは、デコーダに送信されるビューでは非表示になっているが、ビューイングボリューム内の任意の視点から画像を再構築するために必要なオブジェクトに対応する。したがって、抽出されたゾーンは、基本ビューでは非表示になっているが、デコーダに送信されないビューでは表示されている閉塞ゾーンに対応することができる。
【0016】
ビューをサブサンプリングすると、特にオブジェクトがビューイング位置、つまり合成された視点に応じて大きく歪む場合、ビュー合成に重大な欠陥が生じる可能性がある。
【0017】
図3に示される方法によれば、以下ではパッチとも呼ばれる抽出されたゾーンは、たとえば、従来の2Dビデオエンコーダによってコード化される。次いで、デコーダ側において、合成アルゴリズムは、基本ビューと復号化されたパッチから1つまたは複数の中間ビューを生成することができる。
【0018】
全体として、パッチは、基本ビューの視点または別の視点から見ることができる同じゾーンに関連する情報をデコーダに送信することができるため、2つの視点間の照明の変化、または、たとえば、傾斜したオブジェクト(特定の深度範囲にわたる)の場合など、オブジェクト自体に関連する投影品質の低下を考慮に入れることができる。
【0019】
抽出されたゾーンを表すパッチをコード化するために、これらのパッチのテクスチャと関連付けられる深度をコード化する必要がある。異なる形状を有する可能性があるこれらのパッチのコード化および表現を単純化するために、一般に、パッチは、長方形の画像の形態で、または少なくともサブ画像とも呼ばれる四辺形の形態で記憶される。
【0020】
サブ画像の形態で表現すると、サブ画像は、抽出されたゾーンに対応し、中間ビューの合成に使用される可能性が高い有用なデータと、最初は抽出されたパッチに属していない有用でないデータとを備えるように見える。
【0021】
パッチの効率的なコード化のために、有用でないデータのコード化が有用なデータのコード化に与える影響を最小限に抑える必要がある。
【0022】
さらに、デコーダ側において、合成中に有用でないゾーンを使用しないように、有用なゾーンと有用でないゾーンを識別するために役立つ情報の項目を合成アルゴリズムに送信する必要がある。
【0023】
したがって、従来技術を改善する必要がある。
【先行技術文献】
【非特許文献】
【0024】
【非特許文献1】「High Efficiency Video Coding, Coding Tools and Specification」、Matthias Wien、Signals and Communication Technology、2015年
【発明の概要】
【課題を解決するための手段】
【0025】
本発明は従来技術を改善する。この目的のために、本発明はマルチビュービデオを表すデータストリームを復号化するための方法に関係している。データストリームは、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、コード化されたデータは、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、サブ画像は、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される、有用なゾーンと呼ばれる少なくとも1つのゾーンを備える。
【0026】
そのような復号化方法は、
- 前記少なくとも1つのデータストリームから、サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像に復号化するステップと、
- サブ画像のテクスチャデータおよび深度データを復号化するステップであって、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンの外側に位置するピクセルの前記サブ画像の深度データが、復号化された深度値を備える、ステップとを備える。
- 前記少なくとも1つのデータストリームから、サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像に復号化するステップと、
- サブ画像のテクスチャデータおよび深度データを復号化するステップであって、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンの外側に位置するピクセルの前記サブ画像の深度データが、復号化された深度値を備える、ステップとを備える。
【0027】
したがって、本発明によれば、これらのサブ画像のコード化コストを制限しながら、合成に有用なサブ画像コード化ゾーンをコード化および復号化することが可能である。具体的には、ストリームにおいてコード化されたインジケータの値に応じて、パッチを表すサブ画像の有用なゾーンは、サブ画像のストリームにおいてコード化された深度情報から、またはストリームからコード化および復号化されたバイナリマップから、ビューを再構築するときに合成アルゴリズムによって決定することができる。
【0028】
したがって、本発明によれば、従来技法とは異なり、サブ画像の有用なゾーンを識別するための妥当性バイナリマップをサブ画像に対して体系的にコード化する必要はない。たとえば、エンコーダにおいて、パッチの深度情報のレート/歪みの観点から最適なコード化を決定するために競合を実装することができる。そのような競合は、どのピクセルが有用なゾーンに属し、ビューを合成するときに合成アルゴリズムに送信されるかを示すバイナリマップをコード化する第1の方法のパフォーマンスと、有用なゾーンの外側に位置するピクセルの深度値に特定の値を割り当てる第2の方法のパフォーマンスとを比較する。
【0029】
サブ画像が第1の方法に従ってコード化される場合、有用なゾーンに属するピクセルの深度値のみがコード化および復号化される。一方、第2の方法に従ってサブ画像がコード化される場合、これらのピクセルが有用なゾーンに属するかどうかに関係なく、サブ画像のすべてのピクセルの深度値がコード化および復号化される。有用なゾーンに属さないサブ画像のピクセルは、コード化時に決定された特定の復号化された深度値を有する。
【0030】
そのような特定の値により、合成アルゴリズムは、ビューを合成する際に、有用なゾーンに属さないピクセルを使用しないようになる。
【0031】
サブ画像は、データストリームにコード化されたビューに表示されない閉塞ゾーンに関連するテクスチャおよび深度データを備えることができる。したがって、そのようなサブ画像をコード化すると、データストリームにコード化されていないビューの合成の品質が向上する。
【0032】
他の実施形態の変形例では、サブ画像は、データストリームにコード化されたビューから見えるが、ビューの合成に重大な欠陥をもたらすゾーンに関連するテクスチャおよび深度データを備えることができる。そのようなサブ画像をコード化すると、ゾーンにテクスチャと深度の改良を提供することによって、このビューの合成の品質が向上する。
【0033】
提案された発明は、ビューの内容および閉塞タイプへのより良い適応を可能にする。具体的には、第1の方法は合成中に閉塞ゾーンのシャープな輪郭を保持し、第2の方法はバイナリマップの送信を回避することによってコード化コストを節約する。しかしながら、第2の方法に従ってコード化すると、サブ画像内の有用なゾーンと有用でないゾーンとの間の区別が行われなくなるため、閉塞ゾーンの輪郭の鮮明さが保持されない。
【0034】
第1の方法と第2の方法との間のエンコーダにおける選択は、たとえばレート/歪み最適化を介して行うことができ、歪みは、有用なゾーンによって再構築されたゾーンの部分合成からエンコーダにおいて測定される。
【0035】
本発明はまた、マルチビュービデオを表すデータストリームをコード化するための方法であって、
- テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化するステップであって、前記サブ画像が、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される、有用なゾーンと呼ばれるゾーンを備える、ステップを備える方法に関し、
前記少なくとも1つのサブ画像をコード化するステップは、
- 第1の方法と第2の方法との間でサブ画像をコード化するためのコード化方法を決定するステップと、
- サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像にコード化するステップと、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、
- 割当て深度値を決定するステップと、
- 有用なゾーンの外側に位置するサブ画像のピクセルについて、前記サブ画像の深度データに割当て深度値を割り当てるステップと、
- サブ画像のテクスチャデータおよび深度データをコード化するステップとを備える。
- テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化するステップであって、前記サブ画像が、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される、有用なゾーンと呼ばれるゾーンを備える、ステップを備える方法に関し、
前記少なくとも1つのサブ画像をコード化するステップは、
- 第1の方法と第2の方法との間でサブ画像をコード化するためのコード化方法を決定するステップと、
- サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像にコード化するステップと、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、
- 割当て深度値を決定するステップと、
- 有用なゾーンの外側に位置するサブ画像のピクセルについて、前記サブ画像の深度データに割当て深度値を割り当てるステップと、
- サブ画像のテクスチャデータおよび深度データをコード化するステップとを備える。
【0036】
本発明の特定の実施形態によれば、割当て深度値は、少なくともサブ画像の有用なゾーンにわたって決定され、あらかじめ定められた値だけ減少された最小深度値から決定される。
【0037】
最小深度値は、たとえば、サブ画像内の有用なゾーンの最も遠い(深度に関して)ポイントの深度値である。最小深度値は、有用なゾーンのポイントの深度値とは異なる特定の深度値を取得するために、あらかじめ定められた値だけ減少される。したがって、あらかじめ定められた値だけの減少は、深度データをコード化する際の量子化エラーを考慮に入れることを可能にする。
【0038】
さらに、有用なゾーンのポイントの深度値に近いままである特定の深度値を使用すると、サブ画像の深度のコード化コストの影響が制限される。実際、サブ画像用にコード化される深度情報における強い不連続性の発生は制限されている。
【0039】
さらに、そのような割当て深度値は、合成アルゴリズムによって有利に使用することができる。実際、画像の合成中に競合が発生した場合、合成アルゴリズムは、当然、前景に位置するオブジェクトを優先するため、背景に位置するオブジェクトよりも深度値が大きくなる。したがって、有用でないゾーンに位置するサブ画像のピクセルに対して、有用なゾーンのピクセルの深度値よりも低い深度値を使用することは、最小深度値を有するピクセルが有用なゾーンに属していないことを合成アルゴリズムに示し、合成画像を再構築する際に競合が発生した場合、合成アルゴリズムによるそれらの考慮は優先されない。
【0040】
本発明の別の特定の実施形態によれば、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、復号化方法、それぞれコード化方法は、割当て深度値を表す情報の項目を復号化、それぞれコード化するステップを備え、割当て深度値は、有用なゾーンの外側に位置するピクセルについて、復号化された、それぞれコード化された、深度値に対応する。
【0041】
したがって、本発明のこの特定の実施形態によれば、有用なゾーンに属するピクセルを示すバイナリマップは、デコーダが、有用なゾーンの外側に位置するピクセルに割り当てられた割当て深度値を認識しているため、第2の方法に従ってコード化されたサブ画像に対して作成することができる。したがって、復号化されたピクセルの深度値から、どのピクセルが有用なゾーンに属し、どのピクセルが有用なゾーンの外側に位置するかを識別することができる。このように構築されたバイナリマップは、合成アルゴリズムに送信することができる。したがって、合成アルゴリズムへの入力として提供される情報は、サブ画像が第1の方法に従って、または第2の方法に従ってコード化されたかにかかわらず同一である。
【0042】
本発明の別の特定の実施形態によれば、データストリームにコード化されたサブ画像の深度データは、サブ画像の少なくとも1つのピクセルについて、前記ピクセルの深度値と前記割当て深度値との間の差によって決定される残差を備える。
【0043】
本発明のこの特定の実施形態は、サブ画像が第2の方法に従ってコード化される場合、サブ画像の深度データのコード化コストを削減する。実際、サブ画像が背景情報のみを備える場合、深度データのダイナミクスは低く、このデータを残差としてコード化する方がより有利である。
【0044】
本発明の別の特定の実施形態によれば、深度データが、前記ピクセルの深度値と前記割当て深度値との間の差によって決定される残差によってコード化されるかどうかを示すインジケータは、前記少なくとも1つのサブ画像に対して復号化またはコード化される。
【0045】
本発明のこの特定の実施形態は、第2の方法によるコード化の場合の深度データが残差によってコード化されるかどうかを信号で伝えることを可能にする。実際、サブ画像によって運ばれる情報のタイプに応じて、残差ベースのコード化モードは有利である場合とそうでない場合がある。残差ベースのコード化は、サブ画像が閉塞ゾーンに関連する情報を運ぶ場合に有利である可能性があるが、改良情報を備えるサブ画像にはあまり魅力的でない可能性がある。
【0046】
本発明の別の特定の実施形態によれば、復号化方法は、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、再構築された深度データと、復号化された割当て深度値を表す情報の項目とから、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、復号化されたバイナリマップから、
- 有用なゾーンを決定するステップと、
- 有用なゾーンの外側に位置するピクセルに無限の値が割り当てられるサブ画像の深度マップを構築するステップと、
- 前記深度マップを合成モジュールに送信するステップとをさらに備える。
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、再構築された深度データと、復号化された割当て深度値を表す情報の項目とから、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、復号化されたバイナリマップから、
- 有用なゾーンを決定するステップと、
- 有用なゾーンの外側に位置するピクセルに無限の値が割り当てられるサブ画像の深度マップを構築するステップと、
- 前記深度マップを合成モジュールに送信するステップとをさらに備える。
【0047】
本発明のこの特定の実施形態によれば、深度値に割り当てられた無限の値は、有用なゾーンおよび有用でないゾーンに属するピクセルを合成アルゴリズムに単純に示すことを可能にし、有用なゾーンと有用でないゾーンを示すバイナリマップなど、追加のデータを合成モジュールに送信することを回避する。
【0048】
本発明の別の特定の実施形態によれば、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、復号化方法は、
- 再構築された深度データと、復号化された割当て深度値を表す情報の項目とから、有用なゾーンを決定するステップと、
- サブ画像の少なくとも1つのピクセルについて、そのピクセルが有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
- 前記バイナリマップを合成モジュールに送信するステップとをさらに備える。
- 再構築された深度データと、復号化された割当て深度値を表す情報の項目とから、有用なゾーンを決定するステップと、
- サブ画像の少なくとも1つのピクセルについて、そのピクセルが有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
- 前記バイナリマップを合成モジュールに送信するステップとをさらに備える。
【0049】
本発明の別の特定の実施形態によれば、前記少なくとも1つのビューの前記少なくとも1つの画像を生成するために使用されることが意図される少なくとも2つのサブ画像がデータストリームにコード化され、最小深度値は、前記少なくとも2つのサブ画像の各有用なゾーンから決定される。
【0050】
本発明の別の特定の実施形態によれば、データストリームは、ビデオの少なくとも1つのビューのコード化されたデータを備え、前記少なくとも1つのビューは、少なくとも1つのソースビューからのコード化において決定されたビューに対応する。
【0051】
ソースビューは、ここではマルチビュービデオによって表されるシーンの元のビューとして定義されている。言い換えれば、それはカメラによるシーンのキャプチャから生じる画像のシーケンスである。
【0052】
本発明のこの特定の実施形態によれば、デコーダに送信される少なくとも1つの基本ビューは、1つまたは複数のソースビューから決定されたビューである。この決定は、コード化時またはコード化前に実行することができる。
【0053】
たとえば、複数のソースビューから合成されたビュー、または複数のソースの視点から計算/推定されたビューの場合がある。
【0054】
たとえば、決定されたビューは、各画像がカメラ画像よりも大きく、360度キャプチャカメラアレイのすべてのカメラからの同じ瞬間のすべての画像を備える画像のシーケンスに対応することができる。
【0055】
本発明の別の特定の実施形態によれば、復号化方法は、前記サブ画像のテクスチャデータおよび深度データを受信するステップをさらに備え、前記サブ画像は、ビューイングボリューム内の視聴者の位置および視聴方向の合成された中間ビューから生じる。
【0056】
本発明のこの特定の実施形態によれば、サブ画像のデータは、ビューイングボリュームにおける位置および視聴方向の要求に応じて、デコーダに提供される。本発明のそのような特定の実施形態は、視聴者がマルチビュービデオをナビゲートしているときに、オンデマンドでサブ画像のデータを提供することを可能にする。したがって、対応する改良ゾーンまたは閉塞ゾーンのデータは、視聴者の位置と視聴方向により適合される。
【0057】
本発明はまた、マルチビュービデオを表す少なくとも1つのデータストリームを復号化するためのデバイスに関し、前記少なくとも1つのデータストリームが、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される、有用なゾーンと呼ばれるゾーンを備える、サブ画像とを備え、復号化デバイスは、
- 前記少なくとも1つのデータストリームから、サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化することと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像に復号化することと、
- サブ画像のテクスチャデータおよび深度データを復号化することであって、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンの外側に位置するピクセルの前記サブ画像の深度データが、復号化された深度値を備える、復号化することとを備える。
- 前記少なくとも1つのデータストリームから、サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化することと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像に復号化することと、
- サブ画像のテクスチャデータおよび深度データを復号化することであって、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンの外側に位置するピクセルの前記サブ画像の深度データが、復号化された深度値を備える、復号化することとを備える。
【0058】
本発明の特定の実施形態によれば、そのような復号化デバイスは、端末またはサーバに備えられる。
【0059】
本発明はまた、
- テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化することであって、前記サブ画像が、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される有用なゾーンを備え、
- 第1の方法と第2の方法との間でサブ画像をコード化するためのコード化方法を決定することと、
- サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータをコード化することと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像にコード化することと、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、
- 割当て深度値を決定することと、
- 有用なゾーンの外側に位置するサブ画像のピクセルについて、前記サブ画像の深度データに割当て深度値を割り当てることと
を備える、コード化することと、
- サブ画像のテクスチャデータおよび深度データをコード化することとを行うように構成された、マルチビュービデオを表すデータストリームをコード化するためのデバイスに関する。
- テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備える少なくとも1つのサブ画像をコード化することであって、前記サブ画像が、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される有用なゾーンを備え、
- 第1の方法と第2の方法との間でサブ画像をコード化するためのコード化方法を決定することと、
- サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータをコード化することと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップをサブ画像にコード化することと、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、
- 割当て深度値を決定することと、
- 有用なゾーンの外側に位置するサブ画像のピクセルについて、前記サブ画像の深度データに割当て深度値を割り当てることと
を備える、コード化することと、
- サブ画像のテクスチャデータおよび深度データをコード化することとを行うように構成された、マルチビュービデオを表すデータストリームをコード化するためのデバイスに関する。
【0060】
本発明の特定の実施形態によれば、そのようなコード化デバイスは、端末またはサーバに備えられる。
【0061】
本発明はまた、マルチビュービデオを表すデータストリームに関し、少なくとも1つのサブ画像を表す少なくともコード化されたデータを備え、コード化されたデータは、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像は、少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される、有用なゾーンと呼ばれるゾーンを備え、データストリームは、
- サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップを表すコード化されたデータと、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、深度値を備える、有用なゾーンの外側に位置するピクセルの前記サブ画像の深度データとを備える。
- サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータと、
- インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、サブ画像の少なくとも1つのピクセルについて、前記ピクセルが有用なゾーンに属するかどうかを示すバイナリマップを表すコード化されたデータと、
- インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、深度値を備える、有用なゾーンの外側に位置するピクセルの前記サブ画像の深度データとを備える。
【0062】
本発明の特定の実施形態によれば、データストリームは、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、割当て深度値を表す情報の項目をさらに備える。
【0063】
本発明の別の特定の実施形態によれば、データストリームは、ピクセルの深度値と前記割当て深度値との間の差によって決定される残差を取得することによって深度データがコード化されるかどうかを示す、前記少なくとも1つのサブ画像のインジケータを備える。
【0064】
本発明の別の特定の実施形態によれば、データストリームは、ビデオの少なくとも1つのビューのコード化されたデータをさらに備え、前記少なくとも1つのビューは、少なくとも1つのソースビューからのコード化において合成されたビューに対応する。
【0065】
本発明による復号化方法、それぞれコード化方法は、様々な方法で、特にワイヤード形式またはソフトウェア形式で実装することができる。本発明の特定の実施形態によれば、復号化方法、それぞれコード化方法は、コンピュータプログラムによって実装される。本発明はまた、前記プログラムがプロセッサによって実行されるときに、前述の特定の実施形態のいずれか1つによる復号化方法またはコード化方法を実装するための命令を備えるコンピュータプログラムに関する。そのようなプログラムは、任意のプログラミング言語を使用することができる。通信ネットワークからダウンロードすること、および/またはコンピュータ可読媒体に記録することができる。
【0066】
このプログラムは、任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード、または部分的にコンパイルされた形式や任意の他の所望の形式などの、ソースコードとオブジェクトコードとの間の中間コードの形式にすることができる。
【0067】
本発明はまた、上記のようなコンピュータプログラムの命令を備えるコンピュータ可読ストレージ媒体またはデータ媒体に関する。上記の記録媒体は、プログラムを記憶することができる任意のエンティティまたはデバイスとすることができる。たとえば、媒体は、ROMなどのストレージ手段、たとえば、CD-ROMまたはマイクロ電子回路ROM、USBフラッシュドライブ、あるいは磁気記録手段、たとえば、ハードドライブを備えることができる。一方、記録媒体は、電気または光ケーブル、無線または他の手段を介して運ぶことができる、電気または光信号などの伝達可能な媒体に対応することができる。本発明によるプログラムは、特にインターネット型ネットワーク上にダウンロードすることができる。
【0068】
あるいは、記録媒体は、プログラムが埋め込まれている集積回路に対応することができ、その回路は、問題の方法を実行するように、または実行に使用されるように適合されている。
【0069】
本発明の他の特徴および利点は、単純な例示的な非限定的な例として提供される特定の実施形態の以下の説明、および添付の図面を読めば、より明確に明らかになるであろう。
【図面の簡単な説明】
【0070】
【図1】マルチビューシーンキャプチャシステムの例を図式的に示す図である。
【図2】ビュー合成モジュールの入力/出力の例を示す図である。
【図3】パッチのコード化に基づくマルチビューエンコーダの例を図式的に示す図である。
【図4】本発明の特定の実施形態による、コード化方法のステップを示す図である。
【図5】コード化されるサブ画像をグループ化する画像の例を示す図である。
【図7】本発明の特定の実施形態による、パッチのテクスチャの有用でないゾーンの充填例を示す図である。
【図8】本発明の特定の実施形態による、パッチの深度の有用でないゾーンの充填例を示す図である。
【図9】本発明の特定の実施形態による、復号化方法のステップを示す図である。
【図10】本発明の別の特定の実施形態による、復号化方法のステップを示す図である。
【図11】本発明の別の特定の実施形態による、復号化方法のステップを示す図である。
【図12】本発明の特定の実施形態による、コード化デバイスのアーキテクチャの例を示す図である。
【図13】本発明の特定の実施形態による、復号化デバイスのアーキテクチャの例を示す図である。
【図14】本発明の特定の実施形態によるデータストリームの例を示す図である。
【発明を実施するための形態】
【0071】
図4は、本発明の特定の実施形態による、マルチビュービデオを表す少なくとも1つのデータストリームをコード化するための方法のステップを示している。
【0072】
本発明によれば、マルチビュービデオは、図3に関連して示されるようなコード化スキームに従ってコード化され、ここで、1つまたは複数の基本ビューがデータストリームにコード化され、テクスチャおよび深度データを備えるサブ画像またはパッチもまたデータストリームにコード化され、デコーダがデータストリームにコード化されていないシーンの他のビューを合成できるようにする。本発明の特定の実施形態に関連するそのようなコード化スキームのステップは、以下に説明される。
【0073】
ここでは、たとえば、シーンが4つの視点V0～V3に従ってキャプチャされ、ビューの画像の各々に関連付けられる深度マップd0～d3は、以前に推定されたと見なされる。ここでは、ビューは、視点からキャプチャされたシーンを表す画像のシーケンスとして定義される。したがって、各ビューはビデオ、すなわち画像のシーケンスであり、ビューの画像ごとに深度マップが決定される。
【0074】
ステップE40において、ビューV0～V3および関連付けられる深度マップd0～d3は、たとえば、HEVCエンコーダ、あるいは他の任意の適切な2Dまたはマルチビューエンコーダによってコード化および復号化される。これらのビューは基本ビューと見なされ、デコーダに送信される。これらは、デコーダ側において中間ビューを合成するために使用することができる。変形として、すべてのビューV0～V3がコード化されているわけではなく、たとえば1つのビューのみ、あるいは2つまたは3つのビューがコード化されてデコーダに送信され得る。
【0075】
本発明の特定の実施形態によれば、ステップE40において、データストリームにコード化された基本ビューは、1つまたは複数のビューV0～V3から合成されたビューに対応する。
【0076】
ステップE41において、中間ビューViは、デコーダに送信されるコード化されたビューを使用して合成される。典型的には、そのような中間ビューViは、テクスチャデータおよびテクスチャデータに関連付けられる深度データを備える。
【0077】
ステップE42において、この中間ビューViおよびコード化/復号化された基本ビューから、1つまたは複数のゾーンが中間ビューViから抽出される。合成された中間ビューViの場合の方法がここに提示される。もちろん、いくつかの中間ビューが合成され、これらの中間ビューから1つまたは複数のゾーンが抽出されている場合、本方法は同じように適用される。
【0078】
本発明の目的は、抽出されるゾーンを決定することではない。したがって、これらのゾーンを抽出するための方法はこれ以上開発されない。
【0079】
抽出されたゾーンは、閉塞ゾーン、すなわち基本ビューにおいて表示されず、中間ビューにおいて表示されるゾーン、または基本ビューにはすでに存在するが、たとえば、合成時に現れる歪みのために合成されたビューにおいては不十分な合成品質を提供するゾーンに対応することができる。後者の場合、合成された中間ビューは、カメラによってキャプチャされたビューに対応する。ゾーンが抽出される中間ビューは、カメラによってキャプチャされるが、データストリームにコード化されていないビューにすることができる。したがって、デコーダ側において合成し、データストリームにコード化されたサブ画像によって洗練することができる。
【0080】
抽出されたゾーンは、任意の形状のパッチの形式で表される。以降、これらのパッチをサブ画像と呼ぶ。サブ画像は、テクスチャデータ、深度データ、各ビュー内の位置、およびサイズを備える。
【0081】
中間ビューの場合、中間ビューの同じ画像に対して1つまたは複数のサブ画像を抽出することができることが理解される。同様に、中間ビューから抽出された同じゾーンを表すサブ画像は、中間ビューの異なる画像に対して抽出することができる。このようにして、サブ画像のテクスチャおよび深度データは時間の経過とともに変化し、サブ画像のシーケンスを形成する。
【0082】
中間ビューViの画像から抽出されたサブ画像P0～P5の例が図5に示されている。図5の例において、サブ画像は、それらのコード化を容易にするために長方形の画像50にグループ化されている。そのような画像の実施形態の変形に応じて、画像50は、中間ビューの異なる画像から、または単一の画像から、あるいは中間ビューViから抽出されたサブ画像から、また他の中間ビューから抽出されたサブ画像を備えることができることが理解される。
【0083】
同様に、サブ画像は、長方形の画像にグループ化せずにコード化することができる。次いで、各サブ画像は、サブ画像が時間の経過とともに変化するときに、画像または画像のシーケンスとして扱われる。
【0084】
図5において、中間ビューから抽出されたゾーンをコード化に適した形式(長方形または少なくとも四辺形)で表現すると、サブ画像は、抽出されたゾーンに対応し、中間ビューまたは他のビューの合成に使用される可能性が高い有用なデータ(51、図5における大きいハッチングのあるゾーン)と、0のテクスチャおよび深度データを備える有用でないデータ(52、図5における細かいハッチングのあるゾーン)を備えるように見える。
【0085】
サブ画像の有用なデータは、サブ画像の1つのゾーンまたはサブ画像のいくつかのばらばらのゾーンに備えられ得、その結果、サブ画像は、合成に有用ないくつかのゾーンを備える。
【0086】
本発明によるコード化方法は、有用でないゾーンのコード化コストを削減することを目的としている。
【0087】
以下、サブ画像が大きい画像50にグループ化されていると考えられる場合の本発明を説明する。しかしながら、本発明の一般原理は、サブ画像が大きい画像にグループ化されず、個別に処理される場合と同様の方法で適用される。
【0088】
ステップE42において、サブ画像がコード化される。この目的のために、本発明によれば、サブ画像をコード化するための2つの方法を使用することができる。所与のサブ画像に対して、最高のレート/歪みの妥協点を提供するコード化方法を選択するために、2つのコード化方法間の競合が実装される。サブ画像に対して、どのコード化方法が使用されているかを示すために、インジケータがストリームにコード化される。
【0089】
2つのコード化方法を以下に説明する。
【0090】
第1のコード化方法によれば、サブ画像は、サブ画像の所与のピクセルについて、そのピクセルが有用なゾーンに属する(たとえば、ピクセルはバイナリマップの値1を取る)か、有用なゾーンに属さない(たとえば、ピクセルはバイナリマップで値0を取る)かを示すバイナリマップを使用してコード化される。
【0091】
図6は、サブ画像、および図5に示される画像50のサブ画像の有用な(51、テクスチャ画像50textにおけるハッチングゾーン)ゾーンと有用でない(52、テクスチャ画像50textにおける白いゾーン)ゾーンを示す対応するバイナリマップ(50bin)を備える画像(50text)の例を示している。この第1のコード化方法によれば、有用なゾーンに位置するピクセルのテクスチャおよび深度データのみがコード化されてデコーダに送信され、関連付けられるバイナリマップがサブ画像のすべてのピクセルに対してコード化される。
【0092】
ここで、たとえば0などの、問題のピクセルが有用でないことを指定するあらかじめ定義された値をテクスチャデータにおける参照として使用することはできない点に注意されたい。実際、テクスチャを符号化および復号化した後、ピクセル値は保証されず、ゼロではなくなる可能性がある。さらに、有用なゾーンに属するピクセルには、他のヌル値が表示される場合がある。
【0093】
第2のコード化方法によれば、サブ画像は、テクスチャデータおよび深度データの両方の有用でないゾーンを埋めることによってコード化される。次いで、サブ画像は、サブ画像のすべてのピクセルをコード化することによって、標準的な方法でコード化される。
【0094】
この目的のために、ステップE420において、サブ画像をコード化するために使用されるコード化方法は、上記の第1の方法と第2の方法との間で決定される。たとえば、2つの方法間のコード化競合が実装され、最高のレート/歪みの妥協点を提供する方法が選択される。知られている方法では、そのような競合は、2つの方法に従ってそれぞれコード化をシミュレートし、各方法によって使用されるレートと、テクスチャおよび/または深度データの元の値と再構築された値との間で計算された関連付けられる歪みとを計算することによって実行される。
【0095】
ステップE421において、サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータが、データストリームにコード化される。インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、方法はステップE422に進む。インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、方法はステップE424に進む。
【0096】
ステップE422において、サブ画像のバイナリマップがコード化される。たとえば、エントロピコード化が使用される。
【0097】
ステップE423において、テクスチャデータおよび深度データは、サブ画像の有用なゾーンに位置するピクセルのみを考慮して、サブ画像用にコード化される。これらのピクセルは、バイナリマップを使用して識別される。テクスチャデータおよび深度データは、標準的な方法で、たとえば、HEVCエンコーダあるいは任意の他の2Dまたは3Dエンコーダによってコード化される。
【0098】
ステップE424において、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、割当て深度値d*が決定される。
【0099】
たとえば、割当て深度値d*は、少なくともサブ画像の有用なゾーンにわたって決定された最小深度値dminから決定され、あらかじめ定められた値デルタだけ減少される。最小深度値dminは、有用なゾーンに属するサブ画像のピクセルの最小深度値、すなわち、有用なゾーンに属するサブ画像のピクセルの深度に対応し、最も遠い値はdmin=min(di)であり、ここで、diは有用なゾーンのピクセルの深度値に対応し、minは最小値を返す関数に対応する。
【0100】
この最小値dminは、深度値をコード化する際に導入される量子化エラーを考慮して、値デルタだけ減少する。たとえば、割当て値d*は、d*=dmin-deltaによって取得される。
【0101】
デルタの様々な値が可能であり、たとえば、デルタは10に等しい。
【0102】
本発明の特定の実施形態によれば、最小深度値は、いくつかのサブ画像の有用なゾーンから決定される。たとえば、サブ画像が大きい画像にグループ化されている場合、大きい画像のすべてのサブ画像間の最小深度値を決定するために、すべてのサブ画像の有用なゾーンがスキャンされる。本発明のそのような特定の実施形態は、大きい画像のすべてのサブ画像に対してより一貫した割当て深度値を可能にする。
【0103】
ステップE425において、割当て深度値d*は、有用なゾーンの外側に位置するピクセルに深度値として割り当てられる。そのようなステップは、サブ画像の深度データを表す図8に示されている。有用なゾーン(51)のピクセルは、中間ビューから有用なゾーンを抽出する際にこれらのピクセルについて推定された深度値を備える。有用でないゾーン(52)のピクセルは、割当て深度値d*を備える。
【0104】
ステップE426において、テクスチャ値は、有用なゾーンの外側に位置するピクセルにも割り当てられる。
【0105】
たとえば、有用でないゾーンはミラーリングによって埋められる。図7に示されるように、有用なゾーンの外側のピクセルのテクスチャ値は、有用なゾーンに存在するデータを最もよく再現するように計算される。図7において、サブ画像が示されている。有用なゾーン(51)のデータは、有用なゾーンと有用でないゾーンとの間の境界(53)に対して対称的に有用でないゾーン(52)に伝播される。
【0106】
別の例によれば、有用なゾーンの外側(52)に位置するピクセルのテクスチャ値は、有用なゾーン(51)のピクセルのテクスチャ値の平均に対応する。この例では、有用でないゾーンのピクセルは同じ値で埋められている。
【0107】
ステップE427において、サブ画像のテクスチャデータおよび深度データは、サブ画像のすべてのピクセルを考慮してコード化される。言い換えれば、この第2のコード化方法によれば、有用なゾーンのピクセルおよび有用でないゾーンのピクセルがコード化される。テクスチャデータおよび深度データは、標準的な方法で、たとえば、HEVCエンコーダあるいは任意の他の2Dまたは3Dエンコーダによってコード化される。
【0108】
本発明の特定の実施形態によれば、深度データは、割当て深度値d*に関して差分コード化される。本発明のこの特定の実施形態によれば、次いで、予測残差はres(x、y)=prof(x、y)-d*によって計算され、上式で、prof(x、y)はサブ画像のピクセル(x、y)の深度値であり、res(x、y)は、サブ画像のピクセル(x、y)の残差値である。
【0109】
したがって、サブ画像の深度データをコード化する場合、コード化されるのは上記のような残差である。
【0110】
本発明のこの特定の実施形態によれば、デコーダが残差からサブ画像の深度データを再構築するために、デコーダは割当て深度値d*を認識している必要がある。
【0111】
したがって、本発明のこの特定の実施形態によれば、ステップE428において、割当て深度値d*がデータストリームにコード化される。
【0112】
本発明のこの特定の実施形態の変形によれば、深度データの差分コード化は、深度データの従来のコード化と競合して配置される。したがって、この変形によれば、ステップE420において、第2の方法に従ってサブ画像コード化をテストする際に、この第2のコード化方法による深度データが残差によってコード化されるかどうかも決定される。最高のレート/歪みの妥協点を提供するコード化モードを選択するために、深度データの残差ベースのコード化と深度データの従来のコード化がシミュレートされる。
【0113】
本発明のこの実施形態の変形によれば、深度データのどのコード化モードが選択されるかを示す情報の項目は、データストリームにコード化される必要がある。したがって、ステップE429において、深度データコード化インジケータは、サブ画像のデータストリームにコード化される。そのようなインジケータは、深度データが残差によってコード化されているかどうかを示す。
【0114】
図9は、本発明の特定の実施形態による、マルチビュービデオを表すデータストリームを復号化するための方法のステップを示している。たとえば、データストリームは、図4に関連して説明したコード化方法によって生成された。
【0115】
本発明によれば、データストリームは、マルチビュービデオの1つまたは複数の基本ビューのコード化に関連する少なくともコード化されたデータと、テクスチャおよび深度データを備えるサブ画像またはパッチを表すコード化されたデータとを備える。復号化されると、これらのサブ画像は、たとえば、デコーダがデータストリームにコード化されていないシーンの他のビューを合成できるようにする。本発明の特定の実施形態に関連するそのような復号化スキームのステップは、以下に説明される。
【0116】
ステップE90において、基本ビューと関連付けられる深度マップとは、データストリームから復号化される。
【0117】
本発明の特定の実施形態によれば、データストリームから復号化された基本ビューは、1つまたは複数のキャプチャされたビューからエンコーダにおいて合成されたビューに対応する。
【0118】
次いで、データストリームにコード化されたサブ画像が復号化される。サブ画像は、ここでは、中間ビューからエンコーダにおいて抽出された有用なゾーンを表すサブ画像として定義される。このサブ画像は、より大きい画像における他のサブ画像とグループ化することができる。
【0119】
ステップE91において、サブ画像が上記の第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータが復号化される。
【0120】
インジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、その方法はステップE92に進む。インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、その方法はステップE94に進む。
【0121】
ステップE92において、バイナリマップがサブ画像用に復号化される。そのようなバイナリマップは、サブ画像の所与のピクセルについて、そのピクセルが有用なゾーンに属しているかどうかを示す。
【0122】
ステップE93において、サブ画像のテクスチャデータおよび深度データは、サブ画像の有用なゾーンに位置するピクセルのみを考慮して復号化および再構築される。これらのピクセルは、バイナリマップを使用して識別される。
【0123】
再構築の最後に、有用なゾーンの外側に位置するサブ画像のピクセルは、テクスチャ値および深度値0を備える。
【0124】
インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、ステップE94において、サブ画像のテクスチャデータおよび深度データは、以下のように復号化される。
【0125】
ステップE940において、サブ画像のテクスチャデータおよび深度データは、サブ画像のすべてのピクセルを考慮した標準的な方法で復号化および再構築される。再構築の最後に、サブ画像のすべてのピクセルはテクスチャ値および深度値を備える。有用なゾーンの外側に位置するサブ画像のピクセルは、コード化中に決定されたテクスチャ値および深度値を備える。
【0126】
本発明の特定の実施形態によれば、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、デコーダは、サブ画像の有用なゾーンと有用でないゾーンとを区別しない。
【0127】
しかしながら、サブ画像の有用でないゾーンのピクセルの復号化された深度値により、合成アルゴリズムは、中間ビューを合成する際にこれらのピクセルを使用しないようになる。実際、本発明の特定の実施形態によれば、そのようなピクセルには、サブ画像のゾーンの最小深度値から決定された深度値が割り当てられ、量子化エラーを考慮に入れることができる値だけ減少した。このように、これらのピクセルは、合成アルゴリズムによって最も遠いポイントと見なされる。
【0128】
本発明の別の特定の実施形態によれば、ステップE941において、サブ画像の有用なゾーンの外側に位置するピクセルにコード化時に割り当てられた割当て深度値d*を表す情報の項目は、データストリームから復号化される。
【0129】
本発明のこの特定の実施形態によれば、したがって、たとえば、そのようなマップが合成アルゴリズムに必要である場合に、有用なゾーンのピクセルおよび有用でないゾーンのピクセルを識別するために、サブ画像に対してバイナリマップを構築することができる。
【0130】
この特定の実施形態の変形として、サブ画像の深度データは、割当て深度値d*に関して差分コード化された。
【0131】
したがって、この実施形態の変形によれば、ステップE943において、サブ画像の深度データは、ステップE940において復号化されたサブ画像の深度残差値に復号化された割当て深度値d*を追加することによって再構築される。
【0132】
別の変形によれば、ステップE942において、サブ画像の深度データコード化インジケータがデータストリームから復号化される。そのようなコード化インジケータは、深度データが差分コード化されているかどうかを示す。
【0133】
本発明の特定の実施形態によれば、デコーダはクライアントサーバモードで動作し、サーバは視聴者がナビゲートしているマルチビュービデオのデータを提供する。
【0134】
本発明のこの特定の実施形態によれば、復号化方法は、サブ画像のテクスチャデータおよび深度データを受信するための予備ステップE901を備える。たとえば、サブ画像のそのようなデータは、デコーダによって発行された、ビューイングボリュームにおける視聴者の位置および視聴方向に対応する位置および視聴方向、または視聴者に近い位置および視聴方向の要求に続いて受信される。
【0135】
図10は、本発明の別の特定の実施形態による復号化方法のステップを示している。本発明のこの特定の実施形態によれば、合成アルゴリズムが有用なゾーンと有用でないゾーンを識別できるように、有用なゾーンに属さない再構築されたサブ画像のピクセルの深度値に無限の値が割り当てられる。
【0136】
この目的のために、ステップE100において、再構築されたサブ画像の有用なゾーンが決定される。ステップE91において復号化されたインジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、有用なゾーンは、再構築された深度データおよび復号化された割当て深度値d*から決定される。ステップE91において復号化されたインジケータが、サブ画像が第1の方法に従ってコード化されていることを示す場合、有用なゾーンは、ステップE92において復号化されたバイナリマップから決定される。
【0137】
ステップE101において、サブ画像の深度マップが構築され、そこで、有用なゾーンのピクセルがそれらの復号化された深度値を取り、有用なゾーンの外側に位置するピクセルに無限の値が割り当てられる。
【0138】
ステップE102において、深度マップが合成モジュールに送信される。
【0139】
図11は、本発明の別の特定の実施形態による復号化方法のステップを示している。
【0140】
ステップE91において復号化されたインジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、ステップE110において、有用なゾーンのピクセルは、再構築された深度データおよび復号化された割当て深度値d*から決定される。
【0141】
ステップE111において、サブ画像用にバイナリマップが構築される。そのようなバイナリマップは、サブ画像の所与のピクセルについて、そのピクセルが有用なゾーンに属しているかどうかを示す。そのようなバイナリマップは、サブ画像が第1の方法に従ってコード化されていた場合に復号化されたであろうバイナリマップに似ている。
【0142】
ステップE112において、バイナリマップが合成モジュールに送信される。
【0143】
図12は、本発明の特定の実施形態のいずれか1つによるコード化方法を実装するように適合されたコード化デバイスCODの簡略化された構造を示している。
【0144】
本発明の特定の実施形態によれば、コード化方法のステップは、コンピュータプログラム命令によって実装される。この目的のために、コード化デバイスCODは、コンピュータの標準アーキテクチャを有し、特に、メモリMEM、たとえばプロセッサPROCを備え、メモリMEMに記憶されたコンピュータプログラムPGによって駆動される処理ユニットUTを備える。コンピュータプログラムPGは、プログラムがプロセッサPROCによって実行されるときに、上記のようなコード化方法のステップを実装するための命令を備える。
【0145】
初期化時に、コンピュータプログラムPGのコード命令は、たとえば、プロセッサPROCによって実行される前に、RAMメモリ(図示せず)にロードされる。具体的には、処理ユニットUTのプロセッサPROCは、コンピュータプログラムPGの指示に従って、上記のコード化方法のステップを実装する。
【0146】
図13は、本発明の特定の実施形態のいずれか1つによる復号化方法を実装するように適合された復号化デバイスDECの簡略化された構造を示している。
【0147】
本発明の特定の実施形態によれば、復号化デバイスDECは、コンピュータの標準アーキテクチャを有し、特に、メモリMEM0、たとえばプロセッサPROC0を備え、メモリMEM0に記憶されたコンピュータプログラムPG0によって駆動される処理ユニットUT0を備える。コンピュータプログラムPG0は、プログラムがプロセッサPROC0によって実行されるときに、上記のような復号化方法のステップを実装するための命令を備える。
【0148】
初期化時に、コンピュータプログラムPG0のコード命令は、たとえば、プロセッサPROC0によって実行される前に、RAMメモリ(図示せず)にロードされる。具体的には、処理ユニットUT0のプロセッサPROC0は、コンピュータプログラムPG0の命令に従って、上記の復号化方法のステップを実装する。
【0149】
【0150】
図14を参照すると、データストリームSTRは、マルチビュービデオを表し、具体的には、1つまたは複数の基本ビューを表すコード化されたデータVbと、テクスチャデータ(text0、text1)および前記テクスチャデータに関連付けられる深度データ(dpth0、dpth1)を備える少なくとも1つのサブ画像を表すコード化されたデータとを備える。
【0151】
本発明の特定の実施形態によれば、データストリームにコード化された基本ビューは、シーンの少なくとも1つのソースビューからのコード化において合成されたビューに対応する。
【0152】
図14に示されるデータストリームSTRは、説明のための例である。ここでは、2つのサブ画像(Im0、Im1)を備えるように提示されている。データストリームに備えられるサブ画像は、マルチビュービデオによってキャプチャされたシーンの少なくとも1つのビューの少なくとも1つの画像を生成するために使用されることが意図される有用なゾーンを備える。
【0153】
本発明の様々な特定の実施形態に応じて、データストリームSTRは、サブ画像について以下のデータを備える。
- サブ画像が上記の第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータ(Id_meth0、Id_meth1)、
- インジケータが、サブ画像が第1の方法(ここで説明する例におけるId_meth1)に従ってコード化されていることを示す場合、サブ画像の所与のピクセルについて、前記ピクセルが有用なゾーンに属しているかどうかを示すバイナリマップ(valid1)を表すコード化されたデータ。
- サブ画像が上記の第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータ(Id_meth0、Id_meth1)、
- インジケータが、サブ画像が第1の方法(ここで説明する例におけるId_meth1)に従ってコード化されていることを示す場合、サブ画像の所与のピクセルについて、前記ピクセルが有用なゾーンに属しているかどうかを示すバイナリマップ(valid1)を表すコード化されたデータ。
【0154】
本発明の特定の実施形態によれば、インジケータが、サブ画像が第2の方法(ここで説明する例におけるId_meth0)に従ってコード化されていることを示す場合、データストリームSTRは、割当て深度値d*を表す情報の項目を備える。
【0155】
本発明の別の特定の実施形態によれば、インジケータが、サブ画像が第2の方法に従ってコード化されていることを示す場合、データストリームSTRは、ピクセルの深度値と割当て深度値d*との間の差によって決定される残差を取得することによって深度データがコード化されるかどうかを示すサブ画像のコード化インジケータ(ld_res)を備える。
【0156】
上記の例は、単なる例示であり、非制限的なものである。上記のコード化されたデータは、同じデータストリーム、あるいは同じデータストリームの複数のデータストリームまたはサブストリームに備えることができる。また、上記のデータの一部および説明されていない他のデータは、1つまたは複数のデータストリームに関連付けられるメタデータに備えることができる。
【0157】
たとえば、テクスチャデータおよび深度データを別々のストリームにコード化することができる。
【0158】
別の例によれば、基本ビューのコード化されたデータは、ビデオデータストリームに備えることができ、サブ画像に関連するコード化されたデータは、ビデオデータストリームに関連付けられるメタデータに備えることができる。
【符号の説明】
【0159】
50 画像
51 有用なデータ、有用なゾーン
52 有用でないデータ、有用でないゾーン
53 境界
51 有用なデータ、有用なゾーン
52 有用でないデータ、有用でないゾーン
53 境界
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2024-10-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マルチビュービデオを表す少なくとも1つのデータストリームを復号化するための方法であって、前記少なくとも1つのデータストリームが、マルチビュービデオおよび少なくとも１つのサブ画像の、基本ビューと呼ばれる少なくとも1つのビューを表す少なくともコード化されたデータを備え、前記少なくとも１つの基本ビューの前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、有用なゾーンと呼ばれる少なくとも1つのゾーンと、有用でないゾーンと呼ばれる1つのゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない、中間ビューと呼ばれる前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記少なくとも１つのサブ画像の前記コード化されたデータはテクスチャデータおよび前記テクスチャデータに関連付けられた深度データを備え、前記有用なゾーンが、少なくとも別のビューの少なくとも1つの画像を生成するために使用されることが意図され、前記復号化するための方法が、
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像について復号化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとを復号化するステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化するステップであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記テクスチャデータ、それぞれの前記深度データが、割当てテクスチャ値、それぞれの割当て深度値を備える、ステップと
を備える、復号化するための方法。
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像について復号化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとを復号化するステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化するステップであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記テクスチャデータ、それぞれの前記深度データが、割当てテクスチャ値、それぞれの割当て深度値を備える、ステップと
を備える、復号化するための方法。
【請求項2】
前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記割当て深度値を表す情報の項目を復号化するステップをさらに備え、前記割当て深度値が、前記有用なゾーンの外側に位置する前記ピクセルについて、前記復号化された深度値に対応する、請求項1に記載の復号化するための方法。
【請求項3】
前記データストリームにコード化された前記サブ画像の前記深度データが、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差を備える、請求項2に記載の復号化するための方法。
【請求項4】
前記データストリームにおいて、前記少なくとも1つのサブ画像に対して、前記深度データが、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差によってコード化されるかどうかを示すインジケータを復号化するステップを備える、請求項3に記載の復号化するための方法。
【請求項5】
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、または、前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、復号化されたバイナリマップから、前記有用なゾーンを決定するステップと、
- 前記有用なゾーンの外側に位置する前記ピクセルに無限の値が割り当てられる前記サブ画像の深度マップを構築するステップと、
- 前記深度マップを合成モジュールに送信するステップと
をさらに備える、請求項2から4のいずれか一項に記載の復号化するための方法。
- 前記有用なゾーンの外側に位置する前記ピクセルに無限の値が割り当てられる前記サブ画像の深度マップを構築するステップと、
- 前記深度マップを合成モジュールに送信するステップと
をさらに備える、請求項2から4のいずれか一項に記載の復号化するための方法。
【請求項6】
前記サブ画像が前記第2の方法に従ってコード化されていることを前記インジケータが示す場合、
- 再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、前記有用なゾーンを決定するステップと、
- 前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
- 前記バイナリマップを合成モジュールに送信するステップと
をさらに備える、請求項2から4のいずれか一項に記載の復号化するための方法。
- 再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、前記有用なゾーンを決定するステップと、
- 前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
- 前記バイナリマップを合成モジュールに送信するステップと
をさらに備える、請求項2から4のいずれか一項に記載の復号化するための方法。
【請求項7】
前記マルチビュービデオの前記少なくとも1つの基本ビューが、少なくとも1つのソースビューからのコード化において決定されたビューに対応する、請求項1から6のいずれか一項に記載の復号化するための方法。
【請求項8】
前記サブ画像の前記テクスチャデータおよび前記深度データを受信するステップをさらに備え、前記サブ画像が、ビューイングボリューム内の視聴者の位置および視聴方向の合成された中間ビューから生じる、請求項1から7のいずれか一項に記載の復号化するための方法。
【請求項9】
マルチビュービデオを表すデータストリームをコード化するための方法であって、マルチビュービデオおよび少なくとも１つのサブ画像の、基本ビューと呼ばれる少なくとも1つのビューをコード化するステップを備え、前記データストリームは、少なくとも1つの基本ビューおよび前記サブ画像のコード化されたデータを含み、前記基本ビューの前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記少なくとも１つのサブ画像が、有用なゾーンと呼ばれるゾーンと、有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない、中間ビューと呼ばれる前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記少なくとも１つのサブ画像の前記コード化されたデータはテクスチャデータおよび前記テクスチャデータに関連付けられた深度データを備え、前記有用なゾーンが、少なくとも別のビューの少なくとも1つの画像を生成するために使用されることが意図され、前記少なくとも１つのサブ画像をコード化するステップが、
- 第１の方法と第２の方法の間で前記サブ画像をコード化するためのコード化方法を決定するステップと、
- 前記サブ画像が前記第1の方法に従って、または前記第２の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像についてコード化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当てテクスチャ値、それぞれの割当て深度値を決定し、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記割当てテクスチャ値、それぞれの前記割当て深度値を、前記サブ画像の前記テクスチャデータ、それぞれの前記深度データに割り当てる、ステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化するステップと、を備える、
コード化するための方法。
- 第１の方法と第２の方法の間で前記サブ画像をコード化するためのコード化方法を決定するステップと、
- 前記サブ画像が前記第1の方法に従って、または前記第２の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像についてコード化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当てテクスチャ値、それぞれの割当て深度値を決定し、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記割当てテクスチャ値、それぞれの前記割当て深度値を、前記サブ画像の前記テクスチャデータ、それぞれの前記深度データに割り当てる、ステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化するステップと、を備える、
コード化するための方法。
【請求項10】
前記割当て深度値が、少なくとも前記サブ画像の前記有用なゾーンにわたって決定され、あらかじめ定められた値だけ減少された最小深度値から決定される、請求項9に記載のコード化するための方法。
【請求項11】
前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記割当て深度値を表す情報の項目をコード化するステップをさらに備え、前記割当て深度値が、前記有用なゾーンの外側に位置する前記ピクセルについて、前記コード化された深度値に対応する、請求項9もしくは10に記載のコード化するための方法。
【請求項12】
前記データストリームにコード化された前記サブ画像の前記深度データが、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差を備える、請求項11に記載のコード化するための方法。
【請求項13】
前記データストリームにおいて、前記少なくとも1つのサブ画像に対して、前記深度データが、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差によってコード化されるかどうかを示すインジケータをコード化するステップを備える、請求項12に記載のコード化するための方法。
【請求項14】
それぞれ少なくとも2つのサブ画像に属する少なくとも2つの有用なゾーンが前記データストリームにコード化され、前記少なくとも2つの有用なゾーンが、別のビューの前記少なくとも1つの画像を生成するために使用されることが意図され、前記最小深度値が、前記少なくとも2つの有用なゾーンから決定される、請求項10に記載のコード化するための方法。
【請求項15】
マルチビュービデオを表す少なくとも1つのデータストリームを復号化するためのデバイスであって、前記少なくとも1つのデータストリームが、マルチビュービデオおよび少なくとも１つのサブ画像の、基本ビューと呼ばれる少なくとも1つのビューを表す少なくともコード化されたデータを備え、前記少なくとも１つの基本ビューの前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、有用なゾーンと呼ばれるゾーンと有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない、中間ビューと呼ばれる前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記少なくとも１つのサブ画像の前記コード化されたデータはテクスチャデータおよび前記テクスチャデータに関連付けられた深度データを備え、前記有用なゾーンが、少なくとも別のビューの少なくとも1つの画像を生成するために使用されることが意図され、前記復号化するためのデバイスが、
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像について復号化することであって、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとを復号化することと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化することであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記テクスチャデータ、それぞれの前記深度データが、割当てテクスチャ値、それぞれ割当て深度値を備える、復号化することと
を行うように構成される、デバイス。
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像について復号化することであって、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとを復号化することと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化することであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記テクスチャデータ、それぞれの前記深度データが、割当てテクスチャ値、それぞれ割当て深度値を備える、復号化することと
を行うように構成される、デバイス。
【請求項16】
マルチビュービデオを表すデータストリームをコード化するためのデバイスであって、マルチビュービデオおよび少なくとも１つのサブ画像の、基本ビューと呼ばれる少なくとも1つのビューをコード化するように構成され、前記データストリームは、少なくとも1つの基本ビューおよび前記サブ画像のコード化されたデータを含み、前記基本ビューの前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、有用なゾーンと呼ばれるゾーンと有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない、中間ビューと呼ばれる前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記少なくとも１つのサブ画像の前記コード化されたデータはテクスチャデータおよび前記テクスチャデータに関連付けられた深度データを備え、前記有用なゾーンが、少なくとも別のビューの少なくとも1つの画像を生成するために使用されることが意図され、
- 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定することと、
- 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像についてコード化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとをコード化することと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当てテクスチャ値、それぞれ割当て深度値を決定することと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記割当てテクスチャ値、それぞれ前記割当て深度値を、前記サブ画像の前記テクスチャデータ、それぞれ前記深度データに割り当てることと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化することと
を備える、デバイス。
- 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定することと、
- 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像についてコード化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとをコード化することと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当てテクスチャ値、それぞれ割当て深度値を決定することと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記割当てテクスチャ値、それぞれ前記割当て深度値を、前記サブ画像の前記テクスチャデータ、それぞれ前記深度データに割り当てることと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化することと
を備える、デバイス。
【請求項17】
請求項1から8のいずれか一項に記載の復号化するための方法を実装するための命令、および/または、請求項9から14のいずれか一項に記載のコード化するための方法を実装するための命令を備えるコンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行される、コンピュータプログラム。
【手続補正書】
【提出日】2024-10-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マルチビュービデオを表す少なくとも1つのデータストリームを復号化するための方法であって、前記少なくとも1つのデータストリームが、マルチビュービデオおよび少なくとも１つのサブ画像の、基本ビューと呼ばれる少なくとも1つのビューを表す少なくともコード化されたデータを備え、前記少なくとも１つの基本ビューの前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、有用なゾーンと呼ばれる少なくとも1つのゾーンと、有用でないゾーンと呼ばれる1つのゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない、中間ビューと呼ばれる前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記少なくとも１つのサブ画像の前記コード化されたデータはテクスチャデータおよび前記テクスチャデータに関連付けられた深度データを備え、前記有用なゾーンが、少なくとも別のビューの少なくとも1つの画像を生成するために使用されることが意図され、前記復号化するための方法が、
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像について復号化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとを復号化するステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化するステップであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記テクスチャデータ、それぞれ前記深度データが、割当てテクスチャ値、それぞれ割当て深度値を備える、ステップと
を備える、復号化するための方法。
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像について復号化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとを復号化するステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化するステップであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記テクスチャデータ、それぞれ前記深度データが、割当てテクスチャ値、それぞれ割当て深度値を備える、ステップと
を備える、復号化するための方法。
【請求項2】
前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記割当て深度値を表す情報の項目を復号化するステップをさらに備え、前記割当て深度値が、前記有用なゾーンの外側に位置する前記ピクセルについて、前記復号化された深度値に対応する、請求項1に記載の復号化するための方法。
【請求項3】
前記データストリームにコード化された前記サブ画像の前記深度データが、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差を備える、請求項2に記載の復号化するための方法。
【請求項4】
前記データストリームにおいて、前記少なくとも1つのサブ画像に対して、前記深度データが、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差によってコード化されるかどうかを示すインジケータを復号化するステップを備える、請求項3に記載の復号化するための方法。
【請求項5】
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、または、前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、復号化されたバイナリマップから、前記有用なゾーンを決定するステップと、
- 前記有用なゾーンの外側に位置する前記ピクセルに無限の値が割り当てられる前記サブ画像の深度マップを構築するステップと、
- 前記深度マップを合成モジュールに送信するステップと
をさらに備える、請求項2から4のいずれか一項に記載の復号化するための方法。
- 前記有用なゾーンの外側に位置する前記ピクセルに無限の値が割り当てられる前記サブ画像の深度マップを構築するステップと、
- 前記深度マップを合成モジュールに送信するステップと
をさらに備える、請求項2から4のいずれか一項に記載の復号化するための方法。
【請求項6】
前記サブ画像が前記第2の方法に従ってコード化されていることを前記インジケータが示す場合、
- 再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、前記有用なゾーンを決定するステップと、
- 前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
- 前記バイナリマップを合成モジュールに送信するステップと
をさらに備える、請求項2から4のいずれか一項に記載の復号化するための方法。
- 再構築された深度データと、前記復号化された割当て深度値を表す情報の前記項目とから、前記有用なゾーンを決定するステップと、
- 前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを構築するステップと、
- 前記バイナリマップを合成モジュールに送信するステップと
をさらに備える、請求項2から4のいずれか一項に記載の復号化するための方法。
【請求項7】
前記マルチビュービデオの前記少なくとも1つの基本ビューが、少なくとも1つのソースビューからのコード化において決定されたビューに対応する、請求項1から6のいずれか一項に記載の復号化するための方法。
【請求項8】
前記サブ画像の前記テクスチャデータおよび前記深度データを受信するステップをさらに備え、前記サブ画像が、ビューイングボリューム内の視聴者の位置および視聴方向の合成された中間ビューから生じる、請求項1から7のいずれか一項に記載の復号化するための方法。
【請求項9】
マルチビュービデオを表すデータストリームをコード化するための方法であって、マルチビュービデオおよび少なくとも１つのサブ画像の、基本ビューと呼ばれる少なくとも1つのビューをコード化するステップを備え、前記データストリームは、少なくとも1つの基本ビューおよび前記サブ画像のコード化されたデータを含み、前記基本ビューの前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記少なくとも１つのサブ画像が、有用なゾーンと呼ばれるゾーンと、有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない、中間ビューと呼ばれる前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記少なくとも１つのサブ画像の前記コード化されたデータはテクスチャデータおよび前記テクスチャデータに関連付けられた深度データを備え、前記有用なゾーンが、少なくとも別のビューの少なくとも1つの画像を生成するために使用されることが意図され、前記少なくとも１つのサブ画像をコード化するステップが、
- 第１の方法と第２の方法の間で前記サブ画像をコード化するためのコード化方法を決定するステップと、
- 前記サブ画像が前記第1の方法に従って、または前記第２の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像についてコード化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当てテクスチャ値、それぞれ割当て深度値を決定し、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記割当てテクスチャ値、それぞれ前記割当て深度値を、前記サブ画像の前記テクスチャデータ、それぞれ前記深度データに割り当てる、ステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化するステップと、を備える、
コード化するための方法。
- 第１の方法と第２の方法の間で前記サブ画像をコード化するためのコード化方法を決定するステップと、
- 前記サブ画像が前記第1の方法に従って、または前記第２の方法に従ってコード化されているかどうかを示すインジケータをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像についてコード化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとをコード化するステップと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当てテクスチャ値、それぞれ割当て深度値を決定し、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記割当てテクスチャ値、それぞれ前記割当て深度値を、前記サブ画像の前記テクスチャデータ、それぞれ前記深度データに割り当てる、ステップと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化するステップと、を備える、
コード化するための方法。
【請求項10】
前記割当て深度値が、少なくとも前記サブ画像の前記有用なゾーンにわたって決定され、あらかじめ定められた値だけ減少された最小深度値から決定される、請求項9に記載のコード化するための方法。
【請求項11】
前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記割当て深度値を表す情報の項目をコード化するステップをさらに備え、前記割当て深度値が、前記有用なゾーンの外側に位置する前記ピクセルについて、前記コード化された深度値に対応する、請求項9もしくは10に記載のコード化するための方法。
【請求項12】
前記データストリームにコード化された前記サブ画像の前記深度データが、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差を備える、請求項11に記載のコード化するための方法。
【請求項13】
前記データストリームにおいて、前記少なくとも1つのサブ画像に対して、前記深度データが、前記ピクセルの前記深度値と前記割当て深度値との間の差によって決定される残差によってコード化されるかどうかを示すインジケータをコード化するステップを備える、請求項12に記載のコード化するための方法。
【請求項14】
それぞれ少なくとも2つのサブ画像に属する少なくとも2つの有用なゾーンが前記データストリームにコード化され、前記少なくとも2つの有用なゾーンが、別のビューの前記少なくとも1つの画像を生成するために使用されることが意図され、前記最小深度値が、前記少なくとも2つの有用なゾーンから決定される、請求項10に記載のコード化するための方法。
【請求項15】
マルチビュービデオを表す少なくとも1つのデータストリームを復号化するためのデバイスであって、前記少なくとも1つのデータストリームが、マルチビュービデオおよび少なくとも１つのサブ画像の、基本ビューと呼ばれる少なくとも1つのビューを表す少なくともコード化されたデータを備え、前記少なくとも１つの基本ビューの前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、有用なゾーンと呼ばれるゾーンと有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない、中間ビューと呼ばれる前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記少なくとも１つのサブ画像の前記コード化されたデータはテクスチャデータおよび前記テクスチャデータに関連付けられた深度データを備え、前記有用なゾーンが、少なくとも別のビューの少なくとも1つの画像を生成するために使用されることが意図され、前記復号化するためのデバイスが、
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像について復号化することであって、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとを復号化することと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化することであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記テクスチャデータ、それぞれ前記深度データが、割当てテクスチャ値、それぞれ割当て深度値を備える、復号化することと
を行うように構成される、デバイス。
- 前記少なくとも1つのデータストリームから、前記サブ画像が第1の方法に従って、または第2の方法に従ってコード化されているかどうかを示すインジケータを復号化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像について復号化することであって、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとを復号化することと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データを復号化することであって、前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、前記有用なゾーンの外側に位置する前記ピクセルの前記サブ画像の前記テクスチャデータ、それぞれ前記深度データが、割当てテクスチャ値、それぞれ割当て深度値を備える、復号化することと
を行うように構成される、デバイス。
【請求項16】
マルチビュービデオを表すデータストリームをコード化するためのデバイスであって、マルチビュービデオおよび少なくとも１つのサブ画像の、基本ビューと呼ばれる少なくとも1つのビューをコード化するように構成され、前記データストリームは、少なくとも1つの基本ビューおよび前記サブ画像のコード化されたデータを含み、前記基本ビューの前記コード化されたデータが、テクスチャデータおよび前記テクスチャデータに関連付けられる深度データを備え、前記サブ画像が、有用なゾーンと呼ばれるゾーンと有用でないゾーンと呼ばれるゾーンとを備え、前記有用なゾーンが、前記データストリームにコード化されていない、中間ビューと呼ばれる前記マルチビュービデオのビューから抽出されたゾーンに対応し、前記少なくとも１つのサブ画像の前記コード化されたデータはテクスチャデータおよび前記テクスチャデータに関連付けられた深度データを備え、前記有用なゾーンが、少なくとも別のビューの少なくとも1つの画像を生成するために使用されることが意図され、
- 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定することと、
- 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像についてコード化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとをコード化することと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当てテクスチャ値、それぞれ割当て深度値を決定することと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記割当てテクスチャ値、それぞれ前記割当て深度値を、前記サブ画像の前記テクスチャデータ、それぞれ前記深度データに割り当てることと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化することと
を備える、デバイス。
- 第1の方法と第2の方法との間で前記サブ画像をコード化するためのコード化方法を決定することと、
- 前記サブ画像が前記第1の方法に従って、または前記第2の方法に従ってコード化されているかどうかを示すインジケータをコード化することと、
- 前記インジケータが、前記サブ画像が前記第1の方法に従ってコード化されていることを示す場合、前記サブ画像の少なくとも1つのピクセルについて、前記ピクセルが前記有用なゾーンに属するかどうかを示すバイナリマップを前記サブ画像についてコード化し、前記ピクセルが前記有用なゾーンに属する場合、前記サブ画像について、テクスチャデータと前記テクスチャデータに関連付けられた深度データとをコード化することと、
- 前記インジケータが、前記サブ画像が前記第2の方法に従ってコード化されていることを示す場合、割当てテクスチャ値、それぞれ割当て深度値を決定することと、前記有用なゾーンの外側に位置する前記サブ画像の前記ピクセルについて、前記割当てテクスチャ値、それぞれ前記割当て深度値を、前記サブ画像の前記テクスチャデータ、それぞれ前記深度データに割り当てることと、
- 前記サブ画像の前記テクスチャデータおよび前記深度データをコード化することと
を備える、デバイス。
【請求項17】
請求項1から8のいずれか一項に記載の復号化するための方法を実装するための命令、および/または、請求項9から14のいずれか一項に記載のコード化するための方法を実装するための命令を備えるコンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行される、コンピュータプログラム。
【外国語明細書】