特許 6644979 ３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6644979

(24)【登録日】2020年1月14日

(45)【発行日】2020年2月12日

(54)【発明の名称】３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス

(51)【国際特許分類】

   H04N 13/161 20180101AFI20200130BHJP

   H04N 13/139 20180101ALI20200130BHJP

   H04N 13/15 20180101ALI20200130BHJP

   H04N 13/271 20180101ALI20200130BHJP

【ＦＩ】

   H04N13/161

   H04N13/139

   H04N13/15

   H04N13/271

【請求項の数】20

【外国語出願】

【全頁数】31

(21)【出願番号】特願2014-116669(P2014-116669)

(22)【出願日】2014年6月5日

(65)【公開番号】特開2015-5978(P2015-5978A)

(43)【公開日】2015年1月8日

【審査請求日】2017年5月16日

(31)【優先権主張番号】TO2013A000503

(32)【優先日】2013年6月18日

(33)【優先権主張国】IT

(73)【特許権者】

【識別番号】511022203

【氏名又は名称】シズベル テクノロジー エス．アール．エル．

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】マルコ グランゲット

(72)【発明者】

【氏名】マウリツィオ ルチェンテフォルテ

(72)【発明者】

【氏名】パオロ ダマト

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 国際公開第２０１２／０７０５００（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／１８８５５２（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／０２５２９４（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／１１１７５６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ １９／００

Ｈ０４Ｎ ７／０１

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの深度または視差マップから開始して、輝度成分および２つのクロミナンス成分から構成されるカラー画像を生成する方法であって、
前記少なくとも１つの深度または視差マップの第１のピクセル群に属する複数のピクセルの値を前記カラー画像の前記輝度成分に挿入する段階、及び、前記少なくとも１つの深度または視差マップの第２のピクセル群及び第３のピクセル群に属する複数のピクセルの値を前記カラー画像の前記２つのクロミナンス成分に挿入する段階を備え、
前記カラー画像の前記輝度成分及び前記２つのクロミナンス成分に、前記少なくとも１つの深度または視差マップに含まれる複数のピクセルの値のみが挿入され、
前記輝度成分の前記複数のピクセルと前記２つのクロミナンス成分の前記複数のピクセルとの相関の存在を想定する、ＭＰＥＧの標準的なビデオコーディングアルゴリズムの処理の準拠を確保するべく、前記カラー画像のそれぞれのピクセルの前記輝度成分および前記２つのクロミナンス成分を生成するために、前記少なくとも１つの深度または視差マップの前記複数のピクセルの値を用いることによって、空間相関が前記カラー画像において得られる、
方法。

【請求項2】

前記第１のピクセル群、前記第２のピクセル群、および前記第３のピクセル群に属する複数のピクセルの値を前記カラー画像の前記輝度成分および前記２つのクロミナンス成分へ挿入する前に、前記少なくとも１つの深度または視差マップに領域変換を実行する段階を備える、請求項１に記載の方法。

【請求項3】

少なくとも１つの深度または視差マップから開始して、複数の成分から構成されるカラー画像を生成する方法であって、
前記少なくとも１つの深度または視差マップの第１のピクセル群に属するピクセルの値が、前記カラー画像の輝度成分に挿入され、
前記少なくとも１つの深度または視差マップの第２のピクセル群に属する１つの第２ピクセルの値と前記第１のピクセル群に属する２つの第１ピクセルの値から得られる補間値との差分値、及び、前記少なくとも１つの深度または視差マップの第３のピクセル群に属する１つの第３ピクセルの値と前記第１のピクセル群に属する２つの第１ピクセルの値から得られる補間値との差分値が、前記カラー画像の２つのクロミナンス成分に挿入される、方法。

【請求項4】

前記第１のピクセル群、前記第２のピクセル群、および前記第３のピクセル群に属する複数のピクセルは併せて、前記少なくとも１つの深度または視差マップの全てのピクセルを含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記第１のピクセル群、前記第２のピクセル群、および前記第３のピクセル群に属する複数のピクセルは、前記少なくとも１つの深度または視差マップの全てのピクセルの一部のみを含む、請求項１から３のいずれか一項に記載の方法。

【請求項6】

少なくとも１つの深度または視差マップから開始して、複数の成分から構成されるカラー画像を生成する方法であって、
前記少なくとも１つの深度または視差マップの２×２のピクセルで構成される複数のブロックのそれぞれは、第１ピクセル及び第２ピクセルを含む第１のピクセル群と、第３ピクセル及び第４ピクセルを含む第２のピクセル群とを有し、
前記第１ピクセル及び前記第２ピクセルの平均値及び前記第３ピクセル及び前記第４ピクセルの平均値が、前記カラー画像の輝度成分に挿入され、
前記第１ピクセル及び前記第２ピクセルの平均差または前記第３ピクセル及び前記第４ピクセルの平均差が、前記カラー画像の２つのクロミナンス成分のうちの一方のクロミナンス成分に挿入される、方法。

【請求項7】

少なくとも１つの深度または視差マップから開始して、複数の成分から構成されるカラー画像を生成する方法であって、
前記少なくとも１つの深度または視差マップの２×２のピクセルで構成されるブロックのそれぞれは、第１ピクセル及び第２ピクセルを含む第１のピクセル群と、第３ピクセル及び第４ピクセルを含む第２のピクセル群とを有し、
前記第１ピクセル及び前記第２ピクセルの平均値及び前記第３ピクセル及び前記第４ピクセルの平均値が、前記カラー画像の輝度成分に挿入され、
前記第１ピクセル及び前記第２ピクセルの平均差および前記第３ピクセル及び前記第４ピクセルの平均差のそれぞれが、前記カラー画像の２つのクロミナンス成分のそれぞれに挿入される、方法。

【請求項8】

サイドバイサイドまたはトップアンドボトム技術を用いることにより、前記少なくとも１つの深度または視差マップであるＷ×Ｈサイズの２つの深度または視差マップが、同じサイズの前記カラー画像へ挿入される、請求項１から７のいずれか１項に記載の方法。

【請求項9】

請求項１から８のいずれか１項に記載の方法を用いることにより得られる一連の前記カラー画像を含むビデオストリームを生成する方法。

【請求項10】

タイルフォーマットのフレームパッキングフォーマットを用いてビデオストリームを生成する方法であって、
請求項１から８のいずれか１項に記載の方法に従って、２つの立体ビューに関する複数の画像のピクセルを含まないフレーム部分に前記カラー画像が挿入される、方法。

【請求項11】

請求項１から１０のいずれか１項に係る方法を用いることにより得られる一連の前記カラー画像を含むビデオストリームを生成する画像処理手段を備える装置。

【請求項12】

複数の成分から構成されるカラー画像から開始することにより、少なくとも１つの深度または視差マップを再構成する方法であって、
前記少なくとも１つの深度または視差マップは、第１のピクセル群、第２のピクセル群、および第３のピクセル群を有し、
前記カラー画像の輝度成分のピクセルの値が前記第１のピクセル群に挿入され、
前記カラー画像の２つのクロミナンス成分のうちの一方のクロミナンス成分のピクセルの値が前記第２のピクセル群に挿入され、
前記カラー画像の前記２つのクロミナンス成分のうちの他方のクロミナンス成分のピクセルの値が前記第３のピクセル群に挿入され、
前記カラー画像の前記輝度成分及び前記２つのクロミナンス成分には、前記少なくとも１つの深度または視差マップに含まれる複数のピクセルの値のみが挿入されており、
前記輝度成分の前記複数のピクセルと前記２つのクロミナンス成分の前記複数のピクセルとの相関の存在を想定する、ＭＰＥＧの標準的なビデオデコーディングアルゴリズムの処理の準拠を確保するべく、前記カラー画像のそれぞれのピクセルの前記輝度成分および前記２つのクロミナンス成分を生成するために、前記少なくとも１つの深度または視差マップの前記複数のピクセルの値を用いることによって、空間相関が前記カラー画像に存在している、
方法。

【請求項13】

複数の成分から構成されるカラー画像から開始することにより、少なくとも１つの深度または視差マップを再構成する方法であって、
前記少なくとも１つの深度または視差マップは、第１のピクセル群、第２のピクセル群、および第３のピクセル群を有し、
前記カラー画像の輝度成分から取り出されるピクセルの値が前記第１のピクセル群に挿入され、
前記輝度成分から取り出される２つのピクセルの値からの補間により得られる第１の補間値と、前記カラー画像の２つのクロミナンス成分のうちの一方のクロミナンス成分から取り出されるピクセルの値とを合計することにより得られる値が前記第２のピクセル群に挿入され、
前記輝度成分から取り出される２つのピクセルの値からの補間により得られる第２の補間値と、前記カラー画像の前記２つのクロミナンス成分のうちの他方のクロミナンス成分から取り出されるピクセルの値とを合計することにより得られる値が前記第３のピクセル群に挿入される、方法。

【請求項14】

前記第１のピクセル群、前記第２のピクセル群、および前記第３のピクセル群は併せて、前記少なくとも１つの深度または視差マップの全てのピクセルを含む、請求項１２または１３に記載の方法。

【請求項15】

前記第１のピクセル群、前記第２のピクセル群、および前記第３のピクセル群は併せて、前記少なくとも１つの深度または視差マップのいくつかのピクセルを含み、
前記少なくとも１つの深度または視差マップの足りない複数のピクセルの値は、前記カラー画像からの複数のピクセルの値から補間処理を用いて得られる、請求項１２または１３に記載の方法。

【請求項16】

前記第１のピクセル群、前記第２のピクセル群、および前記第３のピクセル群に含まれる複数のピクセルの値を得ることにより、前記カラー画像と同じサイズを有する２つの深度または視差マップが得られる、請求項１２から１５のいずれか１項に記載の方法。

【請求項17】

前記カラー画像の前記複数の成分から前記第１のピクセル群、前記第２のピクセル群、および前記第３のピクセル群に含まれる複数のピクセルの値を得るために、前記少なくとも１つの深度または視差マップから開始して、前記カラー画像を生成する段階で実行される領域変換と逆の領域変換が実行される、請求項１２から１６のいずれか１項に記載の方法。

【請求項18】

複数の成分から構成されるカラー画像から開始して、少なくとも１つの深度または視差マップを再構成する方法であって、
前記少なくとも１つの深度または視差マップの２×２のピクセルで構成される複数のブロックのそれぞれは、第１ピクセル及び第２ピクセルを含む第１のピクセル群と、第３ピクセル及び第４ピクセルを含む第２のピクセル群とを有し、
前記カラー画像の輝度成分から、前記第１ピクセル及び前記第２ピクセルの平均値及び前記第３ピクセル及び前記第４ピクセルの平均値を取り出し、
前記カラー画像の２つのクロミナンス成分のうちの一方のクロミナンス成分から、前記第１ピクセル及び前記第２ピクセルの平均差または前記第３ピクセル及び前記第４ピクセルの平均差を取り出し、
前記平均値及び前記平均差に基づいて、前記少なくとも１つの深度または視差マップの複数のピクセルの値を再構成する、方法。

【請求項19】

タイルフォーマットと呼ばれるフレームパッキングフォーマットを用いてビデオストリームを再構成する方法であって、
請求項１２から１８のいずれか１項に記載の方法に従って、２つの立体ビューに関する複数の画像のピクセルを含まないフレーム部分に存在する前記カラー画像から開始することにより、少なくとも１つの深度または視差マップを再構成する段階を備える、方法。

【請求項20】

Ｙ、Ｕ、Ｖ成分から構成されるカラー画像から開始することにより、少なくとも１つの深度または視差マップを再構成する装置であって、
請求項１２から１９のいずれか１項に記載の方法を実行する手段を備える装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより深度マップを生成、格納、送信、受信および再生する方法およびデバイスに関する。

【背景技術】

【0002】

立体ビデオアプリケーションの開発は、３次元ビデオ信号を表し、圧縮する効率的なフォーマットの利用可能性に大いに依存している。さらに、テレビ放送アプリケーション（３Ｄ−ＴＶ）において、既存の２Ｄシステムとの可能な限り高い程度の後方互換性を維持することが必要である。

【0003】

配信（または送信）に関して、現在最も普及している技術的解決方法は、いわゆる「フレームコンパチブル配置」に基づいている。ここで、同じ時点に関する２つの立体ビューが再度拡大縮小させられ、既存のフォーマットと対応する単一の画像を形成するよう構成される。これらの解決方法のうち、トップアンドボトム、サイドバイサイド、およびタイルフォーマットが公知である。これらの解決方法は、既存のビデオ信号配信インフラストラクチャの全て（地上波、衛星、またはケーブル放送、またはＩＰネットワーク上でのストリーミング）を用いることを可能とし、ビデオストリームの圧縮のために新たな規格を要しない。加えて、現在のＡＶＣ／Ｈ．２６４コーディング規格（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、および将来のＨＥＶＣ規格（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は既に、このタイプの組織に、受信機による適切な再構成および視覚化を可能とするよう示唆する可能性を含んでいる。

【0004】

ディスプレイに関して、２つの現在最も普及している技術的解決方法は、「フレーム交互」方式（つまり、２つのビューが画面上で時間的に順に表示される）、および、「ライン交互」方式、つまり、２つのビューが画面上で交互の行に配置される（つまり、それらが「インターレース」される）ことの一方に基づいている。両方の場合において、それぞれの目が対応するビューを受け取るように、閲覧者は眼鏡を使用する必要がある。その眼鏡はフレーム交互の場合の「能動的」なもの、つまりシャッタ眼鏡と、ライン交互の場合の「受動的」なもの、つまり異なるように偏光させられたレンズとのうち一方であり得る。

【0005】

３次元視覚化の将来は、受動的なものであれ、または能動的なものであれどのような眼鏡もユーザに装着することを要求ない新たなセルフ立体画面の普及によって決まるであろう。現在は依然としてプロトタイプの段階にあるこれらの３Ｄ表示デバイスは、閲覧者に、そのユーザが画面の周りを角度的に移動している際に各視点に関して２つの異なる立体ビューを知覚させ得るパララックスレンズまたはバリアの使用に基づいている。したがって、これらのデバイスは、３Ｄビジョン体験を向上させ得るが、それらは、多数（数十）のビューの生成を要する。

【0006】

３Ｄビデオ表現に関して、多数のビューの生成および配信を管理することは非常に骨の折れる厄介な仕事である。近年、科学界は、いわゆるシーン深度マップを活用する、公知のＤｅｐｔｈ Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＤＩＢＲ）技術を用いることにより任意の多数の中間ビューを作成することの可能性を評価してきた。これらのフォーマットは、各ビューが密の深度マップを伴う「Ｖｉｄｅｏ＋Ｄｅｐｔｈ」（Ｖ＋Ｄ）としても公知である。密の深度マップは、平面座標（ｘ，ｙ）、つまり列および行の各ピクセルが、各ビューにおける同座標のピクセルに対応する深度値（ｚ）を表す画像である。深度マップの値は、立体ビデオカメラにより得られる２つのビューから開始することにより計算され得、または、適したセンサーにより測定され得る。そのような値は一般的に、標準的な技術を用いることにより圧縮された２５６グレースケールレベルの画像を用いて表される。Ｄｅｐｔｈ Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ技術は、座標（ｘ，ｙ，ｚ）、つまり深度平面内での位置、および各ピクセルに関連付けられた深度が与えられた場合、新たな視点に関する他の画像面へ同ピクセルを再投影することが可能であるという事実を活用している。最も普及しているアプリケーションコンテキストは、２つのビデオカメラが、２つの光学中心の間に距離ｂを置いて水平方向に位置付けられ、平行な光軸および同一平面にある画像面を有する立体ビデオカメラのシステムのものである。そのような構成において、１つのピクセルと関連付けられた深度ｚといわゆる視差ｄ、つまり左（または右）のビデオカメラの画像面内の対応する位置を得るために右（または左）のビデオカメラの画像のピクセルに適用されなければならない水平方向の移動との間には単純な関係がある。視差は、対象となるビデオカメラに応じて正および負（左または右への移動）のいずれか一方であり得る。ｆが２つのビデオカメラの焦点距離を示すとすると、以下のような関係が深度ｚと視差ｄとの間には存在する。ｄ＝ｆ ｂ／ｚ。

【0007】

更なる詳細に関しては、論文Ｐａｒａｄｉｓｏ，Ｖ．；Ｌｕｃｅｎｔｅｆｏｒｔｅ，Ｍ．；Ｇｒａｎｇｅｔｔｏ，Ｍ．，"Ａ ｎｏｖｅｌ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ３Ｄ ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ，"３ＤＴＶ−Ｃｏｎｆｅｒｅｎｃｅ：Ｔｈｅ Ｔｒｕｅ Ｖｉｓｉｏｎ−Ｃａｐｔｕｒｅ，Ｔｒａｎｓｍｉｓｓｉｏｎ ａｎｄ Ｄｉｓｐｌａｙ ｏｆ ３Ｄ Ｖｉｄｅｏ（３ＤＴＶ−ＣＯＮ），２０１２，ｖｏｌ．，ｎｏ．，ｐｐ．１，４，１５−１７ Ｏｃｔ．２０１２を参照されたい。

【0008】

上述した仮説によると、視差は、深度の単純な関数であり、深度マップおよび視差マップは同じ情報を伝達し、したがって、交換可能である。加えて、ＭＰＥＧの分野で深度マップと呼ばれる画像は、０〜２５５の範囲でマッピングされるｚではなく、１／ｚの値を表すことが指摘されるべきである。以下において「深度マップ」という用語は、深度または視差の何らかの表現を示すためのみに用いられる。

【0009】

（左および右の）画像ペアおよび各深度マップから構成されるビデオ信号も、将来の３Ｄコーディング規格において導入される技術を評価するためにＭＰＥＧ標準化委員会による使用事例として選択されたことに留意するべきである。

【0010】

このことにより、深度マップを含むテレビ信号の格納、送信、受信、および再生を効率的に制御することが必要となる。

【発明の概要】

【0011】

したがって、本願発明の目的は、画像のカラーコンポーネントを用いることにより、当技術分野で公知の解決方法に内在する限界を克服し得る、深度マップを生成、格納、送信、受信および再生する方法およびデバイスを提供することである。

【0012】

先述したように、深度マップは、グレースケールの、つまり、１つの位置（ｘ，ｙ）当たり単一の値で構成された画像を表現するのに適している。「ピクセル」という用語は以下において、画像の単一の要素（または点）を示すのに用いられる。各ピクセルは、その位置（ｘ，ｙ）と、使用する表現システムの関数として変化する色または明度などの値とにより特徴付けられる。テレビの分野において、輝度（Ｙ）およびクロミナンス（Ｕ、Ｖ）として公知であるピクセル表現システムが一般的に採用される。一般的に深度マップは、Ｙ成分のみを用いることによりデジタルビデオとして表される。

【0013】

本願発明の基本的な考え方は、深度マップの値を表すためにＵおよびＶクロミナンス成分も活用し、これにより、より良好な画像圧縮を可能とする、いわゆる「ダミーカラー」画像を作成するということである。

【0014】

ダミーのカラー画像（以下、簡潔にすべく、「カラー画像」と呼ぶ）はこの文脈において、クロミナンス成分が、色情報ではないが、この場合においては、Ｙ成分から取り除かれたピクセルに関する輝度情報である有用な情報を伝達する画像である。

【0015】

Ｗ×Ｈサイズのカラー画像のＵおよびＶ成分に挿入されるべき深度マトリックスのピクセルの選択は、Ｙ、Ｕ、Ｖ成分間、つまり、実際の輝度と、これらの追加の仮想的な成分との間の標準的なコーディングアルゴリズム、例えば、様々なピクセルの３つのＹ、Ｕ、Ｖ成分間に相関性の存在を想定するＭＰＥＧの処理の準拠を確保するために有用である空間相関を得るようなやり方で行われる。このことは、実際のカラー画像に採用される圧縮技術のための標準的なエンコーダおよびデコーダを用いることも可能とする。

【0016】

空間相関とは、Ｙ、Ｕ、Ｖ成分に配置される値が深度マップ内で空間的に近いピクセルに属することを意味する。

【0017】

好ましい解決方法は、立体のペアの各ビデオ画像をそれぞれが参照する２つの深度マップを挿入するためにＷ×Ｈの長方形を用い、これにより、単一のカラー画像を得る。

【0018】

他の好ましい解決方法は、深度マップに関し、４：２：０または４：２：２Ｙ，Ｕ，Ｖとして公知であるテレビ画像に用いられているフォーマットを採用する。典型的には配信のために用いられる前者のフォーマットにおいて、偶数行（０、２、４など）では、偶数列（０、２、４など）のピクセルのみがクロミナンス情報を含み、奇数行の全てのピクセルは、輝度情報のみを含む。これにより、全体として、４つのうち１つのピクセルのみがクロミナンス情報を含むことになる。典型的には再生チェーンで採用される後者のフォーマットにおいて、全ての行に関し、偶数列のピクセルのみがクロミナンス情報を含む。これにより、全体として、２つのうち１つのピクセルがそのような情報を含むことになる。

【0019】

典型的には、２５６レベルつまり８ビット／ピクセルで表される値を有する深度マップが参照される。

【0020】

以下に説明される好ましい解決方法の第１の一連の例において、４：２：０ＹＵＶフォーマットが参照され、第２の一連の例において、４：２：２ＹＵＶフォーマットが参照される。

【0021】

様々なフレームパッキングシステムのうち、（ＷＯ２０１１／０７７３４３−Ａ１に説明される）タイルフォーマットは、２つのビューに関する画像から空間を減じることなく深度マップを挿入することを可能とする。

【0022】

図１を参照すると、タイルフォーマットにおいて、立体画像Ｌ、Ｒのペアがより大きなビデオフレーム（Ｃ）へ挿入され、２つの画像のうち一方（例えばＬ）は、変更されずに再コピーされ、他方の画像（例えばＲ）は、３つの領域（Ｒ１、Ｒ２およびＲ３）に分割される。これらの領域は、コンポジットフレームＣにおいて、第１の画像により利用可能のままとされるエリアに配置される。利用されないエリアは依然として残り、水平方向および垂直方向の解像度が半分にされた深度マップが挿入され得る。本願発明により提案される方法を用いることにより、１ではなく２つの深度マップが同じエリアに挿入され得る。

【0023】

本願発明の考え方は、特定のフレームパッキング構成にどのようにも限定されず、Ｗ個の列およびＨ個の行を有する一般的な長方形の画像へ深度マップのペアを挿入することを可能とする。当然ながら、Ｗ×Ｈエリアは、フレームパッキングメカニズムを介して３Ｄビデオを転送するために用いられるより大きな画像の一部を表し得る。

【0024】

代替的に、立体ビデオストリームは、例えば、１若しくは複数の画像またはそれらの深度マップの情報をそれぞれが伝達するいくつかのパケットタイプの多重送信に挿入されるデータストリームから成り得る。

【0025】

本願発明の様々な態様を用いるテレビの再生、配信、および実現システムにおいて、深度マップを再構成する目的のために、受信に応じて実行される段階は、送信に応じて実行されるものの逆である。受信機において、入力カラー画像のＹ、Ｕ、およびＶ成分に割り当てられた深度マップの値は、最初の深度マップを形成するようなやり方で再位置決めされる。再構成手順は場合によっては、カラー画像を形成する際に、利用可能な空間が欠如していることに起因して破棄されたかもしれないオリジナルの深度値を推測するために、公知のフィルタリングおよび／または補間処理を利用し得る。

【0026】

本願発明の一目的は、少なくとも１つの深度マップから開始して、複数の成分から構成されるカラー画像を生成する方法であり、前記少なくとも１つの深度マップの第１のピクセル群が前記カラー画像の輝度成分に挿入され、前記少なくとも１つの深度マップの第２のピクセル群および第３のピクセル群が前記カラー画像の２つのクロミナンス成分に挿入される、方法、およびその装置を提供することである。

【0027】

本願発明の他の目的は、一連のカラー画像を含むビデオストリームを生成する方法、およびその装置を提供することである。フレームの少なくとも１つの部分は、先述したようなカラー画像を生成する方法を用いて得られるカラー画像を含む。

【0028】

本願発明の他の目的は、複数の成分から構成されるカラー画像から開始して、少なくとも１つの深度マップを再構成する方法であり、前記カラー画像の輝度成分から取り出される第１のピクセル群と、一方のクロミナンス成分から取り出される第２のピクセル群と、前記他方のクロミナンス成分から取り出される第３のピクセル群とが、前記少なくとも１つの深度マップへ挿入される、方法、およびその装置を提供することである。

【0029】

本願発明の他の目的は、立体ビデオストリームから開始して、２つの一連の深度マップを再構成する方法、およびその装置を提供することである。２つの一連の各マップの再構成の間、先述したような少なくとも１つの深度マップを再構成する方法がストリームの各フレームに適用される。

【0030】

特に、本願発明の目的は、本説明の主要な部分である請求項に明記されるような、カラー画像のカラーコンポーネントを活用することにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイスを提供することである。

【図面の簡単な説明】

【0031】

本願発明の更なる目的および利点は、その実施形態のいくつかの例の以下の詳細な説明、および、非限定的な例としてのみ提供されている添付の図面より明らかとなる。

【図1】「タイルフォーマット」と呼ばれる立体動画像フォーマットを示す。

【図2a】４：２：０サイドバイサイド法による２つの深度マップを含むカラー画像を得るやり方に関する本願発明の第１の変形例のグラフィック図を示す。

【図2b】４：２：０サイドバイサイド法による２つの深度マップを含むカラー画像を得るやり方に関する本願発明の第１の変形例のグラフィック図を示す。

【図3】再構成された深度マップに足りない特定の値をカバーするための受信側に適用可能な補間技術の実装の一例を示す。

【図4】４：２：０サイドバイサイド法による２つの深度マップを含むカラー画像を得るやり方に関する、本願発明の第２の変形例を示す。

【図5】４：２：０サイドバイサイドモードにおいて２つの深度マップを互いに隣り合わせて配置することにより得られるカラー画像のＹ、Ｕ、Ｖ成分に対応する画像を示す。

【図6】４：２：０トップアンドボトム法による２つの深度マップを含むカラー画像を得るやり方に関する本願発明の変形例を示す。

【図7】４：２：０トップアンドボトムモードにおいて２つの深度マップを互いに隣り合わせて配置することにより得られるカラー画像のＹ、Ｕ、Ｖ成分に対応する画像を示す。

【図8】色成分の低下を用いる、４：２：０トップアンドボトム法による２つの深度マップを含むカラー画像を得るやり方に関する本願発明の変形例を示す。

【図9】色成分の低下を用いる４：２：０トップアンドボトムモードにおける２つの深度マップを互いに隣り合わせて配置することにより得られるカラー画像のＹ、Ｕ、Ｖ成分に対応する画像を示す。

【図10】平均値および平均差を用いる４：２：０トップアンドボトム法による２つの深度マップを含むカラー画像を得るべく深度マップのサンプルを変換するやり方に関する本願発明の変形例を示す。

【図11】平均値および平均差を用いる４：２：０トップアンドボトムモードにおいて２つの深度マップを互いに隣り合わせて配置することにより得られるカラー画像のＹ、Ｕ、Ｖ成分に対応する画像を示す。

【図12】サブバンド変換処理により前処理された２つの深度マップを互いに隣り合わせて配置することにより得られるカラー画像の第１の例のＹ、Ｕ、Ｖ成分に対応する画像を示す。

【図13】サブバンド変換処理により前処理された２つの深度マップを含むカラー画像を得るよう深度マップのサンプルを変換するやり方に関する本願発明の変形例を示す。

【図14】サブバンド変換処理により前処理された２つ深度マップを互いに隣り合わせて配置することにより得られるカラー画像の第２の例のＹ、Ｕ、Ｖ成分に対応する画像を示す。

【図15】４：２：２サイドバイサイド法による２つの深度マップを含むカラー画像を得るよう深度マップのサンプルを変換するやり方に関する本願発明の変形例を示す。

【図16】４：２：２トップアンドボトム法による２つの深度マップを含むカラー画像を得るよう深度マップのサンプルを変換するやり方に関する本願発明の変形例を示す。

【図17】色成分の低下を用いる４：２：２トップアンドボトムまたはサイドバイサイド法による２つの深度マップを含むカラー画像を得るよう深度マップのサンプルを変換するやり方に関する本願発明の変形例を示す。

【図18】４：２：２フォーマットのためのサブバンド変換処理により前処理された２つの深度マップを含むカラー画像を得るよう深度マップのサンプルを変換するやり方に関する本願発明の変形例を示す。

【図19a】本願発明に係る、各々の深度マップにより立体ビデオシーケンスのペアを整理するためにタイルフォーマットとして知られるフレームパッキングフォーマットを用いる、３次元画像を再生成および再構成するための完全なシステムの実施形態の例のブロック図を示す。

【図19b】本願発明に係る、各々の深度マップにより立体ビデオシーケンスのペアを整理するためにタイルフォーマットとして知られるフレームパッキングフォーマットを用いる、３次元画像を再生成および再生するための完全なシステムの実施形態の例のブロック図を示す。図面において、同じ参照符号および文字は、同じ要素またはコンポーネントを特定する。

【発明を実施するための形態】

【0032】

以下に、（既に説明したように、同じ立体ビデオストリームに関する他の画像も含むより大きなコンポジットフレームにその後挿入され得る）Ｗ×Ｈピクセルのサイズを有する１つのカラー画像内における２つの深度マップの様々な可能な配置に関連した、本願発明の基本的な考え方の実装のいくつかの特定の変形例を説明する。

【0033】

８ビット上の２×Ｗ×Ｈのサンプル、つまり２×Ｗ×Ｈのバイトに対応する、Ｗ×Ｈ解像度を有する２つの深度マップを検討する。このマップのペアは、Ｗ×Ｈ解像度を有する１つの４：２：０または４：２：２ＹＵＶ「コンポジット」カラー画像へ挿入されることになる。

【0034】

以下に説明される本願発明の様々な実施形態は、Ｗ×Ｈサイズの長方形に２つの深度マップを挿入するフレームパッキングフォーマットの利用に基づく。２つの深度マップは例えば、トップアンドボトムモードにおいて、それらの解像度をＷ×（Ｈ／２）へ減じ、Ｙ成分のみの上部および下部へそれらを配置することにより、または、サイドバイサイドモードにおいて、（Ｗ／２）×Ｈへ解像度を減じ、Ｙ成分のみの左部分および右部分へそれらをそれぞれ配置することにより構成され得る。その後、本願発明によると、破棄されたピクセルは回復させられ、ＵおよびＶ信号へ挿入される。

【0035】

サイドバイサイド４：２：０解決方法。以下に、クロミナンス成分上のサンプルの位置付けが互いに異なる２つの技術を説明する。

【0036】

少なくとも１つの深度マップから開始することによりカラー画像を得る第１の技術（以下においてＡモードと呼ばれる）は図２ａに示される。同図は、深度マップの行ペア（例えば、立体ビデオの左のビューに関する深度マップＤＭ１）を参照し、いかに深度値を、半分にされた列数を有するコンポジットカラー画像のＹ、Ｕ、Ｖ成分と関連付けるかを示す。

【0037】

表記Ｄ（ｊ，ｉ）が、深度マップＤＭ１、ＤＭ２の行ｊおよび列ｉのピクセルを指すために用いられ、ｊ＝０，１，．．，Ｈ−１であり、ｉ＝０，１，．．，Ｗ−１である。図２ａで説明される技術を用いることにより、深度マップは、３つの成分からなるカラー画像へと構成されなければならない。
Ｙ（ｊ，ｉ）。ｊ＝０，…，Ｈ−１、およびｉ＝０，…，Ｗ／２−１である。
Ｕ（ｊ，ｉ）およびＶ（ｊ，ｉ）。ｊ＝０，…，Ｈ−１、およびｉ＝０，…，（Ｗ／２）−１である。４：２：０ＹＵＶアンダーサンプリングのために、指標ｊおよびｉは偶数値のみとする。

【0038】

これらの表記により、図２ａに示されるピクセルの構成は、以下のルールを適用することにより得られる。
各ピクセルＤ（ｊ，ｉ）に関して： １．ｉが偶数の場合：Ｙ（ｊ，ｉ／２）＝Ｄ（ｊ，ｉ） ２．ｊが偶数であり、ｉの４に対するモジュロが１に等しい場合：

【数1】

３．ｊが偶数であり、ｉの４に対するモジュロが３に等しい場合：

【数2】

４．それ以外の場合、Ｄ（ｉ，ｊ）は破棄される。

【0039】

これらのルールを適用することにより、深度マップの偶数列のみを含むＨ×Ｗ／２解像度のＹ成分が得られる。Ｖ成分は偶数の行インデックスが列４ｋ＋１に対応する深度値を集め、ｋはゼロより大きい、またはゼロに等しい正整数であり、つまり、深度マップの列１、５、９、...は、カラーマップの列０、２、４、...におけるＶ成分に位置付けられる。最終的に、Ｕ成分は偶数の行インデックスが列４ｋ＋３に対応する深度値を集め、ｋはゼロより大きい、またはゼロに等しい正整数であり、つまり、深度マップの列３、７、１１、...は、カラーマップの列０、２、４、...におけるＵ成分に位置付けられる。

【0040】

これにより、奇数行および奇数列、つまり同図において十字または文字「Ｘ」で示される深度値は失われる。したがって、各深度マップに関し、Ｙ、Ｕ、Ｖ成分間の高い空間相関を保ちつつ、サンプルがＷ／２×Ｈ解像度の新たな４：２：０ＹＵＶカラー画像へ空間的に整理され得る。つまり、Ｙ、Ｕ、およびＶ成分により表される画像が、交互のアンダーサンプリングの同じ画像のバージョンを表す。このことは、ＭＰＥＧ圧縮アルゴリズムがＵおよびＶ成分間の空間相関を想定しているので非常に重要である。したがって、そのような相関が存在しない場合、それらアルゴリズムはよく機能しない。

【0041】

深度マップのペアから開始してこのように得られた２つの画像を（水平方向に）互いに隣り合わせに配置することにより、図５に示されるＷ×Ｈ解像度の画像が最終的に生成される。同図において色を用いることが出来ないので、３つのＹ、Ｕ、およびＶ成分は別々に表されている。

【0042】

より明らかにするため、図２ｂは、ＤＭ１およびＤＭ２で示されたＷ×Ｈサイズの２つの深度マップが依然としてＡモードで４：２：０カラー画像（Ｙ、Ｕ、Ｖ）に分配されるやり方の概略図を示す。ピクセルは、内接する幾何学的な図を含む小さな四角により表されている。図２ａおよび上記の式により示される技術を用いて暗黙的に決定された深度マップＤＭ１、ＤＭ２の２×２ピクセルブロックは、ＤＭ１に属するか、またはＤＭ２に属するかに応じてアポストロフィなし（１、２、...Ｎ×Ｍ。Ｎ＝Ｗ２であり、Ｍ＝Ｈ／２）、およびアポストロフィあり（１'、２'、...Ｎ×Ｍ'。Ｎ＝Ｗ２であり、Ｍ'＝Ｈ／２）のいずれか一方で、行スキャンの順番で順に番号が付されている。等しい小さな四角は、最初のブロックの同じピクセルに対応する。破棄されたピクセルは十字でマーク付けされている。

【0043】

深度マップＤＭ１、ＤＭ２のピクセルを構成する場合、それらは２×２サイズの４ピクセルブロックへ分割される。ＤＭ１の各２×２ブロックの左列の２つのピクセル（１×２サイズの円を含む四角の２ピクセルブロック）は、深度マップの行スキャンに従って、ダミーのカラー画像の輝度成分Ｙにおいて互いに隣り合わせて配置される。このやり方でＹの左半分は占められ、右半分を占めるよう同じことがＤＭ２に対して行われる。

【0044】

依然として同じ行スキャンを用いて、ＤＭ１の同２×２ブロックの左上のピクセル（内接する四角を含む１四角ブロック）は、色成分Ｖ（実線の四角形）およびＵ（中抜きの四角）の左上隅の第１の利用可能な位置に交互に配置される。このやり方で、ＵおよびＶの左半分が占められる。右半分を占めるよう同じことがＤＭ２の２×２ブロックに対して行われる。右下隅に位置付けられたＤＭ１およびＤＭ２の２×２ブロックの（図２ｂにおいて十字でマーク付けされた）ピクセルは破棄される。

【0045】

Ｙ、Ｕ、およびＶのサイドバイサイド構成は、並びにこれらの成分と、本願発明の本実施形態を用いて実験で得られる成分との間の対応に注意されたい（図５）。

【0046】

場合によってはコーディング、送信、受信、およびデコードの後、カラー画像が受信された場合、深度値は、図２ａおよび２ｂに説明される段階を逆にすることにより再位置決めされ得る。

【0047】

特に、図２ｂを参照すると、ＤＭ１およびＤＭ２は、２×２ピクセルのＷ／２×Ｈ／２ブロックに分割される。依然として行スキャンに従い、ダミーのカラー画像の最初のＷ／２列のＹ成分の各２ピクセル１×２ブロックは、ＤＭ１のホモローグな２×２ブロックの左列へ再コピーされ、Ｙの残りのＷ／２列の１×２ブロックは、ＤＭ２のホモローグな２×２ブロックの左列へ再コピーされる（図２ａおよび２ｂにおいて円を含む四角）。

【0048】

色成分およびマップに対して行スキャンを行う場合、Ｖ（実線の四角形）およびＵ（中抜きの四角）の最初のＷ／４列のピクセルは交互に、それらをＵおよびＶの同じ行および列位置から取り出すことにより、ＤＭ１のホモローグなブロックの右上の位置に再コピーされる。同じことを、ＤＭ２の２×２ブロックを有するＶおよびＵの残りのＷ／４の右列のピクセルに対して行って、第２の深度マップも再構成する。本実施形態において両方が、ピクセル値が足りないＷ×Ｈ／４の位置を含む格子を示し、つまり、２つのうち１つの値は、深度マップの偶数行において足りない。そのような値は、深度マップを特徴付ける高い空間相関を活用することにより、本質的に公知の技術を通じて容易に補間され得る。

【0049】

図３は、３×３マスクの単純な空間フィルタ（例えば、平均フィルタまたはメジアンフィルタ）を用いる補間技術の一例を示す。足りない値を中心とする３×３マスクを用いることにより、中心位置における深度値を推測するために、足りない値の周りで受信される８つの深度値を活用することが出来る。メジアンフィルタを用いて行われた実験では、ＭＰＥＧ委員会により提供される深度マップを用いた場合、Ｗ×Ｈ解像度の深度マップが、５０ｄＢのピーク信号対雑音比（ＰＳＮＲ）よりも高い忠実度で再構成され得ることが示された。

【0050】

この補間による再構成技術は当然、本明細書に説明される全ての変形例において用いられ得る。

【0051】

以下に、Ｂモードと呼ばれる、先述のサイドバイサイド法の変形例を紹介する。先述の解決方法のＵ、Ｖ成分の構成は、図４に示されるように、成分間の空間相関に関連して改善され得る。この結果は、以下の配置ルールを採用することにより達成される。
各ピクセルＤ（ｊ，ｉ）に関して： １．ｉが偶数の場合：Ｙ（ｊ，ｉ／２）＝Ｄ（ｊ，ｉ） ２．ｊが偶数であり、ｉの４に対するモジュロが１に等しい場合：

【数3】

３．ｊが偶数であり、ｉの４に対するモジュロが３に等しい場合：

【数4】

４．それ以外の場合、Ｄ（ｉ，ｊ）は破棄される。

【0052】

先述の解決方法と比較して、この解決方法は、Ｕ、ＶおよびＹ成分の割り当てられるピクセル間のより短い空間距離を確保する。特に、アルゴリズムの段階２および３で行われる割り当ては、成分間のより良好な配列を確保する。

【0053】

これらのルールを適用することにより、深度マップの偶数列のみを含むＨ×Ｗ／２解像度のＹ成分が得られる。Ｖ成分は偶数の行インデックスが列４ｋ＋１に対応する深度値を集め、ｋはゼロより大きい、またはゼロに等しい正整数であり、つまり、オリジナルの深度マップの列１、５、９、...は、カラー画像の列０、２、４、...におけるＶ成分に位置付けられる。最終的に、Ｕ成分は偶数の行インデックスが列４ｋ＋３に対応する深度値を集め、ｋはゼロより大きい、またはゼロに等しい正整数であり、つまり、オリジナルの深度マップの列３、７、１１、...は、カラーマップの列０、２、...におけるＵ成分に位置付けられる。

【0054】

アルゴリズムの段階３において、列インデックス値

【数5】

は、深度マップの右端において得られ得る（例えば、図中のｉ＝１１の深度値は、カラー画像で表され得ない）ことに留意するべきである。再構成段階において、これらの値は、当技術分野で公知の技術を用いて補間され得る。

【0055】

同様に、カラー画像の第１列のピクセルは、Ｕ成分に割り当てられた値を有さない（典型的に１２８であるデフォルト値が自由に割り当てられ得る）。

【0056】

最終的に、カラー画像は提供され得ないので、図５は、上述した手順に従って得られる立体画像ペアに対応する２つの深度マップをサイドバイサイドモードで互いに隣り合わせて配置することにより得られるカラー画像の単一のＹ、Ｕ、Ｖ成分に対応する画像を示す。

【0057】

トップアンドボトム４：２：０解決方法。
トップアンドボトム構成を得るために、Ｗ×Ｈ解像度の深度マップをＷ×Ｈ／２解像度のカラー画像に変換する必要がある。そのような結果は、上述した同じ方法を行の役割と列の役割とを入れ替えて適用することにより達成される。

【0058】

例として、図６は、サイドバイサイド法のＢモードと呼ばれる手法により行数を半分とすることにより、ＹＵＶ成分上にいかに深度マップの列ペアを表すかを示す。４：２：０サイドバイサイド方法に関して説明されたＡモードが、行の役割と列の役割とを入れ替えることにより全体的に同様のやり方で用いることができ、したがって、簡潔にするためにさらには説明されない。

【0059】

このように得られるＷ×Ｈ／２解像度の２つの画像を（垂直方向に）重ね合わせることにより、図７に示されるように、トップアンドボトムモードの深度マップペアを表す、Ｗ×Ｈ解像度の画像が最終的に生成される。色を用いることが出来ないので、同図は、３つのＹ、Ｕ、およびＶ成分を別々に示す。

【0060】

色成分の減少を用いるトップアンドボトム４：２：０解決方法。
先述の解決方法はＹ、Ｕ、およびＶ成分間の良好な空間的コヒーレンスを確保しつつ、深度マップのいくつかの値がカラー画像のクロミナンス成分として表されることを可能とする。（実際の色を有する）一般的な画像の場合、クロミナンス成分は、低いエネルギー容量、よって、低いエントロピーにより特徴付けられ、公知の技術を用いて容易に圧縮され得る。反対に、先述の解決方法のＵ、Ｖ成分は、輝度と同じエネルギー容量を有するピクセルから成る。

【0061】

この課題を解決するために、クロミナンス成分へ挿入されるべき深度値を、Ｙ成分に表された深度値を用いて予測（または補間）された値に対する差分値と入れ替えることが可能であり、言い換えると、予測誤差がクロミナンス成分へ挿入され得る。深度マップは多くの詳細を含まないので、予測は有効であり、予測誤差は、非常に低いエネルギー容量を有し、よって、クロミナンスとして表されるのに適している。

【0062】

例として、Ｂモードのトップアンドボトム構成を示す図８において二重矢印は、ＵおよびＶ成分に配置される深度値を補間するのに用いることが可能である深度値ペアを特定する。

【0063】

図８において、先述の再位置付けアルゴリズムの段階２および３に従って、ＵおよびＶ成分のための深度値の予測として用いられ得るＹ成分の深度サンプルが特定されている。先述のアルゴリズムの表記を用いることにより、実際に以下の予測誤差を計算することが出来る。

【数6】

ここでｈ、ｋは、ＶおよびＵ成分のそれぞれにおける配置の前に偶数列の対応する深度値に代入される、ゼロより大きい、またはゼロに等しい整数の指標である。予測誤差の小数値を格納することを避けるために、上の式において、予測値は四捨五入される（四捨五入の演算子が整数四捨五入演算を特定する）。この例において、考慮されるピクセルの上および下の行の２つの深度サンプル間の平均からなる単純な予測因子が用いられることを指摘しておくべきである。

【0064】

予測誤差Ｄ_ｅは、符号を有する値である。好ましくは、実際の実装において、そのような値に、範囲［０．．２５５］内で得られる値の飽和に応じて符号なしの８ビットの値として表されるよう、１２８のオフセットが加算される。

【0065】

これにより、符号なしの予測誤差がＶおよびＵ成分に関して表される。

【数7】

【0066】

単純にすべく、上の式において、０〜２５５の範囲の外側の値をクリッピングする、または飽和させる段階が省略されている。

【0067】

受信に応じて、（図面において文字Ｘで特定される）足りないサンプルの補間の前に、例えば上述した技術に従って、予測される深度値は、先述の式を逆にすることにより再構成される。

【数8】

【0068】

予測誤差の四捨五入の誤差により、標準的なエンコーダを用いて得られる数値化誤差と比較して無視できる程度の影響を受けた再構成誤差が引き起こされる。

【0069】

図９は、上述したシステムにより得られるコンポジット画像の一例を示す。印刷による近似にも起因して、均一であるように見える画像を通じて表されるＵおよびＶ成分の低いエネルギー容量が見られる。検討されている解決方法の利点は、実際にそれがクロミナンス成分の平均振幅の低減を可能とし、これにより従来のＹＵＶ信号の高いエネルギーの分布をより反映し、ＵおよびＶ成分と比較しエネルギー容量が殆どＹ成分に集中しているということである。ＵおよびＶ成分は「差異信号」（正確には、それらは色差異信号と呼ばれる）であり、よってそれらは、８ビットの表現において、値１２８がゼロに対応し、１２８より小さい値は負であるものと見なされ、１２８より大きい値は正であるとみなされるよう、ゼロの平均値を有することにも留意するべきである。ＭＰＥＧ圧縮アルゴリズムはＵおよびＶ信号のそのような特性に基づいており、したがって、それらの信号が、先述の実施形態のように何らかの差異を表さない場合、ＭＰＥＧ圧縮アルゴリズムは有効性が低いこととなり得る。

【0070】

上述した手法は、２つのサンプルのみを用いた補間手順の利用を通じたトップアンドボトムフォーマットの場合について例示したが、明らかに、ここまで説明した解決方法の全て、および他の補間方法に関して拡張され得る。

【0071】

平均値および平均差を用いたトップアンドボトム４：２：０解決方法。
ＵおよびＶ成分のエネルギー的寄与を低減することを可能とする更なる変形例によると、深度マップの値は、輝度とクロミナンス成分とによりそれぞれ表される平均値と平均差により置き換えられる。この変形例の利点は、この場合においても差異を表す信号がＵおよびＶに挿入される点で先述の解決方法の利点と同じである。

【0072】

深度マップの各２×２ブロックのサンプルは、図１０および以下に示されるように平均値および平均差に変換される。ここで、ａ、ｂ、ｃ、ｄは、深度マップの２×２ブロックの深度値を表す。係数ｗ０、ｗ１は平均値であり、それらが符号なしの８ビットサンプルで表され得るように最も近い整数に四捨五入されるべきである（または、より小さい整数へ切り捨てられるべきである）。

【0073】

差異係数ｗ２、ｗ３に関しても同じ処理が実行される。さらに、後者は符号を有するので、それらの絶対値は、それらの値が１２８のオフセットを加算することにより８ビットサンプルで表され得るように１２８へ飽和させられる。

【0074】

また図１０は、以下に引用されるように平均値および平均差から深度サンプルをいかに再構成するかを示す。

【数9】

【0075】

採用される四捨五入に起因して、深度値ａ、ｂ、ｃ、ｄの再構成は、誤差が＋／−１より小さくなるほど正確となる。

【0076】

例えば、トップアンドボトムの場合におけるＷ×Ｈ／２など次元数がより少ないカラー画像を得るために、４つのうち１つの係数を破棄する必要がある。選択される３つの係数はその後、上述した技術のうち１つに従ってＹ、Ｕ、Ｖ成分に配置され得る。

【0077】

このことは、Ｙ成分に挿入される２つの平均値ｗ０、ｗ１を維持し、差異ｗｄ＝ｗ２および差異ｗｄ＝ｗ３のいずれか一方を、以下の式に従って２つの値ｗ２、ｗ３のうちどちらが最小の再構成誤差を確保するかに応じてＵ、Ｖへ移動させることにより達成される。

【0078】

ｗ２およびｗ３のいずれか一方の選択により導入される再構成誤差は、以下のように評価され得る。
ｗｄ＝ｗ２の場合に得られる平均誤差ｅ（ｗｄ＝ｗ２）およびｗｄ＝ｗ３の場合に得られる平均誤差ｅ（ｗｄ＝ｗ３）が計算され、その後送信のために選択される係数ｗｄが以下のように誤差を最少化するものである。

【数10】

【0079】

Ｗ×Ｈ／２解像度のカラー画像を得るために、既に説明された同じアルゴリズムに従われ得る。

【0080】

各行インデックスｊ＝０，２，４、および各列インデックスｉ＝０，２，４に関して。

【0081】

深度マップの位置ｊ、ｉの２×２ブロックの係数ｗ０、ｗ１、ｗ２、ｗ３が計算される。
最も良好な平均差ｗｄが判断される。
式Ｙ（ｊ／２，ｉ）＝ｗ０およびＹ（ｊ／２，ｉ＋１）＝ｗ１に従って平均値がＹ成分へ割り当てられる。
４によるインデックスｊの残りの除算が０に等しい場合、式Ｕ（ｊ／２，ｉ）＝ｗｄに従って平均差が割り当てられる。
さもなくば（インデックスｊが４の倍数でない場合）、Ｖ（ｊ／２，ｉ）＝ｗｄ。

【0082】

図１１は、２つの深度マップに平均値および平均差を挿入することにより得られる、上述したトップアンドボトム構成のシステムを用いることにより得られるカラー画像の一例を示す。この場合においても、値ｗｄに関連する非常に低いダイナミクスが理由となり、クロミナンス成分は低いエネルギー容量を集める。

【0083】

再構成に応じて、平均値および平均差を用いる技術は、初期の値ａ、ｂ、ｃ、ｄを係数ｗ０、ｗ１およびｗｄから再構成することを可能とする逆公式を適用すれば十分であるので、３×３補間フィルタを必要としない。

【数11】

【0084】

生じる再構成誤差は、平均差ｗｄの選択、および、全ての係数の整数表現誤差に応じる。テストにより、５０ｄＢを超えるピーク信号対雑音比の基準深度マップにおいてはそのような誤差は無視できる程度であることが示された。

【0085】

サブバンド変換を用いた解決方法。
深度値の平均および差異に基づく先述した技術は、サブバンド手法を採用することにより一般化され得る。例えば２×２ＤＣＴタイプの領域変換、つまり、ウォルシュ−アダマール変換、または文献において公知である１つのレベルのみのウェーブレット変換を用いることにより、深度マップＤＭ１（およびＤＭ２）により構成される画像は、行および列の両方に関して解像度が半分にされた、よってＷ／２×Ｈ／２解像度の４つのサブバンドへ分割される。そのようなサブバンドは一般的に、ＬＬ、ＬＨ、ＨＬ、およびＨＨサブバンドとして、左から右に、および上から下に示される。図１２は、深度マップの行および列に別々にウォルシュ−アダマール変換を適用することにより得られるサブバンド変換の一例を示す。変換はビデオ信号のエネルギーの殆どをＬＬサブバンド（左上部分）に集中させていることを観察することが出来る。深度マップの場合のようにあまり詳細を含んでいない画像に関して、ＨＨサブバンドは殆どエネルギーを集めない。ＨＬ、ＬＨ、およびＨＨサブバンドの係数は符号を有しており、１２８のオフセットを、先述の解決方法に関して説明された平均差の場合のように値０を表すために用いなければならないことにも気付くことが出来る。符号なしの８ビットサンプルで変換係数を表すことが所望される場合、用いられている変換のタイプに応じて変わり得る適切な四捨五入を行う必要もある。

【0086】

変換される領域が存在する場合、深度マップの解像度を低減させなければならないので、いくつかの係数は取り除くことが出来る。最も良好な選択は、両方の深度マップのＨＨバンド全体を取り除き、これにより、再構成に応じて品質の損失を導入することである。再構成は当然ながら、逆変換を適用することにより達成され、ここで、取り除かれる係数はゼロであることが想定されている。

【0087】

左の深度マップのＬＬ'、ＬＨ'およびＨＬ'サブバンド、および右の深度マップのＬＬ"、ＬＨ"およびＨＬ"サブバンドから開始することによりＷ×Ｈ解像度の単一のＹＵＶ画像を構築するために、図１３の図に従う。ここで、ＤＭ１'およびＤＭ２'は、２つの深度マップＤＭ１およびＤＭ２のアダマール変換を示す。同図は輝度成分Ｙの４つの象限でいかにＬＬ'、ＬＨ'、ＬＬ"およびＬＨ"サブバンドの係数を配置するかを示す。特に、Ｙ成分の上半分を左の深度マップのＬＬ'およびＬＨ'サブバンドと関連付け、下半分を、右の深度マップのＬＬ"およびＬＨ"サブバンドと関連付けることが選択された。ＹＵＶ画像の再構成を完了すべく、３つの成分の誤った配置に起因して誤ったエッジを作成することなく、ＵおよびＶ成分に、ＨＬ'およびＨＬ"サブバンドの残りのＷ／２×Ｈ／２係数を再配置する必要がある。図１３は所望される結果をいかに得るかを示す。図１３に示されるように、左の深度マップのＨＬ'サブバンドが、両方向に２の倍数でアンダーサンプリングされた４つのバージョンへとさらに分割される。実際には、各２×２ブロックの係数が、４つのアンダーサンプリングされた画像に配置される。これにより、Ｗ／４×Ｈ／４解像度の、ＨＬ_ａ'、ＨＬ_ｂ'、ＨＬ_ｃ'およびＨＬ_ｄ'で示されるＨＬ'サブバンドの４つの画像が得られる。得られる最初の２つの画像は、Ｕ成分の上部で互いに隣り合わせて配置され、Ｈ／４×Ｗ／２サンプルと同等のエリアが占められる。ＨＬ'サブバンドの残りの２つの画像が、Ｖ成分の上部に（互いに隣り合わせて）コピーされる。同じ手順が最終的に、右の深度マップのＨＬ"サブバンドに関して採用されるが、Ｗ／４×Ｈ／４画像が、ＵおよびＶ成分の下半分にコピーされる。この手法により、解像度が半分にされたＹ成分とＵ、Ｖ成分との間の空間的コヒーレンスを維持することが可能となる。

【0088】

ウォルシュ−アダマール変換を用いることにより得られるカラー画像の一例が図１４に示されている。この場合においても、ＵおよびＶ成分に関連するエネルギー的寄与は非常に低く、このことは、ビデオ信号の圧縮率の点で有益である。

【0089】

テレビ再生チェーン（ＹＵＶ４：２：２フォーマット）における２つの深度マップの合成。
テレビ再生チェーンにおいて、４：２：２ＹＵＶフォーマットが典型的に用いられる。４：２：０フォーマットの場合と比較して、２つのマップを単一のカラー画像にパックする解決方法は、クロミナンス情報（Ｕ、Ｖ）がピクセルの５０％に存在する点でより単純である。したがって全体として、１６ビット／ピクセル（Ｙに関して８、Ｕ、Ｖに関して８）が利用可能であり、これにより、情報の損失なしで、よって、受信に応じて足りないピクセルを補間する必要なしで２つのマップをカラー画像に挿入することが可能である。

【0090】

第１の解決方法は、Ｙに対して一方のマップを、およびＵおよびＶに対して他方のマップを送信することから成り得る。しかし、実際のカラー画像の場合のように、ビデオ圧縮アルゴリズムは通常、輝度およびクロミナンスが互いに関連付けられているとの想定に基づいており、検討されている解決方法においてＹは１つの画像に属し、Ｕ、Ｖが異なる画像に属するので、この解決方法は最適ではない。したがって、４：２：２の場合においても、４：２：０ＹＵＶの場合に関して採用されたものと同様のメカニズムを用いることにより、関連付けられたＹ、Ｕ、Ｖ成分を有する画像の構成を確保するようなやり方でサンプルを再配置することがより良好である。

【0091】

サイドバイサイド４：２：２解決方法。
カラー画像の作成は、図１５を検討することにより容易に理解され得る。第１のピクセル行において、オリジナルの深度マップの奇数列（１、３、５...）のピクセルが、図２ａと全体的に同様のやり方でカラー画像の偶数列のピクセルのＵおよびＶへ移動させられる。４：２：０の場合とは異なり、カラー画像の偶数列（０、２、４...）のピクセルはクロミナンスを有するので、第１の行と同じことが第２ピクセル行に起こり、つまり、オリジナルの深度マップの奇数列のピクセルが、カラー画像の偶数列のピクセルのＵおよびＶに移動させられる。したがって、受信に応じて補間により再構成される足りないピクセル（図２ａにおいて十字でマーク付けされたもの）はもはやない。

【0092】

同じことがＢモードに当てはまる。この場合にも、全ての行（偶数および奇数）において、ピクセル行０に関して図４に示されていることが起こり、よって、受信に応じて補間により再構成される足りないピクセルはもはやない。

【0093】

トップアンドボトム４：２：２解決方法。
例として、カラー画像を作成する１つの可能なやり方が図１６に示されている。破棄される奇数行のピクセルは、例えば矢印に示されるように、偶数行のピクセルのＵおよびＶに再割り当てされる。再割り当ては、簡潔にするために本明細書において説明されない他の実質的に同等のやり方でも実行され得る。

【0094】

色成分の減少を用いるサイドバイサイドおよびトップアンドボトム法、４：２：２フォーマット。
先述の解決方法は、Ｙ、Ｕ、およびＶ成分間の良好な空間的コヒーレンスを確保しつつ深度マップのいくつかの値がカラー画像のクロミナンス成分として表されることを可能とする。（実際の色を有する）一般的な画像の場合、クロミナンス成分は、低いエネルギー容量により、よって、低いエントロピーにより特徴付けられ、公知の技術を用いることにより容易に圧縮され得る。反対に、先述の解決方法のＵ、Ｖ成分は輝度と同じエネルギー容量を有するピクセルから成る。この課題を解決するために、クロミナンス成分に挿入されることになる深度値をＹ成分に表される深度値を用いることにより予測（または補間）された値に対する差分値で入れ替えることが可能である。言い換えると、予測誤差がクロミナンス成分に挿入され得る。深度マップはそれ程詳細ではないので、予測は有効であり、予測誤差は非常に低いエネルギー容量を有し、よって、クロミナンスとして表されるのに適している。

【0095】

例として、図１７において、二重矢印は、図１６のトップアンドボトム構成のＵおよびＶ成分に配置される深度値を補間するのに用いることが可能である２つの深度値を特定する。図１６の図において、奇数行のサンプルは、その上および下の行のサンプルから開始することにより補間される。そのような値はＹ成分に位置付けられるので、カラー画像の受信に応じても利用可能である。この時点において、Ｕ、Ｖ成分の値として（図１６の薄い矢印による示される構成に従って）、補間器により生成された予測誤差を計算および挿入することが可能である。そのような値は、既に説明された同じ技術を用いることにより符号なしの整数として表される。Ｕ、Ｖ成分により転送される予測誤差は最終的に、受信に応じて、対応する補正をＹ成分から補間された値に適用することにより、奇数行の深度値を再構成することを可能とする。

【0096】

平均値および平均差を用いるトップアンドボトム４：２：２解決方法。
４：２：２の場合においても、ＵおよびＶ成分のエネルギー的寄与を低減することを可能とする更なる変形例は、輝度およびクロミナンス成分のそれぞれを用いることにより表される平均値および平均差で深度マップの値を置き換える段階を含む。この変形例の利点は、この場合においても差異を表す信号がＵおよびＶに挿入される点で、先述の解決方法の利点と同じである。深度マップの各２×２ブロックのサンプルは、図１０に示されるように平均値および平均差に変換され、ここで、ａ、ｂ、ｃ、ｄは、深度マップの２×２ブロックの深度値を表す。

【0097】

４：２：０の場合との唯一の差異は、４：２：２解決方法において、両方の差異係数がＵおよびＶに挿入され得るので、４つのうち１つの係数を破棄する必要がもはやないということである。したがって受信に応じて、平均値および平均差の符号なしの整数表現により引き起こされる＋／−１の正確性の損失を除いて、誤差なしでマップが再構成される。

【0098】

サブバンド変換を用いた解決方法、４：２：２フォーマット。
１つのレベルのみをサブバンド変換へ適用することにより、深度マップにより形成される画像が、行および列の両方で解像度が半分にされた、つまりＷ／２×Ｈ／２解像度の４つのサブバンドへ分割される。そのようなサブバンドは一般的に、ＬＬ、ＬＨ、ＨＬ、およびＨＨサブバンドとして右から左に、上から下に示される。４：２：２ＹＵＶフォーマットを用いる場合、図１８に示される手順を用いることにより、２つの深度マップの変換を単一のカラー画像に表すことが出来、ここで、ＤＭ１'およびＤＭ２'は、ＤＭ１およびＤＭ２の２つの深度マップのサブバンド変換を示す。４：２：０ＹＵＶフォーマットに関して提案された同様の技術（図１３を参照）とは異なり、この場合、ＤＭ１'およびＤＭ２'の全ての４つのサブバンドを設定することが可能である。例として本明細書に提案される解決方法において、トップアンドボトムカラー画像が形成される。列ごとにアンダーサンプリングされるＬＨおよびＨＨサブバンドに挿入することにより、Ｕ、Ｖ成分は、Ｕの対応する画像との空間相関を維持するようなやり方で構成される。特に、偶数列がＵ成分に挿入され、奇数列は、Ｖ成分へ挿入される。

【0099】

１つのマップのみを挿入。
本願発明は、１つのみの深度マップが存在する場合にも適用可能であることに留意するべきである。この場合、本明細書に提案される技術は、オリジナルの深度マップのものと比較して（行または列毎に）解像度が半分にされたカラー画像を構成することを可能とする。

【0100】

完全な生成および再構成システム。
本明細書に提案される解決方法は、それぞれの深度マップと共に立体ビデオシーケンスのペアを可視化システムへ送信するために用いられ得、これにより、何らかの中間視点の合成を可能とする。

【0101】

図１９ａおよび１９ｂは、生成側が再構成および視覚化側と分離された、タイルフォーマットとして知られるフレームパッキングフォーマットを用いる完全な生成、再構成、および可視化システムの例を示す。

【0102】

特に、提案されるシステムにおいて、図面において左の深度マップＤＬ（Ｄｅｐｔｈ Ｌｅｆｔ）および右の深度マップＤＲ（Ｄｅｐｔｈ Ｒｉｇｈｔ）として示される、Ｗ×Ｈ解像度の２つの深度マップ（場合によっては２Ｗ×２Ｈ寸法の２つのビューの２つの深度マップを４：１でアンダーサンプリングすることにより得られる）が、本明細書に提案される技術のうち１つを採用することにより、「深度マージャ」と呼ばれるデバイスによりＷ×Ｈ解像度の単一の４：２：０のＹＵＶカラー画像へマージされる。その後、タイルフォーマットマルチプレクサデバイスが、２Ｗ×２Ｈ解像度の２つの立体画像、および、Ｗ×Ｈ解像度の深度マップのペアから開始することによりタイルフォーマットコンポジットフレームを構成する。深度マップのペアは、正確に、右下隅においてフレームパッキングフォーマットにより利用可能のままとされる空間を占める（図１を参照）。立体信号の全ての成分を転送出来る３Ｗ×３Ｈ解像度の単一の画像がこのように得られる。Ｗ＝６４０およびＨ＝３６０と想定した場合、１０８０ｐとして知られる高解像度のビデオフォーマットに対応可能な１９２０×１０８０解像度のタイルフォーマット画像が生成される。これによりタイルフォーマット画像により構成されるビデオ信号は、１９２０×１０８０ビデオ信号をコーディング、送信、または転送するためのインフラストラクチャに対応可能となる。

【0103】

公知のエンコーダ（例えば、ＭＰＥＧ４またはＨＥＶＣ）は効果的に、場合によっては他の処理（他のコンテンツとの多重化、変調などの後に）通信チャネルでの送信のために、タイルフォーマットマルチプレクサにより生成される立体ビデオストリームを圧縮できる。代替的に、コーディングされたストリームは、将来的な実現のために書き込みユニットにより何らかの格納手段（揮発性または不揮発性半導体メモリ、光電子媒体など）に格納され得る。

【0104】

受信側（図１９ｂを参照）で、通信チャネルから受信した、または格納媒体から読み取られた立体ビデオストリームは、デコードされ、タイルフォーマットデマルチプレクサへ送信され、タイルフォーマットデマルチプレクサは、２Ｗ×２Ｈ解像度の立体画像Ｌ、Ｒのペア、および深度マージャによる生成に応じて生成されるカラー画像を抽出する。深度分割器と呼ばれる分割ユニットは、当該画像から、Ｗ×Ｈ解像度のカラー深度マップＤＬ、ＤＲのペアを抽出し、それらは、深度アップサンプラーと呼ばれる単純な公知の補間デバイスによりそれらのオリジナルの２Ｗ×２Ｈサイズへ拡張され得る。ビュー合成デバイスが、セルフ立体デバイスを通じた視覚化のためにＲとＬとの間の中間ビューを計算する。

【0105】

本願発明を深度マップに適用することにより得られる立体ビデオストリームの生成のための装置（１５００）および再構成のための装置（１５５０）の説明には、多くの変形例が考えられ得ることに留意するべきである。例えば、深度マージャおよびタイルフォーマットマルチプレクサの機能は実際には、同一の物理的デバイスにより実行され得る。再構成側において、立体画像の合成および視覚化は、同一の装置または２つの別個の装置により実行され得る。

【0106】

再構成処理。
本願発明にしたがって深度マップを再構成するために、上述した変形例に従ってカラー画像を生成するための処理とは逆の処理が実行される。

【0107】

特に、複数の成分（Ｙ、Ｕ、Ｖ）から構成されるカラー画像から開始して少なくとも１つの深度マップ（ＤＭ１、ＤＭ２）を再構成する方法は、カラー画像（Ｙ、Ｕ、Ｖ）の輝度成分（Ｙ）から取り出された第１のピクセル群、一方のクロミナンス成分（Ｕ）から取り出された第２のピクセル群、およびクロミナンス成分の他方（Ｖ）から取り出された第３のピクセル群を深度マップに挿入する段階を含む。

【0108】

好ましくは、第１、第２、および第３のピクセル群を再コピーすることにより、当該少なくとも１つの深度マップの全てのピクセルが得られる。または、第１、第２、および第３のピクセル群を再コピーすることにより、深度マップのいくつかのピクセルが得られ、および再コピーされたピクセルに補間処理を行うことにより足りないピクセルが得られる。

【0109】

いくつかの可能な変形例において、第２および第３の群（ＵおよびＶ）は、補間値に対して差異を含んでいるので、再構成に応じて、最初に、補間値を計算し、その後、ＵおよびＶから得られる補正を適用する必要がある。

【0110】

いくつかの可能な変形例において、方法は、カラー画像の第１、第２、および第３のピクセル群から取り出された値（ｗ０、ｗ１、ｗｄ）を、それらの合計および差異で置き換える段階を備え、このことにより、深度マップ（ＤＭ１、ＤＭ２）のピクセルブロックへコピーされる値（ａ、ｂ、ｃ、ｄ）を再構成することが可能となる。

【0111】

更なる可能な変形例において、方法は、カラー画像の成分（Ｙ、Ｕ、Ｖ）のピクセル群を再コピーした後に当該深度マップ（ＤＭ１、ＤＭ２）を得るために、生成する段階において実行されたものと逆の領域変換を行うことを含む。

【0112】

本発明に係る、Ｙ、Ｕ、Ｖ成分から構成されるカラー画像から開始して少なくとも１つの深度マップ（ＤＭ１、ＤＭ２）を再構成する装置は、カラー画像（Ｙ、Ｕ、Ｖ）の輝度成分（Ｙ）から取り出された第１のピクセル群、一方のクロミナンス成分（Ｕ）から取り出された第２のピクセル群、およびクロミナンス成分の他方（Ｖ）から取り出された第３のピクセル群を少なくとも１つの深度または視差マップに挿入する手段を含む。

【0113】

装置において好ましくは、第１、第２、および第３のピクセル群は、少なくとも１つの深度または視差マップの全てのピクセルを網羅する。

【0114】

代替として、第１、第２、および第３のピクセル群は、少なくとも１つの深度または視差マップのいくつかのピクセルを網羅し、再コピーされたピクセルに対して補間処理を実行することにより得られるピクセルが残りのピクセルに挿入される。

【0115】

装置は、同じＷ×Ｈサイズを有する２つの深度マップＤＭ１、ＤＭ２を再構成することが出来、カラー画像Ｙ、Ｕ、Ｖにおいて、輝度成分Ｙは２つの深度または視差マップＤＭ１、ＤＭ２と同じＷ×Ｈサイズを有する。

【0116】

好ましくは装置は、第２および第３の群のピクセルを得るために、予測または補間された参照値に対して、ピクセルの群から選択されるピクセルの値の合計または差異を得るための手段を備える。後者の値は第１の群に属するピクセルの値から得られる。

【0117】

好ましくは装置は、少なくとも１つの深度マップＤＭ１、ＤＭ２のピクセルブロックにコピーされる値ａ、ｂ、ｃ、ｄを再構成するべく、カラー画像の第１、第２、および第３のピクセル群から取り出された値ｗ０、ｗ１、ｗｄを、それらの合計および差異で置き換える手段を備える。

【0118】

好ましくは装置は、カラー画像の成分Ｙ、Ｕ、Ｖのピクセル群を再コピーした後に当該少なくとも１つの深度マップＤＭ１、ＤＭ２を得るために、生成する段階において実行されたものと逆の領域変換を行う手段を備える。

【0119】

深度マップがタイルフォーマットコンポジットフレームに挿入される場合、上述した変形例の全てにおいて、全ての現在の、および将来のタイプのディスプレイ上で３Ｄコンテンツを生成、転送、および再生するための汎用的なフォーマットが得られる。

【0120】

２Ｄ再生デバイスの場合、デバイスのビデオプロセッサは単に、デコードされたビデオフレームに存在し得る画像Ｒおよび深度マップＤＭ１およびＤＭ２を破棄し、拡大縮小をして、関連付けられた視覚化デバイス上に一連の画像Ｌのみを表示する。

【0121】

同じことが、ユーザが２Ｄディスプレイモードをアクティブ化させた場合の３Ｄ再生デバイスに関して当てはまる。

【0122】

３Ｄディスプレイモードがアクティブ化された３Ｄ再生デバイスは、ユーザによるシーンの深度の調整（低減）をプレーヤが可能とするか否かに応じて、２つの異なる挙動を示し得る。後者の場合、ビデオプロセッサは、２つの一連の画像Ｌ（Ｌｅｆｔ）およびＲ（Ｒｉｇｈｔ）を用いて、３次元効果を生成する。前者の場合、ビデオプロセッサは立体画像Ｒ、Ｌの各ペアに関連付けられたコンポジットフレームに含まれる（１つまたは２つの）深度マップを用いて、ＬとＲとの間の中間ビューを生成し、これにより、ＬおよびＲから取得可能なものよりも低い、可変の深度を有する３次元画像が得られる。

【0123】

最後の適用例は、ディスプレイの前の空間の複数の異なる地点に位置する閲覧者のために３次元効果を生成するために非常に多数（数十）のビューを必要とするセルフ立体プレーヤにより表される。この場合、ビデオプロセッサは、画像Ｌ、Ｒ自体と併せてコンポジットフレームに含まれる（１つまたは２つの）深度マップを用いて、一連の他の画像を合成する。

【0124】

結論として、再生デバイスのビデオプロセッサは、２つの一連の画像をディスプレイへ送信するよう適合させられた手段を備え得る。それら２つの一連の画像のうち少なくとも１つは、送信されるビューのうち少なくとも１つから、および少なくとも１つの深度マップから開始して合成される画像から成る。この場合、再生デバイスのビデオプロセッサは好ましくは、深度の知覚を変化させることが出来るようおよそ近い視点に関する複数の一連の画像を選択することを閲覧者に可能とするよう適合させられた手段も備える。

【0125】

再生デバイスのビデオプロセッサは、空間中の異なる地点に位置する閲覧者が関連付けられたセルフ立体ディスプレイを通じて異なる複数の一連の画像を見ることが出来るよう、更なるビューに対応する更なる画像を生成するよう適合させられた手段も備え得る。

【0126】

これまで提案されてきたフォーマットのいずれも、同時に水平方向および垂直方向の解像度のバランスの点で、並びに、立体画像および関連付けられた深度マップへの適切な解像度の割り当ての点で非常に良好な再生品質を依然として確保しつつ、そのような利用のフレキシブルさ、および幅広さを提供していない。

【0127】

上述した再構成処理は、受信デバイスにより部分的に、および視覚化デバイス（プレーヤ）により部分的に実行され得る。本願発明は有利には、方法の１または複数の段階を実行するためのコーディング手段を備えるコンピュータプログラムを通じて実装され得る。したがって保護範囲は、コンピュータプログラム、および、記録されたメッセージを備えるコンピュータ可読手段までを含むことが理解される。コンピュータ可読手段は、プログラムがコンピュータにより実行された場合に方法の１または複数の段階を実装するためのプログラムコーディング手段を備える。

【0128】

上述した実施形態の例は、当業者に公知の全ての同等の設計を含め本願発明の保護範囲から逸脱することなく変更が可能である。

【0129】

本説明は、最も普及しているものである、カラー画像に関して採用されるサンプリングシステムが４：２：０または４：２：２である本願発明の実施形態を取り扱ってきた。それにも関わらず、例えば、初期のグレースケールレベルへ画像をアンダーサンプリングするための処理を必要に応じて実行することにより４：４：４、４：１：１、４：１：０など何らかの他のサンプリングシステムにも同様に適用可能である。

【0130】

様々な好ましい実施形態において示された要素および特徴は共に組み合わせられ得、その場合であっても、本願発明の保護範囲から逸脱することはない。

【0131】

上記の説明から、当業者は、更なる構成の詳細を導入することなく本願発明の目的を達成し得る。
［項目１］
少なくとも１つの深度または視差マップから開始して、複数の成分から構成されるカラー画像を生成する方法であり、
上記少なくとも１つの深度または視差マップの第１のピクセル群が上記カラー画像の輝度成分に挿入され、
上記少なくとも１つの深度または視差マップの第２のピクセル群および第３のピクセル群が上記カラー画像の２つのクロミナンス成分に挿入される、方法。
［項目２］
上記第１のピクセル群、上記第２のピクセル群、および上記第３のピクセル群のピクセルが上記輝度成分および上記２つのクロミナンス成分のどの位置に挿入されるかの選択は、上記カラー画像の上記輝度成分と上記２つのクロミナンス成分との間の空間相関を確保するようなやり方でなされる、項目１に記載の方法。
［項目３］
上記第１のピクセル群、上記第２のピクセル群、および上記第３のピクセル群は併せて、上記少なくとも１つの深度または視差マップの全てのピクセルを含む、項目１または２に記載の方法。
［項目４］
上記第１のピクセル群、上記第２のピクセル群、および上記第３のピクセル群は、上記少なくとも１つの深度または視差マップの全てのピクセルの一部のみを含む、項目１または２に記載の方法。
［項目５］
サイドバイサイドまたはトップアンドボトム技術を用いることにより、Ｗ×Ｈサイズの２つの深度または視差マップが、同じサイズのカラー画像へ挿入される、項目１から４のいずれか１項に記載の方法。
［項目６］
ピクセル群に属する上記第２のピクセル群および上記第３のピクセル群のピクセルは、予測値または補間値に対する差分値により置き換えられ、
上記補間値は、上記第１のピクセル群に属するピクセルの値から得られる、項目１から５のいずれか１項に記載の方法。
［項目７］
隣接するピクセル群の合計を上記輝度成分に配置し、上記隣接するピクセル群の差異のうち上記２つのクロミナンス成分に交互に配置される１つのみを選択することにより、上記隣接するピクセル群に属する上記少なくとも１つの深度または視差マップのピクセルを、上記合計または上記差異で置き換える段階を備える、項目１から４のいずれか１項に記載の方法。
［項目８］
隣接するピクセル群の合計を上記輝度成分に配置し、上記隣接するピクセル群の２つの差異のうち第１の差異を一方のクロミナンス成分に配置し、第２の差異を他方のクロミナンス成分に配置することにより、上記隣接するピクセル群に属する上記少なくとも１つの深度または視差マップのピクセルを、上記合計または上記２つの差異で置き換える段階を備える、項目１から４のいずれか１項に記載の方法。
［項目９］
上記第１のピクセル群、上記第２のピクセル群、および上記第３のピクセル群を上記カラー画像の上記複数の成分へ挿入する前に、上記少なくとも１つの深度または視差マップに領域変換を実行する段階を備える、項目１から８のいずれか１項に記載の方法。
［項目１０］
項目１から９のいずれか１項に記載の方法を用いることにより得られる一連のカラー画像を含むビデオストリームを生成する方法。
［項目１１］
タイルフォーマットのフレームパッキングフォーマットを用いてビデオストリームを生成する方法であり、
２つの立体ビューに関する複数の画像のピクセルを含まないフレーム部分にカラー画像が挿入される、項目１から９のいずれか１項に記載の方法。
［項目１２］
項目１から１１のいずれか１項に係る方法を用いることにより得られる一連のカラー画像を含むビデオストリームを生成する画像処理手段を備える装置。
［項目１３］
複数の成分から構成されるカラー画像から開始して、少なくとも１つの深度または視差マップを再構成する方法であり、
上記カラー画像の輝度成分から開始して得られる第１のピクセル群と、一方のクロミナンス成分から開始して得られる第２のピクセル群と、他方のクロミナンス成分から開始して得られる第３のピクセル群とが、上記少なくとも１つの深度または視差マップへ挿入される、方法。
［項目１４］
上記第１のピクセル群は上記カラー画像の上記輝度成分から取り出され、上記第２のピクセル群は一方のクロミナンス成分から取り出され、上記第３のピクセル群は上記他方のクロミナンス成分から取り出される、項目１３に記載の方法。
［項目１５］
上記第１のピクセル群は、上記輝度成分から取り出され、
上記第２のピクセル群または上記第３のピクセル群は、上記第１のピクセル群に属するピクセルの値からの補間により得られる参照値に対する差異を表す上記２つのクロミナンス成分のうち一方、またはそれぞれ他方から取り出されるピクセルの値と、上記参照値とを合計することにより得られる、項目１３に記載の方法。
［項目１６］
上記少なくとも１つの深度または視差マップの全てのピクセルは、上記第１のピクセル群、上記第２のピクセル群、および上記第３のピクセル群を得ることにより得られる、項目１３から１５のいずれか１項に記載の方法。
［項目１７］
上記少なくとも１つの深度または視差マップのいくつかのピクセルは、上記第１のピクセル群、上記第２のピクセル群、および上記第３のピクセル群を得ることにより得られ、
足りない複数のピクセルは、再コピーされた複数のピクセルから補間処理を用いて得られる、項目１３から１５のいずれか１項に記載の方法。
［項目１８］
上記第１のピクセル群、上記第２のピクセル群、および上記第３のピクセル群を得ることにより、上記カラー画像と同じサイズを有する２つの深度または視差マップが得られる、項目１４から１７のいずれか１項に記載の方法。
［項目１９］
複数の成分から構成されるカラー画像から開始して少なくとも１つの深度または視差マップを再構成する方法であり、
上記少なくとも１つの深度または視差マップにコピーされることになる複数の値を再構成する目的で、複数の隣接する位置における、上記複数の成分から取り出される値を線形に組み合わせる段階を備える方法。
［項目２０］
上記カラー画像の上記複数の成分から上記第１のピクセル群、上記第２のピクセル群、および上記第３のピクセル群を得た後に、上記少なくとも１つの深度または視差マップを得るために、生成する段階で実行されたものと逆の領域変換が実行される、項目１３から１８のいずれか１項に記載の方法。
［項目２１］
タイルフォーマットと呼ばれるフレームパッキングフォーマットを用いてビデオストリームを再構成する方法であり、
２つの立体ビューに関する複数の画像のピクセルを含まないフレーム部分に存在するカラー画像から開始して、少なくとも１つの深度または視差マップを再構成する段階を備える、項目１３から２０のいずれか１項に記載の方法。
［項目２２］
Ｙ、Ｕ、Ｖ成分から構成されるカラー画像から開始して少なくとも１つの深度または視差マップを再構成する装置であり、
項目１３から２１のいずれか１項に記載の方法を実行する手段を備える装置。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19a】

【図19b】