特許 5792632 デプスマップの符号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5792632

(24)【登録日】2015年8月14日

(45)【発行日】2015年10月14日

(54)【発明の名称】デプスマップの符号化

(51)【国際特許分類】

   H04N 13/00 20060101AFI20150928BHJP

【ＦＩ】

   H04N13/00 220

   H04N13/00 480

【請求項の数】17

【全頁数】25

(21)【出願番号】特願2011-547971(P2011-547971)

(86)(22)【出願日】2010年1月27日

(65)【公表番号】特表2012-516637(P2012-516637A)

(43)【公表日】2012年7月19日

(86)【国際出願番号】US2010000208

(87)【国際公開番号】WO2010087955

(87)【国際公開日】20100805

【審査請求日】2013年1月28日

(31)【優先権主張番号】61/206,496

(32)【優先日】2009年1月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【復代理人】

【識別番号】100115624

【弁理士】

【氏名又は名称】濱中 淳宏

(74)【復代理人】

【識別番号】100115635

【弁理士】

【氏名又は名称】窪田 郁大

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ポーリン ライ

(72)【発明者】

【氏名】ティエン ドン

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２００１−１７５８６３（ＪＰ，Ａ）

【文献】 国際公開第２００９／０１３６８２（ＷＯ，Ａ１）

【文献】 国際公開第２００８／１３９３５１（ＷＯ，Ａ１）

【文献】 国際公開第２００８／０１６８８２（ＷＯ，Ａ１）

【文献】 国際公開第２００８／０６２３５１（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００

(57)【特許請求の範囲】

【請求項1】

第１のビデオ画像に対応する第１のデプス画像にアクセスするステップと、
前記第１のデプス画像の所与の部分について、前記第１のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第１のビデオ画像のうちの前記同一位置のビデオ部分の第２のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップであって、前記第２のビデオ画像は前記第１のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、ステップと、
前記第２のビデオ画像に対応する第２のデプス画像にアクセスするステップと、
前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新するステップであって、時間的加重平均とメディアンフィルタとのうち１つ以上を、前記第１のデプス画像の前記所与の部分および前記第２のデプス画像の前記デプス部分のうち１つ以上の値に適用して、前記第１のデプス画像の更新された前記所与の部分を出力するステップを含む、ステップと、
を備える、方法。

【請求項2】

前記第２のデプス画像の前記デプス部分を判定するステップが、前記第１のデプス画像の前記所与の部分に、前記第１のビデオ画像のうちの前記同一位置のビデオ部分と同じ動作が与えられるように、前記ビデオ動作ベクトルを用いて、前記第２のデプス画像の前記デプス部分を前記第１のデプス画像の前記所与の部分から判定するステップを含む、請求項１に記載の方法。

【請求項3】

前記方法が、ビデオエンコーダと、前記ビデオエンコーダ用のプリプロセッサと、前記ビデオエンコーダ用のポストプロセッサと、ビデオデコーダと、前記ビデオデコーダ用のプリプロセッサと、または、前記ビデオデコーダ用のポストプロセッサとのうち１つ以上に実装される、請求項１に記載の方法。

【請求項4】

前記第１のデプス画像の前記所与の部分と前記第２のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、動作基準と時間的距離基準とのうち１つ以上に基づいて判定される、請求項１に記載の方法。

【請求項5】

前記第１のデプス画像の前記所与の部分と前記第２のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、前記第１のデプス画像の前記所与の部分と前記第２のデプス画像の前記デプス部分とにおける動作のそれぞれの量に基づいて判定される、請求項４に記載の方法。

【請求項6】

それぞれの重みの特定の１つの値が、動作ベクトルの大きさが減少するのにつれて増加する、請求項５に記載の方法。

【請求項7】

前記第１のデプス画像の前記所与の部分と前記第２のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、前記第１のビデオ画像と前記第２のビデオ画像との間の時間的距離に基づいて判定される、請求項４に記載の方法。

【請求項8】

それぞれの重みの特定の１つの値が、時間的距離が増加するのにつれて減少する、請求項７に記載の方法。

【請求項9】

メディアンフィルタが適用される場合、それぞれの重みが、ピクセルに基づいて、前記第１のデプス画像の前記所与の部分と前記第２のデプス画像の前記デプス部分とに適用される、請求項１に記載の方法。

【請求項10】

前記ビデオ動作ベクトルを判定するステップをさらに含む、請求項１に記載の方法。

【請求項11】

前記第１のビデオ画像のうちの前記同一位置のビデオ部分の第３のビデオ画像に関する動作を示す別のビデオ動作ベクトルにアクセスするステップと、
前記第３のビデオ画像に対応する第３のデプス画像にアクセスするステップと、
前記第３のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記別のビデオ動作ベクトルに基づいて判定するステップと、
をさらに備え、
前記第１のデプス画像の前記所与の部分を更新するステップが、前記第３のデプス画像の前記デプス部分および前記第２のデプス画像の前記デプス部分にさらに基づく、請求項１に記載の方法。

【請求項12】

第１のビデオ画像に対応する第１のデプス画像にアクセスするための手段と、
前記第１のデプス画像の所与の部分について、前記第１のビデオ画像のうちの同一位置のビデオ部分を判定するための手段と、
前記第１のビデオ画像のうちの前記同一位置のビデオ部分の第２のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするための手段であって、前記第２のビデオ画像は前記第１のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、手段と、
前記第２のビデオ画像に対応する第２のデプス画像にアクセスするための手段と、
前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するための手段と、
前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新するための手段であって、時間的加重平均とメディアンフィルタとのうち１つ以上を、前記第１のデプス画像の前記所与の部分および前記第２のデプス画像の前記デプス部分のうち１つ以上の値に適用して、前記第１のデプス画像の更新された前記所与の部分を出力する手段を含む、手段と、
を備える、装置。

【請求項13】

第１のビデオ画像に対応する第１のデプス画像にアクセスするステップと、
前記第１のデプス画像の所与の部分について、前記第１のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第１のビデオ画像のうちの前記同一位置のビデオ部分の第２のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップであって、前記第２のビデオ画像は前記第１のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、ステップと、
前記第２のビデオ画像に対応する第２のデプス画像にアクセスするステップと、
前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新するステップであって、時間的加重平均とメディアンフィルタとのうち１つ以上を、前記第１のデプス画像の前記所与の部分および前記第２のデプス画像の前記デプス部分のうち１つ以上の値に適用して、前記第１のデプス画像の更新された前記所与の部分を出力するステップを含む、ステップと、
をプロセッサに少なくとも行わせるための命令を記憶している、プロセッサ可読媒体。

【請求項14】

第１のビデオ画像に対応する第１のデプス画像にアクセスするステップと、
前記第１のデプス画像の所与の部分について、前記第１のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第１のビデオ画像のうちの前記同一位置のビデオ部分の第２のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップであって、前記第２のビデオ画像は前記第１のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、ステップと、
前記第２のビデオ画像に対応する第２のデプス画像にアクセスするステップと、
前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新するステップであって、時間的加重平均とメディアンフィルタとのうち１つ以上を、前記第１のデプス画像の前記所与の部分および前記第２のデプス画像の前記デプス部分のうち１つ以上の値に適用して、前記第１のデプス画像の更新された前記所与の部分を出力するステップを含む、ステップと、
を少なくとも行うために構成されたプロセッサを備える、装置。

【請求項15】

第１のビデオ画像に対応する第１のデプス画像にアクセスするための、かつ、第２のビデオ画像に対応する第２のデプス画像にアクセスするための時間フィルタであって、前記第２のビデオ画像は前記第１のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、時間フィルタと、
前記第１のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第１のビデオ画像のうちの前記同一位置のビデオ部分が第１のデプス画像の所与の部分に対応し、かつ、前記ビデオ動作ベクトルが前記第１のビデオ画像のうちの前記同一位置のビデオ部分の前記第２のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新し、該更新は、時間的加重平均とメディアンフィルタとのうち１つ以上を、前記第１のデプス画像の前記所与の部分および前記第２のデプス画像の前記デプス部分のうち１つ以上の値に適用して、前記第１のデプス画像の更新された前記所与の部分を出力することを含む、装置。

【請求項16】

第１のビデオ画像に対応する第１のデプス画像にアクセスするための、かつ、第２のビデオ画像に対応する第２のデプス画像にアクセスするための時間フィルタであって、前記第２のビデオ画像は前記第１のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、時間フィルタと、
前記第１のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第１のビデオ画像のうちの前記同一位置のビデオ部分が前記第１のデプス画像の所与の部分に対応し、かつ、前記ビデオ動作ベクトルが前記第１のビデオ画像のうちの同一位置のビデオ部分の前記第２のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新し、該更新は、時間的加重平均とメディアンフィルタとのうち１つ以上を、前記第１のデプス画像の前記所与の部分および前記第２のデプス画像の前記デプス部分のうち１つ以上の値に適用して、前記第１のデプス画像の更新された前記所与の部分を出力することを含み、
前記第１のデプス画像の前記更新された所与の部分を含む信号を変調するための変調器をさらに備える、装置。

【請求項17】

第１のビデオ画像と、第２のビデオ画像と、前記第１のビデオ画像に対応する第１のデプス画像と、前記第２のビデオ画像に対応する第２のデプス画像とを含む信号を復調するための復調器であって、前記第２のビデオ画像は前記第１のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、復調器と、
前記第１のデプス画像にアクセスするための、かつ、前記第２のデプス画像にアクセスするための時間フィルタと、
前記第１のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第１のビデオ画像のうちの前記同一位置のビデオ部分が前記第１のデプス画像の所与の部分に対応し、前記ビデオ動作ベクトルが前記第１のビデオ画像のうちの前記同一位置のビデオ部分の前記第２のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新し、該更新は、時間的加重平均とメディアンフィルタとのうち１つ以上を、前記第１のデプス画像の前記所与の部分および前記第２のデプス画像の前記デプス部分のうち１つ以上の値に適用して、前記第１のデプス画像の更新された前記所与の部分を出力することを含む、装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の引用
本願は、２００９年１月３０日に提出された米国仮出願第６１／２０６，４９６号「Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ ｏｆ Ｄｅｐｔｈ Ｍａｐｓ（デプスマップの時間フィルタリング）」の利益を主張するものであり、本願ではそれを全体として参照により本願に援用する。

【0002】

符号化システムに関する実装について記述する。各種の具体的実装は、デプスマップの符号化に関連するものである。

【背景技術】

【0003】

現在、多くのアプリケーションシステムにおいて、異なるビデオ画像ビューの間の対応を見つけるデプス推定法によって、デプスマップが得られる。カメラ設定の不適合、撮影位置の違い、および、デプス推定エラーに起因して、生成されるデプスマップに欠陥が生じることがある。そのようなデプスマップを利用すると、生成される仮想ビューに、許容されないレンダリングエラーがもたらされうるであろう。

【発明の概要】

【課題を解決するための手段】

【0004】

一般的な態様によって、第１のビデオ画像に対応する第１のデプス画像が、アクセスされる。第１のデプス画像の所与の部分について、第１のビデオ画像のうちの同一位置のビデオ部分が判定される。第１のビデオ画像のうちの同一位置のビデオ部分の第２のビデオ画像に関する動作を示すビデオ動作ベクトルが、アクセスされる。第２のビデオ画像に対応する第２のデプス画像が、アクセスされる。第２のデプス画像のデプス部分が、第１のデプス画像の所与の部分から、ビデオ動作ベクトルに基づいて判定される。第１のデプス画像の所与の部分が、第２のデプス画像のデプス部分に基づいて更新される。

【0005】

１つ以上の実装の詳細を、添付の図面および以下の記述の中で述べる。１つの具体的な形で記述される場合でも、実装はさまざまな形で構成あるいは実施されうることは明確にすべきである。例えば、ある実装が、方法としても行われうるし、例えば、一組の操作を行うように構成された装置、または、一組の操作を行うための命令を記憶する装置のような、装置としても実施されうるし、あるいは、信号の中にも実施されうる。他の態様および特徴は、添付の図面および請求項と共に以下の詳細記述を考察することから明らかになるであろう。

【図面の簡単な説明】

【0006】

【図1】左の基準ビューからの左のデプスマップの一例を示す図である。

【図2】右の基準ビューからの右のデプスマップの一例を示す図である。

【図3】デプスマップの時間フィルタリングを行うための装置の実装を示す図である。

【図4】デプスを有する３つの入力ビュー（Ｋ＝３）から９つの出力ビュー（Ｎ＝９）を生成するためのフレームワークの実装を示す図である。

【図5】ビデオ送信システムの実装を示す図である。

【図6】ビデオ受信システムの実装を示す図である。

【図7】ビデオ処理デバイスの実装を示す図である。

【図8】「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスにおける、ラップトップ領域の周辺の３つの異なるタイムスタンプにおけるデプスマップの例を示す図である。

【図9】「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスにおける、ラップトップ領域の周辺の３つの異なるタイムスタンプにおけるデプスマップの例を示す図である。

【図10】「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスにおける、ラップトップ領域の周辺の３つの異なるタイムスタンプにおけるデプスマップの例を示す図である。

【図11】「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスにおける、フロア領域の周辺のデプスマップの例を示す図である。

【図12】「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスにおける、フロア領域の周辺のデプスマップの例を示す図である。

【図13】「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスにおける、フロア領域の周辺のデプスマップの例を示す図である。

【図14】時刻ｔ−１および時刻ｔ＋１における２つの対応する領域を用いて、時刻ｔにおけるデプスマップＤの範囲内の領域に適用されたフィルタリング操作の例を示す図である。

【図15】デプスマップの時間フィルタリングを行うための方法の実装を示す図である。

【発明を実施するための形態】

【0007】

３次元テレビジョン（３ＤＴＶ）や自由視点ビデオ（ＦＶＶ：ｆｒｅｅ−ｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ）のような新しいビデオアプリケーションを容易にするため、複数のビデオビューおよび対応するピクセル毎のデプスマップを含むデータ形式が、一般的に用いられている。このデータ形式は、マルチビュー・プラス・デプス形式（ＭＶＤ：ｍｕｌｔｉ−ｖｉｅｗ ｐｌｕｓ ｄｅｐｔｈ）と呼ばれる。

【0008】

少なくとも１つの実装において、異なるタイムスタンプにおいてデプスマップ全体に時間フィルタリングを行って、デプスマップにおける時間的な整合性を向上させると共に、デプスがフラットであるか、またはスムーズに変化する領域における輪郭の誤りを除去することを提案する。

【0009】

少なくとも１つの実装において、ビデオ情報を用いてデプスマップ間の対応を識別することにより、対応する領域／対象に時間を越えてフィルタリングを適用するようにすることを提案する。

【0010】

処理されたデプスマップは、典型的には、静的領域における時間的整合性が向上し、かつ、バンディング（輪郭の誤り）が大幅に減少するであろう。これらの向上によって、処理されたデプスマップを用いてレンダリングされる仮想ビューのレンダリング品質が向上するだけでなく、静的領域についてのデプスが安定化して（時間予測に利する）輪郭の誤りが除去される（空間予測に利する）ため、符号化効率も高まるはずである。

【0011】

図１は、本原理の一実施形態によって本原理が適用されうる、「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスに対応する第６のビューについて生成された例示的なデプスマップを示す図である。図２は、本原理の一実施形態によって本原理が適用されうる、「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスに対応する第９のビューについて生成された例示的なデプスマップを示す図である。ユーザエンドでは、例えば、送信または記憶されたビデオ画像ビュー（基準ビュー）と、対応するデプスマップとを入力として用いるＤＩＢＲ（ｄｅｐｔｈ ｉｍａｇｅ ｂａｓｅｄ ｒｅｎｄｅｒｉｎｇ：デプスイメージに基づくレンダリング）の技法を用いて、中間的なビデオビュー（仮想ビュー）が生成されてもよい。

【0012】

図３は、本原理の一実施形態によって本原理が適用されうる、デプスマップの時間フィルタリングを行うための例示的装置３００を示す図である。装置３００は動作分析器３１０を含んでおり、その出力が、通信によって、重み算出器３２０の入力および時間フィルタ３３０の第３の入力に接続されていて、それらに動作ベクトルを提供している。重み算出器３２０の出力が、通信によって、時間フィルタ３３０の第１の入力に接続されていて、それにフィルタの重みを提供している。動作分析器３１０の入力が、ビデオシーケンスを受信するための、装置３００の入力として利用可能である。時間フィルタ３３０の第２の入力が、デプスシーケンスを受信するための、装置３００の入力として利用可能である。時間フィルタ３３０の出力が、フィルタを通したデプスマップシーケンスを出力するための、装置３００の出力として利用可能である。装置３００の操作は、以下でさらに詳しく説明する。

【0013】

図３の実装、および本願で説明するその他のデバイスは、１つの端末またはポートで２つ以上の入力信号を受信してもよい。例えば、１つ以上の時間フィルタ３３０の実装では、デプスシーケンスとフィルタの重みと動作ベクトルとを、１つの入力ポートで受信してもよい。

【0014】

図４は、本原理の一実施形態による、本原理が適用されうる、デプスを有する３つの入力ビュー（Ｋ＝３）から９つの出力ビュー（Ｎ＝９）を生成するための例示的なフレームワーク４００を示す図である。フレームワーク４００は、多視点の出力をサポートする自動立体３Ｄディスプレイ４１０と、第１のデプスイメージに基づくレンダラ４２０と、第２のデプスイメージに基づくレンダラ４３０と、復号されたデータのためのバッファ４４０とを含んでいる。復号されたデータは、ＭＶＤ（Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ ｐｌｕｓ Ｄｅｐｔｈ）データとして知られる表現である。９つのビューを、Ｖ１乃至Ｖ９で示す。３つの入力ビューに対応するデプスマップを、Ｄ１、Ｄ５、Ｄ９で示す。捕捉されたカメラ位置（例えばＰｏｓ１、Ｐｏｓ２、Ｐｏｓ３）の間に、どのような仮想カメラ位置が、図４に示すように、利用可能なデプスマップ（Ｄ１、Ｄ５、Ｄ９）を用いて生成されてもよい。図４で分かるように、データを捕捉するのに用いられる実際のカメラ（Ｖ１、Ｖ５、およびＶ９）間の基線は、広いことがある。結果として、符号化効率は時間的相関に依存するであろうから、これらのカメラ間の相関は著しく低下し、これらのカメラの符号化効率が劣化する可能性がある。

【0015】

図５は、本原理の一実装による、本原理が適用されうる、例示的なビデオ送信システム５００を示す図である。ビデオ送信システム５００は、例えば、衛星、ケーブル、電話回線、地上波放送のような、多様な媒体のいずれかを用いて信号を送信するための、ヘッドエンドまたは送信システムであってもよい。送信は、インターネットまたは何らかの他のネットワーク経由で提供されてもよい。

【0016】

ビデオ送信システム５００は、デプスを有する圧縮ビデオを生成および配信することができる、これは、例えばデコーダを有しうる受信器エンドで、デプス情報、または、デプス情報を合成するのに用いられうる情報を含む符号化された信号を生成することによって達成される。

【0017】

ビデオ送信システム５００は、エンコーダ５１０と、符号化された信号を送信することができる送信器５２０とを含んでいる。エンコーダ５１０は、ビデオ情報を受信して、デプスを有する符号化された信号を生成する。エンコーダ５１０は、例えば、各種の情報の断片を受信し、それらを、構造化された形式で記憶または送信するアセンブリユニットを含むサブモジュールを含んでいてもよい。各種の情報の断片は、例えば、符号化された、または、符号化されていないビデオと、符号化された、または、符号化されていないデプス情報と、符号化された、または、符号化されていない要素、例えば動作ベクトル、符号化モード指標、シンタックス要素等を含んでいてもよい。

【0018】

送信器５２０は、例えば、符号化された画像、および／または、それに関する情報を表す、１つ以上のビットストリームを有するプログラム信号を送信するように構成されていてもよい。典型的な送信器は、例えば、誤り訂正符号化を提供することと、信号の中にデータをインタリーブすることと、信号の中のエネルギーを無作為化することと、および／または、信号を１つ以上の搬送波上で変調することとのうち、１つ以上の機能を果たす。送信器は、アンテナ（図示せず）を有するか、またはアンテナとのインタフェースを有していてもよい。従って、送信器５２０の実装は、変調器を含むか、または変調器に限定されてもよい。

【0019】

図６は、本原理の一実施形態による、本原理が適用されうる、例示的なビデオ受信システム６００を示す図である。ビデオ受信システム６００は、例えば、衛星、ケーブル、電話回線、地上波放送のような、多様な媒体で信号を受信するように構成されてもよい。信号は、インターネットまたは何らかの他のネットワーク経由で受信されてもよい。

【0020】

ビデオ受信システム６００は、例えば、携帯電話、コンピュータ、セットトップボックス、テレビジョン、または、符号化されたビデオ画像を受信するその他のデバイスであってもよく、例えば、ユーザに表示するため、または記憶するために、復号されたビデオを提供する。従って、ビデオ受信システム６００は、その出力を、例えば、テレビ画面、コンピュータのモニタ、（記憶、処理、および表示のための）コンピュータ、もしくは、何らかの他の記憶、処理、または表示デバイスに提供してもよい。

【0021】

ビデオ受信システム６００は、ビデオ情報を含むビデオコンテンツを受信して処理することができる。ビデオ受信システム６００は、例えば本願の実装において説明した信号のような、符号化された信号を受信することができる受信器６１０と、受信された信号を復号することができるデコーダ６２０とを有する。

【0022】

受信器６１０は、例えば、符号化された画像を表す複数のビットストリームを有するプログラム信号を受信するように構成されてもよい。典型的な受信器は、例えば、変調され符号化されたデータ信号を受信することと、１つ以上の搬送波からのデータ信号を復調することと、信号の中のエネルギーの無作為化を除去することと、信号の中のデータのインタリーブを除去することと、および／または、信号の誤り訂正の復号とのうち、１つ以上の機能を果たす。受信器６１０は、アンテナ（図示せず）を有するか、またはアンテナとのインタフェースを有していてもよい。受信器６１０の実装は、復調器を含むか、または復調器に限定されてもよい。デコーダ６２０は、ビデオ情報およびデプス情報を含むビデオ信号を出力する。

【0023】

図７は、本原理の一実施形態による、本原理が適用されうる、例示的なビデオ処理デバイス７００を示す図である。ビデオ処理デバイス７００は、例えば、セットトップボックス、または、符号化されたビデオを受信するその他のデバイスであってもよく、例えば、ユーザに表示するため、または記憶するために、復号されたビデオを提供する。従って、ビデオ処理デバイス７００は、その出力を、テレビジョン、コンピュータのモニタ、またはコンピュータもしくは他の処理デバイスに提供してもよい。

【0024】

ビデオ処理デバイス７００は、フロントエンド（ＦＥ）デバイス７０５とデコーダ７１０とを有する。フロントエンドデバイス７０５は、例えば、符号化された画像を表す複数のビットストリームを有するプログラム信号を受信し、かつ、復号するために複数のビットストリームから１つ以上のビットストリームを選択するように構成された受信器であってもよい。典型的な受信器は、例えば、変調され符号化されたデータ信号を受信することと、データ信号を復調することと、データ信号の１つ以上の符号化（例えば、チャネル符号化および／またはソース符号化）を復号することと、および／または、データ信号を誤り訂正することとのうち、１つ以上の機能を果たす。フロントエンドデバイス７０５は、例えばアンテナ（図示せず）からプログラム信号を受信してもよい。フロントエンドデバイス７０５は、受信したデータ信号をデコーダ７１０に提供する。

【0025】

デコーダ７１０は、データ信号７２０を受信する。データ信号７２０は、例えば、１つ以上のＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、またはＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）互換性を持つストリームを含んでもよい。

【0026】

ＡＶＣは、詳細には、既存のＩｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ（ＩＳＯ／ＩＥＣ）Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４（ＭＰＥＧ−４）Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ｃｏｄｉｎｇ（ＡＶＣ）標準／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ、Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ−Ｔ）Ｈ．２６４ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ（以下、「Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準」または、その変化形、例えば「ＡＶＣ標準」または単純に「ＡＶＣ」）のことを言う。

【0027】

ＭＶＣは、詳細には、ＡＶＣ標準の多視点ビデオ符号化（ｍｕｌｔｉ−ｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ「ＭＶＣ」）拡張部分（Ａｎｎｅｘ Ｈ）のことを言うのであって、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＶＣ拡張部分（「ＭＶＣ拡張部分」または単純に「ＭＶＣ」）と呼ばれることもある。

【0028】

ＳＶＣは、詳細には、ＡＶＣ標準のスケーラブルビデオ符号化（ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ「ＳＶＣ」）拡張部分（Ａｎｎｅｘ Ｇ）のことを言うのであって、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＳＶＣ拡張部分（「ＳＶＣ拡張部分」または単純に「ＳＶＣ」）と呼ばれることもある。

【0029】

デコーダ７１０は、受信信号７２０のすべて、またはその一部を復号し、復号されたビデオ信号７３０を出力として提供する。復号されたビデオ７３０は、選択器７５０に提供される。また、デバイス７００は、ユーザ入力７７０を受信するユーザインタフェース７６０を備えている。ユーザインタフェース７６０は、ユーザ入力７７０に基づいて、画像選択信号７８０を選択器７５０に提供する。画像選択信号７８０およびユーザ入力７７０は、複数の画像、シーケンス、スケーラブルバージョン、ビュー、または利用可能な復号されたデータのその他の選択肢のうち、どれをユーザが表示してほしいのかを示す。選択器７５０は、選択された画像を出力７９０として提供する。選択器７５０は、画像選択情報７８０を用いて、復号されたビデオ７３０の中の画像のうちでどれを出力７９０として提供するかを選択する。

【0030】

各種の実装において、選択器７５０はユーザインタフェース７６０を有しており、また、他の実装においては、別個のインタフェース機能が行われることなく、選択器７５０がユーザ入力７７０を直接受信するため、ユーザインタフェース７６０は必要とされない。選択器７５０は、例えば、ソフトウェアの中に、あるいは集積回路として実装されてもよい。一実装では、選択器７５０は、デコーダ７１０に組み込まれており、また別の実装では、デコーダ７１０、選択器７５０、およびユーザインタフェース７６０は、すべて統合されている。

【0031】

一応用例では、フロントエンド７０５が、各種のテレビ番組の同報を受信して、処理するために１つを選択する。１つの番組の選択は、所望の視聴チャネルのユーザ入力に基づく。フロントエンドデバイス７０５へのユーザ入力は図７には示していないが、フロントエンドデバイス７０５は、ユーザ入力７７０を受信する。フロントエンドデバイス７０５は、同報を受信し、同報スペクトルの関連部分を復調した上で、復調された番組のいずれかの外側の符号化を復号することによって、所望の番組を処理する。フロントエンドデバイス７０５は、復号された番組をデコーダ７１０に提供する。デコーダ７１０は、デバイス７６０とデバイス７５０とを含む統合ユニットである。こうしてデコーダ７１０はユーザ入力を受信し、それは、番組の中で見たいと思うビューの指標をユーザが提供したものである。デコーダ７１０は、選択されたビューだけでなく、他のビューからも必要な基準画像を復号し、テレビ画面（図示せず）に表示するための復号されたビュー７９０を提供する。

【0032】

上記応用例の続きだが、ユーザが、表示されるビューを切り替えることを望んだり、次いで、新たな入力をデコーダ７１０に提供したりしてもよい。ユーザから「ビュー変更」を受信した後、デコーダ７１０は、古いビューと新しいビューの両方を復号するだけでなく、古いビューと新しいビューとの間にあるいかなるビューをも復号する。すなわち、デコーダ７１０は、古いビューを撮影しているカメラと新しいビューを撮影しているカメラとの間に物理的に位置しているカメラから撮影されたいかなるビューをも復号する。また、フロントエンドデバイス７０５は、古いビューと、新しいビューと、それらの間のビューとを識別する情報を受信する。そのような情報は、例えば、ビューの位置についての情報を有する制御器（図７には図示せず）、またはデコーダ７１０によって提供されてもよい。他の実装は、フロントエンドデバイスと統合された制御器を有するフロントエンドデバイスを用いてもよい。

【0033】

デコーダ７１０は、これらの復号されたビューのすべてを出力７９０として提供する。ポストプロセッサ（図７には図示せず）が、古いビューから新しいビューへのスムーズな移行を提供するためにビュー間を補間し、この移行をユーザに表示する。新しいビューへの移行の後、ポストプロセッサは、新しいビューだけが必要であることを、（図示しない１つ以上の通信リンクを通して）デコーダ７１０およびフロントエンドデバイス７０５に通知する。その後、デコーダ７１０は、新しいビューだけを出力７９０として提供する。

【0034】

システム７００を用いて、一連のイメージの複数のビューを受信した上で１つのビューをディスプレイに表示し、そして各種のビューをスムーズに切り替えてもよい。スムーズにとは、別のビューへ移動するためビューの間に補間することを含んでもよい。加えて、システム７００によって、ユーザが対象または場面を回転させたり、その他のやり方で、対象または場面の三次元表現を見たりすることができてもよい。例えば、対象の回転は、ビュー間のスムーズな移行が得られるように、または単純に三次元表現を得るために、ビューからビューへの移動、およびビュー間を補間することに対応してもよい。すなわち、ユーザは、表示されることになる「ビュー」として、補間されたビューを「選択」してもよい。

【0035】

３ＤＴＶおよびＦＶＶの応用例については、典型的には複数のビデオビューおよび対応するデプスマップ（例えばＭＶＤ形式）を入力として採用するＤＩＢＲ技法を用いて、仮想ビューをレンダリングすることができる。典型的には、デプスマップは、一定のマッチングコストを最小化することによってビデオビュー間のピクセル対応を確立するデプス推定ルーチンによって得られる。デプス値は、アクティブなデバイス（レンジカメラ等）によって測定されるのではなく推定されるため、デプスマップは、推定誤差を非常に生じやすく、生成される仮想ビューのレンダリング品質が低下しやすい。

【0036】

推定によるデプスマップにありうる１つの欠陥は、静的領域における時間的な不整合である。図８，９、１０は、「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスにおける、ラップトップ領域の周辺の３つの異なるタイムスタンプにおける例示的なデプスマップをそれぞれ示す図である。具体的には、図８は、ＭＰＥＧテストシーケンス「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」のフレーム５についての例示的なデプスマップ８００を示し、図９は、フレーム１０についての例示的なデプスマップ９００を示し、図１０は、フレーム１５についての例示的なデプスマップ１０００を示す図である。デプス推定は、フレーム毎に行われるため、時間的な整合性をチェックするためのメカニズム（ここでは、これを「時間的非依存デプスマップ」と呼ぶ）は構築されてこなかった。ラップトップの境界線と、そのデプス値とがフレーム毎に変化することを観察することができるが、そのため、典型的には、レンダリングされる仮想ビューにおいてチラツキの欠陥が生じるであろう。さらに、デプス値が時間と共に変化するため、そのような時間的な不整合の問題を伴うデプスマップを符号化すると、ビットレートが高速になるであろう。

【0037】

デプスマップについて頻繁に観察されるもう１つの欠陥は、デプス値がスムーズに変化する領域におけるバンディング（輪郭の誤り）である。図１１、１２、１３は、「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」として知られるＭＰＥＧテストシーケンスにおける、フロア領域の周辺の例示的なデプスマップをそれぞれ示す図である。具体的には、図１１は、ＭＰＥＧテストシーケンス「Ｌｅａｖｉｎｇ＿Ｌａｐｔｏｐ」のフレーム５についての例示的なデプスマップ１１００を示し、図１２は、フレーム１０についての例示的なデプスマップ１２００を示し、図１３は、フレーム１５についての例示的なデプスマップ１３００を示す図である。図１１、１２、１３から、フロア領域のデプスマップは、何らかの人工的な輪郭を示すことが分かる。そのような領域におけるデプス値は、スムーズに変化しているはずである。そのようなパターンは典型的には、想定されるスムーズな変化よりも符号化することが難しいため、これらの輪郭では、デプスマップに関する符号化効率が低下しうるであろう。

【0038】

このような問題に対処するため、本開示で記述した少なくとも１つの実装が、時間的整合性を向上させ、かつ、輪郭の誤りを減少または除去することを目的として、推定によるデプスマップのための時間フィルタリング技法を提案する。ビデオ情報を用いて、時間フィルタリングが適用されるべき対応する領域を識別する。生じるデプスマップは、時間的な不整合が向上し、かつバンディング（輪郭の誤り）も減少して、仮想ビューについてのレンダリング品質を向上させ、デプス符号化効率も向上するであろう。

【0039】

少なくとも１つの実装において、時間的整合性を向上させ、かつ、推定によるデプスマップの欠陥を除去するため、最初のデプス推定が行われた後で（例えば、時間的非依存デプスマップが推定された後で）、時間フィルタリングを行うことを提案する。このシナリオでは、所与のタイムスタンプにおいてデプスマップをフィルタリングする（すなわち、もっと一般的には、更新する）ために、以前のタイムスタンプと将来のタイムスタップとの両方からのデプスマップを用いることができる。フィルタリングプロセスに含まれることになるデプスマップの時間ウィンドウは、異なるタイムスタンプにおけるデプスマップの中で利用可能な対応する領域の位置を特定することによって、判定することができる。異なるタイムスタンプにおける対応する領域を識別するために、ビデオビューの中の動作情報が（デプスにおける情報の代わりに）用いられる。目標は、誤ったデプス推定結果、例えば静的な領域の輪郭が変化することや人工的な輪郭を除去することであるため、ローパス特性を備えたフィルタリング操作が、少なくとも１つの実装において利用される。例えば、時間的な加重平均およびメディアンフィルタは、例示的なプロセスの候補である。以下で、ビデオからの動作情報を持つデプスマップの時間フィルタリングに関する、提案の概念の一実施形態を提供する。本原理の一実施形態によるフィルタリングプロセスの一般的ブロック図を図３に提供する。

【実施例】

【0040】

所与のビューについて、ピクセル位置（ｘ、ｙ）および時刻ｔにおける、ビデオ照度ピクセル値、および、対応する推定によるデプスマップ値を、それぞれＩ（ｘ，ｙ，ｔ）およびＤ（ｘ，ｙ，ｔ）と表示しよう。ここでは、時刻ｔにおいてＤにおける一領域について時間フィルタリングを行うことを望むと仮定し

【0041】

【数1】

【0042】

、以下のステップは、時間フィルタリングがどのように達成されるかを説明する。

【0043】

１．ビデオからの動作情報に基づいて異なるタイムスタンプにおける対応する領域を識別する
一実施形態では、ビデオからの動作情報に基づく、異なるタイムスタンプにおける対応する領域の識別は、図３の動作分析器３１０を用いて行われる。

【0044】

デプス情報は誤っていることがあることが知られているため、ビデオフレーム内の同一位置の領域

【0045】

【数2】

【0046】

を用いて、動作情報を抽出し、異なる時刻での対応を確立する。このように、ｔ’≠ｔの場合に、Ｉ（ｘ，ｙ，ｔ’）とＩ（ｘ，ｙ，ｔ）との間の対応する領域を識別するために、いかなる従来の動作分析技法が利用されてもよい。例えば、ビデオ符号化において典型的に行われるような単純なブロックに基づく動作探索は、１つのありうる選択肢である。合理的な時間的距離の範囲内

【0047】

【数3】

【0048】

でフィルタリングが行われるように、時間的な境界が設定されてもよい。対象が移動するため、一部のタイムスタンプでは所与の領域が対応を有しないこともありうる。これは、場合によっては、動作探索コスト関数に何らかの閾値を設定することによって検出されうる。

【0049】

この動作分析段階の後、所与のビデオ画像領域

【0050】

【数4】

【0051】

について、ｔとｔ’との間の対応する領域について動作ベクトル（ｍｖｘ_t'、ｍｖｙ_t'）が得られ、異なるタイムスタンプ

【0052】

【数5】

【0053】

において利用可能な対応の候補が識別される。ここで留意すべきだが、所与の領域についてのデプス対応

【0054】

【数6】

【0055】

は、これらの動作ベクトルを用いて確立され、対応する領域

【0056】

【数7】

【0057】

が得られる。この操作は、以下で述べるステップ３（時間平均）において行われる。

【0058】

２．フィルタの重みを判定する
一実施形態では、フィルタの重みの判定は、図３の重み算出器３２０を用いて行われる。
フィルタリングを行うため、ステップ１で見つけられた動作ベクトルをコピーすることによって識別されたデプス対応のそれぞれに、ｗ_t'の重みが与えられる。フィルタリングされたデプスは、

【0059】

【数8】

【0060】

の範囲内で、Ｄ”（ｘ，ｙ，ｔ）＝Σｗ_t'×Ｄ（ｘ＋ｍｖｘ_t'，ｙ＋ｍｖｙ_t'，ｔ’）であって、ここで、Σｗ_t'＝１であり、両方の加算は、Ｔの選択された時間範囲に入るｔ’に対して行われる。最もシンプルな平均法は、時刻ｔ’に関わらず重みｗが同じである、均一の重み付けを用いることである。少なくとも１つの実装では、重みを判定する時に考慮されるべき他の属性も提案する。

【0061】

動作基準：複数のタイムスタンプにわたって静止を続ける対象については、それらのデプスは変化すべきでない。従って、（ｍｖｘ_t’，ｍｖｙ_t’）がほとんどゼロであると観察された場合、時間フィルタリングを適用すれば、デプスマップにおいてこの領域についての時間的整合性を向上させうるとの確信が高まる。他方で、対象が移動する場合、時間と共にそのデプスも変化することがある。時間フィルタの感度が鈍いならば、デプスマップに何らかのエラーをもたらす可能性がある。この論理的根拠に基づいて、小さい動作を伴う対応には、より大きい重み付けｗを適用し、大きい動作を伴う対応には、より小さい重み付け（ｗ＝０ですら可能）を適用することができる。

【0062】

時間的距離基準：上記の動作基準の他に、考慮に価するもう１つの基準は、ｔ’とｔとの間の時間的距離である。典型的なローパスフィルタリングのシナリオでは、最大の重みは、一般に、ｔ’＝ｔに対して割り当てられ、重みは、ｔ’がｔから離れるにつれて減少する。例えば、重み０．５×｛１，−２，４，−２，１｝を、ｔ’＝｛ｔ−２，ｔ−１，ｔ，ｔ＋１，ｔ＋２｝に割り当てることができる。ここで留意すべきだが、ステップ１で対応が見つからないタイムスタンプがいくつかある場合には、重みは、Σｗ_t’＝１を保証するため、適宜調整される必要がある。例えば、ｔ’＝ｔ＋１で合致するものがない場合には、重みは、ｔ’＝｛ｔ−２，ｔ−１，ｔ，ｔ＋２｝について０．２５×｛１，−２，４，１｝になるであろう。ここで留意すべきだが、マイナスの重みを用いると、例えば、フィルタが、理想的なローパスフィルタのそれに近い周波数特性を持つことができるようになる。

【0063】

特殊な場合（メディアンフィルタ）：選択されたフィルタが、メディアンフィルタである場合には、

【0064】

【数9】

【0065】

の範囲内の各ピクセルについて、フィルタリングされた値Ｄ”（ｘ，ｙ，ｔ）が、ステップ１で識別された対応する位置におけるピクセルの中央値である。ここで留意すべきだが、この場合、各ピクセルの時間的中央値は、同じタイムスタンプから来ないかもしれないため、フィルタリングの重みは、ピクセルに基づいて割り当てられる。また、留意すべきだが、メディアンフィルタは、中央値に１の重みを置いた重み付けフィルタであると説明してもよい。

【0066】

３．時間平均
一実施形態では、図３の時間フィルタ３３０を用いて時間平均が行われる。
所与の領域

【0067】

【数10】

【0068】

についてフィルタリングを行うには、ステップ１で見つけられた動作ベクトル（ｍｖｘ_t'，ｍｖｙ_t'）を用いて、対応する領域

【0069】

【数11】

【0070】

を得る。今、重みｗ_t'が判定されたため、フィルタリングされたデプス値Ｄ”を以下のように算出し、Ｔのタイムスタンプ範囲内で選択された各種のｔ’の値について合計を行うことができる。
Ｄ”（ｘ，ｙ，ｔ）＝Σｗ_t'×Ｄ（ｘ＋ｍｖｘ_t'，ｙ＋ｍｖｙ_t'，ｔ’）
ここでΣｗ_t'＝１である。

【0071】

フィルタリングされたデプスマップを生成するため、最初のデプス値を、フィルタリングされたデプス値と置き換える。

【0072】

時刻ｔにおけるデプスマップＤ（ｘ，ｙ，ｔ）全体についてフィルタリングが行われた後、次のデプスマップについて、ｔ＋１において手順が繰り返されるであろう。ここで留意すべきだが、この時点で、Ｄ（ｘ，ｙ，ｔ＋１）についてのフィルタリングを行うために、すでにフィルタリングされたマップＤ”（ｘ，ｙ，ｔ）を用いることも、または、代わりに元のＤ（ｘ，ｙ，ｔ）を用いることもできる。一般的な目的では、どちらの方法も考えられる。過剰なフィルタリングという起こり得る問題を避けるため、１つの実装は、ｔ＋１でデプスマップをフィルタリングするために、最初のデプスマップを用いる。対照的に、別の実装は、これまでのデプスマップと現行のデプスマップとの間の連続性を高めることを目的として、すでにフィルタリングされたマップを用いる。

【0073】

図１４は、本原理の一実施形態によって、時刻ｔにおけるデプスマップＤの範囲内の一領域に適用されるフィルタリング操作の一例を、時刻ｔ−１および時刻ｔ＋１におけるその２つの対応する領域を用いて示し、また、異なる領域間の関係を描いた図である。所与のデプス領域について、時刻ｔにおけるビデオフレームＩの範囲内のその同一位置の領域が、最初に得られる。次いで、この同一位置のビデオ領域と他のビデオフレームの中の領域との間の対応を識別するために、動作分析が行われ、動作ベクトル（ｍｖｘ_t-1，ｍｖｙ_t-1）および（ｍｖｘ_t+1，ｍｖｙ_t+1）が出力される。斜線で描いた、時刻ｔ−１および時刻ｔ＋１におけるデプスマップの中の対応する領域が、これらの動作ベクトルを用いて得られる。最後に、フィルタの重みが、対応するデプス領域（斜線）に適用され、場合によっては、時刻ｔにおける所与のデプス領域についてのフィルタリングされた値を演算するため、時刻ｔにおける所与のデプス領域に適用されるであろう。

【0074】

図１５は、本原理の一実施形態による、デプスマップの時間フィルタリングを行うための例示的な方法を示す図である。ステップ１５１０では、時刻ｔにおけるデプスマップおよび対応するビデオが、入力として得られる。ステップ１５１５では、フィルタリングされることになるデプスマップの中の一領域が選択される。ステップ１５２０では、ビデオフレームの中の同一位置の領域についての動作分析が行われ、得られた動作情報が記録される。ステップ１５２５では、フィルタの重みが（例えば、動作、時間基準等に基づいて）判定される。ステップ１５３０では、動作情報を用いて、フィルタリングされることになるデプス領域について、他のデプスマップの中の対応する領域が得られる。ステップ１５３５では、領域が、他のデプスマップにおける対応する領域と一緒に、かつ、判定された重みを用いて、フィルタリングされる。ステップ１５４０では、現行のデプスマップが完了したか否かが判定される。そうであれば、制御権はステップ１５４５に渡される。そうでない場合、制御権は、ステップ１５１５に戻される。ステップ１５４５では、ｔ＝ｔ＋１においてフィルタリングすべきデプスマップがもっとあるのか否かが判定される。そうであれば、制御権は、ステップ１５１０に戻される。そうでない場合、方法は終了する。

【0075】

先に述べたように、フィルタリング操作は、更新と呼ばれることがある。用いられる用語に関わらず、デプスマップの所与の部分をフィルタリング／更新する操作は、他のデプスマップからのデプス値にアクセスすることとそれを用いることを含むことがある。実際、各種の実施形態では、所与のデプスマップは考慮されないため、所与のデプスマップの所与の部分をフィルタリング／更新することは、他のデプスマップからのデプス値にアクセスしてそれを用いることだけを含む。

【0076】

各種の実装は、同じタイムスタンプにおける他のビューからのデプスマップ、および／または、異なるタイムスタンプにおける他のビューからのデプスマップを用いることによって、デプスマップの所与の部分を更新する。異なるタイムスタンプにおける同じビューからのデプスマップに加えて、またはその代わりに、他のビューからのデプスマップが、用いられてもよい。同じビューからのデプスマップを用いる一定の実装は、例えば、チラツキの問題に対処することができる。同様に、異なるビューからのデプスマップの使用は、１つ以上の特定の欠陥または雑音タイプに対応するのに特に適していることがある。

【0077】

各種の実装は、測定されたデプスマップをフィルタリング／更新するものであって、その場合のデプス値は、推定されたのではなく、測定されたものである。測定されたデプスマップは、推定されたデプスマップとは別の欠陥を示すことがある。しかし、本原理は、同じ利点または追加の利点を、特に、異なるデプスマップを測定するために異なる装置が用いられる場合に提供しうる。装置は、例えば、異なるビューを考察する場合に、または、所与のビューについて装置が変更された場合に、または、所与のビューが、異なる条件下で用いられる複数の測定デバイスを有する場合に、異なることがある。

【0078】

ビデオブロックについての動作ベクトルを判定し、デプスブロックに関してフィルタリング操作を行うために、同じ動作ベクトルを用いてデプスマップ間の対応を見つけるような一定の実装について、ここまで記述してきた。しかし、他の実装は、フィルタリング操作を行うために、厳密な動作ベクトルの代わりに、またはそれに加えて、動作ベクトルの変形を用いて、デプスマップ間の対応を見つける。例えば、一実装では、厳密な動作ベクトルを用いてデプスマップ間の対応を見つけるが、次いで、その動作ベクトルが修正され、従ってこの場合、異なる対応が判定される。次いで、両方の対応が、フィルタリング操作の中で用いられる。そのような実装は、より大きな対応を提供し、従って、フィルタリング操作に関して、より多くの候補を提供する。動作ベクトルのそのような修正の１つは、同じ対象またはエリアの中に依然として存在する別のエリアを対応が指示する（例えば、最前面または最背面）ように、動作ベクトルをわずかに変化させることである。

【0079】

本願では、動作ベクトルという用語は、典型的には、時刻ｔにおける所与のブロックに適用され、（例えば、異なるタイムスタンプを有する）異なる時刻における画像に対する、そのブロックの動作を示す。動作ベクトルは、しかし、２つの画像間の相対的動作を特徴づけると理解される。従って、動作ベクトルは、両方の画像の対応するブロックに適用される。

【0080】

本願の中で記述した実装および特徴の一部は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（ＡＶＣ）標準、またはＭＶＣ拡張部分を備えたＡＶＣ標準、またはＳＶＣ拡張部分を備えたＡＶＣ標準の文脈で用いられてもよい。しかし、これらの実装および特徴は、（既存の、または将来の）別の標準の文脈で、または、標準に関係しない文脈で用いられてもよい。従って、ここでは、具体的な特徴および態様を有する１つ以上の実装を提供する。しかし、記述された特徴および態様は、他の実装にも適用されうる。

【0081】

加えて、多くの実装が、エンコーダ、デコーダ、プロセッサ（例えば、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ）等のうち１つ以上に実装されてもよい。少なくとも１つの実装では、デプス値を更新することは、デプスを符号化する前に行われてもよい。少なくとも１つの他の実装では、デプスは、エンコーダで計算されるのではなく、受信器／テレビジョンで、またはデプスを符号化したり送信したりすることなくビデオ画像ソースで計算される。代わりに、デプス画像なしでビデオだけが送信されてもよい。次いで、例えば、受信器は受信器に接続されているテレビジョンに新しいビューをレンダリングできることを望むわけだから、受信器がデプスを推定してもよい。さらに、本開示によって他の実装が考えられる。

【0082】

このようにして、具体的な特徴および態様を有する１つ以上の実装を提供する。しかし、記述した実装の特徴および態様は、他の実装にも適合されうる。実装は、ＳＥＩメッセージ、スライスヘッダ、他の高レベルシンタックス、非高レベルシンタックス、帯域外情報、データストリームのデータ、暗黙のシグナリングを含むが、それに限定されず、各種の技法を用いて情報を信号で伝達してもよい。従って、本書で記述した実装は、具体的な文脈で記述されていることがあるが、そのような記述は、特徴および概念をそのような実装または文脈に限定していると決してみなされてはならない。

【0083】

明細書における本原理の「一実施形態」または「実施形態」または「一実装」または「実装」、およびその変形への言及は、その実施形態に関して述べた具体的な特徴、構造、特性等が、本原理の少なくとも１つの実施形態に含まれていることを意味する。従って、「一実施形態では」または「ある実施形態では」または「一実装では」または「ある実装では」という句が現れること、および他のいずれかの変形が本明細書を通してさまざまな場所に現れることは、すべて同じ実施形態を言及しているとは限らない。

【0084】

理解されるべきだが、以下の「／」、「および／または」、「のうち少なくとも１つ」のいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡとＢとのうち少なくとも１つ」の場合には、第１に記載された選択肢（Ａ）だけの選択、または第２に記載された選択肢（Ｂ）だけの選択、または両方の選択肢（ＡとＢ）の選択を含むことが意図されている。別の例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、ＢおよびＣのうち少なくとも１つ」および「Ａ、Ｂ、またはＣのうち少なくとも１つ」の場合、そのような語句は、第１に記載された選択肢（Ａ）だけの選択、または第２に記載された選択肢（Ｂ）だけの選択、または第３に記載された選択肢（Ｃ）だけの選択、または第１と第２とに記載された選択肢（ＡとＢ）だけの選択、または第１と第３とに記載された選択肢（ＡとＣ）だけの選択、または第２と第３とに記載された選択肢（ＢとＣ）だけの選択、または３つの選択肢すべて（ＡとＢとＣ）の選択を含むことが意図されている。当分野および関連分野の当業者には容易に理解できるとおり、これは、記載された項目すべてに拡大適用されてもよい。

【0085】

また本書では、「画像（ｐｉｃｔｕｒｅ）」および「イメージ（ｉｍａｇｅ）」という用語は、交換できるように用いられており、例えば、静止画像の全体または一部、あるいはビデオシーケンスからの画像の全部または一部のことを言う。周知のように、画像は、フレームまたはフィールドであってもよい。加えて、本書では、画像はフレームの一部であって、例えばフレームの上半分であるか、または１つのマクロブロックであってもよい。別の例として、デプス画像は、例えば、デプスマップ全体であってもよいし、例えば、対応するビデオフレームの１つのマクロブロックについてのデプス情報を含むだけである、部分的なデプスマップであってもよい。

【0086】

本書で述べた実装は、例えば方法として、またはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号として実装されてもよい。実装の１つの形式の文脈で論じられただけであった（例えば、方法として論じられただけ）としても、論じられた特徴の実装は、他の形式（例えば、装置またはプログラム）でも実装されうる。装置は、例えば、適切なハードウェア、ソフトウェア、ファームウェアの中に実装されてもよい。方法は、例えば、プロセッサのような装置の中に実装されてもよく、プロセッサとは、マイクロプロセッサと集積回路とプログラマブル論理デバイスとを含めて、一般に処理デバイスのことを言う。また、プロセッサは、例えばコンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）、エンドユーザ間の情報通信を円滑化するその他のデバイス等の、通信デバイスも含む。

【0087】

本書で述べた各種のプロセスおよび特徴の実装は、各種の多様な装置またはアプリケーション、特に、例えば、データ符号化および復号に関連する装置またはアプリケーションの中に実施されてもよい。そのような装置の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、その他の通信デバイスが含まれる。明確であるべきだが、装置は、移動可能であってもよく、移動する車両の中に設置されていてもよい。

【0088】

加えて、方法は、プロセッサによって実行される命令によって実装されてもよく、そのような命令（および／または実装によって生成されるデータ値）は、例えば集積回路、ソフトウェア搬送波、または他のストレージデバイス、例えばハードディスク、コンパクトディスケット、ランダムアクセスメモリ（「ＲＡＭ」）、またはリードオンリーメモリ（「ＲＯＭ」）のようなプロセッサ読取可能媒体に記憶されてもよい。命令は、プロセッサ読取可能媒体上に有形に実施されたアプリケーションプログラムを形成していてもよい。命令は、例えばハードウェア、ファームウェア、ソフトウェアとして、またはそれらを組み合わせた形であってもよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、または、その２つの組み合わせの中にあってもよい。プロセッサは、従って、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体（例えばストレージデバイス）を有するデバイスとの両方であるとして特徴付けられてもよい。また、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実装によって生成されたデータ値を記憶してもよい。

【0089】

当業者には明らかであろうが、実装によって、例えば記憶されるか、または送信されてもよい情報を搬送するようにフォーマットされた各種の信号が生じることがある。情報には、例えば、方法を行うための命令、または上記の実装のうちの１つによって生成されたデータ、例えばシンタックスまたはデプスマップ、または１つ以上のデプスマップを処理するためのパラメータが含まれうる。例えば、信号が、上記の実施形態のシンタックスを読み取る、または書き込むための規則をデータとして搬送するか、または、上記の実施形態によって書かれた実際のシンタックス値をデータとして搬送するようにフォーマットされてもよい。そのような信号は、例えば、（例えば、スペクトルの無線周波数部分を用いて）電磁波として、またはベースバンド信号として、フォーマットされてもよい。フォーマッティングは、例えば、データストリームを符号化することと、符号化されたデータストリームを使って搬送波を変調することとを含んでもよい。信号が搬送する情報は、例えばアナログ情報またはデジタル情報であってもよい。信号は、周知のように、各種の異なる有線または無線リンク経由で送信されてよい。信号は、プロセッサ可読媒体に記憶されてもよい。

【0090】

ここまで複数の実装について述べてきた。理解されるであろうが、それでもなお、各種の修正が行われうる。例えば、異なる実装の要素を組み合わせ、補完し、修正し、または除去して、他の実装を生じさせることができる。加えて、当業者であれば理解するであろうが、他の構造およびプロセスが、開示された構造およびプロセスと置換され、結果として生じる実装が、少なくとも実質的に同じ要領で、少なくとも実質的に同じ機能を果たし、開示された実装と同じ結果を実質的に達成しうる。従って、これらの実装およびその他の実装は、本願によって意図されており、以下の請求項の範囲内にある。
本発明は以下の態様を含む。
（付記１）
第１のビデオ画像に対応する第１のデプス画像にアクセスするステップと、
前記第１のデプス画像の所与の部分について、前記第１のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第１のビデオ画像のうちの前記同一位置のビデオ部分の第２のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップと、
前記第２のビデオ画像に対応する第２のデプス画像にアクセスするステップと、
前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新するステップと、
を備える、方法。
（付記２）
前記第２のデプス画像の前記デプス部分を判定するステップが、前記第１のデプス画像の前記所与の部分に、前記第１のビデオ画像のうちの前記同一位置のビデオ部分と同じ動作が与えられるように、前記ビデオ動作ベクトルを用いて、前記第２のデプス画像の前記デプス部分を前記第１のデプス画像の前記所与の部分から判定するステップを含む、付記１に記載の方法。
（付記３）
前記第２のビデオ画像が、前記第１のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、付記１に記載の方法。
（付記４）
前記方法が、ビデオエンコーダと、前記ビデオエンコーダ用のプリプロセッサと、前記ビデオエンコーダ用のポストプロセッサと、ビデオデコーダと、前記ビデオデコーダ用のプリプロセッサと、または、前記ビデオデコーダ用のポストプロセッサとのうち１つ以上に実装される、付記１に記載の方法。
（付記５）
前記第１のデプス画像の前記所与の部分を更新するステップが、時間的加重平均とメディアンフィルタとのうち１つ以上を、前記第１のデプス画像の前記所与の部分または前記第２のデプス画像の前記デプス部分のうち１つ以上の値に適用させるステップを含む、付記１に記載の方法。
（付記６）
前記第１のデプス画像の前記所与の部分と前記第２のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、動作基準と時間的距離基準とのうち１つ以上に基づいて判定される、付記５に記載の方法。
（付記７）
前記第１のデプス画像の前記所与の部分と前記第２のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、前記第１のデプス画像の前記所与の部分と前記第２のデプス画像の前記デプス部分とにおける動作のそれぞれの量に基づいて判定される、付記６に記載の方法。
（付記８）
それぞれの重みの特定の１つの値が、動作の量が減少するのにつれて増加する、付記７に記載の方法。
（付記９）
前記第１のデプス画像の前記所与の部分と前記第２のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、前記第１のビデオ画像と前記第２のビデオ画像との間の時間的距離に基づいて判定される、付記６に記載の方法。
（付記１０）
それぞれの重みの特定の１つの値が、時間的距離が増加するのにつれて減少する、付記９に記載の方法。
（付記１１）
メディアンフィルタが適用される場合、それぞれの重みが、ピクセルに基づいて、前記第１のデプス画像の前記所与の部分と前記第２のデプス画像の前記デプス部分とに適用される、付記５に記載の方法。
（付記１２）
前記ビデオ動作ベクトルを判定するステップをさらに含む、付記１に記載の方法。
（付記１３）
前記第１のビデオ画像のうちの前記同一位置のビデオ部分の第３のビデオ画像に関する動作を示す別のビデオ動作ベクトルにアクセスするステップと、
前記第３のビデオ画像に対応する第３のデプス画像にアクセスするステップと、
前記第３のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記別のビデオ動作ベクトルに基づいて判定するステップと、
をさらに備え、
前記第１のデプス画像の前記所与の部分を更新するステップが、前記第３のデプス画像の前記デプス部分および前記第２のデプス画像の前記デプス部分にさらに基づく、付記１に記載の方法。
（付記１４）
第１のビデオ画像に対応する第１のデプス画像にアクセスするための手段と、
前記第１のデプス画像の所与の部分について、前記第１のビデオ画像のうちの同一位置のビデオ部分を判定するための手段と、
前記第１のビデオ画像のうちの前記同一位置のビデオ部分の第２のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするための手段と、
前記第２のビデオ画像に対応する第２のデプス画像にアクセスするための手段と、
前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するための手段と、
前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新するための手段と、
を備える、装置。
（付記１５）
第１のビデオ画像に対応する第１のデプス画像にアクセスするステップと、
前記第１のデプス画像の所与の部分について、前記第１のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第１のビデオ画像のうちの前記同一位置のビデオ部分の第２のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップと、
前記第２のビデオ画像に対応する第２のデプス画像にアクセスするステップと、
前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新するステップと、
をプロセッサに少なくとも行わせるための命令を記憶している、プロセッサ可読媒体。
（付記１６）
第１のビデオ画像に対応する第１のデプス画像にアクセスするステップと、
前記第１のデプス画像の所与の部分について、前記第１のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第１のビデオ画像のうちの前記同一位置のビデオ部分の第２のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップと、
前記第２のビデオ画像に対応する第２のデプス画像にアクセスするステップと、
前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新するステップと、
を少なくとも行うために構成されたプロセッサを備える、装置。
（付記１７）
第１のビデオ画像に対応する第１のデプス画像にアクセスするための、かつ、第２のビデオ画像に対応する第２のデプス画像にアクセスするための時間フィルタと、
前記第１のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第１のビデオ画像のうちの前記同一位置のビデオ部分が第１のデプス画像の所与の部分に対応し、かつ、前記ビデオ動作ベクトルが前記第１のビデオ画像のうちの前記同一位置のビデオ部分の前記第２のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新する、装置。
（付記１８）
第１のビデオ画像に対応する第１のデプス画像にアクセスするための、かつ、第２のビデオ画像に対応する第２のデプス画像にアクセスするための時間フィルタと、
前記第１のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第１のビデオ画像のうちの前記同一位置のビデオ部分が前記第１のデプス画像の所与の部分に対応し、かつ、前記ビデオ動作ベクトルが前記第１のビデオ画像のうちの同一位置のビデオ部分の前記第２のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新し、
前記装置は、前記第１のデプス画像の前記更新された所与の部分を含む信号を変調するための変調器をさらに備える、装置。
（付記１９）
第１のビデオ画像と、第２のビデオ画像と、前記第１のビデオ画像に対応する第１のデプス画像と、前記第２のビデオ画像に対応する第２のデプス画像とを含む信号を復調するための復調器と、
前記第１のデプス画像にアクセスするための、かつ、前記第２のデプス画像にアクセスするための時間フィルタと、
前記第１のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第１のビデオ画像のうちの前記同一位置のビデオ部分が前記第１のデプス画像の所与の部分に対応し、前記ビデオ動作ベクトルが前記第１のビデオ画像のうちの前記同一位置のビデオ部分の前記第２のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第２のデプス画像のデプス部分を、前記第１のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第１のデプス画像の前記所与の部分を、前記第２のデプス画像の前記デプス部分に基づいて更新する、装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】