知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5986918
(24)【登録日】2016年8月12日
(45)【発行日】2016年9月6日
(54)【発明の名称】マルチレイヤ表現を用いる映像処理方法及び装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20160823BHJP
H04N 13/00 20060101ALI20160823BHJP
【ＦＩ】
G06T19/00 F
H04N13/00 180
【請求項の数】24
【全頁数】26
(21)【出願番号】特願2012-281675(P2012-281675)
(22)【出願日】2012年12月25日
(65)【公開番号】特開2013-134787(P2013-134787A)
(43)【公開日】2013年7月8日
【審査請求日】2015年3月11日
(31)【優先権主張番号】10-2011-0142431
(32)【優先日】2011年12月26日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】白 アロン
【審査官】
岡本 俊威
(56)【参考文献】
【文献】
特開平０８−２２７４６４（ＪＰ，Ａ）
【文献】
国際公開第２０１０／０４６８１７（ＷＯ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １３／００
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
少なくとも１つの入力ビューを用いてシーンに関する情報を含む参照ビューに対するマルチレイヤ表現を生成するステップと、
前記マルチレイヤ表現を用いて出力ビューポイントにおける出力ビューを生成するステップとを含み、
前記少なくとも１つの入力ビューのそれぞれは、前記シーンの特定のビューポイントにおけるビューであり、映像及び前記映像と関連する深度マップを含み、前記少なくとも１つのレイヤのうち自身の深度値よりもさらに大きい深度値を有するレイヤを遮らない範囲内で拡張されており、前記マルチレイヤ表現は、前記少なくとも１つの入力ビューのそれぞれの前記映像及び前記深度マップに基づいてそれぞれ生成された少なくとも１つのレイヤを含む、
ことを特徴とする映像処理方法。
前記マルチレイヤ表現を用いて出力ビューポイントにおける出力ビューを生成するステップとを含み、
前記少なくとも１つの入力ビューのそれぞれは、前記シーンの特定のビューポイントにおけるビューであり、映像及び前記映像と関連する深度マップを含み、前記少なくとも１つのレイヤのうち自身の深度値よりもさらに大きい深度値を有するレイヤを遮らない範囲内で拡張されており、前記マルチレイヤ表現は、前記少なくとも１つの入力ビューのそれぞれの前記映像及び前記深度マップに基づいてそれぞれ生成された少なくとも１つのレイヤを含む、
ことを特徴とする映像処理方法。
【請求項2】
前記マルチレイヤ表現の前記少なくとも１つのレイヤを拡張するステップをさらに含む、
ことを特徴とする請求項１に記載の映像処理方法。
ことを特徴とする請求項１に記載の映像処理方法。
【請求項3】
前記少なくとも１つのレイヤの前記拡張の有無は、前記少なくとも１つのレイヤの端から１ピクセルずつ繰り返して決定される、
ことを特徴とする請求項２に記載の映像処理方法。
ことを特徴とする請求項２に記載の映像処理方法。
【請求項4】
前記少なくとも１つのレイヤのうち前記参照ビューの特定の水平線に対して最も大きい深度値を有するレイヤは、前記水平線内の全ての領域に対して色情報を有する、
ことを特徴とする請求項１乃至３の何れか一項に記載の映像処理方法。
ことを特徴とする請求項１乃至３の何れか一項に記載の映像処理方法。
【請求項5】
前記マルチレイヤ表現を生成するステップは、
前記少なくとも１つの入力ビューのそれぞれの映像を前記参照ビューに投影することによって前記少なくとも１つのレイヤを生成するステップと、
前記生成された少なくとも１つのレイヤのうち相互作用するレイヤを統合するステップと、
を含むことを特徴とする請求項１乃至４の何れか一項に記載の映像処理方法。
前記少なくとも１つの入力ビューのそれぞれの映像を前記参照ビューに投影することによって前記少なくとも１つのレイヤを生成するステップと、
前記生成された少なくとも１つのレイヤのうち相互作用するレイヤを統合するステップと、
を含むことを特徴とする請求項１乃至４の何れか一項に記載の映像処理方法。
【請求項6】
前記少なくとも１つのレイヤを生成するステップは、
前記少なくとも１つの入力ビューのうち第１入力ビューの第１位置を選択するステップと、
前記選択された第１位置を前記参照ビューに投影することによって前記参照ビュー内における第２位置及び深度を算出するステップと、
前記第２位置及び前記深度に新しいレイヤを追加するステップと、
を含むことを特徴とする請求項５に記載の映像処理方法。
前記少なくとも１つの入力ビューのうち第１入力ビューの第１位置を選択するステップと、
前記選択された第１位置を前記参照ビューに投影することによって前記参照ビュー内における第２位置及び深度を算出するステップと、
前記第２位置及び前記深度に新しいレイヤを追加するステップと、
を含むことを特徴とする請求項５に記載の映像処理方法。
【請求項7】
前記追加されたレイヤの色値は、前記第１位置の色値と同一である、
ことを特徴とする請求項６に記載の映像処理方法。
ことを特徴とする請求項６に記載の映像処理方法。
【請求項8】
前記相互作用するレイヤは、深度値間の差が閾値以下のレイヤである、
ことを特徴とする請求項５乃至７の何れか一項に記載の映像処理方法。
ことを特徴とする請求項５乃至７の何れか一項に記載の映像処理方法。
【請求項9】
前記相互作用するレイヤを統合するステップは、
前記参照ビューのうち第１位置を選択するステップと、
前記第１位置で相互作用するレイヤが有する前記第１位置に関する情報を１つのレイヤとして統合するステップと、
を含むことを特徴とする請求項５乃至８の何れか一項に記載の映像処理方法。
前記参照ビューのうち第１位置を選択するステップと、
前記第１位置で相互作用するレイヤが有する前記第１位置に関する情報を１つのレイヤとして統合するステップと、
を含むことを特徴とする請求項５乃至８の何れか一項に記載の映像処理方法。
【請求項10】
前記出力ビューを生成するステップは、
前記少なくとも１つのレイヤそれぞれを前記出力ビューに投影することによって、前記少なくとも１つのレイヤそれぞれの前記出力ビュー内における位置を算出するステップと、
前記出力ビュー内の各位置に対して前記少なくとも１つのレイヤのうち最も小さい深度値を有するレイヤの色を前記位置の色として決定するステップと、
を含むことを特徴とする請求項１乃至９の何れか一項に記載の映像処理方法。
前記少なくとも１つのレイヤそれぞれを前記出力ビューに投影することによって、前記少なくとも１つのレイヤそれぞれの前記出力ビュー内における位置を算出するステップと、
前記出力ビュー内の各位置に対して前記少なくとも１つのレイヤのうち最も小さい深度値を有するレイヤの色を前記位置の色として決定するステップと、
を含むことを特徴とする請求項１乃至９の何れか一項に記載の映像処理方法。
【請求項11】
前記マルチレイヤ表現内の隣接する第１ピクセル及び第２ピクセルがそれぞれ第１レイヤ及び第２レイヤに含まれ、前記第１ピクセルが前記出力ビューの第１位置に投影され、前記第２ピクセルが前記出力ビューの第２位置に投影される場合、前記出力ビュー内の前記第１位置及び前記第２位置の間に位置するピクセルの色は、前記第１ピクセルの色と前記第２ピクセルの色との間の内挿に基づいて決定される、
ことを特徴とする請求項１乃至１０の何れか一項に記載の映像処理方法。
ことを特徴とする請求項１乃至１０の何れか一項に記載の映像処理方法。
【請求項12】
コンピュータに、請求項１乃至１１の何れか一項に記載の映像処理方法を実行させるコンピュータプログラム。
【請求項13】
少なくとも１つの入力ビューを用いてシーンに関する情報を含む参照ビューに対するマルチレイヤ表現を生成するマルチレイヤ表現生成部と、
前記マルチレイヤ表現を用いて出力ビューポイントにおける出力ビューを生成する出力ビュー生成部とを備え、
前記少なくとも１つの入力ビューのそれぞれは、前記シーンの特定のビューポイントにおけるビューであり、映像及び前記映像と関連する深度マップを含み、前記少なくとも１つのレイヤのそれぞれは、前記少なくとも１つのレイヤのうち自身の深度値よりもさらに大きい深度値を有するレイヤを遮らない範囲内で拡張されており、前記マルチレイヤ表現は、前記少なくとも１つの入力ビューのそれぞれの前記映像及び前記深度マップに基づいて生成された少なくとも１つのレイヤを含む、
ことを特徴とする映像処理装置。
前記マルチレイヤ表現を用いて出力ビューポイントにおける出力ビューを生成する出力ビュー生成部とを備え、
前記少なくとも１つの入力ビューのそれぞれは、前記シーンの特定のビューポイントにおけるビューであり、映像及び前記映像と関連する深度マップを含み、前記少なくとも１つのレイヤのそれぞれは、前記少なくとも１つのレイヤのうち自身の深度値よりもさらに大きい深度値を有するレイヤを遮らない範囲内で拡張されており、前記マルチレイヤ表現は、前記少なくとも１つの入力ビューのそれぞれの前記映像及び前記深度マップに基づいて生成された少なくとも１つのレイヤを含む、
ことを特徴とする映像処理装置。
【請求項14】
前記マルチレイヤ表現の前記少なくとも１つのレイヤを拡張するレイヤ拡張部をさらに備える、
ことを特徴とする請求項１３に記載の映像処理装置。
ことを特徴とする請求項１３に記載の映像処理装置。
【請求項15】
前記少なくとも１つのレイヤの前記拡張の有無は、前記少なくとも１つのレイヤの端から１ピクセルずつ繰り返して決定される、
ことを特徴とする請求項１４に記載の映像処理装置。
ことを特徴とする請求項１４に記載の映像処理装置。
【請求項16】
前記少なくとも１つのレイヤのうち、前記参照ビューの特定の水平線に対して最も大きい深度値を有するレイヤは前記水平線内の全ての領域に対して色情報を有する、
ことを特徴とする請求項１３乃至１５の何れか一項に記載の映像処理装置。
ことを特徴とする請求項１３乃至１５の何れか一項に記載の映像処理装置。
【請求項17】
前記マルチレイヤ表現生成部は、前記少なくとも１つの入力ビューのそれぞれの映像を前記参照ビューに投影することによって前記少なくとも１つのレイヤを生成し、前記生成された少なくとも１つのレイヤのうち相互作用するレイヤを統合する、
ことを特徴とする請求項１３乃至１６の何れか一項に記載の映像処理装置。
ことを特徴とする請求項１３乃至１６の何れか一項に記載の映像処理装置。
【請求項18】
前記マルチレイヤ表現生成部は、前記少なくとも１つの入力ビューのうち第１入力ビューの第１位置を選択し、前記選択された第１位置を前記参照ビューに投影することによって前記参照ビュー内における第２位置及び深度を算出し、前記第２位置及び前記深度に新しいレイヤを追加することによって前記少なくとも１つのレイヤを生成し、
前記追加されたレイヤの色値は前記第１位置の色値と同一である、
ことを特徴とする請求項１７に記載の映像処理装置。
前記追加されたレイヤの色値は前記第１位置の色値と同一である、
ことを特徴とする請求項１７に記載の映像処理装置。
【請求項19】
前記相互作用するレイヤは、深度値間の差が閾値以下のレイヤである、
ことを特徴とする請求項１７又は１８に記載の映像処理装置。
ことを特徴とする請求項１７又は１８に記載の映像処理装置。
【請求項20】
前記マルチレイヤ表現生成部は、前記参照ビューのうち第１位置を選択し、前記第１位置で相互作用するレイヤが有する前記第１位置に関する情報を１つのレイヤとして統合することによって前記相互作用するレイヤを統合する、
ことを特徴とする請求項１３乃至１９の何れか一項に記載の映像処理装置。
ことを特徴とする請求項１３乃至１９の何れか一項に記載の映像処理装置。
【請求項21】
前記出力ビュー生成部は、前記少なくとも１つのレイヤそれぞれを前記出力ビューに投影することによって前記少なくとも１つのレイヤそれぞれの前記出力ビュー内における位置を算出し、前記出力ビュー内の各位置に対して前記少なくとも１つのレイヤのうち最も小さい深度値を有するレイヤの色を前記位置の色として決定することによって前記出力ビューを生成する、
ことを特徴とする請求項１３乃至２０の何れか一項に記載の映像処理装置。
ことを特徴とする請求項１３乃至２０の何れか一項に記載の映像処理装置。
【請求項22】
複数の入力映像内に存在するシーン情報を含む単一参照ビューのためのマルチレイヤ表現を生成するステップと、前記シーン情報は複数のピクセルの位置に関連するピクセル情報を含み、前記シーン情報は前記ピクセル情報に対応するレイヤ情報を含み、前記レイヤ情報は前記ピクセル情報に対応する深度情報を含み、
所定の規則に基づいて同一のピクセルの位置におけるレイヤ間の相互作用を除去するステップと、
隣接レイヤ情報が伝搬されるとき、前記伝搬された隣接レイヤ情報が隣接する位置における任意の既存のレイヤ情報を遮らない場合、前記隣接レイヤ情報を前記隣接する位置に伝搬することによって遮られた領域内のレイヤ情報を生成するステップと、
前記マルチレイヤ表現からデータをレンダリングすることによって出力ビュー映像を生成するステップと、
を含むことを特徴とする映像処理方法。
所定の規則に基づいて同一のピクセルの位置におけるレイヤ間の相互作用を除去するステップと、
隣接レイヤ情報が伝搬されるとき、前記伝搬された隣接レイヤ情報が隣接する位置における任意の既存のレイヤ情報を遮らない場合、前記隣接レイヤ情報を前記隣接する位置に伝搬することによって遮られた領域内のレイヤ情報を生成するステップと、
前記マルチレイヤ表現からデータをレンダリングすることによって出力ビュー映像を生成するステップと、
を含むことを特徴とする映像処理方法。
【請求項23】
コンピュータに、請求項２２に記載の映像処理方法を実行させるコンピュータプログラム。
【請求項24】
複数の入力映像内に存在するシーン情報を含む単一参照ビューのためのマルチレイヤ表現を生成し、所定の規則に基づいて同一のピクセルの位置におけるレイヤ間の相互作用を除去するマルチレイヤ表現生成部と、前記シーン情報は複数のピクセルの位置に関連するピクセル情報を含み、前記シーン情報は前記ピクセル情報に対応するレイヤ情報を含み、前記レイヤ情報は前記ピクセル情報に対応する深度情報を含み、
隣接レイヤ情報が伝搬されるとき、前記伝搬された隣接レイヤ情報が隣接する位置における任意の既存のレイヤ情報を遮らない場合、前記隣接レイヤ情報を前記隣接する位置に伝搬することによって遮られた領域内のレイヤ情報を生成するレイヤ拡張部と、
前記マルチレイヤ表現からデータをレンダリングすることによって出力ビュー映像を生成する出力ビュー生成部と、
を備えることを特徴とする映像処理装置。
隣接レイヤ情報が伝搬されるとき、前記伝搬された隣接レイヤ情報が隣接する位置における任意の既存のレイヤ情報を遮らない場合、前記隣接レイヤ情報を前記隣接する位置に伝搬することによって遮られた領域内のレイヤ情報を生成するレイヤ拡張部と、
前記マルチレイヤ表現からデータをレンダリングすることによって出力ビュー映像を生成する出力ビュー生成部と、
を備えることを特徴とする映像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
映像を処理する方法及び装置に関し、より詳細には、マルチレイヤ表現を用いてビューをレンダリングする映像処理方法及び映像処理装置が開示される。
【背景技術】
【0002】
３Ｄ映像装置は、入力ビューの視点から離れた他の視点における映像をユーザに提供する必要がある。したがって、３Ｄ映像装置は、入力ビューに基づいて入力ビューと他の視点における出力ビューを生成することができる。
【0003】
一般に、ネットワークの帯域幅の制限又は映像捕捉のコストなどの理由により、映像処理装置に提供される入力ビューの数は制限される。視聴者に様々な視点の映像を提供するためには、入力ビューを用いたビュー内挿（view interpolation）及びビュー外挿（view extrapolation）のうちの１つ以上によって入力ビューのビューポイント（view point）とは異なるビューポイントにおける出力ビューを生成しなければならない。
【0004】
ビュー内挿は入力ビューのビューポイントの間にあるビューポイントにおける出力ビューを生成することを意味し、ビュー外挿は入力ビューのビューポイントの外角にあるビューポイントにおける出力ビューを生成することを意味する。【特許文献1】大韓民国公開特許第２００６−００７３９６２号
【特許文献2】日本公開特許第２００６−２０８７６７号
【特許文献3】大韓民国公開特許第２００６−００４８５５１号
【特許文献4】ヨーロッパ公開特許第２２４９３１２号
【発明の概要】
【発明が解決しようとする課題】
【0005】
一実施形態の目的は、マルチ映像及び前記マルチ映像に対応する深度マップから３Ｄシーンのマルチレイヤ表現を生成する方法及び装置を提供する。
【0006】
一実施形態の目的は、マルチレイヤ表現内のレイヤ情報を入力映像内では遮られた領域に拡張する方法及び装置を提供する。
【0007】
一実施形態の目的は、構築されたマルチレイヤ表現を用いて出力ビューを生成する方法及び装置を提供する。
【課題を解決するための手段】
【0008】
一実施形態において、少なくとも１つの入力ビューを用いてシーンに関する情報を含む参照ビューに対するマルチレイヤ表現を生成するステップと、前記マルチレイヤ表現を用いて出力ビューポイントにおける出力ビューを生成するステップとを含み、前記少なくとも１つの入力ビューそれぞれは、前記シーンの特定のビューポイントにおけるビューであり、前記少なくとも１つの入力ビューそれぞれは映像及び前記映像と関連する深度マップを含み、前記マルチレイヤ表現は前記少なくとも１つの入力ビューそれぞれの前記映像及び前記深度マップに基づいてそれぞれ生成された少なくとも１つのレイヤを含む映像処理方法が提供される。
【0009】
前記映像処理方法は、前記マルチレイヤ表現の前記少なくとも１つのレイヤを拡張するステップをさらに含んでもよい。
【0010】
前記少なくとも１つのレイヤそれぞれは、前記少なくとも１つのレイヤのうち自身の深度値よりもさらに大きい深度値を有するレイヤを遮らない範囲内で拡張されてもよい。
【0011】
前記少なくとも１つのレイヤの前記拡張の有無は、前記少なくとも１つのレイヤの端から１ピクセルずつ繰り返して決定されてもよい。
【0012】
前記少なくとも１つのレイヤのうち前記参照ビューの特定の水平線に対して最も大きい深度値を有するレイヤは、前記水平線内の全ての領域に対して色情報を有してもよい。
【0013】
前記マルチレイヤ表現を生成するステップは、前記少なくとも１つの入力ビューそれぞれの映像を前記参照ビューに投影することによって前記少なくとも１つのレイヤを生成するステップと、前記生成された少なくとも１つのレイヤのうち相互作用するレイヤを統合するステップとを含んでもよい。
【0014】
前記少なくとも１つのレイヤを生成するステップは、前記一つ以上の入力ビューのうち第１入力ビューの第１位置を選択するステップと、前記選択された第１位置を前記参照ビューに投影することによって前記参照ビュー内における第２位置及び深度を算出するステップと、前記第２位置及び前記深度に新しいレイヤを追加するステップとを含んでもよい。
【0015】
前記追加されたレイヤの色値は前記第１位置の色値と同一であってもよい。
【0016】
前記相互作用するレイヤは、深度値間の差が閾値以下のレイヤであってもよい。
【0017】
前記相互作用レイヤを統合するステップは、前記参照ビューのうち第１位置を選択するステップと、前記第１位置で相互作用するレイヤが有する前記第１位置に関する情報を１つのレイヤとして統合するステップとを含んでもよい。
【0018】
前記出力ビューを生成するステップは、前記少なくとも１つのレイヤそれぞれを前記出力ビューに投影することによって、前記少なくとも１つのレイヤそれぞれの前記出力ビュー内における位置を算出するステップと、前記出力ビュー内の各位置に対して前記少なくとも１つのレイヤのうち最も小さい深度値を有するレイヤの色を前記位置の色として決定するステップとを含んでもよい。
【0019】
前記マルチレイヤ表現内の隣接する第１ピクセル及び第２ピクセルがそれぞれ第１レイヤ及び第２レイヤに含まれ、前記第１ピクセルが前記出力ビューの第１位置に投影され、前記第２ピクセルが前記出力ビューの第２位置に投影される場合、前記出力ビュー内の前記第１位置及び前記第２位置の間に位置するピクセルの色は、前記第１ピクセルの色と前記第２ピクセルの色との間の内挿に基づいて決定されてもよい。
【0020】
他の一実施形態において、少なくとも１つの入力ビューを用いてシーンに関する情報を含む参照ビューに対するマルチレイヤ表現を生成するマルチレイヤ表現生成部と、前記マルチレイヤ表現を用いて出力ビューポイントにおける出力ビューを生成する出力ビュー生成部とを備え、前記少なくとも１つの入力ビューそれぞれは前記シーンの特定のビューポイントにおけるビューであり、前記少なくとも１つの入力ビューそれぞれは映像及び前記映像と関連する深度マップを含み、前記マルチレイヤ表現は、前記少なくとも１つの入力ビューそれぞれの前記映像及び前記深度マップに基づいて生成された少なくとも１つのレイヤを含む映像処理装置が提供される。
【0021】
前記映像処理装置は、前記マルチレイヤ表現の前記少なくとも１つのレイヤを拡張するレイヤ拡張部をさらに備えてもよい。
【0022】
前記少なくとも１つのレイヤそれぞれは、前記少なくとも１つのレイヤのうち自身の深度値よりもさらに大きい深度値を有するレイヤを遮らない範囲内で拡張されてもよい。
【0023】
前記少なくとも１つのレイヤの前記拡張の有無は、前記少なくとも１つのレイヤの端から１ピクセルずつ繰り返して決定されてもよい。
【0024】
前記少なくとも１つのレイヤのうち、前記参照ビューの特定の水平線に対して最も大きい深度値を有するレイヤは前記水平線内の全ての領域に対して色情報を有してもよい。
【0025】
前記マルチレイヤ表現生成部は、前記少なくとも１つの入力ビューそれぞれの映像を前記参照ビューに投影することによって前記少なくとも１つのレイヤを生成し、前記生成された少なくとも１つのレイヤのうち相互作用するレイヤを統合してもよい。
【0026】
前記マルチレイヤ表現生成部は、前記少なくとも１つの入力ビューのうち第１入力ビューの第１位置を選択し、前記選択された第１位置を前記参照ビューに投影することによって前記参照ビュー内における第２位置及び深度を算出し、前記第２位置及び前記深度に新しいレイヤを追加することによって前記少なくとも１つのレイヤを生成し、前記追加されたレイヤの色値は前記第１位置の色値と同一であってもよい。
【0027】
前記相互作用するレイヤは、深度値間の差が閾値以下のレイヤであってもよい。
【0028】
前記マルチレイヤ表現生成部は前記参照ビューのうち第１位置を選択し、前記第１位置で相互作用するレイヤが有する前記第１位置に関する情報を１つのレイヤとして統合することによって前記相互作用レイヤを統合してもよい。
【0029】
前記出力ビュー生成部は、前記少なくとも１つのレイヤそれぞれを前記出力ビューに投影することによって前記少なくとも１つのレイヤそれぞれの前記出力ビュー内における位置を算出し、前記出力ビュー内の各位置に対して前記少なくとも１つのレイヤのうち最も小さい深度値を有するレイヤの色を前記位置の色として決定することによって前記出力ビューを生成してもよい。
【0030】
他の一実施形態において、映像及び前記映像に対する深度値及び色情報を含む複数のビューが入力されるステップと、前記複数のビューを用いて参照ビューを生成するステップとを含み、前記生成された参照ビューの少なくとも１つの位置は、異なる複数の深度値及び前記複数の深度値に対応する色情報を含む映像処理方法が提供される。
【0031】
前記映像処理方法は、前記生成された参照ビューに基づいて表示される出力ビューを生成するステップをさらに含んでもよい。
【0032】
前記異なる複数の深度値は、参照ビューのうち前記少なくとも１つの位置で相互作用する深度値を１つの深度値に統合することによって生成された深度値であってもよい。
【0033】
前記相互作用する深度値は、深度値間の差が閾値以下の値であってもよい。
【0034】
他の一実施形態において、複数の入力映像内に存在するシーン情報を含む単一参照ビューのためのマルチレイヤ表現を生成するステップと、前記シーン情報は複数のピクセルの位置に関連するピクセル情報を含み、前記シーン情報は前記ピクセル情報に対応するレイヤ情報を含み、前記レイヤ情報は前記ピクセル情報に対応する深度情報を含み、所定の規則に基づいて同一のピクセルの位置におけるレイヤ間の相互作用を除去するステップと、隣接レイヤ情報が伝搬されるとき、前記伝搬された隣接レイヤ情報が前記隣接する位置における任意の既存のレイヤ情報を遮らない場合、前記隣接レイヤ情報を前記隣接する位置に伝搬することによって遮られた領域内のレイヤ情報を生成するステップと、前記マルチレイヤ表現からデータをレンダリングすることによって出力ビュー映像を生成するステップとを含む映像処理方法が提供される。
【0035】
他の一実施形態において、複数の入力映像内に存在するシーン情報を含む単一参照ビューのためのマルチレイヤ表現を生成し、所定の規則に基づいて同一のピクセルの位置におけるレイヤ間の相互作用を除去するマルチレイヤ表現生成部と、前記シーン情報は複数のピクセルの位置に関連するピクセル情報を含み、前記シーン情報は前記ピクセル情報に対応するレイヤ情報を含み、前記レイヤ情報は前記ピクセル情報に対応する深度情報を含み、隣接レイヤ情報が伝搬されるとき、前記伝搬された隣接レイヤ情報が前記隣接する位置における任意の既存のレイヤ情報を遮らない場合、前記隣接レイヤ情報を前記隣接する位置に伝搬することによって遮られた領域内のレイヤ情報を生成するレイヤ拡張部と、前記マルチレイヤ表現からデータをレンダリングすることによって出力ビュー映像を生成する出力ビュー生成部とを備える映像処理装置が提供される。
【0036】
他の一実施形態において、複数の入力映像それぞれを前記複数の入力映像内に存在するシーン情報を含む単一参照ビュー上に投影することによってマルチレイヤ表現を生成するステップと、前記シーン情報は複数のピクセルの位置に関連するピクセル情報を含み、前記シーン情報は前記ピクセル情報に対応するレイヤ情報を含み、前記レイヤ情報は前記ピクセル情報に対応する深度情報を含み、所定の規則に基づいて同一のピクセルの位置におけるレイヤ間の相互作用を除去するステップとを含むマルチビュー映像生成方法が提供される。
【0037】
他の一実施形態において、少なくとも１つの映像処理装置を含むマルチビューディスプレイデバイスは、複数の入力映像内に存在するシーン情報を含む単一参照ビューのためのマルチレイヤ表現を生成し、所定の規則に基づいて同一のピクセルの位置におけるレイヤ間の相互作用を除去するマルチレイヤ表現生成部と、前記シーン情報は複数のピクセルの位置に関連するピクセル情報を含み、前記シーン情報は前記ピクセル情報に対応するレイヤ情報を含み、前記レイヤ情報は前記ピクセル情報に対応する深度情報を含み、隣接レイヤ情報が伝搬されるとき、前記伝搬された隣接レイヤ情報が前記隣接する位置における任意の既存のレイヤ情報を遮らない場合、前記隣接レイヤ情報を前記隣接する位置に伝搬することによって遮られた領域内のレイヤ情報を生成するレイヤ拡張部と、前記マルチレイヤ表現からデータをレンダリングすることによって出力ビュー映像を生成する出力ビュー生成部と備えるマルチビューディスプレイデバイスが提供される。
【発明の効果】
【0038】
本発明によると、マルチ映像及び前記マルチ映像に対応する深度マップから３Ｄシーンのマルチレイヤ表現を生成する方法及び装置を提供することができる。
【0039】
本発明によると、マルチレイヤ表現内のレイヤ情報を入力映像内で遮られた領域に拡張する方法及び装置を提供することができる。
【0040】
本発明によると、構築されたマルチレイヤ表現を用いて出力ビューを生成する方法及び装置を提供することができる。
【図面の簡単な説明】
【0041】
【図1】一実施形態に係る映像処理方法のフローチャートである。
【図2】一実施形態に係る一つ以上の入力ビューを説明する。
【図3】一実施形態に係るシーンジオメトリのコンテクストにおけるマルチレイヤ表現を示す。
【図4】一実施形態に係るマルチレイヤ表現を用いた出力ビューの生成を示す。
【図5】一実施形態に係るマルチレイヤ表現の拡張を説明する。
【図6】一実施形態に係るマルチレイヤ表現の拡張方法を説明する。
【図7】一実施形態に係るレイヤの拡張原理を説明する。
【図8】一実施形態に係るマルチレイヤ表現のレイヤ情報を説明する。
【図9】一実施形態に係る相互作用レイヤの統合を説明する。
【図10】一実施形態に係るマルチレイヤ表現を生成する方法のフローチャートである。
【図11】一実施形態に係る出力ビューを生成する方法のフローチャートである。
【図12】一実施形態に係る深度値が類似のレイヤを出力ビューに投影する方法を説明する。
【図13】一実施形態に係る映像処理装置の構造図である。
【図14】一実施形態に係る映像処理装置を含む多視点表示装置を説明する。
【図15A】一実施形態に係る多視点の表現を示す。
【図15B】一実施形態に係る多視点の表現を示す。
【図15C】一実施形態に係る多視点の表現を示す。
【図15D】一実施形態に係る多視点の表現を示す。
【図15E】一実施形態に係る多視点の表現を示す。
【発明を実施するための形態】
【0042】
以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の構成要素を示す。
【0043】
下記で、用語「視点」及び「ビューポイント」は同じ意味を有し、互いに代替されて用いられてもよい。
【0044】
下記の実施形態は、３ＤＴＶ、３Ｄモニタ、タブレット型コンピュータ、携帯型ゲーム装置及びラップトップ型コンピュータなど、３Ｄ映像を提供する装置又は多視点表示装置に適用されてもよい。このような装置は、ステレオ（stereo）又はオートステレオスコピック（auto-stereoscopic）方式で３Ｄ映像を表現してもよく、（１）ステレオ−多視点変換、（２）多視点（例えば３ビュー）−多視点（例えば１６ビュー）変換、（３）ステレオ深度調整、又は（４）２Ｄ−３Ｄ変換等のために用いられる。
【0045】
下記の実施形態で、視聴者の深度に対する知覚を増進又は減退させるために延長又は短縮されたベースライン上にステレオ映像を観測して再レンダリングすることによってステレオ深度調整を行ない、深度マップのない単一ビューから２つ以上のビューを生成することによって２Ｄから３Ｄへの変換を行ってもよい。
【0046】
また、下記の実施形態は、３Ｄ捕捉及び／又はディスプレイを必要とする他の機器内で行われる類似する応用に適用してもよく、３Ｄコンテンツのためのソフトウェアツールに適用してもよい。
【0047】
下記の実施形態で説明する入力映像及び映像に対応する入力深度マップは、偏位修正されたものであってもよい。ここで、「偏位修正“rectification”」の一実施形態では、入力映像間の全ての対応が同一のスキャンライン上で検出される。例えば、２つの映像内にある２つのピクセルが互いに対応する場合、前記の２つのピクセルは同じｙ座標値を有する。
【0048】
「深度」及び「視差」は、例えば定数項によって互いに関連される。したがって、下記の実施形態における用語「深度」及び「視差」、「深度値」及び「視差値」、又は「深度マップ」及び「視差マップ」は相互交換可能に用いられる。
【0049】
下記の実施形態は、水平ビュー内挿及び外挿を適用することのできる出力ビューが水平視差を有することを基準として説明される。しかし、説明した技術的な内容は出力ビューが垂直視差を有する場合にも適用されてもよい。すなわち、説明した技術的な内容は垂直ビュー内挿及び外挿にも適用されてもよい。また、複数の入力ビューではない単なる単一ビュー（すなわち、単一な映像及び深度マップ）が入力として与えられた場合にも有効である。
【0050】
下記の映像処理において、１つ以上の入力ビューを用いて出力ビューを生成する。出力ビューは、特定の出力ビューポイントにおけるビューである。出力ビューは１つ以上であってもよい。１つ以上の入力ビューは互いに異なるビューポイントを有する。例えば、入力ビューそれぞれは１つのシーンの特定ビューポイントにおけるビューであり、互いに異なるビューポイントでシーンを撮影することによって入力ビューが生成されたものである。
【0051】
１つ以上の入力ビューそれぞれは、映像及び前記映像と関連する深度（又は、視差）マップを含み、多視点の表現を提供する。映像は、映像内部の位置を示す１つ以上のピクセルを含んでもよい。深度（又は、視差）マップは１つ以上のピクセルそれぞれの深度を含んでもよい。
【0052】
深度値が大きい（又は、視差値が小さい）ピクセルは、カメラのような視聴位置から遠く離れたオブジェクト又は背景を示す。深度値が小さい（又は、視差値が大きい）ピクセルはカメラのような視聴位置に近いオブジェクト又は背景を示す。
【0053】
図１５Ａ〜図１５Ｅは一実施形態に係る多視点の表現を示す。図１５Ａ〜図１５Ｅにおいて、太い水平線は与えられたビューポイントから可視の色（テクスチャ）情報を表現する。図１５Ａ及び図１５Ｂは、互いに異なるビューポイントから観測された同じシーンの２つのビューを表現する。図１５Ｃは、両方のビューから組合わせた情報を示す。二重線は重なったり付加的な色情報を示す。同じ情報がマルチの参照映像にかけて示されることがあるため、多視点の表現が非効率であることは自明である。さらに、内在された情報は互いに異なるため曖昧さが増加する。統合された表現が存在しないことから、このような曖昧さはそれぞれ生成されたビューに対して独立に解消されなければならない。図１５Ｄは、二重線が占めた領域を示す。この領域は新しいビューを生成するために充填されなければならない。言い換えれば、このようなホールを充填するルーチンは、新しいビューに対して別途に行われる。前記の図で示していないが、それぞれの新しいビューがこのような視差マップから直接的に生成される場合、異なるビュー間の視差の不一致がどのように解消されるかが不明確である。
【0054】
図１は、一実施形態に係る映像処理方法のフローチャートである。図１のステップＳ１１０において、１つ以上の入力ビューを用いてマルチレイヤ表現が生成される。マルチレイヤ表現は、シーンに関する情報を含む参照ビューに対する表現である。参照ビューは数個であってもよいが、１つの単一ビューであってもよい。マルチレイヤ表現は、入力映像及び前記入力映像に対応する深度マップの全ての情報を含む集合であってもよい。
【0055】
レイヤは、同一の所定の深度値又は所定の範囲内の深度値のような対応する深度値を有する位置又は領域である。位置又は領域は１つのピクセル又は複数のピクセルで構成されてもよい。詳細に説明すれば、同一の所定の深度値（又は、一定の範囲内の深度値）を有する１つのピクセル、又は複数のピクセルが同一のレイヤと見なし得る。同一の深度値を有するピクセルは互いに隣接してもよく、互いに隣接しなくてもよい。ピクセルが互いに隣接しないことはピクセルが他のピクセルによって互いに離れたことを意味する。このような場合、全てのピクセルが同一のレイヤと見なしてもよいが、互いに隣接するピクセルだけが同一のレイヤと見なし得る。
【0056】
複数の入力ビューに基づいて生成された参照ビューは、特定の位置又は座標と関連して複数の深度値を有する。１つの入力ビューから複数の深度値を生成することも可能である。参照ビューの特定の位置または座標を示す１つのピクセルは、ビューに応じて複数の異なる深度値又はレイヤを有してもよい。よって、このようなマルチレイヤ表現は、ピクセルごとに１、２、３又はそれ以上のような複数のレイヤを有する。また、マルチレイヤ表現はそれぞれのピクセルに対応したり、関連する異なる個数のレイヤを有してもよい。１つ以上のレイヤはそれぞれ深度値を有してもよい。したがって、参照ビューの映像の特定の座標に対応する、それぞれ異なるレイヤに属する１つ以上のピクセルが存在する。
【0058】
図１に示すステップＳ１２０において、マルチレイヤ表現の１つ以上のレイヤが拡張される。実施形態において、拡張はレイヤ伝搬又は数個の異なるタイプの重複に対応する。例えば、レイヤ伝搬はレイヤの端を、それぞれの隣接する位置に延長させることを言及する。レイヤ伝搬は、特定の条件が満足するまで繰り返し行われてもよい。１つ以上のレイヤを拡張することによって１つ以上の入力ビューの全てで共通に遮られた領域が除去される。１つ以上のレイヤを拡張する一方法が図４から図６を参照して詳細に説明する。
【0059】
図１に示すステップＳ１３０において、マルチレイヤ表現を用いて出力ビューが生成される。出力ビューは出力ビューポイントにおけるビューである。出力ビューポイントは１つ以上の入力ビューの入力ビューポイントとは異なってもよく、１つ以上の入力ビューの入力ビューポイントのうちの１つと同一であってもよい。
【0060】
図２は、一実施形態に係る一つ以上の入力ビューを説明する。２つの入力ビュー２００及び２５０は１つのシーンが異なるビューポイントから観測されることによって生成される。図２で、垂直軸は深度を、水平軸は空間を示す。垂直軸について下方向に行くほど深度値が大きくなる（すなわち、カメラから遠く離れる）ことを示す。ｘ１からｘ６は水平座標を示す。各入力ビュー２００又は２５０で、矢印２０５又は２５５の方向はビューポイントを示す。第１入力ビュー２００のビューポイントは垂直方向にあり、第２入力ビュー２５０のビューポイントは斜線方向である。例えば、第２入力ビュー２５０のビューポイントは第１入力ビュー２００のビューポイントから水平方向に偏差を有するビューポイントである。第１入力ビュー２００及び第２入力ビュー２５０は、それぞれ入力ビュー内の特定の水平線（すなわち、１つのスキャンライン）に関する情報を示す。
【0061】
各入力ビュー２００又は２５０で、ライン２１０、２１２、２１４、２１６、２１８、２６０、２６２、２６４、２６６及び２６８は色（又は、テクスチャ）情報を示す。色情報は与えられたビューポイントで可視である。同図に示すように、第１入力ビュー２００の第３ライン２１４の長さ及び第２入力ビュー２５０の第３ライン２６４の長さは同一である。ビューポイント間の方向差（すなわち、ビューポイント間の偏差）によって、第１入力ビュー２００の第１ライン２１０は第２入力ビュー２５０の第１ライン２６０よりも長く、第１入力ビュー２００の第２ライン２１２は第２入力ビュー２５０の第２ライン２６２よりも長い。一方、第１入力ビュー２００の第４ライン２１６は第２入力ビュー２５０の第４ライン２６６よりも短く、第１入力ビュー２００の第５ライン２１８は第２入力ビュー２５０の第５ライン２６８よりも短い。
【0062】
マルチの入力ビューを（例えば、第１入力ビュー２００及び第２入力ビュー２５０）を直接的に用いて出力ビューを生成する場合、同一の情報が１つ以上の入力ビューをかけて現れてもよい。すなわち、図１５Ａ〜図１５Ｅに関連して説明するように、マルチ入力ビュー内に冗長な情報が存在する。このような複数の入力ビューは全体の出力ビューを完全に生成するために不充分なこともある。
【0063】
また、複数の入力ビュー内に含まれた情報は互いに異なってもよい。このような相異は曖昧さを増加させ得る。このような曖昧さは出力ビューそれぞれに対して独立に解決されてもよいが、任意の不一致の問題を解決するために、参照ビューを示すための新しい表現を用いる。
【0064】
図３は、一実施形態に係るシーンジオメトリのコンテクストにおけるマルチレイヤ表現を示す。図３において、参照ビュー３００は、第１入力ビュー２００及び第２入力ビュー２５０を用いて生成される。参照ビュー３００は、ビュー内の特定の座標値を有するピクセルが互いに異なる深度値を有するマルチレイヤビューに表現される。
【0065】
参照ビュー３００の水平線はレイヤを示し、レイヤは参照ビュー３００内の特定のポイントをマークする。参照ビュー３００内の垂直線に表示された部分（すなわち、レイヤ）は色情報を有する領域である。例えば、２つのライン３３２及び３４２又は３４４及び３５２が重なる部分に対応するピクセルがマルチレイヤによって表現される。マルチレイヤは、図３に示すようにシーンの全ての情報が映像に基づいたフォーマット内に含まれた単一参照ビューに表現されてもよく、ピクセルの位置に応じて複数の参照ビューに分類されて表現されてもよい。
【0066】
また、各レイヤにはα値が割り当てられる。α値は相対的な透明度又は不透明度を示す。α値を取得するための１つの可能なアクセス方法は、各入力映像に対するアルファマット（alpha matte）を算出し、マルチレイヤ表現を構築する間、算出されたアルファマットを任意の他のレイヤ属性のように使用するものである。アルファマットは境界領域を探すために、対応する深度マップを用いることによって算出される。
【0067】
参照ビュー３００は、シーンの参照ビューポイント３０５におけるビューである。参照ビューポイント３０５は、全ての入力ビュー（例えば、第１入力ビュー２００及び第２入力ビュー２５０）のビューポイントの中心に近接するように選択される。例えば、３つのカメラが同一線上（collinear）に配置される場合、３つのカメラの中心が参照ビューポイントとして用いられる。
【0068】
垂直線が表示された部分３１４及び３２４は、第１入力ビュー２００の色情報に基づいて生成された部分（すなわち、レイヤの部分）を示す。斜線が表示された部分３４２及び３５２は、第２入力ビュー２５０の色情報に基づいて生成された部分を示す。垂直先及び斜線が重なった部分３１２、３２２、３３２、３４４及び３５４は第１入力ビュー２００及び第２入力ビュー２５０内の色情報が重複されるか不用の部分を示す。例えば、部分３１２及び３１４で構成された第１レイヤは、第１入力ビュー２００の第１ライン２１０及び第２入力ビュー２５０の第１ライン２６０の色情報に基づいて生成される。
【0069】
マルチレイヤ表現はレイヤ（色、深度及び（おそらく）α値）を含む。このようなレイヤは入力映像から可視であるものである。
【0070】
同様に、再び図１５Ａ〜図１５Ｅを参照すると、シーンジオメトリのコンテクストにおけるマルチレイヤ表現が図１５Ｅに示されている。もし、太い水平線でマークされた全てのポイントで色情報が利用できれば、任意的な視点を生成するために用いられる完全なシーン情報が利用される。マルチビュー表現の場合において、数個の色値は複数の入力ビューに起因するため、数個の色値はこのような合併（consolidation）過程で解消する必要がある。しかし、この合併過程は一般的には１回のみ発生する必要があり、同一の色値はその後のビュー生成過程間に参照される。また、図１５Ｅにおいて、二重線はホールが充填された領域を示す。また、同様に、このようなホール領域を充填することは１回のみを要求すうる。そのようにすることでマルチ生成されたビュー間のさらに高い視覚的な一貫性を保証することができる。
【0071】
図４は、一実施形態に係るマルチレイヤ表現を用いた出力ビューの生成を示す。図３に示す参照ビュー３００のマルチレイヤ表現を用いることによって出力ビュー４００が生成される。出力ビュー４００は、マルチレイヤ表現が示すシーンの出力ビューポイント４０５でのビューである。マルチレイヤ表現を用いて参照ビュー３００を出力ビューポイント４０５に合わせてワープさせることによって、出力ビュー４００を生成する。更に説明すると、マルチレイヤ表現内の１つ以上のレイヤそれぞれを出力ビュー４００に投影することによって、１つ以上のレイヤそれぞれの出力ビュー４００内での位置が算出される。また、出力ビュー４００内の各位置に対して１つ以上のレイヤのうち最も近接するレイヤ（すなわち、最も小さい深度値を有するレイヤ）の色が前記位置の色として決定される。
【0072】
明暗なしで点線に構成された部分４３０及び４４０は出力ビュー４００では使用されないレイヤを示す。実線で示された白いボックス４１０及び４２０は、出力ビュー４００を生成するために色情報が要求されるレイヤを示す。すなわち、実線で示された白いボックス４１０及び４２０は出力ビュー４００を生成するために充填されなければならない領域を示す。実線で示された白いボックス４１０及び４２０は第１入力ビュー２００及び第２入力ビュー２５０によって共通に遮られた領域である。すなわち、入力映像から遮られたレイヤが含む情報は、シーン情報を完全に説明できない場合もある。
【0073】
図４に示すように、入力ビューのビューポイントとは異なる、新しいビューポイントから見られるようになる領域があり、このような領域に対応するレイヤは入力ビューを基づいて生成されたマルチレイヤ表現内に存在しないホールである。例えば、出力ビュー４００のうち、実線で示された白いボックス４１０及び４２０に対応する領域はホールである。このような出力ビュー４００内のホールは、任意のホールを充填するアルゴリズムを用いることによって除去される。
【0074】
図５は、一実施形態に係るマルチレイヤ表現の拡張を説明する。図３に示す参照ビュー３００のマルチレイヤ表現は、拡張される。例えば、マルチレイヤ表現内の１つ以上のレイヤそれぞれは、１つ以上のレイヤのうち自身の深度値よりもさらに大きい深度値を有するレイヤを遮らない範囲内で拡張される。言い換えれば、もし、伝搬されたレイヤが新しい位置で任意の従来におけるレイヤを遮らない場合、レイヤは隣接するレイヤに伝搬する。
【0075】
拡張された参照ビュー５００はレイヤを拡張することによって生成される。例えば、拡張された参照ビュー５００は第１入力ビュー２００及び第２入力ビュー２５０によって共通に遮られた領域にレイヤを拡張させることで生成される。第１入力ビュー２００及び第２入力ビュー２５０によって共通に遮られた領域にレイヤが拡張されることで前記の共通に遮られた領域に色情報が生成される。
【0076】
第１拡張領域５１０及び第２拡張領域５２０は、共通に遮られた領域（又は、領域のうち一部）に対応する。すなわち、第１拡張領域５１０及び第２拡張領域５２０は、ホールを充填することが実行されなければならない領域（又は、領域のうち一部）を示す。
【0077】
第１拡張領域５１０は中間深度のレイヤ（すなわち、小さい深度のレイヤ及び大きい深度のレイヤ間に位置するレイヤ）が拡張される領域である。第２拡張領域５２０は、最も大きい深度値を有するレイヤ（すなわち、最下段に表示されたレイヤ）が拡張される領域である。第１拡張領域５１０及び第２拡張領域５２０によってマークされた全てのポイントに対して色情報が存在する場合、任意の出力ビューを生成するために用いられる完全なシーン情報を取得することができる。したがって、拡張された参照ビュー５００のマルチレイヤ表現を用いて生成された出力ビューはホールを有することなく、したがって、それぞれの新しい出力ビューに対して個別的にホールを充填するというルーチンが行われない。したがって、その効率が向上される。
【0078】
また、レイヤの拡張によってホールを充填することは単に１回のみが行われる。このようなホール充填することは互いに異なるビューポイントで複数生成された出力ビューを網羅する視覚的な一貫性を保証することができる。新しい出力ビューは、単一参照ビュー（例えば、拡張された参照ビュー５００）に共通に基づいて生成されるため、出力ビューがそれぞれ異なる入力ビューに基づいて生成される場合に比べて出力ビュー間の不一致が減少する。
【0079】
拡張によって生成されるレイヤ（又は、レイヤの一部）は、例えば、色、深度及び（任意に）α値を全体的に指定する完全なレイヤの記述であってもよい。または、新しいレイヤは、単に深度だけを指定し、残りは指定しない部分的なレイヤの記述である。部分的なレイヤの記述の場合、生成されたレイヤの他の属性に対する割当作業は拡張以後の段階に延期される。例えば、全てのレイヤが深度の指定だけを有するまま優先的に拡張され、レイヤの色の全てが存在するレイヤに関する情報を持って後に充填される場合、さらに向上した結果を取得することができる。
【0080】
図６は、一実施形態に係るマルチレイヤ表現の拡張方法を説明する。
【0081】
図６に示す第１マルチレイヤ表現６００において、５個のレイヤ６１０、６２０、６３０、６４０及び６５０が存在する。まず、５個のレイヤ６１０、６２０、６３０、６４０及び６５０はそれぞれレイヤの端から１ピクセルずつ拡張の有無が検査される。自身の位置で最も大きい深度値を有するピクセルは拡張される。詳細には、自身の下方にレイヤが存在しないピクセルは拡張される。例えば、図６に示す第１マルチレイヤ表現６００内のピクセル６１２の下方にある下方を示す矢印で示すように、第１レイヤ６１０の右端についたピクセル６１２の下方にはレイヤが存在しない。言い換えれば、ピクセル６１２の位置にはよりも大きい深度値を有するレイヤが存在しない。したがって、ピクセル６１２は拡張される。第２レイヤ６２０の左端についたピクセル６２２の場合には下方に第１レイヤ６１０がある。言い換えれば、ピクセル６２２の位置には大きい深度値を有する第１レイヤ６１０がある。したがって、ピクセル６２２は拡張されない。これによって、いかなる新しく拡張されたピクセルも従来の第１レイヤ６１０を遮らないことが保証される。
【0082】
５個のレイヤ６１０、６２０、６３０、６４０及び６５０それぞれの左端又は右端に位置するピクセルのうち、ピクセル６１２、６２４、６４２、６５２でレイヤ６１０、６２０、６４０及び６５０が拡張される。ピクセル６２２、６３２、６３４及び６４４は拡張されない。言い換えれば、第１レイヤ６１０及び第２レイヤ６２０は右側に１ピクセルだけ拡張され、第４レイヤ６４３及び第５レイヤ６５０は左側に１ピクセルだけ拡張される。第３レイヤ６３０はいずれの端にも拡張されない。
【0083】
このような拡張の結果が、第２マルチレイヤ表現６６０で示される。すなわち、前記の拡張に基づいた原理はレイヤ伝搬である。レイヤ伝搬は重複の原理を用いてもよく、その他の伝搬の方法を用いてもよい。レイヤが拡張される隣接する位置に従来のレイヤが存在して拡張される部分が従来のレイヤを遮らない場合、レイヤは隣接する位置に伝搬される。反対に、新しいレイヤが新しい位置で任意の従来のレイヤを遮る場合、レイヤは隣接する位置に延長されない。遮るか否かの有無は拡張されるレイヤ及び従来のレイヤの深度値を比較することによって決定される。
【0084】
例えば、好みを考えずに左側からの伝搬及び右側からの伝搬が同時にいずれか側に適用される場合といった、複数の伝搬が同時に発生した場合、レイヤ間の相互作用を解消することができる。レイヤ間の相互作用については図９を参照して以下に詳細に説明する。
【0085】
第３マルチレイヤ表現６７０は、レイヤ６１０、６２０、６４０及び６５０の拡張を説明する。レイヤの拡張によって生成された端に対して、再び拡張の有無が決定される。例えば、ピクセル６１２の右側ピクセルのピクセル６１４に対して拡張の有無が決定される。ピクセル６１４の下方にはレイヤが存在しないため、ピクセル６１４も拡張される。同様に、拡張の検査の対象である他のピクセル６２６、６４６及び６５４の全てが拡張される。
【0086】
前述のように、第１レイヤ６１０は右側への拡張を行い、第５レイヤ６５０は左側への拡張を行う。第１レイヤ６１０及び第５レイヤ６５０は互いに接するまで拡張を継続する。同様に、第２レイヤ６２０は右側への拡張を行い、第４レイヤ６４０は左側への拡張を行う。第２レイヤ６２０及び第４レイヤ６４０は互いに接するまで拡張を継続する。
【0087】
１つ以上のレイヤのうち最も大きい深度値を有するレイヤ（例えば、第１レイヤ６１０及び第５レイヤ６５０）は左側及び右側に拡張される。拡張は同一の深度値を有するレイヤに接するか、領域の端に至るまで持続する。言い換えれば、マルチレイヤ表現で、最も大きい深度値を有するレイヤは参照ビュー内の全ての領域に拡張される。
【0088】
前述のように、マルチレイヤ表現６００、６６０及び６７０は参照ビュー内の特定の水平線に関する情報を示すものである。したがって、前述の拡張も前記の特定の水平線を単位で行われる。詳細に説明すると、参照ビュー内の１つ以上のレイヤのうち、参照ビューの特定の水平線に対して最も大きい深度値を有するレイヤは、拡張によって水平線内の全ての領域に対して色情報を有する。したがって、このような拡張によって生成された参照ビューを用いて任意の出力ビューポイントに生成された出力ビューはホールを有しないことが保証される。
【0089】
図７は、一実施形態に係るレイヤの拡張の原理を説明する。図７において、矢印７１０、７１５、７３０、７３５、７５０、７５５、７７０及び７７５は参照ビュー内の特定の位置を示す。隣接する矢印（例えば、矢印７１０及び矢印７１５）は参照ビュー内の互いに隣接する位置を示す。
【0090】
矢印の上段はカメラと近いことを示し、下段はカメラと遠く離れていることを示す。したがって、矢印の下方に位置するほど深度値が大きいレイヤ（又は、ピクセル）であり、矢印の上方に位置するほど深度値が小さいレイヤ（又は、ピクセル）である。
【0091】
第１レイヤ７２０は第１矢印７１０の位置にある。隣接する第２矢印７１５の位置にはいずれのレイヤも存在しない。したがって、第１レイヤ７２０が拡張されることによって第２矢印７１５の位置に第１拡張レイヤ７２２が生成される。
【0092】
第２レイヤ７４０は第３矢印７３０の位置にある。隣接する第４矢印７３５の位置には第３レイヤ７４２が存在する。しかし、第３レイヤ７４２は第２レイヤ７４０よりもカメラにさらに近くにある。したがって、第４矢印７３５の位置に第２拡張レイヤ７４４が生成される。第２拡張レイヤ７４４は第３レイヤ７４２の後方に生成される。
【0093】
第４レイヤ７６２は第５矢印７５０の位置にある。隣接する第６矢印７５５の位置には第５レイヤ７６４が存在する。第４レイヤ７６２は第５レイヤ７６４よりもカメラにさらに遠くにある。第４レイヤ７６２が拡張されれば、第５レイヤ７６４を遮るようになる。したがって、第４レイヤ７６４は拡張されない。ここで、第４レイヤ７６２に比べてカメラにさらに近くにある第６レイヤ７６６の存在の有無は、第４レイヤ７６４の拡張の有無に影響を及ぼさない。
【0094】
第７レイヤ７８２は第７矢印７７０の位置にある。隣接する第８矢印７７５の位置には第８レイヤ７８４が存在する。第７レイヤ７８２及び第８レイヤ７８４は同一の深度値を有する。したがって、第７レイヤ７８２は拡張されない。ここで、第７レイヤ７８２に比べてカメラにさらに遠くにある第９レイヤ７８６の存在の有無は、第７レイヤ７８２の拡張の有無に影響を及ぼさない。また、第７レイヤ７８２に比べてカメラにさらに近くにある第１０レイヤ７８８の存在の有無は、第７レイヤ７８２の拡張の有無に影響を及ぼさない。
【0095】
図７に示すレイヤの拡張の原理について説明すれば、レイヤが拡張される位置に深度値が同じであるか、大きい既存のレイヤが存在すれば、レイヤは拡張されず、そうではない場合には拡張される。
【0096】
図８は、一実施形態に係るマルチレイヤ表現のレイヤ情報を説明する。図８において、水平軸は空間の次元を示す。垂直軸は異なる深度値を有するマルチレイヤを示し、垂直線８１０、８２０及び８３０は参照ビュー内のピクセルの位置を示す。マルチレイヤ表現で、参照ビュー内の任意のピクセルの位置には１つ以上のレイヤ情報が存在する。例えば、第１ピクセル位置には、３つのレイヤ情報８１２、８１４及び８１６がある。すなわち、第１ピクセルの位置には異なる深度値を有する３つのレイヤがある。第２ピクセル位置には１個のレイヤ情報８２２がある。第３ピクセル位置には２つのレイヤ情報８３２及び８３４がある。このようなレイヤ情報は色（例えば、赤（Red：R）、緑（Green：G）、青（Blue：B））及び色と関連する深度（又は、視差）（Depth：D）を含んでもよい。また、レイヤ情報は、付加的にアルファブレンディング（alpha blending）のためのα値（α）を含む。
【0097】
マルチレイヤ表現は、入力映像内に現れたシーンの全ての情報を含む。また、マルチレイヤ表現は、新しいビューポイントの生成のために要求される、入力映像では遮られた情報も含む。全ての空間上の位置で、異なる深度レベルにおけるマルチの色情報があり得る。したがって、マルチレイヤ表現はピクセルの位置の可視性によって制限されることはない。
【0098】
マルチレイヤ表現において、冗長度が除去される。このような冗長度は、複数の入力ビュー内に存在する類似の情報から由来する。例えば、第１レイヤ情報８１２の深度値（ｄ）及び第２レイヤ情報８１４の深度値（ｄ）が同一である場合、単一のピクセルに対する２つの重複するレイヤ情報が存在する。このような重複するレイヤ情報（又は、重複するレイヤ）は単一のレイヤ情報（又は、レイヤ）で統合される。例えば、２つのレイヤ情報が示す色値（又は、付加的にはα）のうちの１つ、又は、色値の平均の統合されたレイヤ情報として用いられる。このような統合処理を行うことによって今後の出力ビューの生成において同じ色値を参照することができる。
【0099】
図９は、一実施形態に係る相互作用レイヤの統合を説明する。レイヤ間の冗長度を除去する一方式として、レイヤの相互作用の概念が導入される。同一の位置における２つのレイヤが同じ情報を示す場合、「相互作用」するものと理解され得る。参照ビューの生成において、冗長度を除去して効率性を向上させるために、いずれか２つのレイヤも互いに相互作用しないマルチレイヤ表現が構築される。
【0100】
レイヤの相互作用を判断する一実施形態において、深度（又は、視差）値のみを単独に使用する。例えば、深度値間の差が特定の閾値以下であるレイヤを相互作用するレイヤと見なす。もし、同じ位置における２つのレイヤが、深度において特定の閾値よりもそれほど差異がない場合、前記の２つのレイヤは互いに相互作用するものと見なされる。
【0101】
図９を参照すると、第１位置９１０に存在する３つのレイヤ９２２、９２４及び９２６は互いに相互作用する。また、第１位置９１０に存在する２つのレイヤ９４２及び９４４は互いに相互作用する。レイヤ９３２はいずれの異なるレイヤとも相互作用しない。２つのレイヤが相互作用する場合、レイヤ間の相互作用が除去されるように統合する。統合後の第１位置９１０で、レイヤ９２２、９２４及び９２６が統合されることによって、統合されたレイヤ９５２が生成される。また、統合後の第１位置９１０で、レイヤ９４２及び９４４が統合されることによって、統合されたレイヤ９６４が生成される。また、（統合された）レイヤ９６２はレイヤ９３２に対応する。
【0102】
統合に使用され得る１つの可能な方法は、１つの選択されたレイヤを保持して、選択されていない他のレイヤを除去する。例えば、レイヤ９４２が除去されてもよく、レイヤ９４４のレイヤ情報に基づいてレイヤ９６４が生成されてもよい。このような選択の基準は相互作用するレイヤの様々な属性に基づく。この属性は、深度、色及び空間的に隣接するレイヤなどを含む。深度を選択の基準として用いる方式は、小さい深度値を有する（すなわち、カメラに最も近接する）レイヤを選択することを一例として挙げる。もちろん、大きい深度値を有するレイヤを選択する例も可能である。他の１つの可能な方法は、相互作用する２つのレイヤから新しいレイヤを誘導してもよい。すなわち、新しい色値及び深度値が両方のレイヤから誘導される。例えば、統合によって生成された新しいレイヤは、相互作用するレイヤの色値及び深度値の平均に基づいて形成される。
【0103】
場合に応じて、図９に示すレイヤ９２２、９２４及び９２６のように３つ以上のレイヤが相互作用する。３つ以上のレイヤが相互作用する場合、前述した２つのレイヤが相互作用するシナリオと類似の相互作用するレイヤのうち一対の相互作用を解決する任意の方法論が用いられてもよい。例えば、最も小さい深度値を有するレイヤＡがレイヤＡの深度値よりも大きい深度値を有するレイヤＢと相互作用し、レイヤＢが最も大きい深度値を有するレイヤＣと相互作用するが、レイヤＡはレイヤＣと相互作用しない場合に１つの解決策として１つのレイヤ（言い換えれば、レイヤＢ）が保持され、他のレイヤを除去する。また、他の解決策として、レイヤＢが除去され、レイヤＡ及びレイヤＣが保持されてもよい。
【0104】
レイヤ間の相互作用を解消するための規則が定義されると、マルチ入力映像及びマルチ入力映像に対応する深度マップからマルチレイヤ表現を取得することが容易になる。関連する深度マップにより入力映像から参照ビューポイントにワープされたピクセルの位置は新しいレイヤになる。ワープにより生成された２つ以上の新しいレイヤが相互作用する場合、レイヤ間の相互作用は定義された規則にしたがって解決される。
【0105】
図１０は、一実施形態に係るマルチレイヤ表現を生成する方法のフローチャートである。図１０に示すステップＳ１０１０から１０７０は前述のマルチレイヤ表現を生成する図１に示すステップＳ１１０に対応したり、図１のステップＳ１１０に含まれてもよい。ステップＳ１０１０からステップＳ１０４０において、１つ以上の入力ビューそれぞれの映像を参照ビューに投影することによって１つ以上のレイヤが生成される。ステップＳ１０１０において、１つ以上の入力ビューのうち特定入力ビューが選択され、選択された入力ビューのうち特定位置が選択される。前記の位置はピクセル座標を意味する。選択された入力ビューを第１入力ビュー、選択された位置を第１位置とする。ステップＳ１０２０において、選択された第１位置を、第１位置に対応する第１深度値を用いて参照ビューに投影することで参照ビュー内における第２位置及び第２深度を算出する。ステップＳ１０３０において、投影によって算出された第２位置及び第２深度に新しいレイヤが追加される。このとき、新しいレイヤの色値は第１位置の色値と同一である。ステップＳ１０４０において、全ての入力ビュー及び全ての位置が処理されたか否かが検査される。全ての入力ビュー及び全ての位置が処理された場合、生成されたレイヤを統合するステップＳ１０５０からステップＳ１０７０が行われ、そうでない場合にはまだ処理されていない入力ビュー及び位置に対して１つ以上のレイヤを生成するステップＳ１０１０からステップＳ１０４０が繰り返して行われる。
【0106】
ステップＳ１０５０からステップＳ１０７０において、１つ以上の生成されたレイヤが統合される。ステップＳ１０５０において、参照ビューのうち特定の位置が選択される。ステップＳ１０６０において、選択された位置で相互作用するレイヤの有する情報が１つのレイヤとして統合される。ステップＳ１０７０において、全ての位置が処理されたか否かが検査される。全ての位置が処理された場合その手続を終了し、そうではない場合はまだ処理されていない位置に対して生成されたレイヤを統合するステップＳ１０５０からステップＳ１０７０が繰り返して行われる。
【0108】
図１１は、一実施形態に係る出力ビューを生成する方法のフローチャートである。図１１に示すステップＳ１１１０からステップＳ１１２０は図１に示す出力ビューを生成するステップＳ１３０に対応してもよく、ステップＳ１３０に含まれてもよい。ステップＳ１１１０において、参照ビュー内の１つ以上のレイヤそれぞれを出力ビューに投影することによって、１つ以上のレイヤそれぞれの出力ビュー内における位置が算出される。ステップＳ１１２０において、出力ビュー内の各位置に対して位置に対応する１つ以上のレイヤのうち最も小さい深度値を有するレイヤの色が前記位置のカラーに決定される。
【0109】
出力ビュー内の各位置に対して最も近接するレイヤの色を用いることは、レイヤ間の遮蔽を扱うことと見なされる。適切な遮蔽の取り扱いを達成するため、深度バッファ（例えば、ｚバッファ）を用いる。深度バッファは、出力ビュー内の各位置に対応する色値及び深度値を格納するバッファである。特定のピクセルの位置に投影された１つ以上のレイヤを用いて色値を記入するたびに、レイヤの深度値がバッファ内に既に存在する深度値と比較される。もし、レイヤの深度値が既にバッファに格納された値よりも大きい場合（すなわち、さらに遠い場合）、レイヤの色値は捨てられる。レイヤの深度値が既にバッファに格納された値よりも小さい場合（すなわち、さらに近い場合）、レイヤの色値がピクセル値としてバッファ内に格納されるか、バッファ内の深度値が更新される。更新された深度値はレイヤの深度値である。要約すると、１つ以上のレイヤによって複数の色値が出力ビュー内の同じピクセルで配分される場合、最も近い深度（又は、最も大きい視差）を有するレイヤからの色が優先度を有する。任意に、適切な境界のレンダリングのため、α値を用いてもよい。最も前に位置するレイヤの色値はα値に応じて前方に位置するレイヤの色値と混合されてもよい。
【0111】
図１２は、一実施形態に係る、深度値が類似のレイヤを出力ビューに投影する方法を説明する。図１２において、矢印１２１０及び１２２０はマルチレイヤ表現内（すなわち、参照ビュー内）の隣接する位置（例えば、ピクセル）を示す。言い換えれば、図１２において２つの空間上で隣接する位置が関連するレイヤと共に図示されている。
【0112】
隣接する位置にあるレイヤのうち、特定のレイヤは類似の深度値を有する。例えば、深度値間の差が一定の閾値以下であるレイヤをその深度値が類似すると見なす。
【0113】
例えば、深度値の差がｄ１であるレイヤａ及びレイヤｄは深度値が類似すると判断し、深度値の差がｄ２であるレイヤｂ及びレイヤｅも深度値が類似すると判断する。深度値の差がｄ３であるレイヤａ及びレイヤｅは深度値が類似していないと判断し、深度値の差がｄ４であるレイヤｄ及びレイヤｂも深度値が類似していないと判断する。レイヤｃは深度値が類似するレイヤがない。
【0114】
右側の水平線は出力ビューの空間ドメインを示す。出力ビュー内のピクセルの位置１２３０、１２３２、１２３４、１２３６、１２３８、１２４０及び１２４２を示している。マルチレイヤ表現内の各水平で隣接する空間上の位置の対（例えば、第１矢印１２１０の位置及び第２矢印１２２０の位置）において、深度値が類似するレイヤの対がレンダリングのために処理される。レイヤａ〜レイヤｅはそれぞれ自身の深度に応じて新しくレンダリングされた出力ビュー（又は、出力映像）の座標系に投影される。ａ’はレイヤａが出力ビューに投影された位置である。ｂ’はレイヤｂが投影された位置である。ｄ’はレイヤｄが投影された位置である。ｅ’はレイヤｅが投影された位置である。
【0115】
ａ’及びｄ’間に置かれた全てのピクセルの位置における色値及び深度値は内挿（例えば、双一次内挿“bilinear interpolation”）を用いて補間される。例えば、ピクセルの位置１２３４のｘ座標が３であり、ａ’のｘ座標が２．５であり、ｄ’のｘ座標が３．５である場合、ピクセルの位置１２３４のピクセルの色値はレイヤａの（第１矢印１２１０における）色値及びレイヤｄの（第２矢印１２２０における）色値の中間値である。他の例として、ピクセルの位置１２３４のｘ座標が３であり、ａ’のｘ座標が２．９であり、ｄ’のｘ座標が３．２である場合、ピクセルの位置１２３４のピクセルの色値はレイヤａの（第１矢印１２１０における）色値及びレイヤｄの（第２矢印１２２０における）色値を１：２にする地点の値である。同様に、ピクセルの位置１２３４の深度値も内挿を用いて補間される。同様に、ピクセルの位置１２３８及び１２４０の色値及び深度値はｂ’及びｅ’の色値及び深度値の双一次内挿を用いて補間されてもよい。
【0116】
参照ビューの第１ピクセルが出力ビューの第１位置に投影され、参照ビューの第２ピクセルが前記出力ビューの第２位置に投影される場合、出力ビュー内の第１位置及び第２位置の間に１ピクセルの色は第１ピクセルの色及び第２ピクセルの色間の双一次内挿に基づいて決定される。同様に、出力ビュー内の第１位置及び第２位置の間に１ピクセルの深度値も投影された第１ピクセルの深度値及び投影された第２ピクセルの深度値の双一次内挿に基づいて決定される。
【0117】
図１３は、一実施形態に係る映像処理装置の構成図である。映像処理装置１３００は、マルチレイヤ表現生成部１３１０、レイヤ拡張部１３２０及び出力ビュー生成部１３３０を備える。また、映像処理装置１３００は格納部１３４０を備える。映像処理装置１３００の入力は１つ以上の入力ビュー１３８０である。１つ以上の入力ビュー１３８０それぞれは映像１３８２及び前記映像と関連する深度マップ１３８４を含む。１つ以上の入力ビュー１３８０それぞれはシーンの特定のビューポイントにおけるビューである。映像処理装置１３００の出力は１つ以上の出力ビューポイントにおける新規映像１３９０である。前記の出力された映像１３９０は内挿領域又は外挿領域のうちの１つに属する。
【0118】
マルチレイヤ表現生成部１３１０は１つ以上の入力ビューを用いてシーンに対する全ての情報を含む参照ビューに対するマルチレイヤ表現を生成する。マルチレイヤ表現は１つ以上の入力ビュー１３８０それぞれの映像１３８２及び深度マップ１３８４に基づいて生成された１つ以上のレイヤを含む。出力ビュー生成部１３３０は、生成されたマルチレイヤ表現を用いて出力ビューポイントにおける出力ビューを生成する。レイヤ拡張部１３２０は、マルチレイヤ表現の１つ以上のレイヤを拡張する。図６を参照して前述したように、１つ以上のレイヤそれぞれは自身の深度値よりもさらに大きい深度値を有するレイヤを遮らない範囲内で拡張される。また、１つ以上のレイヤはレイヤの端から１ピクセルずつ繰り返して拡張の有無が決定される。
【0119】
また、前記の拡張によって１つ以上のレイヤのうち参照ビューの特定の水平線に対して最も大きい深度値を有するレイヤは水平線内の全ての領域に対して色情報を有する。格納部１３４０は、１つ以上の入力ビュー１３８０、マルチレイヤ表現、参照ビュー及び出力ビューに関連するデータを格納及び提供する。
【0120】
マルチレイヤ表現生成部１３１０は、１つ以上の入力ビュー１３８０それぞれの映像を参照ビューに投影することによって１つ以上のレイヤを生成し、生成された１つ以上のレイヤのうち相互作用するレイヤを統合する。マルチレイヤ表現生成部１３１０は、（１）１つ以上の入力ビュー１３８０のうち第１入力ビューの第１位置を選択し、（２）選択された第１位置を参照ビューに投影することによって参照ビュー内における第２位置及び深度を算出し、（３）第２位置及び深度に新しいレイヤを追加することによって、１つ以上のレイヤを生成する。ここで、追加されたレイヤの色値は第１位置の色値と同一である。
【0121】
マルチレイヤ表現生成部１３１０は、（１）参照ビューのうち第１位置を選択し、（２）第１位置で相互作用するレイヤが有する前記第１位置に関する情報を１つのレイヤとして統合することで相互作用レイヤを統合する。相互作用するレイヤは深度値間の差が閾値以下であるレイヤである。
【0122】
出力ビュー生成部１３３０は、（１）１以上のレイヤそれぞれを出力ビューに投影することによって１つ以上のレイヤそれぞれの出力ビュー内における位置を算出し、（２）出力ビュー内の各位置に対して１つ以上のレイヤのうち最も小さい深度値を有するレイヤの色を位置の色として決定することによって出力ビューを生成する。
【0123】
マルチレイヤ表現内の隣接する第１ピクセル及び第２ピクセルがそれぞれ深度値が類似の第１レイヤ及び第２レイヤに含まれる場合、第１ピクセルが出力ビューの第１位置に投影され、第２ピクセルが出力ビューの第２位置に投影された場合、出力ビュー内の第１位置及び第２位置の間の位置されるピクセルの色は、第１ピクセルの色及び第２ピクセルの色の間の双一次内挿に基づいて決定される。
【0125】
多視点表示装置１４００は３Ｄ映像を表示するための３Ｄディスプレイの形態を有し、複数の異なる視点を出力するための多視点のスキームを採用する。３Ｄディスプレイの例として、タブレット型コンピュータデバイス、携帯型ゲーム装置、３Ｄテレビディスプレイ又はラップトップ型コンピュータ内のポータブル３Ｄモニタ等を含む。
【0126】
コントローラ１４０１は多視点表示装置１４００を制御したり、多視点表示装置１４００によって表示される１つ以上の制御信号を生成する。コントローラ１４０１は、１つ以上のプロセッサを含む。
【0127】
映像処理装置１４０５は、多視点表示装置１４００のための多視点映像を生成するために用いられ、例えば、図１３を参照して説明した映像処理装置１３００に対応する。したがって、例えば、映像処理装置１４０５は、マルチレイヤ表現生成部１３１０、レイヤ拡張部１３２０、出力ビュー生成部１３３０及び格納部１３４０を備える。図１４に図示されていないが、例えば、図１３に関連して映像処理装置１４５０内のマルチレイヤ表現生成部１３１０、レイヤ拡張部１３２０、出力ビュー生成部１３３０及び格納部１３４０それぞれは、ここで言及された類似する名称を有する構成要素に対応する。したがって、これ以上言及される必要がない。
【0128】
映像処理装置１４０５は、多視点表示装置１４００内に設けられるか、多視点表示装置１４００に取り付けられるか、多視点表示装置１４００とは別に実装されてもよい。映像処理装置１４０５の物理的な構成とは関係がなく、映像処理装置１４０５はここで言及された能力の全てを備える。映像処理装置１４０５は１つ以上の内部プロセッサを含む。映像処理装置１４０５は、コントローラ１４０１の１つ以上のプロセッサのような、多視点表示装置１４００内に含まれた１つ以上のプロセッサによって制御される。
【0130】
本発明の一実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取り可能な記録媒体に記録されてもよい。コンピュータ読取り可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つ又はその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であって、使用可能なものであってもよい。
【0131】
ここで説明された任意の１つ以上のソフトウェアモジュールは、モジュールに固有な専用プロセッサ又は１つ以上のモジュールに共通するプロセッサのようなコントローラで実行され得る。説明された方法は汎用コンピュータ又はプロセッサ上で実行され、ここで説明された映像を処理するための装置のような特定のマシン上で行われる。
【0132】
上述したように、本発明を実施の形態と図面によって説明したが、本発明は、上記の実施の形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施の形態から多様な修正及び変形が可能である。したがって、本発明の範囲は、開示された実施の形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なもの等によって定められるものである。
【符号の説明】
【0133】
１３００：映像処理装置１３１０：マルチレイヤ表現生成部
１３２０：レイヤ拡張部
１３３０：出力ビュー生成部