特許 6463946 映像処理方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6463946

(24)【登録日】2019年1月11日

(45)【発行日】2019年2月6日

(54)【発明の名称】映像処理方法及び装置

(51)【国際特許分類】

   H04N 13/282 20180101AFI20190128BHJP

   H04N 13/122 20180101ALI20190128BHJP

   H04N 13/257 20180101ALI20190128BHJP

   G06T 7/60 20170101ALI20190128BHJP

【ＦＩ】

   H04N13/282

   H04N13/122

   H04N13/257

   G06T7/60 180D

【請求項の数】18

【全頁数】30

(21)【出願番号】特願2014-224542(P2014-224542)

(22)【出願日】2014年11月4日

(65)【公開番号】特開2015-91136(P2015-91136A)

(43)【公開日】2015年5月11日

【審査請求日】2017年3月23日

(31)【優先権主張番号】10-2013-0133629

(32)【優先日】2013年11月5日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】鄭 英 珠

(72)【発明者】

【氏名】南 東 ▲きょん▼

(72)【発明者】

【氏名】朴 柱 容

(72)【発明者】

【氏名】趙 良 鎬

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 国際公開第２０１２／１１４９７５（ＷＯ，Ａ１）

【文献】 特開２００８−２５０４７７（ＪＰ，Ａ）

【文献】 国際公開第２０１３／０７３３１６（ＷＯ，Ａ１）

【文献】 特開２００８−２５９１７１（ＪＰ，Ａ）

【文献】 特開２０１３−００５４４０（ＪＰ，Ａ）

【文献】 特開２０１３−１３４７８８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００５０２８３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／０１１４２２５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／０１９０８５２（ＵＳ，Ａ１）

【文献】 特開２０００−２１５３１１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／３９８

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

多視点カラー映像及び前記多視点カラー映像に対応する深さ映像に基づいてオクルージョン領域を含む複数の基底映像を生成するステップであって、前記複数の基底映像は、出力映像を生成するために用いられる主基底映像を含み、前記主基底映像は、前記複数の基底映像のうち光源との距離に基づいて選択された基底映像である、ステップと、
前記基底映像内の前記オクルージョン領域のうち１つ以上を復元するステップと、
前記復元されたオクルージョン領域を有する前記主基底映像に基づいて出力映像を生成するステップと、
を含むことを特徴とする映像処理方法。

【請求項2】

前記基底映像は、前記オクルージョン領域の包含関係に基づいて決定されることを特徴とする請求項１に記載の映像処理方法。

【請求項3】

前記複数の基底映像は、複数の視点のうちの最左側の視点及び最右側の視点の少なくとも１つに対応する基底映像を含むことを特徴とする請求項１に記載の映像処理方法。

【請求項4】

前記基底映像は、前記出力映像の光線の方向に基づいて選択されることを特徴とする請求項１に記載の映像処理方法。

【請求項5】

前記基底映像を生成するステップは、
前記オクルージョン領域に基づいて前記基底映像の位置を決定するステップと、
前記多視点カラー映像及び前記深さ映像を用いて前記決定された位置の基底映像を生成するステップと、
を含むことを特徴とする請求項１に記載の映像処理方法。

【請求項6】

前記決定された位置の基底映像を生成するステップは、
前記多視点カラー映像及び前記深さ映像を前記決定された位置の視点における映像に変換することによって変換された映像を生成するステップと、
前記変換された映像を併合することによって前記決定された位置の基底映像を生成するステップと、
を含むことを特徴とする請求項５に記載の映像処理方法。

【請求項7】

前記基底映像の各ピクセルに対して、前記各ピクセルに対応する前記変換された映像のピクセルのうち、深さ値に基づいてピクセルを選択するステップをさらに含み、
前記変換された映像を併合することによって前記決定された位置の基底映像を生成するステップは、複数のピクセルに対するデータとして前記選択されたピクセルからのデータを用いて前記基底映像を生成することを特徴とする請求項６に記載の映像処理方法。

【請求項8】

前記基底映像内のオクルージョン領域を復元するステップは、
前記基底映像内で前記オクルージョン領域を検出するステップと、
前記基底映像の深さを示す基底深さ映像を用いて前記基底映像に対する１つ以上の深さレイヤを生成するステップと、
前記オクルージョン領域に隣接する少なくとも１つの深さレイヤのうちの１つに基づいて前記オクルージョン領域を復元するステップと、
を含むことを特徴とする請求項１乃至７のいずれか一項に記載の映像処理方法。

【請求項9】

前記オクルージョン領域に隣接する複数の深さレイヤが生成され、
前記復元するステップは、前記隣接する複数の深さレイヤのうち前記少なくとも１つの深さレイヤのうちの１つに基づいて前記オクルージョン領域を復元することを特徴とする請求項８に記載の映像処理方法。

【請求項10】

前記オクルージョン領域は、前記オクルージョン領域が属する前記深さレイヤに対するテクスチャー分析によって復元されることを特徴とする請求項８に記載の映像処理方法。

【請求項11】

多視点カラー映像及び前記多視点カラー映像に対応する深さ映像に基づいてオクルージョン領域を含む複数の基底映像を生成するステップであって、前記複数の基底映像は、出力映像を生成するために用いられる主基底映像を含み、前記主基底映像は、前記複数の基底映像のうち第２角度及び第１角度に基づいて選択された基底映像であり、
前記第１角度は、基底映像の傾いた角度であり、
前記第２角度は、出力映像が出力されるディスプレイの法線ベクトル及び光線間の角度である、ステップと、
前記基底映像内の前記オクルージョン領域のうち１つ以上を復元するステップと、
前記復元されたオクルージョン領域を有する前記主基底映像に基づいて出力映像を生成するステップと、
を含むことを特徴とする映像処理方法。

【請求項12】

前記出力映像を生成するステップは、
前記主基底映像を決定するステップと、
前記決定された主基底映像を用いて出力映像を生成するステップと、
前記主基底映像以外の前記複数の基底映像のうち他の基底映像に基づいて前記出力映像内のオクルージョン領域をレンダリングするステップと、
を含むことを特徴とする請求項１に記載の映像処理方法。

【請求項13】

前記出力映像は、ライトフィールド映像であることを特徴とする請求項１２に記載の映像処理方法。

【請求項14】

前記決定された主基底映像を用いて出力映像を生成するステップは、前記主基底映像にビュー補間を適用するステップを含むことを特徴とする請求項１２又は１３に記載の映像処理方法。

【請求項15】

請求項１乃至１４のいずれか一項に記載の方法を実行するためにプロセッサを指示するためのプログラムを格納したコンピュータで読み出し可能な記録媒体。

【請求項16】

映像処理装置であって、
プロセッサを含み、
前記プロセッサは、
多視点カラー映像及び前記多視点カラー映像に対応する深さ映像に基づいてオクルージョン領域を含む複数の基底映像を生成する基底映像生成部であって、前記複数の基底映像は、出力映像を生成するために用いられる主基底映像を含み、前記主基底映像は、前記複数の基底映像のうち光源との距離に基づいて選択された基底映像である、基底映像生成部と、
前記基底映像内のオクルージョン領域を復元するオクルージョン領域復元部と、
前記オクルージョン領域が復元された前記主基底映像に基づいて出力映像を生成する出力映像生成部と、
を備えることを特徴とする映像処理装置。

【請求項17】

映像処理装置であって、
プロセッサを含み、
前記プロセッサは、
多視点カラー映像及び前記多視点カラー映像に対応する深さ映像に基づいてオクルージョン領域を含む複数の基底映像を生成する基底映像生成部であって、前記複数の基底映像は、出力映像を生成するために用いられる主基底映像を含み、前記主基底映像は、前記複数の基底映像のうち第２角度及び第１角度に基づいて選択された基底映像であり、
前記第１角度は、基底映像の傾いた角度であり、
前記第２角度は、出力映像が出力されるディスプレイの法線ベクトル及び光線間の角度である、基底映像生成部と、
前記基底映像内のオクルージョン領域を復元するオクルージョン領域復元部と、
前記オクルージョン領域が復元された基底映像に基づいて出力映像を生成する出力映像生成部と、
を備えることを特徴とする映像処理装置。

【請求項18】

プロセッサを用いてライトフィールド映像を生成する方法であって、
前記方法は、
前記プロセッサによって深さ映像に基づいて複数の入力映像を複数のライトフィールド基底映像に併合するステップであって、前記ライトフィールド基底映像は、前記ライトフィールド基底映像内にピクセル値が存在しない少なくとも１つのオクルージョン領域を有し、前記複数のライトフィールド基底映像は、出力映像を生成するために用いられるライトフィールド主基底映像を含み、前記ライトフィールド主基底映像は、前記複数のライトフィールド基底映像のうち光源との距離に基づいて選択されたライトフィールド基底映像である、ステップと、
前記プロセッサによって、前記ライトフィールド基底映像に関する前記少なくとも１つのオクルージョン領域を検出するステップと、
前記プロセッサによって、前記オクルージョン領域の深さに基づいて前記ライトフィールド基底映像の前記オクルージョン領域内の前記ピクセル値を復元することによって復元されたライトフィールド基底映像を形成するステップと、
前記プロセッサによって、前記ライトフィールド映像を生成するために前記復元されたライトフィールド主基底映像内のピクセルをシフトするステップと、
を含むことを特徴とするライトフィールド映像を生成する方法。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、映像処理をするための方法及び装置に関し、より詳細にはライトフィールド映像を処理する方法及び装置が開示される。

【背景技術】

【0002】

多視点映像が入力されるときにライトフィールドディスプレイを生成するためには、多視点映像に対する変換によってライトフィールドの視点を有するライトフィールド映像が生成される。

【0003】

多視点映像からライトフィールド映像を生成するために、映像基盤レンダリング（Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ；ＩＢＲ）方法を用いてもよい。ＩＢＲ方法を用いるためには、複数の多視点映像が用いられたり、多視点映像及び多視点映像に対応する深さマップ映像に基づいて生成された複数の映像が用いられる。

【0004】

入力された多視点映像によって情報が提供されないライトフィールド映像の領域として、ライトフィールド映像のオクルージョン領域が存在することがある。したがって、オクルージョン領域内のデータは復元されなければならないこともある。

【0005】

ライトフィールド映像を生成するためには相当量のメモリを要求する。また、自然なライトフィールド映像を生成するためには、オクルージョン領域に適した処理が要求される。オクルージョン領域が適切に処理されない場合、ライトフィールド映像内で歪みが発生する恐れがある

【発明の概要】

【課題を解決するための手段】

【0006】

一実施形態において、多視点カラー映像及び前記多視点カラー映像に対応する深さ映像に基づいてオクルージョン領域を含む基底映像を生成するステップと、前記基底映像内の前記オクルージョン領域のうち１つ以上を復元するステップと、前記復元されたオクルージョン領域を有する基底映像に基づいて出力映像を生成するステップとを含む映像処理方法が提供される。

【0007】

他の実施形態において、映像装置であって、プロセッサを含み、前記プロセッサは、多視点カラー映像及び前記多視点カラー映像に対応する深さ映像に基づいてオクルージョン領域を含む基底映像を生成する基底映像生成部と、前記基底映像内のオクルージョン領域を復元するオクルージョン領域復元部と、前記オクルージョン領域が復元された基底映像に基づいて出力映像を生成する出力映像生成部とを備える映像処理装置が提供される。

【0008】

他の一実施形態において、プロセッサを用いてライトフィールド映像を生成する方法であって、前記ライトフィールド映像は４次元の映像であり、前記方法は、前記プロセッサによって深さ映像に基づいて複数の入力映像をライトフィールド基底映像に併合するステップであって、前記ライトフィールド基底映像は、前記ライトフィールド基底映像内にピクセル値が存在しない少なくとも１つのオクルージョン領域を有する、ステップと、前記プロセッサによって、前記ライトフィールド基底映像に関する前記少なくとも１つのオクルージョン領域を検出するステップと、前記プロセッサによって、前記オクルージョン領域の深さに基づいて前記ライトフィールド基底映像の前記オクルージョン領域内の前記ピクセル値を復元することによって復元されたライトフィールド基底映像を形成するステップと、前記プロセッサによって、前記ライトフィールド映像を生成するために前記復元されたライトフィールド基底映像内のピクセルをシフトするステップとを含むライトフィールド映像を生成する方法が提供される。

【発明の効果】

【0009】

本発明によると、多視点入力映像からライトフィールド映像が生成される。少ない数の入力映像が用いられるため、ライトフィールド映像の生成においてメモリが節約される。また、ライトフィールド映像の生成のために要求されるオクルージョン領域についのみ復元されることから、ライトフィールド映像の生成の複雑度が減少し得る。また、複数のライトフィールド映像の生成において単一の復元されたオクルージョン領域が用いられるため、生成された複数のライトフィールド映像間の一貫性が保持され得る。また、基底映像にビュー補間を適用する方式によってライトフィールド映像が生成されるため、ピクセルシフトによってライトフィールド映像を生成することができる。

【図面の簡単な説明】

【0010】

【図1】例示の実施形態に係る映像処理装置のブロック図である。

【図2】本発明の幾つかの実施形態示の実施形態に係る映像処理方法のフローチャートである。

【図3】幾つかの実施形態に係る基底映像生成部のブロック図である。

【図4】幾つかの実施形態に係る基底映像生成方法のフローチャートである。

【図5】幾つかの実施形態に係る映像併合部のブロック図である。

【図6】幾つかの実施形態に係る映像併合方法のフローチャートである。

【図7】幾つかの実施形態に係る遠近法のライトフィールドに対する基底映像生成方法を示す。

【図8】幾つかの実施形態に係る情投影のライトフィールドに対する基底映像生成方法を示す。

【図9】幾つかの実施形態に係るライトフィールドピクセルの算出方法を説明する。

【図10A】幾つかの実施形態に係るカメラ座標への変換を示す。

【図10B】幾つかの実施形態に係るワールド座標への変換を示す。

【図10C】幾つかの実施形態に係るライトフィールド座標への変換を示す。

【図10D】幾つかの実施形態に係る情投影投射を用いるピクセルマッピングを説明する。

【図10E】幾つかの実施形態に係る遠近投射を用いるピクセルマッピングを説明する。 図１１Ａないし図１１Ｆは、幾つかの実施形態に係る３つの入力カラー映像及び３つの深さ映像を示す。

【図11A】幾つかの実施形態に係る第１入力カラー映像を示す。

【図11B】幾つかの実施形態に係る第１入力深さ映像を示す。

【図11C】幾つかの実施形態に係る第２入力カラー映像を示す。

【図11D】幾つかの実施形態に係る第２入力深さ映像を示す。

【図11E】幾つかの実施形態に係る第３入力カラー映像を示す。

【図11F】幾つかの実施形態に係る第３入力深さ映像を示す。

【図12A】幾つかの実施形態に係る第１視点変更カラー映像を示す。

【図12B】幾つかの実施形態に係る第１視点変更深さ映像を示す。

【図12C】幾つかの実施形態に係る第２視点変更カラー映像を示す。

【図12D】幾つかの実施形態に係る第２視点変更深さ映像を示す。

【図12E】幾つかの実施形態に係る第３視点変更カラー映像を示す。

【図12F】幾つかの実施形態に係る第３視点変更深さ映像を示す。

【図13A】幾つかの実施形態に係る第１基底カラー映像を示す。

【図13B】幾つかの実施形態に係る第１基底深さ映像を示す。

【図13C】幾つかの実施形態に係る第２基底カラー映像を示す。

【図13D】幾つかの実施形態に係る第２基底深さ映像を示す。

【図13E】幾つかの実施形態に係る第３基底カラー映像を示す。

【図13F】幾つかの実施形態に係る第３基底深さ映像を示す。

【図14】幾つかの実施形態に係るオクルージョン領域復元部のブロック図である。

【図15】幾つかの実施形態に係るオクルージョン領域の復元方法のフローチャートである。

【図16】幾つかの実施形態に係る基底カラー映像を説明する。

【図17】幾つかの実施形態に係る基底深さ映像を説明する。

【図18】幾つかの実施形態に係る出力映像生成部の構造図である

【図19】幾つかの実施形態に係る出力映像生成方法のフローチャートである。

【図20A】幾つかの実施形態に係る第１基底映像を示す。

【図20B】幾つかの実施形態に係る第２基底映像を示す。

【図20C】幾つかの実施形態に係る第１基底映像に基づいて生成されたライトフィールド映像を示す。

【図20D】幾つかの実施形態に係る第２基底映像に基づいて生成されたライトフィールド映像を示す。

【図21A】幾つかの実施形態に係る第１基底映像を示す。

【図21B】幾つかの実施形態に係る第１基底映像に基づいて生成されたライトフィールド映像を示す。

【図21C】幾つかの実施形態に係る第２基底映像を示す。

【図21D】幾つかの実施形態に係る第２基底映像に基づいて生成されたライトフィールド映像を示す。

【発明を実施するための形態】

【0011】

以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

【0012】

ビューは、カメラによって撮影されたカラー映像及びデプスカメラによって撮影された深さ映像を含んでもよい。視点は、被写体のシーンに対する撮影地点の位置及び／又は方向を意味する。また、視点は、撮影の方向又は撮影の位置を示す。複数のビューの視点は、ビュー間の相対的な方向及び／又は相対的な位置を示す。

【0013】

下記で、カラー映像は、映像内のピクセルのカラー値を示す映像であってもよい。また、下記においてカラー映像は、カラー映像の情報又はカラー映像のデータを示す。

【0014】

例えば、カラー映像は、カラー映像内のピクセルのカラー値を含んでもよい。カラー映像のピクセルのカラー値は、撮影することによって生成されたカラー映像内で、ピクセルが示すシーン内のオブジェクトのカラーを示す。

【0015】

下記で、深さ映像は、映像内のピクセルの深さ値を示す映像であってもよい。また、下記で深さ映像は、深さ映像の情報又は深さ映像のデータを示す。「深さ映像」及び「深さマップ映像」に対する用語の意味は同一であってもよく、互いに交換して用いてもよい。

【0016】

例えば、深さ映像は、深さ映像内のピクセルの深さ値を含んでもよい。深さ映像のピクセルの深さ値は、シーンを撮影することによって生成された深さ映像内でピクセルが示すシーン内のオブジェクト、地点又は領域の深さを示す。小さい深さ値は、ピクセルが示すオブジェクト、地点又は領域が撮影の地点から遠く離れたことを示す。大きい深さ値は、ピクセルが示すオブジェクト、地点又は領域が撮影の地点に近いことを示す。反対に、大きい深さ値がピクセルが示すオブジェクト、地点又は領域が撮影の地点から遠く離れたことを示してもよく、小さい深さ値がピクセルが示すオブジェクト、地点又は領域が撮影の地点に近いことを示してもよい。

【0017】

カメラ及びデプスカメラによってある視点におけるシーンが撮影されたとき、シーン内の１つの所望の（又は代案的に所定の）地点又は領域に対応するピクセルに対してカラー値及び深さ値が生成されてもよい。生成されたピクセルのカラー値は、１つの所望の（又は代案的に所定の）地点のカラー値を示してもよく、生成されたピクセルの深さ値は１つの所望の（又は代案的に所定の）地点及び前記撮影の地点間の距離を示す。カラー映像は、生成されたピクセルのカラー値を含んでもよく、深さ映像は生成されたピクセルの深さ値を含んでもよい。

【0018】

カラー映像のピクセル及び深さ映像のピクセルは、互いに対応する関係を有してもよい。カラー映像のピクセル及び深さ映像のピクセルが互いに対応することは、両ピクセルがシーン内の同じオブジェクト、地点又は領域を示すことを意味する。カラー映像及び深さ映像内で同じ座標値を有するカラー映像のピクセル及び深さ映像のピクセルは互いに対応する。

【0019】

図１は、例示の実施形態に係る映像処理装置のブロック図である。映像処理装置１００は、プロセッサ１０２及びメモリ１０４を含む。

【0020】

プロセッサ１０２は、算術的及び論理的、並びにび入／出力動作を行うことによってコンピュータプログラムの命令を実行するように構成される。プロセッサ１０２は、バス及び／又はネットワークインターフェースを介してメモリ１０４から命令を読み出す。プロセッサ１０２によって実行されるとき、命令はプロセッサを基底映像生成部１１０、オクルージョン領域復元部１２０、及び出力映像生成部１３０から構成される。基底映像生成部１１０、オクルージョン領域復元部１２０、及び出力映像生成部１３０の機能について図２などを参照して下記で詳細に説明する。

【0021】

メモリ１０４は、コンピュータ読み出し可能な格納媒体であってもよい。メモリ１０４は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＲＡＭ）、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ；ＲＯＭ）、及び／又はディスクドライブのような永久的な大容量ストレージデバイスを含んでもよい。プロセッサ１００は、例えば、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＣＰＵ）、コントローラ又は特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ；ＡＳＩＣ）のようなロジックチップであってもよく、メモリ１０４内に格納された命令を実行するとき、基底映像生成部１１０、オクルージョン領域復元部１２０、及び出力映像生成部１３０のような専用機械として構成される。

【0022】

図２は、本発明の幾つかの実施形態に係る映像処理方法のフローチャートである。図２を参照すると、ステップＳ２１０において、基底映像生成部１１０は、多視点カラー映像及び多視点カラー映像に対応する深さ映像を受信する。多視点カラー映像は、互いに異なる視点を有する複数のカラー映像であってもよい。

【0023】

視点は１つのベースライン上の互いに異なる位置にそれぞれ対応する。

【0024】

深さ映像は、複数のカラー映像のそれぞれに対応する深さ映像であってもよい。言い換えれば、１つの視点におけるカラー映像及び深さ映像を含んでもよい。

【0025】

また、基底映像生成部１１０は、基底位置を受信してもよい。

【0026】

多視点カラー映像及び深さ映像について、図１１Ａ〜図１１Ｆを参照して下記で詳細に説明する。

【0027】

ステップＳ２２０において、基底映像生成部１１０は、多視点カラー映像及び多視点カラー映像に対応する深さ映像に基づいて基底映像を生成する。

【0028】

基底映像は、多視点カラー映像及び深さ映像に基づいて生成される１つ以上のライトフィールド映像のオクルージョン領域を含む映像であってもよい。または、基底映像は、多視点カラー映像及び深さ映像に基づいて生成される１つ以上のライトフィールド映像の全てのオクルージョン領域を含む映像であってもよい。

【0029】

基底映像は、カラー映像及び深さ映像に基づいて生成され得る１つ以上のライトフィールド映像のうち、基底映像のオクルージョン領域を含む異なるライトフィールド映像が存在しない映像であってもよい。例えば、基底映像は、カラー映像及び深さ映像に基づいて生成される１つ以上のライトフィールド映像のオクルージョン領域の包含関係に基づいて決定されてもよい。

【0030】

基底映像は、多視点カラー映像及び深さ映像に基づいて生成される互いに異なる視点を有するカラー映像、及び深さ映像のうちオクルージョン領域の全部又は一部が復元された映像であってもよい。基底映像は、基底カラー映像及び基底カラー映像の深さ映像に対応する基底深さ映像を含んでもよい。基底カラー映像は基底映像のカラーを示す。基底深さ映像は基底映像の深さを示す。

【0031】

ステップＳ２３０において、オクルージョン領域復元部１２０は生成された基底映像内のオクルージョン領域を復元する。

【0032】

オクルージョン領域は、カラー値又は深さ値が知られていない領域であってもよい。カラー映像及び深さ映像は２次元の情報を含んでもよい。したがって、カラー映像及び深さ映像の視点が変更される場合、前景又はシーン内の前景によって隠された背景の部分が現れる。しかし、カラー映像及び深さ映像は、隠された部分に関する情報（例えば、隠された部分のカラー値及び深さ値）を含まなくてもよい。したがって、視点の変更に応じて生成されたカラー映像及び深さ映像内で、隠された部分はオクルージョン領域として現れてもよい。

【0033】

ステップＳ２４０において、出力映像生成部１３０は、オクルージョン領域が復元された基底映像に基づいて出力映像を生成する。

【0034】

出力映像は、入力された多視点カラー映像及び深さ映像の視点とは異なる視点を有する映像であってもよい。出力映像はカラー映像であってもよい。また、出力映像は、出力カラー映像及び出力深さ映像を含んでもよい。

【0035】

出力映像は、ライトフィールド映像であってもよい。言い換えれば、出力映像の視点は、入力された多視点カラー映像及び深さ映像の視点に比べて垂直方向及び水平方向に異なる視点であってもよい。垂直方向及び水平方向は、多視点カラー映像及び深さ映像が示すシーンに対する方向であってもよい。

【0036】

出力映像生成部１３０は、生成された複数の基底映像にビュー補間を適用することによって出力映像を生成してもよい。出力映像生成部１３０は、生成された出力映像を出力する。出力映像生成部１３０は、プロジェクターであってもよい。出力映像生成部１３０は、映像処理装置１００の内部の構成要素であってもよく、ケーブル又はネットワークを介して映像処理装置１００と接続された外部の構成要素であってもよい。

【0037】

図３は、幾つかの実施形態に係る基底映像生成部のブロック図である。図３を参照すると、基底映像生成部１１０は、位置決定部３１０及び映像生成部３２０を備える。

【0038】

位置決定部３１０及び映像生成部３２０のそれぞれに対して図４を参照して下記で詳細に説明する。

【0039】

図４は、幾つかの実施形態に係る基底映像生成方法のフローチャートである。

【0040】

図２〜４を参照して、図２を参照して説明したステップＳ２２０は下記のステップＳ４１０及びＳ４２０を含んでもよい。

【0041】

ステップＳ４１０において、位置決定部３１０は基底映像の位置を決定する。基底映像の位置は基底映像の視点を示す。下記で、「基底映像（又は、映像）の位置」は「基底映像（又は映像）の視点」に代替してもよい。

【0042】

位置決定部３１０は、映像処理装置１００によって生成される映像の位置のうち１つ以上の位置を基底映像の位置として決定してもよい。例えば、位置決定部３１０は、映像処理装置１００によって生成される映像のうち基底映像として決定してもよく、決定された映像の位置を基底映像の位置として決定してもよい。

【0043】

位置決定部３１０は、入力されたカラー映像及び前記カラー映像に対応する深さ映像に基づいて、映像処理装置１００によって生成される映像のうちオクルージョン情報が最も多い映像の位置を基底映像の位置として決定してもよい。例えば、位置決定部３１０は、入力されたカラー映像及び入力されたカラー映像に対応する深さ映像に基づいて、映像処理装置１００によって生成される映像のオクルージョン領域に基づいて基底映像の位置を決定してもよい。

【0044】

オクルージョン情報は、オクルージョン領域に関する情報であってもよい。オクルージョン情報が最も多い映像は最も広いオクルージョン領域を含む映像を意味する。

【0045】

位置決定部３１０は、位置のうち両端のサイドの位置を基底映像の位置として選択してもよい。複数の基底映像は、多視点カラー映像及び多視点カラー映像に対応する深さ映像に基づいて生成される１つ以上の映像のうち、最左側のライトフィールド映像及び最右側のライトフィールド映像であってもよい。

【0046】

基底映像の位置決定において、出力映像を出力する出力映像生成部１３０の回転を反映してもよい。

【0047】

位置決定部３１０は、位置のうち光線の方向が最も多く歪んだ映像の位置を基底映像の位置として選択してもよい。ここで、光線の方向が最も多く歪んだ映像は２つであってもよい。基底映像は、多視点カラー映像及び多視点カラー映像に対応する深さ映像に基づいて生成される１つ以上の映像のうち、光線の方向が最も多く歪んだ映像であってもよい。例えば、基底映像は、多視点カラー映像及び多視点カラー映像に対応する深さ映像に基づいて生成される１つ以上の映像の光線の方向に基づいて選択されてもよい。

【0048】

基底映像は、同一の光源を有する透視投影光を１つの集合として映像化したものであってもよい。または、基底映像は光の方向は同一であり、光源は互いに異なる正投影光を１つの集合として映像化したものであってもよい。

【0049】

前述の映像処理装置１００によって生成される映像は、ライトフィールド映像であってもよい。映像処理装置１００によって生成される映像は、多視点カラー映像及び深さ映像によって決定されてもよい。例えば、位置決定部３１０は、多視点カラー映像及び深さ映像に基づいて生成される映像の位置のうち１つ以上の位置を基底映像の位置として決定してもよい。

【0050】

ステップＳ４２０において、映像生成部３２０は、多視点カラー映像及び多視点カラー映像に対応する深さ映像を用いて決定された位置の基底映像を生成する。生成された基底映像はライトフィールド映像であってもよい。

【0051】

基底映像の生成は、図５及び図６などを参照して下記で詳細に説明する。

【0052】

図５は、幾つかの実施形態に係る映像併合部のブロック図である。図６は、幾つかの実施形態に係る基底映像を生成するための映像併合方法を示す。図３〜６を参照して、映像併合部３２０は、映像変換部５１０及び映像併合部５２０を含んでもよい。

【0053】

映像変換部５１０及び映像併合部５２０のそれぞれに対して図６などを参照して下記で詳細に説明する。

【0054】

図６は、幾つかの実施形態に係る映像併合方法のフローチャートである。

【0055】

ステップＳ６１０において、映像変換部５１０は、カラー映像及びカラー映像に対応する深さ映像をステップＳ４１０で決定された位置の視点における映像に変換することによって視点が変換された映像を生成する。視点が変換された映像は、決定された位置の視点を有するカラー映像及び深さ映像を含んでもよい。言い換えれば、視点が変換された映像は、視点が変換されたカラー映像及び視点が変換された深さ映像を含んでもよい。視点が変換された映像は複数であってもよい。複数の視点が変換された映像は、カラー及び深さにおいて互いに異なる情報を含んでもよい。

【0056】

映像変換部５１０は、多視点カラー映像及び多視点カラー映像に対応する深さ映像に対して、各カラー映像及び各カラー映像に対応する深さ映像をステップＳ４１０で決定された位置の視点における映像に変換することで、決定された位置の視点に視点の変換された複数の映像を生成してもよい。決定された位置の視点は基底映像の視点であってもよい。

【0057】

入力映像の多視点カラー映像及び深さ映像がそれぞれ３つの場合、３つの視点が変換されたカラー映像及び深さ映像を、図１２Ａ〜図１２Ｆに基づいて下記で詳細に説明する。

【0058】

ステップＳ６２０において、映像併合部５２０は、複数の視点が変換された映像を併合することによって、ステップＳ４１０で決定された位置の併合された基底映像を生成する。視点が変換された映像併合は、視点が変換された映像情報を統合してもよい。

【0059】

視点が変換された映像は、互いに異なるオクルージョン領域を含んでもよい。映像併合部５２０は視点が変換された映像併合において、視点が変換された映像内で最も近い物体を選択してもよい。映像併合部５２０は、基底映像の各ピクセルに対して各ピクセルに対応する視点が変換された映像のピクセルのうち、深さ値が最も大きいピクセルのデータを各ピクセルに対して用いてもよい。例えば、映像併合部５２０は、基底映像の各ピクセルに対して各ピクセルに対応する視点が変換された映像のピクセルのうち、深さ値に基づいて選択されたピクセルのデータを各ピクセルに対して用いてもよい。

【0060】

例えば、映像併合部５２０は、基底映像の第１ピクセルのカラー値を決定する際に、第１ピクセルに対応する視点の変換された映像の第２ピクセルのうち最も近いピクセルを決定してもよい。映像併合部５２０は、第２ピクセルのうち最も近いピクセルを決定するために視点の変換された深さ映像を用いてもよい。映像併合部５２０は、決定された最も近いピクセルのカラー値を基底映像（又は、基底カラー映像）のピクセルのカラー値に設定してもよい。言い換えれば、映像併合部５２０は、視点が変換されたカラー映像の同じ位置のピクセルのうち、最も近いピクセルのカラー値を基底映像（又は、基底カラー映像）の位置のピクセルのカラー値に設定してもよい。

【0061】

例えば、映像併合部５２０は、基底映像の第１ピクセルの深さ値を決定する際に、第１ピクセルに対応する視点が変換された映像の第２ピクセルのうち最も近いピクセルを決定してもよい。映像併合部５２０は、第２ピクセルのうち最も近いピクセルを決定するために視点の変換された深さ映像を用いてもよい。映像併合部５２０は、決定された最も近いピクセルの深さ値を基底映像（又は、基底カラー映像）のピクセルの深さ値に設定してもよい。言い換えれば、映像併合部５２０は、視点が変換された深さ映像の同じ位置のピクセルのうち、最も近いピクセルの深さ値を基底映像（又は、基底カラー映像）の位置のピクセルの深さ値に設定してもよい。

【0062】

言い換えれば、映像併合部５２０は、視点の変換された映像を併合することにおいて、視点が変換された映像内で最も飛び出ているオブジェクトを選択してもよい。最も飛び出ているオブジェクトは視聴者の視点で最も近いオブジェクトを意味する。また、最も飛び出ているオブジェクトは深さが最も小さい（又は、最も大きい）オブジェクトであってもよい。

【0063】

併合によって生成された互い異なる視点を有する３つの基底映像が図１３Ａ〜図１３Ｆを参照して下記で詳細に説明する。

【0064】

図７は、幾つかの実施形態に係る遠近法のライトフィールドに対する基底映像生成方法を示す。図７に示す右側に、カメラ映像空間内の多視点の映像が示されている。多視点の映像として、３つの入力映像がそれぞれの点から出発する三角形のように示されている。３つの入力映像の視点は、ベースライン上の互いに異なる視点であってもよい。入力映像のそれぞれは、カラー映像及び深さ映像を含んでもよい。

【0065】

図７に示す左側に、ライトフィールド映像空間内の複数の基底映像が示されている。複数の基底映像として、第１基底映像及び第２基底映像がそれぞれの点から出発する三角形のように示されている。三角形は映像の光源を示す。

【0066】

入力映像を示す点と基底映像を示す点との間の線は入力映像及び基底映像間の依存関係を示す。入力映像を示す点と基底映像を示す点との間の線は、入力映像が基底映像の生成のために使用されることを示す。

【0067】

入力映像を示す点又は基底映像を示す点から出発する三角形は、入力映像又は基底映像が示す空間を意味する。

【0068】

複数の入力映像は、透視投影によって取得された映像であってもよい。遠近投射は、単一な点を介して見られるような表面上の投射である。また、複数の基底映像は、遠近投射によって生成されてもよい。

【0069】

図８は、幾つかの実施形態に係る情投影のライトフィールドに対する基底映像生成方法を示す。図８に示す右側に、カメラ映像空間内の多視点の映像が示されている。多視点の映像として、３つの入力映像がそれぞれの点から出発するものと示されている。入力映像のそれぞれはカラー映像及び深さ映像を含んでもよい。

【0070】

図８に示す左側に、ライトフィールド映像空間内の複数の基底映像が示されている。複数の基底映像として、第１基底映像及び第２基底映像がそれぞれ平行四辺の面として示されている。第１基底映像及び第２基底映像の左側における垂直面は、平行する光源の線を示す。

【0071】

複数の入力映像は、透視投影法によって取得された映像であってもよい。複数の基底映像は、正投影法によって生成されてもよい。正投影法は、３次元のオブジェクトを２次元内に投射し、全ての投射ラインは投射平面に対して直交する。

【0072】

図９は、幾つかの実施形態に係るライトフィールドピクセルの算出方法を説明する。

【0073】

図５〜９を参照すると、映像変換部５１０は、カメラ内部パラメータを用いて入力映像のピクセル又はピクセルの座標をカメラ座標に変換してもよい。カメラ座標への変換に対して図１０Ａを参照して下記で詳細に説明する。

【0074】

次に、映像変換部５１０は、カメラ外部パラメータを用いてカメラ座標をワールド座標に変換してもよい。ワールド座標への変換に対して図１０Ｂを参照して下記で詳細に説明する。

【0075】

次に、映像変換部５１０は、ライトフィールド外部パラメータを用いてワールド座標をライトフィールド座標に変換してもよい。ライトフィールド座標への変換に対して図１０Ｃを参照して下記で詳細に説明する。

【0076】

次に、映像変換部５１０は、ライトフィールド座標をライトフィールドピクセルに変換してもよい。映像変換部５１０は、ライトフィールド映像内のピクセルのうち算出されたライトフィールド座標に対応するピクセルを決定してもよい。

【0077】

映像変換部５１０は、ライトフィールドのタイプに応じて正投影法又は透視投影法を用いて算出されたライトフィールド座標をライトフィールド映像内の特定の座標にマッピングさせることができる。または、映像変換部５１０はライトフィールドのタイプに応じて正投影法又は透視投影法を用いて算出されたライトフィールド座標をライトフィールド映像内のピクセルのうち１つのピクセルにマッピングさせてもよい。マッピングによってライトフィールド映像内のライトフィールドピクセルが生成される。

【0078】

正投影法又は透視投影法を用いるピクセルでのマッピングについて、図１０Ｄ及び図１０Ｅを参照して下記でそれぞれ詳細に説明する。

【0079】

図１０Ａは、幾つかの実施形態に係るカメラ座標への変換を示す。

【0080】

図１０Ａ〜図１０Ｅにおいて、入力映像内のｉ_ｃ、ｊ_ｊ、ｄ_ｉｊの位置のピクセル１０１１は、カメラ座標系１０１０におけるｘ_ｃ、ｙ_ｃ、ｚ_ｃの座標１０１２に変換されてもよい。

【0081】

入力映像内の位置ｉ_ｃ、ｊ_ｊ、ｄ_ｉｊのうちｉ_ｃ、ｊ_ｊ、ｄ_ｉｊは、ピクセルの水平位置（又は、座標値）、ピクセルの垂直位置（又は、座標値）、及びピクセルの深さをそれぞれ示す。

【0082】

図１０Ａにおいて、三角形は入力映像の領域に対応する。

【0083】

図１０Ｂは、幾つかの実施形態に係るワールド座標への変換を示す。図１０Ｂにおいて、カメラ座標系１０１０のｘｃ、ｙｃ、ｚｃの座標１０１２は、ワールド座標系１０２０におけるｘ、ｙ、ｚの座標１０２１に変換されてもよい。図１０Ｂにおいて、三角形は入力映像の領域に対応する。

【0084】

図１０Ｃは、幾つかの実施形態に係るライトフィールド座標への変換を示す。図１０Ｃにおいて、ワールド座標系１０２０のｘ、ｙ、ｚの座標１０２１は、ライトフィールド座標系１０３０におけるｘ_ＬＦ、ｙ_ＬＦ、ｚ_ＬＦの座標１０３１に変換されてもよい。

【0085】

図１０Ｄは、幾つかの実施形態に係る情投影投射を用いるピクセルマッピングを説明する。図１０Ｄにおいて、ライトフィールド座標系１０３０におけるｘ_ＬＦ、ｙ_ＬＦ、ｚ_ＬＦの座標１０３１は、正投影法によってライトフィールド映像内のｉ_ＬＦ、ｊ_ＬＦ位置のピクセル１０４１にマッピングされる。

【0086】

入力映像内の位置ｉ_ＬＦ、ｊ_ＬＦのうちｉ_ＬＦ及びｊ_ＬＦは、ピクセルの水平位置及びピクセルの垂直位置をそれぞれ示す。

【0087】

図１０Ｄに示す四角形１０５１は基底映像の領域に対応する。

【0088】

図１０Ｅは、幾つかの実施形態に係る透視投影法を用いるピクセルマッピングを説明する。図１０Ｅにおいて、ライトフィールド座標系１０３０におけるｘ_ＬＦ、ｙ_ＬＦ、ｚ_ＬＦの座標１０５１は、透視投影法によってライトフィールド映像内のｉ_ＬＦ、ｊ_ＬＦの位置のピクセル１０３１にマッピングされる。

【0089】

入力映像内の位置ｉ_ＬＦ、ｊ_ＬＦのうちｉ_ＬＦ及びｊ_ＬＦは、ピクセルの水平位置（又は、座標値）及びピクセルの垂直位置（又は、座標値）をそれぞれ示す。

【0090】

図１０Ｅに示す三角形１０５２は基底映像の領域に対応する。

【0091】

図１１Ａ〜図１１Ｆは、幾つかの実施形態に係る３つの入力カラー映像及び３つの深さ映像を示す。図１１Ａ〜図１１Ｆにおいて、多視点カラー映像は、第１入力カラー映像、第２入力カラー映像、及び第３入力カラー映像を含み、多視点の深さ映像は、第１入力深さ映像、第２入力深さ映像、及び第３入力深さ映像を含むものとして示されている。

【0092】

第１入力カラー映像及び第１入力深さ映像は、第１ビュー又は第１入力映像を構成してもよい。第２入力カラー映像及び第２入力深さ映像は、第２ビュー又は第２入力映像を構成してもよい。第２入力カラー映像及び第２入力深さ映像は、第２ビュー又は第１入力映像を構成してもよい。

【0093】

図１１Ａ〜図１１Ｆにおいて、前景のオブジェクトは円形又は球形を有するものとして示されている。背景は黒色に表示されている。

【0094】

図１１Ａは、幾つかの実施形態に係る第１入力カラー映像を示す。図１１Ａを参照して、第１入力カラー映像は、多視点カラー映像のうち左側又は最左側の視点のカラー映像であってもよい。

【0095】

第１入力カラー映像で、円形に表示された前景のオブジェクトは右側に偏って表示されている。前景のオブジェクトは、深さ値がより大きいほど又は撮影の地点からより近いほどさらに右側に位置する。

【0096】

図１１Ｂは、幾つかの実施形態に係る第１入力深さ映像を示す。図１１Ｂを参照して、第１入力深さ映像は、第１入力カラー映像に対応する深さ映像であってもよい。第１入力深さ映像は、多視点の深さ映像のうち左側又は最左側の視点の深さ映像であってもよい。

【0097】

第１深さ映像で、浅い部分は深さ値が大きい部分又は撮影の地点からより近い部分を示す。濃厚な部分は、深さ値が小さい部分又は撮影の地点からより近い部分を示す。

【0098】

図１１Ｃは、幾つかの実施形態に係る第２入力カラー映像を示す。図１１Ｃを参照すると、第２入力カラー映像は、多視点カラー映像のうち中央の視点のカラー映像であってもよい。

【0099】

第１入力カラー映像で、円形に表示された前景のオブジェクトは第２カラー映像の中心部に表示されている。前景のオブジェクトのうち深さ値がさらに小さいオブジェクト（又は、撮影の地点からさらに遠いオブジェクト）は深さ、値がより大きいオブジェクト（又は、撮影の地点からより近いオブジェクト）によって隠されている。

【0100】

図１１Ｄは、幾つかの実施形態に係る第２入力深さ映像を示す。図１１Ｄを参照すると、第２入力深さ映像は、２入力カラー映像に対応する深さ映像であってもよい。第２入力深さ映像は、多視点の深さ映像のうち中央の視点の深さ映像であってもよい。

【0101】

第２深さ映像で、浅い部分は深さ値が大きい部分又は撮影の地点からより近い部分を示す。濃厚な部分は、深さ値が小さい部分又は撮影の地点からより近い部分を示してもよい。

【0102】

図１１Ｅは、幾つかの実施形態に係る第３入力カラー映像を示す。図１１Ｅを参照すると、第３入力カラー映像は、多視点カラー映像のうち右側又は最右側の視点のカラー映像であってもよい。

【0103】

第３入力カラー映像で、円形に表示された前景のオブジェクトは左側に偏って表示されている。前景のオブジェクトは、深さ値がより大きいほど又は撮影の地点からより近いほどさらに左側に位置する。

【0104】

図１１Ｆは、幾つかの実施形態に係る第３入力深さ映像を示す。図１１Ｆを参照すると、第３入力深さ映像は、第３入力カラー映像に対応する深さ映像であってもよい。第３入力深さ映像は、多視点の深さ映像のうち右側又は最右側の視点の深さ映像であってもよい。

【0105】

第３深さ映像で、浅い部分は、深さ値が大きい部分又は撮影の地点からより近い部分を示す。濃厚な部分は、深さ値が小さい部分又は撮影の地点からより近い部分を示す。

【0106】

図１２Ａ〜図１２Ｆは、幾つかの実施形態に係る基底映像の視点に変更された視点が基底映像の視点に変換された３つのカラー映像及び３つの深さ映像を示す。図１２Ａ〜図１２Ｆでは、３つの視点が変換されたカラー映像及び３つの視点が変換された深さ映像が示されている。ここで、変更された視点は、位置決定部３１０によって決定された位置に対応する視点であってもよい。

【0107】

映像変換部５１０は、視点が変換されたカラー映像及び視点が変換された深さ映像を生成してもよい。

【0108】

位置決定部３１０は、１つ以上の位置を生成される基底映像の位置として決定してもよい。図１２Ａ〜図１２Ｆを参照して図示された３つの視点が変換されたカラー映像及び３つの視点が変換された深さ映像は、決定された３つの位置のうち左側又は最左側の位置に対応する視点であってもよい。言い換えれば、図１２Ａ〜図１２Ｆに示す３つの視点が変換されたカラー映像及び３つの視点が変換された深さ映像の視点は第１基底映像視点であってもよい。

【0109】

視点が変換されたカラー映像は、入力された多視点カラー映像の数だけ生成されてもよい。また、視点が変換された深さ映像は、入力された多視点の深さ映像の数だけ生成されてもよい。

【0110】

基底映像の視点に変更された図１２Ａ、図１２Ｃ及び図１２Ｅで、図１１Ａ、図１１Ｃ及び図１１Ｅの多視点カラー映像の第１入力カラー映像、第２入力カラー映像、及び第３入力カラー映像がそれぞれ基底映像の視点に変更されたカラー映像が示されている。

【0111】

図１２Ａは、幾つかの実施形態に係る第１視点変更カラー映像を示す。

【0112】

第１視点変更カラー映像は、図１１Ａに示す第１入力カラー映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。

【0113】

第１入力カラー映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第１視点変更カラー映像内でオクルージョン領域が生成されている。オクルージョン領域は、第１視点変更カラー映像内の黒い色で表現されている。また、後述される図１２Ｂ〜図１２Ｆでもオクルージョン領域は黒い色で表現されている。

【0114】

図１２Ｂは、幾つかの実施形態に係る第１視点変更された深さ映像を示す。

【0115】

第１視点変更深さ映像は、図１１Ｂにおける第１入力深さ映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。

【0116】

第１入力深さ映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第１視点変更深さ映像内でオクルージョン領域が生成されている。

【0117】

図１２Ｃは、幾つかの実施形態に係る第２視点変更カラー映像を示す。

【0118】

第２視点変更カラー映像は、図１１Ｃに示す第２入力カラー映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。

【0119】

第２入力カラー映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第２視点変更カラー映像内でオクルージョン領域が生成されている。

【0120】

図１２Ｄは、幾つかの実施形態に係る第２視点変更深さ映像を示す。

【0121】

第２視点変更深さ映像は、図１１Ｄに示す第２入力深さ映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。

【0122】

第２入力深さ映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第２視点変更深さ映像内でオクルージョン領域が生成されている。

【0123】

図１２Ｅは、幾つかの実施形態に係る第３視点変更カラー映像を示す。

【0124】

第３視点変更カラー映像は、図１１Ｅに示す第３入力カラー映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。

【0125】

第３入力カラー映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第３視点変更カラー映像内でオクルージョン領域が生成されている。

【0126】

図１２Ｆは、幾つかの実施形態に係る第３視点変更深さ映像を示す。

【0127】

第３視点変更深さ映像は、図１１Ｆに示す第３入力深さ映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。

【0128】

第３入力深さ映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第３視点変更深さ映像内でオクルージョン領域が生成されている。

【0129】

図１３Ａ〜図１３Ｆは、幾つかの実施形態に係る３つの基底映像を示す。

【0130】

前述されたように、位置決定部３１０は、１つ以上の位置を生成される基底映像の位置として決定してもよい。図１２Ａ〜図１２Ｆでは、３つの位置が基底映像の位置として決定し、３つの位置に対応する基底映像がそれぞれ生成された場合を示す。

【0131】

透視投影法の基底映像において、位置決定部３１０は、基底映像の位置を最も外郭の光源及び中央の光源にそれぞれ対応する位置として決定する。最左側の光源、中央の光源、及び最右側の光源の位置が基底映像の位置として決定されてもよい。

【0132】

３つの位置のうち左測位置に対応する第１基底映像は、図１２Ａに示す第１基底カラー映像及び図１２Ｂに示す第２基底深さ映像を含んでもよい。中央位置に対応する第２基底映像は、図１２Ｃに示す第２基底カラー映像及び図１２Ｄに示す第２基底深さ映像を含んでもよい。右測位置に対応する第３基底映像は、図１２Ｅに示す第３基底カラー映像及び図１２Ｆに示す第３基底深さ映像を含んでもよい。

【0133】

図１３Ａは、幾つかの実施形態に係る第１基底カラー映像を示す。

【0134】

第１基底カラー映像は第１基底映像のカラーを示す。

【0135】

映像併合部５２０は、図１３Ａに示す第１視点変更カラー映像、図１３Ｃに示す第２視点変更カラー映像、及び図１３Ｅに示す第３視点変更カラー映像を併合することによって第１基底カラー映像を生成してもよい。

【0136】

図１３Ｂは、幾つかの実施形態に係る第１基底深さ映像を示す。

【0137】

第１基底深さ映像は、第１基底映像の深さを示す。

【0138】

映像併合部５２０は、図１３Ｂに示す第１視点変更深さ映像、図１３Ｄに示す第２視点変更深さ映像、及び図１３Ｆに示す第３視点変更深さ映像を併合することによって第１基底深さ映像を生成してもよい。

【0139】

図１３Ｃは、幾つかの実施形態に係る第２基底カラー映像を示す。

【0140】

第２基底カラー映像は、第２基底映像のカラーを示す。第２基底カラー映像は、第２基底映像の視点で視点が変換されたカラー映像を併合することによって生成されてもよい。

【0141】

図１３Ｄは、幾つかの実施形態に係る第２基底深さ映像を示す。

【0142】

第２基底深さ映像は、第２基底映像の深さを示す。第２基底深さ映像は第２基底映像の視点で視点が変換された深さ映像を併合することによって生成されてもよい。

【0143】

図１３Ｅは、幾つかの実施形態に係る第３基底カラー映像を示す。

【0144】

第３基底カラー映像は、第３基底映像のカラーを示す。第３基底カラー映像は、第３基底映像の視点で視点が変換されたカラー映像を併合することによって生成されてもよい。

【0145】

図１３Ｆは、幾つかの実施形態に係る第３基底深さ映像を示す。

【0146】

第３基底深さ映像は、第３基底映像の深さを示す。第３基底深さ映像は、第３基底映像の視点で視点が変換された深さ映像を併合することによって生成されてもよい。

【0147】

図１４は、幾つかの実施形態に係るオクルージョン領域復元部のブロック図である。図１５は、幾つかの実施形態に係るオクルージョン領域の復元方法を示す。

【0148】

図１、２、１４及び１５を参照すると、図２を参照して議論されたように、ステップＳ２３０においてオクルージョン領域復元部１２０はオクルージョン領域を復元する。

【0149】

オクルージョン領域復元部１２０は、オクルージョン領域検出部１４１０、深さレイヤ生成部１４２０、及びオクルージョン領域推定部１４３０を備える。

【0150】

基底映像は、入力された多視点カラー映像及び深さ映像では情報が提供されていないオクルージョン領域を含んでもよい。

【0151】

映像処理装置１００によって生成されるライトフィールド映像のうち、基底映像が最も多いオクルージョン領域を含む。したがって、基底映像のオクルージョン領域が復元されれば、復元された領域の情報が異なるライトフィールド映像を生成するためにも用いてもよい。

【0152】

ステップＳ１５１０において、オクルージョン領域検出部１４１０は基底映像内でオクルージョン領域を検出する。

【0153】

基底映像は、複数の視点が変換された映像に基づいて生成されるが、基底映像の視点において、ある視点が変換された映像によっても情報が提供されない領域が存在することがある。ここで、情報とは、領域又は領域内のピクセルのカラー値及び／又は深さ値を含んでもよい。オクルージョン領域は、基底映像内の情報が欠如した領域であってもよい。

【0154】

オクルージョン領域検出部１４１０は、基底映像のピクセルのうちカラー値及び／又は深さ値が設定されていないピクセルをオクルージョン領域として検出してもよい。基底映像のピクセルのカラー値及び／又は深さ値は、マッピングによって設定されてもよい。基底カラー映像の第１ピクセルにマッピングされるピクセルは、視点が変換されたカラー映像の第１ピクセルと同一の座標値を有する第２ピクセルのうち、最も近いピクセルであってもよい。基底深さ映像の第３ピクセルにマッピングされるピクセルは、視点が変換された深さ映像の第３ピクセルと同一の座標値を有する第４ピクセルのうち、最も近いピクセルであってもよい。

【0155】

ステップＳ１５２０において、深さレイヤ生成部１４２０は、基底映像の基底深さ映像を用いて基底映像に対する深さレイヤを生成又は決定してもよい。深さレイヤ生成部１４２０は、同一の深さ値又は類似の深さ値を有するピクセルを深さレイヤとしてグルーピングしてもよい。言い換えれば、深さレイヤは、同一の深さ値又は類似の深さ値を有するピクセルの領域をレイヤとして表現したものであってもよい。

【0156】

深さレイヤ生成部１４２０は、基底映像のピクセルを１つ以上のレイヤに分類してもよい。分類の際に、深さレイヤ生成部１４２０は基底映像のピクセルのうち同一の深さ値又は類似の深さ値を有する隣接するピクセルを１つの深さレイヤにグルーピングしてもよい。言い換えれば、１つ以上の深さレイヤは、同一の深さ値又は類似の深さ値を有する隣接するピクセルがレイヤとして分類されたものであってもよい。

【0157】

上述の説明のうち、類似の深さ値は所望の（又は代案的に所定の）範囲内の深さ値であってもよい。この範囲の中心は、深さレイヤに対応するピクセルの深さ値の平均値又は中間値であってもよい。所定の範囲は１つの深さレイヤにグルーピングするために適する範囲であってもよく、視聴者が同一の深さ感を感じる深さ値の範囲であってもよい。

【0158】

基底映像のうち、オクルージョン領域又はオクルージョン領域内のピクセルに対して深さ値が決定されないことがある。深さレイヤ生成部１４２０は、オクルージョン領域に対してオクルージョン領域に隣接するピクセルのうち最も小さい深さ値を有するピクセルを選択してもよく、ピクセルに対応する深さレイヤをオクルージョン領域の深さレイヤとして決定してもよい。ここで、隣接するピクセルは、オクルージョン領域に水平（ｐａｒａｌｌａｘ）に隣接するピクセルであってもよい。または、深さレイヤ生成部１４２０は、オクルージョン領域に対してオクルージョン領域に隣接する深さレイヤのうち最も小さい深さ値を有する深さレイヤを選択してもよく、オクルージョン領域を選択された深さレイヤに含ませてもよい。ここで、隣接する深さレイヤは、オクルージョン領域に水平に隣接する深さレイヤであってもよい。

【0159】

オクルージョン領域を含む深さレイヤの選択について図１６及び図１７を参照して詳細に説明する。

【0160】

ステップＳ１５３０において、オクルージョン領域推定部１４３０は、１つ以上の深さレイヤのうちオクルージョン領域が属する深さレイヤ又はオクルージョン領域に隣接する深さレイヤに基づいてオクルージョン領域に対して推定することでオクルージョン領域を復元する。

【0161】

オクルージョン領域に隣接する深さレイヤは複数であってもよい。オクルージョン領域推定部１４３０は、複数の深さレイヤのうち最も小さい深さ値を有する深さレイヤをオクルージョン領域の復元のために用いる。例えば、オクルージョン領域推定部１４３０は、複数の深さレイヤのうち深さ値に基づいて選択された深さレイヤをオクルージョン領域の復元のために用いてもよい。

【0162】

オクルージョン領域が属する深さレイヤ又はオクルージョン領域に隣接する深さレイヤは、カラー値及び深さ値を有するピクセルに対応する。または、オクルージョン領域が属する深さレイヤ又はオクルージョン領域に隣接する深さレイヤは、カラー値及び深さ値を有するピクセルを含んでもよい。オクルージョン領域推定部１４３０は、オクルージョン領域が属する深さレイヤのカラー値及び深さ値を有するピクセルに対してテクスチャー分析を適用することによってオクルージョン領域を復元する。例えば、オクルージョン領域推定部１４３０は、オクルージョン領域が属する深さレイヤのカラー値及び深さ値を有するピクセルに対してテクスチャー分析を適用することによって、ピクセルのカラー情報及び深さ情報をオクルージョン領域に拡張させ得る。

【0163】

深さレイヤのカラー値及び深さ値を有するピクセルは、シーンのオブジェクトを示す。言い換えれば、オクルージョン領域推定部１４３０は、オクルージョン領域が属する深さレイヤに現れるオブジェクトの情報に対してテクスチャー分析を適用することによって、深さレイヤを生成したオクルージョン領域の情報を復元してもよい。ここで、情報はカラー値及び深さ値を含んでもよい。

【0164】

図１６は、幾つかの実施形態に係る基底カラー映像を説明する。

【0165】

基底カラー映像１６００は、第１前景領域１６１０、第２前景領域１６２０及びオクルージョン領域１６３０を備える。オクルージョン領域１６３０は黒色に表示した。

【0166】

図１７は、幾つかの実施形態に係る基底深さ映像を説明する。

【0167】

基底深さ映像１７００は、図１６に示す基底カラー映像１６００に対応する深さ映像であってもよい。基底深さ映像１７００は、第１前景深さ領域１７１０、第２前景深さ領域１７２０、及びオクルージョン領域１７３０を備える。

【0168】

第２前景深さ領域１７２０は、第１前景深さ領域１７１０に比べて突出した。言い換えれば、第２前景深さ領域１７２０の深さ値は、第１前景深さ領域１７１０の深さ値に比べてより大きくてもよい。

【0169】

深さレイヤ生成部１４２０は、第１前景深さ領域１７１０の領域を第１深さレイヤに決定してもよく、第２前景深さ領域１７２０の領域を第２深さレイヤに決定してもよい。

【0170】

オクルージョン領域１７３０には、第１前景深さ領域１７１０及び第２前景深さ領域１７２０が隣接している。深さレイヤ生成部１４２０は、オクルージョン領域１７３０を第１深さレイヤ１７１０及び第２深さレイヤ１７２０のうち小さい深さ値を有する第１深さレイヤ１７１０に含ませてもよい。

【0171】

複数の深さレイヤがオクルージョン領域に隣接するとき、複数の深さレイヤは、背景に対応する深さレイヤ及び前景に対応する深さレイヤを含んでもよい。深さレイヤ生成部１４２０は、背景に対応する深さレイヤ及び前景に対応する深さレイヤのうち背景に対応する深さレイヤにオクルージョン領域を含ませてもよい。また、深さレイヤ生成部１４２０は、前景に対応する複数の深さレイヤのうち最も小さい値を有する深さレイヤにオクルージョン領域を含ませてもよい。

【0172】

図１８は、幾つかの実施形態に係る出力映像生成部の構造図である。図１９は、幾つかの実施形態に係る出力映像生成方法を示す。

【0173】

図１、２、１８及び１９を参照すると、図２を参照して議論されたように、ステップＳ２４０で、出力映像生成部１３０は出力映像を生成する。出力映像生成部１３０は、基底映像決定部１８１０、ライトフィールド映像生成部１８２０及びレンダリング部１８３０を備える。

【0174】

ステップＳ１９１０において、基底映像決定部１８１０は、生成された複数の基底映像のうち出力映像を生成するために用いられる基底映像を決定する。基底映像決定部１８１０は、複数の基底映像のうち出力映像を用いるために用いられるものと決定された基底映像を主基底映像として命名する。複数の基底映像のうち決定された基底映像の他に基底映像を補助基底映像として命名する。言い換えれば、複数の基底映像は、出力映像を生成するために用いられる主基底映像を含んでもよい。

【0175】

基底映像決定部１８１０は、生成された複数の基底映像のうちオクルージョン領域を最も多く含む基底映像を出力映像を生成するために用いられる基底映像として決定してもよい。例えば、基底映像決定部１８１０は、生成された複数の基底映像のうちオクルージョン領域の大きさに基づいて出力映像を生成するために用いられる基底映像を選択してもよい。

【0176】

また、基底映像決定部１８１０は、複数の基底映像のうち出力映像の視点に変換されたとき最も多いオクルージョン領域を表わす基底映像を、出力映像を生成するために用いられる基底映像として決定してもよい。

【0177】

基底映像決定部１８１０は、出力映像のライトフィールド映像が透視投影法の映像である場合、複数の基底映像のうち光源から最も近い基底映像を出力映像を生成するために用いられる基底映像として決定してもよい。例えば、基底映像決定部１８１０は、出力映像のライトフィールド映像が透視投影法の映像である場合、複数の基底映像のうち光源との距離に基づいて選択された基底映像を、出力映像を生成するために用いられる基底映像として決定してもよい。

【0178】

出力映像のライトフィールド映像が正投影法の映像である場合、基底映像決定部１８１０は、第１角度及び第２角度の差を算出する。第１角度は、基底映像の傾いた角度であってもよい。第２角度は、出力映像が出力されるディスプレイの法線ベクトルと光線との間の角度であってもよい。基底映像決定部１８１０は、生成された複数の基底映像のうち第１角度及び第２角度の差を最も小さくする基底映像を出力映像を生成するために用いられる基底映像として決定してもよい。例えば、決定された基底映像は、複数の基底映像のうち第２角度と最も近接した第１角度を有する基底映像であってもよい。または、決定された基底映像は、複数の基底映像のうち第２角度及び第１角度に基づいて選択された基底映像であってもよい。

【0179】

ステップＳ１９２０において、ライトフィールド映像生成部１９２０は、ステップＳ１９１０で決定された基底映像を用いて出力映像のライトフィールド映像を生成する。ライトフィールド映像の視点及び基底映像の視点は互いに異なってもよい。ライトフィールド映像生成部１９２０は、ステップＳ１９１０で決定された基底映像の基底カラー映像及び基底深さ映像を用いてライトフィールド映像を生成してもよい。

【0180】

ライトフィールド映像生成部１９２０は、決定された基底映像にビュー補間を適用することによってライトフィールド映像を生成する。

【0181】

ステップＳ１９３０において、レンダリング部１８３０は、複数の基底映像のうち決定された基底映像以外の基底映像を用いて生成された出力映像のライトフィールド映像内のオクルージョン領域をレンダリングする。レンダリング部１８３０は、１）補助基底映像の基底カラー映像のカラー値の情報、及び２）補助基底映像の基底深さ映像の深さ値の情報を用いて生成されたライトフィールド映像内のオクルージョン領域をレンダリングする。言い換えれば、ライトフィールド映像内のオクルージョン領域をレンダリングするために、複数の基底映像のうちライトフィールド映像を生成するために用いられた基底映像以外の残りの基底映像の情報を用いてもよい。基底映像の情報は、基底映像が含む基底カラー映像のカラー値の情報及び基底映像が含む基底深さ映像の深さ値の情報を含んでもよい。

【0182】

前述されたステップＳ１９１０において選択された基底映像は、オクルージョン領域を最も多く含む映像であってもよい。したがって、基底映像選択された基底映像以外の残りの基底映像を用いて生成されたライトフィールド映像は、新しいオクルージョン領域又は追加的なオクルージョン領域を含まないことがある。したがって、レンダリング部１８３０は、追加的なオクルージョン領域の復元方法を使用しないことがある。

【0183】

前述したように、出力映像は基底映像に対するビュー補間だけで生成されてもよい。したがって、出力映像生成部１３０は、基底映像のピクセルに対するピクセルシフト演算を行うことによって出力映像を生成してもよい。また、出力映像生成部１３０は、出力映像の生成において統一された１つのオクルージョン領域を用いてもよい。したがって、オクルージョン領域の復元において出力映像の間の一貫性を有し得る。

【0184】

図２０Ａは、幾つかの実施形態に係る第１基底映像を示す。図２０Ａに示す第１基底映像２０１０は、出力映像が透視投影法によってディスプレイされるときの基底映像を示す。第１基底映像２０１０は、出力映像生成部１３０又はディスプレイ装置が透視投影方式の装置であるときの基底映像を示す。

【0185】

図２０Ａにおいて、第１基底映像２０１０は２つの前景のオブジェクトを含んでもよい。第１オブジェクトは、領域２０１１及び領域２０１２に表示されている。第２オブジェクトは、領域２０１３に表示されている。第２オブジェクトは相対的に前に飛び出ているオブジェクトであってもよく、第１オブジェクトは相対的に後に位置するオブジェクトであってもよい。

【0186】

図２０Ｂは、幾つかの実施形態に係る第２基底映像を示す。図２０Ｂに示す第２基底映像２０２０は、出力映像が透視投影法によってディスプレイされるときの基底映像を示す。第２基底映像２０２０は、出力映像生成部１３０又はディスプレイ装置が透視投影方式の装置であるときの基底映像を示す。

【0187】

第１基底映像２０１０及び第２基底映像２０２０は互いに異なる視点を有してもよい。

【0188】

図２０Ａ及び図２０Ｂに示すように、第１基底映像２０１０及び第２基底映像２０２０におけるオクルージョン領域は互いに異なってもよい。

【0189】

図２０Ｃは、幾つかの実施形態に係る第１基底映像に基づいて生成されたライトフィールド映像を示す。

【0190】

第１基底映像２０１０に基づいて生成されたライトフィールド映像２０３０は、図示したように、オクルージョン領域２０３２及び２０３３を含んでもよい。第１基底映像２０１０は、２つの前景のオブジェクトを含んでもよい。第１オブジェクトは、領域２０１１及び領域２０１２に表示されている。第２オブジェクトは、領域２０１３に表示されている。

【0191】

地点２０３１は、ライトフィールド映像２０３０の視点又は出力点に対応する。

【0192】

図２０Ｄは、幾つかの実施形態に係る第２基底映像に基づいて生成されたライトフィールド映像を示す。

【0193】

第２基底映像２０２０に基づいて生成されたライトフィールド映像２０４０は、図示したように、オクルージョン領域２０４２及び２０４３を含んでもよい。

【0194】

地点２０４１は、ライトフィールド映像２０４０の視点又は出力点に対応する。

【0195】

図２０Ｃ及び図２０Ｄに示すように、互いに異なる基底映像に基づいて生成されたライトフィールド映像のオクルージョン領域は互いに異なってもよい。

【0196】

例えば、第１基底映像２０１０が主基底映像に決定された場合、第１基底映像２０１０に基づいて生成されたライトフィールド映像２０３０内にはオクルージョン領域２０３２及び２０３３が存在する。前記オクルージョン領域２０３２及び２０３３に関する情報は、第２基底映像２０２０のような他の基底映像から取得されてもよい。

【0197】

図２１Ａは、幾つかの実施形態に係る第１基底映像を示す。図２１Ａに示す第１基底映像２１１０は、出力映像が正投影法によってディスプレイされるときの基底映像を示す。第１基底映像２１１０は、出力映像生成部１３０又はディスプレイ装置が正投影方式の装置であるときの基底映像を示す。

【0198】

図２１Ａにおいて、第１基底映像２１１０は２つの前景のオブジェクトを含んでもよく、すなわち、第１オブジェクトは領域２１１１及び領域２１１２内に表示されている。第２オブジェクトは領域２１１３に表示されている。第２オブジェクトは相対的に前に飛び出ているオブジェクトであってもよく、第１オブジェクトは相対的に後に位置するオブジェクトであってもよい。

【0199】

図２１Ｂは、幾つかの実施形態に係る第１基底映像に基づいて生成されたライトフィールド映像を示す。

【0200】

第１基底映像２１１０に基づいて生成されたライトフィールド映像２１２０は、図示したようにオクルージョン領域２１２１を含んでもよい。

【0201】

図２１Ｃは、幾つかの実施形態に係る第２基底映像を示す。

【0202】

図２１Ｄに示す第２基底映像２１３０は、出力映像が正投影方法によってディスプレイされるときの基底映像を示す。第２基底映像２０３０は、出力映像生成部１３０又はディスプレイ装置が正投影方式の装置であるときの基底映像を示す。

【0203】

第２基底映像２１２０も２つの前景のオブジェクトを含んでもよい。第１オブジェクトは、領域２１３１に表示されている。第２オブジェクトは、領域２１３２に表示されている。

【0204】

第１基底映像２１１０及び第２基底映像２１３０は互いに異なる視点を有してもよい。

【0205】

図２１Ｄは、幾つかの実施形態に係る第２基底映像に基づいて生成されたライトフィールド映像を示す。

【0206】

第２基底映像２１３０に基づいて生成されたライトフィールド映像２１４０は、図示したようにオクルージョン領域２１４１を含んでもよい。

【0207】

地点２１４１は、ライトフィールド映像２１４０の視点又は出力点に対応する。

【0208】

図２１Ｂ及び図２１Ｄに示すように、互いに異なる基底映像に基づいて生成されたライトフィールド映像のオクルージョン領域は互いに異なってもよい。

【0209】

第１オブジェクトが前に突出し、第２オブジェクトが後に位置すると、第１基底映像２１１０及び第２基底映像２１３０のオクルージョン領域は互いに異なってもよい。図２１Ｂに示すように、第１基底映像２１１０の基底深さ映像を用いてライトフィールド映像２１２０のような新しいライトフィールド映像が生成されてもよい。また、図２１Ｄに示すように、第２基底映像２１３０の基底深さ映像を用いてライトフィールド映像２１４０のような新しいライトフィールド映像が生成されてもよい。

【0210】

前述された実施形態で、多視点入力映像からライトフィールド映像が生成される。少ない数の入力映像が用いられるため、ライトフィールド映像を生成することにおいてメモリが節約され得る。また、ライトフィールド映像の生成のために要求されるオクルージョン領域についてのみ復元が行われるため、ライトフィールド映像の生成の複雑度が減少し得る。また、複数のライトフィールド映像の生成において単一の復元されたオクルージョン領域が用いられるため、生成された複数のライトフィールド映像の間の一貫性が保持され得る。また、基底映像にビュー補間を適用する方式を用いてライトフィールド映像が生成されるため、ピクセルシフトによってライトフィールド映像が生成され得る。

【0211】

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

【0212】

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

【0213】

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

【符号の説明】

【0214】

１００ 映像処理装置
１０２ プロセッサ
１０４ メモリ
１１０ 基底映像生成部
１２０ オクルージョン領域復元部
１３０ 出力映像生成部
３１０ 位置決定部
３２０ 映像生成部
５１０ 映像変換部
５２０ 映像併合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図10E】

【図11A】

【図11B】

【図11C】

【図11D】

【図11E】

【図11F】

【図12A】

【図12B】

【図12C】

【図12D】

【図12E】

【図12F】

【図13A】

【図13B】

【図13C】

【図13D】

【図13E】

【図13F】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20A】

【図20B】

【図20C】

【図20D】

【図21A】

【図21B】

【図21C】

【図21D】