特表2017-532847 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ノキア　テクノロジーズ　オーユーの特許一覧

特表2017-532847立体録画及び再生

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1a
1b
1c
1d
2a
2b
2c
2d
3a
3b
4a
4b
4c
5a
5b
6a
6b
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2017-532847(P2017-532847A)

(43)【公表日】2017年11月2日

(54)【発明の名称】立体録画及び再生

(51)【国際特許分類】

H04N 13/02 20060101AFI20171006BHJP

G06T 19/00 20110101ALI20171006BHJP

H04N 13/04 20060101ALI20171006BHJP

【ＦＩ】

H04N13/02 780

G06T19/00 F

H04N13/02 390

H04N13/04 400

【審査請求】有

【予備審査請求】未請求

【全頁数】38

(21)【出願番号】特願2017-512748(P2017-512748)

(86)(22)【出願日】2014年9月9日

(85)【翻訳文提出日】2017年3月29日

(86)【国際出願番号】FI2014050684

(87)【国際公開番号】WO2016038240

(87)【国際公開日】20160317

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US

(71)【出願人】

【識別番号】315002955

【氏名又は名称】ノキアテクノロジーズオーユー

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田光紀

(72)【発明者】

【氏名】ニエメレマルコ

(72)【発明者】

【氏名】グロンホルムキム

(72)【発明者】

【氏名】バルドウィンアンドリュー

【テーマコード（参考）】

5B050

5C061

【Ｆターム（参考）】

5B050AA09

5B050BA09

5B050EA03

5B050EA13

5B050FA06

5C061AA01

5C061AB04

5C061AB08

5C061AB18

5C061AB20

(57)【要約】

本発明は、シーンモデルを形成することと、レンダー視点から見える第１のシーン点群を決定することと、レンダー視点から見える第１のシーン点群によって少なくとも一部が見えない第２のシーン点群を決定することと、第１のシーン点群を用いて第１のレンダーレイヤ、第２のシーン点群を用いて第２のレンダーレイヤをそれぞれ形成することと、立体像をレンダリングするために、第１及び第２のレンダーレイヤを提供することに関連する。本発明はまた、画素を含む第１のレンダーレイヤ及び第２のレンダーレイヤを受け取ることであって、第１のレンダーレイヤは、レンダー視点から見えるシーンの第１の部分に対応する画素を含み、第２のレンダーレイヤは、レンダー視点から見えるシーンの第２の部分に対応する画素を含み、シーンの第２の部分は、レンダー視点から見える第１の部分によって見えない、前記受け取ることと、第１のレンダーレイヤの画素及び第２のレンダーレイヤの画素をレンダリング空間に配置することと、画素に深度値を関連付けることと、画素及び深度値を用いて立体画像をレンダリングすることに関連する。
【選択図】図５ａ

【特許請求の範囲】

【請求項1】

第１のソースイメージからの第１のイメージデータと第２のソースイメージからの第２のイメージデータを用いてシーンモデルを形成することであって、該シーンモデルはシーン点を含み、該シーン点の各々は前記シーンの座標空間における位置を有する、前記シーンモデルを形成することと、
第１のシーン点群を決定することであって、該第１のシーン点群は視点から見え、該視点は前記シーンの前記座標空間における位置を有する、前記第１のシーン点群を決定することと、
第２のシーン点群を決定することであって、該第２のシーン点群は、前記視点から見える前記第１のシーン点群によって少なくとも一部が見えない、前記第２のシーン点群を決定することと、
前記第１のシーン点群を用いて第１のレンダーレイヤ、前記第２のシーン点群を用いて第２のレンダーレイヤをそれぞれ形成することであって、該第１及び第２のレンダーレイヤは画素を含む、前記第１及び第２のレンダーレイヤを形成することと、
立体像をレンダリングするために、前記第１及び第２のレンダーレイヤを提供することと、
を含む、方法。

【請求項2】

第３のシーン点群を決定することであって、該第３のシーン点群は、前記視点から見える前記第２のシーン点群によって少なくとも一部が見えない、前記第３のシーン点群を決定することと、
前記第３のシーン点群を用いて第３のレンダーレイヤ形成することであって、該第３のレンダーレイヤは画素を含む、前記第３のレンダーレイヤ形成することと、
立体像をレンダリングするために、前記第３のレンダーレイヤを提供することと、
を含む、請求項１に記載の方法。

【請求項3】

前記第２のレンダーレイヤは疎レイヤであって、前記第１のシーン点群によって少なくとも一部が見えないシーン点に対応するアクティブ画素を含む疎レイヤである、請求項１又は２に記載の方法。

【請求項4】

前記第２のレンダーレイヤにダミー画素を形成することであって、該ダミー画素はシーン点には対応しない、前記ダミー画素を形成することと、
イメージエンコーダで前記第２のレンダーレイヤをデータ構造に符号化することと、
を含む、請求項３に記載の方法。

【請求項5】

イメージエンコーダで前記レンダーレイヤを１つ又は複数の符号化データ構造に符号化することを含む、請求項１から４の何れかに記載の方法。

【請求項6】

前記シーンモデルを形成することは、前記ソースイメージに関する深度情報を用いて、前記シーン点に関する３次元位置を決定することを含む、請求項１から５の何れかに記載の方法。

【請求項7】

前記シーンモデルを形成することは、前記ソースイメージのカメラ位置の使用、及び前記ソースイメージのイメージ内容の比較を含む、請求項１から６の何れかに記載の方法。

【請求項8】

前記レンダーレイヤの１つ又は複数を２次元画像データ構造に形成することであって、該画像データ構造はレンダーレイヤ画素を含む、前記２次元画像データ構造に形成することを含む、請求項１から７の何れかに記載の方法。

【請求項9】

レンダーレイヤ画素は色値と、アルファ値のような透明度値を含む、請求項１から８の何れかに記載の方法。

【請求項10】

前記レンダーレイヤの少なくとも２つのデータを順序付き画像データ構造に形成することであって、該順序付き画像データ構造は少なくとも２つのセグメントを含み、該セグメントの各々は関連するレンダーレイヤに対応する、前記順序付き画像データ構造に形成することを含む、請求項１から９の何れかに記載の方法。

【請求項11】

第１のレンダーレイヤ及び第２のレンダーレイヤを受け取ることであって、該第１及び第２のレンダーレイヤは画素を含み、該第１のレンダーレイヤは、レンダー視点から見えるシーンの第１の部分に対応する画素を含み、該第２のレンダーレイヤは、前記レンダー視点から見える前記シーンの第２の部分に対応する画素を含み、前記シーンの前記第２の部分は、前記レンダー視点から見える前記第１の部分によって見えない、前記受け取ることと、
前記第１のレンダーレイヤの画素及び前記第２のレンダーレイヤの画素をレンダリング空間に配置することと、
前記画素に深度値を関連付けることと、
前記画素及び前記深度値を用いて、左目画像及び右目画像をレンダリングすることと、
を含む、方法。

【請求項12】

前記第１のレンダーレイヤ及び前記第２のレンダーレイヤの画素は色値を含み、少なくとも前記第１のレンダーレイヤの画素はアルファ値のような、少なくとも前記第１のレンダーレイヤの画素の透明性をレンダリングするための透明度の値を含む、請求項１１に記載の方法。

【請求項13】

レンダリングされるべきレンダーレイヤが半透明画素を含むかを決定することと、
前記決定が、レンダーレイヤが半透明画素を含むことを示す場合は、該レンダーレイヤのレンダリング時にアルファブレンディングを有効化し、それ以外の場合は、該レンダーレイヤのレンダリング時にアルファブレンディングを無効化することと、
を含む、請求項１１又は１２に記載の方法。

【請求項14】

２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する色値を決定することと、
を含む、請求項１１から１３の何れかに記載の方法。

【請求項15】

２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する深度値を決定することであって、該深度値はレンダー視点からの距離を示す、前記深度値を決定することと、
を含む、請求項１１から１４の何れかに記載の方法。

【請求項16】

２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する視角を決定することと、
を含む、請求項１１から１５の何れかに記載の方法。

【請求項17】

少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備える装置であって、前記メモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記装置に少なくとも：
第１のソースイメージからの第１のイメージデータと第２のソースイメージからの第２のイメージデータを用いてシーンモデルを形成することであって、該シーンモデルはシーン点を含み、該シーン点の各々は前記シーンの座標空間における位置を有する、前記シーンモデルを形成することと、
第１のシーン点群を決定することであって、該第１のシーン点群は視点から見え、該視点は前記シーンの前記座標空間における位置を有する、前記第１のシーン点群を決定することと、
第２のシーン点群を決定することであって、該第２のシーン点群は、前記視点から見える前記第１のシーン点群によって少なくとも一部が見えない、前記第２のシーン点群を決定することと、
前記第１のシーン点群を用いて第１のレンダーレイヤ、前記第２のシーン点群を用いて第２のレンダーレイヤをそれぞれ形成することであって、該第１及び第２のレンダーレイヤは画素を含む、前記第１及び第２のレンダーレイヤを形成することと、
立体像をレンダリングするために、前記第１及び第２のレンダーレイヤを提供することと、
を実行させるように構成される、装置。

【請求項18】

前記装置に：
第３のシーン点群を決定することであって、該第３のシーン点群は、前記視点から見える前記第２のシーン点群によって少なくとも一部が見えない、前記第３のシーン点群を決定することと、
前記第３のシーン点群を用いて第３のレンダーレイヤ形成することであって、該第３のレンダーレイヤは画素を含む、前記第３のレンダーレイヤ形成することと、
立体像をレンダリングするために、前記第３のレンダーレイヤを提供することと、
を実行させるコンピュータプログラムコードを備える、請求項１７に記載の装置。

【請求項19】

前記第２のレンダーレイヤは疎レイヤであって、前記第２のシーン点群によって少なくとも一部が見えないシーン点に対応するアクティブ画素を含む疎レイヤである、請求項１７又は１８に記載の装置。

【請求項20】

前記装置に：
前記第２のレンダーレイヤにダミー画素を形成することであって、該ダミー画素はシーン点には対応しない、前記ダミー画素を形成することと、
イメージエンコーダで前記第２のレンダーレイヤをデータ構造に符号化することと、
を実行させるコンピュータプログラムコードを備える、請求項１９に記載の装置。

【請求項21】

前記装置に：
イメージエンコーダで前記レンダーレイヤを１つ又は複数の符号化データ構造に符号化することと、
を実行させるコンピュータプログラムコードを備える、請求項１７から２０の何れかに記載の装置。

【請求項22】

前記シーンモデルを形成することは、前記ソースイメージに関する深度情報を用いて、前記シーン点に関する３次元位置を決定することを含む、請求項１７から２１の何れかに記載の装置。

【請求項23】

前記シーンモデルを形成することは、前記ソースイメージのカメラ位置の使用、及び前記ソースイメージのイメージ内容の比較を含む、請求項１７から２２の何れかに記載の装置。

【請求項24】

前記装置に：
前記レンダーレイヤの１つ又は複数を２次元画像データ構造に形成することであって、該画像データ構造はレンダーレイヤ画素を含む、前記２次元画像データ構造に形成することと、
を実行させるコンピュータプログラムコードを備える、請求項１７から２３の何れかに記載の装置。

【請求項25】

レンダーレイヤ画素は色値と、アルファ値のような透明度の値を含む、請求項１７から２４の何れかに記載の装置。

【請求項26】

前記装置に：
前記レンダーレイヤの少なくとも２つのデータを順序付き画像データ構造に形成することであって、該順序付き画像データ構造は少なくとも２つのセグメントを含み、該セグメントの各々は関連するレンダーレイヤに対応する、前記順序付き画像データ構造に形成することと、
を実行させるコンピュータプログラムコードを備える、請求項１７から２５の何れかに記載の装置。

【請求項27】

少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備える装置であって、前記メモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記装置に少なくとも：
第１のレンダーレイヤ及び第２のレンダーレイヤを受け取ることであって、該第１及び第２のレンダーレイヤは画素を含み、該第１のレンダーレイヤは、レンダー視点から見えるシーンの第１の部分に対応する画素を含み、該第２のレンダーレイヤは、前記レンダー視点から見える前記シーンの第２の部分に対応する画素を含み、前記シーンの前記第２の部分は、前記レンダー視点から見える前記第１の部分によって見えない、前記受け取ることと、
前記第１のレンダーレイヤの画素及び前記第２のレンダーレイヤの画素をレンダリング空間に配置することと、
前記画素に深度値を関連付けることと、
前記画素及び前記深度値を用いて、左目画像及び右目画像をレンダリングすることと、
を実行させるように構成される、装置。

【請求項28】

前記第１のレンダーレイヤ及び前記第２のレンダーレイヤの画素は色値を含み、少なくとも前記第１のレンダーレイヤの画素はアルファ値のような、少なくとも前記第１のレンダーレイヤの画素の透明性をレンダリングするための透明度の値を含む、請求項２７に記載の装置。

【請求項29】

前記装置に：
レンダリングされるべきレンダーレイヤが半透明画素を含むかを決定することと、
前記決定が、レンダーレイヤが半透明画素を含むことを示す場合は、該レンダーレイヤのレンダリング時にアルファブレンディングを有効化し、それ以外の場合は、該レンダーレイヤのレンダリング時にアルファブレンディングを無効化することと、
を実行させるコンピュータプログラムコードを備える、請求項２７又は２８に記載の装置。

【請求項30】

前記装置に：
２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する色値を決定することと、
を実行させるコンピュータプログラムコードを備える、請求項２７から２９の何れかに記載の装置。

【請求項31】

前記装置に：
２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する深度値を決定することであって、該深度値はレンダー視点からの距離を示す、前記深度値を決定することと、
を実行させるコンピュータプログラムコードを備える、請求項２７から３０の何れかに記載の装置。

【請求項32】

前記装置に：
２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する視角を決定することと、
を実行させるコンピュータプログラムコードを備える、請求項２７から３１の何れかに記載の装置。

【請求項33】

少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備えるシステムであって、前記メモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記システムに少なくとも：
第１のソースイメージからの第１のイメージデータと第２のソースイメージからの第２のイメージデータを用いてシーンモデルを形成することであって、該シーンモデルはシーン点を含み、該シーン点の各々は前記シーンの座標空間における位置を有する、前記シーンモデルを形成することと、
第１のシーン点群を決定することであって、該第１のシーン点群は視点から見え、該視点は前記シーンの前記座標空間における位置を有する、前記第１のシーン点群を決定することと、
第２のシーン点群を決定することであって、該第２のシーン点群は、前記視点から見える前記第１のシーン点群によって少なくとも一部が見えない、前記第２のシーン点群を決定することと、
前記第１のシーン点群を用いて第１のレンダーレイヤ、前記第２のシーン点群を用いて第２のレンダーレイヤをそれぞれ形成することであって、該第１及び第２のレンダーレイヤは画素を含む、前記第１及び第２のレンダーレイヤを形成することと、
立体像をレンダリングするために、前記第１及び第２のレンダーレイヤを提供することと、
を実行させるように構成される、システム。

【請求項34】

前記システムに：
第３のシーン点群を決定することであって、該第３のシーン点群は、前記視点から見える前記第２のシーン点群によって少なくとも一部が見えない、前記第３のシーン点群を決定することと、
前記第３のシーン点群を用いて第３のレンダーレイヤ形成することであって、該第３のレンダーレイヤは画素を含む、前記第３のレンダーレイヤ形成することと、
立体像をレンダリングするために、前記第３のレンダーレイヤを提供することと、
を実行させるコンピュータプログラムコードを備える、請求項３３に記載のシステム。

【請求項35】

前記第２のレンダーレイヤは疎レイヤであって、前記第１のシーン点群によって少なくとも一部が見えないシーン点に対応するアクティブ画素を含む疎レイヤである、請求項３３又は３４に記載のシステム。

【請求項36】

前記システムに：
前記第２のレンダーレイヤにダミー画素を形成することであって、該ダミー画素はシーン点には対応しない、前記ダミー画素を形成することと、
イメージエンコーダで前記第２のレンダーレイヤをデータ構造に符号化することと、
を実行させるコンピュータプログラムコードを備える、請求項３５に記載のシステム。

【請求項37】

前記システムに：
イメージエンコーダで前記レンダーレイヤを１つ又は複数の符号化データ構造に符号化することと、
を実行させるコンピュータプログラムコードを備える、請求項３３から３６の何れかに記載のシステム。

【請求項38】

前記シーンモデルを形成することは、前記ソースイメージに関する深度情報を用いて、前記シーン点に関する３次元位置を決定することを含む、請求項３３から３７の何れかに記載のシステム。

【請求項39】

前記シーンモデルを形成することは、前記ソースイメージのカメラ位置の使用、及び前記ソースイメージのイメージ内容の比較を含む、請求項３３から３８の何れかに記載のシステム。

【請求項40】

前記システムに：
前記レンダーレイヤの１つ又は複数を２次元画像データ構造に形成することであって、該画像データ構造はレンダーレイヤ画素を含む、前記２次元画像データ構造に形成することと、
を実行させるコンピュータプログラムコードを備える、請求項３３から３９の何れかに記載のシステム。

【請求項41】

レンダーレイヤ画素は色値と、アルファ値のような透明度の値を含む、請求項３３から４０の何れかに記載のシステム。

【請求項42】

前記システムに：
前記レンダーレイヤの少なくとも２つのデータを順序付き画像データ構造に形成することであって、該順序付き画像データ構造は少なくとも２つのセグメントを含み、該セグメントの各々は関連するレンダーレイヤに対応する、前記順序付き画像データ構造に形成することと、
を実行させるコンピュータプログラムコードを備える、請求項３３から４１の何れかに記載のシステム。

【請求項43】

少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備えるシステムであって、前記メモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記システムに少なくとも：
第１のレンダーレイヤ及び第２のレンダーレイヤを受け取ることであって、該第１及び第２のレンダーレイヤは画素を含み、該第１のレンダーレイヤは、レンダー視点から見えるシーンの第１の部分に対応する画素を含み、該第２のレンダーレイヤは、前記レンダー視点から見える前記シーンの第２の部分に対応する画素を含み、前記シーンの前記第２の部分は、前記レンダー視点から見える前記第１の部分によって見えない、前記受け取ることと、
前記第１のレンダーレイヤの画素及び前記第２のレンダーレイヤの画素をレンダリング空間に配置することと、
前記画素に深度値を関連付けることと、
前記画素及び前記深度値を用いて、左目画像及び右目画像をレンダリングすることと、
を実行させるように構成される、システム。

【請求項44】

前記第１のレンダーレイヤ及び前記第２のレンダーレイヤの画素は色値を含み、少なくとも前記第１のレンダーレイヤの画素はアルファ値のような、少なくとも前記第１のレンダーレイヤの画素の透明性をレンダリングするための透明度の値を含む、請求項４３に記載のシステム。

【請求項45】

前記システムに：
レンダリングされるべきレンダーレイヤが半透明画素を含むかを決定することと、
前記決定が、レンダーレイヤが半透明画素を含むことを示す場合は、該レンダーレイヤのレンダリング時にアルファブレンディングを有効化し、それ以外の場合は、該レンダーレイヤのレンダリング時にアルファブレンディングを無効化することと、
を実行させるコンピュータプログラムコードを備える、請求項４３又は４４に記載のシステム。

【請求項46】

前記システムに：
２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する色値を決定することと、
を実行させるコンピュータプログラムコードを備える、請求項４３から４５の何れかに記載のシステム。

【請求項47】

前記システムに：
２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する深度値を決定することであって、該深度値はレンダー視点からの距離を示す、前記深度値を決定することと、
を実行させるコンピュータプログラムコードを備える、請求項４３から４６の何れかに記載のシステム。

【請求項48】

前記システムに：
２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する視角を決定することと、
を実行させるコンピュータプログラムコードを備える、請求項４３から４７の何れかに記載のシステム。

【請求項49】

第１のソースイメージからの第１のイメージデータと第２のソースイメージからの第２のイメージデータを用いてシーンモデルを形成する手段であって、該シーンモデルはシーン点を含み、該シーン点の各々は前記シーンの座標空間における位置を有する、前記シーンモデルを形成する手段と、
第１のシーン点群を決定する手段であって、該第１のシーン点群は視点から見え、該視点は前記シーンの前記座標空間における位置を有する、前記第１のシーン点群を決定する手段と、
第２のシーン点群を決定する手段であって、該第２のシーン点群は、前記視点から見える前記第１のシーン点群によって少なくとも一部が見えない、前記第２のシーン点群を決定する手段と、
前記第１のシーン点群を用いて第１のレンダーレイヤ、前記第２のシーン点群を用いて第２のレンダーレイヤをそれぞれ形成する手段であって、該第１及び第２のレンダーレイヤは画素を含む、前記第１及び第２のレンダーレイヤを形成する手段と、
立体像をレンダリングするために、前記第１及び第２のレンダーレイヤを提供する手段
を備える、装置。

【請求項50】

第３のシーン点群を決定する手段であって、該第３のシーン点群は、前記視点から見える前記第２のシーン点群によって少なくとも一部が見えない、前記第３のシーン点群を決定する手段と、
前記第３のシーン点群を用いて第３のレンダーレイヤ形成する手段であって、該第３のレンダーレイヤは画素を含む、前記第３のレンダーレイヤ形成する手段と、
立体像をレンダリングするために、前記第３のレンダーレイヤを提供する手段
を備える、請求項４９に記載の装置。

【請求項51】

前記第２のレンダーレイヤは疎レイヤであって、前記第２のシーン点群によって少なくとも一部が見えないシーン点に対応するアクティブ画素を含む疎レイヤである、請求項４９又は５０に記載の装置。

【請求項52】

前記第２のレンダーレイヤにダミー画素を形成する手段であって、該ダミー画素はシーン点には対応しない、前記ダミー画素を形成する手段と、
イメージエンコーダで前記第２のレンダーレイヤをデータ構造に符号化する手段
を備える、請求項５１に記載の装置。

【請求項53】

イメージエンコーダで前記レンダーレイヤを１つ又は複数の符号化データ構造に符号化する手段を備える、請求項４９から５２の何れかに記載の装置。

【請求項54】

前記シーンモデルを形成することは、前記ソースイメージに関する深度情報を用いて、前記シーン点に関する３次元位置を決定することを含む、請求項４９から５３の何れかに記載の装置。

【請求項55】

前記シーンモデルを形成することは、前記ソースイメージのカメラ位置の使用、及び前記ソースイメージのイメージ内容の比較を含む、請求項４９から５４の何れかに記載の装置。

【請求項56】

前記レンダーレイヤの１つ又は複数を２次元画像データ構造に形成する手段であって、該画像データ構造はレンダーレイヤ画素を含む、前記２次元画像データ構造に形成する手段を備える、請求項４９から５５の何れかに記載の装置。

【請求項57】

レンダーレイヤ画素は色値と、アルファ値のような透明度の値を含む、請求項４９から５６の何れかに記載の装置。

【請求項58】

前記レンダーレイヤの少なくとも２つのデータを順序付き画像データ構造に形成する手段であって、該順序付き画像データ構造は少なくとも２つのセグメントを含み、該セグメントの各々は関連するレンダーレイヤに対応する、前記順序付き画像データ構造に形成する手段を備える、請求項４９から５７の何れかに記載の装置。

【請求項59】

第１のレンダーレイヤ及び第２のレンダーレイヤを受け取る手段であって、該第１及び第２のレンダーレイヤは画素を含み、該第１のレンダーレイヤは、レンダー視点から見えるシーンの第１の部分に対応する画素を含み、該第２のレンダーレイヤは、前記レンダー視点から見える前記シーンの第２の部分に対応する画素を含み、前記シーンの前記第２の部分は、前記レンダー視点から見える前記第１の部分によって見えない、前記受け取る手段と、
前記第１のレンダーレイヤの画素及び前記第２のレンダーレイヤの画素をレンダリング空間に配置する手段と、
前記画素に深度値を関連付ける手段と、
前記画素及び前記深度値を用いて、左目画像及び右目画像をレンダリングする手段
を備える、装置。

【請求項60】

前記第１のレンダーレイヤ及び前記第２のレンダーレイヤの画素は色値を含み、少なくとも前記第１のレンダーレイヤの画素はアルファ値のような、少なくとも前記第１のレンダーレイヤの画素の透明性をレンダリングするための透明度の値を含む、請求項５９に記載の装置。

【請求項61】

レンダリングされるべきレンダーレイヤが半透明画素を含むかを決定する手段と、
前記決定が、レンダーレイヤが半透明画素を含むことを示す場合は、該レンダーレイヤのレンダリング時にアルファブレンディングを有効化し、それ以外の場合は、該レンダーレイヤのレンダリング時にアルファブレンディングを無効化する手段
を備える、請求項５９又は６０に記載の装置。

【請求項62】

２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取る手段と、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する色値を決定する手段
を備える、請求項５９から６１の何れかに記載の装置。

【請求項63】

２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取る手段と、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する深度値を決定する手段であって、該深度値はレンダー視点からの距離を示す、前記深度値を決定する手段
を備える、請求項５９から６２の何れかに記載の装置。

【請求項64】

２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取る手段と、
テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する視角を決定する手段
を備える、請求項５９から６３の何れかに記載の装置。

【請求項65】

非一時的コンピュータ可読媒体に具現化され、コンピュータプログラムコードを含むコンピュータプログラムであって、前記コンピュータプログラムコードは、少なくとも１つのプロセッサで実行されると、装置又はシステムに：
第１のソースイメージからの第１のイメージデータと第２のソースイメージからの第２のイメージデータを用いてシーンモデルを形成することであって、該シーンモデルはシーン点を含み、該シーン点の各々は前記シーンの座標空間における位置を有する、前記シーンモデルを形成することと、
第１のシーン点群を決定することであって、該第１のシーン点群は視点から見え、該視点は前記シーンの前記座標空間における位置を有する、前記第１のシーン点群を決定することと、
第２のシーン点群を決定することであって、該第２のシーン点群は、前記視点から見える前記第１のシーン点群によって少なくとも一部が見えない、前記第２のシーン点群を決定することと、
前記第１のシーン点群を用いて第１のレンダーレイヤ、前記第２のシーン点群を用いて第２のレンダーレイヤをそれぞれ形成することであって、該第１及び第２のレンダーレイヤは画素を含む、前記第１及び第２のレンダーレイヤを形成することと、
立体像をレンダリングするために、前記第１及び第２のレンダーレイヤを提供することと、
を実行させるように構成される、コンピュータプログラム。

【請求項66】

前記システム又は装置に、請求項２から１０の何れかに記載の方法を実行させるコンピュータプログラムコードを含む、請求項６５に記載のコンピュータプログラム。

【請求項67】

非一時的コンピュータ可読媒体に具現化され、コンピュータプログラムコードを含むコンピュータプログラムであって、前記コンピュータプログラムコードは、少なくとも１つのプロセッサで実行されると、装置又はシステムに：
第１のレンダーレイヤ及び第２のレンダーレイヤを受け取ることであって、該第１及び第２のレンダーレイヤは画素を含み、該第１のレンダーレイヤは、レンダー視点から見えるシーンの第１の部分に対応する画素を含み、該第２のレンダーレイヤは、前記レンダー視点から見える前記シーンの第２の部分に対応する画素を含み、前記シーンの前記第２の部分は、前記レンダー視点から見える前記第１の部分によって見えない、前記受け取ることと、
前記第１のレンダーレイヤの画素及び前記第２のレンダーレイヤの画素をレンダリング空間に配置することと、
前記画素に深度値を関連付けることと、
前記画素及び前記深度値を用いて、左目画像及び右目画像をレンダリングすることと、
を実行させるように構成される、コンピュータプログラム。

【請求項68】

前記システム又は装置に、請求項１２から１６の何れかに記載の方法を実行させるコンピュータプログラムコードを含む、請求項６７に記載のコンピュータプログラム。

【発明の詳細な説明】

【背景】

【0001】

静止画像及び動画像のデジタル立体視は実用化されてきており、３Ｄ（３次元）動画の視聴機器はこれまでよりも幅広く利用されている。映画館では、特殊な眼鏡を掛けながらの映画鑑賞によって、こうした３Ｄ映画を提供している。この特殊な眼鏡は、映画のフレーム毎に左目と右目にそれぞれ異なる画像を確実に見せるようにするものである。家庭用でも、３Ｄ対応のプレーヤー及びテレビ受像機を使用して同様のアプローチが取られている。実際には、こうした動画像は同一シーンに対して２つのビューから構成されており、一方が左目用、もう一方が右目用である。こうしたビューは、立体視に適した内容を直接作成する特殊な立体カメラを使用して動画撮影することによって作成されてきた。これらのビューを両目に見せると、人間の視覚系はそのシーンの立体光景を作る。この技術には、表示領域（映画スクリーンやテレビ画面）が視野の一部を単に占有するだけだという欠点があり、それ故、立体的に見える体験が制限されることになる。

【0002】

より現実味のある体験を得るために、視野全体より広い領域をカバーできるデバイスが製造されている。頭部に装着して利用できるように作られ、両目を覆い、小型スクリーンとレンズの構成を伴って左目と右目のそれぞれに画像を表示できる特殊な立体視ゴーグルも存在する。こうした技術には、３Ｄビューで通常使われる相当大きなテレビ受像機と比べて、狭い空間や移動中であっても利用できるという利点もある。ゲーム用途では、こうした立体眼鏡に対応し、人工のゲーム世界の立体視に必要な二つの画像を生成可能で、ゲームシーンの内部モデルの３Ｄビューを生成するゲームが存在する。このモデルから異なる像がリアルタイムでレンダリングされるため、特に、ゲームシーンのモデルが複雑で詳細に作られていて、多数のオブジェクトを含む場合、このアプローチはコンピューティングパワーを必要とする。こうしたアプローチに基づく合成モデルは、現実の動画再生には適さない。

【0003】

それ故、立体録画・再生、即ち、３Ｄビデオ等の３Ｄ映像の撮影、視聴を可能にする別の解決手段が必要とされる。

【摘要】

【0004】

上述の問題を軽減しうる優れた方法、およびそのような方法を実装する技術的装置が発明された。本発明の様々な側面には、独立請求項に記載されている事項を特徴とする方法や装置、サーバ、レンダラ、データコード、コンピュータプログラムを格納するコンピュータ可読媒体を含む。また、本発明の様々な実施形態が従属請求項に示されている。

【0005】

【0006】

第１の態様によれば、第１のソースイメージからの第１のイメージデータと第２のソースイメージからの第２のイメージデータを用いてシーンモデルを形成することであって、該シーンモデルはシーン点を含み、該シーン点の各々は前記シーンの座標空間における位置を有する、前記シーンモデルを形成することと、第１のシーン点群を決定することであって、該第１のシーン点群は視点から見え、該視点は前記シーンの前記座標空間における位置を有する、前記第１のシーン点群を決定することと、第２のシーン点群を決定することであって、該第２のシーン点群は、前記視点から見える前記第１のシーン点群によって少なくとも一部が見えない、前記第２のシーン点群を決定することと、前記第１のシーン点群を用いて第１のレンダーレイヤ、前記第２のシーン点群を用いて第２のレンダーレイヤをそれぞれ形成することであって、該第１及び第２のレンダーレイヤは画素を含む、前記第１及び第２のレンダーレイヤを形成することと、立体像をレンダリングするために、前記第１及び第２のレンダーレイヤを提供することを含む方法が提供される。実施形態によっては、本方法は、第３のシーン点群を決定することであって、該第３のシーン点群は、前記視点から見える前記第２のシーン点群によって少なくとも一部が見えない、前記第３のシーン点群を決定することと、前記第３のシーン点群を用いて第３のレンダーレイヤ形成することであって、該第３のレンダーレイヤは画素を含む、前記第３のレンダーレイヤ形成することと、立体像をレンダリングするために、前記第３のレンダーレイヤを提供することを含む。実施形態によっては、前記第２のレンダーレイヤは疎レイヤであって、前記第１のシーン点群によって少なくとも一部が見えないシーン点に対応するアクティブ画素を含む疎レイヤである。実施形態によっては、本方法は、前記第２のレンダーレイヤにダミー画素を形成することであって、該ダミー画素はシーン点には対応しない、前記ダミー画素を形成することと、イメージエンコーダで前記第２のレンダーレイヤをデータ構造に符号化することを含む。

【0007】

実施形態によっては、本方法は、イメージエンコーダで前記レンダーレイヤを１つ又は複数の符号化データ構造に符号化することを含む。実施形態によっては、前記シーンモデルを形成することは、前記ソースイメージに関する深度情報を用いて、前記シーン点に関する３次元位置を決定することを含む。実施形態によっては、前記シーンモデルを形成することは、前記ソースイメージのカメラ位置の使用、及び前記ソースイメージのイメージ内容の比較を含む。実施形態によっては、本方法は、前記レンダーレイヤの１つ又は複数を２次元画像データ構造に形成することであって、該画像データ構造はレンダーレイヤ画素を含む、前記２次元画像データ構造に形成することを含む。実施形態によっては、レンダーレイヤ画素は色値と、アルファ値のような透明度値を含む。実施形態によっては、本方法は、前記レンダーレイヤの少なくとも２つのデータを順序付き画像データ構造に形成することであって、該順序付き画像データ構造は少なくとも２つのセグメントを含み、該セグメントの各々は関連するレンダーレイヤに対応する、前記順序付き画像データ構造に形成することを含む。

【0008】

第２の態様によれば、第１のレンダーレイヤ及び第２のレンダーレイヤを受け取ることであって、該第１及び第２のレンダーレイヤは画素を含み、該第１のレンダーレイヤは、レンダー視点から見えるシーンの第１の部分に対応する画素を含み、該第２のレンダーレイヤは、前記レンダー視点から見える前記シーンの第２の部分に対応する画素を含み、前記シーンの前記第２の部分は、前記レンダー視点から見える前記第１の部分によって見えない、前記受け取ることと、前記第１のレンダーレイヤの画素及び前記第２のレンダーレイヤの画素をレンダリング空間に配置することと、前記画素に深度値を関連付けることと、前記画素及び前記深度値を用いて、左目画像及び右目画像をレンダリングすることを含む方法が提供される。

【0009】

実施形態によっては、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤの画素は色値を含み、少なくとも前記第１のレンダーレイヤの画素はアルファ値のような、少なくとも前記第１のレンダーレイヤの画素の透明性をレンダリングするための透明度の値を含む。実施形態によっては、本方法は、前記決定が、レンダーレイヤが半透明画素を含むことを示す場合は、該レンダーレイヤのレンダリング時にアルファブレンディングを有効化し、それ以外の場合は、該レンダーレイヤのレンダリング時にアルファブレンディングを無効化することを含む。実施形態によっては、本方法は、２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する色値を決定することを含む。実施形態によっては、本方法は、２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する深度値を決定することであって、該深度値はレンダー視点からの距離を示す、前記深度値を決定することを含む。実施形態によっては、本方法は、２次元画像として画素値を含むデータ構造から、前記第１のレンダーレイヤ及び前記第２のレンダーレイヤを受け取ることと、テクスチャマッピングを用いて、前記第１及び第２のレンダーレイヤの前記画素に対する視角を決定することを含む。

【0010】

第３の態様によれば、第１の態様及びその実施形態の何れか又は全てに従う方法を実行する装置が提供される。

【0011】

第４の態様によれば、第２の態様及びその実施形態の何れか又は全てに従う方法を実行する装置が提供される。

【0012】

第５の態様によれば、第１の態様及びその実施形態の何れか又は全てに従う方法を実行するシステムが提供される。

【0013】

第６の態様によれば、第２の態様及びその実施形態の何れか又は全てに従う方法を実行するシステムが提供される。

【0014】

第７の態様によれば、第１の態様及びその実施形態の何れか又は全てに従う方法を実行するコンピュータプログラム製品が提供される。

【0015】

第８の態様によれば、第２の態様及びその実施形態の何れか又は全てに従う方法を実行するコンピュータプログラム製品が提供される。

【図面の簡単な説明】

【0016】

本発明に関する種々の実施形態は、添付の図面を参照して以下で詳しく説明する。

【図1】図１ａ、１ｂ、１ｃ、１ｄはユーザに対して立体像を形成するセットアップを示す。

【図2a】立体視システム及び装置を示す。

【図2b】立体視用立体カメラデバイスを示す。

【図2c】立体視用ヘッドマウントディスプレイを示す。

【図2d】カメラデバイスを示す。

【図3a】３Ｄレンダリングのために静止画又は動画を撮影する構成を示す。

【図3b】複数の撮像画像からの点群形成を示す。

【図4】図４ａ、４ｂは保存するためのレンダーレイヤの形成及び画像データの形成を示す。

【図4c】レンダーレイヤを用いた画像のレンダリングを示す。

【図5a】イメージデータを取得してレンダーレイヤを形成するフローチャートである。

【図5b】レンダーレイヤを用いた画像レンダリングのフローチャートである。

【図6】図６ａ、６ｂは画像レンダリングのためのレンダーレイヤを含むデータ構造を示す。

【図7】レンダーレイヤの実施例を示す。

【例示的実施形態の説明】

【0017】

以下では、本発明の複数の実施形態を立体眼鏡で立体視する状況で説明する。ただし、本発明が如何なる特定の表示技術にも限定されないことに留意する必要がある。実際に、例えば映画やテレビ等、立体視が必要なあらゆる環境において有用である様々な実施形態が存在する。加えて、本明細書ではイメージソースの一例としてカメラ構成が使用されているが、これとは異なるカメラ構成やイメージソース構成も利用できる。種々の実施形態における特徴が単独であってもよく、組み合わせられてもよいことを理解する必要がある。こうして本願では、様々な特徴や実施形態が一つずつ記載されているとしても、それらの組合せも本質的に記載されているものとする。

【0018】

図１ａ、１ｂ、１ｃは、ユーザに対して立体像を形成するセットアップを示す。図１ａでは、人間が両目Ｅ１・Ｅ２で２つの球Ａ１・Ａ２を見ている状況が示されている。見る人に対して球Ａ１は球Ａ２よりも近くにあり、第１の目Ｅ１からの距離をそれぞれＬ_{Ｅ１，Ａ１}、Ｌ_{Ｅ１，Ａ２}とする。空間には様々な物体が存在し、それぞれ（ｘ，ｙ，ｚ）座標で表わす。この座標は座標系ＳＸ，ＳＹ，ＳＺで定義される。人間の両目間隔ｄ_１２は平均約６２−６４ｍｍであり、５５から７４ｍｍの間で個人差がある。この距離は視差と呼ばれ、人間の視覚の立体視はこの視差に基づく。視界方向（光軸）ＤＩＲ１・ＤＩＲ２は通常、本質的に平行であるが、平行線に対して微小な偏差を持ち得る。この視界方向が両目の視野を決める。ユーザ頭部の周辺に対する向き（頭の向き）は最も単純には、両目が正視しているときの両目の共通する向きで定義される。すなわち、頭の向きは、ユーザがいるシーンの座標系に対して、頭部のヨー、ピッチ、ロールを表わす。

【0019】

図１ａのセットアップでは、両目の視野に二球Ａ１・Ａ２がある。両目の中点Ｏ_１２と二球は同一線上に存在する。すなわち、この中点から見ると、球Ａ２は球Ａ１の背後にあって見えない。しかし、それぞれの片目にはＡ１の背後から球Ａ２の一部が見える。これは、この二球が両目の何れかの目の視線上には乗らないからである。

【0020】

図１ｂでは、図１ａの両目の代わりに２台のカメラＣ１・Ｃ２が両目と同じ位置に置き換えられたセットアップが示されている。それ以外のこのセットアップにおける距離や方向は同じである。当然ながら、図１ｂのセットアップの目的は、二球Ａ１・Ａ２の立体像を取得可能にすることである。撮像の結果得られる２つの像はＦ_Ｃ１、Ｆ_Ｃ２である。「左目」像Ｆ_Ｃ１は、球Ａ１の像Ｓ_Ａ１の左側に球Ａ２の像Ｓ_Ａ２の一部が見えていることを示す。「右目」像Ｆ_Ｃ２は、球Ａ１の像Ｓ_Ａ１の右側に球Ａ２の像Ｓ_Ａ２の一部が見えていることを示す。右目像と左目像の差異は視差と呼ばれる。この視差は人間の視覚系が深度情報を決定してシーンの３Ｄビューを生成するために用いられる基本機構であり、立体像の錯視を作り出すために利用することもできる。

【0021】

図１ｃでは、こうした立体錯視が作り出される様子が示されている。カメラＣ１・Ｃ２が撮影した画像Ｆ_Ｃ１・Ｆ_Ｃ２が、それぞれディスプレイＤ１・Ｄ２を通じて目Ｅ１・Ｅ２に見えているとする。像の視差は人間の視覚系によって処理され、深度が理解される。すなわち、左目には球Ａ１の像Ｓ_Ａ１の左側に球Ａ２の像Ｓ_Ａ２が、右目にはその右側に球Ａ２の像がそれぞれ見えるとき、人間の視覚系は３次元空間内で球Ｖ１の背後に球Ｖ２があるという理解を作り出す。ここで、像Ｆ_Ｃ１・Ｆ_Ｃ２が合成されたもの、即ち、コンピュータで作成されたものでもよいことを理解する必要がある。こうした合成画像が視差情報を有していれば、その合成画像も人間の視覚系によって立体的に見えることになる。すなわち、コンピュータによって生成された画像の組は、立体像として利用可能なように形成されうる。

【0022】

図１ｄは、立体感のある錯視を有する３Ｄ動画又は仮想現実のシーンを生成するために、立体像を両目に見せる原理がどのように利用できるかを示す。画像Ｆ_Ｘ１・Ｆ_Ｘ２は立体カメラで撮像されるか、画像が適切な視差を持つようなモデルから計算されるかの何れかによって得られたものである。ディスプレイＤ１・Ｄ２を用いて一秒間に多数（例えば３０）のフレームを両目に表示することによって、左目像と右目像との間で視差が生じるようになり、人間の視覚系は動きを認識した立体像を作り出すことになる。カメラの向きが変わるか、合成画像の計算に使用される視界方向が変わる場合、その画像における変化が、視界方向が変わっている、即ち、見る人が回転しているという錯視を作り出す。この視界方向、即ち頭の向きは、例えば頭部に装着された方向検出器で実際の頭の向きとして決定されてもよい。あるいは、ユーザが実際に自分の頭を動かさずに視界方向を操作するために利用可能なジョイスティックやマウスのような制御デバイスで仮想方向として決定されてもよい。すなわち、「頭の向き」という用語は、ユーザ頭部の実際の物理的な向き及び同様の変化を表わすために使用されてもよく、コンピュータプログラムやコンピュータ入力デバイスによって決定されるユーザ視線の仮想方向を表わすために使用されてもよい。

【0023】

図２ａは立体視システム及び装置、即ち、３Ｄビデオ及び３Ｄオーディオデジタルの録画再生システム及び装置を示す。このシステムは、物理的に異なる場所から見る一人又は複数人が体験や存在感、又はその場所に居るという確信を持たせる表現を得られるのに十分な視覚情報、聴覚情報を取得することを目的としている。将来的には、時間的に遅れている場合でも取得できてもよい。こうした表現には、シーン内にあるオブジェクトを見る人が自身の目や耳を使ってオブジェクトの距離や位置を決定できるように、単一のカメラやマイクロフォンで取得可能な情報をより多く必要とする。図１ａから１ｄの状況で説明したように、視差を有する画像の組を生成するためには２つのカメラソースが使用される。同様に、音声方向を感知できる人間の聴覚系については、少なくとも２つのマイクロフォンが使用される（２つの音声チャンネルを録音して作成される音声は通常、ステレオ音声と呼ばれる）。人間の聴覚系は、例えば音声信号の時間差からキュー（ｃｕｅ）を検出し、音声方向を検出できる。

【0024】

図２ａのシステムは、イメージソース、サーバ、レンダリングデバイスの３つの主要部で構成可能である。ビデオ録画デバイスＳＲＣ１は、視野が互いに重なり合った複数の（例えば８台の）カメラＣＡＭ１、ＣＡＭ２、…、ＣＡＭＮを備え、ビデオ録画デバイスを中心に見える範囲を少なくとも２台のカメラで撮影できる。デバイスＳＲＣ１は、相異なる方向からの音声の時間差、位相差を取得する複数のマイクロフォンを備えてもよい。デバイスは、複数のカメラの向き（視界方向）の検出、保存が可能となるように、高解像度方向センサを備えてもよい。デバイスＳＲＣ１はコンピュータプロセッサＰＲＯＣ１及びメモリＭＥＭ１を備えるか、機能的に接続される。メモリは撮影デバイスを制御するコンピュータプログラムＰＲＯＧ１を備える。デバイスが撮影したイメージストリームはメモリデバイスＭＥＭ２に保存され、ビューワ等の別のデバイスで利用されたり、通信インタフェースＣＯＭＭ１を利用してサーバに送出されたり、あるいはその両方が行われてもよい。

【0025】

前述したように、単一のカメラデバイスが複数のカメラや複数のマイクロフォン、あるいはその両方を備えてもよい。相異なる場所に配置された複数のカメラデバイスが使用されてもよく、この際、単一のカメラデバイスが１台又は複数台のカメラを備えてもよい。こうして、複数のカメラデバイス及びそれらのカメラは、単一カメラデバイスよりも包括的な仕方でシーン内のオブジェクトのイメージデータの取得が可能となってもよい。例えば、第１のカメラデバイス又は第１のカメラの特定の視点からオブジェクトが見えるが、第１のオブジェクトの背後に第２のオブジェクトがある場合、この第２のオブジェクトは第２のカメラデバイス又は第２のカメラの別の視点から見えることもある。それ故、例えば３Ｄビューであって、一方の目には第２のオブジェクトの一部が第１のオブジェクトの背後から部分的に見え、もう一方の目には見えない３Ｄビューを生成するために、第２のオブジェクトのイメージデータが収集されてもよい。２台以上のカメラから統合画像データを生成するために、相異なるカメラからの画像が一緒に統合される必要がある。また、シーン内の相異なるオブジェクトは、相異なるカメラからのデータの分析によって決定されてもよい。これにより、シーン内のオブジェクトの３次元位置を決定できる。

【0026】

本システムには、イメージストリームを生成する１台又は複数台のビデオ撮影デバイスＳＲＣ１の代わりに、又はそれらに加えて、１台又は複数台の合成イメージソースＳＲＣ２が存在することもある。こうした合成イメージソースは仮想世界のコンピュータモデルを使用し、それが送出する様々なイメージストリームを計算してもよい。例えば、ソースＳＲＣ２は特定の仮想視点に配置されるＮ台の仮想カメラに対応するＮ個のビデオストリームを計算してもよい。こうした合成ビデオストリームセットが見る人に使用される場合、図１ｄに関して既に説明したように、その人は３次元の仮想世界を見ることができる。デバイスＳＲＣ２はコンピュータプロセッサＰＲＯＣ２及びメモリＭＥＭ２を備えるか、機能的に接続される。メモリは合成ソースデバイスＳＣＲ２を制御するコンピュータプログラムＰＲＯＧ２を備える。デバイスが撮影したイメージストリームはメモリデバイスＭＥＭ５（例えばメモリカードＣＡＲＤ１）に保存され、ビューワ等の別のデバイスで利用されたり、通信インタフェースＣＯＭＭ２を利用してサーバ又はビューワに送出されたりしてもよい。

【0027】

撮影デバイスＳＲＣ１に加えて、データストリームの保存・処理・提供を行うネットワークがあってもよい。例えば、撮影デバイスＳＲＣ１又は計算デバイスＳＲＣ２からの出力を保存する１台又は複数台のサーバＳＥＲＶが存在してもよい。デバイスはコンピュータプロセッサＰＲＯＣ３及びメモリＭＥＭ３を備えるか、機能的に接続される。メモリはサーバを制御するコンピュータプログラムＰＲＯＧ３を備える。サーバは、ＳＲＣ１、ＳＲＣ２の何れか又は両方に有線、無線の何れか又は両方で接続されてもよい。同様に、通信インタフェースＣＯＭＭ３を介してビューワデバイスＶＩＥＷＥＲ１・ＶＩＥＷＥＲ２に接続されてもよい。

【0028】

撮影又は作成されたビデオコンテンツを見るために、１台又は複数台のビューワデバイスＶＩＥＷＥＲ１・ＶＩＥＷＥＲ２があってもよい。これらのデバイスはレンダリングモジュール、ディスプレイモジュールを有していてもよく、あるいは、こうした機能が単一デバイスに統合されていてもよい。これらのデバイスはコンピュータプロセッサＰＲＯＣ４及びメモリＭＥＭ４を備えるか、機能的に接続されてもよい。メモリは視聴デバイスを制御するコンピュータプログラムＰＲＯＧ４を備える。ビューワ（再生）デバイスは、サーバからビデオデータを受け取り、ビデオデータを復号するデータストリームレシーバで構成されてもよい。データストリームは通信インタフェースＣＯＭＭ４を介したネットワーク接続で受け取られてもよく、メモリカードＣＡＲＤ２のようなメモリデバイスＭＥＭ６から受け取られてもよい。ビューワデバイスは図１ｃ、１ｄで説明したように、データを視聴に適したフォーマットに処理するグラフィックス処理ユニットを有してもよい。ビューワＶＩＥＷＥＲ１は、レンダー済み立体ビデオシーケンスを視聴する高解像立体像ヘッドマウントディスプレイを備えてもよい。ヘッドマウントデバイスは方向センサＤＥＴ１、複数のステレオ音声ヘッドホンを有してもよい。ビューワＶＩＥＷＥＲ２は（立体ビデオ視聴用の）３Ｄ技術対応ディスプレイを備え、レンダリングデバイスは、それに接続された頭部方向検出器ＤＥＴ２を有してもよい。デバイス（ＳＲＣ１、ＳＲＣ２、ＳＥＲＶＥＲ、ＲＥＮＤＥＲＥＲ、ＶＩＥＷＥＲ１、ＶＩＥＷＥＲ２）の何れもコンピュータや携帯コンピューティングデバイスでもよく、あるいはそうしたデバイスに接続されてもよい。こうしたレンダリングデバイスは、本願に記載された種々の実施例に従う方法を実行するプログラムコードを有してもよい。

【0029】

図２ｂは、立体視用イメージデータを取得する複数のカメラを具備するカメラデバイスの実施例を示す。こうしたカメラは、左目画像、右目画像を生成するために、組にして構成される、又はそうしたカメラの組として配置可能な２台以上のカメラを含むカメラ間隔は人間の両目の通常間隔に対応してもよい。カメラは、その視野が十分重なるように配置されてもよい。例えば、１８０度以上の広角レンズが使用されてもよく、カメラ台数は３、４、５、６、７、８、９、１０、１２、１６、２０の何れでもありうる。カメラは視界全球に亘って等間隔又は不等間隔に配置されてもよく、視界全球の一部のみをカバーしてもよい。例えば、三角形状に配置された３台のカメラがそれぞれ三角形の異なる辺に向かう視野方向を有し、３台全てのカメラが視界方向の中心にある重複領域をカバーしてもよい。別の実施例として、広角レンズを具備する８台のカメラが仮想立方体の頂点に等間隔に配置され、そのうちの少なくとも３台又は４台のカメラによって全球又は本質的に全球が全方向でカバーされるように、カメラがこの全球をカバーしてもよい。図２ｂでは３組の立体カメラが示されている。前述したように、特定シーンのイメージデータを取得するために複数のカメラデバイスが使用され、カメラデバイスが１台又は複数台のカメラを具備していてもよい。カメラデバイスは、立体像の生成が可能な図２ｂのようなものでもよく、シングルビューのビデオデータを生成してもよい。相異なるカメラ―１台のカメラデバイスにおける複数のカメラ、相異なるカメラデバイスにおける複数のカメラの何れか又は全て―からのデータは、特定シーンの３次元イメージデータを取得するために統合されてもよい。

【0030】

図２ｃは、立体視用ヘッドマウントディスプレイを示す。デッドマウントディスプレイは、左目像、右目像を表示する２つのスクリーン部又はスクリーンＤＩＳＰ１・ＤＩＳＰ２を備える。ディスプレイは両目に近づけてあるため、画像を見え易くするためにレンズが用いられる。そして、両目視野をできるだけ広くカバーするために両画像を離してある。デバイスはユーザの頭部に装着され、ユーザが頭を動かしてもデバイスが固定されているようになっている。デバイスは、頭の動き及び向きを決定する方向検出モジュールＯＲＤＥＴ１を具備してもよい。ただし、この種のデバイスでは頭の動き追尾が行われてもよいが、ディスプレイが視野の広範囲を覆っているため、目の動く向きは不要であることを留意しなくてはならない。頭の向きは、ユーザ頭部の実際の物理的な向きに関連してもよく、ユーザ頭部の実際の向きを決定するセンサによって追尾されてもよい。あるいは又は加えて、頭の向きはユーザの視界方向の仮想的な向きに関連してもよく、コンピュータプログラム又はジョイスティック等のコンピュータ入力デバイスによって制御されてもよい。すなわち、ユーザは決められた頭の向きを入力デバイスで変更できてもよく、コンピュータプログラムが視界方向を変更してもよい（例えば、実際の頭の向きの代わりに又はそれに加えて、決められた頭の向きをプログラムが制御してもよい）。

【0031】

図２ｄは、カメラデバイスＣＡＭ１を示す。カメラデバイスはカメラ検出器ＣＡＭＤＥＴ１を具備する。カメラ検出器は、入射光の強度を感知する複数のセンサ要素を備える。カメラデバイスはレンズＯＢＪ１（又は複数のレンズから成るレンズ構成）を有し、このレンズは、センサ要素に当たるべき光がレンズを通過してセンサ要素に到達するように配置される。カメラ検出器ＣＡＭＤＥＴ１は、複数のセンサ要素の中心点である公称中心点ＣＰ１を有し、例えば矩形センサでは対角線の交点となる。レンズも公称中心点ＰＰ１を有し、例えばそのレンズの対称軸に位置する。カメラの向きは、カメラセンサの中心点ＣＰ１及びレンズの中心点ＰＰ１を通る半直線によって定義される。

【0032】

前述のシステムは次のように動作してもよい。はじめに、１台又は複数台のカメラデバイスのカメラで時間同期の取られた動画、音声、方向データが記録される。これは、前述のような複数の並列動画、音声ストリームから構成されることもある。次に、これらは直ちに又は後で保存・処理ネットワークに送出され、保存・処理ネットワークでは、次に再生デバイスに送出するのに適したフォーマットに処理・変換される。この変換には、音声・動画データの品質を望ましい水準に保ちながらデータ品質の向上、データ量の削減の何れか又は両方を目的としたデータの後処理ステップが含まれうる。最後に、各再生デバイスはネットワーク又はストレージデバイスからデータストリームを受け取り、元の場所の立体視表現にレンダリングする。この表現は、ヘッドマウントディスプレイ及びヘッドホンを装着したユーザが体験可能である。

【0033】

図３ａは、３Ｄレンダリングのために静止画又は動画を撮影する構成を示す。３Ｄレンダリング用イメージデータを取得するには２つの基本的な選択肢がある。第１の選択肢は、カメラを使って現実世界からイメージデータを取得することである。第２の選択肢は、合成シーンモデルからイメージデータを生成することである。第１の選択肢、第２の選択肢の組合せが使われてもよい。例えば、現実世界のシーン内に合成オブジェクトを配置したり（アニメーション映画）、その反対を行ったり（仮想現実）することができる。何れかの選択肢又はその組合せにおいても、シーン内のオブジェクトの色データを取得するために複数のカメラが使用されてもよい。カメラの位置、向き、光学特性（例えばレンズ特性）は既知である。これにより、複数の画像におけるオブジェクトの存在を検知でき、同様にして、シーン内の種々のオブジェクト（又はその表面点）の位置を決定できる。オブジェクトの表面点の位置及び色が分かると、特定のレンダー視点から見えるシーンの像を生成できる。これについては後で詳述する。

【0034】

イメージデータは、相異なる位置にある複数のカメラを用いて実際のシーンから取得されてもよい。２つの像において一致する全ての点に対する深度推定を生成するために、カメラの組が使用されてもよい。点推定は共通の原点及び向きにマッピングされ、その色、位置の値を比較することによって重複入力が削除される。次に、これらの点が、レンダー視点から見える順序に基づいて、レンダーレイヤ又は単にレイヤに配置される。

【0035】

最上レイヤは通常、点がまばらではなく、原点（レンダー視点）から見えるシーンの全点に対する入力を含む。隠れて見えない画素の各々は疎補助レイヤに移動される。記録データの保存と視界の十分に詳細な表現の必要に応じて、１つ又は複数の疎レイヤが生成される。また、レンダリング時に穴が見えるという後の問題を回避するために、記録データを取り囲む疎レイヤに合成データを生成できる。

【0036】

レイヤは２次元画像として表現されてもよい。こうした画像は画素を有し、画素は関連する色及び深度の値を有する。レイヤは、座標変換を通じてレンダリング空間にマッピングされ、例えばグラフィックスプロセッサのテクスチャ処理を用いて、画素の色及び深度の値を補間してもよい。

【0037】

各時刻は、レイヤ、マッピングパラメータの新しいセットを用いて符号化されてもよく、これにより３Ｄ環境における時間ベースの変化の再生が可能になる。各フレームにおいて新しいレイヤデータとマッピングメタデータは、それぞれ新しいフレーム用として使用するために取り出される。あるいは、時間ベース再生を一時停止し、特定の単一フレームを使用して別の場所からレンダリングできる。

【0038】

またあるいは、立体視用イメージを作成するために、仮想現実モデルにおける合成ビデオソースが使用されてもよい。１台又は複数台の仮想カメラデバイスは複数のカメラを備えられ、動画の仮想世界の中に位置付けられる。発生した動作はコンピュータによって、仮想カメラデバイスの仮想カメラに対応するビデオストリームに取得されてもよい（ユーザが視点を切り替えられる、いわゆるマルチビュー動画に対応する）。あるいは、視点として単一のカメラ位置が用いられてもよい。換言すれば、プレーヤーに送出されるコンテンツは従来の３Ｄ映画と同様、合成により作成されてもよいが、複数の（２より多い）カメラビュー、複数の音声ステレオを含み、各ビューワ方向に対して現実感のある音声信号を生成できる。実際には、こうしたイメージソース画像を計算するために、仮想世界の内部３次元（移動）モデルが使用される。様々なオブジェクトをレンダリングすることでカメラが撮影する像が得られ、各カメラ（１台又は複数台のカメラ）に対して計算が行われる。仮想カメラは現実のカメラのように互いを遮ることはない。これは、仮想世界では仮想カメラを見えないようにすることができるからである。レンダーレイヤ用イメージデータは、グラフィックスプロセッサや汎用プロセッサを用いた処理によって（ＣＧＩ映画コンテンツモデルのような）複雑な合成モデルから生成されてもよい。こうして、単一視点からの世界を所定数の隠れて見えない画素（所定数の見えない画素レイヤ）でレイヤフォーマットにレンダリングし、このフォーマットが補助レイヤに保存される。

【0039】

図３ｂは、複数の撮影画像からの点群形成を示す。イメージデータは、複数の様々な技術を用いて実際のシーンから取得されてもよい。同一シーンに対して、それぞれ異なる原点から撮影された複数の画像が利用可能である場合、これらの画像データを、オブジェクト面の位置及び色を推定するために利用できる。各画像に対して、シーン内でのカメラの正確な位置（ＬＯＣ１、ＬＯＣ２）及び向き（ＤＩＲ１、ＤＩＲ２）は既知でもよく、計算されてもよい。また、レンズの挙動は、画像の各画素と空間の３次元ベクトルが直接対応するように既知でもよく、計算されてもよい。この情報を用いて、第１のカメラのよる画像（ＣＡＭＶＩＥＷ１）からの画素は、第２のカメラによる別の画像（ＣＡＭＶＩＥＷ２）において色が似ている画素に対応付けできる。ただし、この対応画素はベクトル方向に沿って位置していなくてはならない。こうした対応が見つかると、（点Ｐ１に対する）２つの３次元ベクトル（ＶＥＣ１、ＶＥＣ２）の交点からの空間位置（座標）も分かる。この様にして、オブジェクト面の点Ｐ１、Ｐ２、Ｐ３、…、ＰＮの決定、即ち、点の色、位置の計算が可能となる。

【0040】

複数の像であって、その１つだけが別のもう１つの像で遮られているような像の位置を推定するためには、少なくとも３つの重なる像が必要である。これにより、２レイヤの情報が与えられる（第１のオブジェクトはレンダー視点から見え、他のオブジェクトは第１のオブジェクトの背後に隠れている）。１つの像を除く全ての像が見えない複数の像に対しては、付近にある類似する既知のオブジェクトから外挿することによっておおよその位置推定が可能である。

【0041】

同一のカメラで様々な位置から様々な時刻に複数の画像が撮影されてもよい。この場合カメラ位置は、別のセンサを使用して、又はシーン内の参照オブジェクトの位置の変更に関する情報を用いて測定される必要がある。この場合、シーン内のオブジェクトは静止していなくてはならない。

【0042】

あるいは、同時に複数のカメラを使用して複数の画像を撮影することもできる。このとき各カメラは、参照点に対して既知又は事前較正済みの位置及び向きを有する。この場合、シーン内のオブジェクトが静止している必要はなく、カメラ自体もその必要がない。このアプローチが取られる場合、画像セットの各々が撮影される瞬間に一致する各時刻に対してレイヤ列を生成できる。

【0043】

レンダーレイヤ用の点データを生成する別の技術は、「飛行時間（ｔｉｍｅｏｆｆｌｉｇｈｔ）」技術を利用するセンサの使用である。この技術は、（レーザーやＬＥＤからの）光パルスが測定デバイスからオブジェクト当たって測定デバイスに戻るまでの正確な時間を測定するものである。こうしたセンサは、通常のカラーイメージセンサと同じ位置に設置され、種々のイメージ技術と同じ較正要件で較正されなくてはならない。こうして、各画素の色とカメラに対する空間相対位置の推定が可能になる。ただし、こうしたセンサ一組のみでは単一レイヤのデータしか生成できない。２つのレイヤを生成するには（別の組では見えないオブジェクトの位置を推定するために）、同一シーンをカバーするこうした組が少なくとも２つ必要となる。各追加レイヤに対して追加の組が必要になることもある。

【0044】

同様の制約を有する関連技術には、飛行時間センサの代わりに「ライダー（ｌｉｄａｒ）」スキャナの使用がある。これは通常、シーン全体でレーザー光を走査し、反射光の位相及び振幅を測定して正確な距離推定を行う。ここでも、各追加レイヤを生成するために、追加のライダー＋イメージセンサの組が使用されてもよい。

【0045】

図４ａは、保存又は伝送を目的とするレンダーレイヤの形成及び画像データの形成を示す。シーンは、ファイルに保存する又は伝送するために、複数の画素セットの生成によって記録される。画素セットは即ちレンダーレイヤであって、レイヤの各データ点が原点を共有するベクトルと色のデータを少なくとも含む。各データセットは、既知の２次元画像又は動画シーケンスの圧縮技術を用いて圧縮されてもよい。

【0046】

前述したように、図４ａの複数の点Ｐ１、…、ＰＮ及びＰＸ１、ＰＸ２がそれぞれ色及び空間位置を有して形成されてもよい。点ＰＸ１・ＰＸ２は点Ｐ１、Ｐ２、Ｐ３の背後に隠れている。次にこれらの点はレンダーレイヤに変換され、それにより、視点ＶＩＥＷＰＯＩＮＴから見るときに直接見える点から第１のレンダーレイヤＲＥＮＤＥＲＬＡＹＥＲ１が作成され、第１のレンダーレイヤの背後に隠れる点から１つ又は複数の第２のレンダーレイヤＲＥＮＤＥＲＬＡＹＥＲ２が少なくとも部分的に作成される。各点の位置ベクトルは別の方法で保存又は圧縮されてもよい。こうして点は、１点当たり３つの独立パラメータで単純化して表現可能である。独立パラメータは、参照ベクトル（視点、視界方向によって定義されるベクトル）からの角度の組及び距離、又は対角軸方向における３つの距離の何れかである。あるいは、パラメータ化マッピング関数という、原点から空間の各点までの位置ベクトルを点のインデクスに基づいてよりコンパクトに符号化し、点列を生成する関数を用いてもよい。この点列は、既知の整数値の幅と高さを有し、レンダーレイヤ画素ＲＰ１、ＲＰ２、ＲＰ３及びＲＰＸ１、ＰＲＸ２を含む２次元の正規配列（画像）として解釈される。これは、図４ａのレンダーレイヤＲＥＮＤＥＲＬＡＹＥＲ１・ＲＥＮＤＥＲＬＡＹＥＲ２に対応する。これは例えば、ｘｙ座標を直接ヨー・ピッチ座標にマッピングし、全球から矩形構造への符号化を可能にしてもよい。各（ヨー・ピッチ）画素の画素色値は、実在する点の値からの補間によって形成されてもよい。あるいは、半球又はそれを超える範囲を円形写像に変換する等立体角写像［半径＝２＊焦点距離＊ｓｉｎ（立体角）／２］のような円マッピング関数が用いられてもよい。

【0047】

あるいは、球面座標を２次元カーテシアン座標に変換する円マッピング関数が用いられてもよい。こうしたマッピング関数は、全てのｘ・ｙ値の組を球面座標に戻す変換が可能である円形写像を生成する。この関数は、光軸からの角（θ）を、写像円の中心から点までの距離（ｒ）に変換する。全ての点に対して、光軸の周りの角（φ）は球面座標と写像円の間で不変である。ｘｙ座標と写像円におけるｒφ座標の間の関係は次の通りである：
ｘ＝ｘ０＋ｒ＊ｃｏｓ（φ），ｙ＝ｙ０＋ｒ＊ｓｉｎ（φ）。
但し、点（ｘ０，ｙ０）は写像円の中心である。

【0048】

こうしたマッピング関数の例は、魚眼レンズで通常用いられる等立体角マッピングである。等立体角マッピングはレンズの焦点距離（ｆ）に依存し、次のようになる：ｒ＝２＊ｆ＊ｓｉｎ（θ／２）。したがって、光軸の中心にある点（θが０）ではｒは０となり、写像点も写像円の中心にある。光軸に垂直なベクトル（θが９０度）にある点では、ｒは１．４１＊ｆになり、写像円にある点を次のように計算できる：ｘ＝ｘ０＋１．４１＊ｆ＊ｃｏｓ（φ），ｙ＝ｙ０＋１．４１＊ｆ＊ｓｉｎ（φ）。座標を目標解像度で画素に変換するために、ｘ、ｙを定数乗数でスケールできる。他のマッピング関数として立体投影（ｒ＝２＊ｆ＊ｔａｎ（θ／２））、等距離投影（ｒ＝ｆ＊θ）、正投影（ｒ＝ｆ＊ｓｉｎ（θ））でもよい。

【0049】

各々のレイヤは、図４ａのＲＥＮＤＥＲＬＡＹＥＲ１のようにカメラ周辺の空間を完全に（即ち、連続して穴の無いように）カバーしていてもよい。あるいは、図４ａのＲＥＮＤＥＲＬＡＹＥＲ２のように、マッピングパラメータを用いて完全に省略されるか、サイズが大きいときに高圧縮されて値が０として符号化されるかの何れかのカバーされない部分を含む空間を疎らにカバーしていてもよい。可視化されうる全てのオブジェクトは、レイヤの１つに記録される。各レイヤは、レイヤの２次元画像データをレンダー空間にマッピングするために必要なマッピングパラメータと共に与えられる。全てのレイヤは最終的に、それらの復号に必要なマッピングメタデータを伴う単一データ構造に詰め込まれてもよい。あるいは、各レイヤはそれぞれ異なるファイル又はストリーム、又はそれぞれ異なるデータ構造で与えられてもよい。

【0050】

加えて、レイヤの符号化は、シーンの再現性を十分に保ちつつ、レンダリングの複雑さをスケールしたり、送出データ量を減らしたりすることを可能にする。このようにする一つのアプローチは、特定の軸、例えばｙ軸が大きくなる（下に行く）程、それに沿うサブレイヤが次第に離れるようにして全レイヤを２次元画像に詰め込むことである。必要なレンダリングが少ない程、上位レイヤと可能であればサブレイヤの限定されたサブセットがあればよく、下位レイヤは単に送出しないか、復号／処理をしなくてもよい。

【0051】

本発明は、これまで完全合成シーンをレンダリングする大規模データ処理能力の使わなくては実現不可能であった、物理的に現実性のある挙動を伴う複雑な３次元環境の記録、送出、表現を可能とする。本発明は、レンダーレイヤ構造の使用により特定の画像解像度に対して送出に必要なデータ量を大幅に減らすことによって、相異なる視点からの複数の画像に基づく表現技術の高速化を実現できる。

【0052】

図４ｂでは、２台のカメラＣＡＭＲ・ＣＡＭＬを使用して２つのレンダーレイヤＲＥＮＤＥＲＬＡＹＥＲ１・ＲＥＮＤＥＲＬＡＹＥＲ２の形成が示されている。カメラはそれぞれオブジェクトＲＥＡＲＯＢＪの異なる部分を「見ている」。これは、オブジェクトＲＥＡＲＯＢＪが別のオブジェクトＦＲＯＮＴＯＢＪの背後に隠れているからである。左カメラＣＡＭＬは、オブジェクトＲＥＡＲＯＢＪのイメージ情報を左側からより多く撮影可能であり、右カメラＣＡＭＲは右側からより多く撮影可能である。レンダーレイヤが例えば視点である点ＶＩＥＷＰＮＴを維持しながら作成される場合、オブジェクトＦＲＯＮＴＯＢＪはイメージ情報が存在するオブジェクトＲＥＡＲＯＢＪの部分を隠しているが、イメージ情報が存在しない部分も同様に隠している。その結果、第１のレンダーレイヤＲＥＮＤＥＲＬＡＹＥＲ１は、第１のオブジェクトＦＲＯＮＴＯＢＪに相当する画素ＡＲＥＡ１と、第２のオブジェクトＲＥＡＲＯＢＪの可視部分を相当する画素ＡＲＥＡ２を含む。第２のレンダーレイヤは、第２のオブジェクトＲＥＡＲＯＢＪの隠れた部分のイメージ情報に対応する画素ＡＲＥＡ３を含む。ＡＲＥＡ３以外の画素は空であるかダミー画素である可能性がある。レンダーレイヤに関する深度情報は前述のように生成されてもよい。

【0053】

図４ｃは、レンダーレイヤを用いた画像のレンダリングを示す。立体画像又は立体動画シーケンスをレンダリングするために、左目用、右目用それぞれのイメージフレームが前述のように形成される。イメージフレームをレンダリングするために、全てのレイヤＲＥＮＤＥＲＬＡＹＥＲ１・ＲＥＮＤＥＲＬＡＹＥＲ２の内容は、そこから新しいレンダリングカメラ空間に投影され、深度順に並び替えられて正しいシーンをレンダリングする。例えば従来のグラフィックス処理ユニットを用いる場合、各レンダーレイヤ点ＲＰ１、ＲＰ２、…、ＲＰＮ及びＲＰＸ１、ＲＰＸ２、…を「粒子」として扱い、頂点シェーダープログラムを用いて変換し、レンダリング視点に対する深度値を含む単一画素の「ポイントスプライト」を用いて３Ｄレンダリング空間に変換できる。投影粒子を重ねるために深度値が比較され、正確な混合関数を使って正しい順序で描かれる。これは、点ＲＰ１、ＲＰ２、ＲＰ３、ＲＰＸ１、ＲＰＸ２にそれぞれ対応する破線矩形によって示されている。こうして、画素が関連する元のイメージ点の実空間内の位置に対応する位置に、その画素を配置できる。不透明な内容は、レンダリングカメラへの最近接点が示されるようにレンダリングされる。透明な内容は、その背後に見える内容を正しく混合してレンダリングされてもよい。

【0054】

ここで、レンダーレイヤの画素がレンダー空間においてオブジェクトを異なる大きさで表現する可能性があることに留意する必要がある。視点から遠い（深度値が大きい）画素は、視点に近い画素よりも大きいオブジェクトを表現してもよい。これは、レンダーレイヤの画素が元々特定の空間「円錐」とその「円錐」内のイメージ内容を表わせるからである。この円錐の底面までの距離に応じて、画素は空間内の点の大きさを変えて表現する。レンダーレイヤは、レンダー視点から見るとき画素の格子が基本的に互いの上側に揃っているように、レンダリングに関して揃えられてもよい。

【0055】

レンダーレイヤからレンダー空間に変換するために、レンダーレイヤの回転が必要となることもある。ｘ軸の周りにある角（ピッチ角と呼ばれる）だけ座標を回転する変換Ｒ_ｘの例は、次の回転行列によって定義される。

【0056】

同様に、別の軸の周りの回転Ｒ_ｙ（ヨーに対応する）、回転Ｒ_ｚ（ロールに対応する）も定義可能である。一般の回転については、Ｒ＝Ｒ_ｘＲ_ｙＲ_ｚという３つの回転の行列積で表わせる。この回転行列は、ｖ_２＝Ｒｖ_１に従い、第１の座標に任意のベクトルを乗じて変換先座標系におけるベクトルを得るために用いることができる。

【0057】

回転の例として、ユーザが頭の向きを変える場合（ピッチ、ヨー、ロールの各値で表わされる回転がある場合）、ユーザの頭の向きは、新しい頭の向きを取得するために決定されてもよい。これは例えば、ヘッドマウントディスプレイに頭部動き検出器が具備されることで分かるようになる。新しい頭の向きが決定された場合、レンダリングイメージがこの新しい頭の向きに合うように、視界方向と仮想的な目の位置が再計算されてもよい。

【0058】

別の例として、ヘッドマウントカメラの向きの補正を説明する。ここで用いられる技術は、ユーザに見せる視界方向を補正するために、撮像デバイスの向きを記録しその向き情報を利用することである。特に、再生時に撮像デバイスの回転を相殺し、撮像デバイスではなくユーザが視界方向を制御しているようにすることである。これに代わって、見る人が元々の撮像デバイスの動きを体験したいと望む場合、この補正が無効化されてもよい。見る人が元の動きを少しだけ激しくしたバージョンを体験したいと望む場合、フィルタを使ってこの補正を動的に適用させることも可能である。これにより、元の動きが本来よりもゆっくりと続いたり、正常な向きから少し逸脱させられたりするようになる。

【0059】

表示すべきフレームに対して、レイヤは、不透明レイヤを始点、半透明領域を含むレイヤを終点とする複数のレンダー経路でレンダリング可能である。最後は、必要に応じて空画素の値を補間する別の後処理電だー経路も可能である。

【0060】

リンダリング時には、閉塞フラグメントを破棄するために、（ＯｐｅｎＧＬ等の）グラフィックス処理深度テストが有効化され、その書込みに深度バッファも有効化される。レンダリング済みレイヤが半透明領域を含む場合、レンダリング時にアルファブレンディングが有効化される。シーンジオメトリは多数の未接続頂点（ＧＬ＿ＰＯＩＮＴ）を含み、その各々が保存済みレンダーレイヤデータ内の画素に対応する。頂点の属性数はレイヤ保存フォーマットに応じて異なる可能性がある。頂点属性には例えば、位置（ｘ，ｙ，ｚ）や色、実際のレイヤイメージデータを示すテクスチャ座標がある。

【0061】

次に例として、ＯｐｅｎＧＬの頂点・フラグメント処理を説明する。ただし、他のレンダリング技術も同様に使用可能である。

【0062】

頂点・フラグメント処理は、レイヤ保存フォーマットによって若干異なる場合もある。非圧縮リストフォーマットで保存されたレイヤを処理するステップは（頂点毎に）次の通りでもよい：
１．最初に、全ての頂点が割り当てられ、それらの属性と共に頂点処理ステージに送られる。属性には視野角、色、共通原点（レンダー視点）に対する深度が含まれる。処理済みレイヤが半透明の内容を有する場合、頂点はそれらの深度値に従って並び替えられなくてはならない。
２．頂点の（ヨー、ピッチ、深度）表現が３次元カーテシアンベクトル（ｘ，ｙ，ｚ）に変換される。
３．頂点に対応する行列を乗じることによって、カメラ及び世界の変換がその頂点に適用される。
４．頂点色属性がフラグメント処理ステージに送られる。
５．最終頂点座標が出力変数（ｇｌ＿Ｐｏｓｉｔｉｏｎ）に書き込まれる。
６．フラグメント処理ステージにおいて、頂点処理ステージから受け取られた色データが出力変数（ｇｌ＿ＦｒａｇＣｏｌｏｒ）に直接書き込まれる。

【0063】

圧縮イメージフォーマットで保存されたレイヤ、即ち、画素色データ、深度のそれぞれの値を有する画素を含むレンダーレイヤを処理するステップは（頂点毎に）次の通りでもよい：
１．最初に、全ての頂点が、同じ深度値を持つシーン全体亘って均一に割り当てられる。
２．見る人の現在の視野内に頂点が見えない場合、それを現在の視野内に配置するために変換関数が適用される。この変換の目的は、最初に全ての利用可能な頂点を現在の可視領域に集結させることである。そうしないと、その頂点が表わす画素データがフラグメント処理ステージでレンダリング時に切り抜かれることになる。このときの切り抜きを防ぐことによって、レンダリング品質を向上させられる。視野外の頂点が視野内に均一に拡散されるように、位置変換が可能である。例えば、水平方向視野が０度から９０度である場合、水平方向で元々９１度の向きに位置する頂点は水平方向が１度の位置に変換されることになる。同様に、水平方向が９１度から１８０度の頂点は、水平方向が１度から９０度の範囲に変換されることになる。垂直位置についても同様に計算可能である。変換後の頂点の位置が既に視野内にある他の頂点の位置と厳密に同じにならないように、頂点の新しい位置の値に小数定数分（例えば、この例では０．２５画素分）を加算できる。
３．頂点色データに関するテクスチャ座標は変換頂点位置から計算され、フラグメント処理ステージに送られる。
４．頂点の深度値は、テクスチャ検索を使ってテクスチャからフェッチされる。
５．頂点に対する視野角はマッピング関数を使って計算される。
６．頂点の（ヨー、ピッチ、深度）深度表現がカーテシアン３次元ベクトル（ｘ，ｙ，ｚ）に変換される。
７．頂点に対応する行列を乗じることによって、カメラ及び世界の変換がその頂点に適用される。
８．画素の解像度により、最終頂点位置には小さい丸め誤差が生じるが、この誤差は（サブ画素の）丸め誤差を計算することによって考慮され、フラグメント処理ステージに送られる。
９．最終頂点座標がシェーダー出力変数（ｇｌ＿Ｐｏｓｉｔｉｏｎ）に書き込まれる。
１０．フラグメント処理ステージでは、周囲点を用いてより適切な色値を補間するために、受信されたテクスチャ座標を使い、サブ画素丸め誤差を考慮して色テクスチャから色データが読み取られる（これは非圧縮リストフォーマットでは不可能である）。次いで、色値が出力変数（ｇｌ＿ＦｒａｇＣｏｌｏｒ）に書き込まれる。

【0064】

レンダリング時には、第１のレンダーレイヤからの第１の画素と第２のレンダーレイヤからの第２の画素をサブ画素単位で空間に配置して相互の先頭に登録されるように、元の画素を並べられる。レンダーレイヤの保存フォーマットに応じて、頂点（画素）が最初に仮想グリッドの類いに並べられてもよく（「圧縮」画像フォーマットにおけるステップ１、２）、

【0065】

そうでなくてもよい。正しい深度の読取りと座標の変換及びマッピング（ステップ７）の後、カメラ及び世界の変換が適用されるステップにおいて、最終的に頂点が整列／配列されてもよい。この配列が別の段階で行われてもよく、それ自体とは別のステップとして行われてもよいことを理解する必要がある。

【0066】

図５ａは、イメージデータを取得してレンダーレイヤを形成するフローチャートである。フェーズ５１０では、第１のソースイメージからの第１のイメージデータと第２のソースイメージからの第２のイメージデータを用いてシーンモデルが形成される。シーンモデルはシーン点を含み、各シーン点はそのシーンの座標空間における位置を有する。撮影イメージデータからのシーン点形成は既に説明済みである。あるいは又は加えて、合成シーンが用いられてもよい。合成シーンはデジタルオブジェクトを含み、その位置、向き、色、透明度、他の側面がモデルで定義される。フェーズ５２０では、第１のシーン点群が決定される。この第１のシーン点群はレンダー視点から見え、この視点もシーン座標空間内の位置を有する。すなわち、シーンがレンダー視点（例えば、図１で説明したような仮想両目の中心点）から見えている場合、その視点から見える（他のオブジェクトの背後に隠れていない）点は、第１のシーン点群に属してもよい。フェーズ５２５では、第２のシーン点群が決定される。この第２のシーン点群は、レンダー視点から見える第１のシーン点群によって少なくとも一部が見えない。すなわち、第２のシーン点群は第１の群の点の背後にあるか、第２の群の少なくとも一部の点が第１の群の一部の点の背後にあって見えない。フェーズ５３０では、第１のシーン点群を用いて第１のレンダーレイヤが形成され、第２のシーン点群を用いて第２のレンダーレイヤが形成される。第１、第２のレンダーレイヤは画素を含む。フェーズ５４０では、第１、第２のレンダーレイヤは、立体画像のレンダリング用として、例えばファイルへの保存やレンダラへの送出によって与えられる。立体画像は、左目画像と右目画像を計算してレンダーレイヤから計算されてもよい。これは、左目の仮想位置をレンダー視点として持つ左目画像と、右目の仮想位置をレンダー視点として持つ右目画像の２つの画像が計算されるように行われる。

【0067】

また、第３のシーン点群が決定されてもよい。この第３のシーン点群は、レンダー視点から見える第２のシーン点群によって少なくとも一部が見えない。次いで、第３のシーン点群を用いて第３のレンダーレイヤが形成されてもよい。第３のレンダーレイヤは画素を含み、立体画像のレンダリングに用いられてもよい。

【0068】

第２のレンダーレイヤは疎レイヤであって、第１のシーン点群によって少なくとも一部が見えないシーン点に対応するアクティブ画素を含むレイヤでもよい。また、第３のレンダーレイヤが疎レイヤでもよい。疎レイヤによっては画素が「欠落」している可能性もあるため、第２のレンダーレイヤにはダミー画素が形成されることもある。ダミー画素は実際のシーン点の何れにも対応していない。これは、イメージエンコーダで第２のレンダーレイヤをデータ構造に符号化するために行われてもよい。レンダーレイヤデータの保存、伝送の何れか又は両方のために、レンダーレイヤはイメージエンコーダで１つ又は複数のデータ構造にされてもよい。例えば、特定のデータ構造でレンダーレイヤを含むファイルが作成されてもよい。１つ又は複数のレンダーレイヤは２次元画像データ構造に形成され、このイメージデータ構造がレンダーレイヤ画素を含んでもよい。レンダーレイヤ画素は色値、アルファ値等の透明度を有してもよい。少なくとも２つのレンダーレイヤのデータが順序付き画像データ構造に形成されてもよい。前述したように、この順序付き画像データ構造は少なくとも２つのセグメントを有し、各セグメントが関連するレンダーレイヤに対応する。

【0069】

シーンモデルの形成は、そのシーンイメージに対する深度情報を利用したシーン点の３次元位置決定を含んでもよい。シーンモデルの形成は前述したように、元のイメージのカメラ位置の利用と、元のイメージのイメージ内容の比較を含んでもよい。

【0070】

図５ｂは、レンダーレイヤを用いた画像レンダリングのフローチャートである。フェーズ５５０では、第１のレンダーレイヤと第２のレンダーレイヤが受け取られる。第１、第２のレンダーレイヤは画素を含み。第１のレンダーレイヤはレンダー視点から見えるシーンの第１の部分に対応する画素を含み、第２のレンダーレイヤはレンダー視点から見えるシーンの第２の部分に対応する画素を含む。シーンの第２の部分は、レンダー視点から見える第１の部分によって見えない。フェーズ５６０では、第１のレンダーレイヤの画素（又は頂点）、第２のレンダーレイヤの画素（又は頂点）がレンダリング空間に配置される。例えば、レンダーレイヤがイメージデータとして保存される場合、２次元画像が画素毎にレンダリング空間に変換されてもよい。フェーズ５７０では、例えば画素毎に深度値が画素に関連付けられてもよい。フェーズ５８０では、画素とその深度値を用いて、左目画像と右目画像がレンダリングされてもよい。

【0071】

第１のレンダーレイヤ、第２のレンダーレイヤの画素は色値を含み、少なくとも第１のレンダーレイヤの画素はアルファ値のような、少なくとも第１のレンダーレイヤの画素の透明性をレンダリングするための透明度の値を含んでもよい。この透明化処理をより効率的に行うために、レンダリングされるべきレンダーレイヤが半透明画素を含むかどうかが決定され、その決定から当該レンダーレイヤが実際に半透明画素を含むと示された場合、レンダーレイヤのレンダリングでアルファブレンディングが有効化される。それ以外の場合、当該レンダーレイヤのレンダリングでアルファブレンディングが無効化される。

【0072】

第１のレンダーレイヤ、第２のレンダーレイヤは、２次元画像として画素値を含むデータ構造から受け取られてもよい。例えば、レンダーレイヤは画像データフォーマットで画像ファイルに保存されてもよく、あるいは（コンピュータメモリ等の）データ構造に２次元フォーマットで表現されてもよい。第１、第２レンダーレイヤの画素に対する色値は、テクスチャマッピングを使って決定されてもよい。テクスチャマッピングは、データ構造内のデータを使い、（ＯｐｅｎＧＬグラフィクスアクセラレータのような）グラフィックスレンダリングシステムのテクスチャ処理機能を援用して、データ構造からの色値をレンダリング空間にマッピングするものである。

【0073】

同様に、第１のレンダーレイヤ、第２のレンダーレイヤが、２次元画像として画素値を含むデータ構造から受け取られ、第１、第２のレンダーレイヤの画素に対する深度値がテクスチャマッピングを用いて決定されてもよい。この深度値はレンダー視点からの距離を示す。すなわち、深度データも、レンダーレイヤの色値に対応する画像のようなデータ構造に保存または伝送されうる。

【0074】

光の反射とシェーディングをレンダリングするために、レンダーレイヤは、そのレンダーレイヤの画素に対する視野角の値に関する情報を含んでもよい。第１のレンダーレイヤ、第２のレンダーレイヤが、２次元画像として画素値を含むデータ構造から受け取られ、視野角の値が、テクスチャマッピングを使って第１、第２のレンダーレイヤの画素に対する画素値から決定されてもよい。こうした視野角の決定は例えば、グラフィクスプロセッサのいわゆる「バンプマッピング」機能を使って行われてもよい。こうした方法では、テクスチャを使って画素の方向角が計算される。光源からの光の画素による反射は、この方向角に依存する。換言すれば、表示されるべき画像を計算するために、画素は見る人とは反対向きの面法線を有してもよい。

【0075】

図６ａは、画像レンダリングのためのレンダーレイヤを含むデータ構造を示す。非圧縮リスト型フォーマットでは、種々のシーン点が点データ構造で表現される。各点は色の値（例えば、赤、緑、青の３つの値）、透明度（アルファチャンネル等）、位置（例えば、ヨー、ピッチ、深度座標の３つの値）を有し、他の属性を持つこともできる。

【0076】

図６ｂの画像データフォーマットでは、第１のレンダーレイヤ内のシーン点の色値がある符号化イメージで表現される。画像は、レンダーレイヤ画素ＲＰ１、ＲＰ２、ＲＰ３としてのシーン点に対して色値を含んでもよく、テクスチャマッピング等によってシーン点の色値を計算するために使用可能な色値を含んでもよい。同様に、第１のレンダーレイヤに関する他の属性が、レンダーレイヤ画素の深度値ＲＰＤ１、ＲＰＤ２、ＲＰＤ３を含む深度値イメージ等として表現されてもよい。第２のレンダーレイヤ内のシーン点の色値がある符号化イメージで表現される。画像は、レンダーレイヤ画素ＲＰＸ１、ＲＰＸ２としてのシーン点に対して色値を含んでもよく、テクスチャマッピング等によってシーン点の色値を計算するために使用可能な色値を含んでもよい。深度値ＲＰＤＸ１、ＲＰＤＸ２は深度イメージに対応している。

【0077】

レンダーレイヤ毎にそれぞれのイメージデータ構造を有していてもよく、これらのレンダーレイヤが１つ又は複数の画像に統合されてもよい。例えば、画像が第１のレンダーレイヤに対するセグメント、第２のレンダーレイヤに対する別のセグメント等を有していてもよい。画像は従来の圧縮技術で圧縮されてもよい。

【0078】

図７は、レンダーレイヤの実施例を示す。第１のレンダーレイヤＬＡＹＥＲ１は３次元空間にある複数の立方体のイメージを含む。これらの立方体は、見る人に近い立方体がその人から遠い立方体の一部を覆って見せないように配置されている。第１のレイヤでは、全方向でシーン（少なくとも背景）の一部が見えるため、全画素が色値を有する。第２のレンダーレイヤＬＡＹＥＲ２は立方体の見えない部分を含む。見えない部分は、第１のレンダーレイヤとは（左側に）少しずれた視点からのイメージを取得することによって得られている。第２のレンダーレイヤには、第１のレンダーレイヤで利用可能な画素を含まない。したがって、第２のレンダーレイヤは疎らで、多数の―この場合は殆どの―画素は空である（黒で示される）。左目・右目画像は、前述したように、両レンダーレイヤからの画素データを用い、左右の目に対応する画像を計算することによって形成されてもよい。

【0079】

本発明の様々な実施形態は、メモリに存在するコンピュータプログラムコードを用いて実装でき、関連する装置に本発明を遂行させられる。例えば、デバイスは、データの処理・送受信を行う回路及び電子装置と、メモリにコンピュータプログラムコードと、プロセッサを備え、プロセッサは、コンピュータプログラムコードを実行すると、デバイスに本実施形態の構成を遂行させてもよい。また更に、サーバ等のネットワーク装置は、データの処理・送受信を行う回路および電子装置と、メモリにコンピュータプログラムコードと、プロセッサを備えてもよい。プロセッサは、コンピュータプログラムコードを実行すると、ネットワーク装置に本実施形態の構成を遂行させる。

【0080】

本発明の実施形態は、本明細書に紹介したものに限定されるものではないことは当然であり、請求項の範囲内で様々に変形されうるものであることは明らかである。

【図1a】