特許 6595591 没入ビデオを生成する目的のための画像データを収集する方法及びそれらの画像データに基づく空間可視化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6595591

(24)【登録日】2019年10月4日

(45)【発行日】2019年10月23日

(54)【発明の名称】没入ビデオを生成する目的のための画像データを収集する方法及びそれらの画像データに基づく空間可視化方法

(51)【国際特許分類】

   H04N 13/366 20180101AFI20191010BHJP

   H04N 13/344 20180101ALI20191010BHJP

   H04N 13/363 20180101ALI20191010BHJP

   G02B 27/02 20060101ALI20191010BHJP

【ＦＩ】

   H04N13/366

   H04N13/344

   H04N13/363

   G02B27/02 Z

【請求項の数】15

【全頁数】22

(21)【出願番号】特願2017-522200(P2017-522200)

(86)(22)【出願日】2015年10月22日

(65)【公表番号】特表2017-539120(P2017-539120A)

(43)【公表日】2017年12月28日

(86)【国際出願番号】BE2015000056

(87)【国際公開番号】WO2016061640

(87)【国際公開日】20160428

【審査請求日】2018年3月22日

(31)【優先権主張番号】BE2014/05025

(32)【優先日】2014年10月22日

(33)【優先権主張国】BE

(73)【特許権者】

【識別番号】517137686

【氏名又は名称】パラルラクスター

(74)【代理人】

【識別番号】110000659

【氏名又は名称】特許業務法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】サロメ，トリスタン

(72)【発明者】

【氏名】ド コニンク，ミカエル

(72)【発明者】

【氏名】マスカレロ，クリス

(72)【発明者】

【氏名】ヴァンダーハーゲン，ジェームス

(72)【発明者】

【氏名】ホノレツ，ゲール

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 米国特許出願公開第２０１４／０１２５６５８（ＵＳ，Ａ１）

【文献】 国際公開第２０１４／１５２２５４（ＷＯ，Ａ１）

【文献】 特開２００２−１７５５２１（ＪＰ，Ａ）

【文献】 特表２００４−５１４９５１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／００４４１８１（ＵＳ，Ａ１）

【文献】 特開２００２−３５４５０５（ＪＰ，Ａ）

【文献】 特開２００２−１７１４６０（ＪＰ，Ａ）

【文献】 特開２０１２−０７９２９１（ＪＰ，Ａ）

【文献】 特表２００９−５３１１２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／３９８

Ｇ０２Ｂ ２７／０２

(57)【特許請求の範囲】

【請求項1】

没入ビデオを生成する目的のための画像データを収集し、それぞれが走査ビームを生成するために提供される第一組の少なくともｎ個（ｎ＞１）のスキャナのセットアップを備え、更に、走査ビームを用いて前記第一組のスキャナの各スキャナによって所定の空間を走査し、前記空間の画像データを生成し、前記画像データをメモリ内に格納する方法であって、
前記没入ビデオのユーザが前記空間を見ることができ、頭部を用いて視点領域内での移動、特に平行移動を行うことができるボリュームの範囲を定めることによって視点領域が決定され、
前記視点領域は、ユーザが静止時にその位置の周りに自然に有し、ユーザの体の残りの部分を移動させない頭部の動きの緯度に対応する大きさであり、
前記視点領域の端部に配置される第二組のｍ個（ｍ＞１）のソース点がその後決定され、 前記第一組の少なくともｎ個のスキャナのセットアップは、前記ソース点にそれぞれ、前記第一組の前記スキャナの一つを毎回配置することによって実現され、
前記空間の前記走査は、前記ソース点に配置された前記スキャナを用いて、前記視点領域によって決定される範囲にそれぞれ配置される一方ではアジマス角、他方では仰角の連続に従って、前記空間を段階的に走査することによって実現され、
前記画像データの生成は、毎回反射される走査ビームのそれぞれ生成された走査ビームに対して、前記空間内に配置され、関連の走査ビームによって接触される接触点を収集し、ステップ毎に、反射される走査ビームに基づいて、接触点と、関連の走査ビームを生成したスキャナとの距離（ｄ）、並びに前記接触点の色パラメータを決定することによって実現され、
前記画像データは、前記アジマス角及び仰角に従って構成された行列の形態でメモリ内に格納されることを特徴とする方法。

【請求項2】

前記視点領域は、基本的に直方体のボリューム、特に少なくとも高さ３０ｃｍ、少なくとも奥行き３０ｃｍ及び少なくとも幅３０ｃｍの直方体の平行六面体によって構成されることを特徴とする、請求項１に記載の方法。

【請求項3】

前記視点領域は、基本的に八面体状のボリュームによって形成されることを特徴とする、請求項１に記載の方法。

【請求項4】

スキャナによって接触される各点に対して、前記ｎ個のスキャナの少なくとも一つの他のスキャナによって出射されたビームが、その接触点に到達できるかどうかを決定することによって、前記画像データをフィルタ処理し、前記ｎ個のスキャナの少なくとも一つの別のスキャナによって出射されたビームが、考慮される接触点に到達できる場合、所定の選択基準に基づいて、前記考慮される接触点の画像データを、前記画像データから除去しなければならないかどうかを決定することを特徴とする、請求項１から３のいずれか一つに記載の方法。

【請求項5】

前記考慮される接触点を生成したスキャナと、前記考慮される接触点に到達できる前記他のスキャナの内の単一又は複数のスキャナによって、前記アジマス角に従う二つの連続的走査ステップと、前記仰角に従う二つの連続的走査ステップの間で走査される面の表面積に、前記選択基準が基づくことを特徴とする、請求項４に記載の方法。

【請求項6】

前記走査される面に直交する線と、前記接触点を生成した走査ビームとの間の角度（β）を決定し、距離（ｄ）の二乗を角度βのコサインで割ったものに基づいて前記表面積を決定し、選択基準を構成し、最小走査面積を有する値と共に格納した前記画像データを保持することを特徴とする、請求項５に記載の方法。

【請求項7】

前記接触点と、前記接触点を生成したスキャナとの間の距離、及び前記接触点と、前記接触点に到達できるｎ個の他のスキャナ内の単一又は複数のスキャナとの間の距離に、前記選択基準が基づき、保存され格納される前記画像データが、最小距離を提供したスキャナのものであることを特徴とする、請求項４に記載の方法。

【請求項8】

優先順位は、前記ソース点上に配置したｎ個のスキャナのそれぞれに対して事前に確立され、前記選択基準が前記優先順位に基づくことを特徴とする、請求項４に記載の方法。

【請求項9】

用いられるスキャナは仮想スキャナ又は物理的スキャナのいずれかであることを特徴とする、請求項１から８のいずれか一つに記載の方法。

【請求項10】

アジマス走査ステップは仰角の関数に適応することを特徴とする、請求項１から９のいずれか一つに記載の方法。

【請求項11】

同じ走査ステップ内で複数の他の走査ビームを生成し、他の接触点を前記他の走査ビームを用いて決定し、その後、他の接触点のそれぞれに対して、前記他の接触点と前記スキャナとの間の距離を含む一組の距離を決定し、最小及び最大距離を前記一組の距離のそれらの距離内で検索し、その最小及び最大距離に依存する基準に基づいて、それらの距離に基づく異なるグループ内の前記他の接触点の分布が必要であるかどうかを決定し、
このような分布が必要でない場合、前記他の接触点の加重平均を計算し、考慮される前記走査ステップに対して、前記接触点の前記メモリに格納された前記画像データの値とこの加重平均を置換し、
このような分布が必要な場合、それらの位置に基づいて異なるグループに前記他の接触点を分布させ、前記異なるグループ内の所定の基準に従ってグループを選択し、考慮される前記走査ステップに対する接触点が、前記選択したグループ内の他の接触点の加重平均によって決定されることを特徴とする、請求項１から１０のいずれか一つに記載の方法。

【請求項12】

前記視点領域は、第一の初期位置から、前記第一の初期位置の所定の距離に配置した少なくとも第二位置に向かって前記空間内をシフトされ、前記第一組のスキャナの各スキャナによる走査と、前記空間の画像データの生成及び格納は、第一位置に対して実現した後、前記視点領域の各第二位置に対して繰り返されることを特徴とする、請求項１から１１のいずれか一つに記載の方法。

【請求項13】

請求項１から１２のいずれか一つに係る方法に従って収集した画像データに基づく走査空間の少なくとも一部の可視化方法であって、
ａ）センサによってユーザの眼の位置及び方向を視点領域内で決定すること、及び前記ユーザが見るものを決定するために、前記ユーザの頭部の移動を予測するアルゴリズムを使用することと、
ｂ）前記ユーザの眼の位置及び方向に基づいて、前記ユーザが見ることができる空間の一部を可視化するために必要な、前記メモリに格納された前記画像データ内で画像データを選択することと、
ｃ）選択した前記画像データを一時的メモリにロードすることと、
ｄ）前記一時的メモリ内に格納した画像データに基づいて二つの画像を生成することと、
ｅ）二つの生成した画像を前記ユーザの眼に表示すること、というステップを備えることを特徴とする方法。

【請求項14】

前記ユーザに二つの画像を表示することが、仮想現実ヘッドセットを用いて実現されることを特徴とする、請求項１３に記載の方法。

【請求項15】

ユーザに移動を付与するデバイス内で用いられ、前記付与される移動の座標が可視化システムに送信され、前記可視化方法を適用し、前記移動と画像フローを同期化させることを特徴とする、請求項１３又は１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、没入ビデオ（没入型のビデオ）を生成する目的のための画像データを収集する方法に関し、その方法は、第一組の少なくともｎ個（ｎ＞１）のスキャナからなるセットアップを備え、各々がスキャナビームを生成するように設けられ、その方法は更に、ビームを走査することによって、前記第一組のスキャナの各スキャナによって所定の空間を走査し、前記空間の画像データを生成することを備え、その画像データはメモリ内に格納される。本発明は更に、この画像データの可視化方法に関する。

【背景技術】

【0002】

このような方法は、特許文献１から既知である。このような方法は、風景を生成するビデオゲーム内でも用いられる。没入ビデオで生成した画像を可視化できるように、まず画像データを収集する必要がある。これは、所定の空間を走査する一組のスキャナによって実現され、その空間は没入ビデオが発生するシーンを構成する。その結果、収集した画像データはメモリ内に格納される。

【0003】

ビデオゲームのユーザが、そのビデオゲームの三次元シーン内で自分自身を移動させたい場合、一般にビデオゲームを実行するキーボード及びコンピュータマウスを用いる。その後、ビデオゲームは、仮想的な人の新しい視点から始まる３Ｄシーンのレンダリングを実時間で計算し、このレンダリングがコンピュータ画面上に表示される。これによって、ユーザはビデオゲームの仮想世界内で自分自身を移動させ、その世界とインタラクションできる。

【0004】

これらの簡単なインタラクションによって既に、いくつかのユーザは、数分のゲーム内ではビデオゲームの仮想的な人の肌で自分自身を感じることができる。仮想没入感覚は、仮想３Ｄシーン内に物理的に実際にいるという印象をユーザに与えることにある。この感覚は多かれ少なかれ、ユーザの感覚によって感じられるものと、ユーザが仮想３Ｄシーンの物理的等価物、つまり実世界内に実際にいた場合に感じられるものとの間の適合性の関数において強くなる。頭部の回転運動と整合する画像をユーザの眼に提示するシステムは一般に仮想現実システムと呼ばれる。

【0005】

仮想現実システムを獲得するために最も一般的に用いられる技術は仮想現実ヘッドセットである。ユーザは頭部にヘッドセットを装着し、ヘッドセットはコンピュータに接続される。ユーザの眼の前に配置される画面及び一組のレンズを介して、ヘッドセットはコンピュータによって実時間で計算された合成画像をそれぞれの眼に提示する。ヘッドセットは更に、ユーザの頭部の方向を測定可能なセンサを備える。その原理は次のとおりであり、ユーザは頭部を回転させ、仮想現実ヘッドセットはこの頭部の動きを捕捉し、ユーザの新しい頭部の方向についての情報をコンピュータに送信し、コンピュータはユーザの眼の新しい方向に対応する二つの仮想カメラの方向を用いて、仮想３Ｄシーンの立体レンダリングを生成し、コンピュータによって実時間でレンダリングされた画像がユーザの眼の前に表示される。

【0006】

異なる因子が、視覚的レベルにおける仮想没入の品質に影響を与える。第一因子は、内耳によって測定されるユーザの頭部の動きと、視覚との間の適合性である。人間は、実世界内のこれらの二つの感覚の間の完全な適合性に慣れている。眼によって見られる画像と、ユーザの内耳によって感じられる動きとの間の非コヒーレントな範囲に従って、やや不快な感覚、眼精疲労、頭痛、病的な感覚及び嘔吐さえもたらす可能性がある吐き気を感じる。これらの影響は、仮想現実酔い又は「サイバー酔い」と呼ばれ、船酔いと同様である。

【0007】

既知の没入ビデオ（没入型のビデオ）は、ユーザの周りの３６０°の視野をカバーする平面視又は立体視の事前記録又は事前計算映画である。それらの既知の没入ビデオは、仮想現実ヘッドセットによって可視化される。仮想現実ヘッドセットはユーザの頭部の方向を測定し、コンピュータはこの方向に対応して右眼及び左眼用の画像をヘッドセットの表示装置に送信できる。

【0008】

既知の没入ビデオの場合、通常のビデオについて画像は事前に記録又は事前に計算され、実時間では計算されない。従って、例えば、実時間で画像を計算するための１／６０秒ではなく、１時間より多くの時間で計算されていてもよい。これによって、仮想現実のものよりずっと良い画質を有することができる。

【0009】

ユーザの頭部が平行移動を行う場合、視野はシフトする。このようなシフト中、ユーザの近くのオブジェクトの画像は、より離れたオブジェクトの画像より速く移動する。この効果は、移動する電車内にいて窓から外を眺めているときに明確に観察され、近くのフェンスは非常に速く移動し、遠くの山は静止しているように見える。この効果は視差と呼ばれる。

【0010】

既知の没入ビデオの問題は、ユーザの頭部の平行移動を考慮せず、従ってインタラクティブ視差を提供できないことである。この制限は、既知の没入ビデオの没入品質を著しく限定する。実際、ユーザの脳は頭部が移動するとき視差を感じることを期待するが、それを認識することはない。この欠点はユーザの視覚的快適さ及び没入感覚を低減し、「サイバー酔い」の危険性を著しく増大させる。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】米国特許出願公開第２０１３／００８３１７３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明の目的は、これらの動き、特にユーザの頭部の平行移動を考慮可能な没入ビデオを生成する目的のための画像データを収集する方法を実現することである。

【課題を解決するための手段】

【0013】

この目的のために、没入ビデオを生成する目的のための画像データを収集する方法は、没入ビデオのユーザが前記空間を見て、視点領域内で頭部の移動、特に平行移動を行うことができるボリュームの範囲を定めることによって前記視点領域が決定され、前記視点領域の端部に配置される第二組のｍ個（ｍ＞１）のソース点がその後決定され、前記第一組の少なくともｎ個のスキャナのセットアップは、前記ソース点にそれぞれ、前記第一組の前記スキャナの一つを毎回配置することによって実現され、前記空間の前記走査は、前記ソース点に配置された前記スキャナを用いて、前記視点領域によって事前に決定される範囲にそれぞれ配置される一方ではアジマス角、他方では仰角の連続に従って、前記空間を段階的に走査することによって実行され、画像データの生成は、毎回反射される走査ビームのそれぞれ生成された走査ビームに対して、前記空間内に配置され、関連の走査ビームによって接触される接触点を収集し、ステップ毎に、反射される走査ビームに基づいて、接触点と、関連の走査ビームを生成したスキャナとの距離、並びに前記接触点の色パラメータを決定することによって実行され、前記データは、アジマス角及び仰角に従って構成された行列の形態でメモリ内に格納されることを特徴とする。

【0014】

没入ビデオのユーザが前記空間を見て、視点領域内で頭部の移動を実行できるボリュームの範囲を定める視点領域を決定することによって、スキャナが配置されるソース点を決定し、それらのソース点から空間を走査することが可能になる。その後、この視点領域から画像データを収集し、ユーザの頭部の移動、特に平行移動を考慮し、ヘッドセット内でインタラクティブ視差効果を備えた視野を提供できる。受動型と限定される視差に対してインタラクティブ視差について述べるが、それは、没入ビデオのディレクタによって実行される視点の没入ビデオ内の変位にリンクされる。

【0015】

仮想現実システムは、このインタラクティブ視差を有することを可能にするが、そのためにユーザの眼に提示される画像を実時間で計算しなければならない。この実時間での計算は画質を著しく低下させる。

【0016】

本発明によるインタラクティブ視差を備えた没入ビデオの生成方法は、事前に計算した合成画像又は実撮影を用い、実時間の仮想現実に比べて良好な画質を提供する。没入ビデオにインタラクティブ視差を含めることで、ユーザは非常に良好な没入感を感じることができ、サイバー酔いのリスクを実質的に低減する。

【0017】

視点領域は、走査空間を復元するために格納しなければならない情報量を限定できる。この情報の限定は、管理可能な情報及びデータ量を有することを可能にする。視点領域の構成、寸法及び形状は、空間の走査に用いられるスキャナの数及びセットアップを事前に決定する。

【0018】

本発明による方法の第一の好ましい実施形態は、視点領域が基本的に長方形のボリューム（空間）、特に少なくとも高さ３０ｃｍ、少なくとも奥行き３０ｃｍ及び少なくとも幅３０ｃｍの長方形の平行六面体によって構成されることを特徴とする。これは、体の残りの部分が固定位置に維持されている場合の、頭部の平行移動及び／又は回転中に到達可能な位置をカバーできる。

【0019】

本発明による方法の第二の好ましい実施形態は、スキャナによって接触される各点に対して、前記ｎ個のスキャナの少なくとも一つの他のものによって出射されたビームがその点に到達したかどうかを決定することによって、格納データをフィルタ処理し、前記ｎ個のスキャナの少なくとも別のものによって出射されたビームが考慮される接触点に到達可能な場合、所定の選択基準に基づいて、考慮される接触点を格納データから除去しなければならないかどうかを決定することを特徴とする。このフィルタ処理ステップは、有用な情報を与える点だけフィルタ処理し保存できる。これによって、インタラクティブ視差を備えた没入ビデオを生成するための格納データの量を低減できる。

【0020】

本発明による方法の第三の好ましい実施形態は、考慮される接触点を生成したスキャナと、考慮される接触点に到達可能である他のｎ個のスキャナ内の単一の又は複数のスキャナによって、アジマス角に従う二つの連続的な走査ステップと、仰角に従う二つの連続的な走査ステップとの間で走査される表面積に、選択基準が基づくことを特徴とする。

【0021】

好ましくは、本発明による方法は、用いられるスキャナが仮想スキャナ又は物理的スキャナのいずれかであることを特徴とする。従って、シーンは仮想スキャナ又は物理的スキャナによって生成され、物理的スキャナは、ディレクタが映画のシーンをカメラで記録するのと同様に用いられる。

【0022】

本発明による方法の別の好ましい実施形態に従って、視点領域は、前記空間内で第一位置から、第一位置の所定の距離に配置した第二位置に向かってシフトされ、前記第一組のスキャナの各スキャナによる走査と、前記空間の画像データの生成及び格納は、第一位置に対して実現した後、視点領域の各第二位置に対して繰り返される。従って、可視化時間においてユーザの周りで、没入ビデオの各時間フラクションに対して仮想３Ｄシーンを生成するシステムを考慮できる。それらの一過性の３Ｄ仮想シーンはそれぞれ、ユーザが視点領域から見ることができるものに限定される。これらのシーンのアスペクトの展開は、ビデオ内のオブジェクト及び／又は人の移動、並びに映画ディレクタによって制御される視点領域の位置の変位に対応する。従って、実時間でのレンダリングの瞬間に、ユーザが移動する際、３Ｄシーン内でカメラを移動させる仮想現実とは逆である。本発明によると、インタラクティブ視差を備えた没入ビデオの生成において、視点領域を変位させる際、ユーザの周りで変化し移動するのは３Ｄシーンである。

【0023】

本発明によるインタラクティブ視差を備えた没入ビデオの可視化方法は、
ａ）センサによってユーザの眼の位置及び方向を視点領域内で決定すること、及びユーザが見るものを決定するためにユーザの頭部の移動を予測するアルゴリズムを使用することと、
ｂ）ユーザの眼の位置及び方向に基づいて、ユーザが見ることができる空間の一部を可視化するために必要な格納画像データ内の画像データを選択することと、
ｃ）選択した画像データを一時的メモリにロードすることと、
ｄ）一時的メモリ内に格納した画像データに基づいて二つの画像を生成することと、
ｅ）二つの生成した画像をユーザの眼に提示することと、を備える。

【0024】

これによって、仮想現実ヘッドセット内に表示されるものの定義とコヒーレントな画像データからロードされる所定の密度の点をユーザに表示できる。

【0025】

好ましくは、本発明による可視化方法は、二つの画像をユーザに提示することが仮想現実ヘッドセットよって実行されることを特徴とする。

【0026】

好ましくは、本発明による可視化は、ユーザへの移動を付与するデバイス内で用いられ、前記付与される移動の座標は可視化システムに送信され、前記可視化方法を適用し、前記移動と画像フローを同期化させることを特徴とする。これによって、ユーザに付与された移動を、本発明による可視化に結合できる。

【0027】

従って、没入ビデオは、遊園地の「乗り物」に適用できる。乗り物の原理は、一般に異なる景色を通過する座席に乗り込むことである。これはジェットコースタに比較できるが、加速感より景色を訪問することが強調される。

【0028】

ここで、本発明による方法の好ましい実施形態を示す図面を用いて、より詳しく本発明を説明する。

【図面の簡単な説明】

【0029】

【図1】ユーザが頭部を移動できる視点領域を表すボリュームを示す図である。

【図2a】視点領域に対してシーンを示す図である。

【図2b】視点領域に対して走査されるシーンの視認可能な部分を示す図である。

【図3】視点領域に対する走査空間の正確な概念を示す図である。

【図4a】所定の視点領域の第一組の少なくともｎ個のスキャナの位置を示す図である。

【図4b】所定の視点領域の第一組の少なくともｎ個のスキャナの位置を示す図である。

【図5a】スキャナによって出射される走査ビームで毎回走査される空間内の接触点を示す図である。

【図5b】スキャナによって出射される走査ビームで毎回走査される空間内の接触点を示す図である。

【図6】二つの異なるスキャナによって到達可能な空間内の点の概念を示す図である。

【図7】シーンの走査及び接触点のフィルタ処理を示す図である。

【図8a】見かけの面によってフィルタ処理を行う方法を示す図である。

【図8b】見かけの面によってフィルタ処理を行う方法を示す図である。

【図9a】スキャナに優先度を与えるフィルタ処理方法を示す図である。

【図9b】スキャナに優先度を与えるフィルタ処理方法を示す図である。

【図9c】スキャナに優先度を与えるフィルタ処理方法を示す図である。

【図9d】スキャナに優先度を与えるフィルタ処理方法を示す図である。

【図10】スキャナの中心点に対して異なる距離に配置したオブジェクトを有する空間の他の走査ビームによるサンプリングを示す図である。

【図11】他の接触点の最大距離及び最小距離と、スキャナに対してシフトさせた視点からのユーザの認識との間の関係の概念を示す図である。

【図12】接触点の密度が表示装置の角度定義とコヒーレントであることを示す図である。

【図13】走査の生態圏的表現とそれに関連したストレージを示す図である。

【図14】視点領域の転送の概念を示す図である。

【図15】メモリ内の画像データのストレージを示す図である。

【図16】反射ビームの修正の概念を示す図である。

【発明を実施するための形態】

【0030】

図面において、同一又は同様の要素には同一参照記号が割り当てられる。
コンピュータプログラムは、景色、照明及びカメラを含む完全な映画スタジオの等価物をシミュレートできる。ここでは、三次元オブジェクト、仮想照明及びカメラについて述べるが、それらの要素は実際の物理的世界には存在せず、コンピュータ内のシミュレートされた表現としてのみ存在する。この種のコンピュータプログラムの一例は、「Ａｕｔｏｄｅｓｋ」社の「Ｍａｙａ」ソフトウェアである。例えば、オブジェクト、照明及びカメラによって構成されたそれらの仮想三次元要素の組は、仮想３Ｄシーン、より簡単に３Ｄシーン又は仮想３Ｄ空間と呼ばれる。

【0031】

いったん仮想３Ｄ空間が導入されると、コンピュータは仮想３Ｄ空間内の仮想カメラが見るものに対応する画像を計算でき、これは３Ｄ空間内に存在するオブジェクトと照明及び仮想カメラの位置を考慮する。この計算は３Ｄ仮想空間レンダリングと呼ばれ、このレンダリングで得られる画像は合成画像である。

【0032】

ユーザの両方の眼は、やや異なる二つの視点に従って物理的な実世界を見るが、それらは成人の場合、平均６．５ｃｍ離れている。この距離は眼間距離と呼ばれる。同じ実シーン上での視点のこの小さなシフトによって、ユーザの脳は周りに配置されるオブジェクトとの距離を定義できる。立体映画は、ユーザのそれぞれの眼に対して同じシーンの二つの異なる画像をレンダリングし、奥行き効果を生成することにある。

【0033】

レンダリングソフトウェアは、空間内に存在するオブジェクトの移動とその明度を考慮できる。その後、時間的に異なる瞬間における連続的レンダリングを供給するようにソフトウェアがリクエストされると、レンダリングされる画像は異なったものとなり、合成画像を備えた映画が得られる。既存の映画のフレームワークでは、１秒の動作が２４個の静止画像に分解され、従って、映画館内での提示用に合成画像の映画を生成するためには、映画内の動作に対して１秒間に２４個の画像を計算する必要がある。

【0034】

映画の異なる画像をまずレンダリングして格納し、その後、例えば、既存の映画用の１秒間に２４個の画像の拡散媒体に対応するペースにおいて後で再生する場合の事前計算合成画像について述べる。良好な画質を得るには、各合成画像の計算に多くの時間がかかる。多くの場合、レンダリングは画像毎に１時間より多くかかる。従って、コンピュータは丸一日（1時間の２４倍）かけて映画の１秒と同じもの（１秒間に２４個の画像）を計算することが一般的である。

【0035】

コンピュータが、画像の表示に用いられるペースと同じペースで各画像をレンダリングできる場合、レンダリングは実時間で計算されると言う。再び、１秒間に２４個の画像を備える映画の例では、実時間で映画をレンダリングするためには、これは最大２４分の１秒で各画像が計算されることを意味する。

【0036】

仮想没入の感覚は、仮想３Ｄ空間内に実際に物理的に存在するという印象をユーザに与えることにある。この感覚は多かれ少なかれ、ユーザの感覚によって感じられるものと、ユーザが仮想３Ｄ空間の物理的等価物内に実際にいた場合に感じられるものとの間の適合性の関数内において強くなる。

【0037】

ユーザの頭部の回転運動とコヒーレントな画像をユーザの眼に提示するシステムは一般に仮想現実システムと呼ばれる。

【0038】

仮想現実システムを獲得するために最も一般的に用いられる技術は仮想現実ヘッドセットである。ユーザは頭部にヘッドセットを装着し、ヘッドセットはコンピュータに接続される。ヘッドセットは、ユーザの眼の前に配置される表示装置及び一組のレンズを介して、コンピュータによって実時間で計算される合成画像をそれぞれの眼に提示する。ヘッドセットは更に、ユーザの頭部の方向を測定可能なセンサを備える。ユーザの頭部の動きを予測可能なアルゴリズムも利用される。

【0039】

その原理は次のとおりであり、ユーザが頭部を回転させると、仮想現実ヘッドセットはこの頭部の動きを認識し、ユーザの頭部の新しい方向についての情報をコンピュータに送信する。コンピュータは、ユーザの頭部の新しい方向に対応して、二つの仮想カメラの方向を用いて仮想３Ｄシーンの立体レンダリングを行う。コンピュータによって実時間でレンダリングされた画像は、ユーザの眼の前に表示される。

【0040】

当然のことながら、「Ｏｃｕｌｕｓ」社によって作製されたもの等の、最新の仮想現実ヘッドセットはユーザの頭部の方向だけでなく、その位置も考慮できる。

【0041】

異なる因子が、視覚レベルにおける没入経験の品質に影響を与える。第一因子は、内耳と視覚によって測定されるユーザの頭部の動きの間の適合性である。実際には、ユーザは、これらの二つの感覚の間の完全な適合性に慣れている。眼によって見られる画像と、ユーザの内耳によって感じられる動きとの間の非コヒーレント性のレベルの関数において、やや不快な感覚、眼精疲労、頭痛、病的な感覚及び嘔吐さえもたらす可能性がある吐き気を感じる。これらの影響は、「仮想現実酔い」又は「サイバー酔い」と呼ばれ、船酔いと比較される。

【0042】

空間内で発生するシーンを記録している間、従来のカメラは、その直前で及び視野の限界までの側面で発生する動作を記録する。この視野は角度で表現され、カメラによってカバーされる全視角を提供する。

【0043】

球面ビデオの特別な場合、カメラの視野は水平に３６０°、垂直に１８０°であり、従って、視野はカメラが全ての方向を見ることができる全体となる。

【0044】

立体球面ビデオは、球面ビデオと立体ビデオの特徴を結合させる。従って、それは右眼に提供されるものと、左眼用の他のもののビデオ結合に関係する。それらの二つのビデオはそれぞれ、完全な球面視野をカバーする。

【0045】

仮想現実ヘッドセットを立体球面ビデオと結合することによって、既知の没入ビデオシステムを獲得する。仮想現実ヘッドセットは、ユーザの頭部の方向を測定し、それをコンピュータに送信する。コンピュータは、二つの立体球面ビデオのそれぞれからユーザの頭部の新しい方向の視野に対応するビデオの一部を抽出する。ビデオのこれらの二つの部分が、ユーザの眼の前に表示される。

【0046】

これらの既知の没入ビデオは、例えば、内耳によって感じられる頭部の回転運動と、ユーザの眼に到達する画像との間の所定の適合性、及びユーザに提示されるシーンの奥行きの所定の認識という所定の没入特性を提示する。しかし、これらの既知の没入ビデオは固有の視点から撮影され、ユーザの頭部の平行移動を考慮できず、没入感覚を著しく低減し、とりわけ、「サイバー酔い」の可能性を実質的に増大させる。

【0047】

本発明の前に、ビデオ内で没入感を獲得可能な二つの方法は、一方は仮想現実であり、動き、特にユーザの頭部の平行移動を考慮でき、従って、良好な没入感を生成できるが、実時間で画像を計算することを暗示し、画質を著しく低下させ、他方は既知の没入ビデオであり、良好な没入感は提供せず、「サイバー酔い」の高い危険性をもたらす。

【0048】

本発明は、制限されたボリューム（空間）内でのユーザの頭部１のシフトを考慮でき、そのボリュームは視点領域（ＺＶＰ）と呼ばれ、図１に示される。視点領域ＺＶＰは、シーンが発生する空間３を没入ビデオのユーザ１が見ることができるボリュームの範囲を定めることによって決定され、ユーザ１はこの視点領域内で頭部の平行移動及び屈曲する動きを行う。実際には、視点領域ＺＶＰのサイズは、ユーザ１が静止時にその位置の周りに自然に有し、体の残りの部分を移動させない頭部の動きの緯度に好ましくは対応する。この静止位置は、直立してリラックスし、立ち上がったり座ったりする屈曲のないユーザの頭部１の位置に好ましくは対応する。動きの緯度は、立ち位置の場合は歩くことなく、座位の場合は立ち上がったり、椅子を移動させずに、ユーザの頭部が通常到達できる位置に対応する。視点領域ＺＶＰの正確なサイズ及び幾何的形状は、ユーザ１によって予想される位置の関数において変化できる。ユーザは座っても、横たわっても、直立してもよい。

【0049】

視点領域は、例えば、基本的に長方形のボリューム（空間、体積）、特に長方形の平行六面体によって形成され、少なくとも３０ｃｍ、特に５０ｃｍの高さ、少なくとも３０ｃｍ、特に１ｍの奥行き、少なくとも３０ｃｍ、特に１ｍの幅を有する。このような視点領域の寸法は、ユーザ１の頭部、従って眼の潜在的な位置の範囲を定めるために十分である。点Ｒは、視点領域ＺＶＰの領域の中心点、つまり静止位置にいるときのユーザ１の眼の間に配置される点である。別の実施形態によると、視点領域は基本的に八面体構成を有するボリューム（空間、体積）によって形成される。

【0050】

例えば、スキャナによってカバーされる１５ｃｍの範囲で、奥行き１０５ｃｍ、高さ４５ｃｍを測定する平行六面体の形状を有する視点領域ＺＶＰから空間を走査することによって、全部で８×８×４＝２５６個のスキャナを用いる。

【0051】

視点領域ＺＶＰは十分なサイズを提示するが大き過ぎないことも配慮しなければならない。無限のサイズの視点領域は、標準的な仮想現実モードであることに対応する。従って、この視点領域ＺＶＰは格納画像データの量を制限でき、ストレージ容量を制限し、仮想現実システムに比べてそれらを管理可能にするが、仮想現実システムは本発明による方法によって得られるものと等価な詳細レベルを得るには非常に大量の情報を格納する必要がある。

【0052】

図２は、仮想現実のシーン１０と、本発明による視差を備えた没入ビデオのシーン１０Ａにおいて提示する情報との間の比較を示す。ユーザが配置される仮想現実のシーン１０は完全である。つまり、ユーザがシーン１０内を移動しているとき、仮想シーンの所定の組のオブジェクトがシーン内にロードされる。一方、本発明によると、視点領域ＺＶＰから潜在的に視認できる要素のみが所定の瞬間にロードされる。図２ｂでは、シーン１０Ａのより太い線は、視点領域ＺＶＰから潜在的に視認可能なシーンの要素の一部を示す。従って、長方形の形状の左側だけが視認可能であり、シーン外周１０ａの右側は所定の視点領域ＺＶＰからは視認可能ではない。これによって、スキャナビームによる接触点の数を低減でき、従って、接触点の情報を記録するメモリ容量の必要性を低減できる。

【0053】

図３は、スキャナによって出射されるスキャナビームによる空間内での接触点の精度の概念を示す。シーン１０の例では常に、仮想現実では、仮想シーン内の仮想オブジェクトのモデリングの精度は均一である。つまり、モデルの詳細における精度は、仮想シーンの全てのオブジェクト１１と１２に対して同じである。本発明の場合、視点領域ＺＶＰに近いオブジェクト１１は、遠いオブジェクト１２よりずっと高い精度を提示する。従って、スキャナビームによって接触され、オブジェクト１１に近い点Ｐは、遠いオブジェクト１２の接触点Ｐ’より走査から得られる接触点をより多く提示する。図３の例によると、近いオブジェクト１１の接触点Ｐは９個の点を提示するが、遠いオブジェクト１２の接触点Ｐ’は３個の点のみを提示する。従って、精度は視点領域ＺＶＰの位置の関数において変動し、同じオブジェクトの精度が没入ビデオのある瞬間では非常に高く、別の瞬間では非常に低くてもよい。正しく本来、視点領域ＺＶＰに近いオブジェクトは良好な解像度を提示し、遠くのオブジェクトはより低い解像度であり、従って、全てがオブジェクトと視点領域ＺＶＰの間の距離に依存する。

【0054】

図４ａに示したように、没入ビデオを生成する目的のための画像データを収集する場合、本発明による方法は、第一組の少なくともｎ個のスキャナｓ₁、ｓ₂、…、ｓ_n（ｎ＞１）のセットアップ（組立体、組立構造）を備え、それぞれが走査ビームｒ₁、…、ｒ_j-1、ｒ_j（ｊ≧Ｊ）に対して提供される。走査ビームの最小数Ｊは、可視化用に予想される表示画面の解像度の関数において決定される。好ましくは、走査ステップ、つまり、二つの連続するビーム（ｒ_j−ｒ_j+1）の間の角度は、表示装置の角度解像度以下である。明確にするために、一つのスキャナに対してだけ図面では走査ビームが表現される。走査ビームによって空間３を走査し、その空間の画像データを生成するために、第一組の各スキャナｓ_i（１≦ｉ≦ｎ）が用いられ、画像データはその後、メモリ内に格納される。

【0055】

少なくともｎ個のスキャナの第一組のスキャナをセットアップ（設置、組み立て）するために、視点領域ＺＶＰの端点に配置される第二組のｍ個（ｍ＞１）のソース点Ｃ１、Ｃ２、…、Ｃ７、Ｃ８が決定される。図４ａに示した８個のソース点の数は、視点領域の長方形の形状にリンクされ、一例としてのみ与えられ、本発明の範囲を限定するものでは決してない。少なくともｎ個のスキャナのセットアップは、第一組の前記スキャナの一つを毎回各ソース点に配置することによって実現される。

【0056】

十分な定義を備えた空間を走査するために、スキャナは視点領域の端点に配置される。もちろん、視点領域内に補助的ソース点を決定することもできる。図４ｂは、視点領域にグリッドを備えた構成を示す。このグリッドは好ましくは、各面上に適用される。このグリッドの異なる点は、その上にスキャナを配置する予定のソース点Ｃ_kを構成できる。視点領域の内側にソース点を有することもできる。視点領域の端点に用いられるソース点の数は優位である。視点領域の表面に補助的ソース点を配置することで、観察中の感覚の品質を改善できる。逆に、視点領域の内側の補助的ソース点を増やすことは、それほど関係はない。

【0057】

スキャナという用語は本発明の説明では、仮想又は物理的３Ｄスキャナの組に対して用いられ、好ましくは３６０°の全ての方向で走査を実現する。

【0058】

空間の走査は、視点領域によって事前に決定される範囲内でそれぞれ、一方ではアジマス角、他方では仰角の連続に従って、前記空間を段階的に走査することによって、ソース点Ｃに配置されたスキャナｓ_iを介して実現される。好ましくは、走査ステップは、０．０１〜１°に、特に０．０２５〜０．１°の間に配置される角度値を有する。画像データの生成は、生成され、毎回反射される各走査ビームｎ（１≦ｊ≦Ｊ）に対して、前記空間３内に配置され、関連の走査ビームｒ_Iによって接触される接触点Ｐ（図５ａと図５ｂ参照）を収集することによって実現される。反射される走査ビームに基づいて、接触点Ｐと、対応する走査ビームｒ_Iを生成したスキャナｓとの間の距離（ｄ）、並びに前記接触点の色パラメータも各ステップにて決定される。従って、各接触点Ｐに対して、点Ｐと、例えば、考慮されるスキャナの中心点等の点との間で距離ｄが得られる。各走査ビームの方向は既知であり、点Ｐまでの距離ｄは計算されるので、走査空間内の点Ｐの三次元位置を再構成できる。

【0059】

接触点Ｐの色は、例えば、走査ビームが仮想カメラの視覚ビームであるかのように、合成画像に対して通常の方法で計算される。従って、コンピュータは、接触点Ｐの色、接触オブジェクトの質感及び外観、空間３内の仮想照明とそれらの反射、並びに球面仮想カメラの位置の計算を考慮する。

【0060】

点Ｐの距離ｄとその色を決定した後、これらの値は画像データとしてメモリ内に格納される。格納は、アジマス角と仰角に従って構成したマトリクス形態で好ましくは実行される。各マトリクスの要素は、走査ビームの角度に対応する。これは、図１５に示され、マトリクスの行は仰角に従う走査ステップを毎回示し、マトリクスの列は毎回のアジマス角に従う走査ステップを毎回示す。従って、行ｒと列ｃに格納される値Ｖ_rcは、仰角に従う走査ステップの値と行数ｒの値の積に等しい仰角を有する走査ビームと、アジマス角に従う走査ステップの値と数ｃの値の積に等しいアジマス角を有する走査ビームによって得られる距離ｄ及び色を表す。

【0061】

場合によっては、接触面の法線方向のベクトルをメモリ内に格納することもできる。

【0062】

このマトリクス構造は、走査を行うものと同じ方法でデータを格納し、それらのアドレッシングを容易にできる。

【0063】

第二組のソース点と少なくともｎ個のスキャナを用いるという事実は、結果として空間内の同じ点が一つより多くのスキャナによって到達されるということを有する。

【0064】

本発明による方法では、視点領域ＺＶＰからのシーンを表すために役立つ接触点の情報だけが好ましくはメモリ内に維持される。このために、スキャナによって接触される各点に対して、その点が前記ｎ個のスキャナの少なくとも一つの他のものによって出射されたビームによって到達されるかどうかが決定される。この概念は図６に示され、それはソース点Ｃ₁とＣ₂にそれぞれ配置された二つのスキャナｓ₁とｓ₂を示す。スキャナｓ₁の走査ビームｒは点Ｐに到達できる。点Ｐはここで、仮想スキャナｓ_fを配置したソース点であると考えられ、仮想スキャナｓ_fのビームｒ_fが、スキャナｓ₂を配置したソース点Ｃ₂に到達できるかどうかが検証される。到達できる場合、その点Ｐはスキャナｓ₂によって到達可能であると考えられる。他のｎ個のスキャナの少なくとも一つによって出射されたビームが、考慮される接触点に到達可能な場合、所定の選択基準に基づいて、格納データから、考慮される接触点の格納データを除去しなければならないかどうかが決定される。このフィルタ処理の目的は、冗長な画像データがメモリ内に格納されないようにすることである。

【0065】

図７は、各ソース点Ｃ₁とＣ₂に配置した二つのスキャナｓ₁とｓ₂に対するシーンの走査を示す。第一組４の接触点は、スキャナｓ₁を用いて空間３を走査する際に得られる。第二組５の接触点は、スキャナｓ₂を用いて空間３を走査する際に得られる。第一組４と第二組５の接触点は異なっている。スキャナｓ₁は、長方形の形状のシーンの水平部分にのみ到達できるが、スキャナｓ₂はスキャナｓ₁と同じ水平領域と図の右のシーンの垂直側にも到達できる。

【0066】

第一組４と第二組５の接触点を得たら、その後、それらの異なる接触点のフィルタ処理を適用しなければならない。図６の項目６で示した接触点は、スキャナｓ₁とスキャナｓ₂によって接触される点４と５が混じったものを示す。従って、点６内では、水平部分の点が二倍あり、フィルタ処理が発生可能なことが分かる。その後、このフィルタ処理は、スキャナｓ₂によって得られた水平部分の接触点を除去することになる。項目８で示した点のみがメモリ内に維持される。

【0067】

フィルタ処理を続けるために、選択基準は、考慮される接触点を生成したスキャナ、及び考慮される接触点に到達できるｎ個の他のスキャナ内の単一又は複数のスキャナによって、アジマス角に従う二つの連続的な走査ステップと、仰角に従う二つの連続的な走査ステップの間で走査される表面積に好ましくは基づく。

【0068】

走査表面積のこの概念は図８ａに示される。この図では、ビームｒ_a1とビームｒ_a2、及びｒ_e1とｒ_e2はそれぞれ、アジマス角及び仰角に従う連続的な走査ビームを表す。

【0069】

表面は、一方ではビームｒ_a1とｒ_a2によって接触される点によって、他方ではビームｒ_e1とｒ_e2によって接触される点によって範囲を定められ、二つの連続的な走査ステップの間で走査表面積を構成する。この走査表面積が決定されると、第一組のスキャナのｎ個のスキャナの一つ以上の他のものもこの走査面に到達可能であるかどうかの検証が可能になる。この又はこれらの他のスキャナが識別されると、これらの他のスキャナによって走査している間に得られたデータ内で除去すべきものを選択できる。

【0070】

図８ｂに示した別の実施形態によると、フィルタ処理は、走査面上の法線方向Ｎと、接触点Ｐを生成した走査ビームとの間の角度（β）を決定することで実現される。走査ステップが低い値の角度を有する場合、スキャナｓに対する接触点Ｐの距離ｄは、二つの連続する走査ビームの間で大きくは変化しない。従って、走査面の面積を決定するためのパラメータとしてこの距離ｄを使用できる。そして、この面積は、距離（ｄ）の二乗を角度βのコサインで割ったものに比例し、こうして得られるこの面積の値が選択基準を構成できる。後者の選択基準に基づいて、走査面の最小面積を有する値にリンクして格納されたデータのみがメモリに保持される。その概念は、詳細の大部分を表す接触点、従って、最小走査表面積を表すものを保持することにある。

【0071】

当然のことながら、後者の実施形態は、同じ角度定義を有する場合、異なるスキャナの間で同じ点の見かけの表面を比較するために用いられる。

【0072】

選択基準は、接触点と、接触点を生成したスキャナとの間の距離、および接触点と、接触点に到達できるｎ個の他のスキャナ内の単一又は複数のスキャナとの間の距離に基づくこともできる。保存される格納データは、最小の距離を発生させたスキャナに対応するものである。

【0073】

ソース点に配置したｎ個のスキャナのそれぞれに優先順位を事前に帰属させ、選択基準をこの優先順位に基づかせることもできる。このフィルタ処理方法は図９に示される。各走査点に対してアルゴリズムを利用し、走査点Ｐがより高い優先度を有するスキャナから視認可能であるかどうかを検証する。視認可能な場合、より高い優先度を有するスキャナがその点を記録する。そうでない場合、点を記録するのは実行中のスキャナである。

【0074】

図９ａでは、三つのスキャナが記号ｓ₁、ｓ₂及びｓ₃で示されている。簡略化のために表現は２次元で行う。スキャナの優先順位はそれらの数に等しい。従って、スキャナｓ₁はｓ₂より高い優先度を有し、ｓ₂はスキャナｓ₃より高い優先度を有する。図９ｂは、スキャナｓ₁に対して保持される表面を示す。それは他のものより高い優先度を有するので、見える全ての表面を保持する。図９ｃは、スキャナｓ₂に対して保持される表面を示す。スキャナｓ₂は、スキャナｓ₁に対しては見えない二つの領域を見る。図９ｄは、スキャナｓ₃に対して保持される表面を示す。それらはスキャナｓ₃に対して保持される表面だけであり、実際、スキャナｓ₃が見ることができる表面の残りは、より高い優先度を有するスキャナｓ₁又はｓ₂によって既に見られている。

【0075】

オブジェクト上の点の所定の見かけの色成分はカメラの位置に依存し、その位置は走査オブジェクト上への走査ビームの入射角に影響する。この成分は合成画像内ではレンダリングの正反射部と呼ばれる。簡単な方法でこれを説明するために、この部分は走査ビームの反射と等価である。

【0076】

同じ光を備えた同じ仮想オブジェクト上の同じ点は、この反射成分のために、仮想カメラの二つの異なる位置に対して同じ外観を有するわけではない。

【0077】

この概念は図１６に示され、それは例えばミラーのような反射壁１５を備える空間３を示す。スキャナｓ₁はこの壁の前方に配置され、この壁に向かって走査ビームｒ_jを出射する。この壁が反射している場合、走査ビームｒ_jは、壁への入射角と同じ角度に従ってこの壁によって反射され、この反射は、その経路上にあるオブジェクト１６に接触する走査ビームｒ_j'を生成する。これは、その次にこのオブジェクトによる走査ビームｒ_j'の反射を発生させる。その後、後者は壁１５に到達し、そこからスキャナｓ₁に向かって反射される。従って、後者は、オブジェクト１６から来るのではなく、壁１５上の点Ｐから来る後方反射ビームを考える。従って、それが、点Ｐのものであるとスキャナｓ₁によって考えられるオブジェクト１６の色となる。

【0078】

従って、重要な正反射又は単に高反射材料を備えたこのようなオブジェクトの場合、異なる位置に配置された二つの異なるスキャナから取られる二つの点を並べて配置することによって非コヒーレント性を有する危険性がある。

【0079】

好ましくは、走査ビームの方向を計算する際に「だます」点の色を計算するレンダリング技術を利用する。

【0080】

用いられる方法は、面１５によって反射されるビームの計算を与えるために接触点Ｐの色を計算することにあり、その点Ｐを計算するのはスキャナによって出射される走査ビームの実際の方向ではなく、ソース点Ｋから出射されたビームの一つに対応し、その方向が視点領域ＺＶＰの中心に好ましくは配置されるビームである。従って、記録する３Ｄスキャナの位置が何であれ、同じ接触点Ｐに対して、全ての反射及び正反射がコヒーレントになる。

【0081】

事前に計算した合成画像では、画素の色は、単一のビーム出射ではなく画素面内の複数のビームに基づいて一般に計算される。一つの画素に対する各出射ビームは、その画素の色を決定するためのサンプルに対応する。従って、マルチサンプリングは、同じ画素に対して複数のビームを出射し、各ビームに対して得られた色の加重平均を行い、その画素の最終的な色を決定することにある。一つの画素に対してサンプル数を増やすことは、その画素がオブジェクトの境界に対応する状況では特に、レンダリングの品質を実質的に向上させる。

【0082】

同様の方法では、一つの方向で接触点Ｐの色を計算するために、同じ走査ステップ内の走査ビームを増やすことによってレンダリングの品質を向上させることができる。図１０は、スキャナｓから発し、同じ走査ステップ内に配置される四つの他の走査ビームによって、空間内の他の接触点Ｐ１、Ｐ２、Ｐ３及びＰ４を決定する方法を示す。従って、四つの他の走査ビームによって得られる四つの他の接触点の色及び距離は平均化される。しかし、距離を記録する場合、この平均化は問題を引き起こす。実際、異なる他の走査ビームが、異なる距離においてオブジェクト１６と１７に接触できる。

【0083】

距離が平均化されれば、この場合、走査空間内に任意の面に対応しない距離を得る。問題は、いくぶん異なる視点から見ると、これらの平均点は空隙内に掛かっているように見えるという問題を引き起こす。空隙内に掛かっているこの点は、図１０ではｘでマークされている。図１０に示した例によると、Ｐ１とＰ２は青色を有するオブジェクト１６の二つの走査点である。Ｐ３とＰ４は、赤色を有するオブジェクト１７の二つの走査点である。従って、他の接触点Ｐ１、Ｐ２、Ｐ３及びＰ４の平均を単に取ることによって決定される場合、点ｘの色は紫色になり、その位置は点ｐ１、Ｐ２、Ｐ３及びＰ４の平均位置になる。その点ｘがソース点Ｃに配置されたカメラから見られる場合、問題は生じない。別の視点Ｄからは、点ｘは走査空間の既存の幾何形状には対応せず、その点ｘは空中に浮いているように見える。

【0084】

もちろん、それらの他の全ての接触点の画像データだけを格納できるが、最終的にこれはスキャナの解像度の向上に対応し、従って、格納データの量の増大に対応する。

【0085】

好ましくは、いったんそれらの距離に対して平均化したら、空中に浮遊する点を生成しない複数の他の接触点を正確に集めることができる方法を利用する。この好ましい変形形態は、「クラスタリング」と呼ばれる方法を用いることにあり、それは空間的にコヒーレントな異なるグループ内の他の接触点をグループ化する。その後、同じグループの他の接触点の距離上で平均化を行えば、走査空間内の既存の幾何形状とコヒーレントな空間的位置が得られる。

【0086】

例えば、「ｋ−平均法」と呼ばれる方法等、人工知能のフレームワークで一般に用いられる「クラスタリング」のいくつかの方法が可能である。

【0087】

最終的に、一つ、二つ又は三つのグループの他の接触点が得られ、空中に浮遊する点の問題を有することなく、このグループ内でこれらの他の接触点の色並びにそれらの奥行きが平均化される。

【0088】

他の走査ビームによって得られる他の接触点から始まり、他の接触点のそれぞれに対して、他の接触点とスキャナの間の距離である距離の組が決定される。その後、前記距離の組内の距離内で最小距離と最大距離が検索される。

【0089】

これは、例えば図１１に示される。ユーザが所定の可視化の瞬間に、視点領域ＺＶＰに留まっている限り、ユーザの視点と各スキャナの中心との間の可能な最大距離の間の違いが計算され、この距離をΔＺＶＰ（デルタ視点）と呼ぶ。図１１では、当然のことながら、スキャナの中心はＣ、スキャナの中心に対する視界内の可能な視点から最も離れた位置はＶ、ＣとＶの間の距離はΔＺＶＰであり、ｄ_maxは最も遠い他の接触点Ｐ_maxのＣに対する距離に対応し、ｄ_minは最も近い他の接触点Ｐ_minのＣに対する距離に対応し、α_minは点Ｖから点Ｃまで延びる直線と、Ｖから点Ｐ_minまで延びる直線との間に形成される角度であり、α_maxは点Ｖから点Ｃまで延びる直線と、Ｖから点Ｐ_maxまで延びる線との間に形成される角度であり、Δαはα_maxとα_minとの角度差である。それから、α_min＝ａｒｃｔａｎ（ｄ_min／ΔＺＶＰ）、α_max＝ａｒｃｔａｎ（ｄ_max／ΔＺＶＰ）、及びΔα＝α_max−α_minが計算可能である。

【0090】

他の接触点が、表示装置の角度定義の半分より小さい値Δαをもたらす点Ｃに対する距離範囲に配置される場合、他の接触点のグループに分割する必要はない。実際、このような場合、距離の違いは視点領域の任意の点から認識されず、それらの他の接触点の計算値の加重平均が決定され、この加重平均は、考慮される走査ステップにおいて接触点に対して格納画像データの値に置き換えられる。

【0091】

その一方、グループ内でこのような分離が必要な場合、前記他の接触点の位置に基づく異なるグループ内の分離があり、所定の基準に従って、これらのグループ内の一つのグループを選択し、考慮される走査ステップにおいて接触される点は、選択したグループ内のそれらの他の接触点に対する計算値の加重平均によって決定される。

【0092】

一般的な原理では、１ｋｍの距離において奥行き５ｃｍの間隙は視点領域内の任意の視点から区別されず、逆に、距離５０ｃｍにおける５ｃｍの間隙は十分に認識される。

【0093】

他の接触点のグループの選択基準は、グループが構成される点の数であっても、スキャナの中心に対するその平均距離であってもよい。

【0094】

本発明による没入ビデオ内のカメラ移動と等価なものを生成するために、視点領域は好ましくは、第一の初期位置から、この第一位置の所定の距離に配置した少なくとも第二位置に向かって空間内を好ましくは移動させる。第一組のスキャナの各スキャナによる走査、及び空間の画像データの生成及び格納は、第一位置に対して実行した後、視点領域の各第二位置に対して繰り返される。

【0095】

本発明の特徴は、接触点の密度が図１２に示したように、表示装置の角度解像度とコヒーレントなことである。視点領域ＺＶＰから離れた表面５１は３個の接触点だけを提示し、より近い表面５２は少なくとも５倍多くの接触点を提示する。離れた表面に対する接触点の密度は低く、異なる接触点は互いにかなりの距離にある。より近い表面の接触点の密度はずっと高く、従ってより良く定義される。これは、本発明によるインタラクティブ視差を備えた没入映画を可視化する際の表示定義とコヒーレントである。

【0096】

本発明によるインタラクティブ視差を備えた没入ビデオの可視化は、
ａ）センサによってユーザの眼の位置及び方向を決定すること、及びユーザが見るものを決定するために、ユーザの頭部の移動についての予測アルゴリズムを使用することと、
ｂ）ユーザの眼の位置及び方向に基づいて、ユーザが見ることができる空間の一部を可視化するために必要な格納画像データ内で画像データを選択することと、
ｃ）選択した画像データを一時的メモリにロードすることと、
ｄ）一時的メモリ内に格納した画像データに基づいて二つの画像を生成し、二つの生成した画像をユーザの眼に表示すること、というステップを備える。

【0097】

視野が制限されたユーザは所定の瞬間、画像データによって符号化された走査空間の一部だけを見ることができる。

【0098】

好ましくは、走査空間は接触点をスライス状に分離した形態の下で格納される。各スライスは、走査方向のスライスに対応する。例えば、スライスは、０〜４５°のアジマス角及び９０〜１２５°の仰角に対応する異なるスキャナによって見られる点を符号化できる。

【0099】

多くの方法が研究され、接触点を表示するために使用される。例えば、Ｅｕｒｏｇｒａｐｈｉｃｓ ２００５，Ｄｕｂｌｉｎ，Ｉｒｅｌａｎｄ，ｖｏｌ ２４，Ｎ°３で公開されたＧａｅｌ Ｇｕｅｎｎｅｂａｕｄ，Ｌｏｉｃ Ｂａｒｔｈｅ，Ｍａｔｈｉａｓ Ｐａｕｌｉｎ：Ｉｎｔｅｒｐｏｌａｔｏｒｙ Ｒｅｆｉｎｅｍｅｎｔ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ Ｐｏｉｎｔ−Ｂａｓｅ Ｇｅｏｍｅｔｒｙ（ポイントベース幾何形状の実時間処理用の補間改良）を挙げることができる。

【0100】

好ましくは、接触点のレンダリングは再び明示せず、その点に符号化される色は直接的にユーザに提示されるものであり、可視化の時点では再び明示しない。
好ましくは、点の走査は生態圏的であり、つまり、図１３に示されるように仰角の関数に適応する。球の極における点は、赤道上のものと同じアジマス角のステップでは走査されず、これは冗長な点を避け、走査する点の数を限定するためである。最小アジマス角のステップでの走査は赤道において実現されるが、他の緯度では、走査はより大きなアジマス角のステップを有する。生態圏的方法は、ちょうどエクイレクタンギュラ符号化のように、格納マトリクスの縦軸の緯度、及び格納マトリクスの横軸の経度を符号化する原理を維持するが、アジマスと横軸の比率はもはや線形ではない。

【0101】

従って、各走査線（各仰角）に対して計算を行い、円の等価な外周はその線によって表される。ちょうど格納マトリクスの行が球の水平断面を表すので、これは水平断面上の円を提供する。

【0102】

従って、この外周は、ｓｉｎ（α）×２πの半径１を備えた球に基づく。従って、北極点から始まる仰角αを用いて、つまり北極α＝０°、赤道α＝９０°及び南極α＝１８０°において、赤道における外周とこの外周の比率は単にｓｉｎ（α）となる。

【0103】

同じ行上の全ての点は、角度増分Δβに対応して互いに同じ距離にある。しかし、この角度増分Δβは、再びｓｉｎ（α）に対して行毎に異なる。式によると、Δβ＝３６０°／（格納マトリクスの列の数とｓｉｎ（α）の積）である。当然のことながら、格納マトリクスの全ての列は赤道においてのみ用いられ、全ての他の緯度はより少ない列を用いる。

【0104】

生態圏的方法は、空間内の各接触点に対応する表面の良好な均一性を有することができ、全ての走査方向を完全にカバーする。

【0105】

図１３において、全ての経度において対応する球のスライスは、円２６に対応する緯度α＝４５°に対して示される。円２５は、赤道（α＝９０°）に対応する緯度に対する全ての経度に対応する球のスライスである。射影部４０は、上から見て赤道の緯度に対応する円であり、その半径は定義１により、その外周は２πからなり、射影部５０は緯度α＝４５°において上から見た円であり、その半径Ｒはｓｉｎ（α）からなり、その外周は２π×ｓｉｎ（α）からなる。Ｗは球の中心であり、Ｍは対応する生態圏的格納マトリクスである。行９０は、緯度α＝４５°に対応する接触点のストロークである。マトリクスＭの全ての列は考慮されず、実際には、Ｍの列の総数とｓｉｎ（α）の積によって定義される列の数だけが考慮されることが分かる。行１００は、赤道の緯度に対応する接触点のストロークであり、マトリクスＭの全ての列をとる。

【0106】

視点領域ＺＶＰは、図１６に示したように、ちょうど固有の視点を備えたカメラを移動させるように、ビデオディレクタによってシフトされる。従って、ユーザが移動する際、実時間でレンダリングする瞬間に、仮想空間内でカメラを移動させる仮想現実とは逆である。本発明によると、没入映画を作製している間、視点領域ＺＶＰをシフトさせる際、ユーザ１の周りを移動するのは空間３である。

【0107】

可視化の瞬間にユーザ１の周りで、没入ビデオの毎回の一部の仮想３Ｄシーンを再現するシステムを考えることができる。仮想一時的シーンはそれぞれ、所定の視点領域ＺＶＰからユーザ１が見ることができるものに限定される。これらのシーンの様子の展開は、ビデオ内のオブジェクト又は人の移動、及び映画ディレクタによって制御された視点領域の位置の移動に対応する。

【0108】

従って、図１４では、シーン３は第一時刻ｔ₁において視点領域ＺＶＰの第一位置から走査され、その後、第二時刻ｔ₂において視点領域の第二位置から再び走査される。従って、ｔ₁において第一組の接触点９が得られ、その後、ｔ₂において第二組の接触点９’が得られる。ユーザ１に対して、移動されるのはシーンである。

【0109】

可視化において、本発明に従って生成された画像を用いて実時間で合成画像を混合できることに意味がある。従って、例えば、物理的に存在しているか又は存在していないユーザの体で形成されたアバター、又は他のユーザの体のアバターを追加できる。ユーザが見る方向の関数で、テキスト又はスキーム等の情報要素、又は動的なターゲット等のゲーム要素を追加することもできる。静的又は動的広告を追加することもできる。

【0110】

本発明による没入ビデオを見る際、加速感を再現するシステム上にユーザを配置し、ユーザに動きを与えることもできる。

【0111】

可視化は、例えば、アンビソニック、ＨＲＴＦ（頭部伝達関数）及びバイノーラル等の従来の技術を用いた三次元内の音声を有することができる音声没入によって改善することもできる。

【図1】

【図2a)】

【図2b)】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図6】

【図7】

【図8a】

【図8b】

【図9a)】

【図9b)】

【図9c)】

【図9d)】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】