知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-14
(45)【発行日】2022-06-22
(54)【発明の名称】拡張現実アプリケーション用システム及び方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20220615BHJP
G06T 15/60 20060101ALI20220615BHJP
A63F 13/655 20140101ALI20220615BHJP
A63F 13/213 20140101ALI20220615BHJP
A63F 13/53 20140101ALI20220615BHJP
【ＦＩ】
G06T19/00 600
G06T15/60
A63F13/655
A63F13/213
A63F13/53
【請求項の数】
29
(21)【出願番号】P 2019149170
(22)【出願日】2019-08-15
(65)【公開番号】P2020198066
(43)【公開日】2020-12-10
【審査請求日】2020-12-07
(31)【優先権主張番号】3045133
(32)【優先日】2019-06-03
(33)【優先権主張国・地域又は機関】CA
(73)【特許権者】
【識別番号】519296473
【氏名又は名称】アイドス インタラクティブ コープ
(74)【代理人】
【識別番号】100083138
【弁理士】
【氏名又は名称】相田 伸二
(74)【代理人】
【識別番号】100189625
【弁理士】
【氏名又は名称】鄭 元基
(74)【代理人】
【識別番号】100196139
【弁理士】
【氏名又は名称】相田 京子
(72)【発明者】
【氏名】レナウド ベダード
【審査官】松永 隆志
(56)【参考文献】
【文献】特開２００９－１６３６１０（ＪＰ，Ａ）
【文献】特開２００７－１４１０８２（ＪＰ，Ａ）
【文献】特開２０００－２５９８５３（ＪＰ，Ａ）
【文献】特開２００８－１５２７４９（ＪＰ，Ａ）
【文献】特開２００２－１９７４８６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０１０２９３４（ＵＳ，Ａ１）
【文献】特開２０１０－１３４９１９（ＪＰ，Ａ）
【文献】特開２０１５－１８５１７６（ＪＰ，Ａ）
【文献】特開２０１５－０８４１５０（ＪＰ，Ａ）
【文献】国際公開第２０１９／０３３８５９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｔ １５／６０
Ａ６３Ｆ １３／６５５
Ａ６３Ｆ １３／２１３
Ａ６３Ｆ １３／５３
(57)【特許請求の範囲】
【請求項1】
カメラを有するコンピュータ装置上で実行される拡張現実アプリケーションを使って、画像内の実世界表面上にバーチャル影をレンダリングする方法であって、該方法は、以下のステップを有する、
前記カメラを用いて場面の画像を取得する、
前記画像中の実世界表面を検出する、
該実世界表面の幾何学形状を取得する、
得られた幾何学形状を利用して、前記実世界表面上に透明な閉塞バーチャル平面をレンダリングする、
画像用のバーチャルディレクショナルライトを生成するが、該バーチャルディレクショナルライトは前記場面の空間内の１点から放射状に光を発する、
生成されたバーチャルディレクショナルライト光源を使って、バーチャルオブジェクトに関連するテクスチャをシャドウバッファに書き込む、
前記シャドウバッファに書き込まれたテクスチャを、画像内の前記透明な閉塞バーチャル平面上に投影する。
【請求項2】
請求項１記載の方法であって、前記透明な閉塞バーチャル平面をレンダリングするステップは、更に、以下のステップを有する、前記閉塞バーチャル平面のレンダリング時に、色を無効化して閉塞バーチャル平面をレンダリングして書き込む、
該閉塞バーチャル平面を前記画像のＺバッファに書き込む。
【請求項3】
請求項１又は２記載の方法であって、前記コンピュータ装置は、モバイル装置である。
【請求項4】
請求項３記載の方法であって、前記モバイル装置は、スマートフォン又はタブレットである。
【請求項5】
請求項１乃至４の内、いずれか１項記載の方法であって、前記バーチャルオブジェクトは、ゲームキャラクターであり、前記拡張現実アプリケーションは拡張現実ビデオゲームである。
【請求項6】
請求項１乃至５の内、いずれか１項記載の方法であって、前記レンダリングは、シェーダーを用いて行う。
【請求項7】
請求項１乃至６の内、いずれか１項記載の方法であって、前記シャドウバッファに書き込まれたテクスチャを、前記透明な閉塞バーチャル平面上に投影するステップは、投影テクスチャマッピング（projective texture mapping）を含む。
【請求項8】
請求項７記載の方法であって、前記シャドウバッファに書き込まれたテクスチャを、前記透明な閉塞バーチャル平面上に投影するステップは、乗算ブレンド（multiplicative blending）を使用することで、前記画像に影を描くことを含む。
【請求項9】
請求項１乃至８の内、いずれか１項記載の方法であって、該方法は、更に、バーチャル影及び透明閉塞ＡＲ平面の頂点位置で環境光を採取するステップを有し、前記シャドウバッファに書き込まれたテクスチャを、前記透明な閉塞バーチャル平面上に投影するステップは、更に、前記採取された環境光のレベルを用いて、前記バーチャル影を着色するステップを含む。
【請求項10】
請求項１乃至９の内、いずれか１項記載の方法であって、該方法は、更に、前記シャドウバッファに書き込まれたバーチャル影をぼかすステップを有する。
【請求項11】
請求項１乃至１０の内、いずれか１項記載の方法であって、該方法は、更に、バーチャルオブジェクトと透明な閉塞バーチャル平面間のアンビエントオクルージョンを生成するために、前記画像をポストプロセス（post-processing）するステップを含む。
【請求項12】
請求項１乃至１１の内、いずれか１項記載の方法であって、該方法は、更に、前記画像をポストプロセスして、カメラに対する深さ（Ｚ値）に基づいて、透明な閉塞バーチャル平面のピクセルを部分的にぼかすことで、フィールドエフェクトの深さを生成するようにするステップを含む。
【請求項13】
請求項１乃至１２の内、いずれか１項記載の方法であって、前記場面内の空間の１点は、実世界で太陽光線のように作用するバーチャルディレクショナルライトを配置することで決定される。
【請求項14】
請求項１乃至１２の内、いずれか１項記載の方法であって、前記場面内の空間の１点は、天頂である。
【請求項15】
カメラを持ったコンピュータ装置上で動作する拡張現実アプリケーションを用いて、画像の実世界表面上にバーチャル影をレンダリングするシステムであって、該システムは、処理体を有し、該処理体は、
カメラを用いて１場面の画像を撮り、
該画像中で実世界表面を検出し、
該実世界表面の幾何学形状を取得し、
得られた幾何学形状を利用して、前記実世界表面上に透明な閉塞バーチャル平面をレンダリングする、
画像用のバーチャルディレクショナルライトを生成するが、該バーチャルディレクショナルライトは前記１場面の空間内の１点から放射状に光を発する、
生成されたバーチャルディレクショナルライト光源を使って、バーチャルオブジェクトに関連するテクスチャをシャドウバッファに書き込む、
前記シャドウバッファに書き込まれたテクスチャを、画像内の前記透明な閉塞バーチャル平面上に投影するように構成されている。
【請求項16】
プロセッサが実行可能な指示が格納されたプロセッサ可読格納媒体であり、該指示は、プロセッサにより実行されると、プロセッサとカメラを持ったコンピュータ装置に、拡張現実アプリケーションを実行させることができ、前記拡張現実アプリケーションは、
カメラを用いて１場面の画像を撮り、
該画像中で実世界表面を検出し、
該実世界表面の幾何学形状を取得し、
得られた幾何学形状を利用して、前記実世界表面上に透明な閉塞バーチャル平面をレンダリングする、
画像用のバーチャルディレクショナルライトを生成するが、該バーチャルディレクショナルライトは前記１場面の空間内の１点から放射状に光を発する、
生成されたバーチャルディレクショナルライト光源を使って、バーチャルオブジェクトに関連するテクスチャをシャドウバッファに書き込む、
前記シャドウバッファに書き込まれたテクスチャを、画像内の前記透明な閉塞バーチャル平面上に投影するように構成されている。
【請求項17】
請求項１６記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションにおける、前記透明な閉塞バーチャル平面のレンダリングは、前記閉塞バーチャル平面のレンダリング時に、色を無効化して閉塞バーチャル平面をレンダリングして書き込む、及び、
該閉塞バーチャル平面を前記画像のＺバッファに書き込むことを含む。
【請求項18】
請求項１６又は１７記載のプロセッサ可読格納媒体であって、前記コンピュータ装置は、モバイル装置である。
【請求項19】
請求項１８記載のプロセッサ可読格納媒体であって、前記モバイル装置は、スマートフォン又はタブレットである。
【請求項20】
請求項１６乃至１９の内、いずれか１項記載のプロセッサ可読格納媒体であって、前記バーチャルオブジェクトは、ゲームキャラクターであり、前記拡張現実アプリケーションは拡張現実ビデオゲームである。
【請求項21】
請求項１６乃至２０の内、いずれか１項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、シェーダーを用いてレンダリングを行うように構成されている。
【請求項22】
請求項１６乃至２１の内、いずれか１項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、前記シャドウバッファに書き込まれたテクスチャの、前記画像内の透明な閉塞バーチャル平面上への投影は、投影テクスチャマッピング（projective texture mapping）を使用して行うように構成されている。
【請求項23】
請求項２２項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、更に、前記シャドウバッファに書き込まれたテクスチャを、前記画像内の透明な閉塞バーチャル平面上へ投影する際は、影を前記画像内に乗算ブレンド（multiplicative blending）を使用して書き込むように構成されている。
【請求項24】
請求項１６乃至２３の内、いずれか１項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、更に、バーチャル影及び透明閉塞ＡＲ平面の頂点位置で環境光を採取し、前記採取された環境光のレベルを用いて、前記バーチャル影を着色するように構成されている。
【請求項25】
請求項１６乃至２４の内、いずれか１項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、更に、前記シャドウバッファに書き込まれたバーチャル影をぼかすように構成されている。
【請求項26】
請求項１６乃至２５の内、いずれか１項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、更に、バーチャルオブジェクトと透明な閉塞バーチャル平面間のアンビエントオクルージョンを生成するために、前記画像をポストプロセス（post-processing）するように構成されている。
【請求項27】
請求項１６乃至２６の内、いずれか１項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、更に、前記画像をポストプロセスして、カメラに対する深さ（Ｚ値）に基づいて、透明な閉塞バーチャル平面のピクセルを部分的にぼかすことで、フィールドエフェクトの深さを生成するように構成されている。
【請求項28】
請求項１６乃至２７の内、いずれか１項記載のプロセッサ可読格納媒体であって、前記１場面内の空間の１点は、実世界で太陽光線のように作用するバーチャルディレクショナルライトを配置することで決定される。
【請求項29】
請求項１６乃至２７の内、いずれか１項記載のプロセッサ可読格納媒体であって、前記１場面内の空間の１点は、天頂である。
【発明の詳細な説明】
【技術分野】
【0001】
開示は、拡張現実（ＡＲ）アプリケーションの分野に関するものである。特に、本開示は、モバイルＡＲアプリケーションにおいて、透明な閉塞したＡＲ平面上にバーチャル影をレンダリングする方法及びシステムに関する。
【背景技術】
【0002】
拡張現実（ＡＲ）は、コンピュータが生成したバーチャル映像を実世界のユーザ視野上に重ねることを目的とした一連の技術である。スマートフォンなどのモバイル装置におけるグローバル位置検知システム（ＧＰＳ）、デジタルコンパス及び加速度計の使用の広がりはモバイルＡＲアプリケーションの成長に繋がっている。そうしたモバイル装置はパーソナルコンピュータよりも遙かに低い処理能力しか持たない一方で、その携帯性がモバイルＡＲアプリケーションの急増の媒介となってきた。
【0003】
モバイル技術の知識が成長するにつれ、多くのモバイルＡＲアプリケーションは、単純にバーチャル素子を実世界場面に重ねることから、バーチャル及び実世界オブジェクト間でリアルタイム視覚及び聴覚の相互作用を導入する機能を提供するようになっている。こうしたことから、モバイルＡＲアプリケーションには、バーチャル及び実世界素子を継ぎ目のなく混在させる要請が増大している。
【0004】
そうした相互作用の実際は、実世界オブジェクト上へのバーチャル影及び、実世界の面でバーチャルオブジェクトを閉塞するシミュレーションなど、バーチャルビジュアル素子を置くことが含まれる。閉塞するシミュレーションを行う一つの技術は、場面の中で検知された実世界の表面上に、透明な（該表面を）閉塞するＡＲ平面を生成することである。この技術は閉塞するにはいいが、影をレンダリングするには多くの技術的な欠点がある。
【0005】
特に、影をレンダリングする技術にはシャドウマッピングがあるが、これはシャドウマップに、影をつけるもの（シャドウキャスター）としての不透明なオブジェクトを全て書き込まなければならない（即ち、関連する光源の視点からの深度マップ）。各光源について、各描かれたピクセルの深さが、シャドウマップ内に格納された深さに対してテストされ、ピクセルが影領域にあるか否かを決定する必要がある。その結果、影を透明な閉塞するＡＲ平面につける試みは、二つの最適とはいえない結果の一つを生じる。一つは、シャドウキャスターが複数の表面（即ち、透明な閉塞するＡＲ平面及び光源の視点から見て、ＡＲ平面の後ろにある表面）に影をつけるか、又は透明な閉塞するＡＲ平面それ自体が、光源の視点から見て、ＡＲ平面の後ろにある表面に影をつけるかである。両方とも、リアルではない３Ｄ影特性となり、バーチャル及び実世界オブジェクトのシームレスな一体化を困難なものとする。
【0006】
バーチャル及び実世界素子の混ざり合いが増え、既知の方法の欠点と結びついて、透明な閉塞するＡＲ平面上にバーチャル影をレンダリングする方法及びシステムに対する必要性が生じる。それは、３Ｄバーチャルオブジェクトが実世界オブジェクトの場面に混ざる時、リアルな特性を持つことである。
【発明の概要】
【0007】
本発明の第１の観点は、カメラを持ったコンピュータ装置上で動作する拡張現実アプリケーションを用いて、実世界表面上にバーチャル影をレンダリングする方法を提供するものである。本方法は、カメラを用いて１場面の画像を撮り、該画像中で実世界表面を検出するステップを有する。本方法は、また、その実世界表面の幾何学形状を取得し、該取得した幾何学形状を用いて、実世界表面上に透明な閉塞バーチャル平面をレンダリングするステップを有する。本方法は、更に、画像用のバーチャルディレクショナルライト（a virtual directional light）を生成するステップを有し、バーチャルディレクショナルライトは場面の空間内の１点から放射状に伸びる光である。ある実施例では、空間内の１点とは該空間の天頂である。この実施例では、バーチャルディレクショナルライトによる影付けは該場面内の全てのオブジェクト直上に影をつけることとなる。他の実施例では、空間内の１点は、最も強い、実世界の光源を配置することで決定される。また他の実施例では、空間内の１点は、場面内の他の点であるかもしれない。本方法は、更に、生成されたバーチャルディレクショナルライト光源を使って、バーチャルオブジェクトに関連するテクスチャをシャドウバッファに書き込み、シャドウバッファに書き込まれたテクスチャを、画像内の透明な閉塞バーチャル平面上に投影するステップを含む。
【0008】
本発明の更なる視点は、カメラを持ったコンピュータ装置上で動作する拡張現実アプリケーションを用いて、画像の実世界表面上にバーチャル影をレンダリングするシステムを提供するものである。本システムは処理体（a processing entity）を有し、該処理体は、カメラを用いて１場面の画像を撮り、該画像中で実世界表面を検出し、該実世界表面の幾何学形状を取得するように構成されている。本処理体は、更に、該取得した幾何学形状を用いて、実世界表面上に透明な閉塞バーチャル平面をレンダリングするように構成される。本処理体は、更に、画像用のバーチャルディレクショナルライト（a virtual directional light）を生成するように構成されるが、バーチャルディレクショナルライトは場面の空間内の１点から放射状に伸びる光である。前記処理体は、更に、生成されたバーチャルディレクショナルライト光源を使って、バーチャルオブジェクトに関連するテクスチャをシャドウバッファに書き込み、シャドウバッファに書き込まれたテクスチャを、画像内の透明な閉塞バーチャル平面上に投影するように構成される。
【0009】
本発明の更なる視点は、プロセッサが実行可能な指示が格納されたプロセッサ可読格納媒体であり、該指示は、プロセッサにより実行されると、プロセッサとカメラを持ったコンピュータ装置に、拡張現実アプリケーションを実行させることができる。拡張現実アプリケーションは、カメラを用いて１場面の画像を撮り、該画像中で実世界表面を検出し、該実世界表面の幾何学形状を取得するように構成されている。拡張現実アプリケーションは、更に、該取得した幾何学形状を用いて、実世界表面上に透明な閉塞バーチャル平面をレンダリングするように構成される。拡張現実アプリケーションは、更に、画像用のバーチャルディレクショナルライト（a virtual directional light）を生成するように構成されるが、バーチャルディレクショナルライトは場面の空間内の１点から放射状に伸びる光である。更に、拡張現実アプリケーションは、生成されたバーチャルディレクショナルライト光源を使って、バーチャルオブジェクトに関連するテクスチャをシャドウバッファに書き込ように構成されている。拡張現実アプリケーションは、更に、シャドウバッファに書き込まれたテクスチャを、画像内の透明な閉塞バーチャル平面上に投影するように構成される。
【0010】
本発明の、これらの観点及び他の観点は、添付した図面と共に本発明の実施例の記述を参照することで、当業者にとって明らかとなる。
【図面の簡単な説明】
【0011】
【0012】
添付した図面は、非限定的な実施例を示すものであり、限定的なものではない。
【発明を実施するための形態】
【0013】
図１に、モバイルＡＲアプリケーションで撮った場面１００を示す。ある実施例では、モバイルＡＲアプリケーションは、スマートフォン（図示せず）やタブレット（図示せず）などのモバイル機器で実行される。場面１００は、実世界のテーブル上表面１０３を有する実世界のテーブル１０２及び実世界の床表面１０１を有する。この例では、床表面１０１はモバイルＡＲアプリケーションで検知され、テーブル上表面１０３もまたモバイルＡＲアプリケーションで検知されている。ＡＲ平面がテーブル上表面１０３及び床表面上にそれぞれ生成される。特に、ＡＲ平面１０４がテーブル上表面１０３の上に、ＡＲ平面１０１が床表面の上に生成されている。
【0014】
図２に、モバイル機器（図示せず）のスクリーン２００１～２００５上で示される一連の場面であり、バーチャルキャラクター２０２及びバーチャルオブジェクト２０３が実世界のテーブル天板２０１により徐々に閉塞されてゆく情景を示している。この効果は、ＡＲ平面をテーブル天板２０１上にレンダリングして（図１に示すように）、シェーダーでＡＲ平面を視覚的に透明にするが、ＡＲ平面を場面用のＺバッファに、それで閉塞することが出来るように書き込んでおくことで生成される。ここで、シェーダーはコンピュータプログラム、モジュール又はアルゴリズムであり、オブジェクトの３Ｄ表面特性をどのようにレンダリングし、モバイルＡＲアプリケーション内でオブジェクトとの光の相互作用をどのようにするかを決定している。
【0015】
平面を視覚的に透明にするシェーダーを使用して視覚的に透明なＡＲ平面をレンダリングすると、該ＡＲ平面の後ろにある他のバーチャルオブジェクトのレンダリングを阻止し、実世界の表面がバーチャルオブジェクトを視野から除外する錯覚を生成する効果がある。「閉塞」ＡＲ平面をレンダリングする際に、Ｚバッファへの書き込みとターゲットの色のレンダリングプロセスは、分離することができる。従って、Ｚバッファへの通常の書き込みを行う間に、色の書き込みを放棄することで、閉塞ＡＲ平面を完全に透明にし、しかも影を受けるようにすることが可能となる。
【0016】
こうした透明な閉塞ＡＲ平面を、影を受ける表面として使用するに場合、技術的な問題が生じる。図３に示すように、従来のシャドウマッピング技術を使用すると、シャドウキャスター（即ち、バーチャルオブジェクト３０１）が影を複数の表面に投影してしまう。図３に示すように、影３０４が、透明な閉塞ＡＲ平面３０３上に、そして影３０５が床平面３０２上に投影されている。これは、従来のシャドウマッピング技術が、シャドウマップ上へのシャドウキャスターとして考えられる全ての不透明なオブジェクトを描くこととなっており（即ち、pre-passをレンダリング）、シャドウマップに格納される深さに対して各描かれたピクセルの深さをテストし、そのピクセルラインが影領域にあるか否を決定する（即ち、メインレンダリングパス）こととしているからである。特に、この技術を用いて影が二重になるのは、図３の透明な閉塞ＡＲ平面がシャドウマップに記載されておらず、床平面３０２がシャドウマップに記載されているからである。これからもわかるように、３Ｄバーチャルオブジェクトと実世界オブジェクトの混合した場面は非現実的な特性を持つこととなる。
【0017】
この問題への一つの対処法は、透明な閉塞ＡＲ平面をシャドウマップに書くことである。この方法は、図４の場面４００で示すような新たな問題を生じさせる。特に、透明な閉塞ＡＲ平面４０４をシャドウマップに書くと、それがシャドウキャスターとなってしまう点である。これにより、影４０４がバーチャルオブジェクト４０１により透明な閉塞ＡＲ平面４０３上に正しく投影されるが、影４０５も透明な閉塞ＡＲ平面４０４により床平面４０２上に投影されることとなる。これからもわかるように、この場合も、３Ｄバーチャルオブジェクトと実世界オブジェクトの混合した場面は非現実的な特性を持つこととなる。
【0018】
ここで述べる方法及びシステムは、こうした問題を解決することが出来、例えば図５に示すように、図５の場面５００は影５０４がバーチャルオブジェクト５０１により透明な閉塞ＡＲ平面５０３上に投影されるが、床平面５０２には、バーチャルオブジェクト５０１及び透明な閉塞ＡＲ平面５０３からの影は投影されていない。これは現実的な特性を持った場面を作ることが出来、図１０に示す方法１０００を用いて達成することができる。
【0019】
図１０に示すように、いくつかの実施例では、方法１０００は第１ステップ１００１を有し、そこでは、モバイルＡＲアプリケーションは常に実世界環境を追跡して実世界の表面を検出する。表面がステップ１００２で検出されるまで、この方法は実世界環境を追跡して実世界の表面を検出することを続ける。図１に示すように、表面１０３がステップ１００２で検出されると、モバイルＡＲアプリケーションはステップ１００３で表面１０３の幾何学形状を取得する。言い換えと、ＡＲアプリケーションが閉塞ＡＲ平面１０４を生成する。次いで、ステップ１００４で、閉塞ＡＲ平面は、前述したように、例えば透明にレンダリングされる。こうして閉塞ＡＲ平面１０４が透明となる一方で、他のバーチャルオブジェクトからの影を投影されることが出来るようになる。
【0020】
ステップ１００５では、グレースケールシャドウバッファを生成して、バーチャルオブジェクト５０１の表現を、光源からの遠近法で引き出す。特に、ＡＲアプリケーションは実世界で太陽光線のように作用するバーチャルディレクショナルライトを生成し（又は室内環境での最も強い光源）、この光源をシャドウキャスティング用に使用する。なお、従来のシャドウマッピング技術もこの方法と共に使用可能であることは、当業者にとって自明である。
【0021】
バーチャルオブジェクト５０１の表現が一旦、シャドウバッファに書き込まれると、ＡＲアプリケーションはステップ１００６で最も近い影投影表面５０３上にシャドウバッファ内に書き込まれたテクスチャを投影する。これは、例えば、テクスチャ画像を場面上に投影することのできる、投影テクスチャマッピング（projective texture mapping）法を使用する。この方法は、よく知られた方法である（例えば、Unity TechnologiesTMのthe Projector component）。特に、ＡＲアプリケーションは、場面５００に影５０４を描画するために乗算ブレンド（multiplicative blending）を使用する。図５に示すように、ある実施例では、ＡＲアプリケーションはバーチャル影及び透明な閉塞ＡＲ平面の頂点位置の環境光も採取し、影の色がバーチャル場面から来る環境光により着色されるようにする。これは不自然な黒い影を避けるために有効である。非限定的な実施例では、この採取は、Unity TechnologiesTMのthe Light Probe system を使用して行うことが出来る。ある実施例では、影の色への着色は、シャドウプロジェクターをレンダリングする時に影の色に環境色を加えることで行うことが出来、これによりまっ黒の代わりにベースラインカラーを影に与えることが出来る。
【0022】
上記した方法は、既知の方法に対して多くの利点を与える。例えば、上記したように、この方法では、複数の重なった表面上に影を投影することが無く、透明な平面が影を作ることもない。また、本方法は、透明な閉塞ＡＲ平面上の一つの影をレンダリングし、閉塞ＡＲ平面は影を作らない。
【0023】
更に、シャドウバッファのパーツは、透明な閉塞ＡＲ平面上にそのまま描かれるので（即ち、シャドウバッファ内に書き込まれると、単に深さ値の比較に使用されるだけでなく）、それらを投影／描画する前に、影をぼかすことが可能となる（図５に示すように）。これにより、シャドウマッピング技術によってソフトな影を生成する場合に比して、演算の煩わしさ無く、よりソフトな外見の影を生成することが出来ることが、わかる。
【0024】
更に、ＡＲアプリケーションは全てのシャドウキャスティングオブジェクトを別個に扱うことが出来、それぞれのオブジェクトを任意の時点でアップデートすることができ、パフォーマンスの向上に寄与し得る。例えば前のフレームからのシャドウバッファを簡単に使用することが出来、それはシャドウキャスティングオブジェクトの位置に束縛されない（即ち、オブジェクトが移動したら、影はシャドウバッファを書き換えること無く移動することができる）。
【0025】
図６は、透明なＡＲ平面（図示せず）上にレンダリングされたバーチャルキャラクター６０２からの影６０３を示す場面であり、透明なＡＲ平面は上述した方法を用いて実世界テーブル６０１の頂点に重ねられている。その結果、図からもわかるように、バーチャルオブジェクト６０２により実世界の表面６０１上に投影されたバーチャル影６０３が出来ている。
【0026】
ここで述べた本方法及びシステムの他の利点は、当業者にとって自明である。例えば、場面のＺバッファによる透明な閉塞ＡＲ平面は、規則的なバーチャル幾何形状が多いので、必要な複数のスクリーンスペース効果に関するデータを供給し、バーチャルオブジェクトと実世界の物理表面との相互関連をリアルなものとすることが出来る。
【0027】
例えば、ある実施例では、ＡＲアプリケーションはＡＲ平面からの深さデータを、a Screen-Space Ambient Occlusion (SSAO) post-processing passのために使用している。ＳＳＡＯは、場面内で各ピクセルをどれだけ環境光にリアルタイムで露出させるかを概算するためのよく知られたコンピュータグラフィックアルゴリズムである。例えば、図７に、実世界の表面７０１上にバーチャルキャラクター７０２をレンダリングした場面であるが、アンビエントオクルージョン（ambient occlusion）はなされていない。また、図８は、アンビエントオクルージョン８０３、８０４で、同じバーチャルキャラクター８０２がレンダリングされた場面８００である。図７及び図８を比較すれば分かるが、アンビエントオクルージョンは、オブジェクトが交わる場所でシェーディングを掛けて、広がっているクレバス、クラック又は全体的に閉塞された平面から排除された光の効果をシミュレートしている。これにより、例えば、テーブルとキャラクター間の視覚的な交わりがよりリアルなものとなり、モバイルＡＲアプリケーションのユーザを喜ばす。
【0028】
図９に、本方法の別の利点を述べる。特に、ここで述べた方法を用いることで、場面９００でフィールドエフェクトの深さをレンダリングすることが可能となる。特に、フィールドの深さとは、画像内で焦点が合っている、最も近いオブジェクトと最も遠いオブジェクト間の距離である。
【0029】
コンピュータグラフィックの用語で、フィールドエフェクトの深さを生成することは、「カラーバッファ」（即ち、レンダリングされた画像）及びＺバッファ入力を用いるフルスクリーンポストプロセスエフェクト（a full-screen post-process effect）である。このプロセスは、画像の可変サイズでのぼかしを、ピクセルの深さと所定のバーチャル焦点面間の相違によって生じる混乱のバーチャルサークルの大きさを効果的に変更しつつ行うことができる。透明な閉塞ＡＲ平面がＺバッファに書き込まれているので、バーチャル焦点面からの距離の機能として着実にぼかしを行うことができる。
【0030】
図９に示す場合、一旦、透明なＡＲ平面が地面にレンダリングされると、フィールドのバーチャル深さ外でレンダリングされているバーチャルキャラクター９０４をぼかすばかりか、透明なＡＲ平面それ自体も着実にぼかすことが出来、それはバーチャル焦点面から更に遠い。
【0031】
その結果、上記した開示によるフィールドエフェクトの深さは、物理カメラの焦点面を真似ている。これらの効果は、通常レンダリングされたバーチャルオブジェクトにだけ作用するが、再びＡＲ平面がＺバッファへ書き込むことで、ＡＲアプリケーションは全場面に効果を広げることが出来、ある実世界の表面及びバーチャル表面に焦点が合い、他のものもぼかされる。
【0032】
記述及び図面は、本発明の原則の単なる表示である。当業者は、ここに明確に述べられていない、又は示されていない多様な変形を行って、本発明の原則を具現化することが出来るが、それらは添付した請求項に規定されるように、その範囲内である。
【0033】
更に、ここに挙げた全ての例は、読者に本発明の原則を理解してもらうための助けであり、特に語られた例や条件は無条件でそう解釈されるべきものである。例えば、本発明の実施例は、床、テーブル及びバーチャルオブジェクト及びキャラクターを有する場面を参照して述べられた。しかし、本発明は、実世界のオブジェクト及び表面と他のバーチャルオブジェクトとの別の組み合わせからなる場面も当然使用可能である。
【0034】
当然、本発明の原則、視点、実施例を語る全ての文言、及び例は均等の範囲である。
【0035】
更に、モバイル装置に言及した前述の記述は、当業者にとっては、多様な方法のステップが多数の計算装置によりなし得ることは自明であり、それらの装置には、ビデオカメラ、デジタルカメラ、赤外線カメラ、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、スマートウオッチ又は他のウエアラブルなものが含まれる。ここで、ある実施例では、プログラム格納装置、例えば，デジタルデータ格納媒体をカバーする形となっている。それは、装置又はコンピュータ可読及びエンコード機械実行可能又はコンピュータ実行可能な指示プログラムである。ここで、前記指示は上記した方法の全て又はいくつかのステップを実行する。実施例は、上記した方法のステップを実行するようにプログラムされたコンピュータを含む。
【0036】
ここで述べた実施例のどの特徴も、いくつかの実施例で議論した他の実施例の特徴と組み合わせることができる。ある実施例の運転に必要な追加的な素子は述べられていないか、図示されていないが、これは当業者の思想の範囲内のことである。更に、ある実施例は、ここで特に開示されていない素子がなくてもよく、また無くても機能する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】