特開 2022-92740 ＸＲ環境における３次元オブジェクトを描画するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022092740

(43)【公開日】2022-06-23

(54)【発明の名称】ＸＲ環境における３次元オブジェクトを描画するための方法及び装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220616BHJP

   G06T 15/00 20110101ALI20220616BHJP

   G06F 3/04815 20220101ALI20220616BHJP

【ＦＩ】

G06T19/00 A

G06T15/00 501

G06F3/0481 150

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2020205621

(22)【出願日】2020-12-11

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518427524

【氏名又は名称】未來市股▲ふん▼有限公司

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】胡 智偉

【テーマコード（参考）】

5B050

5B080

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA10

5B050EA07

5B050EA18

5B050EA19

5B050FA02

5B050FA09

5B050GA08

5B080AA19

5B080BA02

5B080CA01

5B080DA06

5B080FA02

5B080FA03

5B080FA08

5B080FA09

5B080FA17

5B080GA02

5B080GA22

5E555AA27

5E555BA02

5E555BA04

5E555BA05

5E555BA06

5E555BA83

5E555BB02

5E555BB04

5E555BB05

5E555BB06

5E555BE17

5E555DA02

5E555DA08

5E555DB53

5E555DC43

5E555FA00

(57)【要約】      （修正有）

【課題】ＸＲ環境における３次元オブジェクトを描画するための方法及び装置を提供する。
【解決手段】第１のオブジェクトの第１の部分が第２のオブジェクトと共に、第１のオブジェクトの第２の部分なしに、第１のレンダーパス上に提示される。第１の部分は第２のオブジェクトよりもユーザ側に近い。第２のオブジェクトは第２の部分よりもユーザ側に近い。第２の部分が第２のオブジェクトと共に、第１の部分なしに、第２のレンダーパス上に提示される。第１のレンダーパスと第２のレンダーパスとに基づき、最終フレームが生成される。第１のオブジェクトの第１及び第２の部分と第２のオブジェクトとが最終フレームに提示され、最終フレームはディスプレイ上に表示されるために用いられる。従って、３次元オブジェクトを描画するための柔軟な方法が提供される。
【選択図】図２

【特許請求の範囲】

【請求項1】

ＸＲ（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ）環境における３次元オブジェクトを描画するための方法であって、
第１のオブジェクトの第１の部分を第２のオブジェクトと共に、前記第１のオブジェクトの第２の部分なしに、第１のレンダーパス上に提示することであって、前記第１のオブジェクトの前記第１の部分が前記第２のオブジェクトよりもユーザ側に近く、前記第２のオブジェクトが前記第１のオブジェクトの前記第２の部分よりも前記ユーザ側に近いことと、
前記第１のオブジェクトの前記第２の部分を前記第２のオブジェクトと共に、前記第１のオブジェクトの前記第１の部分なしに、第２のレンダーパス上に提示することと、
前記第１のレンダーパスと前記第２のレンダーパスとに基づき、最終フレームを生成することであって、前記第１のオブジェクトの前記第１の部分及び前記第２の部分と前記第２のオブジェクトとが前記最終フレームに提示され、前記最終フレームがディスプレイ上に表示されるために用いられることと
を含む、
方法。

【請求項2】

ＸＲ（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ）環境における３次元オブジェクトを描画するための装置であって、
プログラムコードを格納する、メモリと、
前記メモリに連接され、
第１のオブジェクトの第１の部分を第２のオブジェクトと共に、前記第１のオブジェクトの第２の部分なしに、第１のレンダーパス上に提示することであって、前記第１のオブジェクトの前記第１の部分が前記第２のオブジェクトよりもユーザ側に近く、前記第２のオブジェクトが前記第１のオブジェクトの前記第２の部分よりも前記ユーザ側に近いことと、
前記第１のオブジェクトの前記第２の部分を前記第２のオブジェクトと共に、前記第１のオブジェクトの前記第１の部分なしに、第２のレンダーパス上に提示することと、
前記第１のレンダーパスと前記第２のレンダーパスとに基づき、最終フレームを生成することであって、前記第１のオブジェクトの前記第１の部分及び前記第２の部分と前記第２のオブジェクトとが前記最終フレームに提示され、前記最終フレームがディスプレイ上に表示されるために用いられることと
を実行するためプログラムコードを読み込む、プロセッサと
を含む、
装置。

【請求項3】

前記第１のオブジェクトの前記第２の部分を前記第２のオブジェクトと共に、前記第１のオブジェクトの前記第１の部分なしに、前記第２のレンダーパス上に提示するステップが、
深度閾値を、深度テストの後に更新しないよう設定することと、
前記深度テストを、前記第１のオブジェクト又は前記第２のオブジェクトの画素の深度が前記深度閾値よりも大きいことに応じて、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素が前記第２のレンダーパス上に描かれるよう設定することと、
前記深度テストを、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素の前記深度が前記深度閾値よりも大きくないことに応じて、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素が前記第２のレンダーパス上に描かれないよう設定することと
を含む、
請求項１に記載の方法、
又は、
前記プロセッサが、
深度閾値を、深度テストの後に更新しないよう設定することと、
前記深度テストを、前記第１のオブジェクト又は前記第２のオブジェクトの画素の深度が前記深度閾値よりも大きいことに応じて、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素が前記第２のレンダーパス上に描かれるよう設定することと、
前記深度テストを、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素の前記深度が前記深度閾値よりも大きくないことに応じて、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素が前記第２のレンダーパス上に描かれないよう設定することと
を実行するよう更に構成された、
請求項２に記載の装置。

【請求項4】

前記第１のオブジェクトの前記第１の部分を前記第２のオブジェクトと共に、前記第１のオブジェクトの前記第２の部分なしに、前記第１のレンダーパス上に提示するステップが
深度閾値を、深度テストの後に更新されるよう設定することと、
前記深度テストを、前記第１のオブジェクト又は前記第２のオブジェクトの画素の深度が前記深度閾値よりも大きくないことに応じて、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素が前記第１のレンダーパス上に描かれるよう設定することと、
前記深度テストを、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素の前記深度が前記深度閾値よりも大きいことに応じて、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素が前記第１のレンダーパス上に描かれないよう設定することと
を含む、
請求項１に記載の方法、
又は、
前記プロセッサが、
深度閾値を、深度テストの後に更新されるよう設定することと、
前記深度テストを、前記第１のオブジェクト又は前記第２のオブジェクトの画素の深度が前記深度閾値よりも大きくないことに応じて、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素が前記第１のレンダーパス上に描かれるよう設定することと、
前記深度テストを、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素の前記深度が前記深度閾値よりも大きいことに応じて、前記第１のオブジェクト又は前記第２のオブジェクトの前記画素が前記第１のレンダーパス上に描かれないよう設定することと
を実行するよう更に構成された、
請求項２に記載の装置。

【請求項5】

前記第１のオブジェクトの前記第２の部分を前記第２のオブジェクトと共に、前記第１のオブジェクトの前記第１の部分なしに、前記第２のレンダーパス上に提示するステップが、
前記第１のオブジェクトの前記第２の部分に前記第２のオブジェクトを用いてアルファ合成を実行すること
を含む、
請求項１に記載の方法、
又は、
前記プロセッサが、
前記第１のオブジェクトの前記第２の部分に前記第２のオブジェクトを用いてアルファ合成を実行する
よう更に構成された、
請求項２に記載の装置。

【請求項6】

前記第１のオブジェクトのコンテンツが、前記第２のオブジェクトのコンテンツよりも高い優先度を有する、
請求項１に記載の方法、
又は、
請求項２に記載の装置。

【請求項7】

前記第１のオブジェクトがユーザインターフェイスである、
請求項１に記載の方法、
又は、
請求項２に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＸＲ（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ）シミュレーションに関するものであり、特に、ＸＲ環境における３次元オブジェクトを描画するための方法及び装置に関するものである。

【背景技術】

【0002】

仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）といった、感覚、知覚、及び／又は環境をシミュレートするためのＸＲ技術は、最近人気が高まっている。前記技術は、ゲーム、軍事訓練、医療、遠隔操作等といった、複数の分野に応用することができる。

【0003】

ＸＲにおいて、１つの環境には多くの仮想オブジェクト及び／又は現実オブジェクトが存在する。基本的に、これらオブジェクトは、これらの深度に基づきフレーム上に描画される。即ち、ユーザ側に近い１つのオブジェクトは、ユーザ側から遠いもう１つのオブジェクトを覆う。しかし、状況によっては、いくつかのオブジェクトは、他のオブジェクトにより覆われるとしても、常にフレーム上に提示されるべきである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

オブジェクトの一部が他により覆われるとしても、オブジェクト全体を提示する必要がある。従って、本発明は、既定の描画規則を改変するための、ＸＲ環境における３次元オブジェクトを描画するための方法及び装置を対象とする。

【課題を解決するための手段】

【0005】

例示的な実施形態の１つにおいて、ＸＲ環境における３次元オブジェクトを描画する方法は、以下のステップを含むが、これに限定されない。第１のオブジェクトの第１の部分が第２のオブジェクトと共に、第１のオブジェクトの第２の部分なしに、第１のレンダーパス上に提示される。第１のオブジェクトの第１の部分は、第２のオブジェクトよりもユーザ側に近い。第２のオブジェクトは、第１のオブジェクトの第２の部分よりもユーザ側に近い。第１のオブジェクトの第２の部分が第２のオブジェクトと共に、第１のオブジェクトの第１の部分なしに、第２のレンダーパス上に提示される。第１のレンダーパスと第２のレンダーパスとに基づき最終フレームが生成される。第１のオブジェクトの第１の部分及び第２の部分と、第２のオブジェクトとが最終フレームに提示され、最終フレームはディスプレイ上に表示されるために用いられる。

【0006】

例示的な実施形態の１つにおいて、ＸＲ環境における３次元オブジェクトを描画するための装置は、メモリとプロセッサとを含むが、これに限定されない。メモリはプログラムコードを格納する。プロセッサはメモリに連接され、以下のステップを実行するためプログラムコードを読み込む。プロセッサは、第１のオブジェクトの第１の部分を第２のオブジェクトと共に、第１のオブジェクトの第２の部分なしに、第１のレンダーパス上に提示する。第１のオブジェクトの第１の部分は、第２のオブジェクトよりもユーザ側に近い。。第２のオブジェクトは、第１のオブジェクトの第２の部分よりもユーザ側に近い。プロセッサは、第１のオブジェクトの第２の部分を第２のオブジェクトと共に、第１のオブジェクトの第１の部分なしに、第２のレンダーパス上に提示する。プロセッサは、第１のレンダーパスと第２のレンダーパスとに基づき最終フレームを生成する。第１のオブジェクトの第１の部分及び第２の部分と、第２のオブジェクトとが最終フレームに提示され、最終フレームはディスプレイ上に表示されるために用いられる。

【発明の効果】

【0007】

上記を鑑み、ＸＲ環境における３次元オブジェクトを描画するため方法及び装置によると、第１のオブジェクトの第２の部分が第２のオブジェクトよりもユーザ側に近くないとはいえ、第１のオブジェクトの第２の部分を１つのレンダーパス上に提示し、第１のオブジェクト全体が最終フレームに提示される。従って、３次元オブジェクトを描画するための柔軟な方法を提供する。

【0008】

ただし、この概要は本発明の全ての様態と実施形態を含むものではなく、如何なる方法でも限定又は制限を意図するものではないことを理解されたい。そして、ここで開示される発明は、その明らかな改善と改変を含むと当業者により理解される。

【図面の簡単な説明】

【0009】

本発明の更なる理解のため添付図面が含まれ、本明細書に包含され、本明細書の一部を構成する。図面は本発明の実施形態を表し、明細書と共に、本発明の原理を説明する役割を果たす。

【0010】

【図1】図１は、本発明の例示的な実施形態の１つによる、ＸＲ環境における３次元オブジェクトを描画するための装置を表すブロック図である。

【0011】

【図2】図２は、本発明の例示的な実施形態の１つによる、ＸＲ環境における３次元オブジェクトを描画するための方法を表すフロー図である。

【0012】

【図3A】図３Ａは、本発明の例示的な実施形態の１つによる第１のレンダーパスを表す概略図である。

【0013】

【図3B】図３Ｂは、図３Ａの位置関係の上面図である。

【0014】

【図4A】図４Ａは、本発明の例示的な実施形態の１つによる第２のレンダーパスを表す概略図である。

【0015】

【図4B】図４Ｂは、図４Ａの位置関係の上面図である。

【0016】

【図5A】図５Ａは、本発明の例示的な実施形態の１つによる最終フレームを表す概略図である。

【0017】

【図5B】図５Ｂは、図５Ａの位置関係の上面図である。

【発明を実施するための形態】

【0018】

本発明の好ましい実施形態の詳細を述べる。実施例は添付の図面に表される。可能な限り、図面と明細書において同一の符号が同一又は類似の部材に対し用いられる。

【0019】

図１は、本発明の例示的な実施形態の１つによる、ＸＲ環境における３次元オブジェクトを描画するための装置１００を表すブロック図である。図１を参照し、装置１００は、メモリ１１０とプロセッサ１３０とを含むが、これに限定されない。１つの実施形態において、装置１００は、コンピュータ、スマートフォン、ヘッドマウントディスプレイ、デジタルメガネ、タブレット、又は他の演算装置であることができる。いくつかの実施形態において、装置１００は、ＶＲ、ＡＲ、ＭＲといったＸＲ、又は他の現実シミュレーション関連技術に適合されてよい。

【0020】

メモリ１１０は、固定又は取り外し可能なランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、類似のデバイス、又は上記デバイスの組合せの如何なる種類であってもよい。メモリ１１０は、プログラムコード、デバイス設定、バッファ又は（描画パラメータ、レンダーパス、又はフレームといった）永続的データを記録し、これらデータについては後に紹介する。。

【0021】

プロセッサ１３０は、メモリ１１０と連接される。プロセッサ１３０は、本発明の例示的な実施形態の手順を実行するため、メモリ１１０に格納されたプログラムコードを読み込むよう構成される。

【0022】

いくつかの実施形態において、プロセッサ１３０は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、グラフィックスプロセッシングユニット（ＧＰＵ）、デジタル信号処理（ＤＳＰ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）であってよい。プロセッサ１３０の機能は、独立した電子デバイス又は集積回路（ＩＣ）により実装されてもよく、プロセッサ１３０の動作はソフトウェアにより実装されてもよい。

【0023】

１つの実施形態において、装置１００は、ＬＣＤ、ＬＥＤディスプレイ、又はＯＬＥＤディスプレイといった、ディスプレイ１５０を更に含む。

【0024】

１つの実施形態において、ＨＭＤ又はデジタルメガネ（即ち、装置１００）は、メモリ１１０と、プロセッサ１３０と、ディスプレイ１５０とを含む。いくつかの実施形態において、プロセッサ１３０は、ディスプレイ１５０と同一の装置に設けられなくてもよい。ただし、プロセッサ１３０、ディスプレイ１５０をそれぞれ搭載する機器は、互いにデータを送受信するため、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、赤外線無線通信といった、互換性のある通信技術を有する通信トランシーバ、又は物理的な伝送路を更に含んでよい。例えば、ディスプレイ１５０がコンピュータの外部のモニタに設けられるのに対し、プロセッサ１３０はコンピュータ内に設けられてよい。

【0025】

本発明の１以上の実施形態において提供される動作処理をより理解し易くするよう、装置１００の動作処理を詳述するため、いくつかの実施形態を以下に例示する。装置１００内のデバイスとモジュールは、ここで提供されるＸＲ環境における３次元オブジェクトを描画するための方法を説明するための、下記の実施形態において適用される。方法の各ステップは実際の実装状況に応じて調整でき、ここで説明されるものに限定されるべきではない。

【0026】

図２は、本発明の例示的な実施形態の１つによる、ＸＲ環境における３次元オブジェクトを描画するための方法を表すフロー図である。図２を参照し、プロセッサ１３０は、第１のオブジェクトの第１の部分を第２のオブジェクトと共に、第１のオブジェクトの第２の部分なしに、第１のレンダーパス上に提示してよい（ステップＳ２１０）。具体的には、第１のオブジェクトと第２のオブジェクトは、現実又は仮想の３次元シーン、アバター、映像、写真、又は３次元ＸＲ環境における他の仮想又は現実オブジェクトであってよい。３次元環境は、ゲーム環境、仮想社交環境、又は仮想会議であってよい。１つの実施形態において、第１のオブジェクトのコンテンツは、第２のオブジェクトのコンテンツよりも高い優先度を有する。例えば、第１のオブジェクトは、メニュー、ナビゲーションバー、仮想キーボードのウィンドウ、ツールバー、ウィジェット、設定、又はアプリケーションショートカットといったユーザインターフェイスであることができる。時には、ユーザインターフェイスは１以上のアイコンを含んでよい。第２のオブジェクトは、壁、ドア、又は机である。いくつかの実施形態において、同一のＸＲ環境において他のオブジェクトが存在する。

【0027】

加えて、第１のオブジェクトは第１の部分と第２の部分とを含む。ディスプレイ１５０上の１つのユーザの視野において、第１のオブジェクトの第１の部分は第２のオブジェクトよりもユーザ側に近いと仮定する。ただし、第２のオブジェクトは第１のオブジェクトの第２の部分よりもユーザ側に近い。更に、第２のオブジェクトは、ユーザのこの視野において、第１のオブジェクトの第２の部分と重なる。いくつかの実施形態において、第２のオブジェクトは、ユーザのこの視野において、第１のオブジェクトの第１の部分と更に重なる。

【0028】

一方、マルチパス技術において、同一のオブジェクトは何回も描画されてよく、オブジェクトの各描画は、最終値に累積される別々の演算を行う。状態の特定のセットを伴うオブジェクトの各描画は、「パス」又は「レンダーパス」と呼ばれる。

【0029】

１つの実施形態において、プロセッサ１３０は、深度テストの後に更新されるよう深度閾値を構成してよく、第１又は第２のオブジェクトの画素の深度が深度閾値よりも大きくない場合に第１又は第２のオブジェクトの画素が第１のレンダーパス上に描かれるよう深度テストを設定し、第１又は第２のオブジェクトの画素の深度が深度閾値よりも大きい場合に第１又は第２のオブジェクトの画素が第１のレンダーパス上に描かれないよう深度テストを設定してよい。具体的には、深度は、ユーザ側からオブジェクトの特定画素までの距離の測定である。ＵｎｉｔｙシェーダのＺＴｅｓｔといった深度テストを実装する場合、深度テクスチャ（又は深度バッファ）がレンダーパス上に加えられる。深度テクスチャは、カラーテクスチャがカラー値を保持するのと同一の方法にて、第１のオブジェクト又は第２のオブジェクトの各画素のための深度値を格納する。深度値は、通常、各頂点について深度を算出して、ハードウェアにこれら深度値を補間させることにより、各フラグメントに対し算出される。プロセッサ１３０は、オブジェクトの新たなフラグメントを、それが深度テクスチャに格納された現在の値（実施形態において深度閾値と呼ばれる）よりもユーザ側に近いか否かを見るためテストしてよい。即ち、第１又は第２のオブジェクトの画素の深度が深度閾値よりも低いか否かが判定される。Ｕｎｉｔｙシェーダを例とすると、ＺＴｅｓｔの関数が「ｌｅｑｕａｌ」に設定され、深度テストは、フラグメントの深度値が格納された深度値（即ち、深度閾値）以下である場合（又は以下である場合にのみ）、パスされることができる。さもなくば、プロセッサ１３０はフラグメントを破棄する。即ち、第１又は第２のオブジェクトの画素は、第１又は第２のオブジェクトの画素の深度が深度閾値よりも大きくない場合（又は大きくない場合にのみ）、第１のレンダ―パス上に描かれる。更に、第１又は第２のオブジェクトの画素は、第１又は第２のオブジェクトの画素の深度が深度閾値よりも大きい場合（又は大きい場合にのみ）、第１のレンダーパスで破棄される。

【0030】

加えて、Ｕｎｉｔｙシェーダを例として、ＺＷｒｉｔｅの関数が「ｏｎ」に設定された場合、フラグメントの深度が深度テストをパスした場合（又はパスした場合のみ）、深度閾値が更新される。

【0031】

１つの実施形態において、第１に、第１のオブジェクトの第２の部分の画素について、該画素は第１のレンダーパス上に描かれ、深度閾値が第１のオブジェクトの第２の部分の深度に更新される。第２に、第２のオブジェクトの画素について、該画素は第１のレンダーパス上に描かれる。第２のオブジェクトは第１のオブジェクトの第２の部分を覆い、深度閾値が第２のオブジェクトの深度に更新される。第３に、第１のオブジェクトの第１の部分の画素について、該画素は第１のレンダーパス上に描かれ、深度閾値が第１のオブジェクトの第１の部分の深度に更新される。更に、第１のオブジェクトの第１の部分が第２のオブジェクトを覆ってよい。

【0032】

例えば、図３Ａは、本発明の例示的な実施形態の１つによる第１のレンダーパスを表す概略図であり、図３Ｂは、図３Ａの位置関係の上面図である。図３Ａと３Ｂを参照し、第２のオブジェクトＯ２が仮想壁であり、ユーザＵが第２のオブジェクトＯ２の前方に立っていると仮定する。ただし、第２のオブジェクトＯ２の表面はユーザＵのユーザ側に対し平行ではなく、図３Ｂに示されるように、第１のオブジェクトＯ１の第２の部分Ｏ１２が第２のオブジェクトＯ２の背後に位置する。このため、第１のレンダーパスにおいて、第１のオブジェクトＯ１の第２の部分Ｏ１２は第２のオブジェクトＯ２により完全に覆われ、第１のオブジェクトの第２の部分は不可視である。ただし、第１のオブジェクトＯ１の第１の部分Ｏ１１は第２のオブジェクトＯ２を覆う。即ち、図３Ａに示されるように、第１のオブジェクトＯ１の第１の部分Ｏ１１は可視である。

【0033】

プロセッサ１３０は、第１のオブジェクトの第２の部分を第２のオブジェクトと共に、第１のオブジェクトの第１の部分を除き、第２のレンダーパス上に提示してよい（ステップＳ２３０）。第１のレンダーパスの規則とは異なり、１つの実施形態において、プロセッサ１３０は深度テストの後に更新しないよう深度閾値を設定し、第１又は第２のオブジェクトの画素の深度が深度閾値よりも大きいことに応じて、第１又は第２のオブジェクトの画素が第２のレンダーパス上に描かれるよう深度テストを設定し、第１又は第２のオブジェクトの画素の深度が深度閾値よりも大きくないことに応じて、第１又は第２のオブジェクトの画素を第２のレンダーパス上に描かないよう深度テストを設定してよい。具体的には、第１又は第２のオブジェクトの画素の深度が深度閾値よりも大きいか否かが判定される。Ｕｎｉｔｙシェーダを例とすると、ＺＴｅｓｔの関数が「ｇｒｅａｔｅｒ」に設定され、深度テストは、フラグメントの深度値が格納された深度値（即ち、深度閾値）よりも大きい場合（又は大きい場合にのみ）、パスされる。さもなくば、プロセッサ１３０はフラグメントを破棄してよい。即ち、第１又は第２のオブジェクトの画素は、第１又は第２のオブジェクトの画素の深度が深度閾値よりも大きい場合（又は大きい場合にのみ）、第２のレンダーパス上に描かれる。更に、第１又は第２のオブジェクトの画素は、第１又は第２のオブジェクトの画素の深度が深度閾値よりも大きくない場合（又は大きくない場合にのみ）、第２のレンダーパスで破棄される。

【0034】

加えて、Ｕｎｉｔｙシェーダを例とすると、ＺＷｒｉｔｅの関数が「ｏｆｆ」に設定された場合、フラグメントの深度値が深度テストをパスした場合（又はパスした場合にのみ）、深度閾値が更新されない。

【0035】

１つの実施形態において、第１に、第１のオブジェクトの第２の部分の画素について、該画素は第２のレンダーパス上に描かれ、深度閾値が第１のオブジェクトの第２の部分の深度に更新される。第２に、第２のオブジェクトの画素について、該画素は、第１のオブジェクトの第２の部分と重なる部分を除き、第２のレンダーパス上に描かれる。第１のオブジェクトの第２の部分は第２のオブジェクトを覆い、深度閾値は第１のオブジェクトの第２の部分の深度に維持される。第３に、第１のオブジェクトの第１の部分の画素について、該画素は第２のレンダーパスで破棄され、深度閾値が第１のオブジェクトの第２の部分の深度に維持される。更に、第２のオブジェクトが第１のオブジェクトの第１の部分を覆ってよい。

【0036】

例えば、図４Ａは、本発明の例示的な実施形態の１つによる第２のレンダーパスを表す概略図であり、図４Ｂは、図４Ａの位置関係の上面図である。図４Ａと４Ｂを参照し、第１のオブジェクトＯ１の第２の部分Ｏ１２は、図４Ｂに示されるように、第２のオブジェクトＯ２の背後に位置する。このため、第２のレンダーパスにおいては、第１のオブジェクトＯ１の第２の部分Ｏ１２は第２のオブジェクトＯ２により完全に覆われ、第１のオブジェクトＯ１の第１の部分Ｏ１１は不可視である。ただし、第１のオブジェクトＯ１の第２の部分Ｏ１２が第２のオブジェクトＯ２を覆う。即ち、図４Ｂに示されるように、第１のオブジェクトＯ１の第２の部分Ｏ１２は可視である。

【0037】

１つの実施形態において、プロセッサ１３０は、第１のオブジェクトの第２の部分に第２のオブジェクトを用いてアルファ合成を実行してよい。アルファ合成は、部分的又は完全な透過度の外観を形成するため、１つの画像を背景又はもう１つの画像と組み合わせる処理である。絵素（画素）が別々のパス又はレイヤーに描画されるとき、結果として得られた２次元画像を単一の、最終画像／フレームに組み合わせることを合成と呼ぶ。第１のオブジェクトの第２の部分の画素が、第２のオブジェクトの画素と組み合わされる。

【0038】

例えば、図３Ａと４Ａを参照し、第１のオブジェクトＯ１の第２の部分Ｏ１２は部分的な透過度を有し、第２の部分Ｏ１２及び第２のオブジェクトＯ２の画素が組み合わされる。ただし、第１のオブジェクトＯ１の第１の部分Ｏ１１は透過度なしに提示される。

【0039】

いくつかの実施形態において、グレーレベル処理又は他の画像処理が第１のオブジェクトの第２の部分に実行されてよい。

【0040】

プロセッサ１３０は、第１のレンダーパスと第２のレンダーパスとに基づき、最終フレームを生成してよい（ステップＳ２５０）。具体的には、最終フレームは、ディスプレイ１５０上に表示されるために用いられる。第１のレンダーパスにおいて、第１のオブジェクトの第１の部分が、第２の部分なしに提示される。第２のレンダーパスにおいて、第１のオブジェクトの第２の部分が、第１の部分なしに提示される。プロセッサ１３０は、第１及び第２のレンダーパスのうちの１つに提示されたオブジェクトの一部又はオブジェクトの全体を、最終フレーム上に描画してよい。最終的に、第１のオブジェクトの第１の部分及び第２の部分と第２のオブジェクトとが最終フレームに提示される。次いで、ユーザは第１のオブジェクトの第１及び第２の部分（これは第１のオブジェクト全体であってよい）をディスプレイ１５０上に目にすることができる。

【0041】

例えば、図５Ａは、本発明の例示的な実施形態の１つによる最終フレームを表す概略図であり、図５Ｂは、図５Ａの位置関係の上面図である。図５Ａと５Ｂを参照し、図３Ａの第１のレンダーパスと図４Ａの第２のレンダーパスとに基づき、最終フレームにおいて、第１のオブジェクトＯ１の第１の部分Ｏ１１及び第２の部分Ｏ１２と第２のオブジェクトＯ２とが提示される。このため、ユーザＵはディスプレイ１５０上にユーザインターフェイス全体を目にすることができる。

【0042】

まとめると、上述した例示的な実施形態は、ＸＲ環境における３次元オブジェクトのための方法及び装置を描写している。より遠い位置にある第１のオブジェクトの第２の部分が１つのレンダーパス上に提示される。次いで、ディスプレイ上に表示すべき最終フレームが、第１のオブジェクトの第２の部分を有するレンダーパスを参照することにより生成される。このため、第１のオブジェクトの第１の部分と第２の部分とが最終フレーム上に描かれる。従って、３次元オブジェクトを描画するための柔軟な方法を提供できる。

【0043】

当業者にとって、本発明の範囲又は精神から逸脱することなく、本発明の構造に様々な改変と変形を行うことができることは明らかであろう。上記を鑑み、本発明は、以下の特許請求の範囲及びそれらの均等物の範囲内にあるという条件で、本発明の改変及び変形を網羅することを意図している。

【産業上の利用可能性】

【0044】

本発明の３次元オブジェクトを描画するための方法及び装置は、ＸＲに応用することができる。

【符号の説明】

【0045】

１００：装置
１１０：メモリ
１３０：プロセッサ
Ｓ２１０～Ｓ２５０：ステップ
Ｕ：ユーザ
Ｏ１：第１のオブジェクト
Ｏ１１：第１の部分
Ｏ１２：第２の部分
Ｏ２：第２のオブジェクト

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【外国語明細書】