特開 2022-34640 仮想環境を描画する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022034640

(43)【公開日】2022-03-04

(54)【発明の名称】仮想環境を描画する方法及びシステム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220225BHJP

【ＦＩ】

G06T19/00 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2020138430

(22)【出願日】2020-08-19

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518427524

【氏名又は名称】未來市股▲ふん▼有限公司

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】▲ファン▼ 敏哲

(72)【発明者】

【氏名】王 惟民

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA09

5B050BA11

5B050CA05

5B050EA19

5B050FA02

(57)【要約】      （修正有）

【課題】仮想環境における複数のコンテンツを別々に描画するための、仮想環境を描画する方法及びシステムを提供する。
【解決手段】仮想環境を描画する方法は、同一の３次元仮想環境における異なる複数のデジタルコンテンツを取得することと、デジタルコンテンツの位置情報に基づき、３次元仮想環境におけるデジタルコンテンツをそれぞれ複数の画像フレームに描画することと、を含む。位置情報は、３次元仮想環境におけるデジタルコンテンツのうちの１つの他に対する位置を含み、画像フレームと、画像フレームのブレンド結果とを、表示するために用いられる。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数のデジタルコンテンツを取得することであって、前記デジタルコンテンツが同一の３次元仮想環境における異なるデジタルコンテンツであることと、
前記デジタルコンテンツの位置情報に基づき、前記３次元仮想環境における前記デジタルコンテンツをそれぞれ複数の画像フレームに描画することであって、前記位置情報が、前記３次元仮想環境における前記デジタルコンテンツのうちの１つの他に対する位置を含み、前記画像フレームと、前記画像フレームのブレンド結果とが、表示されるために用いられることと
を含む、
仮想環境を描画する方法。

【請求項2】

ホストディスプレイと、
プログラムコードを格納するメモリと、
前記ホストディスプレイと前記メモリとに連接され、
複数のデジタルコンテンツを取得することであって、前記デジタルコンテンツが同一の３次元仮想環境における異なるデジタルコンテンツであることと、
前記デジタルコンテンツの位置情報に基づき、前記３次元仮想環境における前記デジタルコンテンツをそれぞれ複数の画像フレームに描画することであって、前記位置情報が、前記３次元仮想環境における前記デジタルコンテンツのうちの１つの他に対する位置を含み、前記画像フレームと、前記画像フレームのブレンド結果とが、前記ホストディスプレイ上に表示されるために用いられることと
を実行するため前記プログラムコードをロードする、プロセッサと、
を含む、
仮想環境を描画するシステム。

【請求項3】

前記デジタルコンテンツが、アクセス制御保護のない第１のコンテンツと、前記アクセス制御保護を有する第２のコンテンツとを含む、
請求項１に記載の仮想環境を描画する方法、又は、請求項２に記載の仮想環境を描画するシステム。

【請求項4】

前記デジタルコンテンツを前記画像フレームに描画するステップが、
前記アクセス制御保護を有する前記第２のコンテンツが存在することに対応して、前記デジタルコンテンツをそれぞれ前記画像フレームに描画することと、
前記デジタルコンテンツを前記画像フレームに描画する前記ステップの後、前記３次元仮想環境における前記デジタルコンテンツの前記位置情報に応じて、前記画像フレームをブレンドすることと
を更に含む、
請求項３に記載の仮想環境を描画する方法、又は、
前記プロセッサが、
前記アクセス制御保護を有する前記第２のコンテンツが存在することに対応して、前記デジタルコンテンツをそれぞれ前記画像フレームに描画することと、
前記デジタルコンテンツを前記画像フレームに描画する前記ステップの後、前記３次元仮想環境における前記デジタルコンテンツの前記位置情報に応じて、前記画像フレームをブレンドすることと
を更に実行する、
請求項３に記載の仮想環境を描画するシステム。

【請求項5】

前記デジタルコンテンツを前記画像フレームに描画するステップが、
前記アクセス制御保護を有する前記第２のコンテンツが存在しないことに対応して、前記画像フレームをブレンドすることなく、前記第１のコンテンツを、表示されるために用いられる前記画像フレームに描画するのみであること
を含む、
請求項３に記載の仮想環境を描画する方法、又は、
前記プロセッサが、
前記アクセス制御保護を有する前記第２のコンテンツが存在しないことに対応して、前記画像フレームをブレンドすることなく、前記第１のコンテンツを、前記ホストディスプレイに表示されるために用いられる前記画像フレームに描画するのみであること
を更に実行する、
請求項３に記載の仮想環境を描画するシステム。

【請求項6】

前記デジタルコンテンツを前記画像フレームに描画する前記ステップの後、
前記画像フレームの第２のフレームを送信することなく、前記画像フレームの第１のフレームを送信することであって、前記第１のフレームが前記アクセス制御保護のない前記第１のコンテンツに対応し、前記第２のフレームが前記アクセス制御保護を有する前記第２のコンテンツに対応すること
を更に含む、
請求項４に記載の仮想環境を描画する方法、又は、
クライアントデバイスを更に含み、
前記プロセッサが、
前記画像フレームの第２のフレームを送信することなく、前記画像フレームの第１のフレームを前記クライアントデバイスに送信することであって、前記第１のフレームが前記アクセス制御保護のない前記第１のコンテンツに対応し、前記第２のフレームが前記アクセス制御保護を有する前記第２のコンテンツに対応すること
を更に実行する、
請求項４に記載の仮想環境を描画するシステム。

【請求項7】

前記デジタルコンテンツを前記画像フレームに描画する前記ステップが、
マスタ３次元描画エンジンと、少なくとも１つのスレーブ３次元描画エンジンとを提供することであって、前記マスタ３次元描画エンジンが前記アクセス制御保護のない前記第１のコンテンツを描画するために用いられ、前記少なくとも１つのスレーブ３次元描画エンジンが前記アクセス制御保護を有する前記第２のコンテンツを描画するために用いられること
を含む、
請求項４に記載の仮想環境を描画する方法、又は、
前記プロセッサが、
マスタ３次元描画エンジンと、少なくとも１つのスレーブ３次元描画エンジンとを提供することであって、前記マスタ３次元描画エンジンが前記アクセス制御保護のない前記第１のコンテンツを描画するために用いられ、前記少なくとも１つのスレーブ３次元描画エンジンが前記アクセス制御保護を有する前記第２のコンテンツを描画するために用いられること
を更に実行する、
請求項４に記載の仮想環境を描画するシステム。

【請求項8】

前記マスタ３次元描画エンジンにより、前記アクセス制御保護を有する前記第２のコンテンツを、前記少なくとも１つのスレーブ３次元描画エンジンに送信することと、
前記マスタ３次元描画エンジンと前記少なくとも１つのスレーブ３次元描画エンジンから出力された前記画像フレームをブレンドすることと
を更に含む、
請求項７に記載の仮想環境を描画する方法、又は、
前記プロセッサが、
前記マスタ３次元描画エンジンにより、前記アクセス制御保護を有する前記第２のコンテンツを、前記少なくとも１つのスレーブ３次元描画エンジンに送信することと、
前記マスタ３次元描画エンジンと前記少なくとも１つのスレーブ３次元描画エンジンから出力された前記画像フレームをブレンドすることと
を更に実行する、
請求項７に記載の仮想環境を描画するシステム。

【請求項9】

前記デジタルコンテンツを前記画像フレームに描画するステップが、
ユーザの頭部のモーション感知データを取得することと、
前記ユーザの頭部の前記モーション感知データに応じて前記画像フレームを生成することと
を含む、
請求項１に記載の仮想環境を描画する方法、又は、
ユーザの頭部と共に動作し、前記ユーザの頭部のモーション感知データを取得する、モーションセンサ
を更に含み、
前記プロセッサが、
前記ユーザの頭部の前記モーション感知データに応じて前記画像フレームを生成すること
を更に実行する、
請求項２に記載の仮想環境を描画するシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想環境シミュレーションに関するものであり、特に、仮想環境を描画する方法及びシステムに関するものである。

【背景技術】

【0002】

仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ＸＲ（Ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）といった、感覚、知覚、及び／又は環境のシミュレーションのための技術は、最近人気が高まっている。前記技術は、ゲーム、軍事訓練、医療、遠隔操作等といった、複数の分野に応用することができる。

【0003】

仮想環境におけるアバター、メディアコンテンツ、その他の仮想物体といった、多くのデジタルコンテンツが存在することに注意されたい。しかし、コンテンツによっては著作権を有するか、又は機密である可能性がある。これらコンテンツは他人と共有できない可能性がある。例えば、デジタル著作権管理（ＤＲＭ）で暗号化された映像は、許可のうえディスプレイで再生できるのみである。従来のアプローチでは、ＤＲＭで暗号化された映像がそこで再生される３次元シーンは、ＤＲＭで暗号化された画像フレームに直接描画され、これによりディスプレイがＤＲＭで暗号化された画像フレームを表示しようと試みるとき、許可なしでは空白のフレームがディスプレイ上に表示される。ライブブロードキャストやコンテンツ共有には好都合でない可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＤＲＭで暗号化された映像を有する３次元シーンは共有することができない。従って、本発明は、仮想環境における複数のコンテンツを別々に描画するための、仮想環境を描画する方法及びシステムを対象とする。

【課題を解決するための手段】

【0005】

例示的な実施形態の１つにおいて、仮想環境を描画する方法は、次のステップを含むが、これに限定されない。複数のデジタルコンテンツが取得される。これらデジタルコンテンツは、同一の３次元仮想環境における異なるコンテンツである。デジタルコンテンツの位置情報に応じて、デジタルコンテンツが複数の画像フレームにそれぞれ描画される。位置情報は、３次元仮想環境におけるデジタルコンテンツのうちの１つの、他に対する位置を含む。画像フレームと、画像フレームのブレンド結果は、表示されるために用いられる画像フレームである。

【0006】

例示的な実施形態の１つにおいて、仮想環境を描画するシステムは、ホストディスプレイと、メモリと、プロセッサとを含むが、これに限定されない。メモリはプログラムコードを格納する。プロセッサはホストディスプレイとメモリとに連接され、次のステップを実行するためプログラムコードをロードする。プロセッサは複数のデジタルコンテンツを取得し、デジタルコンテンツの位置情報に応じて、デジタルコンテンツをそれぞれ複数の画像フレームに描画する。これらデジタルコンテンツは、同一の３次元仮想環境における異なるコンテンツである。位置情報は、３次元仮想環境における１つの３次元コンテンツの、他に対する位置を含む。画像フレームと、画像フレームのブレンド結果は、ホストディスプレイ上に表示されるために用いられる画像フレームである。

【発明の効果】

【0007】

上記を鑑み、１以上の実施形態において提供される仮想環境を描画する方法及びシステムによると、１つの３次元仮想環境における複数のデジタルコンテンツが別々に描画される。従って、描画されたフレーム又はブレンド結果は、異なる要件のため、別々に表示されることができる。

【0008】

ただし、この概要は本発明の全ての様態と実施形態を含むものではなく、如何なる方法でも限定又は制限を意図するものではないことを理解されたい。そして、ここで開示される発明は、その明らかな改善と改変を含むと当業者により理解される。

【図面の簡単な説明】

【0009】

本発明の更なる理解のため添付図面が含まれ、本明細書に包含され、本明細書の一部を構成する。図面は本発明の実施形態を表し、明細書と共に、本発明の原理を説明する役割を果たす。

【図1A】本発明の例示的な実施形態の１つによるシステムを表すブロック図である。

【図1B】本発明の例示的な実施形態の１つによるソフトウェア構造を表すブロック図である。

【図2】本発明の例示的な実施形態の１つによる仮想環境を描画する方法を表すフロー図である。

【図3】本発明の例示的な実施形態の１つによるエンジン構造を表す概略図である。

【図4】本発明の例示的な実施形態の１つによる、もう１つのエンジン構造を表す概略図である。

【図5】本発明の例示的な実施形態の１つによるコンテンツを共有する方法を表すフロー図である。

【発明を実施するための形態】

【0010】

本発明の好ましい実施形態の詳細を述べる。実施例は添付の図面に表される。可能な限り、図面と明細書において同一の符号が同一又は類似の部材に対し用いられる。

【0011】

図１Ａは、本発明の例示的な実施形態の１つによるシステム１を表すブロック図である。図１Ａを参照し、システム１は、１以上のクライアントデバイス１０と、サーバ３０と、ホスト装置１００とを含むが、これに限定されない。システム１は、ＶＲ、ＡＲ、ＭＲ、ＸＲ又は他の現実シミュレーション関連技術に適合される。

【0012】

クライアントデバイス１０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他のディスプレイを有する、携帯電話、スクリーン、テレビ、モニタ、又は他の電子デバイスであってよいが、これに限定されない。いくつかの実施形態において、クライアントデバイス１０は、例えば、仮想環境における画像、クラウドからロードされた映像、又はサーバ３０により送信された写真である、マルチメディアデータ画像を処理するために用いられる。

【0013】

サーバ３０は、クラウドサーバ、ストリーミングサーバ、パーソナルコンピュータ等であってよい。いくつかの実施形態において、サーバ３０は映像ストリームを提供するために用いられ、これにより映像はクライアントデバイス１０上で再生できる。

【0014】

ホスト装置１００は、ホストディスプレイ１１０と、モーションセンサ１３０と、メモリ１５０と、プロセッサ１７０とを含むが、これに限定されない。ホスト装置１００は、ＶＲ、ＡＲ、ＭＲ、ＸＲ応用に適合可能なヘッドマウントディスプレイ（ＨＭＤ）又はデジタル眼鏡であることができるが、これに限定されない。

【0015】

ホストディスプレイ１１０は、ＬＣＤ、ＬＥＤディスプレイ、ＯＬＥＤディスプレイ、又は他のディスプレイであってよい。１つの実施形態において、ホストディスプレイ１１０は、例えば、プロセッサ１７０から送信された画像、仮想現実画像、映像、又は写真である、データを表示するために用いられる。１つの実施形態において、ホストディスプレイ１１０は主装置に組み込まれてよい。いくつかの実施形態において、ホストディスプレイ１１０は（スマートフォン、タブレット等といった）外部装置のディスプレイであってよく、外部装置はＨＭＤの本体に置かれることができる。

【0016】

モーションセンサ１３０は、加速度計、ジャイロスコープ、磁力計、レーザセンサ、慣性測定ユニット（ＩＭＵ）、赤外線（ＩＲ）センサ、画像センサ、深度カメラ、又は上記のセンサの任意の組合せであってよい。１つの実施形態において、モーションセンサ１３０は、モーションセンサ１３０の感知結果（例えば、カメラ画像、感知強度値等）からモーション感知データを生成するため、ホスト装置１００又はシステム１の動きを感知するために用いられる。１つの例として、モーション感知データは、３－ＤｏＦ（Ｄｅｇｒｅｅ ｏｆ Ｆｒｅｅｄｏｍ：自由度）データを含み、３－ＤｏＦデータは、ヨー、ロール、ピッチの加速度といった、３次元（３Ｄ）空間におけるユーザの頭部の回転データに関連する。もう１つの例として、モーション感知データは、６－ＤｏＦデータを含む。３－ＤｏＦデータと比較し、６－ＤｏＦデータは、サージ、ヒーブ、スウェイの加速度といった、３つの垂直軸におけるユーザの頭部の変位に更に関連する。もう１つの例として、モーション感知データは、２次元／３次元空間におけるユーザの頭部の相対位置及び／又は変位を含む。いくつかの実施形態において、モーションセンサ１３０はホスト装置１００と接続される手持ち型コントローラ又は装着型装置に組み込まれるか、又は、ホスト装置１００に組み込まれることができる。

【0017】

メモリ１５０は、固定又は取り外し可能なランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、類似のデバイス、又は上記デバイスの組合せの如何なる類別であってもよい。メモリ１５０は、プログラムコード、デバイス構成、バッファデータ、又は、（モーション感知データ、３次元コンテンツ、又は画像フレームといった）永続的データを記録し、これらデータについては後に紹介する。

【0018】

プロセッサ１７０は、ホストディスプレイ１１０と、モーションセンサ１３０と、メモリ１５０とに連接される。プロセッサ１７０は、本発明の例示的な実施形態の手順を実行するため、メモリ１５０に格納されたプログラムコードをロードするよう構成される。

【0019】

いくつかの実施形態において、プロセッサ１７０は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、画像処理装置（ＧＰＵ）、デジタル信号処理（ＤＳＰ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）であってよい。プロセッサ１７０の機能は、独立した電子デバイス又は集積回路（ＩＣ）により実装されてもよく、プロセッサ１７０の動作はソフトウェアにより実装されてもよい。

【0020】

図１Ｂは、本発明の例示的な実施形態の１つによるソフトウェア構造を表すブロック図である。プロセッサ１７０は、対応するプログラムコードをロードし、１以上の描画エンジン１７１と合成プラグイン１７３とを実行する。描画エンジン１７１は、３次元モデルを２次元画像に変換する３次元コンピュータグラフィックス処理である、３次元描画処理を実行する。いくつかの実施形態において、描画エンジン１７１により変換された２次元画像は、３次元仮想環境における位置情報を含む。合成プラグイン１７３は、描画エンジン１７１から出力された２以上の画像フレームをブレンド又は組み合わせる。

【0021】

１つの実施形態において、ホスト装置１００は、ホストディスプレイ１１０と、モーションセンサ１３０と、メモリ１５０と、プロセッサ１７０とを含み、有線接続、無線接続、又はデータを送信できる任意の通信の種類を介し、サーバ３０又はクライアントデバイス１０と通信する。いくつかの実施形態において、プロセッサ１７０は、ホストディスプレイ１１０とモーションセンサ１３０と共に同一の装置に設けられなくてもよい。ただし、ホストディスプレイ１１０、モーションセンサ１３０、プロセッサ１７０をそれぞれ搭載する装置は、互いにデータを送受信するため、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、赤外線無線通信といった、互換性のある通信技術を有する通信トランシーバ、又は物理的な伝送路を更に含んでよい。例えば、モーションセンサ１３０がホスト装置１００の外部に設けられるのに対し、ホストディスプレイ１１０とプロセッサ１７０とはホスト装置１００に設けられてよい。もう１つの例として、ホストディスプレイ１１０とモーションセンサ１３０が演算装置の外部に設けられるのに対し、プロセッサ１７０は演算装置内に設けられてよい。

【0022】

本発明の１以上の実施形態において提供される動作処理をより理解し易くするよう、システム１の動作処理を詳述するため、いくつかの実施形態を以下に例示する。システム１内のデバイスとモジュールは、ここで提供される仮想環境を描画する方法を説明するため、次の実施形態において応用される。該方法の各ステップは、実際の実装状況に応じて調整でき、ここで説明されるものに限定されるべきではない。

【0023】

図２は、本発明の例示的な実施形態の１つによる仮想環境を描画する方法を表すフロー図である。図２を参照し、プロセッサ１７０は、複数のデジタルコンテンツを取得してよい（ステップＳ２１０）。具体的には、該デジタルコンテンツは、３次元仮想環境における現実の又は仮想の３次元シーン、アバター、映像、写真、又は他の仮想オブジェクトであってよい。映像又は写真ファイルは、３次元仮想環境における対応する表面テクスチャを生成するため、デコーダによりデコードされてよい。３次元仮想環境は、ゲーム環境、仮想社会環境、又は仮想会議であってよい。１つの実施形態において、デジタルコンテンツは、アクセス制御保護のない第１のコンテンツと、アクセス制御保護を有する第２のコンテンツとを含む。アクセス制御保護は、デジタル著作権管理（ＤＲＭ）又は他の著作権関連管理技術といった、デジタルコンテンツのアクセス制御に関連する。デジタルコンテンツのアクセス制御は、年齢分類、メンバー等級分類、管理分類、またはその他のアクセス制御管理の種類に関連してよい。いくつかの実施形態において、アクセス制御保護を有する第２のコンテンツは、ホストディスプレイ１１０上には提示されるが、クライアントデバイス１０には提示されない。例えば、第２のコンテンツがクライアントデバイス１０上で表示されることが許可されていない場合、クライアントデバイス１０上には空白又は全黒色フレームが提示される。１つの実施形態において、第１のコンテンツは３次元シーンであり、第２のコンテンツはアクセス制御保護を有する映像である。いくつかの実施形態において、第１のコンテンツと第２のコンテンツは、同一の３次元仮想環境における如何なるオブジェクト又は３次元モデルであってもよい。

【0024】

プロセッサ１７０は、デジタルコンテンツを複数の画像フレームにそれぞれ描画してよい（ステップＳ２３０）。具体的には、クライアントデバイス１０又はホストディスプレイ１１０上に３次元仮想環境を提示するため、プロセッサ１７０は３次元描画処理を実行してよい。３次元描画処理は、３次元モデルを２次元画像に変換する３次元コンピュータグラフィックス処理である。３次元描画処理は、例えば、アプリケーションステージ、ジオメトリ処理ステージ、およびラスタライゼーションステージを含んでよい。アプリケーションステージにおいて、例えば、入力デバイスを介した又はアニメーションの間のユーザインタラクションにより、必要に応じてシーンに改変を加えられる。ジオメトリ変換ステージにおいて、ポリゴンとそれらの頂点の処理が実行される。ジオメトリ処理ステージは、例えば、頂点シェーディング、プロジェクション、クリッピング、スクリーンマッピングである。ラスタライゼーションステージにおいて、グリッドポイントである離散フラグメントは、ジオメトリ処理ステージから出力された連続プリミティブから作成される。

【0025】

１つの実施形態において、プロセッサ１７０は、モーションセンサ１３０から取得されたホスト装置１００又はシステム１のモーション感知データに応じて、画像フレームを生成してよい。ジオメトリ処理ステージにおいて、３次元仮想環境における、ユーザを代表する、ビューワーが定義される。プロセッサ１７０は、そこからシーンが描画される、ビューワーの視界の位置と方向を判定するため、ホスト装置１００のモーション感知データを用いる。例えば、ユーザの頭部が動いた又は回転した場合、視界の３次元シーンも変化してよく、描画処理から出力された画像フレームも、ホスト装置１００又はシステム１の動き又は回転に伴い変化してよい。

【0026】

１つの実施形態において、デジタルコンテンツを描画するため、１以上の３次元描画エンジンがプロセッサ１７０により提供される。いくつかの実施形態において、１つのマスタ3次元描画エンジンと、１以上のスレーブ３次元描画エンジンとが提供される。マスタ３次元描画エンジンは、アクセス制御保護のない第１のコンテンツを描画するために用いられ、スレーブ３次元描画エンジンは、アクセス制御保護を有する第２のコンテンツを描画するために用いられる。例えば、マスタ３次元描画エンジンは３次元シーンを画像フレームに描画し、スレーブ３次元描画エンジンはアクセス制御保護を有する映像を画像フレームに描画する。

【0027】

図３は、本発明の例示的な実施形態の１つによるエンジン構造３を表す概略図である。図３を参照し、エンジン構造３は、マスタ３次元描画エンジン３１と、１以上のスレーブ３次元描画エンジン３３１～３３ｎとを含み、ｎは正の数であり、スレーブ３次元描画エンジン３３１～３３ｎの数量である。アクセス制御保護を有する第２のコンテンツが３次元仮想環境に存在しない場合、マスタ３次元描画エンジンがアクセス制御保護のない第１のコンテンツを画像フレームに描画するのみであり、出力された画像フレームはフレームバッファ３５に格納される。アクセス制御保護を有する第２のコンテンツが３次元仮想環境に存在する場合、マスタ３次元描画エンジン３１は、第２のコンテンツをスレーブ３次元描画エンジン３３１に送信してよい。マスタ３次元描画エンジン３１と複数のスレーブ３次元描画エンジン３３１～３３ｎは、それぞれデジタルコンテンツを描画してよい。いくつかの実施形態において、異なる３次元描画エンジン３３１～３３ｎは、異なるフォーマット、異なる保護プロトコル、又は異なる解像度で、デジタルコンテンツを描画してよい。３次元描画エンジン３３１～３３ｎの性能と機能とに基づき、１以上の第２のコンテンツが対応する３次元描画エンジンに順に送信されてよく、これにより各３次元描画エンジン３３１～３３ｎは、３次元描画エンジン３３１～３３ｎの性能と機能とによって、対応する第２のコンテンツを描画する。即ち、第２のコンテンツは３次元描画エンジン３３１から３次元描画エンジン３３２へと送信されてよい。次いで、最後の３次元描画エンジン３３ｎが全ての第２のコンテンツの画像フレームをフレームバッファ３５へ出力する。

【0028】

図４は、本発明の例示的な実施形態の１つによる、もう１つのエンジン構造４を表す概略図である。図４を参照し、エンジン構造４は、マスタ３次元描画エンジン４１と、複数のスレーブ３次元描画エンジン４３１～４３ｍと、複数のフレームバッファ４５とを含み、ｍは正の数であり、スレーブ３次元描画エンジン４３１～４３ｍの数量である。エンジン構造３と４との差異は、各スレーブ３次元描画エンジン４３１～４３ｍがそれに対応するフレームバッファ４５に画像フレームを出力する点である。

【0029】

１つの実施形態において、フレームバッファ４５から出力された異なるデジタルコンテンツに対応する画像フレームは、クライアントデバイス１０又はホストディスプレイ１１０上に表示されてよい。プロセッサ１７０は、クライアントデバイス１０に映像ストリーミングを提供するため、サーバ３０に画像フレームをアップロードしてよい。ＨＭＤについては、プロセッサ１７０はユーザの両目のための画像フレームをそれぞれ更に生成し、両目のための画像フレームをワープしてよい。

【0030】

同一の３次元仮想環境内の複数のデジタルコンテンツが別々に描画されるため、プロセッサ１７０は、特定のディスプレイに共有される又は表示される特定のデジタルコンテンツのための画像フレームを判定できる。いくつかの実施形態において、プロセッサ１７０は、デジタルコンテンツの種類、コンテンツ共有要件、又は他の設計要件に基づき、複数のデジタルコンテンツを別々に描画するか否かを判定してよい。例えば、１つのデジタルコンテンツがＤＲＭで暗号化されたタイプの場合、プロセッサ１７０は同一の３次元仮想環境内の複数のデジタルコンテンツを別々に描画すると判定してよい。もう１つの例において、１つのデジタルコンテンツがクライアントデバイス１０と共有されるよう要求された場合、プロセッサ１７０は同一の３次元仮想環境内の複数のデジタルコンテンツを別々に描画すると判定してよい。ただし、プロセッサ１７０は同一の３次元仮想環境内の複数のデジタルコンテンツを１つのコンテンツとして考慮することもでき、全てのデジタルコンテンツを一緒に画像フレームに描画できる。

【0031】

複数のデジタルコンテンツに対応する画像フレームを別々に提示することに加え、プロセッサ１７０は、３次元仮想環境におけるデジタルコンテンツの位置情報に応じて、複数のデジタルコンテンツにそれぞれ対応する画像フレームをブレンドしてよい（ステップＳ２５０）。具体的には、位置情報は、３次元仮想環境における他に対するデジタルコンテンツの絶対位置又はデジタルコンテンツの相対位置を含む。ジオメトリ処理ステージの投射影において、複数の３次元オブジェクトが２次元平面に射影される。デジタルコンテンツの位置情報に含まれる、３次元仮想環境におけるビューワーに対するこれら３次元オブジェクトの深度情報が、射影には必要である。２つのデジタルコンテンツが画像フレームにおいて重なる場合、プロセッサ１７０は、デジタルコンテンツのどの部分が画像フレームに提示されるべきかを判定するため、合成プラグイン１７３を介し、これらデジタルコンテンツの深度情報を用いてよい。デジタルコンテンツが画像フレーム内で重ならない場合、プロセッサ１７０は、合成プラグイン１７３を介し、デジタルコンテンツの位置情報に含まれる、ビューワーに対するこれらのデジタルコンテンツの左右の関係に基づき、全てのデジタルコンテンツに対応する画像フレームを直接組み合わせてよい。いくつかの実施形態において、メッシュ、シェーダー、変換、及びデジタルコンテンツを描画するために必要なその他のデータが、複数のデジタルコンテンツに対応する画像フレームの組合せに用いられてよい。同様に、複数のデジタルコンテンツに対応する画像フレームのブレンド結果は、クライアントデバイス１０及び／又はホストディスプレイ１１０上に表示されてよい。加えて、プロセッサ１７０は、ユーザの両眼のためのブレンド結果の画像フレームを更に生成し、両目のための画像フレームをワープしてよい。

【0032】

以下に、デジタルコンテンツを共有するシナリオを紹介する。図５は、本発明の例示的な実施形態の１つによるコンテンツを共有する方法を表すフロー図である。図５を参照し、プロセッサ１７０は、クライアントデバイス１０にデジタルコンテンツを共有するか否かを判定する（ステップＳ５１０）。例えば、デジタルコンテンツを共有するには、プレゼンテーション又はライブブロードキャスト要件を要する。加えて、デジタルコンテンツには、アクセス制御保護のない第１のコンテンツと、アクセス制御保護を有する第２のコンテンツを含む。デジタルコンテンツが共有されない場合、プロセッサ１７０は全てのデジタルコンテンツを１つのコンテンツと見なし、ステップＳ２５０のブレンド処理なしに、全てのデジタルコンテンツを画像フレームに直接描画してよく（ステップＳ５２０）、描画結果がホストディスプレイ１１０上に表示されることができる（ステップＳ５６０）。ユーチューバーがホストディスプレイ１１０を保持し、他のクライアントがクライアントデバイス１０を見ると仮定する。いくつかの実施形態において、アクセス制御保護を有する第２のコンテンツが存在しない場合、プロセッサ１７０は、画像フレームをブレンドすることなく、単に第１のコンテンツのみをホストディスプレイ１１０上に表示されるために用いられる画像フレームに描画してよい。

【0033】

一方、デジタルコンテンツが共有される予定である場合、プロセッサ１７０は、アクセス制御保護のない第１のコンテンツに対応する画像フレームの第１のフレーム（即ち、非保護フレーム）と、アクセス制御保護を有する第２のコンテンツに対応する画像フレームの第２のフレーム（即ち、保護フレーム）を生成するため、第１と第２のコンテンツをそれぞれ描画してよい（ステップＳ５３０）。プロセッサ１７０は、アクセス制御保護を有する第２のコンテンツに対応する画像フレームの第２のフレームを送信することなく、アクセス制御保護のない第１のコンテンツに対応する画像フレームの第１のフレーム（即ち、非保護フレーム）をクライアントデバイス１０に送信してよい。この実施形態において、第１のコンテンツに対応する非保護フレームはサーバ３０にアップロードされ（ステップＳ５４０）、次いで、非保護フレームはストリーミングによりクライアントデバイス１０上に提示されることができる（ステップＳ５５０）。一方、プロセッサ１７０は、合成プラグイン１７３を介し、ステップＳ２５０のように第１と第２のコンテンツに対応する画像フレームをブレンドする（ステップＳ５４５）。次いで、非保護フレームと保護フレームのブレンド結果がホストディスプレイ１１０上に表示されることができる（ステップＳ５６０）。

【0034】

まとめると、上記の例示的な実施形態は、仮想環境を描画する方法及びシステムを描写している。同一の仮想環境における複数のデジタルコンテンツは、別々に描画されることができる。加えて、複数のデジタルコンテンツに対応する画像フレームは、仮想環境におけるデジタルコンテンツの位置情報に基づき組み合わされることができる。従って、異なるデジタルコンテンツの描画結果が、異なるディスプレイ上で提示されることができる。アクセス制御の保護を有する１つのデジタルコンテンツが存在する場合、保護のない他のデジタルコンテンツが他のディスプレイと共有されることができる。

【0035】

当業者にとって、本発明の範囲又は精神から逸脱することなく、本発明の構造に様々な改変と変形を行うことができることは明らかであろう。上記を鑑み、本発明は、以下の特許請求の範囲及びそれらの均等物の範囲内にあるという条件で、本発明の改変及び変形を網羅することを意図している。

【産業上の利用可能性】

【0036】

本発明の仮想環境を描画する方法及びシステムは、デジタルコンテンツ管理に応用することができる。

【符号の説明】

【0037】

１：システム
１０：クライアントデバイス
３０：サーバ
１００：ホスト装置
１１０：ホストディスプレイ
１３０：モーションセンサ
１５０：メモリ
１７０：プロセッサ
１７１：描画エンジン
１７３：合成プラグイン
Ｓ２１０～Ｓ２５０、Ｓ５１０～Ｓ５６０：ステップ
３、４：エンジン構造
３１、４１：マスタ３次元描画エンジン
３１１～３１ｎ、４３１～４３ｍ：スレーブ３次元描画エンジン
３５、４５：フレームバッファ

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】