特表 2024-523729 ３Ｄ環境におけるリアルタイム光線追跡のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-28

(54)【発明の名称】３Ｄ環境におけるリアルタイム光線追跡のためのシステム及び方法

(51)【国際特許分類】

   G06T 15/00 20110101AFI20240621BHJP

   G06T 19/00 20110101ALN20240621BHJP

【ＦＩ】

G06T15/00

G06T19/00 600

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024501143

(86)(22)【出願日】2022-06-30

(85)【翻訳文提出日】2024-02-16

(86)【国際出願番号】 EP2022068106

(87)【国際公開番号】W WO2023285161

(87)【国際公開日】2023-01-19

(31)【優先権主張番号】21305995.9

(32)【優先日】2021-07-16

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(74)【代理人】

【識別番号】110002848

【氏名又は名称】弁理士法人ＮＩＰ＆ＳＢＰＪ国際特許事務所

(72)【発明者】

【氏名】ルー、ヘーチー

(72)【発明者】

【氏名】ヒルツリン、パトリス

(72)【発明者】

【氏名】タリオール、フランソワ－ルイ

(72)【発明者】

【氏名】ヴィギエ、クレマン

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA09

5B050DA04

5B050EA07

5B050EA19

5B050FA05

(57)【要約】

３Ｄシーンをレンダリングするための方法及びシステムが開示される。ビデオの３Ｄシーン内の１つ以上のオブジェクトについてパラメータのセットが識別される。識別されたパラメータのセットに基づいて、３Ｄシーン内の１つ以上のオブジェクトのそれぞれについて中間構造及び対応するオブジェクトが決定される。決定された中間構造及び古典的加速構造に基づいてハイブリッド加速構造が決定される。ハイブリッド加速構造に対して色寄与が決定される。次いで、ハイブリッド加速構造の決定された色寄与に基づいて３Ｄシーンがレンダリングされる。

【特許請求の範囲】

【請求項1】

ビデオの３Ｄシーン内の１つ以上のオブジェクトについてパラメータのセットを識別することと、
前記識別されたパラメータのセットに基づいて、前記３Ｄシーン内の前記１つ以上のオブジェクトのそれぞれについて中間構造及び対応する代替オブジェクトを決定することと、
前記決定された中間構造及び古典的加速構造に基づいてハイブリッド加速構造を決定することと、
前記決定されたハイブリッド加速構造に対する色寄与を決定することと、
前記ハイブリッド加速構造の前記決定された色寄与に基づいて前記ビデオの前記３Ｄシーンをレンダリングすることを提供することと、を含む方法。

【請求項2】

前記識別されたパラメータのセットは、単純な形状、離れたオブジェクト、複雑な形状、内部反射を必要とする形状、及び反射オブジェクト付近のオブジェクトのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項3】

前記中間構造は識別子を含む、請求項１又は２に記載の方法。

【請求項4】

前記識別子は色及び深度情報を含む、請求項３に記載の方法。

【請求項5】

前記中間構造は、アレイカメラ投影行列を使用して決定される、いずれかの先行請求項に記載の方法。

【請求項6】

前記対応する代替オブジェクトはジオメトリデータを含む、請求項１に記載の方法。

【請求項7】

前記ジオメトリデータは、プリミティブ形状についての中心位置、並びにｘ、ｙ及びｚ拡張値のうちの少なくとも１つである、請求項６に記載の方法。

【請求項8】

前記古典的加速構造は、グリッド構造、バウンディングボリューム階層（ＢＶＨ）構造、ｋ次元ツリー構造及びバイナリ空間分割データ構造のうちの１つである、いずれかの先行請求項１に記載の方法。

【請求項9】

ビデオの３Ｄシーンをレンダリングするためのデバイスであって、
前記ビデオの３Ｄシーン内の１つ以上のオブジェクトについてパラメータのセットを識別することと、
前記識別されたパラメータのセットに基づいて、前記３Ｄシーン内の前記１つ以上のオブジェクトのそれぞれについて中間構造及び対応する代替オブジェクトを決定することと、
前記決定された中間構造及び古典的加速構造に基づいてハイブリッド加速構造を決定することと、
前記決定されたハイブリッド加速構造に対する色寄与を決定することと、
前記ハイブリッド加速構造の前記決定された色寄与に基づいて前記ビデオの前記３Ｄシーンをレンダリングすることを提供することと、を行うように構成された少なくとも１つのプロセッサを備える、デバイス。

【請求項10】

前記識別されたパラメータのセットは、単純な形状、離れたオブジェクト、複雑な形状、内部反射を必要とする形状、及び反射オブジェクト付近のオブジェクトのうちの少なくとも１つを含む、請求項９に記載のデバイス。

【請求項11】

前記中間構造は識別子を含む、請求項９又は１０に記載のデバイス。

【請求項12】

前記識別子は、色及び深度情報を含む、請求項１１に記載のデバイス。

【請求項13】

前記中間構造は、アレイカメラ投影行列を使用して決定される、請求項９～１２のいずれか一項に記載のデバイス。

【請求項14】

前記対応する代替オブジェクトはジオメトリデータを含む、請求項９～１３のいずれか一項に記載のデバイス。

【請求項15】

前記ジオメトリデータは、プリミティブ形状についての中心位置、並びにｘ、ｙ及びｚ拡張値のうちの少なくとも１つである、請求項１４に記載のデバイス。

【請求項16】

前記古典的加速構造は、グリッド構造、バウンディングボリューム階層（ＢＶＨ）構造、ｋ次元ツリー構造及びバイナリ空間分割データ構造のうちの１つである、請求項９～１５のいずれか一項に記載のデバイス。

【請求項17】

実行されたときに請求項１～８のいずれか一項に記載の方法をプロセッサに実施させる命令を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、拡張現実（augmented reality、ＡＲ）アプリケーションに関する。少なくとも１つの実施形態は、例えば、３Ｄ環境のライブビデオフィードなどのビデオ内の仮想オブジェクトの配置に関する。

【背景技術】

【0002】

従来、光線追跡は、アニメーション映画の作成、又は種々の材料における光の挙動をより忠実にモデル化する２Ｄ画像の作成など、高品質の非リアルタイムグラフィックスレンダリングタスクに使用される技法である。一例として、光線追跡は、レンダリングされた画像に照明効果を導入するのに特に適している。シーンに対して、当該シーン内のオブジェクトに光を投射する光源を定義することができる。いくつかのオブジェクトは、他のオブジェクトを光源から遮蔽することにより、シーン内に影を生じさせる場合がある。光線追跡技法を使用するレンダリングでは、光線追跡がシーン内の光の挙動をモデル化するように適合されるため、光源の効果を正確にレンダリングすることができる。

【0003】

光線追跡レンダリング技法は、特にレンダリングがリアルタイムで実行されることが望まれる場合、実施するのに比較的計算コストがかかり、かつメモリ負荷が高いことが多い。したがって、光線追跡技法は、携帯電話、タブレット、ディスプレイ用のＡＲメガネ、及びビデオキャプチャ用の組み込みカメラのようなデバイス上で実施するのは困難である。本明細書の実施形態は、以上のことを念頭に置いて考案されたものである。

【発明の概要】

【0004】

本開示は、ビデオ、例えばライブビデオフィードの３Ｄシーンをレンダリングするための方法を対象とする。本方法は、例えば、携帯電話、タブレット、ディスプレイ用のＡＲメガネ、及びビデオキャプチャ用の組み込みカメラなどのデバイス上での実施を考慮することができる。

【0005】

本開示の第１の態様によれば、ビデオの３Ｄシーンをレンダリングするための方法であって、
ビデオの３Ｄシーン内の１つ以上のオブジェクトについてパラメータのセットを識別することと、
識別されたパラメータのセットに基づいて、３Ｄシーン内の上記１つ以上のオブジェクトのそれぞれについて中間構造及び対応する代替オブジェクトを決定することと、
決定された中間構造及び古典的加速構造に基づいてハイブリッド加速構造を決定することと、
決定されたハイブリッド加速構造に対する色寄与を決定することと、
ハイブリッド加速構造の上記決定された色寄与に基づいてビデオの上記３Ｄシーンをレンダリングすることを提供することと、を含む方法が提供される。

【0006】

提案された解決策の一般的原理は、ビデオの３Ｄシーン内の複雑な形状を有する非平面、光沢及び／又は屈折オブジェクトのレンダリングに関する。複雑な形状のオブジェクトに対する高品質な反射は、ビデオの３Ｄシーンの各オブジェクトについて定義されたレンダリング品質レベルに基づいてハイブリッド加速構造を使用することによって達成される。

【0007】

実施形態では、パラメータのセットは、単純な形状、離れたオブジェクト、複雑な形状、内部反射を必要とする形状、及び反射オブジェクト付近のオブジェクトのうちの少なくとも１つを含む。

【0008】

実施形態では、中間構造は識別子を含む。

【0009】

実施形態では、識別子は色及び深度情報を含む。

【0010】

実施形態では、中間構造は、アレイカメラ投影行列を使用して決定される。

【0011】

実施形態では、対応する代替オブジェクトはジオメトリデータを含む。

【0012】

実施形態では、ジオメトリデータは、プリミティブ形状についての中心位置、並びにｘ、ｙ及びｚ拡張値のうちの少なくとも１つである。

【0013】

実施形態では、古典的加速構造は、グリッド構造、バウンディングボリューム階層（bounding volume hierarchy、ＢＶＨ）構造、ｋ次元ツリー構造及びバイナリ空間分割データ構造のうちの１つである。

【0014】

本開示の第２の態様によれば、ビデオの３Ｄシーンをレンダリングするためのデバイスであって、
ビデオの３Ｄシーン内の１つ以上のオブジェクトについてパラメータのセットを識別することと、
識別されたパラメータのセットに基づいて、３Ｄシーン内の上記１つ以上のオブジェクトのそれぞれについて中間構造及び対応する代替オブジェクトを決定することと、
決定された中間構造及び古典的加速構造に基づいてハイブリッド加速構造を決定することと、
ハイブリッド加速構造の上記決定された色寄与に基づいてビデオの上記３Ｄシーンをレンダリングすることを提供することと、を行うように構成された少なくとも１つのプロセッサを備えるデバイスが提供される。

【0015】

実施形態では、パラメータのセットは、単純な形状、離れたオブジェクト、複雑な形状、内部反射を必要とする形状、及び反射オブジェクト付近のオブジェクトのうちの少なくとも１つを含む。

【0016】

実施形態では、中間構造は識別子を含む。

【0017】

実施形態では、識別子は色及び深度情報を含む。

【0018】

実施形態では、中間構造は、アレイカメラ投影行列を使用して決定される。

【0019】

実施形態では、対応する代替オブジェクトはジオメトリデータを含む。

【0020】

実施形態では、ジオメトリデータは、プリミティブ形状についての中心位置、並びにｘ、ｙ及びｚ拡張値のうちの少なくとも１つである。

【0021】

実施形態では、古典的加速構造は、グリッド構造、バウンディングボリューム階層（ＢＶＨ）構造、ｋ次元ツリー構造及びバイナリ空間分割データ構造のうちの１つである。

【0022】

本開示の要素によって実施されるいくつかのプロセスは、コンピュータ実施され得る。したがって、かかる要素は、全体がハードウェアの実施形態、全体がソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む）、又は本明細書で全てが一般的に「回路」、「モジュール」、若しくは「システム」と称され得るソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態をとり得る。更に、かかる要素は、媒体内に具現化されたコンピュータ使用可能コードを有する表現の任意の有形媒体内に具現化されたコンピュータプログラム製品の形態をとり得る。

【0023】

本開示の要素はソフトウェアで実装することができるため、本開示は、プログラム可能な装置に提供するためのコンピュータ可読コードとして任意の好適なキャリア媒体に具現化することができる。有形のキャリア媒体には、フロッピーディスク、ＣＤ－ＲＯＭ、ハードディスクドライブ、磁気テープデバイス、又は固体メモリデバイスなどのような記憶媒体が含まれ得る。一時的キャリア媒体には、電気信号、光信号、音響信号、磁気信号、又は電磁信号、例えば、マイクロ波若しくはＲＦ信号、などの信号が含まれ得る。

【図面の簡単な説明】

【0024】

実施形態の他の特徴及び利点は、一例として及び非網羅的な実施例として与えられる以下の説明から、並びに添付図面から明らかになるであろう。

【図1】本開示の実施形態による、ビデオの３Ｄシーンをレンダリングするための例示的なシステムを示す。

【図2】ＡＲ（拡張現実）又はＭＲ（複合現実）アプリケーションの仮想オブジェクトを現実世界の３Ｄ環境内にレンダリングするための、提案された方法の特定の実施形態のフローチャートである。

【図3】仮想カメラの位置、及び典型的なＡＲシーンをキャプチャする実カメラの位置を示す図である。

【図4】古典的加速構造に中間構造を追加することによってハイブリッド加速構造を構築するためのフローチャートである。

【図5】空間分割ノードにソートされたプリミティブを含む例示的な古典的加速構造の図である。

【図6】青オブジェクトのみが３Ｄシーンのフレームについて低品質レンダリングオブジェクトとして分類される、結果として得られたハイブリッド加速構造の図である。

【図7】青オブジェクトと緑オブジェクトの両方が３Ｄシーンのフレームについて低品質レンダリングオブジェクトとして分類される、結果として得られたハイブリッド加速構造の図である。

【図8】ハイブリッド加速構造の中間加速構造を支援するために古典的加速構造のノードに追加されたステップのフローチャートである。

【図9】図８に示したフローチャートのステップ８３０を詳細に示すフローチャートである。

【図10】図３に示した鳥についてのターゲットプロキシ交差点の深度と読み取られたジオメトリ深度との比較を示す図である。

【図11】図６のハイブリッド加速構造の一部の光線横断を描写した図である。

【図12】図６のハイブリッド加速構造の別の一部の光線横断を描写した図である。

【発明を実施するための形態】

【0025】

図１は、本開示の一実施形態による、ビデオの３Ｄシーンをレンダリングするための例示的な装置を示す。図１は、例示的な実施形態の様々な態様が実装され得る、例示的なシステム１００のブロック図を示す。システム１００は、以下で説明される様々な構成要素を含むデバイスとして組み込まれてもよく、対応するプロセスを実行するように構成される。そのようなデバイスの例には、モバイルデバイス、スマートフォン、タブレットコンピュータ、ディスプレイ用の拡張現実メガネ、及びビデオキャプチャ用の組み込みカメラが含まれるが、これらに限定されない。システム１００は、通信チャネルを介して他の同様のシステム及びディスプレイに通信可能に結合されてもよい。

【0026】

システム１００の様々な実施形態は、後述するような様々なプロセスを実施するために内部にロードされた命令を実行するように構成された少なくとも１つのプロセッサ１１０を含む。プロセッサ１１０は、内蔵メモリ、入出力インターフェース、及び当該技術分野で既知であるような様々な他の回路を含んでもよい。システム１００はまた、少なくとも１つのメモリ１２０（例えば、揮発性メモリデバイス、不揮発性メモリデバイス）を含んでもよい。システム１００は、更に記憶デバイス１４０を含んでもよい。この記憶デバイスは、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ及び／又は光ディスクドライブを含むが、これらに限定されない不揮発性メモリを含んでもよい。記憶デバイス１４０は、非限定的な例として、内部記憶デバイス、取り付け型記憶デバイス及び／又はネットワークアクセス可能な記憶デバイスを含み得る。

【0027】

本明細書の以下で説明される様々なプロセスを実行するために１つ以上のプロセッサ１１０上にロードされるプログラムコードは、記憶デバイス１４０内に記憶され、その後、プロセッサ１１０による実行のためにメモリ１２０上にロードされ得る。例示的な実施形態によれば、プロセッサ（複数可）１１０、メモリ１２０及び記憶デバイス１４０のうちの１つ以上は、本明細書で後述するプロセスの実行中に、周囲画像、キャプチャされた入力画像、テクスチャマップ、テクスチャフリーマップ、キャストシャドウマップ、３Ｄシーンジオメトリ、視点の３Ｄポーズ、照明パラメータ、変数、演算、及び演算ロジックを含むがこれらに限定されない様々な項目のうちの１つ以上を記憶し得る。

【0028】

システム１００はまた、通信インターフェース１５０を含んでもよく、この通信インターフェースにより、通信チャネルを介した他のデバイスとの通信が可能になる。通信インターフェース１５０は、通信チャネルからデータを送信及び受信するように構成された送受信機を含み得るが、それに限定されない。通信インターフェース１５０は、限定されるものではないが、モデム又はネットワークカードを含んでもよく、通信インターフェースは、有線及び／又は無線媒体内に実装され得る。通信インターフェース１５０の様々な構成要素は、内部バス、ワイヤ及びプリント回路基板を含むがこれらに限定されない様々な適切な接続を用いて互いに接続又は通信可能に結合され得る（図示せず）。

【0029】

システム１００はまた、ビデオ画像をキャプチャするためにプロセッサに結合された、カメラなどのビデオキャプチャデバイス１６０を含む。

【0030】

システム１００はまた、３Ｄシーンをレンダリングするためにプロセッサに結合された、プロジェクタ又はスクリーンなどのビデオレンダリングデバイス１７０を含む。

【0031】

例示的な実施形態は、プロセッサ１１０によって、又はハードウェアによって、又はハードウェアとソフトウェアの組み合わせによって実装されたコンピュータソフトウェアによって実施され得る。非限定的な例として、例示的な実施形態は、１つ以上の集積回路によって実装され得る。メモリ１２０は、技術的環境に適切な任意のタイプのものであってもよく、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ及びリムーバブルメモリなどの任意の適切なデータ記憶技術を使用して実装され得る。プロセッサ１１０は、技術的環境に適切な任意のタイプのものであってもよく、非限定的な例として、１つ以上のマイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサを包含し得る。

【0032】

本明細書で説明された実装形態は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装され得る。単一の形式の実装形態の文脈でのみ考察されている（例えば、方法としてのみ考察されている）場合でも、考察されている特徴の実装形態はまた、他の形式（例えば、装置又はプログラム）で実施されてもよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む、一般に処理デバイスを指す、例えばプロセッサなどの装置において実施され得る。プロセッサはまた、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、タブレット、ヘッドマウントデバイス、及び仮想現実アプリケーションを容易にする他のデバイスなどの通信デバイスを含む。

【0033】

本開示は、拡張現実（ＡＲ）アプリケーションに適用可能である。ＡＲアプリケーションにおいて、仮想オブジェクトは、例えば、携帯電話、タブレット、ディスプレイ用のＡＲメガネ、及びビデオキャプチャ用の組み込みカメラなどのシースルーデバイスを使用して、現実環境のライブビデオフィードに挿入される（合成される）。

【0034】

目標は、そのような複合されたビデオフィードを見ている視聴者が現実オブジェクトと仮想オブジェクトを区別できないことである。このようなアプリケーションでは、光の相互作用を一貫してリアルタイムでレンダリングしつつ３Ｄ仮想オブジェクトを２Ｄビデオ画像に統合する必要がある。現実世界のビデオへの仮想オブジェクトの挿入は、仮想オブジェクトの位置、仮想オブジェクトの向き（ユーザーがカメラを移動させたときにオブジェクトが現実の３Ｄ空間にフック／固定されたかのような動的精度）、及び照明条件（仮想オブジェクトの仮想材料特性に応じた種々の光源の反射／屈折）といった、いくつかの技術的側面を考慮して、可能な限り現実的であるべきである。

【0035】

複合された妥当なビデオフィード（リアルタイム条件でフレームごとに、２Ｄライブビデオフィードに挿入された合成３Ｄオブジェクトを伴う複合現実）をレンダリングするために共に複合された（合成された）現実世界と仮想世界の両方との相互作用も非常に重要である。このような相互作用は、例えば、非限定的な例として、光の相互作用（現実の光及び仮想の光によるグローバル照明）、並びに物理的相互作用（現実と仮想の両方のオブジェクト間の相互作用）を含み得る。

【0036】

要求されたコンピュータ処理の速度も重要である。ビデオカメラによる現実世界のシーンの単一フレームの取得と、対応する「拡張」フレーム（３Ｄオブジェクトを伴う）のディスプレイデバイスへの表示との間の待ち時間は、視聴者（カメラを使用する人物でもある）が没入体験を味わえるように、０ｍｓに近いことが必要である。

【0037】

図２は、ＡＲ（拡張現実）又はＭＲ（複合現実）アプリケーション内の仮想オブジェクトを現実世界の３Ｄ環境内に配置するための、提案された方法の特定の実施形態のフローチャート２００である。この特定の実施形態では、方法は、５つの連続するステップ２１０～２５０を含む。

【0038】

以下で説明する例示的な実装形態では、本方法は、レンダリングデバイス１７０（例えば、スマートフォン、タブレット又はヘッドマウントディスプレイ）によって実施される。代替の例示的な実装形態では、本方法は、レンダリングデバイス１７０の外部のプロセッサ１１０によって実施される。後者の場合、プロセッサ１１０からの結果は、レンダリングデバイス１７０に提供される。

【0039】

典型的なＡＲシーンの図を図３に示す。図３に示したシーンは、現実オブジェクト及び仮想オブジェクトを含む有形オブジェクトで構成される。現実オブジェクトである例示的な有形オブジェクトは、透明部分（ガラス）３１０を有する屈折パネルを含む。仮想オブジェクトであるいくつかの例示的な有形オブジェクトは、金属／光沢性の非平面を有する車３２０、鳥３３０及び木３４０を含む。

【0040】

現実性を増し、レンダリングを支援するために、追加の仮想オブジェクト（図示せず）をシーンに追加することができる。屈折パネル３１０と同じサイズ及び位置を有する現実の透明パネルを表す不可視の仮想屈折パネルは、非限定的な例である。

【0041】

以下の各節では、ＡＲ（拡張現実）又はＭＲ（複合現実）アプリケーションの仮想オブジェクトを現実世界の３Ｄ環境内に配置するための、図２の提案された方法２００の特定の実施形態について説明する。特定の実施形態は、様々なレンダリング態様を表示するＡＲシーンの各オブジェクトに高品質レンダリングを提供する。

【0042】

ステップ２１０において、ビデオの３Ｄシーンのオブジェクトについてパラメータのセットが識別される。このステップは、シーン内の光及びカメラ以外のオブジェクトについて必要であり、ＡＲシーンの事前知識に基づいている。シーン内のオブジェクトのそれぞれは、パラメータのセットに基づいて、ＡＲのコンテキストにおける現実オブジェクト又は仮想オブジェクトのいずれかとして識別される。

【0043】

パラメータのセットは、例えば、レンダリング品質レベル、環境重要度値、及びビデオのシーン内の反射／屈折オブジェクトの数に基づくＮ個の整数値のアレイを含み得る。

【0044】

レンダリング品質レベルは、１～３の整数値を割り当てることによってビデオのシーン内の各オブジェクトについて定義される。整数値１を有するレンダリング品質レベルは、低品質レンダリングを示し、単純な形状を有するオブジェクト又は離れたオブジェクトに割り当てられる。整数値２を有するレンダリング品質レベルは、高品質レンダリングを示し、複雑な形状を有するオブジェクト及び／又は内部反射を必要とするオブジェクトに割り当てられる。整数値３を有するレンダリング品質レベルは、低品質レンダリングと高品質レンダリングの両方を示し、シーンレンダリング中にレンダリング品質が変更される可能性がある複雑な形状を有するオブジェクトに割り当てられる。整数値３を有するレンダリング品質レベルが割り当てられ得る非限定的な例は、メインカメラ又は反射オブジェクトにより近くなるオブジェクトである。

【0045】

環境重要度は、３Ｄシーンの環境からのオブジェクトの色寄与に関連する。環境重要度値には、０～２の整数値が使用され得る。環境重要度値０は、環境からの色寄与がゼロ又は無視できることを示す。環境重要度値１は、環境からの色寄与が反射光線によって伝えられることを示す。環境重要度値２は、環境からの色寄与が反射光線及び屈折光線によって伝えられることを示す。適切なオブジェクトの環境重要度値を識別することは簡単である。

【0046】

Ｎ個の整数値のアレイのサイズは、シーン内にある反射／屈折オブジェクト（例えば、０とは異なる環境重要度を有するオブジェクト）の数に対応する。Ｎの整数値が大きいほど、関連する反射／屈折オブジェクトに関する選択済みオブジェクトのレンダリングが良好になる。Ｎ個の整数値は、関連する反射／屈折オブジェクトに関する選択済みオブジェクトについて生成される中間（ミドルフィールド）画像の数に対応する。

【0047】

Ｎ個の整数値のアレイは、選択済みオブジェクトの形状の複雑さ、並びに関連する反射／屈折オブジェクトに対するオブジェクトの位置及び距離に基づいて設定される。これらのパラメータが変更された場合、Ｎ個の整数値は変更される可能性がある。Ｎ個の整数値のアレイは、レンダリング品質と性能（例えば、メモリコスト、フレームレート）との間のトレードオフを最適化するために使用される。

【0048】

図３を参照して、３Ｄシーンオブジェクトのパラメータのセットについて以下で説明する。図３に描写されたシーンは、２つの反射／屈折オブジェクト、すなわち、車３２０及び屈折（ガラス）パネル３１０を有する。したがって、Ｎ個の整数値のアレイのサイズは２に等しい。アレイの第１の要素は、車３２０のアレイ値に対応する。アレイの第２の要素は、屈折（ガラス）パネル３１０のアレイ値に対応する。

【0049】

車３２０には、整数値２を有するレンダリング品質レベルが割り当てられる。車３２０は、内部反射のために高品質レンダリングとなる。自動車３２０は、反射光線からの色寄与があるため、環境重要度値１を有する。車３２０に関するＮ個の整数値のアレイは、［－１，１］である。車はそれ自体に色を寄与させることができないため、配列の第１の要素は－１に設定される。この値を－１に設定することで、この値が無関係になる。アレイの第２の要素は、車３２０から屈折（ガラス）パネル３１０への光線を収集するために、単一の中間（ミドルフィールド）画像が生成されることを示す。

【0050】

鳥３３０には、整数値３を有するレンダリング品質レベルが割り当てられる。鳥３３０は、シーンレンダリング中にレンダリング品質が変更され得る複雑な形状を有する。鳥３３０は、環境からの色寄与がないため、環境重要度値０を有する。鳥３３０に関するＮ個の整数値のアレイは［２，１］である。アレイの第１の要素は、鳥から反射性／光沢性の車３２０への光線を収集するために、２つの中間（ミドルフィールド）画像が使用されることを示す。アレイの第２の要素は、鳥３３０から屈折（ガラス）パネル３１０への光線を収集するために、単一の中間（ミドルフィールド）画像が生成されることを示す。

【0051】

屈折（ガラス）パネル３１０には、整数値２を有するレンダリング品質レベルが割り当てられる。屈折（ガラス）パネル３１０は、内部反射のために高品質レンダリングとなる。屈折（ガラス）パネル３１０は、反射光線と屈折光線の両方からの色寄与があるため、環境重要度値２を有する。屈折（ガラス）パネル３１０に関するＮ個の整数値のアレイは［１，－１］である。アレイの第１の要素は、屈折（ガラス）パネル３１０から車３２０への光線を収集するために、単一の中間（ミドルフィールド）画像が生成されることを示す。屈折（ガラス）パネル３１０はそれ自体に色を寄与させることができないため、配列の第２の要素は－１に設定される。このアレイ要素を－１に設定することで、この値が無関係になる。

【0052】

木３４０には、整数値１を有するレンダリング品質レベルが割り当てられる。木３４０は、離れたオブジェクトであるため、低品質レンダリングとなる。木３４０は、環境からの色寄与がないため、環境重要度値０を有する。木３４０に関するＮ個の整数値のアレイは［２，３］である。アレイの第１の要素は、木３４０から反射性／光沢性の車３２０への光線を収集するために、２つの中間（ミドルフィールド）画像が使用されることを示す。アレイの第２の要素は、木３４０から反射（ガラス）パネル３１０への光線を収集するために、３つの中間（ミドルフィールド）画像が生成されることを示す。

【0053】

図２のステップ２２０を参照すると、特定の一実施形態の場合、ステップ２１０からの識別されたパラメータのセットに基づいて、３Ｄシーン内の選択済みオブジェクト及び各選択済みオブジェクトの対応する代替（プロキシ）オブジェクトについて中間構造が決定される。ステップ２２０は、１又は３のレンダリング品質レベルを有し、かつゼロ以外の環境重要度を有するオブジェクトに適用可能である。このようなオブジェクトは、図８～９のフローチャートに関して後述するように、環境（例えば、周囲シーンのオブジェクト）からの色寄与を有することになる。

【0054】

例示的な一実施形態では、選択済みオブジェクトを表すために、対応する代替（プロキシ）オブジェクトが使用される。このステップの目的は、全ての潜在的な入射光線方向について低品質レンダリングオブジェクトを表すミドルフィールド画像及びプロキシを生成することである。生成された各ミドルフィールド画像は、固有識別子（ＩＤ）を有し、色及び深度情報を含む。非限定的な例として、固有識別子（ＩＤ）は、４つの浮動小数点成分（赤、緑及び青の色情報、並びに深度情報の値）のベクトルとして記憶することができる。

【0055】

１又は３のレンダリング品質レベルを有するオブジェクトの場合、対応する（プロキシ）オブジェクトは、例えばバウンディングボックス構造などのプリミティブ形状を有することが好ましい。プリミティブ形状は、３Ｄシーン内の光及びカメラ以外のオブジェクトのための領域を定義する。

【0056】

軸平行バウンディングボックス（axis-aligned bounding box、ＡＡＢＢ）として知られる１つの技法を使用して、プリミティブ形状を定義してもよい。ＡＡＢＢは、座標の比較しか必要としないため、遠く離れている座標を素早く除外できるという利点がある。

【0057】

所与の点集合（Ｓ）に対するＡＡＢＢは、通常、ボックスの辺が座標（デカルト）軸に平行であるという制約に従った最小領域である。これは、ｎ個の間隔のデカルト積であり、各間隔は、Ｓ内の点に対する対応する座標の最小値及び最大値によって定義される。

【0058】

中間構造が決定される選択済みオブジェクトは、ソースオブジェクトである。ソースオブジェクトは、ソースプロキシ（対応する代替）オブジェクトを有する。選択済みオブジェクトに対し、周囲シーンのオブジェクトがターゲットオブジェクトである。各ターゲットオブジェクトはまた、ターゲットプロキシ（対応する代替）オブジェクトを有する。

【0059】

ステップ２２０の終了時、低レンダリング品質レベルを有する各オブジェクトは、ミドルフィールドフィールド画像固有識別子（ＩＤ）のアレイ、これらのミドルフィールドフィールド画像をレンダリングするために使用される関連するカメラ投影行列のアレイ、並びにプロキシ（対応する代替）ジオメトリデータ（例えば、軸平行バウンディングボックス（ＡＡＢＢ）についての中心位置、ｘ、ｙ及びｚ拡張値）といった情報を記憶する。

【0060】

図２のステップ２３０を参照すると、ステップ２２０で決定された中間構造及び古典的加速構造に基づいてハイブリッド加速構造が決定される。ハイブリッド加速構造は、後述するように図４のフローチャートに従って生成される。古典的加速構造は、中間構造を支援するために追加される。

【0061】

図５は、３Ｄシーンについての三角形レンダリングプリミティブを伴う赤５０５、緑５１０及び青５１５のオブジェクト並びにその対応するバイナリツリー５２０を含む、例示的な古典的バウンディングボリューム階層（ＢＶＨ）加速構造の図である。この古典的加速構造は、例えば三角形などのプリミティブを空間分割ノードにソートし、そのようなノードを表現するための境界として単純な形状を使用する。この構成では、各プリミティブの交差をテストする代わりに、早期の光線ミスを検出することができる。このような手法により、一般に、光線プリミティブ交差テストが高速化される。

【0062】

図５を参照して、３つのオブジェクト５０５、５１０及び５１５が以下のように分けられていると仮定する。
青オブジェクト５１５：低品質レンダリング（すなわち、レンダリング品質レベル１）、
赤オブジェクト５０５：高品質レンダリング（すなわち、レンダリング品質レベル２）、
緑オブジェクト５１０：低品質レンダリングと高品質レンダリングの両方（すなわち、レンダリング品質レベル３）。

【0063】

図４のステップ４０５において、リーフノードが存在するかどうかについての判定が行われる。リーフノードが１つ以上の低品質レンダリングオブジェクトを含む場合（ステップ４１５）、オブジェクトミドルフィールドフィールド画像の固有識別子（ＩＤ）、投影行列及びプロキシデータがリーフノードに割り当てられる（ステップ４２０）。オブジェクトが低品質レンダリングオブジェクトである場合（ステップ４０５及び４１０）、このノードをリーフノードとして設定し（ステップ４２５）、オブジェクトミドルフィールドフィールド画像の固有識別子（ＩＤ）、投影行列及びプロキシデータをそのようなリーフノードに割り当てる（ステップ４３０）。リーフノードが高品質レンダリングオブジェクトである場合（ステップ４１５）、又はオブジェクトが高品質レンダリングオブジェクトである場合（ステップ４１０）、古典的加速ノードの構築が実行される（ステップ４３５）。

【0064】

図６は、青オブジェクト６１５のみが３Ｄシーンのフレームについて低品質レンダリングオブジェクトとして分類される、例示的なハイブリッド加速構造の図である。赤及び緑オブジェクト６０５、６１０は、３Ｄシーンのこのフレームについて高品質レンダリングオブジェクトとして分類される。結果として得られたハイブリッド加速構造の対応するバイナリツリー６２０も示されている。

【0065】

図７は、青オブジェクト７１５と緑オブジェクト７１０の両方が３Ｄシーンのフレームについて低品質レンダリングオブジェクトとして分類される、別の例示的なハイブリッド加速構造の図である。この例示的なハイブリッド加速構造では、赤オブジェクト７０５のみが、３Ｄシーンのこのフレームについて高品質レンダリングオブジェクトとして分類される。結果として得られたハイブリッド加速構造の対応するバイナリツリー７２０も示されている。

【0066】

図２のステップ２４０を参照すると、ステップ２３０で構成されたハイブリッド加速構造に基づいて、各選択済みオブジェクトに対する色寄与が決定される。ステップ２５０において、シーンの選択済みオブジェクトに関するハイブリッド加速構造に基づいて３Ｄシーンがレンダリングされる。３Ｄシーンのレンダリングは、光線追跡を使用してカメラ３５０（図３）によって実行される。

【0067】

光線追跡に一般的に使用される利用可能な光線タイプは以下の通りである。
－カメラ光線：カメラから出てくる最初の光線。
－二次光線：材料との相互作用（例えば、反射、屈折）のときに生成される（次の光線）。

【0068】

光線群の例示的な数学的定義は以下の通りである。

【0069】

【数1】

式中、群内の光線（Ｒｉ）について、Ｐは群内の光線の原点又は目的地であり、光線の数は交差するジオメトリ群を表す画像の数に対応する。θ、ψは光線の回転であり、Ｗは群内の光線の発散を表すローブサイズの近似値である。

【0070】

ローブ（Ｗ）が大きいほど、光線がカメラ光線である場合には光線群がより不鮮明になる／アンチエイリアシングされる。ローブ（Ｗ）が大きいほど、光線が二次光線（反射／屈折）である場合には光線群が粗くなり、光線が陰光線である場合には光線群が軟らかくなる。最小ローブサイズは、発散０に等しい。そのような場合、ドメイン（カメラ光線、反射光線、屈折光線、影光線）をサンプリングするのに１本の光線で十分であるため、ミドルフィールド画像についてｎ＝１となる。

【0071】

カメラ主光線に対し、カメラ主光線のレンダリングは、カメラに取り付けられたミドルフィールド構造をアクティブ化することによって実行される。生成される画像は、カメラで見られたシーンのラスタライズ画像に対応する。各画像ピクセルの内容は、最も近いヒットオブジェクトの色情報（例えば、赤、緑及び青の色値）を記憶する３つの浮動小数点成分のベクトルである。

【0072】

二次光線に対し、レンダリングは、現在のカメラからの各可視オブジェクトについて実行される。この可視性を決定するための１つの例示的な実施形態は、オブジェクトのバウンディングボックスがカメラの錐台と交差するかどうかをチェックすること（すなわち、例えば、視錐台カリング技法を使用すること）である。最初に、オブジェクト（複数可）に取り付けられたミドルフィールド構造（複数可）がアクティブ化される。次に、生成された画像の適切なルックアップによって色情報が検索される。

【0073】

ハイブリッド加速構造（図５）の各ノードを横断するとき、図８に示したフローチャートに記載された古典的加速構造にステップ８２５～８４０が追加される。ステップ８２５～８４０は、ハイブリッド加速構造のミドルフィールド（中間）加速構造を支援するために追加される。図８のフローチャートを参照すると、ステップ８１０において、光線－ノード交差のチェックが行われる。

【0074】

図８のステップ８１５において、光線－ノード交差が存在しない場合、ステップ８２０において、リーフノードが存在するかどうかに関する判定が実行される。リーフノードが存在する場合、フローチャートはステップ８２５～８４０に進み、ミドルフィールド（中間）構造情報を古典的加速構造に追加する。リーフノードが１つ以上の低品質レンダリングオブジェクトを含むとき（ステップ８２５）、（プロキシ画像とミドルフィールド画像の両方について）中間フィールド－光線交差のチェックが実行される（ステップ８３０）。

【0075】

図８のステップ８３０について、図９を参照して以下で更に説明する。各低品質レンダリングオブジェクトについて（ステップ９０５）、オブジェクトプロキシジオメトリデータを取得する（ステップ９１０）。横断されたリーフノードが１つ以上の低品質レンダリングオブジェクトを含む場合、ミドルフィールド表現（プロキシ画像及びミドルフィールド画像）との光線交差のチェックが実行される（ステップ９１５）。図９のステップ９２０及び９２５を参照すると、中間フィールド表現との光線交差のチェック（ステップ９１５）は、対応するリーフノード（複数可）に記憶されたオブジェクトミドルフィールド画像固有識別子（ＩＤ）、関連するカメラ投影行列及びプロキシジオメトリデータ（図４のステップ４３０）を使用して実行される。

【0076】

図９のステップ９３０では、光線－ミドルフィールド交差点が有効であるかどうかに関する判定が行われる。有効な交差点を判定する基準は、以下の通りである。
－現在のミドルフィールド画像に対応する仮想カメラの錐台の内側に交差点がある。
－ジオメトリがプロキシの内側にヒットする（すなわち、読み取られた深度値が仮想カメラの遠平面距離に等しくなってはならない）。
－視覚的なゴーストアーチファクトを回避するために、読み取られたジオメトリ深度よりもプロキシ交差点の深度が低くなければならない。

【0077】

図１０を参照すると、光線－ミドルフィールド交差点が有効であるかどうかに関する判定を解析する非限定的な例示的実施形態が示されている。光線１００５は、交差点１０１０にてターゲットプロキシにヒットしており、有効なターゲットジオメトリ深度の読み取り１０１５が可能である。しかしながら、光線１００５はターゲットジオメトリ（鳥）と交差していない。加えて、読み取られたジオメトリ深度１０１５よりもターゲットプロキシ交差点１０１０の深度が高いため、交差点１０１０は有効な交差点ではない。

【0078】

図８のステップ８５５～８６０と同様に図９のステップ９３５～９４０において、有効な交差点に対し、色寄与が取り込まれる。全ての色寄与は、光線エネルギーごとに累積される。ヒットしたオブジェクトに対する全ての仮想カメラの色寄与の累積には、ブレンディング重みの計算が必要である。色寄与の累積の一例は、Ｓ．Ｌａｇａｒｄｅによって「Ｉｍａｇｅ－ｂａｓｅｄ Ｌｉｇｈｔｉｎｇ Ａｐｐｒｏａｃｈｅｓ ａｎｄ Ｐａｒａｌｌａｘ－ｃｏｒｒｅｃｔｅｄ Ｃｕｂｅｍａｐ」、Ｓｉｇｇｒａｐｈ ２０１２、ロサンゼルス、ＣＡ、ＵＳＡ、２０１２年８月において提案されたローカルキューブマップによるブレンディング重みの計算を使用する。

【0079】

図１１は、図６に描写された３Ｄシーンに対するハイブリッド加速構造の一部の光線横断を描写した図である。図６では、青オブジェクト６１５のみが、このフレームについて低品質レンダリングオブジェクトとして分類されている。図１１を参照すると、光線１１０５は、Ａ １１１０、Ｃ １１１５、及びＧ １１２０リーフノードを横断する。Ｇ １１２０リーフノードにおいて、低品質レンダリングの青オブジェクトのヒット点１１２５は、ヒット点１１３５よりも高レンダリング品質の緑オブジェクトのヒット点１１３０に近い。したがって、ヒット点１１２５は最終的な交差点と考えられる。

【0080】

図１２は、図６に描写された３Ｄシーンに対するハイブリッド加速構造の別の一部の光線横断を描写した図である。図１２を参照すると、光線１２０５は、Ａ １２１０、Ｂ １２１５、及びＤ １２２０リーフノードを横断する。Ｄ １２２０リーフノードにおいて、高品質レンダリングの赤オブジェクトのヒット点１２２５は、低レンダリング品質の青オブジェクトのヒット点１２３０よりも近い。したがって、ヒット点１２２５は最終的な交差点と考えられる。

【0081】

本実施形態を、特定の実施形態を参照しながら上で説明してきたが、本開示は、特定の実施形態に限定されるものではなく、特許請求の範囲に含まれる修正形態が当業者には明らかになるであろう。

【0082】

多くの更なる修正形態及び変更形態が、前述の具体的な実施形態を参照する際に当業者に示唆されるであろうが、これらの実施形態は、単なる例として与えられ、本開示の範囲を限定することを意図するものではなく、本開示の範囲は、添付の特許請求の範囲によってのみ決定される。特に、異なる実施形態からの異なる特徴は、必要に応じて入れ替えることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2024-03-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオの３Ｄシーン内の１つ以上のオブジェクトについてパラメータのセットを識別することと、
前記識別されたパラメータのセットに基づいて、前記３Ｄシーン内の前記１つ以上のオブジェクトのそれぞれについて中間構造及び対応する代替オブジェクトを決定することであって、代替オブジェクトはミドルフィールド画像又はプロキシオブジェクトである、決定することと、
前記決定された中間構造及び古典的加速構造に基づいてハイブリッド加速構造を決定することであって、前記ハイブリッド加速構造は、前記３Ｄシーンの反射オブジェクトについて、色寄与が光線追跡されるか、又は代替オブジェクトから導出されるかを示す、決定することと、
前記決定されたハイブリッド加速構造に対する色寄与を決定することと、
前記ハイブリッド加速構造の前記決定された色寄与に基づいて前記ビデオの前記３Ｄシーンをレンダリングすることを提供することと、を含む方法。

【請求項2】

前記パラメータのセットは、レンダリング品質レベル、環境重要度値、並びに前記３Ｄシーン内の前記反射及び屈折オブジェクトに関する情報のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項3】

前記中間構造は、色及び深度情報を含む識別子を含む、請求項１に記載の方法。

【請求項4】

前記中間構造は、アレイカメラ投影行列を使用して決定される、いずれかの先行請求項に記載の方法。

【請求項5】

前記対応する代替オブジェクトはジオメトリデータを含む、請求項１に記載の方法。

【請求項6】

前記ジオメトリデータは、プリミティブ形状についての中心位置、並びにｘ、ｙ及びｚ拡張値のうちの少なくとも１つである、請求項５に記載の方法。

【請求項7】

前記古典的加速構造は、グリッド構造、バウンディングボリューム階層（ＢＶＨ）構造、ｋ次元ツリー構造及びバイナリ空間分割データ構造のうちの１つである、いずれかの先行請求項に記載の方法。

【請求項8】

ビデオの３Ｄシーンをレンダリングするためのデバイスであって、
前記ビデオの３Ｄシーン内の１つ以上のオブジェクトについてパラメータのセットを識別することと、
前記識別されたパラメータのセットに基づいて、前記３Ｄシーン内の前記１つ以上のオブジェクトのそれぞれについて中間構造及び対応する代替オブジェクトを決定することであって、代替オブジェクトはミドルフィールド画像又はプロキシオブジェクトである、決定することと、
前記決定された中間構造及び古典的加速構造に基づいてハイブリッド加速構造を決定することであって、前記ハイブリッド加速構造は、前記３Ｄシーンの反射オブジェクトについて、色寄与が光線追跡されるか、又は代替オブジェクトから導出されるかを示す、決定することと、
前記決定されたハイブリッド加速構造に対する色寄与を決定することと、
前記ハイブリッド加速構造の前記決定された色寄与に基づいて前記ビデオの前記３Ｄシーンをレンダリングすることを提供することと、を行うように構成された少なくとも１つのプロセッサを備える、デバイス。

【請求項9】

前記パラメータのセットは、レンダリング品質レベル、環境重要度値、並びに前記３Ｄシーン内の前記反射及び屈折オブジェクトに関する情報のうちの少なくとも１つを含む、請求項８に記載のデバイス。

【請求項10】

前記中間構造は、色及び深度情報を含む識別子を含む、請求項８又は９に記載のデバイス。

【請求項11】

前記中間構造は、アレイカメラ投影行列を使用して決定される、請求項８又は９のいずれか一項に記載のデバイス。

【請求項12】

前記対応する代替オブジェクトはジオメトリデータを含む、請求項８又は９のいずれか一項に記載のデバイス。

【請求項13】

前記ジオメトリデータは、プリミティブ形状についての中心位置、並びにｘ、ｙ及びｚ拡張値のうちの少なくとも１つである、請求項１２に記載のデバイス。

【請求項14】

前記古典的加速構造は、グリッド構造、バウンディングボリューム階層（ＢＶＨ）構造、ｋ次元ツリー構造及びバイナリ空間分割データ構造のうちの１つである、請求項８又は９のいずれか一項に記載のデバイス。

【国際調査報告】