(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-09
(54)【発明の名称】時間発展型拡張現実シーンを対話型レンダリングするための方法及びデバイス
(51)【国際特許分類】
G06T 19/00 20110101AFI20241226BHJP
【FI】
G06T19/00 600
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024540992
(86)(22)【出願日】2023-01-09
(85)【翻訳文提出日】2024-07-09
(86)【国際出願番号】 EP2023050299
(87)【国際公開番号】W WO2023135073
(87)【国際公開日】2023-07-20
(32)【優先日】2022-01-12
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】518341334
【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ヒルツリン,パトリス
(72)【発明者】
【氏名】ジュエ,ピエリック
(72)【発明者】
【氏名】アルローム,ヴィンセント
(72)【発明者】
【氏名】ルリエーブル,シルヴァン
(72)【発明者】
【氏名】フォンテーヌ,ロイク
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050BA09
5B050CA07
5B050DA04
5B050EA19
5B050FA05
(57)【要約】
【解決手段】 実オブジェクトと仮想オブジェクトとの間の関係と、拡張現実シーンの対話式トリガリング及び処理と、を含む拡張現実シーン記述が提供される。拡張現実システムは、シーン記述を読み取り、対応する拡張現実アプリケーションを実行することができる。シーン記述は、メディアコンテンツアイテムにリンクされ得る実オブジェクト及び仮想オブジェクトの記述を構造化するシーングラフを含む。それはまた、実行時にユーザがシーンオブジェクトとどのように対話することができるかを記述するビヘイビアメタデータ項目を含む。トリガ及びアクションを含むビヘイビアを管理するため、及び第2のシーン記述が受信されたときに進行中のビヘイビアを管理するための、方法及びデバイスが開示される。
【選択図】
図6
【特許請求の範囲】
【請求項1】
時限環境においてユーザに対して拡張現実シーンをレンダリングするための方法であって、
-前記拡張現実シーンの記述を取得することであって、前記記述が、
・時限オブジェクト、仮想オブジェクト、又はオブジェクト同士の間の関係のうちの少なくとも1つを記述するノード同士をリンクするシーンツリーと、
・複数のビヘイビアデータ項目であって、1つのビヘイビアデータ項目が、
-少なくとも1つのトリガであって、1つのトリガが、条件の記述であり、
1つのトリガは、その条件が前記時限環境で検出されたときに起動される、少なくとも1つのトリガと、
-少なくとも1つのアクションであって、1つのアクションが、前記シーンツリーのノードによって記述されるオブジェクトに対して拡張現実エンジンによって実行されるプロセスの記述である、少なくとも1つのアクションと、を含む、複数のビヘイビアデータ項目と、を含む、前記拡張現実シーンの記述を取得することと、
-ビヘイビアデータ項目の前記少なくとも1つのトリガが起動されることを条件として、前記ビヘイビアデータ項目のアクションを適用することと、
を含む、方法。
【請求項2】
-前記拡張現実シーンの記述が取得された場合、偽に設定された起動ステータスを、前記記述の少なくとも1つのトリガに帰属させることと、
-前記少なくとも1つのトリガの前記条件が初めて満たされるときに、前記トリガの前記起動ステータスを真に設定し、前記トリガを起動することと、を含む、請求項1に記載の方法。
【請求項3】
前記少なくとも1つのトリガの前記条件が満たされるときに、前記トリガの前記起動ステータスが真に設定されている場合、前記トリガの前記記述が第2の起動を許可する場合にのみ、前記トリガを起動する、請求項2に記載の方法。
【請求項4】
ビヘイビアデータ項目が優先度パラメータを含み、少なくとも2つのビヘイビアデータ項目の前記少なくとも1つのトリガが起動されるとき、前記少なくとも2つのビヘイビアデータ項目の前記優先度パラメータに従って、前記少なくとも2つのビヘイビアデータ項目のうちの1つの前記少なくとも1つのアクションを適用する、請求項1~3のいずれか一項に記載の方法。
【請求項5】
ビヘイビアデータ項目を含む拡張現実シーンの第1の記述を、前記拡張現実シーンの第2の記述で実行時に更新するための方法であって、前記第1の記述の各進行中のビヘイビアデータ項目について、前記進行中のビヘイビアデータ項目が、前記第2の記述を適用可能でない場合、前記方法が、
-前記第1の記述における前記進行中のビヘイビアデータ項目に対して割込みアクションが存在する場合、前記割込みアクションを処理することと、
-前記進行中のビヘイビアデータ項目を停止することと、
前記第2の記述を適用することと、を含む、方法。
【請求項6】
時限環境においてユーザに対して拡張現実シーンをレンダリングするためのデバイスであって、前記デバイスが、
-前記拡張現実シーンの記述を取得することであって、前記記述が、
・時限オブジェクト、仮想オブジェクト、又はオブジェクト同士の間の関係のうちの少なくとも1つを記述するノード同士をリンクするシーンツリーと、
・複数のビヘイビアデータ項目であって、1つのビヘイビアデータ項目が、
-少なくとも1つのトリガであって、1つのトリガが、条件の記述であり、
1つのトリガは、その条件が前記時限環境で検出されたときに起動される、少なくとも1つのトリガと、
-少なくとも1つのアクションであって、1つのアクションが、前記シーンツリーのノードによって記述されるオブジェクトに対して拡張現実エンジンによって実行されるプロセスの記述である、少なくとも1つのアクションと、を含む、複数のビヘイビアデータ項目と、を含む、前記拡張現実シーンの記述を取得することと、
-ビヘイビアデータ項目の前記少なくとも1つのトリガが起動されることを条件として、前記ビヘイビアデータ項目のアクションを適用することと、
を行うように構成されているプロセッサと関連付けられたメモリを備える、デバイス。
【請求項7】
前記プロセッサは、
-前記拡張現実シーンの記述が取得された場合、偽に設定された起動ステータスを、前記記述の少なくとも1つのトリガに帰属させることと、
-前記少なくとも1つのトリガの前記条件が初めて満たされるときに、前記トリガの前記起動ステータスを真に設定し、前記トリガを起動することと、
を行うように更に構成されている、請求項6に記載のデバイス。
【請求項8】
前記プロセッサが、前記少なくとも1つのトリガの前記条件が満たされるときに、前記トリガの前記起動ステータスが真に設定されている場合、前記トリガの前記記述が第2の起動を許可する場合にのみ前記トリガを起動するように更に構成されている、請求項7に記載のデバイス。
【請求項9】
ビヘイビアデータ項目が優先度パラメータを含み、前記プロセッサは、少なくとも2つのビヘイビアデータ項目の前記少なくとも1つのトリガが起動されるとき、前記少なくとも2つのビヘイビアデータ項目の前記優先度パラメータに従って、前記少なくとも2つのビヘイビアデータ項目のうちの1つの前記少なくとも1つのアクションを適用するように構成されている、請求項6~8のいずれか一項に記載のデバイス。
【請求項10】
ビヘイビアデータ項目を含む拡張現実シーンの第1の記述を、前記拡張現実シーンの第2の記述で実行時に更新するためのデバイスであって、前記デバイスは、
前記第1の記述の、各進行中のビヘイビアデータ項目について、前記進行中のビヘイビアデータ項目が、前記第2の記述を適用可能でない場合、
-前記第1の記述における進行中のビヘイビアデータ項目に対して割込みアクションが存在する場合、前記割込みアクションを処理することと、
-前記進行中のビヘイビアデータ項目を停止することと、
前記第2の記述を適用することと、を行うように構成されている、プロセッサと関連付けられているメモリを備える、デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本原理は、概して、拡張現実シーン記述のレンダリング及び拡張現実レンダリングの分野に関する。本明細書は、拡張現実アプリケーションが、モバイルデバイス又はヘッドマウントディスプレイ(HMD)などのエンドユーザデバイス上でレンダリングされる場合の、フォーマッティング及び再生の文脈においても理解される。
【背景技術】
【0002】
本節は、以下に説明及び/又は特許請求される本原理の様々な態様に関連し得る様々な技術の態様を読者に紹介することを意図している。この考察は、本原理の様々な態様のより良好な理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。
【0003】
拡張現実(XR)は、現実世界環境及び/又はビデオコンテンツが、視覚、聴覚、触覚などを含む複数の感覚モダリティにわたって定義され得る仮想コンテンツによって強化される対話型体験を可能にする技術である。アプリケーションのランタイム中、仮想コンテンツ(例えば、3Dコンテンツ又はオーディオ/ビデオファイル)は、ユーザコンテキスト(環境、視点、デバイスなど)と整合する方法でリアルタイムでレンダリングされる。シーングラフ(例えば、Khronos/gLTFによって提案されたものなど、及び例えば、MPEGシーン記述フォーマット又はApple/USDZで定義されたその拡張など)は、レンダリングされるコンテンツを表すための可能な方法である。これらは、一方の実環境オブジェクトと仮想オブジェクトとをリンクするシーン構造の宣言的記述と、他方の仮想コンテンツのバイナリ表現とを組み合わせる。そのようなシーン記述フレームワークは、時限メディア及び対応する関連仮想コンテンツが、アプリケーションのレンダリング中にいつでも利用可能であることを保証するが、ユーザが、没入型XR体験の実行時に、シーンオブジェクトとどのように対話できるかについての説明はない。
【0004】
ユーザがランタイムにおいてシーンオブジェクトとどのように対話することができるか、及びこれらの対話がXRアプリケーションのランタイム中にどのように更新され得るかを記述するメタデータを含む拡張現実(XR)シーン記述を取得することができるXRシステムは存在しない。
【図面の簡単な説明】
【0005】
本開示は、以下の説明を読むと、よりよく理解され、他の特定の特徴及び利点が明らかになり、以下の説明では、添付の図面を参照する。
【
図1】
図1は、本原理による拡張現実シーン記述の例示的なシーングラフを示す。
【
図2A】
図2Aは、本原理による例示的な例のトリガを表すためのシンタックスを示す。
【
図2B】
図2Bは、本原理による例示的な例のアクションを表すためのシンタックスを示す。
【
図2C】
図2Cは、本原理による例示的な例のビヘイビアを表すためのシンタックスを示す。
【
図2D】
図2Dは、本原理による補足情報の例示的なシンタックスを示す。
【
図3】
図3は、本原理による、
図5及び
図6に関連して説明される方法を実施するように構成され得るXR処理エンジンの例示的なアーキテクチャを示す。
【
図4】
図4は、本原理による拡張現実シーン記述を符号化するデータストリームのシンタックスの一実施形態の一例を示す。
【
図5】
図5は、本原理の実施形態1による、拡張現実シーンをレンダリングするための方法を示す。
【
図6】
図6は、本原理の実施形態2による、拡張現実シーンをレンダリングするための方法を示す。
【発明を実施するための形態】
【0006】
本原理は、本原理の例が示される、添付の図面を参照して以下により完全に説明される。しかしながら、本原理は、多くの代替形態で具体化され得、本明細書に記載の実施例に限定されるものとして解釈されるべきではない。したがって、本原理は、様々な修正及び代替的な形態の余地があるが、その具体的な例は、図面の例として示され、本明細書において詳細に説明される。しかしながら、本原理を開示された特定の形態に限定する意図はなく、反対に、本開示は、特許請求の範囲によって定義される本原理の趣旨及び範囲内にある全ての修正、均等物及び代替物を網羅することであることを理解されたい。
【0007】
本明細書で使用される用語は、特定の実施例のみを説明する目的のためであり、本原理を限定することを意図するものではない。本明細書で使用される場合、単数形「a」、「an」及び「the」は、文脈が別途明確に示されない限り、複数形も含むことが意図される。本明細書で使用される場合、「含む(comprises)」、「含む(comprising)」、「含む(includes)」及び/又は「含む(including)」という用語は、記載された特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素及び/又はそれらのグループの存在又は追加を排除しないことが更に理解されるであろう。更に、要素が別の要素に「応答する」又は「接続される」と称される場合、それは、他の要素に直接応答するか、又は他の要素に接続され得るか、又は介在要素が存在し得る。対照的に、要素が他の要素に「直接応答する」又は「直接接続される」と称される場合、介在要素は存在しない。本明細書で使用される場合、「及び/又は」という用語は、関連付けられた列挙された項目のうちの1つ以上の任意の及び全ての組み合わせを含み、「/」と略され得る。
【0008】
本明細書では、第1、第2などの用語が様々な要素を説明するために使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、第1の要素は、第2の要素と呼ぶことができ、同様に、第2の要素は、本原理の教示から逸脱することなく、第1の要素と呼ぶことができる。
【0009】
図の一部は、通信の主要な方向を示すために通信経路上に矢印を含むが、通信は、描かれた矢印と反対方向に発生し得ることを理解されたい。
【0010】
いくつかの例は、各ブロックが、指定された論理機能を実装するための1つ以上の実行可能命令を含む、回路要素、モジュール又はコードの部分を表すブロック図及び動作フローチャートに関して説明される。他の実装形態では、ブロックに記載された機能は、記載された順序から起こり得ることにも留意されたい。例えば、連続して示されている2つのブロックは、実際には実質的に同時に実行され得るか、又は関与する機能に応じて、ブロックが逆の順序で実行され得る。
【0011】
本明細書における「一例による」又は「一例における」は、本実施例に関連して説明される特定の特徴、構造又は特性が、本原理の少なくとも1つの実装形態に含まれ得ることを意味する。本明細書の様々な場所における「一例による」又は「一例における」の句の出現は、必ずしも全てが同じ例を指しているわけではなく、別個の又は代替的な実施例では、必ずしも他の例と相互に排他的ではない。
【0012】
特許請求の範囲に現れる符号は、単に例示としてのものであり、特許請求の範囲の範囲に限定的な影響を及ぼさないものとする。明示的に記載されていないが、本実施例及び変形例は、任意の組み合わせ又は部分的な組み合わせで用いられ得る。
【0013】
図1は、拡張現実シーン記述のシーン例グラフ10を示す。この例では、シーングラフは、実オブジェクト12の記述、例えば「平面水平面」(テーブル又は床又はプレートとすることができる)と、仮想オブジェクト13の記述、例えば「歩行キャラクタのアニメーション」とを含む。仮想オブジェクト13は、メディアコンテンツアイテム14に関連付けられており、メディアコンテンツアイテム14は、歩行キャラクタを(例えば、テクスチャ付きアニメーション3Dメッシュとして)レンダリング及び表示するために必要なデータの符号化である。シーングラフ10は、ノード12に記述された実オブジェクトと、ノード13に記述された仮想オブジェクトとの間の、空間的関係の記述であるノード11も含む。この例では、ノード11は、キャラクタに平面上を歩かせるような空間関係を記述している。シーングラフ10を含むXRアプリケーションが開始されると、メディアコンテンツアイテム14がロードされ、レンダリングされ、バッファリングされ、そしてトリガされたときに表示される。センサ(
図1の例ではカメラ)によって実環境において平面が検出されると、アプリケーションは、ノード11に記述されているような、バッファリングされたメディアコンテンツアイテムを表示する。タイミングは、実環境において検出された特徴及びアニメーションのタイミングに従ってアプリケーションによって管理される。シーングラフのノードはまた、記述を欠いていてもよく、子ノードに対する親ノードの役割のみを果たす場合もあり得る。
【0014】
XRアプリケーションは様々であり、異なるコンテキスト及び実環境又は仮想環境に適用し得る。例えば、産業用のXRアプリケーションでは、仮想3Dコンテンツアイテム(例えば、エンジンの部品A)は、実環境において基準オブジェクト(エンジンの部品B)が、ヘッドマウントディスプレイデバイス上に装備されたカメラによって検出されたときに表示される。3Dコンテンツアイテムは、検出された基準オブジェクトに対して定義された位置及びスケールで、現実世界に配置される。
【0015】
例えば、インテリアデザインのためのXRアプリケーションでは、カタログからの所与の画像が入力カメラビューで検出されたときに、家具の3Dモデルを表示することができる。3Dコンテンツは、検出された基準画像に対して定義される位置及びスケールで現実世界に配置される。別のアプリケーションでは、オーディオファイルは、ユーザが教会(現実であるか又は拡張現実環境において仮想レンダリングされている)に近いエリアに入ったときに再生を開始してもよい。別の例では、広告ジングルファイルは、ユーザが現実環境において所与のソーダ水の缶を見たときに再生され得る。屋外ゲームアプリケーションでは、ユーザによって観察される風景のセマンティクスに応じて、仮想キャラクタが出現し得る。例えば、鳥のキャラクタは木に適しており、したがって、XRデバイスのセンサが、セマンティックラベル「tree(木)」によって記述される実オブジェクトを検出した場合、木の周りを飛んでいる鳥を追加することができる。スマートグラスによって実装されるコンパニオンアプリケーションでは、潜在的な危険をユーザに警告するために、ユーザカメラの視野内で車が検出されたときに、車のノイズがユーザのヘッドセットにおいて発せられ得る。更に、音は、車が検出された方向から到着するように思えるように、空間化されてもよい。
【0016】
XRアプリケーションは、実環境ではなくビデオコンテンツを拡張することもできる。ビデオはレンダリングデバイス上に表示され、ノードツリー内に記述された仮想オブジェクトは、時限イベントがビデオ内で検出されたときにオーバーレイされる。このようなコンテキストでは、ノードツリーは仮想オブジェクトの記述のみを含む。
【0017】
図2A~
図2Dは、本原理による拡張現実シーン記述の非限定的な例を示す。
【0018】
本原理によれば、
図1に関連させて説明したノードツリーに加えて、ビヘイビアメタデータ項目(本明細書では「ビヘイビア」と呼ばれる)がシーン記述に追加される。ビヘイビアは、事前定義された仮想オブジェクトに関連し、その事前定義された仮想オブジェクトを用いて、ユーザ固有のXR体験に対するランタイム対話性を可能とするものである。ビヘイビアも時間発展的であり、シーン記述更新メカニズムを通じて更新される。本原理によれば、ビヘイビアは、メタデータ項目であって、以下を含むことができる:
-その起動のために満たされるべき1つ以上の条件を定義する1つ以上のトリガ、
-トリガ同士の間の論理演算を定義するトリガ制御パラメータ、
-トリガがトリガ制御パラメータに従って起動されるときに処理するアクション、
-アクションの実行順序を定義するアクション制御パラメータ、
-同じ仮想オブジェクト上の少なくとも2つのビヘイビアが同時に発生した場合に最も優先度の高いビヘイビアの選択を可能にする優先度数、
-シーン記述更新においてより長く適用可能なこのビヘイビアのアクションをどのように終了させるかを指定するための、任意選択的割込みアクション。
【0019】
第2のシーン記述が受信されるとき、第1のシーン記述のビヘイビアのうちのいくつかは、「進行中」であり得るが、すなわち、それらは、既にトリガされており、それらのアクションが、実行中であるということである。第2のシーン記述は、第1のシーン記述と第2のシーン記述との間の差異を記述するメタデータである、更新メタデータとして提供されてもよい。第2のシーン記述は、第1のシーン記述のオブジェクトと共通であっても異なっていてもよいオブジェクトを記述するノードツリーを含む。第1のシーン記述のノードツリーのオブジェクトは、第2のシーン記述にはもはや存在しなくてもよい。進行中のビヘイビアの実行中のアクションに関連するオブジェクトが第2のシーン記述において欠落している場合、これらの進行中のビヘイビアはもはや適用可能ではない。同様に、進行中のビヘイビアが第2の記述において定義されない場合、進行中のビヘイビアはもはや適用可能ではない。割込みアクションフィールドは、進行中のビヘイビアの実行中のアクションにどれだけ正確に割込ませるかを記述する。
【0020】
ノードツリーのフォーマットについてはここでは説明しない。例えば、Khronos glTF拡張メカニズムを使用するMPEG-Iシーン記述フレームワークが、ノードツリーのために使用され得る。この例では、本原理による対話性拡張は、glTFシーンレベルで適用することができ、MPEG_scene_interactivity(MPEG_シーン_対話性)と呼ばれる。対応するセマンティックを以下の表に示す:
【0021】
【0022】
「使用」列における「M」は、このフィールドが本原理によるXRシーン記述フォーマットにおいて必須であることを意味し、「使用」列における「O」は、フィールドが任意選択的であることを意味する。
【0023】
図2A~2Dに提示される例では、仮想3Dオブジェクトは、メディアシーケンス中に連続的に表示され、変換される。ユーザの左手が検出されると、仮想3Dオブジェクトがユーザの左手上に配置され、連続的にユーザの左手に追従する。
【0024】
この例示的な対話シナリオをサポートするために、2つのビヘイビアが定義される:
-以下のパラメータを有する第1のビヘイビア:
・連続的な起動を伴う20秒と40秒との間のメディアの時系列に関連する単一のトリガ、及び
・仮想3Dオブジェクトを有効にして変換するための2つの連続したアクション(ノード0)。
-以下のパラメータを有する第2のビヘイビア:
・連続的な起動を伴うユーザの左手検出に関連する単一のトリガ、及び
・仮想オブジェクト(ノード0)をユーザの左手に置くための単一のアクション。
【0025】
フィールド「triggers」のアレイの項目は、以下の表に従って定義される:
【0026】
【0027】
表内の全てのフィールドについて、デフォルト値が決定され得る。
【0028】
図2Aは、上述の例示的な例のトリガを表すための、本原理に準拠するシンタックスを示す。
図2Aは、本原理による対話型メタデータが、シーン記述に属することを示すヘッダを示す。例示的な実施例の2つのビヘイビアに必要な2つのトリガについて説明する。トリガは、ビヘイビアフィールド内にリストされていてもよい。それらを別個のアレイにリストすることにより、いくつかのビヘイビアに対して同じトリガを使用することが可能になる。
【0029】
フィールド「actions」(
図2Bに示す)のアレイの項目は、以下の表に従って定義される:
【0030】
【0031】
【0032】
表内の全てのフィールドについて、デフォルト値が決定され得る。
【0033】
図2Bは、上述した例示的な例のアクションを表すための、本原理に準拠するシンタックスを示す。フィールド「actions」は、例示的な例の2つのビヘイビアを実行するのに必要な3つのアクションの記述と、1つの無効化アクションとを含む。ノードツリー内のノード0におけるオブジェクトを有効化する最初のアクションは、アクションアレイ内の最初のアクションであるので、インデックス0を有する。この例では、変換行列に従って、ユーザの左手上のノード0にオブジェクトを配置するアクションは、インデックス1を有し、ノード0のオブジェクトを変換するアクションは、インデックス2を有する。ノード0においてインデックス3を有するオブジェクトを無効化する第4のアクションは、2つのビヘイビアに共通の割込みアクションである。
【0034】
フィールド「behaviors」(
図2Cに示す)のアレイの項目は、以下の表に従って定義される:
【0035】
【0036】
表内の全てのフィールドについて、デフォルト値が決定され得る。
【0037】
図2Cは、上述した例示的な例のビヘイビアを表すための本原理に準拠するシンタックスを示す。フィールド「behaviors」は、例示的な例の2つのビヘイビアの記述を含む。トリガ及びアクションのリストは、
図2Aのトリガアレイ及び
図2Bのアクションアレイ内のインデックスによって示される。2つのビヘイビアの割込みアクションは、アクションアレイ内のアクション番号3を参照する。第2のビヘイビアは、第1のビヘイビアよりも高い優先度を有する。2つのビヘイビアがノードツリーの同じノード0に適用されるので、2つのビヘイビアが同時にアクティブである場合、第2のビヘイビアが選択される。
【0038】
図2Dは、本原理による補足情報の例示的なシンタックスを示す。例えば、シーン及びノードに名前を付けることができる。トリガ、アクション及びビヘイビアはまた、一意のID番号又は一意の名前を有し得る。したがって、シーン記述が更新されるとき、進行中のビヘイビア又はノードが新しいシーン記述に属するかどうかを検出することは、簡単である。
【0039】
図3は、
図5及び
図6に関連して説明される方法を実施するように構成され得るXR処理エンジン30の例示的なアーキテクチャを示す。
図3のアーキテクチャによるデバイスは、それらのバス31を介して、かつ/又はI/Oインターフェース36を介して、他のデバイスとリンクされる。
【0040】
デバイス30は、データ及びアドレスバス31によって一緒に連結された以下の要素:
-例えば、DSP(デジタル信号プロセッサ)である、マイクロプロセッサ32(又はCPU)と、
-ROM(読み取り専用メモリ)33と、
-RAM(ランダムアクセスメモリ)34と、
-ストレージインターフェース35と、
-アプリケーションから、送信するデータを受信するためのI/Oインターフェース36と、
-
図3には示されていない電源、例えばバッテリと、を備える。
【0041】
一例によれば、電源はデバイスの外部にある。言及されたメモリの各々において、本明細書で使用される「レジスタ」という単語は、小さな容量の領域(いくつかのビット)又は非常に大きな領域(例えば、全体のプログラム又は大量の受信された、又は復号されたデータ)に対応し得る。ROM33は、少なくともプログラム及びパラメータを含む。ROM33は、本原理に従って技術を実行するためのアルゴリズム及び命令を記憶することができる。オンに切り替えられると、CPU32は、RAM内のプログラムをアップロードし、対応する命令を実行する。
【0042】
RAM34は、レジスタ内で、CPU32によって実行され、デバイス30のスイッチオン後にアップロードされるプログラムと、レジスタ内の入力データと、レジスタ内の方法の異なる状態の中間データと、レジスタ内の方法の実行のために使用される他の変数と、を含む。
【0043】
本明細書に記載の実装形態は、例えば、方法又はプロセス、装置、コンピュータプログラム製品、データストリーム、又は信号において実装され得る。実装形態の単一の形態の文脈でのみ考察された場合(例えば、方法又はデバイスとしてのみ考察された)であっても、考察された特徴の実装形態は、他の形態(例えば、プログラム)においても実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサなどのデバイスにおいて実装され得る。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル/携帯情報端末(「PDA」)などのデバイスなどの通信デバイスも含まれる。
【0044】
デバイス30は、例えば、バス31を介してセンサ37のセット及びレンダリングデバイス38のセットにリンクされる。センサ37は、例えば、カメラ、マイクロフォン、温度センサ、慣性測定ユニット、GPS、湿度測定センサ、IR若しくはUV光センサ、又は風センサであってもよい。レンダリングデバイス38は、例えば、ディスプレイ、スピーカ、バイブレータ、ヒート、ファンなどであってもよい。
【0045】
実施例によれば、デバイス30は、
図5及び
図6に関連して説明された方法を実装するように構成されており、
-モバイルデバイス、
-通信デバイス、
-ゲームデバイス、
-タブレット(又はタブレットコンピュータ)、
-ラップトップ、
-静止画カメラ、
-ビデオカメラ、を備える。
【0046】
図4は、本原理による拡張現実シーン記述を符号化するデータストリームのシンタックスの一実施形態の一例を示す。
図4は、XRシーン記述の例示的な構造4を示す。構造は、シンタックスの独立した要素においてストリームを編成する容器からなる。構造は、ストリームの全てのシンタックス要素に共通のデータのセットであるヘッダ部分41を含み得る。例えば、ヘッダ部分は、シンタックス要素に関するメタデータのいくつかを含み、それらの各々の性質及び役割を説明する。構造はまた、シンタックスの要素42とシンタックスの要素43とを含むペイロードとを含む。シンタックス要素42は、仮想要素に関連するシーングラフのノードにおいて記述されるメディアコンテンツアイテムを表すデータを含む。画像、メッシュ、及び他の生データは、圧縮方法に従って圧縮されていてもよい。シンタックスの要素43は、データストリームのペイロードの一部であり、
図2A~2Dに関連して説明したような、シーン記述を符号化するデータを含む。
【0047】
図5は、本原理の実施形態1による、拡張現実シーンをレンダリングするための方法50を示す。第1のシーン記述が受信されると、トリガアレイのトリガが考慮される。レンダリングデバイスがそれらの状態を検出するように装備されていないために、それらのうちの1つ以上が廃棄される可能性がある。例えば、トリガは、レンダリングデバイスが熱センサを有していない場合に、温度に基づいてもよい。したがって、方法50のステップは、少なくとも1つのトリガに適用され、可能であれば、シーン記述の全トリガに適用される。ステップ51において、トリガを記述するメタデータに記述された条件は、関連するセンサを用いてレンダリングデバイスによってテストされる。条件が満たされない場合、ステップ52において、偽に設定された起動ステータスが、実行時のトリガとされる。条件が満たされる場合、レンダリングデバイスは、ステップ53において、トリガの起動ステータスが既に真に設定されているかどうかをチェックする。そうでない場合には、ステップ54でトリガの起動ステータスが真に設定され、ステップ56が実行される。そうである場合、レンダリングデバイスは、シーン記述内のトリガのフィールドactivate_onceが、真に設定されているかどうかをチェックする。もしそうであれば、ステップ56は、スキップされる。そうでなければ、ステップ56が、実行される。ステップ56は、トリガを起動する。ステップ56で、このトリガを使用する全ビヘイビアは、トリガが起動又は再度起動されたことを通知される。
【0048】
実行時に、全てのビヘイビアは、ビヘイビアのトリガが起動モードに従って起動されたかどうか、したがって、ビヘイビアのアクションが実際に実行されたかどうかを示す進行中ステータスを有する。
【0049】
図6は、本原理の実施形態2による、拡張現実シーンをレンダリングするための方法60を示す。方法60では、拡張現実アプリケーションが既に実行されている。本原理による対話性拡張を有する第1のシーン記述が既に受信されており、XRアプリケーションを実行するために使用される。少なくとも1つのビヘイビアが進行中であり、すなわち、そのアクションが実行される。ステップ61において、第2のシーン記述が取得される。第2のシーン拡張が対話性拡張を有さない場合、第2のシーン拡張は、ビヘイビアの空のアレイを有すると考えられる。取得されたデータは、第1のシーン記述と第2のシーン記述との間の差異を示す部分記述であってもよい。第2の記述は、第1の記述に含まれなかった新しいビヘイビア、又は第1のシーン記述に含まれるビヘイビアと等価なビヘイビアを含むことができる。方法60は、第1のシーン記述の全ての進行中のビヘイビアに適用される。ステップ62において、レンダリングデバイスは、第1のシーン記述の所与の進行中のビヘイビアが、第2のシーン記述のノードツリーのオブジェクトを適用可能であるかどうかをチェックする。実際に、第1のシーン記述の進行中のビヘイビアのアクションは、第1のシーン記述のノードツリーに記述されたオブジェクトに適用される。第2の記述のノードツリーが、これらのオブジェクトを含まない場合、又はこれらのオブジェクトが、第2のシーン記述において修正されており、進行中のビヘイビアのアクションがこれらの修正されたオブジェクトに適用されない場合、進行中のビヘイビアはもはや適用可能ではない。次に、ステップ63及び64で、進行中のビヘイビアが中断され、停止される。進行中のビヘイビアが第2のシーン記述のコンテキストにおいて依然として適用可能である場合、進行中のビヘイビアは継続し、ステップ65が実行される。変形例では、第2のシーン記述が進行中のビヘイビアと等価なビヘイビアを含まない場合、進行中のビヘイビアはもはや適用可能ではないと見なされる。
【0050】
ステップ63において、(記述に割込みアクションがある場合)割込みアクションが実行される。ステップ64において、進行中のビヘイビアが停止される。次にステップ65が、実行される。ステップ65において、第2のシーン記述は、実行中のXRアプリケーション内の第1の記述に取って代わる。方法60は、新しいシーン記述が受信された場合に繰り返される。
【0051】
本明細書に記載の実装形態は、例えば、方法又はプロセス、装置、コンピュータプログラム製品、データストリーム、又は信号において実装され得る。実装形態の単一の形態の文脈でのみ考察された場合(例えば、方法又はデバイスとしてのみ考察された)であっても、考察された特徴の実装形態は、他の形態(例えば、プログラム)においても実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサなどのデバイスにおいて実装され得る。プロセッサはまた、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、携帯型/パーソナルデジタルアシスタント(「PDA」)及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
【0052】
本明細書に記載の様々なプロセス及び特徴の実装形態は、様々な異なる機器又はアプリケーション、特に、例えば、データ符号化、データ復号、ビュー生成、テクスチャ処理並びに画像及び関連するテクスチャ情報及び/又は深度情報の他の処理と関連付けられた機器又はアプリケーションにおいて、具体化され得る。そのような機器の例としては、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、及び他の通信デバイスが挙げられる。明確であるはずであるように、機器は、モバイルであり得、モバイル車両に設置され得る。
【0053】
加えて、方法は、プロセッサによって実行される命令によって実装され得、そのような命令(及び/又は実装形態によって生じたデータ値)は、例えば、集積回路、ソフトウェアキャリア又は他の記憶デバイス、例えば、ハードディスク、コンパクトディスケット(「CD」)、光学ディスク(例えば、デジタル多用途ディスク又はデジタル映像ディスクと称されることが多いDVDなど)、ランダムアクセスメモリ(「RAM」)又は読み取り専用メモリ(「ROM」)などのプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で明白に具体化されたアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又は2つの組み合わせに見出され得る。したがって、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体(記憶デバイスなど)を含むデバイスと、の両方として特徴付けられ得る。更に、プロセッサ可読媒体は、命令に加えて、又は命令の代わりに、実装形態によって生じたデータ値を記憶することができる。
【0054】
当業者には明らかであるように、実装形態は、例えば、記憶又は送信され得る情報を担持するようにフォーマット化された様々な信号を生じ得る。情報は、例えば、方法を実行するための命令又は説明された実装形態のうちの1つによって生成されたデータを含み得る。例えば、信号は、記載された実施形態の構文を書き込むか、若しくは読み取るためのルールをデータとして担持するか、又は記載された実施形態によって書き込まれた実際の構文値をデータとして担持するようにフォーマットされ得る。かかる信号は、例えば、(例えば、スペクトルの無線周波数部分を使用して)電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報であり得る。信号は、既知であるように、様々な異なる有線又は無線リンクによって送信され得る。信号は、プロセッサ可読媒体に記憶され得る。
【0055】
多くの実装形態が説明されている。それにもかかわらず、様々な修正が行われ得ることが理解されるであろう。例えば、異なる実装形態の要素は、他の実装形態を作り出すために組み合わせ、補足、修正、又は削除することができる。加えて、当業者は、開示されたものに対して他の構造及びプロセスを置換することができ、結果として生じる実装形態は、少なくとも実質的に同じ機能を少なくとも実質的に同じ方式で実行して、開示された実装形態と少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これら及び他の実装形態は、本出願によって企図される。
【手続補正書】
【提出日】2024-09-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
時限環境においてユーザに対して拡張現実シーンをレンダリングするための方法であって、
-前記拡張現実シーンの記述を取得することであって、前記記述が、
・少なくとも1つの、時限オブジェクト、仮想オブジェクト、又はオブジェクト同士の間の関係を記述するシーンツリーと、
・複数のビヘイビアデータ項目であって、1つのビヘイビアデータ項目が、
-少なくとも1つのトリガであって、1つのトリガが、条件の記述であり、
1つのトリガは、その条件が前記時限環境で検出されたときに起動される、少なくとも1つのトリガと、
-少なくとも1つのアクションであって、1つのアクションが、前記シーンツリーのノードによって記述されるオブジェクトに対して拡張現実エンジンによって実行されるプロセスの記述である、少なくとも1つのアクションと、を含む、複数のビヘイビアデータ項目と、を含む、前記拡張現実シーンの記述を取得することと、
-ビヘイビアデータ項目の前記少なくとも1つのトリガが起動されることを条件として、前記ビヘイビアデータ項目のアクションを適用することと、
を含む、方法。
【請求項2】
-前記拡張現実シーンの記述が取得された場合、偽に設定された起動ステータスを、前記記述の少なくとも1つのトリガに帰属させることと、
-前記少なくとも1つのトリガの前記条件が初めて満たされるときに、前記トリガの前記起動ステータスを真に設定し、前記トリガを起動することと、を含む、請求項1に記載の方法。
【請求項3】
前記少なくとも1つのトリガの前記条件が満たされるときに、前記トリガの前記起動ステータスが真に設定されている場合、前記トリガの前記記述が第2の起動を許可する場合にのみ、前記トリガを起動する、請求項2に記載の方法。
【請求項4】
ビヘイビアデータ項目が優先度パラメータを含み、少なくとも2つのビヘイビアデータ項目の前記少なくとも1つのトリガが起動されるとき、前記少なくとも2つのビヘイビアデータ項目の前記優先度パラメータに従って、前記少なくとも2つのビヘイビアデータ項目のうちの1つの前記少なくとも1つのアクションを適用する、請求項1の一項に記載の方法。
【請求項5】
実行時に更新するための方法であって、拡張現実シーンの第1の記述が、前記拡張現実シーンの第2の記述を伴うビヘイビアデータ項目を含み、前記第1の記述の各進行中のビヘイビアデータ項目について、前記進行中のビヘイビアデータ項目が、前記第2の記述を適用可能でない場合、前記方法が、
-前記第1の記述における前記進行中のビヘイビアデータ項目に対して割込みアクションが存在する場合、前記割込みアクションを処理することと、
-前記進行中のビヘイビアデータ項目を停止することと、
-前記第2の記述を適用することと、を含む、方法。
【請求項6】
時限環境においてユーザに対して拡張現実シーンをレンダリングするためのデバイスであって、前記デバイスが、
-前記拡張現実シーンの記述を取得することであって、前記記述が、
・少なくとも1つの、時限オブジェクト、仮想オブジェクト、又はオブジェクト同士の間の関係を記述するシーンツリーと、
・複数のビヘイビアデータ項目であって、1つのビヘイビアデータ項目が、
-少なくとも1つのトリガであって、1つのトリガが、条件の記述であり、
1つのトリガは、その条件が前記時限環境で検出されたときに起動される、少なくとも1つのトリガと、
-少なくとも1つのアクションであって、1つのアクションが、前記シーンツリーのノードによって記述されるオブジェクトに対して拡張現実エンジンによって実行されるプロセスの記述である、少なくとも1つのアクションと、を含む、複数のビヘイビアデータ項目と、を含む、前記拡張現実シーンの記述を取得することと、
-ビヘイビアデータ項目の前記少なくとも1つのトリガが起動されることを条件として、前記ビヘイビアデータ項目のアクションを適用することと、
を行うように構成されているプロセッサと関連付けられたメモリを備える、デバイス。
【請求項7】
前記プロセッサは、
-前記拡張現実シーンの記述が取得された場合、偽に設定された起動ステータスを、前記記述の少なくとも1つのトリガに帰属させることと、
-前記少なくとも1つのトリガの前記条件が初めて満たされるときに、前記トリガの前記起動ステータスを真に設定し、前記トリガを起動することと、
を行うように更に構成されている、請求項6に記載のデバイス。
【請求項8】
前記プロセッサが、前記少なくとも1つのトリガの前記条件が満たされるときに、前記トリガの前記起動ステータスが真に設定されている場合、前記トリガの前記記述が第2の起動を許可する場合にのみ前記トリガを起動するように更に構成されている、請求項7に記載のデバイス。
【請求項9】
ビヘイビアデータ項目が優先度パラメータを含み、前記プロセッサは、少なくとも2つのビヘイビアデータ項目の前記少なくとも1つのトリガが起動されるとき、前記少なくとも2つのビヘイビアデータ項目の前記優先度パラメータに従って、前記少なくとも2つのビヘイビアデータ項目のうちの1つの前記少なくとも1つのアクションを適用するように構成されている、請求項6の一項に記載のデバイス。
【請求項10】
実行時に更新するためのデバイスであって、拡張現実シーンの第1の記述が、前記拡張現実シーンの第2の記述を伴うビヘイビアデータ項目を含み、前記デバイスは、
前記第1の記述の、各進行中のビヘイビアデータ項目について、前記進行中のビヘイビアデータ項目が、前記第2の記述を適用可能でない場合、
-前記第1の記述における進行中のビヘイビアデータ項目に対して割込みアクションが存在する場合、前記割込みアクションを処理することと、
-前記進行中のビヘイビアデータ項目を停止することと、
-前記第2の記述を適用することと、を行うように構成されている、プロセッサと関連付けられているメモリを備える、デバイス。
【国際調査報告】