特表2024-512963 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ テンセント・アメリカ・エルエルシーの特許一覧

特表2024-512963エッジクラウドアーキテクチャとピアツーピアストリーミングを用いたライトフィールド／没入型メディアの分割レンダリング

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-21

(54)【発明の名称】エッジクラウドアーキテクチャとピアツーピアストリーミングを用いたライトフィールド／没入型メディアの分割レンダリング

(51)【国際特許分類】

H04L 67/131 20220101AFI20240313BHJP

H04L 67/104 20220101ALI20240313BHJP

H04L 67/10 20220101ALI20240313BHJP

H04L 67/288 20220101ALI20240313BHJP

【ＦＩ】

H04L67/131

H04L67/104

H04L67/10

H04L67/288

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023558857

(86)(22)【出願日】2022-10-14

(85)【翻訳文提出日】2023-09-25

(86)【国際出願番号】 US2022046784

(87)【国際公開番号】W WO2023076049

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】63/272,654

(32)【優先日】2021-10-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/962,122

(32)【優先日】2022-10-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾直樹

(72)【発明者】

【氏名】ロヒト・アビシェーク

(72)【発明者】

【氏名】アリアンヌ・ハインズ

(72)【発明者】

【氏名】ポール・スペンサー・ドーキンス

(57)【要約】

エッジクラウド及びピアツーピアベースのアーキテクチャを使用することにより、ライトフィールド又は没入型メディアのための分割レンダリングのシステム及び方法。本システム及び方法には、クラウドベースのデバイスとエッジデバイスを組み合わせて使用し、メディア、特にライトフィールド又は没入型メディアのエンドユーザデバイスへのストリーミングに関連する分散処理を提供することが含まれる。本システム及び方法には、複数のクラウド及びエッジデバイスを使用し、所与のメディアパッケージのエンドユーザデバイスへの並列ストリーミングを提供することが更に含まれる。

【特許請求の範囲】

【請求項1】

クラウドアーキテクチャ、エッジアーキテクチャ、及びエンドユーザデバイスを備えたネットワークにおけるライトフィールド又は没入型メディアストリーミングの方法であって、前記方法は、少なくとも1つのプロセッサによって実行され、
前記ライトフィールド又は没入型メディアストリーミングに関連付けられたタスクを1つ又は複数の遅延係数に基づいて複数の計算タスクに分割するステップであって、前記複数の計算タスクの第1のセットは前記クラウドアーキテクチャ上で実行され、前記複数の計算タスクの第2のセットは前記エッジアーキテクチャ上で実行され、前記複数の計算タスクの前記第2のセットは前記複数の計算タスクの前記第1のセットとは異なりかつ重複しない、ステップと、
前記ライトフィールド又は没入型メディアを前記クラウドアーキテクチャ及び前記エッジアーキテクチャから前記エンドユーザデバイスにストリーミングするステップとを含む、方法。

【請求項2】

前記タスクを分割するステップは、
前記ネットワークに関連付けられた前記遅延係数を含む1つ又は複数の所定のメトリックを分析するステップと、
前記ライトフィールド又は没入型メディアストリーミングに関連付けられた前記複数の計算タスクのうちの所与の計算タスクを、前記ネットワークに関連付けられた前記1つ又は複数の所定のメトリックを分析する前記ステップに基づいて、前記クラウドアーキテクチャ又は前記エッジアーキテクチャのいずれかに割り当てるステップとを更に含む、請求項1に記載の方法。

【請求項3】

前記1つ又は複数の所定のメトリックは、サンプリング遅延、計算遅延、画像処理負荷、フレームレンダリング遅延、及びネットワーキング遅延のうちの1つ又は複数を含み、前記ネットワーキング遅延は、キューイング遅延及び伝送遅延を更に含む、請求項2に記載の方法。

【請求項4】

前記ネットワークは、ピアツーピアストリーミングプロトコルを実装するように動作可能である、請求項2に記載の方法。

【請求項5】

前記クラウドアーキテクチャは複数のクラウドデバイスを含み、前記エッジアーキテクチャは複数のエッジデバイスを含み、前記方法は、
前記ライトフィールド又は没入型メディアを複数の構成要素に分割するステップと、
前記複数の構成要素の各構成要素を前記複数のクラウドデバイス及び前記複数のエッジデバイスに記憶するステップと、
前記複数の構成要素を前記エンドユーザデバイスに並行して配信するステップとを更に含む、請求項1に記載の方法。

【請求項6】

前記タスクを分割するステップは、
前記ネットワークに関連付けられた前記遅延係数を含む1つ又は複数の所定のメトリックを分析するステップと、
前記1つ又は複数の所定のネットワークメトリックを分析する前記ステップに基づいて、前記ライトフィールド又は没入型メディアストリーミングに関連付けられた前記複数の計算タスクのうちの所与の計算タスクを前記複数のクラウドデバイスのうちの所与のクラウドデバイス又は前記複数のエッジデバイスのうちの所与のエッジデバイスに割り当てるステップとを更に含み、
前記1つ又は複数の所定のメトリックは、サンプリング遅延、計算遅延、画像処理負荷、フレームレンダリング遅延、及びネットワーキング遅延を含み、前記ネットワーキング遅延は、キューイング遅延及び伝送遅延を更に含む、請求項5に記載の方法。

【請求項7】

前記タスクを分割する前記ステップは、適応型ストリーミング手法を備え、前記適応型ストリーミング手法は、深度優先度に基づく適応型ストリーミング又はアセット優先度に基づく適応型ストリーミングを含む、請求項1に記載の方法。

【請求項8】

ライトフィールド又は没入型メディアストリーミングのためのシステムであって、
ネットワークであって、前記ネットワークはクラウドアーキテクチャ及びエッジアーキテクチャを含み、前記ネットワークは前記クラウドアーキテクチャ及び前記エッジアーキテクチャからエンドユーザデバイスにライトフィールド又は没入型メディアをストリーミングするように動作可能である、ネットワークと、
コンピュータプログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記少なくとも1つのメモリにアクセスし、前記コンピュータプログラムコードによって命令されるように動作するように構成された少なくとも1つのプロセッサであって、前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサに、前記ライトフィールド又は没入型メディアストリーミングに関連付けられた複数の計算タスクを、1つ又は複数の遅延係数に基づいて複数の計算タスクに分割させるように構成された分割コードを含み、前記複数の計算タスクの第1のセットは前記クラウドアーキテクチャ上で実行され、前記複数の計算タスクの第2のセットは前記エッジアーキテクチャ上で実行され、前記複数の計算タスクの前記第2のセットは前記複数の計算タスクの前記第1のセットとは異なりかつ重複しない、少なくとも1つのプロセッサとを備える、システム。

【請求項9】

前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサに、前記ネットワークに関連付けられた前記遅延係数を含む1つ又は複数の所定のメトリックの分析に基づいて、前記複数の計算タスクのうちの所与の計算タスクを前記クラウドアーキテクチャ又は前記エッジアーキテクチャのいずれかに割り当てさせるように構成された割当てコードを更に含む、請求項8に記載のシステム。

【請求項10】

前記1つ又は複数の所定のメトリックは、サンプリング遅延、計算遅延、画像処理負荷、フレームレンダリング遅延、及びネットワーキング遅延のうちの1つ又は複数を含み、前記ネットワーキング遅延は、キューイング遅延及び伝送遅延を更に含む、請求項9に記載のシステム。

【請求項11】

前記ネットワークは、ピアツーピアストリーミングプロトコルを実装するように動作可能である、請求項9に記載のシステム。

【請求項12】

前記クラウドアーキテクチャは複数のクラウドデバイスを備え、前記エッジアーキテクチャは複数のエッジデバイスを備え、前記ライトフィールド又は没入型メディアは複数の構成要素に分割され、前記システムは、前記複数の構成要素の各構成要素を前記複数のクラウドデバイス及び前記複数のエッジデバイスに記憶し、前記複数の構成要素を前記エンドユーザデバイスに並行して配信するように動作可能である、請求項8に記載のシステム。

【請求項13】

前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサに、前記複数のクラウドデバイスのうちの所与のクラウドデバイス又は前記複数のエッジデバイスのうちの所与のエッジデバイスに、前記ライトフィールド又は没入型メディアストリーミングと関連付けられた前記複数の計算タスクのうちの所与の計算タスクを、1つ又は複数の所定のメトリックの分析に基づいて割り当てさせるように構成された割当てコードを更に含み、前記ネットワークに関連付けられた前記1つ又は複数の所定のメトリックは、サンプリング遅延、計算遅延、画像処理負荷、フレームレンダリング遅延、及びネットワーキング遅延を含み、前記ネットワーキング遅延は、キューイング遅延及び伝送遅延を更に含む、請求項12に記載のシステム。

【請求項14】

分割コードは適応型ストリーミング手法を実装し、前記適応型ストリーミング手法は、深度優先度に基づく適応型ストリーミング又はアセット優先度に基づく適応型ストリーミングを含む、請求項8に記載のシステム。

【請求項15】

プロセッサによって実行されると、前記プロセッサに、ライトフィールド又は没入型メディアストリーミングの方法を実行させる命令が記憶された非一時的コンピュータ可読媒体であって、前記方法は、
前記ライトフィールド又は没入型メディアストリーミングに関連付けられたタスクを、1つ又は複数の遅延係数に基づいて複数の計算タスクに分割するステップであって、前記複数の計算タスクの第1のセットはクラウドアーキテクチャ上で実行され、前記複数の計算タスクの第2のセットはエッジアーキテクチャ上で実行され、前記複数の計算タスクの前記第2のセットは前記複数の計算タスクの前記第1のセットとは異なりかつ重複しない、ステップと、
前記ライトフィールド又は没入型メディアを前記クラウドアーキテクチャ及び前記エッジアーキテクチャから前記エンドユーザデバイスにストリーミングするステップとを含む、非一時的コンピュータ可読媒体。

【請求項16】

前記タスクを分割するステップは、
前記ネットワークに関連付けられた前記遅延係数を含む1つ又は複数の所定のメトリックを分析するステップと、
前記1つ又は複数の所定のメトリックを分析する前記ステップに基づいて、前記ライトフィールド又は没入型メディアストリーミングに関連する前記複数の計算タスクのうちの所与の計算タスクを前記クラウドアーキテクチャ又は前記エッジアーキテクチャのいずれかに割り当てるステップとを更に含む、請求項15に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記1つ又は複数の所定のメトリックは、サンプリング遅延、計算遅延、画像処理負荷、フレームレンダリング遅延、及びネットワーキング遅延のうちの1つ又は複数を含み、前記ネットワーキング遅延は、キューイング遅延及び伝送遅延を更に含む、請求項16に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記クラウドアーキテクチャは複数のクラウドデバイスを備え、前記エッジアーキテクチャは複数のエッジデバイスを備え、前記方法は、
前記ライトフィールド又は没入型メディアを複数の構成要素に分割するステップと、
前記複数の構成要素の各構成要素を前記複数のクラウドデバイス及び前記複数のエッジデバイス上に記憶するステップと、
前記複数の構成要素を前記エンドユーザデバイスに並行して配信するステップとを更に含む、請求項15に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記タスクを分割するステップは、
前記ネットワークに関連付けられた前記遅延係数を含む1つ又は複数の所定のメトリックを分析するステップと、
前記1つ又は複数の所定のメトリックを分析する前記ステップに基づいて、前記ライトフィールド又は没入型メディアストリーミングに関連付けられた前記複数の計算タスクのうちの所与の計算タスクを、前記複数のクラウドデバイスのうちの所与のクラウドデバイス又は前記複数のエッジデバイスのうちの所与のエッジデバイスに割り当てるステップとを更に含む、請求項18に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記1つ又は複数の所定のメトリックは、サンプリング遅延、計算遅延、画像処理負荷、フレームレンダリング遅延、及びネットワーキング遅延のうちの1つ又は複数を含み、前記ネットワーキング遅延は、キューイング遅延及び伝送遅延を含む、請求項19に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2021年10月27日に出願された米国仮特許出願第63／272，654号及び2022年10月7日に出願された米国特許出願第17／962，122号の優先権を主張し、これらの開示はその全体が参照により本明細書に組み込まれる。

【0002】

開示された主題は、没入型メディアの分割レンダリング用のエッジクラウドベースのアーキテクチャのための方法及びシステムに関する。

【背景技術】

【0003】

没入型メディアは、デジタルシミュレーションによって物理的世界を創造、又は模倣しようとする没入型技術によって定義され、それによって、人間の感覚システムのいずれか又は全てを刺激し、ユーザが物理的にその場面に存在しているかのような知覚を生み出す。

【0004】

現在進行中の没入型メディア技術には、仮想現実（VR）、拡張現実（AR）、混合現実（MR）、ライトフィールド／ホログラフィックなどの様々なタイプがある。VRとは、ヘッドセットを使用してユーザをコンピュータで生成された世界に置くことにより、ユーザの物理環境をデジタル環境に置き換えることを指す。一方、ARはデジタルメディアを取り込み、クリアビジョングラス又はスマートフォンのいずれかを使用して、それらを身の回りの現実世界に重ね合わせる。MRとは、現実の世界とデジタルの世界とを融合させることで、技術と物理的な世界とが共存できる環境を作り出すことを指す。

【0005】

ライトフィールド／ホログラフィック技術は、3D空間内の光線から構成され、光線は各点、各方向からやってくる。この技術は、目に見える全てのものは全て、あらゆる光源からやって来る光によって照らされ、空間を通って移動し、物体の表面に当たり、そこで光が部分的に吸収され、別の表面に部分的に反射されてから目に届くという概念に基づいている。我々の目に正確に届く光線は、ライトフィールド内のユーザの正確な位置に依存し、ユーザが動き回ると、ユーザはライトフィールドの一部を知覚し、その知覚された部分を使用してオブジェクトの位置についてのアイデアを得る。

【0006】

光線は、各光線が3D空間内の3つの座標（3次元）及び3D空間内の方向を指定する2つの角度によって定義され得る5次元プレノプティック演算によって定義され得る。

【0007】

従来のカメラは、所与の位置でカメラレンズに到達する光線の2D表現しか取り込むことができない。画像センサは、各画素に到達する全ての光線の輝度と色の合計を記録する。

【0008】

ライトフィールド又はホログラフィックベースのディスプレイ用のコンテンツをキャプチャする場合、輝度や色だけでなく、カメラセンサに到達する全ての光線の方向もキャプチャすることができるライトフィールドカメラが必要になる。この情報を使用して、各光線の原点を正確に表現したデジタルシーンを再構成することができ、撮影したシーンを3Dで正確にデジタル的に再構成することが可能になる。

【0009】

現在、このような立体的シーンを取り込むために2つの主要な技術が使用されている。第1の手法は、カメラやカメラモジュールのアレイを使用して、各方向からの異なる光線／視野を取り込むことである。第2の手法は、制御された照明条件下で複数の物体の深度を測定することによって、構造化照明を必要とせずに1回の露光で3D情報を取り込むことができる深度カメラを使用することである。

【発明の概要】

【課題を解決するための手段】

【0010】

以下は、本開示の1つ又は複数の実施形態の基本的な理解を提供するために、そのような実施形態の簡略化された概要を提示する。本概要は、全ての企図された実施形態の広範な概要ではなく、全ての実施形態の主要な又は重要な要素を特定することも、いずれか又は全ての実施形態の範囲を線引きすることも意図されていない。その唯一の目的は、後で提示されるより詳細な説明の前置きとして、本開示の1つ又は複数の実施形態の一部の概念を簡略化された形で提示することである。

【0011】

例示的な実施形態によれば、クラウドアーキテクチャ、エッジアーキテクチャ、及びエンドユーザデバイスを含むネットワークにおけるライトフィールド又は没入型メディアストリーミングを行う方法であって、少なくとも1つのプロセッサによって実行される方法。ライトフィールド又は没入型メディアストリーミングのこの方法は、1つ又は複数の遅延係数に基づいて、前記ライトフィールド又は没入型メディアストリーミングに関連付けられたタスクを複数の計算タスクに分割することを含み、複数の計算タスクの第1のセットは前記クラウドアーキテクチャ上で実行され、複数の計算タスクの第2のセットは前記エッジアーキテクチャ上で実行され、複数の計算タスクの第2のセットは複数の計算タスクの第1のセットとは異なりかつ重複しない。この方法は、前記ライトフィールド又は没入型メディアを、前記クラウドアーキテクチャ及び前記エッジアーキテクチャから前記エンドユーザデバイスにストリーミングすることを更に含む。

【0012】

例示的な実施形態によれば、ネットワークを備えるライトフィールド又は没入型メディアストリーミングのためのシステムであって、前記ネットワークは、クラウドアーキテクチャ及びエッジアーキテクチャを備え、前記ネットワークは、前記クラウドアーキテクチャ及び前記エッジアーキテクチャからエンドユーザデバイスにライトフィールド又は没入型メディアをストリーミングするように動作可能であり、コンピュータプログラムコードを記憶するように構成された少なくとも1つのメモリと、前記少なくとも1つのメモリにアクセスし、前記コンピュータプログラムコードによって命令されるように動作するように構成された少なくとも1つのプロセッサとを備える、システム。このシステムでは、コンピュータプログラムコードは、少なくとも1つのプロセッサに、前記ライトフィールド又は没入メディアストリーミングに関連付けられた複数の計算タスクを、1つ又は複数の遅延係数に基づいて複数の計算タスクに分割させるように構成された分割コードを含み、複数の計算タスクの第1のセットは、前記クラウドアーキテクチャ上で実行され、複数の計算タスクの第2のセットは、前記エッジアーキテクチャ上で実行され、複数の計算タスクの第2のセットは、複数の計算タスクの第1のセットとは異なりかつ重複しない。

【0013】

例示的な実施形態によれば、プロセッサによって実行されると、ライトフィールド又は没入型メディアストリーミングの方法をプロセッサに実行させる命令が記憶された非一時的コンピュータ可読媒体。このライトフィールド又は没入型メディアストリーミングの方法は、1つ又は複数の遅延係数に基づいて前記ライトフィールド又は没入型メディアストリーミングに関連付けられたタスクを複数の計算タスクに分割することを含み、複数の計算タスクの第1のセットはクラウドアーキテクチャ上で実行され、複数の計算タスクの第2のセットはエッジアーキテクチャ上で実行され、複数の計算タスクの第2のセットは複数の計算タスクの第1のセットとは異なりかつ重複しない。この方法は、前記ライトフィールド又は没入型メディアを、前記クラウドアーキテクチャ及び前記エッジアーキテクチャから前記エンドユーザデバイスにストリーミングすることを更に含む。

【0014】

追加の実施形態は、以下の説明に記載され、部分的には、説明から明らかになり、及び／又は本開示の提示された実施形態の実施によって学ぶことができる。

【0015】

本開示の前述及び他の目的、特徴、及び利点は、同様の部品に同様の参照番号が付されている添付の図面と併せて行われる以下の詳細な説明から明らかである。

【図面の簡単な説明】

【0016】

【図1】シーン割り当てを有するエッジクラウドアーキテクチャを示す図である。

【図2】シーン優先度を有するエッジクラウドアーキテクチャを示す図である。

【図3】多層エッジクラウドアーキテクチャを示す図である。

【図4】コンピュータシステムの概略図である。

【発明を実施するための形態】

【0017】

図面の画像は、例示を目的として簡略化されており、縮尺通りには描かれていない。図面の説明内では、同様の要素には、前の図と同様の名称と参照番号が付されている。要素に割り当てられた特定の数字は、単に説明を助けるために提供されており、本発明に対するいかなる限定（構造的又は機能的）も意味するものではない。

【0018】

例示的な実施形態の以下の詳細な説明は、添付の図面を参照する。異なる図面における同じ参照番号は、同じ又は類似の要素を識別し得る。

【0019】

前述の開示は、例示及び説明を提供しているが、網羅的であることも、実装形態を厳密に開示の形態に限定することも意図されていない。修正形態及び変形形態が上記の開示に照らして可能であり、又は実装形態の実践から取得されてもよい。更に、一実施形態の1つ又は複数の特徴又は構成要素は、別の実施形態（又は別の実施形態の1つ又は複数の特徴）に組み込まれるか、又は組み合わされてもよい。更に、以下に提供されるフローチャート及び動作の説明では、1つ又は複数の動作が省略されてもよく、1つ又は複数の動作が追加されてもよく、1つ又は複数の動作が同時に（少なくとも部分的に）実行されてもよく、1つ又は複数の動作の順序が切り替えられてもよいことが理解される。

【0020】

本明細書に説明のシステム及び／又は方法は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせの異なる形態で実装されてもよいことは明らかであろう。これらのシステム及び／又は方法を実装するために使用される実際の専用の制御ハードウェア又はソフトウェアコードは、実施態様を限定するものではない。したがって、システム及び／又は方法の動作、並びに挙動は、特定のソフトウェアコードを参照することなく本明細書に説明されており、ソフトウェア及びハードウェアは、本明細書の説明に基づいてシステム及び／又は方法を実装するように設計され得ることが理解される。

【0021】

特定の特徴の組み合わせが、特許請求の範囲に記載され、かつ／又は本明細書に開示されていても、これらの組み合わせは、可能な実装形態の開示を限定することを意図されたものではない。実際、これらの特徴の多くは、特許請求の範囲に具体的に記載されておらず、かつ／又は本明細書に開示されていない方法で組み合わされてもよい。以下に列挙されている各従属請求項は1つの請求項のみに直接従属し得るが、可能な実装形態の開示は、請求項セット内の他の全ての請求項との組み合わせにおいて各従属請求項を含む。

【0022】

本明細書で使用される要素、動作、又は命令は、そのように明示的に記載されていない限り、重要又は必須であると解釈されるべきではない。また、本明細書で使用される場合、冠詞「a」及び「an」は、1つ又は複数の項目を含むことを意図されており、「1つ又は複数」と交換可能に使用されてもよい。1つの項目のみが意図される場合、「1つ」という用語又は同様の言葉が使用される。また、本明細書で使用される「有する（has）」、「有する（have）」、「有する（having）」、「含む（include）」、「含む（including）」などの用語は、オープンエンド用語であることが意図されている。更に、「に基づいて」という語句は、特に明記されない限り、「に少なくとも部分的に基づいて」を意味することが意図されている。更に、「［A］及び［B］の少なくとも一方」又は「［A］又は［B］の少なくとも一方」などの表現は、Aのみ、Bのみ、又はAとBの両方を含むと理解されるべきである。

【0023】

本明細書全体を通して、「一実施形態」、「実施形態」、又は同様の文言への言及は、示された実施形態に関連して説明される特定の特徴、構造、又は特性が、本解決策の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書全体を通して、「一実施形態では」、「実施形態では」という表現、及び同様の文言は、必ずしもそうとは限らないが、全て同じ実施形態を指し得る。

【0024】

更に、本開示の説明された特徴、利点、及び特性は、1つ又は複数の実施形態において任意の好適な方法で組み合わせることができる。当業者であれば、本明細書の説明に照らして、特定の実施形態の1つ又は複数の特定の特徴又は利点がなくても本開示を実施することができることを認識するであろう。他の例では、本開示の全ての実施形態には存在しない可能性のある追加的な特徴及び利点が、特定の実施形態において認識される可能性がある。

【0025】

本開示の実施形態は、エッジクラウド及びピアツーピアベースのアーキテクチャを使用することによる、ライトフィールド又は没入型メディアのための分割レンダリングのシステム及び方法に関する。現在、全てのコンピューティングデバイスは、コンピュータの能力の向上に依存している。Mooreの法則に従って、処理速度の向上とチップサイズの縮小に加え、より多くの処理コアと帯域幅を追加した結果として、計算能力は指数関数的に増加し続ける。しかしながら、高性能アプリケーションでは、容量及び処理要件に対する要件が増加している。このギャップを埋めるために、エッジクラウドベースのレンダリングアーキテクチャが必要とされる。

【0026】

クラウドベースのコンピューティングは、最新のコンピュータグラフィックスに必要な膨大な計算能力にアクセスするより多くの方法をエンドユーザに提供する。高品質のビデオフレームをレンダリングするために、当業者がスマートフォンや任意のAR／VRデバイスにおいてどれだけの処理を適合させることができるかに関する議論が現在なされているが、クラウドレンダリングにシフトすることで、ゲームは更にレベルアップする。したがって、非常に強力なオンラインコンピューティングリソースへの十分に高速な接続が開放されれば、全ての小型デバイスは、リアルタイムのビデオやゲームをストリーミングすることができるスーパーコンピュータになる可能性がある。

【0027】

一実施形態では、クラウドエッジベースの分割レンダリングアーキテクチャを、ライトフィールド／没入型メディアストリーミングに使用することができる。このアーキテクチャは、エンドデバイス自体の処理要件を軽減する。例えば、エンドデバイスは、許容可能なユーザ体験を提供するためにGPUを必要としない場合がある。エッジとクラウドとの間のタスク分割は動的であってもよく、即ち、エッジとクラウドとの間のタスク分割は、サンプリング遅延、画像処理とフレームレンダリング遅延を含む計算遅延、並びにキューイング遅延及び伝送遅延を含むネットワーキング遅延などの要因に基づいてもよい。図1を参照すると、シーン101は、3つの構成要素又はシーン（102、103、104）に分割される。異なる決定パラメータに基づくエンドデバイス（108）は、クラウド（105）からシーン1（107）及びシーン3（106）をストリーミングし、エッジ（110）からシーン2（109）をストリーミングする。疑義を避けるために、本明細書における「シーン」への言及は、単なる例であり、「シーン」は、ストリーミングの影響を受けやすい任意のメディアを含むと理解されるべきである。

【0028】

同じ実施形態では、エッジとクラウドとの間のタスク分割はまた、適応型ストリーミング手法に基づいてもよい。ここで採用され得る2種類の適応型ストリーミング方法として、1）シーン全体を一度にレンダリングする代わりに、深度優先度に基づいてアセットをレンダリングする、シーン深度に基づく適応型ストリーミングと、2）優先度の高いアセットが最初にレンダリングされる、アセット優先度に基づく適応型ストリーミングとがあり得る。したがって、タスク全体を一度に割り当てるのではなく、優先度に基づいてタスク分割し、順次割り当てていく。例えば、シーン201が3つの優先度（202、203、204）に分割されている図2を参照されたい。エンドデバイス（208）は、シーン201の優先度1（207）及び優先度3（206）の部分をクラウドからストリーミングし、シーン201の優先度2（209）の部分をエッジからストリーミングする。タスクが割り当てられると、まず、利用可能な計算能力（サンプリング遅延、画像処理及びフレームレンダリング遅延を含む計算遅延、キューイング遅延と伝送遅延を含むネットワーキング遅延）に応じて、優先度が高い部分がエッジ又はクラウドからストリーミングされる。

【0029】

別の実施形態では、サーバ／CDNは、シーン301を、複数のエッジクラウドシステム（306、310、311、314）に記憶し得る複数のシーン（302、303、304、305）に分割し得て、それによって、エンドユーザが各シーン（307、308、312、313）を並列に処理することを可能にする。これはまた、単一のエッジ又はクラウドに接続する代わりに、エンドユーザが図3に示すように複数のエッジ及びクラウドに接続できることを意味する。これは、シーンを並列に処理すると、単一のエッジやクラウドに接続する場合と比較して、処理に余分な遅延が生じないという事実に基づいている。

【0030】

別の実施形態では、ライトフィールド／没入型メディアのストリーミングにピアツーピアストリーミングプロトコルを適用してもよい。これにより、各デバイスをクラウドに接続する必要がなくなる。したがって、各シーンについて、サーバはシーンファイル、並びにシーンファイルのハッシュを有することになる。シーンファイルのハッシュは、シーンファイルがダウンロードされるソースを示す。次いで、エンドユーザは、エッジクラウドからシーンをダウンロードしたいか、ピアツーピアダウンロードをしたいかを決定し、複数のピアからシーンファイルが提供される場合に適切なピアを選択することができる。

【0031】

エッジクラウドアーキテクチャ及びピアツーピアストリーミングを使用するライトフィールド又は没入型メディアのための分割レンダリングの手法は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、1つ又は複数のコンピュータ可読メディアに物理的に記憶されてもよい。例えば、図4は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム400を示す。

【0032】

コンピュータソフトウェアは、コンピュータ中央処理ユニット（CPU）、グラフィック処理ユニット（GPU）などによって、直接に、又は解釈、マイクロコードの実行などを介して実行できる命令を含むコードを作成するために、アセンブリ、コンパイル、リンクなどの機構の適用を受け得る、任意の適切な機械コード又はコンピュータ言語を使用して符号化され得る。

【0033】

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、及びモノのインターネットデバイスなどを含む様々なタイプのコンピュータ又はその構成要素上で実行され得る。

【0034】

コンピュータシステム400に関して図4に示す構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用又は機能の範囲に関する限定を示唆することを意図していない。構成要素の構成も、コンピュータシステム400の例示的な実施形態に示されているコンポーネントのいずれか1つ又は組み合わせに関するいかなる依存関係又は要件を有すると解釈されるべきではない。

【0035】

コンピュータシステム400は、特定のヒューマンインタフェース入力デバイスを含み得る。そのようなヒューマンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動き）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介した、1人又は複数の人間のユーザによる入力に応答し得る。ヒューマンインタフェースデバイスはまた、（音声、音楽、周囲の音などの）オーディオ、（スキャン画像、静止画カメラから取得された写真画像などの）画像、（2次元ビデオ、立体ビデオを含む3次元ビデオなどの）ビデオなどの、人間による意識的な入力に必ずしも直接関連しない特定の媒体を取り込むために使用することができる。

【0036】

入力ヒューマンインタフェースデバイスは、キーボード401、マウス402、トラックパッド403、タッチスクリーン410、データグローブ（図示せず）、ジョイスティック405、マイク406、スキャナ407、カメラ408のうちの1つ又は複数（それぞれ1つのみを図示）を含み得る。

【0037】

コンピュータシステム400はまた、特定のヒューマンインタフェース出力デバイスを含み得る。そのようなヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光、及び臭い／味を介して、1人又は複数の人間ユーザの感覚を刺激している場合がある。そのようなヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン410、データグローブ（図示せず）、又はジョイスティック405による触覚フィードバック、しかし入力デバイスとして機能しない触覚フィードバックデバイスが存在する可能性もある）、音声出力デバイス（スピーカ409、ヘッドフォン（図示せず）など）、視覚出力デバイス（CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン410など、各々タッチスクリーン入力機能の有無にかかわらず、各々触覚フィードバック機能の有無にかかわらず、それらのうちのいくつかは、ステレオグラフィック出力、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）などの手段を介して2次元視覚出力又は3次元以上の出力を出力することが可能な場合がある）、並びにプリンタ（図示せず）を含み得る。

【0038】

コンピュータシステム400はまた、人間がアクセス可能な記憶デバイス、並びにCD／DVD又は同様のメディア421を有するCD／DVD ROM／RWを含む光学メディア420、サムドライブ422、リムーバブルハードドライブ又はソリッドステートドライブ423、テープやフロッピーディスクなどのレガシー磁気メディア（図示せず）、セキュリティドングルなどの専用のROM／ASIC／PLDベースのデバイス（図示せず）などといった記憶デバイスの関連メディアも含むことができる。

【0039】

また、当業者は、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が伝送媒体、搬送波、又は他の一時的信号を包含しないことを理解されたい。

【0040】

コンピュータシステム400は、1つ又は複数の通信ネットワークへのインタフェースも含むことができる。ネットワークは、例えば、無線、有線、光であってもよい。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び産業用、リアルタイム、遅延耐性、などとすることができる。ネットワークの例には、Ethernetなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラネットワーク、ケーブルテレビ、衛星テレビ及び地上波テレビを含むテレビの有線又は無線ワイドエリアデジタルネットワーク、CANBusを含む車両用及び産業用などが含まれる。特定のネットワークは、一般に、特定の汎用データポート又は周辺バス（449）（例えば、コンピュータシステム400のUSBポートなど）に接続された外部ネットワークインタフェースアダプタを必要とし、他のものは一般に、以下に記載されるようにシステムバスへの接続によってコンピュータシステム400のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインタフェース435又はスマートフォンコンピュータシステムへのセルラネットワークインタフェース433）。これらのネットワークのいずれかを使用して、コンピュータシステム400は他のエンティティと通信することができる。そのような通信は、例えば、ローカル又はワイドエリアデジタルネットワークを使用して、他のコンピュータシステムに対して、単方向、受信のみ（例えば、放送テレビ）、単方向送信のみ（例えば、特定のCANbusデバイスへのCANbus）、又は双方向であり得る。特定のプロトコル及びプロトコルスタックは、上述されたそれらのネットワーク及びネットワークインタフェースの各々で使用することができる。

【0041】

前述のヒューマンインタフェースデバイス、人間がアクセス可能な記憶デバイス、及びネットワークインタフェースを、コンピュータシステム400のコア440に取り付けることができる。

【0042】

コア440は、1つ又は複数の中央処理装置（CPU）441、グラフィック処理装置（GPU）442、フィールドプログラマブルゲートエリア（FPGA：Field Programmable Gate Area）443の形態の専用プログラマブル処理装置、及び特定のタスク用のハードウェアアクセラレータ444などを含むことができる。これらのデバイスは、読み出し専用メモリ（ROM）445、ランダムアクセスメモリ446、ユーザがアクセスできない内部ハードドライブ、SSDなどの内部大容量ストレージ447と共に、システムバス448を介して接続され得る。一部のコンピュータシステムでは、システムバス448は、追加のCPU及びGPUなどによる拡張を可能にするために、1つ又は複数の物理プラグの形態でアクセス可能であってもよい。周辺デバイスは、コアのシステムバス448に直接取り付けることができ、又は周辺バス449を介して取り付けることができる。周辺バス用のアーキテクチャには、PCI、USBなどが含まれる。

【0043】

CPU441、GPU442、FPGA443、及びアクセラレータ444は、組み合わせることで前述のコンピュータコードを構成し得る特定の命令を実行することができる。そのコンピュータコードは、ROM445又はRAM446に記憶することができる。移行データもRAM446に記憶することができるが、永続データは、例えば、内部大容量ストレージ447に記憶することができる。メモリデバイスのいずれかに対する高速の記憶及び検索は、1つ又は複数のCPU441、GPU442、大容量ストレージ447、ROM445、RAM446などと密接に関連付けることができるキャッシュメモリを使用して可能にすることができる。

【0044】

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであってもよく、又はそれらは、コンピュータソフトウェア技術のスキルを有する人々に周知かつ利用可能な種類であってもよい。

【0045】

限定ではなく、例として、アーキテクチャ400、特にコア440を有するコンピュータシステムは、1つ又は複数の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記で導入したようなユーザアクセス可能な大容量ストレージ、及び非一時的な性質の、コア440の特定のストレージに関連付けられる媒体、例えば、コア内部の大容量ストレージ447又はROM445であってもよい。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア440によって実行することができる。コンピュータ可読媒体は、特定の必要性に応じて、1つ又は複数のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア440に、特にその中のプロセッサ（CPU、GPU、及びFPGAなどを含む）に、RAM446に記憶されたデータ構造を定義すること、及びソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を変更することを含む、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、本明細書に記載の特定の処理、又は特定の処理の特定の部分を実行するために、ソフトウェアの代わりに、又はソフトウェアと共に動作し得る回路（例えば、アクセラレータ444）に配線された、又はそうでなければ具体化されたロジックの結果として機能を提供することができる。ソフトウェアへの言及は、必要に応じて、論理を包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のための論理を具現化する回路、又はその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。

【0046】

本開示はいくつかの例示的な実施形態を記載しているが、本開示の範囲内に入る変更、置換、及び様々な代替の均等物が存在する。よって、当業者は、本明細書に明示的に図示又は記載されていないが、本開示の原理を具体化し、よってその趣旨及び範囲内にある多数のシステム及び方法を考案することができることが理解されよう。

【符号の説明】

【0047】

101 シーン
102 シーン
103 シーン
104 シーン
105 クラウド
106 シーン3
107 シーン1
108 エンドデバイス
109 シーン2
110 エッジ
201 シーン
202 優先度
203 優先度
204 優先度
206 優先度3
207 優先度1
208 エンドデバイス
209 優先度2
210 エッジ
301 シーン
302 シーン
303 シーン
304 シーン
305 シーン
306 エッジクラウドシステム
307 シーン
308 シーン
310 エッジクラウドシステム
311 エッジクラウドシステム
312 シーン
313 シーン
314 エッジクラウドシステム
400 コンピュータシステム
401 キーボード
402 マウス
403 トラックパッド
405 ジョイスティック
406 マイク
407 スキャナ
408 カメラ
409 スピーカ
410 タッチスクリーン
420 光学メディア
421 メディア
422 サムドライブ
423 リムーバブルハードドライブ又はソリッドステートドライブ
433 セルラネットワークインタフェース
435 イーサネットインタフェース
440 コア
441 中央処理装置（CPU）
442 グラフィック処理装置（GPU）
443 フィールドプログラマブルゲートエリア（FPGA）
444 ハードウェアアクセラレータ
445 読み出し専用メモリ（ROM）
446 ランダムアクセスメモリ（RAM）
447 内部大容量ストレージ
448 システムバス
449 周辺バス

【図1】