特許 7601479 没入型メディアの相互運用性

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】没入型メディアの相互運用性

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241210BHJP

   G06T 19/00 20110101ALI20241210BHJP

   H04S 7/00 20060101ALI20241210BHJP

【ＦＩ】

G06F3/01 510

G06T19/00 A

H04S7/00 300

【請求項の数】 13

(21)【出願番号】P 2023530539

(86)(22)【出願日】2022-08-23

(65)【公表番号】

(43)【公表日】2023-12-12

(86)【国際出願番号】 US2022075326

(87)【国際公開番号】W WO2023028477

(87)【国際公開日】2023-03-02

【審査請求日】2023-05-19

(31)【優先権主張番号】63/260,509

(32)【優先日】2021-08-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/892,987

(32)【優先日】2022-08-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ティエン，ジュン

(72)【発明者】

【氏名】シュー，シャオジョン

(72)【発明者】

【氏名】リウ，シャン

【審査官】遠藤 孝徳

(56)【参考文献】

【文献】特表２０２１－５１７９８７（ＪＰ，Ａ）

【文献】特表２０２１－５１９０１２（ＪＰ，Ａ）

【文献】再公表特許第２０１９／０７８０３３（ＪＰ，Ａ１）

【文献】特表２０２０－５２７８８７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３０４９３３（ＵＳ，Ａ１）

【文献】特表２０２０－５１５９５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３４４５６３（ＵＳ，Ａ１）

【文献】特表２０２１－５０７５５８（ＪＰ，Ａ）

【文献】米国特許第１０７９１３１３（ＵＳ，Ｂ２）

【文献】国際公開第２０２１／０１５９８２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／００５３４６４（ＵＳ，Ａ１）

【文献】特表２０２１－５１８９２３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１９６０８６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｔ １９／００ －１９／０２

Ｈ０４Ｓ ７／００

Ａ６３Ｆ １３／００ －１３／９８

Ａ６３Ｇ ３１／００ －３１／１６

(57)【特許請求の範囲】

【請求項1】

メディア処理デバイスにより実行される、メディア処理の方法であって、
メディアアプリケーションにおけるシーンの第１のメディアコンテンツに関連づけられた第１の３自由度（３ＤｏＦ）情報を受信するステップであり、前記第１の３ＤｏＦ情報は、前記メディアアプリケーションのユーザを中心とした第１の球形上に前記第１のメディアコンテンツを記述するための第１の旋回向きを含む、ステップと、
前記第１のメディアコンテンツをレンダリングするためのレンダリングプラットフォームが６自由度（６ＤｏＦ）プラットフォームであると判断するステップと、
前記第１の旋回向きと、前記第１の球形の中心位置及び半径を含む前記第１の球形の第１のパラメータとに基づいて、次の

【数1】

という式に従って、前記第１のメディアコンテンツの第１の空間位置情報を算出するステップであり、（ｘ，ｙ，ｚ）は前記第１のメディアコンテンツの空間位置を表し、（θ，φ，ψ）は前記第１の旋回向きを表し、（ａ，ｂ，ｃ）は前記第１の球形の前記中心位置を表し、ｒは前記第１の球形の前記半径を表し、前記第１の空間位置情報は、前記第１のメディアコンテンツを前記６ＤｏＦプラットフォーム上でレンダリングするために前記第１のメディアコンテンツに関連づけられた第１の６ＤｏＦ情報において使用される、ステップと、
を含む方法。

【請求項2】

事前に定義されたパラメータを前記第１の球形の前記第１のパラメータとして使用するステップ
をさらに含む、請求項１に記載の方法。

【請求項3】

前記第１の球形の前記中心位置を、事前定義された位置であるように設定するステップと、
前記第１の球形の前記半径を、事前定義された正の値であるように設定するステップと、
をさらに含む、請求項２に記載の方法。

【請求項4】

前記第１の球形の前記中心位置を、３次元（３Ｄ）空間における（０，０，０）であるように設定するステップと、
前記第１の球形の半径を、１であるように設定するステップと、
をさらに含む、請求項３に記載の方法。

【請求項5】

前記メディア処理デバイスはメディアクライアントデバイスであり、当該方法は、
メディアサーバデバイスから前記第１の球形の前記第１のパラメータを受信するステップ
をさらに含む、請求項１に記載の方法。

【請求項6】

当該方法は、
前記第１のメディアコンテンツを運ぶビットストリームの一部である補足強化情報（ＳＥＩ）メッセージから、前記第１の球形の前記第１のパラメータを受信するステップ
をさらに含む、請求項５に記載の方法。

【請求項7】

当該方法は、
システムレイヤにおけるメタデータのパケットから、前記第１の球形の前記第１のパラメータを受信するステップであり、前記システムレイヤにおける前記メタデータのパケットは、前記第１のメディアコンテンツを運ぶビットストリームと別個である、ステップ
をさらに含む、請求項５に記載の方法。

【請求項8】

前記メディアアプリケーションにおける前記シーンの第２のメディアコンテンツに関連づけられた第２の３ＤｏＦ情報を受信するステップであり、前記第２の３ＤｏＦ情報は、前記第１の球形と中心位置を共有する第２の球形上に前記第２のメディアコンテンツを記述するための第２の旋回向きを含む、ステップと、
前記第２の旋回向きと前記第２の球形の第２のパラメータに基づいて、前記第２のメディアコンテンツの第２の空間位置情報を算出するステップであり、前記第２の空間位置情報は、前記第２のメディアコンテンツを前記６ＤｏＦプラットフォーム上でレンダリングするために前記第２のメディアコンテンツに関連づけられた第２の６ＤｏＦ情報において使用される、ステップと、
をさらに含む、請求項１に記載の方法。

【請求項9】

前記第１の球形と前記第２の球形は同じ半径を有する、請求項８に記載の方法。

【請求項10】

前記第１の球形と前記第２の球形は異なる半径を有する、請求項８に記載の方法。

【請求項11】

前記メディア処理デバイスはメディアクライアントデバイスであり、当該方法は、
前記第１の空間位置情報を含む前記第１の６ＤｏＦ情報に従って、前記第１のメディアコンテンツをレンダリングするステップ
をさらに含む、請求項１に記載の方法。

【請求項12】

前記メディア処理デバイスはメディアサーバデバイスであり、当該方法は、
前記第１の６ＤｏＦ情報に関連づけられた前記第１のメディアコンテンツをビットストリームにおいてメディアクライアントデバイスに提供するステップ
をさらに含む、請求項１に記載の方法。

【請求項13】

メディア処理の装置であって、
処理回路を含み、前記処理回路は、請求項１乃至１２のうちいずれか１項に記載の方法を実行するように構成される、装置。

【発明の詳細な説明】

【技術分野】

【0001】

［参照による組み込み］
本出願は、2022年8月22日に出願された米国特許出願第17/892,987号「IMMERSIVE MEDIA INTEROPERABILITY」に対する優先権の利益を主張するものであり、該出願は、2021年8月23日に出願された米国仮出願第63/260,509号「Immersive Media Interoperability」に対する優先権の利益を主張するものである。先行出願の開示は、その全体を参照によりここで組み込まれる。

【0002】

［技術分野］
本開示は、一般にメディア処理に関連する実施形態について説明する。

【背景技術】

【0003】

本明細書で提供される背景技術説明は、一般に開示の文脈を提示することを目的としている。この背景技術セクションに記載されている範囲の、現在名前が挙げられている発明者の著作物、並びに、その他の点で出願時における従来技術として適さない可能性のある説明の態様は、本開示に対して明示的にも暗黙的にも従来技術として認められない。

【0004】

仮想現実（virtual reality）又は拡張現実（augmented reality）のアプリケーションにおいて、アプリケーションの仮想世界に存在する感覚をユーザに持たせるために、アプリケーションの仮想シーンにおけるビデオ、オーディオ、又は他の刺激は、現実世界におけるように知覚される。いくつかの例において、現実世界におけるユーザの物理的な動きは、アプリケーションにおける仮想シーン内でマッチする動きを有するものとして知覚される。さらに、ユーザは、現実的と知覚され、かつ現実世界におけるユーザの体験とマッチするメディアを使用して、仮想シーンと対話することができる。

【発明の概要】

【0005】

開示の態様は、メディア処理のための方法及び装置を提供する。いくつかの例において、メディア処理のための装置は、処理回路を含む。処理回路は、メディアアプリケーションにおけるシーンの第１のメディアコンテンツに関連づけられた第１の３自由度（３ＤｏＦ）情報を受信する。第１の３ＤｏＦ情報は、メディアアプリケーションのユーザを中心とした第１の球形上に第１のメディアコンテンツを記述するための第１の旋回向きを含む。処理回路は、第１のメディアコンテンツをレンダリングするためのレンダリングプラットフォームが６自由度（６ＤｏＦ）プラットフォームであると判断し、第１の旋回向きと第１の球形の第１のパラメータに基づいて、第１のメディアコンテンツの第１の空間位置情報を算出する。第１の空間位置情報は、第１のメディアコンテンツを６ＤｏＦプラットフォーム上でレンダリングするために第１のメディアコンテンツに関連づけられた第１の６ＤｏＦ情報において使用される。

【0006】

いくつかの実施形態において、処理回路は、事前に定義されたパラメータに従って第１の球形の第１のパラメータを決定する。いくつかの例において、処理回路は、第１の球形の中心位置を、事前定義された位置であるように設定し、第１の球形の半径を、事前定義された正の値であるように設定する。一例において、処理回路は、第１の球形の中心位置を、３次元（３Ｄ）空間における（０，０，０）であるように設定し、第１の球形の半径を、１であるように設定する。

【0007】

いくつかの実施形態において、装置はメディアクライアントデバイスであり、処理回路は、メディアサーバデバイスから第１の球形の第１のパラメータを受信する。一例において、処理回路は、第１のメディアコンテンツを運ぶビットストリームの一部である補足強化情報（ＳＥＩ）メッセージから、第１の球形の第１のパラメータを受信する。別の例において、処理回路は、システムレイヤにおけるメタデータのパケットから、第１の球形の第１のパラメータを受信する。システムレイヤにおけるメタデータのパケットは、第１のメディアコンテンツを運ぶビットストリームと別個である。

【0008】

いくつかの例において、処理回路は、メディアアプリケーションにおけるシーンの第２のメディアコンテンツに関連づけられた第２の３ＤｏＦ情報を受信する。第２の３ＤｏＦ情報は、第１の球形と中心位置を共有する第２の球形上に第２のメディアコンテンツを記述するための第２の旋回向きを含む。処理回路は、第２の旋回向きと第２の球形の第２のパラメータに基づいて、第２のメディアコンテンツの第２の空間位置情報を算出する。第２の空間位置情報は、第２のメディアコンテンツを６ＤｏＦプラットフォーム上でレンダリングするために第２のメディアコンテンツに関連づけられた第２の６ＤｏＦ情報において使用される。

【0009】

一例において、第１の球形と第２の球形は同じ半径を有する。別の例において、第１の球形と第２の球形は異なる半径を有する。

【0010】

一例において、装置はメディアクライアントデバイスであり、処理回路は、第１の空間位置情報を含む第１の６ＤｏＦ情報に従って、第１のメディアコンテンツをレンダリングする。別の例において、装置はメディアサーバデバイスであり、処理回路は、第１の６ＤｏＦ情報に関連づけられた第１のメディアコンテンツをビットストリームにおいてメディアクライアントデバイスに提供する。

【0011】

開示の態様はさらに、命令を記憶した非一時的コンピュータ読取可能媒体を提供し、該命令は、コンピュータにより実行されたときに、コンピュータにメディア処理の方法を実行させる。

【図面の簡単な説明】

【0012】

開示される対象事項のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。

【図1A】図１Ａ～図１Ｃは、いくつかの例における６自由度（６ＤｏＦ）及び３自由度（３ＤｏＦ）を使用する環境を例示する図を示す。

【図1B】図１Ａ～図１Ｃは、いくつかの例における６自由度（６ＤｏＦ）及び３自由度（３ＤｏＦ）を使用する環境を例示する図を示す。

【図1C】図１Ａ～図１Ｃは、いくつかの例における６自由度（６ＤｏＦ）及び３自由度（３ＤｏＦ）を使用する環境を例示する図を示す。

【図2】開示の一実施形態によるメディアシステムのブロック図を示す。

【図3】開示のいくつかの実施形態によるプロセスを概説するフローチャートを示す。

【図4】一実施形態に従うコンピュータシステムの概略的な例示である。

【発明を実施するための形態】

【0013】

開示の態様は、没入型メディア（immersive media）の相互運用性のための手法を提供する。没入型技術により、没入型メディアは、デジタルシミュレーションを通じて物理的な世界を作成又は模倣しようと試みる。開示の一態様によれば、没入型メディアアプリケーションのための機器は、異なる自由度（degrees of freedom）、例えば、６自由度（６ＤｏＦ）、３自由度（３ＤｏＦ）などをサポートする場合がある。６ＤｏＦをサポートする機器は、６ＤｏＦをサポートするハードウェア及びソフトウェアを含む６ＤｏＦプラットフォームと呼ぶことができる。３ＤｏＦをサポートする機器は、３ＤｏＦをサポートするハードウェアとソフトウェアを含む３ＤｏＦプラットフォームと呼ぶことができる。一部のメディアコンテンツは、６ＤｏＦプラットフォーム上のユーザと対話するために生成され、６ＤｏＦメディアコンテンツと呼ばれ、一部のメディアコンテンツは、３ＤｏＦプラットフォーム上のユーザと対話するために生成され、３ＤｏＦメディアコンテンツと呼ばれる。本開示は、没入型メディアの相互運用性を向上させるために没入型メディアコンテンツを調整する手法を提供する。具体的には、上記手法は、６ＤｏＦプラットフォームでの使用のために３ＤｏＦメディアコンテンツに適用することができる。

【0014】

開示のいくつかの態様によれば、いくつかの技術は、没入型メディアと呼ばれるデジタルシミュレーションを通じて物理的な世界を作成又は模倣しようと試みる。没入型メディア処理は、「イマーシブオーディオ（immersive audio）」、「イマーシブビデオ（immersive video）」、及び「システムサポート（systems support）」を含む、ＭＰＥＧ－Ｉ（Moving Picture Expert Group Immersive）標準スイートなどの没入型メディア標準に従って実装することができる。没入型メディア標準は、ユーザが６つの自由度（６ＤｏＦ）を使用して環境をナビゲートし、該環境と対話することができる、ＶＲ又はＡＲ提示をサポートすることができる。６ＤｏＦは、３次元空間における剛体の動きの自由さを指す。体の運動には、並進運動と回転運動を含むことができる。

【0015】

図１Ａは、いくつかの例における６自由度（６ＤｏＦ）を使用する環境（１００Ａ）を例示する図を示す。ユーザ（１０１Ａ）の動きの６ＤｏＦは、並進運動と回転運動を含むことができる。例えば、並進運動は、３次元空間におけるユーザ（１０１Ａ）の位置（ａ，ｂ，ｃ）を使用してユーザ（１０１Ａ）の空間ナビゲーションとして表すことができ、ａの変化は、Ｘ軸に沿った動き（例えば、前方及び後方）であり、ｂの変化は、Ｙ軸に沿った動き（例えば、左及び右）であり、ｃの変化は、Ｚ軸に沿った動き（例えば、上及び下）である。回転運動は、ユーザ頭部向き（α１，β１，γ１）を使用してユーザの向きとして表すことができ、α１は、Ｚ軸の周りの回転角度であり、ヨー角とも呼ばれ、β１は、Ｙ軸の周りの回転角度であり、ピッチ角とも呼ばれ、γ１は、Ｘ軸の周りの回転角度であり、ロール角とも呼ばれる。図１Ａに示すように、ユーザの回転向き（rotation orientation）（α１，β１，γ１）は、ユーザ（１０１Ａ）の空間位置（ａ，ｂ，ｃ）を中心としている。

【0016】

図１Ａはユーザに対する６ＤｏＦを示しているが、同様の定義を他の剛体に適用することができる。例えば、環境内のオーディオソース（例えば、スピーカー）、仮想オブジェクトに対して、６ＤｏＦを同様に定義することができる。

【0017】

図１Ｂは、いくつかの例における６自由度（６ＤｏＦ）を使用する環境（１００Ｂ）を例示する図を示す。環境（１００Ｂ）は、ユーザ（１０１Ｂ）とスピーカー（１０２Ｂ）を含む。ユーザ（１０１Ｂ）の６ＤｏＦは、環境（１００Ａ）におけるのと同様に定義される。例えば、ユーザ（１０１Ｂ）の６ＤｏＦは、３次元空間におけるユーザ（１０１Ｂ）の空間位置（ａ，ｂ，ｃ）と、ユーザ（１０１Ｂ）の回転向き（α１，β１，γ１）を含む。回転向き（α１，β１，γ１）は、中心をユーザ（１０１Ｂ）の空間位置（ａ，ｂ，ｃ）にして定義される。

【0018】

スピーカーの動きの６ＤｏＦは、スピーカー（１０２Ｂ）の空間位置（ｘ，ｙ，ｚ）と、スピーカー（１０２Ｂ）の回転向き（α２，β２，γ２）を含むことができる。回転向き（α２，β２，γ２）は、中心をスピーカー（１０２Ｂ）の空間位置（ｘ，ｙ，ｚ）にして定義される。

【0019】

図１Ｂはスピーカーに対する６ＤｏＦを示しているが、同様の定義を他の剛体に適用することができる。

【0020】

いくつかの用途のアプリケーションにおいて、没入型メディアデバイスが６ＤｏＦをサポートしているとき、ユーザは、没入型メディアデバイスによるサポートにより６ＤｏＦメディアコンテンツと対話することができる。例えば、ユーザの６ＤｏＦ情報は、没入型メディアデバイスにより検出でき、没入型メディアデバイスは、ユーザの６ＤｏＦ情報に基づいて６ＤｏＦメディアコンテンツのオーディオ及びビデオをレンダリングすることができる。

【0021】

３ＤｏＦプラットフォームなどのいくつかの没入型メディアデバイスは、６ＤｏＦをサポートしていない場合があり、人々が３自由度（３ＤｏＦ）を使用してメディアコンテンツ（例えば、３ＤｏＦメディアコンテンツ）と対話できるようにのみする場合がある。３ＤｏＦメディアコンテンツのいくつかの例において、３ＤｏＦは、ユーザ及びメディアに関連づけられた向き情報を参照することができる。例えば、３ＤｏＦ設定におけるメディアの向き情報は、ユーザが球形（sphere）の中心である該球形上に存在するメディアの旋回向き（revolution orientation）角度を含む。メディアは、ビジュアル、オーディオ（オーディオチャネル、オーディオオブジェクトなど）、又は他の形式とすることができる。３ＤｏＦ設定における向き情報は、旋回向き（θ，φ，ψ）と呼ぶことができ、θは、ユーザのＺ軸の周りの旋回角度であり、φは、ユーザのＹ軸の周りの旋回角度であり、ψは、ユーザのＸ軸の周りの旋回角度である。

【0022】

図１Ｃは、いくつかの例における３自由度（６ＤｏＦ）を使用する環境（１００Ｃ）を例示する図を示す。環境（１００Ｃ）は、ユーザ（１０１Ｃ）とスピーカー（１０２Ｃ）を含む。スピーカー（１０２Ｃ）は、球形（１１０）上の点（１１１）として扱われる。球形（１１０）の中心はユーザ（１０１Ｃ）である。スピーカー（１０２Ｃ）の３ＤｏＦは、球形（１１０）上の点（１１１）の旋回向き（θ，φ，ψ）として定義される。

【0023】

いくつかのアプリケーションにおいて、３ＤｏＦメディアコンテンツは、６ＤｏＦプラットフォーム上でレンダリングされる必要がある場合がある。本開示は、３ＤｏＦメディアコンテンツを、６ＤｏＦプラットフォーム上でレンダリングされるように６ＤｏＦメディアコンテンツに調整する手法を提供する。

【0024】

図２は、開示の一実施形態によるメディアシステム（２００）のブロック図を示す。メディアシステム（２００）は、没入型メディアアプリケーション、拡張現実（ＡＲ）アプリケーション、仮想現実アプリケーション、ビデオゲームアプリケーション、スポーツゲームアニメーションアプリケーション、テレビ会議及びテレプレゼンスアプリケーション、メディアストリーミングアプリケーションなどの、様々な用途のアプリケーションで使用することができる。

【0025】

メディアシステム（２００）は、メディアサーバデバイス（２１０）と、図２に示すメディアクライアントデバイス（２６０Ａ）及び（２６０Ｂ）などの複数のメディアクライアントデバイスを含み、これらは、ネットワーク（図示せず）により接続することができる。一例において、メディアサーバデバイス（２１０）は、オーディオコーディング及びビデオコーディング機能を備えた１つ以上のデバイスを含むことができる。一例において、メディアサーバデバイス（２１０）は、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、タブレットコンピュータなどの単一のコンピューティングデバイスを含む。別の例において、メディアサーバデバイス（２１０）は、データセンター、サーバファームなどを含む。メディアサーバデバイス（２１０）は、ビデオ及びオーディオコンテンツを受信し、ビデオコンテンツ及びオーディオコンテンツを適切なメディアコーディング標準に従って１つ以上の符号化されたビットストリームに圧縮することができる。符号化されたビットストリームは、ネットワークを介してメディアクライアントデバイス（２６０Ａ）及び（２６０Ｂ）に配信することができる。

【0026】

メディアクライアントデバイス（例えば、メディアクライアントデバイス（２６０Ａ）及び（２６０Ｂ））は、それぞれ、メディアアプリケーションのためのビデオコーディング及びオーディオコーディング機能を備えた１つ以上のデバイスを含む。一例において、メディアクライアントデバイスの各々は、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、タブレットコンピュータ、ウェアラブルコンピューティングデバイス、ヘッドマウントディスプレイ（head mounted display、ＨＭＤ）デバイスなどのコンピューティングデバイスを含む。メディアクライアントデバイスは、符号化されたビットストリームを適切なメディアコーディング標準に従って復号することができる。復号されたビデオコンテンツ及びオーディオコンテンツは、メディア再生に使用することができる。

【0027】

メディアサーバデバイス（２１０）は、任意の適切な技術を使用して実施することができる。図２の例では、メディアサーバデバイス（２１０）は、一緒に結合された処理回路（２３０）とインターフェース回路（２１１）を含む。

【0028】

処理回路（２３０）は、１つ以上の中央処理装置（ＣＰＵ）、１つ以上のグラフィックス処理ユニット（ＧＰＵ）、特定用途向け集積回路などの任意の適切な処理回路を含むことができる。処理回路（２３０）は、オーディオエンコーダ、ビデオエンコーダなどの様々なエンコーダを含むように構成することができる。一例において、１つ以上のＣＰＵ及び／又はＧＰＵが、オーディオエンコーダ又はビデオエンコーダとして機能するソフトウェアを実行することができる。別の例において、オーディオエンコーダ又はビデオエンコーダは、特定用途向け集積回路を使用して実装することができる。

【0029】

インターフェース回路（２１１）は、メディアサーバデバイス（２１０）をネットワークとインターフェース接続する（interface）ことができる。インターフェース回路（２１１）は、ネットワークから信号を受信する受信部分と、ネットワークに信号を送信する送信部分を含むことができる。例えば、インターフェース回路（２１１）は、符号化されたビットストリームを他のデバイス、例えばメディアクライアントデバイス（２６０Ａ）、メディアクライアントデバイス（２６０Ｂ）などにネットワークを介して運ぶ信号を送信することができる。インターフェース回路（２１１）は、メディアクライアントデバイス（２６０Ａ）及び（２６０Ｂ）などのメディアクライアントデバイスから信号を受信することができる。

【0030】

ネットワークは、イーサネット接続、光ファイバ接続、ＷｉＦｉ接続、セルラーネットワーク接続などの有線及び／又は無線接続を介して、メディアサーバデバイス（２１０）及びメディアクライアントデバイス（例えば、メディアクライアントデバイス（２６０Ａ）及び（２６０Ｂ））と適切に結合される。ネットワークは、ネットワークサーバデバイス、ストレージデバイス、ネットワークデバイスなどを含むことができる。ネットワークのコンポーネントは、有線及び／又は無線接続を介して一緒に適切に結合される。

【0031】

メディアクライアントデバイス（例えば、メディアクライアントデバイス（２６０Ａ）及び（２６０Ｂ））は、コーディングされたビットストリームを復号するようにそれぞれ構成される。一例において、各メディアクライアントデバイスは、表示できるビデオフレームのシーケンスを再構成するためのビデオ復号を実行することができ、再生のためのオーディオ信号を生成するためのオーディオ復号を実行することができる。

【0032】

メディアクライアントデバイス（２６０Ａ）及び（２６０Ｂ）などのメディアクライアントデバイスは、任意の適切な技術を使用して実施することができる。図２の例では、ユーザＡにより使用できるユーザ機器としてメディアクライアントデバイス（２６０Ａ）が示されているが、イヤホンを備えたヘッドマウントディスプレイ（ＨＭＤ）に限定されず、ユーザＢにより使用できるユーザ機器としてメディアクライアントデバイス（２６０Ｂ）が示されているが、イヤホンを備えたＨＭＤに限定されない。

【0033】

図２において、メディアクライアントデバイス（２６０Ａ）は、インターフェース回路（２６１Ａ）と、図２に示すように一緒に結合された処理回路（２７０Ａ）を含み、メディアクライアントデバイス（２６０Ｂ）は、インターフェース回路（２６１Ｂ）と、図２に示すように一緒に結合された処理回路（２７０Ｂ）を含む。

【0034】

インターフェース回路（２６１Ａ）は、メディアクライアントデバイス（２６０Ａ）をネットワークとインターフェース接続することができる。インターフェース回路（２６１Ａ）は、ネットワークから信号を受信する受信部分と、ネットワークに信号を送信する送信部分を含むことができる。例えば、インターフェース回路（２６１Ａ）は、ネットワークから符号化されたビットストリームを運ぶ信号などの、データを運ぶ信号を受信することができる。

【0035】

処理回路（２７０Ａ）は、ＣＰＵ、ＧＰＵ、特定用途向け集積回路などの適切な処理回路を含むことができる。処理回路（２７０Ａ）は、ＤｏＦコンバータ（２７１Ａ）、レンダラ（renderer）（２７２Ａ）、ビデオデコーダ（図示せず）、オーディオデコーダ（図示せず）などの様々なコンポーネントを含むように構成することができる。

【0036】

いくつかの例において、オーディオデコーダは、オーディオコンテンツが符号化された方式に適した復号ツールを選択することにより、符号化されたビットストリーム内のオーディオコンテンツを復号することができ、ビデオデコーダは、ビデオコンテンツが符号化された方式に適した復号ツールを選択することにより、符号化されたビットストリーム内のビデオコンテンツを復号することができる。ＤｏＦコンバータ（２７１Ａ）は、メディアクライアントデバイス（２６０Ａ）と互換性があるように、復号されたメディアコンテンツ内のＤｏＦ情報を調整するように構成される。一例において、メディアクライアントデバイス（２６０Ａ）のハードウェアが６ＤｏＦをサポートし、受信したメディアコンテンツが３ＤｏＦメディアコンテンツを含み、次いで、ＤｏＦコンバータ（２７１Ａ）は、３ＤｏＦメディアコンテンツを、メディアクライアントデバイス（２６０Ａ）で再生するために６ＤｏＦメディアコンテンツに変換することができる。

【0037】

さらに、レンダラ（２７２Ａ）は、符号化されたビットストリームから復号されたオーディオコンテンツ及びビデオコンテンツから、メディアクライアントデバイス（２６０Ａ）に適した最終的なデジタルプロダクト（product）を生成することができる。処理回路（２７０Ａ）は、さらなるメディア処理のためにミキサ、後処理回路などの他の適切なコンポーネント（図示せず）を含むことができることに留意する。

【0038】

同様に、インターフェース回路（２６１Ｂ）は、メディアクライアントデバイス（２６０Ｂ）をネットワークとインターフェース接続することができる。インターフェース回路（２６１Ｂ）は、ネットワークから信号を受信する受信部分と、ネットワークに信号を送信する送信部分を含むことができる。例えば、インターフェース回路（２６１Ｂ）は、ネットワークから符号化されたビットストリームを運ぶ信号などの、データを運ぶ信号を受信することができる。

【0039】

処理回路（２７０Ｂ）は、ＣＰＵ、ＧＰＵ、特定用途向け集積回路などの適切な処理回路を含むことができる。処理回路（２７０Ｂ）は、ＤｏＦコンバータ（２７１Ｂ）、レンダラ（２７２Ｂ）、ビデオデコーダ、オーディオデコーダなどの様々なコンポーネントを含むように構成することができる。

【0040】

いくつかの例において、オーディオデコーダは、オーディオコンテンツが符号化された方式に適した復号ツールを選択することにより、符号化されたビットストリーム内のオーディオコンテンツを復号することができ、ビデオデコーダは、ビデオコンテンツが符号化された方式に適した復号ツールを選択することにより、符号化されたビットストリーム内のビデオコンテンツを復号することができる。ＤｏＦコンバータ（２７１Ｂ）は、メディアクライアントデバイス（２６０Ｂ）と互換性があるように、受信したメディアコンテンツ内のＤｏＦ情報を調整するように構成される。一例において、メディアクライアントデバイス（２６０Ｂ）のハードウェアが６ＤｏＦをサポートし、受信したメディアコンテンツが３ＤｏＦメディアコンテンツを含み、次いで、ＤｏＦコンバータ（２７１Ｂ）は、３ＤｏＦメディアコンテンツを、メディアクライアントデバイス（２６０Ｂ）で再生するために６ＤｏＦメディアコンテンツに変換することができる。

【0041】

さらに、レンダラ（２７２Ｂ）は、符号化されたビットストリームから復号されたオーディオコンテンツから、メディアクライアントデバイス（２６０Ｂ）に適した最終的なデジタルプロダクトを生成することができる。処理回路（２７０Ｂ）は、さらなるオーディオ処理のためにミキサ、後処理回路などの他の適切なコンポーネント（図示せず）を含むことができることに留意する。

【0042】

いくつかの例において、メディアサーバデバイス（２１０）は、ＤｏＦ変換を実行することができる。一例において、メディアサーバデバイス（２１０）は、ＤｏＦコンバータ（２３１）を含む。一例において、メディアサーバデバイス（２１０）は、メディアクライアントデバイス（２６０Ａ）及びメディアクライアントデバイス（２６０Ｂ）などのメディアクライアントデバイスからハードウェア情報を受信することができる。例えば、メディアサーバデバイス（２１０）は、メディアクライアントデバイス（２６０Ａ）からハードウェア情報を受信し、ハードウェア情報は、メディアクライアントデバイス（２６０Ａ）が６ＤｏＦメディアコンテンツをサポートし、低バッテリ状態であることを示し、次いで、ＤｏＦコンバータ（２３１）は、３ＤｏＦメディアコンテンツを６ＤｏＦメディアコンテンツに変換することができる。６ＤｏＦメディアコンテンツは、適切に符号化され、メディアクライアントデバイス（２６０Ａ）に送信されることが可能である。別の例において、メディアサーバデバイス（２１０）は、メディアクライアントデバイス（２６０Ｂ）からハードウェア情報を受信し、ハードウェア情報は、メディアクライアントデバイス（２６０Ｂ）が６ＤｏＦメディアコンテンツをサポートし、メディアクライアントデバイス（２６０）が処理能力を欠く（例えば、ＤｏＦコンバータを有さない）ことを示し、次いで、ＤｏＦコンバータ（２３１）は、３ＤｏＦメディアコンテンツを６ＤｏＦメディアコンテンツに変換することができる。６ＤｏＦメディアコンテンツは、適切に符号化され、メディアクライアントデバイス（２６０Ｂ）に送信されることが可能である。

【0043】

開示のいくつかの態様によれば、３ＤｏＦメディアコンテンツは、シーンにおけるメディアの向き情報とともに、ユーザ向き情報を記述することができる。メディアコンテンツは、ビジュアル、オーディオ（オーディオチャネル、オーディオオブジェクトなど）、又は他の形式とすることができる。３ＤｏＦメディアコンテンツを６ＤｏＦメディアコンテンツに変換するために、いくつかの例において、ユーザ空間位置情報と、シーンにおける各メディアの空間位置情報が適切に決定される。

【0044】

３ＤｏＦメディアコンテンツの３ＤｏＦ情報は、ユーザが球形の中心であり、かつメディアコンテンツが球形の表面位置にある球形に基づいて、メディアコンテンツの旋回向きを記述することに留意する。開示の一態様によれば、球形の中心位置、球形の半径などの球形のパラメータを用いて、メディアコンテンツの３ＤｏＦ情報をメディアコンテンツの６ＤｏＦ情報に変換することができる。球形のパラメータは、事前定義し、サーバ側又はクライアント側で利用可能とすることができ、あるいはサーバ側からクライアント側に送信することができる。

【0045】

いくつかの実施形態において、球形に関する事前に定義されたパラメータのセットは、サーバ側及びクライアント側（例えば、図２におけるメディアサーバデバイス及びメディアクライアントデバイス）で利用可能であり、６ＤｏＦメディアコンテンツは、事前に定義されたパラメータのセットに基づいて、３ＤｏＦメディアコンテンツに対応して生成することができる。いくつかの例において、ユーザ空間位置と、ユーザとメディアコンテンツの位置との間の距離（例えば、メディアコンテンツの位置が球形上にあり、かつ球形の中心がユーザの位置である球形の半径）が、事前定義されたパラメータである。

【0046】

いくつかの例において、ユーザ空間位置は、（０，０，０）、３次元空間の原点におけるものとして事前に定義される。旋回向き（ヨーθ、ピッチφ、ロールψ）を有する３ＤｏＦメディアコンテンツでは、空間位置（ｘ，ｙ，ｚ）は、旋回向きに基づいて算出することができる。

【0047】

一例において、ユーザ空間位置は（０，０，０）に設定され、メディアコンテンツの位置とユーザの位置との間の距離は１に設定される。例えば、メディアコンテンツの位置は、ユーザが中心である単位球形上にある。したがって、メディアコンテンツの空間位置（ｘ，ｙ，ｚ）は、例えば、式（１）、式（２）、及び式（３）に従って算出することができる。

【数1】

【0048】

したがって、６ＤｏＦを使用して、環境におけるユーザ及びメディアコンテンツの動きを表すことができる。例えば、６ＤｏＦにおけるユーザの空間位置情報は、（０，０，０）で表すことができ、６ＤｏＦにおけるユーザの回転向きは、（θ，φ，ψ）で表すことができる。６ＤｏＦにおけるメディアコンテンツの空間位置情報は、式（１）、式（２）、及び式（３）に従って算出された（ｘ，ｙ，ｚ）で表すことができ、メディアコンテンツの回転向きは、（θ，φ，ψ）、（２π－θ，π－φ，π－ψ）、（０，０，０）などの任意の適切な値により設定することができる。

【0049】

別の例において、ユーザの空間位置は（０，０，０）に設定され、メディアコンテンツの空間位置とユーザの空間位置との間の距離はｒであり、ｒは正の数である。したがって、メディアコンテンツの空間位置は、ｒの半径を有する球形上にあり、ユーザの空間位置は、球形の中心である。メディアコンテンツの空間位置（ｘ，ｙ，ｚ）は、式（４）、式（５）、及び式（６）に従って算出することができる。

【数2】

【0050】

したがって、６ＤｏＦを使用して、環境におけるユーザ及びメディアコンテンツの動きを表すことができる。例えば、６ＤｏＦにおけるユーザの空間位置情報は、（０，０，０）で表すことができ、６ＤｏＦにおけるユーザの回転向きは、（θ，φ，ψ）で表すことができる。６ＤｏＦにおけるメディアコンテンツの空間位置情報は、式（４）、式（５）、及び式（６）に従って算出された（ｘ，ｙ，ｚ）で表すことができ、メディアコンテンツの回転向きは、（θ，φ，ψ）、（２π－θ，π－φ，π－ψ）、（０，０，０）などの任意の適切な値により設定することができる。

【0051】

別の例において、ユーザの空間位置は、（ａ，ｂ，ｃ）として設定され、メディアコンテンツの空間位置とユーザの空間位置との間の距離は、ｒであるように設定され、ｒは正の数である。メディアコンテンツの空間位置（ｘ，ｙ，ｚ）は、式（７）、式（８）、及び式（９）に従って算出することができる。

【数3】

【0052】

したがって、６ＤｏＦを使用して、環境におけるユーザ及びメディアコンテンツの動きを表すことができる。例えば、６ＤｏＦにおけるユーザの空間位置情報は、（ａ，ｂ，ｃ）で表すことができ、６ＤｏＦにおけるユーザの回転向きは、（θ，φ，ψ）で表すことができる。６ＤｏＦにおけるメディアコンテンツの空間位置情報は、式（７）、式（８）、及び式（９）に従って算出された（ｘ，ｙ，ｚ）で表すことができ、メディアコンテンツの回転向きは、（θ，φ，ψ）、（２π－θ，π－φ，π－ψ）、（０，０，０）などの任意の適切な値により設定することができる。

【0053】

いくつかの実施形態において、異なるメディアコンテンツの空間位置は、ユーザの空間位置が中心にある同じ球形上に存在する。したがって、全てのメディアコンテンツは、同じ半径ｒを共有する。

【0054】

いくつかの実施形態において、各メディアコンテンツは、その独自の半径ｒを有する。メディアコンテンツの半径は、異なる場合がある。したがって、メディアコンテンツの空間位置は、ユーザ位置を中心とした異なる球形上に存在することができる。

【0055】

開示の一態様によれば、３ＤＯＦメディアコンテンツに加えて球形のパラメータ（例えば、球形の中心の位置、球形の半径）は、コンテンツビットストリームの一部として又は別個に、メタデータ又はＳＥＩメッセージを介して、クライアント側に配信される場合がある。３ＤＯＦソースと球形のパラメータとの双方の組み合わせられた情報を用いて、６ＤＯＦプラットフォームは、対応するコンテンツをレンダリングすることができる。

【0056】

一実施形態において、ユーザ空間位置（球形の中心）、ユーザとメディアコンテンツの位置との間の距離（球形の半径）を含む球形のパラメータは、補足強化情報（supplemental enhanced information、ＳＥＩ）メッセージを使用してなどで、３ＤｏＦメディアコンテンツを運ぶビットストリームの一部としてシグナリングされる。ＳＥＩメッセージは、コンテンツビットストリームからの没入型３ＤｏＦメディアコンテンツの復号プロセスに影響しない。ＳＥＩメッセージは、提供された３ＤｏＦメディアコンテンツを用いて（６ＤｏＦプラットフォーム上で）６ＤｏＦ効果をレンダリングするのを支援することができる。

【0057】

別の実施形態において、ユーザ空間位置（球形の中心）、ユーザとメディアコンテンツの位置との間の距離（球形の半径）を含む球形のパラメータは、３ＤｏＦメディアコンテンツを運ぶビットストリームの一部として配信されない。いくつかの例において、球形のパラメータは、システムレイヤのパケットを介してなどで、メタデータとして送信される。メタデータは、ビットストリームからの没入型３ＤｏＦコンテンツの通常の復号プロセスに影響しない。メタデータは、提供された３ＤｏＦメディアコンテンツを用いて（例えば、６ＤｏＦプラットフォーム上で）６ＤｏＦ効果をレンダリングするのを支援することができる。

【0058】

図３は、開示の一実施形態によるプロセス（３００）を概説するフローチャートを示す。プロセス（３００）は、メディアサーバデバイス（２１０）におけるＤｏＦコンバータ（２３１）、メディアクライアントデバイス（２６０Ａ）におけるＤｏＦコンバータ（２７１Ａ）、メディアクライアントデバイス（２６０Ｂ）におけるＤｏＦコンバータ（２７１Ｂ）などのメディア処理デバイスにより実行することができる。いくつかの実施形態において、プロセス（３００）はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行したとき、処理回路はプロセス（３００）を実行する。プロセスは（Ｓ３０１）で開始し、（Ｓ３１０）に進む。

【0059】

（Ｓ３１０）において、メディアアプリケーションにおけるシーンの第１のメディアコンテンツに関連づけられた第１の３自由度（３ＤｏＦ）情報が受信される。第１の３ＤｏＦ情報は、第１の球形上に第１のメディアコンテンツを記述するための第１の旋回向きを含む。一例において、第１の球形は、メディアアプリケーションのユーザを中心としている。

【0060】

（Ｓ３２０）において、メディア処理デバイスは、メディアコンテンツをレンダリングするためのレンダリングプラットフォームが６ＤｏＦプラットフォームであると判断する。一例において、メディア処理デバイスは、６ＤｏＦをサポートするメディアクライアントデバイスであり、メディア処理デバイスは、メディアクライアントデバイスの構成に基づいて判断を行うことができる。別の例において、メディア処理デバイスは、メディアサーバデバイスであり、メディアサーバデバイスは、メディアクライアントデバイスから信号を受信することができる。信号は、メディアクライアントデバイスが６ＤｏＦをサポートしていることを示す。

【0061】

（Ｓ３３０）において、第１のメディアコンテンツの第１の空間位置情報が、第１の旋回向きと第１の球形の第１のパラメータに基づいて決定される。第１の空間位置情報は、一例では、第１のメディアコンテンツを６ＤｏＦプラットフォーム上でレンダリングするために第１のメディアコンテンツに関連づけられた第１の６ＤｏＦ情報において使用される。

【0062】

いくつかの実施形態において、第１の球形の第１のパラメータは、メディアサーバデバイス及びメディアクライアントデバイスに既知である事前に定義されたパラメータに従って決定される。いくつかの例において、第１の球形の中心位置は、事前定義された位置であるように、第１の球形の半径は、事前定義された正の値であるように設定され、第１の空間位置は、例えば、式（７）、式（８）、及び式（９）に従って決定することができる。一例において、第１の球形の中心位置は、３次元（３Ｄ）空間における（０，０，０）であるように、第１の球形の半径は、１であるように設定される。次いで、第１の空間位置情報は、例えば、式（１）、式（２）、及び式（３）に従って決定することができる。

【0063】

いくつかの実施形態において、メディア処理デバイスは、メディアクライアントデバイスであり、メディアクライアントデバイスは、メディアサーバデバイスから第１の球形の第１のパラメータを受信する。いくつかの例において、メディアクライアントデバイスは、第１のメディアコンテンツを運ぶビットストリームの一部である補足強化情報（ＳＥＩ）メッセージから第１の球形の第１のパラメータを受信する。第１のメディアコンテンツは、ＳＥＩメッセージを使用することなくビットストリームから復号することができる。ＳＥＩメッセージは、３ＤｏＦである第１のメディアコンテンツを用いて６ＤｏＦ効果をレンダリングするための情報を提供する。

【0064】

いくつかの例において、メディアクライアントデバイスは、システムレイヤにおけるメタデータのパケットから第１の球形の第１のパラメータを受信する。このパケットは、第１のメディアコンテンツを運ぶビットストリームと別個である。第１のメディアコンテンツは、メタデータを使用することなくビットストリームから復号することができる。メタデータは、３ＤｏＦである第１のメディアコンテンツを用いて６ＤｏＦ効果をレンダリングするための情報を提供する。

【0065】

いくつかの例において、メディアアプリケーションにおけるシーンの第２のメディアコンテンツに関連づけられた第２の３ＤｏＦ情報が受信される。第２の３ＤｏＦ情報は、第１の球形と中心位置を共有する第２の球形上に第２のメディアコンテンツを記述するための第２の旋回向きを含む。次いで、第２のメディアコンテンツの第２の空間位置情報が、第２の旋回向きと第２の球形の第２のパラメータに基づいて算出される。第２の空間位置情報は、第２のメディアコンテンツを６ＤｏＦプラットフォーム上でレンダリングするために第２のメディアコンテンツに関連づけられた第２の６ＤｏＦ情報において使用される。一例において、第１の球形と第２の球形は、同じ半径を有する。別の例において、第１の球形と第２の球形は、異なる半径を有する。

【0066】

いくつかの例において、メディア処理デバイスは、メディアクライアントデバイスであり、メディアクライアントデバイスは、第１の空間位置情報を含む第１の６つのＤｏＦ情報に従って第１のメディアコンテンツをレンダリングする。

【0067】

いくつかの例において、メディア処理デバイスは、メディアサーバデバイスであり、メディアサーバデバイスは、第１の６ＤｏＦ情報に関連づけられた第１のメディアコンテンツをビットストリームにおいてメディアクライアントデバイスに提供する。

【0068】

その後、プロセスは（Ｓ３９９）に進み、終了する。

【0069】

プロセス（３００）は適切に適応させることができる。プロセス（３００）内のステップを修正及び／又は省略することができる。さらなるステップを追加することができる。任意の適切な実施順序を使用することができる。

【0070】

上述した手法は、コンピュータ読取可能命令を使用してコンピュータソフトウェアとして実施し、１つ以上のコンピュータ読取可能媒体に物理的に記憶することができる。例えば、図４は、開示される対象事項の特定の実施形態を実施するのに適したコンピュータシステム（４００）を示す。

【0071】

コンピュータソフトウェアは、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）などにより直接、又は解釈、マイクロコード実行を通じてなどで実行することができる命令を含むコードを作成するために、アセンブリ、コンパイル、リンク、又は同様のメカニズムの対象となり得る任意の適切なマシンコード又はコンピュータ言語を使用してコーディングすることができる。

【0072】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、モノのインターネット（internet of things）のデバイスなどを含む様々なタイプのコンピュータ又はそれらのコンポーネント上で実行することができる。

【0073】

コンピュータシステム（４００）について図４に示すコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用又は機能の範囲に関する制限を示唆することを意図していない。また、コンポーネントの構成も、コンピュータシステム（４００）の例示的な実施形態に示されるコンポーネントのいずれか１つ又は組み合わせに関する依存関係又は要件を有すると解釈されるべきではない。

【0074】

コンピュータシステム（４００）は、特定のヒューマンインターフェース入力デバイスを含むことができる。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動き）、オーディオ入力（例えば、音声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を通じて、１以上の人間のユーザによる入力に応答することができる。さらに、ヒューマンインターフェースデバイスは、オーディオ（例えば、発話、音楽、環境音）、画像（例えば、スキャン画像、静止画カメラから取得された写真画像）、ビデオ（例えば、２次元ビデオ、立体ビデオを含む３次元ビデオ）などの、人間による意識的な入力に必ずしも直接関連しない特定のメディアを捕捉するために使用することもできる。

【0075】

入力ヒューマンインターフェースデバイスは、キーボード（４０１）、マウス（４０２）、トラックパッド（４０３）、タッチスクリーン（４１０）、データグローブ（図示せず）、ジョイスティック（４０５）、マイクロフォン（４０６）、スキャナ（４０７）、カメラ（４０８）のうちの１つ以上を含むことができる（各々の１つのみが示されている）。

【0076】

コンピュータシステム（４００）は、特定のヒューマンインターフェース出力デバイスを含むこともできる。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、匂い／味を通じて、１以上の人間のユーザの感覚を刺激している場合がある。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（４１０）、データグローブ（図示せず）、ジョイスティック（４０５）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスが存在することもできる）、オーディオ出力デバイス（例えば、スピーカー（４０９）、ヘッドフォン（図示せず））、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンなどのスクリーン（４１０）であり、各々がタッチスクリーン入力能力を有し又は有さず、各々が触覚フィードバック能力を有し又は有さず、これらの一部は、２次元の視覚出力、又は立体出力などの手段を通じて３より大きい次元の出力を出力することが可能でもよい；仮想現実グラス（図示せず）、ホログラフィックディスプレイ、及びスモークタンク（図示せず））、及びプリンタ（図示せず）が含むことができる。

【0077】

コンピュータシステム（４００）は、人間によりアクセス可能なストレージデバイスとそれらの関連づけられた媒体、例えば、ＣＤ／ＤＶＤなどの媒体（４２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（４２０）を含む光学媒体、サムドライブ（４２２）、リムーバブルハードドライブ又はソリッドステートドライブ（４２３）、テープ及びフロッピーディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの特化したＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスなども含むことができる。

【0078】

当業者は、現在開示されている対象事項に関連して使用される用語「コンピュータ読取可能媒体」が、送信媒体、搬送波、又は他の一時的な信号を包含しないことも理解すべきである。

【0079】

コンピュータシステム（４００）は、１つ以上の通信ネットワーク（４５５）へのインターフェース（４５４）を含むこともできる。ネットワークは、例えば、無線、有線、光とすることができる。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両用及び産業用、リアルタイム、遅延耐性などとすることができる。ネットワークの例には、イーサネットなどのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、地上波放送テレビを含むテレビ有線又は無線ワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車両用及び産業用が含まれる。特定のネットワークは、特定の汎用データポート又は周辺バス（４４９）（例えば、コンピュータシステム（４００）のＵＳＢポートなど）に取り付けられた外部ネットワークインターフェースアダプタを一般的に必要とする。他のものは、以下に記載するようにシステムバスへの取り付けにより、コンピュータシステム（４００）のコアに一般的に統合される（例えば、イーサネットインターフェースがＰＣコンピュータシステムに、又は、セルラーネットワークインターフェースがスマートフォンコンピュータシステムに）。これらのネットワークのいずれかを使用し、コンピュータシステム（４００）は、他のエンティティと通信することができる。このような通信は、例えば、ローカル又はワイドエリアデジタルネットワークを使用して他のコンピュータシステムに対して、単方向、受信のみ（例えば、テレビの放送）、単方向送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、又は双方向とすることができる。特定のプロトコル及びプロトコルスタックを、上述したようなネットワーク及びネットワークインターフェースの各々で使用することができる。

【0080】

前述のヒューマンインターフェースデバイス、人間によりアクセス可能なストレージデバイス、及びネットワークインターフェースは、コンピュータシステム（４００）のコア（４４０）に対して取り付けることができる。

【0081】

コア（４４０）は、１つ以上の中央処理装置（ＣＰＵ）（４４１）、グラフィックス処理ユニット（ＧＰＵ）（４４２）、フィールドプログラマブルゲートエリア（Field Programmable Gate Areas、ＦＰＧＡ）の形式の特化したプログラマブル処理ユニット（４４３）、特定のタスクのためのハードウェアアクセラレータ（４４４）、グラフィックスアダプタ（４５０）などを含むことができる。これらのデバイスは、読取専用メモリ（ＲＯＭ）（４４５）、ランダムアクセスメモリ（４４６）、内部のユーザアクセス不可能なハードドライブ、ＳＳＤなどの内部大容量記憶装置（４４７）とともに、システムバス（４４８）を通じて接続される場合がある。いくつかのコンピュータシステムにおいて、システムバス（４４８）は、さらなるＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つ以上の物理プラグの形でアクセス可能とすることができる。周辺デバイスは、コアのシステムバス（４４８）に直接か、又は周辺バス（４４９）を通じてかのいずれかで取り付けることができる。一例において、スクリーン（４１０）は、グラフィックスアダプタ（４５０）に接続することができる。周辺バスのアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。

【0082】

ＣＰＵ（４４１）、ＧＰＵ（４４２）、ＦＰＧＡ（４４３）、及びアクセラレータ（４４４）は、組み合わせて前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（４４５）又はＲＡＭ（４４６）に記憶することができる。過渡的なデータも、ＲＡＭ（４４６）に記憶することができ、一方で、永続的なデータは、例えば内部の大容量記憶装置（４４７）に記憶することができる。メモリデバイスのいずれかに対する高速の記憶及び取り出しは、１つ以上のＣＰＵ（４４１）、ＧＰＵ（４４２）、大容量記憶装置（４４７）、ＲＯＭ（４４５）、ＲＡＭ（４４６）などに密接に関連づけることができるキャッシュメモリの使用を通じて可能にすることができる。

【0083】

コンピュータ読取可能媒体は、様々な、コンピュータにより実施される動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものとすることができ、あるいは、コンピュータソフトウェア分野における当業者に良く知られた、利用可能な種類のものとすることができる。

【0084】

制限ではなく一例として、アーキテクチャ（４００）、具体的にはコア（４４０）を有するコンピュータシステムは、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ以上の有形のコンピュータ読取可能媒体に具現化されたソフトウェアを実行した結果として機能性を提供することができる。そのようなコンピュータ読取可能媒体は、上記で導入したようなユーザアクセス可能な大容量記憶装置、並びに、コア内部の大容量記憶装置（４４７）又はＲＯＭ（４４５）などの、非一時的な性質のものであるコア（４４０）の特定の記憶装置に関連づけられた媒体とすることができる。本開示の様々な実施形態を実施するソフトウェアは、そのようなデバイスに記憶し、コア（４４０）により実行することができる。コンピュータ読取可能媒体は、特定のニーズに従って１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（４４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ソフトウェアにより定義された処理に従ってＲＡＭ（４４６）に記憶されるデータ構造を定義すること及びそのようなデータ構造を修正することを含む、本明細書に記載される特定の処理又は特定の処理の特定の部分を実行させることができる。さらに又は代わりとして、コンピュータシステムは、回路（例えば、アクセラレータ（４４４））にハードワイヤードされ、又はその他の方法で具現化された論理の結果として機能性を提供することができ、これは、ソフトウェアの代わりに、又はソフトウェアと一緒に動作して、本明細書に記載される特定の処理又は特定の処理の特定の部分を実行することができる。適切な場合には、ソフトウェアへの参照は論理を包含することができ、逆もまた同様である。適切な場合には、コンピュータ読取可能媒体への参照は、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のための論理を具現化する回路、又は双方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。

【0085】

本開示は、いくつかの例示的な実施形態を説明したが、開示の範囲内に入る改変、置換、及び様々な代替同等物がある。したがって、当業者には、本明細書において明示的に図示又は説明されていないが開示の原理を具現化し、したがってその主旨及び範囲内にある多数のシステム及び方法を考案可能であることが理解されるであろう。

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】