特表 2024-522251 没入型オーディオ体験のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-12

(54)【発明の名称】没入型オーディオ体験のためのシステム及び方法

(51)【国際特許分類】

   H04N 21/241 20110101AFI20240605BHJP

   G06F 3/048 20130101ALI20240605BHJP

   H04N 21/235 20110101ALI20240605BHJP

   H04N 21/233 20110101ALI20240605BHJP

   G10L 25/03 20130101ALN20240605BHJP

   G10L 25/27 20130101ALN20240605BHJP

   G10H 1/00 20060101ALN20240605BHJP

【ＦＩ】

H04N21/241

G06F3/048

H04N21/235

H04N21/233

G10L25/03

G10L25/27

G10H1/00 B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023565181

(86)(22)【出願日】2022-04-25

(85)【翻訳文提出日】2023-11-10

(86)【国際出願番号】 US2022026192

(87)【国際公開番号】W WO2022226409

(87)【国際公開日】2022-10-27

(31)【優先権主張番号】63/178,983

(32)【優先日】2021-04-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＡＰＰＬＥ ＭＵＳＩＣ

３．ＳＰＯＴＩＦＹ

４．ＨＵＥ

５．Ｎａｎｏｌｅａｆ

６．ＳＯＵＮＤＣＬＯＵＤ

７．ＴＩＤＡＬ

(71)【出願人】

【識別番号】523398651

【氏名又は名称】ヴァイブス・アンド・ロジック・インコーポレイテッド

【氏名又は名称原語表記】ＶＩＢＥＳ ＆ ＬＯＧＩＣ， ＩＮＣ．

【住所又は居所原語表記】５７８ Ｗａｓｈｉｎｇｔｏｎ Ｂｌｖｄ．， ＃６２５， Ｍａｒｉｎａ ｄｅｌ Ｒｅｙ， ＣＡ ９０２９２ ＵＮＩＴＥＤ ＳＴＡＴＥＳ ＯＦ ＡＭＥＲＩＣＡ

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】トドロフ・イヴァン

(72)【発明者】

【氏名】ザイガー・マット

(72)【発明者】

【氏名】スキナー・グラント

【テーマコード（参考）】

5C164

5D478

5E555

【Ｆターム（参考）】

5C164GA07

5C164MA07S

5C164MB13S

5C164PA41

5C164SB04P

5C164SB08P

5C164SB51P

5D478DF01

5E555AA76

5E555BA88

5E555BB16

5E555BC04

5E555DA03

5E555DA13

5E555DA21

5E555EA27

5E555FA00

(57)【要約】

没入型オーディオ体験を作成するためのコンピュータ実装方法。方法は、ユーザインターフェースを介してオーディオトラックの選択を受信することと、オーディオトラックのオーディオトラックメタデータを受信することと、を含む。方法は、トラックメタデータに基づいてオーディオデータベースに問い合わせることと、オーディオトラックのオーディオデータがオーディオデータベース上に保存されていないことを決定することと、を含む。方法は、オーディオトラックを分析して、１つ以上のオーディオトラック特性を決定することを含む。方法は、１つ以上のオーディオトラック特性に基づいてバイブデータを生成することであって、バイブデータが、時間コード化されたメタデータを含む、生成することを含む。バイブデータに基づいて、ユーザコンピューティングデバイスと通信する１つ又はＡ／Ｖデバイスのための視覚化命令を生成すること、並びにユーザコンピューティングデバイスに生成された視覚化命令及びオーディオトラックを送信すること。
【選択図】図１

【特許請求の範囲】

【請求項1】

没入型オーディオ体験を作成するためのコンピュータ実装方法であって、前記方法が、
ユーザインターフェースを介してユーザコンピューティングデバイスからオーディオトラックのユーザ選択を受信することと、
オーディオソースから、前記オーディオトラックのオーディオトラックメタデータを受信することと、
前記トラックメタデータに基づいてオーディオデータベースに問い合わせることと、
前記問い合わせに基づいて、前記オーディオトラックのオーディオデータが前記オーディオデータベース上に保存されていないことを決定することと、
前記オーディオトラックのオーディオデータが前記オーディオデータベース上に保存されていないという前記決定に基づいて、前記オーディオトラックを分析して、１つ以上のオーディオトラック特性を決定することと、
前記１つ以上のオーディオトラック特性に基づいてバイブデータを生成することであって、前記バイブデータが、時間コード化されたメタデータを含む、生成することと、
前記バイブデータに基づいて、前記ユーザコンピューティングデバイスと通信する１つ以上の視聴覚（Ａ／Ｖ）デバイスのための視覚化命令を生成することと、
前記ユーザコンピューティングデバイスに前記生成された視覚化命令及び前記オーディオトラックを送信することと、を含む、方法。

【請求項2】

前記１つ以上のトラック特性が、前記オーディオトラックの１つ以上のセクションを含む、請求項１に記載の方法。

【請求項3】

前記１つ以上のトラック特性が、前記オーディオトラックのジャンル、拍子、１分間の拍数（ＢＰＭ）、ステム、周波数、又はフレーズのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項4】

前記オーディオトラックを分析することが、１つ以上の人工知能（ＡＩ）エンジン又は機械学習技術を使用することを含む、請求項１に記載の方法。

【請求項5】

前記オーディオソースが、デジタルサービスプロバイダ（ＤＳＰ）である、請求項１に記載の方法。

【請求項6】

前記生成された視覚化データ及び前記オーディオトラックが、ストリーミングプロトコルを使用して前記ユーザコンピューティングデバイスに送信される、請求項１に記載の方法。

【請求項7】

前記ストリーミングプロトコルが、前記生成された視覚化データの一部を、前記オーディオトラックの関連付けられた部分にバインディングすることを含む、請求項６に記載の方法。

【請求項8】

没入型オーディオ体験を作成するためのシステムであって、前記システムが、
複数のＡ／Ｖデバイスと無線通信するように構成されたユーザコンピューティングデバイスであって、前記ユーザコンピューティングデバイスが、オーディオトラックのユーザ選択を受信するためのグラフィカルユーザインターフェースを提供するためのプロセッサ実行可能命令を含むメモリと通信する１つ以上のプロセッサを含む、ユーザコンピューティングデバイスと、
前記ユーザコンピューティングデバイスと電子通信する１つ以上のリモートコンピュータサーバと、を備え、前記１つ以上のリモートコンピュータサーバが、
オーディオソースから前記オーディオトラックのオーディオトラックメタデータを受信することと、
前記オーディオトラックメタデータを分析して、前記オーディオトラックと関連付けられた１つ以上のオーディオトラック特性を決定することと、
前記１つ以上のオーディオトラック特性に基づいてバイブデータを生成することであって、前記バイブデータが、時間コード化されたメタデータを含む、生成することと、
前記バイブデータに基づいて、前記複数の視聴覚（Ａ／Ｖ）デバイスのうちの少なくとも１つのための視覚化命令を生成することと、
前記ユーザコンピューティングデバイスに前記生成された視覚化命令及び前記オーディオトラックを送信することと、を行うためのプロセッサ実行可能命令を含むメモリと通信する１つ以上のプロセッサを含み、
前記ユーザコンピューティングデバイスの前記メモリが、前記生成された視覚化命令を前記複数の視聴覚（Ａ／Ｖ）デバイスのうちの前記少なくとも１つに送信するためのプロセッサ実行可能命令を更に含む、システム。

【請求項9】

前記１つ以上のトラック特性が、前記オーディオトラックの１つ以上のセクションを含む、請求項８に記載の方法。

【請求項10】

前記１つ以上のトラック特性が、前記オーディオトラックのジャンル、拍子、１分間の拍数（ＢＰＭ）、ステム、周波数、又はフレーズのうちの少なくとも１つを含む、請求項８に記載の方法。

【請求項11】

前記オーディオトラックを分析することが、１つ以上の人工知能（ＡＩ）エンジン又は機械学習技術を使用することを含む、請求項８に記載の方法。

【請求項12】

前記オーディオソースが、デジタルサービスプロバイダ（ＤＳＰ）である、請求項８に記載の方法。

【請求項13】

前記生成された視覚化データ及び前記オーディオトラックが、ストリーミングプロトコルを使用して前記ユーザコンピューティングデバイスに送信される、請求項８に記載の方法。

【請求項14】

前記ストリーミングプロトコルが、前記生成された視覚化データの一部を、前記オーディオトラックの関連付けられた部分にバインディングすることを含む、請求項１３に記載の方法。

【請求項15】

没入型オーディオ体験を作成するためのコンピュータ実装方法であって、前記方法が、
ユーザインターフェースを介してユーザコンピューティングデバイスからオーディオトラックのユーザ選択を受信することと、
前記オーディオトラックを分析して、１つ以上のオーディオトラック特性を決定することと、
前記１つ以上のオーディオトラック特性に基づいてバイブデータを生成することであって、前記バイブデータが、時間コード化されたメタデータを含む、生成することと、
前記ユーザコンピューティングデバイスから、前記バイブデータを編集してユーザバイブデータを生成するための１つ以上のユーザ命令を受信することと、
前記ユーザバイブデータに基づいて視覚化命令を生成することと、
前記ユーザコンピューティングデバイスに前記生成された視覚化命令及び前記オーディオトラックを送信することと、を含む、方法。

【請求項16】

前記１つ以上のトラック特性が、前記オーディオトラックの１つ以上のセクションを含む、請求項１５に記載の方法。

【請求項17】

前記１つ以上のトラック特性が、前記オーディオトラックのジャンル、拍子、１分間の拍数（ＢＰＭ）、ステム、周波数、又はフレーズのうちの少なくとも１つを含む、請求項１５に記載の方法。

【請求項18】

前記オーディオトラックを分析することが、１つ以上の人工知能（ＡＩ）エンジン又は機械学習技術を使用することを含む、請求項１５に記載の方法。

【請求項19】

前記オーディオソースが、デジタルサービスプロバイダ（ＤＳＰ）である、請求項１５に記載の方法。

【請求項20】

前記生成された視覚化データ及び前記オーディオトラックが、ストリーミングプロトコルを使用して前記ユーザコンピューティングデバイスに送信され、前記ストリーミングプロトコルが、前記生成された視覚化データの一部を前記オーディオトラックの関連付けられた部分にバインディングすることを含む、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年４月２３日に出願された米国特許仮出願第６３／１７８，９８３号の優先権を主張し、その全体は、参照により本明細書に組み込まれる。

【背景技術】

【0002】

本明細書に提供される背景説明は、本開示の文脈を概して提示する目的のためのものである。本背景セクションに記載されている範囲で、本発明者の著作物、並びに出願時に他の方法では先行技術として適格とされない可能性がある本明細書の態様は、本開示に対する先行技術として明示的にも黙示的にも認められていない。

【0003】

伝統的に、自宅で音楽やオーディオを聴く体験は、短期間の対面、ライブミュージカル、又はその他のオーディオ体験である可能性がある。ライブ音楽体験には、家庭で伝統的に利用できない、又は少なくとも、機器への巨額の投資とユーザに代わっての大量の作業がなければ利用できない、多くの感覚入力が含まれ得る。例えば、コンサート又は他のライブ音楽体験は、家庭環境に従来存在しない場合もあれば、没入型の音楽及びオーディオ体験を提供するように容易に構成できない場合もあるオーディオ、視覚、及び他の感覚入力を含み得る。

【発明の概要】

【0004】

以下は、本開示のいくつかの態様の基本的な理解を提供するために、本開示の簡略化された要約を提示する。この要約は、本開示の包括的な概要ではない。これは、本開示の鍵又は重要な要素を識別すること、又は本開示の範囲を描写することを意図しない。以下の要約は、以下に提供されるより詳細な説明の前置きとして、本開示のいくつかの概念を簡略化された形式で提示するだけである。

【0005】

一実施形態では、本開示は、ユーザの自宅、車両、又は他の場所で没入型音楽及びオーディオ体験を作成するためのシステムを説明する。体験は、音楽、ポッドキャスト、ワークアウト、瞑想、宗教的イベントなどを含むオーディオコンテンツを、ユーザが異なる方法で音楽又は他のオーディオを体験することを可能にする感覚的に没入型の方法で、ユーザが体験するための環境を作成し得る。これは、ライブミュージックイベントを複製、増幅、若しくはシミュレートすることを含み得、又は非ライブイベントアーティストモーショングラフィックス、若しくはライブイベントとは異なり得るが、それにもかかわらず標準的なオーディオ体験よりも没入型であり得る人工知能を介して設計された特徴を含み得る。一部の実施形態では、システム及び方法は、スクリーン上のビジュアライザ、明るい色、モーションパターン、及びステンシルなど、それらの音楽への視覚コンパニオンを含み得る、アーティスト又は他のコンテンツクリエータ「体験パック」を含み得る。システムは、クラウドネットワークに接続され得る、ユーザの自宅に設置され得る様々なハードウェア構成要素（例えば、ＬＥＤライト、ストロボライト、スポットライト、レーザ、スピーカ、プロジェクタなど）及びユーザのコンピューティングデバイス（例えば、デスクトップ／ラップトップ、携帯電話、ＶＲヘッドセット、タブレットなど）上で稼働するソフトウェアを含み得る。一部の実施形態では、結果は、音、光、レーザ、３Ｄ投影、ＶＲ／ＡＲ体験、及びコンサート、他のライブ音楽イベント、又は完全にＡＩ生成された体験に出席することをエミュレートする他の視覚的又は感覚的要素を含み得る、没入型音楽又は他のオーディオ体験であり得る。

【0006】

一部の実施形態では、システム及び方法は、高度な技術及びスマートデバイスを使用して、オーディオストリームから驚くべき視覚体験に高調波インテリジェンスを変換し得る。プロセスは、機械学習技術を使用して、聴覚コンテンツに付随し、かつそれを補完するために、究極の体験、又は「バイブ」を予測及び設計するために使用される時間コード化されたメタデータを抽出し得る。

【0007】

一部の実施形態では、本開示は、没入型オーディオ体験を作成するためのコンピュータ実装方法を説明する。方法は、ユーザインターフェースを介してユーザコンピューティングデバイスからオーディオトラックのユーザ選択を受信することと、オーディオソースから、オーディオトラックのオーディオトラックメタデータを受信することと、を含み得る。方法は、トラックメタデータに基づいてオーディオデータベースに問い合わせることを含み得る。方法は、問い合わせに基づいて、オーディオトラックのオーディオデータがオーディオデータベース上に保存されていないことを決定することを含み得る。方法は、オーディオトラックのオーディオデータがオーディオデータベース上に保存されていないという決定に基づいて、オーディオトラックを分析して、１つ以上のオーディオトラック特性を決定することと、１つ以上のオーディオトラック特性に基づいてバイブデータを生成することと、を含み得る。バイブデータは、時間コード化されたメタデータを含み得る。バイブデータに基づいて、ユーザコンピューティングデバイスと通信する１つ以上の視聴覚（Ａ／Ｖ）デバイスのための視覚化命令を生成する。方法は、ユーザコンピューティングデバイスに生成された視覚化命令及びオーディオトラックを送信することを含み得る。

【0008】

別の実施形態では、本開示は、没入型オーディオ体験を作成するためのシステムを説明する。システムは、Ａ／Ｖ効果を提供するように構成された複数の視聴覚（Ａ／Ｖ）デバイスを含み得る。システムは、複数のＡ／Ｖデバイスと無線で通信するように構成されたユーザコンピューティングデバイスを含み得る。ユーザコンピューティングデバイスは、オーディオトラックのユーザ選択を受信するためのグラフィカルユーザインターフェースを提供するためのプロセッサ実行可能命令を含むメモリと通信する１つ以上のプロセッサを含み得る。システムは、ユーザコンピューティングデバイスと電子通信する１つ以上のリモートコンピュータサーバを含み得る。１つ以上のリモートコンピュータサーバは、オーディオソースからオーディオトラックのオーディオトラックメタデータを受信することと、オーディオトラックメタデータを分析して、オーディオトラックと関連付けられた１つ以上のオーディオトラック特性を決定することと、を行うためのプロセッサ実行可能命令を含むメモリと通信する１つ以上のプロセッサを含み得る。メモリはまた、１つ以上のオーディオトラック特性に基づいてバイブデータを生成する命令を含み得、バイブデータは、時間コード化されたメタデータを含み得る。メモリはまた、バイブデータに基づいて、複数の視聴覚（Ａ／Ｖ）デバイスのうちの少なくとも１つのための視覚化命令を生成することと、ユーザコンピューティングデバイスに生成された視覚化命令及びオーディオトラックを送信することと、を行う命令を含み得る。ユーザコンピューティングデバイスのメモリは、生成された視覚化命令を複数の視聴覚（Ａ／Ｖ）デバイスのうちの少なくとも１つに送信するためのプロセッサ実行可能命令を更に含み得る。

【0009】

別の実施形態では、本開示は、没入型オーディオ体験を作成するためのコンピュータ実装方法を説明する。方法は、ユーザインターフェースを介してユーザコンピューティングデバイスからオーディオトラックのユーザ選択を受信することと、オーディオトラックを分析して、１つ以上のオーディオトラック特性を決定することと、を含み得る。方法は、１つ以上のオーディオトラック特性に基づいてバイブデータを生成することを含み得、バイブデータは、時間コード化されたメタデータを含み得る。方法はまた、ユーザコンピューティングデバイスから、バイブデータを編集してユーザバイブデータを生成するための１つ以上のユーザ命令を受信することを含み得る。方法は、ユーザバイブデータに基づいて視覚化命令を生成することと、ユーザコンピューティングデバイスに生成された視覚化命令及びオーディオトラックを送信することと、を含み得る。

【図面の簡単な説明】

【0010】

本発明は、添付の図面に関連して考慮されるときに、発明を実施するための形態を参照することによってよりよく理解され得る。図面中の構成要素は、必ずしも一定の縮尺ではなく、代わりに、本発明の原理を例示することに重点を置く。図面では、同様の参照番号は、異なる図全体にわたって対応する部分を示す。

【0011】

【図1】本開示による没入型オーディオ体験のためのシステム及び方法にしたがって構成された視聴覚環境の実施形態の図である。

【0012】

【図2A】本開示による没入型オーディオシステムを通ってデータがどのように流れ得るかの実施形態のデータフロー図の第１の部分である。

【0013】

【図2B】図２Ａのデータフロー図の第２の部分である。

【0014】

【図3】本開示による没入型オーディオシステムを実装するための方法の実施形態のフローチャートである。

【0015】

【図4】例示的なコンピューティングデバイスの実施形態の要素の概略図である。

【0016】

【図5】サーバタイプのコンピューティングデバイスの実施形態の要素の概略図である。

【0017】

【図6】本開示による没入型オーディオシステムの別の実施形態のデータフロー図である。

【0018】

【図7】図６の没入型オーディオシステムに実装されるような人工知能（ＡＩ）エンジンの実施形態のデータフロー図である。

【0019】

【図8】図６の没入型オーディオシステムに実装されるようなバイブストリーミングプロトコルのデータフロー図である。

【0020】

【図9】本開示による照明器具の実施形態である。

【0021】

【図10A】４つの電球を含む図９の照明器具の別の実施形態である。

【0022】

【図10B】８つの電球を含む図９の照明器具の別の実施形態である。

【0023】

【図10C】１６個の電球を含む図９の照明器具の別の実施形態である。

【0024】

当業者は、図面の要素が単純さと明確さのために示されているため、本発明の態様を不明瞭にすることを避けるために全ての接続とオプションが示されているわけではないことを理解するであろう。例えば、本開示のこれらの様々な実施形態のより遮るもののない図を容易にするために、商業的に実現可能な実施形態において有用又は必要である、一般的ではあるがよく理解されている要素は、あまり描かれていない。特定のアクション及び／又はステップが、特定の発生順序で説明又は描写され得、一方で、当業者は、シーケンスに対するそのような特異性が実際には必要とされないことを理解するであろうことが更に理解されるであろう。本明細書で使用される用語及び表現は、特定の意味が本明細書に別途記載されている場合を除き、それらの対応するそれぞれの調査及び研究の領域に関して定義されることもまた理解されるであろう。

【発明を実施するための形態】

【0025】

ここで、本発明は、本明細書の一部を形成し、例示として、本発明が実施され得る特定の例示的な実施形態を示す添付の図面を参照して、より完全に以下に説明される。これらの例示の、かつ例示的な実施形態は、本開示が１つ以上の発明の原理の例示であり、かつ例示された実施形態に本発明のうちのいずれか１つを限定することを意図しないという理解で提示される。本発明は、多くの異なる形態で具現化され得、本明細書に記載される実施形態に限定されるものと解釈されるべきではなく、むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、かつ本発明の範囲を当業者に完全に伝えるように提供される。とりわけ、本発明は、方法又はデバイスとして具現化され得る。したがって、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をとり得る。したがって、以下の詳細な説明は、限定的な意味で理解されるべきではない。

【0026】

一部の実施形態では、本開示は、音楽、ポッドキャスト、ワークアウト、瞑想、宗教イベントなどのオーディオを含むオーディオを体験する没入型の方法をユーザに提供し得る、システム及び方法を説明する。システムは、没入型体験ソフトウェアを提供することを含み得、没入型体験ソフトウェアは、１つ以上のソースからの音楽データ入力及び他のデータ入力を受信し、かつユーザの家、又は車両、オフィス、ジム、レストランなどの他の適切な場所内の１つ以上の視聴覚構成要素に命令を出力し得る、ユーザコンピューティングデバイス上で動作可能なアプリケーション又は他のソフトウェアであり得る。一部の実施形態では、その体験は、ライブ音楽イベントに参加することをシミュレートし得るか、又は家庭で伝統的に達成可能であり得る体験よりもより没入型の感覚体験を提供するオーディオに根ざした感覚入力を提供し得る。一部の実施形態では、システムは、アーティスト及び他のユーザが、ユニークで没入型のリスニング体験を提供し得るカスタム照明及びメディアデザインをより簡単に作成するためのインタラクティブな機会を含み得る。

【0027】

家庭でのライブ音楽体験をシミュレートするか、又は音楽に関連する他の感覚体験を提供しようとする従来のシステムは、センサ／マイクロフォンを通して受信したような音楽の拍子に基づいて反応するハードウェアデバイスを使用し得る。しかし、これらのシステムは、曲のテンポ／ＢＰＭ、ムード、キー、エネルギー、拍子、バー、フレーズ、通話及び応答構造、楽器、存在するボーカルなどをほとんど又はまったく理解しておらず、したがって、同期されたかつ／又はカスタマイズされた照明デザインを含み得る、プロのカスタム設計の音楽イベントのようなものを正確にエミュレートしない。

【0028】

これを改善するために、一部の実施形態では、システムは、例えば、音楽ストリーミングサービス又はデジタルサービスプロバイダ（ＤＳＰ）（例えば、Ａｍａｚｏｎ Ｍｕｓｉｃ、Ａｐｐｌｅ Ｍｕｓｉｃ、Ｓｐｏｔｉｆｙ、ＹｏｕＴｕｂｅ（登録商標）など）又は他のオーディオソースからオーディオストリームを受信することと、特定の曲の特性に基づいて視覚的及び他の効果を提供し得るデジタルデータストリームをオーバーレイすることと、結果として生じるデータを、例えば、スマートＬ．Ｅ．Ｄ．ライト、スピーカ、レーザ、プロジェクタなどの適切なハードウェアデバイスに送信することと、を行い得る、ソフトウェアアプリケーションを含み得る。一部の実施形態では、データストリームは、ストリームタイプ（例えば、曲、ポッドキャスト、ワークアウトなど）、１分間の拍数（ＢＰＭ）、ミュージカルキー、ジャンル、アーティスト、アルバム、エネルギーなどを含み得る。ストリームは、第１の拍子、バー、フレーズ、シーン、及び音楽要素を含み得る、ストリーム時間コードを有し得る。シーンは、イントロ、ヴァース、コーラス、ビルドアップ、ドロップ、ブリッジ、アウトロなどを含み得る。音楽要素は、例えば、ドラム、楽器、ボーカル、歌詞、メロディなどを含み得る。一部の実施形態では、システムは、実質的に誰でも没入型体験を達成し得るように、ユーザの一部に必要な追加の入力又は音楽スキルをほとんど又はまったく必要とせずに動作し得る。一部の実施形態では、開示されたシステムは、人工知能（ＡＩ）、機械学習、及び／又は他のデジタル処理技術を使用してデジタルデータストリームを作成して、音楽又は他のメディアにアクセスするための改善された視聴覚（Ａ／Ｖ）環境を生成し得る、ハードウェア及び／又はソフトウェアリソースを含み得る。

【0029】

ソフトウェアアプリケーションは、いくつかのデータタイプ及びそれらの相互作用を使用して、本明細書に記載される没入型効果を生成し得る。一部の実施形態では、一次データタイプは、音楽分析、バイブ、及び器具であり得る。音楽分析データタイプは、時間領域特性及び周波数領域特性の両方、スペクトル分析、クロマ特徴、高調波比率、並びにメル周波数ケプストラル係数を含むが、これらに限定されない、プレゼンテーションに依存しない方法での音楽トラックの重要な特徴を含み得る。いくつかのプレゼンテーションに関連する情報は、それらがどのように優先順位付けされ、器具に割り当てられ得るかを導くのに役立つように、トラック内の最も重要なステム（例えば、声帯ステム）を記述することなどが含まれ得る。器具データタイプは、出力の集合体及びそれらのアドレス指定可能な特性又は能力を記述し得る。それらは、潜在的にはほとんど何でもあり得るが、いくつかのカテゴリには、ライト（例えば、Ｈｕｅ、Ｎａｎｏｌｅａｆ、ＬｉＦＸなど）、デバイス（例えば、頭皮マッサージャー、マジック指揮棒、ジェスチャーグローブなど）、及びビジュアライザ（例えば、ＴＶ画面、ＶＲヘッドセット、ソフトウェアビジュアライザによって露呈したプロパティ）が含まれる。一部の実施形態では、物理ライト及び／又はデバイスは、グループ化され、メディア環境又はスペース内のゾーンに割り当てられ得る。「バイブ」データタイプは、ハードウェア構成プロパティ、時間コード化された命令／イベント、及び他のメタデータを含み得る。バイブは、バイブクリエータ（人間又はＡＩ）の創造的な出力をカプセル化し得、音楽分析データを、それらの視覚的なアニメーション及び表現（例えば、色の遷移、器具の回転、経時的な明るさ）とともに、器具及びプロパティのセットにバインディングするのに役立ち得る。一部の実施形態では、バイブは、（カスタムバイブを除く）音楽トラックと、任意の所与のユーザ又は環境に利用可能な特定のＡ／Ｖ器具との両方に完全に無関係であり得る。一部の実施形態では、バイブは、普遍的であってもカスタムであってもよい。ユニバーサルバイブは、実質的に任意の音楽トラックに適用されるように設計され得、一方で、カスタムバイブは、単一のトラックに固有であり得る。一部の実施形態では、カスタムトラックは、時間ベースのトリガ、アニメーション、又は他の設定を含み得る。ウェブアプリケーション、モバイルアプリケーションなどであり得るソフトウェアアプリケーション（すなわち、「クライアント」）は、分析データに基づいてバイブバインディングを解釈し得、ユーザプリファレンス及び／又はオーバーライド（例えば、異なるカラースキーム）を調整し得、実質的にリアルタイムで器具に結果をマッピングし得る。ソフトウェアアプリケーションのユーザはまた、色範囲（例えば、カラーホイールを使用して）、強度（例えば、パルス（低コントラスト）の代わりにより多くのフラッシュ（高コントラスト）を使用するなど、体験の「コントラスト」を調整する）、及び／又は明るさ（例えば、全体的な体験の明るさ）などのカスタム調整を行うことができる。

【0030】

一部の実施形態では、そのようなシステムを使用する方法は、オーディオストリーム内のドラム、ベース、リード、ボーカル、メロディ、楽器などを別々のチャネルに分離し、各チャネルを一意のハードウェアデバイス（例えば、レーザ及びストロボライトへのドラム、ＬＥＤライトへのボーカルなど）に割り当てることを含み得る。一部の実施形態では、Ａ／Ｖハードウェア（例えば、現実又は仮想のいずれかのスマート照明及び／又は体験デバイス）を制御し得るデジタルデータストリームは、音楽又は他のオーディオを作成／作曲／実施した実際のアーティストによって提供され得、又はアーティストとともに作業するサウンド／ライトデザイナーから提供され得る。例えば、音楽アーティストは、過去にライブコンサートのために特定のセットの照明及び他の視覚効果を使用し得、そのパフォーマンスのためのデータは、同様の方法でシステムのハードウェアを制御するためにデータストリームに変換され得る。代替的に（又は追加的に）、方法は、機械学習又は他の人工知能技術を使用して開発されたデータストリームを作成及び使用することを含み得る。例えば、機械学習を使用して、履歴に対応する視覚化データとともに曲データを分析し、ハードウェアをオンザフライで制御するための視覚化データを開発するために適用され得るアルゴリズムを開発し得、又は曲若しくは記録されたパフォーマンスごとに保存及び分類し得る。

【0031】

一部の実施形態では、システムは、その機器を制御するソフトウェアとともに使用される様々なレベルのＡ／Ｖハードウェア（リアル又は仮想のいずれか）とともにキットとしてユーザに提供され得、又は存在し得、若しくは利用可能になり得る、異なるタイプのハードウェアデバイスと互換性があり得る純粋なソフトウェアとして提供され得る。一部の実施形態では、ユーザは、１つ又は２つのスピーカ又はライトから、より複雑な照明、オーディオ、触覚、及び他の感覚入力機器まで、多かれ少なかれ堅牢なＡ／Ｖ機器又は器具を使用して、開示されたシステム及び方法を実装し得る。開示されるシステムは、ユーザの特定のＡ／Ｖ設定に基づいて出力をスケーリングするように柔軟であり得、追加の機器が提供され得る場合／ときに、そのＡ／Ｖ設定をスケーリングすることを可能にし得る。

【0032】

視聴覚環境
図１は、ユーザ５２に代わって本明細書に開示されるシステム及び方法を実装し得る、Ａ／Ｖ環境５０の例示的な実施形態を示す。Ａ／Ｖ環境５０は、例えば、ストロボライト６０、スピーカ７３、ＴＶモニタ又は他のスクリーン６２、周囲照明６５、Ｌ．Ｅ．Ｄ．ライト７０、レーザ７２、３－Ｄ及びビデオプロジェクタ７５、仮想現実ゴーグル８０、ヘッドマッサージャー８３、スポット及び可動ヘッド照明８５などの様々なＡ／Ｖ機器又は器具５４を含み得る。当業者は、追加のタイプのＡ／Ｖ機器が本開示の範囲内で追加的に使用され得、より単純化された及び／又は複雑な照明及び音響システムが使用され得ることを認識するであろう。追加的に、Ａ／Ｖ環境は、実世界のハードウェアで実質的に構成され得るが、一部の実施形態では、Ａ／Ｖ環境は、３Ｄシミュレートされた仮想環境に存在し得るような、全て又は実質的に全ての仮想Ａ／Ｖ機器を含み得る。Ａ／Ｖ環境５０はまた、スマートフォン、タブレット、ラップトップ、デスクトップ、又は没入型体験ソフトウェアを実行することができる任意の他の好適なコンピューティングデバイスであり得る、ユーザコンピューティングデバイス５５を含み得る。一部の実施形態では、コンピューティングデバイス５５及び／又はＡ／Ｖ機器５４は、直接的に、又はホームハブ９０などのホームハブを介して、１つ以上のリモートクラウドサーバ１００と通信し得る。一部の実施形態では、ホームハブ９０は、Ａ／Ｖ機器５４、コンピューティングデバイス５５、及びリモートクラウドサーバ１００と通信するように特別に構成されたコンピューティングデバイスであり得る。一部の実施形態では、ホームハブ９０は、コンピューティングデバイス５５に代わってＡ／Ｖ機器及び／若しくはリモートサーバ１００との通信を処理し得、又はコンピューティングデバイスは、Ａ／Ｖ機器及び／若しくはリモートサーバ１００と直接的に通信し得る。クラウドサーバ１００は、例えば、分析、機械学習、又は他の人工知能技術から以前に作成されたように、特定の曲、パフォーマンス、オーディオイベントなどに対応し得る、Ａ／Ｖデータのデータベースを保存及び更新し得る。例えば、リモートクラウドサーバ１００は、過去のコンサート公演に関連し、要求に応じてコンピューティングデバイス５５にストリーミング又はダウンロードされ得る、照明及びサウンドデザインデータ及びファイルのデータベースを含み得る。一部の実施形態では、クラウドサーバは、Ａ／Ｖ機器のための視覚データのリアルタイム分析及びオンザフライ生成を提供し得る。

【0033】

一部の実施形態では、Ａ／Ｖ機器５４は、無線接続を介してコンピューティングデバイス５５と個別に通信し得る。一部の実施形態では、Ａ／Ｖ機器５４は、共通のＷｉｆｉネットワーク又は他の無線接続（例えば、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）、無線周波数（ＲＦ）、４Ｇ／５Ｇ、８０２．１１ａ／ｂ／ｇなど）などのローカルエリアネットワーク（ＬＡＮ）を介して、コンピューティングデバイス５５及び／又はホームハブ９０と通信し得る。一部の実施形態では、Ａ／Ｖ機器５４の一部又は全ては、Ａ／Ｖ受信機９５への無線又は有線接続を含み得、これは、没入型体験アプリケーションからの命令に基づいて送信されたオーディオ、ビデオ、及びデータファイルを受信するために、コンピューティングデバイス５５と通信し得る。一部の実施形態では、ユーザコンピューティングデバイス５５は、Ａ／Ｖ機器５４を通して提供される音、ビデオ、オーディオ、照明を制御し得る。一部の実施形態では、Ａ／Ｖ環境５０はまた、Ａ／Ｖ機器５４を介して提供される音、ビデオ、オーディオ、照明を制御し得る、物理的ジェスチャを作成するために使用され得る、補助入力／出力デバイス９０を含み得る。一部の実施形態では、補助入力／出力デバイス９０は、Ｂｌｕｅｔｏｏｔｈ又は他の無線接続を介してコンピューティングデバイスと通信し得、又はコンピューティングデバイス自体が補助入力／出力デバイスとして機能し得る。一部の実施形態では、ユーザは、Ａ／Ｖ機器５４によって生成されたオーディオ及び視覚出力の強度及びタイプを制御するために、指揮者の指揮棒のような補助入力／出力デバイス９０を使用し得る。一部の実施形態では、補助入力／出力デバイス９０は、３軸ジャイロスコープ及び赤外線信号を有するＢｌｕｅｔｏｏｔｈ指揮棒であり得る。デバイス９０は、例えば、歌手の声、ギターソロなどの音楽又は他のオーディオの他の特定の部分に焦点を当てるために、ボーカル、ドラム、又は楽器層を増幅又はミュートするために使用され得る。一部の実施形態では、ユーザの身体の動き、ダンス、及び／又は手のジェスチャは、Ａ／Ｖ機器５４を介して提供される音、ビデオ、オーディオ、照明を制御するために、ユーザ自身の機器５５又は他のハードウェアデバイス上のカメラによってキャプチャされ得る。

【0034】

データフロー及び処理
本開示から明らかになるように、本明細書に記載の没入型音楽システムは、かなり最小限のサウンド及び視覚システムから複雑な照明及び他の特殊効果に至るまで、実質的に任意のＡ／Ｖ環境で、又はＶＲ／ＡＲハードウェア若しくはその他のコンピューティングハードウェアを介してアクセスされる３Ｄ仮想環境に提示される任意の仮想化環境で使用され得る。エンド体験は、そのような環境では異なる場合があるが、データフローを処理し、かつそれらの体験を生成するためのシステム及び方法は、多くの態様で実質的に類似していても、又は実質的に同じであってもよい。

【0035】

図２Ａ及び図２Ｂは、本明細書に開示されるような没入型オーディオシステム２００内の様々な構成要素を通ってデータがどのように流れ得るかの実施形態を示すデータフロー図である。一部の実施形態では、図で表されるデータは、例えば、インターネット、セルラーネットワーク、ローカルネットワークなどの任意の適切なネットワークを介して送信され得る。また、データフローは、１つ以上のネットワークを介して接続され得るコンピューティングデバイス５５又はクラウドサーバ１００などの１つ以上のコンピューティングデバイス内で発生し得る。一部の実施形態では、没入型オーディオシステムによって使用されるコンピューティング環境を構成する特定のコンピュータ又はサーバは、没入型オーディオシステム又はその構成要素を実行するように特別に設計され得る。

【0036】

本明細書に開示される没入型オーディオシステム２００において参照され、かつ使用されるようなバイブは、没入型オーディオエコシステムにおいて使用されるハードウェア／器具構成特性、時間コード化された命令／イベント、及び他のメタデータを含む体験データコンテナを含むが、これらに限定されない、機能するためにシステムによって使用される複数のデータタイプ及びデータセットを含み得る。図２Ａを参照すると、一部の実施形態では、システム、特にメタデータエクストラクタ／インポータ２０６によって使用されるメタデータ及び他のデータは、アーティストがアップロードした音楽２０１、ストリーミングサービス若しくはＤＳＰ２０２、ＤＪソフトウェアアプリケーション２０３、ライブイベントストリーム２０４、又はアーティスト若しくはユーザが作成したバイブデータ２０５などの様々なデータソースのうちの１つからデータを取得することによって生成され得る。もちろん、当業者は、他のオーディオ／視覚／メディアデータソースも本開示と一致して使用され得ることを認識するであろう。これらのソースの各々からのデータは、処理されるべきメタデータエクストラクタ／インポータ２０６に流れてもよい。

【0037】

アーティストがアップロードした音楽２０１は、没入型オーディオシステム２００エコシステム内でホストされるオーディオライブラリデータストア２１９に保存され得る。一部の実施形態では、没入型オーディオシステム２００又は没入型オーディオアプリケーションは、没入型オーディオシステムが自分の音楽に基づいてバイブデータを生成し得るように、アーティストが自分の音楽又は他のメディアをオーディオライブラリデータストア２１９にアップロードすることを提供し得る。一部の実施形態では、没入型オーディオシステムは、アーティストが没入型オーディオシステム２００によって使用される音楽又は他のメディアをアップロードすることを提供するように特別に構成されたアプリケーションプログラミングインターフェース（ＡＰＩ）を含み得る。実質的に任意のオーディオストリーミングソース又はサービス２０２、ライブラリ、又はコンテンツ配信システム（ＣＤＮ）からの音楽及びオーディオも同様に、バイブデータを生成するために分析され得る。一部の実施形態では、オーディオは、ユーザがオーディオ選択を再生することを選択し得る１つ以上のオンラインストリーミングサービス、音楽データベース、ポッドキャスト、他のオーディオアプリケーションなどから分析され得る。一部の実施形態では、これは、Ｓｐｏｔｉｆｙ、Ａｍａｚｏｎ Ｍｕｓｉｃ、Ａｐｐｌｅ Ｍｕｓｉｃなどのストリーミングサービス２０２であり得、又はユーザ自身で保存したオーディオライブラリであり得る。一部の実施形態では、オーディオストリームデータは認証され得、例えば、アーティスト、オーディオタイプ、曲、ジャンル、歌詞、アルバム、ＡＰＩなどのメタデータは、ストリーミングサービス又は他のオーディオソースから抽出され得る。一部の実施形態では、データは、Ｐｉｏｎｅｅｒ ＲｅｋｏｒｄｂｏｘなどのＤＪソフトウェアアプリケーションプラットフォーム２０３から受信され得る。一部の実施形態では、任意のソース（２０１～２０５）からアクセスされるデータは、シーケンスされた照明設計データ、デジタルマルチプレックス（ＤＭＸ）データ、又は他の適切な形態のデータであり得る。ライブイベントストリーム２０４からのデータは、例えば、音楽コンサート、スポーツ又はｅスポーツ、ワークアウト、演劇、宗教的儀式などのようなオーディオを含む、様々なライブイベントタイプのうちのいずれかについてのものであり得る。一部の実施形態では、ライブイベントデータは、ライト、レーザ、フォグマシン、花火、ビデオスクリーンなどを混合することによって作成された所望の雰囲気及び感情などのイベントの光及び音の設計の態様を反映し得る。

【0038】

オーディオライブラリデータストア２１９又はストリーミングサービス２０２からのオーディオは、没入型オーディオシステムによって消化され得る形態で提供され得、又はバイブ及び論理（Ｖ＋Ｌ）アルゴリズムなどのアルゴリズムを使用して処理され得る。一部の実施形態では、Ｖ＋Ｌアルゴリズムは、時間コード化されたデータを抽出するために、実質的に任意の数の曲及びオーディオソース／ストリームについてオーディオを分析するために使用され得る。一部の実施形態では、声楽チャネル、楽器チャネル、及びドラムチャネルなどの様々なチャネルは、分離され、かつ個別に又は集合的に分析され得る。抽出されたデータは、バイブデータベース２０９、オーディオライブラリデータストア、又は任意の適切な記憶媒体に保存され得る。例えば、Ｖ＋Ｌアルゴリズムは、例えば、トラックキー、１分間の拍数（ＢＰＭ）、ジャンル、拍子グリッド、曲フレーズ及び構造（イントロ、ヴァース、ビルドアップ、ドロップ、コーラス、ブリッジ、アウトロ）周波数グリッド、強度、エネルギーレベルなどの音楽及び高調波データを抽出し得る。Ｖ＋Ｌアルゴリズムは、１つ以上の機械学習又はＡＩエンジンを関与させることを含み得る。一部の実施形態では、そして本明細書でより詳細に説明されるように、Ｖ＋Ｌアルゴリズムの出力は、バイブデータであり得るデータコンテナであり得る。

【0039】

一部の実施形態では、ＤＪアプリケーションプラットフォーム２０３からのストリームデータ及び光データは、変換、変換、クリーニング、正規化などを行われ得る。ライブイベント照明設計データ２０４は、Ｖ＋Ｌアルゴリズムなどのアルゴリズムによって分析されて、データが取り込まれ、クリーンにされ、正規化され、かつメタデータエクストラクタ／インポータ２０６によって処理され得る一貫したフォーマットに変換され得る。一部の実施形態では、特定の色、ストロボパターン、レーザ、スポットライトなどのブレンドなどのキーシーケンス又はループは、イベント中のリコールのための「シーン」として保存され得るが、Ｖ＋Ｌアルゴリズムによってまた抽出され得る。一部の実施形態では、デジタル多重化（ＤＭＸ）プロトコルは、ライト、レーザ、及びフォグマシンなどのＡ／Ｖデバイスを制御するために使用され得る。一部の実施形態では、他のプロトコルを使用して、Ａ／Ｖデバイスを制御し得る。一部の実施形態では、Ｖ＋Ｌアルゴリズムは、ＤＭＸ又は他のデータを分析し、それを一貫した使用可能な形式に変換し得る。一部の実施形態では、Ｖ＋Ｌアルゴリズムによって分析されたライブイベントデータ２０４は、ライブイベントデータが適切な曲データに対応し得るように、Ｖ＋Ｌアルゴリズムによって分析された曲に対応するライブイベント用であり得る。

【0040】

ユーザ又はアーティストによって作成されたバイブシーケンスデータ２０５は、バイブ及び論理体験ビルダーアプリケーションによって提供され得る。一部の実施形態では、特定のアーティスト、曲、ジャンル、パフォーマンス、又は他のオーディオイベントのためのバイブシーケンスは、アーティスト、ファン、又は他のパーティによって作成され得る。一部の実施形態では、バイブシーケンスは、オーディオイベントに関与するアーティスト又は他のパフォーマーによって公式に提供され得る。一部の実施形態では、体験ビルダーアプリケーションは、オーディオイベントのためのバイブシーケンスを作成、保存、及び／又はアップロードするために使用され得る。一部の実施形態では、各バイブシーケンスは、特定のオーディオイベントに関連する、又はアーティスト、ジャンル、又はオーディオパフォーマンスの他のカテゴリに関連する、独自のスタイルの照明又は他の感覚体験を提供し得る。

【0041】

オーディオメタデータエクストラクタ／インポータ２０６は、オーディオライブラリデータストア２１９、ストリーミングサービス２０２、ＤＪソフトウェア又はＤＭＸデータ２０３、及びライブイベントＤＭＸストリーミングデータ２０４からデータを受信し得る。一部の実施形態では、オーディオメタデータエクストラクタ／インポータは、とりわけ、拍子グリッド、テ－タム、セグメント、バー、拍子、ＢＰＭ、ミュージカルキー、楽器、ボーカル、歌詞、トランスクリプトメロディ、ドラム、エネルギー、曲イントロ、ビルドアップ、コーラス、ドロップなどを含み得る、時間コード化されたメタデータを抽出し得る。一部の実施形態では、オーディオメタデータエクストラクタ／インポータは、リアルタイムでオーディオイベントからボーカル、楽器、及びドラムチャネルを分離し得る。一部の実施形態では、メタデータエクストラクタ／インポータ２０６は、１つ以上のＡＩ又は機械学習エンジンを含み得、本明細書の図７に関連してより詳細に説明されるように、データを処理及び抽出し得る。

【0042】

一部の実施形態では、メタデータエクストラクタ／インポータ２０６によって実施された曲分析からの時間コード化されたデータ、及び任意の正規化されたライブイベント設計データは、機械学習又は他の人工知能訓練及び体験設計で使用するための曲分析されたオーディオデータとして、未加工のラベル付けされたデータストア２０７に保存され得る。このデータは、代替的に、又は追加的に、リモートクラウドサーバ１００などの１つ以上のサーバ上のバイブデータベース２０９に保存され得、又は他の適切な場所に保存され得る。一部の実施形態では、曲分析されたオーディオデータは、バイブキュレーターＡＩシステム２０８によってキュレーションされ得る。一部の実施形態では、バイブキュレーターＡＩシステム２０８は、特定のタイプの音楽又はオーディオのムード、音楽、ジャンル、ビルドアップなどに適切であり得る、視覚パターン、カラーテーマ、モーション及びリズムパターン、テキスト、絵文字などを決定するために機械学習技術を用いてもよい。バイブキュレーターＡＩシステム２０８はまた、曲ＩＤ、アクティブデバイス、メタデータ、及び叙情的データをその分析に組み込んでもよい。一部の実施形態では、バイブキュレーターＡＩシステム２０８の１つの目標は、ＤＪ、サウンドデザイナー、照明デザイナーなどによる歴史的なライブイベント及びパフォーマンスから、特定のタイプの照明及び他の効果がどのように適用されて、音楽又は他のオーディオ体験を向上させることができるかを学習することであり得る。次いで、バイブキュレーターＡＩシステム２０８は、歌又は他のオーディオを分析し、かつ適切な効果を適用することによって、これらの技術を事実上任意の曲に適用することが可能であり得る。一部の実施形態では、バイブキュレーターＡＩシステム２０８は、リアルであろうと仮想であろうと、オーディオストリームコンテンツ及びユーザの利用可能なＡ／Ｖ機器又は器具に基づいて、感覚的な没入型体験を予測及び設計し得る。一部の実施形態では、バイブキュレーターＡＩシステム２０８は、パターン、色、テーマ、モーション、リズム、テキスト、絵文字などで構成され得る、「シーン」及びループを作成し得る。バイブキュレーターＡＩシステム２０８は、次いで、特定のオーディオイベントに基づいて適切であると決定されるようなＡ／Ｖ機器のうちの１つ以上を介して、特定のシーン又はループを開始し得る。一部の実施形態では、シーン又はループは、ビデオファイルフォーマットを介してハードウェア構成要素間で保存及び送信され得る。一部の実施形態では、メタデータエクストラクタ２０６、未加工のラベル付けされたデータストア２０７、及びバイブキュレーターＡＩシステム２０８は、Ａ／Ｖ機器構成要素自体を含むクラウドサーバ１００などの複数のハードウェア構成要素及び／又はサーバ構成要素にわたって存在し得る。

【0043】

一部の実施形態では、バイブデータベース２０９は、バイブキュレーターＡＩシステム２０８からの出力及び／又はバイブ＋論理体験ビルダーアプリケーションを介してアーティスト又はユーザによって作成されたバイブシーケンスデータ２０５からの出力を受信し得る。一部の実施形態では、「バイブ」は、没入型オーディオ体験を提供するためにシステムによって使用され得る器具マッピング特性、時間コード化された命令／イベント、及び他のメタデータを含み得る体験データコンテナであり得る。一部の実施形態では、バイブデータベース２０９は、バイブを保存し得、例えば、図１に示されるリモートクラウドサーバ１００などのリモートクラウドサーバ上に保存され得る。一部の実施形態では、バイブデータベース２０９は、オーディオイベント、オーディオ録音／ストリーム、又はオーディオイベント若しくはストリームの一部が、バイブとして２つ以上のオプションを有し得るように、ストリーム識別子（ＩＤ）ごとに複数の「バイブ」を保存し得る。一部の実施形態では、没入型オーディオ体験を提供するために使用されるバイブ、ユニバーサルバイブ、バイブミックス、及び他のデータが、ストリームにわたって再利用され得る。

【0044】

一部の実施形態では、没入型オーディオシステム２００は、バイブが購入、販売、交換、サンプリングなどを行われ得る、バイブマーケットプレイス２２１を含み得、又はホストし得る。一部の実施形態では、バイブを作成するユーザ又はアーティストは、それを配布する、それを販売する、又はそうでなければ他の人に利用可能にすることを望み得る。一部の実施形態では、バイブクリエータは、それらのホルダに利益を提供し得る非代替性トークン（ＮＦＴ）２２３としてそれらのバイブをミントすることを決定し得る。バイブマーケットプレイス２２１は、バイブＮＦＴの販売を通じて、アーティストがファンに利益を提供するための交換を提供し得、これは、ホルダに現実世界又は仮想世界のいずれかで特別な特権を吹き込んでもよい。当業者は、バイブＮＦＴ２２３又はバイブマーケットプレイス２２１の他の使用が、本開示の範囲と一致して企図され得ることを理解するであろう。

【0045】

一部の実施形態では、バイブデータベース２０９は、バイブマネージャ２１０とインターフェースし得る。一部の実施形態では、バイブマネージャ２１０は、リモートクラウドサーバ１００などのリモートサーバ上、又は別のサーバ場所上でホストされ得る。一部の実施形態では、バイブマネージャ２１０は、バイブデータベース２０９、又は例えば、バイブ＋論理プレイヤーアプリケーションを介して他のシステム特徴にアクセスするユーザに認証サービスを提供し得る。バイブマネージャ２１０はまた、デバイス構成、ＩＤマッチング、デバイス管理を提供し、シーン、ストーリー、ビデオ、オーディオタイプなどへのアクセスを提供し得る。バイブマネージャ２１０はまた、権限／アクセス管理を提供し、バイブデータベース２０９を介して提供されるダウンロード可能コンテンツ（ＤＬＣ）の購入及び／又はサブスクリプションを管理し得る。一部の実施形態では、ユーザがバイブデータベース２０９上のコンテンツへのアクセスを要求するときに、バイブマネージャ２１０は、許可、支払い、及び認証を管理するためのゲートキーパーとして機能し得る。

【0046】

一部の実施形態では、ストリームマネージャ２１１は、ユーザのコンピューティングデバイス上で動作し得るバイブ及び論理プレイヤーアプリケーションと、１つ以上のオンラインストリーミングサービス、音楽データベース、ポッドキャスト、他のオーディオ／ビデオアプリケーションなどとの間のアクセスを管理し得、そこからユーザは、オーディオ、ビデオ、又はゲームの選択をプレイすることを選択し得る。一部の実施形態では、これは、例えば、Ｓｐｏｔｉｆｙ、Ａｍａｚｏｎ Ｍｕｓｉｃ、Ａｐｐｌｅ Ｍｕｓｉｃなどのストリーミングサービス２０２であり得る。一部の実施形態では、ストリームマネージャ２１１は、オーディオストリームデータを認証し得、例えば、アーティスト、オーディオタイプ、曲、ジャンル、歌詞、アルバム、ＡＰＩなどのメタデータは、ストリーミングサービス又は他のオーディオソースから抽出され得る。一部の実施形態では、ストリームマネージャ２１１はまた、ストリーミングサービス２０２へのアクセスのための認証サービス及びＩＤマッチングを提供し得る。ストリームマネージャ２１１はまた、データをバイブマネージャ２１０と共有して、バイブデータベース２０９内のどのバイブが選択されたオーディオストリームに対して没入型感覚体験を最もよく提供し得るかを調整し得る。一部の実施形態では、バイブ及び論理ＡＰＩゲートウェイ２１２は、バイブ及び論理アプリケーション並びに／又はホームハブを実行するユーザコンピューティングデバイス間のデータ通信を処理し得る。

【0047】

ここで図２Ｂを参照すると、バイブマネージャ２１０及びストリームマネージャ２１１からのデータは、バイブ及び論理プレイヤーアプリケーション２１３を実行しているユーザコンピューティングデバイス（例えば、コンピューティングデバイス５５）間で交換され得る。一部の実施形態では、プレイヤーアプリケーション２１３は、受信したデータを解釈又は適用し得、かつＡ／Ｖ機器５４などの一意のデバイスにボーカル、楽器、又はドラムチャネルを動的に割り当て得る。一部の実施形態では、プレイヤーアプリケーション２１３は、リアルタイムでボーカル、楽器、及びドラムチャネルを分離し得、その結果、これらのチャネルは、バイブデータベース２０９から受信されたデータを考慮して分析され得る、又はそうでなければ保存され得る。一部の実施形態では、このチャネル分離は、バイブマネージャ２１０、又はバイブキュレーターＡＩ２０８、又はメタデータエクストラクタ２０６によって、又はプレイヤーアプリケーション２１３の代わりに実施され得ることが企図される。そのようなチャネル割り当ては、各チャネルをＡ／Ｖ機器５４の一意のデバイスに動的に割り当てることを可能にし得、例えば、ドラムは、ストロボライト及びレーザに割り当てられ得、ボーカルは、ＬＥＤ照明に割り当てられ得、楽器は、レーザに割り当てられ得る。もちろん、動的割り当てはまた、例えば、ジャンル、ムードなどのオーディオデータに基づいて変化し得、これは、特定のオーディオイベントのために選択されたバイブによって決定され得る。したがって、アプリケーションは、例えば、ＬＥＤライト、ストロボライト、スポットライト、レーザ、２Ｄ又は３Ｄプロジェクタ、拡張現実（ＡＲ）又は仮想現実（ＶＲ）デバイス、スマートモニタ又はディスプレイなどのＡ／Ｖ機器５４にわたるチャネル、色、パターン、及びモーションを同期させてもよい。そうすることで、プレイヤーアプリケーションは、実世界又は仮想環境のいずれかで、実質的に任意の曲のために没入型の音楽又は他のオーディオ体験をユーザに提供し得る。一部の実施形態では、プレイヤーアプリケーションのインターフェースは、適切なハードウェアを使用して仮想現実又は拡張現実を介して、又はユーザとプレイヤーアプリケーション２１３プラットフォームとの間のインターフェースを提供する任意の他の適切なメディアデバイスを介して管理され得る。

【0048】

一部の実施形態では、システム２００は、ストリームマネージャ２１１及びバイブマネージャ２１０とデータを交換し得るバイブ及び論理「指揮者」ハブ２１４を含み得、Ａ／Ｖ機器５４にも命令を提供し得る。一部の実施形態では、システムは、ユーザコンピューティングデバイス上のプレイヤーアプリケーション２１３から独立して動作し得る指揮者ハブ（例えば、図１のホームハブ９０）を含み得、又は一部の実施形態は、指揮者ハブをまったく含んでいなくてもよいが、代わりに、プレイヤーアプリケーションを介してＡ／Ｖ機器とバイブマネージャ２１０との間の全てのデータを通信し得る。一部の実施形態では、ユーザは、プレイヤーアプリケーション２１３を介して、オーディオイベント、バイブ、バイブのプレビュー、ＤＬＣの購入などを選択するためのインターフェースにアクセスし得るが、オーディオイベントが選択され得ると、指揮者ハブ２１４は、スチームマネージャ２１１及びバイブマネージャ２１０と交換されたデータに基づいてＡ／Ｖ機器５４に指示することをアクティブに管理し得る。当業者は、タスクの他の分離が、依然として本開示の範囲内にある間に、プレイヤーアプリケーション２１３と指揮者ハブ２１４との間で生じ得ることを認識し得る。

【0049】

一部の実施形態では、バイブマネージャ２１０は、ストリームマネージャ２１１を通じて提供されたオーディオイベントを、バイブデータベース２０９に保存された事前に分析されたオーディオデータを有するイベントとして認識し得る。そのような実施形態では、バイブマネージャ２１０は、それに応じてＡ／Ｖ機器５４を制御するために、そのオーディオ選択のために正規化されたオーディオイベントデータを適用し得る。一部の実施形態では、バイブマネージャ２１０が、選択されたオーディオイベントが保存されたオーディオデータを有していると認識し得ない場合に、バイブマネージャ２１０は、バイブキュレーターＡＩシステム２０８によって使用される機械学習プロセスから学習された視覚パターン、カラーテーマ、モーション及びリズムパターン、シーンなどを適用し得る。一部の実施形態では、バイブマネージャ２１０は、ストリームマネージャ２１１からオーディオ選択のためのメタデータを受信し、それを使用して、どの効果、テーマ、及び／又はバイブを開始するかを決定し、かつそれに応じて、プレイヤーアプリケーション２１３及び／又は指揮者ハブ２１４に命令を送信し得る。そのような実施形態では、バイブマネージャ２１０、プレイヤーアプリケーション２１３などは、以前に分析されていない可能性があるオーディオイベントに対しても、又はオーディオイベントデータが存在しない、若しくはバイブデータベース２０９に保存されていない可能性のあるオーディオイベントに対しても、没入型オーディオ体験の実質的にリアルタイムの生成を提供し得る。

【0050】

図３は、本明細書に開示される没入型オーディオシステムを使用するための方法３００の実施形態のフローチャートである。３０２において、方法は、プレイヤーアプリケーション２１３、指揮者ハブ２１４、又はバイブマネージャ２１０によって、ユーザのシステム内の１つ以上のＡ／Ｖ機器５４を初期化することを含み得る。初期化プロセスは、例えば、ライト、ディスプレイ、レーザ、スピーカなどの各Ａ／Ｖデバイス５４との接続を確立することを含み得る。一部の実施形態では、プレイヤーアプリケーション２１３は、Ａ／Ｖデバイス５４をアプリケーション及び／又は指揮者ハブ２１４との接続から検出、追加、又は削除するためのプロセスを含み得る。初期化はまた、各Ａ／Ｖデバイス５４がどのようなタイプの機器であり得るか、その能力が何であるか、それが部屋のどこに配置されているか、及びそれがどのように角度を付けられる／回転するかを決定することを含み得る。一部の実施形態では、アプリケーション２１３は、グラフィカルユーザインターフェース（ＧＵＩ）を介して、かつ／又は拡張現実（ＡＲ）を通じて、ユーザのメディア視聴空間の仮想マップを含み得、ここで、没入型オーディオシステムが位置し得、ユーザは、空間内の各デバイスの場所を示すことが可能になり得る。３０４において、方法は、オーディオイベントメタデータをオーディオソースから、又はバイブデータベース２０９を介してバイブマネージャ２１０から受信することを含み得る。一部の実施形態では、オーディオイベントは、ユーザによって選択されている場合もあれば、プレイリスト又は任意の他の好適なオーディオ選択方法から選択されている場合もある。一部の実施形態では、アプリケーション２１３は、ユーザが曲選択を行うことができる、グラフィカルユーザインターフェース（ＧＵＩ）を含み得る。一部の実施形態では、オーディオイベント選択のためのインターフェースは、例えば、ＶＲ、ＡＲ、音声コマンド、ジェスチャなどの代替手段を介して提供され得る。一部の実施形態では、オーディオイベントの選択は、例えば、ストリーミングサービス、音楽プレイヤー、ポッドキャストプレイヤーなどの別のアプリケーションを介して行われ得る。一部の実施形態では、オーディオイベントメタデータは、ストリーミングサービス（例えば、Ｓｐｏｔｉｆｙ、Ａｍａｚｏｎ Ｍｕｓｉｃなど）などのサードパーティシステムから受信され得る。一部の実施形態では、ストリームマネージャ２１１などのシステムは、プレイヤーアプリケーション２１３、バイブマネージャ２１０、及びサードパーティのストリーミングサービスアプリケーション２０２間の通信を提供し得る、１つ以上のＡＰＩを含み得る。一部の実施形態では、プレイヤーアプリケーション及び／又はバイブマネージャはまた、Ａ／Ｖデバイスに指示し得る同期された、かつ／又は時間コード化された体験メタデータでオーディオストリームを補完し得る。

【0051】

３０６において、一部の実施形態では、方法は、バイブデータが選択されたオーディオストリームに対応するバイブデータベース２０９に保存され得るかどうかを決定することを含み得る。例えば、一部の実施形態では、バイブデータは、図２Ａを参照して上述したような方法で、事前に抽出され、かつ生成され得る。そのような実施形態では、データは、バイブデータベース２０９に保存され、要求されたときにバイブマネージャ２１０によって検索可能であり得る。３０８において、バイブマネージャ２１０又はプレイヤーアプリケーション２１３が、オーディオ選択のためにバイブデータが保存され得ることを決定する場合、プレイヤーアプリケーション２１３及び／又はバイブマネージャ２１０は、３１０において、バイブデータベース２０９から、又はコンピューティングデバイス５５に直接保存されるなどの、オーディオコンテンツ又はセグメントに対応するバイブデータを検索し得る。

【0052】

３０８において、アプリケーション２１３又はバイブマネージャ２１０が、選択されたオーディオ又はビデオコンテンツのバイブデータが保存されていないと決定した場合、次いで、アプリケーション又はストリームマネージャ２１１は、３１２において、オーディオコンテンツメタデータを分析して、例えば、アーティスト、ジャンル、テンポ／ＢＰＭ、歌詞、ムード、キー、エネルギー、拍子、拍子グリッド、バー、フレーズ、セクション、セグメント、テータム、コール及びレスポンス構造、楽器、及びボーカルが存在すること、並びにイントロ、ビルド、ドロップ、コーラス、アウトロなどの曲セクション、周波数、スペクトル分析、クロマ特徴、高調比、及びメル周波数セプストラル係数、リズム、強度、及び他の曲の特徴を決定し得る。一部の実施形態では、この分析は、バイブマネージャ２１０及び／又はストリームマネージャ２１１と通信するメタデータエクストラクタ／インポータ２０６によって実施され得る。３１４において、方法は、曲メタデータに基づいて、選択されたオーディオイベントのオーディオストリームを、ボーカル、リード、ドラム、楽器、ベース（全体又は個別のいずれか）などの別個のチャネル（ステム）に分離することを含み得る。３１６において、システムは、バイブデータベースに保存され得る機械学習データを使用して、オーディオイベントメタデータからバイブデータを生成し得る。例えば、図２Ａを参照して上述したように、バイブキュレーターＡＩシステム２０８は、視覚パターン、色のテーマ、モーション及びリズムパターンなどの最適な使用を決定するために、履歴のライブイベントに基づいてデータをコンパイルし得る。バイブキュレーターＡＩシステム２０８は、この学習された情報を選択された曲のオーディオイベントメタデータに適用し、選択されたオーディオイベントの視覚的又は感覚的体験データを生成し得る。一部の実施形態では、方法は、保存されたオーディオイベントデータを参照する代わりに、ＡＩシステムデータを全てのオーディオ選択に適用することを含み得ることが企図される。

【0053】

３１８において、方法は、分離されたオーディオチャネルを個々の部分又はＡ／Ｖ機器５４のグループに割り当てることを含み得、これは、３１６からの生成されたバイブデータ及び３１０からの正規化されたバイブデータを使用することを含み得る。一部の実施形態では、個々のチャネルごとの特性及びメタデータの分析を行い、その特定のチャネルの動作に基づいて適用され得る視覚又は感覚体験データを生成する。例えば、ＬＥＤライトは、ボーカルデータに基づいて動作するように割り当てられ得、レーザは、楽器データに基づいて動作するように割り当てられ得、スポットライトは、ドラムデータに基づいて動作するように割り当てられ得る。当業者は、割り当ての他の組み合わせもまた、本開示の範囲内で生成され得ることを理解するであろう。一部の実施形態では、Ａ／Ｖ機器の各タイプに割り当てるチャネルの決定は、静的アルゴリズムに基づき得、又は履歴オーディオイベントに基づく機械学習中にバイブキュレーターＡＩシステム２０８から学習された情報に基づき得る。３２０において、方法は、例えば、ポッドキャスト、スポーツ及びｅスポーツ、ゲーム、映画などの選択された曲又はオーディオストリームの再生を通して移動、変更、及び反応する、没入型オーディオ及び視覚環境を作成するように、視覚又は感覚体験データに基づいてＡ／Ｖ機器５４に命令を送信することを含み得る。

【0054】

図４は、コンピューティングデバイス５５などのコンピューティングデバイスの実施形態を構成し得るいくつかの物理要素の簡略化された図であり、図５は、リモートクラウドサーバ１００のために使用され得るようなサーバタイプのコンピューティングデバイスの実施形態を構成する物理要素の簡略化された図である。図４を参照すると、没入型オーディオ体験のためのシステム及び方法の一部であるように物理的に構成されたサンプルコンピューティングデバイスが示されている。コンピューティングデバイス５５は、コンピュータ実行可能命令にしたがって物理的に構成されたプロセッサ１４５１を有し得る。一部の実施形態では、プロセッサは、本明細書に記載のシステムに関連するサーバ間の通信を最適化するように特別に設計又は構成され得る。コンピューティングデバイス５５は、充電可能であり得るバッテリなどのポータブル電源１４５５を有し得る。また、そのコンピューティングデバイスは、ビデオ及び音を表示することを補助する音及びビデオモジュール１４６１を有し得、電力及びバッテリ寿命を節約するために使用されていないときにオフにし得る。コンピューティングデバイス５５はまた、揮発性メモリ１４６５及び不揮発性メモリ１４７１を有し得る。コンピューティングデバイス５５は、別個の回路であり得るか、又はプロセッサ１４５１の一部であり得る、ＧＰＳ能力を有し得る。また、マイクロフォン、カメラ、ディスプレイ、又は他の入力／出力デバイスなどの様々なユーザ入力／出力デバイスにデータを送受信する入力／出力バス１４７５があり得る。コンピューティングデバイス５５はまた、無線デバイス又は有線デバイスを介してネットワークとの通信を制御し得る。もちろん、これは、コンピューティングデバイス５５の単なる一実施形態であり、コンピューティングデバイス５５の数及びタイプは、想像力によってのみ制限される。

【0055】

サーバ、リモートクラウドサーバ１００の実施形態を構成する物理要素を更に図５に示す。一部の実施形態では、サーバは、本明細書に開示されるような没入型オーディオ体験のためのシステム及び方法を実行するように特別に構成され得る。高レベルでは、サーバは、例えば、磁気ディスク、光ディスク、フラッシュストレージ、不揮発性ストレージなどのデジタルストレージを含み得る。構造化データは、データベースのデジタル記憶装置に保存され得る。より具体的には、サーバ１００は、コンピュータ実行可能命令にしたがって物理的に構成されたプロセッサ１５００を有し得る。一部の実施形態では、プロセッサ１５００は、コンピューティングデバイス５５などのコンピューティングデバイスと、本明細書に記載のようなＡ／Ｖ機器又はリモートクラウドサーバ１００との間の通信を最適化するように特別に設計又は構成され得る。サーバはまた、ビデオ及び音を表示することを補助する音及びビデオモジュール１５０５を有し得、電力及びバッテリ寿命を節約するために使用されていないときにオフにし得る。サーバ１００はまた、揮発性メモリ１５１０及び不揮発性メモリ１５１５を有し得る。

【0056】

構造化データをデジタルに保存するためのデータベース１５２５は、メモリ１５１０又は１５１５に保存され得、又は別個であり得る。データベース１５２５はまた、サーバのクラウドの一部であり得、複数のサーバにわたって分散された方法で保存され得る。また、例えば、マイクロフォン、カメラ、ディスプレイモニタ又はスクリーンなどの様々なユーザ入力デバイスにデータを送受信する入力／出力バス１５２０があり得る。入力／出力バス１５２０はまた、無線又は有線デバイスのいずれかを介してネットワークと通信することを制御し得る。一部の実施形態では、没入型体験ＡＰＩを実行するための没入型体験コントローラは、コンピューティングデバイス５５上に位置し得る。しかしながら、他の実施形態では、没入型体験コントローラは、サーバ１００上、又はコンピューティングデバイス５５及びサーバ１００の両方上に位置し得る。当然のことながら、これは、サーバ１００の単なる一実施形態であり、追加のタイプのサーバが本明細書において企図される。

【0057】

バイブ作成システム
図６は、没入型オーディオシステム６００の別の実施形態の図である。システム６００は、オーディオ又は他のメディアデータを処理して、没入型マルチメディア体験を提供するために、様々な視聴覚及び／又はメディア環境に実装され得るデータフォーマットのバイブデータを提供し得る。システム６００は、音楽コンテンツ配信ネットワーク（ＣＤＮ）、Ｖｉｂｅｓ＋Ｌｏｇｉｃマスターボールト６０４、音楽及び／又はポッドキャストＮＦＴ６０６、及び音楽ストリーミングＤＳＰ６０８を含み得る、１つ以上の音楽ソース６０１から音楽又は他のメディアを検索し得る。音楽ＣＤＮ６０２は、自分の音楽又は他のメディアをアップロードし得る、署名されていない、ラベルのないアーティストによる音楽を含み得る。マスターボールト６０４は、没入型オーディオシステム６００を通して生成された視覚化を使用する等、視覚化目的のために具体的に作成され得るトラックリミックスを含み得る。音楽及び／又はポッドキャストＮＦＴは、アーティスト又は別のエンティティによってＮＦＴとしてミントされた音楽トラック又は他のメディアであり得る。音楽ストリーミングＤＳＰ６０８は、例えば、Ａｍａｚｏｎ Ｍｕｓｉｃ、Ａｐｐｌｅ Ｍｕｓｉｃ、Ｓｐｏｔｉｆｙ、ＹｏｕＴｕｂｅ（登録商標）、ＳｏｕｎｄＣｌｏｕｄ、Ｔｉｄａｌなどの様々な音楽ストリーミングＤＳＰのうちのいずれかであり得る。

【0058】

一部の実施形態では、１つ以上の音楽ソース６０１からの音楽トラックは、デスクトップコンピュータ、モバイルデバイス、タブレットなどのユーザコンピューティングデバイス上で実行されているクライアントソフトウェアアプリケーションにユーザがアクセスするなどによって、バイブデータを処理及び生成するために選択され得る。一部の実施形態では、クライアントソフトウェアアプリケーションは、ＶＲゴーグルなどの仮想現実（ＶＲ）又は拡張現実（ＡＲ）（ＶＲ／ＡＲ）デバイスを介して実行され得る。選択されたトラックは、ＡＩ分析６１０によって処理され得、ＡＩ分析６１０は、かなり平坦な音楽トラックを取り、分析を通じて、トラックに関連する様々なタイプのデータを抽出し得る。例えば、ＡＩ分析６１０は、例えば、１分間の拍数（ＢＰＭ）、トラックの様々な部分における周波数、トラックの異なるセクション（例えば、コーラス、ヴァース、ビルド、ドロップなど）の場所及び／又はタイミング、キー遷移モーメント、ステムなどのトラックに関連する情報を決定し得る。一部の実施形態では、この情報（例えば、ステム）のうちのいくつかは、マスターボールト６０４へのアップロードなどによって、アーティストによって提供され得る。この情報を決定することは、システムが曲の構成要素をよりよく理解し、異なる視覚化の恩恵を受け得る異なる曲部分にわたる遷移に関するよりよい予測を行うことを可能にし得る。

【0059】

一部の実施形態では、システム６００は、ＡＩ分析６１０によって抽出された曲情報に基づいて、音楽トラックへの視覚的伴奏を生成するために提供し得る。視覚的伴奏は、ＡＩバイブデザイナー６１２、ユニバーサルバイブミックスエンジン６１４、バイブクリエータ６１６、又はそれらの組み合わせを使用して生成され得る。一部の実施形態では、ＡＩバイブデザイナー６１２は、ＡＩ分析６１０で生成されたデータを解釈して、曲のトラック固有の視覚的伴奏を決定し得る。視覚的伴奏は、曲データに基づいて、曲の異なる部分のためのＡ／Ｖ機器のための適切な命令／アニメーションを決定することを含み得る。例えば、機械学習及び履歴データに基づいて、ＡＩバイブデザイナー６１２は、曲の特定の音楽的側面が、例えば、ドラムの拍子には特定の明るい色、ボーカルにはストロボライトなどの特定の視覚化とペアリングされ得ることを決定し得る。当業者は、これらが可能な視覚化マッピングの単なる例であり、そのようなマッピングプロセスの出力の潜在的な多様性が事実上無制限であり得ることを認識するであろう。その結果、ＡＩバイブデザイナー６１２は、生成的な視覚的伴奏をもたらし得る曲に固有の視覚的マッピングを作成し得る。ＡＩ分析６１０及びＡＩバイブデザイナー６１２が、データを抽出し、視覚的伴奏を生成する際に実行し得るプロセスの一実施形態は、図７に関してより詳細に説明される。

【0060】

非トラック特有の視覚的伴奏は、ユニバーサルバイブミックス６１４を介しても提供され得、又は代替的に提供され得る。一部の実施形態では、ユニバーサルバイブミックス６１４は、ＡＩ分析６１０からのトラックデータを使用して、照明命令、アニメーション、及び他の視覚効果を予測し、特定の曲に関係なく各曲の特定のセクションに割り当てることができる。一部の実施形態では、割り当てられた照明及び他の視覚効果は、ユーザ又は１つ以上のＡＩエンジンによって事前に作成され、事前に存在し得る。例えば、音楽トラックは各々、例えば、イントロ、ヴァース、プレコーラス、コーラス、ブリッジ、ブレイク、ビルド、ドロップなどの類似のセクションを含み得る。一部の実施形態では、ユニバーサルバイブミックス６１４は、どの曲が選択されているか、又は各ビルド、各ドロップなどに関係なく、同じ既存の照明命令、アニメーション、又は他の視覚デザインの伴奏を各曲のコーラスに割り当ててもよい。したがって、ユニバーサルバイブミックス６１４では、音楽トラックは、歌の異なるセクションにマッピングされた没入型視覚化及びバイブデータを伴ってもよいが、使用される特定の視覚化は、その曲に固有ではなくてもよい。したがって、ユニバーサルバイブミックス６１４は、特定の曲に関して完全にオーダーメイドされていなくてもよいが、視覚化情報は、没入型ユーザ体験のための同期された視覚的伴奏を提供し得るように、ＡＩ分析６１０によって決定されるように、曲の特徴に依然としてマッピングされ得る。一部の実施形態では、ユニバーサルバイブミックス６１２は、ユーザ又はＡＩがまだオーダーメイドのバイブミックスを作成していない新しい曲のセクションのための初めてのバイブエディタとして使用され得る。一部の実施形態では、ユーザは、ユニバーサルバイブミックスを作成し、それらをＮＦＴとして、又はより広く配布されているかのいずれかで、購入、共有、又は他のユーザへの配布のために利用可能にし得る。

【0061】

一部の実施形態では、システム６００は、クライアントソフトウェアアプリケーションを介してアクセスされ得る、バイブクリエータ６１６を含み得る。バイブクリエータ６１６は、ＡＩ分析６１０、バイブデザイナー６１２、及び／若しくはユニバーサルバイブミックス６１４によって抽出及び／若しくは生成されたトラックデータを受信し得る。ユーザ（例えば、アーティスト、ファンなど）は、例えば、ユーザバイブミックス６１８を作成するために、バイブクリエータ６１６にアクセスし得る。一部の実施形態では、バイブクリエータ６１６は、照明命令、アニメーション、及び他の視覚的伴奏を、オーディオの異なる時間コード化されたセクション又はオーディオセクション（例えば、コーラス）のラベル、並びにハードウェア器具マッピングに割り当て、かつ調整するためのユーザインターフェースを有する。一部の実施形態では、ユーザバイブミックス６１８は、ユーザがＡＩバイブデザイナー６１２からＡＩ生成されたバイブミックスを更にカスタマイズすることから生じ得、又はユーザは、ＡＩ分析６１０からのデータの有無にかかわらず、完全にカスタムされたユーザバイブミックスを作成し得る。一部の実施形態では、バイブクリエータ６１６は、ユニバーサルバイブミックスエンジン６１４から情報を受信し、これは、ユーザがユニバーサルバイブミックス（ユーザ生成されたもの又はＡＩ生成されたもののいずれか）を編集すること、それらのミックスを特定のトラックに更にカスタマイズすること、又は様々なトラックに適用され得る追加のユニバーサルバイブミックスを生成することを可能にし得る。そのような実施形態では、ユーザは、独自の没入型オーディオ体験を反映し得る特定のトラックのための独自のバイブミックスを作成するために、ゼロから作業するか、又はＡＩ生成バイブミックスに追加し得る。一部の実施形態では、ＡＩバイブデザイナー６１２は、バイブクリエータ６１６で作成されたユーザバイブミックスを分析して、そのＡＩ機能を更に改善し得る。言い換えると、特定のトラックのカスタムバイブミックスを作成するユーザは、ＡＩバイブデザイナー６１２がＡＩ分析６１０に基づいてトラック固有のバイブミックスを生成し、次いで１人又は複数のユーザによってユーザが作成したバイブミックス６１８に基づいてそれらのバイブミックスを更新及び改良し得る、反復的な機械学習プロセスの一部であり得る。このようにして、ＡＩバイブデザイナー６１２は、そのＡＩ生成バイブミックスを改善し得る。

【0062】

一部の実施形態では、システム６００は、１つ以上のブロックチェーン上でユーザバイブミックス６１８をミントするために提供し得る、ミントエンジン６２０を含み得る。得られるミントされたバイブミックスは、全体又は一部がユーザによって所有され得るユーザバイブミックスＮＦＴ又は他のデジタル資産であり得る。ミントされたバイブミックスは、所有権株式、ロイヤリティ、利益分配、再販、基礎となる知的財産権（ＩＰ）などに関連する特定の処理を提供するデジタル契約を組み込んでもよい。一部の実施形態では、システム６００は、ユーザがユーザバイブミックス６１８及び／又はユーザバイブミックスＮＦＴを販売、交換、又はそうでなければ配布し得る、バイブマーケットプレイス６２２を含み得る。バイブマーケットプレイス６２２は、例えば、クライアントソフトウェアアプリケーションを介して、ウェブブラウザ、他のサードパーティソフトウェアアプリケーションなどを介してアクセスされ得る。一部の実施形態では、バイブマーケットプレイス６２２は、潜在的な購入者が購入する前にユーザバイブミックス６１８を「試す」ためのサンプルを提供し得る。一部の実施形態では、バイブマーケットプレイス６２２は、インターネット、メタバース、ＶＲ／ＡＲアプリケーション、又はクライアントソフトウェアアプリケーションを介して仮想店舗又はショップとしてアクセス可能であり得る。そのような実施形態では、ユーザは、仮想的にバイブマーケットプレイス６２２に「入り」、特定のアーティスト、ジャンル、ムードなどによって特定のトラックのために作成され得るユーザバイブミックスを仮想的に購入し得る。次いで、それらのバイブミックスは、実世界のＡ／Ｖ器具又は仮想３Ｄ環境などの仮想Ａ／Ｖ器具のいずれかを介して、ユーザによって再生又は体験され得る。

【0063】

一部の実施形態では、システム６００はまた、アカウントゲートウェイ６２４を含み得る。アカウントゲートウェイ６２４は、没入型オーディオシステム６００を介してバイブミックス又は他の情報を作成、要求、アクセス、又は購入するユーザが、特定のユーザアカウントなどの提供された特定のユーザ情報でそうすることが許可されていることを確認し得る。一部の実施形態では、ユーザは、検証可能なユーザ資格情報（例えば、ログイン、パスワード、二要素認証など）を使用して特定のユーザアカウントにログインし得る。各ユーザアカウントは、例えば、以前に作成又は購入したバイブミックス、バイブ作成プロジェクトなどの異なるリソースに対するアクセスを有し得る。アカウントゲートウェイ６２４は、この認可情報を確認し、かつシステム６００内の特定のリソースへのアクセスを正しいユーザに提供する、ゲートキーパーであり得る。アカウントゲートウェイ６２４はまた、システム６００を介して提供されるサービスへの毎月及び／若しくは毎年のサブスクリプション、又はシステム上のバイブミックスへのアクセスなどのサブスクリプション情報を処理し得る。アカウントゲートウェイ６２４はまた、システム６００を通して処理された購入又はサブスクリプション料金の支払い情報を処理するために提供し得る。

【0064】

一部の実施形態では、システム６００は、バイブストリーミングプロトコル６２６を使用して、バイブミックスのコンテンツを配信し得、その実施形態は、図８に更に詳細に記載されている。バイブストリーミングプロトコル６２６は、単一のストリーム内で一緒にバインディングされたオーディオ及び視覚データの両方を含み、オーディオへの視覚的伴奏を含むストリーミングプロトコルを提供し得る。このようにして、バイブミックスを介してシステム６００によって開発された視覚的な拍子ベースの情報は、組み合わせられ、適用可能なハードウェア又はＡ／Ｖ機器に一緒に配信され得る。一部の実施形態では、バイブストリーミングプロトコル６２６は、ウェブブラウザを介して、スマートホーム照明器具、ＶＲ／ＡＲアプリケーションなどを介してアクセスされ得る。バイブストリーミングプロトコル６２６の一実施形態は、データフォーマットに関して以下で更に詳細に説明される。

【0065】

バイブストリーミングプロトコル６２６は、インターネット又は他のネットワークを介して、ＶＲ／ＡＲ／ＸＲゴーグル６２８、視覚化又は他のビデオモニタ６３０（例えば、ＴＶ及びモニタ）、及びスマート器具６３２（例えば、スマート照明、モノのインターネット（ＩｏＴ））などの様々なユーザＡ／Ｖ機器のいずれかにストリーミングされ得る。一部の実施形態では、バイブストリーミングプロトコル６２６は、実際のハードウェア構成要素（例えば、ＩｏＴ照明、ＡＲ／ＶＲ／ＸＲデバイス、モニタなど）を介して、又は仮想空間内の仮想器具（例えば、メタバース）によってアクセス及び利用され得る。例えば、一部の実施形態では、ユーザは、実際のアナログを有し得る、又は有し得ない、仮想サウンドシステム又は視覚化特徴などの、特定の仮想メディア設定を有するメタバース内の空間にアクセスし得る。代替的に、アーティストは、ＡＲ／ＶＲ／ＸＲデバイス又は他の機能を介してアクセス可能な仮想視覚化を含み得る、仮想３Ｄシアターでコンサート又はショーを開催し得る。仮想のハードウェア又は実際のハードウェアのいずれかについて、バイブストリーミングプロトコル６２６は、ユーザ及び他の者に没入型オーディオ体験を提供するために、いずれかによって、又は組み合わせてアクセス可能であるように設計され得る。

【0066】

データフォーマット
一部の実施形態では、システム６００は、分析データ、器具データ、シーンデータ、及びバイブデータを含む、いくつかのタイプのデータを含み得る。一部の実施形態では、分析データは、ＡＩ分析６１０によって生成されたトラックデータであり得、かつプレゼンテーションに依存しない方法で音楽トラックの重要な特徴を説明し得る。いくつかのプレゼンテーションに関連する情報は、それらが器具に割り当てられるかを導くのに役立つように、トラック内の最も重要なステムを記述することなどが含まれ得る。一部の実施形態では、フォーマットは、モジュラーであり、分解可能であり得、トラック全体が単一のファイルとして送信され得ること、又は個々のオブジェクト（例えば、「バー」）が音楽と一緒にストリーミングされ得ることを意味する。一部の実施形態では、フォーマットはまた、決定論的であり得、（例えば、ユーザがランダム時間コードを求める場合に）トラック内の任意の点について正しいデータを要求又は位置特定することが比較的容易であり得ることを意味する。

【0067】

一部の実施形態では、分析データは、セットオブジェクト、トラックオブジェクト、メタデータオブジェクト、特徴オブジェクト、セクションオブジェクト、及びステムオブジェクトを含み得る。セットオブジェクトは、単一のオーディオファイル／ソースが複数のトラックを露呈することを可能にし得る。トラックオブジェクトは、セクションのコンテナであり得る。メタデータオブジェクトは、ＡＩ分析６１０の一部として生成されていない可能性があるセットデータ又はトラックデータを保持し得る。特徴オブジェクトは、特定の音楽選択を記述し得る特徴の集合体を含み得る。これは、トラック全体、セクション、個々のバーなどであることができる。セクションオブジェクトは、トラック内の期間を表し得る。セクションオブジェクトは、ステムへの有意な変更に基づいてセグメント化され得るが、例えば、ストリーミングイベントとともにより小さな「チャンク」に関する情報を渡すためにも使用され得る。一部の実施形態では、セクションオブジェクトは、分析データのための一次トランスポートであり得る。各セクションオブジェクトは、トラックのその部分のムード及びエネルギーに関する重要な情報を伝達し得、セクションをその構成要素オーディオ「層」に分割するステムの集合体、及びステムをＡ／Ｖ器具にマッピングするための提案を含み得る。一部の実施形態では、クライアントソフトウェアアプリケーションは、このデータをバイブ及びユーザ設定内の情報と組み合わせて、プロパティ及びステムを器具及び器具パラメータにマッピングする方法を決定し得る。ステムオブジェクトは、音楽内の個々の楽器又は声を表し得る。

【0068】

器具データは、実Ａ／Ｖ機器又は仮想Ａ／Ｖ機器などの出力の集合体、及びそれらのアドレス指定可能な特性又は能力を記述し得る。出力は、潜在的にほとんど何でもあり得るが、いくつかのカテゴリは、ライト（例えば、ＬＥＤストリップ、Ｈｕｅ、Ｎａｎｏｌｅａｆ、ＬｉＦＸなど）、デバイス（例えば、頭皮マッサージャー、マジック指揮棒、ジェスチャーグローブなど）、スクリーン（プロジェクタ、ＴＶ、タブレット、仮想壁（ＶＲ／ＡＲ／メタバース内）、スマートフォン）、及びビジュアライザ（例えば、ソフトウェアビジュアライザによって露呈するプロパティ）であり得る。物理的又は仮想的な照明及びデバイスは、ユーザによってグループ化され、いくつかの特定のスマート電球を一緒にグループ化し、それらを「ムード」に割り当てるなど、ゾーンに割り当てられ得る。器具データフォーマットは、以下の２つの主な目標を達成する可能性がある。（１）各特徴、その機能、及びそれらの機能を変更する可能性のある任意のユーザ設定を定義すること、及び（２）バイブを介して分析データに論理的にバインドされ得る既知のチャネルに特徴を割り当てること。

【0069】

シーンデータは、ステージオブジェクト、器具オブジェクト、及びチャネルオブジェクトを含み得、器具コントローラを含み得る。ステージオブジェクトは、特定のユーザの完全なＡ／Ｖ器具セットアップに関連する全てのデータをカプセル化し得、主に「器具」オブジェクトのためのコンテナであり得る。器具オブジェクトは、単一の器具のタイプ、機能、及び設定を定義することができる。各器具は、予想される構成プロパティの定義されたセットを有する、既知のタイプであり得る。一部の実施形態では、タイプ「複合材」の器具は、複数の器具が単一のデバイスによって露呈することを可能にし得る。例えば、ソフトウェアビジュアライザは、複数の照明器具に加えて他の照明器具を有し得る。チャネルオブジェクトは、ユーザ割り当てに基づいて器具を関連付けてもよく、したがって、それらは、バイブで定義された特定の挙動とグループとして制御され得る。

【0070】

バイブデータは、ＡＩバイブデザイナー６１２、ユニバーサルバイブミックス６１４、又はバイブクリエータ６１６の出力、又は「バイブミックス」若しくは「バイブ」であり得る。バイブデータは、バイブクリエータ（ヒューマンユーザ又はＡＩ）のクリエイティブ出力をカプセル化し得、（ＡＩ分析６１０によって抽出された）音楽分析データを任意の所与のＡ／Ｖ設定で発生し得る器具及び特性のセットにバインディングする接着要素として機能し得る。特にユニバーサルバイブミックスからのバイブは、トラック、及び任意の特定のユーザに利用可能であり得る特定のＡ／Ｖ器具又は機器の両方とは完全に無関係であり得る。各バイブは、特定のユーザのＡ／Ｖ設定及びゾーン割り当てにしたがって後で実装され得るゾーンマッピングを含み得るが、バイブ自体は、ゾーン１～８などの所定の数のゾーンに関する情報を含み得る。バイブデータは、バインディングオブジェクト、及び音楽分析データと器具又は同様のオブジェクトとの間の関係を一緒に定義する他のオブジェクトを含み得る。一部の実施形態では、これは、バイブオブジェクト、ルールオブジェクト、タイムオフセットオブジェクト、及びバインディングオブジェクトから構成され得る。当業者は、これらが、可能なバインディング、マッピング、及びオーディオマッピングと視覚マッピングとの間の関係の単なる例であり、そのようなマッピングプロセスの潜在的な多様なオブジェクトが事実上無制限であり得ることを認識するであろう。

【0071】

一部の実施形態では、そのコアでは、バイブオブジェクトは、ステム特徴とＡ／Ｖ器具機能との間の「バインディング」、及びそれらのバインディングが適用され得るときのための命令を定義し得る、「ルール」オブジェクトの集合体のためのコンテナであり得る。追加的に、ルールオブジェクトは、１つ以上の出力バインディングを１つ以上の時間オフセットと関連付け得る。言い換えれば、ルールオブジェクトは、「何」を「いつ」と接続し得る。例えば、ルールオブジェクトは、電子ダンスミュージック（ＥＤＭ）曲のイントロへの薄暗いパルス照明の使用など、特定のタイプのトラックの特定のセクション（例えば、ジャンル固有であり得る）に特定のバインディング（例えば、照明操作、視覚化設計など）を適用するための命令を含み得る。ルールオブジェクトはまた、トラック固有のフィルタを指定し得る。トラックには、時間の経過とともに更新又は開発され得る、あらゆる種類の曲セクションが含まれ得る。例えば、いくつかのトラックセクションは、イントロ、ヴァース、プレコーラス、コーラス、ブリッジ、アウトロ、ブレイク、ビルド、ドロップなどを含み得る。一部のセクションは、異なるジャンルに固有である場合があるが、他のセクションは事実上あらゆるジャンルで使用される場合がある。他のルールオブジェクトは、周波数のプロミネンス又はカバレッジの特定の変化、キーのシフト、ボーカルのプロミネンス、又はＡＩ分析６１０によって識別された任意の数の時間コード化されたイベントへのバインディング（例えば、照明操作、視覚化設計など）を含み得る。当業者は、これらが、可能なルールオブジェクトの単なる例であり、そのようなプロセスの周りの潜在的な多様なルールが事実上無制限であり得ることを認識するであろう。

【0072】

タイムオフセットオブジェクトは、セクションに対する参照であり得る。それは、時間（例えば、ミリ秒）、バー、又は拍子で指定され得る。時間オフセットオブジェクトは、「開始」、「終了」及び「長さ」の任意の組み合わせを含み得る。一部の実施形態では、開始及び終了は、セクションの開始及び終了に対してタイミング範囲を「ピン留め」することができる。長さは、開始から前方に延びる固定時間、又は終了から後方に延びる固定時間を指定し得る。一部の実施形態では、開始値及び終了値の負の値は、選択されたセクションの外側の範囲を拡大するために潜在的に使用され得る。バインディングオブジェクトは、ステムの単一の特徴（又はスマートステム、ステムの動的割り当て、例えば、「フロント」は、どのステムが人間の耳の知覚にとって最も顕著であるか、又は支配的であるかを示すスマートステムであり得る）を固定ゾーンの１つ以上の機能に接続し得る。一部の実施形態では、各機能タイプは、パラメータの異なるセットを有し得る。

【0073】

バイブストリーミングプロトコル
一部の実施形態では、バイブストリーミングプロトコル６２６は、単一のストリーム内で一緒にバインディングされたオーディオ及び視覚データの両方を含み、オーディオへの視覚的伴奏を含むストリーミングプロトコルを提供し得る。このようにして、バイブミックスを介してシステム６００によって開発された視覚的な拍子ベースの情報は、実際又は仮想のいずれかで、組み合わせられ、適用可能なハードウェア又はＡ／Ｖ器具に一緒に配信され得る。一部の実施形態では、バイブストリーミングプロトコル６２６は、一意のファイルフォーマットであり得る、オーディオストリームに直接符号化されたバイブデータを含み得る。ストリームに含まれるバイブデータは、「データフォーマット」を参照して上述した同じ又は同様のデータであり得、曲の特定のセクション又はモーメントの視覚化データは、オーディオと一緒にデータストリームに直接的に含まれ得る。バイブストリーミングプロトコル６２６は、ストリーミングデバイスが、オーディオストリームの各セグメントと同期して、付随する視覚データにアクセスすることを可能にし得る。一部の実施形態では、一意のファイルフォーマットは、Ｖｉｂｅｓ ＪＳＯＮ Ｇｒｉｄ、又はＶＪＧ、又は「Ｇｒｉｄ」であり得る。

【0074】

図８は、バイブストリーミングプロトコルを用いたＨＴＴＰライブストリーミング（ＨＬＳ）を使用する実施形態の図８００である。図は、入力部８０２、サーバ８０４、配布部８０６、及びクライアント８０８を含む。入力部は、図６を参照してより詳細に説明するように、音楽ソース８１０であり得る。サーバ８０４は、没入型オーディオシステム６００などの没入型オーディオシステムを操作する１つ以上のコンピュータサーバ若しくはクラウドサーバであり得、かつ／又はＨＬＳサーバであり得る。一部の実施形態では、サーバ８０４は、バイブミックスの視覚化及びオーディオ部分を符号化し得る、メディアエンコーダ８１２を含み得る。一部の実施形態では、これは、ＡＩ分析６１０及びＡＩバイブジェネレータ６１２によって実施されるように、本明細書に記載される方法と同じであってもよく、又は類似していてもよい。結果として生じるメディアファイルは、上記のバイブミックスに生成されるように含まれるオーディオデータ及び視覚化データの両方を含み得る。一部の実施形態では、そのようなファイルは、ＶＪＧファイルタイプであり得、オーディオデータを含むＭＰ３ファイルと組み合わせられてもよい。ストリームセグメンタ６１４は、ＶＪＧ及びＭＰ３ファイルをＦＶＪＧ及びＦＭＰ３ファイルに分割して、ストリーミングされ得るセグメントにし得る。一部の実施形態では、オリジンウェブサーバ８１６は、ネットワーク８２２を介してファイルを配布し得る。インデックスファイル８１８は、ストリームの異なるセグメントを参照し得、各セグメントは、曲のその部分の適切な視覚化及びオーディオデータを含む。特定のセグメントは、ネットワーク８２２を介してクライアント８２４にセグメントで配信され得る、ｆファイル８２０であり得る。クライアント８２４は、ユーザのＡ／Ｖ器具を解釈し、かつそれに視覚化キューを割り当て得る、本明細書に記載されるようなクライアントソフトウェアアプリケーションを実行し得る、コンピューティングデバイスであり得る。したがって、バイブストリーミングプロトコルは、ストリームの特定のセグメントにわたって視覚的に発生し得るもののための命令を含み得、それによって、視覚的伴奏をオーディオとともに配布する。

【0075】

一部の実施形態では、ユーザが自分の特定のメディア環境にいくつのゾーンをどのように設定し得るかにかかわらず、ユーザの能力を超えるゾーンのゾーン情報を含み得る同じバイブストリーミングプロトコルが使用され得る。例えば、各バイブストリーミングプロトコルファイルは、最大８つのゾーンで使用可能な情報を含み得るが、他の最大数のゾーンが使用され得る。クライアントソフトウェアアプリケーションがバイブストリーミングプロトコルを使用してバイブを要求するときに、それは、ユーザの機器が収容し得るゾーンの数に関する情報のみを要求することができる。バイブミックス内の視覚情報がゾーンごとにマッピングされ得、クライアントソフトウェアアプリケーションがＡ／Ｖ器具をゾーンに分離するため、ユーザの特定のメディア環境に関係なく、バイブストリーミングプロトコルが使用され得る。

【0076】

ＡＩエンジン分析
図７は、没入型オーディオシステム６００内のＡＩ分析６１０及びＡＩバイブデザイナー６１２によって表されるような生成バイブミックスデータを分析するための、１つ以上のＡＩエンジンのデータフローを表すデータフロー図７００である。１つ以上の音楽ソース６０１からのデータは、ＡＩ分析６１０によって受信され得る。ＡＩ分析６１０は、第１のＡＩエンジン６５０及び第２のＡＩエンジン６５２などの１つ以上のＡＩエンジンを含み得る。第１及び第２のＡＩエンジン６５０、６５２は、比較的平坦なオーディオファイルを、視覚化の目的のために異なる方法で扱われ得る曲の部分の位置を特定するために使用され得るデータのボリュームに変換するために、トラック分析を実施し得る。音楽ソースは、ＭＰ３などの１つ又は様々なフォーマットの音楽データを提供し得る。音楽トラックには、アーティスト、タイトル、ジャンル、長さなどの特定のメタデータが含まれている場合がある。第１のＡＩエンジン６５０は、トラックを分析して、１分間の拍数（ＢＰＭ）、拍子、セクションなどの曲の特徴を決定し得る。一部の実施形態では、第１のＡＩエンジン６５０は、このトラック情報を返すために、トラックメタデータをＳｐｏｔｉｆｙなどのＤＳＰ ＡＰＩ６７０に送信し得る。第１のＡＩエンジン６５０はまた、トラックを分析して、ステムＭＰ３及びステムＰＣＭ情報を決定することができる。ステムＰＣＭは、特定のドラム（例えば、スネア、キック、ベース）、ボーカル、リード／メロディなどに関連するステムデータを含み得る。第２のＡＩエンジン６５２は、ステムデータ、ＢＰＭ、拍子、セクション、並びにジャンルデータ及び生成されたフレーズを受信し得る。一部の実施形態では、フレーズは、特定のセクションの開始及び／又は終了（例えば、ドロップ：開始及び終了、ヴァース：開始及び終了）を含み得る。したがって、第２のＡＩエンジン６５２は、そのようなフレーズイベントがトラック全体で発生する場所を示すデータの位置を特定し、かつ生成し得る。

【0077】

ＡＩバイブデザイナー６１２は、ＡＩ分析６１０から分析データを受信し、かつ没入型オーディオ体験を作成するために使用され得る適切な視覚化を適用し得る、１つ以上のＡＩエンジンを含み得る。図７の実施形態は、第３のＡＩエンジン６５４及び第４のＡＩエンジン６５６を含む。一部の実施形態では、第３のＡＩエンジン６５４は、第１のＡＩエンジン６５０によって生成されたステムＰＣＭデータ、第２のＡＩエンジン６５２によって生成されたフレーズデータ、及びＤＳＰ ＡＰＩ６７０又は第１のＡＩエンジンのいずれかによって受信されたＢＰＭ情報を受信し得る。第３のＡＩエンジン６５４は、このデータを処理して、バイブ、バイブミックス、又はバイブデータを生成し得る。バイブは、体験データコンテナの時間コード化された命令及びイベント、並びに他のメタデータであり得る。例えば、いくつかの８バーの音楽フレーズを含み得る曲では、生成されたバイブは、いくつかの８バーの長さのバイブでオーディオファイルを豊かにし得る。一部の実施形態では、バイブは、代わりに、フレーズの長さであり得る。一部の実施形態では、単一のオーディオは、多くの互換性のあるバイブを含み得る。一部の実施形態では、第３のＡＩエンジン６５４によって生成されたバイブは、名前、ムード、音楽キー、フレーズのエネルギー／強度、レベル／ラウドネス、曲線（例えば、時間の経過とともにステムが変化する）などのデータフィールドを含み得る。一部の実施形態では、ムードは、異なる視覚化効果によって表され得る、混乱、悲しい、強い、幸せ、怒り、元気、思いやり、憂鬱、恐怖、傷つき、孤独、後悔、寒気などの異なるトーンを含み得る。一部の実施形態では、第１のＡＩエンジン６５０、第２のＡＩエンジン６５２、第３のＡＩエンジン６５４、及び第４のＡＩエンジン６５６は、本明細書で説明されるそれらの機能の各々を改善するために、反復的な方法で一緒に動作し得る。更に、当業者は、動作の順序が必ずしも説明されるのと同じ順序に従うとは限らず、異なる、又は組み合わされたＡＩエンジンが、依然として本開示の範囲内にある間に、同様のデータを分析及び抽出し得ることを認識するであろう。

【0078】

一部の実施形態では、第４のＡＩエンジン６５６は、第３のＡＩエンジン６５４によって生成されたバイブデータと、特定のタイプの機器に固有であり得るデバイス構成データとを受信し得る。例えば、回転ヘッド器具は、その器具に特定の活動を割り当てるために、第４のＡＩエンジン６５６が処理し得る、性能及び能力に関連する特定の構成仕様を有し得る。一部の実施形態では、第４のＡＩエンジン６５６によって受信されたデバイス構成データは、特定のユーザのＡ／Ｖ器具環境のためのものであり得、又はより一般的なカテゴリ若しくはタイプの器具のためのものであり得る。第４のＡＩエンジン６５６は、シーケンスを生成するために、バイブデータ及びデバイス構成データを処理し得る。各シーケンスは、生成されたバイブ体験を満たすために、トラックの特定の部分でアクティブ化されるべき特定のタスクを特定のＡ／Ｖ器具又は器具のタイプに割り当ててもよい。例えば、シーケンスは、フレーズ又は特定のバイブの長さであり得る、特定の長さの時間の間、回転ヘッドデバイスが作動するための情報を含み得る。シーケンスはまた、デバイスが実施する特定のアクション、及び特定のシーケンスを参照していつ実行するかを含み得る。例えば、４８秒のシーケンスが、そのシーケンスを参照して、０秒で「開始」し、かつ４８秒で終了するとする。その４８秒の間に、シーケンスデータは、特定のアクションの回転（Ｘ、Ｙ、及びＺ軸）、色、アパーチャ、及び開始時間に関連する情報を含み得る。例えば、シーケンスは、回転ヘッドが、シーケンスの２４秒以内に、Ｙ軸上の１８０度の位置に回転し、かつ４８秒のマークで、Ｙ軸上の０度の位置に戻るように回転するためのデータを含み得る。当業者であれば、トラック中に、各フレーズ及び／又はバイブの各タイプのＡ／Ｖ器具について詳細なシーケンスが生成され得ることを理解するであろう。

【0079】

一部の実施形態では、ＡＩデータフロー図７００の出力は、本明細書でより詳細に示され、かつ説明されるように、バイブミックス６５８であり得る。バイブミックス６５８は、ユーザの実際のＡ／Ｖ器具又は仮想のＡ／Ｖ器具を介して特定の没入型オーディオ体験を提供するために、オーディオトラックにバインディングされ得る、データを含み得る。例えば、一部の実施形態では、バイブミックス６５８は、例えば、名前、トラック（音楽トラック固有のバイブの場合）、バイブミックス内に含まれるバイブの名前、加えてそれらのバイブが（拍子又は時間単位のいずれかを介して）開始及び終了すべき場所、特定のシーケンスのトラック内の場所などの情報を含み得る。換言すると、バイブミックス６５８は、システム６００によって提供される所望の没入型オーディオ体験を作成するために必要なデータを含み得る。

【0080】

実際及び仮想の照明器具
当業者によって理解されるように、没入型オーディオシステム６００によって生成されるバイブデータは、照明、スマート照明、視覚化環境、レーザなどを含む、様々な異なる実際又は仮想のＡ／Ｖ器具によって実装され得る。図９は、本明細書に記載の没入型オーディオシステムのコンテキストで、又は他のメディア環境で使用され得る、カスタムスマート照明器具９００の実施形態である。照明器具９００は、実質的に円形又はリング状の形状であり得、所与のメディア環境において壁、天井又は他の表面に装着するように構成され得、かつバッテリ、Ａ／Ｃ電源などを介して電力を供給され得る。一部の実施形態では、照明器具９００の要素は、ｗｉｆｉ、Ｂｌｕｅｔｏｏｔｈ、又は他の無線若しくは有線接続を介して無線ネットワークに接続するように構成され得る。一部の実施形態では、照明器具９００は、ミラー、カラー電球、ＬＥＤライト、光屈折材料を組み合わせてもよく、本明細書に記載のクライアントソフトウェアアプリケーションなどのソフトウェアを介して、又はオーディオセンシング機能若しくは他のソフトウェア制御を介して、音楽に同期され得る。照明器具９００は、カラーであり得、音楽に同期するように構成可能である、低遅延のスマート電球であり得る、複数の電球９０２を含み得る。図９は、８つの電球９０２を含む照明器具の実施形態９００を示すが、電球９０２の数は、実施形態によって、かつ所望の視覚効果に応じて変化し得る。照明器具９００はまた、照明効果を生成するための反射テクスチャを含み得る、光屈折要素９０４を含み得る。一部の実施形態では、屈折要素９０４は、図１０Ａ～図１０Ｃに最もよく見られるように、各電球を実質的に覆うリング内に配置され得る。観察者の視点から、電球９０２は、電球の光が屈折要素を通って部屋に照射し、視覚効果を生み出し得るように、屈折要素９０４の後ろにあり得る。一部の実施形態では、屈折要素９０４は、１つ以上のピースで構成され得、実質的に透明又は半透明であり得、色が鮮明であり得、又は１つ以上の色に着色され得る。

【0081】

一部の実施形態では、照明器具９００は、１つ以上のＬＥＤストリップ９０６を含み得る。ＬＥＤストリップ９０６は、屈折要素を通って光を照射するように屈折要素９０４の内側（電球側）に外向きに包まれ得る赤外線を含む、勾配のマルチゾーンＬＥＤストリップであり得る。一部の実施形態では、ＬＥＤストリップ９０６は、一般に、電球９０２及び屈折要素９０４によって確立されたリングパターンをトレースし得る、ＬＥＤリングを実質的に形成するように配置され得る。ＬＥＤストリップ９０６はまた、音楽に同期され得る。一部の実施形態では、照明器具９００はまた、電球９０２がミラー９０８と屈折要素９０４との間に配置され得るように、器具の背面に装着され得る、１つ以上のミラー９０８を含み得る。一部の実施形態では、ミラー９０８は、電球９０２及び屈折要素９０４のリングの境界を超えて外向きに拡張し得る。ミラー９０８は、電球９０２及びＬＥＤストリップ９０６の光を反射し、かつそれらの効果を増幅し得る。

【0082】

一部の実施形態では、ＬＥＤストリップは、ＬＥＤゾーンに分割され得る。例えば、図１０Ａは、リング状の屈折要素９０４ａの周りに実質的に均等に配設された４つの電球９０２ａを含む照明器具９００ａの実施形態を示す。照明器具９００ａはまた、屈折要素９０４ａの周りのリングに配設され、かつ４つのＬＥＤゾーン９０６ａ１、９０６ａ２、９０６ａ３、９０６ａ４に分割されたＬＥＤストリップ９０６ａを含む。４つのゾーンの各々は、それぞれの隣接する電球９０２ａの間に実質的に配置され得る。ＬＥＤストリップ９０６ａは、隣接する電球９０２ａ又は他のゾーンと協調して、各ゾーンごとに異なる色の照明を示すようにプログラム又は指示され得る。図１０Ｂは、８つのゾーンに分割され得る、８つの電球９０２ｂ、ミラー９０８ｂ、屈折要素９０４ｂ、及びＬＥＤストリップ９０６ｂを含む、照明器具９００ｂの同様の実施形態を示す。図１０Ａと同様に、図１０ＢのＬＥＤストリップ９０６ｂは、隣接する電球、例えば、８つの異なるＬＥＤゾーンの間に画定された別個のゾーンを含み得る。図１０Ｃは、８つのゾーンに分割され得る、１６個の電球９０２ｃ、ミラー９０８ｃ、屈折要素９０４ｃ、及びＬＥＤストリップ９０６ｃを含む、照明器具９００ｃの同様の実施形態を示す。図１０ＣのＬＥＤストリップ９０６ｃは、隣接する電球９０２ｃ、例えば、１６個の異なるＬＥＤゾーンの間に画定された別個のゾーンを含み得る。一部の実施形態では、照明器具９００が、数４又は数２で分割可能であり得る照明及び／又は対応するＬＥＤゾーンの数を含むことが望ましい場合がある。一部の実施形態では、所望の視覚効果を伝達するために、任意の所望の数のライト及び対応するＬＥＤゾーンを使用し得る。

【0083】

一部の実施形態では、仮想的な照明「器具」は、本明細書に開示される没入型オーディオシステムと併せて実装され得る。一部の実施形態では、ユーザは、音楽応答性になり得る層を含み得る、デジタルアバター又は画像を作成、購入、又はそうでなければ取得し得る。デジタルアバターは、コンサートに参加したり、バイブを買ったり、又は別の方法で他のアバターと交流したりするためにメタバース全体で使用され得る、ユーザの「デジタルツイン」として機能し得る。一部の実施形態では、デジタル画像は、ＮＦＴの特定のユーザ又は所有者にとって一意であり得る、ＮＦＴとしてミントされ得る。ミントプロセス中に、アバター画像は、様々なＰＮＧ層に分離され、かつ様々なバリエーションに組み立てられ得る。ミントの後、全ての層は、それらが仮想的な照明器具であるかのようにマッピングされ得る。言い換えると、ユーザのデジタルツインは、各々が独自の方法で音楽に応答する、異なる層を含み得る。一部の実施形態では、層は、本明細書に記載の没入型オーディオシステムを使用して生成されたバイブミックスを処理し、かつ反応し得、又はユーザは、デジタルアバターがアバターの層のマッピングにしたがって（例えば、器具として）応答するために独自のバイブを設計し得る。一部の実施形態では、ユーザのデジタルアバター又はＮＦＴアバターは、本明細書に開示されるような１つ以上のバイブミックスの視覚化された出力などを介して、ユニークな視覚ディスプレイを作成する音楽応答層を有するメタバース内の他のユーザによって見られてもよい。

【0084】

図は、説明のみを目的とした好ましい実施形態を示す。当業者は、以下の説明から、本明細書に記載される原理から逸脱することなく、本明細書に示される構造及び方法の代替的な実施形態が採用され得ることを容易に認識するであろう。

【0085】

本開示を読むと、当業者は、本明細書に開示された原理を通じて本明細書に記載されたシステム及び方法のための更に追加の代替的な構造及び機能設計を理解するであろう。したがって、特定の実施形態及びアプリケーションを例示し、かつ説明してきたが、開示された実施形態は、本明細書に開示される正確な構造及び構成要素に限定されないことを理解されたい。当業者に明らかであろう様々な修正、変更、及び変形は、任意の添付の特許請求の範囲に定義される趣旨及び範囲から逸脱することなく、本明細書に開示されるシステム及び方法の配置、動作、及び詳細において行われ得る。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【国際調査報告】