▶ ハーマン インターナショナル インダストリーズ， インコーポレイテッドの特許一覧
特表2023-535364バーチャル対応のスタジオの創出及び管理のためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-17
(54)【発明の名称】バーチャル対応のスタジオの創出及び管理のためのシステム及び方法
(51)【国際特許分類】
H04N 21/2187 20110101AFI20230809BHJP
H04N 21/24 20110101ALI20230809BHJP
H04N 23/66 20230101ALI20230809BHJP
H04N 23/695 20230101ALI20230809BHJP
H04N 23/60 20230101ALI20230809BHJP
H04N 23/56 20230101ALI20230809BHJP
【ＦＩ】
H04N21/2187
H04N21/24
H04N23/66
H04N23/695
H04N23/60 300
H04N23/56
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023503120
(86)(22)【出願日】2021-07-19
(85)【翻訳文提出日】2023-01-16
(86)【国際出願番号】 US2021042195
(87)【国際公開番号】W WO2022016145
(87)【国際公開日】2022-01-20
(31)【優先権主張番号】63/053,318
(32)【優先日】2020-07-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】512168283
【氏名又は名称】ハーマン インターナショナル インダストリーズ， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】クレイマー， カイル デイビッド
(72)【発明者】
【氏名】ウィリス， マクスウェル ビー．
(72)【発明者】
【氏名】トレステン， クリストファー マイケル
(72)【発明者】
【氏名】ルドヴィグ， クリス
(72)【発明者】
【氏名】ウィントン， ライリー
【テーマコード（参考）】
5C122
5C164
【Ｆターム（参考）】
5C122EA63
5C122FK23
5C122GG01
5C122HA13
5C122HA35
5C122HB01
5C122HB05
5C164GA07
5C164SA25P
5C164SA41S
5C164SB29S
5C164SB41P
5C164SC05S
5C164YA11
(57)【要約】
少なくとも１つの実施形態では、バーチャルコンサートの態様を制御するためのシステムが提供される。装置は、１つ以上のコントローラと、少なくとも１つのコンピューティングデバイスとを含む。１つ以上のコントローラが会場に配置され、少なくとも１つの第１の信号に基づいて会場でのライブパフォーマンスの特徴を制御するように構成されている。少なくとも１つのコンピューティングデバイスは、ライブパフォーマンスの少なくとも一部を制御するコマンドを示す第２の信号を、会場から遠く離れているユーザから直接受信し、ライブパフォーマンスの特徴を制御するための、少なくとも１つの第１の信号を１つ以上のコントローラに送信するようにプログラムされている。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
バーチャル（ｖｉｒｔｕａｌ）コンサートの態様を制御するためのシステムであって、装置は、会場内に配置され、少なくとも１つの第１の信号に基づき会場でのライブパフォーマンスの特徴を制御するように構成された１つ以上のコントローラと、
少なくとも１つのコンピューティングデバイスと、を備え、
前記少なくとも１つのコンピューティングデバイスは、
前記ライブパフォーマンスの少なくとも一部を制御するコマンドを示す第２の信号を前記会場から遠く離れているユーザから直接受信し、
前記ライブパフォーマンスの前記特徴を制御するための、少なくとも１つの第１の信号を前記１つ以上のコントローラに送信するようにプログラムされている、前記システム。
【請求項2】
前記１つ以上のコントローラはカメラコントローラを含み、前記カメラコントローラは、前記会場に配置された１つ以上のカメラを所望のカメラ角度に移動するように制御し、前記所望のカメラ角度に基づく前記ライブパフォーマンスの第１のビデオストリームを前記少なくとも１つのコンピューティングデバイスに送信するように構成されている、請求項１に記載のシステム。
【請求項3】
前記１つ以上のカメラが、前記会場においてパフォーマーに直接配置される、または 前記パフォーマーの楽器に直接配置される、請求項２に記載のシステム。
【請求項4】
前記カメラコントローラは、前記パフォーマーに直接配置されたまたは前記楽器に直接配置された前記１つ以上のカメラを起動し、前記パフォーマーまたは前記パフォーマーの前記楽器のキャプチャされたビデオストリームに対応する第２のビデオストリームを提供するようにさらに構成された、請求項３に記載のシステム。
【請求項5】
前記少なくとも１つのコンピューティングデバイスは、前記会場全体に配置された前記カメラのマッピングを表示して、前記マッピング上の項目をユーザが選択可能とし、前記会場に配置された前記カメラを制御するようにさらに構成されている、請求項２に記載のシステム。
【請求項6】
前記１つ以上のコントローラは、前記ライブパフォーマンスにおいて配置された照明に関連する態様を、前記少なくとも１つの第１の信号に基づいて制御するように構成された照明コントローラを含み、前記カメラコントローラは、前記ライブパフォーマンスの前記照明に対する望ましい変更を示すキャプチャされたビデオストリームを、少なくとも１つのコンピューティングデバイスに送信するようにさらに構成されている、請求項２に記載のシステム。
【請求項7】
前記ライブパフォーマンスにおいて配置される前記照明は、スポットライト、ストロボライト、舞台ライト、及びアニメーションのうちの１つ以上を含む、請求項６に記載のシステム。
【請求項8】
前記少なくとも１つのコンピューティングデバイスは、前記会場全体に配置された前記照明のマッピングを表示して、前記マッピング上の項目をユーザが選択可能とし、前記会場に配置された前記照明を制御するようにさらに構成されている、請求項６に記載のシステム。
【請求項9】
前記１つ以上のコントローラは、前記ライブパフォーマンスにおいて設置された少なくとも１つの機械的小道具を前記少なくとも１つの第１の信号に基づいて制御するロボットコントローラを含み、前記カメラコントローラは、前記少なくとも１つのコンピューティングデバイスへの前記少なくとも１つの第１の信号に基づく前記少なくとも１つの機械的小道具の動きに対応する、キャプチャされたビデオストリームを送信するようにさらに構成されている、請求項２に記載のシステム。
【請求項10】
前記少なくとも１つのコンピューティングデバイスは、前記会場に設置された前記少なくとも１つの機械的小道具のマッピングを表示して、ユーザが前記マッピング上の項目を選択可能とし、前記会場における前記少なくとも１つの機械的小道具を制御するようにさらに構成されている、請求項９に記載のシステム。
【請求項11】
前記１つ以上のコントローラは、前記少なくとも１つの第１の信号に基づいて、前記ライブパフォーマンスにおける、火工品、紙吹雪キャノン、スクリーンへのビデオ／オーディオ投影、オーディオマイク装置、及び増幅のうちの１つ以上に対応する１つ以上の第１の項目を制御するように構成されている第１のコントローラを含む、請求項１に記載のシステム。
【請求項12】
前記オーディオマイク装置は、前記会場の聴衆の雰囲気を捉えるために前記会場に配置された１つ以上のバイノーラルマイクを含む、請求項１１に記載のシステム。
【請求項13】
前記少なくとも１つのコンピューティングデバイスは、前記少なくとも１つの第１の信号に基づいて、前記会場に置かれた前記１つ以上の第１の項目のマッピングを表示して、前記ライブパフォーマンスにおける、火工品、紙吹雪キャノン、スクリーンへのビデオ／オーディオ投影、オーディオマイク装置、及び増幅のうちの１つ以上をユーザが選択可能とするようにさらに構成されている、請求項１１に記載のシステム。
【請求項14】
前記少なくとも１つのコンピューティングデバイスは、前記ユーザが声援クレジット、チケット階層、及びプレイリストイベントのうちの１つ以上を選択できるようにさらに構成されている、請求項１に記載のシステム。
【請求項15】
前記声援クレジットは、舞台照明を変更する要求、前記会場での演奏曲の投票、前記ライブパフォーマンスにおけるパフォーマーへのパーソナライズされたメッセージの送信、及びパフォーマーに対するパーソナライズされたメッセージの提供要求、のうちの１つ以上に対応する、請求項１４に記載のシステム。
【請求項16】
前記チケット階層は、ライブパフォーマンスを少なくとも１つのコンピューティングデバイスにおいてリモートで見るための一般入場階層、
前記ユーザが前記会場から遠く離れて位置しながらＨｉＦｉオーディオ品質を得ることができる予約座席階層、
前記ライブパフォーマンスを前記少なくとも１つのコンピューティングデバイスで見る間、広告が表示されるのをブロックする前列座席階層、及び
舞台上のパフォーマーによるサイン入りアイテムを提供する舞台裏パス階層、
のうちの任意の１つ以上に対応する、請求項１４に記載のシステム。
【請求項17】
前記プレイリストイベントは、複数のコンピューティングデバイスのユーザが競い合うことを可能とするスーパーファンシュートアウトイベント、
少なくとも１つのコンピューティングデバイスの前記ユーザが、それぞれの前記コンピューティングデバイス上でオプションを選択して、前記ライブパフォーマンスにおいてライターをかざしているユーザを表すライトをトリガすることを可能とするライトイベント、
少なくとも１つのコンピューティングデバイスの前記ユーザがその上に配置されたインターフェースを所定時間内にタップして、ライブパフォーマンスでファンが繰り返し連打して、聴衆によりもたらされるデシベルレベルを上げることをシミュレートするのを可能とするデシベルメーターイベント、及び
パフォーマーが所定の行為を行うことに票を投じることを可能とするライブ投票イベント、
のうちの任意の１つ以上に対応する、請求項１４に記載のシステム。
【請求項18】
前記１つ以上のコントローラ及び前記少なくとも１つのコンピューティングデバイスに動作可能に結合されたサーバをさらに備え、前記サーバは、複数の前記コンピューティングデバイスの複数のユーザ間のユーザ名声を決定するように構成されている、請求項１に記載のシステム。
【請求項19】
バーチャルコンサートの態様を制御する方法であって、会場内に配置された１つ以上のコントローラを介して、会場でのライブパフォーマンスの特徴を少なくとも１つの第１の信号に基づき制御することと、
少なくとも１つのコンピューティングデバイスにおいて、前記ライブパフォーマンスの少なくとも一部を制御するためのコマンドを示す第２の信号を、前記会場から遠く離れているユーザから直接受信することと、
前記少なくとも１つの第１の信号を前記１つ以上のコントローラに送信して、前記ライブパフォーマンスの前記特徴を制御することと、
を含む、前記方法。
【請求項20】
バーチャルコンサートのコントローラの態様のためにプログラムされた非一時的コンピュータ可読媒体に具現化されたコンピュータプログラム製品であって、会場内に配置された１つ以上のコントローラを介して、会場でのライブパフォーマンスの特徴を少なくとも１つの第１の信号に基づき制御するための命令と、
少なくとも１つのコンピューティングデバイスにおいて、前記ライブパフォーマンスの少なくとも一部を制御するためのコマンドを示す第２の信号を、前記会場から遠く離れているユーザから直接受信するための命令と、
前記少なくとも１つの第１の信号を前記１つ以上のコントローラに送信して、前記ライブパフォーマンスの前記特徴を制御するための命令と、
を含む、前記コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２０年７月１７日に出願された米国仮出願第６３／０５３，３１８号の利益を主張し、その開示の全体が、参照によって本明細書に組み込まれる。
本出願は、２０２０年７月１７日に出願された米国仮出願第６３／０５３，３１８号の利益を主張し、その開示の全体が、参照によって本明細書に組み込まれる。
【背景技術】
【0002】
本明細書で開示される態様は、概して、バーチャル対応のスタジオを創出し管理するためのシステム及び方法に関する。特定の実施形態では、本明細書で開示される態様は、実際の出力をスタジオ内にもたらす接続されたデバイスを介してユーザがリモートで交流できる、バーチャル対応のスタジオを創出し管理するためのシステム及び方法に対応し得る。こうした態様及びその他の態様が、下記により詳細に説明される。
【0003】
ユーザが実際のコンサート会場でのライブコンサートに参加できない場合がある。例えば、ユーザはさまざまな理由でライブコンサートに参加できない場合がある。例えば、最近のパンデミックにより、大勢の人がコンサートのために小さなスペースに集まることは禁止された。さらに、パンデミックの懸念がなくても、コンサートの来場者（若しくはファン）は、所在地、またはコンサート会場とファンの所在地の間の距離のために、コンサートに参加できない可能性がある。ユーザが、ファンの好みに基づくライブパフォーマンスに関するさまざまな様相を、実際のライブパフォーマンスの場所から遠く離れた別の場所で体験しながら、そのような態様をユーザが制御できるようにすることが望ましい場合がある。
【発明の概要】
【課題を解決するための手段】
【0004】
少なくとも１つの実施形態では、バーチャルコンサートの態様を制御するためのシステムが提供される。この装置は、１つ以上のコントローラと、少なくとも１つのコンピューティングデバイスとを含む。１つ以上のコントローラが会場に配置され、少なくとも１つの第１の信号に基づいて会場でのライブパフォーマンスの特徴を制御するように構成されている。少なくとも１つのコンピューティングデバイスは、ライブパフォーマンスの少なくとも一部を制御するためのコマンドを示す第２の信号を、会場から遠く離れているユーザから直接受信し、ライブパフォーマンスの特徴を制御するための、少なくとも１つの第１の信号を１つ以上のコントローラに送信するようにプログラムされている。
【0005】
少なくとも別の実施形態では、バーチャルコンサートの態様を制御する方法が提供される。この方法は、会場に配置された１つまたは複数のコントローラを介して、少なくとも１つの第１の方法は、会場内に配置された１つ以上のコントローラを介して、会場でのライブパフォーマンスの特徴を少なくとも１つの第１の信号に基づいて制御することと、少なくとも１つのコンピューティングデバイスにおいて、ライブパフォーマンスの少なくとも一部を制御するためのコマンドを示す第２の信号を、会場から遠く離れているユーザから直接受信することを含む。方法は、少なくとも１つの第１の信号を１つ以上のコントローラに送信して、ライブパフォーマンスの特徴を制御することをさらに含む。
【0006】
少なくとも別の実施形態では、非一時的なコンピュータ可読媒体に具現化されたコンピュータプログラム製品が、バーチャルコンサートのコントローラの態様のためにプログラムされている。コンピュータプログラム製品は、会場内に配置された１つ以上のコントローラを介して、会場でのライブパフォーマンスの特徴を少なくとも１つの第１の信号に基づき制御するための命令と、少なくとも１つのコンピューティングデバイスにおいて、ライブパフォーマンスの少なくとも一部を制御するためのコマンドを示す第２の信号を、会場から遠く離れているユーザから直接受信するための命令と、を含む。コンピュータプログラム製品は、少なくとも１つの第１の信号を１つ以上のコントローラに送信して、ライブパフォーマンスの特徴を制御するための命令を含む。
【0007】
本開示の実施形態は、添付の特許請求の範囲で詳細に指摘されている。しかしながら、様々な実施形態の他の特徴は、添付の図面と併せて以下の詳細な説明を参照することによって、より明らかになり、最もよく理解されるであろう。
【図面の簡単な説明】
【0008】
【図1】一実施形態による、バーチャル対応のスタジオまたはライブパフォーマンスを創出し管理するためのシステムを示す。
【図2】一実施形態による、バーチャル対応のスタジオまたはライブパフォーマンスのために１つ以上のカメラを制御する方法を示す。
【図3】一実施形態による、バーチャル対応のスタジオ内またはライブパフォーマンスのための照明を制御する方法を示す。
【図4】一実施形態による、バーチャル対応のスタジオまたはライブパフォーマンスのための１つ以上の小道具を制御するための方法を示す。
【図5】一実施形態による、バーチャル対応のスタジオまたはライブパフォーマンスのための諸活動を制御するための方法を示す。
【図6】実施形態による、バーチャル対応のステレオまたはライブパフォーマンスに関する態様を制御するための相反するコマンドが提供された場合に、第１のユーザと第２のユーザとの間での名声（ｐｒｅｓｔｉｇｅ）を決定する方法を示す。
【図15】実施形態による、オーディオ／ビデオミックス及びオーディオとビデオのライブストリームのマスターをリモートで創出するためのシステムを示す。
【図17】一実施形態による、ライブパフォーマンスからのオーディオとビデオのストリームを時間整合させる方法を示す。
【図18】一実施形態による、ライブパフォーマンスのための「ピクチャインピクチャストリーム」を提供する方法を示す。
【発明を実施するための形態】
【0009】
必要に応じて、本発明の詳細な実施形態が本明細書中に開示されるが、開示される実施形態は、さまざまな形式及び代替の形式で具現化され得る本発明の単なる例示にすぎないことを理解されたい。図は必ずしも縮尺通りではなく、一部の特徴は、特定の構成要素の詳細を示すために誇張または最小限に抑えられる場合がある。したがって、本明細書に開示される具体的な構造上の、及び機能上の詳細は、限定的と解釈されるべきではなく、本発明を様々に利用するために単に当業者に教示するための代表的な基礎として解釈されるべきである。
【0010】
本明細書に開示される少なくとも１つのコントローラ（または少なくとも１つのプロセッサ）は、様々なマイクロプロセッサ、集積回路、メモリデバイス（例えば、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、または他の適切な変形）、及び本明細書に開示される動作（複数可）を行うために相互に協働するソフトウェアを含み得ることが認識されている。加えて、開示した任意のコントローラは、任意の１つまたは複数のマイクロプロセッサを利用して、開示したさまざまな機能を実施するようにプログラムされる非一時的コンピュータ可読媒体内に具現化されるコンピュータプログラムを実行する。さらに、本明細書で提供されるコントローラ（複数可）は、ハウジングと、ハウジングの内部に配置される、様々な数のマイクロプロセッサ、集積回路、及びメモリデバイス（例えば、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ））を含む。開示されるコントローラ（複数可）はまた、本明細書で論じられるような他のハードウェアベースのデバイス間でそれぞれデータを送受信するためのハードウェアベースの入力及び出力も含む。
【0011】
バーチャル対応のスタジオまたはライブパフォーマンスを創出し管理するためのシステム及び方法
本明細書で開示される態様は、一般に、照明、オーディオマイク装置、増幅、ビデオ撮影、投影などを含む、ライブストリーミングスタジオとしての音楽会場全体を提供して、オンラインバーチャルコンサート体験をもたらすが、これらに限定されない。このテクノロジーと実施態様は、バーチャルコンサートに限定されなくてもよく、任意のライブストリーミングイベントにも使用できる。リモートユーザは、チャットを介してオンラインでコマンドを発行することにより、会場内の多数のさまざまな物理デバイスを制御しトリガできてもよい。これらのコマンドは、ストリーム（またはライブパフォーマンス）の場所で、リアルタイムで発生する現実世界のイベントをトリガする。
本明細書で開示される態様は、一般に、照明、オーディオマイク装置、増幅、ビデオ撮影、投影などを含む、ライブストリーミングスタジオとしての音楽会場全体を提供して、オンラインバーチャルコンサート体験をもたらすが、これらに限定されない。このテクノロジーと実施態様は、バーチャルコンサートに限定されなくてもよく、任意のライブストリーミングイベントにも使用できる。リモートユーザは、チャットを介してオンラインでコマンドを発行することにより、会場内の多数のさまざまな物理デバイスを制御しトリガできてもよい。これらのコマンドは、ストリーム（またはライブパフォーマンス）の場所で、リアルタイムで発生する現実世界のイベントをトリガする。
【0012】
このテクノロジーの中心にあるのは、提供される多数のノードを伴うメインサーバ（「サーバ」）（または少なくとも１つのコントローラ）である。サーバは、任意の数のマイクロプロセッサを含み、本明細書に記載の任意の機能を実行するための命令を実行することができる。一例では、サーバは、コマンド（例えば、メッセージ）を任意の数のノードに送信する能力を有する、オンラインで接続された任意のタイプのコンピュータ装置であってもよい。各ノードは、サーバからのコマンド（メッセージ）を解釈し、コマンド（またはメッセージ）に関連付けられたコマンドを実行するように構成された、マイクロコントローラ、コンピュータ、モバイルデバイス（例えば、携帯電話、タブレット）の１つ以上を含むことができる。サーバは、ストリーミングサービス（例えば、チャットボット）に関連するチャット（例えば、インターネットリレーチャート（ＩＲＣ））で送信されるキーワードを解釈することができる。このサービスは、イベントが開催されているコンサート会場またはスタジオで発生するイベントをトリガしたいユーザによって送信されたメッセージを解釈し得る。別の実施形態では、ユーザはコンピューティングデバイスのユーザインターフェースを介してイベントをトリガし、サーバはそのような応答またはコマンドを解釈して、ストリーミング会場でそれらを再生する。サーバには、会場に送信された応答またはコマンドを収集するためのデータベースが含まれている。サーバは、データを集約してコマンドとして会場に送信し、データを他のコンピューティングデバイスに送り返すこともできる。一例は、第１のコンピューティングデバイスからの対話（例えば、絵文字、声援、投票、または任意の他のタイプのユーザ対話）を送信して会場のディスプレイに表示することを伴い得る。サーバはまた、ユーザが望む場合、対話を他のコンピューティングデバイス上で見ることができるように、対話をそのような他のコンピューティングデバイスに送信する。
【0013】
イベント用のオンライン通貨を創出し、現地通貨と交換することもできる。交換すると、ユーザはイベント中にこの通貨を使用して、ライブパフォーマンスに関連付けられた所望のイベントをトリガできてもよい。また、ユーザは、ユーザがビデオストリームに参加するときに購入するアクセスの階層に応じて、特定の階層の名声を与えられてもよい。このような名声のレベルはユーザに追加のイベントへのアクセス権を付与し、ユーザはこのようなイベントを、ライブ会場とされているスタジオ／開催地でトリガすることが許可される。
【0014】
ユーザがライブパフォーマンスで所望のイベントをトリガしようとする場合、サーバは、ユーザがそのような所望のイベントをトリガするために必要な適切な名声と残高を持っているかどうかを判断してもよい。判断すると、サーバはイベントをトリガするための適切なメッセージを送信する、またはメッセージをユーザに返送して、そのようなイベントをトリガするための名声、残高、若しくはその両方が不足していることをユーザに通知する。この通貨は、さまざまなイベントに対してユーザに授与されてもよい。通貨は、イベント前、イベント中、またはイベント後に利用可能な専用ストアからさまざまな商品を購入するためにも使用されてもよい。一例では、そのような購入は、イベント中にのみ許可されてもよい。
【0015】
ライブストリームが開催される場所（例えば、ライブストリームの会場）には、リモートユーザが制御できる複数のノード（例えば、複数の電子ノード）を装備することができる。ノードには、火工品、カメラ、ロボット、油圧装置、舞台照明、観客席照明、舞台照明アニメーション、オーディオ、ストリーム上でレンダリングされるアニメーション及びその場所で見える大スクリーンに置くトリガアニメーション、会場内のスクリーン上に表示されるテキスト、会場内のスクリーン上の絵文字などが含まれるが、これらに限定されない。ノードには、コンピュータ、モバイルデバイス（例えば、電話、タブレットなど）を装備することができ、それぞれが任意の数のマイクロコントローラを含む。マイクロコントローラは、サーバからのメッセージ／コマンドを変換し、ユーザが要求したイベントを適切に制御するために、そのようなコマンドをデジタルまたはアナログメッセージ（例えば、シリアル、デジタルマルチプレックス（ＤＭＸ）、Ｉｎｔｅｒ－Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ （Ｉ２Ｃ）、Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ （ＵＤＰ）、ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ （ＪＳＯＮ）、リレー、電圧、電流、抵抗、キャパシタンス、インダクタンス、磁場及び電場など）に変換する。ノードは、ユーザが選択したカメラとマイクを使用してビデオ通話を保持するために使用され得る。また、選択されたユーザまたはユーザのグループにプライベートな体験を提供するための専用の連絡先として使用され得る。ノードは、例えば、舞台上、舞台裏、楽屋、コンサートホール、観客席、メザニンなど、会場内のさまざまな場所に配置され得、追加の専用ビデオ通話に使用し、ユーザに「舞台上」または「舞台裏」、または会場全体の追加の場所を提供してもよい。ビデオ通話はまた、ユーザをキャプチャするためにも使用でき、会場内で表現される追加のデータポイントとして使用できる。例えば、ユーザの顔をキャプチャした画像やユーザのカメラからの他のデータを他のユーザと共有し、興味深い方法で再生するためのデータポイントとして使用することができる（例えば、ファンがコンサートにどのように反応しているか、及びファンの反応のキャプチャ）。
【0016】
サーバはまた、ライブストリーミングイベント全体を通して、ユーザがイベントに参加する方法を提供してもよい。ユーザが個人デバイスを介してサーバにアクセスしログインする方法を、ユーザにプロンプトしてもよい。アクセスが与えられると、ユーザインターフェースが表示され、ユーザはライブストリーム／会場で催されているイベントに参加し得る。これらのイベントには、会場のスクリーン全体にアニメーションを描画すること、ビートに合わせてタップすること、ライブサーベイを実施すること、トリビア質問に答えること、ユーザ入力を記録すること、ユーザ入力を会場でレンダリングすること、スポットライトを回すこと、リーダーをフォローすること、ストリーミングアーティストと交流することなどが含まれるが、これらに限定されない。
【0017】
本明細書に開示される実施形態は、一般に、ユーザが、ライブパフォーマンスが行われる場所から遠く離れてライブパフォーマンスとインターフェースする斬新な体験を提供する。例えば、ユーザはかつてないほど、お気に入りのアーティストと共に、交流し、イベントに参加することが可能であり得る。本明細書に記述された実施態様を使用して、会場またはスタジオを、リモートユーザが環境を操作できる、バーチャル対応の空間に変え得る。これにより、リモートユーザにとって終始新たなものへと変化するエキサイティングでダイナミックな環境が創出される。ユーザがアーティストや他のユーザと瞬時につながるオンラインイベントに人々を集めることにより、完全に独特のシナリオと体験が創出される。
【0018】
図１は、一実施形態による、バーチャル対応のスタジオまたはライブパフォーマンスを創出し管理するためのシステム１００を示している。システム１００は、一般に、複数のコンピューティングデバイス（またはクライアント）１０４ａ～１０４ｃに動作可能に結合された少なくとも１つのサーバ（以下「サーバ」）１０２を含む。コンピューティングデバイス１０４ａ～１０４ｎ（またはコンピューティングデバイス１０４）は、様々なユーザの制御下にあるラップトップ、デスクトップコンピュータ、モバイルデバイス（例えば、携帯電話、タブレット）などのうちの任意の１つを含み得る。また、コンピューティングデバイス１０４ａ～１０４ｂのうちの１つ以上は、車両のディスプレイ上にライブパフォーマンスを表示する車両１０５内に配置されてもよいことが認識されている。車両１０５は自立した車両であり、ライブまたはスタジオパフォーマンスが例えばミュージシャンによって行われる会場１０７から遠く離れて乗客がライブパフォーマンスをキャプチャできるようにする大型ディスプレイを含むことができる。同様に、１つ以上のコンピューティングデバイス１０４ａ～１０４ｂを住居のリビングルームまたは他の施設に配置することで、より小人数の人の集まりが大きなディスプレイまたはスクリーンを介してライブパフォーマンスを見ることを可能とし得る。システム１００はまた、会場１０７に配置された複数のノード１０６ａ～１０６ｎも含む。本明細書で示されるライブパフォーマンスは、ミュージカル、演劇イベントなどにも対応し得ることが認識されている。一例では、ノード１０６ａは、会場１０７内のさまざまなカメラ１１０ａを制御する少なくとも１つのカメラコントローラ１０８ａ（以下、カメラコントローラ１０８ａ）に対応し得る。別の例では、ノード１０６ｂは、会場１０７内のさまざまな照明１１０ｂを制御する少なくとも１つの照明コントローラ１０８ｂ（以下、照明コントローラ１０８ｂ）に対応し得る。別の例では、ノード１０６ｃは、ライブまたはスタジオパフォーマンス中に機械的に動くさまざまな小道具または他のデバイスを制御する少なくとも１つのロボット（または小道具）コントローラ１０８ｃ（以下、ロボットコントローラ１０６ｃ）に対応し得る。
【0019】
ユーザ及びそれらのさまざまなコンピューティングデバイス１０４ａ～１０４ｃは、会場１０７から遠く離れて配置されてもよく、ミュージシャンが会場１０７で演奏している間、ライブまたはスタジオパフォーマンスのさまざまな態様を制御してもよい。さまざまなユーザが、彼らのさまざまなコンピューティングデバイス１０４ａ～１０４ｃ上に配置されたユーザインターフェース（図示せず）を介してコマンドを入力し、会場１０７に設置された、ノード１１０ａ～１１０ｎの任意の１つ以上及び対応するカメラ１１０ａ、照明１１０ｂ、ロボット１１０ｃなどを制御し得ることが認識されている。その結果、ライブまたはスタジオパフォーマンスが、ユーザの好みに基づいてカスタマイズされたパフォーマンスの態様を提供する。例えばＴｗｉｔｃｈ（登録商標）などのオンラインポータルにより、ユーザはライブストリームパフォーマンス（または事前に記録されたパフォーマンスのビデオ）の放送を見ることができる。一例では、ユーザインターフェースとデータ通信プロトコル（例えば、ライブチャットボックス）を創出して、ユーザがライブパフォーマンスをそれぞれのコンピューティングデバイス１０４ａ～１０４ｃで見る間にメッセージの送信を可能とできる。さらに、会場１０７に配置された１つ以上のエンコーダが、ビデオ及びオーディオを符号化し、そのような符号化されたビデオ及びオーディオをサーバに送信する。次に、クラウドデータベース（またはホスティングデータベース）（またはクラウド、ホスティングコントローラ、またはストリーミングプラットフォーム）が、符号化されたビデオとオーディオをコンピューティングデバイス１０４ａ～１０４ｃに送信またはストリーミングする。具体的には、ユーザは、コンピューティングデバイス１０４ａ～１０４ｃのいずれか１つ以上に配置されたユーザインターフェースを介して、１つ以上のコマンドを入力することができ、コマンドがサーバ１０２に送信される。次に、サーバ１０２は、コマンドを目的のノード１０６ａ～１０６ｃに送信し、ノード１０６ａ～１０６ｃは所望の動作をライブパフォーマンスまたはスタジオパフォーマンスが行われている間に実行する。さまざまなノード１１０ａ～１１０ｎは、ライブパフォーマンスが行われている間、舞台上の照明、マイク装置、増幅、ビデオ撮影、投影、火工品、紙吹雪キャノン、ロボット、会場で再生されるオーディオクリップなどのうちの１つ以上を制御することができる。
【0020】
システム１００に関連して開示された態様ではまた、コンピューティングデバイス１０４ａ～１０４ｃ上に提示されるオンラインポータルを介したライブチャットボックス（例えば、インターネットリレーチャット（ＩＲＣ））に入力されたキーワードに応答して、コンピューティングデバイス１０４ａ～１４０ｃがコマンドをサーバ１０２に、続いてノード１０６ａ～１０６ｎに送信することを提供してもよい。サーバ１０２及び／またはノード１０６ａ～１０６ｎは、コンピューティングデバイス１０４ａ～１０４ｃによって受信されたコマンドを、ＤＭＸ、ＭａｘＭＳＰ、高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標））、シリアルなどに変換して、会場１０７でのライブパフォーマンス中にイベントをトリガすることができる。
【0021】
図２は、一実施形態による、バーチャル対応のスタジオまたはライブパフォーマンスのために１つ以上のカメラ１１０ａを制御する方法１２０を示す。
【0022】
動作１２２において、コンピューティングデバイス１０４は、パフォーマンスを見ているユーザ（例えば、観客）から１つ以上のコマンドを受信する。コマンドのうちの１つ以上は、カメラ１１０ａの要求された動きに対応し、パフォーマンスの所望のビューをユーザに提供し得る。別の例では、カメラ１１０ａ（例えば、ＧｏＰｒｏ（登録商標）カメラ）が、ライブパフォーマンスで演奏しているバンドの１人以上のメンバー（例えば、頭部／胸部）に、または、彼らのそれぞれの楽器に配置され得る。１つ以上のコマンドは、ライブバンドメンバーの任意の１人以上、または彼らの楽器の１つ以上に配置されたカメラ１１０ａの１つ以上を起動することに対応し得る。コンピューティングデバイス１０４は、１つ以上のコマンドをサーバ１０２に送信する。
【0023】
動作１２４において、サーバ１０２は、１つ以上のコマンドを会場１０７のノード１１０ａ（またはカメラコントローラ１０８ａ）に送信する。カメラコントローラ１０８ａは、ライブパフォーマンスが行われている会場１０７の近くに物理的に設置される。
【0024】
動作１２６において、カメラコントローラ１０８ａは、会場の１つ以上のカメラ１１０ａを制御して、所望のカメラ角度または高さに移動（または回転）させ、パフォーマンスのライブビデオストリームをユーザによって送信された１つ以上のコマンドに従って提供する。上述のように、カメラコントローラ１０８ａはまた、コンピューティングデバイス１０４から受信したコマンドに基づいて、バンドメンバーまたはバンドメンバーの楽器に配置された任意のカメラを選択的に起動／停止してもよい。サーバ１０２は、会場１０７内に分散され、ライブパフォーマンスをキャプチャするカメラ１１０ａの位置、及び／または、バンドメンバーの任意の１人以上、または彼らのそれぞれの楽器の１つ以上に配置されるカメラ１１０ａの位置の詳細なリストまたはマッピングを提供することが認識されている。サーバ１０２は、このマッピング（またはカメラマップ）をコンピューティングデバイス１０４に提供し、その結果、コンピューティングデバイス１０４は、ユーザが任意の数のカメラを選択し、その動作を制御することを可能とする。コンピューティングデバイス１０４は、本明細書に開示された機能のいずれかのマッピングも提供できることが認識されている。ユーザは、任意の１つ以上のカメラ１１０ａを制御して、ライブパフォーマンスの画像をユーザによって要求された場合に所望の角度でキャプチャすることができる。例えば、ユーザは、ライブパフォーマンス中に歌手にズームインするために、歌手に最も近いカメラを制御することができる。同様に、ユーザがギタリストであり、ギタリストが舞台上でギターソロを演奏している間のクローズアップショットまたはビュー（例えば、ズームビュー）を取得することに関心がある場合、ユーザは、ギタリストに最も近い（またはギタリスト上にある、またはギター自体の上にある）カメラ１１０ａを制御して、ギタリストのフレットボードにズームインし、ソロを演奏中のギタリストを間近で見ることができてもよい。さらに、他のカメラ１１０ａを会場のあちこちに配置して、バンド全体の画像をキャプチャし得る。ユーザは、そのようなカメラ１１０ａにズームインまたはズームアウトするように命令して、演奏中のバンド全体のクローズアップをキャプチャすることができる。同様に、任意の１つ以上のカメラ１１０ａ（または全方向カメラ）は、ユーザによって要求された場合、ライブパフォーマンスの３６０度ビュー（例えば鳥瞰図）を提供することができる。カメラコントローラ１０８は、任意の数のビデオストリームを送信できることが認識されている。一例では、カメラコントローラ１０８は、会場１０７で演奏している各ミュージシャンのビデオストリームをコンピューティングデバイス１０４に送信することができる。この点に関して、またコンピューティングデバイス１０４は、ビデオストリームのうちのどれを表示するかをユーザが選択できるようにすることもできる。
【0025】
動作１２８において、カメラコントローラ１０８ａは、最初に動作１２２においてサーバ１０２に対して定められたような、所望の角度またはズームイン若しくはズームアウトされたショットに従って、キャプチャされたライブパフォーマンスの画像を送信してもよい。次に、サーバ１０２は、キャプチャされた画像をコンピューティングデバイス１０４に送り返し、ユーザに表示する。
【0026】
図３は、一実施形態による、バーチャル対応のスタジオ内またはライブパフォーマンスのための照明１１０ｂを制御する方法１３０を示している。
【0027】
動作１３２において、コンピューティングデバイス１０４は、パフォーマンスを見ているユーザ（例えば、観客）から１つ以上のコマンドを受信する。コマンドのうちの１つ以上は、照明の要求された動きに対応し、パフォーマンスの所望の照明をユーザに提供し得る。コンピューティングデバイス１０４は、１つ以上のコマンドをサーバ１０２に送信する。
【0028】
動作１３４において、サーバ１０２は、１つ以上のコマンドを会場１０７のノード１１０ｂ（または照明コントローラ１０８ｂ）に送信する。照明コントローラ１０８ｂは、ライブパフォーマンスが行われている会場１０７の近くに物理的に設置される。
【0029】
動作１３６において、照明コントローラ１０８ｂは、スポットライト、ストロボ、照明パターン、会場１０７の観客の照明、舞台色、アニメーションなどのうちの１つ以上など、会場１０７における任意の照明を、ライブパフォーマンスが行われている間（またはリアルタイムで）、所望の方法で制御する。特に、照明コントローラ１０８ｂは、コンピューティングデバイス１０４からサーバ１０２を介して受信したメッセージ（またはコマンド）を、デジタルマルチプレックス（ＤＭＸ）通信（または他の適切なカスタマイズされた通信プロトコル）に変換し、これによって、前述の照明デバイス及び動作を制御する。
【0030】
サーバ１０２は、ライブパフォーマンスをキャプチャする、会場１０７全体に分散された照明１１０ｂのすべての詳細なリストまたはマッピングを提供することが認識されている。サーバ１０２は、このマッピング（または照明マップ）をコンピューティングデバイス１０４に提供し、それにより、コンピューティングデバイス１０４は、ユーザがさまざまなライト（または照明）を選択してその動作を制御することを可能とする。詳細なリストまたはマッピングは、コンピューティングデバイス１０４が代わりに提供できることが認識されている。
【0031】
動作１３８において、照明コントローラ１０８ｂは、適宜照明１１０ｂを制御し、カメラ１１０ａは、最初に動作１３２においてサーバ１０２に対して定められたような所望の照明に従って、ライブパフォーマンスの会場１０７で制御されている照明１１０ｂのキャプチャされた画像を、カメラコントローラ１０８ａを介して送信する。次に、サーバ１０２は、キャプチャされた画像をコンピューティングデバイス１０４に送り返し、ユーザに表示する。
【0032】
図４は、一実施形態による、バーチャル対応のスタジオまたはライブパフォーマンスのための１つ以上の小道具（またはロボット１１０ｃ）を制御するための方法１４０を示す。
【0033】
動作１４２において、コンピューティングデバイス１０４は、パフォーマンスを見ているユーザ（例えば、観客）から１つ以上のコマンドを受信する。コマンドのうちの１つ以上は、ロボティクス（または小道具）の要求された動きに対応し、所望の小道具（複数可）がパフォーマンス中に作動することをユーザに提供し得る。コンピューティングデバイス１０４は、１つ以上のコマンドをサーバ１０２に送信する。一例では、ユーザは、ロボットノード１０６ｃを制御することができるコンピューティングデバイス１０４ａ、１０４ｂ、１０４ｃのうちの１つ以上にコマンドを入力して、舞台上の小道具（またはロボット１１０ｃ）のうちの任意の１つ以上を制御することができる。これらの小道具は電気的に制御され、ライブパフォーマンスが行われている間（またはリアルタイムで）、所望の方法による機械的な動きまたは作動を必要としている。
【0034】
動作１４４において、サーバ１０２は、１つ以上のコマンドを会場１０７のノード１０８ｃ（またはロボットコントローラ１０６ｃ）に送信する。ロボットコントローラ１０６ｃは、ライブパフォーマンスが行われている会場１０７の物理的に近くに設置される。
【0035】
動作１４６において、ロボットコントローラ１０６ｃは、コンピューティングデバイス１０４からサーバ１０２を介して受信した１つ以上のコマンドに従って、所望の小道具１１０ｃを会場において起動／停止してもよい。ノード１０６ｃは、サーバ１０２から受信したメッセージを、前述のロボット／小道具の動作を制御する通信プロトコル（または他の適切なカスタマイズされた通信プロトコル）に変換する。小道具は、アーティストがユーザのコンサート体験を向上させるために使用し得る、舞台の周りまたは舞台上に配置される機械的装置（またはロボット）に対応してもよい。例えば、ヘビーメタルバンド、Ｉｒｏｎ Ｍａｉｄｅｎ（登録商標）について考えてみると、このようなバンドには、「エディ」または「エディ・ザ・ヘッド」としても知られるマスコットがいて、舞台上では、Ｅｄｄｉｅの形の大型の機械的ロボットがその中に組み立てられている。エディの形に似せたロボットが、バンドと共に舞台に登場し、バンドがさまざまな曲を演奏する間、舞台を動き回ることで知られている。この場合、ユーザは、コンピューティングデバイス１０４ａ～１０４ｃに入力された、サーバ１０２を介してロボット制御装置１０６ｃに送信されるコマンドを介して、Ｅｄｄｉｅのさまざまな動きを制御することを選択することができる。この例では、ノード１０６ｃは、サーバ１０２によって受信されたコマンドをシリアルデータに変換して、ライブパフォーマンス中に舞台上のエディの動きを制御することができる。
【0036】
サーバ１０２は、ライブパフォーマンス中に制御され得る、会場１０７全体に分散されたすべての小道具１１０ｃの詳細なリストまたはマッピングをユーザに提供することが認識されている。サーバ１０２は、このマッピング（またはプロップマップ）をコンピューティングデバイス１０４に提供し、それによって、コンピューティングデバイス１０４は、ユーザがさまざまなプロップを選択してその動作を制御することを可能とする。コンピューティングデバイス１０４がすべてのプロップ１１０ｃのマッピングの詳細なリストを提供できることもまた認識されている。
【0037】
動作１４８において、ロボット制御装置１０６ｃは、適宜小道具を制御し、カメラ１１０ａは、カメラ制御装置１０８ａを介して、コマンドに基づいて変更されている小道具のキャプチャされた画像をサーバ１０２に送信する。次に、サーバ１０２は、キャプチャされた画像をコンピューティングデバイス１０４に送り返し、ユーザに表示する。
【0038】
図５は、一実施形態による、バーチャル対応のスタジオまたはライブパフォーマンスのための諸活動を制御するための方法１５０を示している。
【0039】
動作１５２において、コンピューティングデバイス１０４は、パフォーマンスを見ているユーザ（例えば、観客）から１つ以上のコマンドを受信する。コマンドのうちの１つ以上は、火工品、紙吹雪キャノン、スクリーンへのビデオ／オーディオ投影、マイク装置、及び増幅などの、舞台上のさまざまなアイテム（または諸アイテム１１０ｎ）を、ライブパフォーマンスが行われている間（またはリアルタイムで）、希望する方法で制御することに対応し得る。コンピューティングデバイス１０４は、１つ以上のコマンドをサーバ１０２に送信する。一例では、ユーザは、コンピューティングデバイス１０４ａ、１０４ｂ、１０４ｃのうちの１つ以上にコマンドを入力することができ、コマンドは、ライブパフォーマンスが行われている間（またはリアルタイムで）、諸コントローラ１０６ｎ（例えば、火工品ノード、紙吹雪キャノンノード、ビデオ／オーディオ投影機、テレビ、ＬＥＤのパネル（またはＬＥＤウォール）などの会場１０７における任意の数のディスプレイ）、マイク装置ノード（例えば、バイノーラルマイクなどであるがこれに限定されないマイク、増幅など）を、所望の方法で制御してもよい。ユーザは、ギターやベースの音質を変更したり、特定の楽器の音量を上げたりするなど、さまざまな態様（またはオーディオプロパティ）を制御できるが、これらに限定されない。システム１００は、楽器を演奏しているそのミュージシャンのための専用のビデオストリームをユーザが選択することに応答して、任意の所与の楽器の音量を自動的に増加させることができることが認識されている。同様に、ユーザは会場１０７から受信したオーディオに基づいて独自の音楽ミックスを創出し、イコライゼーション、エフェクト、圧縮などの個人的なオーディオの好みを加えることができる。バイノーラルマイクなどであるがこれに限定されないマイクを会場１０７に配置（例えば、会場１０７の聴衆のあちこちに配置）してもよく、それによって、マイクが会場１０７の聴衆の雰囲気と感触をキャプチャし、キャプチャされた雰囲気をマイクがサーバ１０２及び諸コントローラ１０６ｎを介してコンピューティングデバイス１０４に送信し得ることが認識されている。コンピューティングデバイス１０４はまた、会場１０７におけるマイクのうちの１つ以上を選択的に起動及び停止するためのコマンドを送信することもできる。マイクは、バイノーラル、ビームフォーミング、指向性、Ｘ－Ｙ、フランス国営放送協会（ＯＲＴＦ）マイク装置／録音ソリューションなど、または他の適切な技術に対応し得ることが認識されている。
【0040】
動作１５４で、サーバ１０２は、会場１０７において、１つ以上のコマンドをノード１０８ｎ（または、集合的に諸コントローラ１０６ｎと呼ばれる、火工品コントローラ、紙吹雪キャノンコントローラ、ビデオ／オーディオ投影コントローラ、マイク装置コントローラ、増幅コントローラなど）に送信する。諸コントローラ１０６ｃは、ライブパフォーマンスが行われている会場１０７の物理的に近くに設置される。
【0041】
動作１５６において、諸コントローラ１０６ｎは、サーバ１０２を介してコンピューティングデバイス１０４から受信した１つ以上のコマンドに従って、諸アイテム１１０ｎ（例えば、火工品、紙吹雪キャノン、ビデオ／オーディオ投影、マイク装置（またはマイク（例えば、バイノーラルマイクなど））、増幅など）を起動／停止してもよい。例えば、諸コントローラ１０６ｎは、火工品、紙吹雪コントローラ、ビデオ／オーディオ投影、マイク装置、及び増幅を起動することができる。マイク装置に関しては、諸コントローラ１０６ｎは、舞台上でキャプチャされるオーディオに関し、マイク装置のレベルを増減することができる。例えば、諸コントローラ１０６ｂは、オーディオのレベルを制御し、特に、１つ以上のマイクによって捕捉される特定の楽器のレベルを、ユーザによって要求される所望の量に対応するように制御することができる。同様に、ユーザは、会場１０７で演奏されている任意の楽器に適用される増幅の量を調整することができる。ユーザはまた、会場の任意のスクリーンまたはモニターで任意のビデオまたはオーディオの投影を起動することもできる。諸コントローラ１０６ｎはまた、会場１０７に配置されたバイノーラルマイクを選択的に起動／停止してもよい。
【0042】
サーバ１０２は、ライブパフォーマンス中に制御され得るすべての諸アイテム１１０ｎの詳細なリストまたはマッピングをユーザに提供することが認識されている。サーバ１０２は、このマッピング（または諸マップ）をコンピューティングデバイス１０４に提供し、その結果、コンピューティングデバイス１０４は、ユーザがさまざまな項目（例えば、起動または停止することができるオーディオ及び／またはビデオの種類、紙吹雪キャノン、火工品、楽器のマイク装置、バイノーラルマイク、並びに楽器の増幅）を選択し、その操作を制御することを可能とする。
【0043】
動作１５８において、諸コントローラ１０８ｎは、適宜諸アイテムを制御し、カメラ１１０ａは、カメラコントローラ１０８ａを介して、コマンドに基づいて変更されている諸アイテム１０６ｎのキャプチャされた画像をサーバ１０２に送信する。次に、サーバ１０２は、キャプチャされた画像をコンピューティングデバイス１０４に送り返し、ユーザに表示する。サウンドボードが会場１０７に配置され、オーディオストリームをサーバ１０２に無線で送信することができることが認識されている。次に、サーバ１０２は、オーディオストリームをコンピューティングデバイス１０４に送信する。したがって、この点に関して、マイク装置に対し、及び／または増幅に対し行われた任意の変更は、コンピューティングデバイスに送信される送信オーディオストリームにキャプチャされる。
【0044】
さらに、コンピューティングデバイス１０４ａ～１０４ｃのユーザは、そのようなユーザがさまざまなノード１０６ａ～１０６ｎを制御して、ライブパフォーマンス中に起きる所望のイベントを達成することを可能とするクレジットを取得するために通貨を交換し得ることが認識されている。これに関して、ユーザは、以下のうちの任意の１つ以上のために、それぞれのコンピューティングデバイス１０４ａ～１０４ｃを使用することができる。ライブパフォーマンスの聴衆内と舞台上の両方に配置されたバイノーラルマイクによって提供されるＨｉＦｉオーディオの制御及び／またはＨｉＦｉオーディオへのアクセス、ライブパフォーマンスにおけるバンドメンバーの特定の楽器のオーディオのソロ、追加のビデオストリーム、アーティストと交流する機会、バンドの後ろに配置された投影スクリーン上でのユーザ名と顔文字の共有、及びライブパフォーマンス中に行われる特別なイベント。
【0045】
サーバ１０２は、購入したクレジットの数に基づいて、または何らかの他の取り決めを通じて、異なるレベルの名声を付与することができる。バーチャル通貨により、ユーザは、名声とバーチャル通貨の残高に基づいて、アクセスに対する支払い、及びさまざまな特徴（例えば、カメラ１１０ａ、照明１１０ｂ、ロボット１１０ｃ、諸アイテム１１０ｎ）の制御を行うことができる。ユーザに関連付けられたより高い名声の設定は、そのようなユーザに、相矛盾し得るコマンドを無効とする、より高い優先度を提供することができる。例えば、ユーザ１は「ベースプレーヤー」または顧客と見なされ、ユーザ２は「プレミアムプレーヤー」と見なされ得る。ユーザ１がロボット１１０ｃの動きを制御して前進させるコマンドを送信し、ユーザ２がロボット１１０ｄの動きを制御して後退させるコマンドを送信した場合、サーバ１０２は、ユーザ１とユーザ２のそれぞれの名声レベルを判定し、ユーザ２の名声レベルはユーザ１の名声レベルよりも高いので、ロボット１１０ｃを後方に移動させるコマンド（例えば、ユーザ２からのコマンド）を起動する。さらに、２ユーザが同様の名声レベルを共有している場合、サーバ１０２は会場１０７のライブパフォーマンスにおける所望のイベントを、コマンドが他のコマンドに対して受領された順序に基づいて達成させる。この場合、サーバ１０２は、イベントが起動または停止されると、時間遅延を用いて、会場１０７でのライブパフォーマンス中に所望のイベントを発生可能とできる。遅延が満了すると、サーバ１０２は次のコマンドを処理して、会場１０７でのライブパフォーマンス中における所望のイベントの起動または停止を可能にできる。ユーザのためのコマンドを名声または地位に基づいて実行することに加えて、システム１００は、代わりに、所定数のコマンドを監視または集約し、ユーザによる主たる要求の観点からの単純過半数に基づいてそのようなコマンドを実行することができる。
【0046】
図６は、実施形態による、バーチャル対応のスタジオまたはライブパフォーマンスに関連する態様を制御するために相反するコマンドが提供された場合に、第１のユーザと第２のユーザの間で名声を決定する方法１６０を示す。
【0047】
動作１６２において、サーバ１０２は、第１及び第２のコンピューティングデバイス１０４ａ、１４０ｂからそれぞれ第１及び第２のコマンドを受信する。動作１６４において、サーバ１０２は、第１及び第２のコマンドが会場１０７で実行される矛盾するアクションを含むかどうかを判定する。例えば、サーバ１０２は、第１のコマンドが、第２のコマンドを介して要求された第２の照明シーケンスとは異なる第１の照明シーケンスを示すと判定することができる。矛盾するコマンドが受信されていない場合、方法１６０は動作１６８に進み、そして、サーバ１０２は、コマンドが受信された順序に基づいて２つのコマンドを実行することができる。矛盾するコマンドがあるとサーバ１０２が判定した場合、方法１６０は動作１６６に移動する。
【0048】
動作１６６において、サーバ１０２は、第１のユーザと第２のユーザが同じレベルの名声を有するかどうかを評価または判定する。例えば、第１のユーザと第２のユーザが同じレベルの名声を有する場合、会場１０７において、相矛盾する変更を同時に実行することは好ましくないので、サーバ１０２は、第１のコマンドと第２のコマンドのどちらを実行するかを決定するために他の基準を評価する必要がある。サーバ１０２が、第１のユーザと第２のユーザが同じレベルの名声を有すると判定した場合、方法１６０は動作１６８に進み、コマンドが受信された順序に基づいてコマンドを実行する。サーバ１０２が、第１のユーザと第２のユーザが同じレベルの名声を持っていないと判定した場合、方法１６０は動作１７０に進む。
【0049】
動作１７０において、サーバ１０２は、第１のコマンドと第２のコマンドとの間で最初に受信されたコマンドを会場（またはノード１０６ａ～１０６ｎのいずれか１つ）に送信し、その結果、最も高い名声レベルを有するユーザに属するコマンドが先に実行される。最も高いレベルの名声を有するユーザに属するコマンドが会場１０７で実行されると、サーバ１０２は、より低い名声レベルを有するユーザに属する、受信された次のコマンドを送信し、その結果、このコマンドは会場１０７でその後に実行される。動作１７０において、サーバ１０２は、最も高い名声レベルを有するユーザに属するコマンドを会場１０７に送信し、それによりこのコマンドが実行される。
【0050】
チャットボックス（または他のユーザインターフェース媒体）をコンピューティングデバイス１０４ａ～１０４ｃにおいて使用して、メッセージ、ＩＲＣの解釈、及びユーザのシステム１００へのアクセス権有無を処理し、ＤＡＣを介してコマンドを送信することができる。コンピューティングデバイス１０４ａ～１０４ｃ（例えば、ＩＲＣ）から送信されたコマンドは、ノード１０８ａ～１０８ｎに（直接的または間接的に）送信され得る。これは、スクリプト、ソケットコマンド、ＤＭＸ、シリアルなどを介して実行され得る。デジタルアナログコンバーター（ＤＡＣ）を任意で使用して、リレー、ロボットなどをトリガする電圧または電流を送信してもよい。ＩＲＣ（またはチャットボックス）は、多くの種類のアナログまたはデジタルコマンドをさまざまなノードに送信できることが認識されている。デジタルコマンドタイプの例には、ＭＩＤＩ、シリアル、ＤＭＸ照明コントローラ、ＴＣＰなどが含まれてもよく、アナログ信号の例には、照明、ロボット、リレー、メーターなどが含まれ得る。システム１００では、デジタルまたはアナログのどちらに基づく信号も送信され得ることが認識されている。ノード１０８ａ～１０８ｎは、サーバ１０２によって受信されたさまざまなコマンドをＤＭＸ、ＭａｘＭＳＰ、ＨＤＭＩ（登録商標）、シリアルなどに変換するように構成された単一の電子ユニットに統合され得ることがさらに認識されている。ＤＭＸ、ＭａｘＭＳＰ、ＨＤＭＩ（登録商標）、シリアルフォーマット内の情報は、次いで、対応するカメラ１１０ａ、照明１１０ｂ、ロボット１１０ｃ、及び諸アイテム１１０ｎなどに送信されて、コンピューティングデバイス１０４ａ～１０４ｃのうちの１つ以上で要求された方法でそのようなデバイスを制御することができる。
【0051】
別の例では、サーバ１０２は、コンピューティングデバイス１０４ａ～１０４ｃのユーザインターフェース（例えば、ＩＲＣ）を介してサーバ１０２に提出された投票プロキシの結果を判定することができる。投票を用いて、次の曲の決定、フォグマシン（火工品、ロボットなど）のトリガ、トリビアへの回答、別のイベントのトリガなどを行ってもよい。投票はまた、イベントをトリガするかどうかのメーターまたは条件として、解釈されてもよい。例えば「投票メーター」を用いて、ライブパフォーマンスのライトを赤に変更するために５００人が投票することができる。そこで、しきい値に達すると（または投票の過半数に達すると）、ライトを制御して赤く点灯させることができる。サーバ１０２はまた、会場１０７内の任意の場所（例えば、舞台上、最前列、楽屋、舞台裏、会場の前）に配置されたリモートコンピュータ（例えば、携帯電話、タブレット、ラップトップ（例えば、任意のインターネット接続されたデバイス））を制御することもでき、ユーザとの特別ビデオ通話をホストして、「ユーザを舞台に上げ」てもよい。
【0052】
別の例では、サーバ１０２は、ユーザがリモートでログインできる、リモートでホストされるグループイベントを可能とすることができる。さらに、コンピューティングデバイス１０４ａ～１０４ｃは、ユーザが（１）ボタンを押す、（２）投票する、（３）トリビアの質問に答える、（４）アニメーションを描く、（５）舞台色を変更する、ための一度限りのイベント用の専用インターフェースを提供する。
【0053】
システム１００は、一般に、オンラインでライブストリーミングされるライブバーチャルコンサートシリーズを可能にする。システム１００はまた、ファンが無料でストリーミングすることを可能にし、ライブパフォーマンスの特徴及びオーディオ品質への、階層化されたレベルでのアクセスも提供する。システム１００はまた、コンテンツ及び特別な商品への追加的アクセスに対する階層化されたチケットを提供する。
【0054】
図７は、一実施形態による、図１のシステム１００によって発行され得る声援クレジット１７２の例を示す。図７は、ユーザが通貨をクレジットと交換するときにユーザに発行できるさまざまな声援クレジットを示している。例えば、システム１００は、ユーザがアーティストの背後にある大きな投影スクリーンを使用して、絵文字などのさまざまなファンとの対話の投稿、絵文字のスクリーン上へのドラッグ、アーティストが演奏する歌やディープカットへの投票、バンドへのパーソナライズされたメッセージの送信と投影スクリーン上での表示、パフォーマンス中の１人以上のバンドメンバーによるパーソナライズされたメッセージ発信、及び／または会場１０７での何らかのタイプのオーディオ再生を可能とし得る。図７は、さまざまな声援クレジットについて、ある交換率で使用できる通貨の例をさらに示している。
【0055】
図８は、一実施形態による図１のシステム１００によって発行され得る声援クレジット１７４の例も示している。例えば、システム１００は、所定数の声援クレジットを伴うコンテンツ階層を提供することができる。一例では、システム１００は、５つの声援クレジットを提供する第１のレベル（または基本レベル）、１０の声援クレジットを提供する第２のレベル（または中間レベル）、及び１５の声援クレジットを提供する第３のレベル（例えば、特別レベル）を提供することができる。第１のレベルは、ライブパフォーマンス中の会場１０７での公表または投稿のための名前投稿（例えば、コンピューティングデバイスのユーザ名）及び選択された照明パターンへのアクセスを提供し得る。第２のレベルは、いくつかのパーソナライズされたメッセージと専用の絵文字または短時間の録音されたメッセージ（ｓｏｕｎｄ ｂｙｔｅｓ）を提供し得る。第３のレベルは、バンドメンバーにさまざまなスポットライトを当てること及び、１対１のオークションへの参加を提供し得る。
【0056】
図９は、一実施形態による、図１のシステム１００によって発行され得るチケット階層１７６の例を示す。一般に、チケット階層１７６は、一般入場、指定席、最前列席、及び舞台裏パスを含むことができる。一般入場階層は、ユーザに対する広告、購入する声援または無料で含まれる声援、インスタンスごとの支払いオプション、「理解する（ｇｅｔ ｔｈｅ ｉｄｅａ）」オプションを提供し、かつ特別機能を試す機会をユーザに提供してもよく、これによって、ユーザが上位階層チケットを購入する結果をもたらし得る。理解するオプションは、ＨｉＦｉオーディオ体験やその他の適切な機能など、利用可能なアップグレードの３０秒または６０秒のプレビューの提供に対応してもよい。
【0057】
指定席階層は、購入者に広告なし機能を提供してもよく、それにより、ユーザ／購入者はショーの間、広告にさらされる必要がない。指定席階層はまた、購入する声援または無料で含まれる声援を提供し、購入者に一般入場階層で可能であるよりも多くのカメラを起動または停止するオプションを提供してもよい。指定席階層はまた、購入者にＨｉＦｉオーディオ体験を提供してもよい。ＨｉＦｉオーディオ体験は、より高品質のオーディオ、ロスレスコーデック、バイノーラル処理に対応し得る（例えば、会場１０７の壁からのオーディオの反射され方に基づき、ユーザが実際に聴衆の中にいるという認識を提供する）。
【0058】
最前列席階層もまた、パッケージの一部として、購入する声援または無料で含まれる声援と共に、広告なし機能を提供してもよい。同様に、最前列席階層は、購入者にＨｉＦｉオーディオ体験及び最前列同様座席オプションを提供してもよい。最前列同様座席オプションは、一般に、ファンがランダムに選択されてコンサートでバンドメンバーと１対１の体験をするくじ（ｒａｆｆｌｅ）を提供するシステム１００を含む。最前列席階層はまた、オーディオ体験を向上させるためのヘッドトラッキングオプション（例えば、ＪＢＬ Ｑｕａｎｔｕｍ ＳＰＨＥＲＥ ３０ ３６０（登録商標）によって提供されるオーディオ体験）を備えたヘッドフォンの商品とクレジットを購入するオプションも提供してもよい。舞台裏パス階層は、購入すると、パッケージの一部として、広告なし機能と共に、購入する声援または無料で含まれる声援を提供してもよい。同様に、舞台裏パス階層は、購入者にＨｉＦｉオーディオ体験、及び会場１０７内のより多くのカメラ１１０ａに対して、他の階層によって提供されるよりも大幅な制御を提供することができる。舞台裏パス階層はまた、ユーザがカスタマイズされサイン入りの特別なヘッドトラッキングシステム、例えばサイン入りＪＢＬヘッドフォンなどを受け取る特典も提供し得る。舞台裏パスはまた、最前列席体験オプションとＶＩＰラウンジも含む。システム１００によって提供されるＶＩＰラウンジ機能によりアクセスを得たファンは、会場１０７の楽屋に配置されたモバイルデバイス（例えば、タブレット）に登場することができ、これにより、ユーザはバンドメンバーの会話を聞くことができ、また、ショーの前後にバンドメンバーと話すことができる。
【0059】
図１０は、一実施形態に従って図１のシステム１００によって発行され得る特別機能１７８の例を示す。システム１００によって提供される特別機能１７８には、上述の最前列オプション及びＶＩＰラウンジオプションが含まれる。最前列のオプションを使用すると、ユーザは舞台上に「引き上げ」られることができ、最前列オプションにより、ファンは料金を支払って追加の声援を行うことができる。同様に、最前列のオプションを使用すると、ユーザはくじ（ｒａｆｆｌｅ）に自分の名前を何度でも入力できる。特別機能１７８はまた、「１対１オプション」も提供する。このオプションでは、舞台裏パス階層を持つファンは、ライブパフォーマンスの最後にバンドメンバーとの１対１のプライベートアンコールにアクセスするためのオークションに参加できる。
【0060】
図１１は、一実施形態に従って図１のシステムによって発行され得る特別オファー１７８の例を示す。上述のように、特別オファー１７８は、例えば、ＪＢＬＱｕａｎｔｕｍＯＮＥ（登録商標）ヘッドフォンなどのヘッドトラッキングに基づくヘッドフォン（またはヘッドフォンシステム）に対応してもよい。システム１００は、ユーザにライブ体験を提供するため、ヘッドトラッキングを利用する機会をユーザに可能とする。
【0061】
図１２は、一実施形態による、図１のシステム１００によって発行され得るプレイリストイベント１８０の例を示す。プレイリストイベント１８０は、会場２０７でライブに参加している人々が参加するイベントだけが利用できてもよい。例えば、プレイリストイベント１８０は、スーパーファンシュートアウト、ライター、デシベルメーター、ライブ投票を含む。「スーパーファンシュートアウト」では、２人以上のファンが選ばれ、そのようなファンがバンドに関するトリビアな質問に答える。また、例えばトリビアコンテストで優勝したファンには、クレジットまたはサイン入り商品が提供される。「ライターイベント」は、それぞれのモバイルデバイスを介して参加しているユーザが、それぞれのコンピューティングデバイスのユーザインターフェースでライターを持ち上げるプロンプトを選択することに対応する。こうして、ライターがスクリーンに表示される。「デシベルメーターイベント」では、ユーザが、コンピューティングデバイス１０４を介して、スクリーン（またはユーザインターフェース）上のボタンまたはプロンプトをできるだけ速くタップし、サーバ１０２または会場１０７におけるノードのいずれかに配置されたメーターが、ファンがそのようなボタンを如何に素早くタップしているかを測定可能とする。コンピューティングデバイス１０４上でのタップは、コンピューティングデバイス１０４またはサーバ１０２によって声援に変換され、コンピューティングデバイス１０４上でも再生される。「ライブ投票イベント」では、ファン（またはユーザ）は、バンドメンバーが特定の行為を行うように投票することができる。このような行為は、バンドメンバーの頭上でペンキの入ったバケツをひっくり返す、自分の顔にパイを投げつけることを強いる、舞台から聴衆に飛び込む、及び／または頭を剃る、などに相当してもよい。
【0062】
図１３は、一実施形態による図１のシステム１００によって発行され得る追加のプレイリストイベント１８２の例を示す。例えば、追加のプレイリストイベント１８２には、発展するキャンバスイベント、赤対青のイベント、バンドとの即興演奏イベント、及びスポットライトイベントが含まれる。発展するキャンバスイベントには、コンピューティングデバイス１０４を介して実行される１回あたり１画素のライブペインティングが含まれ、その後、会場１０７の投影スクリーンに表示される。これにはまた、ブラシサイズをチケット階層に対応させることも含む。赤対青のイベントには、それぞれのコンピューティングデバイス１０４上のユーザを２つ以上のチームに分割することが含まれ、そのようなユーザは、コンピューティングデバイス１０４上でビートに合わせてタップし、バンドのトリビアで対戦し、またはゲームをプレイして互いに競い合う。勝ったチームによって舞台のバーチャル色が決定され、それからコンピューティングデバイス１０４に提示され、表示される。バンドとの即興演奏イベントは、ファンがコンピューティングデバイス１０４を介して原稿（例えば、音符）を電子的に提出するための簡単操作のシーケンサーを創出することが含まれる。提出された原稿は、舞台上でバンドによって順番に演奏され、バンドは合わせて演奏する。音符は、量子化により分割、五音音階であってもよい。
【0063】
図１４は、一実施形態による、図１のシステム１００のコンピューティングデバイス１０４上の例示的なユーザインターフェース１９０を示している。ユーザインターフェース１９０は、アップグレードチケットフィールド１９２、商品購入フィールド１９４、声援及び入札フィールド１９６、及びダイアログボックス１９８を提供し得る。ユーザは、アップグレードチケットフィールド１９２を選択して、図９の１７６に一般的に示されているように、指定席階層、最前列階層、または舞台裏パスのいずれかにアップグレードすることにより、彼ら／彼女らのチケット階層をアップグレードできる。ユーザは、バンドに関連付けられた商品をマーチャンダイズフィールド１９４介購入することができる。ユーザはまた、声援及び入札フィールド１９６を介して声援及び入札を行って、ショーの態様を制御することもできる。ダイアログボックス１９８により、ユーザはイベントを仮想的に表示している他のユーザと一緒に、投稿／コメントすることができる。本明細書に記載される、コンピューティングデバイス１０４を介してオプション（複数可）を入力または選択することへの言及はまた、サーバ１０２及び会場１０７内に配置されたノード１０６への、そのようなデータの送信も含むことが認識されている。
【0064】
ライブオーディオ及びビデオストリームのオーディオ／ビデオミックスとマスターをリモートで創出するためのシステム及び方法
すべてのテレビベースの番組のためのオーディオとビデオの現在のライブストリームは、プロにより事前に策定されたミックス及び編集である。これは、テレビなどの項目については特に有用であり、特定の体験が望まれる。ただし、複数のオーディオ及びビデオソースが利用可能なライブまたは事前に録画するイベント、または日常のストリームであっても、ユーザが独自の体験を作成し、ライブパフォーマンスにおいて存在するすべてのカメラ及び他のコンテンツと共にすべてのオーディオストリームにアクセスできることが所望され得る。これにより、すべてのビデオ及びオーディオストリームを事前にパッケージ化し、毎回個人の好みに合わせた体験に変換するという課題が解決され得る。
すべてのテレビベースの番組のためのオーディオとビデオの現在のライブストリームは、プロにより事前に策定されたミックス及び編集である。これは、テレビなどの項目については特に有用であり、特定の体験が望まれる。ただし、複数のオーディオ及びビデオソースが利用可能なライブまたは事前に録画するイベント、または日常のストリームであっても、ユーザが独自の体験を作成し、ライブパフォーマンスにおいて存在するすべてのカメラ及び他のコンテンツと共にすべてのオーディオストリームにアクセスできることが所望され得る。これにより、すべてのビデオ及びオーディオストリームを事前にパッケージ化し、毎回個人の好みに合わせた体験に変換するという課題が解決され得る。
【0065】
本明細書に開示される態様は、一般に、ユーザがイベントにアクセスし、異なるコンテンツを創出／編集して、独自のユニークな体験を創出することを可能とする。コンピューティングデバイスを操作するユーザは、ライブまたは事前に記録されたイベントからの複数の生のコンテンツストリーム（例えば、オーディオ及びビデオストリーム）にアクセスし得る。コンテンツストリームは、オーディオとビデオ以外にも拡張できることが認識されている。サーバは、コンテンツストリームをリモートのエンドユーザ（例えば、コンピューティングデバイス（またはクライアント））に、ＹｏｕＴｕｂｅ（登録商標）、Ｔｗｉｔｃｈ（登録商標）、Ｖｉｍｅｏ（登録商標）、Ｓｐｏｔｉｆｙ（登録商標）などの、しかしこれらに限定されない既存のプラットフォームを介して、及びコンピューティングデバイスまたはクライアントを介してこれらのストリームにアクセスすることによって提供してもよい。プラットフォームはまた、会場２０７に配置され、ビデオ及びオーディオを符号化し、そのような符号化されたビデオ及びオーディオをサーバに送信する１つ以上のエンコーダを含むことができる。次に、クラウドデータベース（またはホスティングデータベース）（またはクラウド、ホスティング、またはストリーミングプラットフォーム）が、符号化されたビデオとオーディオをコンピューティングデバイス（複数可）に送信またはストリーミングする。
【0066】
本明細書で開示される実施形態は、遅延がないように各コンテンツストリームを互いに時間的に整合させることの難しさをもたらす。それはまた、イベントの場所におけるサーバでメインインスタンスを実行し、さらに、ユーザがインストールでき、ユーザにすべての機能へのアクセスを与える、リモートのエンドユーザインスタンスを実行することによって実装することもできる。コンピューティングデバイス（またはサーバ）は、ユーザがイベントからの生のストリームを編集及び処理することにより、独自の体験を創出かつミックスすることを可能とする。同様に、ユーザは、会場１０７から受信したオーディオに基づいて独自の音楽ミックスを創出し、イコライゼーション、エフェクト、圧縮などのパーソナライズされたオーディオの好みを加えることができる。サーバ（またはサウンドボードまたはビデオボード）は、ライブパフォーマンスまたはスタジオパフォーマンスが行われる会場で命令を実行してもよい。ユーザは、適用されている設定及び、イベント全体を通してさまざまな時点でどのコンテンツストリームが選択されたかを有効化／無効化できてもよく、これはリアルタイムで記録され、最後にマスターレコーディングに含められる。
【0067】
ユーザは、選択したメインストリームと並行して表示される、どの「ピクチャインピクチャ」ストリームを見たいかを選択することもできる。例えば、イベントがライブストリーミングコンサートである場合、ギタリストがソロを演奏している間、ユーザは「ギターカメラストリーム」及び「ソロギターのみのオーディオストリーム」を選択することができる。ユーザはまた、「ドラマーストリーム」を選択して小さい「ピクチャインピクチャ」にすることもでき、ドラマーのオーディオの一部をドラマーストリームに追加することもできる。ソロが終了するとすぐに、ユーザはメインカメラストリームを選択し、オーディオをすべての楽器に戻すことができる。これは、コンテンツ切替間の遅延なくリアルタイムで行い得るが、すべての設定と選択は、実行されているこのソフトウェアのローカルインスタンスにのみ影響するため、他のユーザのコンサート体験には影響しなくてもよい。体験全体をリアルタイムで記録し、最後にマスターレコーディングに挿入することができる。ユーザはまた、オーディオ／ビデオミックスを再度見て、彼らが望む方法でイベントを体験してもよい。ユーザは後日、完全にユニークな体験のために、体験の再ミックスとマスタリングに戻り得ることが認識されている。
【0068】
サーバがイベントの場所にある場合、サーバはオーディオとビデオを含むがこれらに限定されないコンテンツの複数の異なるストリームをユーザのコンピューティングデバイスに直接ストリーミングすることができる。これらのストリームは、会場に配置されたハードウェア（サウンドボード、ビデオブースなど）から直接もたらされてもよく、会場に対してサポートかつ提供されているすべてのコンテンツストリームへのユーザアクセスが可能である。サーバにはまた、ストリーミングの場所で使用されている現在の設定を入力することもでき（例えば、サウンドミックス、オーディオ／ビデオ処理設定）、これらの設定は、その場所において、アーティスト、エンジニア、またはストリーマーなどによって選択され、かつ策定されている。
【0069】
ユーザに関連付けられたコンピューティングデバイスは、既存のストリーミングサイト（ＹｏｕＴｕｂｅ（登録商標）、Ｖｉｍｅｏ（登録商標）、Ｔｗｉｔｃｈ（登録商標）、Ｓｐｏｔｉｆｙ（登録商標）、Ｐａｎｄｏｒａ（登録商標）、Ｓｏｕｎｄｃｌｏｕｄ（登録商標）、Ｔｉｄａｌ（登録商標）など）からの異なるコンテンツの複数のストリームに、Ｅｍｂｅｄｄｅｄ Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ （「ＵＲＬ」）、アプリケーションプログラミングインターフェイス（ＡＰＩ）などに類似の、しかしこれらに限定されない類似物を用いてアクセスできる。このような実施態様では、各コンテンツストリームが同時にソフトウェアにロードされてもよい。ユーザが別のコンテンツを選択すると、コンピューティングデバイスは、指定されたコンテンツストリームと前のコンテンツストリームを非表示または再表示して、ユーザのコマンドを反映することができる。遅延及び遅延オフセットを決定して、各コンテンツストリームを整合させ、ユーザによるコンテンツストリーム切替時に遅延がないことを確実にすることができる。
【0070】
ソフトウェアアプローチの両方の実施態様は、ライブイベント、複数の異なる機能、及びイベントの会場または場所でのリアルタイム出力と対話し得るボタンを介して、イベントをトリガすることをユーザに可能にしてもよい。これは、イベント内に設置されたサーバを介する、または関連付けられたストリーム、及びソケットコマンド、インターネットリレーチャート（ＩＲＣ）、チャットボットなどに類似しているが、これらに限定されない類似物のＵＲＬを介するコマンドの送信によって実装され得る。コマンドをトリガする方法は、コンピューティングデバイスではなく、トリガがイベント空間内で設定される方法によって制約され得る。
【0071】
ユーザは、それぞれのコンピューティングデバイス上に、個人の設計体験を示すメインインターフェーススクリーンを持っている場合がある。ユーザが所有するコンピューティングデバイスはまた、追加のインターフェースを提供するサブメニュー、またはさまざまなタブを備えてもよく、それによって、異なるコンテンツのミックスを創出するための各コンテンツストリームの設定と、ユーザがそのようなミックスを創出する方法とを調整することができる。例えば、オーディオページには、マイクや楽器を調整するためのノブ、フェーダー、スライダーを含むミキシングボードと同様のインターフェースを有し得る（例えば、ウェット／ドライミックス、全体ゲイン、チャンネルゲイン、ミュート／ミュート解除、ソロなど）。ビデオページは、選択可能なすべてのカメラ角度のプレビュー、フィルタ、コントラスト、露出、色合い、彩度などを含むビデオ処理ツールを提供してもよい。例えば、ユーザは、主ビデオページを介してページの隅における別のカメラのピクチャインピクチャでオーバーレイされる複数のビデオストリーム、２つのビデオストリームによる分割スクリーンなどを選択できる。エンドユーザは、ストリーマー、アーティスト、エンジニアなどを除いて、いつでも、任意の設定を会場で設計されている現在の設定に戻すことができる。これは、特定のユーザが誤って体験を破壊しないように制御されてもよい。ユーザがストリームを制御できる量、またはイコライゼーション、ウェット／ドライミックス、全体ゲイン、ビデオの色合いなどに対して彼らが実行できる変更量に関するさまざまな制限が、エンドユーザの使いやすさを向上させるためにサーバによって課されてもよい。
【0072】
図１５は、実施形態によるオーディオ／ビデオミックス及びライブオーディオ及びビデオストリームのマスターをリモートで創出するためのシステム２００を示す。システム２００は、一般に、複数のコンピューティングデバイス（またはクライアント）２０４ａ～２０４ｃに動作可能に結合された少なくとも１つのサーバ（以下「サーバ」）２０２を含む。コンピューティングデバイス２０４ａ～２０４ｎ（またはコンピューティングデバイス２０４）は、さまざまなユーザの管理下にあるラップトップ、デスクトップコンピュータ、モバイルデバイス（例えば、携帯電話、タブレット）などのうちの任意の１つを含み得る。システム２００はまた、例えばミュージシャンによってライブまたはスタジオパフォーマンスが行われる会場２０７に配置されたサウンドボード２０６を含む。
【0073】
少なくとも１つのギター２０８及びドラムス２１０がサウンドボード２０６に動作可能に結合される。さまざまな楽器（例えば、ベースギター、キーボード、ボーカル入力など）をサウンドボード２０６に動作可能に結合できることが認識されている。サウンドボード２０６は、一般に、さまざまな楽器２０８、２１０からさまざまなトラックまたはストリーム（例えば、ギターストリーム、ベースギターストリーム、ボーカルストリーム、ドラムストリーム、キーボードストリームなど）を受信し、そのようなストリームをサーバ２０２に（例えば、無線または有線の直接接続を介して）送信するように構成される。
【0074】
ビデオボード２１２は、サーバ２０２に動作可能に結合される。サウンドボード２０６及びビデオボード２１２は、両方ともメディアコントローラと呼ぶことができる。３６０視野（ＦＯＶ）カメラ２１４（または全方向カメラ）は、ビデオボード２１２に動作可能に結合される。同様に、視点（ＰＯＶ）カメラ２１６が、ビデオボード２１２に動作可能に結合される。ＰＯＶカメラ２１６は、ミュージシャンまたはパフォーマーのキャプチャされた画像（またはミュージシャンまたはパフォーマーのクローズアップ画像）を提供する。任意の数のカメラが、ＦＯＶカメラ２１４及びＰＯＶカメラ２１６からのビデオのストリームと共に、ビデオボード２１２に動作可能に結合され得ることが認識されている。サーバ２０２は、会場２０７の近くのどこかに配置され得ることも認識されている。次いで、サーバ２０２は、サウンドボード２０６から受信したさまざまなオーディオストリーム及びビデオボード２１２から受信したビデオストリームを、ユーザに関連付けられたコンピューティングデバイス２０４ａ～２０４ｃに送信することができる。オーディオ及びビデオストリームは、サーバ２０２からコンピューティングデバイス２０４ａ～２０４ｃにＹｏｕＴｕｂｅ（登録商標）、Ｖｉｍｅｏ（登録商標）、Ｓｐｏｔｉｆｙ（登録商標）などを介してストリーミングすることができる。一般に、ユーザがコンピューティングデバイス２０４ａ～２０４ｃで利用するストリーム及びアルゴリズム（例えば、ソフトウェア及びハードウェア）の発信者であることによって、この態様は、システム２００がストリーム間の遅延を判定し、その遅延を適切に調整して、シームレスで遅延のない体験をユーザに提供することができる。一般的に言えば、すべてのオーディオ／ビデオストリームは、ライブ会場２０７にあるサーバ２０２で既にアーティスト／ミュージシャン／パフォーマーと同期されている。これらの時間整合されたストリームが、次にＹｏｕＴｕｂｅ（登録商標）やＶｉｍｅｏ（登録商標）などのストリーミングプラットフォームを介して視聴者に配信される。したがって、複雑さが軽減され、ユーザにとって遅延の問題が発生することはない。
【0075】
コンピューティングデバイス２０４ａ～２０４ｃを使用して、ユーザは、会場２０７から受信したオーディオ及びビデオストリームに現在設定されているすべての設定の変更、有効化、無効化などを行うことができる。さらに、ユーザは、リアルタイムで記録されるライブパフォーマンス全体を通して、さまざまな時間にオーディオ及びビデオストリームに設定されたすべての設定の変更、有効化、無効化などを行うことができる。さらに、サウンドボード２０６及び／またはビデオボード２１２はまた、ライブパフォーマンスが行われている間、すべてのビデオ設定（またはカメラ設定）に加えて、すべてのオーディオ設定（例えば、ギター、ベース、ボーカル設定など）を保存し、そのような情報を、サーバ２０２を介してコンピューティングデバイス２０４ａ～２０４ｃの１つ以上に提供することができる。ユーザは、コンピューティングデバイス２０４ａ～２０４ｃを介して、ライブパフォーマンスが行われている間に会場２０７でアーティスト、サウンドエンジニア、またはストリーマーによって選択されたであろう設定を調整することができる。ユーザはまた、ライブパフォーマンスが行われた会場２０７におけるオーディオ設定を調整及び変更することもできる。同様に、ユーザは、ライブパフォーマンスの場所が行われた会場２０７のビデオ設定を調整及び変更することもできる。コンピューティングデバイス２０４ａ～２０４ｃのユーザは、修正または調整されたビデオ及びオーディオストリームを（調整されたオーディオ及びビデオ設定を使用して、または使用せずに）記録し、記録された変更または調整されたビデオ及びオーディオストリームを再生することができる。コンピューティングデバイス２０４ａ～２０４ｃは、ユーザがオーディオストリームとビデオストリームを何度でも調整／変更することを可能とし続け得ることが認識されている。
【0076】
上述のように、コンピューティングデバイス２０４ａ～２０４ｃは、ＹｏｕＴｕｂｅ（登録商標）、Ｖｉｍｅｏ（登録商標）、Ｔｗｉｔｃｈ（登録商標）、Ｓｐｏｔｉｆｙ（登録商標）、Ｐａｎｄｏｒａ（登録商標）、Ｓｏｕｎｄｃｌｏｕｄ（登録商標）、Ｔｉｄａｌ（登録商標）などを介してオーディオストリーム及びビデオストリームをストリーミングすることができる。このアプローチは、会場２０７でライブパフォーマンスが行われている間に、各コンテンツストリームを同時にロードすることができる。ユーザがコンピューティングデバイス２０４ａ～２０４ｃで異なるメディアコンテンツを選択すると、コンピューティングデバイスは、指定または選択されたコンテンツストリームと前のコンテンツストリームを非表示または再表示して、ユーザのコマンドを反映させることができる。
【0077】
ユーザはまた、コンピューティングデバイス２０４ａ～２０４ｃのうちの任意の１つ以上を介して、ユーザがコンピューティングデバイス２０４のディスプレイ上でメインの選択されたストリームと並行して示されることを所望し得る「ピクチャインピクチャ」ストリームを選択することもできる。例えば、イベントは、ライブストリーミングコンサートであり、ギタリストがソロを演奏している間、ユーザは、コンピューティングデバイス２０４を介して「ギターカメラストリーム」及び「ソロギターのみのオーディオストリーム」を選択することができる。ユーザはまた、コンピューティングデバイス２０４を介して「ピクチャインピクチャ」オプションを選択し、ギタリストが一緒に演奏するときにドラマーのオーディオの一部をストリームに追加することもできる。ソロが終了するとすぐに、ユーザは、コンピューティングデバイス２０４を介してメインカメラストリームを選択し、オーディオをすべての楽器に戻すことができる。この態様は、コンテンツの切り替えの間、遅延なくリアルタイムで発生し得る。さらに、すべての設定と選択は、オーディオ及び／またはビデオストリームを変更するコンピューティングデバイス２０４上のローカルインスタンスにのみ影響するため、他の誰のコンサート体験にも影響しなくてもよい。
【0078】
コンピューティングデバイス２０４ａ～２０４ｃはそれぞれ、個人的に設計された体験を示すメインインターフェーススクリーンを含むことができる。コンピューティングデバイス２０４のユーザインターフェース上のサブメニューまたはさまざまなタブにおいて、コンピューティングデバイス２０４は、それぞれの異なるコンテンツストリーム（例えば、ギターストリーム、ベースストリーム、ドラムストリーム、ビデオストリームなど）の設定を調整するための追加のインターフェースを提供することができ、さまざまなコンテンツのミックスが創出され得る。例えば、コンピューティングデバイス２０４は、オーディオページ２５０（図１６を参照）を提供することができ、ミキシングボードに同様のインターフェースを提供することができる。オーディオページ２５０は、一般に、マイク／楽器イコライゼーション、ウェット／ドライミックス、全体ゲイン、チャンネルゲイン、ミュート／ミュート解除、ソロなどを調整するためのノブ、フェーダー、スライダーを含む。追加のコンテンツページ（またはチューニングページ）２５６は、受信したオーディオストリームの音量、バランス、高音、及び低音を制御するための制御スイッチ（またはノブ、スライダーなど）を含む。編集フィールド２５８により、ユーザは、専用の楽器ごとにオーディオストリームまたはトラックを創出または編集することができる。例えば、編集フィールド２５８は、各フェーダーが対応する楽器（例えば、ギター、ベース、ボーカル、ドラムス、キーボードなど）に結び付けられているユーザ入力を介して操作できるノブ及びフェーダーを表示する。編集フィールド２５８は、ユーザがオーディオのさまざまなトラックをミキシングする能力を可能にし、ミキシングデスクとして動作し、オーディオのバランスを取る能力もユーザに提供する。
【0079】
さらに、コンピューティングデバイス２０４は、ユーザがコンピューティングデバイス２０４から選択するために利用できるすべてのカメラ角度の複数の小さなプレビューに提供または表示されるビデオページ２５２を含むことができる。コンピューティングデバイス２０４はまた、ビデオページ２５２を介して、フィルタ、コントラスト、露出、色合い、彩度などを含むビデオ処理ツールを提供することもできる。さらに、ユーザはコンピューティングデバイス２０４を介してオーバーレイされる複数のビデオストリームを選択してもよい。コンピューティングデバイス２０４はまた、隅にある別のカメラのピクチャインピクチャ、２つのビデオストリームを含む分割スクリーンなども提供することができる。いつでも、ユーザは、コンピューティングデバイス２０４を介して、アーティスト、エンジニア、またはストリーマーによってライブパフォーマンスに実際に適用される現在の設定に設定を戻すことができる。コンピューティングデバイス２０４は、特定のユーザが自分の体験を誤って破壊しないことを確実にするように構成することができる。一実施形態では、ユーザがイコライゼーション、リバーブ、ゲインなどの設定の多くの態様について度を超す可能性があるため、ストリームの体験を破壊することを回避するために、設定の変更の数に制限を設定することが好ましい場合がある。これらの設定に対するこのような大幅な変更は、体験がユーザにとって楽しめないものになる可能性がある。コンピューティングデバイス２０４は、エンドユーザの使いやすさを向上させるために、サーバ２０２によって提供されるストリームに対する制御量を制限するまたは、イコライゼーション、ウェット／ドライミックス、全体ゲイン、ビデオの色合いなどの量を制限するように構成され得る。
【0080】
システム２００に関連して開示される態様は、（ｉ）音声ストリーム及び音声ストリーム上の放送のタイプを制御することに加えて、カメラ角度及びライブパフォーマンスのストリームを制御すること、（ｉｉ）コンピューティングデバイス２０４ａ～２０４ｃ上のユーザインターフェースを、例えばスライダー及び／またはいくつかのコントロール用のその他のスイッチ機構（例えば、各楽器のレベルコントロール、イコライゼーション変更、ウェット／ドライミックス等）を含めて提供すること、（ｉｉｉ）ユーザがオーディオをミキシングし、ビデオボード２０２から対応するビデオストリームを選択することを可能にするコンピューティングデバイス２０４ａ～２０４ｃ上のエンドユーザ構成可能プラットフォーム、（ｉｖ）会場２０７のオーディオエンジニアから、デフォルトの「家の正面」ミックスへリセットすること、（ｖ）ライブパフォーマンスの複数のビデオストリームの大量の曲目について、所望のビデオストリームを選択すること、（ｖｉ）ライブパフォーマンスから、他のビデオストリームを伴うピクチャインピクチャを提供すること、（ｖｉｉ）ユーザがライブパフォーマンスの独自のコンサートミックス（例えば、ビデオ／オーディオ）を記録し、後でリミックスできるようにすること、（ｖｉｉｉ）マルチチャンネルコンテンツ、異なる楽器の異なるストリームからなる複数のオーディオストリームをストリーミングすること、及び（ｉｘ）マルチチャンネルコンテンツ、複数のオーディオストリーム及び複数のビデオストリームをストリーミングすること、を提供するが、これらに限られない。
【0081】
図１７は、一実施形態による、ライブパフォーマンスからのオーディオとビデオのストリームを時間整合させる方法３００を示す。
【0082】
動作３０２において、サーバ２０２は、会場２０７に配置されたサウンドボード２０６及びビデオボード２１２からそれぞれ（またはメディアコントローラから）ライブストリームされたオーディオ及びビデオデータを受信する。ビデオストリームは、会場２０７に配置されたさまざまなカメラ２１４及び２１６からキャプチャされたいくつかのビデオストリームを含み得ることが認識されている。例えば、バンドが会場でライブを行っていると仮定すると、さまざまなカメラ２１４がバンド全体をキャプチャする第１のビデオストリームを提供し、カメラ２１６が個々のバンドメンバーの追加のビデオストリーム（または視点ショット）を提供してもよい。同様に、音声ストリームは、会場に配置されたさまざまな機器２０８、２１０からキャプチャされたさまざまな音声ストリームを含み得ることが認識されている。
【0083】
動作３０３において、サーバ２０２は、ライブストリームされたオーディオ及びビデオストリームをストリーミングプラットフォーム（例えば、ＹｏｕＴｕｂｅ（登録商標）、Ｖｉｍｅｏ（登録商標）、Ｔｗｉｔｃｈ（登録商標）、Ｐａｎｄｏｒａ（登録商標）、Ｓｏｕｎｄｃｌｏｕｄ（登録商標）、Ｔｉｄａｌ（登録商標）など）に送信する。この態様は、ビデオ及びオーディオをサーバに符号化すること、及びサーバが符号化されたビデオ及びオーディオを別のストリーミングプロバイダに提供し、その後にコンピューティングデバイス２０４に提供されることを伴い得る。
【0084】
動作３０４において、各コンピューティングデバイス２０４は、ライブオーディオストリームとビデオストリーム（例えば、複数のカメラ２１４及び２１６から提供されるすべてのビデオストリーム）との間の遅延を判定する。動作３０６において、コンピューティングデバイス２０４は、遅延が計算されて既知となった後、ライブオーディオストリームとライブビデオストリームを互いに時間整合／シフト（または同期）させる。例えば、コンピューティングデバイス２０４がすべてのビデオストリームの遅延（または再生オフセットレート）を判定すると、コンピューティングデバイス２４０は、再生オフセットレートまたは遅延に基づいてビデオストリームとオーディオストリームを調整し、ストリームを時間的に整合させる。
【0085】
動作３０８において、コンピューティングデバイス２０４は、同期されたオーディオストリームおよびビデオストリームのオーディオおよびビデオプロパティを、ユーザの要望に応じて変更することができる。ユーザがオーディオストリームに対して実行したすべての変更は、オーディオプロパティの変更に対応してもよい。同様に、ビデオストリーム（複数可）に対して実行される変更は、ビデオプロパティの変更に対応してもよい。例えば、ユーザは、コンピューティングデバイス２０４を介して会場２０７でバンドによって提供されているすべてのオーディオの単一のミックスを含む単一のオーディオストリームを選択的に変更することができる。代替として、ユーザは、コンピューティングデバイス２０４を介して会場２０７でバンドのギタリストによって提供される、例えばギタートラックに関連する単一のオーディオストリームを選択的に変更することができる。コンピューティングデバイス２０４は、ユーザがさまざまなオーディオトラック及びビデオトラックを選択できるようにすることができる。ユーザがバンド全体の集約されたビデオストリームを見ることを所望する場合、コンピューティングデバイス２０４は、個々のバンドメンバーの残りのビデオストリームを、ユーザが見るために選択するまで非表示にすることができる。同様に、ユーザが、バンドによって演奏されている楽器のミックス全体を聴くことを所望する場合、コンピューティングデバイス２０４は、例えば、ギター、ボーカル、ドラムス、及びベースギターの個々のトラックを、ユーザが個別に聴くために選択するまでミュートすることができる。任意の１つ以上のオーディオストリームまたはトラックを任意の時間のシングルインスタンスで（ａｔ ａｎｙ ｓｉｎｇｌｅ ｉｎｓｔａｎｃｅ ｉｎ ｔｉｍｅ）再生できることが認識されている。
【0086】
図１８は、一実施形態による、ライブパフォーマンスのための「ピクチャインピクチャストリーム」を提供するための方法３５０を示す。
【0087】
動作３５２において、コンピューティングデバイス２０４は、ストリーミングプロバイダを介してサーバ２０２から２つ以上のビデオストリームを受信する。動作３５４において、コンピューティングデバイス２０４は、例えば、ライブパフォーマンス中にバンド全体の第１のビデオストリームを表示する。前述のように、コンピューティングデバイス２０４は会場２０７から２つ以上のビデオストリームを受信するが、コンピューティングデバイス２０４は２つ以上のビデオストリームのうちの１つのビデオストリームを再生できることが認識されている。方法３５０に関連して提示された例では、コンピューティングデバイス２０４は、ライブパフォーマンス中にすべてのバンドメンバーを示す単一のビデオストリームを単純に再生していると仮定することができる。
【0088】
動作３５６において、コンピューティングデバイス２０４は、ライブパフォーマンス中に演奏しているバンドの特定のミュージシャン（例えば、ギタリストまたはボーカリスト）の第２のビデオストリームを見るコマンドを（そのユーザインターフェースを介して）ユーザから受信する。動作３５８において、コンピューティングデバイス２０４は、第１のビデオストリームと第２のビデオストリームの両方を、ビデオコンテンツの切り替えの間に遅延なくリアルタイムで再生する。
【0089】
例示的な実施形態が上述されているが、これらの実施形態が本発明のすべての可能な形態を説明することは意図されていない。むしろ、明細書で使用する言葉は限定ではなく説明のための言葉であり、本発明の趣旨及び範囲から逸脱することなく多様な変更が成され得ることが理解される。加えて、種々の実現実施形態の特徴は、本発明の別の実施形態を形成するために結合することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【国際調査報告】