知財求人 - 知財ポータルサイト「IP Force」
特許7318990モバイル装置上の音声コンテンツを別個の視覚表示システムに同期させるためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-24
(45)【発行日】2023-08-01
(54)【発明の名称】モバイル装置上の音声コンテンツを別個の視覚表示システムに同期させるためのシステムおよび方法
(51)【国際特許分類】
H04N 21/44 20110101AFI20230725BHJP
H04N 21/442 20110101ALI20230725BHJP
G10K 15/04 20060101ALI20230725BHJP
【ＦＩ】
H04N21/44
H04N21/442
G10K15/04 302F
【請求項の数】
23
(21)【出願番号】P 2021563714
(86)(22)【出願日】2020-05-08
(65)【公表番号】
(43)【公表日】2022-07-25
(86)【国際出願番号】 SG2020050269
(87)【国際公開番号】W WO2020231332
(87)【国際公開日】2020-11-19
【審査請求日】2021-12-20
(31)【優先権主張番号】62/845,897
(32)【優先日】2019-05-10
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/883,185
(32)【優先日】2019-08-06
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521467973
【氏名又は名称】シネウェブ ピーティーイー リミテッド
【氏名又は名称原語表記】ＣＩＮＥＷＡＶ ＰＴＥ． ＬＴＤ．
【住所又は居所原語表記】７ Ｔｅｍａｓｅｋ Ｂｏｕｌｅｖａｒｄ， ＃１２－０７， Ｓｕｎｔｅｃ Ｔｏｗｅｒ Ｏｎｅ， Ｓｉｎｇａｐｏｒｅ ０３８９８７ （ＳＧ）
(74)【代理人】
【識別番号】100105131
【弁理士】
【氏名又は名称】井上 満
(74)【代理人】
【識別番号】100105795
【弁理士】
【氏名又は名称】名塚 聡
(72)【発明者】
【氏名】チャン，ジェイソン ケン－クウィン
(72)【発明者】
【氏名】リー，クリスチャン ジョエル
【審査官】川中 龍太
(56)【参考文献】
【文献】特開２０１６－１９２７４３（ＪＰ，Ａ）
【文献】特開２０１４－１１２７６６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０３６７８３９（ＵＳ，Ａ１）
【文献】特開２００５－２０８１９６（ＪＰ，Ａ）
【文献】特開２００９－０１０８６３（ＪＰ，Ａ）
【文献】国際公開第２０１８／０２６８２８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ － ２１／８５８
Ｇ１０Ｋ １５／０４
(57)【特許請求の範囲】
【請求項1】
モバイル装置上で再生するように構成された音声コンテンツを、別個の視覚表示システム上でプレイするように構成された音声視覚表示の視覚コンテンツに同期させる方法であって、第１の位置および時間において前記視覚表示システムによって制御される視覚出力装置上で前記視覚コンテンツを提示するステップと、
前記視覚表示システムによって、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは前記視覚表示システム真時間、視覚コンテンツ状態、および視覚コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記モバイル装置によって、前記視覚コンテンツタイムコード、モバイル装置真時間、および前記視覚表示システム真時間に基づく音声コンテンツタイムコードを決定するステップ
を有し、
前記視覚コンテンツ状態がプレイモードであるときに第２の位置および時間において前記モバイル装置上で前記音声コンテンツをプレイするようにトリガされると、前記音声コンテンツは、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードでプレイされる、方法。
【請求項2】
前記音声コンテンツタイムコードが前記視覚表示システム上の前記視覚コンテンツタイムコードと所定の時間隔を超えて同期から外れるか否かを判定するステップと、前記音声コンテンツタイムコードが前記所定の時間隔を超えて同期から外れる場合に応答して、前記モバイル装置上の前記音声コンテンツの再生を、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードに調整するステップ
を含む、請求項１に記載の方法。
【請求項3】
前記音声コンテンツタイムコードは、前記視覚コンテンツタイムコードと、前記モバイル装置真時間と前記視覚表示システム真時間の間の時間差との集計に基づいて決定される、請求項１に記載の方法。
【請求項4】
前記同期メッセージは、前記視覚コンテンツタイムコードに対する調整が行われたときに送信される、請求項１に記載の方法。
【請求項5】
前記同期メッセージは、前記視覚コンテンツ状態に対する状態変化があるときに送信される、請求項１に記載の方法。
【請求項6】
前記モバイル装置真時間は、モバイル装置ローカル時間およびモバイル装置時間偏差に基づいて決定され、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項３に記載の方法。
【請求項7】
前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項１に記載の方法。
【請求項8】
前記所定の時間隔は、約２００ｍｓである、請求項２に記載の方法。
【請求項9】
モバイル装置上で再生するように構成された従音声コンテンツを、ライブ視覚表示と同期した主音声コンテンツに同期させる方法であって、前記主音声コンテンツは、別個の視覚表示システム上でプレイするように構成され、第１の位置および時間において前記視覚表示システム上で前記主音声コンテンツをプレイするステップと、
前記視覚表示システムによって、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは前記視覚表示システム真時間、主音声コンテンツ状態および主音声コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔でモバイル装置に前記同期メッセージを送信するステップと、
前記モバイル装置によって、前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップを含み、
前記主音声コンテンツ状態がプレイモードであるときに第２の位置および時間において前記モバイル装置上で前記従音声コンテンツをプレイするようにトリガされると、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードでプレイされる、方法。
【請求項10】
前記従音声コンテンツタイムコードが前記視覚表示システム上の前記主音声コンテンツタイムコードと所定の時間隔を超えて同期から外れるか否かを判断するステップと、前記従音声コンテンツタイムコードが前記所定の時間隔を超えて同期から外れる場合に応答して、前記モバイル装置上の前記従音声コンテンツの再生を、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードに調整するステップ
を含む、請求項９に記載の方法
【請求項11】
前記従音声コンテンツは前記ライブ視覚表示の一部を開始するための従音声キュートラックを含み、それによって、前記従音声キュートラックは前記従音声キュートラックが前記主音声コンテンツと同期するように構成されるように、１つまたは複数のコンピューティング装置によって１つまたは複数の制御システムに送信される、請求項９に記載の方法。
【請求項12】
前記従音声コンテンツは、前記主音声コンテンツと同期するように構成された音声記録に関連付けられた音声サウンドトラックを含む、請求項９に記載の方法。
【請求項13】
前記従音声コンテンツは、前記主音声コンテンツと同期するように構成された音楽伴奏に関連付けられた音声サウンドトラックを備える、請求項９に記載の方法。
【請求項14】
前記主音声コンテンツは、コントローラまたは手動オペレータによってライブ視覚表示の一部をトリガするように構成された音声キュートラックを含む、請求項９に記載の方法。
【請求項15】
前記従音声コンテンツは、前記主音声コンテンツと同期するように構成された、手動オペレータによって、ライブ視覚表示の一部をトリガするように構成された従音声キュートラックを備える、請求項９に記載の方法。
【請求項16】
前記同期メッセージは、前記主音声コンテンツタイムコードに対する調整が行われたときに送信される、請求項１０に記載の方法。
【請求項17】
前記同期メッセージは、前記主音声コンテンツ状態に対する状態変化があるときに送信される、請求項９に記載の方法。
【請求項18】
前記従音声コンテンツタイムコードは、前記主音声コンテンツタイムコードと、前記モバイル装置真時間と前記視覚表示システム真時間との間の時間差との集計に基づいて決定され、前記モバイル装置真時間はモバイル装置ローカル時間およびモバイル装置時間偏差に基づいて決定され、前記モバイル装置時間偏差は前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項９に記載の方法。
【請求項19】
前記視覚表示システム真時間は、視覚表示システムローカル時間および視覚表示システム時間偏差に基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項９に記載の方法。
【請求項20】
前記所定の時間隔は、約２００ｍｓである、請求項１０に記載の方法。
【請求項21】
少なくとも１つのプロセッサと、少なくとも１つのコンピュータ読み取り可能な記憶媒体と、ネットワークに接続された同期アプリケーションとを有するモバイル装置上で実行するように構成された方法であって、前記モバイル装置上に記憶するように構成された音声コンテンツを受信するステップと、
モバイル装置ローカル時間およびモバイル装置時間偏差に基づいてモバイル装置真時間を取得するステップであって、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
視覚表示システムとの無線通信において、周期的な時間隔で処理サーバから同期メッセージを受信するステップであって、前記同期メッセージは、視覚表示システム真時間、視覚コンテンツ状態、および視覚コンテンツタイムコードを含む、該ステップと、
前記視覚コンテンツタイムコード、前記モバイル装置真時間、および前記視覚表示システム真時間に基づく音声コンテンツタイムコードを決定するステップであって、前記視覚表示システム真時間は視覚表示システムローカル時間および視覚表示システム時間偏差に基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップ
を含み、
前記視覚コンテンツ状態がプレイモードであるときに前記モバイル装置上で前記音声コンテンツをプレイするようにトリガされると、前記音声コンテンツは、前記視覚表示システム上の視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードでプレイされる、方法。
【請求項22】
モバイル装置上で再生するように構成された従音声コンテンツを、別個の視覚表示システム上でプレイするように構成された主音声コンテンツに同期させる方法であって、前記視覚表示システムによって、視覚表示システムローカル時間と視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップであって、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは、前記視覚表示システム真時間と、動作モードに関連付けられた主音声コンテンツ状態と、前記視覚表示システムの現在位置に関連付けられた主音声コンテンツタイムコードとを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記モバイル装置によって、前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップであって、前記モバイル装置真時間は、モバイル装置ローカル時間およびモバイル装置時間偏差に基づき、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信する前記タイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップ
を含み、
前記主音声コンテンツ状態がプレイモードであるときに前記モバイル装置上で前記従音声コンテンツをプレイするようにトリガされると、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードでプレイされる、方法。
【請求項23】
モバイル装置上で再生するように構成された従音声コンテンツを、別個の視覚表示システム上でプレイするように構成された主音声コンテンツに同期させるためのシステムであって、メモリと、
前記メモリに結合された１つまたは複数のプロセッサであって、前記メモリは前記プロセッサによって実行されたときに、前記プロセッサに、
前記視覚表示システムによって、視覚表示システム真時間を取得するステップであって、前記視覚表示システム真時間は視覚表示システムローカル時間と視覚表示システム時間偏差とに基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは、前記視覚表示システム真時間、動作モードに関連付けられた主音声コンテンツ状態、および前記視覚表示システムの現在位置に関連付けられた主音声コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記モバイル装置によって、前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップであって、前記モバイル装置真時間は、モバイル装置ローカル時間およびモバイル装置時間偏差に基づき、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
を含む動作を実行させるプロセッサ実行可能コードを含む、該プロセッサを有し、
前記主音声コンテンツ状態がプレイモードであるときに前記モバイル装置上で前記従音声コンテンツをプレイするようにトリガされると、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードでプレイされる、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は一般に、音声視覚システム（又は、視聴覚システム／オーディオビジュアルシステム）に関し、特に、パブリック音声視覚ショーにおける視聴者メンバー（又は、オーディエンスのメンバー）のオーディオ体験を強化することを対象とするシステムおよび方法に関する。より詳細には、本開示が１つまたは複数のスレーブコンピューティング装置上の音声コンテンツ（又は、オーディオコンテンツ）の再生を、別個のマスターコンピューティング装置上の音声コンテンツまたは視覚コンテンツ（又は、ビジュアルコンテンツ）に同期させることに関する。
【背景技術】
【0002】
本発明の背景についての以下の議論は、本発明の理解を容易にすることを意図している。しかし、この議論は引用された資料の何れかが出願の優先日現在のいずれかの管轄区域において公開され、既知であり、又は技術常識の一部であったことの確認又は承認ではないことを理解すべきである。
【発明の開示】
【発明が解決しようとする課題】
【0003】
公共の環境における音声視覚ショーが不良な音響、電力不足の増幅器又はスピーカ、騒音公害（noise pollution）、無線周波数（ＲＦ）干渉（ラジオヘッドホンのようなＲＦデバイスを使用する場合）、又はスピーカと視聴者との間の大きな距離（光と音の速度の差のためにオーディオが視覚表示（又は、視覚ディスプレイ、ビジュアルディスプレイ）と同期しなくなる原因となる）のために、不十分なサウンドを有する多くの場合がある。そのような不十分な音響及び／又は視聴者メンバーと視覚表示との間の大きな距離は全体的な体験に深刻な影響を及ぼし、視聴者メンバーによるイベントの楽しみ及び不満の減少につながる可能性がある。
【0004】
一部のアプリケーションは、インターネットまたはＷＩＦＩなどのローカル通信ネットワークを介するストリーミング技術を使用して、モバイル装置で再生される音声コンテンツを、別個の視覚コンテンツシステムで再生される視覚コンテンツに同期させようとした。しかしながら、ストリーミングは、大量のデータおよびバッテリを使用するモバイル装置においてリソース集約的である。さらに、音声コンテンツのストリーミングはネットワークレイテンシーまたはＷＩＦＩまたはデータ接続への干渉のために、ビデオコンテンツとの同期が外れることが多い。また、ＷＩＦＩ接続はモバイル装置から切断されたり、ルータごとの接続が制限されたりする可能性がある。公共の場面で音声視覚ショーを見るときには、軽微な同期問題及びドロップアウトでさえ問題である。一般的に、モバイル装置は正確な時間や一貫性のある時間を維持しない。また、ハードウェアやソフトウェアが異なると、音声コンテンツの再生時にドリフトが発生しやすくなる。したがって、モバイル装置上の音声コンテンツと、モバイル装置とは別個の視覚表示（又は、ビジュアルディスプレイ）システム上で再生される視覚コンテンツとの同期解除のリスクは高く、視聴者メンバーによる音声視覚ショーの楽しみを減らすことができる。
【0005】
したがって、本開示の目的は、上述の問題および制限の大部分に対処することである。
【課題を解決するための手段】
【0006】
以下はそのような態様の基本的な理解を提供するために、１つまたは複数の態様の簡略化された概要を提示する。この概要は、すべての企図された態様の広範な概観ではなく、すべての態様の重要なまたは重大な要素を識別することも、任意のまたはすべての態様の範囲を線引きすることも意図されていない。その唯一の目的は、後に提示されるより詳細な説明の前置きとして、１つまたは複数の態様のいくつかの概念を簡略化された形態で提示することである。
【0007】
本開示の第１の態様によれば、モバイル装置上で再生するように構成された音声コンテンツを、別個の視覚表示システム上で再生するように構成された音声視覚表示の視覚コンテンツに同期させる方法が提供される。
この方法は、
第１の位置および時間において前記視覚表示システムによって制御される視覚出力装置（又は、ビジュアル出力デバイス）上で前記視覚コンテンツを提示するステップと、
前記視覚表示システムから、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは、前記視覚表示システム真時間と、視覚コンテンツ状態と、視覚コンテンツタイムコードとを含む、該ステップを有する。
この方法はさらに、処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記視覚コンテンツタイムコード、モバイル装置真時間、および前記視覚表示システム真時間に基づく音声コンテンツタイムコードを決定するステップを有し、
前記視覚コンテンツ状態が再生モードにあるときに第２の位置および時間において前記モバイル装置上で前記音声コンテンツを再生するようにトリガされたときに、前記音声コンテンツは、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードで再生される。
この方法は、
第１の位置および時間において前記視覚表示システムによって制御される視覚出力装置（又は、ビジュアル出力デバイス）上で前記視覚コンテンツを提示するステップと、
前記視覚表示システムから、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは、前記視覚表示システム真時間と、視覚コンテンツ状態と、視覚コンテンツタイムコードとを含む、該ステップを有する。
この方法はさらに、処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記視覚コンテンツタイムコード、モバイル装置真時間、および前記視覚表示システム真時間に基づく音声コンテンツタイムコードを決定するステップを有し、
前記視覚コンテンツ状態が再生モードにあるときに第２の位置および時間において前記モバイル装置上で前記音声コンテンツを再生するようにトリガされたときに、前記音声コンテンツは、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードで再生される。
【0008】
好ましくは、この方法は、
前記音声コンテンツタイムコードが前記視覚表示システム上の前記視覚コンテンツタイムコードと所定の時間隔を超えて非同期か否かを判定するステップと、
前記音声コンテンツタイムコードが前記所定の時間隔を超えて非同期である場合に応答して、前記モバイル装置上の前記音声コンテンツの再生を、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードに調整するステップを有する。
前記音声コンテンツタイムコードが前記視覚表示システム上の前記視覚コンテンツタイムコードと所定の時間隔を超えて非同期か否かを判定するステップと、
前記音声コンテンツタイムコードが前記所定の時間隔を超えて非同期である場合に応答して、前記モバイル装置上の前記音声コンテンツの再生を、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードに調整するステップを有する。
【0009】
好ましくは、前記音声コンテンツタイムコードは、前記視覚コンテンツタイムコードと、前記モバイル装置真時間と前記視覚表示システム真時間の間の時間差との集計に基づいて決定される。
【0010】
好ましくは、前記同期メッセージは、前記視覚コンテンツタイムコードに対する調整が行われたときに送信される。
【0011】
好ましくは、前記同期メッセージは、前記視覚コンテンツ状態に対する状態変化があるときに送信される。
【0012】
好ましくは、前記モバイル装置真時間は、モバイル装置ローカル時間およびモバイル装置時間偏差に基づいて決定され、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出された（又は、に由来した／derived from）タイムサーバ現在時間との間の時間差である。
【0013】
好ましくは、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である。
【0014】
好ましくは、所定の時間隔は約２００ｍｓである。
【0015】
本開示の第２の態様によれば、モバイル装置上で再生するように構成された従音声コンテンツ（又は、スレーブオーディオコンテンツ）を、ライブ視覚表示（又は、ライブビジュアルディスプレイ）と同期した主音声コンテンツ（又は、マスターオーディオコンテンツ）に同期させる方法が提供され、前記主音声コンテンツは、別個の視覚表示システム上で再生するように構成される。この方法は第１の位置および時間において前記視覚表示システム上で前記主音声コンテンツを再生するステップと、前記視覚表示システムから、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップと、前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップとを含み、前記同期メッセージは、前記視覚表示システム真時間、主音声コンテンツ状態および主音声コンテンツタイムコードを含む。この方法はさらに、前記処理サーバによって、周期的時間隔で、モバイル装置に同期メッセージを送信し、前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定することを含み、前記主音声コンテンツ状態が再生モードにあるときに第２の位置および時間において、前記モバイル装置上の前記従音声コンテンツを再生するようにトリガされたときに、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードで再生される。
【0016】
好ましくは、本方法は、前記従音声コンテンツタイムコードが前記視覚表示システム上の前記主音声コンテンツとの所定の時間隔を超えて非同期か否かを決定し、前記従音声コンテンツタイムコードが前記所定の時間隔を超えて非同期である場合に応答して、前記モバイル装置上の前記従音声コンテンツの再生を、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記音声コンテンツタイムコードに調整する。
【0017】
好ましくは、前記従音声コンテンツが前記ライブ視覚表示の一部を開始するための従音声キュートラックを含み、それによって、前記従音声キュートラックは前記音声キュートラックが前記主音声コンテンツと同期するように構成されるように、１つまたは複数のコンピューティング装置によって１つまたは複数の制御システムに送信される。
【0018】
好ましくは、前記従音声コンテンツが前記主音声コンテンツと同期するように構成された音声記録（又は、ボイスレコーディング）に関連付けられた音声サウンドトラックを含む。
【0019】
好ましくは、前記従音声コンテンツが前記主音声コンテンツと同期するように構成された音楽伴奏に関連付けられた音声サウンドトラックを含む。
【0020】
好ましくは、前記主音声コンテンツがコントローラまたは手動オペレータによってライブ視覚表示の一部をトリガするように構成された音声キュートラックを含む。
【0021】
好ましくは、前記従音声コンテンツが前記主音声コンテンツと同期するように構成された、手動オペレータによって、ライブ視覚表示の一部をトリガするように構成された従音声キュートラックを備える。
【0022】
好ましくは、前記同期メッセージが前記視覚コンテンツタイムコードに対する調整が行われたときに送信される。
【0023】
好ましくは、前記同期メッセージが前記視覚コンテンツ状態に対する状態変化があるときに送信される。
【0024】
好ましくは、前記従音声コンテンツタイムコードが前記主音声コンテンツタイムコードと、前記モバイル装置真時間と前記視覚表示システム真時間との間の時間差との集計に基づいて決定され、前記モバイル装置真時間はモバイル装置ローカル時間とモバイル装置時間偏差とに基づいて決定され、前記モバイル装置時間偏差は前記モバイル装置ローカル時間と、前記モバイル装置と通信しているタイムサーバから導出されたタイムサーバ現在時間との間の時間差である。
【0025】
好ましくは、前記視覚表示システム真時間が視覚表示システムローカル時間と視覚表示システム時間偏差とに基づいて決定され、前記視覚表示システム時間偏差は前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である。
【0026】
好ましくは、前記所定の時間隔は約２００ｍｓである。
【0027】
本開示の第３の態様によれば、少なくとも１つのプロセッサと、少なくとも１つのコンピュータ読み取り可能な記憶媒体と、ネットワークに接続された同期アプリケーションとを有するモバイル装置上で実行するように構成された方法が提供される。この方法は前記モバイル装置上に記憶するように構成された音声コンテンツを送信し、モバイル装置ローカル時間とモバイル装置時間偏差に基づいてモバイル装置真時間を取得し、前記モバイル装置時間偏差は前記モバイル装置ローカル時間と、前記モバイル装置と通信しているタイムサーバから導出されたタイムサーバ現在時間との間の時間差であり、視覚表示システムとの無線通信において、周期的な時間隔で処理サーバからの同期メッセージを受信することを含み、前記同期メッセージは、視覚表示システム真時間、視覚コンテンツ状態、および視覚コンテンツタイムコードを含む。前記方法は前記視覚コンテンツタイムコード、前記モバイル装置真時間、および前記視覚表示システム真時間に基づく音声コンテンツタイムコードを決定することをさらに含み、前記視覚表示システム真時間は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差から取得され、前記視覚コンテンツ状態が再生モードにあるときに、前記音声コンテンツを前記モバイル装置上で再生するようにトリガされたときに、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードで前記音声コンテンツが再生されることを特徴とする。
【0028】
本開示の第４の態様によれば、モバイル装置上で再生するように構成された従音声コンテンツを、別個の視覚表示システム上で再生するように構成された主音声コンテンツに同期させる方法が提供される。
この方法は前記視覚表示システムから、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップであって、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信しているタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは前記視覚表示システム真時間と、動作モードに関連付けられた主音声コンテンツ状態と、前記視覚表示システムの現在位置に関連付けられた主音声コンテンツタイムコードとを含む、該ステップと、前記処理サーバによって、周期的な時間隔で同期メッセージを前記モバイル装置に送信するステップとを含む。本方法はさらに、前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップであって、前記モバイル装置真時間は、前記モバイル装置ローカル時間と、前記モバイル装置と通信する前記タイムサーバから導出されたタイムサーバ現在時刻との間の時間差に基づく、該ステップを含み、前記主音声コンテンツ状態が再生モードにあるときに、前記モバイル装置上で前記従音声コンテンツを再生するようにトリガされたときに、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードで再生される。
この方法は前記視覚表示システムから、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップであって、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信しているタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは前記視覚表示システム真時間と、動作モードに関連付けられた主音声コンテンツ状態と、前記視覚表示システムの現在位置に関連付けられた主音声コンテンツタイムコードとを含む、該ステップと、前記処理サーバによって、周期的な時間隔で同期メッセージを前記モバイル装置に送信するステップとを含む。本方法はさらに、前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップであって、前記モバイル装置真時間は、前記モバイル装置ローカル時間と、前記モバイル装置と通信する前記タイムサーバから導出されたタイムサーバ現在時刻との間の時間差に基づく、該ステップを含み、前記主音声コンテンツ状態が再生モードにあるときに、前記モバイル装置上で前記従音声コンテンツを再生するようにトリガされたときに、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードで再生される。
【0029】
本開示の第５の態様によれば、モバイル装置上で再生するように構成された従音声コンテンツを、別個の視覚表示システム上で再生するように構成された主音声コンテンツに同期させるためのシステムであって、
メモリと、
前記メモリに結合された１つまたは複数のプロセッサであって、前記メモリは前記プロセッサによって実行されたときに、前記プロセッサに、
前記視覚表示システムから、視覚表示システム真時間を取得するステップであって、前記視覚表示システム真時間は視覚表示システムローカル時間と視覚表示システム時間偏差とに基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは、前記視覚表示システム真時間、動作モードに関連付けられた主音声コンテンツ状態、および前記視覚表示システムの現在位置に関連付けられた主音声コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
さらに、前記主音声コンテンツタイムコード、モバイル装置真時間、および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップであって、前記モバイル装置真時間は、前記モバイル装置ローカル時間とモバイル装置時間偏差に基づき、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信する前記タイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
を含む動作を実行させるプロセッサ実行可能コードを含む、該メモリを有し、
前記主音声コンテンツ状態が再生モードにあるときに前記モバイル装置上で前記従音声コンテンツを再生するようにトリガされたときに、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードで再生される、システムが提供される。
メモリと、
前記メモリに結合された１つまたは複数のプロセッサであって、前記メモリは前記プロセッサによって実行されたときに、前記プロセッサに、
前記視覚表示システムから、視覚表示システム真時間を取得するステップであって、前記視覚表示システム真時間は視覚表示システムローカル時間と視覚表示システム時間偏差とに基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは、前記視覚表示システム真時間、動作モードに関連付けられた主音声コンテンツ状態、および前記視覚表示システムの現在位置に関連付けられた主音声コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
さらに、前記主音声コンテンツタイムコード、モバイル装置真時間、および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップであって、前記モバイル装置真時間は、前記モバイル装置ローカル時間とモバイル装置時間偏差に基づき、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信する前記タイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
を含む動作を実行させるプロセッサ実行可能コードを含む、該メモリを有し、
前記主音声コンテンツ状態が再生モードにあるときに前記モバイル装置上で前記従音声コンテンツを再生するようにトリガされたときに、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードで再生される、システムが提供される。
【図面の簡単な説明】
【0030】
本発明のいくつかの実施形態は一例として示されており、添付の図面の図によって限定されない。
【0031】
図面において、同様の参照符号は概して異なる図面を通じて同一の部分を指す。図面は必ずしも縮尺通りではなく、代わりに、概して、本発明の原理を示すことに重点が置かれている。様々な特徴または要素の寸法は、明確にするために任意に拡大または縮小されてもよい。以下の説明では、本発明の様々な実施形態が以下の図面を参照して説明される。
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【発明を実施するための形態】
【0040】
以下の詳細な説明は、例示として、本発明が実施され得る特定の詳細および実施形態を示す添付の図面を参照する。これらの実施形態は、当業者が本発明を実施することを可能にするのに十分詳細に説明される。本発明の範囲から逸脱することなく、他の実施形態を利用することができ、構造上の変更および論理的な変更を行うことができる。いくつかの実施形態は新しい実施形態を形成するために１つまたは複数の他の実施形態と組み合わせることができるので、様々な実施形態は必ずしも相互に排他的ではない。
【0041】
システムまたは方法のうちの１つの文脈で説明される実施形態は、他のシステムまたは方法に対して同様に有効である。同様に、システムの文脈で説明される実施形態は方法についても同様に有効であり、その逆も同様である。
【0042】
実施形態の文脈で説明される特徴は、これらの他の実施形態で明示的に説明されていなくても、他の実施形態に対応して適用可能であり得る。さらに、実施形態の文脈における特徴について説明したような追加および／または組み合わせおよび／または代替は、他の実施形態における同じまたは同様の特徴に対応して適用可能であり得る。
【0043】
本明細書で使用され、様々な実施形態の文脈で使用されるように、「視覚コンテンツ」という表現は任意のタイプの視覚メディア、例えば、任意の電子手段上で再生（又は、プレイ／play）されるビデオまたは静的視覚メディアを指すことができ、これらは移動、アニメーション化、変更、またはユーザによって見られている間に視覚的に修正されることが可能であり得る。「視覚コンテンツ」は様々な実施形態の文脈で使用されるように、「視覚データ」と交換可能に使用することができ、「視覚データ」は花火、レーザー、投光、噴水などのような視覚要素を操作するために使用されるデータを指すことができるが、これらに限定されない。
【0044】
本明細書および様々な実施形態の文脈で使用されるように、「音声コンテンツ」という表現は、「オーディオデータ」と交換可能に使用され得る。
【0045】
本明細書および様々な実施形態の文脈で使用されるように、特徴または要素に関して使用される冠詞「ａ」、「ａｎ」および「ｔｈｅ」は、特徴または要素のうちの１つまたは複数への言及を含む。
【0046】
本明細書および様々な実施形態の文脈で使用されるように、用語「および／または」は、関連する列挙された項目のうちの１つまたは複数の任意の組合せおよびすべての組合せを含む。
【0047】
したがって、１つまたは複数の例示的な実施形態では、説明された機能がハードウェア、ソフトウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、コンピュータ可読媒体上の１つまたは複数の命令またはコードとして記憶または符号化されてもよい。
【0048】
本明細書および様々な実施形態の文脈で使用されるように、位置および時間に関連して使用される「第２の」および「第１の」は限定することなく位置および時間を区別するために使用され、例えば、「第２の位置および時間」は「第１の位置および時間」が必要とされることなく提供されてもよく、または逆に、「第１の位置および時間」は、「第２の位置および時間」が必要とされることなく提供されてもよい。
【0049】
本明細書において、用語「有する」（ｃｏｍｐｒｉｓｉｎｇ）は、用語「含む」（including）と同様の広い意味を有すると理解されるべきであり、記載された整数（integer）またはステップまたは整数またはステップのグループを含むことを意味するが、他の整数またはステップまたは整数またはステップのグループを排除するものではないと理解されるべきであり、この定義は「有する」および「含む」などの用語「有している」（ｃｏｍｐｒｉｓｉｎｇ）の変形にも適用される。
【0050】
本明細書において、「タイムコード」とは、音声又は視覚コンテンツファイルの「再生中」又は「停止中」の位置を参照するために使用することができる、音声又は視覚コンテンツメディア全体にわたって、一貫した時間隔の任意の記号的命名を指す。
【0051】
発明を容易に理解し、実用的に実施しうるために、特定の実施形態を、限定ではなく例として、図面を参照して説明する。特定のシステムについて本明細書で説明される任意の特性は、本明細書で説明される任意のシステムについても成り立ち得ることが理解されるであろう。特定の方法について本明細書で説明される任意の特性は、本明細書で説明される任意の方法についても成り立ち得ることが理解されるであろう。さらに、本明細書で説明される任意のシステムまたは方法について、必ずしも説明されるすべての構成要素またはステップがシステムまたは方法に含まれなければならないわけではなく、いくつかの（ただしすべてではない）構成要素またはステップのみが含まれてもよいことが理解されるであろう。
【0052】
本開示は、音声視覚コンテンツ（又は、オーディオビジュアルコンテンツ）の一部（又は、ピース／piece）内の音声コンテンツがユーザのモバイル装置に事前にダウンロードされ、次いで、別個の視覚表示システム上で再生されている視覚コンテンツと同期して（好ましくはヘッドホンを介して）再生されることを可能にするシステムおよび方法を提供することによって、上述の問題に対する解決策を提供しようとする。
【0053】
本開示はまた、１つまたは複数のモバイル装置上の従音声コンテンツの再生（playback）を、別個の視覚表示システム上の主音声コンテンツおよび／または主視覚コンテンツに同期させることを可能にする。言い換えれば、いくつかの実施形態では、本開示が１つまたは複数のモバイル装置上の従音声コンテンツを、別個の視覚表示システム上の主音声コンテンツに同期させることを可能にする。他の実施形態では、本開示が１つまたは複数のモバイル装置上の従音声コンテンツを、別個の視覚表示システム上の主視覚コンテンツに同期させることを可能にする。他の実施形態では、本開示が１つまたは複数のモバイル装置上の従音声コンテンツを、別個の視覚表示システム上の主視覚コンテンツおよび主音声コンテンツに同期させることを可能にする。
【0054】
図１は、１つまたは複数のモバイル装置５０、５１、５２上の従音声コンテンツを、別個の視覚表示システム１０上の主音声コンテンツまたは主視覚コンテンツに同期させるためのシステム６０を示す。いくつかの実施形態によれば、別個の視覚表示システム１０は、１つまたは複数のモバイル装置５０、５１、５２から離れた位置に配置される。システム６０において、モバイル装置の各ユーザは、モバイル装置上の音声同期アプリケーションにアクセスする。モバイル装置は、モバイルハンドセット、ユニット、デバイス、マルチメディアタブレット、ファブレット、コミュニケータ、デスクトップコンピュータ、ラップトップコンピュータ、パーソナルデジタルアシスタント、またはそれらの任意の組み合わせを含む、任意のタイプの固定デバイス、またはポータブルデバイスであり得、モバイル装置に有線または無線で接続されるスピーカ、ヘッドホン、またはイヤホンを用いてモバイル装置の機能を実行するように特に構成される。モバイル装置５０、５１、５２は、通信ネットワーク（図示せず）を介して、処理サーバ３０、データ記憶サーバ（又は、データストレージサーバ）４０およびタイムサーバ２０と通信することができる。音声同期アプリケーションは所定の時間に、または必要に応じて、ユーザによってデータ記憶サーバ４０からダウンロードされてもよい。
【0055】
視覚表示システム１０は、通信ネットワーク（図示せず）を介して、処理サーバ３０、データ記憶サーバ４０およびタイムサーバ２０と通信することができる。いくつかの実施形態では、視覚コンテンツを制御し、再生するためのインターフェースを提供するために、ビジュアルプレーヤディスプレイアプリケーションが視覚表示システム上にダウンロードされ、インストールされてもよい。視覚出力装置１１は、有線又は無線接続を介して視覚表示システムに接続されてもよい。様々な実施形態によれば、視覚出力装置は視覚表示出力（又は、視覚ディスプレイ出力）、例えば、テレビ、プロジェクタ、または公共の環境で視聴者によって見られるように構成されたモニタであってもよい。視覚表示システムがオペレータによって主視覚コンテンツを再生するように開始されると、主視覚コンテンツが視覚出力装置上に表示される。主視覚コンテンツは映画、ＴＶ、デジタル視覚コンテンツなどを含むことができるが、これらに限定されない。いくつかの実施形態では、本開示が１つまたは複数のモバイル装置上の従音声コンテンツを、別個の視覚表示システム上の主視覚コンテンツに同期させることを可能にする。例えば、イベントにおいて視覚出力装置上に示されるショーまたは映画の上映（又は、スクリーニング）のコンテキスト（又は、場合）では、そのイベントにおいて視聴者メンバーのモバイル装置上で再生される従音声コンテンツが視覚表示システム上で再生されている主視覚コンテンツと同期させることができる。主視覚コンテンツは、データ記憶サーバからダウンロードまたは再生されてもよく、または視覚表示システムのメモリに記憶されてもよい。
【0056】
タイムサーバ２０は基準時計から実際の時刻を読み出し、通信ネットワークを用いてこの情報を配信するサーバである。タイムサーバは、通信ネットワークを介して時刻を分配し、同期させるネットワークタイムプロトコル（ＮＴＰ）を使用するサーバであってもよい。
【0057】
処理サーバ３０は単一のサーバであってもよいし、サーバグループであってもよい。サーバグループは集中型であっても、分散型であってもよい（例えば、処理サーバ３０は、分散型システムであってもよい）。いくつかの実施形態において、処理サーバ３０は、ローカルでもリモートでもよい。例えば、処理サーバ３０は、通信ネットワークを介して、視覚表示システムまたはモバイル装置に記憶された情報および／またはデータにアクセスすることができる。別の例として、処理サーバ３０は記憶された情報および／またはデータにアクセスするために、視覚表示システムに直接接続してもよい。いくつかの実施形態において、処理サーバ３０は、クラウドプラットフォーム上に実装されてもよい。単に例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、またはそれらの任意の組合せを含むことができる。
【0058】
データ記憶サーバ４０は、視覚表示システム１０及びモバイル装置５０、５１、５２とネットワーク通信していてもよく、分離された従音声コンテンツ及び主視覚コンテンツ又は主音声コンテンツを含んでもよい。主視覚コンテンツは通信ネットワークを介して視覚表示システムにダウンロードし、視覚表示システムのメモリ内に格納することができる。視覚表示システムはまた、多数の機能、特にビデオプレーヤアプリケーション（図示せず）を実行するためにコードまたはプログラミングを実行（execute）または実施（run）するように動作するプロセッサ（図示せず）を含む。いくつかの実施形態において、主視覚コンテンツは、データ記憶サーバ４０からダウンロードされなくてもよい。いくつかの実施形態では、それはハードドライブへの直接接続を介して視覚表示システム上にアップロードされてもよい。いくつかの実施形態では、従音声コンテンツが通信ネットワークを介してモバイル装置によってデータ記憶サーバからモバイル装置にダウンロードされ、前記モバイル装置のメモリに記憶されることができる。
【0059】
いくつかの実施形態では、本開示が１つまたは複数のモバイル装置上の従音声コンテンツを、別個の視覚表示システム上の主音声コンテンツに同期させることを可能にする。例えば、第１の位置でのライブ視覚表示パフォーマンスのコンテキストでは、第２の位置で視聴者メンバーのモバイル装置上で再生される従音声コンテンツが視覚表示システム上で再生されている主音声コンテンツと同期することができる。いくつかの実施形態では、視覚表示システムが制御システム１２と有線または無線通信することができる。制御システム１２は、所望の結果を達成するために他のデバイスまたはシステムの挙動を命令または調整するデバイスのシステムまたはデバイスのセットである。いくつかの実施形態では、制御システム１２がライブ視覚表示パフォーマンスの一部をトリガするためのボタン、キー、またはスイッチなどの入力デバイスを含む。視覚表示システム上で再生するように構成される主音声コンテンツは音声キュートラックが音声サウンドトラックに対する時間の正確な描写であり得るように、その主音声コンテンツを形成するために１つ以上の音声サウンドトラックに埋め込まれ、ミキシングされ、または組み合わされ得る１つ以上の音声キュートラックを含み得る。モバイル装置上で再生するように構成される従音声コンテンツはすべての従音声コンテンツが主音声コンテンツと同じ所定の継続時間になるように、その従音声コンテンツを形成するために１つ以上の音声サウンドトラックに埋め込まれ、ミキシングされ、または組み合わされ得る１つ以上の従音声キュートラックを含み得る。音声キュートラックは、ライブ視覚表示パフォーマンスの一部を制御またはアクティブ化するように構成される。音声キュートラックには、ＳＭＰＴＥタイムコード、ＦＳＫタイムコード、ＬＴＣ（Linear Time Code）などのサウンドキューや音声タイムコードを含めることができる。これらはそれぞれ、タイムコードの標準プロトコルである。音声キュートラックは、ライブ視覚表示パフォーマンスの一部を制御または指示する花火、タイミング、照明またはサウンドキューの形態とすることができるキューを含むことができる。例えば、花火ディスプレイでは音声キュートラックが花火キューを含むことができ、花火キューの各々は異なる時間に異なる花火セットをアクティブ化する。一方、主音声コンテンツは別個の音声出力装置（図示せず）に入力されてもよい、音楽コンテンツまたは音声が録音されたもの（ｒｅｃｏｒｄｉｎｇ）であってもよい音声サウンドトラックを含んでもよい。いくつかの実施形態では、音声キュートラックが視覚表示システムから制御システムに供給される。いくつかの実施形態では、音声キュートラックが視覚表示システムと同期して音声キュートラックを再生する従モバイル装置とすることができる１つまたは複数の外部デバイス（図示せず）によって１つまたは複数の制御システムに供給される。他の実施形態では、制御システムがライブ視覚表示パフォーマンスのキューをアクティブ化するための音声タイムコードに対応する制御信号を含む。一方、従音声コンテンツは、視聴者メンバーの従モバイル装置によって再生されることができる、音楽コンテンツまたは音声録音（ｓｏｕｎｄ ｒｅｃｏｒｄｉｎｇ）であってもよい音声サウンドトラックを含んでもよい。
【0060】
主音声コンテンツは、あらかじめ決められた継続時間の音声サウンドトラックである。前述のように、従音声コンテンツは、それ自体の音声タイムコード、照明キュー、サウンドキューまたは花火キュー、またはそれらの組み合わせを含むことができる従音声キュートラックを含むことができる。１つまたは複数の従音声キュートラックのそれぞれは、主音声コンテンツと同じ所定の継続時間である。従音声キュートラックは、音声同期アプリケーションを介して１つまたは複数の従外部デバイスで再生されうる。このように、モバイル装置などの従外部デバイスが視覚表示システム上で再生される主音声コンテンツと同期して再生される従音声キュートラックを再生することを可能にすることによって、従モバイル装置のオペレータは、ライブ視覚表示パフォーマンスの一部を制御または指示することができる。例えば、一実施形態では、従モバイル装置が視覚表示システムと有線または無線通信する制御システムとは異なる第２の制御システムと有線または無線通信することができる。その第２の制御システムは、従モバイル装置上で再生する従音声キュートラックに対応する制御信号を受信すると、照明キューまたは花火キューをトリガするように代わる代わる（in turn）構成することができる。別の実施形態では、従モバイル装置が第２の制御システムと通信していなくてもよい。モバイル装置のオペレータはモバイル装置上で再生している従音声キュートラックを聞き、オペレータがそうするためのキューを受け取ると、第２の制御システム上の照明キューまたは花火キューをトリガする。
【0061】
一例として、視覚表示システムは、ＳＭＰＴＥ、ＦＳＫまたはＬＴＣのような音声タイムコードを含む音声キュートラックを含む主音声コンテンツを再生することができる。音声キュートラックは、様々なタイムコード位置に関連付けられた１つまたは複数の花火キューを有する第１の制御システムに供給される。いくつかの実施形態では、視覚表示システムおよび第１の制御システムから離れた別々の位置にある第２または第３の制御システムに、モバイル装置を介して、視覚または音声効果を制御するように構成された音声タイムコードを含む従音声キュートラックを供給することができる。モバイル装置を有する照明ディスプレイオペレータはライブ視覚表示パフォーマンスの意図された位置で意図された照明キューをトリガするために、言語キューを含む音声キュートラックを聴くことができる。照明ディスプレイオペレータのモバイル装置は、視覚表示システム上で再生する主音声キュートラックと同期して従音声キュートラックを再生している。いくつかの実施形態では、視聴者メンバーが視覚表示システムに同期して再生される従モバイル装置上で、音楽サウンドトラックを含むことができる音声サウンドトラックを聴くことができる。これにより、花火イベントの様々なオーディオビジュアルコンポーネントが、互いに同期して動作することが可能になる。
【0062】
モバイル装置５０、５１、５２および視覚表示システム１０を通信ネットワークを介して処理サーバ３０、データ記憶サーバ４０およびタイムサーバ２０に接続することにより、これは、モバイル装置上で再生するように構成された従音声コンテンツを、主音声コンテンツおよび／または別個の視覚表示システム１０上で再生される主視覚コンテンツと同期させることを可能にし、これにより、主視覚コンテンツを表示している視覚出力装置１１を見ている視聴者メンバーが、イベントのより良い音声および視覚的体験を有することを可能にする。
【0063】
本明細書で使用されるように、モバイル装置５０、５１、５２、視覚表示システム１０、視覚出力装置１１及び制御システム１２は、ローカルエリアネットワーク、メトロポリタンエリアネットワーク、ワイドエリアネットワーク、プロプライエタリネットワーク、及び／又はインターネット、イントラネット又はエクストラネットのようなインターネットプロトコルネットワークのような任意の通信ネットワークを介してデータを交換することができる。システム内の各デバイス、モジュール、または構成要素は、ネットワークを介して接続されてもよく、または直接接続されてもよい。当業者は、「ネットワーク」、「コンピュータネットワーク」および「オンライン」という用語が同じ意味で使用されてもよく、特定のネットワーク実施形態を意味しないことを認識するであろう。一般に、任意のタイプのネットワークを使用して、本開示のオンラインまたはコンピュータネットワーク化された実施形態を実装することができる。ネットワークはサーバによって維持されてもよいし、サーバの組み合わせによって維持されてもよいし、ネットワークがサーバレスであってもよい。さらに、任意のタイプのプロトコル（ＨＴＴＰ、ＦＴＰ、ＩＣＭＰ、ＵＤＰ、ＷＡＰ、ＳＩＰ、Ｈ．３２３、ＮＤＭＰ、ＴＣＰ／ＩＰなど）を使用して、ネットワークを介して通信することができる。本明細書で説明するデバイスおよびシステムは、１つまたは複数のそのような通信ネットワークを介して通信することができる。
【0064】
図２は、１つまたは複数のコンピューティング装置上の従音声コンテンツを、様々な実施形態による、別個の視覚表示システム上で再生するように構成された主音声コンテンツまたは主視覚コンテンツに同期させるための例示的な方法を示すフローチャートである。視聴者メンバーが視覚出力装置上で、例えば、その視聴者メンバーに以前に通信されたショーの日時に、または視覚表示システム上で所定の持続時間の主音声コンテンツのみが再生されるライブ視覚表示パフォーマンスで、所定の持続時間の主視覚コンテンツを視聴することができる場所に到着すると、視聴者メンバーは、音声同期アプリケーションのダウンロードを開始することができる。音声同期アプリケーションは視聴者メンバーが視聴したいデータ記憶サーバから、主視覚コンテンツまたは主音声コンテンツと同じ所定の継続時間を有するショーの従音声コンテンツをダウンロードすることを可能にする。いくつかの実施形態では、データ記憶サーバからの従音声コンテンツのダウンロードは、所定の位置および時間に到着する前に、他の場所で行うことができる。いくつかの実施形態では、視聴者メンバーには購入のための１つまたは複数のショーの選択が所定の場所であろうと他の場所であろうと提供され、ユーザは支払いゲートウェイまたは電子財布、クレジット、または加入（subscription）料金（ただし、これらに限定されない）を使用した、ショーの支払いを促される。選択したショーの支払いが成功すると、視聴者メンバーは選択したショーの従音声コンテンツをモバイル装置のメモリにダウンロードできる。
【0065】
所定の位置および時間に、オペレータは、視覚表示システム上で主視覚コンテンツまたは主音声コンテンツのブロードキャストを開始する。いくつかの実施形態では、オペレータが主視覚コンテンツまたは主音声コンテンツを制御および再生するためのインターフェースを提供する視覚表示プレーヤアプリケーション上で、主視覚コンテンツまたは主音声コンテンツのブロードキャストを開始する。主視覚コンテンツは例えば、スクリーン、プロジェクタ、ＴＶ等の視覚出力装置に出力される。ステップ７１において、主視覚コンテンツまたは主音声コンテンツがオペレータによって再生されるようにトリガされると、視覚表示システムは視覚表示システム真時間（又は、実時間／トゥルータイム／true time）を得る。視覚表示システム真時間は、視覚表示システムローカル時間および視覚表示システム時間偏差に基づいて決定され、以下の式に基づく：
視覚表示システム真時間＝視覚表示システムローカル時間＋視覚表示システム時間偏差
視覚表示システム真時間＝視覚表示システムローカル時間＋視覚表示システム時間偏差
【0066】
視覚表示システム時間偏差は、視覚システムローカル時間と、視覚表示システムと通信するタイムサーバから得られるタイムサーバ時間との間の時間差である。
【0067】
ステップ７２で、視覚表示システムは、以下の情報を含む同期メッセージを生成するように進む：
１．視覚表示システム真時間
２．主視覚コンテンツタイムコードまたは主音声コンテンツタイムコード
３．主視覚コンテンツ状態または主音声コンテンツ状態
１．視覚表示システム真時間
２．主視覚コンテンツタイムコードまたは主音声コンテンツタイムコード
３．主視覚コンテンツ状態または主音声コンテンツ状態
【0068】
主視覚コンテンツタイムコードは、視覚表示システムで再生されている主視覚コンテンツの現在位置に対応する。主視覚コンテンツ状態または主音声コンテンツ状態は、それぞれ主視覚コンテンツまたは主音声コンテンツ状態の動作モードまたはステータスに関連付けられる。動作モードまたはステータスは、主視覚コンテンツまたは主音声コンテンツが再生を継続しているか、コンテンツが再生を停止しているかを示す「再生中」または「停止中」のいずれかになる。同期メッセージが生成されると、処理サーバに送信される。
【0069】
ステップ７３で、同期メッセージはモバイル装置が視聴者メンバーによって従音声コンテンツを再生するようにトリガされたときに、処理サーバによって、周期的（又は、定期的／periodic）な時間隔でそのモバイル装置に送信される。モバイル装置への周期的な時間隔での同期メッセージの送信は、ＷｅｂＳｏｃｋｅｔ通信プロトコルによって有効になる。これにより、モバイル装置は同期メッセージが周期的な時間隔で送信されるように、処理サーバをリッスン（listening）するか、または常時通信することが可能になる。例えば、これは、毎秒１回送信することができる。また、ＷｅｂＳｏｃｋｅｔ通信プロトコルにより、視覚表示システムがタイムコードで前後に調整されたり、状態が「再生中」から「停止中」に変更されたり、その逆に変更されたりするたびに、モバイル装置が同期メッセージを受信できるようになる。言い換えると、オペレータによる主音声コンテンツタイムコードまたは主視覚コンテンツタイムコードへの手動調整、あるいは主音声コンテンツ状態または主視覚コンテンツ状態のそれぞれの状態の変化があるときはいつでも、それに応じて１つまたは複数の同期メッセージがモバイル装置に送信される。
【0070】
ステップ７４において、モバイル装置は、モバイル装置真時間を決定する。モバイル装置真時間は、モバイル装置ローカル時間およびモバイル装置時間偏差に基づいて決定され、以下の式に基づく：
モバイル装置真時間＝モバイル装置ローカル時間＋モバイル装置時間偏差
モバイル装置真時間＝モバイル装置ローカル時間＋モバイル装置時間偏差
【0071】
モバイル装置時間偏差は、モバイル装置ローカル時間と、モバイル装置と通信するタイムサーバから得られるタイムサーバ時間との間の時間差である。
【0072】
ステップ７５で、モバイル装置は、主視覚コンテンツタイムコードまたは主音声コンテンツタイムコード、モバイル装置真時間および視覚表示システム真時間に基づいて従音声コンテンツタイムコードを決定する。従音声コンテンツタイムコードは、次の式に基づく：
レイテンシー＝モバイル装置真時間－視覚表示システム真時間
従音声コンテンツタイムコード＝主視覚コンテンツタイムコードまたは主音声コンテンツタイムコード＋レイテンシー
レイテンシー＝モバイル装置真時間－視覚表示システム真時間
従音声コンテンツタイムコード＝主視覚コンテンツタイムコードまたは主音声コンテンツタイムコード＋レイテンシー
【0073】
従音声コンテンツタイムコードは、主視覚コンテンツタイムコードまたは主音声コンテンツタイムコードとレイテンシー（又は、待ち時間／遅延時間／LATENCY）の集計（ａｇｇｒｅｇａｔｉｎｇ）に基づいて決定される。レイテンシーがモバイル装置真時間と視覚表示システム真時間の時間差によって決定される。従音声コンテンツタイムコードは、主視覚コンテンツタイムコードまたは視覚表示システムで再生されている主音声コンテンツタイムコードの現在の位置に対応する。
【0074】
ステップ７６で、主視覚コンテンツまたは主音声コンテンツが再生モードにあることが検出されると、音声同期アプリケーションは、従音声コンテンツタイムコードが主視覚コンテンツタイムコードまたは主音声コンテンツタイムコードと同期していないかどうかを判断する。モバイル装置はＷｅｂＳｏｃｋｅｔ通信プロトコルを介して処理サーバと常時接続しているため、モバイル装置は周期的な時間隔で同期メッセージを受信する。これにより、音声同期アプリケーションは、音声コンテンツタイムコードが所定の時間隔内に主視覚コンテンツタイムコードまたは主音声コンテンツタイムコードと同期していないかどうかを確認できる。従音声コンテンツタイムコードが主視覚コンテンツタイムコードまたは主音声コンテンツタイムコードと同期していないかどうかを判断する式は、次のとおりである：
差＝従音声コンテンツタイムコード－現在の従音声コンテンツタイムコード
差＝従音声コンテンツタイムコード－現在の従音声コンテンツタイムコード
【0075】
ステップ７７において、従音声コンテンツタイムコードが主視覚コンテンツタイムコードまたは±２００ｍｓを超えて主音声コンテンツタイムコードと同期していない場合（すなわち、差（DIFFERENCE）がいずれかの方向で±２００ｍｓを超えている場合）、例えば、モバイル装置は、視覚表示システム上のコンテンツの現在位置に関連付けられた主音声コンテンツタイムコードまたは主視覚コンテンツタイムコードと同期している従音声コンテンツタイムコードの再生を調整する。いくつかの実施形態では、所定の間隔が主視覚コンテンツタイムコードまたは主音声コンテンツタイムコードとの同期外れと見なされるように、約＋２００ｍｓまたは約－２００ｍｓとすることができる。ステップ７８で、差が±２００ｍｓ未満である場合、モバイル装置は、主視覚コンテンツタイムコードまたは主音声コンテンツタイムコードと同期して、従音声コンテンツタイムコードの再生を継続する。
実施例１
実施例１
【0076】
図３は、システム１００のコンポーネントの概要を示す。このコンポーネントが音声視覚コンテンツファイルから分離された視覚コンテンツ１１２および音声コンテンツ１１４を、互いに同期して、それぞれ視覚表示システム上および１つまたは複数のモバイル装置上で再生することを可能にする。再生するようにトリガされると、視覚表示システムは、視覚表示システム上で再生されている視覚コンテンツの現在位置に関連付けられた視覚コンテンツタイムコードと、その視覚表示システム上で再生されている視覚コンテンツの視覚コンテンツ状態（「再生中」または「停止中」）をタイムサーバに通知する。タイムサーバは、現在の時刻（タイムスタンプ）と視覚コンテンツの状態を含む視覚コンテンツタイムコードを記録する。ユーザのモバイル装置はタイムサーバから最新時刻、視覚コンテンツ状態、視覚コンテンツタイムコード及びタイムスタンプを取り出し、そして視覚表示システム上で再生されている視覚コンテンツと同期するように音声コンテンツの再生を調整することによって、音声視覚コンテンツの音声コンテンツを再生する。いくつかの実施形態では音声視覚コンテンツファイルがショーを含むことができ、ショーはフィルム、ＴＶ、ビデオコンテンツ、花火、照明、水、レーザーショーなどを含むが、これらに限定されない。
【0077】
タイムコードは、タイミング同期システムによって一定の間隔で生成される一連の数値コードである。タイムコードは、録画またはアクションの時間的調整またはロギングを必要とする、ビデオ制作、ショーコントロール、およびその他のアプリケーションで使用される。本開示の文脈において、「タイムコード」とは、「再生中」または「停止中」の音声または視覚コンテンツファイルの位置を参照するために使用することができる、音声または視覚メディア全体にわたる、一貫した時間隔の任意のシンボリックなネーミングを意味する。別々の音声コンテンツと視覚コンテンツを同期させるには、再生時にタイムコードを正確に一致させる必要がある。
【0078】
ネットワーク遅延を考慮するために、視覚表示システムとモバイル装置の両方が、タイムサーバとの接続時にタイムサーバ中継時間（又は、リレー時間）をチェックする。これらの中継時間は、モバイル装置上での音声コンテンツ再生の調整に使用される。
【0079】
データ記憶サーバ１１０はストレージ内に、特定の音声視覚コンテンツファイルの視覚コンテンツ１１２と音声コンテンツ１１４とを分離する。音声視覚コンテンツファイルの視覚コンテンツ１１２は、インターネット（図示せず）または他の同様の通信ネットワークを介して視覚表示システム１２０にダウンロードされ、メモリ１２６内に格納される。視覚表示システム１２０はまた、コードまたはプログラミングを実行または実施して多数の機能を実行するように動作するプロセッサ１２２を含む。例えば、プロセッサは、視覚表示アプリケーションを実行または実施させることができる。いくつかの実施形態では視覚コンテンツがデータ記憶サーバ１１０からダウンロードされる必要はないが、外部記憶ソース、例えば、ハードドライブからの直接接続を介して視覚表示システム１２０にロードされてもよい。
【0080】
特定の音声視覚コンテンツファイルの音声コンテンツ１１４は、インターネット（図示せず）または通信ネットワークを介してモバイル装置１５０にダウンロードされ、前記装置のメモリ１５６に記憶される。いくつかの実施形態において、音声コンテンツはサーバ１１０からダウンロードされる必要はないが、外部装置または記憶ソースからモバイル装置のメモリにロードされてもよい。いくつかの実施形態では、音声コンテンツが外部デバイスまたは記憶ソースから無線で、または有線接続を介して取得され得る。いくつかの実施形態では、外部デバイスまたは記憶ソースがハードドライブであってもよい。
【0081】
タイムサーバ１４０は基準クロックから実際の時刻を読み出し、通信ネットワークを用いてこの情報を分配するサーバ装置である。このタイムサーバ１４０はまた、情報を記録するためのデータベースを有する。
【0082】
（キーボード、マウス、音声制御、時間などを含むことができるが、これらに限定されない制御を使用してトリガされて）視覚表示システム１２０が視覚コンテンツ１２８の再生を開始するように設定されると、例えば、プロジェクタ、テレビ、またはモニタなどの視覚出力装置１６２への接続を介して視覚表示出力が行われる。同時に、視覚表示システム１２０は、プロセッサ１２２および視覚表示システムクロック１２４を使用して、ｐｉｎｇまたは同様の方法を使用して、インターネット（図示せず）、または同様の通信ネットワークを介して視覚表示システムタイムサーバ中継時間をチェックする。視覚表示システムタイムサーバ中継時間は、ｐｉｎｇが視覚表示システムからタイムサーバに送信されてから戻るまでにかかった時間である。続いて、それは、視覚コンテンツタイムコード、視覚表示システムタイムサーバ中継時間および視覚コンテンツ状態（「再生中」または「停止中」）をタイムサーバ１４０に送信する。タイムサーバは、本明細書でタイムスタンプと呼ばれる視覚コンテンツタイムコードを受信した時間を即座に記録する。タイムサーバ１４０がそのタイムスタンプ、視覚コンテンツタイムコード、視覚表示システムサーバ中継時間および現在の状態（「再生中」または「停止中」）をサーバのデータベースに記録する。
【0083】
モバイル装置１５０は、モバイルハンドセット、ユニット、デバイス、マルチメディアタブレット、ファブレット、コミュニケータ、デスクトップコンピュータ、ラップトップコンピュータ、パーソナルデジタルアシスタント、またはそれらの任意の組合せを含む、モバイル装置１５０に有線または無線で接続されたスピーカ、ヘッドホン、イヤホンを有するモバイル装置の機能を実行するように特に構成された、任意のタイプの固定またはポータブルコンピューティング装置とすることができる。この議論では、「モバイル装置」および「コンピューティング装置」という用語が交換可能に使用され得る。
【0084】
モバイル装置１５０は通信ネットワークにアクセスし、他のコンピュータ及びシステム、例えば、処理サーバ、データベース、及び／又はタイムサーバ、視覚表示システム及び視覚表示システムに動作的に接続された表示装置と通信することができ、これらはすべてその通信ネットワークを介して相互接続される。
【0085】
モバイル装置１５０はまた、コードまたはプログラミングアプリケーションの実行または実施のためのプロセッサ１５２を含む。いくつかの実施形態では、プロセッサが音声同期アプリケーションの実行または実施を行う。音声同期アプリケーションはユーザによってダウンロードされてもよいし、モバイル装置にプリインストールされてもよい。モバイル装置１５０上で音声コンテンツ１５８を再生すると、装置は、まず、プロセッサ１５２とモバイル装置クロック１５４を使用して、インターネット（図示せず）、または類似の通信ネットワークを介して、ｐｉｎｇまたは類似の方法を使用して、モバイル装置タイムサーバ中継時間をチェックする。モバイル装置タイムサーバ中継時間は、ｐｉｎｇがモバイル装置からタイムサーバに送信されてから戻るまでにかかった時間である。続いて、モバイル装置１５０はタイムサーバ１４０から、視覚表示システム１２０のタイムスタンプ、視覚コンテンツタイムコード、視覚的表示タイムサーバ中継時間および視覚コンテンツ状態（「再生中」または「停止中」）を取り出す。（視覚表示システムおよびモバイル装置の両方の）タイムスタンプ、視覚コンテンツタイムコード、視覚コンテンツ状態およびタイムサーバ中継時間を使用して、モバイル装置１５０は、視覚表示システム上の視覚コンテンツと同期して再生するように音声コンテンツ１５８を調整する。視覚表示システム上の視覚コンテンツと同期して再生するように音声コンテンツを調整するために、モバイル装置はＮＴＰプロトコルを使用してモバイル装置真時間を決定する、すなわち、モバイル装置はタイムサーバの現在時刻をタイムサーバでチェックし、現在のサーバ時刻とモバイル装置タイムサーバ中継時間に基づいてモバイル装置真時間を決定する。その後、音声同期アプリケーションは、視覚表示システム上で再生される視覚コンテンツタイムコードの現在位置と同期する位置で音声コンテンツを再生するように構成された音声タイムコードを決定する。音声コンテンツタイムコードは、次の式で決まる：
音声コンテンツタイムコード＝（モバイル装置真時間－（タイムスタンプ－視覚表示システムタイムサーバ中継時間／２））＋視覚コンテンツタイムコード
音声コンテンツタイムコード＝（モバイル装置真時間－（タイムスタンプ－視覚表示システムタイムサーバ中継時間／２））＋視覚コンテンツタイムコード
【0086】
視聴者メンバー１７０は、視覚出力装置１６２からの視覚コンテンツ１２８およびモバイル装置１５０を介した音声コンテンツ１５８をシームレスに、かつオーディオビジュアル同期で体験する。
【0087】
本明細書で使用されるように、モバイル装置１５０は、ローカルエリアネットワーク、メトロポリタンエリアネットワーク、ワイドエリアネットワーク、プロプライエタリネットワーク、および／またはインターネット、イントラネットまたはエクストラネットのようなインターネットプロトコルネットワークなどの任意の通信ネットワークを介して情報を交換することができる。システム内の各デバイス、モジュール、またはコンポーネントは、ネットワークを介して接続されてもよく、または直接接続されてもよい。当業者は、「ネットワーク」、「コンピュータネットワーク」および「オンライン」という用語が同じ意味で使用されてもよく、特定のネットワーク実施形態を意味しないことを認識するであろう。一般に、任意のタイプのネットワークを使用して、本開示のオンラインまたはコンピュータネットワーク化された実施形態を実装することができる。ネットワークはサーバによって維持されてもよいし、サーバの組み合わせによって維持されてもよいし、ネットワークがサーバレスであってもよい。さらに、任意のタイプのプロトコル（ＨＴＴＰ、ＦＴＰ、ＩＣＭＰ、ＵＤＰ、ＷＡＰ、ＳＩＰ、Ｈ．３２３、ＮＤＭＰ、ＴＣＰ／ＩＰなど）を使用して、ネットワークを介して通信することができる。本明細書で説明するデバイスおよびシステムは、１つまたは複数のそのような通信ネットワークを介して通信することができる。
【0088】
図４は、視覚表示システム上の視覚コンテンツと、分離された音声コンテンツとの同期を可能にするための例示的な方法を示すフローチャートである。視覚表示システムは、インターネット（または同様の通信ネットワーク）に接続されている。ステップ２１０において、オペレータは視覚表示プレーヤアプリケーションをダウンロードし、視覚表示システムのオペレーティングシステムにインストールする。ステップ２３０で、オペレータは所定の日時に再生されるようにスケジュールされた音声視覚コンテンツファイルを選択し、音声視覚コンテンツファイルの視覚コンテンツが、視覚表示システムのローカルメモリからダウンロードされ、メモリに記憶され、または開かれ、ロードされる。
【0089】
いくつかの実施形態ではステップ２５０において、オペレータはショーの位置、日付、および時間において、視覚表示システム上の視覚表示プレーヤアプリケーション上で視覚コンテンツを再生する。ステップ２８０において、視覚コンテンツは視覚出力装置、例えば、スクリーン、プロジェクタ、ＴＶ等に出力される。同時に、ステップ２６２で、視覚表示プレーヤアプリケーションはｐｉｎｇまたは類似の方法を使用してタイムサーバ中継時間をチェックし、ステップ２６４で、タイムサーバに視覚的コンテンツタイムコード、タイムサーバ中継時間および視覚コンテンツ状態（「再生中」または「停止中」）を送信する。タイムサーバは即座に、本明細書でタイムスタンプと呼ばれる視覚コンテンツタイムコードを受信した時間を記録する。ステップ２７０で、タイムサーバは、そのタイムスタンプ、視覚コンテンツタイムコード、サーバ中継時間および現在の状態（「再生中」または「停止中」）をサーバのデータベースに記録する。
【0090】
様々な実施形態によれば、タイムサーバは基準クロックから実際の時刻を読み取り、通信ネットワークを用いてこの情報を分配するサーバである。タイムサーバは、この例では、情報を記録するためのデータベースも有する。タイムサーバは、ローカルネットワークタイムサーバでもインターネットサーバでもよい。いくつかの実施形態では、ネットワーク時間プロトコル（ＮＴＰ）が通信ネットワーク上で時刻を分配し、同期するために使用される。
【0091】
図５は、モバイル装置上の音声コンテンツを別個の視覚表示システム上の視覚コンテンツに同期させるための例示的な方法を示すフローチャートである。モバイル装置がインターネット（または同様の通信ネットワーク）に接続されている。ステップ３１０で、視聴者メンバーは音声同期アプリケーションをダウンロードし、モバイル装置のオペレーティングシステムにインストールする。ステップ３２０で、視聴者メンバーは購入するショーを選択し、任意のステップとして、視聴者メンバーは、これらに限定されないが、支払いゲートウェイ、内部ウォレット（ｉｎｔｅｒｎａｌ ｗａｌｌｅｔ）、加入料金、クレジットなどを使用して、ショーの支払いを促される。あるいは、ショーが支払いを必要としない場合、視聴者メンバーは支払いを行うことを要求されない。支払いが成功した場合、または支払いが不要な場合は、そのショーの音声コンテンツがダウンロードされ、モバイル装置のメモリに保存される。
【0092】
ステップ３６０において、視聴者メンバーはそのショーの指定された日時にロケーション（又は、位置）に到着し、ステップ３７０において、視聴者メンバーは、音声コンテンツを再生するようにアプリケーションをトリガする。ステップ３７２で、モバイル装置はインターネット（または同様の通信ネットワーク）を使用してタイムサーバをチェックし、ショーが開始されたかどうかを確認する。ステップ３７４で、ショーが開始された場合、モバイル装置は視覚表示システムから、「再生中」ステータスの視覚コンテンツ状態、タイムコード、及びタイムスタンプの記録の存在を確認する。モバイル装置がレコードを検出しない場合、またはタイムサーバデータベース上の「停止中」状態にある視覚コンテンツ状態を検出した場合、音声コンテンツは再生されない。ステップ３７６で、モバイル装置が「再生中」ステータスの視覚コンテンツ状態、タイムコード、及びタイムスタンプがあることを検出すると、モバイル装置は次にｐｉｎｇまたは同様の方法を使用してサーバ中継時間をチェックする。ステップ３７８で、モバイル装置は視覚表示システムのタイムサーバの現在時刻、タイムスタンプ、タイムコード、サーバ中継時間および視覚コンテンツ状態（「再生中」または「停止中」状態）をタイムサーバデータベースから取り出し、これらをモバイル装置のサーバ中継時間と共に使用して、視覚コンテンツと同期して再生される音声コンテンツの調整を計算する。視覚表示システム上の視覚コンテンツと同期して再生するように音声コンテンツを調整するために、モバイル装置は（視覚表示システムとモバイル装置の両方の）タイムスタンプ、視覚コンテンツタイムコード、視覚コンテンツ状態およびタイムサーバ中継時間を使用する。モバイル装置はＮＴＰプロトコルを使用してモバイル装置真時間を決定する、すなわち、モバイル装置はタイムサーバの現在時刻をタイムサーバでチェックし、現在のサーバ時刻とモバイル装置タイムサーバ中継時間に基づいてモバイル装置真時間を決定する。その後、音声同期アプリケーションは、視覚表示システム上で再生される視覚コンテンツタイムコードの現在位置と同期する位置で音声コンテンツを再生するように構成された音声タイムコードを決定する。音声コンテンツタイムコードは、次の式で決まる：
音声コンテンツタイムコード＝（モバイル装置真時間－（タイムスタンプ－視覚表示システムタイムサーバ中継時間／２））＋視覚コンテンツタイムコード
音声コンテンツタイムコード＝（モバイル装置真時間－（タイムスタンプ－視覚表示システムタイムサーバ中継時間／２））＋視覚コンテンツタイムコード
【0093】
いくつかの実施形態において、タイムサーバおよびデータベース１４０は、単一のサーバまたはサーバグループであってもよい。サーバグループは集中型であっても、分散型であってもよい（例えば、分散型システムであってもよい）。いくつかの実施形態において、タイムサーバおよびデータベース１４０は、ローカルまたはリモートであってもよい。いくつかの実施形態において、タイムサーバおよびデータベースは、クラウドプラットフォーム上に実装されてもよい。単に例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、またはそれらの任意の組合せを含むことができる。
実施例２
実施例２
【0094】
図６は、音声視覚コンテンツの分離された視覚コンテンツ４１２および音声コンテンツ４１４が互いに同期して別個のデバイス上で再生されることを可能にする、システム４００のコンポーネントの概要を示す。いくつかの実施形態では音声視覚コンテンツがショー、フィルム、ＴＶ、ビデオコンテンツ、花火、照明、水、レーザーショーなどであるが、これらに限定されない。
図６はタイムサーバが別個のエンティティ、即ち、上述の実施例１に開示されたタイムサーバとは異なるものであり、モバイル装置と視覚表示システムとの間の通信は、処理サーバ４４５を介して行われる、代替実施形態を示す。なお、本実施形態に開示されるタイムサーバとは、基準クロックから実際の時刻を読み取り、ＮＴＰプロトコルを用いてこの情報を分配する、インターネット上で公開されているタイムサーバ装置、例えばＧｏｏｇｌｅ公開ＮＴＰタイムサーバを指す。
図６はタイムサーバが別個のエンティティ、即ち、上述の実施例１に開示されたタイムサーバとは異なるものであり、モバイル装置と視覚表示システムとの間の通信は、処理サーバ４４５を介して行われる、代替実施形態を示す。なお、本実施形態に開示されるタイムサーバとは、基準クロックから実際の時刻を読み取り、ＮＴＰプロトコルを用いてこの情報を分配する、インターネット上で公開されているタイムサーバ装置、例えばＧｏｏｇｌｅ公開ＮＴＰタイムサーバを指す。
【0095】
データ記憶サーバ４１０はストレージ内に、特定のショーの視覚コンテンツ４１２と音声コンテンツ４１４とを分離する。ショーの視覚コンテンツ４１２は、インターネット（図示せず）、または他の同様の通信ネットワークを介して視覚表示システム４２０にダウンロードされ、視覚表示システムのメモリ４２６内に記憶される。いくつかの実施形態では、視覚コンテンツと音声コンテンツは両方とも、通信ネットワークを介して視覚表示システムにダウンロードされる。視覚表示システム４２０はまた、コードまたはプログラミングを実行または実施して多数の機能を実行するように動作するプロセッサ４２２を含む。例えば、プロセッサは、視覚表示アプリケーションを実施するようにプログラムされてもよい。いくつかの実施形態では視覚コンテンツがデータ記憶サーバ４１０からダウンロードされる必要はないが、外部データソースからの無線または有線接続を介して視覚表示システム４２０にロードされてもよい。たとえば、外付けデータソースがハードドライブであってもよい。
【0096】
特定のショーの音声コンテンツ４１４は、インターネット（図示せず）または同様の通信ネットワークを介してモバイル装置４５０にダウンロードされ、前記装置のメモリ４５６に格納される。音声コンテンツは、データ記憶サーバ４１０からダウンロードする必要はない。いくつかの実施形態では、音声コンテンツが外部データソースからの無線または有線接続を介して、モバイル装置のメモリにロードされてもよい。たとえば、外付けデータソースがハードドライブであってもよい。
【0097】
タイムサーバ４４０はインターネット上で公衆利用可能なタイムサーバなどの基準クロックから実際の時刻を読み出し、ＮＴＰプロトコルを用いてこの情報を分配するサーバ装置である。ＮＴＰプロトコルは、各交換が要求と応答の対であるいくつかのパケット交換を使用して、クライアントをネットワークサーバに同期することを含む。要求送信時に、クライアントは送信されるパケットに自身の時刻（オリジネート（originate）・タイムスタンプ）を格納する。サーバがこのようなパケットを受信すると、パケットに自身の時刻（受信タイムスタンプ）を格納し、パケットに送信タイムスタンプを入れた後にパケットが返される。応答受信時に、受信機はパケットの移動時間を推定するために、自身の受信時間をもう一度ログする。移動時間（遅延）は、対称遅延を仮定すると、「総遅延から遠隔処理時間を引いた時間」の半分と推定される。
【0098】
また、視覚表示システム４２０からすべてのモバイル装置４５０への同期メッセージの送信のための処理サーバ４４５もある。処理サーバからモバイル装置への同期メッセージの伝送のためのプロトコルは、Ｗｅｂｓｏｃｋｅｔまたは同様のプロトコルを用いて、処理サーバ４４５を介して軽量で高速な接続を介して確立することができる。処理サーバとモバイル装置間のこの常時接続により、頻繁かつ周期的な同期メッセージを視覚表示システムからモバイル装置に送信できるようになる。また、モバイル装置および視覚表示システムの両方とも、タイムサーバ４４０からのモバイル装置時間偏差および視覚表示システム時間偏差を、それぞれ定期的にチェックする。
【0099】
（キーボード、マウス、音声制御、時間などを含むことができるが、これらに限定されない制御を使用してトリガされて）視覚表示システム４２０が視覚コンテンツ４２８の再生を開始するように設定されている場合、視覚出力装置４６２への接続を介して視覚表示出力が行われる。いくつかの実施形態では、視覚出力装置はプロジェクタ、テレビジョン、モニタである。同時に、視覚表示システム４２０はプロセッサ４２２およびクロック４２４を使用して、インターネット（図示せず）、または類似の通信ネットワークを介して、タイムサーバ４４０からの現在の時間をチェックし、その視覚表示システム時間偏差を計算する。そのローカル時間およびタイムサーバ時間からの時間偏差を使用して、視覚表示システム真時間を導出することができる。続いて、それは、インターネット（図示せず）、または同様の通信ネットワークを介して視覚コンテンツタイムコード、視覚表示システム真時間および視覚コンテンツ状態を処理サーバ４４５に送る。視覚コンテンツ状態は、「再生中」または「停止中」状態を含み得る。このプロセスは、音声視覚ショー全体にわたって周期的に行われる。
【0100】
モバイル装置４５０はまた、コードまたはプログラミングの実行または実施のためのプロセッサ４５２を含む。いくつかの実施形態では、そのプロセッサが音声同期アプリケーションを実施するようにプログラムされる。モバイル装置４５０上で音声コンテンツ４５８を再生すると、装置はインターネット（図示せず）または類似の通信ネットワークを介して、タイムサーバ４４０からの時間をチェックし、プロセッサ４５２およびモバイル装置クロック４５４を用いて自身の時間偏差を計算する。モバイル装置が音声コンテンツを再生するようにトリガされると、モバイル装置は処理サーバに接続し、視覚表示システムからの同期メッセージを受信する。モバイル装置４５０は、インターネット（図示せず）、または同様の通信ネットワークを介して、処理サーバ４４５から同期メッセージを受信する。
各同期メッセージには以下が含まれる。
視覚コンテンツ状態（「再生中」または「停止中」）
視覚コンテンツタイムコード
視覚表示システム真時間
同期メッセージを受信すると、モバイル装置は２つの操作のいずれかを実行する。「再生中」の視覚コンテンツ状態は、視覚コンテンツが視覚表示出力装置または視覚表示システム上で再生中であることを示す。モバイル装置が、視覚コンテンツ状態のステータスが「停止中」である同期メッセージを受信した場合、音声コンテンツは再生されない。
各同期メッセージには以下が含まれる。
視覚コンテンツ状態（「再生中」または「停止中」）
視覚コンテンツタイムコード
視覚表示システム真時間
同期メッセージを受信すると、モバイル装置は２つの操作のいずれかを実行する。「再生中」の視覚コンテンツ状態は、視覚コンテンツが視覚表示出力装置または視覚表示システム上で再生中であることを示す。モバイル装置が、視覚コンテンツ状態のステータスが「停止中」である同期メッセージを受信した場合、音声コンテンツは再生されない。
【0101】
モバイル装置は、そのモバイル装置時間偏差をタイムサーバ４４０からチェックする。次に、モバイル装置は同期メッセージからのデータと共にモバイル装置時間偏差を使用して、現在の視覚コンテンツタイムコードまたは視覚表示システム４２０上で再生されている視覚コンテンツの現在位置を計算し、視覚出力装置上に表示される視覚コンテンツと同期するようにモバイル装置上の音声コンテンツの再生を調整する。モバイル装置時間偏差は、モバイル装置ローカル時間と、タイムサーバから取得された現在時刻との間のデルタまたは時間差である。これに対応して、視覚表示システム時間偏差は、視覚表示システムローカル時間とタイムサーバから取得された現在時刻との間のデルタまたは時間差である。
【0102】
視聴者メンバー４７０は、視覚出力装置４６２からの視覚コンテンツ４２８およびモバイル装置４５０を介した音声コンテンツ４５８をシームレスに、かつオーディオビジュアル同期で体験する。
【0103】
計算は、同期メッセージごとに次の式に従って行われる。同期メッセージの例を次に示す：
【0104】
同期メッセージ＝
視覚表示システム真時間
視覚コンテンツタイムコード（現在位置）
視覚コンテンツ状態（「再生中」または「停止中」）
視覚表示システム真時間
視覚コンテンツタイムコード（現在位置）
視覚コンテンツ状態（「再生中」または「停止中」）
【0105】
モバイル装置真時間＝モバイル装置ローカル時間＋モバイル装置時間偏差
【0106】
視覚表示システム真時間＝視覚表示システムローカル時間＋視覚表示システム時間偏差
【0107】
レイテンシー＝モバイル装置真時間－視覚表示システム真時間
【0108】
レイテンシーは、視覚表示システムとモバイル装置との間の「同期メッセージ」の中継時間を説明する。
【0109】
音声コンテンツタイムコード＝視覚コンテンツタイムコード＋レイテンシー
【0110】
ＤＩＦＦＥＲＥＮＣＥ＝音声コンテンツタイムコード－現在の音声コンテンツタイムコード
【0111】
モバイル装置の音声アプリケーションは、プレイヤが音声コンテンツタイムコードにあるかどうかを確認する。音声コンテンツタイムコードと現在の音声コンテンツタイムコードの間に２００ｍｓ以上の差異（ＤＩＦＦＥＲＥＮＣＥ）がある場合、プレイヤは音声コンテンツタイムコードを調整する。
【0112】
モバイル装置４５０および視覚表示システム４２０の可変ネットワーク状態および性能劣化による非同期化の一定のリスクがあるので、モバイル装置および視覚表示システムは、処理サーバ４４５を介して、Ｗｅｂｓｏｃｋｅｔまたは同様のプロトコルを使用して、軽量で高速な接続を確立する。この常時接続は頻繁かつ規則的な「同期メッセージ」が視覚表示システムからモバイル装置に送信されることを可能にする。モバイル装置および視覚表示システムの両方とも、モバイル装置時間偏差および視覚表示システム時間偏差をそれぞれ規則的にチェックする。モバイル装置真時間および視覚表示システム真時間をチェックするこの一定かつ頻繁なプロセスは「同期メッセージ」の送信とともに、２００ｍｓ未満の偏差で、視覚コンテンツと音声コンテンツとの同期を保証する。
【0113】
ＷｅｂＳｏｃｋｅｔ通信プロトコルは、クライアント（すなわち、モバイル装置と視覚表示システム）と通信ネットワーク経由の処理サーバ間の高速でセキュアなほぼリアルタイムの双方向通信のメカニズムを定義する。データは全二重シングルソケット接続を介して転送されるため、データパケットを両方のエンドポイントからリアルタイムで送受信できる。ＷｅｂＳｏｃｋｅｔ接続を確立するために、クライアントとサーバ間で特定のＨＴＴＰベースのハンドシェイクが交換される。成功した場合、アプリケーション層プロトコルは、以前に確立されたＴＣＰトランスポート層コネクションを使用して、ＨＴＴＰからＷｅｂＳｏｃｋｅｔに「アップグレード」される。ハンドシェイク後、ＨＴＴＰはもはや使用されなくなり、ＷｅｂＳｏｃｋｅｔ接続が閉じられるまで、両方のエンドポイントでＷｅｂＳｏｃｋｅｔプロトコルを使用してデータを送受信できる。したがって、データは、サーバ上のＷｅｂＳｏｃｋｅｔ通信プロトコルを介して、（モバイル装置上の）音声同期アプリケーションと（視覚表示システム上の）視覚表示アプリケーション間で転送され、その逆も同様である。
【0114】
図７は、視覚表示システム５００上の視覚コンテンツと、別個のモバイル装置上の音声コンテンツとの同期を、可能にするための例示的な方法を示すフローチャートである。所定の位置および時間に、オペレータは、ネットワークと有線または無線通信している視覚表示システム上で視覚コンテンツのブロードキャストを開始する。主視覚コンテンツは例えば、スクリーン、プロジェクタ、ＴＶ等の視覚出力装置に出力される。ステップ５１０において、視覚表示プレーヤアプリケーションが、視覚表示システムのオペレーティングシステムにダウンロードされ、インストールされ、または書き込まれる。ステップ５２０において、オペレータは、視覚表示プレーヤアプリケーション上のショーを選択する。選択すると、そのショーの視覚コンテンツがダウンロードされ、視覚表示システムのメモリに記憶される。いくつかの実施形態では、そのショーの視覚コンテンツが視覚表示システムのメモリに既にプリロードされている。いくつかの実施形態では、そのショーの視覚コンテンツが外部記憶装置からダウンロードされてもよい。
【0115】
ステップ５５０において、そのショーの所定の位置、日付、及び時間において、オペレータは、そのアプリケーションにおいてその視覚コンテンツを再生するように、視覚表示システムをトリガすることができる。ステップ５８０において、視覚コンテンツは、視覚出力装置上に表示される。いくつかの実施形態では、視覚出力装置がスクリーン、プロジェクタ、テレビ等である。同時に、ステップ５６２で、視覚コンテンツがオペレータによって再生されるようにトリガされると、視覚表示システムまたは視覚表示アプリケーションは、視覚表示システム真時間を取得する。視覚表示システム真時間は、視覚表示システムローカル時間および視覚表示システム時間偏差に基づいて決定され、以下の式に基づく：
視覚表示システム真時間＝視覚表示システムローカル時間＋視覚表示システム時間偏差
視覚表示システム真時間＝視覚表示システムローカル時間＋視覚表示システム時間偏差
【0116】
視覚表示システム時間偏差は、視覚表示システムローカル時間と、視覚表示システムと通信するタイムサーバから得られるタイムサーバ時間との間の時間差である。
【0117】
ステップ５６４で、視覚表示システムは、以下の情報を含む同期メッセージを生成するように進む：
１．視覚表示システム真時間
２．視覚コンテンツタイムコード
３．視覚コンテンツ状態
１．視覚表示システム真時間
２．視覚コンテンツタイムコード
３．視覚コンテンツ状態
【0118】
視覚コンテンツタイムコードは、視覚コンテンツシステムで再生されている視覚コンテンツの現在の時間位置に対応する。視覚コンテンツ状態は、視覚コンテンツの動作モードまたはステータスに関連付けられる。動作モードまたはステータスは、視覚コンテンツが再生を継続しているか、視覚コンテンツが再生を停止しているかを示す「再生中」または「停止中」のいずれかになる。同期メッセージが生成されると、処理サーバに送信される。
【0119】
ステップ５７０で、同期メッセージは視聴者メンバーによって音声コンテンツを再生するようにモバイル装置がトリガされたときに、処理サーバによって、周期的な時間隔でそのモバイル装置に送信される。モバイル装置への周期的な時間隔での同期メッセージの送信は、ＷｅｂＳｏｃｋｅｔ通信プロトコルによって有効になる。これにより、モバイル装置は同期メッセージを周期的な時間隔で送信されるように、処理サーバをリッスンするか、または常時通信していることが可能になる。例えば、これは、毎秒１回送信することができる。また、ＷｅｂＳｏｃｋｅｔ通信プロトコルにより、視覚表示システムがタイムコードで前後に調整されたり、状態が「再生中」から「停止中」に変更されたり、その逆に変更されたりするたびに、モバイル装置が同期メッセージを受信できるようになる。言い換えると、オペレータによる主音声コンテンツタイムコードまたは主視覚コンテンツタイムコードへの手動調整、あるいは主音声コンテンツ状態または主視覚コンテンツ状態のそれぞれの状態の変化があるときはいつでも、それに応じて１つまたは複数の同期メッセージがモバイル装置に送信される。
【0120】
図８は、モバイル装置上の音声コンテンツを別個の視覚表示システム上の視覚コンテンツに同期させるための例示的な方法を示すフローチャートである。モバイル装置は、インターネット（図示せず）、または同様の通信ネットワークに接続されている。ステップ６１０で、音声同期アプリケーションが、モバイル装置のオペレーティングシステムにダウンロードされ、インストールされ、または書き込まれる。ステップ６２０で、視聴者メンバーは、購入するショーを選択する。いくつかの実施形態では、視聴者メンバーは、これらに限定されないが、支払いゲートウェイ、内部ウォレット、加入料金、クレジットなどを使用してショーに対する支払いを促される。いくつかの実施形態では、ショーが支払いを必要としないかもしれず、また、視聴者メンバーにとって優待的である。支払が成功した場合、またはショーが無料であるため支払が不要な場合は、そのショーの音声コンテンツがダウンロードされ、モバイル装置のメモリに保存される。
【0121】
ステップ６６０において、ショーの所定の場所、日付、及び時間に到達すると、視聴者メンバーは、音声同期アプリケーションをトリガして、音声同期アプリケーション上で音声コンテンツを再生する。ステップ６７２で、モバイル装置はインターネット（図示せず）、または類似の通信ネットワークを使用して処理サーバと接続し、視覚表示システムからの同期メッセージをリッスンする。同期メッセージ６７８を受信すると、モバイル装置は２つの操作のいずれかを実行する。「再生中」の視覚コンテンツ状態は、視覚コンテンツが視覚出力装置または視覚表示システム上で再生中であることを示す。モバイル装置が、視覚コンテンツ状態のステータスが「停止中」である同期メッセージを受信した場合、音声コンテンツは再生されない。
【0122】
ステップ６７６において、モバイル装置は、モバイル装置真時間を決定する。モバイル装置真時間は、モバイル装置ローカル時間およびモバイル装置時間偏差に基づいて決定され、以下の式に基づく：
モバイル装置真時間＝モバイル装置ローカル時間＋モバイル装置時間偏差
モバイル装置真時間＝モバイル装置ローカル時間＋モバイル装置時間偏差
【0123】
モバイル装置時間偏差は、モバイル装置ローカル時間と、モバイル装置と通信しているタイムサーバから得られるタイムサーバ時間との間の時間差である。
【0124】
ステップ６８０で、モバイル装置は、視覚コンテンツタイムコード、モバイル装置真時間および視覚表示システム真時間に基づく音声コンテンツタイムコードを決定する。音声コンテンツタイムコードにより、音声同期アプリケーションは、視覚表示システム上で再生されている視覚コンテンツに同期して、音声コンテンツタイムコードで再生される音声コンテンツを調整することができる。音声コンテンツタイムコードは、次の式に基づいて決定される：
レイテンシー＝モバイル装置真時間－視覚表示システム真時間
音声コンテンツタイムコード＝視覚コンテンツタイムコード＋レイテンシー
レイテンシー＝モバイル装置真時間－視覚表示システム真時間
音声コンテンツタイムコード＝視覚コンテンツタイムコード＋レイテンシー
【0125】
音声コンテンツタイムコードは、視覚コンテンツタイムコードとレイテンシーの集計に基づいて決定される。レイテンシーがモバイル装置真時間と視覚表示システム真時間の時間差によって決定される。音声コンテンツタイムコードは、視覚表示システムで再生されている視覚コンテンツタイムコードの現在の位置に対応する。
【0126】
視覚コンテンツが再生モードにあることが検出されると、音声同期アプリケーションは、音声コンテンツタイムコードが視覚コンテンツタイムコードと同期していないかどうかを判断する。モバイル装置はＷｅｂＳｏｃｋｅｔ通信プロトコルを介して処理サーバと常時接続しているため、モバイル装置は周期的な時間隔で同期メッセージを受信する。同期メッセージは、視覚コンテンツタイムコードの調整または視覚コンテンツ状態の状態変化があるときはいつでも、処理サーバによって送信される。これにより、音声同期アプリケーションは、音声コンテンツタイムコードが所定の時間隔内に視覚コンテンツタイムコードと同期していないかどうかを確認できる。音声コンテンツタイムコードが視覚コンテンツタイムコードと同期していないかどうかを判断する式は、次のとおりである：
ＤＩＦＦＥＲＥＮＣＥ＝音声コンテンツタイムコード－現在の音声コンテンツタイムコード
音声コンテンツタイムコードが±２００ｍｓを超えて視覚コンテンツタイムコードと同期していない場合、例えば、モバイル装置は、視覚表示システム上のコンテンツの現在位置に関連付けられた視覚コンテンツタイムコードと同期している音声コンテンツタイムコードの再生を調整する。いくつかの実施形態では、所定の間隔が視覚コンテンツタイムコードとの同期外れと見なされるように、約＋２００ｍｓまたは約－２００ｍｓとすることができる。差が±２００ｍｓ未満である場合、モバイル装置は、視覚コンテンツタイムコードと同期して音声コンテンツタイムコードの再生を継続する。
ＤＩＦＦＥＲＥＮＣＥ＝音声コンテンツタイムコード－現在の音声コンテンツタイムコード
音声コンテンツタイムコードが±２００ｍｓを超えて視覚コンテンツタイムコードと同期していない場合、例えば、モバイル装置は、視覚表示システム上のコンテンツの現在位置に関連付けられた視覚コンテンツタイムコードと同期している音声コンテンツタイムコードの再生を調整する。いくつかの実施形態では、所定の間隔が視覚コンテンツタイムコードとの同期外れと見なされるように、約＋２００ｍｓまたは約－２００ｍｓとすることができる。差が±２００ｍｓ未満である場合、モバイル装置は、視覚コンテンツタイムコードと同期して音声コンテンツタイムコードの再生を継続する。
【0127】
使用中、視聴者メンバーのモバイル装置上の音声コンテンツを、別個の視覚出力装置上に表示される視覚コンテンツに同期させるプロセスは、屋外公共映画館の設定において使用されてもよい。シネマオペレータは例えば、視覚表示システムおよび／または視覚表示アプリケーションを使用して、映画のビジュアル部分（または視覚コンテンツ）をシステムのメモリにダウンロードする。視聴者は、モバイル装置の音声同期アプリケーションを介して映画の音声コンテンツをダウンロードする。視覚表示システムが再生を開始すると、視聴者メンバーは、自分のモバイル装置をトリガして音声コンテンツを再生することができる。この同期プロセスでは、クロック、タイムサーバ（ＮＴＰ）、タイムコード、サーバ経由で送信される同期メッセージ、および計算を使用して、視聴者メンバーが、映画のオーディオとビジュアルコンポーネントが決して分離されていないかのように、オーディオビジュアル同期で映画を見ることができるように、音声コンテンツと同期して再生するように音声コンテンツを調整する。音声コンテンツは映画からのオリジナルオーディオであってもよいし、監督の解説や映画の異なるオーディオ言語トラックのような代替オーディオであってもよい。
【0128】
代替の使用事例は、視聴者メンバーのモバイル装置上の音声コンテンツを、例えば花火、照明、水、レーザーショーなどのライブ視覚表示に同期させることであってもよい。オペレータは例えば、視覚表示システム４２０とアプリケーションを使用して、主音声コンテンツをシステムのメモリ４２６にダウンロードする。主音声コンテンツは、ＳＭＰＴＥ、ＦＳＫ、または線形タイムコード（又は、リニアタイムコード／ＬＴＣ）などの音声タイムコードを含むことができる音声キュートラックを含むことができる。音声タイムコードトラックは音声タイムコードを読み取ることができるデジタル制御システムに入力でき、タイムコードトラックの特定の位置で花火キューを開始するように事前設定されている。音声キュートラックはまた、手動オペレータが一連の花火をトリガするための、予め記録された言葉によるキューを含むことができる。音声キュートラックはライブ視覚表示の任意の構成要素、例えば、照明制御デスク、花火制御モジュール、デジタル発射システムなどの制御信号をキューすることができる。手動花火オペレータは、視覚表示システム主音声コンテンツと同期して音声キュートラックを再生する従モバイル装置を介して音声キュートラックを聴くことができる。視聴者は、モバイル装置４５０上のアプリケーションを介して、ライブショーの従音声コンテンツをダウンロードすることができる。この従音声コンテンツは視聴者メンバーに没入型オーディオ体験を提供するために、視覚表示システム上で再生する主音声コンテンツに対応する、またはそれと同期する音声サウンドトラックを含むことができる。いくつかの実施形態では、音声サウンドトラックが音声解説、歌唱パフォーマンス、および／または音楽サウンドトラックを含むことができる。デジタル制御システムは音声タイムコードを介して視覚表示システムに同期され、音声キュートラックを再生する任意の従音声装置も視覚表示システムに同期されるので、視聴者メンバーのモバイル装置４５０上の従音声コンテンツは花火、レーザー、ライト、またはウォーターディスプレイなどのライブ視覚表示と同期する。
【0129】
さらに別の使用事例はライブショーの様々な参加者（crew member）が主オーディオトラックと同期して個々のキュートラックを聴くことができるように、主オーディオトラックと同期した様々な異なる従オーディオトラックを含むことができる。
【0130】
例えば、ライブの演劇（ｔｈｅａｔｒｉｃａｌ ｐｅｒｆｏｒｍａｎｃｅ）では、照明、サウンド、火工品（ｐｙｒｏｔｅｃｈｎｉｃｓ）の技術者、及び舞台係（ｓｔａｇｅ ｈａｎｄ）等は全て、舞台監督（ｓｔａｇｅ ｍａｎａｇｅｒ）によって制御される視覚表示システム４２０上の主オーディオトラックと同期している個々のモバイル装置４５０上のそれらの特定のキュートラックを聴いている場合がある。
【0131】
さらに別の例では、花火ショーでは複数の手動ピンボードオペレータが個々のモバイル装置４５０上で同じ従音声キュートラックを聴いて、視覚表示システム４２０上で再生される主オーディオトラックに同期して花火および火工品をトリガすることができる。一方、視聴者メンバーは火工品トリガキューなしで花火ショーの音声サウンドトラック（例えば、ナレーション／音楽サウンドトラック）を個々のモバイル装置４５０で聴いている間に花火ショーを見ることができる。
【0132】
本発明は特定の実施形態を参照して特に示され、説明されてきたが、添付の特許請求の範囲によって定義される本発明の精神および範囲から逸脱することなく、形態および詳細において様々な変更がなされ得ることが、当業者によって理解されるべきである。したがって、本発明の範囲は添付の特許請求の範囲によって示され、したがって、特許請求の範囲の同等の意味および範囲内に入るすべての変更は包含されることが意図される。
下記は、本願の出願当初に記載の発明である。
＜請求項１＞
モバイル装置上で再生するように構成された音声コンテンツを、別個の視覚表示システム上でプレイするように構成された音声視覚表示の視覚コンテンツに同期させる方法であって、
第１の位置および時間において前記視覚表示システムによって制御される視覚出力装置上で前記視覚コンテンツを提示するステップと、
前記視覚表示システムから、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは前記視覚表示システム真時間、視覚コンテンツ状態、および視覚コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記視覚コンテンツタイムコード、モバイル装置真時間、および前記視覚表示システム真時間に基づく音声コンテンツタイムコードを決定するステップ
を有し、
前記視覚コンテンツ状態がプレイモードであるときに第２の位置および時間において前記モバイル装置上で前記音声コンテンツをプレイするようにトリガされると、前記音声コンテンツは、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードでプレイされる、方法。
＜請求項２＞
前記音声コンテンツタイムコードが前記視覚表示システム上の前記視覚コンテンツタイムコードと所定の時間隔を超えて同期から外れるか否かを判定するステップと、
前記音声コンテンツタイムコードが前記所定の時間隔を超えて同期から外れる場合に応答して、前記モバイル装置上の前記音声コンテンツの再生を、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードに調整するステップ
を含む、請求項１に記載の方法。
＜請求項３＞
前記音声コンテンツタイムコードは、前記視覚コンテンツタイムコードと、前記モバイル装置真時間と前記視覚表示システム真時間の間の時間差との集計に基づいて決定される、請求項１に記載の方法。
＜請求項４＞
前記同期メッセージは、前記視覚コンテンツタイムコードに対する調整が行われたときに送信される、請求項１に記載の方法。
＜請求項５＞
前記同期メッセージは、前記視覚コンテンツ状態に対する状態変化があるときに送信される、請求項１に記載の方法。
＜請求項６＞
前記モバイル装置真時間は、モバイル装置ローカル時間およびモバイル装置時間偏差に基づいて決定され、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項３に記載の方法。
＜請求項７＞
前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項１に記載の方法。
＜請求項８＞
前記所定の時間隔は、約２００ｍｓである、請求項２に記載の方法。
＜請求項９＞
モバイル装置上で再生するように構成された従音声コンテンツを、ライブ視覚表示と同期した主音声コンテンツに同期させる方法であって、前記主音声コンテンツは、別個の視覚表示システム上でプレイするように構成され、
第１の位置および時間において前記視覚表示システム上で前記主音声コンテンツをプレイするステップと、
前記視覚表示システムから、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは前記視覚表示システム真時間、主音声コンテンツ状態および主音声コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔でモバイル装置に前記同期メッセージを送信するステップと、
前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップを含み、
前記主音声コンテンツ状態がプレイモードであるときに第２の位置および時間において前記モバイル装置上で前記従音声コンテンツをプレイするようにトリガされると、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードでプレイされる、方法。
＜請求項１０＞
前記従音声コンテンツタイムコードが前記視覚表示システム上の前記主音声コンテンツタイムコードと所定の時間隔を超えて同期から外れるか否かを判断するステップと、
前記従音声コンテンツタイムコードが前記所定の時間隔を超えて同期から外れる場合に応答して、前記モバイル装置上の前記従音声コンテンツの再生を、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記音声コンテンツタイムコードに調整するステップ
を含む、請求項９に記載の方法
＜請求項１１＞
前記従音声コンテンツは前記ライブ視覚表示の一部を開始するための従音声キュートラックを含み、それによって、前記従音声キュートラックは前記音声キュートラックが前記主音声コンテンツと同期するように構成されるように、１つまたは複数のコンピューティング装置によって１つまたは複数の制御システムに送信される、請求項９に記載の方法。
＜請求項１２＞
前記従音声コンテンツは、前記主音声コンテンツと同期するように構成された音声記録に関連付けられた音声サウンドトラックを含む、請求項９に記載の方法。
＜請求項１３＞
前記従音声コンテンツは、前記主音声コンテンツと同期するように構成された音楽伴奏に関連付けられた音声サウンドトラックを備える、請求項９に記載の方法。
＜請求項１４＞
前記主音声コンテンツは、コントローラまたは手動オペレータによってライブ視覚表示の一部をトリガするように構成された音声キュートラックを含む、請求項９に記載の方法。
＜請求項１５＞
前記従音声コンテンツは、前記主音声コンテンツと同期するように構成された、手動オペレータによって、ライブ視覚表示の一部をトリガするように構成された従音声キュートラックを備える、請求項９に記載の方法。
＜請求項１６＞
前記同期メッセージは、前記視覚コンテンツタイムコードに対する調整が行われたときに送信される、請求項９に記載の方法。
＜請求項１７＞
前記同期メッセージは、前記視覚コンテンツ状態に対する状態変化があるときに送信される、請求項９に記載の方法。
＜請求項１８＞
前記従音声コンテンツタイムコードは、前記主音声コンテンツタイムコードと、前記モバイル装置真時間と前記視覚表示システム真時間との間の時間差との集計に基づいて決定され、前記モバイル装置真時間はモバイル装置ローカル時間およびモバイル装置時間偏差に基づいて決定され、前記モバイル装置時間偏差は前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項９に記載の方法。
＜請求項１９＞
前記視覚表示システム真時間は、視覚表示システムローカル時間および視覚表示システム時間偏差に基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項９に記載の方法。
＜請求項２０＞
前記所定の時間隔は、約２００ｍｓである、請求項９に記載の方法。
＜請求項２１＞
少なくとも１つのプロセッサと、少なくとも１つのコンピュータ読み取り可能な記憶媒体と、ネットワークに接続された同期アプリケーションとを有するモバイル装置上で実行するように構成された方法であって、
前記モバイル装置上に記憶するように構成された音声コンテンツを送信するステップと、
モバイル装置ローカル時間およびモバイル装置時間偏差に基づいてモバイル装置真時間を取得するステップであって、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
視覚表示システムとの無線通信において、周期的な時間隔で処理サーバから同期メッセージを受信するステップであって、前記同期メッセージは、視覚表示システム真時間、視覚コンテンツ状態、および視覚コンテンツタイムコードを含む、該ステップと、
前記視覚コンテンツタイムコード、前記モバイル装置真時間、および前記視覚表示システム真時間に基づく音声コンテンツタイムコードを決定するステップであって、前記視覚表示システム真時間は視覚表示システムローカル時間および視覚表示システム時間偏差に基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップ
を含み、
前記視覚コンテンツ状態がプレイモードであるときに前記モバイル装置上で前記音声コンテンツをプレイするようにトリガされると、前記音声コンテンツは、前記視覚表示システム上の視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードでプレイされる、方法。
＜請求項２２＞
モバイル装置上で再生するように構成された従音声コンテンツを、別個の視覚表示システム上でプレイするように構成された主音声コンテンツに同期させる方法であって、
前記視覚表示システムから、視覚表示システムローカル時間と視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップであって、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは、前記視覚表示システム真時間と、動作モードに関連付けられた主音声コンテンツ状態と、前記視覚表示システムの現在位置に関連付けられた主音声コンテンツタイムコードとを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップであって、前記モバイル装置真時間は、前記モバイル装置ローカル時間およびモバイル装置時間偏差に基づき、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信する前記タイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップ
を含み、
前記主音声コンテンツ状態がプレイモードであるときに前記モバイル装置上で前記従音声コンテンツをプレイするようにトリガされると、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードでプレイされる、方法。
＜請求項２３＞
モバイル装置上で再生するように構成された従音声コンテンツを、別個の視覚表示システム上でプレイするように構成された主音声コンテンツに同期させるためのシステムであって、
メモリと、
前記メモリに結合された１つまたは複数のプロセッサであって、前記メモリは前記プロセッサによって実行されたときに、前記プロセッサに、
前記視覚表示システムから、視覚表示システム真時間を取得するステップであって、前記視覚表示システム真時間は視覚表示システムローカル時間と視覚表示システム時間偏差とに基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは、前記視覚表示システム真時間、動作モードに関連付けられた主音声コンテンツ状態、および前記視覚表示システムの現在位置に関連付けられた主音声コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップであって、前記モバイル装置真時間は、前記モバイル装置ローカル時間およびモバイル装置時間偏差に基づき、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
を含む動作を実行させるプロセッサ実行可能コードを含む、該プロセッサを有し、
前記主音声コンテンツ状態がプレイモードであるときに前記モバイル装置上で前記従音声コンテンツをプレイするようにトリガされると、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードでプレイされる、システム。
下記は、本願の出願当初に記載の発明である。
＜請求項１＞
モバイル装置上で再生するように構成された音声コンテンツを、別個の視覚表示システム上でプレイするように構成された音声視覚表示の視覚コンテンツに同期させる方法であって、
第１の位置および時間において前記視覚表示システムによって制御される視覚出力装置上で前記視覚コンテンツを提示するステップと、
前記視覚表示システムから、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは前記視覚表示システム真時間、視覚コンテンツ状態、および視覚コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記視覚コンテンツタイムコード、モバイル装置真時間、および前記視覚表示システム真時間に基づく音声コンテンツタイムコードを決定するステップ
を有し、
前記視覚コンテンツ状態がプレイモードであるときに第２の位置および時間において前記モバイル装置上で前記音声コンテンツをプレイするようにトリガされると、前記音声コンテンツは、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードでプレイされる、方法。
＜請求項２＞
前記音声コンテンツタイムコードが前記視覚表示システム上の前記視覚コンテンツタイムコードと所定の時間隔を超えて同期から外れるか否かを判定するステップと、
前記音声コンテンツタイムコードが前記所定の時間隔を超えて同期から外れる場合に応答して、前記モバイル装置上の前記音声コンテンツの再生を、前記視覚表示システム上の前記視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードに調整するステップ
を含む、請求項１に記載の方法。
＜請求項３＞
前記音声コンテンツタイムコードは、前記視覚コンテンツタイムコードと、前記モバイル装置真時間と前記視覚表示システム真時間の間の時間差との集計に基づいて決定される、請求項１に記載の方法。
＜請求項４＞
前記同期メッセージは、前記視覚コンテンツタイムコードに対する調整が行われたときに送信される、請求項１に記載の方法。
＜請求項５＞
前記同期メッセージは、前記視覚コンテンツ状態に対する状態変化があるときに送信される、請求項１に記載の方法。
＜請求項６＞
前記モバイル装置真時間は、モバイル装置ローカル時間およびモバイル装置時間偏差に基づいて決定され、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項３に記載の方法。
＜請求項７＞
前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項１に記載の方法。
＜請求項８＞
前記所定の時間隔は、約２００ｍｓである、請求項２に記載の方法。
＜請求項９＞
モバイル装置上で再生するように構成された従音声コンテンツを、ライブ視覚表示と同期した主音声コンテンツに同期させる方法であって、前記主音声コンテンツは、別個の視覚表示システム上でプレイするように構成され、
第１の位置および時間において前記視覚表示システム上で前記主音声コンテンツをプレイするステップと、
前記視覚表示システムから、視覚表示システムローカル時間および視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは前記視覚表示システム真時間、主音声コンテンツ状態および主音声コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔でモバイル装置に前記同期メッセージを送信するステップと、
前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップを含み、
前記主音声コンテンツ状態がプレイモードであるときに第２の位置および時間において前記モバイル装置上で前記従音声コンテンツをプレイするようにトリガされると、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードでプレイされる、方法。
＜請求項１０＞
前記従音声コンテンツタイムコードが前記視覚表示システム上の前記主音声コンテンツタイムコードと所定の時間隔を超えて同期から外れるか否かを判断するステップと、
前記従音声コンテンツタイムコードが前記所定の時間隔を超えて同期から外れる場合に応答して、前記モバイル装置上の前記従音声コンテンツの再生を、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記音声コンテンツタイムコードに調整するステップ
を含む、請求項９に記載の方法
＜請求項１１＞
前記従音声コンテンツは前記ライブ視覚表示の一部を開始するための従音声キュートラックを含み、それによって、前記従音声キュートラックは前記音声キュートラックが前記主音声コンテンツと同期するように構成されるように、１つまたは複数のコンピューティング装置によって１つまたは複数の制御システムに送信される、請求項９に記載の方法。
＜請求項１２＞
前記従音声コンテンツは、前記主音声コンテンツと同期するように構成された音声記録に関連付けられた音声サウンドトラックを含む、請求項９に記載の方法。
＜請求項１３＞
前記従音声コンテンツは、前記主音声コンテンツと同期するように構成された音楽伴奏に関連付けられた音声サウンドトラックを備える、請求項９に記載の方法。
＜請求項１４＞
前記主音声コンテンツは、コントローラまたは手動オペレータによってライブ視覚表示の一部をトリガするように構成された音声キュートラックを含む、請求項９に記載の方法。
＜請求項１５＞
前記従音声コンテンツは、前記主音声コンテンツと同期するように構成された、手動オペレータによって、ライブ視覚表示の一部をトリガするように構成された従音声キュートラックを備える、請求項９に記載の方法。
＜請求項１６＞
前記同期メッセージは、前記視覚コンテンツタイムコードに対する調整が行われたときに送信される、請求項９に記載の方法。
＜請求項１７＞
前記同期メッセージは、前記視覚コンテンツ状態に対する状態変化があるときに送信される、請求項９に記載の方法。
＜請求項１８＞
前記従音声コンテンツタイムコードは、前記主音声コンテンツタイムコードと、前記モバイル装置真時間と前記視覚表示システム真時間との間の時間差との集計に基づいて決定され、前記モバイル装置真時間はモバイル装置ローカル時間およびモバイル装置時間偏差に基づいて決定され、前記モバイル装置時間偏差は前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項９に記載の方法。
＜請求項１９＞
前記視覚表示システム真時間は、視覚表示システムローカル時間および視覚表示システム時間偏差に基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、請求項９に記載の方法。
＜請求項２０＞
前記所定の時間隔は、約２００ｍｓである、請求項９に記載の方法。
＜請求項２１＞
少なくとも１つのプロセッサと、少なくとも１つのコンピュータ読み取り可能な記憶媒体と、ネットワークに接続された同期アプリケーションとを有するモバイル装置上で実行するように構成された方法であって、
前記モバイル装置上に記憶するように構成された音声コンテンツを送信するステップと、
モバイル装置ローカル時間およびモバイル装置時間偏差に基づいてモバイル装置真時間を取得するステップであって、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
視覚表示システムとの無線通信において、周期的な時間隔で処理サーバから同期メッセージを受信するステップであって、前記同期メッセージは、視覚表示システム真時間、視覚コンテンツ状態、および視覚コンテンツタイムコードを含む、該ステップと、
前記視覚コンテンツタイムコード、前記モバイル装置真時間、および前記視覚表示システム真時間に基づく音声コンテンツタイムコードを決定するステップであって、前記視覚表示システム真時間は視覚表示システムローカル時間および視覚表示システム時間偏差に基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップ
を含み、
前記視覚コンテンツ状態がプレイモードであるときに前記モバイル装置上で前記音声コンテンツをプレイするようにトリガされると、前記音声コンテンツは、前記視覚表示システム上の視覚コンテンツの現在位置に関連付けられた前記視覚コンテンツタイムコードと同期された前記音声コンテンツタイムコードでプレイされる、方法。
＜請求項２２＞
モバイル装置上で再生するように構成された従音声コンテンツを、別個の視覚表示システム上でプレイするように構成された主音声コンテンツに同期させる方法であって、
前記視覚表示システムから、視覚表示システムローカル時間と視覚表示システム時間偏差に基づく視覚表示システム真時間を取得するステップであって、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは、前記視覚表示システム真時間と、動作モードに関連付けられた主音声コンテンツ状態と、前記視覚表示システムの現在位置に関連付けられた主音声コンテンツタイムコードとを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップであって、前記モバイル装置真時間は、前記モバイル装置ローカル時間およびモバイル装置時間偏差に基づき、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信する前記タイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップ
を含み、
前記主音声コンテンツ状態がプレイモードであるときに前記モバイル装置上で前記従音声コンテンツをプレイするようにトリガされると、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードでプレイされる、方法。
＜請求項２３＞
モバイル装置上で再生するように構成された従音声コンテンツを、別個の視覚表示システム上でプレイするように構成された主音声コンテンツに同期させるためのシステムであって、
メモリと、
前記メモリに結合された１つまたは複数のプロセッサであって、前記メモリは前記プロセッサによって実行されたときに、前記プロセッサに、
前記視覚表示システムから、視覚表示システム真時間を取得するステップであって、前記視覚表示システム真時間は視覚表示システムローカル時間と視覚表示システム時間偏差とに基づいて決定され、前記視覚表示システム時間偏差は、前記視覚表示システムローカル時間と、前記視覚表示システムと通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
前記視覚表示システムによって、処理サーバに送信するように構成された同期メッセージを生成するステップであって、前記同期メッセージは、前記視覚表示システム真時間、動作モードに関連付けられた主音声コンテンツ状態、および前記視覚表示システムの現在位置に関連付けられた主音声コンテンツタイムコードを含む、該ステップと、
前記処理サーバによって、周期的な時間隔で前記同期メッセージを前記モバイル装置に送信するステップと、
前記主音声コンテンツタイムコード、モバイル装置真時間および前記視覚表示システム真時間に基づく従音声コンテンツタイムコードを決定するステップであって、前記モバイル装置真時間は、前記モバイル装置ローカル時間およびモバイル装置時間偏差に基づき、前記モバイル装置時間偏差は、前記モバイル装置ローカル時間と、前記モバイル装置と通信するタイムサーバから導出されたタイムサーバ現在時間との間の時間差である、該ステップと、
を含む動作を実行させるプロセッサ実行可能コードを含む、該プロセッサを有し、
前記主音声コンテンツ状態がプレイモードであるときに前記モバイル装置上で前記従音声コンテンツをプレイするようにトリガされると、前記従音声コンテンツは、前記視覚表示システム上の前記主音声コンテンツの現在位置に関連付けられた前記主音声コンテンツタイムコードと同期された前記従音声コンテンツタイムコードでプレイされる、システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】