特表 2022-536182 データストリームを同期させるシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-08-12

(54)【発明の名称】データストリームを同期させるシステム及び方法

(51)【国際特許分類】

   H04N 21/242 20110101AFI20220804BHJP

   H04N 21/647 20110101ALI20220804BHJP

   H04N 21/2743 20110101ALI20220804BHJP

【ＦＩ】

H04N21/242

H04N21/647

H04N21/2743

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021574190

(86)(22)【出願日】2020-06-11

(85)【翻訳文提出日】2022-01-24

(86)【国際出願番号】 GB2020051404

(87)【国際公開番号】W WO2020249948

(87)【国際公開日】2020-12-17

(31)【優先権主張番号】1908567.9

(32)【優先日】2019-06-14

(33)【優先権主張国・地域又は機関】GB

(81)【指定国・地域】

(71)【出願人】

【識別番号】521544735

【氏名又は名称】ハパニング リミテッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(72)【発明者】

【氏名】エニウミド アンドリュー

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164SA25S

5C164SB10P

5C164SD12P

5C164TA08S

5C164TA14S

5C164TB44P

5C164UA42S

5C164UD63S

5C164YA21

(57)【要約】

データストリームを同期させることで、視聴者がイベントの複数の視点をリアルタイム及び／又はレトロスペクティブに見ること及び／又は切り替えすることを可能にするシステム及び方法である。

【特許請求の範囲】

【請求項1】

データストリームを同期させるためのコンピュータ実施方法であって、
イベントの第１の視点からのオーディオ及び／又はビデオを含む第１のデータストリームを生成するか又は受信することと、
前記イベントの第２の視点からのオーディオ及び／又はビデオを含む第２のデータストリームを生成するか又はネットワークを介して受信することと、
前記データストリームを同期させるために前記ネットワーク上の前記データストリームの状態を維持することと、
前記データストリームを同期させることと、
ユーザーが利用可能なデータストリームを選択するために、データストリームごとの開始タイミング及び終了タイミングを含む、前記データストリームのマスターイベントタイムラインを生成することと
を含み、
前記ネットワーク上の前記データストリームの状態を維持することは、データストリームごとの開始タイミング及び終了タイミングを示す、データストリームごとのＳＴＡＲＴデータストリームパラメータ及びＥＮＤデータストリームパラメータをログに記録することを含む、方法。

【請求項2】

第１のデバイスを用いて、イベントの第１の視点からのオーディオ及び／又はビデオを含む第１のデータストリームを生成することと、
前記第１のデータストリームをネットワーク上でアドバタイズすることと、
前記ネットワーク経由で前記イベントの第２の視点からのオーディオ及び／又はビデオを含む第２のデータストリームを受信することと、
前記データストリームを同期させるために前記ネットワーク上の前記データストリームの状態を維持することと、
前記データストリームを同期させることと、
ユーザーが利用可能なデータストリームを選択するために、データストリームごとの開始タイミング及び終了タイミングを含むマスターイベントタイムラインを生成することと
を含み、
前記ネットワーク上の前記データストリームの状態を維持することは、データストリームごとの開始タイミング及び終了タイミングを示す、データストリームごとのＳＴＡＲＴデータストリームパラメータ及びＥＮＤデータストリームパラメータをログに記録することを含む、請求項１に記載の方法。

【請求項3】

データストリームごとのＳＴＡＲＴデータストリームパラメータ及びＥＮＤデータストリームパラメータに基づいて、利用可能なデータストリームを選択のためにユーザーに示すことと、
利用可能なデータストリームを選択するためのユーザー入力を受信及び処理することと、
選択されたデータストリームをユーザーに送信、表示、又はレンダリングすることと
を含む、請求項１又は２に記載の方法。

【請求項4】

前記第１及び第２のデータストリームを統合データストリームに結合すること
を含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記ネットワーク上の前記データストリームの状態を維持することは、データストリームごとの場所及び／又は位置データストリームパラメータをログに記録することをさらに含み、方法は、前記場所及び／又は位置データストリームパラメータに基づいて前記データストリームを同期させることをさらに含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

別の視点への意図された移動方向を示すユーザー入力を受信及び処理することと、
対応するデータストリームをユーザーに送信、表示、又はレンダリングする、請求項１から５のいずれか一項に記載の方法。

【請求項7】

オーディオ及び／又はビデオを含む前記第１のデータストリームは、第１の識別子を有し、イベントの第１の視点を有する第１のデバイスによって生成され、
オーディオ及び／又はビデオを含む前記第２のデータストリームは、第２の識別子を有し、前記イベントの第２の視点を有する第２のデバイスによって生成され、
前記ネットワークはＰ２Ｐネットワークで構成されている、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記ネットワーク上の前記データストリームの状態を維持することは、
前記第１及び／又は第２のデータストリームのイベントタイムラインを送信及び／又は受信すること、及び／又は
前記デバイス及び／又はサーバー間でデータを送信及び／又は受信すること、及び／又は
前記デバイス又は各デバイスが、前記データストリームの１つ以上のパラメータの変化に関するデータを監視、送信及び／又は受信すること、及び／又は
前記デバイス又は各デバイスが、前記ネットワーク上でアドバタイズされている他のデータストリームを検出すること
を含み、前記データは、Ｐ２Ｐハンドシェイク、ＮＴＰデータ、タイミングハートビート、前記データストリームのパラメータの１つ以上を含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

ビデオ開始時刻、デバイスＩＤ、及び／又はデバイス場所に基づいて識別子を割り当てることをさらに含み、好ましくは、
識別子は、initialEventID及びmasterEventIDを含み、方法は、ネットワーク上のデバイス間で前記initialEventID及び／又は前記masterEventIDを比較及び更新することを含み、かつ／又は
前記識別子又は各識別子は、メタデータ、時刻、デバイスＩＤ、デバイス場所、デバイス位置データのうちの１つ以上を含む、請求項１から８のいずれか一項に記載の方法。

【請求項10】

実質的にリアルタイムで前記データストリームを同期させかつ／又は結合すること、及び／又は
あらかじめ定められた範囲内で、対応する時間、場所、及び／又は位置に基づいてデータストリームを同期させること、及び／又は
接続速度及び／又はレイテンシーに応じて前記データストリームのビットレートを調整すること、及び／又は
前記データストリームのパラメータを、好ましくはリアルタイムで追跡すること、及び／又は
前記データストリームのパラメータに基づいて前記データストリームをランク付けすること
をさらに含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

重複するオーディオコンテンツのデータストリームを分析し、統合データストリームを編集して、前記統合データストリームに単一のオーディオトラックを提供すること、及び／又は
前記データストリームを分析及び編集して、前記統合データストリームの統合された視野を提供すること、及び／又は
前記データストリームをマージして、前記統合データストリームを提供すること
をさらに含む、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記第１及び第２のデータストリームの両方を前記第１及び／又は第２のデバイス及び／又は第３のデバイスに表示又はレンダリングすること、及び／又は
利用可能なデータストリームの視点を、好ましくはリアルタイムで地図上にマッピングすること、及び／又は
利用可能なデータストリームの視点間を移動するためのコントロールを提供することであって、好ましくは視点間のトランジションをアニメーション化することをさらに含むこと、及び／又は
視点間を移動するためのユーザーからの入力ジェスチャーを受信及び処理すること
をさらに含む、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記データストリームの状態を維持することは、前記デバイス及び／又はサーバーの間でデータを送信及び／又は受信することを含み、
前記データは、Ｐ２Ｐハンドシェイクと、デバイスの場所及び／又は位置を含むデータストリームのパラメータとを含み、
方法は、実質的にリアルタイムで、対応する時間及び位置データに基づいてデータストリームを同期させることをさらに含む、請求項６に記載の方法。

【請求項14】

前記第１及び第２のデータストリームのイベントタイムラインを送信及び／又は受信することと、
前記第１及び第２のデータストリームの両方を前記第１及び／又は第２のデバイス及び／又は第３のデバイスに表示することと
含み、
前記イベントタイムラインは時間及び位置データを含む、請求項１３に記載の方法。

【請求項15】

コンピュートノード、デバイス、又はサーバーであって、
イベントの第１の視点からのオーディオ及び／又はビデオを含む第１のデータストリームを生成又は受信し、
ネットワークを介して、前記イベントの第２の視点からのオーディオ及び／又はビデオを含む第２のデータストリームを生成又は受信し、
前記ネットワーク上の前記データストリームの状態を維持し、
前記データストリームを同期させ、
ユーザーが利用可能なデータストリームを選択するために、データストリームごとの開始タイミング及び終了タイミングを含む、前記データストリームのマスターイベントタイムラインを生成する
ように構成され、
前記ネットワーク上の前記データストリームの状態を維持することは、データストリームごとの開始タイミング及び終了タイミングを示す、データストリームごとのＳＴＡＲＴデータストリームパラメータ及びＥＮＤデータストリームパラメータをログに記録することを含む、コンピュートノード、デバイス、又はサーバー。

【請求項16】

前記データストリームを統合データストリームに結合するようにさらに構成された、請求項１５に記載のサーバー。

【請求項17】

前記データストリームのアドバタイズが実質的にリアルタイムで行われ、かつ／又は
前記ネットワーク上の前記データストリームの状態は、実質的にリアルタイムで維持される、請求項１から１６のいずれか一項に記載の方法又はサーバー。

【請求項18】

前記データストリームのパラメータを分析し、前記データストリームのパラメータに基づいて、前記ネットワーク上のデバイスにデータ処理タスクを割り当てること、及び／又は
好ましくはＯＳＰＦ（Open Shortest Path First）プロトコルを用いて、前記ネットワーク上の宛先への最短ルートを決定し、続いて前記最短ルートを通してデータを送信すること
をさらに含む、請求項１から１７のいずれか一項に記載の方法又はサーバー。

【請求項19】

前記統合データストリームは、複数の異なる視点からのイベントの少なくとも代替的な一次及び二次ビデオ映像を含むマルチ視点ビデオを含み、前記ビデオの少なくとも一部の視点はユーザーが選択可能である、請求項４又はそれに従属する請求項に記載の方法、請求項１６又はそれに従属する請求項に記載のサーバー。

【請求項20】

前記統合データストリームは、
複数の視点からの画像又はビデオフレームからステッチされたビデオフレーム、及び／又は
複数の異なる視点からステッチされたオーディオ
を含むマルチ視点ビデオを含む、請求項４又はそれに従属する請求項に記載の方法、請求項１６又はそれに従属する請求項に記載のサーバー。

【請求項21】

前記統合データストリームの利用可能な視点は、
前記データストリームのパラメータに応じて動的に変化し、かつ／又は
前記データストリームの利用可能性に基づいて実質的にリアルタイムで決定される、請求項４又はそれに従属する請求項に記載の方法、請求項１６又はそれに従属する請求項に記載のサーバー。

【請求項22】

視覚処理を実行して、視野内の異常又は障害物を取り除き、かつ／又は
視覚処理を実行して、物体認識及び／又は視野内の注目点を使用して視点の相対的な位置を計算し、データストリーム間のタイミングオフセットを計算しかつ／又は代替的な視点をシミュレートし、かつ／又は
オーディオ処理を実行して、オーディオデータを統合し、データストリーム間のタイミングオフセットを計算し、バックグラウンドノイズを除去しかつ／又は代替的な視点をシミュレーションし、かつ／又は
前記統合データストリームをコンピュータで読み取り可能なメディアフォーマットにエクスポートする
ようにさらに構成された、請求項１から２１のいずれか一項に記載の方法又はサーバー。

【請求項23】

記録開始時刻、オーディオ又はビデオデータのパラメータ、データストリームのビットレート、視野、場所、及び位置のうちの１つ以上に応じて前記データストリームに重み付けを行うこと、及び／又は
エンドユーザーのデバイスに配信するために前記データストリームをトランスコードすること、及び／又は
前記データストリームのデータベースを維持し、前記データストリームを他のデータ、好ましくは事前に記録された画像／ビデオ／オーディオ映像及び／又は外部ソースからのライブ記録と統合すること、及び／又は
前記第１のデータストリーム、第２のデータストリーム、及び／又は統合データストリームと、現在の視点及び利用可能な視点及び／又は追加の注目点との間の方向及び／又は相対的な距離を示すグラフィックオーバーレイとを含む、拡張現実又は仮想現実ビューアを生成又はレンダリングすること
をさらに含む、請求項１から２２のいずれか一項に記載の方法又はサーバー。

【請求項24】

第１のデータストリーム、第２のデータストリーム、及び追加のデータストリームのチェックサムを生成することと、
前記チェックサムを検証することと、
前記検証に基づいて、前記データストリームを分類することと
をさらに含む、請求項１から２３のいずれか一項に記載の方法又はサーバー。

【請求項25】

請求項１から１４のいずれか一項又はそれに従属する請求項の方法を実行するように構成されたデバイス又はデバイスのネットワーク。

【請求項26】

実行されると請求項１から１４のいずれか一項又はそれに従属する請求項の方法を実行する命令を含むコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データストリームを同期させ、視聴者がイベントの複数の視点をリアルタイム及び／又はレトロスペクティブに表示しかつ／又は切り替えることを可能にするシステム及び方法に関するものである。

【背景技術】

【0002】

コンサートやスピーチ、スポーツの試合など、多くのイベントが複数のユーザーによってビデオに収められている。イベントの映像は、公式の情報源から、及び／又はイベント中又はイベント後に自分の映像を共有している個人から入手可能な場合がある。ビデオキャプチャーの普及に伴い、ライブイベントを録画して、そのビデオを他の人が見られるように共有するユーザーが増えている。しかし、視聴者は、単一の視野又は視点のみを提供するYouTube（登録商標）などの動画共有サイトにアップロードされたビデオセグメントを見ることしかできない。

【0003】

マルチ視点システムは、ユーザーが複数のビデオストリームを連続して見ることができるようにしたり、代わりに多数の所定の視点を提示したりすることができるが、あらかじめフォーマットされたビューでのみである。さらに、ユーザーの動画は品質に大きなばらつきがあり、視聴前にその品質を評価する信頼できる方法はない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、データストリームを同期させ、視聴者がイベントの複数の視点をリアルタイム又はレトロスペクティブに表示しかつ切り替えることを可能にするシステム及びコンピュータ実施方法を提供することを目的としている。

【課題を解決するための手段】

【0005】

本発明は、マルチメディアデータの「フィード」又はストリームを同期させる方法及びシステムを提供し、マルチ視点マルチメディアデータストリーム及びメディアフォーマット（ViiVid（登録商標））を提供する。

【0006】

複数のデータストリームをネットワーク上の複数のデバイスから受信し、同期させることができるため、ユーザーは複数の視点からマルチメディアデータ（画像、オーディオ（音声）、ビデオ（映像））を見ることができる。いくつかの実施形態では、ユーザーは、マルチビューインターフェース上で複数のデータストリームを一度に表示したり、イベントを視点間で選択して表示したり、視点がストリームのパラメータに応じて動的に変化するイベントを表示したりすることができる。

【0007】

データストリームは、所定の範囲内にある他のデバイスを識別するためのビーコン信号を送信及び検出する（例えば、一定の間隔でスキャンする）移動式及び静的な記録デバイスのネットワークによって生成される。データストリームには、オーディオ／ビデオ出力、タイムシグネチャ、位置情報（デバイスの向き、方位／方向（コンパスの方向））などが含まれており、ネットワーク内のピアにブロードキャストされることがある。同時に、他のピアネットワークからのデータストリームも、リアルタイムで受信及び処理できるようになる。

【0008】

データストリームは、時間と場所に基づくデータによって同期され、ユーザーはリアルタイムで、及び／又は同期された方法で遡及的に、視点間で所定の方向に相互的にパンすることができる。いくつかの実施形態では、マーカーが重ねて表示され（例えば、ＡＲでレンダリングされたり、同期されたデータストリームに埋め込まれたりする）、現在の視野内にある他の利用可能な視点の相対的な場所及び位置（距離、高度、及び／又は方向）を示し、一方、エッジマーカーは現在フレーム外にある他の視点の相対的な位置を示すことができる。

【0009】

いくつかの実施形態では、リアルタイムのクライアント側の処理とデータ送信により、モバイル又はウェブベースのクライアントを介したワイヤレス視点ナビゲーションが可能になる。サーバー側でのデータストリームのアップロードと処理により、ネットワーク外でのライブストリーミングや、ウェブ及び／又はモバイルクライアントを介した遡及的な視点ナビゲーションが可能になる。一元化されたウェブクライアントは、第三者のウェブサイト及び／又はアプリケーションにも組み込むことができ、それらのターゲットプラットフォーム上で同じインタラクティブなビデオナビゲーション機能を提供する。

【0010】

いくつかの実施形態では、拡張現実（ＡＲ）を使用して、プレイバック上で移動する可能性のある他の視点の相対的な場所及び位置（距離、高度、及び／又は方向）をプロット／レンダリングし、ユーザーが見ているものに相対して希望の方向に移動できるようにする。

【0011】

いくつかの実施形態では、ユーザーコントロール、スワイプ、又はモーションジェスチャーを使用して、視聴者の移動方向を決定したり、ある視点から別の視点へ移動したりして、ユーザーが別のビデオフィードからカメラの出力（それ自体は２次元又は３次元、例えば３６０°）を見ることができるようにする。ユーザーは、コントローラビュー（インタラクティブなマップビューやカルーセルなど）上のマーカーを選択したり、カメラビュー上で意図した方向にジェスチャーをしたりすることで、ある視点から別の視点にプレビューしたり切り替えたりすることができる。

【0012】

本発明は、数多くの利点を示している。

【0013】

イマージョン：どの視点から見るかをコントロールできるだけでなく、ユーザーは見ている空間や視点間の相対的な距離感をより深く理解することができる。ＡＲ／ＶＲに完全対応し、直感的な操作とダイナミックなインタラクションにより、ユーザーエクスペリエンスはさらに向上する。
効率化：ネットワーク化されたシステムでは、重複排除、冗長性チェック、不要な処理の削減などが行われるため、ネットワーク化されたシステム全体の効率が大幅に向上する。
アクセシビリティ：誰もが、視点の位置や方向を事前に決定することなく、ライブ又はレトロスペクティブに（最も広く利用されている機器又はより高品質のプロ用放送リグ、ＨＤ及び３６０°カメラを使用して）記録し、視点を探索することができる。クラウドコンピューティングの導入により、高度な処理技術やコンテンツを、インターネットに接続された場所であればどこでも展開することができる。
柔軟性：ユーザーは自分の視点を記録しながら、他のストリーム（視点）を同時に見ることができる。ユーザーは、インターネット接続の有無にかかわらず、いつでもどこでも代替的な視点を見ることができる技術を利用することができる。
精度：このシステム／方法は、ＧＰＳよりも高い位置精度で、記録中に移動する視点を考慮することができる。この処理により、デバイスベースの時刻同期だけではなく、より高いタイミングの同期精度を実現している。
拡張性と復元力：分散型の記録ネットワークは、システムがライブでより多くの視点を活用できること、ピア接続管理によってハードウェアの制限にかかわらずフィードパフォーマンスが最適化されるため、ネットワークには単一障害点がないことを意味する。ユーザーは、レトロスペクティブ・マージを使って、プラットフォームの外で撮影したものも含め、より多くの視点を遡及的に追加及び同期することができる。
正確：ViiVidsは、仲間同士で検証されたネットワーク上で複数の視点を可能にすることで、イベントの真実性を立証する役割も果たしている。視聴者は、同期されたどの視点も自由にナビゲートすることができ、目撃者の証言のように様々な証言を裏付けることができる。
メディアフォーマット：ViiVidsは、完全にエクスポート可能なメディアフォーマットであり、クロスプラットフォームのメディアプレイヤーで、オン／オフに関わらず、過去にさかのぼって再生することができる。これらのメディアプレイヤーは、組み込みプラグイン及び又はＡＰＩ実装で構成されている。ViiVidsは、時間的・空間的に関連づけられる十分なデータがあれば、生得的にマージされ、あるイベントの視点の数を増やすことができる。

【0014】

さらに、請求されたシステムと方法は、処理される特定のデータに関係なく、効果的に動作する。データ処理は実質的にリアルタイムで行うことができ、データストリームの記録中にピアデバイスがデータを交換することで、パラメータを確立し、データストリームの同期を容易にすることができる。いくつかの実施形態では、低性能のデバイスは、ローカル処理を高スペックのデバイスにオフロードすることができる。これらのデバイスは、他の記録デバイスでありかつ／又はサーバーデバイスを含むことも可能である。このデータ交換により、データ処理がシフトし、全体的な効率を高め、遅延を減らし、リアルタイムでの共有と統合を可能にして、マルチ視点データストリームを生成し、エンドユーザーにはるかに臨場感のある体験を提供する。

【0015】

本発明は、以下に概要を示すように、「代表的な特徴」に記載されているように、また請求項に記載されているように、方法、デバイス、コンピュータ可読媒体、及びコンピュータ可読のファイル及びメディアフォーマットを提供する。

【図面の簡単な説明】

【0016】

本開示がより容易に理解されるように、その好ましい実施形態が、例示としてのみ、添付の図面を参照して、これから説明する。

【0017】

【図1】イベントを記録デバイスで撮影する様子を鳥瞰図で示したブロック図である。

【図2】イベントが記録デバイスで撮影され、サーバーや視聴者デバイスとデータがやり取りされる様子を鳥瞰図で表した別のブロック図である。

【図3A】様々な視点１～４の記録デバイスによって撮影されるイベントの鳥瞰図を示すブロック図である。

【図3B】視点１～４でのカメラビューを示すブロック図である。

【図4】ワイドレコーディング及びコンテンツ配信ネットワーク（ＣＤＮ）の様々なデバイスを示すブロック図である。

【図5】ワイドレコーディング及びコンテンツ配信ネットワーク（ＣＤＮ）の様々なデバイスを示すブロック図である。

【図6】イベント識別子（eventID）とネットワークピアの管理を示すフローチャートである。

【図7】ポストプロダクション処理の流れを示すフローチャートである。

【図8】様々なワイドシステムコンポーネント間のデータフローを示すフローチャートである。

【発明を実施するための形態】

【0018】

用語集

【0019】

ハートビート - 正常な動作を示すため、又はコンピュータシステムの各部分を同期させるためにハードウェア又はソフトウェアによって生成される周期的な信号。

【0020】

ハンドシェイク - ２つのデバイスが初めて接触する際に発生する最初の通信シーケンス。

【0021】

メディアアーティファクト - ビデオファイル、オーディオトラック、画像ファイルなどのデジタルメディアファイル。

【0022】

タイムラインアーティファクト - 記録が行われている間の関連する活動を詳細に示す連続したイベントデータを含むデジタルファイル（後述の「タイムラインとタイムラインメッセージ」で詳しく説明）。

【0023】

図１は、本開示の第１の単純な実施形態を示している。システム１００は、被写体５０の第１の視野（ＦＯＶ）を有する第１の視点にある第１の記録デバイス１０を備え、第１のライブビデオデータストリーム１１を記録する。第１視点は、３次元空間の場所と、位置（方位と方角）を有する。第１の記録デバイス１０は、第１の生成データストリーム１１を、Bluetooth（登録商標）、Wi-Fi（登録商標）及び／又はセルラーネットワークなどで構成されるネットワーク上でアドバタイズする。第２の視点にある第２の記録デバイス２０は、被写体５０の第２の視野を有し、ライブビデオデータストリーム１２を記録している。第２の視点は、第２の場所と位置を有する。第２の記録デバイス２０は、第２の生成データストリーム１２をネットワーク上でアドバタイズする。第２の記録デバイス２０は、宣伝された第１のストリームを見ることができ、ストリームを同期させるために、ネットワーク上で第１のデバイス１０とデータを交換し、ネットワーク上のデータストリームの状態を維持する。

【0024】

いくつかの実施形態では、データストリームは、元の記録デバイス１０、２０の１つ、又は第３のデバイスである可能性がある視聴者デバイスに配信するために、データ交換によってネットワーク上で同期される。いくつかの実施形態では、記録デバイス又はサーバーが、他のデバイスへの配信のためにストリームを統合（多重化）するが、これについては後述の図２を参照してください。

【0025】

データストリームは、以下を含む様々なデータストリームパラメータを有する。
・ユーザー識別子、ユーザープロファイルデータ、ユーザーセルラーデータの制限、ユーザープリファレンスなどのユーザーパラメータ。
・デバイス識別子（ＭＡＣアドレス、ＵＵＩＤ）、ＯＳ情報、デバイスの性能特性（プロセッサ、メモリ、ストレージ、ネットワークの性能仕様など）、デバイスのプロセッサ、メモリ、ストレージの使用率、デバイスの温度、デバイスのバッテリー残量、空間内のデバイスの位置、デバイスの位置（向き（ポートレート／ランドスケープを含む）と方位／向き（コンパスの方向）を含む）、ネットワークピア、アクティブカメラの情報などのデバイスパラメータ、及び
・ストリーム識別子、イベント識別子、画像データ、音声データ、オブジェクトデータ、ピアメッセージ／指示、ビットレート、解像度、ファイルフォーマット、セカンダリリレーデータ、開始時刻、視野、メタデータなどの記録／メディアパラメータ。
・セカンダリリレーデータとは、あるピアデバイスから他のピアデバイスへ、一連の他のピアを経由して中継されるデータのことである。本来、このようなデータ（目的の宛先ではない）を受信したデバイスは、ネットワークルーターとして使用され、ＯＳＰＦ（Open Shortest Path First）や類似のＩＧＰ（Interior Gateway Protocol）などのルーティングプロトコルを使用して、目的の宛先にデータを中継する。いくつかの実施形態では、ＯＳＰＦプロトコルを利用して、より効率的なデータ転送を行い、レイテンシーと消費電力を削減している。

【0026】

データは、ネットワーク上のストリーム及び／又はデバイスの現在のステータスを維持するために、デバイス間でリアルタイムに交換されることが好ましい。いくつかの実施形態では、Bonjourプロトコルを使用することができる。好ましくは、デバイスは、現在参加しているネットワークと、必ずしも「参加」していないが利用可能な他のネットワークを含めて、周囲のネットワークをスキャンし、他のデバイスによって宣伝されている他のストリームを識別する。好ましくは、他のデバイス又はストリームのスキャンやポーリングを一定の間隔又は連続して行い、これらのデバイス及びストリームをネットワークプールに追加する。

【0027】

いくつかの実施形態では、本方法は、同期した第１及び第２のデータストリームを第１及び／又は第２のデバイスに表示／レンダリングして、現在記録されているビューを補足することをさらに含む。いくつかの実施形態では、本方法は、第１及び／又は第２のデータストリームをユーザーに送信すること、好ましくは、利用可能なデータストリームを選択のためにユーザーに示すこと、及び／又は、データストリーム（複数可）をデバイス上に表示／レンダリングすることをさらに含む。

【0028】

好ましくは、データ交換には、そのストリームや視点を一意に識別するためのストリーム識別子の割り当てと交換が含まれる。識別子は、ビデオ開始時刻、デバイスＩＤ（ＵＵＩＤなど）、デバイスの場所、及び／又はデバイスの位置に基づいて割り当てられる。好ましくは、日時（ミリ秒単位）とユニークなデバイスＩＤで構成されたものを使用する。識別子は、initialEventIDとmasterEventIDを含み、方法は、initialとmaster EventIDを比較して更新することを含むことが好ましい。このプロセスは、以下の図６を参照して、より詳細に説明する。

【0029】

データ交換はまた、Ｐ２Ｐハンドシェイク、ネットワークタイムプロトコル（ＮＴＰ）データ、タイミングハートビート、及びストリームを同期させるためのデータストリームのパラメータを好ましくはリアルタイムで送信及び／又は受信することを含み得る。ある実施形態では、データ交換は継続的に行われる。が、他の実施形態では、効率化のために、変化があったときにのみ情報を送受信する差分交換となる。

【0030】

図２は、図１のシステムをベースにした、本開示の第２の実施形態を示している。ここでは、システム１００の中央通信ハブとして、コンピュートノード又はサーバー３０が提供されており、ネットワークの負荷を軽減し、データの中央保存場所を提供することができる。サーバー３０はまた、サーバーサイド処理を実行して、データストリーム又はユーザーデバイスのパラメータを最適化して、システムを最適化することができ、好ましくはリアルタイムで、例えば、
・接続速度及び／又は遅延に応じて、受信及び／又は他のデバイスに送信されるデータストリームのビットレートを調整し、
・他のデバイスに配信するためにデータストリームをトランスコードし、
・例えば、データストリームのパラメータ、イベントへの近接性、及び／又はユーザーからのフィードバックに基づいて、データストリームに重み付け又は順位付けを行い、
・データストリームの可用性、パラメータ、及び／又はステータス(例えば、データストリームのタイミング、位置、及びデータストリームがまだライブであるかどうか)を、例えばデータベースを使用して、好ましくはリアルタイムで追跡し、
・データストリームを、外部ソースからのストック映像や録画済み映像、ライブ映像などの他のリソースからの追加データと組み合わせ、かつ／又は
・録画終了後にライブストリーム及び／又は完全なストリームを保存する。

【0031】

他の実施形態では、上記の処理の一部又は全部は、ローカルデバイスで実行されてもよいし、ピアデバイスとネットワークコンピュートノード又はサーバーの組み合わせに分散され得る。図４及び図５は、より広い範囲の録画及びコンテンツ配信ネットワーク（ＣＤＮ）で使用される可能性のある様々なデバイスを示している。

【0032】

好ましくは、システム１００は、ユーザーデバイス１０、２０（など適宜）及び存在する場合はサーバー３０を含むデバイスのネットワーク全体を監視し、データストリームのパラメータ、特にセルラーデータの制限、デバイスの性能特性及び利用率、デバイスの温度及びデバイスのバッテリーレベルなどのユーザー及びデバイスのパラメータに応じて処理を分配する。このネットワーク監視は、１～１０秒ごと、３０秒ごと、１～５分ごとなど、一定の間隔で行われるのが好ましいが、より好ましくは実質的にリアルタイムで行われる。このネットワーク監視により、システムは、条件が許す限り、十分な容量とネットワーク機能を備えた最も効率的なプロセッサを有するデバイスを利用することができるため、効率が最大化される。例えば、バッテリーレベル、プロセッサ／メモリ／ストレージの利用率、動作温度のパラメータがあらかじめ定められた範囲内にあるデバイスの最も強力なプロセッサを利用し、最適な状態を維持するようにデータ処理ステップを転送する。特定のデバイスのバッテリー残量が少ない場合や、データプランの上限が近づいている場合は、対応するトランスコーディングやセルラーデータ転送のタスクを必要に応じて動的に再割り当てすることができる。この配置により、ネットワークシステムがさらに改善され、コンピュータシステムとしてより効率的かつ効果的に動作し、消費電力も削減される。

【0033】

サーバー３０は、さらに後述するように、追加のオーディオ及び／又はビジュアル処理を行うことができる。

【0034】

また、図２の実施形態では、データストリームを受信して表示するための視聴者デバイス４０が設けられている。視聴者デバイスは、例えば、携帯電話、コンピュータ、ＶＲヘッドセットなどの形をしている。好ましい実施形態では、視聴者デバイス４０は、データストリームを受信し、ユーザーに表示する。視聴者デバイス４０が記録デバイスでもある場合、ストリームは視聴者デバイスでローカルに、又はＰ２Ｐを介してネットワーク内の他のデバイスで、又はサーバー３０のような単一のデバイスで、同期及び統合される可能性がある。

【0035】

好ましくは、ストリームで利用可能な視点がユーザーに示され、ユーザーが選択できるようになっている。視点は、画面上又はＡＲマップ上にマッピングされ、視点間を移動するためのコントロールが提供されたり、ユーザーから受け取ったジェスチャー入力が処理されたりすることもある。好ましくは、視点間のトランジションはアニメーションである。

【0036】

本実施形態のシナリオでは、第１の記録デバイス１０がinitialEventIDを割り当てており、第２の記録デバイスのストリーム１２のアドバタイズを検出し、双方向の接続が確立されるようなピアツーピア（Ｐ２Ｐ）のハンドシェイクを実行する。

【0037】

このハンドシェイクの一環として、第２のデバイス２０は、第１のデバイス１０のinitialEventIDを自身のmasterEventIDとアンカーとして採用し、第１のデバイス１０は、第２のデバイス２０を兄弟とアンカーとして認めている。

【0038】

本実施形態では、第２のデバイス２０は、第１のデバイス１０の視野内に物理的に配置され、第１のデバイス１０のカメラビューにＡＲマーカーとして表示される。第１のデバイス１０は、第２のデバイス２０の視野の外にあるため、第２のデバイス２０のカメラビューの周辺にエッジマーカーとして表現される。

【0039】

第２のデバイス２０は、第１のデバイス１０の視点にナビゲートするためのユーザー入力を受信するので、第１のデバイス１０のストリーム１１は、ネットワークを介して取得され、第２のデバイス２０のカメラビューに表示され、例えば、第２のデバイス２０自身のカメラビューがミニチュアビューで上に重ねて提示される。第２のデバイス２０はこれで第１のデバイス１０の視点を見ることができる。

【0040】

第１のデバイス１０が、第２のデバイス２０の視点をプレビューするためのユーザー入力を受信した場合、同様に、第２のデバイス２０のデータストリーム１２のミニチュアビューが、第１のデバイス１０のカメラビューにオーバーレイされる可能性がある。

【0041】

第１のデバイス１０がその記録を終了し、第１のストリーム１１を終了し、第２のデバイス２０との接続を閉じた場合、第２のデバイス２０は第１のストリーム１１の終了を検出し、自動的にベースのカメラビューに戻るようにナビゲートする。第１のストリーム１１により近い別の視点が利用可能であった場合、第２のデバイス２０は、視聴体験の妨げにならないと考えられるものに応じて、第１のストリーム１１の終了時にそのベースカメラビューの代わりにその視点にナビゲートする可能性がある。これに続いて、第１のデバイス１０は、最も早い機会に、ローカルに生成されたビデオキャプチャーを、ポストプロダクション処理のために、関連するタイムラインアーティファクトとともに、ネットワーク（例えば、サーバー３０、又は、共有ストレージ）に自動的にアップロードする。この段階で他のデバイスが同じ録画ネットワークに参加すると、Ｐ２Ｐハンドシェイクにより、第２のデバイス２０からの第１のデバイス１０のinitialEventIDをmasterEventIDとして採用することになる。

【0042】

第２のデバイス２０は、その記録を終了し、その結果、ストリーム１２を終了する。また、第２のデバイス２０は、ポストプロダクション処理のために、関連するタイムラインアーティファクトを有するローカルに生成されたビデオキャプチャーをネットワークに自動的にアップロードする。

【0043】

視聴者デバイス４０のユーザーは、イベントを視聴したいので、メディアを互換性のあるプレイヤーにストリーミングし、第１のデバイス１０の事前に録画された視点からイベントを視聴する。再生時には、第２のデバイス２０の視点のマーカーが、現在の（第１のデバイス１０の）視野に対する第２のデバイス２０の視点の位置を示すビデオフレームに表示される。

【0044】

視聴者デバイス４０のユーザーは、第２のデバイス２０の見晴らしの方が被写体に近いことに気付き、第２のデバイス２０の見晴らしに切り替えることを決定したので、ユーザーコントロールを使用して、切り替えを開始する。視聴者デバイス４０のユーザーは、第２のデバイス２０の位置にナビゲートして、第２のデバイス２０の視点からイベントの残りの部分を表示する。第２のデバイス２０の視界の外にある第１のデバイス１０は、現在、視聴者デバイス４０が見ている現在の映像の周辺にエッジマーカーとして表現されている。

【0045】

その直後にエッジマーカーが消え、第１のデバイス１０の映像が終了したことを示す。その後すぐに映像は終了する。

【0046】

いくつかの実施形態では、デバイスはそれぞれ、ネットワークに参加している他のストリームを（例えば、ＭＡＣアドレス、ＵＵＩＤなどによって）検出し、データストリームのパラメータや各ストリームの位置及び／又は位置データの変化に関するデータを監視し、送信及び／又は受信する。これにより、デバイスは他のデータストリームにリアルタイムで反応し、重複を検出することができる。第１のモバイルデバイスが静止した録画デバイスに隣接しており、どちらもデータストリームを録画してネットワークにアップロードしている場合、ストリームを比較して、アップロードストリームを調整することができる。例えば、２つのストリームの視野が重なっている場合、これを検出して、低品質又は低帯域のストリームに対して差分アップロードを行うことができる。あるデータストリームが完全に冗長である場合、そのアップロードを完全に無効にすることができる。このようにデータストリームをリアルタイムに解析することで、冗長なストリームのアップロードがなくなり、差分のアップロードを利用することができるため、電力効率が向上する。しかし、デバイス間で位置情報及び／又はポジションデータも交換されており、デバイスが移動して新たな視野を提供し始めると、これが識別され、アップロードが継続される可能性がある。

【0047】

統合データストリーム

【0048】

いくつかの実施形態では、本方法は、好ましくは実質的にリアルタイムで、データストリームを同期して統合データストリームに結合することを含む。

【0049】

一形態では、統合データストリームは、時間と位置情報に基づいて同期された複数のオーディオ及び／又はビジュアルフィードを含むマルチ視点メディアフォーマットで構成されており、ユーザーはリアルタイム及び／又はレトロスペクティブに視点間をインタラクティブに行き来することができる。メディアフォーマットは、ユーザーが視点を選ぶことができるビデオとして配信されたり、ＶＲやＡＲシステムの一部として配信されたりする。マーカーは、現在のカメラショットの視野内にある他の利用可能な視点の相対的な位置を示すために重ねて表示され、エッジマーカーは、現在フレーム外にある他の視点の相対的な位置を示すことができる。

【0050】

いくつかの実施形態では、統合データストリームは、複数の異なる視点からのイベントの代替的な一次及び二次ビデオ映像を含むマルチ視点ビデオを含み、ビデオの少なくとも一部の視点はユーザーが選択可能である。映像が単一の「マスタータイムライン」を有すると考えられる場合、ユーザーは、タイムラインの様々な時点で、異なる視点から代替の記録デバイスからのプライマリー及びセカンダリ（及びそれ以降）の映像を選択することができ、及び／又は、マルチビュー設定で複数の視点からの映像を同時に見ることができる。プライマリー映像とセカンダリー映像を選択すると、プライマリー映像がセカンダリー映像に置き換わり、逆にセカンダリー映像がプライマリー映像に置き換わる。他の実施形態では、ビデオ映像は、データストリームやユーザーのパラメータに応じて動的に変化する。例えば、フィードをストリーミングするユーザーの数、それらのユーザーの人口統計、フィードの重み付けやランキング、及び／又はユーザーの好みに応じて変化する。

【0051】

いくつかの実施形態では、統合データストリームは、複数の視点からの画像又はビデオフレームをスティッチングしたビデオフレーム及び／又は複数の異なる視点からスティッチングしたオーディオを含むマルチ視点ビデオで構成される。例えば、２つの視点は、被写体から３０°などの既知の角度でオフセットされ、５ｍの間隔で配置されている。これらのストリームの視野は、フレームごとに結合され、広角の視野を有する単一の統合ストリームを形成することができる。データストリームに異常や障害がある場合は、追加の画像やビデオ映像で代用したり、組み合わせたりすることができる。同様に、記録デバイスがモノラル音声しか記録しない場合は、音声ストリームを組み合わせてステレオ音声トラックを提供することもできる。また、データストリームの重複を分析し、冗長なデータを削除したり、より高品質なオーディオデータに置き換えたりすることもできる。

【0052】

いくつかの実施形態では、統合データストリームに対して、追加の視覚的又は音声的な処理を行うことができる。例えば、品質（ビットレート、明瞭度、相対的な位置（イベントに近いか遠いかなど））によってストリームをランク付けし、単一の最高品質ストリームを重み付けして選択することや、ストリームをマージして統合ストリームを確立すること（例えば、左右のモノラルオーディオストリームをマージしてステレオストリームを提供することや、複数の位置ソースをマージしてサラウンドストリームを提供することなど）が挙げられる。いくつかの実施形態では、３Ｄオーディオコンテンツは、ストリームから、好ましくは、ベクトル計算を使用して、視点の方位及び／又は３６０°パノラマの実装における視聴者の方位の遷移を考慮して導出される。

【0053】

例えば、あるソースにバックグラウンドノイズがある場合、これを検出し、他のストリームを分析することで除去し、クリーンなマスターオーディオトラックを確立することができる。同様の視覚処理を行い、他のフィードを分析して組み合わせることで、レンズの汚れや視野内の障害物などの視覚的な異常を取り除くことができる。特にコンサートでは、来場者の多くが演奏を録画するため、各ユーザーの映像には前方の他のユーザーの演奏が映ってしまうため、障害物が問題となる。本発明では、データフィードを同期及び統合することでこの問題に対処し、異なる視野を提供しかつ／又は障害物を除去するためにデータストリームを調整／補正するための十分な情報を提供する他のストリームを使用して障害物を除去し、録画の品質を向上させることができる。

【0054】

さらに、異なる環境や視点からの視覚効果及び／又は音声効果を再現するために、視覚データ及び／又は音声データを適応させることで、異なる環境や視点をシミュレートするための追加処理を行うことも可能である。

【0055】

ここで、本システムのいくつかの側面について、より詳細に説明する。

【0056】

記録デバイス

【0057】

本実施形態では、オーディオ／ビジュアルデータをキャプチャし、ネットワーク経由で中継することができる任意のデバイス及び／又はシステムを利用している。ここで重要なのは、携帯電話、タブレット、ウェブカメラ、ウェアラブルなどのスマートデバイスや、より伝統的な放送システム、セキュリティカメラ、ＨＤカメラ、３６０°パノラマカメラ、指向性／無指向性のオーディオピックアップなどである。

【0058】

好ましくは、視点録画が開始されると、録画デバイスは自己確立した無線ネットワーク上で利用可能な視点としてそれ自体をアドバタイズすると同時に、現在放送されている他の視点を周囲のエリアでブラウズする。周囲の制限は、あらかじめ設定されているか（例えば、設定された半径、エリア、又は場所内）、又は動的に適応して、個々のデバイスが現在の場所で確実に無線信号を受信及び送信できる３Ｄ範囲（ボリューム）を定義することができる。また、ＣＤＮ（コンテンツ配信ネットワーク）を利用したストリーミングを可能にするために、サーバーサイドでの接続が試みられる。ローカルメディアやタイムラインのアーティファクトも作成され、キャプチャの期間中に追加されていく。このようなアーティファクトは、全体的又は部分的に揮発性メモリとディスク上に存在するか、又は定期的にディスクにフラッシュされるバッファと共に揮発性メモリのみに書き込まれる可能性がある。いくつかの実施形態では、メディアアーティファクトのメモリアレイは、ローカルディスク上で断片化され、後で処理時に再構築されることがある。ローカルメディアのアーティファクトが作成され、さらなる処理やトランスコーディングのために最適な品質で保存される。いくつかの実施形態では、最初のライブデータストリーム（帯域幅の制限により低品質のストリームにトランスコードされている可能性がある）が、ローカルデバイスに保存されている高品質のバージョンに置き換えられたり、補完されたりすることがある。

【0059】

リアルタイムでのデータ送信及び処理

【0060】

いくつかの実施形態では、分散型Ｐ２Ｐネットワークとセルラー及びWi-Fi（登録商標）ベースのネットワークを利用して、記録デバイス間で時間ベースのメッセージのストリームを（好ましくは継続的に）送受信する。

【0061】

これらのタイムラインメッセージには、Ｐ２Ｐハンドシェイク、ハートビートのタイミング、場所（経度・緯度・高度）、位置（方位・方角）、ステータス、イベントＩＤ、画像データなどの１つ以上が含まれ得る。これは、デバイスが、それらが更新されたときには、周辺地域の他の視点のステータスに関する正確な知識を維持することを意味する。ハートビートメッセージは、デバイス間で定期的に、好ましくは数秒単位で送信され得る。このデータは、視点マーカーのレンダリングのために、実質的にリアルタイムで解析されることが好ましい。位置情報の精度は、ＧＰＳの三角測量の精度が上がれば上がるほど向上するが、これは最近の５Ｇ＋ＧＰＳ＋Wi-Fi（登録商標）技術の進歩により、すでに実現している。ViiVid（登録商標）のレトロスペクティブな視聴のために、ＰＯＩの位置精度をさらに向上させるという課題は、後述するサーバー側の後処理段階で解決される。

【0062】

表１は、録画中にサービスを受ける可能性のあるデータフィードの一部を示している。

【0063】

【表1】

【0064】

リアルタイムでの視点パンニング

【0065】

ユーザーは、自分の視点で撮影しながら、他の視点を対応するデバイスで同時に見ることができる。リアルタイムでの視点パンニングやプレビューは、サーバー（インターネットプロトコルネットワークを介してアクセス可能）を介して、又はWi-Fi Direct、Wi-Fi（登録商標）及び／又はBluetooth（登録商標）などのローカルネットワークプロトコルを介してピアから直接、ライブビデオストリームにチャネリングすることで実現できる。録画ネットワーク内の端末であれば、インターネットに接続しなくても、代替の映像をライブで見ることができる。それ以外の場合、インターネットに接続しているユーザーは、ライブトランスコード機能を提供するコンテンツ配信ネットワーク（ＣＤＮ）を介して、いつでもどこでも代替の視点をパンすることができる。これにより、視聴デバイスに応じて異なるビットレートと解像度でレンダリングされ、視聴体験が向上する。

【0066】

伝送ビットレートは、接続の遅延や伝送方式（セルラー、衛星、ファイバー、Wi-Fi（登録商標）、Bluetooth（登録商標）、Direct Wi-Fiなど）に応じて、ピア接続ごとに増減させることができる。本システム／方法は、より信頼性の高い、又はより高速なデータストリームやデバイスを促進し、リソースを再配分して、より効率的なシステムを提供することができる。例えば、高解像度のストリームが第１のデバイスによってキャプチャされているが、そのデバイスのセルラーデータアップリンクが、クラウドへのアップロードのための完全な解像度をサポートできない場合、データストリームは、Wi-Fi（登録商標）を介してＰ２Ｐネットワーク上で、代替のセルラーネットワーク上の他のデバイスに部分的又は完全に再分配され、それらのデバイスがアップロードデータの送信を共有することができる。

【0067】

ネットワークは次に述べるいくつかのブロックチェーンの原則に従っていることが望ましい。
ｉ）ネットワーク上の各デバイスが、完全なイベント情報にアクセスできる。単一のデバイスがデータをコントロールすることなく、各デバイスが第三者のパートナーを介さずに、パートナーのイベント及び／又はデータストリームのパラメータを直接検証することができる。
ｉｉ）Ｐ２Ｐ伝送 - 通信は中央サーバーではなくピア間で直接行われる。すべてのデバイスは、情報を保存し、他のすべてのデバイスと共有する。デバイスの接続性が分散されているため、録画ネットワークに単一障害点がなく、ピア接続のビットレート管理により、ハードウェア及び／又はネットワークの制限にかかわらず、フィードのパフォーマンスが最適化されている。ビデオストリームにはタイムラインアクションメッセージが含まれている場合があり、クライアントがこのメッセージを受信すると、拡張現実の注目点（ポイントオブインタレスト）をレンダリングする場所を決定するのに使用される。しかし、バックアップとして及び／又は追加機能のためにサーバーを設置することも可能である。
ｉｉｉ）データの完全性 - 記録デバイスの相互運用性により、１つの出来事について複数の裏付けとなる証言が得られることが多い。例えば、犯罪の容疑者は、その時の情報のやり取りにより、複数の独立したデータソースを使って、特定の時間に特定のエリアに存在していることをアリバイとして証明することができる。

【0068】

いくつかの実施形態では、システムはゲーミフィケーションエンジンを含み、最も人気のある視点、最高の視覚／聴覚的な明瞭さ、照明、焦点などを作り出したユーザーに報酬を与える。いくつかの実施形態では、ゲーミフィケーションエンジンは、ユーザーが特定の視点又はViiVid（登録商標）全体を共有し、コメント、高評価及び／又は低評価することができる。

【0069】

イベント及びeventIDの管理

【0070】

図６は、EventIDの管理と、ネットワークに追加される際のピアや識別子の処理方法を示すフローチャートである。

【0071】

好ましくは、個々の視点（又はビデオ、オーディオ、ピクチャー）は、最初のイベントと２つのジュニアイベント（兄弟、アンカー）のコレクションへの参照を維持する一方で、マスターイベントとして知られる統合エンティティとの「依存」（多対一）の関係を維持する。初期イベント識別子は、視点が記録を開始すると生成され、initialEventIDパラメータに格納される。すべてのイベントの識別子は、動画の開始時刻と、制作者のユーザー識別子又はデバイスＩＤ（ＵＵＩＤ）の組み合わせで構成されている（例えば、20180328040351_5C33F2C5-C496-4786-8F83-ACC4CD79C640）。

【0072】

いくつかの実施形態では、記録されている視点（又はＡＶコンテンツ）を一意に参照するinitialEventIDは、記録の期間中は変更できない。初期のイベント識別子は、録画開始時にmasterEventIDとしても開始される。が、既に開始されたマスターイベントが現在のマスターよりも早い時間に周囲で検出された場合には、マスターを交換することができる。

【0073】

いくつかの実施形態では、録画中に周囲で仲間が検出されると、initialEventIDとmasterEventIDのパラメータが交換され、既存のイベント識別子と比較される。そのため、新しいピア接続が確立されるたびに、初期イベント識別子とマスターイベント識別子のセットがブロードキャストされ、比較処理のために相互に受信される。ピアのinitialEventIDを処理するとき、そのピアのinitialEventIDが、それぞれsiblingEventIDsとanchorEventIDsという名前の兄弟とアンカーの両方のコレクションにカタログ化されているかどうかを判断するために、まずチェックが行われる。どちらのコレクションにも存在しない場合は、ピアのinitialEventIDが両方のコレクションに存在するように、それらに追加される。このようにして、視点のアンカーコレクションには、録画中に周辺地域で遭遇した他のすべての視点の記録、すなわち、再生中にパンできる視点の記録を保持する。

【0074】

これに続いて、ピアのマスターイベント識別子は、既存のmasterEventIDと比較され、以前のものは現在、masterEventIDを支配的なイベント識別子として想定している。ピアのinitialEventIDと同様に、劣っている（後の）masterEventIDは、siblingEventIDsコレクションにまだ存在していなければ追加される。が、アンカーコレクションには追加されない。以前のマスターイベントの識別子を採用することで、masterEventIDsが複数の視点から見たviiVid全体の主要な統一されたエンティティであり続けることを保証し、また、劣ったイベントに関連するデータが失われることなく、他の兄弟とともに保存されることを保証する。録画中にデバイスが新しいマスターイベントを知ると、比較のために新しいマスターイベントの識別子を含む、さらなるダウンストリームアップデートが他のすべての接続されたピアに送信される。

【0075】

タイムライン及びタイムラインメッセージ

【0076】

いくつかの実施形態では、ビデオ録画ごとに、メッセージベースのタイムラインも生成され、録画の継続とともに追加されていく。タイムラインには様々な種類のメッセージが記録されており、録画中のデバイスの動作や周辺で発生した関連データを時系列で記録する。これらのメッセージタイプは、以下の１つ以上を含むフラグによって識別されるタイムラインデータストリームのパラメータである。

【0077】

・START - 各タイムラインを開き、位置情報や方位情報などのステータス情報を表示する。
・EVENT_ID_UPDATED - 新しい支配的なmasterEventIDが受信されるたびにタイムラインに記録される。
・STATUS - 位置情報、ヘディングステータスのほか、基本的なピア関連データやイベントIDの割り当てなどを報告する。
・END - 録画停止時の視点の終了状態を報告する。
・CHECKSUM_GENERATED - ファイナライズされたメディアアーティファクトから生成された検証ハッシュ文字列を報告する。
・LOCATION_CHANGE - 該当するロケーションの変更ごとにログ記録される。
・ORIENTATION_CHANGE - ランドスケープ／ポートレート、フロント／バックカメラの切り替えなど、方向の変更を報告する。
・HEADING_CHANGE - 見出しの変更を報告する。
・CAMERA_STATUS - 使用中のカメラの状態を報告するもので、複数のカメラやレンズが使用可能な場合はどのカメラやレンズが使用されているか、カメラの仕様（センサーの種類やサイズなど）、絞りやシャッタースピード、ISOなどのカメラの設定が含まれる。
・CAMERA_TOGGLE - 複数のカメラが搭載されているデバイスでのカメラのトグルの性質を報告する（例えば、スマートフォンのメインバックカメラからユーザー側のカメラへの切り替えなど）。
・SNAPSHOT_CAPTURED - 写真が撮影されるたびに記録される。
・LIVE_MESSAGE_SENT - 視点レコーダーによって発信されているユーザー生成メッセージを示す。メッセージスレッドのテキストから、周辺地域でのＡＲフレアのアニメーションまで、あらゆるものが含まれる。
・LIVE_MESSAGE_RECEIVED - 録画ネットワークやライブビューアーからのメッセージが検出されたときに記録される。
・RETRO_MESSAGE - オンデマンドビューアがViiVid（登録商標）再生中の特定のポイントでスレッドに追加した際に、相対的なタイムスタンプで記録される。
・PEER_LOCATION_CHANGE - ピアがロケーションを変更するたびに、ピアの初期イベント識別子とともにログに記録される。
・PEER_ORIENTATION_CHANGE - 横長／縦長、前面／背面カメラの切り替えなど、相手の向きの変更をレポートする。
・PEER_HEADING_CHANGE - ピアのヘディングの変更を報告する。
・PEER_SNAPSHOT_TAKEN - 接続されているピアが写真を撮るたびに記録される。
・PEER_STATUS_RECEIVED - 接続されているピアから定期的にステータスメッセージを受信したときに記録される。
・PEER_CHECKSUM_RECEIVED - メディアアーティファクトに対応する接続されたピアから検証ハッシュ文字列を受信したときに記録される。
・PEER_CAMERA_STATUS - ピアのカメラの状態を報告する（CAMERA_STATUS参照）。
・PEER_CAMERA_TOGGLE - 接続されているピアのデバイス上でのカメラのトグル操作の性質を報告する。
・PEER_ADD - 新しいピアが検出され、アンカー／兄弟姉妹リストに追加されたときに報告する。
・PEER_REMOVE - ピアが記録を終了したときや、ピアとの連絡が途絶えたときに報告する。

【0078】

撮影されたイベントの識別子と関連して、タイムラインは、視点がどのように組み合わされ、同期され、回顧的な視聴者のためにレンダリングされるかを決定する上で重要な役割を果たす。タイムラインデータは、タイムライン・アーティファクト・ファイルに格納されかつ／又はメモリ・バッファ内に格納される。

【0079】

グラフィカルユーザーインターフェース

【0080】

ユーザーインターフェースは、ユーザーコントロール、カメラビュー、トグル可能なオーグメンテッドリアリティオーバーレイから構成される。また、地域の詳細を示す折りたたみ式のマップビューや、他のビューをプレビューする折りたたみ式のカルーセルも用意されている。カメラビューの拡張現実オーバーレイには、現在の視点と利用可能な視点の間の方向と相対的な距離が表示される。マップビューには、ＰＯＩやその他の利用可能な視点を示す拡張現実のロケーションマーカーが表示され、ローカルエリアが表現される。ユーザージェスチャーやユーザーコントロールを使って、視点間をナビゲートしたり、ＰＯＩとインタラクトしたりして、プレビュー、メッセージング、情報リクエストなどの他のアクションを実行することができる。いくつかの実装では、ユーザーは、ピクチャー・イン・ピクチャー・インターフェイスやマルチスクリーン・セットアップを使って、一度に複数の視点をグリッド状に表示することができる。

【0081】

ＡＲレンダリング

【0082】

デバイスが受信したデータは、リアルタイムで解析され、視界に対するＰＯＩの方向、距離、高度を示す視点ＡＲマーカーがディスプレイ画面に表示されることが好ましい。これらのマーカーは様々な３Ｄ形状をしており、ハイライトされているＰＯＩの種類を示すことができる（例えば、友人の場所、３６０°パノラマの景色、ランドマーク、地元の施設、食事場所など）。ＰＯＩがビデオフレーム（又は派生した可視３Ｄフラクタム）の境界外にある場合、周辺マーカーや方向アイコンが相対的な位置（距離、方位、高度）を示すことがある。

【0083】

これにより、ユーザーは見ている空間や視点間の相対的な距離感をより理解できるようになり、より直感的な表示と記録が可能になる。ViiVid（登録商標）の視聴や録画中に、仮想フレアを拡張現実レンディションに照射することで、他の視聴者の注意を視聴エリア内の位置に引きつけることができる。これらのフレアは、テキスト、画像、キャプチャされた静止画及び／又はミニアニメーションを含む様々な形で表現され、第三者企業やユーザーが映像内のオブジェクト／ＰＯＩ／人物をタグ付けすることで、マーケティングスペースとして利用されることもある。いくつかの実施形態では、これらのタグは、ソーシャルネットワークアプリケーション、SMS、電子メールなどの通信媒体を介して、ソーシャルネットワークの友人やフォロワーとリアルタイム又はレトロスペクティブに共有することができる。

【0084】

注目点ナビゲーション

【0085】

この技術は、様々な角度から見るだけでなく、実際にその場にいるかのような没入感をユーザーに与えるように設計されている。また、ＶＲヘッドセット、時計、メガネ、手袋、センサー、ヘッドフォンなどのウェアラブル技術を使用して、バーチャルリアリティ（ＶＲ）体験に適応・最適化することもできる。また、ＶＲ以外の実施形態としては、パーソナルコンピュータ、ハンドヘルドデバイス、テレビ、スマートデバイスなど、ユーザーがインタラクティブに操作できるマルチメディアデバイスが考えられる。

【0086】

方向性のあるジェスチャーやその他のユーザーコントロールに対応して、いくつかの実施形態では、空間内での動きを印象づけるために、視点を切り替える際にアニメーションを実装している（ズーム、フェード、３Ｄモデリングなど）。３６０°以外のパノラマカメラフィードの進行方向及び向きを考慮して、ユーザーナビゲーションは、例えば、パフォーマンスをより近くで見たいと思っているユーザーが、自撮りビデオを撮影している最前列の視点に切り替えようとすると、意図したターゲットに近いにもかかわらず、結果的に後ろを見ることになるため、ユーザーのナビゲーションは、視聴者がどこを見たいかではなく、何を見たいかに基づいて決定されることもある。

【0087】

いくつかの実施形態では、方向性のあるユーザージェスチャーの加速度、開始／終了位置、ルートによって、トランジションの速度や加速度、移動距離及び／又は方向が決定され、これを反映してアニメーションのトランジションが調整されることがある。また、ユーザーのデバイスからの３次元サウンドとハプティックフィードバック（体性感覚コミュニケーション）は、ウェアラブル、コントローラー、空中ハプティックを介して、ハイエンドの外骨格や全身スーツに至るまで、ViiVidsを視聴する際のユーザーの感覚を高めるために使用することができる。

【0088】

折りたたみ式のマップビューと視点カルーセルは、どちらもユーザーに周辺地域とその中にあるＰＯＩを感じさせてくれる。この２つはナビゲーションコントローラーとしても使用でき、ユーザーは記録された視点を変えることなく、他のＰＯＩが可視フラクタム内にあるかどうかに関わらず、他のＰＯＩと対話することができる（プレビュー、表示、問い合わせなどを含む）。可動式のミニビューは、他のVPに切り替えたときにユーザーの現在の視点を提示したり、プレビュー時にはプレビューした視点をレンダリングしたりする。

【0089】

視聴者が決定するナビゲーションの順序は、プログラム的に（ＡＩを使って最適な、あるいは最も人気のある視点を発見する）、あるいはプロデューサーのような第三者が決定／提案することもできる。ナビゲート可能な位置はあらかじめ決められたものではなく、タイムライン情報を解析しながらリアルタイムに（視点が記録エリアに出入りしても）算出される。

【0090】

記録停止

【0091】

好ましくは、録画が終了すると、すべての接続が閉じられ、デバイスは周辺地域でのサービスアドバタイズを終了する。その後、initialEventIDとmasterEventIDが無効にリセットされ、兄弟とアンカーコレクションが空になる。最後に、ローカルメディアとタイムラインのアーティファクトは圧縮され、静止状態では暗号化され、最も早い機会にアップロードされて、暗号化された伝送を介してサーバー側での処理、結合、再分配が行われる。

【0092】

信頼されるアーティファクトと信頼されないアーティファクト

【0093】

ユーザーが生成したコンテンツの相互運用性と信頼性を高めるために、信頼された／信頼されていないアーティファクトという概念を導入することで、エンドユーザーは自分が消費しているコンテンツが記録時から改ざんされていないことをより確信することができる。いくつかの実施形態では、コンテンツは「信頼できる」、「標準」、「信頼できない」に分類される。他の実施形態では、さらなるカテゴリーや、品質の等級付け／評価システム（例えば、１～５*の評価）を使用することもできる。「信頼できない」視点は、ViiVid（登録商標）に含まれているが、視聴者は、視点の異なるカテゴリー／評価を区別することができ、このパラメータに基づいて、１つ以上のカテゴリーの視点を全体的な経験から除外することができる。

【0094】

いくつかの実施形態では、記録の終了後に、ローカルメディアとタイムラインのアーティファクトのチェックサムが生成され、サーバーとローカルクライアントの両方に登録されることがある。いくつかの実施形態では、ピアデバイスは、他のピアデバイスのチェックサムを登録し、Ｐ２Ｐネットワークレジスターを作成して、他のピアデバイスによって視点が「検証」されるようにすることもできる。チェックサムはポストプロダクションで使用され、サーバーに届いた結果の視点が修正されていないことを確認し、セキュリティと相互運用性のレイヤーを追加する。

【0095】

「信頼できる」アーティファクトには、次の２つの検証を満たす映像が含まれる。ｉ）検証されたチェックサムを有すること、ｉｉ）検証されたプロバイダから提供されていること。例えば、イベント会場の公式記録デバイス（ＭＡＣアドレス、シリアル番号、場所及び／又は位置、及び／又はデータストリームパラメータで識別可能）、又は高品質の映像を提供することが知られているピアデバイス（評価の高いユーザーや、高品質のカメラなどの特徴を有するデバイス）などがある。

【0096】

「信頼できない」アーティファクトには、評価の低いユーザーによる検証されていないソースから提供された映像、及び／又は、チェックサムの不一致や検証できない／矛盾する／欠落しているデータ（メタデータやデータストリームのパラメータなど）などのデータの異常がある映像が含まれる場合がある。例えば、録画時やその後に、他の視点のネットワーク内で視点が確認できない（同期が取れないなど）場合、コンテンツは「信頼できない」とみなされる可能性がある。ViiVid（登録商標）に手動で追加された視点は、たとえ同期に成功したとしても（チェックサムが一致しており、したがって「検証」されている）、記録デバイスが記録時に他のピアデバイスによって生成されたタイムラインアーティファクトに同期／登録されていない場合は、信頼できないとみなされる可能性がある。

【0097】

「標準」のアーティファクトには、チェックサムが検証されているものの、標準的なユーザーによって提供された映像や、より一般的には信頼／不信頼のカテゴリーに該当しない映像などが含まれる。

【0098】

サーバー又は記録デバイスは、ライブストリームからサーバーがコンパイルした品質の低いメディアアーティファクトの形式であるかどうかにかかわらず、視点の信頼できるバージョンを維持することができる。

【0099】

サーバー側の処理

【0100】

サーバーサイドの処理の目的は、個々の映像、音声、静止画、タイムラインのアーティファクトを、繰り返し利用可能な１つのマルチ視点ビデオ（又はViiVid（登録商標））にまとめることである。ビデオのタイムシグネチャだけでは、ネットワークタイムプロトコル（ＮＴＰ）のタイムソースやＮＴＰストラタムの違いによって歪む可能性があるため、システムはフィード全体を通してＰ２Ｐハートビート、視覚／音声キュー、多くの位置及びポジションの更新を処理し、より高い精度を提供することが好ましい。上述のタイムラインとイベント識別管理アルゴリズムを使用することで、基本的に、コンテンツが時間と空間の中で、可能な限り他のアンカーコンテンツと相対的に、自身の文脈を表現することができる。視点のタイムラインは、個々のタイムラインを補足するために周辺地域の活動の共有記録を提供するViiVid（登録商標）の１つのマスタータイムラインを形成するためにマージされ、重複排除されることが好ましい。

【0101】

図７は、ポストプロダクション処理の流れをより詳細に示したもので、以下の略語が使用されている。ＡＩ - Artificial Intelligence（人工知能）、ＡＶ - Audio／Visual（オーディオ／ビジュアル）、ＣＭＳ - Content Management System（コンテンツ管理システム）、ＤＢ - Database（データベース）、ＬＴＳ - Long-term Storage（長期保存）。

【0102】

各メディアアーティファクトはデコードされた後、ビデオのオーディオトラックを分離し、他のアンカービデオのオーディオトラックと整列させることで処理され、その開始時刻とすべてのアンカーの開始時刻との間の時間オフセットが決定される。これにより、デバイスベースの時刻同期（ＮＴＰ）だけでは得られない、より高いタイミングの同期精度を実現している。いくつかの実施形態では、視覚的オブジェクト認識処理を使用して、メディア映像全体に視覚的なタイミングキューを生成することができる。これらのキューは、特にオーディオデータが欠落していたり、不明瞭であったり、信頼性が低い場合に、タイミングオフセットを計算することによって、メディアアーティファクトを同期させるために使用することができる。このタイミング情報は、マスターのタイムライン上で、より正確な視点の開始時間を調整するために使用され、マスターが単一のベスト・トゥルースを維持する。

【0103】

ViiVid（登録商標）には、ビデオだけでなく、撮影した静止画や音声などの他のメディアフォーマットも織り込まれることがある。例えば、パフォーマンスの中心にある指向性マイクからの出力を、低品質のビデオ視点のための拡張オーディオオーバーレイとして使用したり、映像の特定のポイントにある画像を、撮影された位置に一時的なＡＲマーカーとして表示したり、カルーセルに表示したりすることができる。

【0104】

また、画像や音声のマスタリングなど、その他のポストプロダクション技術もこの段階で行われる。音声は、イコライズ、圧縮、リミッター、レベル調整、ノイズ低減、その他の修復及び／又は強化プロセスを用いて処理され、映像のマスタリング技術は、必要に応じて、色調補正、動きの安定化、オーディオ・ビジュアルの調整、広角歪みの補正、その他のマスタリング技術を含むことができる。

【0105】

また、ポストプロダクション処理の一環として、人工知能を用いて、自動の及び／又は推奨される視点切り替えシーケンスを決定することもできる。例えば、視聴者の混乱を最小限に抑えるために、視点の終了時にどの視点に切り替えるかを決定することができる。

【0106】

また、より高度な視覚処理（視覚的物体認識アルゴリズム、時間的視差法、一部の幾何学的手法）を行い、共有された視野内の複数の注目点（ＰＯＩ）間で三角測量を行うことで、視点間の距離（相対位置）をより正確に算出することができる。これにより、視点の位置や動きをプロットする際の精度が向上する。例えば、Ａ地点は、ステージ上のリードシンガーからｘメートルの距離にあり、赤い帽子をかぶった他のコンサート参加者からｙメートルの距離にある。この情報を利用して、視点Ａのアンカーである視点Ｂは、視点Ａからの距離を計算するために、同じ注目点への距離を計算し、視点Ａの位置を三角測量することで、視点Ａからの距離をより正確に計算することができる。

【0107】

いくつかの実施形態では、例えば、内蔵のＧＰＳセンサー及びモバイルネットワーク／Wi-Fi（登録商標）／Bluetooth（登録商標）三角測量を用いて、ジオロケーションと三角測量を使用することができる。５Ｇ技術が定着するにつれて、帯域幅が増大し、レイテンシーが低減し、信頼性がさらに高まる。さらなる実施形態では、デバイス検出を使用することもできる。デバイスの中には、レーザーフォーカスや深度認識素子を備えたカメラを搭載しているものもあり、これらを利用することで、デバイス及び環境までの相対的な距離をより正確に測定することができる。ピアデバイスは、内蔵カメラを使用して相互に検出できる場合もある。多くのデバイスには前面と背面にカメラが搭載されており、これらを利用して環境の追加の写真を撮影し、分析することでネットワーク内の他のデバイスとそれらの相対的な位置を特定することができる。

【0108】

いくつかの実施形態では、ViiVid（登録商標）内の個々のオーディオトラックが識別され、さらなる処理のために分離され、音楽の発見、ユーザーが制御するレベリング、及び／又はより大きなユーザーインサイトを可能にする。例えば、周囲の音を小さくして、ViiVid（登録商標）で撮影されているバンドのブラスセクションの音量を大きくしたい場合などが考えられる。また、音声認識技術は、ユーザーの興味を判断して、今聴いている音楽をどこで購入できるかを知らせたり、似たようなコンテンツを勧めたりするのにも使われる。

【0109】

いくつかの実施形態では、物体認識アルゴリズムを使用して、（ユーザーの好みに基づいて）購入提案のために無生物に自動タグ付けをすることができ、そのようなアイテムのベンダーへのアフィリエイトリンクを提供することもできる。さらに、ユーザーが手動で購入したいものをタグ付けしたり、ウィッシュリストに追加したりすることもできる。

【0110】

これらの処理方法により、ユーザーは、音声及び視覚的な手がかりを用いて、ViiVid（登録商標）の残りの部分にマージするために、他の非固定された視点（ビデオ、画像、音声抽出物など）をレトロスペクティブに推薦することもできる。同じオーディオ・アイソレーション、物体認識、時間的視差のアルゴリズムをこれらの視点で実行し、他の視点との相対的な時間と空間の中でシンクロさせ、コンテクストを持たせる試みを行う。

【0111】

このような処理は、コンピュートノード、ストレージ（長期記憶装置（ＬＴＳ）を含む）、コンテンツマネジメントシステム（ＣＭＳ）、構造化及び非構造化データベース（ＤＢ）、エンドノードキャッシングを備えたコンテンツ配信ネットワーク（ＣＤＮ）、ウェブコンテナなどのクラウドベースのリソースを活用することで実現できる。その結果、映像をレンダリングできる任意のクライアントにコンテンツを提供する前に、エンコード、トランスコード、多重化、後処理をサーバーサイドで自動的に実行することができる。

【0112】

ViiVid（登録商標）メディアアーティファクトを生成し、互換性のあるプレイヤーで、オン又はオフラインで、レトロスペクティブに再生することができる。このメディアフォーマットは、すべての利用可能なメディアフィード、又はユーザーが消費するために選択された視点のサブセットを含むことができる。

【0113】

図７は、ＡＶとタイムラインをViiVid（登録商標）メディアフォーマットに自動処理・統合するためのポストプロダクションワークフローの例である。

【0114】

図８は、エンド・ツー・エンドのワークフローの例を示したもので、ライブレコーディングの視点パンニングの段階からサーバー側の処理を経て、レトロスペクティブな再生に至るまで、主な関係者とプロセスが詳細に示されている。

【0115】

レトロなViiVid（登録商標）パニング

【0116】

録画済み又は編集済みのViiVidsは、ウェブ、モバイル、ローカルクライアント（プレイヤーアプリケーション）を通じて、オンライン又はオフラインで視聴することができる。このようなプレイヤーには、埋め込み式のメディアプレイヤー、ウェブベースのHTMLプラグイン、アプリケーション・プログラミング・インターフェース（ＡＰＩ）、クロスプラットフォームのモバイルクライアントなどがある。

【0117】

ViiVid（登録商標）が再生されると、関連するタイムライン（及び／又はマスタータイムライン）が、消費される視点と一緒に再生されるという実施形態がある。好ましくは、互換性のあるプレイヤーは、映像が撮影された時点での記録ネットワークに関連する多くの変数を保存する。これらの変数には、次のようなものがある：

【0118】

・現在の位置
・現在のポジション
・詳細な複数のアンカーで、各アンカーには、次が含まれる。：
・オフセット（現在の記録に対するアンカー視点の開始時刻）
・アンカーの位置
・アンカーポジション
・複数のアンカー

【0119】

これらの変数は、再生時にいつどこで（ＡＲ／ＶＲの）ＰＯＩマーカーを表示するか、ユーザーが方向転換のジェスチャーをしたときにどのように視点スイッチングをアニメーション化するかなどを決定する。ViiVid（登録商標）を見ると、利用可能なすべての視点は、その視点のアンカーとそのオフセットによって決定される。このオフセットは、どのビデオが最初に始まったかによって、マイナス又はプラスになる。

【0120】

記録が再生されると、タイムライン上のイベントが順次読み込まれ、これらの同じ変数を変更することで解釈される。この変数は、場合によっては下流のレンダリングの変更を引き起こすことがある。LOCATION_CHANGE、ORIENTATION_CHANGE、HEADING_CHANGEのフラグがタイムラインから読み込まれた時点で、レンダリングされたすべてのＰＯＩの相対的な位置が適切に調整される。同様に、PEER_LOCATION_CHANGE、PEER_ORIENTATION_CHANGE、PEER_HEADING_CHANGEのいずれかのフラグが読み込まれると、当該ピアはそのＰＯＩマーカーのそれぞれの位置が調整される。

【0121】

ORIENTATION_CHANGEフラグは、再生中にポートレートモードとランドスケープモードを切り替えるタイミングや、角度のついた向きの移行を指示することもできる。SNAPHOTフラグは、周辺地域で撮影された写真をプレイヤーに知らせ、プレイバックで再生することができる。

【0122】

好ましくは、視点スイッチが実行されると、現在の映像が停止又はフェードアウトし、新しい映像が再開され、古い映像のオフセットと停止位置の合計で計算される同じ相対位置でフェードインする。このようにして、視点を移動する際にも連続したオーディオストリームを実現している。さらに、これらのナビゲーションの間、変数の値は、ビューイングエリア上をどのように移動するのが最適かを決定し、位置と方位が１つのシームレスな移行で変更され、物理的な動きの効果をシミュレートする。同期プロセスの一部には、これらの様々なタイムラインフラグを分析し、例えば、システム又はユーザーの好みに応じて、タイムラインに基づいて特定の視点を優先させることが含まれ得る。

【0123】

いくつかの実施形態では、互換性のあるプレイヤーは、バックグラウンドですべての又はいくつかのアンカー付き視点を同時に再生し、ユーザーがその視点に切り替えたり、プレビューしたりするときに、要求されたアンカーを前面に出する。このようにして、プレイヤーは、サーバーや高遅延のメモリモジュールからの応答を待つのではなく、ユーザーから要求された瞬間に、希望のアンカリング視点を準備して（低遅延のＲＡＭに）待つことで、トランジションのパフォーマンスを向上させることができる。

【0124】

ViiVid（登録商標）リプレイのネットワーク及び処理効率を向上させるために、これらのバックグラウンドの視点は、サーバー側のトランスコーディングを利用するなどして、フォアグラウンドに呼び出されるまで低いビットレート及び／又は解像度で再生することもできる。

【0125】

レトロスペクティブなViiVid（登録商標）編集

【0126】

いくつかの実施形態では、ViiVid（登録商標）エディターを使用することで、ユーザーが好みの視点ナビゲーションシーケンスを選択するか、又は１つのViiVid（登録商標）又はビデオコンピレーションアーティファクト内の視点のサブセットを分離することを可能にする。エディターは、ビデオ編集アプリケーションと同様の視点編集機能を提供することもできる。エディターを使用することで、結果として作成されたアーティファクトをエクスポート、消費、共有することができるが、（少なくとも最初は）最初のチェックサムに失敗したために「信頼できない」とみなされる可能性がある。

【0127】

いくつかの実施形態では、場所によって関連付けられるが必ずしも時間によって関連付けられない視点を一緒にマージして、その視点が撮影されたエリアの４次元ViiVid（登録商標）バーチャルツアー（３Ｄ空間×時間）を作成することもできる。

【0128】

使用例

【0129】

この技術は、３６０°映像及び／又は従来の映像記録デバイスを組み合わせてイベントを撮影するという、多くの現実的なアプリケーションに応用されている。次のような用途がある。
・ユーザーが撮影したビデオ及び／又はプロが撮影したビデオを組み合わせて、ファーストダンスや花嫁の入場など、さまざまな場面を再現したいと考えている新婚のカップル。
・スポーツイベントで、参加者が自分のいる場所から別の視点で見るためにパンしたいと思う場合。
・コンサートプロモーターは、バーチャルリアリティヘッドセットを利用して、物理的に参加できない個人にライブ音楽イベントのバーチャルチケットを販売することを希望している。
・警備会社が調査の一環として、ある出来事から得られるすべての映像を組み合わせるために使用する証拠システム。

【0130】

本明細書及び特許請求の範囲で使用されている「構成」、「構成している」の用語及びその変形は、指定された特徴、ステップ又は整数が含まれることを意味する。この用語は、他の機能、ステップ、コンポーネントの存在を排除するように解釈されるものではない。

【0131】

前述の説明、特許請求の範囲、及び添付の図面に開示されている様々な特徴のいずれかは、多様な形態で本発明を実現するために、本明細書に開示されている他の特徴と分離して選択的に組み合わせることができる。

【0132】

本発明の特定の例示的な実施形態を説明してきたが、添付の請求項の範囲は、これらの実施形態にのみ限定されることを意図していない。特許請求の範囲は、文字通り、目的に応じて、及び／又は、等価物を包含するように解釈される。

【0133】

開示の代表的な特徴

【0134】

１． データストリームを同期させるためのコンピュータ実施方法であって、
第１のデバイスを用いて、オーディオ及び／又はビデオを含む第１のデータストリームを生成することと、
第１のデータストリームをネットワーク上でアドバタイズすることと、
ネットワーク経由でオーディオ及び／又はビデオを含む第２のデータストリームを受信することと、
データストリームを同期させるためにネットワーク上でデータストリームの状態を維持することと
を含む方法。

【0135】

２． データストリームを同期させるためのコンピュータ実施方法であって、
オーディオ及び／又はビデオを含む第１のデータストリームを生成又は受信することと、
第１のデータストリームをネットワーク上でアドバタイズすることと、
オーディオ及び／又はビデオを含む第２のデータストリームを生成又は受信することと、
第２のデータストリームをネットワーク上でアドバタイズすることと、
データストリームを同期させるために、ネットワーク上のデータストリームの状態を維持することと
を含む方法。

【0136】

３． 第１及び／又は第２のデータストリームのイベントタイムラインを生成又は受信すること、及び／又は
データストリームを同期させるために、ネットワーク上の第２のデータストリームのステータスを受信すること、及び／又は
データストリームを同期すること、及び／又は
第１及び第２のデータストリームを統合データストリームに結合すること
を含む、請求項１又は２に記載の方法。

【0137】

４． ネットワークは、Wi-Fi（登録商標）、Bluetooth（登録商標）及び／又はセルラーネットワーク技術を含む、請求項１から３のいずれか一項に記載の方法。

【0138】

５． オーディオ及び／又はビデオを含む第１のデータストリームは、第１の識別子を有し、イベントの第１の視点を有する第１のデバイスによって生成され、
オーディオ及び／又はビデオを含む第２のデータストリームは、第２の識別子を有し、イベントの第２の視点を有する第２のデバイスによって生成され、
ネットワークはＰ２Ｐネットワークで構成されている、請求項１から４のいずれか一項に記載の方法。

【0139】

６． ネットワーク上のデータストリームのステータスを維持することは、
第１及び／又は第２のデータストリームのイベントタイムラインを送信及び／又は受信及び／又は分析すること、及び／又は
デバイス及び／又はサーバー間でデータを送信及び／又は受信すること、及び／又は
デバイス又は各デバイスが、データストリームの１つ以上のパラメータの変化に関するデータを監視、送信及び／又は受信すること、及び／又は
デバイス又は各デバイスが、ネットワーク上でアドバタイズされている他のデータストリームを検出すること
を含み、データは、Ｐ２Ｐハンドシェイク、ＮＴＰデータ、タイミングハートビート、データストリームのパラメータの１つ以上を含む、請求項１から５のいずれか一項に記載の方法。

【0140】

７． ビデオ開始時刻、デバイスＩＤ、及び／又はデバイス場所に基づいて識別子を割り当てることをさらに含み、好ましくは、
識別子は、initialEventID及びmasterEventIDを含み、方法は、ネットワーク上のデバイス間でinitialEventID及び／又はmasterEventIDを比較及び更新することを含み、かつ／又は
識別子又は各識別子は、メタデータ、時刻、デバイスＩＤ、デバイス場所、デバイス位置データのうちの１つ以上を含む、請求項１から６のいずれか一項に記載の方法。

【0141】

８． 実質的にリアルタイムでデータストリームを同期させかつ／又は結合すること、及び／又は
あらかじめ定められた範囲内で、対応する時間、場所、及び／又は位置に基づいてデータストリームを同期させること、及び／又は
接続速度及び／又はレイテンシーに応じてデータストリームのビットレートを調整すること、及び／又は
データストリームのパラメータを、好ましくはリアルタイムで追跡すること、及び／又は
データストリームのパラメータに基づいてデータストリームをランク付けすること
をさらに含む、請求項１から７のいずれか一項に記載の方法。

【0142】

９． 重複するオーディオコンテンツのデータストリームを分析し、統合データストリームを編集して、統合データストリームに単一のオーディオトラックを提供すること、及び／又は
データストリームを分析及び編集して、統合データストリームの統合された視野を提供すること、及び／又は
データストリームをマージして、統合データストリームを提供すること
をさらに含む、請求項１から８のいずれか一項に記載の方法。

【0143】

１０． 第１及び第２のデータストリームの両方を第１及び／又は第２のデバイス及び／又は第３のデバイスに表示又はレンダリングすること、及び／又は
第１及び／又は第２のデータストリームをユーザーに送信し、利用可能なデータストリームをユーザーに示すこと、及び／又は
利用可能なデータストリームの視点を、好ましくはリアルタイムで地図上にマッピングすること、及び／又は
ユーザーにデータストリームを表示し、利用可能なデータストリームの視点間を移動するためのコントロールを提供することであって、好ましくは視点間のトランジションをアニメーション化することをさらに含むこと、及び／又は
視点間を移動するためのユーザーからの入力ジェスチャーを受信及び処理すること
をさらに含む、請求項１から９のいずれか一項に記載の方法。

【0144】

１１． オーディオ及び／又はビデオを含む第１のデータストリームは、第１の識別子を有し、イベントの第１の視点を有する第１のデバイスによって生成され、
オーディオ及び／又はビデオを含む第２のデータストリームは、第２の識別子を有し、イベントの第２の視点を有する第２のデバイスによって生成され、
ネットワークはＰ２Ｐネットワークで構成され、
データストリームの状態を維持することは、デバイス及び／又はサーバーの間でデータを送信及び／又は受信することを含み、
データは、Ｐ２Ｐハンドシェイクと、デバイスの場所及び／又は位置を含むデータストリームのパラメータとを含み、
方法は、実質的にリアルタイムで、対応する時間及び位置データに基づいてデータストリームを同期させることをさらに含む、請求項１又は２に記載の方法。

【0145】

１２． 第１及び第２のデータストリームのイベントタイムラインを送信及び／又は受信することと、
データストリームを実質的にリアルタイムで同期させることと、
第１及び第２のデータストリームの両方を第１及び／又は第２のデバイス及び／又は第３のデバイスに表示することと、
ユーザーが利用可能なデータストリームをディスプレイに表示することと、
利用可能なデータストリーム間を移動するためのユーザー入力を受信及び処理することと
を含み、
イベントタイムラインは時間及び位置データを含む、請求項１１に記載の方法。

【0146】

１３． コンピュートノード又はサーバーであって、
オーディオ及び／又はビデオを含む第１のデータストリームを受信し、
第１のデータストリームをネットワーク上でアドバタイズし、
オーディオ及び／又はビデオを含む第２のデータストリームを受信し、
第２のデータストリームをネットワーク上でアドバタイズし
ネットワーク上のデータストリームの状態を保持する
ように構成されたコンピュートノード又はサーバー。

【0147】

１４． データストリームを同期させ、かつ／又は
データストリームを統合データストリームに結合する
ように構成された請求項１３に記載のサーバー。

【0148】

１５． データストリームのアドバタイズが実質的にリアルタイムで行われ、かつ／又は
ネットワーク上のデータストリームの状態は、実質的にリアルタイムで維持される、請求項１から１４のいずれかに記載の方法又はサーバー。

【0149】

１６． データストリームのパラメータを分析し、データストリームのパラメータに基づいてネットワーク上のデバイスにデータ処理タスクを割り当てること、及び／又は
ＯＳＰＦ（Open Shortest Path First）プロトコルを用いて、ネットワーク上の宛先への最短ルートを決定し、続いて最短ルートを通してデータを送信すること
をさらに含む、請求項３又はそれに従属する請求項の方法、請求項１４又はそれに従属する請求項のサーバー。

【0150】

１７． 統合データストリームは、複数の異なる視点からのイベントの少なくとも代替的な一次及び二次ビデオ映像を含むマルチ視点ビデオを含み、ビデオの少なくとも一部の視点はユーザーが選択可能である、請求項３又はそれに従属する請求項の方法、請求項１４又はそれに従属する請求項のサーバー。

【0151】

１８． 統合データストリームは、
複数の視点からの画像又はビデオフレームからステッチされたビデオフレーム、及び／又は
複数の異なる視点からステッチされたオーディオ
を含むマルチ視点ビデオを含む、請求項３又はそれに従属する請求項の方法、請求項１４又はそれに従属する請求項のサーバー。

【0152】

１９． 統合データストリームの利用可能な視点は、
データストリームのパラメータに応じて動的に変化し、かつ／又は
データストリームの利用可能性に基づいて実質的にリアルタイムで決定される、請求項３又はそれに従属する請求項の方法、請求項１４又はそれに従属する請求項のサーバー。

【0153】

２０． 視覚処理を実行して、視野内の異常又は障害物を取り除き、かつ／又は
視覚処理を実行して、物体認識及び／又は視野内の注目点を使用して視点の相対的な位置を計算し、データストリーム間のタイミングオフセットを計算し、かつ／又は代替的な視点をシミュレートし、かつ／又は
オーディオ処理を実行して、オーディオデータを統合し、データストリーム間のタイミングオフセットを計算し、バックグラウンドノイズを除去しかつ／又は代替的な視点をシミュレーションし、かつ／又は
統合データストリームをコンピュータで読み取り可能なメディアフォーマットにエクスポートする
ようにさらに構成された、請求項１から１９のいずれか一項に記載の方法又はサーバー。

【0154】

２１． 記録開始時刻、オーディオ又はビデオデータのパラメータ、データストリームのビットレート、視野、場所、及び位置のうちの１つ以上に応じてデータストリームに重み付けを行うこと、及び／又は
エンドユーザーのデバイスに配信するためにデータストリームをトランスコードすること、及び／又は
データストリームのデータベースを維持し、データストリームを他のデータ、好ましくは事前に記録された画像／ビデオ／オーディオ映像及び／又は外部ソースからのライブ記録と統合すること、及び／又は
第１のデータストリーム、第２のデータストリーム、及び／又は統合データストリームと、現在の視点及び利用可能な視点及び／又は追加の注目点との間の方向及び／又は相対的な距離を示すグラフィックオーバーレイとを含む、拡張現実又は仮想現実ビューアを生成又はレンダリングすること
をさらに含む、請求項１から２０のいずれか一項に記載の方法又はサーバー。

【0155】

２２． 請求項１から２１のいずれか一項に記載の方法を実行するように構成されたデバイス又はデバイスのネットワーク。

【0156】

２３． 実行されると、
請求項１から１１のいずれか一項又はそれに従属する請求項に記載の方法を実行する命令、及び／又は
請求項３から１４のいずれか一項又はそれに従属する請求項に記載の統合データストリームを表示又はレンダリングする命令
を含むコンピュータ可読媒体。

【0157】

２４． 請求項３から１４のいずれか一項又はそれに従属する請求項の統合データストリームを提供するコンピュータ可読ファイルフォーマット。

【0158】

２５． ビデオの視点がユーザーによって選択可能であるビデオを含むメディアフォーマット。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】