(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-19
(54)【発明の名称】コンピュータネットワーク上で配信される複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供するためのシステム及び方法
(51)【国際特許分類】
H04N 21/2365 20110101AFI20241112BHJP
H04N 21/2668 20110101ALI20241112BHJP
H04N 21/431 20110101ALI20241112BHJP
G06F 3/0481 20220101ALI20241112BHJP
【FI】
H04N21/2365
H04N21/2668
H04N21/431
G06F3/0481
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024550121
(86)(22)【出願日】2022-11-03
(85)【翻訳文提出日】2024-07-05
(86)【国際出願番号】 US2022079219
(87)【国際公開番号】W WO2023081755
(87)【国際公開日】2023-05-11
(32)【優先日】2021-11-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】524173291
【氏名又は名称】オーアールビー リアリティ エルエルシー
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100140431
【氏名又は名称】大石 幸雄
(72)【発明者】
【氏名】フェインソン,ロイ
(72)【発明者】
【氏名】サルーム,バゼム
【テーマコード(参考)】
5C164
5E555
【Fターム(参考)】
5C164SA26S
5C164SB13P
5C164SB41S
5C164SC05P
5C164UB81P
5C164UD41S
5C164YA11
5E555AA41
5E555BA01
5E555BA04
5E555BB01
5E555BB04
5E555BC17
5E555CA42
5E555CA47
5E555CB47
5E555CC03
5E555DB57
5E555DC05
5E555FA00
(57)【要約】
本明細書では、複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを通じて、新規のタイプのコンテンツとの対話や、新規のタイプのコンテンツへのアクセスを可能にするための方法及びシステムについて説明する。例えば、複数のコンテンツストリームを特徴とするメディア資産では、各コンテンツストリームは、メディア資産のシーンの独立したビューを表し得る。メディア資産の再生の間、ユーザは、複数のコンテンツストリームのうちの1つからのコンテンツのみ視聴することができる。次いで、ユーザは、異なるコンテンツストリームの間で切り替えて、シーンの異なる角度、インスタンス、バージョンなどを視聴することができる。
【特許請求の範囲】
【請求項1】
コンピュータネットワーク上で配信される複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供するためのシステムであって、
第1の多数のコンテンツストリームを格納するように構成されたクラウドベースの記憶回路と、
クラウドベースの制御回路であって、
メディア資産に対する前記第1の多数のコンテンツストリームを回収することであって、前記第1の多数のコンテンツストリームの各コンテンツストリームが、前記メディア資産のシーンのそれぞれのビューに対応することと、
第1のフレームセットを回収することであって、前記第1のフレームセットが、前記第1の多数のコンテンツストリームの各々の第1のタイムマークに対応する前記第1の多数のコンテンツストリームの各々からの第1のフレームを含むことと、
第2のフレームセットを回収することであって、前記第2のフレームセットが、前記第1の多数のコンテンツストリームの各々の第2のタイムマークに対応する前記第1の多数のコンテンツストリームの各々からの第2のフレームを含むことと、
前記第1のフレームセットに基づく第1の複合フレームを生成することと、
前記第2のフレームセットに基づく第2の複合フレームを生成することと、
前記第1の複合フレーム及び前記第2の複合フレームに基づく第1の複合コンテンツストリームを生成することと、
第1のユーザ入力を受信することであって、前記第1のユーザ入力により、ユーザデバイスの第1のユーザインタフェースに表示するための前記メディア資産を提示する第1のビューが選択されることと、
前記第1の多数のコンテンツストリームの第1のコンテンツストリームが前記第1のビューに対応すると決定することと、
前記第1の多数のコンテンツストリームの前記第1のコンテンツストリームが前記第1のビューに対応すると決定することに応答して、前記第1の複合コンテンツストリームの複合フレーム内の、前記第1のコンテンツストリームからのフレームに対応する場所を決定することと、
前記ユーザデバイスの前記第1のユーザインタフェースのディスプレイエリアに合うように前記場所をスケーリングすることであって、前記第1のコンテンツストリームからの前記フレームをユーザへの表示用に生成し、前記第1の多数のコンテンツストリームの他のコンテンツストリームからのフレームを前記ユーザへの表示用に生成しないことを含むことと
を行うように構成される、制御回路と、
前記ユーザデバイスの前記第1のユーザインタフェースにおいて、前記ユーザデバイスの前記第1のユーザインタフェースの前記ディスプレイエリアに合うようにスケーリングされた前記場所を表示用に生成するように構成された入力/出力回路と
を含む、システム。
【請求項2】
コンピュータネットワーク上で配信される複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供するための方法であって、
第1の複合フレーム及び第2の複合フレームに基づく第1の複合コンテンツストリームを受信することであって、
前記第1の複合フレームが、第1のフレームセットに基づき、前記第1のフレームセットが、第1の多数のコンテンツストリームの各々の第1のタイムマークに対応する前記第1の多数のコンテンツストリームの各々からの第1のフレームを含み、
前記第2の複合フレームが、第2のフレームセットに基づき、前記第2のフレームセットが、前記第1の多数のコンテンツストリームの各々の第2のタイムマークに対応する前記第1の多数のコンテンツストリームの各々からの第2のフレームを含み、
前記第1の多数のコンテンツストリームが、メディア資産用であり、前記第1の多数のコンテンツストリームの各コンテンツストリームが、前記メディア資産のシーンのそれぞれのビューに対応することと、
ユーザデバイスの第1のユーザインタフェースにおいて、前記第1の複合コンテンツストリームを表示用に処理することと
を含む、方法。
【請求項3】
第1のユーザ入力を受信することであって、前記第1のユーザ入力により、前記メディア資産を提示する第1のビューが選択されることと、
前記第1の多数のコンテンツストリームの第1のコンテンツストリームが前記第1のビューに対応すると決定することと、
前記第1の多数のコンテンツストリームの前記第1のコンテンツストリームが前記第1のビューに対応すると決定することに応答して、前記第1の複合コンテンツストリームの複合フレーム内の、前記第1のコンテンツストリームからのフレームに対応する場所を決定することと、
前記ユーザデバイスの前記第1のユーザインタフェースのディスプレイエリアに合うように前記場所をスケーリングすることと、
前記ユーザデバイスの前記第1のユーザインタフェースにおいて、前記ユーザデバイスの前記第1のユーザインタフェースの前記ディスプレイエリアに合うようにスケーリングされた前記場所を表示用に生成することと
をさらに含む、請求項2に記載の方法。
【請求項4】
前記ユーザデバイスの前記第1のユーザインタフェースの前記ディスプレイエリアに合うように前記場所をスケーリングすることが、前記第1のコンテンツストリームからの前記フレームをユーザへの表示用に生成し、前記第1の多数のコンテンツストリームの他のコンテンツストリームからのフレームを前記ユーザへの表示用に生成しないことを含む、請求項3に記載の方法。
【請求項5】
第3の複合フレーム及び第4の複合フレームに基づく第2の複合コンテンツストリームを受信することであって、
前記第3の複合フレームが、第3のフレームセットに基づき、前記第3のフレームセットが、第2の多数のコンテンツストリームの各々の前記第1のタイムマークに対応する前記第2の多数のコンテンツストリームの各々からの第1のフレームを含み、
前記第2の複合フレームが、前記第2のフレームセットに基づき、前記第2のフレームセットが、前記第2の多数のコンテンツストリームの各々の第2のタイムマークに対応する前記第2の多数のコンテンツストリームの各々からの第2のフレームを含み、
前記第1の多数のコンテンツストリームが、前記メディア資産用であり、前記第1の多数のコンテンツストリームの各コンテンツストリームが、前記メディア資産の前記シーンのそれぞれのビューに対応することと、
ユーザデバイスの第2のユーザインタフェースにおいて、前記第2の複合コンテンツストリームを表示用に処理することであって、前記第2の複合コンテンツストリームが、前記第1の複合コンテンツストリームと同時に処理されることと
をさらに含む、請求項2に記載の方法。
【請求項6】
第2のユーザ入力を受信することであって、前記第2のユーザ入力により、前記メディア資産を提示する第2のビューが選択されることと、
前記第2の多数のコンテンツストリームの第2のコンテンツストリームが前記第2のビューに対応すると決定することと、
前記第2の多数のコンテンツストリームの前記第2のコンテンツストリームが前記第2のビューに対応すると決定することに応答して、前記第1のユーザインタフェースを前記第2のユーザインタフェースに置き換えることと
をさらに含む、請求項5に記載の方法。
【請求項7】
前記第1の多数のコンテンツストリームが、4つのコンテンツストリームを含み、前記第1の複合フレームが、前記第1の多数のコンテンツストリームの各々からの前記第1のフレームに対して等しい部分を含む、請求項2に記載の方法。
【請求項8】
前記第1の複合コンテンツストリームが、前記メディア資産用の第3の多数のコンテンツストリームを含み、前記第3の多数のコンテンツストリームの各コンテンツストリームが、前記メディア資産の前記シーンのそれぞれのビューに対応し、前記第3の多数のコンテンツストリームの各コンテンツストリームが、前記第1の多数のコンテンツストリームの1つに付加される、請求項2に記載の方法。
【請求項9】
プレイリストを受信することであって、前記プレイリストが、前記メディア資産を提示する事前に選択されたビューを含み、前記事前に選択されたビューが、前記第1の複合コンテンツストリームに基づいて自動的に決定されたものであることと、
前記プレイリストに基づいて、提示するための現在のビューを決定することと
をさらに含む、請求項2に記載の方法。
【請求項10】
第1のユーザ入力を受信することであって、前記第1のユーザ入力により、前記メディア資産を提示する第1のビューが選択されることと、
前記メディア資産が現在提示されている現在のビュー及びズームレベルを決定することと、
前記現在のビューから前記第1のビューに切り替える際に移行する一連のビュー及び対応するズームレベルを決定することと、
前記一連のビューの各々に対応するコンテンツストリームを決定することと
をさらに含む、請求項2に記載の方法。
【請求項11】
前記現在のビューから前記第1のビューに切り替える際に移行する前記一連のビューが、前記メディア資産に対して利用可能なコンテンツストリームの総数に基づく、請求項10に記載の方法。
【請求項12】
前記第1の複合コンテンツストリームと共に提示するための複合オーディオトラックを決定することであって、前記複合オーディオトラックが、前記第1の複合フレームに対応する第1のオーディオトラックと、前記第2の複合フレームに対応する第2のオーディオトラックとを含み、前記第1のオーディオトラックが、前記第1のフレームセットを捕捉したコンテンツ捕捉デバイスで捕捉され、前記第2のオーディオトラックが、前記第2のフレームセットを捕捉したコンテンツ捕捉デバイスで捕捉されること
をさらに含む、請求項2に記載の方法。
【請求項13】
命令を含む、コンピュータネットワーク上で配信される複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供するための非一時的コンピュータ可読媒体であって、前記命令が、1つ又は複数のプロセッサによって実行されると、
第1の複合フレーム及び第2の複合フレームに基づく第1の複合コンテンツストリームを受信することであって、
前記第1の複合フレームが、第1のフレームセットに基づき、前記第1のフレームセットが、第1の多数のコンテンツストリームの各々の第1のタイムマークに対応する前記第1の多数のコンテンツストリームの各々からの第1のフレームを含み、
前記第2の複合フレームが、第2のフレームセットに基づき、前記第2のフレームセットが、前記第1の多数のコンテンツストリームの各々の第2のタイムマークに対応する前記第1の多数のコンテンツストリームの各々からの第2のフレームを含み、
前記第1の多数のコンテンツストリームが、メディア資産用であり、前記第1の多数のコンテンツストリームの各コンテンツストリームが、前記メディア資産のシーンのそれぞれのビューに対応することと、
ユーザデバイスの第1のユーザインタフェースにおいて、前記第1の複合コンテンツストリームを表示用に処理することと
を含む動作を実行させる、非一時的コンピュータ可読媒体。
【請求項14】
前記命令が、
第1のユーザ入力を受信することであって、前記第1のユーザ入力により、前記メディア資産を提示する第1のビューが選択されることと、
前記第1の多数のコンテンツストリームの第1のコンテンツストリームが前記第1のビューに対応すると決定することと、
前記第1の多数のコンテンツストリームの前記第1のコンテンツストリームが前記第1のビューに対応すると決定することに応答して、前記第1の複合コンテンツストリームの複合フレーム内の、前記第1のコンテンツストリームからのフレームに対応する場所を決定することと、
前記ユーザデバイスの前記第1のユーザインタフェースのディスプレイエリアに合うように前記場所をスケーリングすることと、
前記ユーザデバイスの前記第1のユーザインタフェースにおいて、前記ユーザデバイスの前記第1のユーザインタフェースの前記ディスプレイエリアに合うようにスケーリングされた前記場所を表示用に生成することと
を含む動作をさらに実行させる、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項15】
前記ユーザデバイスの前記第1のユーザインタフェースの前記ディスプレイエリアに合うように前記場所をスケーリングすることが、前記第1のコンテンツストリームからの前記フレームをユーザへの表示用に生成し、前記第1の多数のコンテンツストリームの他のコンテンツストリームからのフレームを前記ユーザへの表示用に生成しないことを含む、請求項14に記載の非一時的コンピュータ可読媒体。
【請求項16】
前記命令が、
第3の複合フレーム及び第4の複合フレームに基づく第2の複合コンテンツストリームを受信することであって、
前記第3の複合フレームが、第3のフレームセットに基づき、前記第3のフレームセットが、第2の多数のコンテンツストリームの各々の前記第1のタイムマークに対応する前記第2の多数のコンテンツストリームの各々からの第1のフレームを含み、
前記第2の複合フレームが、前記第2のフレームセットに基づき、前記第2のフレームセットが、前記第2の多数のコンテンツストリームの各々の第2のタイムマークに対応する前記第2の多数のコンテンツストリームの各々からの第2のフレームを含み、
前記第1の多数のコンテンツストリームが、前記メディア資産用であり、前記第1の多数のコンテンツストリームの各コンテンツストリームが、前記メディア資産の前記シーンのそれぞれのビューに対応することと、
ユーザデバイスの第2のユーザインタフェースにおいて、前記第2の複合コンテンツストリームを表示用に処理することであって、第2の複合コンテンツストリームが、前記第1の複合コンテンツストリームと同時に処理されることと
を含む動作をさらに実行させる、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項17】
前記命令が、
第2のユーザ入力を受信することであって、前記第2のユーザ入力により、前記メディア資産を提示する第2のビューが選択されることと、
前記第2の多数のコンテンツストリームの第2のコンテンツストリームが前記第2のビューに対応すると決定することと、
前記第2の多数のコンテンツストリームの前記第2のコンテンツストリームが前記第2のビューに対応すると決定することに応答して、前記第1のユーザインタフェースを前記第2のユーザインタフェースに置き換えることと
を含む動作をさらに実行させる、請求項16に記載の非一時的コンピュータ可読媒体。
【請求項18】
前記第1の多数のコンテンツストリームが、4つのコンテンツストリームを含み、前記第1の複合フレームが、前記第1の多数のコンテンツストリームの各々からの前記第1のフレームに対して等しい部分を含む、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記第1の複合コンテンツストリームが、前記メディア資産用の第3の多数のコンテンツストリームを含み、前記第3の多数のコンテンツストリームの各コンテンツストリームが、前記メディア資産の前記シーンのそれぞれのビューに対応し、前記第3の多数のコンテンツストリームの各コンテンツストリームが、前記第1の多数のコンテンツストリームの1つに付加される、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項20】
前記命令が、
プレイリストを受信することであって、前記プレイリストが、前記メディア資産を提示する事前に選択されたビューを含むことと、
前記プレイリストに基づいて、提示するための現在のビューを決定することと
を含む動作をさらに実行させる、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項21】
前記命令が、
第1のユーザ入力を受信することであって、前記第1のユーザ入力により、前記メディア資産を提示する第1のビューが選択されることと、
前記メディア資産が現在提示されている現在のビューを決定することと、
前記現在のビューから前記第1のビューに切り替える際に移行する一連のビューを決定することであって、前記現在のビューから前記第1のビューに切り替える際に移行する前記一連のビューが、前記メディア資産に対して利用可能なコンテンツストリームの総数に基づくことと、
前記一連のビューの各々に対応するコンテンツストリームを決定することと
を含む動作をさらに実行させる、請求項13に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[001] この出願は、2021年11月8日に出願された米国仮特許出願第63/276971号の優先権の利益を主張する。前述の出願の内容は、その全体が参照により本明細書に組み込まれる。
【背景技術】
【0002】
背景
[002] 近年では、ユーザは、多くのデバイスや、多くのプラットフォームにおいて、コンテンツにアクセスするようになっている。その上、ユーザがコンテンツとの対話や、コンテンツへのアクセス(例えば、モバイルデバイス、ゲームプラットフォーム及びバーチャルリアリティデバイスを通じて)を行う方法は、コンテンツ自体(例えば、高画質コンテンツから3Dコンテンツ及びそれを上回るものまで)と同様に、常に変化している。それに従って、ユーザは、新しいタイプのコンテンツや、そのコンテンツとの新しい対話方法を常に求めている。
【発明の概要】
【課題を解決するための手段】
【0003】
概要
[003] 本明細書では、複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを通じて、新規のタイプのコンテンツとの対話や、新規のタイプのコンテンツへのアクセスを可能にするための方法及びシステムについて説明する。例えば、複数のコンテンツストリームを特徴とするメディア資産では、各コンテンツストリームは、メディア資産のシーンの独立したビューを表し得る。メディア資産の再生の間、ユーザは、複数のコンテンツストリームのうちの1つからのコンテンツのみ視聴することができる。次いで、ユーザは、異なるコンテンツストリームの間で切り替えて、シーンの異なる角度、インスタンス、バージョンなどを視聴することができる。例えば、ユーザは、制御デバイスを使用して、スクリーン上に表示されるシーンの視聴角度を変更することができる。制御デバイスを特定の方向に移動することにより、スクリーン上に表示されるシーンの視聴角度が対応する方向に変化し、それにより、ユーザは、異なる角度からそのシーンを視聴することができる。
【0004】
[004] メディア資産を生成するため、システムは、複数のコンテンツ捕捉デバイス(例えば、カメラ、マイクなど)を使用することができる。コンテンツストリーム間で移行する際に実質的に視覚的にスムーズな移行を可能にするため、システムは、互いに十分に近づくように位置決めされたコンテンツ捕捉デバイスを使用することができる。それに従って、コンテンツストリーム(例えば、視聴角度、インスタンス、バージョンなど)を新しいコンテンツストリームに変更する(例えば、ジョイスティック、マウス又はスクリーンスワイプなどの制御デバイスを使用した垂直及び水平軸に沿った変更又は6自由度のいずれかにおける変更を示すユーザ入力を介して)というユーザ要求に応答して、システムは、メディア資産の提示においてあるコンテンツストリームから次のコンテンツストリームにスムーズに移行しているように見せることができるコンテンツストリームを選択することができる。
【0005】
[005] それに従って、メディア資産は、視聴しているユーザの視点から、まるでユーザがシーンを歩き回っているように見えるように、第1のコンテンツストリーム(例えば、ある角度からのシーン)から第2のコンテンツストリーム(例えば、第2の角度からのシーン)へのシームレスな変化を提示する。そのような技巧を達成するため、システムは、再生の間、複数のコンテンツストリームの各々を同期させる。例えば、至近距離に位置する複数のコンテンツ捕捉デバイス(例えば、円形など、任意の数の空間的配置で)によって個々のコンテンツストリーム(例えば、映像)が撮影される際、システムは、単一のコンテンツストリームがオブジェクトの周りをスムーズに回転しているように見える「バレットタイム」効果を達成することができ、この効果は、ユーザ制御の下で達成することができる。その結果、再生された映像は、カメラがシーンの周りをスムーズに掃引しているような錯覚を生み出し、ユーザは、俳優の上下を含むあらゆる角度から、又はコンテンツ捕捉デバイスが配置されているあらゆる場所から、アクションを視聴することができる。ユーザ制御による再生の間、独立したコンテンツストリームの各々は、ユーザによる独立したコンテンツストリームの選択に基づいて、リアルタイムで別々に視聴することができる。
【0006】
[006] しかし、そのような迅速な遷移を可能にするメディア資産を提供することにより、多くの技術的なハードルが生まれる。例えば、従来の手法及び/又は従来の映像ストリーミングプロトコルを使用してユーザ制御の下で映像間の切り替えを行うことは、(i)サーバ又は他の映像再生システムに対して、映像を切り替えるためのユーザ主導の信号を受け入れることと、(ii)信号に応答して、現在のフレームのフレーム番号(N)をメモリに格納することと、(iii)シーケンス内の次の映像を開くことと、(iv)新しい映像のフレームN+1にアクセスし、前の映像ストリームを閉じることと、(v)ユーザのデバイスへの映像のストリーミングを開始することと、(vi)フレームN+1で新しい映像を起動することとを含む。ステップ数や、情報を行き来させるという本来の必要性により、システムは、シームレスな移行を提供できるほど素早く新しい映像の位置付け、ロード及び生成を行うことはできない。例えば、現在のソフトウェアプロトコルで使用する際、ブラウザベースであるかスタンドアロンの映像プレーヤであるかにかかわらず、フリッカ融合を達成する速度(1秒間におよそ20~30の映像)で複数の映像を開いたり閉じたりすることは不可能である。サーバ又はハードドライブへの接続が非常に高速であっても、開く/閉じる/フレームにジャンプするというシーケンスの遅延により、コマ落ちや同期の喪失が生じ、望まない映像効果が生まれる。
【0007】
[007] これらの技術的なハードルを克服するため、そして、コンテンツストリーム間のスムーズな移行を可能にし(例えば、フリッカ融合を達成する)、同期を維持するため、システムは、複数のコンテンツストリームを並行して転送し、複数のコンテンツストリームを同時に(表示はしないが)生成することができる。残念ながら、この手法にも技術的な課題がないわけではない。例えば、複数のコンテンツストリームを同時に転送する及び/又は生成することにより、インターネットプロトコル、WI-FI又はローカルドライブからの配信のいずれを使用しても、伝送速度に固有のボトルネックが発生し得る。例えば、従来のストリーミング映像技術は、ケーブル、Wi-Fi又はローカル格納されたファイルを通じてフリッカフリーの映像を配信するように設計されているが、ストリーミング又はローカル環境において、多くの独立した映像の間で迅速且つスムーズに切り替えることは不可能である。
【0008】
[008] それに従って、これらの技術的な課題を克服するため、システムは、メディア資産に対する多数のコンテンツストリームに基づく複合コンテンツストリームを生成し、多数のコンテンツストリームの各々は、メディア資産のそれぞれのビューに対応する。具体的には、複合コンテンツストリームの各々は、多数のコンテンツストリームのうちの1つに特化した部分を有する。次いで、システムは、多数のコンテンツストリームの各々に対応するそれぞれのビューに基づいて、どのコンテンツストリーム(例えば、複合ストリームのフレームのどの部分)を表示用に生成するかを選択する。あるビュー(例えば、複合ストリームのフレームの部分)であるが、他のビューは、ビューから隠されている。例えば、システムは、メディア資産が表示されるユーザインタフェースの輪郭に合うように、選択されたビューをスケーリングすることができる(例えば、複合ストリームのフレームの一部分に対応する1920×1080画素から3840×2160画素バージョンに)。新しいビューが選択されると、システムは、ただ単に、複合ストリームのフレームの対応する部分をスケーリングする。新しいストリームのフェッチ(例えば、リモートソースから)、ロード及び処理を行う必要がないため、システムは、ビュー間をシームレスに移行する(例えば、フリッカ融合を達成する)ことができる。
【0009】
[009] いくつかの態様では、コンピュータネットワーク上で配信される複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供するための方法及びシステムについて説明する。例えば、システムは、第1の複合フレーム及び第2の複合フレームに基づく第1の複合コンテンツストリームを受信することができ、第1の複合フレームは、第1のフレームセットに基づき、第1のフレームセットは、第1の多数のコンテンツストリームの各々の第1のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第1のフレームを含み、第2の複合フレームは、第2のフレームセットに基づき、第2のフレームセットは、第1の多数のコンテンツストリームの各々の第2のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第2のフレームを含み、第1の多数のコンテンツストリームは、メディア資産用であり、第1の多数のコンテンツストリームの各コンテンツストリームは、メディア資産のシーンのそれぞれのビューに対応する。次いで、システムは、ユーザデバイスの第1のユーザインタフェースにおいて、第1の複合コンテンツストリームを表示用に処理することができる。
【0010】
[010] 本発明の他の様々な態様、特徴及び利点は、本発明の詳細な説明や、添付の図面を通じて明らかになるであろう。また、前述の一般的な説明と以下の詳細な説明は両方とも、例であり、本発明の範囲を限定するものではないことも理解されたい。本明細書及び特許請求の範囲で使用される場合、単数形の「a」、「an」、「the」は、文脈で明確に指示されない限り、複数形の参照語を含む。それに加えて、本明細書及び特許請求の範囲で使用される場合、「又は」という用語は、文脈で明確に指示されない限り、「及び/又は」を意味する。それに加えて、本明細書で使用される場合、「部分」は、文脈で明確に指示されない限り、所定のアイテム(例えば、データ)の一部又は全体(すなわち、部分全体)を指す。
【図面の簡単な説明】
【0011】
図面の簡単な説明
【
図1】[011]1つ又は複数の実施形態による、複数のコンテンツストリームの間の迅速なコンテンツ切り替えを通じてメディア資産を提示するための例示的なユーザインタフェースを示す。
【
図2】[012]1つ又は複数の実施形態による、複数のコンテンツストリームを特徴とするメディア資産を生成するための例示的なシステムを示す。
【
図3】[013]1つ又は複数の実施形態による、複数のコンテンツストリームを特徴とするメディア資産を生成するための別の例示的なシステムである。
【
図4】[014]1つ又は複数の実施形態による、コンピュータネットワーク上で配信される複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供するための例示的なシステムアーキテクチャである。
【
図5】[015]1つ又は複数の実施形態による、多数のコンテンツストリームに基づく複合フレームの実例である。
【
図6】[016]1つ又は複数の実施形態による、多数のコンテンツストリームに基づく連結された複合フレームの実例である。
【
図7】[017]1つ又は複数の実施形態による、多数のコンテンツストリームに基づく1対の連結された複合フレームの実例である。
【
図8】[018]1つ又は複数の実施形態による、ズームするフレームのエリアを選択する実例である。
【
図9A】[019]1つ又は複数の実施形態による、ビュー間で切り替える際に移行する一連のビューを決定する実例である。
【
図9B】[019]1つ又は複数の実施形態による、ビュー間で切り替える際に移行する一連のビューを決定する実例である。
【
図10】[020]1つ又は複数の実施形態による、一連のビューのプレイリストの実例である。
【
図11】[021]1つ又は複数の実施形態による、コンピュータネットワーク上で配信される複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供する際に伴うステップのフローチャートを示す。
【
図12】[022]1つ又は複数の実施形態による、複数のコンテンツストリームを特徴とするメディア資産を生成する際に伴うステップのフローチャートを示す。
【
図13】[023]1つ又は複数の実施形態による、大きなエリアにおける複数のコンテンツストリームを特徴とするメディア資産を生成するための例示的なシステムである。
【
図14】[024]1つ又は複数の実施形態による、複数のコンテンツストリームを特徴とするメディア資産を生成するための例示的なコンテンツ捕捉デバイスを示す。
【
図15】[025]1つ又は複数の実施形態よる、所望の視野を有する事前に選択されたセクションを特徴とする大きなエリアにおける、複数のコンテンツストリームを特徴とするメディア資産を生成するための例示的なシステムである。
【
図16】[026]1つ又は複数の実施形態による、ズームの計算に関連する例示的な図を示す。
【
図17】[027]1つ又は複数の実施形態による、チルトの計算に関連する例示的な図を示す。
【
図18】[028]1つ又は複数の実施形態による、複数のコンテンツストリームを特徴とするメディア資産のポストプロダクションに関連する例示的な図を示す。
【発明を実施するための形態】
【0012】
図面の詳細な説明
[029] 以下の説明では、説明を目的として、本発明の実施形態を完全に理解するために、多くの具体的な詳細が記載されている。しかし、当業者であれば、これらの具体的な詳細がなくとも、又は同等の構成でも、本発明の実施形態を実施できることが理解されよう。他の事例では、本発明の実施形態を不必要に曖昧にすることを避けるために、周知の構造及びデバイスは、ブロック図の形態で示されている。
【0013】
[030]
図1は、1つ又は複数の実施形態による、複数のコンテンツストリームの間の迅速なコンテンツ切り替えを通じてメディア資産を提示するための例示的なユーザインタフェースを示す。例えば、迅速なコンテンツ切り替えにより、メディア資産は、第1のコンテンツストリーム(例えば、第1のカメラによって捕捉されるようなある角度からのシーン)から第2のコンテンツストリーム(例えば、第2のカメラから捕捉されるような第2の角度からのシーン)に変更する際に、視聴しているユーザの視点から、まるでユーザがシーンを歩き回っているように見えるように、シームレスな方法で提示される。この開示全体を通じて説明されるように、視聴角度(例えば、ある視聴角度から別の視聴角度へ切り替える際に説明されるような)への言及は、あるカメラから別のカメラへの切り替えも指すことに留意されたい。
【0014】
[031] 例えば、
図1は、ユーザデバイス100を含み得、ユーザデバイス100は、現在、ユーザインタフェース102にコンテンツを表示している。例えば、ユーザインタフェース102は、ユーザデバイス(例えば、ユーザデバイス100)上のウェブブラウザのユーザインタフェースにおいてユーザに表示するために受信したコンテンツを含み得る。本明細書で言及される場合、「ユーザインタフェース」は、デバイスにおける人間とコンピュータの対話及び通信を含み得、ディスプレイスクリーン、キーボード、マウス及びデスクトップの外観を含み得る。例えば、ユーザインタフェースは、ユーザがアプリケーション又はウェブサイトと対話する方法を含み得る。本明細書で言及される場合、「コンテンツ」は、テレビ番組や、ペイパービュー番組、オンデマンド番組(ビデオオンデマンド(VOD)システムと同様の)、インターネットコンテンツ(例えば、ストリーミングコンテンツ、ダウンロード可能コンテンツ、ウェブキャストなど)、ビデオクリップ、オーディオ、コンテンツ情報、ピクチャ、回転画像、ドキュメント、プレイリスト、ウェブサイト、記事、書籍、電子書籍、ブログ、広告、チャットセッション、ソーシャルメディア、アプリケーション、ゲーム及び/又は他の任意のメディア若しくはマルチメディア、及び/又はそれらの組合せなど、電子的に消費可能なメディア資産を意味するものと理解すべきである。本明細書で言及される場合、「マルチメディア」という用語は、上記で説明される少なくとも2つの異なるコンテンツ形態(例えば、テキスト、オーディオ、画像、映像又はインタラクティブコンテンツ形態)を利用するコンテンツを意味するものと理解すべきである。コンテンツは、ユーザデバイスによって、録画、再生、表示又はアクセスを行うことができるが、ライブパフォーマンスの一部でもあり得る。メディア資産のコンテンツは、関連付けられた時間的要素を有する(例えば、再生が可能な)コンテンツであり得る「コンテンツストリーム」において表すことができる。コンテンツストリームは、メディア資産(例えば、映像)を形成するためのストリーム(例えば、直列に再生される一連のフレーム)に対応し得る。
【0015】
[032] いくつかの実施形態では、コンテンツは、オリジナルのコンテンツ及びユーザの好み(例えば、ユーザプロファイルに格納されているような)に基づいて、ユーザ向けにパーソナライズすることができる。ユーザプロファイルは、関連ユーザアカウントに対する格納されたユーザ設定、好み及び情報のディレクトリであり得る。例えば、ユーザプロファイルは、インストールされたユーザのプログラム及びオペレーティングシステムの設定を有し得る。いくつかの実施形態では、ユーザプロファイルは、特定のユーザと関連付けられた個人データの視覚的な表示又はカスタマイズされたデスクトップ環境であり得る。いくつかの実施形態では、ユーザプロファイルは、個人の身元のデジタル表現であり得る。ユーザプロファイルのデータは、ユーザのアクションを能動的又は受動的にモニタするシステムに基づいて生成することができる。
【0016】
[033] ユーザインタフェース102は、現在、再生されているコンテンツを表示している。例えば、ユーザは、トラックバー104を使用して、コンテンツの再生を調整し、再生動作(例えば、再生、一時停止又は他の動作)を実行することができる。例えば、動作は、早送り、巻き戻し、スキップ、チャプタ選択、セグメント選択、セグメントスキップ、セグメントジャンプ、次のセグメント、前のセグメント、広告若しくはコマーシャルのスキップ、次のチャプタ、前のチャプタ、又はメディア資産を通常の再生速度で再生しない他の任意の動作など、通常の再生速度よりも速い速度で、又はメディア資産が再生されるように設計されている順序とは異なる順序で、非線形メディア資産を再生することに関係し得る。動作は、再生動作によって通常の再生速度でメディア資産が再生されるような「再生」以外の任意の再生動作であり得る。
【0017】
[034] 通常の再生動作に加えて、システムは、ユーザがメディア資産(例えば、複数のコンテンツストリームに基づくメディア資産)の異なるビューの間で切り替えることができるようにすることができる。例えば、複数のコンテンツストリームを特徴とするメディア資産では、各コンテンツストリームは、メディア資産のシーンの独立したビューを表し得る。メディア資産の再生の間、ユーザは、複数のコンテンツストリームのうちの1つからのコンテンツのみ視聴することができる。次いで、ユーザは、異なるコンテンツストリームの間で切り替えて、シーンの異なる角度、インスタンス、バージョンなどを視聴することができる。例えば、ユーザは、制御デバイスを使用して、スクリーン上に表示されるシーンの視聴角度を変更することができる。制御デバイスを特定の方向に移動することにより、スクリーン上に表示されるシーンの視聴角度が対応する方向に変化し、それにより、ユーザは、異なる角度からそのシーンを視聴することができる。
【0018】
[035] 例えば、システムは、制御デバイスへのユーザ入力(例えば、特定の方向における)に応答して、スクリーン上に表示される視聴角度を変更することができ、それにより、コンテンツの視聴角度/方向が対応する方向に変化する。その結果、システムは、まるでユーザがシーンを動き回り、シーンを異なる角度から視聴しているようにユーザに見せることができる。例えば、ジョイスティックのハンドルを左回りに動かすと、画像は、時計回りに回転するか、又はスクリーンに対して別の回転軸を中心に回転し得る。ユーザは、単一のボタン又は複数のボタン(各々が既定の視聴角度と関連付けられているものなど)を押すことによって、ある視聴方向から別の視聴方向にスクロールすることができる場合がある。それに加えて又はその代替として、ユーザは、視聴角度のプレイリストに従うように選択することができる。
【0019】
[036] その上、システムは、フリッカ融合を達成しながら、これらの変更を達成することができる。フリッカ融合は、断続的な光刺激が、平均的な人間の観察者に完全に安定しているように見える周波数に関連する。従って、フリッカ融合閾値は、視覚の持続性に関連する。フリッカは、強度の時間変動を表す多くの波形に対して検出することができるが、従来より、最も簡単に、強度の正弦波変調の観点から研究されている。フリッカを検出する能力を決定するパラメータは7つ存在し、変調の周波数、変調の振幅若しくは深さ(すなわち、照明強度のそのピーク値からの最大減少率)、平均(若しくは最大)照明強度(変調の深さが分かっていれば、これらは相互変換することができる)、照明の波長(若しくは波長範囲)(このパラメータと照明強度は、光束関数を使用してロッド及びコーンの感度が波長の関数として知られている人間若しくは他の動物に対する単一のパラメータに組み合わせることができる)、刺激が発生する網膜上の位置(位置によって視細胞タイプの分布が異なるため)、強度感度と視覚の時間分解能の両方に影響を及ぼす明順応若しくは暗順応の度合い(すなわち、過去に背景光にさらされた時間と強度)、及び/又は年齢や疲労などの生理的要因などが挙げられる。本明細書で説明されるように、システムは、これらのパラメータの1つ又は複数に従って、フリッカ融合を達成することができる。
【0020】
[001]
図2は、1つ又は複数の実施形態による、複数のコンテンツストリームを特徴とするメディア資産を生成するための例示的なシステムを示す。例えば、
図2は、シーンを撮影するように構成されたサラウンド撮影用のマウントマトリクスの例を示す。様々な実施形態では、サラウンド映像録画構成200は、多くのコンテンツ捕捉デバイス204を支持する及び位置決めするために使用されるコンテンツ捕捉デバイスマウントマトリクス202を含む。これは、シーン206を録画するために、数十台、数百台又はそれ以上のコンテンツ捕捉デバイスになる可能性がある。別の実施形態では、多くのコンテンツ捕捉デバイス204は、スタンドアロンのコンテンツ捕捉デバイスであり、マウントマトリクス上にはマウントされない。
【0021】
[002] 様々な実施形態では、マルチストリーム映像のユーザ制御による再生は、録画構成200によって可能になり、シーン206は、マルチストリーム映像を生成するために複数のコンテンツ捕捉デバイスを使用して同時に録画され、各コンテンツ捕捉デバイスは、異なる方向から同じシーンを録画する。いくつかの実施形態では、コンテンツ捕捉デバイスは、シーンの録画を同時に開始するように同期させることができ、他の実施形態では、フレーム番号及び/又は時間ベースで、録画したシーンを事後同期させることができる。さらなる別の実施形態では、コンテンツ捕捉デバイスの少なくとも2つは、連続してシーンを録画することができる。各コンテンツ捕捉デバイスは、同じシーンではあるが、マウントマトリクス202におけるコンテンツ捕捉デバイスの位置又は一般に他のコンテンツ捕捉デバイスに対するコンテンツ捕捉デバイスの位置に応じて、他のコンテンツ捕捉デバイスと比較して異なる方向から、独立したコンテンツストリームを生成する。独立して得られたコンテンツストリームは、識別のためにタグ付けすること及び/又は1つのマルチストリーム映像に組み込むことができ、それにより、ユーザは、視聴のために再生している間、コンテンツストリームの各々を動的に選択することができる。
【0022】
[003] いくつかの録画の実施形態では、複数のコンテンツ捕捉デバイスは、ビューア/ユーザが異なる視聴角度を選択した際に、リアルタイムであるか録画済みであるかにかかわらず、視聴時に、コンテンツ捕捉デバイスのコンテンツストリーム間での実質的に視覚的にスムーズな移行を可能にするため、互いに十分に近づくように位置決めされる。例えば、再生の間、ユーザがジョイスティックなどの制御デバイスを使用してシーンの視聴角度をシーンの左から右に移動すると、まるでユーザ自身がシーンを歩き回り、シーンを異なる角度から視聴しているように、コンテンツストリームはスムーズに変化し、適切な角度からシーンを示す。他の録画の実施形態では、コンテンツ捕捉デバイスは、互いに近づいているとは限らず、ビューア/ユーザは、その視聴方向を大きく変更することができる。さらなる他の実施形態では、複数のコンテンツ捕捉デバイスが異なる方向からオリジナルのシーンを捕捉したように見せるために、同じコンテンツ捕捉デバイスの前で、異なる座標及び/又は角度から、同じシーンを複数回録画することができる。そのような構成では、ユーザに対するその特定のシーンの影響を強めるため、各振る舞いは、他の角度で行われる同様の振る舞いとは多少異なり得る。そのような録画は、後に同期させ、複数の角度/方向から同じシーンを視聴しているような錯覚を生み出すようにビューア/ユーザに提示することができる。
【0023】
[004] ユーザ制御による再生の間、独立したコンテンツストリームの各々は、ユーザによる独立したコンテンツストリームの選択に基づいて、リアルタイムで別々に視聴することも、録画して後で視聴することもできる。一般に、再生の間、ユーザは、独立したコンテンツストリームが同時に録画されていない可能性があるという事実に気づかない。様々な実施形態では、独立したコンテンツストリームを電子的に混合し、伝送及び/又は格納のために単一のコンポジット信号を形成し、そこから、周波数フィルタリングや他の同様の信号処理方法などの電子的技法によって、ユーザが選択したコンテンツストリームを分離することができる。そのような信号処理技法は、デジタル技法とアナログ技法の両方を含み、信号のタイプ次第である。
【0024】
[005] 様々な実施形態では、複数のコンテンツストリームは、マルチストリーム映像に組み合わせることができ、その各ストリームは、再生時にマルチストリーム映像から選択可能及び分離可能である。マルチストリーム映像は、単一の映像ファイルとして、又は1つの対象映像としてまとめて使用可能な複数のファイルとして、パッケージ化することができる。エンドユーザは、ユーザ制御の下、可変角度で視聴するために、マルチストリーム映像を含む物理的媒体(例えば、ディスク)を購入することができる。或いは、ユーザは、マルチストリーム映像をダウンロードするか、ストリーミングするか又は他の方法で入手し、彼の制御の下で異なる視聴角度及び方向で視聴することができる。ユーザは、彼/彼女が後で視聴することを望む方向/角度の録画のみをダウンロードするか又はストリーミングすることができる場合がある。
【0025】
[006] 様々な実施形態では、撮影が完了した後、各カメラ又はコンテンツ捕捉デバイスからの映像は、コンピュータハードドライブ又は他の同様の記憶装置に転送することができる。いくつかの実施形態では、コンテンツ捕捉デバイスは、アナログコンテンツストリームを取得し、他の実施形態では、コンテンツ捕捉デバイスは、デジタルコンテンツストリームを取得する。アナログコンテンツストリームは、コンピュータハードディスクなどのデジタル記憶装置上に格納する前にデジタル化することができる。いくつかの実施形態では、各コンテンツストリーム又は映像は、マウントマトリクスにおいてコンテンツストリームが得られたコンテンツ捕捉デバイスに対応する数字又は同様の識別子でラベル付け又はタグ付けすることができる。そのような識別子は、一般に、視聴の間にユーザが使用可能な視聴角度/方向にマッピングすることができる。
【0026】
[007] 様々な実施形態では、コンテンツストリーム識別子は、コンテンツ捕捉デバイス自体によって割り当てられる。他の実施形態では、識別子は、複数のコンテンツ捕捉デバイスの中央コントローラによって割り当てられる。さらなる他の実施形態では、コンテンツストリームは、完全なビデオカメラなどの各コンテンツ捕捉デバイスによって、テープなどの別個の媒体上に独立して録画し、後にすべてのコンテンツストリームを単一のマルチストリーム映像に統合する間に手動で又は自動的にタグ付けすることができる。
【0027】
[008] 様々な実施形態では、マウントマトリクス202は、湾曲したマトリクスの中心に向かって内側に向けられたレンズを有する、マウントマトリクスの外側(シーンに面する側)にマウントされたコンテンツ捕捉デバイスのマトリクスのハウジング用のフレームワークを提供する、湾曲した、球状の又は平坦なマウントシステムなど、一次元、二次元又は三次元であり得る。シーンの周りの360°のカバー範囲は、カメラで完全に覆われた球状のマウントマトリクスでシーンを包み込むことによって提供することができる。以下でさらに説明されるように、大規模なシーンの場合、シーンの周りの所望の場所に、いくつか又はすべてのコンテンツ捕捉デバイスを個別に配置することができる。いくつかの実施形態では、マウントマトリクス及び個々のコンテンツ捕捉デバイスのいくつかは、例えば、車輪付きのプラットフォーム上に組み立てることによって、動的に移動可能であり、それにより、アクティブな撮影中にシーンを追うことができる。
【0028】
[009] 上記で論じられるカメラレンズと同様に、撮影の間に対象シーンを包み込むために球状の又は球状に近いマウントマトリクスが使用される事例では、マウントマトリクスの一連の小さな穴を通じて光を供給することができる。また、それらの規則的な配置、形状及び光度により、これらの光は、ポストプロダクションで簡単に認識したり、除去したりすることもできる。
【0029】
[010] 様々な実施形態では、録画構成200は、シーン206に実質的に焦点を合わせてコンテンツ捕捉デバイスを位置決め及び保持するために使用されるマウントマトリクス202を含み、異なるコンテンツ捕捉デバイスは、3D効果、及びより強い又は強化された3D効果をそれぞれ提供するように構成される。
【0030】
[011] マウントマトリクス202の機能の1つは、再生の間のコンテンツストリーム間でのスムーズな移行を容易にするために、互いに十分に近づくように既定の又は規則的なパターンでマウントされるカメラ又は他の録画デバイス用のハウジング構造を提供することである。マウントマトリクスの形状により、再生の間のユーザ体験が修正される。撮影するシーンに基づいてマウントマトリクスの形状を変換する能力により、異なる録画角度/方向、延いては異なる再生体験が可能になる。
【0031】
[012] 様々な実施形態では、マウントマトリクス202は、多くのコンテンツ捕捉デバイスを確実且つ安定的に支持するために十分な構造的剛性を有する一方で、同じ対象シーンの異なる視聴角度でのサラウンド効果を提供するために対象シーンの周りを湾曲させるのに十分な柔軟性を有する。様々な実施形態では、マウントマトリクス202は、左右(水平方向)から又は上下(垂直方向)から対象シーンを取り囲むように、その平面の2つの異なる次元(例えば、水平方向と垂直方向)で曲げることができる、実質的に長方形のプレーンであり得る。他の様々な実施形態では、マウントマトリクス202は、球状、半球状又は他の3D平面形状などの様々な平面形状を取るように構成可能な平面であり得る。マウントマトリクスの形状の違いにより、異なる録画角度、延いては異なる再生視点及び角度が可能になる。
【0032】
[013] 様々な実施形態では、コンテンツ捕捉デバイスの選択された対及び対応する画像データストリームは、様々な度合いの3D視覚効果を提供することができる。例えば、第1のコンテンツ捕捉デバイス対は、再生の間に同時に視聴すると、相応の遠近感を有する3D視覚効果を生み出す画像データストリームを提供し得る。第2のコンテンツ捕捉デバイス対は、再生の間に同時に視聴すると、第1のカメラ対と比較して、異なる及び/又はより深い相応の遠近感を有する異なる3D視覚効果を生み出す画像データストリームを提供し得、従って、カメラ対の立体効果を強化し、高めることができる。他の視覚効果は、同じ水平面上にはないが、マウントマトリクス上の2D又は3D空間の経路に沿って分離されている、選択されたカメラ対を使用して、生み出すことができる。他の様々な実施形態では、マウントマトリクス202は使用されない。これらの実施形態については、
図3を参照して以下でさらに説明する。
【0033】
[014] いくつかの実施形態では、少なくとも1つの又はすべてのコンテンツ捕捉デバイスは、スタンドアロンの独立したカメラであり、他の実施形態では、各コンテンツ捕捉デバイスは、中央録画設備に結合されたネットワーク構成の画像センサである。さらなる他の実施形態では、コンテンツ捕捉デバイスは、光を集め、光ファイバネットワークなどの光ネットワークを介して1つ又は複数の画像センサに伝送するためのレンズである。さらなる他の実施形態では、コンテンツ捕捉デバイスは、上記の1つ又は複数の組合せであり得る。
【0034】
[015] 様々な実施形態では、コンテンツ捕捉デバイスによって生成されるコンテンツストリームは、シーンの録画を開始する前に事前同期される。そのような事前同期は、例えば、単一のリモート制御デバイスがすべてのコンテンツ捕捉デバイスに放送信号を送信することによって、すべてのコンテンツ捕捉デバイスによって同時に録画を始めることによって、実行することができる。他の実施形態では、コンテンツ捕捉デバイスは、動作の間、録画の開始及びそれらのそれぞれのフレームレートを連続的に同期させるために、互いに結合することができる。コンテンツ捕捉デバイス間のそのような連続同期は、コンテンツ捕捉デバイスの複雑さ及び機能性に応じて、ブロードキャストランニングクロック信号を使用する、デジタルメッセージパッシングバスを使用する及び同様のものなど、様々な技法を使用することによって実行することができる。
【0035】
[016] 他の実施形態では、コンテンツ捕捉デバイスによって生成されるコンテンツストリームの少なくともいくつかは、シーンの録画後に事後同期される。同期の目的は、同じシーンを異なる角度から(ただし、実質的には同時に)録画した複数のコンテンツストリームの対応するフレームをマッチングさせることである。事後同期は、時間ベースの技法、フレームベースの技法、コンテンツマッチング及び同様のものなどの様々な技法を使用して行うことができる。
【0036】
[017] 様々な実施形態において、時間ベースの技法では、各コンテンツストリームにおいてグローバルタイムスタンプが使用され、それらのそれぞれのタイムスタンプに基づいて対応するフレームがまとめてマッチングされる。フレームベースの技法では、すべてのコンテンツストリームにおける開始共通フレーム位置からのフレームカウントを使用して、コンテンツストリーム内の後続のフレームがマッチングされる。例えば、開始共通フレームは、ストライプパターンなど、この目的のために録画された特別なシーンの最初の1フレーム又は数フレームを含み得る。コンテンツマッチング技法では、画像フレームコンテンツの要素を使用して、対応するフレームがマッチングされ得る。当業者であれば、本開示の主旨から逸脱しない範囲で、事後同期のための他の方法を使用できることが理解されよう。
【0037】
[018] 様々な実施形態では、サラウンド映像録画構成は、互いに既定の距離をおいて位置決めされる、同じシーンを録画するコンテンツ捕捉デバイス間のオフセットを採用することによって、現在の3D録画及び/又は視聴技術と完全に統合することができる。異なるコンテンツ捕捉デバイスからのコンテンツストリームは、視聴の間、ユーザによる選択が可能であるため、強化又は誇張された3D効果は、わずかに離れた場所(通常は大体人間の目と目の間の距離である)に設定された通常の3Dステレオ録画で使用されるカメラよりもさらに離れた録画中のコンテンツ捕捉デバイスからコンテンツストリームを選択することによる影響を受ける可能性がある。このコンテンツストリームの動的な選択可能性により、シーンを視聴している間、可変3D特徴が提供される。近年では、3D映像及び映画が急速に普及しており、3D映像を様々な角度から動的に視聴することができる「4D」サラウンド映像は、この傾向をさらに高めている。
【0038】
[019] 一般に、サラウンド映像録画システムにおいて複数のサウンドトラックを採用する必要はなく、単一のマスタサウンドトラックで一般的に十分かもしれないが、マウントマトリクス上の各コンテンツ捕捉デバイス又はカメラが付属の又は内蔵マイクを含み、各コンテンツストリームのサウンドトラックが対応するコンテンツストリームと共に切り替えられる場合は、実際にカメラビューに合わせて音を移動させるサラウンドサウンド効果は、複数のスピーカを必要とする従来のサラウンドサウンドシステムとは対照的に、単一の再生スピーカを通じて達成することができる。例えば、会話シーンでは、コンテンツストリームは、撮影中に特定の俳優により近い対応するカメラ位置から選択されるため、俳優の声は、俳優からさらに離れたカメラに対応するコンテンツストリームよりも大きく聞こえることになる。
【0039】
[020] 例えば、コンピュータネットワーク上で配信される複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供する一方で、システムは、複合コンテンツストリームに対応する特定のオーディオトラック(例えば、それぞれのコンテンツ捕捉デバイスから)を決定することができる。例えば、複合コンテンツストリームは、第1の複合フレーム及び第2の複合フレームに基づき得、第1の複合フレームは、第1のフレームセットに基づき、第1のフレームセットは、第1の多数のコンテンツストリームの各々の第1のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第1のフレームを含む。それに加えて、第2の複合フレームは、第2のフレームセットに基づき、第2のフレームセットは、第1の多数のコンテンツストリームの各々の第2のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第2のフレームを含む。
【0040】
[021] システムは複合コンテンツストリームに含めるためのフレームを選択するため、システムは同様に、それぞれのコンテンツ捕捉デバイスからのフレームに対応するオーディオサンプルを回収することができる。例えば、システムは、第1の複合コンテンツストリームと共に提示するための複合オーディオトラックを決定することができる。そのような事例では、複合オーディオトラックは、第1の複合フレームに対応する第1のオーディオトラックと、第2の複合フレームに対応する第2のオーディオトラックとを含み得る。その上、第1のオーディオトラックは、第1のフレームセットを捕捉したコンテンツ捕捉デバイスで捕捉することができ、第2のオーディオトラックは、第2のフレームセットを捕捉したコンテンツ捕捉デバイスで捕捉することができる。
【0041】
[022] 当業者であれば、サラウンド映像システムは、フルモーション映像の代わりに、静止画像に適用できることが理解されよう。マウントマトリクスにおいてスチルカメラを使用することで、ユーザは、システムによって写真撮影された視聴角度を変更することによって、その写真撮影されたオブジェクトの「周りを動き回る」ことができる。
【0042】
[023] 様々な実施形態では、サラウンド映像システムを使用して、映像の著作権侵害問題に対処することができる。メディア制作者が直面する問題は、ビューア/ユーザがコンテンツを録画し、インターネット上で流布させることが非常に容易いということである。サラウンド映像システムによって提供される複数のコンテンツストリームの著作権を侵害し、依然としてインタラクティブな視聴体験全体を提供することは極めて困難である。単一の視聴ストリームの著作権を侵害し、録画して流布させることは可能であろうが、サラウンド映像体験を構成する一連のカメラ角度全体にアクセスする簡単な方法はない。
【0043】
[024]
図3は、1つ又は複数の実施形態による、複数のコンテンツストリームを特徴とするメディア資産を生成するための別の例示的なシステムである。例えば、
図3は、シーンを撮影するように構成されたカメラが独立して位置決めされているサラウンド撮影装置の例を示す。いくつかの実施形態では、1つの統合されたマウントマトリクスを使用する代わりに、ビデオカメラなど、独立して位置決めされたコンテンツ捕捉デバイス302が、三脚などの独立した支持体304に設置され、シーン306を録画する。屋外のシーンなどの大きなエリアにおける撮影で採用され得るそのような実施形態では、コンテンツ捕捉デバイスは、対象シーンの周りの任意の地点に位置決めし、実質的に同時に又は連続してフィルムを録画することができる。同期は、そのように得られた異なるコンテンツストリームに対して、画像取得後に実行することができる。コンテンツ捕捉デバイスが別々に設置される場合は、有線又は無線方法による同時同期も可能である。GPS、3Dグリッドベースの仕様、土地境界及び同様のものなど、様々な技術を使用して、互いに対して、様々なコンテンツ捕捉デバイス位置を指定することができる。一般に、コンテンツ捕捉デバイスの物理的場所及び視線方向を知ることで、対象シーンの視聴角度又は方向を決定することができる。
【0044】
[025]
図4は、1つ又は複数の実施形態による、コンピュータネットワーク上で配信される複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供するための例示的なシステムアーキテクチャである。例えば、システム400は、
図1に示されるように、複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供するために使用されるコンポーネントを表し得る。
図4に示されるように、システム400は、モバイルデバイス422及びユーザ端末424を含み得る。
図4では、スマートフォン及びパーソナルコンピュータとしてそれぞれ示されているが、モバイルデバイス422及びユーザ端末424は、これらに限定されないが、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、他のコンピュータ機器(例えば、サーバ)(「スマート」、ワイヤレス、ウェアラブル及び/又はモバイルデバイスを含む)を含む、いかなるコンピューティングデバイスでもあり得ることに留意されたい。
【0045】
[026] また、
図4は、クラウドコンポーネント410も含む。クラウドコンポーネント410は、代替として、上記で説明されるいかなるコンピューティングデバイスでもあり得、いかなるタイプの携帯端末、固定端末又は他のデバイスも含み得る。例えば、クラウドコンポーネント410は、クラウドコンピューティングシステムとして実装することができ、1つ又は複数のコンポーネントデバイスを備え得る。また、システム400は、3つのデバイスに限定されないことにも留意されたい。ユーザは、例えば、1つ又は複数のデバイスを利用して、互いに、1つ又は複数のサーバと又はシステム400の他のコンポーネントと対話することができる。本明細書では、1つ又は複数の動作は、システム400の特定のコンポーネントによって実行されるものとして説明されているが、それらの動作は、いくつかの実施形態では、システム400の他のコンポーネントによって実行できることに留意されたい。例として、本明細書では、1つ又は複数の動作は、モバイルデバイス422のコンポーネントによって実行されるものとして説明されているが、それらの動作は、いくつかの実施形態では、クラウドコンポーネント410の1つ又は複数によって実行することができる。いくつかの実施形態では、本明細書で説明される様々なコンピュータ及びシステムは、説明される機能を実行するようにプログラムされた1つ又は複数のコンピューティングデバイスを含み得る。それに加えて又はその代替として、複数のユーザは、システム400及び/又はシステム400の1つ若しくは複数のコンポーネントと対話することができる。例えば、一実施形態では、第1のユーザと第2のユーザは、2つの異なるコンポーネントを使用して、システム400と対話することができる。
【0046】
[027] モバイルデバイス422、ユーザ端末424及びクラウドコンポーネント410のコンポーネントに関し、これらのデバイスの各々は、入力/出力(以下では、「I/O」)経路を介して、コンテンツ及びデータを受信することができる。また、これらのデバイスの各々は、I/O経路を使用して、コマンド、要求及び他の適切なデータの送信及び受信を行うためのプロセッサ及び/又は制御回路も含み得る。制御回路は、適切ないかなる処理回路、記憶回路及び/又は入力/出力回路も含み得る。また、これらのデバイスの各々は、データの受信及び表示に使用するためのユーザ入力インタフェース及び/又はユーザ出力インタフェース(例えば、ディスプレイ)も含み得る。例えば、
図4に示されるように、モバイルデバイス422とユーザ端末424は両方とも、データ(例えば、会話応答、クエリ及び/又は通知)を表示するためのディスプレイを含む。
【0047】
[028] それに加えて、モバイルデバイス422及びユーザ端末424がタッチスクリーンスマートフォンとして示されているように、これらのディスプレイは、ユーザ入力インタフェースの働きもする。いくつかの実施形態では、デバイスは、ユーザ入力インタフェースもディスプレイも有さず、代わりに、別のデバイス(例えば、コンピュータスクリーンなどの専用ディスプレイデバイス、及び/又はリモートコントロール、マウス、音声入力などの専用入力デバイス)を使用して、コンテンツの受信及び表示を行えることに留意されたい。それに加えて、システム400のデバイスは、アプリケーション(又は別の適切なプログラム)を実行することができる。アプリケーションは、複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供することに関連する動作をプロセッサ及び/又は制御回路に実行させることができる。
【0048】
[029] また、これらのデバイスの各々は、電子ストレージも含み得る。電子ストレージは、情報を電子的に格納する非一時的記憶媒体を含み得る。電子ストレージの電子記憶媒体は、(i)サーバ又はクライアントデバイスと一体化して提供される(例えば、実質的に取り外し不可能な)システムストレージ、及び(ii)例えば、ポート(例えば、USBポート、ファイアワイヤポートなど)又はドライブ(例えば、ディスクドライブなど)を介して、サーバ又はクライアントデバイスに取り外し可能に接続可能なリムーバブルストレージの一方又は両方を含み得る。電子ストレージは、光学的に読み取り可能な記憶媒体(例えば、光ディスクなど)、磁気的に読み取り可能な記憶媒体(例えば、磁気テープ、磁気ハードディスクドライブ、フロッピードライブなど)、電荷ベースの記憶媒体(例えば、EEPROM、RAMなど)、ソリッドステート記憶媒体(例えば、フラッシュドライブなど)及び/又は他の電子的に読み取り可能な記憶媒体の1つ又は複数を含み得る。電子ストレージは、1つ又は複数の仮想ストレージリソース(例えば、クラウドストレージ、仮想プライベートネットワーク及び/又は他の仮想ストレージリソース)を含み得る。電子ストレージは、ソフトウェアアルゴリズム、プロセッサによって決定される情報、サーバから得られる情報、クライアントデバイスから得られる情報、又は本明細書で説明される機能を可能にする他の情報を格納することができる。
【0049】
[030] また、
図4は、通信経路428、430、432も含む。通信経路428、430、432は、インターネット、携帯電話ネットワーク、モバイル音声若しくはデータネットワーク(例えば、5G若しくはLTEネットワーク)、ケーブルネットワーク、公衆交換電話網又は他のタイプの通信ネットワーク、或いは通信ネットワークの組合せを含み得る。通信経路428、430、432は、別々に又は共に、衛星経路、光ファイバ経路、ケーブル経路、インターネット通信をサポートする経路(例えば、IPTV)、自由空間接続(例えば、放送信号若しくは他の無線信号用)又は他の任意の適切な有線若しくは無線通信経路、或いはそのような経路の組合せなどの1つ又は複数の通信経路を含む。コンピューティングデバイスは、共に動作する多数のハードウェア、ソフトウェア及び/又はファームウェアコンポーネントをリンクする追加の通信経路を含み得る。例えば、コンピューティングデバイスは、コンピューティングデバイスとして共に動作するコンピューティングプラットフォームのクラウドによって実装することができる。
【0050】
[031] また、クラウドコンポーネント410は、代替のコンテンツを生成するために必要な様々な動作を実行するように構成された制御回路を含み得る。例えば、クラウドコンポーネント410は、代替のコンテンツを生成するように構成されたクラウドベースの記憶回路を含み得る。また、クラウドコンポーネント410は、代替のコンテンツを決定するためのプロセスを実行するように構成されたクラウドベースの制御回路も含み得る。また、クラウドコンポーネント410は、複数のコンテンツストリームの間の迅速なコンテンツ切り替えを通じてメディア資産を提示するように構成されたクラウドベースの入力/出力回路も含み得る。
【0051】
[032] クラウドコンポーネント410は、機械学習モデル(例えば、
図4で説明されるような)であり得るモデル402を含み得る。モデル402は、入力604を取り入れ、出力406を提供することができる。入力は、訓練データセット及びテストデータセットなどの複数のデータセットを含み得る。多数のデータセット(例えば、入力404)の各々は、移行可能なビューに関連するデータサブセットを含み得る。いくつかの実施形態では、出力406は、モデル402を訓練するための入力として(例えば、単独で、又は出力406の精度に関するユーザ表示、入力と関連付けられたラベル若しくは他の参照フィードバック情報と組み合わせて)、モデル402にフィードバックすることができる。例えば、システムは、第1のラベル付き特徴入力を受信することができ、第1のラベル付き特徴入力は、第1のラベル付き特徴入力に基づいて移行するための既知のビューでラベル付けされる。次いで、システムは、既知のビューで第1のラベル付き特徴入力を分類するために、第1の機械学習モデルを訓練することができる。
【0052】
[033] 別の実施形態では、モデル402は、その予測(例えば、出力406)及び参照フィードバック情報(例えば、精度のユーザ表示、参照ラベル又は他の情報)の評価に基づいて、その構成(例えば、重み、バイアス又は他のパラメータ)を更新することができる。モデル402がニューラルネットワークである別の実施形態では、接続重みを調整して、ニューラルネットワークの予測と参照フィードバックとの差を調和させることができる。さらなる使用事例では、ニューラルネットワークの1つ又は複数のニューロン(又はノード)は、更新プロセスを容易にするために、ニューラルネットワークを通じてそれらのそれぞれの誤差を逆送信すること(例えば、誤差のバックプロパゲーション)を要求することができる。接続重みの更新は、例えば、順方向パスが完了した後に逆伝播される誤差の大きさを反映したものであり得る。このようにして、例えば、モデル402は、より良い予測を生成するように訓練することができる。
【0053】
[034] いくつかの実施形態では、モデル402は、人工ニューラルネットワークを含み得る。そのような実施形態では、モデル402は、入力層と、1つ又は複数の隠れ層とを含み得る。モデル402の各ニューラルユニットは、モデル402の他の多くのニューラルユニットと接続することができる。そのような接続は、接続されたニューラルユニットの起動状態に対するそれらの効果において、強制的又は抑制的なものであり得る。いくつかの実施形態では、個々のニューラルユニットの各々は、その入力のすべての値を組み合わせる総和関数を有し得る。いくつかの実施形態では、各接続(又はニューラルユニット自体)は、信号が他のニューラルユニットに伝播される前にその閾値を超えなければならないような閾値関数を有し得る。モデル402は、明示的にプログラムされたものではなく、自己学習して訓練することができるものであり、従来のコンピュータプログラムと比べて、問題解決の特定の分野で著しく優れた能力を発揮することができる。訓練の間、モデル402の出力層は、モデル402の分類に対応し、その分類に対応することが知られている入力を訓練の間にモデル402の入力層に入力することができる。テストの間、分類がわかっていない入力を入力層に差し込み、決定された分類を出力することができる。
【0054】
[035] いくつかの実施形態では、モデル402は、複数の層(例えば、信号経路が前の層から後の層へ横切る所)を含み得る。いくつかの実施形態では、フォワード刺激が「前方」のニューラルユニットの重みをリセットするために使用される場合は、モデル402によってバックプロパゲーション技法を利用することができる。いくつかの実施形態では、モデル402の刺激と抑制は、より流動的であり、その接続は、よりカオス的で複雑な形で相互作用する。テストの間、モデル402の出力層は、所定の入力がモデル402の分類に対応する(例えば、ビューがシームレスな移行を提供する)か否かを示し得る。
【0055】
[036] いくつかの実施形態では、モデル402は、シームレスな移行を提供するために、移行可能な一連のビューを予測することができる。例えば、システムは、ビューの特定の特性が予測を示す可能性が高いと決定することができる。いくつかの実施形態では、モデル(例えば、モデル402)は、出力406に基づいて、アクションを自動的に実行することができる(例えば、一連のビューの1つ又は複数のビューを選択する)。いくつかの実施形態では、モデル(例えば、モデル402)は、いかなるアクションも実行しない場合がある。モデル(例えば、モデル402)の出力は、推薦する場所及び/又はビューを決定するためだけに使用される。
【0056】
[037] また、システム400は、API層450も含む。いくつかの実施形態では、API層450は、モバイルデバイス422又はユーザ端末424上で実装することができる。その代替として又はそれに加えて、API層450は、クラウドコンポーネント410の1つ又は複数に存在し得る。API層450(REST又はWebサービスAPI層であり得る)は、1つ又は複数のアプリケーションのデータ及び/又は機能性との分離されたインタフェースを提供することができる。API層450は、アプリケーションと対話するための、言語を問わない共通の方法を提供することができる。WebサービスAPIは、WSDLと呼ばれる、サービスの動作や、情報交換に使用されるデータタイプに関して説明する、明確に定義された契約を提供する。REST APIは、典型的には、この契約を有さず、代わりに、Ruby、Java、PHP及びJavaScriptを含む、最も一般的な言語用のクライアントライブラリで文書化される。SOAP Webサービスは、従来より、企業において、内部サービスの公開や、B2Bトランザクションにおけるパートナーとの情報交換のために採用されている。
【0057】
[038] API層450は、様々なアーキテクチャ構成を使用することができる。例えば、システム400は、API層450に部分的に基づき、その結果、SOAP及びRESTful Webサービスが強く採用され、サービスリポジトリや開発者ポータルなどのリソースが使用されるが、ガバナンス、規格化及び関心の分離は低い。或いは、システム400は、API層450に完全に基づき、その結果、API層450のような層の間、サービス間及びアプリケーション間における関心の分離が整っている。
【0058】
[039] いくつかの実施形態では、システムアーキテクチャは、マイクロサービス手法を使用することができる。そのようなシステムは、フロントエンド層及びバックエンド層の2つのタイプの層を使用することができ、そこにマイクロサービスが存在する。この種のアーキテクチャでは、API層450の役割は、フロントエンドとバックエンドとの間の統合を提供することであり得る。そのような事例では、API層450は、RESTful API(フロントエンドへの公開、又はマイクロサービス間の通信)を使用することができる。API層450は、AMQP(例えば、Kafka、RabbitMQなど)を使用することができる。API層450は、gRPC、Thriftなどの新しい通信プロトコルの初期段階の使用法を使用することができる。
【0059】
[040] いくつかの実施形態では、システムアーキテクチャは、オープンAPI手法を使用することができる。そのような事例では、API層450は、商用又はオープンソースAPIプラットフォーム及びそれらのモジュールを使用することができる。API層450は、開発者ポータルを使用することができる。API層450は、強力なセキュリティ制約を使用してWAF及びDDoS保護を適用することができ、API層450は、外部統合のための規格としてRESTful APIを使用することができる。
【0060】
[041]
図5は、1つ又は複数の実施形態による、多数のコンテンツストリームに基づく複合フレームの実例である。例えば、
図5は、2つの複合フレーム(例えば、フレーム500とフレーム550)を含み得る。フレーム500は、フレームセットを含み得、フレームセットは、第1の多数のコンテンツストリームの各々の第1のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第1のフレーム(例えば、フレーム502)を含み得る。
【0061】
[042] フレームセットのフレームの各々は、フレームの縮小バージョン及び/又は圧縮バージョンであり得る。また、フレームの各々は、複合フレームの一部分にも相当し得る。その上、これらの部分は、フレーム500に示されるように、隣同士に位置する際に、複合フレームの枠内に均等に収まるような形状にすることができる。例えば、システムは、1920×1080画素(フレーム502を含むフレーム500の一部分に対応する)から3840×2160画素バージョンにフレーム502(例えば、選択されたビュー)をスケーリングすることができる。例えば、システムは、メディア資産が表示されるユーザインタフェース(例えば、ユーザインタフェース102(
図1))の輪郭に合うように、フレーム502のサイズ及び/又はスケールを増強することができる。複合フレームにおいて同じサイズ及び形状のフレームを使用することにより、システムは、処理時間を短縮するために、同じスケーリングプロセス及び倍率を適用することができる。例えば、新しいビューが選択されると、システムは、ただ単に、複合ストリームのフレームの対応する部分をスケーリングする。新しいストリームのフェッチ(例えば、リモートソースから)、ロード及び新しいストリームの処理を行う必要がないため、システムは、ビュー間をシームレスに移行する(例えば、フリッカ融合を達成する)ことができる。
【0062】
[043] 例えば、システムは、フレーム502に画像スケーリングを適用して、フレーム502を表すデジタル画像をユーザインタフェースのサイズにサイズ変更することができる。例えば、ベクトルグラフィック画像をスケーリングする際は、システムによって、画質を損なうことなく、幾何学的変換を使用して、画像(例えば、フレーム502)を構成するグラフィックプリミティブをスケーリングすることができる。ラスターグラフィックス画像をスケーリングする際は、画素数がより多い又は少ない新しい画像を生成することができる。例えば、システムは、フレーム502のオリジナルバージョンを縮小してフレーム500を作成することができる。同様に、システムは、表示用に生成する際に502を拡大することができる。
【0063】
[044] 例えば、フレーム500は、複数のコンテンツストリーム(1~N)を含み得、その各々は、マトリクス(例えば、マウントマトリクス202(
図2)に構造化されたコンテンツ捕捉デバイスによって又は互いに隣接するカメラ(例えば、コンテンツ捕捉デバイス302)によって取り入れられる。この例では、隣接するコンテンツ捕捉デバイス(例えば、ビデオカメラ)を使用して、8つのコンテンツストリームが捕捉されている。
【0064】
[045]
図4のサーバ、ローカルハードドライブ又は他のコンポーネント上でホストされる前、コンテンツストリームは、等しい継続時間になるように編集し、時間的に同期させることができる。次いで、コンテンツストリームは、複合コンテンツストリーム(例えば、フレーム500によって表される)に配置する及び埋め込むことができる。この例では、コンテンツストリームは、2つのセット(例えば、フレーム500とフレーム550によって表される)にコンパイルされ、その各々のサイズは、持続時間(例えば、10秒、30分、2時間)が等しい4つの1920×1080の個々のコンテンツストリームで構成される3840×2160画素である。
【0065】
[046] 2つのフレームセット(例えば、フレーム500とフレーム550に相当する)は、サーバにアップロードすることができ、システムは、複合コンテンツストリームをユーザデバイスに転送することも、ユーザのローカルコンピュータドライブに格納することもできる。
【0066】
[047] 再生の開始前、ユーザインタフェース(例えば、ウェブブラウザ、カスタムアプリ又はスタンドアロンの映像プレーヤ)は、各複合コンテンツストリームをプレーヤの別個のインスタンス化にロードし、複合コンテンツストリームを時間的に同期させることができる。それに加えて又はその代替として、システムは、ローカルプレーヤの追加のインスタンスを開き、様々な複合コンテンツストリームを同期させることができる。システムは、システムで利用可能なリソースに基づいて、ローカルプレーヤのインスタンス数と複合ストリーム数のバランスを取ることができる。
【0067】
[048] 再生の開始と同時に(ユーザからのコマンドの受信に基づいて又はユーザインタフェース(例えば、ウェブブラウザ、メディアプレーヤ若しくはカスタムアプリケーション)に埋め込まれたソフトウェアを介して開始され得る)、システムは、コンテンツストリームを生成することができる。再生の間、システムは、複合コンテンツストリームの単一のコンテンツストリームを表示用に生成する(及び/又はユーザインタフェースの輪郭に合うようにコンテンツストリームをスケーリングする)ことができる。例えば、
図5では、フレーム500の左上のコンテンツスチーム(例えば、「映像1」)は、ユーザのメディアプレーヤ又はブラウザで可視化され、再生が開始される。
【0068】
[049] すべてのコンテンツストリーム(及び/又は複合コンテンツストリーム)は時間的に同期されるため、フレーム500の左上のコンテンツスチーム(例えば、「映像1」)を除くすべてのコンテンツストリーム(及び/又は複合コンテンツストリーム)が、システムによってユーザの視界から隠されているとしても、コンテンツストリームは、それらの別個のインスタンス化でストリーミングを継続し、同期を維持する。
【0069】
[050] 表示されるコンテンツストリームは、各映像のネイティブ解像度(例えば、1920×1080画素)と同じ又は同様の解像度であり、コンテンツストリーム(及び/又は複合コンテンツストリーム)は、ユーザインタフェース(例えば、ウェブブラウザ、映像プレーヤなど)の機能性(再生オプションなど)のすべてを保持する。また、システムは、これらに限定されないが、「映像N」からN+1へのビューの切り替え、「映像N」からN-1へのビューの切り替え、プリセットされたカスタマイズ可能なレート(例えば、プレイリストに対応する)での「映像N」からN+へのビューの切り替え、及び映像の一部分のズームインなどの追加の制御も提供する。
【0070】
[051] システムは、ユーザによる適切な機能のマウスクリック、スクリーンタップ、スクリーンの一セクションのドラッグの受信に応答して、又はキーボードショートカットを介して、これらの機能を実行することができる。以下で(例えば、プレイリストの実施形態で)述べられるように、これらの機能は、システムによってアクセス可能なファイルに格納された事前に記述されたコマンドによってトリガすることもできる。
【0071】
[052] 例えば、ユーザが「映像N」から「映像N+1」にビューを切り替えることを望む場合は、システムは、現在見えているコンテンツストリーム(例えば、1つのビューに対応する)を隠し、ユーザのスクリーン(例えば、ユーザインタフェース102(
図1))に「映像N+1」を表示させる。現在の複合コンテンツストリームはすべてメモリ(例えば、ローカルデバイス)にロードされているため、システムは、同期問題又はコマ落ちが生じることなく、フリッカ融合レートを達成する速い速度で、この切り替えを達成することができる。このプロセスは、システムによって提供される制御を使用して、「映像N+2」に対して繰り返すことも、「映像N」、N-1などに戻すこともできる。
【0072】
[053] この例では、表示されるコンテンツストリームが、フレーム500に対応する複合コンテンツストリームの最後のもの(「映像#4」)になると、システムは、「映像#5」(フレーム550に対応する複合コンテンツストリームの第1のコンテンツストリーム)を再生するという信号を受信し、システムは、ユーザインタフェースの第2のインスタンス化(例えば、ウェブブラウザ、映像プレーヤ又はスタンドアロンの映像プレーヤの第2のインスタンス化(フレーム550に対応する複合コンテンツストリームを含むもの)に切り替え、「映像#5」をシームレスに表示する。
【0073】
[054] フレーム550に対応する複合コンテンツストリームの最後のコンテンツストリームに達すると、システムは、フレーム500に対応する複合コンテンツストリームを含む第1のインスタンス化(例えば、第1のユーザインタフェース)に戻る。コンテンツストリームを切り替えるプロセスは、システム及び/又はユーザ制御の下で、映像が終了するまで、いずれの方向にも繰り返すことができる。
【0074】
[055] コンテンツストリームは、複合コンテンツストリームにおいて、いかなる構成でも構造化できることに留意されたい。例えば、水平又は垂直方向にN個のコンテンツストリーム、又は横方向にN個及び下方向にN個のマトリクス状のコンテンツストリームが挙げられる。それに加えて又はその代替として、コンテンツストリームの解像度は、サーバとプレーヤの組合せにおける帯域幅及び機能性に合わせて調整することができる(プリプロダクションにおいて又はシステムによって自動的に)。
【0075】
[056]
図6は、1つ又は複数の実施形態による、多数のコンテンツストリームに基づく連結された複合フレームの実例である。例えば、いくつかの実施形態では、複合コンテンツストリームは、複合コンテンツストリーム600に示されるように、あるコンテンツストリームを別のコンテンツストリームの末尾に付加することによって連結されたメディア資産に対する多数のコンテンツストリームを含み得る。例えば、第2の多数のコンテンツストリームの各コンテンツストリームは、第1の多数のコンテンツストリームの1つに付加することができる。
【0076】
[057] 例えば、単一の複合コンテンツストリームに埋め込むことができるコンテンツストリームの数に対する制限(及び/又は単一の複合フレームに埋め込むことができるフレームの数に対する制限)や、ユーザインタフェース(例えば、映像再生システム)の別個のインスタンス化にロードすることができる複合コンテンツストリームの数に対する制限はないが、サーバの速度、伝送帯域幅及び/又はユーザデバイスのメモリによって技術的な制限が課される場合がある。システムは、所定の数を超えるユーザインタフェースを同時にメモリにインスタンス化する際(例えば、それぞれの複合コンテンツストリームを処理する際)、固有のメモリ/帯域幅の制限をある程度緩和することができる。
【0077】
[058] 例えば、非限定的な実施形態として、コンピュータ/サーバがユーザインタフェース(例えば、映像プレーヤ)の最大2つのインスタンス化を課し(例えば、技術的な制限に基づいて)、その各々が複合コンテンツストリームを含む(例えば、上記で説明されるように、各々が4つの個々のコンテンツストリームを含む)場合は、コンテンツストリームは8つであるという制限がある(例えば、8つのビューに対応する8つの映像に対応する)。
【0078】
[059] それに従って、2つのユーザインタフェースインスタンス化内に追加のコンテンツストリーム(例えば、異なるビューを有する16の映像に対応する16のコンテンツストリーム)を埋め込むため、システムは、コンテンツストリームを連結することができる。
図6に示されるように、「映像9」は、「映像1」の末尾に付加される。この方法を使用することで、システムは、さらなるコンテンツストリームを追加することができる。例えば、「映像9+N」は、「映像1+N」の末尾に付加することができる。その上、システムは、各複合コンテンツストリームをユーザインタフェース(例えば、ウェブブラウザ又はメディアプレーヤ)の別個のインスタンスにロードし、それらがすべて同じフレームを再生するように複合コンテンツストリームを同期させ、複合コンテンツストリーム600(例えば、「映像1」と「映像9」を含む)の左上の映像の第1のフレームのみを表示用に生成することができる。
【0079】
[060]
図7は、1つ又は複数の実施形態による、多数のコンテンツストリームに基づく1対の連結された複合フレームの実例である。例えば、システムによるユーザ要求の受信と同時に、システムは、「映像1+映像9」から「映像2+映像10」に表示を切り替える。システムは、ユーザが望む限り何度でも、このプロセスをいずれの方向にも繰り返すことができる。
【0080】
[061] 表示されるコンテンツストリームが、所定の複合コンテンツストリームのシーケンス内の最後のもの(例えば、この例では、複合コンテンツストリーム700、「映像4-12」になると、システムは、複合コンテンツストリーム750の第1のコンテンツストリーム(「映像5+映像13」)に表示を切り替え、複合コンテンツストリーム700のタイミングの再同期を開始する。それに従って、複合コンテンツストリーム700のタイミングポインタが、複合コンテンツストリーム700の連結されたコンテンツストリームの後半の同じ時間的位置に位置決めされる。
【0081】
[062] 例えば、メディア資産の持続時間が10秒である場合は、すべてのコンテンツストリームが同じ持続時間(例えば、10秒)を有する。システムは、複合コンテンツストリーム700の後半(例えば、付加したコンテンツストリームに対応する半分)の現在の表示時刻(例えば、「現在の時刻」+10秒)に複合コンテンツストリーム700のポインタを位置決めする。システムは、このプロセスをバックグラウンドで実行し、ユーザインタフェースでユーザの視界に入らないようにすることができる。このようにして、ポインタが時間的に同期され、この同期は、システムが最終的にコンテンツストリーム700の後半にアクセスした際にコマ落ちしたようには見えないようにするために維持される。
【0082】
[063] 例えば、システムは、各複合コンテンツストリームをユーザインタフェースの固有のインスタンス化にロードすることができる(例えば、ブラウザの内部映像プレーヤで)。システムは、すべての複合コンテンツストリームを時間的に同期させることができる。次いで、システムは、すべての複合コンテンツストリームの再生を開始し、時間的同期を維持することができる(例えば、単一のコンテンツストリームのみ見えるとしても)。システムは、第1の複合コンテンツストリームの(例えば、「映像#1」)を表示する一方で、他のすべてのコンテンツストリーム及び/又は複合コンテンツストリームを隠すことができる。ユーザ入力(例えば、ビュー及び/又はズームの変更を要求するもの)の受信と同時に、システムは、「映像N+1」を明示するために表示を切り替える。第2のユーザ入力(例えば、ビュー及び/又はズームの変更を要求するもの)の受信と同時に、システムは、表示するコンテンツストリームの番号をインクリメントする。表示するコンテンツストリームが所定の複合コンテンツストリームの最後のコンテンツストリームになると、システムは、シーケンス内の次のコンテンツストリームの表示をトリガすることができる。それに従って、システムは、次のユーザインタフェースインスタンス化に切り替え、複合コンテンツストリームN+1の第1のコンテンツストリームを表示する。複合コンテンツストリームがこれ以上なければ、システムは、第1の複合コンテンツストリームに戻る。同時に、システムは、隠れた複合コンテンツストリームが現在の時刻+持続時間に再生されるように、それらの隠れた複合コンテンツストリームを再同期させる。
【0083】
[064]
図8は、1つ又は複数の実施形態による、ズームするフレームのエリアを選択する実例である。例えば、いくつかの実施形態では、システムは、ユーザがズーム機能を呼び出せるようにすることができる。次いで、システムは、ズームビューを維持するためにメディア資産に対して利用可能なコンテンツストリームの総数に基づいて、現在のビューから新しいビューに切り替える際に移行する一連のビューを決定することができる。例えば、システムは、ユーザがズームのレベルを選択できるようにすることができる。ズーム量は変えることができ、ズームによって明示されるエリア(例えば、左上又は右下)は、ユーザが選ぶことができる(例えば、マウスクリック、スクリーンタップ、音声コマンドなど)。これらのズームエリアは、複数のズーム倍率を含めて、いかなる方法でも構成可能であり、
図8に示されるように、映像のいかなる部分にも配置することができる。
【0084】
[065] しかし、一連のコンテンツストリームにおいて特徴とされるシーンの再生は任意の数の空間的配置で構成された複数のコンテンツ捕捉デバイスで捕捉されるため、従来のような、例えば右上への、ズーム操作では不十分であり得るが、その理由は、この対象のエリアは、ユーザが異なる視聴角度を選択すると必然的にシフトするためである。この点を考慮し、システムは、
図9A及び9Bに説明されるように、一連のビューを移行することができる。
【0085】
[066]
図9Aは、1つ又は複数の実施形態による、ビュー間で切り替える際に移行する一連のビューを決定する実例である。例えば、システムは、第1のユーザ入力を受信することができ、第1のユーザ入力により、メディア資産を提示する第1のビューが選択される。システムは、メディア資産が提示されている現在のビューを決定することができる。システムは、現在のビューから第1のビューに切り替える際に移行する一連のビューを決定することができる。システムは、一連のビューの各々に対応するコンテンツストリームを決定することができる。
【0086】
[067] 例えば、
図9Aは、移行900を示す。
図9Aの例では、システムは、シーン(例えば、3人が椅子に座っている)を撮影した円形に配置された16台のコンテンツ捕捉デバイスを使用して捕捉されたメディア資産を使用することができる。この事例では、ユーザは、はげ頭のミュージシャンが主に占めている左上のエリア(例えば、「映像1」)にズームすることを望んでいる。シーケンス内の次のコンテンツストリームが表示されると(例えば、
図11及び12で説明されるようにビューを移行している間)、ズームエリアは、徐々に移動し(例えば、「映像2」に示されるように)、ユーザインタフェースが「映像8」を表示する(例えば、円の180度に至る)頃には、ズームエリアは右上に位置し、もともと選択されていた人物の大まかな位置を維持している。
【0087】
[068] 例えば、システムは、第1のユーザ入力を受信することができ、第1のユーザ入力により、メディア資産を提示する第1のビューが選択される。第1のビューは、特定の視聴角度及び/又はズームレベルを含み得る。次いで、システムは、メディア資産が現在提示されている現在のビュー及びズームレベルを決定することができる。現在のビュー及びズームレベルに基づいて、システムは、現在のビューから第1のビューに切り替える際に移行する一連のビュー及び対応するズームレベルを決定することができる。システムは、ビュー間のシームレスな移行を保持するために、ビューと各ビューに対するズームレベルの両方を決定することができる。次いで、システムは、一連のビューの各々に対応するコンテンツストリームを決定することができる。その後、システムは、各ビューに対して決定されたズームレベルに基づいてズームレベルを自動的に調整しながら、ビューに対応するコンテンツストリームを通じて自動的に移行することができる。
【0088】
[069]
図9Bは移行900を示し、
図9Aの効果を達成するようにズームレベルを選択するために実行されている動作の例示的な説明を提供する。例えば、
図9Bの例では、システムは、シーン(例えば、3人が椅子に座っている)を撮影した円形に配置された48台のコンテンツ捕捉デバイスを使用して捕捉されたメディア資産を使用することができる。例を簡単にすることを想定し、この例では、ユーザは、左上、右上、左下、右下及び中央の5つのズーム領域から選択できると想定する。これらの動作は、追加の領域を有する例に対しても適用されること、及び/又は任意のズームエリア及び倍率でも適用されることに留意されたい。
【0089】
[070] 移行950に示されるように、システムは、第1のコンテンツ捕捉デバイスに対する第1のズームエリアの選択を受信する(例えば、ユーザ入力を介して)。示されるように、第1のズームは、「映像1」のフレームの56.25%をカバーしている。システムが後続の選択を受信すること(例えば、別のユーザ入力を介して)に応答して、システムは、第2のコンテンツ捕捉デバイス(例えば、コンテンツ捕捉デバイス1+N)に切り替え、ズームエリアは、第2のズームエリアにシフトされる。示されるように、第2のコンテンツ捕捉デバイスは、48台のコンテンツ捕捉デバイスの24番目のコンテンツ捕捉デバイスを表す。従って、ここでは、ビューは、「映像2」のシーンの右側に現れる。
【0090】
[071] この効果を達成するため、システムは、フレーム全体のパーセンテージに基づく計算を使用する。例えば、この事例では、1台のコンテンツ捕捉デバイスあたりの横方向(右方)のインクリメント量の計算は、1台のコンテンツ捕捉デバイスあたりのパーセンテージの差に相当する。この例では、システムは、計算が((100%-56.25%)/24)=1.8%であると決定する。
【0091】
[072] システムがコンテンツ捕捉デバイス24に達すると、ズーム位置は、「映像2」のようになる。回路を完了すると、インクリメントが1.8%反転し、その結果、コンテンツ捕捉デバイス48に達した際に、ズームは開始位置と同じ場所になる。システムは、「映像3」から「映像4」への移行に対して、このプロセスを繰り返すことができる。その一方で、「映像5」に示されるように、中央のズームエリアが選択された場合は、インクリメントは不要である。
【0092】
[073]
図10は、1つ又は複数の実施形態による、一連のビューのプレイリストの実例である。例えば、いくつかの実施形態では、システムは、プレイリストを受信することができ、プレイリストは、メディア資産を提示するための事前に選択されたビューを含む。次いで、システムは、プレイリストに基づいて、ビュー(及び表示用の対応するコンテンツストリーム)を決定することができる。例えば、「ディレクターズカット」フィーチャを提供するため、システムは、異なるタイムマークに対応する特定のビュー及び他の特性(例えば、拡大、ズームなどのレベル)を含むプレイリストをロードすることができる。
【0093】
[074] 例えば、システムは、プレイリスト1000をロードすることができる。プレイリスト1000により、システムは、これらに限定されないが、コンテンツストリームの選択の変化率、コンテンツストリームの選択方向(左/右)、ズーム機能性、一時停止/再生などを含む、コンテンツストリームフィーチャの既定の制御を使用することができる。
【0094】
[075] それに従って、ユーザは、いかなる制御も起動させることなく、システムの機能性を任意に閲覧することができる。例えば、システムは、ユーザが、彼ら自身の再生の好みを任意に記録し、他のビューアと共有するために彼ら自身の「ディレクターズカット」を作成できるようにすることができる。そのシステムは、多くの方法で達成することができ、その一例は、システムがロードして実行できるような特定の指示が書かれたテキストファイルを作成し、サーバ又はユーザのコンピュータ上に格納することである。例えば、システムは、一連のプレイリストを受信することができ、プレイリストは、メディア資産を提示するための事前に選択されたビューを含む。次いで、システムは、プレイリストに基づいて、提示するための現在のビューを決定することができる。いくつかの実施形態では、システムは、メディア資産の再生の間、ユーザによるコンテンツストリーム視聴をモニタすることができる。例えば、システムは、第1の複合コンテンツストリームにおいてユーザによって使用されたという表示で各フレームをタグ付けすることができる。システムは、タグ付けされたフレームを再生ファイルに集約することができる。その上、システムは、このファイルを自動的にコンパイルすること及び/又は他のユーザと自動的に共有すること(例えば、それにより、他のユーザは、ユーザと同じコンテンツストリーム選択を使用してメディア資産を視聴することができる)ができる。
【0095】
[076]
図11は、1つ又は複数の実施形態による、コンピュータネットワーク上で配信される複数のコンテンツストリームを特徴とするメディア資産の迅速なコンテンツ切り替えを提供する際に伴うステップのフローチャートを示す。例えば、システムは、迅速なコンテンツ切り替えを提供するために、プロセス1100(例えば、1つ又は複数のシステムコンポーネント上で実施されるような)を使用することができる。
【0096】
[077] ステップ1102では、プロセス1100は、複合コンテンツストリームを受信する(例えば、システム400(
図4)において説明される1つ又は複数のコンポーネントを使用して)。例えば、システムは、第1の複合フレーム及び第2の複合フレームに基づく第1の複合コンテンツストリームを受信することができる。例えば、第1の複合フレームは、第1のフレームセットに基づき、第1のフレームセットは、第1の多数のコンテンツストリームの各々の第1のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第1のフレームを含む。第2の複合フレームは、第2のフレームセットに基づき、第2のフレームセットは、第1の多数のコンテンツストリームの各々の第2のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第2のフレームを含む。第1の多数のコンテンツストリームは、メディア資産用であり、第1の多数のコンテンツストリームの各コンテンツストリームは、メディア資産のシーンのそれぞれのビューに対応する。
【0097】
[078] ステップ1104では、プロセス1100は、複合コンテンツストリームを表示用に処理する(例えば、システム400(
図4)において説明される1つ又は複数のコンポーネントを使用して)。例えば、システムは、ユーザデバイスの第1のユーザインタフェースにおいて、第1の複合コンテンツストリームを表示用に処理することができる。例えば、システムは、複合コンテンツストリームに含まれるビューの1つを選択し、そのビューに対応するフレームのみを生成することによって、複合コンテンツストリームを処理することができる。
【0098】
[079] 例えば、システムは、第1のユーザ入力を受信することができ、第1のユーザ入力により、メディア資産を提示する第1のビューが選択される。次いで、システムは、第1の多数のコンテンツストリームの第1のコンテンツストリームが第1のビューに対応すると決定することができる。第1の多数のコンテンツストリームの第1のコンテンツストリームが第1のビューに対応すると決定することに応答して、システムは、第1の複合コンテンツストリームの複合フレーム内の、第1のコンテンツストリームからのフレームに対応する場所を決定することができる。システムは、ユーザデバイスの第1のユーザインタフェースのディスプレイエリアに合うように場所をスケーリングすることができる。例えば、システムは、第1のコンテンツストリームからのフレームをユーザへの表示用に生成し、第1の多数のコンテンツストリームの他のコンテンツストリームからのフレームをユーザへの表示用に生成しないことによって、ユーザデバイスの第1のユーザインタフェースのディスプレイエリアに合うように場所をスケーリングすることができる。システムは、ユーザデバイスの第1のユーザインタフェースにおいて、ユーザデバイスの第1のユーザインタフェースのディスプレイエリアに合うようにスケーリングされた場所を表示用に生成することができる。
【0099】
[080]
図11のステップ又は説明は、この開示の他の任意の実施形態でも使用できることが企図される。それに加えて、
図11に関連して説明されるステップ及び説明は、この開示の目的を推進するために、代替の順番で又は並行して行うことができる。例えば、これらのステップの各々は、システム又は方法のラグを減らし、速度を上げるために、任意の順番で、並行して又は同時に実行することができる。その上、
図1~10及び12に関連して論じられるデバイス又は機器のいずれも、
図11のステップの1つ又は複数を実行するために使用できることに留意されたい。
【0100】
[081]
図12は、1つ又は複数の実施形態による、複数のコンテンツストリームを特徴とするメディア資産を生成する際に伴うステップのフローチャートを示す。例えば、システムは、迅速なコンテンツ切り替えを提供するために、プロセス1200(例えば、1つ又は複数のシステムコンポーネント上で実施されるような)を使用することができる。
【0101】
[082] ステップ1202では、プロセス1200は、メディア資産に対する第1の多数のコンテンツストリームを回収する(例えば、システム400(
図4)において説明される1つ又は複数のコンポーネントを使用して)。例えば、システムは、メディア資産に対する第1の多数のコンテンツストリームを回収することができ、第1の多数のコンテンツストリームの各コンテンツストリームは、メディア資産のシーンのそれぞれのビューに対応する。第1の多数のコンテンツストリームは、リモート場所に格納すること及び/又はリモート場所から転送することができる。いくつかの実施形態では、各コンテンツストリームは、対応するオーディオトラック(例えば、そのコンテンツストリームと同じコンテンツ捕捉デバイスで(例えば、マイクを介して)捕捉されたも有し得る。
【0102】
[083] ステップ1204では、プロセス1200は、第1のフレームセットを回収する(例えば、システム400(
図4)において説明される1つ又は複数のコンポーネントを使用して)。例えば、システムは、第1のフレームセットを回収することができ、第1のフレームセットは、第1の多数のコンテンツストリームの各々の第1のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第1のフレームを含む。
【0103】
[084] ステップ1206では、プロセス1200は、第2のフレームセットを回収する(例えば、システム400(
図4)において説明される1つ又は複数のコンポーネントを使用して)。例えば、システムは、第2のフレームセットを回収することができ、第2のフレームセットは、第1の多数のコンテンツストリームの各々の第2のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第2のフレームを含む。
【0104】
[085] ステップ1208では、プロセス1200は、第1のフレームセットに基づく第1の複合フレームを生成する(例えば、システム400(
図4)において説明される1つ又は複数のコンポーネントを使用して)。例えば、システムは、第1のフレームセットに基づく第1の複合フレームを生成することができる。例えば、第1の複合フレームは、第1のフレームセットの各フレームに対応するそれぞれの部分を含み得る(例えば、
図5に示されるように)。例えば、第1の多数のコンテンツストリームは、4つのコンテンツストリームを含み、第1の複合フレームは、第1の多数のコンテンツストリームの各々からの第1のフレームに対して等しい部分を含む。
【0105】
[086] ステップ1210では、プロセス1200は、第2のフレームセットに基づく第2の複合フレームを生成する(例えば、システム400(
図4)において説明される1つ又は複数のコンポーネントを使用して)。例えば、システムは、第2のフレームセットに基づく第2の複合フレームを生成することができる。例えば、第2の複合フレームは、第2のフレームセットの各フレームに対応するそれぞれの部分を含み得る(例えば、
図5に示されるように)。例えば、第2の多数のコンテンツストリームは、4つのコンテンツストリームを含み、第1の複合フレームは、第1の多数のコンテンツストリームの各々からの第1のフレームに対して等しい部分を含む。
【0106】
[087] ステップ1212では、プロセス1200は、第1の複合コンテンツストリームを生成する(例えば、システム400(
図4)において説明される1つ又は複数のコンポーネントを使用して)。例えば、システムは、第1の複合フレーム及び第2の複合フレームに基づく第1の複合コンテンツストリームを生成することができる。いくつかの実施形態では(例えば、
図6で説明されるように)、第1の複合コンテンツストリームは、メディア資産に対する第3の多数のコンテンツストリームを含み得、第3の多数のコンテンツストリームの各コンテンツストリームは、メディア資産のシーンのそれぞれのビューに対応し、第3の多数のコンテンツストリームの各コンテンツストリームは、第1の多数のコンテンツストリームの1つに付加される。
【0107】
[088]
図12のステップ又は説明は、この開示の他の任意の実施形態でも使用できることが企図される。それに加えて、
図12に関連して説明されるステップ及び説明は、この開示の目的を推進するために、代替の順番で又は並行して行うことができる。例えば、これらのステップの各々は、システム又は方法のラグを減らし、速度を上げるために、任意の順番で、並行して又は同時に実行することができる。その上、
図1~11に関連して論じられるデバイス又は機器のいずれも、
図12のステップの1つ又は複数を実行するために使用できることに留意されたい。
【0108】
[089]
図13は、1つ又は複数の実施形態による、大きなエリアにおける複数のコンテンツストリームを特徴とするメディア資産を生成するための例示的なシステムである。例えば、フットボールフィールド、アリーナ、スタジオ又は任意の屋内外の環境など、大きなエリアにわたる360度のカメラカバー範囲を達成するため、多数のカメラを、ポール上にマウントする、スタンド上にマウントする、垂木から吊るす又は他の手段で、フィールドの周囲に円形、楕円形又は他の何らかの配置で、同様の高さにマウントすることができ、各カメラは、
図13に示されるように、各カメラの視野がフィールドの大部分をカバーできるように、同じ又は同様の焦点距離のレンズを有する。
【0109】
[090] そのような事例では、システムは、映像フィード(例えば、コンテンツストリーム)を切り替えても、移行効果がスムーズ且つ連続的なままであるように、すべてのコンテンツ捕捉デバイスを同様の高さにマウントし、同じ又は同様の焦点距離を持たせることができる。しかし、上記で説明されるコンテンツ捕捉デバイスの設定では、各カメラからフィールドのほぼ全域が見える状態で、フィールドの周りをスムーズ且つ連続的に回転することになるが、この配置では、別の技術的なハードルが生じる。具体的には、フィールド全体をカバーするには、各カメラの焦点距離が必然的に短くならざるを得ず(例えば、角度が広いことを特徴とする)、個々の選手が小さすぎて効果的な視聴ができない。
【0110】
[091] この技術的なハードルを克服するため、システムは、ビューの特定のエリアに集中することができる。例えば、大きなフィールド又はアリーナでのアクションは、フィールドの比較的小さなセクションに集中する可能性が高いため、一度にフィールド全体を録画する価値はほとんどない。これは、複数のカメラを使用する従来のスポーツイベントの映像のカバー範囲では問題にはならないが、その理由は、これらのカメラは連係しておらず、各カメラは独立してフィールドの一部分にズームできるためである。
【0111】
[092] しかし、複数のコンテンツ捕捉デバイスの各コンテンツ捕捉デバイスのズーム設定や向きの間の一体性を維持し、上記で説明される迅速なコンテンツ切り替えの再生効果を達成するため、各コンテンツ捕捉デバイスは、連係した方法で、ズーム、スイベル及び/又はチルトを行うことができる。例えば、アクションに物理的に近いコンテンツ捕捉デバイスは短い焦点距離が必要であり、物理的に遠いコンテンツ捕捉デバイスは長い焦点距離が必要である。そのような事例では、各コンテンツ捕捉デバイスは、他とは独立した動きを必要とし得る。同様に、対象の場所(例えば、アクションが起こっているファイリングの隅)に応じて、コンテンツ捕捉デバイスは、それらの位置との関係で及び/又は他のコンテンツ捕捉デバイスから独立して、スイベル及び/又はチルトを行う必要があり得る。
【0112】
[093]
図14は、1つ又は複数の実施形態による、複数のコンテンツストリームを特徴とするメディア資産を生成するための例示的なコンテンツ捕捉デバイスを示す。例えば、
図14は、アクションを追い、コンテンツ捕捉デバイスのマトリクスに対して連係したズーム、パン及び/又はチルトを維持する(例えば、迅速なコンテンツ切り替えを提供する)ための機械的手段を示し得る。
【0113】
[094] 例えば、競技場、アリーナ、スポーツリング、映画スタジオ、又は任意の大きさの屋内若しくは屋外空間は、ピッチ、アリーナ又はスポーツリングの中心から同様の高さ及び同様の距離にマウントされたコンテンツ捕捉デバイスのマトリクスによって囲まれている場合がある(例えば、上記で説明されるように)。ユーザ入力に応じた再生時の上下制御を達成するため、追加のコンテンツ捕捉デバイスを互いの上方又は下方にマウントすることができる。いくつかの実施形態では、マトリクスの形状及び/又は高さは、円形、楕円形、又はユーザ(例えば、ディレクタ、ビューアなど)のニーズに対応した任意の形状であり得る。
【0114】
[095] 各コンテンツ捕捉デバイスは、X軸及びY軸における回転能力(パン及びチルト)を有するジンバル(又は他の機械的手段)上にマウントすることができる。各コンテンツ捕捉デバイスは、可変ズームレンズを採用することができる。ジンバルのパン及び/又はチルト設定や、コンテンツ捕捉デバイスの焦点距離は、リモート制御することができる(例えば、無線信号又は他の電磁信号を通じて)。その上、各コンテンツ捕捉デバイスのズーム、パン及び/又はチルト設定は、上記で説明されるように、自動的に決定することができる。
【0115】
[096]
図15は、1つ又は複数の実施形態よる、所望の視野を有する事前に選択されたセクションを特徴とする大きなエリアにおける、複数のコンテンツストリームを特徴とするメディア資産を生成するための例示的なシステムである。例えば、主なアクションが時間と共に環境内の様々な位置に移動するような大規模な設定でシーンを捕捉する際、システムは、注視点(COI)に対応する競技エリア内の単一のポイントのX、Y、Z座標を選択することにより、アクションを追うことができる。システムは、COI(例えば、COI 1502)に対応するように、各コンテンツ捕捉デバイスのズーム、パン及び/又はチルト設定を自動的に修正することができる。
【0116】
[097] 例えば、メディア資産(例えば、試合のライブ録画)が進行するにつれて、COIは、フィールドの異なるエリアに移動し得る。COIは、ユーザによって及び/又はアクションを追うように訓練された人工知能モデルによって追跡することができる。それに加えて又はその代替として、COIは、COIと相関する要素(例えば、選手のボール、衣服及び/又は機器に埋め込まれたRFID送信機の位置に基づき得る。要素は、無線信号又は他の電磁信号を通じて、COIのX軸、Y軸、Z軸をコンピュータプログラムに送信することができる。例えば、Z軸は、ゼロ(例えば、グラウンドレベル)であり得るが、キック又はスローの際にボールを追跡することが望ましい場合には変更することができる。
【0117】
[098]
図15に示されるように、システムは、COIを決定することができ、COIは、
図15では、丸で囲まれたエリアとしてハイライトされている。COIは、シーンにズームインした際にすべてのコンテンツ捕捉デバイスに対する所望の視野を表す事前に選択された任意の大きさのセクションであり得る。
【0118】
[099] ユーザがCOIを選択する際、ユーザは、参照用の視聴エリア(例えば、フィールド)の画像を使用して、ユーザインタフェースを介して(例えば、マウス又は同様の入力デバイスを用いて)、X、Y、(及びZ)座標をシステムに入力することができる。人工知能モデルの事例では、モデルは、COIを選択するために事前に訓練しておくことができる。RFIDの実施形態が使用される場合は、システムは、RFIDチップの実際の場所を使用してCOIを決定し、その座標をシステムに直接送信することができる。
【0119】
[0100] 各コンテンツ捕捉デバイスがCOIとのその関係を維持するようにチルト/パン及び焦点距離の設定を連係させるため、各コンテンツ捕捉デバイスは、COIからの距離に応じてその焦点距離を独自に調整し、カメラがCOIに直接向くようにジンバルのパン/チルトの向きを変えることができる。
【0120】
[0101] いくつかの実施形態では、システムは、COIに対する各コンテンツ捕捉デバイスの距離及び角度を返す一連の三角法計算を実行するために、各コンテンツ捕捉デバイスのX、Y、Z場所のデータベースを含み得る。2つの座標セット(例えば、コンテンツ捕捉デバイスとCOI)を統合することにより、システムは、コンテンツ捕捉デバイスがCOIに直接向けられ、COIの距離に比例した焦点距離を有するように、Xパン及びYチルトのジンバル設定並びに各コンテンツ捕捉デバイスの焦点距離を演算するアルゴリズムを使用することができる。
【0121】
[0102] また、システムは、自動更新を生成することもできる。例えば、無線手段又は他の電磁的手段を使用して、システムは、すべてのコンテンツ捕捉デバイスに固有の焦点距離をリアルタイムで送信することができ、コンテンツ捕捉デバイスは、そのズーム倍率を相応に調整することができる。同様に、X軸のパン設定及びY軸のチルト設定をジンバルに送信することができ、それにより、ジンバルの向きが調整される。
【0122】
[0103]
図15に示されるように、コンテンツ捕捉デバイス1504は、アクションに最も近く、その焦点距離が最も短い(角度が広い)ものになる。従って、コンテンツ捕捉デバイス1504は、その視野の中心がCOI 1502のX、Y、Z座標に直接位置合わせされるように、鋭角で下を向いているジンバルを有し得る。各ジンバルのチルトの向きは、COI 1502からのコンテンツ捕捉デバイスのカメラの距離に比例し得る(例えば、アクションに近いほど、下方チルトが大きくなる)。コンテンツ捕捉デバイス1504に直接隣接するコンテンツ捕捉デバイスは、わずかに長い焦点距離及びわずかに異なるチルト/パン設定を有し得るが、コンテンツ捕捉デバイス1506の設定は、例えば、著しく長い焦点距離、より極端な左方へのパン、及びそれほど極端ではないダウンチルトを特徴とし得る。
【0123】
[0104]
図16は、1つ又は複数の実施形態による、ズームの計算に関連する例示的な図を示す。例えば、コンテンツ捕捉デバイスの焦点距離(ズーム)設定は、焦点距離がコンテンツ捕捉デバイスとCOIとの間の物理的距離に正比例するように、三角関数を使用して計算することができる。三角法計算は、多くの方法で行うことができ、その一例は、フットボールフィールドが任意の大きさの等間隔に並んだ一連の正方形で表されている
図16に示されている。
【0124】
[0105] この事例では、COI(例えば、COI 1502(
図15))は、(4,4)のX-Y座標上に位置し、コンテンツ捕捉デバイスは、(0,5)のX-Y座標上に位置する。コンテンツ捕捉デバイスとCOI 1502との間の距離は、結果として得られる三角形の斜辺、すなわち、(4
2+1
2)
0.5=4.13によって計算することができる。システムは、この数値に、すべてのコンテンツ捕捉デバイスで同じである事前に定義された変数を乗じて、ズームレンズの焦点距離設定や、結果として得られる視野を定義することができる(例えば、変数が大きいほど、倍率が高くなる)。
【0125】
[0106] パン(例えば、X、Y軸)を計算するため、システムは、角度θを決定することができ、角度θは、COIがコンテンツ捕捉デバイスの視野の中心に来るように、ジンバルをパンすべき(左又は右に)角度を表す。システムは、(1/4)のSINを使用して、角度を決定することができる。
【0126】
[0107]
図17は、1つ又は複数の実施形態による、チルトの計算に関連する例示的な図を示す。タイル(例えば、X軸)を計算するため、システムは、COIに対するコンテンツ捕捉デバイスの高さ及び距離(例えば、データベースから回収したもの)を使用することができる。次いで、システムは、(4.31/5)(高さ分の距離)のTANに基づいて、下方チルト(θ)を計算することができる。その上、個々のコンテンツ捕捉デバイスが互いにかなりの至近距離に位置しているため、わずかな設定(互いに対する)の変更で、再生時にズームと向きの両方のスムーズな変動が生み出され得る。
【0127】
[0108]
図18は、1つ又は複数の実施形態による、複数のコンテンツストリームを特徴とするメディア資産のポストプロダクションに関連する例示的な図を示す。例えば、上記で説明されるような結果として得られるズーム倍率は、コンテンツ捕捉デバイスのズームレンズの光学能力によってのみ制限され、それは、一般的に10倍以上に達する。より小さなズームが望ましい状況(例えば、フットボールフィールドの代わりにボクシングリング)の場合、システムは、映像の品質を損なうことなく、ポストプロダクションデジタルズーム技法を展開することにより、高価なジンバルやズームレンズの使用を控えることができる。ポストプロダクションの間、COIは、各コンテンツ捕捉デバイスの既知の位置と統合する際、ユーザ、モデル及び/又はCOI座標によって、動的に選ぶことができる。次いで、システムは、切り取る映像部分を三角関数的に計算することができる。例えば、
図18に示されるように、最終的な360度の映像が1280×720画素(720HD)でストリーミング又は送信される予定であり、オリジナルの映像が5120×2880画素(5K)で録画されている場合、ポストプロダクションプロセスにおいて、各映像の所定の部分にデジタルズームし、映像のその部分を上記で説明される三角関数の解を使用して720HDでレンダリングすることができる。
【0128】
[0109] 本開示の上記で説明される実施形態は、限定ではなく、例示の目的で提示されたものであり、本開示は、後に続く特許請求の範囲によってのみ限定される。その上、ある実施形態において説明される特徴及び制限は、本明細書の他の任意の実施形態にも適用することができ、ある実施形態に関連するフローチャート又は例は、適切な方法で他の任意の実施形態と組み合わせることも、異なる順序で行うことも、並行して行うこともできることに留意されたい。それに加えて、本明細書で説明されるシステム及び方法は、リアルタイムで実行することができる。また、上記で説明されるシステム及び/又は方法は、他のシステム及び/又は方法に適用することも、他のシステム及び/又は方法に従って使用することもできることにも留意されたい。
【0129】
[0110] 本技法は、以下の列挙した実施形態を参照することにより、よりよく理解されるであろう。
1. メディア資産に対する第1の多数のコンテンツストリームを回収することであって、第1の多数のコンテンツストリームの各コンテンツストリームが、メディア資産のシーンのそれぞれのビューに対応することと、第1のフレームセットを回収することであって、第1のフレームセットが、第1の多数のコンテンツストリームの各々の第1のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第1のフレームを含むことと、第2のフレームセットを回収することであって、第2のフレームセットが、第1の多数のコンテンツストリームの各々の第2のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第2のフレームを含むことと、第1のフレームセットに基づく第1の複合フレームを生成することと、第2のフレームセットに基づく第2の複合フレームを生成することと、第1の複合フレーム及び第2の複合フレームに基づく第1の複合コンテンツストリームを生成することとを含む方法。
2. 第1の複合フレーム及び第2の複合フレームに基づく第1の複合コンテンツストリームを受信することであって、第1の複合フレームが、第1のフレームセットに基づき、第1のフレームセットが、第1の多数のコンテンツストリームの各々の第1のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第1のフレームを含み、第2の複合フレームが、第2のフレームセットに基づき、第2のフレームセットが、第1の多数のコンテンツストリームの各々の第2のタイムマークに対応する第1の多数のコンテンツストリームの各々からの第2のフレームを含み、第1の多数のコンテンツストリームが、メディア資産用であり、第1の多数のコンテンツストリームの各コンテンツストリームが、メディア資産のシーンのそれぞれのビューに対応することと、ユーザデバイスの第1のユーザインタフェースにおいて、第1の複合コンテンツストリームを表示用に処理することとを含む方法。
3. 第1のユーザ入力を受信することであって、第1のユーザ入力により、メディア資産を提示する第1のビューが選択されることと、第1の多数のコンテンツストリームの第1のコンテンツストリームが第1のビューに対応すると決定することと、第1の多数のコンテンツストリームの第1のコンテンツストリームが第1のビューに対応すると決定することに応答して、第1の複合コンテンツストリームの複合フレーム内の、第1のコンテンツストリームからのフレームに対応する場所を決定することと、ユーザデバイスの第1のユーザインタフェースのディスプレイエリアに合うように場所をスケーリングすることと、ユーザデバイスの第1のユーザインタフェースにおいて、ユーザデバイスの第1のユーザインタフェースのディスプレイエリアに合うようにスケーリングされた場所を表示用に生成することとをさらに含む、先行する実施形態のいずれかに記載の方法。
4. ユーザデバイスの第1のユーザインタフェースのディスプレイエリアに合うように場所をスケーリングすることが、第1のコンテンツストリームからのフレームをユーザへの表示用に生成し、第1の多数のコンテンツストリームの他のコンテンツストリームからのフレームをユーザへの表示用に生成しないことを含む、先行する実施形態のいずれかに記載の方法。
5. 第3の複合フレーム及び第4の複合フレームに基づく第2の複合コンテンツストリームを受信することであって、第3の複合フレームが、第3のフレームセットに基づき、第3のフレームセットが、第2の多数のコンテンツストリームの各々の第1のタイムマークに対応する第2の多数のコンテンツストリームの各々からの第1のフレームを含み、第2の複合フレームが、第2のフレームセットに基づき、第2のフレームセットが、第2の多数のコンテンツストリームの各々の第2のタイムマークに対応する第2の多数のコンテンツストリームの各々からの第2のフレームを含み、第1の多数のコンテンツストリームが、メディア資産用であり、第1の多数のコンテンツストリームの各コンテンツストリームが、メディア資産のシーンのそれぞれのビューに対応することと、ユーザデバイスの第2のユーザインタフェースにおいて、第2の複合コンテンツストリームを表示用に処理することであって、第2の複合コンテンツストリームが、第1の複合コンテンツストリームと同時に処理されることとをさらに含む、先行する実施形態のいずれかに記載の方法。
6. 第2のユーザ入力を受信することであって、第2のユーザ入力により、メディア資産を提示する第2のビューが選択されることと、第2の多数のコンテンツストリームの第2のコンテンツストリームが第2のビューに対応すると決定することと、第2の多数のコンテンツストリームの第2のコンテンツストリームが第2のビューに対応すると決定することに応答して、第1のユーザインタフェースを第2のユーザインタフェースに置き換えることとをさらに含む、先行する実施形態のいずれかに記載の方法。
7. 第1の多数のコンテンツストリームが、4つのコンテンツストリームを含み、第1の複合フレームが、第1の多数のコンテンツストリームの各々からの第1のフレームに対して等しい部分を含む、先行する実施形態のいずれかに記載の方法。
8. 第1の複合コンテンツストリームが、メディア資産用の第3の多数のコンテンツストリームを含み、第3の多数のコンテンツストリームの各コンテンツストリームが、メディア資産のシーンのそれぞれのビューに対応し、第3の多数のコンテンツストリームの各コンテンツストリームが、第1の多数のコンテンツストリームの1つに付加される、先行する実施形態のいずれかに記載の方法。
9. プレイリストを受信することであって、プレイリストが、メディア資産を提示する事前に選択されたビューを含むことと、プレイリストに基づいて、提示するための現在のビューを決定することとをさらに含む、先行する実施形態のいずれかに記載の方法。
10. 第1のユーザ入力を受信することであって、第1のユーザ入力により、メディア資産を提示する第1のビューが選択されることと、メディア資産が現在提示されている現在のビューを決定することと、現在のビューから第1のビューに切り替える際に移行する一連のビューを決定することと、一連のビューの各々に対応するコンテンツストリームを決定することとをさらに含む、先行する実施形態のいずれかに記載の方法。
11. 現在のビューから第1のビューに切り替える際に移行する一連のビューが、メディア資産に対して利用可能なコンテンツストリームの総数に基づく、先行する実施形態のいずれかに記載の方法。
12. 命令を格納する有形の非一時的機械可読媒体であって、命令が、データ処理装置によって実行されると、実施形態1~11のいずれかのものを含む動作をデータ処理装置に実行させる、非一時的機械可読媒体。
13. 1つ又は複数のプロセッサと、命令を格納するメモリとを含む、システムであって、命令が、プロセッサによって実行されると、実施形態1~11のいずれかのものを含む動作をプロセッサに行わせる、システム。
14. 実施形態1~11のいずれかを実行するための手段を含むシステム。
【国際調査報告】