特許 7249946 ライブビデオ放送の制作用のメディアコンテンツのキャプチャを制御するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-23

(45)【発行日】2023-03-31

(54)【発明の名称】ライブビデオ放送の制作用のメディアコンテンツのキャプチャを制御するシステム及び方法

(51)【国際特許分類】

   H04N 21/238 20110101AFI20230324BHJP

   H04N 21/8547 20110101ALI20230324BHJP

   H04H 60/07 20080101ALI20230324BHJP

   H04N 5/262 20060101ALI20230324BHJP

【ＦＩ】

H04N21/238

H04N21/8547

H04H60/07

H04N5/262 050

【請求項の数】 17

(21)【出願番号】P 2019540522

(86)(22)【出願日】2018-01-27

(65)【公表番号】

(43)【公表日】2020-03-26

(86)【国際出願番号】 EP2018052023

(87)【国際公開番号】W WO2018138300

(87)【国際公開日】2018-08-02

【審査請求日】2021-01-22

(31)【優先権主張番号】62/451,477

(32)【優先日】2017-01-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/880,988

(32)【優先日】2018-01-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511006720

【氏名又は名称】ジーブイビービー ホールディングス エス．エイ．アール．エル．

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(72)【発明者】

【氏名】マイヤー チャールズ エス．

【審査官】大西 宏

(56)【参考文献】

【文献】特開平０７－３２７２２４（ＪＰ，Ａ）

【文献】特表２０１３－５２０７２３（ＪＰ，Ａ）

【文献】特表２０１４－５０２０７６（ＪＰ，Ａ）

【文献】特表２０１６－５１９５４６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０３２０１９６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０３２０６６２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｈ０４Ｈ ４０／９０ －６０／９８

Ｈ０４Ｎ ５／２６２－ ５／２８

(57)【特許請求の範囲】

【請求項1】

ライブビデオ放送の制作用のメディアコンテンツのキャプチャを制御するシステムであって、
ライブイベントのメディアコンテンツをキャプチャし、且つ、前記キャプチャされたメディアコンテンツの個々のメディアストリームを生成するように、構成された複数のカメラと、
前記複数のカメラに個々に結合されると共に、前記キャプチャされたメディアコンテンツ用の個々の高速メディアプロキシを生成するべく、第１の分解能において前記複数のメディアストリームをエンコードするように構成された、複数の放送制御エンコーダと、
前記ライブイベントから離れた場所にあり、前記複数の放送制御エンコーダから前記高速メディアプロキシを受け取り、且つ、マルチビューインターフェイス上において、前記生成されたメディアストリームに対応する前記第１の分解能におけるプロキシメディアコンテンツを表示するように構成された制御センタと、
前記マルチビューインターフェイスに結合されると共に、前記マルチビューインターフェイスを介してユーザー入力から生成された少なくとも１つの制御命令を受け取り、且つ、前記メディアコンテンツのキャプチャを制御するべく、前記複数のカメラの少なくとも１つに少なくとも１つの前記制御命令を送信するように構成された、ビデオスイッチコントローラと、
少なくとも１つの前記制御命令によって制御された少なくとも１つの前記カメラによって生成された個々の前記メディアストリームを含む、前記複数のカメラからの複数のビデオ放送メディアストリームをエンコードするように構成された少なくとも１つの放送制作エンコーダであって、前記複数のビデオ放送メディアストリームは、前記高速メディアプロキシに使用される前記第１の分解能よりも高い第２の分解能においてエンコードされている、少なくとも１つの放送制作エンコーダと、
少なくとも１つの前記放送制作エンコーダから前記複数のビデオ放送メディアストリームを受け取ると共に、１つのライブビデオ放送制作物を生成するように、構成された、時間アライメント及び処理コンポーネントと、
を有し、
前記制御センタは、前記複数のビデオ放送メディアストリーム間で切り替えるための制御決定として前記時間アライメント及び処理コンポーネントに送信され、タイムスタンプを含む１つの制御シーケンスを生成するように構成されたビデオ制作機器を含み、
前記時間アライメント及び処理コンポーネントは、前記制御センタの前記ビデオ制作機器から受信した前記制御シーケンスの前記制御決定を適用し、前記複数のビデオ放送メディアストリーム間で切り替えて前記ライブビデオ放送制作用の１つのライブビデオストリームをリモートで制作するために、受信した前記複数のビデオ放送メディアストリームに対する前記タイムスタンプに基づいて前記制御決定を相互にアライメントするように構成されている、
システム。

【請求項2】

前記複数の放送制御エンコーダは、前記マルチビューインターフェイスが、実行されたオブジェクトに基づいた分析に基づいて、前記ライブイベントにおいて検出されたオブジェクトの空間的向き及び相対的な動きに基づいたアバターとして、前記キャプチャされたメディアコンテンツを表示するように、個々の前記高速メディアプロキシを生成するべく前記キャプチャされたメディアコンテンツ内においてオブジェクトに基づいた分析を実行するように構成されている、請求項１に記載のシステム。

【請求項3】

前記複数の放送制御エンコーダは、前記キャプチャされたメディアコンテンツ用の個々の前記高速メディアプロキシを生成するべく、ＩＰ上における送信のために、前記複数のメディアストリームをデータパケットにエンコードするように構成されており、且つ、
少なくとも１つの前記放送制作エンコーダは、高精細フォーマット及び超高精細フォーマットのうちの１つである前記第２の分解能において前記ビデオ放送メディアストリームをエンコードするように構成されている、請求項１に記載のシステム。

【請求項4】

前記時間アライメント及び処理コンポーネントは、ビデオ放送制作トラック及びクラウド演算環境のうちの１つにおいて配置されている、請求項１に記載のシステム。

【請求項5】

前記高速メディアプロキシは、前記マルチビューインターフェイスが、前記複数のカメラの前記少なくとも１つによる前記メディアコンテンツのキャプチャを制御するための少なくとも１つの前記制御命令を生成する際に、前記ライブビデオ放送制作のプロデューサ用の仮想現実環境を生成するべく構成されるように、生成され、且つ、前記複数のカメラによるメディアコンテンツのキャプチャから２００ミリ秒以内において前記制御センタに送信されている、請求項１に記載のシステム。

【請求項6】

ライブビデオ放送の制作においてメディアコンテンツのキャプチャを制御するべく遅延時間を極小化するシステムであって、
ライブイベントのメディアコンテンツをキャプチャし、且つ、前記キャプチャされたメディアコンテンツの個々のメディアストリームを生成するように構成された複数のカメラと、
前記複数のカメラに結合されると共に、前記キャプチャされたメディアコンテンツ用の個々の高速メディアストリームを生成するべく第１のエンコーディングフォーマットにおいて前記複数のメディアストリームをエンコードするように構成された、少なくとも１つの高速エンコーダと、
前記ライブイベントから離れた場所にあり、前記高速メディアストリームを受け取り、且つ、ユーザーインターフェイス上において前記第１のエンコーディングフォーマットに従って前記キャプチャされたメディアコンテンツを表示するように構成された制御センタと、
前記ユーザーインターフェイスから少なくとも１つの制御命令を受け取ると共に、前記メディアコンテンツのキャプチャを制御するための少なくとも１つの前記制御命令を前記複数のカメラのうちの少なくとも１つに送信するように、構成されたビデオスイッチコントローラと、
前記第１のエンコーディングフォーマットとは異なる、且つ、ビデオ放送制作のために構成された、第２のエンコーディングフォーマットにおいて、前記複数のカメラによって生成された個々の前記メディアストリームを複数のビデオ放送メディアストリームとしてエンコードするように構成された少なくとも１つの放送制作エンコーダと、
前記第２のエンコーディングフォーマットにおける少なくとも１つの前記放送制作エンコーダからの前記エンコード済みのメディアストリームを受け取り、且つ、前記エンコード済みのメディアストリームに基づいて１つのライブビデオ放送制作物を生成するように構成された時間アライメント及び処理コンポーネントと、
を有し、
前記制御センタは、前記複数のエンコード済みのメディアストリーム間で切り替えるための制御決定として前記時間アライメント及び処理コンポーネントに送信され、タイムスタンプを含む１つの制御シーケンスを生成するように構成されたビデオ制作機器を含み、
前記時間アライメント及び処理コンポーネントは、前記制御センタの前記ビデオ制作機器から受信した前記制御シーケンスの前記制御決定を適用し、前記複数のビデオ放送メディアストリーム間で切り替えて前記ライブビデオ放送制作用の１つのライブビデオストリームをリモートで制作するために、受信した前記複数のビデオ放送メディアストリームに対する前記タイムスタンプに基づいて前記制御決定を相互にアライメントするように構成されている、
システム。

【請求項7】

少なくとも１つの前記高速エンコーダが、第１の分解能において前記第１のエンコーディングフォーマットにおいて前記複数のメディアストリームをエンコードし、且つ、前記第１のエンコーディングフォーマットにおける前記複数のメディアストリームをＩＰ上においてデータパケットとして送信し、且つ、
少なくとも１つの前記放送制作エンコーダは、前記第１の分解能よりも高い分解能である第２の分解能における、且つ、高精細分解能及び超高精細分解能のうちの１つにおける前記ライブビデオ放送制作のために構成された、前記第２のエンコーディングフォーマットにおいて前記複数のビデオ放送メディアストリームをエンコードするように構成されている、請求項６に記載のシステム。

【請求項8】

少なくとも１つの前記放送制作エンコーダは、実行されたオブジェクトに基づいた分析に基づいて、前記ユーザーインターフェイスが、前記キャプチャされたメディアコンテンツ内の検出されたオブジェクトの空間的向き及び相対的な動きに基づいたアバターとして、前記キャプチャされたメディアコンテンツを表示するように、前記キャプチャされたメディアコンテンツの個々の前記複数のビデオ放送メディアストリームを生成するべく、前記キャプチャされたメディアコンテンツ内においてオブジェクトに基づいた分析を実行するように更に構成されている、請求項６に記載のシステム。

【請求項9】

前記時間アライメント及び処理コンポーネントは、ビデオ放送制作トラック及びクラウド演算環境の１つにおいて配置されている、請求項６に記載のシステム。

【請求項10】

前記高速メディアストリームは、前記複数のカメラの前記少なくとも１つによる前記メディアコンテンツのキャプチャを制御するための少なくとも１つの前記制御命令を生成する際に、前記ユーザーインターフェイスが、前記ライブビデオ放送制作のプロデューサ用の仮想現実環境を生成するべく構成されるように、生成され、且つ、前記複数のカメラによるメディアコンテンツキャプチャから２００ミリ秒以内において前記制御センタに送信されている、請求項６に記載のシステム。

【請求項11】

ライブビデオ放送の制作においてメディアコンテンツのキャプチャを制御するべく遅延時間を極小化するシステムであって、
少なくとも１つのメディアコンテンツ生成装置からビデオ制作レシーバまでの送信時間を極小化するように構成された第１のエンコーディングフォーマットにおいてエンコードされたライブメディアコンテンツを含む、少なくとも１つのメディアコンテンツ生成装置からの少なくとも１つのメディアコンテンツストリームを受け取るように構成されたビデオ制作レシーバと、
前記第１のエンコーディングフォーマットに従って少なくとも１つの前記メディアコンテンツストリームの前記キャプチャされたメディアコンテンツを表示するように構成されたマルチビューインターフェイスと、
個々の前記メディアコンテンツをキャプチャする少なくとも１つの前記メディアコンテンツ生成装置の動作を変更するべく、前記マルチビューインターフェイスに対する少なくとも１つの入力に基づいて、少なくとも１つの制御命令を生成するように構成されたビデオ制作コントローラと、
個々の前記メディアコンテンツをキャプチャする前記動作を変更するべく、少なくとも１つの前記メディアコンテンツ生成装置に対して前記生成された少なくとも１つの制御命令を送信するように構成されたコンテンツキャプチャコントローラと、
を有し、
前記ビデオ制作コントローラは、少なくとも１つの前記メディアコンテンツ生成装置によってキャプチャされると共に、前記第１のエンコーディングフォーマットとは異なる、且つ、ビデオ放送制作のために構成された、第２のエンコーディングフォーマットにおいてエンコードされた複数のビデオ放送メディアストリームとしてエンコードされた前記メディアコンテンツを使用することにより、ライブビデオストリームの制作を制御するように、更に構成されており、
制御センタは、前記第２のエンコーディングフォーマットでエンコード済みの複数のメディアストリームを切り替えるための制御決定として時間アライメント及び処理コンポーネントに送信され、タイムスタンプを含む１つの制御シーケンスを生成するように構成されたビデオ制作機器を含んでおり、その結果、前記時間アライメント及び処理コンポーネントは、前記制御シーケンスの前記制御決定を適用し、前記複数のビデオ放送メディアストリーム間で切り替えてライブビデオ放送制作物をリモートで制作するために、前記第２のエンコーディングフォーマットでエンコード済みの前記複数のメディアストリームに対する前記タイムスタンプに基づいて前記制御決定を相互にアライメントする、
システム。

【請求項12】

少なくとも１つの前記メディアコンテンツ生成装置に結合されると共に、前記ビデオ制作レシーバに少なくとも１つの前記メディアコンテンツストリームとして送信される、前記ライブメディアコンテンツを前記第１のエンコーディングフォーマットにおいてエンコードするように構成された、少なくとも１つの高速エンコーダを更に有する、請求項１１に記載のシステム。

【請求項13】

少なくとも１つの前記メディアコンテンツ生成装置に結合されると共に、前記第１のエンコーディングフォーマットとは異なる、且つ、ビデオ放送制作のために構成された、前記第２のエンコーディングフォーマットにおいて前記キャプチャされたライブメディアコンテンツをエンコードするように構成された、少なくとも１つの放送制作エンコーダを更に有する、請求項１２に記載のシステム。

【請求項14】

少なくとも１つの前記高速エンコーダは、第１の分解能において前記第１のエンコーディングフォーマットにおいて少なくとも１つの前記メディアコンテンツストリームをエンコードし、且つ、前記第１のエンコーディングフォーマットにおける少なくとも１つの前記メディアコンテンツストリームをＩＰ上においてデータパケットとして前記ビデオ制作レシーバに送信し、且つ、
少なくとも１つの前記放送制作エンコーダは、前記第１の分解能よりも高い第２の分解能における、且つ、高精細分解能及び超高精細分解能のうちの１つにおける前記ライブビデオ放送制作のために構成された、前記第２のエンコーディングフォーマットにおいて前記キャプチャされたメディアコンテンツをエンコードするように構成されている、請求項１３に記載のシステム。

【請求項15】

少なくとも１つの前記放送制作エンコーダは、前記マルチビューインターフェイスが、実行されたオブジェクトに基づいた分析に基づいて、前記キャプチャされたメディアコンテンツ内の検出されたオブジェクトの空間的向き及び相対的な動きに基づいた少なくとも１つのアバターにより、前記キャプチャされたメディアコンテンツを表示するように、前記キャプチャされたメディアコンテンツの少なくとも１つの前記メディアコンテンツストリームを生成するべく、前記キャプチャされたメディアコンテンツ内においてオブジェクトに基づいた分析を実行するように更に構成されている、請求項１３に記載のシステム。

【請求項16】

前記時間アライメント及び処理コンポーネントは、ビデオ放送制作トラック及びクラウド演算環境のうちの１つにおいて配置されている、請求項１１に記載のシステム。

【請求項17】

少なくとも１つの前記メディアコンテンツストリームは、少なくとも１つの前記メディアコンテンツ生成装置による前記メディアコンテンツのキャプチャを制御するための少なくとも１つの前記制御命令を生成する際に、前記マルチビューインターフェイスが、前記ビデオ放送制作のプロデューサ用の仮想現実環境を生成するべく構成されるように、生成され、且つ、少なくとも１つの前記メディアコンテンツ生成装置による前記メディアコンテンツのキャプチャから２００ミリ秒以内において前記ビデオ制作レシーバに送信されている、請求項１１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１７年１月２７日付けで出願されると共に「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｂｅｎｄｉｎｇ Ｔｉｍｅ ｏｆ Ｌｉｖｅ Ｐｒｏｄｕｃｔｉｏｎ」と題する米国仮特許出願第６２／４５１，４７７号に対する優先権を主張する、２０１８年１月２６日付けで出願された米国特許出願第１５／８８０，９８８号に対する優先権を主張するものであり、これらのそれぞれの特許出願の全内容は、参照により、その全体が本明細書に援用される。

【0002】

本開示は、一般に、ビデオ及びメディアの制作に関し、且つ、更に詳しくは、ライブ制作の時間を曲げるシステム及び方法に関する。

【背景技術】

【0003】

ライブテレビ放送は、通常、ライブシーン（例えば、スポーツ開催地やニュース放送など）からのメディアコンテンツをキャプチャするステップと、キャプチャされたコンテンツをビデオ及びオーディオ信号が制作スイッチャによって管理されている離れた制作施設に送信するステップと、次いで、分散ネットワークへの搬送のために信号をエンコードするステップと、を伴っている。このプロセスにおけるそれぞれのステップは、特定レベルの遅延を伴っており、その結果、これは、現在のライブテレビ放送が、実際には、「ライブ」又は「リアルタイム」とはかけ離れていることを意味している。例えば、通常の送信遅延時間は、数秒から数十秒の範囲を取ることが可能であり、これは、メディアコンテンツがキャプチャされた時点から、番組が、送信され、且つ、最終的に末端消費者によって視聴される時点まで、の間の時間遅延である。更には、この遅延は、可変となりうる。例えば、一例として、末端消費者がタブレット上において番組を視聴している場合には、消費者がセットトップボックス（「ＳＴＢ：Ｓｅｔ－Ｔｏｐ Ｂｏｘ」）によって供給されているモニタ上においてその同一の番組を視聴している場合とは異なる遅延が存在することになり、或いは、ＡＴＳＣ（「Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ」）送信を使用して無線信号によって供給されているモニタからの場合にも、更に異なることになる。

【0004】

図１は、ライブテレビ放送を制作している従来のシステムのブロック図を示している。図示のように、システムは、開催地１０（例えば、スポーツ開催地）からメディアコンテンツをキャプチャする複数のカメラ２１Ａ及び２１Ｂを含むことが可能であり（２つのカメラが示されているが、カメラによって生成される複数のメディアストリームが存在しうる）、且つ、メディアストリーム２２Ａ及び２２Ｂをローカルエンコーダ３０に提供することができる。そして、エンコーダ３０は、メディアストリームをエンコードし、且つ、例えば、衛星通信を使用することにより、コントリビューションフィードとして、離れた制作施設３１にメディアを提供する。制作施設３１は、通常、制作スイッチ、コントローラ、プロセッサ、タイミングモジュール、コーデック、並びに、テレビ放送の制作のために到来するメディアストリームを処理するべく提供されたその他の機器、から構成されうるビデオ制作機器１１を含むことになる。更には、１つ又は複数のビデオスイッチャを制御するべく、且つ、ビデオ制作のための編集的且つ芸術的決定を下すべく、離れた制作施設３１において、テクニカルディレクタ１２を配置することもできる。

【0005】

この構成に伴う１つの大きな技術的問題点は、離れた制作施設にコントリビューションフィードを送信するべく開催地において利用可能な帯域幅が限られている、という点にある。例えば、多くの開催地においては、利用可能な帯域幅は、例えば、わずかに１ＧｂＥでありうる。この結果、放送の制作は、必然的に、カメラ２１Ａ及び２２Ｂによって提供されうる最小数のメディアストリームに制限されることになり、且つ、場合によっては、施設に送信されうるビデオ制作物の分解能が制限される場合もある。例えば、エンコード済みの高精細（ＨＤ：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）信号は、過大な帯域幅を消費する場合があり、且つ、受け入れ不能なレイテンシー期間を生成する場合がある。従って、図１に示されている放送システムは、ライブ放送用のビデオ制作能力が極めて制限されており、且つ、多くのカメラ及び／又は到来するメディアストリームを処理することができない。

【0006】

図２は、従来のライブテレビ放送を制作している別のシステムのブロック図を示している。非常に簡単に表現すれば、スーパーボールやオリンピックのような大規模なイベントの場合には、テレビネットワークは、例えば、制作トラック１０を使用することにより、ビデオ制作機器１１とテクニカルディレクタ１２の両方を開催地１０の場所に移動させることができる。但し、この構成も、ライブビデオの制作の観点においては、理想的なものではない。例えば、テクニカルディレクタ１２を含む制作クルーの大きな部分を開催地に移動させることは、困難であるか、或いは、費用を所要する。更には、テクニカルディレクタ１２は、トラック１０の限られた小さな空間内において、様々なカメラからの多くのメディアストリームを観察することに、且つ、従って、ビデオスイッチャを管理／制御することに、困難を有しうる。

【0007】

いずれの従来システムにおいても、テクニカルディレクタ１２は、通常、ビデオスイッチャ（並びに、関連する装置）を操作することになり、且つ、制作クルーのチーフとして機能することにもなる。ビデオスイッチャを使用することにより、テクニカルディレクタ１２は、ビデオソースを切り替えることになり、且つ、更には、ライブデジタルエフェクト及びトランジションを実行することになり、且つ、予め記録された資料、グラフィクス、及びタイトルを挿入することになる。ライブビデオ放送の制作においては、テクニカルディレクタ１２は、制作を調整しなければならず、且つ、迅速な決定を下さなくてはならない。従って、図１に示されている構成を再度参照すれば、テクニカルディレクタ１２が、離れた制作施設３１の制作制御室内に位置している場合には、テクニカルディレクタ１２は、しばしば、シェーディングやビデオキャプチャ角度などのような、メディアコンテンツのキャプチャを調節するべく、カメラ２１Ａ及び／又は２１Ｂにフィードバックされる制御決定３２を発行することになる。但し、この制御プロセスは、ビデオ放送における更なる時間遅延を生成する。

【0008】

具体的には、図３は、ライブテレビ放送を制作する従来のシステムのタイミング図を示している。時間は、Ｘ軸に沿って示されており、時間における開始点は、リアルタイムイベントとなっているが、これは、例えば、開催地１０におけるスポーツイベントに実際に出席している人物の観点におけるものとなろう。小さいものではあるが、場合によっては、光がカメラレンズによってキャプチャされ、且つ、ピクセルデータが出力される際において、第１の遅延Ｔ_１が存在することになる。更には、更に示されているように、プロセスのそれぞれのステージにおいて遅延が存在している。例えば、１つ又は複数のカメラからエンコーダ３０までの第２の遅延Ｔ_２と、離れた制作施設３１において信号がデコードされる際の第３の遅延Ｔ_３と、その後に、それぞれのメディアストリームをテクニカルディレクタに提示しうる前の第４の遅延Ｔ_４と、が存在している。それぞれの遅延は、同一であるものとして示されているが、遅延は、帯域幅の制約、並びに、装置の処理、ネットワークリンクの導体インピーダンス、及びこれらに類似したものなどの、その他の伝播遅延に従って、変化することを理解されたい。

【0009】

上述のように、テクニカルディレクタ１２は、次いで、開催地１０におけるローカルな機器（例えば、カメラ２１Ａ及び２１Ｂ）に戻る制御コマンドを発行するべく、ビデオスイッチャを操作することができる。但し、これらのコマンド信号も、装置にフィードバックされる際に、有効な遅延Ｔ_{ｃｏｎｔｒｏｌ}を経験することになる。更に示されているように、制作、制作施設におけるエンコード、（例えば、ＳＴＢによる）デコード、及び末端消費者装置による最終的な再生という、それぞれの後続のステップも、それぞれ、更なる遅延を経験する。但し、時間遅延Ｔ_{ｃｏｎｔｒｏｌ}は、消費の観点においては、受け入れ不能であり、その理由は、テクニカルディレクタの編集的決定が、実際のライブイベントに（リアルタイムで、或いは、これに近い状態で）基づいたものとならず、且つ、遅延したイベントの画像を観察した後のものにしかならないためである。これは、不確実性と、イベントにおける特定のアクションの喪失と、を結果的にもたらし、その結果、末端消費者の経験が損なわれることになる。

【発明の概要】

【発明が解決しようとする課題】

【0010】

従って、ライブイベントがリアルタイムで制作されている、という幻想が末端消費者に提供されるように、仮想化技法を活用したライブビデオ放送環境が必要とされている。

【課題を解決するための手段】

【0011】

従って、本明細書においては、ライブ制作の時間を「曲げる」システム及び方法が開示されている。更に詳しくは、本明細書において開示されているシステム及び方法は、発生点における時間シフトを活用しており、この場合に、カメラは、リアルタイムでメディアをキャプチャしているが、すべてのメディアストリームが、可能な限り短い、且つ、好ましくは、数フレームのみの、遅延を伴って、創造的才能（例えば、テクニカルディレクタ）に対してコヒーレントな方式で提示されている。

【0012】

事実上、開示されているシステム及び方法によって提供される制作環境は、ライブのプロキシ（ｐｒｏｘｙ：代用品）であるが、ライブとして知覚されるほどに、リアルタイムに近接している。更には、ビデオ最適化機器及びリースされたデータサービスの使用により、非常に短い遅延を伴って、プロキシ環境を生成する能力が提供されており、且つ、多くの異なるイベントにより、且つ、多くの異なる時点において、再使用される、ビデオ制作に最適化されたデータセンタの能力も、提供されている。プロキシ環境を使用することにより、一般的なデータセンタにおいて、最終的なライブビデオ放送の制作を更なる遅延を伴って実行することが可能となり、これにより、費用の節約が可能となると共に、相対的に幅広の規模のリソースの提供が可能となる。更には、開示されているシステム及び方法は、最終的な送信を最終的な制作と同一の場所に配置するべく、実装されており、これにより、クラウドストリーミング配信が可能となっている。

【0013】

例示用の一実施形態においては、開示されているシステムは、事実上、真のクラウドに基づいたデータセンタを提供しており、このデータセンタは、結果的に、プロキシをオリジナルの制作制御センタに戻すように提供することが可能であり、これは、折り返した状態の、通常の放送又は衛星と等価となろう。衛星のケースにおいては、これは、相対的に高速となる一方で、タワーのケースにおいては、折り返し遅延は、相対的に低速となるが、わずかに数百ミリ秒となろう。従って、新しい、低レイテンシーのストリーミング技術を使用することにより、制作エンジンは、プライベートなクラウドのみではなく、真のクラウド内において存在することができるようになる。この結果、例示用のシステム及び方法によれば、かつての「オンサイト制作」制御室（例えば、制作エンジンと制御室の両方として機能する上述の制作トラック）が、制御室よりも長い遅延にも拘らず、プロキシ及び最小のレイテンシーによって動作する仮想化制御室及び高品質メディアによって動作する仮想化制作エンジンの両方になることができる。従って、オリジナルのコンテンツの供給及び制御決定の応答性と関連する遅延が受け入れ可能である場合には、制御室又は制作エンジンを任意の場所に配置することができる。

【0014】

従って、本明細書において開示されている例示用のシステムは、ライブビデオ放送の制作のために提供されている。一態様においては、システムは、開催地においてライブイベントのメディアコンテンツをキャプチャすると共に個々のメディアストリームを生成するように構成された複数のカメラを含む。更には、少なくとも１つのエンコーダが、複数のカメラに結合されることが可能であり、且つ、オブジェクトに基づいた分析を使用することにより、複数のメディアストリームをエンコードするように、且つ、受け取られた複数のメディアストリーム用の個々の高速メディアプロキシを生成するように、構成されている。これに加えて、システムは、高速メディアプロキシを受け取るように構成された制御センタを含むことができる。制御センタは、それぞれ、複数のカメラによって生成されたメディアストリームに対応するプロキシコンテンツを表示するように構成されたマルチビューインターフェイスと、マルチビューインターフェイスに結合されると共にライブビデオ放送制作のテクニカルディレクタから少なくとも１つの制御命令を受け取るように構成されたビデオスイッチャコントローラと、を含むことが可能であり、この場合に、少なくとも１つの制御命令は、その動作を制御するべく、複数のカメラ又はカメラ操作者のうちの少なくとも１つに送信される。最後に、システムは、少なくとも１つのエンコーダからのメディア信号及び制御センタからのアライメントコマンドを受け取るように構成された時間アライメント及び処理コンポーネントを含むビデオ制作機器を含むことができる。この実施形態においては、ビデオ制作機器は、複数の末端消費者装置への送信用のライブビデオ放送を生成するべく、その内部において含まれているタイムスタンプと、制御センタからのタイムアライメントされたコマンドと、を使用することにより、複数の受け取られたメディア信号をアライメントするように構成されている。

【0015】

別の例示用の態様においては、ライブビデオ放送の制作においてメディアコンテンツのキャプチャを制御するべく遅延時間を極小化するシステムが提供されている。システムは、カメラによってキャプチャされると共に第１のエンコーディングフォーマットにおいてエンコードされたライブメディアコンテンツを含む、１つ又は複数のカメラからのメディアコンテンツストリームを受け取るビデオ制作レシーバを含む。更には、マルチビューインターフェイスが、メディアコンテンツを表示し、且つ、ビデオ制作コントローラが、個々のメディアコンテンツをキャプチャしているカメラの動作を変更するべく、インターフェイスへの入力に基づいて、制御命令を生成している。個々のメディアコンテンツをキャプチャする動作を変更するべく、生成された制御命令をカメラに送信するカメラコントローラが含まれている。更には、ビデオの制作においては、カメラからキャプチャされると共に、第１のエンコーディングフォーマットとは異なる第２のエンコーディングフォーマットにおいてエンコードされた、メディアコンテンツを使用することにより、ビデオ放送の制作用のライブビデオストリームの制作を制御している。

【0016】

例示用の態様に関する上述の簡単な概要は、本開示の基本的な理解を提供するべく機能するものである。この概要は、想定されるすべての態様の広範な概要ではなく、且つ、すべての態様の主な又は重要な要素を識別することを意図したものでもなく、本開示の任意の又はすべての態様の範囲を線引きすることを意図したものでもない。その唯一の目的は、後続する本開示の更に詳細な説明に対する前置きとして簡単な形態において１つ又は複数の態様を提示する、という点にある。上述の内容の実現のために、本開示の１つ又は複数の態様は、請求項において記述されていると共に例示を目的として指摘されている特徴を含んでいる。

【0017】

本明細書に内蔵されると共にその一部分を構成している添付図面は、本開示の１つ又は複数の例示用の態様を示しており、且つ、詳細な説明と共に、その原理及び実装形態を説明するべく、機能している。

【図面の簡単な説明】

【0018】

【図1】ライブテレビ放送を制作する従来のシステムのブロック図を示す。

【図2】従来のライブテレビ放送を制作する別のシステムのブロック図を示す。

【図3】ライブテレビ放送を制作する従来のシステムのタイミング図を示す。

【図4A】例示用の一実施形態による、ライブテレビ制作用のメディアコンテンツのキャプチャを制御するシステムのブロック図を示す。

【図4B】別の例示用の実施形態による、ライブテレビ制作用のメディアコンテンツのキャプチャを制御するシステムのブロック図を示す。

【図5】例示用の一実施形態による、ライブテレビ制作の時間を曲げる方法の概念フロー図を示す。

【発明を実施するための形態】

【0019】

添付図面との関係において以下において記述されている詳細な説明は、様々な構成の説明として意図されたものであり、且つ、本明細書において記述されている概念が実施されうる構成のみを表すことを意図したものではない。詳細な説明は、様々な概念の十分な理解を提供する、という目的のために、具体的な詳細事項を含んでいる。但し、当業者には、これらの概念は、これらの特定の詳細を伴うことなしに実施されうることが明らかとなろう。いくつかの例においては、周知の構造及びコンポーネントは、このような概念を不明確にすることを回避するべく、ブロック図の形態において示されている。

【0020】

以下、様々な装置及び方法を参照し、ビデオ制作システムの特定の態様について提示することとする。これらの装置及び方法については、様々なブロック、モジュール、コンポーネント、回路、ステップ、プロセス、アルゴリズムなど（集合的に「要素」と呼称する）により、以下の詳細な説明において説明すると共に、添付図面において図示することとする。これらの要素は、電子ハードウェア、コンピュータソフトウェア、又はこれらの任意の組合せを使用することにより、実装することができる。このような要素が、ハードウェア実装されるのか、又はソフトウェアとして実装されるのかは、システム全体に課された特定の用途及び設計制約に依存している。

【0021】

例として、要素、又は要素の任意の部分、又は要素の任意の組合せは、１つ又は複数のプロセッサを含む「処理システム」として実装することができる。プロセッサの例は、マイクロプロセッサ、マイクロコントローラ、グラフィクス処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、アプリケーションプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）プロセッサ、システムオンチップ（ＳｏＣ：Ｓｙｓｔｅｍｓ ｏｎ ａ Ｃｈｉｐ）、ベースバンドプロセッサ、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、プログラム可能な論理装置（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、状態機械、ゲート付きロジック、別個のハードウェア回路、及び本開示の全体を通じて記述されている様々な機能を実行するように構成されたその他の適切なハードウェアを含む。処理システム内の１つ又は複数のプロセッサは、ソフトウェアを実行することができる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はその他のものと呼称されるかどうかとは無関係に、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアコンポーネント、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行のスレッド、手順、機能などを意味するべく広く解釈されるものとする。

【0022】

従って、１つ又は複数の例示用の実施形態においては、本明細書において記述されている機能及びアルゴリズムは、ハードウェア、ソフトウェア、又はこれらの任意の組合せにおいて実装することができる。ソフトウェアにおいて実装される場合には、機能は、コンピュータ可読媒体上において保存されてもよく、或いは、その上部において１つ又は複数の命令又はコードとしてエンコードされてもよい。コンピュータ可読媒体は、その上部において保存されたコンピュータ実行可能な命令又はデータ構造を担持する又は有するための一時的な又は非一時的なコンピュータストレージ媒体を含むことができる。一時的及び非一時的なストレージ媒体は、いずれも、処理システムの一部分としてコンピュータによってアクセスされうる任意の利用可能な媒体であってよい。例として、且つ、限定を伴うことなしに、このようなコンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラム可能なＲＯＭ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、光ディスクストレージ、磁気ディスクストレージ、その他の磁気ストレージ装置、上述のタイプのコンピュータ可読媒体の組合せ、或いは、コンピュータによってアクセス可能な命令又はデータ構造の形態においてコンピュータ実行可能コードを保存するべく使用されうる任意のその他の媒体を有することができる。更には、情報がネットワーク又は別の通信接続（有線、無線、又はこれらの組合せ）上においてコンピュータに転送又は提供される際には、コンピュータ又は処理システムは、特定の媒体に応じて、接続を一時的又は非一時的なコンピュータ可読媒体として適切に判定する。従って、このような任意の接続が、コンピュータ可読媒体と適切に呼称される。又、上述のものの組合せも、コンピュータ可読媒体の範囲内に含むことを要する。非一時的なコンピュータ可読媒体は、信号自体及び無線インターフェイスを除外している。

【0023】

図４Ａは、例示用の一実施形態によるライブテレビ制作用のメディアコンテンツのキャプチャを制御するシステムのブロック図を示している。図示のように、システム１００内において示されている特定のコンポーネントは、上述のように既存の放送制作環境内において利用されているコンポーネントに対応している。例えば、複数のカメラ（例えば、カメラ２１Ａ及び２１Ｂ）が、スポーツ開催地などの、開催地１０においてメディアコンテンツをキャプチャするべく、提供されている。２つのカメラのみが示されているが、数十の、或いは、場合によっては、数百の、メディアストリームが開催地１０において生成されうることを理解されたい。更には、カメラ２１Ａ及び２１Ｂは、例示用のメディアキャプチャ装置として示されているが、例示用の一態様においては、これらの装置のうちの１つ又は複数は、例えば、マイクロフォン、或いは、ライブイベントからオーディオデータをキャプチャするように構成されたその他のタイプのメディア生成装置、を含むこともできるであろう。更には、例えば、ビデオスイッチャを含む特定のビデオ制作機器１１を含みうるリモート制御センタ１３０において、テクニカルディレクタ１２を配置することもできる。

【0024】

例示用の実施形態によれば、例えば、カメラ２１Ａ及び２２Ｂ（並びに、恐らくは、その他のメディアキャプチャ装置）によって生成された画像データ、グラフィクス、及び／又はリプレーを含みうる、キャプチャされたメディアコンテンツのメディアストリームが、１つ又は複数のエンコーダ１２０Ａ及び１２０Ｂに提供されている。エンコーダ１２０Ａ及び１２０Ｂのペアは、それぞれ、カメラ２１Ａ及び２２Ｂに通信自在に結合されるものとして示されているが、代替的な一態様によれば、複数のデータストリームをエンコードするべく、単一のエンコーダを提供することもできる。一般に、エンコーダ１２０Ａ及び１２０Ｂは、例えば、高速プロキシ信号を生成するべく、第１の分解能を有するものなどの、第１のエンコーディングフォーマットにおいて、複数のカメラ２１Ａ及び２１Ｂからのデータストリームをエンコードするように構成されているという点において、放送制御エンコーダと見なすことができる。通常、これらの高速プロキシ信号は、放送制作の制御に適した、但し、消費者装置上において提示されるビデオ放送制作物に適したフォーマットを有してはいない、エンコード済みのメディアコンテンツを含むことになる。その詳細については、後述することとするが、第１のエンコーディングフォーマットにおいてメディアコンテンツをエンコードする設計は、キャプチャされたコンテンツが、エンドユーザーによる消費に適したフォーマット（例えば、高精細又は４Ｋ分解能）において送信される場合よりも、大きな送信速度を可能にしている。

【0025】

従って、例示用の一態様においては、エンコーダ１２０Ａ及び１２０Ｂは、ビデオデータ（即ち、ビデオストリーム２２Ａ及び２２Ｂ）をメディア処理ネットワーク内におけるＩＰ上の送信用のデータパケットにエンコードするように構成されたコーデック装置であってよい。更に詳しくは、エンコーダ１２０Ａ及び１２０Ｂは、ビデオ制御センタ１３０に供給される高速プロキシ信号を生成するように構成されており、ビデオ制御センタ１３０において、高速プロキシ信号は、デコードすることが可能であり、且つ、テクニカルディレクタ１２に対して提示することができる。換言すれば、従来の放送環境とは異なり、エンコーダ１２０Ａ及び１２０Ｂは、最小の帯域幅を消費する、且つ、従って、最小のレイテンシーによってテクニカルディレクタ１２に提供されうる、低レイテンシーのプロキシストリームを生成するように構成されている。好ましくは、エンコーダ１２０Ａ及び１２０Ｂによる高速エンコーディングは、（最終的な高分解能出力との比較において）格段に低い分解能の画像に基づくことを要し、且つ、その結果、イントラフレームコーディングを使用することにより、エンコードすることを要する。例えば、エンコーディングは、例えば、例示用の一態様においては、２７０Ｍｂ／ｓ及びＱ－ＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）において稼働する標準解像度テレビの分解能に基づいたものであってよい。Ｈ．２６４及び／又はＨ．２６５（ＨＶＥＣ）圧縮を使用したエンコーディング圧縮によって後続される、このメディアのプレスケールは、帯域幅消費量の大幅な低減を提供することが可能であり、その結果、高速メディアプロキシの送信が促進される。

【0026】

例示用の一実施形態においては、高速プロキシストリームは、インターネットやクラウドなどの上部において、既存のストリーミング技術を使用することにより、送信することができる。例えば、一実施形態においては、インターネットに跨るネットワークトラフィックを管理することにより、１００～２００ミリ秒などの最小レイテンシーを提供するべく、ＡｓｐｅｒａのＦａｓｐ又はＺｉＸｉストリーミングなどの技術が実装されうるものと想定される。有利には、これらの送信技術は、必要に応じて、プロキシストリームなどの軽度に圧縮されたメディア又は高度に圧縮されたメディアをビデオ制作のためにクラウド演算リソースにストリーミングするべく、十分に高速である。

【0027】

更には、例示用の一実施形態によれば、エンコーダ１２０Ａ及び１２０Ｂ（例えば、高速エンコーダ）は、高速プロキシ信号を標準又は低分解能信号として生成するように、構成されている。別の実施形態においては、カメラ２１Ａ及び／又は２１Ｂ或いはエンコーダ１２０Ａ及び１２０Ｂは、キャプチャされたメディアコンテンツ内のオブジェクト（例えば、人々や選手など）のオブジェクトに基づいた分析を実行することが可能であり、且つ、リアルタイムの、超低帯域幅の、且つ、従って、低レイテンシーの、プロキシ信号をビデオ制御センタ１３０に提供することができる。この態様においては、受け取られた情報（即ち、高速メディアプロキシ）は、生成されたメディアストリームの第１のエンコーディングフォーマットに対応する第１の分解能において、制御センタのマルチビューインターフェイス上において、テクニカルディレクタ１２に提示することができる。例えば、コンテンツは、インターフェイス上において、その空間的向き及び相対的な動きに基づいて機器インターフェイス／モニタ上においてレンダリングされたアバターとして提示することが可能であり、このアバターは、継続的に観察することができる。例えば、それぞれのメディアストリームは、統合された項目を有するマルチビューアディスプレイとのインターフェイスを有するワークステーションの一部分としてレンダリングすることができる。従って、システムは、遠隔地において閲覧及び制御することができる同時プロキシコンテンツを生成することができる。従って、テクニカルディレクタ１２は、ビデオスイッチャコントローラを使用することにより、このレンダリングに基づいて、制御決定を下すことができる。

【0028】

これに加えて、ビデオ制御センタ１３０において配置されているビデオ制作機器１１は、複数のカメラ２１Ａ及び２１Ｂの動作を制御してメディアキャプチャコンテンツを制御するべく、ユーザー（例えば、テクニカルディレクタ１２）によって操作することができる。例えば、ビデオ制作機器１１は、メディアコンテンツのキャプチャを制御するべく、マルチビューインターフェイスを介して、ユーザー入力から生成された制御命令を受け取る、マルチビューインターフェイスに結合されたビデオスイッチコントローラを含むことができる。従って、更に図示されているように、テクニカルディレクタ１２によって実施された編集的且つ芸術的決定を反映した制御が、コマンドパスを介して、カメラ２１Ａ及び２１Ｂに返送される。但し、大きな帯域幅を消費する、且つ、従って、離れた制作施設への媒体ストリームの送信における受け入れ不能な遅延を経験する、従来のシステムとは異なり、開示されているシステム１００は、例えば、１００ミリ秒又は２００ミリ秒以下などの、最小信号遅延を有する必要なメディアストリームプロキシをテクニカルディレクタ１２に提示している。この結果、テクニカルディレクタ１２は、ビデオスイッチャを使用することにより、リアルタイムに格段に近接した状態で、芸術的且つ編集的決定を実施することができるようになる。

【0029】

従って、例示用の一態様によれば、ビデオ制作機器１１は、例えば、フィールドカメラに結合されたエンコーダ１２０Ａ及び１２０Ｂからエンコード済みのメディアコンテンツストリーム（例えば、高速プロキシ）を受け取るビデオ制作レシーバを含むことが可能であり、この場合に、エンコード済みのメディアコンテンツストリームは、カメラによってキャプチャされると共に第１の高速エンコーディングフォーマットにおいてエンコードされたライブメディアコンテンツを含む。更には、ビデオ制作機器１１は、（例えば、上述の第１の分解能における）第１のエンコーディングフォーマットに基づいてメディアコンテンツストリームからキャプチャされたメディアコンテンツを表示するマルチビューインターフェイスを含む。ビデオ制作機器１１は、当業者には理解されるように、ズーム、パン、又はこれらに類似したもののような、カメラ制御動作などの、ライブイベントにおけるメディアコンテンツのキャプチャの際のカメラの動作を制御及び変更するためのオンザフライの変更を実施するべく、（例えば、テクニカルディレクタ１２による）マルチビューインターフェイスへの入力に基づいた、上述の、制御命令を生成するビデオ制作コントローラを更に含むことができる。更には、ビデオ制作機器１１は、カメラコントローラ（或いは、コンテンツキャプチャコントローラ）を含むことも可能であり、この結果、カメラコントローラは、生成された制御命令をカメラ（或いは、カメラの操作者）に送信し、これらの命令は、メディアコンテンツをキャプチャする動作を制御及び変更する。これに加えて、更に後述するように、ビデオ制作機器１１のビデオ制作コントローラは、カメラからキャプチャされると共に第２のエンコーディングフォーマットにおいてエンコードされたメディアコンテンツを使用することにより、ビデオ放送制作用のライブビデオストリームの制作を制御しており、第２のエンコーディングフォーマットは、第１のエンコーディングフォーマットとは異なっており、且つ、末端消費者装置へのビデオ放送制作に適している。

【0030】

いずれにしても、図４Ａに更に示されているように、システム１００は、制作環境において制作エンジン用の高品質信号（例えば、高精細や４Ｋ分解能など）を提供しうる、エンコーダ１２０Ａ及び１２０Ｂに結合された（好ましくは、開催地１０において配置された）標準エンコーダ１４０を含む。例えば、標準エンコーダ１４０は、制御命令によって制御された複数のカメラによって生成される個々のメディアストリームをビデオ放送メディアストリームとしてエンコードする放送制作エンコーダであってよく、この場合に、例えば、ビデオ放送メディアストリームは、高速メディアプロキシに使用される第１の分解能よりも高い第２の分解能において第２のエンコーディングフォーマットにおいてエンコードされている。

【0031】

更には、制作環境（例えば、制作トラック１０）は、低帯域幅の高速プロキシ信号を使用することにより、テクニカルディレクタ１２によって予め実施された編集的決定を反映することになる高分解能信号をビデオ制御センタ１３０に対して別個にフィードバックすることができる。従って、高分解能信号、或いは、更に一般的には、信号、は、正しい相互時間アライメントを有する状態において、１つ又は複数のビデオ制作エンジンに到達することが可能であり、従って、いまや、レイテンシーは、無関係である。一態様においては、高分解能信号は、コントリビューションフィードとしてエンコードすることが可能であり、且つ、エンコーダ１４０は、例えば、高効率ビデオコーディング（「ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」）、ＭＰＥＧ－４、或いは、４：２：２の１０ビットエンコーディングなどのハイレベルなハイプロファイル設定を使用したこれらに類似したものなどの、既存のビデオ圧縮技法を使用することにより、ビデオ及びオーディオデータをエンコードすることができる。第２の態様においては、オーディオ及びビデオは、ストリームを要求したレシーバにおいて配置されているデコーダとアライメントするように、適切な技術を使用することにより、「ストリームごと」にエンコードすることができる。例示用の一態様においては、エンコーダ１４０は、エンコーダ１２０Ａ及び１２０Ｂからのエンコード済みの信号ではなく、メディアキャプチャ装置（例えば、カメラ２１Ａ及び２１Ｂ）から直接的にメディアコンテンツを受け取ることができる。

【0032】

最終的に、ビデオ制御センタ１３０は、ビデオ制作機器１１（例えば、ビデオスイッチャコントローラ）を使用することにより、テクニカルディレクタ１２によって発行されたコマンド命令に基づいて、メディアストリームに対して時間アライメントさせる必要がある制御決定を提供し、この結果、メディアストリームは、例えば、制作トラック１０内において、或いは、この代わりに、例えば、クラウド内において、などのように、開催地１０において配置されうる、時間アライメント及び処理コンポーネント１５０内において、制作の時点において相互に時間アライメントされる。又、時間アライメント及び処理コンポーネント１５０は、標準エンコーダ１４０から高分解能信号を受け取っており、且つ、ビデオ制作物、即ち、ライブビデオ放送制作物、を生成するように構成されている。換言すれば、図示されてはいないが、制作トラック１０は、既存の分散技術を使用することにより、（制作１０からビデオ制御センタ１３０に送信される高分解能信号として示されている）ビデオ制御センタ１３０に対する最終的なフィードバックを含む、ビデオ制作物を末端消費者装置に分配しうる１つ又は複数のリモート分散ノードに通信自在に結合することができる。

【0033】

従って、例示用のシステムによれば、エンコーダ１２０Ａ及び１２０Ｂを有するカメラ（例えば、カメラ２１Ａ及び２１Ｂ）は、最小帯域幅制約を有する低レイテンシープロキシストリームを生成するように構成されている。この結果、開催地１０とは離れた制御センタ１３０において配置されたテクニカルディレクタ１２は、ビデオスイッチャを使用することにより、基本的にリアルタイム（例えば、１００～２００ミリ秒以下のレイテンシー）である編集的決定を下すことが可能であり、その理由は、低レイテンシー信号が最小遅延を伴って受け取られているからである。更には、システム１００は、開催地１０におけるフル分解能制作機器（例えば、時間アライメント及び処理コンポーネント１５０）を同時に制御している状態で、リモート制御センタ１３０が、エンコーダ１２０Ａ及び１２０Ｂから受け取られたプロキシコンテンツを使用してショーを編集することを可能にしつつ、ビデオ放送のフル分解能出力を提供している。例えば、開示されている方法を使用した既存の制作機器を使用することにより、制作環境は、例えば、最小送出帯域幅を使用する、６つのカメラ、４つのリプレーチャネル、及び２つのグラフィクスチャネルを有する４Ｋ制作を提供することができよう。更には、一代替実施形態によれば、実際のビデオ制作エンジンは、例えば、中央制作施設又はデータセンタなどの、任意の場所に配置することができる。いずれの実施形態も、開催地における必要な制作クルーの要員を大幅に低減することになろう。

【0034】

例示用のシステムに基づいて、仮想化の知覚を含むことにより、ワークフロー及びアプリケーションの要件を充足することができる。一般に、仮想化は、リアルタイムの幻想を提供するべく、時間シフト及びマスキングの技法を使用している。換言すれば、仮想現実は、仮想的な経験を最適化するべく、正しい組合せにおいて、必要な感覚を再生するべく、没入型の経験を提供することに依存している。この例においては、テクニカルディレクタの感覚が正しく没入した場合には、そのユーザー経験及び知覚に影響を及ぼすことなしに、制御室環境の全体をリアルタイムから時間シフトさせることができる。従って、例示用の実施形態によれば、テクニカルディレクタの仮想的な経験が、わずかな量だけ、時間シフトされることから、エンドユーザーの経験を技術ティディレクタのものから大幅に時間シフトさせることができる。

【0035】

ライブビデオ制作環境においては、仮想現実経験をタイムスタンプ及びシステムタイミングの使用と一緒に結び付けることが重要である。しばしば、放送施設内においては、プラント全体を正確にタイミング設定する傾向が存在している。但し、厳格な時間アライメントのための設計は、そのメディア制作物の生成及びその製品の意図された使用において意味を成す、という利益を実現することができる。高精度時間プロトコル（ＰＴＰ：Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）及びリアルタイムトランスポートプロトコル（ＲＴＰ：Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）タイムスタンプは、これを実行するための能力を提供しており、且つ、実際に、フレーム同期を除去することが可能であり、費用を節約することが可能であり、且つ、施設設計を単純化することができる。テクニカルディレクタの仮想環境は、こちらもタイムスタンプが付与されうる制御シーケンスを生成し、これらの制御シーケンスは、制御決定（例えば、ライブビデオ放送に使用するストリーム及び信号の間において切り替えるタイミング）として、制作トラック１０内のビデオ制御センタ１３０から時間アライメント及び処理コンポーネント１５０に送信される。これらのコマンド信号は、リアルタイムの決定に基づいて、但し、計測されうる又はオフセット状態において予め設定されうるなんらかの任意の後の時点において、望ましい制作が実行されることを保証するべく、メディア及び制御の相互アライメントを可能にしている。この同一のロジックは、計測された又は予め設定されたそのオフセットが制作メディアのものよりも格段に小さくなるように設定されうる、という点を除いて、テクニカルディレクタの経験に対しても適用され、その理由は、メディア信号が高速プロキシ信号としてビデオ制御センタ１３０に送信されているからである。

【0036】

但し、タイミングとの関連において、ライブビデオ制作用の仮想現実の知覚を生成することは、非常に困難であり、その理由は、ライブビデオ制作が、キャプチャされている実際のライブイベントに近い近接性を有することに起因して、最も重要な時間制約を有しているからである。従って、キャプチャされたメディアイベントがリアルタイムで発生しているという知覚を保証するために、知覚された遅延を伴わない正確なタイミングが、必須であり、且つ、正確に維持されなければならない。従って、ビデオ及びオーディオ信号の搬送及び処理は、オーディオとビデオの間のリップ同期を保証するべく、且つ、ライブアナウンサへのオーディオフィードバックがリアルタイムの人間の知覚状態において発生することを保証するべく、厳格なタイミングを維持しなければならない。これらの厳格なタイミングを管理するべく、遅延を厳格に管理及び極小化する必要あり、この場合に、メディアコンテンツのキャプチャプロセスの人間的要因を管理するべく最小値への遅延の維持を支援するために、最小のバッファを使用する必要がある。更には、必要に応じて、厳格なタイミングを維持するべく、フレーム同期を処理チェーン内において低減又は除去することにより、エッジについてのその使用を節約しなければならない。

【0037】

図３に示されているタイミング図及び図１に示されているリモートシステムを再度参照すれば、ビデオスイッチャから、カメラなどの、メディアキャプチャ装置に戻される制御信号Ｔ_{ｃｏｎｔｒｏｌ}の時間の長さに起因して、末端消費者の観点における仮想化効果が失われる。換言すれば、例えば、図１に示されているように、従来の離れたライブ放送環境は、例えば、開催地における帯域幅制限に起因して、実際のリアルタイムイベントとテクニカルディレクタ１２が編集的決定を下す時点の間に、大きなレイテンシーを本質的に有している。制御信号の生成及びメディアキャプチャ装置への返送における受け入れ不能な遅延は、特に、エンドユーザーが、２つの別個のチャネルや放送などを使用することにより、ライブイベントを消費している場合に、末端消費者によって知覚されうる遅延を生成する。換言すれば、テクニカルディレクタがビデオスイッチャを使用して編集的決定を下す時点までに、多くの大規模なイベントが実際のイベントにおいて発生済みである可能性があろう。この結果、末端消費者は、仮想化効果を失うことになる。但し、制御信号の時間遅延Ｔ_{ｃｏｎｔｒｏｌ}が極小化されうる場合には、制作チェーン内の残りの遅延期間Ｔ_ｉは、操作者及び／又はエンドユーザーの観点においては、無関係となる。従って、すべてのメディア（ビデオ及びオーディオ）のそれぞれのタイミング位相が時間においてコヒーレントである限り、それぞれの個人は、まるでリアルタイムにおけるように、コンテンツを消費することになり、且つ、すべてのレイテンシーやプロキシなどが、個人の知覚の観点において、許容されることになる。

【0038】

有利には、開示されているシステムは、メディアストリームの高速プロキシ信号をビデオ制御センタ１３０に提供し、これにより、テクニカルディレクタ１２がリアルタイムに非常に近接した状態において編集的決定を下すことを可能にすることにより、制御信号の時間遅延Ｔ_{ｃｏｎｔｒｏｌ}を効果的に極小化している。上述のように、これらの低レイテンシープロキシ信号は、フル高分解能信号のエンコードではなく、オブジェクト検出を使用することにより、生成することができる。その結果、開示されている設計は、好ましくは、１００～２００ミリ秒以下のレイテンシーを提供している。従って、（編集的決定がテクニカルディレクタによって迅速に下されると仮定した場合に）制御信号の時間遅延Ｔ_{ｃｏｎｔｒｏｌ}を極小化することができる。換言すれば、高速メディアプロキシは、好ましくは、エンコーダ１２０Ａ及び１２０Ｂによって生成され、且つ、複数のカメラ２１Ａ及び２１Ｂによるメディアコンテンツのキャプチャから２００ミリ秒以内において制御センタ１３０に送信される。この結果、マルチビューインターフェイスは、複数のカメラ２１Ａ及び２１Ｂによるメディアコンテンツのキャプチャを制御するための制御命令の生成に応答する際に、ライブビデオ放送制作のテクニカルディレクタ１２用の仮想現実環境を効果的に生成することができる。低レイテンシープロキシ信号に起因して、本明細書において開示されているシステム及び方法は、ユーザー（例えば、テクニカルディレクタ１２）が、キャプチャされたコンテンツ及び制御センタを受け取り、且つ、可能な限りリアルタイムに近接した状態において制御決定を下すことを可能にしている。この結果、テクニカルディレクタ１２は、実際のライブイベントと制御されたコンテンツキャプチャの間の極小化された遅延により、キャプチャすると共にコンテンツキャプチャを変更するように、カメラ２１Ａ及び２１Ｂを制御することができる。

【0039】

エンドユーザー装置によって最終的に消費される高品質信号の生成及び搬送に影響を及ぼすすべての後続の遅延は、無関係であり、その理由は、ユーザーが、ライブイベントをリアルタイムにおいて提示されるものとして依然として知覚することになるからである。換言すれば、増分的遅延に伴う欠点は、存在しておらず、且つ、タイミングドメインの間におけるレイテンシー変動が、実際には、フレームシンクロナイザによって導入される追加的な且つ大きなレイテンシーの除去を支援することができる。従って、観察が必要とされる場所において、すべてのメディア（ビデオ及びオーディオ）がアライメントされている場合には、開示されているシステムによって生成される不利な面は、存在しない。但し、観察が、メディア自体と共に、パイプライン化されうる、という利益が存在しており、これにより、上述のリモート制作における利点が得られる。プログラム的ワークフローが例外的に管理されうるケースにおいては、信号配信の最終地点における時間アライメントが効果的である。最終的に、施設のタイムバジェットが信号処理及び装置仮想化と関連するレイテンシーに対応しうることを保証するために、好ましくは、最低増分的レイテンシーを提供するべく、最小バッファを有する搬送メカニズムが使用される。

【0040】

例示用の一態様によれば、開示されているシステムは、新しい低レイテンシーのストリーミング技術を使用することにより、真のクラウドに基づいたデータセンタを提供することができる。この結果、オリジナルのコンテンツ供給と関連する遅延が受け入れ可能である場合には、かつての「オンサイト制作」制御室（例えば、上述の制作トラック）は、事実上、任意の場所において配置されうるプロキシとなることができる。

【0041】

図４Ｂは、別の例示用の実施形態によるライブテレビ制作用のメディアコンテンツのキャプチャを制御するシステムのブロック図を示している。図示のように、システム２００において利用されているコンポーネントの多くは、図４Ａとの関係において上述したコンポーネントと同一であり、且つ、再度の説明は、省略することとする。但し、図示の例示用のシステムは、真のクラウドに基づいた制作環境を提供するべく、低レイテンシーのストリーミング技術を利用している。一般的に、クラウド１６０は、要求時に、共有されたコンピュータ処理リソース及びデータをコンピュータ及びその他の装置に提供する、インターネットに基づいた演算と見なすことができる。例えば、一実施形態においては、システム２００は、そのデータセンタにおいてインフラストラクチャを所有すると共に稼働させ、且つ、インターネットを介して演算リソースに対するアクセスを提供する、ＡＷＳ（Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ）、Ｍｉｃｒｏｓｏｆｔ、及びＧｏｏｇｌｅなどの、パブリッククラウドサービスを利用することができる。

【0042】

従って、この例示用の実施形態によれば、ライブビデオ放送制作用の最終的な処理ステップを実行するべく、時間アライメント及び処理コンポーネント１５０（上述）をクラウド演算サービスに移動することができる。図示のように、ビデオ制作物をエンコードすることが可能であり、且つ、インターネットにより、例えば、演算装置、テレビ、セットトップボックス、タブレット、及びこれらに類似したものなどの、末端消費者装置１７０に送信される。この環境も、高帯域幅メディアストリームを送信するべく、上述の同一の高速転送技術を利用することが可能であり、これには、離れたところに配置されたビデオ制御センタへの高分解能信号の返送が含まれる。

【0043】

図５は、例示用の一実施形態によるライブテレビ制作の時間を曲げる方法の概念フロー図を示している。例示用の方法は、上述のシステムを使用することによって実装されうることに留意されたい。従って、以下の説明においては、例示用のシステムのコンポーネントを参照することとする。

【0044】

図示のように、まず、ステップ５０５において、スポーツスタジアム又はこれに類似したものなどの、開催地において配置されたカメラ（例えば、カメラ２１Ａ及び２１Ｂ）は、リアルタイムでライブシーンのメディアコンテンツをキャプチャするように構成されている。カメラは、メディアコンテンツをデータストリームとして受け取ると共に、ステップ５１０において、コンテンツをエンコードし、且つ、エンコード済みのメディアストリームを高速の低レイテンシープロキシストリームとして、例えば、リモート制御センタに送信するように構成された１つ又は複数のエンコーダに通信自在に結合されている。上述のように、これらの低レイテンシーのプロキシストリームは、非常にわずかな遅延を伴って、制御センタにおいて受け取られ、且つ、制御決定としてカメラに返送されうる芸術的且つ編集的なコマンド決定を下しうるテクニカルディレクタ又はこのようなその他のユーザーに対して、マルチビューインターフェイス上において提示することができる。同時に（或いは、リアルタイムに近接した状態で）、コマンド信号に基づいて、カメラは、メディアコンテンツのキャプチャを継続し、これらのメディアコンテンツは、ステップ５２０において、高分解能メディア信号として処理され、且つ、ステップ５２５において、例えば、開催地において、或いは、独立した制作サイトにおいて、配置されうる標準エンコーダに送信される。

【0045】

更には、ステップ５３０において、高分解能メディア信号は、時間アライメント装置に提供されるが、時間アライメント装置は、テクニカルディレクタによって発行された制御コメントをも受け取っている。例えば、適切な時間アライメント処理を使用することにより、ＰＴＰ及びＲＴＰ信号に基づいて、ステップ５３５において、放送の最終的な制作物が生成され、且つ、ライブビデオ放送として配信される。

【0046】

上述のコンポーネントは、ハードウェア及びソフトウェアの両方の組合せを利用することにより、実装されうることを理解されたい。従って、１つ又は複数の例示用の態様においては、記述されている機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せにおいて実装することができる。

【0047】

更には、態様は、以上において概説された例示用の実装形態との関連において記述されているが、既知であるのか、或いは、現時点においては予想されない又はされえないのか、を問わず、当業者には、様々な代替、変更、変形、改善、及び／又は実質的な均等物が明らかとなろう。従って、上述の本発明の例示用の実装形態は、限定ではなく、例示を目的としたものであると解釈されたい。態様の精神及び範囲を逸脱することなしに、様々な変更を実施することができる。従って、態様は、すべての既知の又は後から開発される代替肢、変更、変形、改善、及び／又は実質的な均等物を包含するものと解釈されたい。

【0048】

従って、請求項は、本明細書において示されている態様に限定されることを意図したものではなく、請求項には、言語請求項と一貫性を有する十分な範囲を付与することを要し、この場合に、単数形における要素の参照は、その旨が具体的に記述されていない限り、「１つの且つ１つのみの（ｏｎｅ ａｎｄ ｏｎｌｙ ｏｎｅ）」ではなく、むしろ、「１つ又は複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を意味するべく意図されている。そうではない旨が具体的に記述されていない限り、「いくつか（ｓｏｍｅ）」という用語は、１つ又は複数を意味している。当業者にとって既知である又は後から既知となる本開示の全体を通じて記述されている様々な態様の要素に対するすべての構造的且つ機能的な均等物は、引用により、明示的に本明細書において内蔵され、且つ、請求項によって包含されることが意図されている。更には、本明細書において開示されているいかなるものも、そのような開示が請求項において明示的に記述されているかどうかとは無関係に、公有となることが意図されてはいない。請求項要素は、その要素が「のための手段（ｍｅａｎｓ ｆｏｒ）」というフレーズを使用して明示的に記述されていない限り、手段及び機能（ｍｅａｎｓ ｐｌｕｓ ｆｕｎｃｔｉｏｎ）として解釈されてはならない。

【0049】

例として、且つ、限定を伴うことなしに、本開示の態様は、テレビ番組の制作のために、或いは、スポーツイベントにおいて、使用されうるビデオ制作システムの様々なコンポーネントを構成するべく使用されるシステム及び方法を参照して提示されている。本開示の全体を通じて提示されている様々な概念は、ビデオ及び／又はスチル画像をキャプチャ及び処理するシステムやビデオ会議システムなどを含む、様々な撮像用途に跨って実装することができる。開示されているプロセス／フローチャートにおけるブロックの特定の順序又は階層構造は、例示用の方式の例示であることを理解されたい。プロセス／フローチャート内のブロックの特定の順序又は階層構造は、設計の好みに基づいて再構成されうることを理解されたい。更には、いくつかのブロックは、組み合わせられてもよく、或いは、省略されてもよい。添付の方法請求項は、様々なブロックの要素をサンプル順序において提示しており、且つ、提示された特定の順序又は階層構造に限定されることを意味するものではない。

【0050】

以上の説明は、当業者が、本明細書において記述されている様々な態様を実施できるようにするべく、提供されている。これらの態様に対する様々な変更が、当業者には、容易に明らかとなり、且つ、本明細書において定義されている一般的な原理は、その他の態様に適用することができる。従って、請求項は、本明細書において示されている態様に限定されることを意図したものではなく、請求項には、言語請求項と一貫性を有する十分な範囲を付与することを要し、この場合に、単数形における要素の参照は、その旨が具体的に記述されていない限り、「１つの且つ１つのみの（ｏｎｅ ａｎｄ ｏｎｌｙ ｏｎｅ）」ではなく、むしろ「１つ又は複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を意味するものと解釈されたい。「例示用の（ｅｘｅｍｐｌａｒｙ）」という用語は、本明細書においては、１つの例、インスタンス、又は例示として機能する（ｓｅｒｖｉｎｇ ａｓ ａｎ ｅｘａｍｐｌｅ， ｉｎｓｔａｎｃｅ ，ｏｒ ｉｌｌｕｓｔｒａｔｉｏｎ）を意味するべく、使用されている。「例示を目的として（ｅｘｅｍｐｌａｒｙ）」本明細書において記述されているすべての態様は、必ずしも、その他の態様との比較において、好ましい、又は有利である、と解釈する必要はない。当業者に既知であるか又は後から既知となる、本開示の全体を通じて記述されている様々な態様の要素に対するすべての構造的且つ機能的な均等物は、引用により、本明細書において明示的に内蔵され、且つ、請求項によって包含されることが意図されている。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】