(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-01
(45)【発行日】2023-05-12
(54)【発明の名称】ネットワーク遅延がある環境での遠隔クラウドベースのビデオ制作システム
(51)【国際特許分類】
H04N 21/854 20110101AFI20230502BHJP
H04N 21/218 20110101ALI20230502BHJP
【FI】
H04N21/854
H04N21/218
【外国語出願】
(21)【出願番号】P 2019070385
(22)【出願日】2019-04-02
【審査請求日】2022-02-17
(32)【優先日】2018-04-05
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】508244289
【氏名又は名称】ティ・ヴイ・ユー・ネットワークス・コーポレイション
【氏名又は名称原語表記】TVU Networks Corporation
(74)【代理人】
【識別番号】100096725
【氏名又は名称】堀 明▲ひこ▼
(74)【代理人】
【識別番号】100171697
【氏名又は名称】原口 尚子
(72)【発明者】
【氏名】ポール・シェーン
【審査官】富樫 明
(56)【参考文献】
【文献】特開2015-082845(JP,A)
【文献】米国特許出願公開第2016/0366228(US,A1)
【文献】特表2011-511572(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
クラウドベースのビデオ制作システムであって、
クラウドベースのビデオ制作サーバと、
ユーザデバイス上で実行されているリモートユーザインターフェースと、
ネットワークを介して前記クラウドベースのビデオ制作サーバ及び前記リモートユーザインターフェースと通信する1つ又は複数のビデオソースと、
前記ネットワークを介して前記リモートユーザインターフェースと通信する、前記クラウドベースのビデオ制作サーバに配置されるか、またはそれと通信する制御ユニットと、
ネットワーク遅延に対応して、1つ又は複数のビデオソースのそれぞれと前記制御ユニットとの間に配置される、1つ又は複数のビデオソースのそれぞれに対応するバッファと、
を含み、
ビデオコンテンツの各フレームにはビデオタイムスタンプが付けられ、
1つ又は複数のビデオソースからのビデオコンテンツを選択及び操作するためのコマンドが、ユーザインターフェースから制御ユニットに送信され、前記コマンドのそれぞれは、前記コマンドが発行されたときにユーザインターフェース上に表示される前記ビデオフレームの前記ビデオタイムスタンプに対応するコマンドタイムスタンプを含み、
前記対応するバッファの出力における前記ビデオタイムスタンプがコマンドタイムスタンプに対応するときに、前記制御ユニットは各コマンドを実行し、
制御ユニットは、前記コマンドに従ってビデオプログラムを出力する、
ことを特徴とするクラウドベースのビデオ制作システム。
【請求項2】
前記ユーザインターフェースが、インターネット対応装置上で動作するアプリケーション又はウェブブラウザのうちの1つを含む、請求項1に記載のクラウドベースのビデオ制作システム。
【請求項3】
前記ユーザデバイスが、コンピュータ、ラップトップコンピュータ、ポータブルコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、パーソナルコンピューティングデバイス、及びインターネット対応デバイスのうちの1つを含む、請求項1に記載のクラウドベースのビデオ制作システム。
【請求項4】
前記ユーザインターフェース上で、前記1つ又は複数のビデオソースからのコンテンツを見ることができる、請求項1に記載のクラウドベースのビデオ制作システム。
【請求項5】
前記コマンドが、前記1つ又は複数のビデオソースによって提供される前記ビデオコンテンツ又は前記ビデオコンテンツの一部の中から選択するためのコマンド、前記ビデオコンテンツ又は前記ビデオコンテンツの一部を組み合わせるためのコマンド、前記1つ又は複数のビデオソース間で切り替えるためのコマンド、前記ビデオコンテンツ又は前記ビデオコンテンツの一部を操作するためのコマンド、グラフィックオーバーレイを提供するためのコマンド、前記グラフィックオーバーレイをオン又はオフにするためのコマンド、及び前記ビデオコンテンツ又は前記ビデオコンテンツの一部に対しオーディオレベルを調整するためのコマンドを含む、請求項1に記載のクラウドベースのビデオ制作システム。
【請求項6】
前記1つ又は複数のビデオソースのそれぞれが、ビデオカメラ、カムコーダー、テレビカメラ、ムービーカメラ、携帯用電子機器、タブレットコンピュータ、スマートフォン、及びIP又はウェブカメラのうちの1つを含む、請求項1に記載のクラウドベースのビデオ制作システム。
【請求項7】
前記ビデオプログラムが、ライブ放送、1又は複数のソーシャルメディアプラットフォームへの配信、及びデジタルメディア配信プラットフォームへの配信のうちの少なくとも1つに対して出力される、請求項1に記載のクラウドベースのビデオ制作システム。
【請求項8】
前記ビデオプログラムが前記ユーザデバイスにダウンロードされ、
前記ダウンロードされたビデオプログラムが、オリジナルのダウンロードされた形式でメディアアウトレット又はソーシャルメディアプラットフォームに配信されたもの、又は該配信前に前記ユーザデバイスで修正されたもの一つである、請求項1に記載のクラウドベースのビデオ制作システム。
【請求項9】
前記ビデオプログラムが、ニュースプログラム、スポーツプログラム、天気プログラム、ライブイベントプログラム、及びエンターテイメントプログラムのうちの1つを含む、請求項1に記載のクラウドベースのビデオ制作システム。
【請求項10】
前記対応するバッファが、前記コマンドを実行する際のネットワーク遅延に対応して前記ビデオコンテンツを遅延させる、請求項1に記載のクラウドベースのビデオ制作システム。
【請求項11】
前記コマンドの指示がAPIを介して送信され、
前記指示がスクリプト可能である、請求項1に記載のクラウドベースのビデオ制作システム。
【請求項12】
クラウドベースのビデオ制作方法であって、
クラウドベースのビデオ制作サーバを提供することと、
ユーザデバイス上で動作するリモートユーザインターフェースを提供することと、
ネットワークを介して、1つ又は複数のビデオソースから前記クラウドベースのビデオ制作サーバ及び前記リモートユーザインターフェースにビデオコンテンツを提供することと、
前記ネットワークを介して前記リモートユーザインターフェースと通信する前記クラウドベースのビデオ制作サーバに配置され、又は該ビデオ制作サーバと通信する制御ユニットを提供することと、
前記1つ又は複数のビデオソースのそれぞれについて、対応するバッファを介してビデオコンテンツをバッファリングすることと、ここで前記対応するバッファは、ネットワーク遅延に対応して、前記1つ又は複数のビデオソースのそれぞれと前記制御ユニットとの間に配置されており、
ビデオコンテンツの各フレームにビデオタイムスタンプを提供することと、
前記1つ又は複数のビデオソースからのビデオコンテンツを選択及び操作するために、前記ユーザインターフェースから前記制御ユニットにコマンドを送信することと、ここで、前記コマンドのそれぞれは、前記コマンドが発行されたときに前記ユーザインターフェースに表示される前記ビデオフレームの前記ビデオタイムスタンプに対応するコマンドタイムスタンプを含み、
前記対応するバッファの出力における前記ビデオタイムスタンプが前記コマンドタイムスタンプに対応するときに、前記制御ユニットにおいて各コマンドを実行することと、
前記コマンドに従ってビデオプログラムを出力することと、
を含む、クラウドベースのビデオ制作方法。
【請求項13】
前記ユーザインターフェースが、インターネット対応装置上で動作するアプリケーション又はウェブブラウザのうちの1つを含む、請求項12に記載のクラウドベースのビデオ制作方法。
【請求項14】
前記ユーザデバイスが、コンピュータ、ラップトップコンピュータ、ポータブルコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、パーソナルコンピューティングデバイス、及びインターネット対応デバイスのうちの1つを含む、請求項12に記載のクラウドベースのビデオ制作方法。
【請求項15】
前記1つ又は複数のビデオソースからのコンテンツは、前記ユーザインターフェース上で見ることができる請求項12に記載のクラウドベースのビデオ制作方法。
【請求項16】
前記コマンドが、前記1つ又は複数のビデオソースによって提供されるビデオコンテンツ又は該ビデオコンテンツの一部の中から選択するためのコマンド、前記ビデオコンテンツ又は該ビデオコンテンツの一部を組み合わせるためのコマンド、前記1つ又は複数のビデオソース間で切り替えるためのコマンド、前記ビデオコンテンツ又は該ビデオコンテンツの一部を操作するためのコマンド、グラフィックオーバーレイを提供するためのコマンド、前記グラフィックオーバーレイをオン又はオフにするためのコマンド、及び前記ビデオコンテンツ又は該ビデオコンテンツの一部のオーディオレベルを調整するためのコマンドを含む、請求項12に記載のクラウドベースのビデオ制作方法。
【請求項17】
前記1つ又は複数のビデオソースのそれぞれが、ビデオカメラ、カムコーダー、テレビカメラ、ムービーカメラ、携帯用電子機器、タブレットコンピュータ、スマートフォン、及びIP又はウェブカメラのうちの1つを含む、請求項12に記載のクラウドベースのビデオ制作方法。
【請求項18】
前記ビデオプログラムが、ライブ放送、1つ又は複数のソーシャルメディアプラットフォームへの配信、及びデジタルメディア配信プラットフォームへの配信のうちの少なくとも1つに対して出力される、請求項12に記載のクラウドベースのビデオ制作方法。
【請求項19】
さらに、
前記ビデオプログラムを前記ユーザデバイスにダウンロードすることと、
前記ダウンロードされたビデオプログラムをオリジナルのダウンロードされた形式でメディアアウトレット又はソーシャルメディアプラットフォームに配信すること、及び該配信の前に前記ユーザデバイスにおいてダウンロードされた前記ビデオプログラムを修正することのうちの1つと、
を含む、請求項12に記載のクラウドベースのビデオ制作方法。
【請求項20】
前記ビデオプログラムは、ニュースプログラム、スポーツプログラム、天気プログラム、ライブイベントプログラム、及びエンターテイメントプログラムプログラムのうちの1つを含む、請求項12に記載のクラウドベースのビデオ制作方法。
【請求項21】
前記対応するバッファが、前記コマンドを実行する際、ネットワーク遅延に対応して前記ビデオコンテンツを遅延させる、請求項12に記載のクラウドベースのビデオ制作方法。
【請求項22】
前記コマンドの指示がAPIを介して送信され、
前記指示がスクリプト可能である、請求項12に記載のクラウドベースのビデオ制作方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2018年4月5日に出願された米国仮特許出願第62/652,978号に基づくものである(、これはあらゆる目的のために本明細書に援用され、その一部が参照により本明細書に組み込まれる)。
【0002】
本発明はビデオ制作の分野に関する。より具体的には、本発明はクラウドベースのビデオ制作システムに関する。
【背景技術】
【0003】
例えば、ニュース又はスポーツ放送のためのライブビデオ制作は、現場の制作スタッフと共に物理的な制作スイッチを必要とし、費用のかかるプロセスである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
現場の制作スタッフの物理的な存在を必要とせずに、クラウドベースのビデオ制作システム上で制作プロセス全体を実行できることは有利となろう。本発明の方法および装置は、上記および他の利点を提供する。
【課題を解決するための手段】
【0005】
本発明は、クラウドベースのビデオ制作システムに関する。
本発明によるクラウドベースのビデオ制作システムの例示的な実施形態では、クラウドベースのビデオ制作サーバが提供される。ユーザデバイス上で動作するリモートユーザインターフェースも提供される。1つ又は複数のビデオソースが、ネットワークを介してクラウドベースのビデオ制作サーバ及びリモートユーザインターフェースと通信する。クラウドベースのビデオ制作サーバに配置され、又はそれと通信する制御ユニットが、ネットワークを介してリモートユーザインターフェースと通信する。1つ又は複数のビデオソースのそれぞれに対応するバッファが、ネットワーク遅延に対応して、1つ又は複数のビデオソースのそれぞれと制御ユニットとの間に配置される。 ビデオコンテンツの各フレームにはビデオタイムスタンプが付けられる。1つ又は複数のビデオソースからのビデオコンテンツを選択及び操作するためのコマンドが、ユーザインターフェースから制御ユニットに送信され、各コマンドは、コマンドが発行されたときにユーザインターフェース上に表示されるビデオフレームのビデオタイムスタンプに対応するコマンドタイムスタンプを含む。制御ユニットは、対応するバッファの出力におけるビデオタイムスタンプがコマンドタイムスタンプに対応するときに各コマンドを実行する。 制御ユニットは、コマンドに従ってビデオプログラムを出力する。
【0006】
ユーザインターフェースは、インターネット対応のユーザデバイス上で実行されているアプリケーション又はウェブブラウザのうちの1つを含んでよい。ユーザデバイスは、コンピュータ、ラップトップコンピュータ、ポータブルコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、パーソナルコンピューティングデバイス、インターネット対応デバイスなどのうちの1つを含んでよい。
【0007】
1つ又は複数のビデオソースからのコンテンツは、ユーザインターフェース上で見ることができる。
【0008】
コマンドは、1つ又は複数のビデオソースによって提供されるビデオコンテンツ又はビデオコンテンツの一部の中から選択するためのコマンド、ビデオコンテンツ又はビデオコンテンツの一部を組み合わせるためのコマンド、1つ又は複数のビデオソース間で切り替えるためのコマンド、ビデオコンテンツ又はビデオコンテンツの一部を操作するためのコマンド、グラフィックオーバーレイを提供するためのコマンド、グラフィックオーバーレイをオン又はオフにするためのコマンド、ビデオコンテンツ又はビデオコンテンツの一部のオーディオレベルを調整するためのコマンドなどを含んでよい。
【0009】
1つ又は複数のビデオソースのそれぞれは、ビデオカメラ、カムコーダー、テレビカメラ、ムービーカメラ、携帯用電子機器、タブレットコンピュータ、スマートフォン、IP又はウェブカメラなどのうちの1つを含む。
【0010】
ビデオプログラムは、ライブ放送、1つ又は複数のソーシャルメディアプラットフォームへの配信、及びデジタルメディア配信プラットフォームへの配信のうちの少なくとも1つについて出力される。ビデオプログラムはまた、ユーザデバイスにダウンロードされてよく、ダウンロードされたビデオプログラムは、オリジナルのダウンロードされた形式でメディアアウトレット又はソーシャルメディアプラットフォームへ配信されたもの、又はこのような配信の前にユーザデバイスで修正されたものの1つであってよい。
【0011】
ビデオプログラムは、ニュースプログラム、スポーツプログラム、天気プログラム、ライブイベントプログラム、エンターテイメントプログラムなどのうちの1つを含んでよい。
【0012】
対応するバッファは、コマンドを実行する際のネットワーク遅延に対応してビデオコンテンツを遅延させる。
【0013】
コマンドのための命令はAPIを介して送信されてよい。 指示はスクリプト可能であってよい。
【0014】
本発明はまた、クラウドベースのビデオ制作のための方法を包含する。本方法は、クラウドベースのビデオ制作サーバを提供すること、ユーザデバイス上で実行されるリモートユーザインターフェースを提供すること、ネットワークを介して1つ又は複数のビデオソースからクラウドベースのビデオ制作サーバ及びリモートユーザインターフェースにビデオコンテンツを提供すること、ネットワークを介してリモートユーザインターフェースとも通信するクラウドベースのビデオ制作サーバに配置され、またはそれと通信する制御ユニットを提供すること、1つ又は複数のビデオソースのそれぞれについて、対応するバッファを介してビデオコンテンツをバッファリングすること、を含む。対応するバッファは、ネットワーク遅延に対応するために、1つ又は複数のビデオソースのそれぞれと制御ユニットとの間に配置されてよい。本方法は、ビデオコンテンツの各フレームにビデオタイムスタンプを提供すること、1つ又は複数のビデオソースからのビデオコンテンツを選択及び操作するためのコマンドをユーザインターフェースから制御ユニットに送信すること(コマンドが発行されたときにユーザインターフェース上に表示されるビデオフレームのビデオタイムスタンプに対応するコマンドタイムスタンプを含む)、対応するバッファの出力でのビデオタイムスタンプがコマンドタイムスタンプに対応するときに制御ユニットで各コマンドを実行すること、及び、コマンドに従ってビデオプログラムを出力することを含む。
【0015】
本発明の方法の実施形態はまた、上述の装置及びシステムの実施形態の様々な特徴及び機能性を含み得る。本発明は、添付の図面と共に以下に説明される。
【図面の簡単な説明】
【0016】
【
図1】
図1は、本発明によるクラウドベースのビデオ制作システムの例示的な実施形態のブロック図を示す。
【発明を実施するための形態】
【0017】
以下の詳細な説明は例示的な実施形態のみを提供し、本発明の範囲、適用性、または構成を限定することを意図しない。むしろ、例示的な実施形態の以下の詳細な説明は、本発明の実施形態を実施するための実施可能な説明を当業者に提供するであろう。特許請求の範囲に記載の本発明の思想及び範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることを理解されたい。
【0018】
本発明は、クラウドベースのビデオ制作システムに関する。ライブビデオ制作コストを削減するために、クラウドベースのビデオ制作システムを持つことが望ましい。
【0019】
図1は、本発明によるクラウドベースのビデオ制作システムの例示的な実施形態を示すブロック図である。
この実施形態では、ビデオ制作は、クラウドベースのビデオ制作サーバ10(クラウド内に配置されている)上で実行される。ユーザは、ユーザインターフェース14によりネットワーク12を介してシステムを遠隔操作する。ユーザインターフェース14は、インターネット対応ユーザデバイス15(例えば、コンピュータ、ラップトップ、ポータブルコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、又はパーソナルコンピューティング装置又は他のインターネット又はネットワーク対応装置他の任意のタイプのもの)上で動作するアプリケーション又はウェブブラウザであってよい。クラウドベースのビデオ制作サーバ10、並びにユーザインターフェースは、1つまたは複数のビデオソース16から生のビデオコンテンツを受信することができる。ユーザインターフェース14は、(例えば、ネットワーク12を介して)1つまたは複数のビデオソース16からのビデオコンテンツを表示するためのディスプレイを含でよい。ユーザインターフェース14は、ユーザがビデオプログラムでどのコンテンツを使用するかを選択し制御することを可能にする。ビデオコンテンツの選択、及びユーザインターフェース14からのコマンドの実行は、クラウドベースのビデオ制作サーバ10に、又はそれと通信するように配置された制御ユニット18を介して実行される。
【0020】
コマンドは、ビデオソース16間の切り替え、1つ以上のビデオソース16からのビデオコンテンツ(又はビデオコンテンツの一部)の選択、1つ以上のビデオソース16からのビデオコンテンツ(又はビデオコンテンツの一部)の組み合わせ、ビデオコンテンツ又はビデオコンテンツの一部を操作すること、グラフィックオーバーレイをオンおよびオフにすること、オーディオレベルの調整などのためのコマンドを含み得る。
【0021】
生のビデオコンテンツ(ビデオソース16によって提供される入力ビデオ)は、完成したビデオプログラム22を制作する際にビデオ制作サーバ10によって使用されるための未処理の材料を含む。これらの生材料は、後述するように、後の使用のためにバッファ20又は関連する記憶装置によって記録することができる。生のビデオコンテンツの各フレームは、最終ビデオプログラム22の各フレームと同様に、タイムスタンプ又はタイムコードが与えられる。生ビデオコンテンツのタイムスタンプ/タイムコードは、ビデオプログラム22のタイムスタンプ/タイムコードとは異なってよい。
【0022】
一例示的実施形態では、コマンドの命令はアプリケーションプログラムインターフェース(API)を介して送信することができ、すべての命令はスクリプト可能であってよい。ビデオ制作プロセスは、ユーザインターフェースによって、スクリプトによって、又はコマンドを生成するAIエンジンによって駆動することができることを理解されたい。さらに、ビデオ制作プロセス中にシステムに提供されるすべての命令及び/又はコマンドは、制作に使用されたオリジナルのビデオコンテンツ内の対応するタイムスタンプ/タイムコードとともに記録されてよく、オリジナルのビデオコンテンツとともに格納されてよい。結果として得られるビデオプログラム22は、その後、生のビデオコンテンツ及び記録された/格納されたコマンドスクリプト又は命令を使用して再生することができる。
【0023】
ビデオソース16は、ビデオカメラ、カムコーダー、テレビカメラ、ムービーカメラ、携帯用電子機器、タブレットコンピュータ、スマートフォン、IP又はウェブカメラなどのうちの1つ又は複数を含んでよい。
【0024】
このようなクラウドベースのシステムを効率的に機能させるための1つの課題は、ネットワーク遅延の存在である。ネットワーク遅延がある場合、クラウドベースのプロダクションシステム上での任意のコマンドの実際の実行は、実際のビデオフレームがユーザデバイス15のディスプレイ上に表示された時間の後しばらくして生じる。
【0025】
ネットワーク遅延に関連する問題を解決するために、各ビデオソース16と制御ユニット18との間にバッファ20が追加される。すべてのビデオソース16からのビデオコンテンツの各ビデオフレームにはタイムスタンプが与えられている。ユーザがユーザインターフェース14にコマンドを入力すると、コマンドは発行されたときにユーザインターフェース14に表示されたビデオフレームのビデオタイムスタンプに対応するコマンドタイムスタンプと共に、コマンドがクラウドベースのビデオ制作サーバ10に送信される。 クラウドベースのビデオ制作サーバ10の制御ユニット18は、ビデオバッファ20の出力におけるビデオタイムスタンプがコマンドタイムスタンプと一致するか又は通過(passe)するときにコマンドを実行する。
【0026】
ビデオソース16からのビデオコンテンツが対応するバッファ20によって遅延されるので、ユーザインターフェース14からのコマンドを実行する際にネットワーク遅延が考慮される。ビデオコンテンツからのタイムスタンプ及びコマンドからの対応するタイムスタンプを使用して、コマンドで特定された所望の動作を同期させ、適切な時間に所望のビデオコンテンツに影響を及ぼすことができる。完成したビデオプログラム22は、ライブ放送又は1つ又は複数のソーシャルメディアアウトレット、デジタルメディア配信プラットフォームなどの他のメディアプラットフォームへの配信のためにクラウドベースのビデオ制作サーバ10から出力され得る。完成したビデオプログラム22はまた、ユーザデバイス15にダウンロードされ、メディアアウトレットに配信されるか、又はそのような配信の前にさらに修正又は編集されてもよい。
【0027】
本システムは、ニュースプログラム、スポーツ、天気、ライブイベント、娯楽などを含む様々なタイプのビデオプログラムを作成するために使用され得る。ビデオソース16は、ライブビデオプログラムの制作のためのライブビデオコンテンツを提供し得る。ビデオコンテンツは後で使用するために格納することもできる。例えば、このシステムは、ライブスポーツイベント(ここで、各ビデオソースがスポーツイベントの異なるカメラ又はカメラアングルを含む)を制作するために使用されてよい。インスタントリプレイは、インスタントリプレイに示されるべきプレイを含む1つ以上のビデオソースからのコンテンツの追加を要求するコマンドを制御ユニット18に送信することによって生成され得る。各バッファ20は、イベント全体について、対応するビデオソース16からのすべての入力フィードを記録し、インスタント再生及び巻き戻し機能を容易にするのに十分な大きさであってよい。バッファ20はまた、ビデオプログラムの再生のような今後の制作ニーズのために生のビデオコンテンツを格納するためにも使用され得る。 バッファは、短期メモリ(RAM)、ローカルストレージ(ビデオ制作サーバ10上のハードディスク、または他の方法でビデオソース16に関連付けられたハードディスク)、及び長期ストレージ(AWS S3などのクラウドストレージ)で実装され得る。バッファ20の長期ストレージへのアクセスは、短期又はローカル記憶へのアクセスと同様に、シームレスであり得る。本発明は、クラウドベースのビデオ制作システムのための有利な方法及び装置を提供することを理解されたい。
【0028】
本発明が様々な例示の実施形態に関連して説明されてきたが、特許請求の範囲に記載されている本発明の思想及び範囲から逸脱することなく、数多くの修正および適応が可能である。