(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024012165
(43)【公開日】2024-01-25
(54)【発明の名称】指スワイプインターフェースを使用するクラウドベースのビデオ制御および操作のための方法、装置およびシステム
(51)【国際特許分類】
G06F 3/0488 20220101AFI20240118BHJP
G06F 3/04842 20220101ALI20240118BHJP
G06F 3/14 20060101ALI20240118BHJP
H04N 21/431 20110101ALI20240118BHJP
H04N 21/4728 20110101ALI20240118BHJP
H04N 5/765 20060101ALI20240118BHJP
H04N 5/93 20060101ALI20240118BHJP
【FI】
G06F3/0488
G06F3/04842
G06F3/14 350B
G06F3/14 360A
H04N21/431
H04N21/4728
H04N5/765
H04N5/93
【審査請求】未請求
【請求項の数】21
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023114869
(22)【出願日】2023-07-13
(31)【優先権主張番号】63/368420
(32)【優先日】2022-07-14
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/349242
(32)【優先日】2023-07-10
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】508244289
【氏名又は名称】ティ・ヴイ・ユー・ネットワークス・コーポレイション
【氏名又は名称原語表記】TVU Networks Corporation
【住所又は居所原語表記】20370 Town Center Lane,Suite 100,Cupertine,Carifornia 95014 the United States of America
(74)【代理人】
【識別番号】100096725
【弁理士】
【氏名又は名称】堀 明▲ひこ▼
(74)【代理人】
【識別番号】100087480
【弁理士】
【氏名又は名称】片山 修平
(72)【発明者】
【氏名】ポール シェーン
(72)【発明者】
【氏名】ジャレッド ティミンズ
(72)【発明者】
【氏名】リュック コモー
(72)【発明者】
【氏名】ロビン ウー
【テーマコード(参考)】
5B069
5C164
5E555
【Fターム(参考)】
5B069AA01
5B069CA01
5B069CA06
5B069CA12
5B069JA06
5C164FA29
5C164GA05
5C164SA26S
5C164SB36S
5C164UB92P
5C164UD44P
5E555AA04
5E555BA02
5E555BA03
5E555BA05
5E555BA06
5E555BA46
5E555BA72
5E555BA87
5E555BB02
5E555BB03
5E555BB05
5E555BB06
5E555BC04
5E555BC17
5E555BD01
5E555CA12
5E555CB07
5E555CB10
5E555CB13
5E555CB14
5E555CB15
5E555CB16
5E555CB17
5E555CB19
5E555CB47
5E555CB52
5E555CB53
5E555CB55
5E555CB58
5E555CC01
5E555CC24
5E555CC25
5E555DB04
5E555DB57
5E555DC19
5E555DC20
5E555DC26
5E555DC27
5E555DC63
5E555DC72
5E555DC74
5E555DC84
5E555DD06
5E555EA11
5E555EA14
5E555FA00
(57)【要約】 (修正有)
【課題】複数のビデオストリームにわたってビデオ機能を制御するためのシステムおよび方法を提供する。
【解決手段】処理及びキャプチャシステム102において、互いに時間的に同期されている複数のビデオストリーム101は、対応する複数のビデオソース100を介してイベントにおいて記録され、表示装置104上に表示される。複数のビデオストリームのうちの1つ以上は、表示装置のタッチスクリーン110を介して選択することでき、表示装置上での再生のために提示される。選択されたビデオストリームのビデオ機能の制御は、表示装置のタッチスクリーン上の指ジェスチャを介して有効にされる。ビデオ機能は、ビデオ選択、再生、一時停止、早送り、巻き戻し、ズーム、フォーカス、シャトル、スクラブ、シーク、コマ送りなどを含む。複数のビデオストリームのうちの2つ以上が選択される場合、それらは同時にかつ同期して制御される。
【選択図】
図2
【特許請求の範囲】
【請求項1】
複数のビデオストリームにわたってビデオ機能を制御する方法であって、
イベントにおいて、互いに時間的に同期する複数のビデオストリームを、対応する複数のビデオソースを介して記録するステップと、
前記複数のビデオストリームを表示装置に表示するステップと、
前記表示装置のタッチスクリーンを介して前記複数のビデオストリームのうちの1つまたは複数を選択するステップと、
選択された1つ以上のビデオストリームを前記表示装置上で再生するために提示するステップと、および
前記表示装置のタッチスクリーン上の1つまたは複数の指のジェスチャを介して、選択された1つまたは複数のビデオストリームのそれぞれのビデオ機能の制御を可能にするステップと、
を含み、
前記ビデオ機能が、ビデオ選択、再生、一時停止、早送り、巻き戻し、ズーム、フォーカス、シャトル、スクラブ、シークおよびフレーム送りのうちの1つ以上を含み、
前記複数のビデオストリームのうちの2つ以上が選択された場合、2つ以上のビデオストリームは同時に同期して制御される、
ことを特徴とする方法。
【請求項2】
前記ビデオストリームのそれぞれが、前記イベントの異なる視角で記録される、請求項1に記載の方法。
【請求項3】
前記1本または複数本の指のジェスチャが、
前記選択ステップの間、ビデオストリームを選択するために前記タッチスクリーンを1回タップすること、
前記選択したビデオの再生と一時停止とを切り替えるために前記タッチスクリーンを1回タップすること、
スワイプの速度に応じて順方向のビデオ再生を伴うフレームごとの順方向スクラブのために1本の指で右にスワイプすると、
スワイプの速度に応じたビデオ再生でフレームごとに逆スクラブを行うために1本の指で左にスワイプすること、
順方向再生の速度を段階的に切り替えるために、1本の指で上方にドラッグすること、
逆再生の速度を段階的に切り替えるために、1本の指で下方にドラッグすること、
ドラッグの長さに応じて速度が増分する早送りシャトル再生を行うために、1 本の指で押したまま右にドラッグすること、
ドラッグの長さに応じて巻き戻し速度が増分する巻き戻しシャトルを有効にするために、1本の指で押したまま左にドラッグすること、
ドラッグの速度に応じた前進速度でフレームを前方に進めるために、1本の指で右にドラッグすること、
ドラッグの速度に応じた前進速度で逆フレーム送りを行うために、2本の指で左にドラッグすること、
時間の前方ジャンプを含む前方シーク機能を有効にするために、再生中に1本の指で右にドラッグすること、および
時間の後方ジャンプを含む後方シーク機能を有効にするために、再生中に 1本の指で左にドラッグすること、
のうちの1つ以上を含む請求項1に記載の方法。
【請求項4】
前記1つ以上のビデオストリームが、前記2つ以上のビデオストリームを含み、さらに前記2つ以上のビデオストリームを前記表示装置上にタイルモードで表示するステップをさらに含み、
ここで、前記タイルモードの各タイルは一つのビデオを表示する、
ことを特徴と請求項1に記載の方法。
【請求項5】
前記1つまたは複数の指のジェスチャが、
選択したタイルのビデオストリームのみを表示するフルスクリーンのフォーカスモードに入れるために、ビデオストリームの1つを表示する前記選択したタイルを2本の指でタップすること、
前記ビデオストリームのズームアウト機能を有効にするために、フルスクリーンのフォーカスモード中に2本の指でピンチすること、
前記ビデオストリームのズームイン機能を有効にするために、フルスクリーンのフォーカスモード中に2本の指を広げること、および
表示されている前記ビデオストリームの領域の位置変更と再フォーカスが可能にするために、前記ズームインおよびズームアウト機能中に2本の指でスライドする動作をすること、
のうちの1つ以上を含む、請求項4に記載の方法。
【請求項6】
前記フォーカスモード、前記ズームイン機能、および前記ズームアウト機能がビデオの再生中または一時停止中に有効化される、
請求項5に記載の方法。
【請求項7】
前記複数のビデオストリームが複数のページ上の複数のタイルに表示され、
1本の指でスワイプすること、タイルの前記複数ページを切り替える、
請求項4に記載の方法。
【請求項8】
早送りが、前記タッチスクリーン上でホイールを時計回りに動かすことで有効になり、
巻き戻しが、前記タッチスクリーン上でホイールを反時計回りに動かすと有効になる、
請求項1に記載の方法。
【請求項9】
前記表示装置は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、および専用ユーザインターフェースのうちの1つを含む、請求項1に記載の方法。
【請求項10】
前記1つ以上のビデオソースが、ビデオカメラ、テレビカメラ、スマートフォン、タブレットコンピュータ、およびラップトップコンピュータのうちの1つ以上を含む、請求項1に記載の方法。
【請求項11】
さらに、処理およびキャプチャシステムで前記複数のビデオストリームを受信することを含み、
前記複数のビデオストリームが、処理およびキャプチャシステムから表示デバイスに通信され、
前記指のジェスチャに対応するコマンドが、前記表示装置から前記処理およびキャプチャシステムに通信され、
処理およびキャプチャシステムが、表示デバイスに配信して表示するために前記ビデオストリームに対してコマンドを実行する、
請求項1に記載の方法であって
【請求項12】
複数のビデオストリームにわたってビデオ機能を制御するためのシステムであって、
イベントにおいて、互いに時間的に同期している複数のビデオストリームを、対応して記録するための複数のビデオソースと、
前記複数のビデオストリームを表示するための表示装置と、
前記複数のビデオソースから前記複数のビデオストリームを受信し、複数のビデオストリームを表示装置に配信し、前記表示装置から受信したコマンドを実行する処理およびキャプチャシステムと、
を含み、
前記表示装置が、再生するために前記複数のビデオストリームのうちの1つ以上を選択するためのタッチスクリーンインターフェースを備え、
前記タッチスクリーンインターフェースは、前記表示装置のタッチスクリーン上で1つ以上の指のジェスチャを介して、前記選択された1つ以上のビデオストリームのそれぞれのビデオ機能の制御を可能にし、
ここで、前記コマンドは指のジェスチャに対応し、
前記処理およびキャプチャ システムは、表示デバイスに配信して表示するために前記ビデオストリーム上でコマンドを実行し、
前記ビデオ機能は、ビデオ選択、再生、一時停止、早送り、巻き戻し、ズーム、フォーカス、シャトル、スクラブ、シーク、およびフレーム送りのうちの1つ以上を含み、
前記複数のビデオストリームのうちの2つ以上が選択された場合、2つ以上のビデオストリームは同時に同期して制御される、
ことを特徴とするシステム。
【請求項13】
前記ビデオストリームのそれぞれが、前記イベントの異なる視野角で記録される、請求項12に記載のシステム。
【請求項14】
前記1つまたは複数の指のジェスチャが、
前記選択において、ビデオストリームを選択するために、前記タッチスクリーンを1回タップすること、
選択したビデオの再生と一時停止を切り替えるために、前記タッチ スクリーンを1回タップすること、
スワイプの速度に応じて順方向のビデオ再生を伴うフレームごとの順方向スクラブを行うために、1本の指で右にスワイプすること、
スワイプの速度に応じてビデオ再生でフレームごとに逆スクラブをおこなうために、1本の指で左にスワイプすること、
順方向再生の速度を段階的に切り替えるために、1本の指で上にドラッグすること、
逆再生の速度を段階的に切り替えるために、1本の指で下方にドラッグすること、
ドラッグの長さに応じて速度が増分する早送りシャトル再生を可能にするために、1本の指で押したまま右にドラッグすること、
ドラッグの長さに応じて巻き戻し速度が増分する巻き戻しシャトルを有効にするために、1本の指で押したまま左にドラッグすること、
ドラッグの速度に応じた前進速度でフレームを前方に進めるために、2本の指で右にドラッグすること、
ドラッグの速度に応じた前進速度で逆フレーム送りをおこなうために、2本の指で左にドラッグすること、
時間の前方ジャンプを含む前方シーク機能を有効にするために、再生中に 1本の指で右にドラッグすること、および
時間の後方ジャンプを含む後方シーク機能を有効にするために、再生中に 1本の指で左にドラッグすること
のうち1つ以上を含む、請求項12に記載のシステム。
【請求項15】
前記1つ以上のビデオストリームが、前記2つ以上のビデオストリームを含み、前記2つ以上のビデオストリームを前記表示装置上にタイルモードで表示することをさらに有し、前記タイルモードの各タイルが一つのビデオストリームを表示する、請求項12に記載のシステム。
【請求項16】
前記前記1つまたは複数の指のジェスチャが、
前記選択したタイルのビデオストリームのみを表示するフルスクリーンのフォーカスモードに入ることを可能にするために、前記ビデオストリームの1つを表示する、選択したタイルを2本の指でタップすること、
前記ビデオストリームのズームアウト機能を有効にするために、前記フルスクリーンのフォーカスモード中に2本の指でピンチすること、
前記ビデオストリームのズームイン機能を有効にするために、前記フルスクリーンのフォーカスモード中に2本の指を広げること、および
表示されている前記ビデオストリームの領域の位置変更と再フォーカスを可能にするために、ズームインおよびズームアウト機能中に2本の指でスライド動作をすること、
のうちの一つ以上を含む、請求項15に記載のシステム。
【請求項17】
前記フォーカスモード、前記ズームイン機能、および前記ズームアウト機能が、ビデオの再生中または一時停止中に有効となる、請求項16に記載のシステム。
【請求項18】
前記複数のビデオストリームが複数のページ上の複数のタイルに表示され、
1本の指でスワイプするだけで、前記タイルの複数ページを切り替えられる、請求項15に記載のシステム。
【請求項19】
早送りが、前記タッチスクリーン上での時計回りのホイールの動きによって有効になり、
巻き戻しは、タッチスクリーン上での反時計回りのホイールの動きによって有効になる、請求項12に記載のシステム。
【請求項20】
前記表示装置が、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、および専用ユーザインターフェースのうちの1つを含む、請求項12に記載のシステム。
【請求項21】
前記1つまたは複数のビデオソースが、ビデオカメラ、テレビカメラ、スマートフォン、タブレットコンピュータ、およびラップトップコンピュータのうちの1つ以上を含む、請求項12に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2022年7月14日に出願された米国仮出願第63/368,420号の利益を主張するものであり、その全体(付録Aを含む)が本明細書に組み込まれ、あらゆる目的のために参照により本明細書の一部をなす。
【0002】
本発明は、クラウドベースのビデオの分野に関する。より具体的には、本発明は、クラウドベースのビデオのレビュー、編集、制御および操作のための簡略化されたユーザインターフェースに関する。
【背景技術】
【0003】
従来技術のビデオ編集プロセスは、通常、ビデオストリームを編集し、操作し、レビューするための様々な機能を実行するために、様々なアナログスクロールホイールおよびボタンを有する扱いにくい物理コンソールからなる専用のユーザインターフェースを必要とした。
【発明の概要】
【発明が解決しようとする課題】
【0004】
クラウドベースのビデオストリームの簡略化された制御を提供することが有益であろう。特に、選択、同期、視聴、巻き戻し、早送り、ズームイン、ズームアウト、タグ付け、フレームごとの制御、再生プレイリストクリップの生成などを含む、複数のビデオストリームを制御するための装置、方法、およびシステムを提供することが有利であろう。
【0005】
そのようなビデオ制御機能を実行するために、タッチスクリーン上での単純な指ジェスチャを可能にすることが有益であろう。
【0006】
本発明の方法、装置、およびシステムは、以下を含むがこれらに限定されない前述および他の利点を提供する。
-ビデオ速度、スクラビング、およびビデオ同期のより容易でより高度な制御を可能にするタッチコントロールによって再生およびレビュー活動を制御することを可能にする簡略化された動作ワークフロー。
-一般的なタッチスクリーン対応デバイス以外のサイト上の特殊な物理的機器を必要とせずに、オペレータが再生制作を制御し、構成し、実行することを可能にする低レイテンシの完全なクラウド動作。
-システムがほとんど任意のソースを取り込み、そのソースを再生動作のためにどこでも利用可能にすることを可能にする複数フォーマットサポートを有するフレキシブルビデオインジェスト。
-モバイルデバイス、リモートデバイスまたはデスクトップデバイスから提示および制御されている複数のビデオソースのフレーム精度同期。
-再生システムからのデータおよびビデオを利用して、大きなプロダクションソリューションにネイティブ統合する能力(その結果、ビデオキャプチャは、すべてのダウンストリームプロダクションワークフローを可能にするために一度だけ行われる必要がある。)
【課題を解決するための手段】
【0007】
本発明は、複数のビデオストリームにわたってビデオ機能を制御するための方法およびシステムに関する。特に、本発明は、クラウドベースのビデオのレビュー、編集、制御および操作のためのユーザインターフェース、ならびに対応する方法に関する。
【0008】
本発明による複数のビデオストリームにわたってビデオ機能を制御するための方法の1つの例示的な実施形態では、本方法は、イベントにおいて、対応する複数のビデオソースを介して複数のビデオストリームを記録するステップ(複数のビデオストリームが互いに時間的に同期される)と、複数のビデオストリームを表示装置上に表示するステップと、表示装置のタッチスクリーンを介して複数のビデオストリームのうちの1つまたは複数を選択するステップと、選択された1つまたは複数のビデオストリームを再生のために表示装置上に提示するステップと、表示装置のタッチスクリーン上の1つまたは複数の指ジェスチャを介して、選択された1つまたは複数のビデオストリームの各々のビデオ機能の制御を可能にするステップとを含んでもよい。ビデオ機能は、ビデオ選択、再生、一時停止、早送り、巻き戻し、ズーム、フォーカス、シャトル、スクラブ、シーク、コマ送りなどのうちの1つまたは複数を含むことができる。複数のビデオストリームのうちの2つ以上が選択される場合、2つ以上のビデオストリームは、同時にかつ同期して制御され得る。
【0009】
ビデオストリームの各々は、イベントの異なる視野角で記録され得る。
【0010】
1つまたは複数の指ジェスチャは次の一つまたはそれ以上を含んでよい。
-タッチスクリーンの1回のタップが、選択するステップ中にビデオストリームの選択を可能にすること。
-タッチスクリーンのシングルタップが、選択されたビデオの再生と一時停止との間の切り替えを可能にすること。
-1本の指の右へのスワイプが、スワイプの速度に対応する順方向ビデオ再生を伴うフレームごとの順方向スクラブを可能にすること。
-1本の指の左へのスワイプが、スワイプの速度に対応するビデオ再生を伴うフレームごとの逆スクラブを可能にすること。
-1本の指の上方向へのドラッグが、順方向再生の速度の段階的増分の間のトグルを可能にすること。
-1本の指の下方向へのドラッグは、逆方向再生の速度の段階的増分の間のトグルを可能にすること。
-1本の指でホールドして右にドラッグすることにより、ドラッグの長さに対応する速度増分で早送りシャトル再生が可能になること。
-1本の指で保持して左にドラッグすると、ドラッグの長さに対応する巻戻し速度増分で巻戻しシャトルが有効になること。
-2本の指の右へのドラッグが、ドラッグの速度に対応する前進速度で順方向フレーム前進を可能にすること。
-2本の指の左へのドラッグが、ドラッグの速度に対応する前進速度で逆フレーム前進を可能にすること。
-再生中、1本の指の右へのドラッグが、時間の順方向ジャンプを含む順方向シーク機能を有効にすること。
-再生中、1本の指の左へのドラッグが、時間における後方ジャンプを含む後方シーク機能を有効にすること。
【0011】
1つまたは複数のビデオストリームが2つ以上のビデオストリームを含むとき、本方法は、表示装置上に、タイル化モードで2つ以上のビデオストリームを表示するステップ(タイルモードの各タイルが単一のビデオストリームを表示する)をさらに含み得る。
【0012】
タイルモードでは、1つまたは複数の指ジェスチャは以下の一つ以上を含む。
-ビデオストリームのうちの1つを表示する選択されたタイルの2本指のタップが、選択されたタイルのビデオストリームのみを示すフルスクリーンフォーカスモードに入ることを可能にすること。
-フルスクリーンフォーカスモード中の2本指ピンチが、前記ビデオストリームのためのズームアウト機能を有効にすること。
-前記フルスクリーンフォーカスモード中の2本指の広がりが、前記ビデオストリームのズームイン機能を有効にすること。
-ズームイン及びズームアウト機能の間の2本指のスライド動作が、視聴されているビデオストリームのエリアの再配置及び再焦点合わせを可能にすること。
【0013】
フォーカスモード、ズームイン機能およびズームアウト機能は、ビデオ再生または一時停止中に有効にされ得る。
【0014】
複数のビデオストリームは、複数のページ上の複数のタイルに表示され得る。
【0015】
1本の指でスワイプすることにより、タイルの複数のページ間の切り替えが可能になる。
【0016】
早送りは、タッチスクリーン上での時計回りのホイールの動きによっても可能にされ得る。
【0017】
巻き戻しは、タッチスクリーン上での反時計回りのホイールの動きによっても可能にされ得る。
【0018】
表示装置は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、専用ユーザインターフェースまたはタッチスクリーン能力を有する他のワイヤードもしくはワイヤレスコンピュータデバイスのうちの1つを備え得る。
【0019】
1つまたは複数のビデオソースは、ビデオカメラ、テレビカメラ、スマートフォン、タブレットコンピュータ、ラップトップコンピュータまたはビデオ機能を有する他の電子デバイスのうちの1つまたは複数を備え得る。
【0020】
本方法は、処理およびキャプチャシステムにおいて複数のビデオストリームを受信するステップをさらに含んでもよい。複数のビデオストリームは、処理およびキャプチャシステムから表示装置に通信され得る。指ジェスチャに対応するコマンドは、表示装置から処理およびキャプチャシステムに通信される。処理およびキャプチャシステムは、表示装置への配信および表示装置上での表示のために、ビデオストリーム上でコマンドを実行する。
【0021】
本発明はまた、複数のビデオストリームにわたってビデオ機能を制御するための装置およびシステムを包含する。例示的な一実施形態では、システムは、イベントにおいて対応する数の複数のビデオストリームを記録するための複数のビデオソースを含むことができ、複数のビデオストリームは、互いに時間的に同期される。本システムはまた、複数のビデオストリームを表示するための表示装置と、複数のビデオソースから複数のビデオストリームを受信し、複数のビデオストリームを表示装置に配信し、表示装置から受信したコマンドを実行するための処理およびキャプチャシステムとを備えてもよい。表示装置は、再生のために複数のビデオストリームのうちの1つ以上を選択するためのタッチスクリーンインターフェースを備えてもよい。タッチスクリーンインターフェースは、表示装置のタッチスクリーン上での1本以上の指ジェスチャを介して、選択された1つ以上のビデオストリームの各々のビデオ機能の制御を可能にする。コマンドは、指ジェスチャに対応する。処理およびキャプチャシステムは、表示装置への配信および表示装置上での表示のために、ビデオストリーム上でコマンドを実行する。ビデオ機能は、ビデオ選択、再生、一時停止、早送り、巻き戻し、ズーム、フォーカス、シャトル、スクラブ、シーク、フレーム前進などのうちの1つまたは複数を備え得る。複数のビデオストリームのうちの2つ以上が選択される場合、2つ以上のビデオストリームは、同時にかつ同期して制御される。
【0022】
本発明のシステム及び装置は、上述した方法の実施形態の様々な特徴を含むこともできる。以下、添付図面を参照して本発明を詳細に説明する。本発明は、同様の参照番号が同様の要素を示す添付の図面に関連して以下に説明される。
【図面の簡単な説明】
【0023】
【
図1】
図1は従来技術のビデオ再生の例を示す図である。
【
図2】
図2は、本発明によるビデオコンテンツを操作するためのシステムの例示的実施形態を示す。
【
図3】
図3は、本発明によるビデオソースを選択するために使用される指ジェスチャの例示的実施形態を示す。
【
図4】
図4は、本発明によるビデオ再生制御の例示的な実施形態を示す。
【
図5】
図5は、本発明によるフォーカスモードで使用される指ジェスチャの例示的実施形態を示す。
【
図6】
図6は、本発明による視聴モードの例示的な実施形態を示す。
【発明を実施するための形態】
【0024】
以下、本発明を詳細に説明する。以下の詳細な説明は、例示的な実施形態のみを提供するものであり、本発明の範囲、適用性、または構成を限定することを意図するものではない。むしろ、例示的な実施形態の以下の詳細な説明は、本発明の実施形態を実施するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載される本発明の思想および範囲から逸脱することなく、要素の機能および構成において様々な変更を行うことができることを理解されたい。
【0025】
本発明は、タッチベースのビデオ再生アプリケーションにおいてコンテンツを容易にナビゲートし、選択し、スクラビングし、レビューするためのメカニズムに関する。本発明は、ビデオフレームに正確なビデオコンテンツをスクロールするために、指または親指で行われるビデオ画面上の方向スワイプなどの様々なタッチジェスチャの使用を可能にする。例えば、細長い垂直ジェスチャは、長時間のビデオを通して迅速なスクロールを可能にし得る。水平方向の1本指ジェスチャは、コンテンツのフレームごとのスクラブを可能にし得る。2本又は3本の指のタップは、コンテンツのカスタマイズ可能な数秒の巻き戻しおよび早送りを可能にし得る。そのような指スワイプ機構は、ビデオコンテンツのより高速な識別、再生開始時間のより迅速な位置特定、および単一の指操作によるマルチカメラ同期ビデオ再生のロバストなナビゲーションを可能にする。これらのタッチジェスチャは、モバイル制御デバイスのオペレーティングシステムに固有であることに留意されたい(例えば、ページをめくるまたはスクロールするためのApple(登録商標)およびiOS(登録商標)の指スワイプなど)。 本発明は、これらのジェスチャを利用して、
図1に示されるような従来技術のカーソル、制御ボタン、および/またはメニューよりも、ビデオ再生を制御するためのより良い代替案を提供する。
【0026】
図2は、本発明による、複数のビデオストリームにわたってビデオ機能を制御するためのシステムの例示的実施形態を示す。
【0027】
システム102は、Software as a ServiceオファリングとしてTVUネットワークによってホストされ動作されるものなど、クラウドマイクロサービスのセットからなる。このシステムは、本発明のサービス側を構成する既存のTVUネットワーク特許技術を含む。クラウドベースのビデオ生成アプリケーションは、「Remote(登録商標)」と題された共同所有の米国特許第10,966,001号に説明されるような特徴および機能を含み得る。
【0028】
ネットワーク遅延が存在する環境におけるクラウドベースのビデオ生成システムであって、Systems and Methods for Real Time Control of A Remote Video Production With Multiple Streamsと題された共同出願の同時係属中の米国特許第11,463,747号に記載されており、その各々は、あらゆる目的のために参照により本明細書に組み込まれ、本明細書の一部をなす。
【0029】
複数のビデオソース100は、イベントにおいて対応する数の複数のビデオストリーム101を記録するために提供され、複数のビデオストリーム101は、互いに時間的に同期される。表示装置104は、複数のビデオストリーム101を表示するために提供される。処理及びキャプチャシステム102は、複数のビデオソースから複数のビデオストリーム101を受信し、複数のビデオストリーム101を表示装置104に配信し、表示装置104から受信したコマンドを実行するために提供される。表示装置104はエンドユーザ装置であり、複数の表示装置104が本発明に従って提供されてもよい。
【0030】
表示装置104は、再生のために複数のビデオストリーム101のうちの1つ以上を選択するためのタッチスクリーンインターフェース110を備える。タッチスクリーンインターフェース110は、表示装置のタッチスクリーン110上での1つ以上の指ジェスチャを介して、選択された1つ以上のビデオストリーム101の各々のビデオ機能の制御を可能にする。コマンドは、指ジェスチャに対応する。処理及びキャプチャシステム102は、ディスプレイ装置104への配信及び表示のために、ビデオストリーム101に対してコマンドを実行する。
【0031】
ビデオ機能は、ビデオ選択、再生、一時停止、早送り、巻き戻し、ズーム、フォーカス、シャトル、スクラブ、シーク、およびフレーム前進のうちの1つまたは複数を含む。複数のビデオストリーム101のうちの2つ以上が選択される場合、2つ以上のビデオストリームは、同時にかつ同期して制御される。
【0032】
各ビデオストリーム101は、イベントの異なる視角で記録されてもよい。
【0033】
表示装置104のタッチスクリーンインターフェース110は、iOS(登録商標)もしくはAndroid(登録商標)デバイス上で実行されるネイティブモバイルTVUネットワークアプリケーションとして提供されるか、またはデスクトップウェブブラウザ上で実行されるTVUネットワークウェブサービスによってサービスされる。制御デバイス104上で実行されるアプリケーションは、処理およびキャプチャシステム102によって提供されるコンテンツ(ビデオ)を提示するソフトウェアを含む。表示装置104からのジェスチャは、表示装置104上で実行されるソフトウェアによって解釈され、対応するコマンドがソフトウェアに通信される。
【0034】
処理およびキャプチャシステム102は、要求に応答して配信する(例えば、ビデオが一時停止されている間にタッチスクリーンインターフェース110上で指を右にスライドさせると、表示されているソースのビデオの次のフレームを同期して配信するようにシステムに要求する)。
【0035】
システムは、クラウドベースのビデオ制作アプリケーション102へのキャプチャのために複数のビデオストリーム101の取得を可能にするサービスを可能にし、このアプリケーションは、すべてのインバウンドビデオストリーム101の復号および同期を処理する。インバウンドビデオストリーム101は、入力モジュール105でキャプチャされる。ワークフローサービスモジュール106は、様々なモジュール105、107、108、109の管理を提供して、表示装置104からユーザによって選択されたビデオストリーム101のプレゼンテーションを編成し、ディスパッチし、出力する。
【0036】
ワークフローモジュール106は、主に、(インバウンドビデオストリーム101の)トラフィックを記録サービスモジュール107に向けるタスクと、表示装置104上での出力および提示のために再生サービスモジュール108に対して行われる参照アクションとを処理する。記録サービスモジュール107は、インバウンドビデオストリーム101をキャプチャし、時間同期性を保持/保証する、すなわち、すべてのインバウンドビデオストリーム101がそれぞれのタイムスタンプを含み、ユーザが完全に同期された記録のマルチビューを有することを保証するために、取り込みおよび再生中にすべてが保存されることを保証する(たとえば、バスケットボールコートのワイドショットと、時間的に同じインスタンスのネットソースの背後とが、そのイベントが発生したのと同時に表示装置104上で一緒に同期して再生される)。
【0037】
表示装置104は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、専用ユーザインターフェースまたはタッチスクリーン能力を有する他の有線もしくは無線コンピュータデバイスのうちの1つを備え得る。
【0038】
本発明の一態様は、この時間精度、同期、および発生したばかりのイベントのほぼリアルタイムの視聴のユーザへの提示、ならびに複数の選択された視点(カメラアングル/ソース)を同時にレビュー(ビデオ再生)および制御する能力を保証する技術である。
【0039】
ビデオストリームのソース100は、1つまたは複数のビデオカメラ、テレビカメラ、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、またはビデオ符号化および送信が可能な他のデバイスを備え得る。ビデオストリーム101は、複数のインバウンドビデオストリーム101を処理するクラウドベースの処理およびキャプチャシステム102において受信される。
【0040】
複数のソースの同期再生を制御するためにユーザ表示装置(複数可)104のタッチスクリーン110上で入力される指スワイプジェスチャの形態でユーザコマンドを実行することを可能にするために、複数のソースをキャプチャ(記録)し、表示装置104に同時に同期して提供する。表示装置104は、同じイベントの複数のカメラビュー100(ソース)からのビデオストリーム101を、例えば、各カメラビューが同じイベントの異なる視野角を示し得るグリッドまたはタイル520フォーマット(
図6に示されるような)で表示するタッチスクリーンユーザインターフェース110を含む。例えば、スポーツイベントの複数のカメラビューである。
【0041】
ユーザは、すべて様々な1本指ジェスチャを介して、再生を制御し、ソースを選択および編成し、および/または表示装置104上のより近い(フルスクリーン)レビューのために特定の視点(ソース)にフォーカスすることができる。
【0042】
各ビューからのビデオコンテンツの表示は、表示装置104上で、各選択されたビデオストリーム101が異なる角度からの同じ瞬間を示すように、(例えば、ビデオタイムスタンプを使用して)時間的に同期されるものとする。ユーザは、表示装置104上で3つの主要な活動を実行することができる。
図3ないし
図6に示されるように、ビデオコンテンツを制御するためのいくつかの例示的な指ジェスチャは、以下のようにフォーマットされ得る。
【0043】
1.
図3に示すように、ユーザは、複数のビデオストリーム101のうちのどれを表示装置104上に表示させるかを選択することができる。
a.多数のビデオストリーム101のタイルの提示から、ユーザは、ソースの選択にわたってスワイプ/ブラウズ207し、対応するタイル上で1回の指タップ201を用いて所望のビデオストリーム101を選択することができる。
b.ビデオストリーム101の選択が完了すると、2本指の上または下へのスワイプ210は、ユーザを選択されたビデオストリームのグリッドスクリーンと再生視聴モード(
図6に示されるような)との間で移動させ、選択されたビデオストリームは、選択されたビデオストリーム101の数に従ってタイルモード520レイアウトで再生のために提示される。
【0044】
2.
図6に示すように、視聴モードにおける選択されたビデオストリーム101のビデオ再生の制御は、(
図4に示すような)様々な1本の指のジェスチャを介して達成される。
a.タッチスクリーン110の1本の指のタップ405は、選択されたビデオの再生と一時停止とを切り替える。
b.左/右への1本の指のドラッグ406は、順方向/逆方向にスクラブするフレームビデオごとにビデオ再生をナビゲートし、順方向/逆方向ビデオ再生はスワイプの速度に対応する。
c.再生中の1本の指の上方/下方へのドラッグ408は、速度の段階的増分で再生速度を順方向/逆方向に切り替える。表示装置104から指を離すと、再生はその速度で継続される。代替的に、早送り/巻き戻しは、タッチスクリーン上の時計回り/反時計回りのホイールの動きによっても有効にされ得る。
d.再生中の左/右への1本の指のドラッグ409は、時間的に前方/後方にシークする(すなわち、ドラッグの長さに対応する別の時間位置へクイックジャンプする)。
e.1本の指でホールドして右/左410にドラッグすると、ドラッグの長さに対応する速度増分で早送り/巻き戻しシャトル再生が可能になる。
f.右/左411への2本の指のドラッグは、ドラッグの速度に対応する前進速度で順/逆フレーム前進を可能にする。
【0045】
図5に示されるように、クローズアップレビュー/再生のためのソースへのフォーカスは、以下のように達成され得る。
g.タイルモード520において、ユーザは、フルスクリーンフォーカスモード521(
図6)に入るために特定のソース(タイル)上で2本の指のタップ302によってフォーカスモードに入ることができる。
h.フォーカスモードでは、2本指のピンチ/スプレッド303は、ビデオフレーム(例えば、ズームビュー522)におけるズームアウト/ズームインを可能にする。
i.ズームされたビューから、ユーザは、2本の指のスライド動作304を使用してビデオフレームのエリア上に再位置決め/再焦点合わせすることができる(例えば、フォーカスビュー523)。
j.上記フォーカスモードの全ては、再生/一時停止モードの両方で利用可能である。
【0046】
タイル上に指をタッチして保持し、それを所望の位置にドラッグすることによって、タイルは表示装置104上で再配置することができる。
【0047】
ピクチャインピクチャ機能は、表示装置104上のデフォルト設定として自動的に有効化され得る。
【0048】
指ジェスチャは、ジェスチャに応じて、タッチスクリーン上の任意の場所、またはタッチスクリーン上の特定のタイル内に適用され得る。
図3に示されるように、タイルを選択するための一回のタップは、選択されているタイル上でなされ得る。
図3に示すページと画面との間のナビゲーションは、画面上の任意の場所で行うことができる。
図4に示されるトランスポート制御ジェスチャは、タッチスクリーン上の任意の場所に適用され得る。
図5に示されるフォーカス制御ジェスチャは、制御ジェスチャの対象であるタイル内に適用され得る。
【0049】
当業者は、制御機能の多くの変形が可能であることを理解するであろう(例えば、1本の指および2本の指のスワイプによって提供される制御機能は、交換されてもよい等)。
【0050】
本発明は、モバイルコンピュータタブレット、ラップトップ、またはスマートフォン上での使用に特に適合される。しかしながら、本発明は、デスクトップコンピュータまたは専用ユーザインターフェース上で実施されてもよい。
【0051】
このようなシステムは、審判員によるスポーツイベントビデオ再生レビュー、ならびにそのようなスポーツイベントに携わるスポーツキャスターによる放送再生およびレビューに特に有益である。
【0052】
ここで、本発明は、再生およびレビューの目的でビデオコンテンツを1本指で操作するための有利な方法、装置およびシステムを提供することを理解されたい。
【0053】
本発明を様々な例示的な実施形態に関連して説明してきたが、特許請求の範囲に記載された本発明の思想および範囲から逸脱することなく、本発明に対して多数の修正および適合を行うことができる。
【外国語明細書】