IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ スリング メディア,インク.の特許一覧

<>
  • 特許-複数のメディアストリームの処理 図1
  • 特許-複数のメディアストリームの処理 図2
  • 特許-複数のメディアストリームの処理 図3
  • 特許-複数のメディアストリームの処理 図4
  • 特許-複数のメディアストリームの処理 図5
  • 特許-複数のメディアストリームの処理 図6A
  • 特許-複数のメディアストリームの処理 図6B
  • 特許-複数のメディアストリームの処理 図6C
  • 特許-複数のメディアストリームの処理 図6D
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-26
(45)【発行日】2022-06-03
(54)【発明の名称】複数のメディアストリームの処理
(51)【国際特許分類】
   H04N 21/854 20110101AFI20220527BHJP
   H04N 21/24 20110101ALI20220527BHJP
   H04N 5/765 20060101ALI20220527BHJP
   H04N 5/91 20060101ALI20220527BHJP
【FI】
H04N21/854
H04N21/24
H04N5/765
H04N5/91
【請求項の数】 10
(21)【出願番号】P 2019206869
(22)【出願日】2019-11-15
(62)【分割の表示】P 2018528960の分割
【原出願日】2016-12-02
(65)【公開番号】P2020043584
(43)【公開日】2020-03-19
【審査請求日】2019-11-15
(31)【優先権主張番号】62/263,080
(32)【優先日】2015-12-04
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】506405585
【氏名又は名称】スリング メディア,エルエルシー.
【氏名又は名称原語表記】SLING MEDIA,LLC.
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(74)【代理人】
【識別番号】100106851
【弁理士】
【氏名又は名称】野村 泰久
(72)【発明者】
【氏名】アブラモフ,アンドレイ
(72)【発明者】
【氏名】ディモフ,ドミトリー
(72)【発明者】
【氏名】リー,チー ジェン ケン
(72)【発明者】
【氏名】ヴリミ,ナガ ヴェンカタ グナナ メヘルカンス
(72)【発明者】
【氏名】エゴロフ,オレクサンドル
【審査官】長谷川 素直
(56)【参考文献】
【文献】国際公開第2015/167739(WO,A1)
【文献】特開2004-343761(JP,A)
【文献】特開2015-162117(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
H04N 7/14-7/15
H04N 5/765
H04N 5/91-5/95
(57)【特許請求の範囲】
【請求項1】
プロセッサとメモリとを含むメディアスタジオを備えたシステムであって、
前記プロセッサが、
記録されるイベントの種類を表わすデータを受信することであって、前記イベントの種類は規則に関連付けられている、ことと、
1つ以上のそれぞれのメディア装置から1つ以上のメディア入力アイテムを受信することであって、前記メディア装置の各々は前記イベントに関連するそれぞれの位置にある、ことと、
前記イベントの進捗を追跡することと、前記イベントの種類に関連付けられた前記規則とに基づいて、次の動作が行われる場所を予測することと、
前記次の動作の前に、前記メディア入力アイテムのうちの1つ以上を含む集約されたメディアアイテムを生成することであって、前記集約されたメディアアイテムは、前記1つ以上のメディア入力アイテムを共通の表示のために結合したものであり、前記集約されたメディアアイテムは、前記予測される次の動作の眺望が提供されるであろう前記メディア装置の少なくとも1つのそれぞれから前記メディア入力アイテムの少なくとも1つが得られるという1つ以上のそれぞれの示唆を含む、ことと、
前記1つ以上のそれぞれの示唆に少なくとも部分的に基づき、前記メディア入力アイテムの前記少なくとも1つを含むようにメディア出力アイテムを生成することと、
を行うようにプログラムされるように、前記プロセッサにより実行可能な命令を前記メモリが格納する、システム。
【請求項2】
前記プロセッサは、少なくとも、記録される前記イベントの種類に基づいて、前記イベント中に前記1つ以上のそれぞれのメディア装置を配置するための、一連の1つ以上のそれぞれの推奨される固定位置の図を生成するよう、更にプログラムされる、請求項1に記載のシステム。
【請求項3】
前記プロセッサは、少なくとも、記録される前記イベントの種類に基づいて、前記1つ以上のそれぞれのメディア装置のための一連の1つ以上のそれぞれの好ましい位置を生成するよう、更にプログラムされる、請求項1又は2に記載のシステム。
【請求項4】
前記プロセッサは、前記イベントの種類に関連付けられた前記規則に基づいて前記メディア出力アイテムを生成するよう、更にプログラムされる、請求項1乃至3のいずれか1項に記載のシステム。
【請求項5】
前記プロセッサは、少なくとも、ユーザ入力を受信することに基づいて、前記イベントの前記進捗を追跡するよう、更にプログラムされる、請求項1乃至4のいずれか1項に記載のシステム。
【請求項6】
前記プロセッサは、前記予測される次の動作の眺望が提供されるであろう前記メディア装置の前記少なくとも1つに関連付けられた前記それぞれの位置に基づいて前記メディア出力アイテムを生成するよう、更にプログラムされる、請求項1乃至5のいずれか1項に記載のシステム。
【請求項7】
前記プロセッサは、少なくともそれぞれのメディア装置の数に基づいて、前記1つ以上のそれぞれのメディア装置についての前記一連の1つ以上のそれぞれの推奨される固定位置を生成するよう、更にプログラムされる、請求項に記載のシステム。
【請求項8】
前記プロセッサは、前記イベントの日時及び天候予報のうちの少なくとも一方に基づいて、前記1つ以上のそれぞれのメディア装置についての前記一連の1つ以上のそれぞれの推奨される固定位置を生成するよう、更にプログラムされる、請求項に記載のシステム。
【請求項9】
前記プロセッサは、少なくとも前記1つ以上のメディア装置の特性に基づいて、前記1つ以上のそれぞれのメディア装置についての前記一連の1つ以上のそれぞれの推奨される固定位置を生成するよう、更にプログラムされる、請求項に記載のシステム。
【請求項10】
前記プロセッサは、前記イベントの場の向き及び絶対的な位置のうちの少なくとも一方に基づいて、前記1つ以上のそれぞれのメディア装置についての前記一連の1つ以上のそれぞれの推奨される固定位置を生成するよう、更にプログラムされる、請求項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
<関連出願のクロスリファレンス>
本出願は、2015年12月4日に出願された米国仮特許出願62/263,080号(整理番号P2015-09-16(01031-0066P)に基づく優先権と全ての利益を主張する。
【背景技術】
【0002】
動画データなどのストリーミング配信されたメディアデータの使用が急激に増加してきている。動画は、教育的目的、スポーツイベントの記録や観戦、個人的な出来事や家族の出来事の共有、不動産の売却などに使用される。防犯カメラや交通監視カメラなどは、1つの位置で収集や及び監視がされ得るメディアデータのストリームを提供する。ビデオカメラを備えたドローンは、動画の生成とストリーミングについてのさらなるプラットフォームを提供する。ユーザは、すぐに見るため、または、後での観賞用に格納するために、入力された複数のデータストリームからのデータを混合して、1つの出力データストリームにすることを希望するかもしれない。
【発明の概要】
【0003】
本発明は、プロセッサとメモリとを含むメディアスタジオを備えたシステムであって、前記プロセッサが、i)記録されるイベントの種類を表わすデータを受信することと、ii
)1つ以上のそれぞれのメディア装置から1つ以上のメディア入力アイテムを受信することと、iii)少なくとも前記イベントの種類の一連の規則に基づいて、前記イベントの進
捗を追跡することと、iv)前記イベントの前記進捗及び前記イベントの種類の前記一連の規則に基づいて、後続の出来事を予測することと、v)前記後続の出来事の前に、前記メ
ディア入力アイテムのうちの1つ以上を含む集約されたメディアアイテムを生成することであって、前記集約されたメディアアイテムは、前記1つ以上のメディア入力アイテムを共通の表示のために結合したものであり、前記集約されたメディアアイテムは、前記予測された後続の出来事の眺望が前記1つ以上のそれぞれのメディア装置に提供されるであろうかどうかの1つ以上のそれぞれの示唆を含む、ことと、vi)メディア出力アイテムに含める、前記集約されたメディアアイテムに含まれた前記メディア入力アイテムのうちの少なくとも1つ、を特定する1つ以上のコマンドを受信することと、vii)前記受信された
1つ以上のメディア入力アイテムに少なくとも部分的に基づき、かつ、記録される前記イベントの種類を表わすデータと、前記1つ以上のそれぞれのメディア装置の1つ以上の各位置とに少なくとも部分的に更に基づいて、前記メディア出力アイテムを生成することと、viii)少なくとも、記録される前記イベントの種類に基づいて、前記イベント中に前記1つ以上のそれぞれのメディア装置を配置するための、一連の1つ以上のそれぞれの推奨される固定位置の図を生成することと、を行うようにプログラムされるように、前記プロセッサにより実行可能な命令を前記メモリが格納する。
【図面の簡単な説明】
【0004】
図1】複数のメディアストリームを取得して、1つの出力メディアストリームに混合する例示的なメディア処理システムのブロック図である。
図2図1のメディアシステムのための例示的なカメラのブロック図である。
図3図1のメディア処理システムのための例示的なオペレータコンソールのブロック図である。
図4図1のメディア処理システムのための例示的なメディアスタジオのブロック図である。
図5】テニスの試合を記録するためのカメラの設置位置と撮影範囲の例を説明するテニスコートの図である。
図6A】座標系の例を含むテニスコートの図である。
図6B】太陽の軌跡の例を説明する図6Aのテニスコートの例の図である。
図6C】第1のカメラの設置位置として好ましい範囲と好ましくない範囲を説明する図6Cのテニスコートの例の図である。
図6D】プレーヤーのベンチを含み、第2のカメラおよび第3のカメラの好ましい設置位置を示す図6Dのテニスコートの例の図である。
【発明を実施するための形態】
【0005】
<システムの概要>
メディアスタジオを含むメディア処理システムは、ユーザがスタジオを実演中のイベントに持っていくことができるようにする。メディアスタジオは、複数のメディア入力情報(メディア入力アイテム;media inputitem)(本明細書では、集約されたメディア情報
(集約されたメディアアイテム)と称する)の同時プレビューなどのプレビュー、複数のメディア入力情報に基づいたメディア出力情報(メディア出力アイテム)の生成、メディア出力情報の共有、および、将来の視聴のためのメディア出力情報の格納の全てを、離れたオペレータコンソールを介して行うことを可能にする。メディアスタジオは、予め決められた規則に基づいて、メディア出力情報のための推奨を生成するように、および/または、メディア出力情報を直接生成するようにプログラムされ得る。なお、本明細書中における「メディア入力情報」、「メディア情報」、「メディア出力情報」という語句は、それぞれ「メディア入力アイテム」、「メディアアイテム」、「メディア出力アイテム」と同じ意味である。
【0006】
メディア入力情報に加えて、メディアスタジオは、例えば、メディア入力を提供するカメラのようなメディア装置に、搭載されているか含まれている1つ以上のセンサ、カメラのユーザなどによって運ばれる他の装置などに含まれている1つ以上のセンサなどのデータ収集装置からデータを受信してもよい。データは、データ収集装置から直接受信され得、または、例えば、メディア入力情報に関連付けられたメタデータを介して、間接的に受信され得る。メディア出力情報に含まれるメディア入力情報の選択は、部分的には、データ収集装置からのデータに基づいていてもよい。
【0007】
様々な種類のデータがメディアスタジオで使用され得る。例えば、データは、カメラのユーザに関連付けられたバイオメトリックデータ(例えば、心拍数、血圧など)を含んでもよく、この情報は、例えば、ユーザの興奮レベルを判定するためなどに使用され得る。他の例として、データは、カメラの安定度、映像のコントラストなど、メディア入力情報の質を示すデータであってもよい。さらに、データは、記録されるイベントの対象物や参加者(例えば、スポーツイベントのプレーヤー、スポーツイベントで使用されるボールなど)に対応付けられた位置情報や移動情報を含み得る。さらに、データは、記録環境に関連したグローバル・ポジショニング・データ、気象データ、光の状態などを含み得る。センサまたはその他のコンピュータ装置などから収集されたその他の種類のデータも、メディア出力情報のコンテンツを選択するため、および/または、メディア出力情報を生成するために使用され得る。
【0008】
メディア出力情報の生成のための予め決められた規則は、1つ以上のデータ収集装置からの入力に基づいて決定を行うことを含み得る。例えば、メディア出力情報に含められるために、メディア入力情報は、所定の範囲の画像コントラストを有する、もしくは、十分に安定している(揺れのレベルが所定の閾値未満)などの品質基準を満たす必要があり得る。メディア出力情報を決定するためのデータ収集装置からのデータの使用については、後で詳しく検討する。
【0009】
図1を参照すると、メディア処理システム10は、移動可能なメディアスタジオ12を含み、1つ以上のメディア装置16からメディア入力データを受信できる。メディア入力データは、1つ以上の有線および/または無線のネットワーク14、ならびに、1つ以上の有線および/または無線の直接の接続を介して受信され得る。メディアデータの受信は、カメラ20などのメディア装置16から送信されたメディアデータの受信を含み得、または、記憶装置23などからデータを取得することを含み得る。さらに、メディアスタジオ12は、1つ以上のデータ収集装置17からデータを受信できる。データ収集装置17は、心拍数モニタ、血圧モニタなどのバイオメトリックセンサ;加速度計、ジャイロスコープなどの動作センサ;グローバル・ポジショニング・システム(GPS)、RFIDタグなどの位置センサ;気圧計、温度計、光センサなどの環境センサ;および、記録されるイベントに関連したデータを提供しうるその他の種類のセンサを含む、様々なセンサを含み得る。データ収集装置17は、さらに、グローバル・ポジショニング・システム(GPS)、天候追跡システム(weathertracking system)などのシステムをさらに含んでもよい。
【0010】
本明細書では、記録イベントは、記録されているイベントに関連する環境、参加者、カメラ20のオペレータ、メディアスタジオ12のオペレータ、オペレータコンソール18のオペレータ、視聴者、観客などを含めた、記録されている実際のイベント(例えば、野球の試合、もしくは、会社のピクニックなど)を称し得る。さらに、データ収集装置17は、データを提供してもよく、また、1つ以上のメディア16に含まれてもよく、例えば、メディア装置16中のコンピュータ装置を介して、データを提供してもよい。
【0011】
メディアスタジオ12は、メディアスタジオ12から離れていても良いオペレータコンソール18によって制御され得、オペレータコンソール18からメディア入力データを受信できる。メディアスタジオ12は、さらに、メディア出力データを生成でき、メディア出力データを、ビューア22などのメディア装置16に提供できる。システム10は、録画(もしくは、録画の一部)が行われている場所で、ユーザがメディア出力データを生成できるようにする。リモートオペレータコンソール18を介してメディアスタジオ12を制御することは、生成処理の監視と制御をしている間の録画位置の移動の自由をユーザに提供する。
【0012】
<例示的なシステム要素>
ここで、図1をさらに詳しく参照すると、メディア処理システム10は、メディアスタジオ12、1つ以上のメディア装置16、1つ以上のデータ収集装置17を含む。1つ以上のメディア装置16は、オペレータコンソール18を含み、さらに1つ以上のカメラ2
0、1つ以上のビューア22、および、1つ以上のメディア記憶装置23を含んでもよい。メディア装置16およびデータ収集装置17は、メディアスタジオ12から離れていてもよく、また、メディアスタジオ12にローカル接続されていてもよい。メディア装置16およびデータ収集装置17は、ネットワーク14及び有線もしくは無線の直接接続82の内の少なくとも1つを介してメディアスタジオ12に接続されていてもよい。
【0013】
サーバ28も、メディアスタジオ12、メディア装置16、および、データ収集装置17に、ネットワーク14を介して通信可能に接続されてもよい。さらに、メディア処理システム10は、メディアスタジオ12に通信可能に接続されているモニタ30を含んでもよい。
【0014】
通常、メディアスタジオ12は、複数のメディア入力情報を実質的に同時に受信でき、それらを結合して、オペレータコンソール18を介して視聴するための1つの集約されたメディア情報にすることができる。本明細書では、「集約されたメディア情報」という語は、タッチスクリーンや、投影もしくは重ね撮りされた画像を伴うスクリーンなどの、ユ
ーザディスプレイ上で実質的に同時に表示されるように配置された一まとまりの2つ以上のメディア入力情報である。メディア入力情報は、ユーザのディスプレイ中で、サイド・バイ・サイド形式、並べた状態(in row)、ピクチャー・イン・ピクチャー形式などで見えるように配置され得る。さらに、集約されたメディア入力情報は、例えば、ユーザのディスプレイに表示され、ユーザからの入力を受け付けるグラフィカル・ユーザインタフェースを含み得る。後述するように、メディアスタジオ12は、集約されたメディア情報を、それをオペレータコンソール18へ提供する前に圧縮できる。
【0015】
メディア入力情報は、ビデオカメラで撮られた動画、マイクで収音された音声、防犯カメラからの光景などの視覚的データ、および/または、音声データであり得る。マイクは、メディア装置16に統合され得、または、メディアスタジオ12と独立して通信可能な単独のメディア装置16であり得る。メディア入力情報は、例えば、ストリームデータ、もしくは、1つのデジタル写真のような静的データであり得る。メディアスタジオ12は、さらに、オペレータコンソール18からの命令を受信でき、受信した命令に従って、メディア出力情報を生成できる。メディア出力情報は、1つ以上のメディア入力情報からのデータを含んでもよい。
【0016】
一例として、メディアスタジオ12は、4つのメディア入力情報を受信してもよい。メディアスタジオ12は、4つのメディア入力情報各々を含む集約されたメディア情報を生成でき、集約されたメディア情報をオペレータコンソール18に送信できる。オペレータコンソール18のユーザは、ユーザインタフェースを介して、メディア出力情報に含められる集約されたメディア情報中の4つの眺望のうちの1つを選択できる。オペレータコンソール18から受信した命令に基づいて、メディアスタジオ12は、選択されたメディア入力情報を含むメディア出力情報を生成しうる。メディア出力情報は、視聴者が共有するため、もしくは、記憶装置23に格納されるためにネットワーク14を介して送信され得る。
【0017】
メディア出力情報に含められる1つ以上のメディア入力情報を選択することに加えて、メディアスタジオ12は、様々なメディア処理動作を行うことができる。メディア処理操作は、オペレータコンソールから受信した命令に基づいて行われ得る。メディアスタジオ12によって行われ得る処理動作の例の非限定的なリストは、拡大縮小、ミキシング、モーフィング、合成、オーバーレイの追加(音声データ、および/または、映像データ)などを含む。さらに、メディアスタジオは、対象追跡、画像安定化などの動作も行い得る。メディアスタジオ12の操作は、後でより詳しく説明する。
【0018】
メディアスタジオ12は、メディア出力情報に含まれるメディア入力情報を例えば、オペレータコンソール18に推薦し、および/または、メディア出力情報を1つ以上の予め決められた規則に基づいて生成するように、さらにプログラムされ得る。予め決められた規則は、例えば、ユーザによって入力されてもよく、または、以前のオペレータの選択に基づいてメディアスタジオ12で学習されてもよい。例えば、メディアスタジオ12のプロセッサ62は、以前の選択に基づいてユーザの好みを学習するようにプログラムされ得るし、ニューラルネットワークなどのハードウェア学習メカニズムを含み得る。規則に基づくメディア出力情報に含めるメディア入力情報の選択の例は、後述する。
【0019】
メディアスタジオ12と、メディア装置16およびデータ収集装置17(集合的にネットワーク装置16、17)の間の通信は、ネットワーク14を介して起こり得るし、有線通信、および/または、無線通信(Bluetooth、IEEE802.11など)などの既知の直接接続82によって起こり得る。一般に、ネットワーク14は、メディアスタジオ12とネットワーク装置16、17の間でメディアコンテンツを届けるための1つ以上のメカニズムを表す。従って、ネットワーク14は、1つ以上の様々な有線通信メカニズムもしくは無線通信メカニズムであり得、有線通信メカニズム(ケーブル、および、
ファイバーなど)、および/または、無線通信メカニズム(セル方式、無線、衛星、マイクロ波、および、無線周波数)、ならびに、任意のネットワークトポロジ(あるいは、複数の通信メカニズムが使用される場合は、複数のトポロジ)の任意の望ましい組み合わせを含む。例示的な通信ネットワークは、無線通信ネットワーク、WiFiネットワークもしくは、イーサネット(登録商標)などのローカルエリアネットワーク(LAN)、および/または、インターネットのような広域ネットワーク(WAN)を含む。
【0020】
1つ以上のネットワーク14に加えて、1つ以上の有線直接接続もしくは無線直接接続が、メディアスタジオ12をメディア装置16に接続するために使用され得る。直接接続は、例えば、Bluetooth、ユニバーサル・シリアル・バス(USB)、高精細マルチメディア・インタフェース(HDMI(登録商標))、カスタム・シリアル・インタフェース(custom serialinterface)などを含み得る。
【0021】
例えば、1つ以上の高精細マルチメディア・インタフェース(HDMI)がメディア装置16とメディアスタジオ12の間のデータ転送、または、メディアスタジオ12からコンピュータもしくはテレビのモニタ30へのデータ転送に使用され得る。HDMIは、メディア装置16などのHDMI準拠の送信装置から、メディアスタジオ12などのデジタルメディア処理装置に、または互換性のあるコンピュータモニタ、例えばモニタ30に、圧縮または非圧縮の映像または音声データを送信するための、特許で保護されたよく知られた音声/映像インタフェースである。
【0022】
サーバ28は、メディアスタジオ12、メディア装置16、および、データ収集装置17と、ネットワーク14を介して通信可能に接続され得る。サーバ28は、ネットワーク14を介して通信するための通信回路を含んでもよく、さらに、メモリと該メモリに格納されたプログラム、すなわち、一連のコンピュータで実行可能な命令を実行するように構成された1つ以上のプロセッサとを含んでもよい。サーバ28は、例えば、メディア出力情報を受信してもよく、将来の使用のために、メディア出力情報を格納してもよい。
【0023】
メディア入力情報、メディア出力情報、および/または、マルチビュー・メディア情報などのメディアコンテンツは、一般に、ネットワーク14を介してデジタル形式(例えば、圧縮された音声データ、および/または、圧縮された映像データ)で配信され、メディアデータおよびメタデータを含んでもよい。例えば、MPEGは、国際標準化機構/国際電気標準会議動画専門家集団(InternationalStandards Organization / International Electrical Commission Moving PictureExperts Group、MPEG)によって一般に広め
られている一連の規格を指す。H.264は、国際電気通信連合(InternationalTelecommunications Union、ITU)によって広められている規格を指す。従って、限定とはな
らない例として、メディアコンテンツは、MPEG-1、MPEG-2、もしくは、H.264/MPEG-4アドバンスト・ビデオコーディング規格(AVC)(現在のところ、H.264およびMPEG-4は一貫性がある)、または、その他の1つ以上の規格に従った形式などの形式で提供され得る。例えば、メディアコンテンツは、MPEG2オーディオレイヤIII(MP3)、アドバンスト・オーディオコーディング(AAC)などの規格に従ってフォーマット化された音声データであり得る。さらに、前述の規格は、一般にメタデータを含めて提供する。
【0024】
メディア装置16は、オペレータコンソール18を含み、1つ以上のカメラ20、1つ以上のビューア22、および、1つ以上の記憶装置23を含み得る。オペレータコンソール18は、メディアスタジオ12の動作を制御するために使用され得るし、いくつかの場合では、以下に記載するように、カメラ20などのメディア入力装置16としても動作しうる。メディア装置16は、さらに、動き、位置などのメディア装置16に関する情報を提供しうるデータ収集装置17(例えば、ジャイロスコープ、加速度計など)を含み得る
【0025】
例示的なカメラ20のブロック図を図2に示す。カメラ20は、メモリ50、および、プロセッサ51、プロセッサ51が実行可能なプログラムコード(すなわち、コンピュータ実行可能な命令)を格納するメモリ50を含み得る。メモリ50は、再生、映像音声フィルタの適用、メディアデータの圧縮や解凍などに使用され得る映像バッファを含む。プロセッサ51は、ユーザインタフェース52、メディアレシーバ54、通信回路56、および、データ収集装置17に、通信可能に接続され得る。カメラ20は、メディアデータ(すなわち、写真や映像などの視覚的データおよび音声データ)を撮像し、メディアデータを例えばネットワーク14を介して、メディアスタジオ12に送信する。カメラ20の例は、スマートフォン、タブレット、ラップトップ、デジタルカメラなどの携帯用の装置を含む。カメラ20の例は、さらに、防犯カメラ、交通監視カメラ、飛行中のドローンによって輸送されるカメラなどを含み得る。
【0026】
メディアレシーバ54は、メディアデータを受信するための1つ以上のデータ受信構成要素を含む。収集されたメディアデータは視覚的データおよび音声データを含み得る。メディアレシーバ54は、例えば、音声データを受信するためのマイク、および、画像データを受信するためのCMOS画像センサもしくはCCD画像センサなどを含み得る。
【0027】
ユーザインタフェース52は、プロセッサ51に通信可能に接続され、ユーザからの入力を受けつけるために、マイク、ボタン、タッチスクリーンディスプレイ、マウス、キーボード、動作認識装置、スイッチなどの1つ以上の入力装置を含み得る。ユーザインタフェース51は、ユーザに情報を伝えるために、ディスプレイ、ランプ、スピーカなどの1つ以上の出力装置をさらに含み得る。
【0028】
データ収集装置17は、カメラ20の操作条件などを決定するために使用され得、加速度計、ジャイロスコープ、露出計などを含み得る。データ収集装置17は、例えば、カメラ20の動き(振動、対象追跡)、カメラ20が指向している方向、カメラ20が稼働している状況の光の状態などを測定するために用いられ得る。データ収集装置17は、さらなる処理のためにメディアスタジオ12にデータを送信し得るプロセッサ51に、データを提供しうる。
【0029】
各品質パラメータ(安定度、コントラスト比など)のために、ユーザは、操作可能間隔を設定することができる。操作可能間隔は、メディア入力情報がさらなる処理に適していることを表すメディア入力情報に関連するパラメータの範囲として定義される。例えば、あるカメラ20の安定度が操作可能間隔内にない場合、そのカメラ20に関連するメディア入力情報は、メディアスタジオ12によるさらなる処理には考慮されなくてもよい。この例の操作可能範囲は、許容可能な振動の振幅であり得る。全ての品質パラメータがそれぞれの得操作可能範囲内である場合、個々のカメラ20、および/または、関連するメディア入力情報に対して、全体の品質パラメータQは、次式で計算される。
【数1】
ここで、iはi番目のカメラ20に対応する指標値であり、Cはi番目のカメラ20に対応する品質特性を表す係数(例えば、専門的なカメラ20は、携帯電話に埋め込まれたカメラ20よりも高い品質特性Cを有するだろう)である。kは画像品質測定の種類の指標値(例えば、k=1は解像度、k=2は輝度、k=3はコントラスト比、・・・、
k=nは安定度である)。CQは、k番目の種類の画像品質測定の相対的な重要性に対する重み因子であり、PQは、k番目の種類の画像品質測定についてのスケーリングされた値である。重み因子CQは、システム設計者かまたはユーザによって設定され得る。PQ値は、異なる種類の画像品質測定kの釣り合いが取れるようにスケーリングされ得る。
【0030】
カメラ20は、例えば、ネットワーク14を介して、もしくは直接接続82を介して、メディアデータをメディアスタジオ12に受信および送信しても良い。受信されたメディアデータは、一例として、解像度が1920ピクセル×1080ピクセルのフル高解像度(フルHD)データであっても良い。他の解像度のデータ形式もまた使用され得る。
【0031】
カメラ20は、さらに、例えば、メディアスタジオ12からデータを受信しても良く、さらに、例えばユーザインタフェース52を介して、カメラ20のユーザにデータを提供しても良い。例えば、以下で論じるように、メディアスタジオ12は、カメラ20から受信されたデータに基づいて、カメラ20の振動が大きすぎる(例えば、予め決められた閾値を超えている)、または、カメラ20から受信したメディア入力情報のコントラストが低すぎる(例えば、予め決められた閾値未満である)と決定しうる。メディアスタジオ12は、このデータをカメラ20に送信し、ユーザインタフェース52上に情報を表示しても良い。
【0032】
ビューア22は、メディアスタジオ12から受信したメディア出力データを表示するために使用され得、液晶ディスプレイ(LCD)もしくはプラズマディスプレイなどのディスプレイを含み得る。メディアデータは、例えば、ネットワーク14を介して、もしくは、直接接続82を介して受信され得る。ビューア22の例は、携帯電話、タブレット、および、ラップトップなどの携帯用の装置を含み、デジタルテレビなどの装置をさらに含み得る。ビューア22は、例えば、1920×1080の解像度を提供するフルHDデータを受信しうる。他の解像度のデータ形式もまた使用され得る。
【0033】
記憶装置23は、メディアデータを格納でき、さらに、メディアスタジオ12にネットワーク14経由や直接接続82経由でのアクセスを許可するインタフェースを提供する。メディア記憶装置は、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリ、電気的プログラマブルメモリ(EPROM)、電気的消去及びプログラマブル(EEPROM)メモリ、組み込み用マルチメディアカード(eMMC、Embedded MultiMedia Card)、ハードドライブなどの1つ以上の種類のデータストレージを含み得る。さらに、記憶装置23は、例えば、メディアスタジオ12からの命令を受信するようにプログラムされたプロセッサも含み得る。プロセッサは、命令に基づいて、メディアデータ情報をデータストレージから取得して、メディアデータ情報をメディアスタジオ12に送信するように、さらにプログラムされ得る。
【0034】
記憶装置23とメディアスタジオ12の間の通信は、ネットワーク14を介して行われ得る。追加的もしくは代替的に、通信は、直接接続82を介して行われ得る。例えば、記憶装置23は、ユニバーサル・シリアル・バス(USB)ポートまたはその他の有線インタフェースもしくは無線インタフェースを介して、メディアスタジオ12に接続され得る。
【0035】
オペレータコンソール18は、メディアスタジオ12の操作を制御するために使用され得る。図3に示すように、オペレータコンソール18は、メモリ40、および、プロセッサ41を含み得、メモリ40は、プロセッサ41によって実行され得るプログラムコード(すなわち、コンピュータで実施可能な命令)を格納する。プロセッサ41は、ユーザインタフェース42、メディアレシーバ44、通信回路46、および、データ収集装置17
と通信可能に接続され得る。
【0036】
ユーザインタフェース42は、プロセッサ41と通信可能に接続され、ユーザからの入力を受けつけるために、マイク、ボタン、タッチスクリーンディスプレイ、マウス、キーボード、動作認識装置、スイッチなどの1つ以上の入力装置を含み得る。ユーザインタフェース42は、ユーザに情報を伝えるために、ディスプレイ、ランプ、スピーカなどの1つ以上の出力装置をさらに含み得る。ユーザインタフェース42の全体もしくは一部は、オペレータコンソール18から物理的に分離され得る。例えば、オペレータコンソール18は、オペレータがタブレットコンピュータからメディアスタジオ12を制御し続けている間、出力を他のスクリーンに投影する(例えば、air-play)タブレットコンピュータであっても良い。
【0037】
メディアレシーバ44は、例えば、メディアデータを受信可能な既知のデジタルカメラであっても良い。メディアレシーバ44は、例えば、視覚的データを受信するためのCMOSイメージプロセッサもしくはCCDイメージプロセッサ、ならびに、音声データを受信するためのマイクを含み得る。メディアデータは、静止画像およびビデオ録画などの視覚的データを含み得るし、さらに、録音やサウンドトラックなどの音声データを含み得る。メディアレシーバ44は、例えば、プロセッサ41にメディアデータを出力しうる。
【0038】
通信回路46は、プロセッサ41に通信可能に接続され、例えば、ネットワーク14、および/または直接接続82を介して、メディアスタジオ12と通信するように構成される。
【0039】
通信回路46は、WiFi通信のための無線周波数(RF)送受信器(典型的には、2.4GHz帯もしくは5GHz帯)を含み得る。RF送受信器は、例えば、メディアスタジオ12に含まれているRF受信器と直接通信し得る。追加的もしくは代替的に、通信回路46は、例えば、イーサネットインタフェース、ユニバーサル・シリアル・バス(USB)インタフェース、Bluetooth(登録商標)送受信器、高精細マルチメディア
・インタフェース(HDMI)などを含み得る。
【0040】
代替的に、通信回路46は、メディアスタジオ12と間接的に、すなわち中間装置を介して、通信し得る。例えば、通信回路46は、他のホットスポット(すなわち、ルータを含む通信回路と、インターネットのような広域ネットワーク(WAN)26への接続を提供するクライアント)と通信しうる。メディアスタジオ12は、WAN26を介した通信を受信し得る。
【0041】
データ収集装置17は、例えば、カメラ20の操作条件を決定するために使用され得、加速度計、ジャイロスコープ、露出計などを含み得る。データ収集装置17は、例えば、オペレータコンソール18の動き(振動、対象追跡)、オペレータコンソール18が指向している方向(例えば、メディアデータ収集装置44が指向している方向)、オペレータコンソール18が稼働している状況の光の状態などを測定するために用いられ得る。データ収集装置17は、例えば、さらなる処理のためにメディアスタジオ12にデータを送信することができるプロセッサ41に、データを提供し得る。メディアスタジオ12に送信されたデータは、生データ(すなわち、センサから直接得られたデータの代表)であり得る。追加的もしくは代替的に、オペレータコンソール18のプロセッサ41は、データへの追加的な処理を行い得る。例えば、プロセッサ41は、データの興奮レベル、品質レベルなどの値を決定でき、決定した値をメディアスタジオ12に提供できる。データは、決定された値を時間の関数として示す動的データであり得る。さらに、オペレータコンソール18のプロセッサ41は、例えば、メディア入力情報中の対象を認識し得るし、音声フィルタリングを行い得るし、さらに、その他のメディア処理操作を行い得る。さらに、プ
ロセッサ41は、これらの操作で得られた結果をメディアスタジオ12に提供し得る。
【0042】
プロセッサ41は、ユーザインタフェース42、データ収集装置44、通信回路46、および、データ収集装置17と通信可能に接続され得る。
【0043】
プロセッサ41は、ユーザインタフェース42を介してユーザから受信した入力に基づいてメディアスタジオ12の操作を制御するためにプログラムされる。より具体的には、プロセッサ41は、1つ以上のカメラ20からの1つ以上の眺望を含む集約されたメディア情報などのメディアコンテンツ情報を受信し、ユーザインタフェース42を介して集約されたメディア情報を表示するようにプログラムされる。プロセッサ41は、ユーザインタフェース42を介したユーザからの入力を受け付けるように、さらにプログラムされる。例えば、ユーザは、集約されたメディア情報を見て、メディアスタジオ12によって生成されるメディア出力情報に含められ眺望のうちの1つを選択できる。プロセッサ41は、選択された眺望をメディア出力情報に含めるために、メディアスタジオ12に命令を送信できる。
【0044】
メディア出力情報中で表示するメディア入力情報の選択に関連した命令に加えて、オペレータコンソール18からの命令は、拡大縮小、ミキシング、モーフィング、合成、オーバーレイの追加などの操作を行うための指示を含み得る。さらに、オペレータコンソール18からの命令は、対象追跡、画像安定化などの操作を行うための指示を含み得る。
【0045】
例示的なメディアスタジオ12を図4に示す。メディアスタジオ12は、内部メモリ60およびプロセッサ62を含み得、メモリ60は、プロセッサ62によって実行され得るプログラムコード(すなわち、コンピュータで実施可能な命令)を格納する。プロセッサ62は、ユーザインタフェース64、ネットワークインタフェース66、補助装置インタフェース58、および、データ収集装置17と、通信可能に接続される。
【0046】
内部メモリ60は、例えば、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリ、電気的プログラマブルメモリ(EPROM)、電気的消去及びプログラマブル(EEPROM)メモリ、組み込み用マルチメディアカード(eMMC)、ハードドライブなどであってもよく、プロセッサ62によって実行可能なプログラムの格納に使用され得るし、さらに、例えば、ユーザからの入力を表わすデータ、オペレータコンソール18から受信した指示、離れたメディア装置16から受信したメディアデータ、メディアメタデータ、データ収集装置17によって収集されたデータなどの格納にも使用され得る。
【0047】
ユーザインタフェース64は、コンピュータ62に通信可能に接続され、ユーザに情報を伝えるために、ディスプレイ、ランプ、スピーカなどの1つ以上の出力装置を含み得る。ユーザインタフェース64は、ユーザからの入力を受けつけるために、ボタン、マイク、タッチスクリーンディスプレイ、マウス、キーボード、動作認識装置、スイッチなどの1つ以上の入力装置をさらに含み得る。
【0048】
ネットワークインタフェース66は、ネットワーク14への1つ以上のインタフェースを含む。例えば、ネットワークインタフェース66は、WiFi通信のための既知のホットスポットを含み得る。ホットスポットはルータを含み得る。ルータは、WiFi通信のための無線周波数(RF)送受信器(典型的には、2.4GHz帯もしくは5GHz帯)を含み得るし、さらに、複数の通信を実質的に同時に受信できる。ルータは、メディアスタジオ12のプロセッサ62を有するメディア装置16に接続しうる。
【0049】
さらに、ネットワークインタフェース66は、インターネット・サービス・プロバイダ
(ISP)へのリンクを含み得る。リンクは、例えば、衛星通信もしくはケーブルネットワークなど、インターネット・サービス・プロバイダに接続して通信するためのメカニズムである。リンクは、衛星通信(例えば、Ka帯(18.3~30GHz)での通信)のための送受信器とアンテナを含み得る。ISPへのリンクは、ネットワーク14を介して、メディア装置16およびデータ収集装置17などからのインターネットプロトコル(IP)通信を受信し得る。
【0050】
メディアスタジオ12のプロセッサ62とのメディア装置16の接続に加えて、メディア装置16にインターネットへのアクセスを提供するために、ルータとインターネットクライアントが合わせて用いられ得る。
【0051】
補助装置インタフェース68は、例えば、1つ以上のメディア装置16に接続するために使用され得る1つ以上の有線インタフェース回路もしくは無線インタフェース回路を含み得る。メディア装置16は、例えば、1つ以上の記憶装置23を含み得る。補助装置インタフェース68は、メモリスティックもしくはメモリバックアップ装置などの外部のUSB装置と通信するためのユニバーサル・シリアル・バス(USB)インタフェース回路を含み得る。他の例として、補助装置インタフェース58は、マイクロSD(MicroSD)
データカードにデータを格納し、マイクロSDデータカードからデータを取得するための既知のマイクロSDインタフェースを含み得る。さらに、補助装置インタフェース68は、メディア装置16への無線接続のための例えば、Bluetoothインタフェースを含み得る。補助装置インタフェース68は、データ収集装置17との接続にも使用され得る。
【0052】
さらに、メディアスタジオ12は、カメラ20、モニタ30(図1に示すような)などのメディア装置16と接続するために、高精細マルチメディア・インタフェース(HDMI)を含み得る。
【0053】
メディアスタジオ12のプロセッサ62は、一般に、1つ以上のメディア入力情報を1つ以上のメディア装置16から受信するようにプログラムされる。メディアスタジオ12のプロセッサ62は、いくつかの場合では、集約されたメディア情報を生成する。集約されたメディア情報は、例えば、2つ以上のメディア入力情報が同時に表示されるピクチャー・イン・ピクチャー(PIP)表示(サイド・バイ・サイド形式など)を、集約されたメディア情報中に含み得る。メディアスタジオ12は、ネットワーク14を介して、集約されたメディア情報をオペレータコンソール18に送信し得る。
【0054】
メディアスタジオ12のプロセッサ62は、オペレータコンソール18から命令を受信するように、さらに、プログラムされる。命令に基づいて、メディアスタジオ12はメディア出力情報を生成できる。プロセッサ62は、メディア出力情報に含めるために、1つ以上のメディア入力情報からデータを選択できる。メディアスタジオ12は、さらに、オペレータコンソール18からの命令に基づいて、拡大縮小、ミキシング、モーフィング、合成、オーバーレイの追加、特定の人物もしくは対象の追跡、スマートタギングなどのメディア出力情報の生成に関連した様々なメディア処理操作を行うことができる。
【0055】
さらに、メディアスタジオ12は、メディア出力情報を生成するために予め決められた規則に基づいたメディア処理操作を行うことができる。規則の例は、後で説明する。
【0056】
メディアスタジオ12のプロセッサ62は、例えば、ビューア22、オペレータコンソール18、および/または、他の表示装置に、メディア出力情報を出力することができる。追加的もしくは代替的に、メディアスタジオ12は、例えば、サーバ28又は記憶装置23に、メディア出力情報を出力しても良く、メディア出力情報は将来使用される。メデ
ィアスタジオ12のプロセッサ62によって行われうる様々な処理を以下で説明する。
【0057】
<処理>
〔1つ以上の入力メディア情報からの出力メディア情報の生成〕
一般に、メディアスタジオ12のプロセッサ62は、1つ以上のメディア入力情報を1つ以上のメディア装置16の各々から受信するようにプログラムされる。メディア入力情報は、前述のように、例えば、ネットワーク14を介して、もしくは、直接接続82を介して、受信され得る。メディア入力情報は、圧縮されたデータであっても良く、または、圧縮されていないデータであっても良い。データの圧縮に使用され得る圧縮規格の例は、H.264/MPEG4、MPEG1、MPEG2、および、アドバンスト・オーディオコーディング(AAC)を含む。さらに、様々な解像形式がデータに使用され得る。例えば、フル高解像度データは、1920×1080の解像度を提供し得る。他の解像度もまた、メディアスタジオ12で処理され得る。
【0058】
メディア入力情報を受信すると、プロセッサ62は、更なる処理のためのメディア入力情報を準備するために、メディア入力情報を解凍する。複数のメディア入力情報の間でのレイテンシを補償するために、プロセッサ62は、メディア入力情報の時間同期用にさらに、プログラムされ得る。時間同期は、例えば、解凍処理の間に行われうる。
【0059】
メディア入力情報に基づいて、プロセッサ62は、集約されたメディア情報を生成して、集約されたメディア情報をオペレータコンソール18に転送するようにプログラムされ得る。集約されたメディア情報は、タッチスクリーンなどのユーザのディスプレイ上に実質的に同時に表示されるように準備された、1つ以上のメディア入力情報を含み得る。メディア入力情報は、ディスプレイ中で、サイド・バイ・サイド形式、並べた状態(in row)、ピクチャー・イン・ピクチャー形式などで見えるように配置され得る。さらに、集約されたメディア入力情報は、例えば、ユーザのディスプレイに表示され、ユーザからの入力を受け付けるグラフィカル・ユーザインタフェースを含み得る。プロセッサ62は、集約されたメディア情報を圧縮しても良く、その後、集約されたメディア情報を、ネットワーク14や直接接続82を介して、オペレータコンソール18に送信できる。
【0060】
プロセッサ62は、メディア入力情報とオペレータコンソール18から受信した命令に基づいて、メディア出力情報を生成するように、さらにプログラムされ得る。プロセッサ62は、メディア出力情報に含めるための1つ以上のメディア入力情報を選択するために、オペレータコンソール18から命令を受信することができる。さらに、プロセッサ62は、スイッチング、ミキシング、合成、拡大縮小、モーフィングなどの映像処理操作や音声処理操作を行うために、命令を受信することができる。
【0061】
メディア出力情報を生成すると、プロセッサ62は、視聴のために、1つ以上のメディア装置16にメディア出力情報を送信しても良い。プロセッサ62は、さらに、メディア出力情報を今後の使用のために格納しても良い。メディア出力情報の送信、および/または、格納の前に、プロセッサ62は、さらに、データを圧縮、および/または、暗号化しても良い。
【0062】
オペレータコンソール18からの命令の受信に加えて、プロセッサ62は、さらに、以下で説明するように、1つ以上の予め決められている規則に基づいて、動画処理操作を行うようにプログラムされても良い。
【0063】
〔興奮レベルに基づいたメディア出力情報に含めるための入力データの選択〕
メディアスタジオ12のプロセッサ62は、メディア入力情報に関連付けられている興奮レベルに基づいて、メディア出力情報に含めるためのメディア入力情報を選択しても良
い。興奮レベルは、データ収集装置17から受信した1つ以上の種類のデータに基づいて決定され得る。
【0064】
データは、例えば、メディア入力情報を生成しているメディア装置16のユーザのバイオメトリックセンサデータを含み得る。例えば、1つ以上のデータ収集装置17がメディア装置16のユーザに関連付けられ得る。データ収集装置17は、例えば、ユーザの心拍数、ユーザの血圧、ユーザの瞳孔拡張などを測定でき、バイオメトリックデータをメディアスタジオ12のプロセッサ62に送信できる。プロセッサ62は、バイオメトリックデータに基づいて、例えば、ユーザの脈拍および/または血圧が上昇するとユーザが興奮していると決定できる。
【0065】
興奮値は、特定のカメラ20に関連付けられたデータ収集装置17(例えば、カメラ20に含まれているか、または、カメラ20のユーザに添付されている)から収集され得る。総合的な興奮パラメータEiは、(例えば、カメラ20、録画領域の位置、録画領域の一部に近い位置などに対応付けられた)各データ収集装置17について計算される。
【数2】
ここで、iはi番目のデータ収集装置17に対応付けられた指標であり、Dはi番目のデータ収集装置17に対応付けられた全体的な修正係数である。kはk番目の種類の興奮測定(例えば、k=1は血圧、k=2は脈拍、k=3は瞳孔拡張、・・・、k=nは喝采もしくは拍手を表わす手の速度である)に対応付けられた指標である。DQは、k番目の種類の興奮測定に対応付けられた特定の修正係数であり、EQは、k番目の種類の興奮測定についてのスケーリングされた値である。全体的な修正係数Dは、真の興奮値に相当する期待される興奮値を生成するために、i番目のデータ収集装置17から得られたデータが、どの程度調整されるべきであるか(例えば、イベントの後に1人以上の専門家が興奮レベルを評価するための尺度(スケール)を決定したときの歴史的な計算値)を表わす。特定の修正係数DQは、心拍数、血圧などの個々の興奮パラメータの性質を説明するために使用され得る。例えば、全体的な修正係数D、および、特定の修正係数DQは、3つの状態(すなわち、ユーザが刺激の少ない環境で休んでいるときの第1の状態、セリーナ・ウィリアムズがテニスコートに現れたときの第2の状態、および、サービスエースが取られたときの第3の状態)におけるユーザのバイオメトリックデータを測定し、かつ、これらの値を一般集団での同様の測定の全体的な値と比較することにより、決定される。メディアスタジオ12(もしくは他のコンピュータ装置)のプロセッサ41は、個々の種類の興奮測定kに対する特定の修正係数DQを、これらの3つの条件での測定に基づいて決定できる。追加的もしくは代替的に、例えば、歴史的データなどのその他のデータも使用され得る。EQは、異なる種類の興奮測定kの釣り合いが取れるようにスケーリングされる。
【0066】
他の例として、興奮測定kは、メディア装置16に関連付けられた移動データをさらに含み得る。例えば、メディア装置16は、試合(もしくはプレーヤー)を追いかけるために、スポーツイベントの間に速く移動しうる。
【0067】
さらに他の例として、興奮測定kは、メディア装置16に関連付けられたマイクが受信した例えば観客の喝采もしくは拍手を含んでも良い。例えば、メディア装置16は、自転車レースに対応付けられたコースの部分を記録していても良い。自転車がコースのその部分に近づいてくると、観客は応援を始めうる。プロセッサ62は、歓声を含むデータを受
信して、例えば、音量および/または他の既知の音声認識技術に従って、コースのうちのメディア装置16によって記録されている領域で、レースが刺激的になっていると決定できる。
【0068】
プロセッサ62は、さらに、異なる種類の興奮の間で区別するように、プログラムされ得る。例えば、既知の音声認識技術を用いて、プロセッサ62は、赤ちゃんの鳴き声を識別するようにプログラムされても良い。プロセッサ62は、泣き声をフィルタで取り除くことができる。代替的に、プロセッサ62は、泣き声に基づいて、泣き声が含まれていない異なるメディア入力情報を、メディア出力情報中の表示用に選択することができる。
【0069】
他の実施例として、プロセッサ62は、上昇した興奮レベルを、メディアデータ中に含まれている画像に基づいて、識別することができる。例えば、既知の画像分析技術を用いて、プロセッサ62は、視界中を速く通過するボールもしくはプレーヤーなど、画像中での速い動きを検出し得る。他の例として、メディア装置16は、観客を録画しても良く、プロセッサ62は、多数の人が立ち上がっているときを検出し得るし、既知の顔認証技術に基づいて、観客の顔の興奮した表情を検出できる。
【0070】
メディアスタジオ12のプロセッサ62は、1つ以上のこれらの興奮測定kに基づいて、メディア出力情報中で表示する特定のメディア入力情報を選択する。オペレータコンソール18を活動中のユーザが操作している場合、プロセッサ62は、特定のメディア入力情報をユーザが選択するように推薦できる。例えば、プロセッサ62は、オペレータコンソール18に送信された集約されたメディア情報中のメディア入力情報を、強調することができる。
【0071】
〔ブランクもしくは偶発的録画のメディア出力情報からの除去〕
メディアスタジオ12のプロセッサ62は、ブランクであるメディア入力情報、もしくは、偶発的に録画されたように見えるメディア入力情報を特定するようにプログラムされ得る。例えば、カメラのオペレータは、カメラ20が録画中であることを忘れて画像取得装置を地面、太陽などに向ける可能性がある。プロセッサ62は、例えば、カメラ20上のデータ収集装置17から、カメラ20が地面に向けられていることを示すデータを受信し得る。追加的もしくは代替的に、プロセッサ62は、地面の画像を認識でき、地面の画像は録画されているイベントに関連しないと判定でき、地面の画像をメディア出力情報から除去することができる。
【0072】
他の例として、オペレータはカメラ20の電源を切るのを忘れて、カメラをオペレータのポケットに入れる可能性がある。カメラ20上のデータ収集装置17は、例えば、カメラが暗い環境にあることを検出でき、そのデータをプロセッサ62に提供できる。代替的に、プロセッサ62は、カメラ20から受信したメディア入力情報が完全な黒であることを検出できる。暗い環境にあることを示すデータ、および/または、画像データに基づいて、プロセッサ62は、カメラ20からのメディア入力情報を、更なる処理を行う対象から除去することを選択できる。
【0073】
過剰なカメラ20の振動、周囲の光が強いなどのその他の条件も、画像を更なる処理の対象から除去するために使用され得る。
【0074】
〔規則およびイベントに関連した競技場の種類に基づいた、メディア出力情報に含めるメディア入力情報の選択〕
メディアスタジオ12のプロセッサ62は、規則およびイベントに関連した競技場の種類に基づいて、1つ以上のメディア入力情報からメディア出力情報を作ることができる。規則に基づいて、プロセッサ62は、次の動作が行われうる場所を予測できても良い。プ
ロセッサ62は、ユーザからの入力に基づいて、競技場に関連する1つ以上のメディア装置16の位置、および、個々のメディア装置16によって録画されている競技場の領域を、さらに認識できる。プロセッサ62は、次の動作が予測されている競技場の領域からのメディア入力情報を表示することを選択しうる。
【0075】
例えば、図5を参照すると、録画されているイベントは、テニスコート70で行われているテニスの試合であり得る。第1のカメラ20a、第2のカメラ20b、および、第3のカメラ20cがテニスの試合を録画するために使用され得る。また、第1のカメラ20a、第2のカメラ20b、および、第3のカメラ20cは、それぞれ、コート70と周辺領域の第1の範囲72、第2の範囲74、および、第3の範囲76を録画するように配置され得る。
【0076】
プロセッサ62は、例えば、規則に基づいて、範囲72からサーブを打つ第1のプレーヤーが、サーブを打とうとしていると判定できる。プロセッサ62は、第1のカメラ20aによって生成されているメディア入力情報を、メディア出力情報中の表示用に選択できる。
【0077】
プロセッサ62は、その後、例えば、第1のカメラ20aから受信したメディア入力情報をモニタし、第1のプレーヤーがサーブしたと判定できる。プロセッサ62は、ボールが現在コート内にあると判定して、コート70の全体を見せている第3のカメラ20cから受信したメディア入力情報を、メディア出力情報中の表示用に選択することができる。
【0078】
特定のサーブについてのプレーが終わったことを検出すると、プロセッサ62は、第1のプレーヤーからの次のサーブを表示するために、例えば、第1のカメラ20aに切り替えることができる。
【0079】
プロセッサ62は、さらに、例えば、ユーザの入力、および/または、画像データの解析により、ゲームおよびセットのスコアの記録をつけることができる。例えば、上記の例に従って、ゲームが終わったとき、プロセッサ62は、第2のプレーヤーがサーブを引き継ぐと判定できる。そして、プロセッサ62は、第2のカメラ20bから受信したメディア入力情報をサーブの間の表示用に選択できる。
【0080】
〔イベントの録画用のカメラ配置の推奨〕
メディアスタジオ12のプロセッサ62は、特定のイベントに対して、そのイベントを取得するカメラ20の好ましい配置を推奨することができる。推奨は、例えば、使用可能なカメラ20の数、競技場の形、取得されるイベントについての知識などに基づいて生成され得る。
【0081】
例えば、メディアスタジオ12のユーザは、ユーザインタフェース64を介して、ユーザがテニスの試合を録画したいことを示すことができる。ユーザは、試合の録画に3つのカメラが使用可能であることも示しうる。入力に基づいて、プロセッサ62は、例えば、ユーザインタフェース64を介して、図5に示す図と同様の図を表示することができる。この図は、第1のカメラ20a、第2のカメラ20b、および、第3のカメラ20cの各々に対する推奨する位置、ならびに、カメラ20a、20b、20cの各々によってカバーされることが推奨される第1の範囲72、第2の範囲74、および、第3の範囲76を推薦する。
【0082】
プロセッサ62は、イベントの録画中のカメラ20の位置を推奨するために、競技場の向き、試合中の競技場に対する太陽の位置、プレーヤーのベンチの位置などの追加の種類のデータを使用しても良い。例えば、上記の例では、ユーザは、ユーザがテニスの試合を
録画したいことを示し得る。例示的な競技場80を図6Aに示す。競技場80は、グローバル・ポジショニング・データが使用可能な屋外競技場80であっても良い。ユーザは、例えば、南北軸84と東西軸85に対して、競技場80に対する座標を設定しても良く、競技場80の最西の隅81を座標(0,0)に定義しても良い。
【0083】
図6Bに示すように、例えば、グローバル・ポジショニング・データ、試合の日時などに基づいて、プロセッサ62は、予想されている試合時間の間の競技場80に対する太陽81の位置を決定できる。プロセッサ62は、さらに、例えば、予測された試合時間の間の雲量レベルの予測などの天候条件を考慮することもできる。プロセッサ62は、例えば、焦点距離、ズーム能力などのカメラ20の特性を、さらに考慮することもできる。
【0084】
競技場80の向き、太陽の位置、天候条件、1つ以上の使用可能なカメラ20の特性などに基づいて、メディアスタジオ12のプロセッサ62は、競技場80に関連する1つ以上のカメラ20に対する好ましい範囲と好ましくない範囲を決定できる。例えば、図6Cを参照すると、第1のカメラ20dの操作に好ましい領域は範囲86中であり得る。範囲86では、第1のカメラ20dは、焦点距離やズームなどに基づいて、太陽81に向くことなく競技場全体を録画することができる。
【0085】
プロセッサ62は、さらに、第1のカメラ20dの操作に好ましくない領域を特定できる。例えば、範囲87は、太陽81に向きながら試合を録画することになるので好ましくない。
【0086】
追加のカメラ20の設置のために、追加的な情報が考慮され得る。例えば、試合の録画に、第2のカメラ20eおよび第3のカメラ20fが使用可能であり得る。ユーザは、プロセッサ62に、例えば、プレーヤーのベンチ88、89の位置などを入力できる。例えば、図6Dに示すように、第2のカメラ20eおよび第3のカメラ20fの各々は、ベンチ88、89から競技場の反対側に設置され得る。第2のカメラ20eはベンチ88の反対側に設置され得るし、第3のカメラ20fはベンチ89の反対側に設置され得る。
【0087】
いくつかの場合では、例えば、グローバル・ポジション・システム(GPS)に基づいて絶対的な競技場の位置が使用される。例えば、ユーザはユーザインタフェース64を介して、ユーザがサッカーの試合のようなスポーツイベントを録画したいことを示すことができる。ユーザは、ユーザインタフェース64を介して、試合が行われるサッカー場に関連した1つ以上の座標(例えば、サッカー場の1つ以上の隅の位置)をさらに入力できる。隅の位置とサッカー場についての既知の大きさに基づいて、プロセッサ62は、サッカーの試合の録画に使用される1つ以上のカメラ20の位置として推奨されるGPS座標を決定できる。
【0088】
いくつかの場合には、競技場は、屋内など、GPSデータのアクセスがない領域に位置しうる。このような場合、カメラから競技場までの距離を計算するため、および、最適なカメラ操作位置を計算するために、レーザー計測装置が使用されても良い。
【0089】
〔プレーヤーおよび対象物の位置や動きの追跡〕
メディアスタジオ12プロセッサ62は、イベントの特定の参加者を追跡するようにプログラムされても良く、また、特定の対象物を追跡するようにプログラムされても良い。例えば、親はスポーツイベントの録画の際に、彼らの子供の参加を重視することを望む可能性がある。他の例では、プロセッサ62は、例えば、ボールの周辺での動作が録画されるように、バスケットボールの試合で使用されているバスケットボールを追跡するようにプログラムされ得る。
【0090】
追跡はデータ収集装置17を介して行われ得る。例えば、追跡されるプレーヤーもしくは対象物は、RFIDまたは他の種類のタグを装備し得る。データ収集装置17は、競技場に関連付けてタグの位置を検出し得る。前述のように、プロセッサ62は競技場の座標、ならびに、イベントを録画しているカメラ20の位置および範囲を受信している可能性がある。競技場に関連付けられたタグの位置、ならびに、1つ以上のカメラ20の位置および範囲に基づいて、プロセッサ62は、カメラ20、および、メディア出力情報に含めるための関連するメディア入力情報を、選択することができる。
【0091】
追加的もしくは代替的に、プレーヤーまたは対象物の位置は、既知の画像認識技術を用いて決定され得る。プロセッサ62は、追跡されるプレーヤー又は対象物を特定するように教えられて、そのプレーヤー又は対象物を含むメディア入力情報を表示しても良い。
【0092】
プロセッサ62は、プレーヤーもしくは対象物の動きの追跡に基づいて、プレーヤー又は対象物が行くと予測される場所を予測するように、さらにプログラムされても良い。例えば、バスケットボールの試合でバスケットボールが追跡される場合、プロセッサ62は、ボールがバスケットボールのコートの一方の側から他方の側に向けて移動するときを検出でき、バスケットボールがカメラ20の範囲内にいつ現れるかを予測することができる。ボールがあるだろうとプロセッサ62が予測した場所に基づいて、プロセッサ62は、表示されるメディア入力情報を選択することができる。
【0093】
動きデータと位置データに基づいて、プロセッサ62は、競技場内の異なる位置での動きのレベルを判定するようにさらにプログラムされ得る。例えば、予め決められた規則に基づいて、個々の位置についての総合的な動きのレベルが決定され得る。さらに、決定された総合的な動きのレベルに基づいて、プロセッサ62は、例えば、総合的な動きのレベルが予め決められた値を上回る1つ以上の位置や、総合的な動きのレベルが最も高い位置などを決定しても良い。
【0094】
例えば、プロセッサ62は、試合の1人以上のプレーヤーから動きデータを受信しても良い。プロセッサ62は、例えば、所定の期間の間、競技場のいくつかの位置の各々に現れる全てのプレーヤーの全ての動きを合計するようにプログラムされても良い。動きは、その期間の間の各プレーヤーの移動の総量であると定義され得る。総合的な動きのレベルは、予め決められた閾値と比較され得る、各位置の全てのプレーヤーの動きの合計として定義され得る(例えば、その位置内でその期間の間に移動したメートル数の合計)。予め決められた閾値を上回った総合的な動きのレベルを有する位置を含む(カメラ20からの)メディア入力情報は、メディア出力情報に含められ得る。
【0095】
追加的もしくは代替的に、総合的な動きのレベルが相対的に最も高い位置が決定され得る。総合的な動きのレベルが相対的に最も高い位置を含む入力情報は、メディア出力情報に含められ得る。
【0096】
〔一時停止の後の加速された再生(取り上げ特性)〕
例えば、スポーツイベントなどのイベントを観戦している間に、視聴者が表示を一時停止することを選択しうる。視聴者がイベントの視聴を再開する準備ができたときに、視聴者は、一時停止していた間に起こった刺激的な瞬間についての最新の知識を取得することを希望しうる。ビューア22、他のメディア装置16、メディアスタジオ12、サーバ28などに関連付けられていても良いコンピュータ装置は、イベントの興奮度が少ない時期を飛ばしながら、刺激的な瞬間を特定して表示するようにプログラムされ得る。
【0097】
コンピュータ装置は、イベントのセグメントを特定でき、個々のセグメントについて1つ以上の興奮度の格付けを行うことができる。上述の通り、興奮度のレベルに関して、コ
ンピュータ装置は個々のセグメントについての興奮レベルを特定するデータを受信しうる。興奮レベルを決定すると考えられうるデータの非限定的なリストは、1人以上のカメラのオペレータに関連付けられるバイオメトリックデータ、観客が喝采したり叫んだりしているときの音声レベルデータ、速い動きもしくは試合で得点されたことなどを示す画像データ、画像データ中の観客の興奮した顔の表情、カメラ20が試合の動きを追っていることを示すカメラ20の速い動き、刺激的な瞬間の間のカメラオペレータからの入力(例えば、ハイライトボタンの押下)、イベントに関連するソーシャルメディアでの活動の増加を含む。データに基づいて、イベントの個々のセグメントに関連付けられた興奮レベルを決定するために1つ以上の規則が構成される。
【0098】
例えば、画像データから決定されるように、スコアを含むセグメントには、最大レベルの100が与えられ得る。他の期間の興奮レベルは、音声レベルおよびカメラオペレータからのバイオメトリックデータの組み合わせに基づいて決定され得る。個々のセグメントは、この実施例に従って、0~100の興奮レベルが割り当てられる。
【0099】
一時停止の後で、視聴者が取り上げ特性を活性化すると、コンピュータ装置は、例えば時系列順に、興奮レベルが閾値を越えたセグメントを表示し得る。コンテンツを提供するために、コンピュータ装置は、閾値を越えたセグメントを、そのセグメントの前の第1の所定の期間、および/または、そのセグメントの後の第2の所定の期間を含めて、表示できる。第1および第2の所定の期間は例えば、10秒であり得る。
【0100】
閾値は、規定の閾値であり、例えば、興奮レベルが70以上であり得る。代替的に、視聴者は、取り上げモードの間に見られるセグメントに対する興奮レベル閾値を特定できる。別の代替手段として視聴者は、取り上げ期間がどの程度続くべきかなどを特定しうる。視聴者によって提供された取り上げ期間の長さに基づいて、コンピュータ装置は適切な量の再生材料を生成する興奮レベル閾値を計算し得る。コンピュータ装置は、その後、興奮レベルが計算された閾値を超えた全てのセグメントを、時系列に沿って表示できる。
【0101】
〔ハイライトメディア情報の生成〕
メディアスタジオ12のプロセッサ62は、イベントを録画している間、ハイライトメディア出力情報を生成するようにプログラムされ得る。ハイライトメディア出力情報は、例えば、イベント中の刺激的なセグメントのみを含み得る。ハイライトメディア出力情報は、その後の使用のために、例えば、記憶装置23に記憶され得、または、サーバ28に送信され得る。
【0102】
取り上げ特性に関して前に述べたとおり、メディア情報(イベントの録画)は、1つ以上のセグメントに分けられ得る、個々のセグメントは所定の期間を表わす。興奮レベルは個々のセグメントに割り当てられ得る。予め決められた閾値を超える興奮レベルを有するセグメントは、ハイライトメディア出力情報に含められ得る。他の例として、プロセッサ62は、得点したドライブ/プレイを取得するためにハイライトメディア情報を生成するようにプログラムされ得る。録画されている試合の分析に基づいて、メディアスタジオ12のプロセッサ62は、得点したドライブ/プレイを特定し得る。プロセッサ62は、得点したドライブ/プレイを含むハイライトメディア情報を生成できる。ハイライトメディア情報は、例えば、得点したドライブ/プレイの予め決められた期間の前後の期間を含み得る。得点したドライブ/プレイの前後の追加的なコンテンツは、ユーザに前後関係を提供でき、ユーザが個々のハイライトセグメントを区別できるようにする。ハイライトメディア情報は、個々の試合、同じ日に行われた複数の試合、特定のチームがシーズン中に行った複数の試合になどに基づいていても良い。
【0103】
興奮レベルに加えて、他の因子もハイライトメディア出力情報の生成に使用され得るこ
とに注意されたい。例えば、ハイライトメディア出力情報は、特定のプレーヤーを含む光景を特徴付け得る。
【0104】
〔イベントのピークの瞬間のリプレイの生成〕
メディアスタジオ12のプロセッサ62は、イベントの録画中にイベント中に発生したピークの瞬間を特定するようにプログラムされ得る。ピークの瞬間は、興奮レベルがある予め決められた閾値を超えたイベント中の期間であり得る。興奮レベルは前述の通りに決定され得る。
【0105】
ピークの瞬間が特定されると、メディアスタジオ12は、その瞬間の1つ以上のリプレイをメディア出力情報に含めることができる。リプレイは、例えば、プロセッサ62によって受信された異なるメディア入力情報から切り取られた異なる眺望のピークの瞬間を含み得る。
【0106】
リプレイ中に含められるメディア入力情報は、例えば、興味のある動作に関連付けられたカメラ20の位置に従って、個々のメディア入力情報中の動きの量に従って、特定のメディア入力情報中のプレーヤーの存在に基づいて、などで選択され得る。
【0107】
[結び]
本明細書で用いられるように、副詞“実質的に”は、形状、構造、寸法、品質、時間等が、材料、機械加工、製造の不完全性に起因して、正確に記述された幾何学的形状、距離、寸法、品質、時間等から外れ得ることを意味する。
【0108】
用語“例示的”は、一例を示す意味で本明細書では用いられ、例えば、“例示的製品”への言及は、製品の例示を単に指すように読むべきである。
【0109】
本明細書で議論されたようなネットワーク装置は、上述で特定されたネットワーク装置など、上述した処理のブロック又はステップを実行するための、1つ以上のネットワーク装置により実行可能な命令を一般的に各々含む。例えば、上述した処理のブロックは、コンピュータ実行可能な命令として具体化されてもよい。
【0110】
コンピュータ実行可能な命令は、Java(登録商標)、C、C++、ヴィジュアルベーシック、Java Script(登録商標)、Perl、HTML等の単独又は組み合わせを含むが限定されない様々なプログラミング言語、および/または、技術を用いて作成されたコンピュータプログラムからコンパイル又は解釈されてもよい。一般的には、プロセッサ(例えば、マイクロプロセッサ)は、例えば、メモリ、コンピュータ読み取り可能媒体などから命令を受信し、これらの命令を実行し、それによって本明細書に記述される1つ以上の処理を含む1つ以上の処理を実行する。このような命令およびその他のデータは、様々なコンピュータ読み取り可能媒体を用いて格納及び送信されてもよい。ネットワーク装置中のファイルは、一般的には、記憶媒体、ランダムアクセスメモリ等のコンピュータ読み取り可能媒体上に格納された一群のデータである。
【0111】
コンピュータ読み取り可能な媒体は、コンピュータにより読み出され得る供給データ(例えば、命令)に関与する任意の媒体を含む。このような媒体は、不揮発性媒体、揮発性媒体等を含むが限定されない多くの形態をとってもよい。不揮発性媒体は、例えば、光ディスクもしくは磁気ディスク、ならびに、その他の永続性メモリを含む。揮発性媒体は、典型的にはメインメモリを構成するダイナミックランダムアクセスメモリ(DRAM)を含む。コンピュータ読み取り可能媒体の一般的形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意のその他の磁気媒体、CD-ROM、DVD、任意のその他の光学媒体、パンチカード、紙テープ、穴の規則を伴う任意
のその他の物理的媒体、RAM、PROM、EPROM、フラッシュEEPOM、任意のその他のメモリチップ若しくはカートリッジ、又はコンピュータが読み取り得る任意のその他の媒体を含む。
【0112】
図面において、同じ参照番号は同じ構成要素を示す。更に、これらの構成要素の幾つか、または、全ては変更し得る。本明細書に記載されたメディア、処理、システム、方法等に関して、このような処理のステップなどは、ある順序のシーケンスに従って生じるものとして記載されているが、このような処理は、本明細書に記載された順序以外の順序で実行される記載のステップで実行され得ることを理解すべきである。いくつかのステップは同時に実行され得ること、その他のステップが追加され得ること、または、本明細書に記載されているいくつかのステップが省略され得ることも、更に理解されるべきである。すなわち、本明細書の処理の記載は、幾つかの実施形態を説明する目的で提供され、請求項に係る発明を限定するように全く解釈すべきでない。
【0113】
従って、以上の記載は、例証であって制限を意図しない。提供された例以外の多くの実施形態及び利用は、以上の記載を読んだ当業者には明らかであろう。発明の範囲は、以上の記載を参照することなく決定されるべきであり、添付の請求項で求められる均等物の全範囲と共に、添付の請求項を代わりに参照することで決定されるべきである。将来的な進展が本明細書で論じられた技術に生じ得ること、ならびに、開示されたシステムおよび方法がこのような将来的な実施形態に組み込まれ得ることを、予測すべきであり意図すべきである。要するに、発明は変更および変動し得、以下の請求項の範囲によってのみ制限される。
【0114】
請求項の範囲で用いられる全ての用語には、本明細書でなされたのとは正反対に明白な示唆がない限り、当業者により理解されるような平易かつ通常の意味が与えられることを意図する。特に、“a”、“the”、“said”等の単数の項目の使用は、請求項が正反対に明白な制限を述べない限り、示唆された1つ以上の構成要素を述べるように読むべきである。
図1
図2
図3
図4
図5
図6A
図6B
図6C
図6D