特許 7033587 映像ハイライトを自動的に製作する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-02

(45)【発行日】2022-03-10

(54)【発明の名称】映像ハイライトを自動的に製作する方法及びシステム

(51)【国際特許分類】

   H04N 21/8549 20110101AFI20220303BHJP

   H04N 21/218 20110101ALI20220303BHJP

【ＦＩ】

H04N21/8549

H04N21/218

【請求項の数】 18

(21)【出願番号】P 2019518600

(86)(22)【出願日】2017-06-19

(65)【公表番号】

(43)【公表日】2019-08-15

(86)【国際出願番号】 IL2017050678

(87)【国際公開番号】W WO2017221239

(87)【国際公開日】2017-12-28

【審査請求日】2020-06-17

(31)【優先権主張番号】62/352,026

(32)【優先日】2016-06-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515324637

【氏名又は名称】ピクセルロット エルティーディー．

【氏名又は名称原語表記】ＰＩＸＥＬＬＯＴ ＬＴＤ．

(74)【代理人】

【識別番号】100111202

【弁理士】

【氏名又は名称】北村 周彦

(72)【発明者】

【氏名】オズ，ガル

(72)【発明者】

【氏名】リーベルマン，ヨアフ

(72)【発明者】

【氏名】シャウリ，アビ

【審査官】富樫 明

(56)【参考文献】

【文献】国際公開第２００７／０７３３４９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１４／０１７６７０８（ＵＳ，Ａ１）

【文献】特開２００９－０９５０１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

グランドの１つ以上の映像ストリームからハイライト映像を自動的に製作する方法であって、
前記グランドの最も近くに配置された少なくとも１つのカメラによって捉えられた調整された生入力であって、音声と調整された映像と実際のイベント時間とを含み、音声と映像が同調された、調整された生入力を受信することと、
特徴を抽出し、前記調整された生入力を、低レベル処理を加えることによって特徴ベクトルに変換し、前記低レベル処理は、グランドについての情報、一定のプレーヤについての情報、及び各プレーヤがグランドでどのように動いているかについての情報を含む、前記少なくとも１つのカメラの視野内の地点に関する既存の情報を使用することと、
前記特徴ベクトルからセグメントを作り、ラフセグメンテーションを適用することによってそれぞれの前記セグメントの特定イベントを識別し、前記ラフセグメンテーションは、所定の基準に従って定義される複数の閾値を抽出された特徴に適用してイベントに焦点を当て続けるかどうかを決定することと、
解析アルゴリズムを適用することによって前記イベントのそれぞれがハイライトであるかどうかを決定することと、
消費のために前記ハイライトを出力し、消費のために出力されるパッケージのタイプを決定することと、
を含む方法。

【請求項2】

前記調整された生入力の受信は所定時間毎のリアルタイムで行われる請求項１の方法。

【請求項3】

前記パッケージのタイプは、
・凝縮されたゲーム
・リプレイ
・ハイライトフィルム
・個人のクリップ
の少なくとも１つを含む請求項１の方法。

【請求項4】

ユーザの嗜好に基づき前記パッケージのタイプを決定することをさらに含む請求項１の方法。

【請求項5】

前記イベントのそれぞれがハイライトかどうかを決定することは、さらにディープラーニングプロセスに基づく請求項１の方法。

【請求項6】

前記音声は周囲の音声を含む請求項１の方法。

【請求項7】

前記音声は解説者の音声を含む請求項１の方法。

【請求項8】

前記捉えられた生入力は、
・特定プレーヤ
・グランドの各種エリア
・スコアボード
・ゲーム時計
・グランドのプレーヤの活動の動画
・相対的時間
・ユーザの収集した統計
の少なくとも１つを含む請求項１の方法。

【請求項9】

前記生入力を記憶媒体に記憶することと通信ネットワークを介してアクセスを供給することをさらに含む請求項１の方法。

【請求項10】

グランドの１つ以上の映像ストリームからハイライト映像を自動的に製作するシステムであって、
１つ以上のプロセッサを含むホームサーバと、
１セット以上の命令を記憶する１つ以上の非一時的なコンピュータ読み取り可能な媒体と、
を備え、１つ以上のプロセッサにより実行される時、該１つ以上のプロセッサに、
前記グランドの最も近くに配置された少なくとも１つのカメラによって捉えられた調整された生入力であって、音声と調整された映像と実際のイベント時間とを含み、音声と映像が同調された、調整された生入力を受信することと、
特徴を抽出し、前記調整された生入力を、低レベル処理を加えることによって特徴ベクトルに変換し、前記低レベル処理は、グランドについての情報、一定のプレーヤについての情報、及び各プレーヤがグランドでどのように動いているかについての情報を含む、前記少なくとも１つのカメラの視野内の地点に関する既存の情報を使用することと、
前記特徴ベクトルからセグメントを作り、ラフセグメンテーションを適用することによってそれぞれの前記セグメントの特定イベントを識別し、前記ラフセグメンテーションは、所定の基準に従って定義される複数の閾値を抽出された特徴に適用してイベントに焦点を当て続けるかどうかを決定することと、
解析アルゴリズムを適用することによって前記イベントのそれぞれがハイライトであるかどうかを決定することと、
消費のために前記ハイライトを出力し、消費のために出力されるパッケージのタイプを決定することと、
を実行させるシステム。

【請求項11】

前記調整された生入力の受信は所定時間毎のリアルタイムで行われる請求項１０のシステム。

【請求項12】

前記パッケージのタイプは、
・凝縮されたゲーム
・リプレイ
・ハイライトフィルム
・個人のクリップ
の少なくとも１つを含む請求項１０のシステム。

【請求項13】

ユーザの嗜好に基づき前記パッケージのタイプを決定することをさらに含む請求項１０のシステム。

【請求項14】

前記イベントのそれぞれがハイライトかどうかを決定することは、さらにディープラーニングプロセスに基づく請求項１０のシステム。

【請求項15】

前記音声は周囲の音声を含む請求項１０のシステム。

【請求項16】

前記音声は解説者の音声を含む請求項１０のシステム。

【請求項17】

前記捉えられた生入力は、
・特定プレーヤ
・グランドの各種エリア
・スコアボード
・ゲーム時計
・グランドのプレーヤの活動の動画
・相対的時間
・ユーザの収集した統計
の少なくとも１つを含む請求項１０のシステム。

【請求項18】

通信ネットワークをさらに備え、前記１つ以上のプロセッサはさらに、
前記生入力を記憶媒体に記憶することと前記通信ネットワークを介してアクセスを供給すること実行する請求項１０のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、グランドにおけるスポーツのイベントの１つ以上の映像ストリームから映像ハイライトを製作することに関する。より詳細には、本発明の実施例は、共有および格納のための映像ハイライトの自動製作に関する。

【背景技術】

【0002】

スポーツ及び他のイベントの量は増加し続けているのでハイライト映像の重要性は増大している。ほとんどの視聴者はこれらのイベントの多くを見たがっているが、限られた量の時間であるため、イベントの重要部分の映像ハイライトの重要性は増加している。

【発明の概要】

【0003】

以下の説明は本発明を最初に理解するための概要である。その概要は必ずしも鍵となる要素を識別するものではなく、本発明の範囲を限定するものでもなく、単に以下の説明の導入部分として機能するものである。

【0004】

本発明の一つの特徴は、グランドの１つ以上の映像ストリームからハイライト映像を自動的に製作する方法を提供し、グランドの最も近くに配置された少なくとも１つのカメラによって捉えられた調整された生入力を受信し、特徴を抽出し、前記調整された生入力を特徴ベクトルに変換し、セグメントを作り、それぞれの前記セグメントの特定イベントを確認し、前記イベントのそれぞれがハイライトであるかどうかを決定し、消費のために前記ハイライトを出力する。

【0005】

本発明のこれらの、さらなる、及びまたは他の特徴及び又は利点は詳細な説明に示されており、おそらく詳細な説明から推察でき、及び又は本発明の実施により学習できる。

【図面の簡単な説明】

【0006】

本発明の主題は、明細書の結びに特に指摘され明白にクレームされている。しかしながら、本発明の、目的、特徴、および利点と共に、構成および操作方法は、添付した図面と共に以下の詳細な説明を参照することにより最も良く理解される。

【図1】本発明のある実施例に従って、開示された主題の実施例が行われるシステムのための例示の環境の図である。

【図2】計算装置のコンピュータアーキテクチャの例示のブロック図である。

【図3】グランドのスポーツイベントの映像ストリームからハイライトを製作する例示のコンピュータアーキテクチャを示す図である。

【図4】グランドのスポーツイベントの映像ストリームからハイライトを製作する例示の方法のフローチャートである。

【0007】

図示の簡略化及び明瞭化のため図示された構成要素は必ずしも一定の比率で描かれているとは限らないことが分かるだろう。例えば、構成要素の幾つかの寸法は明瞭化のために他の構成要素に対して誇張されている。さらに適当であると考えられる場合には、対応又は類似の構成要素を含む図の間では参照符号が繰り返される。

【発明を実施するための形態】

【0008】

以下の詳細な説明では、本発明の完全な理解のため、多数の特定の詳細が示される。しかしながら、当業者によれば、本発明はこれらの特定の詳細を有していなくても実施可能であることが理解されるだろう。他の例では、本発明を不明瞭にしないように、周知の方法、手順、及び構成は詳細に説明されていない。
本発明は、グランドでのスポーツイベントの映像ストリームからハイライトを確認して製作する方法、システム及びコンピュータプログラム製品に関する。

【0009】

本発明の実施例は、以下においてより詳細に説明されるように、例えば、１つ以上のプロセッサ及びシステムメモリのような特別な用途又は通常の用途のコンピュータハードウェアを備え又は使用してもよい。本発明の範囲内の実施例は、コンピュータで実行可能な命令及び又はデータ構造を実行又は格納するための物理的及び他のコンピュータで読み取り可能な媒体を含んでいてもよい。コンピュータで実行可能な命令を格納するコンピュータで読み取り可能な媒体はコンピュータ記憶媒体である。
コンピュータ記憶媒体デバイスは、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＧＰＵメモリ及び他のタイプのメモリを含んでいる。

【0010】

「通信ネットワーク」は、コンピュータシステム及び又はモジュールの間で電子データの送信をすることのできる１つ以上のデータリンクとして定義される。情報がネットワーク又は他の通信接続（ハードワイヤード、ワイヤレス、又はハードワイヤード又はワイヤレスの組合せ）を介してコンピュータに伝送又は供給される時、コンピュータは伝送媒体としてその接続を適切に競う。

【0011】

さらに、各種コンピュータシステムにより、コンピュータで実行可能な命令又はデータ構造の形式のプログラムコード手段は伝送媒体からコンピュータ記憶媒体デバイスに（又は逆もまた同じ）自動的に伝送可能である。

【0012】

この文書を通して、「ウェブサイト」は、最初のファイル、又はホームページと呼ばれる「ウェブページ」、及び通常のさらなるファイル又は「ウェブページ」を含む、ワールドワイドウェブ（www）ファイルの関連の集まりである。「ウェブサイト」という用語は集合的に使用され、「ウェブサイト」及び「ウェブページ」を含む。

【0013】

本発明は、パーソナルコンピュータ（例えば、ラップトップ、デスクトップ、タブレットコンピュータ）、又は一つの場所から別の場所に容易に伝送する移動装置（例えば、スマートフォン、パーソナルデジタルアシスタント（ＰＤＡ）、移動電話又は携帯電話）を含む他のタイプの計算装置のような、多くのタイプのコンピュータシステムの構成を有するネットワークコンピュータ環境で実施可能であることを、当業者は理解するだろう。

【0014】

サーバは、通常、上記定義した「コンピュータ」に従って、通信ネットワーク又はインターネットを含む他のコンピュータネットワークのような通信媒体によりアクセス可能な、リモートコンピュータ又はリモートコンピュータシステム、又はその中のコンピュータプログラムである。「サーバ」は、同じ又は他のコンピュータの他のコンピュータプログラム（及びそれらのユーザ）のために、サービスを提供又は機能を実行する。サーバはまた、バーチャルマシン、コンピュータのエミュレーションに基づくソフトウェアを含んでいてもよい。

【0015】

中央処理装置（ＣＰＵ）は、例えば、サーバで使用されるもの、コンピュータおよび他のコンピュータ化された装置のような、コンピュータプロセッサである、１つ以上のプロセッサにより形成されている。例えば、プロセッサは、ＡＭＤ及びインテルからのＸ８６プロセッサ、インテルからのＸｅｎｏｎ（登録商標）及びＰｅｎｔｉｕｍ（登録商標）、及びそれらの組合せを含んでいてもよい。

【0016】

画像処理装置（ＧＰＵ）は、映像及び画像の性能を管理及び上げるために使用されるシングルチッププロセッサである。ＧＰＵは画像計算及び処理を最適化するすべての計算及び処理を実行する。ＧＰＵの例は、米国、カリフォルニア州、サンタクララ市のＮＶＩＤＩＡ製であり、ＧｅＦｏｒｃｅ^ＴＭの製品を含んでいる。図１を参照すると、図１は、メインサーバとしても公知なホームサーバ１０４に連結されるネットワーク１０２を含む、システム１００のための例示の環境の図を示している。ホームサーバ１０４は、本発明に従って各種処理を実行する。ネットワークは、例えば、ローカルエリアネットワーク（ＬＡＮ）又は広域エリアネットワーク（ＷＡＮ）のような通信ネットワークであり、インターネットのような公共ネットワークを含む。図１に示されているように、ネットワーク１０２は、ネットワークの組合せ及び又は複数のネットワークであってもよく、例えば、セルラー通信網を含む。ここで使用される「連結（Linked）」はハードワイヤード又はワイヤレスリンクの両方、直接か間接のいずれか、及びお互いの電子及び又はデータ通信におけるサーバ、コンポーネント等を含むコンピュータを配置することを含む。

【0017】

カメラ１０６は、グランド１０８に最も近く配置された１つ以上のカメラを表しており、映像ハイライトが製作されるイベントを代表するスポーツイベントを自動的に撮影し、ネットワーク１０２に接続され、本発明に従って処理するホームサーバ１０４に記録された映像を送る。別の実施例によれば、カメラ１０６により捉えられた映像は、コンパクトディスク、デジタル仮想ディスク等の大容量記憶装置１１０に置かれ、ネットワーク１０２を介して管理者に供給される。別の実施例では、映像はリアルタイムで処理される。ホームサーバ１０４は、多数のさらなるサーバ機能及び操作を提供するため、１つ以上のコンポーネント、エンジン、モジュール等を含むアーキテクチャである。説明の目的のため、ホームサーバ１０４は、例えば、www.hs.comのユニフォームリソースロケータ（URL）を有していてもよい。

【0018】

ホームサーバ１０４の例示のブロック図を示す図２を参照する。ホームサーバ１０４は、１つ以上のプロセッサの中央処理ユニット（ＣＰＵ）２０４、及び１つ以上のプロセッサの画像処理装置（ＧＰＵ）２０６から形成されるコンピュータ化された処理ユニット２０２、１つ以上のメモリ装置２０４，１つ以上のインターフェース２１０、１つ以上の入力／出力装置２２６を含んでいる。プロセッサ２０２は、キャッシュメモリのような各種タイプのコンピュータ記憶媒体を含んでいてもよい。中央処理ユニット２０２はＣＰＵ２０４及びＧＰＵ２０６が例えば電子的に接続されるようになっており、メモリデバイス２１４、インターフェース２２０、大容量記憶装置２３０、Ｉ／Ｏ装置２４０及びディスプレイ装置２５０を含んでいる。

【0019】

中央処理ユニット２０４は、マイクロプロセッサを含む１つ以上のプロセッサから形成され、さらに詳述されるホームサーバ１０４の機能及び操作を実行する。画像形成装置（ＧＰＵ）２０６はＣＰＵ２０４と並列計算することができ、コンピュータ化された処理ユニット２０２がＣＰＵ２０４とＧＰＵ２０６のいずれか又は両方と機能する。

【0020】

メモリデバイス２１０はＣＰＵ２０４及びＧＰＵ２０６と連結され、揮発性メモリ及び又は非揮発性メモリのような各種コンピュータ記憶媒体を含んでいる。大容量記憶装置２３０は磁気ディスク、光学ディスクのような各種コンピュータ記憶媒体を含んでいる。図１に示されているように、特定の大容量記憶装置はハードディスクドライブ２３２である。大容量記憶装置２３０はリムーバブル記憶装置２３４を含んでいる。Ｉ／Ｏ装置２４０は、ホームサーバ１０４がユーザインターフェース２２２、ネットワークインターフェース２２４及び周辺インターフェース２２６のような他のシステム、装置及びユーザと相互に作用可能な各種インターフェースを含んでいる。

【0021】

より詳細には、図３のコンピュータアーキテクチャ３００に示されている。ホームサーバ１０４は、ネットワーク通信モジュール３０２（オプション）、低レベル処理モジュール３０４、ラフセグメンテーションモジュール３０６、分析モジュール３０８及び消費のための出力の選択３１０を含んでいる。ネットワーク通信モジュール３０２はホームサーバ１０４との間でのすべての通信を取り扱い、オプションである。

【0022】

低レベル処理モジュール３０４は特徴３１４を抽出する。それは調整された生入力３３０を特徴ベクトルに変換する（例えば、入力画像中の輪郭及びエッジ）。例えば、低レベル処理モジュールは撮影されるバスケットコート上のバスケットゲームのバスケットの周囲の動きを検出する。

【0023】

ラフセグメンテーションモジュール３０６は抽出された特徴３１４を低レベル処理モジュール３０４によって処理するために機能する。モジュール３０６は、所定の基準に従って、各種閾値を抽出された特徴３１４に適用し、イベントに焦点を当てるかどうかを決定する。バスケットゲームに関連した以前に参照された例、検出された特徴ベクトルに帰することで、バスケットボールの周囲の動きが監視される。バスケットボールの周囲の動きが持続されない場合、イベントは非イベントと考えられ、落とされる。バスケットゴールの周囲の動きが持続される場合、これはイベント３１６であり、分析のため、分析モジュール３０８に進む。

【0024】

分析モジュール３０８はイベントがハイライトに相応しいイベント３１８かどうかを決定するために機能し、消費モジュールのための出力選択モジュール３１０に出力する。幾つかの実施例によれば、分析モジュール３０８は機械学習又は「ディープラーニング」を含む処理によりその分析を行う。機械学習において、モジュールは、既知のイベント及び不知のイベント３４０の大量のサンプルをプログラミングすることでイベントであるものをプログラムされ又は教えられる。例えば、機械学習モジュールは、「ゴール」及び「ノーゴール」の大量のサンプルを体験することでイベントがサッカーのゴールか又はゴールでないかを決定することができる。同様に、バスケット映像の周囲のノイズはそれがバスケットのボールのダンクショットかどうかを調べるために分析される。このモジュールは、その機械学習により、ラフセグメントがダンクシュートであることを決定し、消費のための出力選択により処理されるようになっている。

【0025】

消費のための出力選択モジュール３１０は分析モジュール３１８から入力として受信したハイライト３１８を分類すると共にタグをつける。幾つかの実施例によれば、タグ付けは、例えば、参加者（例えば、個々のプレーヤ又はチーム）のハイライトの時間、リアルタイム及びゲーム時間、ゲームのポイント、フィールド／コートの位置、ゲームに特有のハイライトのタイプ、例えば、レイアップ、ダンクシュート及びイベントのサンプルの起こりそうなことであってもよい。さらに、モジュール３１０はハイライトが使用される方法、例えばパッケージングのタイプを決定する。一実施例によれば、使用法は、ハイライトフィルムのハイライト、凝縮されたゲーム、リプレイ、コマーシャルタイムブレイク、プレーヤ特有のハイライト等としてである。モジュール３１０の出力はハイライトのパッケージング３１２であり、大容量記憶装置２３０又はクラウドに格納可能である。それは、例えば、ソーシャルメディアサイト、映像共有サイト又はその他の場所のように、お互いに共有するために使用可能である。幾つかの実施例によれば、ユーザは出力された所望なハイライト及びパッケージングのタイプを選択するように促されてもよい（ユーザの嗜好３４０）。

【0026】

図４はグランドの映像ストリームからハイライト映像を製作するための例示の方法４００のフローチャートを示している。図４の方法はスタートブロック４０２で開始する。幾つかの実施例によると、その方法は、所定時間及びすべてのブロックを通過するたびに生入力４０４を受信することを意味するリアルタイムで実施される。

【0027】

ブロック４０２では、カメラが調整され、グランド／コート上の特定点（位置）がカメラから映像に変換されるようになっている。音声は映像と同調する。これは必要な準備段階である。

【0028】

その後、方法はブロック４０４に移動し、ホームサーバ１０４は、実際のイベント時間と同様、通常イベントの音声と共に、調整された映像の形式で、調整された生入力を受信する。音声は、通常、（スポーツイベントの場合には）スコアボードの変更のような他の出来事と同様に、映像により調整される。音声は、周囲の音声、例えばイベント自体により生じたノイズを含み、プレーヤ及び群集音、放送局の解説等により生じたノイズを含む。映像は、プレーヤ、カメラが集中するグランドの各種エリア、群集の例えば座っていたり立っていたりその間で移動したりしている映像を含む。また、スコアボードの変更及び、ハーフ、クォータ、及び他の分割方法、例えば全ゲーム時間の開始、中間、終了等の時間のようなピリオドゲーム中の経過時間等のイベントでの出来事もある。入力は、例えば、さらに詳細なスコアボードの映像、ゲーム時刻の映像、エンドユーザがソーシャルメディア等から収集した統計としてのクラウドタグ付けを含んでいてもよい。

【0029】

その方法はブロック４０６に移動し、低レベル処理４０６がホームサーバ１０４によって行われる。この低レベル処理では、調整された生入力は、例えば、映像及び視覚的特徴、音声、及びスコアボードの変更、ゲームのピリオド等のゲームの経過時間の、特徴に分解される。幾つかの実施例では、幾つかの実施例では、低レベル処理４０６は、以下の通りである。

【0030】

・カメラ１１０から捉えられた映像、調整された映像：調整された映像の処理は、映像がカメラの視野の各点に関する情報により処理されるようになっており、各点がカメラの画像にどのように変換されるかが知られるようになっている。例えば、映像は、グランドの一定エリアを認識し、例えば、背番号又は他の識別方法によって、スタープレーヤ又はキーパフォーマンスプレーヤの一定のプレーヤを認識することで処理され、各種プレーヤがグランド上でどのように動いているかを認識し、ゴールネット、センターサークルのようなグランドの重要位置を認識する。調整された映像は、ゴールにシュートを打ったり、ネットにボールをダンクシュートするためにゴールネットの近くでジャンプしたりするような、ゲームに特有な特徴的なプレーヤの動きを処理することも含む。チアリーダ又は他のグループのようなエンターテイメントが行う時のゲーム中の中断、コンテスト、試合場で飛ぶ屋内気球、Ｔシャツ及びホットドッグ、及び群衆に分配される他の物体のような、全体的なアーチファクトも処理される。

【0031】

・周囲の音声：周囲の音声の処理は、中断時の声援及び拍手喝采、タイムアウト、プレイの停止、群衆の歌、ゴール時やゲームの終了時に演奏される音楽、チームを声援して勢いをつけるために群衆を興奮させるための音楽、グランドの笛、ボールのノイズや叫び声を含むプレーヤのノイズ、レフリーの笛等の音の形で、群衆の音声のような、音声レベル（振幅及び周波数）及びその上昇及び降下のための周囲の音声を分析することを含む。

【0032】

・解説者の音声として知られる解説者／アナウンサーの音声：高い調子で早いスピーチは通常重要なイベントを示すので、解説者の音声の処理は解説者の音声レベルを分析することを含む。同じことは音調の変化のため解説者の音声を正しく分析することを保持する。また、解説者の音声は、ゲームの重要なイベントを示す、「スコア」、「ゴール」、「ゴールのネット」等のような特有の言葉を有する会話を分析可能である。また、会話認識は、「ゴール」という単語の発音を長く伸ばすような解説者の特有の言い回し、特定のサッカー解説者に知られた言い回しを探すようにプログラミングされることもできる。

【0033】

・スコアボード：スコアボードは、スコアの変化、ゲームの時間、ピリオドの終了、プレイの停止時間、タイムアウト等のゲーム時間のイベントから監視される。何のイベントがゲーム時間に基づき発生するのかを見るため、スコアボードが分析され、ゲームの経過時間を決定する。スコアボードは、ハイライトで表示される短時間で急にチームが得点するようなゲームの短時間を決定するために使用されることもできる。

【0034】

・群衆のタグ付け：群衆のタグ付けは、ゲーム中のあるイベントと関連する入力を受信することを含む。例えば、群衆の仲間が特定の時間に得点したゴールにコメントしてもよく、これらの群衆のコメントは、Facebook（登録商標）、Instagram（登録商標）、Twitter（登録商標）のようなソーシャルネットワークを介してもよく、これらは、例えば、実際の時刻で見て、それをソーシャルメディアメールの実際の時間と比較することにより、ゲームの各種時点に結び付けられる。

【0035】

・プレーヤの追跡：プレーヤの追跡において、ホームサーバ１０４は、特定のプレーヤが速度を上げたり、遅くしたり、或いはグランドの各種位置へ移動する時、特定のプレーヤ及び彼らの特定の動きを探す。例えば、かなり長い時間、プレーヤがグランドの攻撃側にいる場合、プレーヤはハイライトの主題であるゴールを入れ又は得点をアシストする。また、プレーヤの交代及び交代の時間は重要なイベントを示す。例えば、バスケットボールでは、良いプレイをしたプレーヤは通常ゲームの終わりに交代し、群衆はそのプレーヤに声援や拍手喝采等を与える。

【0036】

その後、方法はホームサーバ１０４がラフセグメンテーションを行うブロック４０８に移動する。セグメントが映像の低レベル処理４０６に基づき作られ、各セグメントの特定のイベントが識別される。例えば、一定の時間、周囲及び解説者のノイズを有する映像があった場合、これはセグメントとして識別されると共にそのセグメントの特定のイベントを識別する価値のあるセグメントとなる。このセグメントが所定の閾値を通過した場合、そのセグメントはハイライトのために可能なセグメントとして維持される。

【0037】

その後、その方法はブロック４１０に移動し、一実施例による分析がディープラーニング処理のような機械学習（ＭＬ）処理により行われ、この段階で、新しい特徴ベクトルが元の調整された生入力データから抽出される。あるセグメントがハイライトであるかどうかの決定はこの新しい特徴ベクトルから引き出される。機械学習処理は、オフライン処理を使用して、異なるセグメントがハイライト（又はそうでない）と定義されるかどうかを学習するディープラーニングネットワークで実行されてもよい。ここで使用される「ディープラーニング」は、複雑な構造又はそうではなく多重非線形変換から成る多重処理レイヤーを使用することにより、データに高レベルなアブストラクトを形成するように試みる１セットのアルゴリズムに基づく機械学習の枝分かれである。

【0038】

前述したディープラーニングは、例えば、２段階処理である、第１の段階は、（通常、人間の入力により）ハイライトが特定のイベントとして特徴付けられる学習段階であり、各特定のイベントが学習される。ホームサーバ１０４は、学習されたイベントの大サイズのサンプルから学習された一定のイベントを有する特定のイベントを認識するように最終的に訓練される。一実施例によれば、信号の特徴、画像の特徴、音声の特徴及び映像の特徴は特徴バケットに入れられ、その特徴バケットはディープラーニング機構に向かう。学習のための入力イベントが多い程、ハイライトの分類エラーの可能性は最小化される。さらに、ハイライトはそれらがハイライトかどうかを決定する最終ステップとして重み付けされると共にフィルタリングされてもよい。次に、ディープラーニングの結果はセグメントに加えられ、それがハイライトかどうか及びそれが、ゴール、良いプレイ等のどんなタイプのハイライトかを決定する。

【0039】

一旦ディープラーニングが完了すると、その方法はブロック４１２に移動し、ディープラーニングによりハイライトであると決定されたイベントは消費のための出力となる。出力されたハイライトは関連の分類決定と出力されたハイライトのタイプを示すメタデータ
を含む。

【0040】

その後、その方法はブロック４１４に移動し、パッケージングのタイプが選択される。一実施例によれば、それは所定のデフォルトタイプに基づく。別の実施例によれば、それはユーザの嗜好に基づき、例えば、ユーザが所望の出力されたハイライト及び該ハイライトのためのパッケージングのタイプを選択するようにシステムによって促される。パッケージングは、例えば、すべてのゲームの動きが考慮される凝縮されたゲーム及びゲームの「ストーリー」を述べる短いバージョン（通常、５～１０分間）が作られ、タイムアウト等、ゲームに活気がないことをシステムが確認すると共にリプレイとしてハイライトを導入する特定の中継、ユーザが興奮する瞬間に焦点を当てるハイライトフィルム、例えば、幾つかのゲームハイライト又は放送広告のための時間に囲まれる一連の動作で特定のプレーヤに焦点を当てるクリップのようなパーソナルクリップである。

【0041】

一実施例によれば、その方法はブロック４１６に移動し、終了する。別の実施例によれば、映像がリアルタイムで処理され、その方法はブロック４０４に移動し、次の調整された生入力を処理する。

【0042】

本発明の実施例の方法及び又はシステムの実施は、手動、自動、又はその組み合わせで選択したタスクを実行又は完成することを含むことができる。さらに、本発明の方法及び又はシステムの実施の実際の器具及び機器によれば、幾つかのタスクは、動作システムを使用して、ハードウェアにより、ソフトウェアにより又はファームウェアにより又はその組み合わせにより、実施可能である。

【0043】

例えば、本発明の実施例により選択されたタスクを実行するハードウェアはクリップ又は回路として実施可能である。ソフトウェアとして、本発明の実施例により選択されたタスクな適切な動作システムを使用してコンピュータにより実行される複数のソフトウェアの命令として実施可能である。

【0044】

本発明の一実施例において、ここに説明された方法及び又はシステムの実施例による１つ以上のタスクは、複数の命令を実行するためのコンピュータプラットフォームのようなデータプロセッサにより実行される。選択的に、データプロセッサは、命令及び又はデータを格納する揮発性メモリ、及び又は命令及び又はデータを格納するための磁気ハードディスク及び又はリムーバブルメディアのような非一時的記憶媒体等の被揮発性記憶装置を含んでいる。ディスプレイ及び又はキーボード又はマウスのようなユーザ入力装置もまた選択的に供給される。

【0045】

ここには、本発明のある特徴が示され、説明されているが、多くの修正、代用、変形、及び均等物が当業者であれば浮かぶだろう。したがって、添付した請求項は本発明の精神の範囲内にあるすべてのそのような修正及び変形をカバーするように意図されていることが理解されるべきである。

【図1】

【図2】

【図3】

【図4】