特許 7123523 自動的にテレビ番組を制作する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-15

(45)【発行日】2022-08-23

(54)【発明の名称】自動的にテレビ番組を制作する方法及びシステム

(51)【国際特許分類】

   H04N 21/854 20110101AFI20220816BHJP

   H04N 5/232 20060101ALI20220816BHJP

   H04N 21/266 20110101ALI20220816BHJP

【ＦＩ】

H04N21/854

H04N5/232

H04N21/266

【請求項の数】 7

(21)【出願番号】P 2016559211

(86)(22)【出願日】2015-03-31

(65)【公表番号】

(43)【公表日】2017-05-25

(86)【国際出願番号】 IL2015050346

(87)【国際公開番号】W WO2015151095

(87)【国際公開日】2015-10-08

【審査請求日】2018-03-27

【審判番号】

【審判請求日】2021-01-19

(31)【優先権主張番号】61/974,460

(32)【優先日】2014-04-03

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515324637

【氏名又は名称】ピクセルロット エルティーディー．

【氏名又は名称原語表記】ＰＩＸＥＬＬＯＴ ＬＴＤ．

(74)【代理人】

【識別番号】100111202

【弁理士】

【氏名又は名称】北村 周彦

(72)【発明者】

【氏名】タミア，ミキィ

(72)【発明者】

【氏名】オズ，ガル

(72)【発明者】

【氏名】リッドニク，タル

【合議体】

【審判長】畑中 高行

【審判官】樫本 剛

【審判官】川崎 優

(56)【参考文献】

【文献】国際公開第２０１４／０２４４７５（ＷＯ，Ａ１）

【文献】特開平７－４６５８２（ＪＰ，Ａ）

【文献】特開２００６－４０１９９（ＪＰ，Ａ）

【文献】特開２００４－４６６４７（ＪＰ，Ａ）

【文献】特開２００９－３０３１７６（ＪＰ，Ａ）

【文献】特開２００９－２７２９７０（ＪＰ，Ａ）

【文献】鄭 文涛（外４名）、「複数カメラの協調動作による動オブジェクトの抽出」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８６－Ｄ－ＩＩ、Ｎｏ．３、２００３年３月、ｐ．３９７～４０８

【文献】蔵野 隼二（外４名）、「スポーツ映像解析に向けたパス成功確率マップの作成」、映像情報メディア学会技術報告〔メディア工学〕、Ｖｏｌ．３７、Ｎｏ．３６、ＭＥ２０１３－９７、２０１３年８月、ｐ．４５～４８

【文献】三須 俊彦（外３名）、「パーティクルフィルタによる単眼動画像からのサッカーボール３次元軌道推定」、ＦＩＴ２００６ 第５回情報科学技術フォーラム 情報科学技術レターズ、Ｖｏｌ．５、２００６年８月、ｐ．１６７～１７０

【文献】矢野 一樹（外２名）、「探索手法の切り替えを用いたサッカー映像におけるボール追跡システム」、第１０回 画像の認識・理解シンポジウム（ＭＩＲＵ２００７）論文集、２００７年７月、ｐ．１０５２～１０５６

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 21/00 - 21/858

H04N 5/222 - 5/28

(57)【特許請求の範囲】

【請求項1】

ビデオシーンを自主的に生成するためのコンピュータ実行型の方法であって、
（ａ）一つ以上のビデオカメラから、シーンのビデオイメージのストリームを受信することであって、前記一つ以上のビデオカメラはシーンのパノラマビューを取り込むように構成されていること、
（ｂ）前記シーンで発生する状況を特徴付ける所定の基準に従って前記ビデオイメージのストリームを分析することであって、
（Ｉ）前記ビデオイメージのストリームの中の第１物体を特定すること、
（ＩＩ）前記第１物体を追跡すること、及び、
（ＩＩＩ）前記第１物体に関連する少なくとも一つの第２物体を特定すること、の少なくとも一つを含むこと、
（ｃ）所定のルール及び前記分析に従って一つより多いフレームストリームの少なくとも位置データと時間に係る情報を特定すること、
（ｄ）前記位置データに基づき、イメージによって前記一つより多いフレームストリームのアクティブフレームストリームをレンダリングすることであって、前記イメージは、前記シーンの前記パノラマビューの一部に対応するものであるということ、
を含み、
前記パノラマビューの対応する一部をイメージ化したイメージフレームのレンダリングされたストリームの放送ために、送信することを可能とし、
前記方法は、
前記第１物体を失うと、前の第一物体の位置に従って前記第一物体を占める領域を推定すること、及び
前記第１物体を占める前記領域を含ませるために、前記一つより多いフレームストリームのフレームストリームを変更することを含む、
ことを特徴とするビデオシーンを生成するためのコンピュータ実行型の方法。

【請求項2】

前記方法は、
前記パノラマビューの前記一部に対応する前記レンダリングされたストリームの放送のために、送信することをさらに含む、
ことを特徴とする請求項１に記載のビデオシーンを生成するためのコンピュータ実行型の方法。

【請求項3】

前記方法は、
ビデオシーンにおいて競技場内のポイントを使用して前記一つ以上のカメラを校正することをさらに含み、
前記ポイントは以下のグループから選択されるものである、
（ｉ）競技場のコーナー
（ｉｉ）二つのフィールドラインの交差する箇所
（ｉｉｉ）１１ｍのペナルティキックポイント
（ｉｖ）競技場で設置され、一つ以上の測定装置によって決定される位置を有するビーコンポイント
（ｖ）ベンチ関連のポイント
ことを特徴とする請求項１に記載のビデオシーンを生成するためのコンピュータ実行型の方法。

【請求項4】

第一物体の位置、及び、多数の選手位置の中心を含む変数のグループから選択された少なくとも一つの変数に従って、フレームセンターを特定することを含む、
ことを特徴とする請求項１に記載のビデオシーンを生成するためのコンピュータ実行型の方法。

【請求項5】

前記方法は、
（Ａ）第一物体の軌道をスムージングすること、
（Ｂ）前記スムージングされた第一物体の軌道に従って、センターフレームを特定することにより、フレームセンターの軌道の突然の動きを防止すること、
を含む、
ことを特徴とする請求項１に記載のビデオシーンを生成するためのコンピュータ実行型の方法。

【請求項6】

前記方法は、
（Ｉ）バスケットボールゲームのファストブレーク（速攻）を特定すること、
（ＩＩ）第一物体のスピードを推定すること、
（ＩＩＩ）前記第一物体のスピードに従って、ファストブレーク（速攻）の前側又は後側にある選手団を取り囲むフレームの位置を特定すること、
を含む、
ことを特徴とする請求項１に記載のビデオシーンを生成するためのコンピュータ実行型の方法。

【請求項7】

前記方法は、
長方形を使用して選手の所定部分を取り囲む、少なくとも一つのフレームストリームのフレームを特定すること、
を含む、
ことを特徴とする請求項１に記載のビデオシーンを生成するためのコンピュータ実行型の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は２０１４年４月３日に出願された「自動的にテレビ番組を制作する方法及びシステム」と題する米国仮特許出願第６１／９７４４００号に関連し、それの優先権を主張するものであり、また、その開示の全体は、参照により本明細書に組み込まれるものである。

【背景技術】

【0002】

発明の背景
本明細書に開示した課題は、自動的に屋外テレビ番組を制作する方法及びシステムに関し、特に、本開示はスポーツイベントのテレビ番組制作に関連するものである。

【0003】

関連技術の説明
テレビが対象とするスポーツは、かつては対象とされなかったようなスポーツイベントに広がりつつある。従来のテレビ番組制作は、フィールドにあるいくつかのカメラに基づき、数人のカメラマン及び一人のディレクターによって行われており、このディレクターは視聴するために常に一つのカメラを選ぶ。しかし、このような大勢のスタッフと複数のカメラによる完全現場制作は経費がかかりすぎるので、高品質の番組を作ることができない。一方、家にいる視聴者はイベントの一部のリプレイを含む包括的なテレビ報道を期待している。制作コストは、制作に関わるいくつか又は全ての手動プロセス に代わる自動プロセスにより、低減することができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、フィールドの中またはその近くに設置されるサーバにより、完全にカメラの自動操作によるものである。いくつかのカメラは競技場のパノラマビュービューを取り込む。サーバは取り込まれたイメージを使用し、仮想カメラを操作し、これにより、例えば、メインカメラ「カメラ１」は、カメラマンの代わりになる。サーバも仮想カメラの間で切り替わる。さらに、サーバは指向されるセンサーを使用し、この指向されるセンサーは、そのフィールドにも設置されるものである。

【0005】

本発明ではビデオシーンを生成するために、コンピュータ実行型の方法を提供する。この方法は、いくつかのビデオカメラ及びシーンのビデオイメージのストリームから受信することを含み、これはシーンのパノラマビューを取り込むため、ビデオイメージのストリームを分析するため、及び、その分析に従ってフレームストリームの位置データを特定するためのものである。この方法は、位置データに基づき、イメージを含む一つ以上のフレームストリームのアクティブフレームストリームをレンダリングすることも含み、ここで、イメージはシーンのパノラマビューの一部に対応するものである。その結果、この方法により、イメージフレームのレンダリングされたストリームの放送に送信することを可能にし、このイメージフレームはパノラマビューの各部に対応するものである。イメージを分析するステップは、ビデオイメージのストリームで第１物体を特定し、第１物体を追跡し、第１物体に関連する少なくとも一つの第２物体を特定することを含む。

【0006】

いくつかの実施例では、前記方法は競技場内のポイントを使用してカメラを校正することを含む。ポイントの例は、競技場のコーナー、二つのフィールドラインの交差する箇所、１１ｍのペナルティキックポイント、及びビーコンポイントであり、これらは競技場で設置され、また測定装置及びベンチ関連のポイントによって特定された位置を有するものである。

【0007】

いくつかの実施例では、パラメータのセットは、位置、デジタルズーミング及び時間に関連するパラメータによりフレームストリームを定義する。位置パラメータは、左側角、右側角、底角、頂角、中心角度座標、中心位置座標、アスペクト比及びフレーム幅を含むものである。ズーミングパラメータは固定ズームパラメータ、タイムスタンプ上のズームパラメータに対する依存度を定義する方程式のパラメータ、及び、ズームパラメータ対タイムスタンプのテーブルである。時間パラメータは、現在の時間フラグ、最初のタイムスタンプ、最終のタイムスタンプ、フレームレート及び解像度パラメータを含む。好ましくは、フレーム幅は例えば、所定幅、フレーム中の選手の所定数、競技場の境界を超えることに関連する禁止フラグ、フレームの主要な静的物体を含むことに関連するデマンドフラグにより決定される。

【0008】

いくつかの実施例では、この方法は、プレイオブジェクトを失うとプレイオブジェクトを占める領域を推定すること、及びその領域を含ませるようにフレームストリームを変更することを含む。

【0009】

いくつかの実施例では、前記方法は、ある時間で、ある位置にプレイオブジェクトのアイデンティフィケーションをバリデーションすることを含み、これは、ある時間前にプレイオブジェクトの軌道を考慮して、プレイオブジェクト存在の確率を推測することによるものである。

【0010】

いくつかの実施例では、前記方法は、プレイオブジェクトの位置、及び多数の選手位置の中心などの変数に従って、フレームセンターを特定することを含む。

【0011】

いくつかの実施例では、前記方法は、プレイオブジェクトの軌道をスムージングすること、スムージングされたプレイオブジェクトの軌道に従ってセンターフレームを特定することを含み、これにより、フレームセンターの軌道の突然の動きを防止することができる。

【0012】

いくつかの実施例では、前記方法は、バスケットボール試合のファストブレーク（速攻）を特定すること、ボールのスピードを推定すること、及びボールのスピードに応じて選手団をブロックするためのフレームの位置を選択することを含む。ファストブレーク（速攻）の前側ではファーストボールの場合が選択され、一方、その後側ではスローボールの場合が選択される。

【0013】

いくつかの実施例では、フレームは選手の所定部分を長方形でブロックすることにより特定される。

【0014】

また、本発明では、一つの方法を提供しており、この方法は、シーンにおけるスポーツゲームのテレビ番組を自主的に制作するコンピュータ化されたサーバのためのものである。この方法は、シーンのパノラマビューを取り込むために、いくつかのカメラからシーンのビデオイメージのストリームを受信すること、いくつかの各フレームストリームを定義するいくつかのパラメータのセットを提供すること、及び、所定ルールに従った最初のアクティブフレームストリームを選択することを含む。この方法は、イメージによりアクティブフレームストリームをレンダリングすることをさらに含み、ここで、イメージは選択されたフレームストリームの各パラメータのセットに従ったシーンのパノラマビューの各部分に対応する。このようにして、この方法では、パノラマビューの各部分に対応するイメージフレームのレンダリングされたストリームを放送するために送信することが可能となる。この方法は、アクティブフレームストリームと異なるフレームストリームの間の切替のために、シーンのイベントを特定するためのビデオイメージのストリームを分析すること、及び、アクティブフレームストリームを異なるフレームストリームに代えさせることをさらに含む。

【0015】

いくつかの実施例では、多くの場合、全てのフレームストリームは、アクティブフレームストリームに干渉せず、レンダリングされたイメージを有しないものである。

【0016】

イベントの例は、試合開始、試合終了、試合の休憩、タイムアウトの開始、タイムアウトの終了、１１メータペナルティキック、休憩終了、オフサイド、コーナーキック、フリーキック、及びスローインである。このイベントは、発生しているイベント又は発生すると予想されるイベントである。

【0017】

いくつかの実施例では、各複数のフレームストリームは、各ビューに関連する。ビューの例は、広いプレイオブジェクトビュー、狭いプレイオブジェクトビュー、二つの固定されたゲートのビュー、二つの固定されたバスケットのビュー、いくつかの固定された観客のビュー、いくつかのリプレイのビュー、及び移動カメラのビューである。好ましくは、広いプレイオブジェクトビューに関連するフレームストリームの狭いプレイオブジェクトビューに関連するフレームストリームへの切替は、少なくとも一つの所定時期で、プレイオブジェクトのスピードが所定値を下回るスピードに落ちることでトリガーされる。この切替は、静的プレイオブジェクトのイベントによってもトリガーされることができ、この静的プレイオブジェクトは、特定されたゲーム状況を待っているものである。

【0018】

いくつかの実施例では、この方法は、特定のドラマティックなイベントのリプレイを表示するために、リプレイフレームストリームに切替えることを含む。

【0019】

さらに、本発明は、コンピュータ化されたサーバのための方法を提供するものであり、このコンピュータ化されたサーバは、指向されるセンサーによってより質が高められたシーンにおけるスポーツ試合のテレビ番組を自主的に制作するものである。この方法は、シーンのパノラマビューを取り込むために、いくつかのビデオカメラからシーンのビデオイメージのストリームを受信すること、及び、所定ルール及びビデオイメージのストリームに対する分析に従って、位置データによるいくつかのフレームストリームを定義することを含む。この方法は、所定手順及びビデオイメージのストリームに対する分析に従って、アクティブフレームを選択すること、及びアクティブフレームストリームの位置データに従って、指向されるセンサーを関心領域に向けさせることをさらに含む。

【0020】

いくつかの実施例では、この方法は、シーンのパノラマビューの各部に対応するイメージでアクティブフレームストリームをレンダリングすること、イメージフレームのレンダリングされたストリームの放送に送信すること、をさらに含む。

【0021】

いくつかの実施例では、この方法は、フレームストリームの定義を許可するために、ビデオイメージのストリームを分析することを含む。

【0022】

いくつかの実施例では、事前に定義した基準に従って、ビデオイメージのストリームを分析すること、シーンで発生した状況を特徴付けること、基準によって特徴的なものとして関心領域で発生した状況を特定すること、及び、指向されるセンサーに関連する操作をトリガーすること、を含む。操作の例は、指向されるセンサーを使用して信号を取り込むこと、及び、取り込まれた信号を放送することである。

【0023】

いくつかの実施例では、この方法は、位置データに従って、ＰＴＺビデオカメラを関心領域に向けさせることを許容するために、シーンに関するパン‐チルト‐ズーム（ＰＴＺ）ビデオカメラを校正することを含む。好ましくは、この方法は、シーンにおける二つ以上のポイントに焦点をあてる際に、ＰＴＺカメラのパンと傾斜角を校正することを含む。好ましくは、この方法は、それのビデオ信号を取り込むために、ＰＴＺビデオカメラを関心領域に向けさせることを含む。

【0024】

いくつかの実施例では、この方法は、指向性マイクロホンを関心領域に向けること、及び、その生成したオーディオ信号を記録することを含む。好ましくは、この方法は、その生成したオーディオ信号を選択することをさらに含み、これはアクティブフレームストリームに関連するイメージの放送ストリームのオーディオ信号として放送するためである。

【図面の簡単な説明】

【0025】

本発明と見なされる主題は、明細書の末尾に具体的に指摘し、明確に主張されている。しかし、本発明のシステム構成および運用方法の両者における上述の特徴と利点は、以下の詳細な説明と添付図面とを参照することによって最もよく明らかになる。

【図1a】は、自動的にテレビ番組を制作するシステムのブロック線図である。

【図1b】は、自動的にテレビ番組を制作するために、イメージ及びオーディオ信号を取り込むいくつかのセンサーを備えるサッカー競技場を示す図である。

【図2a】は、自動的にテレビ番組を制作する方法のフローチャートである。

【図2b】は、自動的にテレビ番組を制作する方法におけるオブジェクトステップのフローチャートである。

【図3】は、自動テレビ番組制作におけるフレームストリーム間の自動切替の方法のフローチャートである。

【図4】は、指向されるセンサーによる自動テレビ番組制作の質を高める方法のフローチャートである。

【発明を実施するための形態】

【0026】

次に、本発明を具体的な実施形態例により説明する。本発明は開示された実施形態例に限定されないことを理解すべきである。添付請求項のいずれかで請求された本発明を実施するには、本方法とシステムの特徴のすべてが必要となるわけではないことを理解すべきである。本発明を完全に有効にするために装置の様々な要素と特徴を説明する。本開示全体を通じて、１つの方法が開示または記述される場合は、ある段階を最初に実行してからでなければ他の段階を実行できないことが文脈から明らかでない限り、その方法の各段階がいかなる順番によっても、または同時に実施できることを理解すべきである。

【0027】

本発明の複数の実施形態を詳細に説明する前に、本発明の出願は、以下の文章や図面で説明する詳細構造および構成要素に限定されないことを理解すべきである。本発明は他の実施形態が可能で、様々な方法で実施または実行できる。また、本明細書で使用する表現と用語は説明を目的とするもので、限定することを目的とするものではないことを理解すべきである。

【0028】

他の定義がなければ、本明細書で使用するすべての技術および科学用語は当該発明が属する技術分野において通常の知識を有する者が一般に理解しているものと同じ意味を有する。本明細書記載のシステム、方法および例は、単に例示を目的とするものであり、限定することを目的とするものではない。

【0029】

本発明の説明とクレームにおいて、「備える」、「含む」および「有する」という動詞およびその活用形は、動詞の単数または複数の目的語が必ずしも動詞の単数または複数の主語の部材、構成要素、要素または部品すべてを列挙するものではないことを示すために使用される。

【0030】

定義
ｆｉｅｌｄ ｏｆ ｖｉｅｗ（視野）という用語は、以下ＦＯＶといい、ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ（関心領域）という用語は本開示の全体を通じて用いられ、制作したテレビ番組の視聴者のために、潜在的に関心のあるシーンの所望領域のことをいう。
ｐａｎｏｒａｍｉｃ ｖｉｅｗ（パノラマビュー）という用語は、広角の視野であり、競技場及び観客の全体のシーンを含む。
ｆｒａｍｅ（フレーム）という用語は、長方形であり、パノラマビューの一部として、放送するための所望の関心領域を定義する。
ｆｒａｍｅ ｓｔｒｅａｍ（フレームストリーム）という用語は、データレコードであり、ある限定されるまたは無制限の持続時間における、パノラマビューの固定部分や可変部分の位置データと時間テータを定義する。フレームストリームは、放送また活動していない時には、通常はイメージが空である。従って、フレームストリームを保存するコンピュータメモリのサイズは、アクティブフレームの各イメージのストリームと比較して小さいものである。
ｉｍａｇｅ ｓｔｒｅａｍ（イメージストリーム）は一つ以上の現実のカメラまたは仮想カメラによって提供される。
ｖｉｒｔｕａｌ ｃａｍｅｒａ（仮想カメラ）はフレームストリームであって、アクチベーションにより、パノラマビューの一部のイメージでレンダリングされるものである。

【0031】

本発明は、「低コストでテレビ番組を制作する方法及びシステム」と題される国際特許公開第ＷＯ２０１４／１９１９９０号に記載した遠隔プロキシビデオの制作に関する発明に相補的であり、その全体の開示を参照することにより本明細書に組み込んでいるものである。

【0032】

図１ａでは低コストの自動テレビ番組制作システム１００が説明されており、会場１０５中の一つのデータサーバ１１５、スポーツゲームの競技場のパノラマビューを取り込むいくつかのセンサー、及びテレビ番組制作を放送する設備を含む。以下では、例えばメインカメラ「カメラ１」である仮想カメラを操作する自動的な方法が説明され、これにより、カメラマンに代わることができる。次に、仮想カメラ間の切替えの自動的な方法が概説される。最後に、指向されるセンサーを使用して自動テレビ番組制作のより質が高められた方法が説明される。

【0033】

仮想カメラの自動的な操作（図１ａ、１ｂ、２ａ、２ｂ）
自動的にテレビ番組を制作するシステムは、図１ａの会場１００と図１ｂのシーン１５５で示されている。シーン１５５では、三つの固定カメラ１１０、１１１、１１２は、選択された位置のパノラマビュー１３１を取り込むために結合され、ここで選択された位置は、例えば、サッカー競技場１６０などの競技場である。さらに、パン‐チルト‐ズーム（以下、ＰＴＺという）カメラ１１５を競技場内の関心領域（ＲＯＩ）に向けることができ、ＲＯＩ１８０は、例えば、異なる方向からのものである。従って、ＰＴＺカメラ１１５は、競技場で発生したイベントのリアルなクローズアップを提供することができる。また、指向されるマイクロホン１１７は、競技場内のＲＯＩに位置合わせることができ、図１ｂの例のＲＯＩ１８０は、例えば選手１７６と１７８の叫び声などが生成するオーディオ信号を取り込む。

【0034】

カメラ１１０、１１１、１１２は、連動するフレームである。各カメラは、シーン１５５のゾーンのビデオイメージを取り込んでいる。各カメラはゾーンを完全に対象とするためにレンズが調整される。オプションとして、様々な焦点距離のあるレンズ、及び、横方向及び縦方向の異なるピクセル数とサイズのあるカメラによる会場を最適にカバーする方法が、シミュレーション技術をパッキングすることで利用されることができる。通常、隣接する（付近の）カメラは、オーバーラップするカバーゾーンを有する。

【0035】

カメラ１１０、１１１、１１２はＣＭＯＳ（相補型金属酸化膜半導体）またはＣＣＤ（半導体電荷結合素子）カメラとすることができる。各カメラは、単独又は、三つなどの複数のイメージャにより構成されることができる。好ましくは、カメラは産業用のグレードである。カメラのデータ出力フォーマットは、ＧｉｇＥ、ＵＳＢ３．０、カメラリンク、ＨＤ‐ＳＤＩまたは、このようなカメラにとって利用可能な全ての他のフォーマットとすることができる。

【0036】

単独の広角カメラ１１１は、シーンを取り込む唯一のセンサーであるが、パノラマビューを提供することができる。

【0037】

図１ａに示されるように、センサー１１０‐１１２、１１６及び１１７は、会場サーバ１１５のセンサーインタフェイス１２０と通信しており、出力フォーマッティングモジュール１３５により、順番に放送施設１４２またはウェブ放送施設１４５に送信する。カメラ１１０‐１１２からデータサーバ１１５までのデータ送信は、光ケーブル又は全ての他の有線または無線の通信システムによって行われることができる。好ましい実施形態では、カメラ１１０‐１１２はＧｉｇＥ出力、及び光ファイバケーブルのあるネットワークスイッチを有し、この光ファイバケーブルは、データをデータサーバ１１５に転送するために使用されるものである。カメラデータは、ワールドワイドウェブを使用して転送されることもできる。

【0038】

会場サーバ１１５は以下のモジュールを含む。
センサーインターフェース１２０であって、カメラデータを入手して初期処理をするセンサーインターフェースである。この初期処理は、カメラに対する測光及び幾何学的校正、イメージ変換及び、ハイパスフィルタリングと色補正 などのイメージ強調プロセスにより構成されることができる。好ましくは、測光校正プロセスは、試合中に頻繁に繰り返される。通常、数秒毎に繰り返されるが、原則として、各フレームで行われる、又は、試合全体において全く行われないこともできる。このような初期処理もカメラ１１０‐１１２により行われる、又は、アクティブフレームフィリングモジュール１３０で行われることができる。

【0039】

イメージレコーダ１２２であって、センサーインターフェース１２０によって得られたデータの少なくとも一部を保存するイメージレコーダである。レコーダ１２２は、ハードディスク、フラッシュメモリモジュール又は、大量高速データ保存のための全ての他の手段により構成される。レコーダ１２２は、ライブの制作、リプレイ、ポストプロダクション及び他のアプリケーションのためのデータを保存する。

【0040】

分析モジュール１２５であって、取り込まれた試合を「解析する」ために、センサーインターフェース１２０から受信されたイメージを分析し、フレームストリームデータベース１４０に送ることによってフレームストリームを調整し、アクティブフレームストリームを特定し、また、以下に説明されるような指向されるセンサー１１６、１１７が取り込んだ信号に切り替える、分析モジュールである。このモジュール１２５は、センサー１１０‐１１２、１１６及び１１７を校正して、センサー校正データベース１５０に校正データを保存する。

【0041】

フレームストリームデータベース１４０であって、パラメータのセットまたはデータレコードを保存するものであり、そのそれぞれが、位置、ズーミング及び時間に関連するパラメータによってフレームストリームを定義するものである。データベース１４０は、現実のディレクターにより監督され、制御され、メインカメラ、固定カメラ、リプレイマシンなどの間で切替えられるために使用する分割画面またはビデオモニタの配列と仮想的に同等なものである。パラメータのセットは、フレームストリームを十分に定義し、これにより、分析モジュール１２５がそれぞれのフレームストリームの放送を始めると決定すると、モジュール１３０はそれにイメージを導入することができる。

【0042】

アクティブフレームストリームフィリングモジュール１３０であって、イメージレコーダ１２２から必要なデータを検索し、必要なデータ上でピクセル操作を実行するモジュールであり、必要なデータは、幾何学的イメージアラインメント、収差補正、口径食補正、アライメント、ステッチングゾーン統合、「最小差」ステッチングライン描画および様々なイメージフィルタ処理などである。モジュール１３０は、分析モジュール１２５の決定に応じて、アクティブフレームストリームのフレームを埋めるピクセルのマトリクスを送信する。このプロセスは、各フレームのために実行される。レンダリングされたイメージフレームの特徴は、隣接する生イメージ間に知覚不能またはシームレス境界を有している。その目的のために、ステッチングラインは、フレームの中またはその近くのラインを特定するために、世界座標からカメラ座標へ変換する。さらに、隣接するビデオカメラに属するピクセルは、キャリブレーションパラメータを使用して幾何学的に配列される。また、隣接するビデオカメラに属するステッチゾーンにおいて、ピクセル対は、ステッチングラインからの距離に基づいて統合される。さらに、異なるビデオカメラに属するピクセルの色彩強度は修正され、イメージフレーム全体の色調、彩度、強度、及びガンマ値は調整される。

【0043】

出力フォーマッティングモジュール１３５であって、衛星、ケーブル又は全ての他の放送送信方法を使用し、必要な動画規格でイメージフレームのストリームをフォーマットして、テレビ局スタジオ１４２または直接視聴者に送信するモジュールである。増加した現代の人口を考慮すれば、その他の送信先としては、ユーザがインターネットを通じて、ストリーム化された放送を視聴できるウェブキャストメディア１４５が考えられる。信号は、個人のウェブクライアントであるホームユーザに直接またはクラウドサーバを通じて送信することもできる。

【0044】

図２ａのフローチャートは、自動ビデオ制作の方法２００を示すものである。試合前に、ステップ２１０では、競技場１６０内のポイントを使用することにより、サーバ１１５はビデオカメラ１１０‐１１２及びＰＴＺカメラ１１６を校正する。ポイントの例は、サッカー競技場１６０のコーナー１６２、１６４、二つのフィールドライン１７２の交差箇所、１１ｍのペナルティキックポイント１８３及びビーコンポイントであり、これらは競技場で設置され、また測定装置及びベンチ関連のポイントによって決定された位置を有するものである。校正データはセンサー校正データベース１５０に保存される。

【0045】

当技術分野で知られているカメラの校正データ及び幾何学的計算は、二つの業務に使用される。一つ目は、カメラから受信されたイメージを、例えばパノラマビューを定義するために互いに関連付けることである。二つ目は、フレームストリームの位置データを、パノラマビューの角度または直角座標に対し関連付けることである。

【0046】

サーバ１１５は、従来のスポーツゲームのテレビ番組制作において使用される現実のカメラに対応するものとして、フレームストリームを仮想カメラとして使用する。フレームストリームは、フレームストリームデータベース１４０にあるそれぞれのパラメータのセットまたはデータレコードに保存される。パラメータのセットは、位置、ズーミング及び時間に関連するパラメータによってフレームストリームを定義する。

【0047】

典型的な位置パラメータは、左側角、右側角、底角、頂角、中心角度座標、中心位置座標、アスペクト比、フレーム幅及び解像度パラメータである。アスペクト比は１６：９の固定値を有することができる。

【0048】

典型的なズーミングパラメータは固定ズームパラメータ、タイムスタンプ上のズームパラメータに対する依存度を定義する方程式のパラメータ、及び、ズームパラメータ対タイムスタンプのテーブルの値である。また、ズーム値は、カメラ１１０‐１１２によって取り込まれたイメージを用いて、パノラマビューのデジタルズーミングのために使用され、このカメラ１１０‐１１２は、リアルなズーム能力がない固定カメラとすることができる。

【0049】

典型的な時間パラメータは、現在の時間フラグ、最初のタイムスタンプ、最終のタイムスタンプ、フレームレートである。ポジティブな現在の時間フラグは、フレームストリームができる限りリアルタイムに従うことを示すものである。

【0050】

フレーム幅は、ゲートやバスケットカメラなどの固定カメラのために、所定の固定幅とすることができる。他のフレームストリームのために、フレーム幅は一定の条件を満たす。第一の条件の例は、所定数の選手がフレームに存在することである。第二の条件の例は、フレームが競技場の境界を超えていないことである。第三の条件の例は、ゲート１７０又はバスケットなどの主要な静的物体がフレームの中に含まれるということである。

【0051】

ステップ２１５では、センサーインターフェース１２０は、ビデオカメラ１１０‐１１２から競技場１６０のビデオイメージのストリームを受信し、これにより、それのパノラマビューを取り込む。ステップ２２０では、分析モジュール１２５は、いくつかのフレームストリームの定義を許可するために、ビデオイメージのストリームを分析する。その結果、ステップ２２５では、分析モジュール１２５は、フレームストリームの位置、ズーミング及び時間パラメータを特定して、フレームストリームデータベース１４０に保存する。ステップ２３０では、モジュール１３０は、シーンのパノラマビューの各部に対応するイメージによりアクティブフレームストリームをレンダリングする。

【0052】

アクティブフレームストリームは、例えば「カメラ１」の対応物である唯一のフレームストリームとすることができる。このような場合には、結果としての制作は、一人の現実のカメラマンを有する場合と同様であり、このカメラマンは、下位リーグ戦でシーン１５５を取り込む。他の場合には、メイン仮想カメラ（「カメラ１」）は、通常広いＦＯＶを生成し、このＦＯＶは、典型的に競技場の３分の１を含む。「カメラ２」フレームストリームは、ボール付近のより狭いビューを提供する。他の仮想カメラは、選手団又は個人選手に対する拡大ビューを提供する。従って、いくつかのフレームストリームがあり、実行された分析はほとんどのフレームストリームのためにパラメータセットを特定するが、一つだけは、レンダリングされたイメージを有するアクティブフレームストリームである。アクティブフレームストリームの選択、及びフレームストリーム間の切替は、次の段落でさらに説明される。

【0053】

アクティブフレームフィリングモジュール１３０は、カメラ１１０‐１１２によって取り込まれたイメージの色と明るさを調整し、アクティブフレームストリームをレンダリングし、異なるカメラで生成されるイメージの間で、世界座標をカメラ座標に変換することに寄与するものである。さらに、モジュール１３０は、ステッチングラインを含むステッチゾーンにおいて、ピクセルを統合し、異なるカメラ１１０‐１１２の出力を幾何学的に配列し、この際、いくつかのカメラによって取り込まれたイメージを校正して配列するために、従来技術で知られている一つの方法を使用する。

【0054】

ステップ２３０では、出力フォーマッティングモジュール１３５は、放送またはウェブキャスティングのために、レンダリングされたイメージフレームストリームをフォーマットして、放送施設１４２又はウェブキャスティング施設１４５に対して結果としてのストリームを通信する。

【0055】

図２ｂには、競技場１６０の対象物に関連する操作の方法２５０が示されている。この方法はボール１７２などの第１物体を特定するステップ２５５、物体１７２を追跡するステップ２５８、ボール１７２に関連する選手１７６と１７８を特定するステップ２６０、ボールを失うとそれを占める領域を推定するステップ２６５を含む。

【0056】

換言すれば、ボール１７２及び選手１７６、１７８は、動的背景減算処理を使用して、それぞれの選手を代表するＢＬＯＢ（Ｂｉｎａｒｙ Ｌａｒｇｅ ＯＢｊｅｃｔ）を作成するために、プレーを通して検知、追跡される。スポーツゲーム中の自動のボール追跡については、例えば、ＭａｒｔｙらによるＵＳ公開第２００８／０３１２０１０号、及びＢｉｒｎｂｏｉｍらによるＵＳ公開第２０１１／０２６７４６１号で開示される。選手の識別については、例えば、Ｔａｍｉｒ 及び ＷｉｌｆによるＵＳ公開第２０１２／００１３７１１号で開示される。イベント検知及びボール追跡は、Ｋ.Ｎｉｓｈｉ，２０１０編集、ＡｒｉｋｉとＴａｋｉｇｕｃｈｉによる第１０章の表題「交換検索の方法でイベント検知及び正確なボール追跡によるサッカーのビデオ制作のためのデジタル・カメラ作業」（「マルチメディア」）で議論されている。ボールの軌道又は軌跡は、ボールが一つの方向だけから取り込まれる場合には二次元とし、又、ボールが二つの方向から取り込まれる場合には三次元とすることができる。

【0057】

ステップ２７０では、分析モジュール１２５は、フレームストリームを変更し、これにより、「カメラ１」フレームは、ボールを占める領域を含む。好ましくは、フレームセンターは、ボールの位置を追従するまたは多数の選手位置の中心を追従するなどして特定される。ステップ２７５では、フレームセンターによる突然の動きを防止するために、分析モジュール１２５は、ボールの軌道を整える。その結果、ステップ２８０では、モジュール１２５はスムーズなボール軌道に従ってセンターフレームを特定する。

【0058】

好ましくは、ステップ２８５では、モジュール１２５は、一定の時間前のボールの軌道を加味したそのボール１７２の存在確率を推定することで、一定の時間、一定の場所におけるボール１７２のバリデーションを行う。

【0059】

ステップ２８３、２８５及び２９０は取り込まれたゲームがバスケットボールであるときに実行されることができる。モジュール１２５は、まずファストブレーク（速攻）を特定し、次にボール１７２のスピードを推定し、最後にフレームの位置を選択する。このフレームは、ボールのスピードに応じて、ボール１７２を扱う選手団をブロックするものである。ファストブレーク（速攻）の前ではファーストボールの場合が選択され、一方、その後側ではスローボールの場合が選択される。

【0060】

ステップ２９５では、モジュール１２５は、選手１７６と１７８の所定部分を長方形でブロックすることにより、フレームストリームのパラメータセットを特定する。好ましくは、一定のゲームでは、ほとんどの選手１７６または彼らの全ては、「カメラ１」のフレームストリームに含まれる。時々、少なくとも三人又は五人の選手１７８は、一つのフレームストリームに含まれる。

【0061】

自動ディレクターに関する実施例（図１ａ、１ｂ及び３）
図３は、スポーツゲームに対する自動テレビ番組制作におけるフレームストリーム間の自動切替のための方法３００のフローチャートを簡単に示すものである。前述のように、従来のスポーツゲームのテレビ番組制作において使用される現実のカメラに対応するものとして、フレームストリームを仮想カメラとして使用する。フレームストリームは、フレームストリームデータベース１４０にあるそれぞれのパラメータのセット又はデータレコードに保存される。パラメータのセットは、前述のように、位置、ズーミング及び時間に関連するパラメータによりフレームストリームを定義する。最初に、ステップ３２０では、デフォルト又は予備値は、いくつかのフレームストリームのために、フレームストリームデータベース１４０に保存される。例えば、「カメラ１」フレームストリームの中心は、ゲームが始まる際に、最初にボールの位置に設定されることができる。

【0062】

フレームストリームは、各ビューに関連する。ビューの例は、広いボールビュー「カメラ１」、狭いボールビュー「カメラ２」、二つの固定されたゲートのビュー、二つの固定されたバスケットのビュー、いくつかの固定された観客のビュー、いくつかのリプレイビュー及び移動カメラのビューである。

【0063】

ステップ２１５では、センサーインターフェース１２０は、ビデオカメラ１１０‐１１２から競技場１６０のビデオイメージのストリームを受信し、これにより、それのパノラマビューを取り込む。

【0064】

ステップ３３０では、モジュール１２５は、所定ルールに従う最初のアクティブフレームを選択する。ルールの例は、最初のフレームストリームが「カメラ１」のフレームストリームである。ステップ２３０では、モジュール１３０は、シーン１５５のパノラマビューの各部を映像化するイメージによってアクティブフレームストリームをレンダリングする。

【0065】

ステップ３５０では、分析モジュール１２５は、ビデオイメージのストリームを分析し、イベントを特定する試みをし、このイベントはアクティブフレームストリームと異なるフレームストリームとの間の切替をトリガーするものである。イベントの特定は、選手とボールの特定、及び、典型的なゲーム状況に関する知識をベースとする。サッカーであれば、例えば、スローインイベントは、選手がタッチラインで立っており、ボールが彼の頭の上にある時の状況として特定される。従って、ステップ３６０では、モジュール１２５はアクティブフレームストリームを異なるフレームストリームに切替える。また、モジュール１２５は、ボール１７２が現在ゴールエリアにある、或いは、ボール１７２がゆっくりと移動し、また選手１７６、１７８がボール１７２を囲んでいる場合には、「カメラ１」から「カメラ２」に切り替わるなどのスポーツタイプの撮影ルールも使用する。また、モジュール１２５は、ボールが静止され、その近くに一人の選手がいる場合に、「カメラ１」または「カメラ２」を拡大イメージに切替えることも決定する。

【0066】

全てのフレームストリームは、アクティブフレームストリームに干渉せず、レンダリングされたイメージを有しないものである。しかし、フレームストリーム間の遷移は時間を追って生じさせることができ、二つのフレームストリームにおいて、古いものがフェードアウトし、新しいものがこれに代わるといった手法で、同時に表示されることになる。ワイプなどのような他の遷移効果も同様に可能である。モジュール１２５は、事前に定義した手続きに従って所望の遷移を選択することができる。遷移の短い持続時間において、二つのフレームストリームは同時にイメージでレンダリングすることができる。

【0067】

モジュール１２５によって特定されるイベントの例としては、試合開始、試合終了、試合の休憩、タイムアウトの開始、タイムアウトの終了、１１メータペナルティキック、休憩終了、オフサイド、コーナーキック、フリーキック、及びスローインである。この特定されたイベントは、発生しているイベント又は発生すると予想されるイベントである。

【0068】

例えば、少なくとも一つの所定時期では、ボールのスピードが所定値を下回るスピードに落ちると、「カメラ１」のフレームストリームは、「カメラ２」のフレームストリームに切替えられる。典型的な所定の速度値は、５、８、１０、１２、１５ｋｍ／ｈである。典型的な所定時期は４、６、７、１０秒である。或いは、モジュール１２５は、コーナーキックのような特定の試合状況の準備の際に、ボール１７２が完全に静止であることを特定する。

【0069】

ゴールなどのドラマティックなイベントが特定されると、モジュール１２５は、特定されたイベントの拡大したスローのリプレイを表示するために、アクティブフレームストリームをリプレイフレームストリームに切替えさせ、その後、アクティブフレームストリームは「カメラ１」のフレームストリームにスイッチバックする。このような状況では、リプレイフレームストリームの最初のタイムスタンプは、ゴールキックの数秒前であり、最終のタイムスタンプは、ゴールの数秒後であり、ここでのフレームレートは、例えば通常レートの１／３である。

【0070】

アクティブフレームストリームの間の遷移は、任意の時点で行うことができ。通常、アクティブフレームストリームが選択されると、次の選択を行うまで放送され続ける。時に、フレームストリームのリプレイなどの場合では、それは最終のタイムスタンプに終了し、他のフレームストリームは所定のルールに従ってアクティブなものとして選択される。例えば、ルールは、リプレイが終わると「カメラ１」のフレームストリームを再びアクティブにするというようにして特定することができる。

【0071】

指向されるセンサーによる自動テレビ番組制作（図１ａ、１ｂと４）
スポーツ大会プロデューサーは、一つ以上の視点からイベントを取り込む必要がある。たった一つの配列のカメラでは、提案されるシステムはたった一つの視野を有することになる。複数のカメラの配列を使用することは当然可能であるが、それぞれは会場でユニークな位置に位置することになる。例えば、サッカーの試合では、各制作チームは、各ゴールキーパーを対象とするために、三つのカメラヘッドを使用し、一つ目をミッドコートの位置に、他の二つを各二つのゲートの後に配置することを決定することになる。マルチ視野の構成に関するより良い実施例は、一つのカメラヘッド、又は、競技場を対象とする複数の固定カメラからなるカメラの配列、及び、一つのカメラに基づくものであり、この一つのカメラには、自動的に遠隔制御されるズームレンズが遠隔制御されるパン及びティルトユニットにマウントされる。多くの商業パン/ティルト/ズーム（ＰＴＺ）カメラは本出願のために使用されることができ、例としては、パナソニックＷＶ‐ＳＣ３８５ＰＴＺネットワークカメラが挙げられる。

【0072】

自動音声取り込みデバイスは、ゲームを対象とすることもできる。その目的を達成するために、指向性マイクロホン１１７は、遠隔制御されるパン及びティルトユニットにマウントされる。マイクロホン１１７は、一定のフレームストリームに適したＦＯＶ座標に従属させることができ、これは音声の取り込みに有益な状況にある選手又は選手団を対象とするためである。このような状況は、例えば、二人の選手が争っていること、又は、選手の一人が判定を叫んでいることである。指向性マイクロホンの例は、放物線マイクロホン、フラットな指向されるマイクロホン、ランニングウェーブのあるマイクロホン、及び、傾度マイクロホンである。これらのマイクロホンは、当技術分野で知られており、競技場の一部で生成されるオーディオ信号を取り込むために、指向性及び感知性を提供するためのものである。

【0073】

図４では、シーンにおけるスポーツゲームのテレビ番組を自主的に制作するコンピュータ化されたサーバのための方法４００のフローチャートが説明され、ここで、この方法は、固定ビデオカメラに加えて指向されるセンサーを使用することにより強化される。

【0074】

サーバ１１５は、センサーインターフェース１２０を使用して、パン‐チルト‐ズーム（ＰＴＺ）カメラ１１６及び指向性マイクロホン１１７を制御する。指向性マイクロホン１１７は、整列可能な２軸のベースに配置される。試合が開始する前に、ステップ２１０では、分析モジュール１２５はフレームストリームの位置データに従って、ＰＴＺビデオカメラ１１６を関心領域に向けることを許容するために、シーンに関するＰＴＺビデオカメラ１１６を校正する。好ましくは、ＰＴＺカメラのパンと傾斜角がシーンにおけるいくつかのポイントにおいてポイントされ、また校正データはセンサー校正データベース１５０に保存される。保存された校正データは、フレームストリームの位置データに従って、ＰＴＺカメラ１１６を配列するために使用される。

【0075】

その後、ステップ２１５では、センサーインターフェース１２０は、ビデオカメラ１１０‐１１２から競技場１６０のビデオイメージのストリームを受信し、これにより、そのパノラマビューを取り込む。その結果、ステップ２２５では、分析モジュール１２５は、フレームストリームの位置、ズーミング及び時間パラメータを特定してフレームストリームデータベース１４０に保存する。ステップ３３０では、モジュール１２５は、所定ルール及びイメージに対する分析に従って最初のアクティブフレームを選択する。ステップ２３０では、モジュール１３０は、シーン１５５のパノラマビューの各部を映像化するイメージによりアクティブフレームストリームをレンダリングする。ステップ２３５では、イメージのレンダリングされたストリームは放送される。

【0076】

ステップ４３０では、モジュール１２５は、指向されるセンサー１１６又は１１７をアクティブフレームストリームの位置データに従って関心領域に向けさせる。また、ステップ３５０において、モジュール１２５は、事前に定義した基準に従ってビデオイメージのストリームを分析し、シーンで発生した状況を特徴付ける。これにより、ステップ４４０では、モジュール１２５は、適切な基準によって特徴的なものとしてた関心領域で発生した状況を特定し、指向されるセンサーに関連する操作をトリガーする。操作４５０では、指向されるセンサー１１６又は１１７は、一つの信号を取り込み、また操作４６０では、サーバ１１５は、取り込まれた信号を放送する。

【0077】

つまり、モジュール１２５は、そのビデオ信号を取り込むために、ＰＴＺビデオカメラ１１６を関心領域に向けさせ、また特定の状況に応じて、取り込まれた信号によりアクティブフレームストリームをオンエアする。例えば、特定の状況において、フレームストリームのデジタルズーミング能力の使用によりデジタル的に許容可能なものよりも、より大きいズームを要求する場合には、指向されるＰＴＺカメラ１１６は、所望の拡大されたリアルのズーミング能力を提供することができる。

【0078】

モジュール１２５は、その生成されたオーディオ信号を記録するために、指向性マイクロホン１１７を関心領域に向けることができる。モジュール１２５は、アクティブフレームストリームにレンダリングされる視覚イメージの放送のストリームのオーディオ信号として、そのオーディオ信号を放送のために選択することができる。

【0079】

本発明は、個々の実施例と共に説明したが、多くの変更、改良および変形例が当業者には明らかであることが分かる。従って、特許請求の範囲の精神及び広い範囲内に帰属するこのような変更、改良及び変形例は全て包含されるものである。特に、本発明は、いずれにせよ説明された例に限定されるものではない。

【図1a】

【図1b】

【図2a】

【図2b】

【図3】

【図4】