特許 6432029 低コストでテレビ番組を制作する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6432029

(24)【登録日】2018年11月16日

(45)【発行日】2018年12月5日

(54)【発明の名称】低コストでテレビ番組を制作する方法及びシステム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20181126BHJP

   H04N 5/247 20060101ALI20181126BHJP

   H04N 21/00 20110101ALI20181126BHJP

【ＦＩ】

   H04N5/232 300

   H04N5/232 290

   H04N5/247

   H04N21/00

【請求項の数】23

【全頁数】19

(21)【出願番号】特願2016-514535(P2016-514535)

(86)(22)【出願日】2014年5月26日

(65)【公表番号】特表2016-519546(P2016-519546A)

(43)【公表日】2016年6月30日

(86)【国際出願番号】IL2014050472

(87)【国際公開番号】WO2014191990

(87)【国際公開日】20141204

【審査請求日】2017年5月11日

(31)【優先権主張番号】61/827,602

(32)【優先日】2013年5月26日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】515324637

【氏名又は名称】ピクセルロット エルティーディー．

【氏名又は名称原語表記】ＰＩＸＥＬＬＯＴ ＬＴＤ．

(74)【代理人】

【識別番号】100111202

【弁理士】

【氏名又は名称】北村 周彦

(74)【代理人】

【識別番号】100142804

【弁理士】

【氏名又は名称】大上 寛

(72)【発明者】

【氏名】タミア，ミキィ

(72)【発明者】

【氏名】オズ，ガル

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／００７００４７（ＵＳ，Ａ１）

【文献】 特開２００９−０６０６６４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２４７

Ｈ０４Ｎ ２１／００

(57)【特許請求の範囲】

【請求項1】

シーンに近接した現場および現場から離隔した制作室で実施される連携的作業によって、ビデオカメラの配列を使用して、シーンのパノラマ撮影から得られる所望の画像フレームのストリームを制作するための以下のステップを含む方法であって、
（ａ）複数のビデオカメラで同時に撮影された画像に関連した生ビデオ画像のストリームが、現場サーバによって記録されるステップ；
（ｂ）第１データ転送速度の生ビデオ画像の前記ストリームが、第２転送速度のパノラマ画像に変換されるステップであって、前記第２データ転送速度が前記第１データ転送速度の１／３未満である；
（ｂ）パノラマ画像の前記ストリームが、少なくとも１つの離隔した制作室に送られるステップ；
（ｃ）離隔した制作室で、各関心領域、各パノラマ画像の一部である選択されたフレームを含む所望のフレームのストリームが選択されるステップ；
（ｄ）前記現場サーバに、所望のフレームの前記ストリームのデータが転送されるステップ；
（ｅ）生ビデオ画像の記録されたストリームから、所望のフレームの前記ストリームに従って、高解像度フレームのストリームが制作されるステップであって、前記高解像度フレームは、各隣接生ビデオ画像から得られた隣接する画像間に知覚不能境界を有することを特徴とするステップ；
さらに、前記方法は、以下のステップを含む現場サーバで実施されるステップを含む、（ｉ）ビデオカメラで取り込んだフレームがピクセルタイルに分解されるステップであり、前記タイルが、単一のカメラフレームサイズより小さいピクセルの長方形のアレイである；
（ｉｉ）前記ピクセルタイルがタイムコードと関連づけられるステップ；
（ｉｉｉ）前記ピクセルタイルが記録されるステップ。

【請求項2】

前記方法は、各複数の固定関心領域を表示するために、複数の事前設定固定フレームを決定する、ことを含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記方法は、以下の項目を含むフレームのグループから選択された１つのフレームを含む、ことを特徴とする請求項１に記載の方法。
（ｉ）固定関心領域を取り込むために、あらかじめ決定された事前設定固定フレーム；
（ｉｉ）シーン内の物体を追尾する仮想移動式カメラ；
（ｉｉｉ）事前設定運動を実行する仮想移動式カメラ；
（ｉｖ）自動検知および事前定義イベントの内包のためのアルゴリズムで決定されたフレーム；および
（ｖ）シーンの中の特定の位置で事前に発生したイベントに関連するフレーム。

【請求項4】

前記方法は、以下の項目からなるデータ項目のグループのうち、少なくとも１つのデータ項目に関する所望のフレーム指示を出すために現場サーバに送信する、ことを含む、ことを特徴とする請求項１に記載の方法。
（ａ）画像アイテム；
（ｂ）フレーム間の所望の映像遷移；
（ｂ）音声アイテム；および
（ｃ）シーンで発生する特定イベントに関する統計的データ。

【請求項5】

２つまたはそれ以上のビデオカメラの配列が、２つまたはそれ以上の現場で、シーンを取り込み、パノラマ画像の各ストリームは、１つまたはそれ以上の制作室に送信される、ことを特徴とする請求項１に記載の方法。

【請求項6】

少なくとも１つの移動ビデオカメラが、イベントを取り込むために、ビデオカメラの配列と組み合わせて使用される、ことを特徴とする請求項１に記載の方法。

【請求項7】

前記制作室に対する少なくとも１つの前記送信および前記現場サーバに対する前記送信が、インターネットリンクを使ってなされる、ことを特徴とする請求項１に記載の方法。

【請求項8】

前記制作室に対する少なくとも１つの前記送信および前記現場サーバに対する前記送信が、クラウドサービスを使ってなされる、ことを特徴とする請求項７に記載の方法。

【請求項9】

前記シーンがスポーツシーンである、ことを特徴とする請求項１に記載の方法。

【請求項10】

クライアントモジュールが所望のフレームの前記ストリームを選択し、前記クライアントモジュールが表示インターフェース、所望のフレームセレクタおよび制御装置を含む、ことを特徴とする請求項１に記載の方法。

【請求項11】

前記クライアントモジュールがホームユーザに提供される、ことを特徴とする請求項１０に記載の方法。

【請求項12】

前記クライアントモジュールが、さらに処理および通信装置を備える、ことを特徴とする請求項１０に記載の方法。

【請求項13】

前記表示インターフェースが、以下の項目を含むインターフェースのグループから選択される、ことを特徴とする請求項１０に記載の方法。
（ｉ）動的に取り込んだシーンの少なくとも一部のパノラマ画像を表示し、表示されたシーンに重なる長方形としての選択された視野を有するスクリーン；および
（ｉｉ）以下の項目を備え、動的シーンの少なくとも１つの部分を直接表示する単眼または双眼装置。
（Ａ）所望の視野を制御するために、パンおよびチルト装置、ズーム制御手段、およびパンおよびチルト角度およびレームサイズを測定する手段；および
（Ｂ）前記所望の視野の画像表示の手段。

【請求項14】

以下のステップことを特徴とする請求項１０に記載の方法。
（Ａ）クラウドサーバが、前記現場サーバからパノラマ画像のシーケンスを受け取る；および
（Ｂ）前記クラウドサーバが、前記パノラマ画像の前記シーケンスをインターネットを使って、前記クライアントモジュールにストリーム配信する。

【請求項15】

前記表示インターフェースが、以下の項目を含む仮想現実ゴーグルセットである、ことを特徴とする請求項１０に記載の方法。
（Ａ）パノラマ画像の前記ストリームで視聴される画像の少なくとも一部の表示；および
（Ｂ）シーンを実際に見ている観客の頭部の運動と、前記ゴーグルセットが表示する画像の少なくとも一部を同期させる手段。

【請求項16】

ゴーグルを装着した１人のオペレータが３次元的視野を知覚できるように、ゴーグルの単眼ごとに、それぞれ異なるパノラマ画像を供給するようにした、ことを特徴とする請求項１５に記載の方法。

【請求項17】

前記方法は、以下のステップを含むステップのグループから選択された１つのステップをさらに含む、ことを特徴とする請求項１に記載の方法。
（ｉ）機械的設計およびレンズ設定に基づいて、配列のビデオカメラを事前校正するステップ；および
（ｉｉ）校正パラメータを入手するために、前記シーンに基づいて前記ビデオカメラを正確に校正するステップ。

【請求項18】

前記方法は、以下のステップを含むアクションのグループから選択される少なくとも１つのアクションを含む、
ことを特徴とする請求項１７に記載の方法。
（ｉ）選択されたフレームと関連した記録済みピクセルタイルが取得されるステップ；
（ｉｉ）世界座標からカメラ座標にステッチングラインが変換され、選択されたフレームにおいてラインが指定され、またはラインが解除されるステップ；
（ｉｉｉ）隣接するビデオカメラに属するピクセルが前記校正パラメータを使って幾何学的に整列されるステップ；
（ｉｖ）隣接するビデオカメラに属するステッチングゾーンで、ステッチングラインからの距離に従って、ピクセル対が混合されるステップ；
（ｖ）異なるビデオカメラに属するピクセルの色彩強度が修正されるステップ；および
（ｖｉ）フレーム全体の色調、彩度、強度およびガンマ値が調整されるステップ。

【請求項19】

前記方法は、現場サーバで実施され、以下のステップを含むグループから選択される少なくとも１つのステップを含む、ことを特徴とする請求項１に記載の方法。
（ｉ）前記ビデオカメラ配列で取り込まれた隣接するフレームが低品質の混合およびアライメントを受けるステップ；
（ｉｉ）低解像度パノラマ画像が混合およびアライメントを受けたフレームから生成されるステップ；および
（ｉｉｉ）離隔した制作室に送信するためにパノラマ画像が圧縮および符号化されるステップ。

【請求項20】

前記方法は、離隔した制作室で実施され、以下のステップを含むグループから選択される少なくとも１つのステップを含む、ことを特徴とする請求項１に記載の方法。
（ｉ）各関心領域に従って、オペレータにパノラマ画像の部分フレームを生成および配信するステップ；
（ｉｉ）前記オペレータが、実際のフレームを取得するために前記部分フレーム内を横方向に移動し、それをズームインまたはズームアウトするステップ；
（ｉｉｉ）ディレクターに前記実際のフレームを提示するステップ；および
（ｉｖ）前記ディレクターが放送する実際のフレームを選択するステップ。

【請求項21】

前記方法は、以下のステップを含む、ことを特徴とする請求項１の方法。
（ｉ）高解像度フレームの前記ストリームが必要な出力ビデオフォーマットに符号化されるステップ；および
（ｉｉ）高解像度フレームのフォーマット化したストリームが放送またはウェブキャストされるステップ。

【請求項22】

ビデオカメラ配列によるスポーツシーンのパノラマ撮影から得られる所望の画像フレームのストリームを、制作室と連携して、現場サーバが制作するための、以下のステップを含む方法であって、
（ａ）複数のビデオカメラで同時に撮影された生ビデオ画像のストリームが、現場サーバによって記録されるステップ；
（ｂ）生ビデオ画像の前記ストリームが、少なくとも１／３にデータ転送速度を落としたパノラマ画像に変換されるステップ；
（ｃ）各関心領域、パノラマ画像の一部である選択されたフレームを含む所望のフレームのストリームを選択するために制作室にパノラマ画像の前記ストリームが送信されるステップ；
（ｄ）前記制作室から、所望のフレームの前記ストリームのデータを受け取るステップ；
（ｅ）生ビデオ画像の記録されたストリームから、所望のフレームの前記ストリームに従って、高解像度フレームのストリームが制作されるステップであり、前記高解像度フレームは、隣接する各生ビデオ画像から得られた隣接する画像間に知覚不能境界を有するステップ：
さらに、前記方法は、以下のステップを含む、
（ｉ）ビデオカメラが取り込んだフレームがピクセルタイルに分解されるステップ；
（ｉｉ）前記ピクセルタイルがタイムコードと関連づけられるステップ；
（ｉｉｉ）前記ピクセルタイルが記録されるステップ。

【請求項23】

前記方法は、以下の項目を含むアクションのグループから少なくとも１つのアクションを選択することを含む、ことを特徴とする請求項２２に記載の方法。
（ｉ）選択されたフレームと関連した記録済みピクセルタイルが取得される；
（ｉｉ）世界座標からカメラ座標にステッチングラインが変換され、選択されたフレームにおいてラインが指定され、またはラインが解除される；
（ｉｉｉ）隣接するビデオカメラに属するピクセルが校正パラメータを使って幾何学的に整列される；
（ｉｖ）隣接するビデオカメラに属するステッチングゾーンで、ステッチングラインからの距離に従って、ピクセル対が混合される；
（ｖ）異なるビデオカメラに属するピクセルの色彩強度が修正される；および
（ｖｉ）フレーム全体の色調、彩度、強度およびガンマ値が調整される。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１３年５月２６日に出願されたＭｉｋｙＴａｍｉｒおよびＧａｌＯｚによる「低コストでテレビ番組を制作する方法及びシステム」と題する米国仮特許出願第６１／８２７，６０２に基づく優先権の利益を主張する。その特許の全体は、本出願の請求の理由となり、参照により本出願に組み込まれるものである。

【背景技術】

【0002】

本発明は屋外（主にスポーツ）テレビ番組制作のための効率的な低コストの代替法の技術分野、特にクラウドベース（リモート）リアルタイムおよびオフライン制作の技術分野に属する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

関連技術の説明
テレビが対象とするスポーツシーンは、かつては対象とされなかったような様々なスポーツイベントに広がりつつある。しかし、大勢のスタッフと複数のカメラによる完全現場制作は経費がかかりすぎるので、様々なスポーツを対象とした高品質の番組を作ることができない。一方、ホームユーザはあらゆるシーンを対象とし、試合中に様々な場所で発生するイベントを注視し、ドラマティックな場面をリプレイするテレビ番組制作を期待している。こうして、本発明の目的は、現在のような機材と人材に非常にコストがかかる屋外スポーツ番組制作に代わる低コストで効率的なテレビ番組制作方法を提案することである。

【課題を解決するための手段】

【0004】

ビデオカメラ配列によるシーンのパノラマ撮影から得られる所望の画像フレームのストリームを制作する方法は、本発明の好ましい実施形態で提供される。その制作はシーン付近の連携的作業および現場から離隔した制作室によって実施される。

【0005】

その方法は、現場サーバが、複数のビデオカメラによって同時撮影された生ビデオ画像のストリームを記録し、第１データ転送速度の生ビデオ画像のストリームを第２データ転送速度のパノラマ画像のストリームに変換することを含む。第２データ転送速度は第１データ転送速度の１／３未満である。さらにその方法は、パノラマ画像を遠隔制作室に転送し、そこで各関心領域を含む所望のフレームのストリームを選択することを含む。選択されたフレームは各パノラマ画像の一部である。

【0006】

さらにその方法は、所望のフレームのストリームデータの現場サーバへの送信と、所望のフレームのストリームに従って、記録された生ビデオ画像のストリームから高解像度フレームのストリームを制作することを含む。高解像度フレームは、隣接する各生ビデオ画像から得られた隣接する画像間に知覚不能境界を有することを特徴とする。

【0007】

いくつかの実施形態において、その方法は固定された各関心領域を取り込むために複数の事前設定固定フレームを決定することを含む。

【0008】

いくつかの実施形態において、その方法は、固定された関心領域を取り込むために事前に決定された事前設定固定フレームのような複数のフレームから１個のフレーム、シーンの被写体を追従する仮想移動カメラ、事前定義運動を実行する仮想移動カメラ、自動検知と事前定義イベント受入のためのアルゴリズムで決定されたフレーム、およびシーンにおける特定の場所で事前に発生したイベントに関連するフレーム、を選択することを含む。

【0009】

いくつかの実施形態において、その方法は、所望のフレームに追加するために、画像項目などのようなデータ項目、フレーム間の所望の画像処理（フェーディング、ディゾルブなど）、音声項目およびあるシーンで発生した特定のイベントに関する統計的データに関する指示を現場サーバに送信することを含む。

【0010】

いくつかの実施形態において、ビデオカメラの複数の配列は現場での２つまたはそれ以上の位置からのシーンを取り込み、パノラマ画像の各ストリームはそれぞれ複数の制作室に送信される。

【0011】

いくつかの実施形態において、移動ビデオカメラはイベントを取り込むために、ビデオカメラの配列と組み合わせて使用される。

【0012】

いくつかの実施形態において、インターネットリンクを使用した制作室への送信と現場サーバの制作室への送信は、クラウドサービスを使用することが好ましい。いくつかの実施形態において、それはセルラーリンクによって実施される。

【0013】

いくつかの実施形態において、シーンはスポーツシーンである。

【0014】

いくつかの実施形態において、クライアントモジュールは所望のフレームのストリームを選択する。クライアントモジュールは、表示インターフェースおよび所望のフレームセレクタおよび制御装置を含む。それは処理および通信装置をも含むことが好ましい。典型的な表示インターフェースは、取り込んだ動画シーンの一部のパノラマ画像を表示し、表示されたシーンに重なる長方形として提示される選択された視野を有するスクリーンである。

【0015】

別の例は、パンおよびチルト装置、所望の視野を定義および制御するためにパンおよびチルト角度およびフレームサイズを測定するフレームサイズ選択手段および装置、および所望の視野の画像表現のための手段を含む、直接的にシーンを表示する単眼または両眼装置である。

【0016】

もう一つの考え得る表示インターフェースは、パノラマ画像のストリームの一部の表示、および実際のシーンの観客が頭部を動かしながら見る情景を再現するために、その表示の一部を観客の頭部運動に同期させる手段を含む仮想現実ゴーグルセットである。ゴーグルを装着した１人のオペレータが３次元的視野を知覚できるように、ゴーグルの単眼ごとに、それぞれ異なるパノラマ画像を供給することが好ましい。

【0017】

いくつかの実施形態において、クラウドサーバは、インターネットを使って、パノラマ画像シーケンスを現場サーバから受信し、パノラマ画像シーケンスをクライアントモジュールにストリーミング配信する。

【0018】

いくつかの実施形態において、その方法は、さらに機械的設計およびレンズ設定に基づくビデオカメラ配列の予備校正、および校正パラメータを入手するためのシーン別のビデオカメラの正確な校正を含む。

【0019】

いくつかの実施形態において、その方法は、さらに現場サーバが実施する複数のステップを含む。そのステップは、ビデオカメラが取り込んだフレームを、ピクセルの長方形アレイであり、１つのカメラフレームサイズより小さいピクセルタイルへと分解し、ピクセルタイルをタイムコードに関連付け、ピクセルタイルを記録することを含む。その方法は、選択されたフレームに関連づけられた記録済みピクセルタイルの取得、ステッチングラインの世界座標からカメラ座標への変換、選択されたフレームにおけるステッチングラインの指定または解除、および校正パラメータを使った複数の隣接するビデオカメラに属するピクセルの幾何学的アライメントをさらに含むことが好ましい。

【0020】

また、その方法は、複数の隣接するビデオカメラに属するステッチングゾーンにおいて、ピクセル対をステッチングラインからの距離に基づいて混合すること、異なるビデオカメラに属するピクセルの色彩強度の修正およびフレーム全体の色調、彩度、強度およびガンマ値の調整を含む。

【0021】

遠隔制作室への送信前に、現場サーバで実施されるそれ以外のステップは、ビデオカメラ配列が取り込んだ隣接するフレームの低品質混合およびアライメント、混合および整列されたフレームから低解像度パノラマ画像を生成すること、および遠隔制作室へ送信するためのパノラマ画像の圧縮と符号化を含む。

【0022】

いくつかの実施形態において、その方法は、各関心領域に従ったパノラマ画像の部分的フレームのオペレータへの生成および配信、実際のフレームを得るためのオペレータの横方向移動および部分的フレームのズームインおよびズームアウト、ディレクターに対する実際のフレームの提示、実際に放送するフレームを選択するディレクターなどのような遠隔制作室において実施されるステップを含む。

【0023】

いくつかの実施形態において、その方法は、高解像度フレームのストリームの必要な出力画像フォーマットへの符号化、および高解像度フォーマットストリームの放送またはウェブキャスティングを含む。

【0024】

撮影現場から離隔した所に位置する制作室のための方法が、本出願の好適実施形態によって提供される。制作室は、ビデオカメラ配列によるスポーツ現場のパノラマ撮影から得られた所望の画像フレームのストリームを制作するために、現場にある現場サーバと連携して作業を行う。制作室の方法は、複数のビデオカメラが同時に撮影した生ビデオ画像ストリームから得られた低解像度パノラマ画像のストリームを現場サーバから受信することを含む。選択されたフレームは低解像度パノラマ画像の一部である。またその方法は、所望するフレームのストリームデータを現場サーバへ送信することを含む。

【0025】

いくつかの実施形態において、その方法は、各関心領域に従ったパノラマ画像の部分的フレームの制作室オペレータへの生成および配信、実際のフレームを得るためのオペレータの横方向移動および部分的フレームのズームインおよびズームアウト、ディレクターに対する実際のフレームの提示、および実際に放送するフレームを選択するディレクターを含む。

【0026】

ビデオカメラ配列によるスポーツシーンのパノラマ撮影から得られる所望の画像フレームのストリームを、制作室と連携して、現場サーバが制作する方法は、本発明の好ましい実施形態によって提供される。その方法は、複数のビデオカメラによって同時撮影された生ビデオ画像のストリームを記録し、その生ビデオ画像のストリームを、データ転送速度低下率が少なくとも３倍である低データ転送速度のパノラマ画像のストリームに変換する方法を含む。

【0027】

その方法はさらに、各関心領域を含む所望のフレームのストリームを選択する制作室に、パノラマ画像のストリームを送信し（ここで選択されたフレームはパノラマ画像の一部である）、制作室から所望のフレームのストリームデータを受信し、所望のフレームのストリームに従って、生ビデオ画像の記録済みストリームから高解像度フレームのストリームを作成する方法を含む。高解像度フレームは、隣接する各生ビデオ画像から得られた隣接する画像間に知覚不能境界を有することを特徴とする。

【0028】

ビデオカメラ配列によるシーンのパノラマ撮影から得られる所望の画像フレームのストリームを現場サーバが制作する方法は、本発明の好ましい実施形態によって提供される。その方法は、複数のビデオカメラで同時に撮影された生ビデオ画像のストリームの記録と、シーンのパノラマ撮影における各関心領域を含む所望のフレームのストリームデータの受信を含む。さらにその方法は、生ビデオ画像の記録済みストリームから、所望のフレームのストリームに従って、高解像度フレームのストリームを制作することを含む。フレームの制作は、記録されたビデオ画像から、フレームに関連した画像のみを取得するなどのように、フレームと関連して事前に記録された画像のみに制限されるアクション、および隣接する画像間に知覚不能境界を有する高解像度フレームを得るための事前に記録した関連画像のみの処理を含む。

【0029】

いくつかの実施形態において、所望のフレームのストリームに関するデータは、表示インターフェース、所望フレームセレクタおよび制御装置を含むクライアントモジュールから受信する。さらにクライアントモジュールは、処理および通信装置を備えることが好ましい。典型的な表示インターフェ−スは、表示シーンに長方形として重ねて表示される選択フレームを有する撮影済み動画シーンの少なくとも一部のパノラマ画像を表示する高解像度スクリーン、頭部姿勢センサを有するヘッドアップディスプレイ、シーンを直接表示し、ミニチュアスクリーンに表示される選択した視野の表示画像を反射する部分反射透明表面、および単眼または双眼装置を含む。その接眼装置は直接、シーンを表示し、パンおよびチルト装置、フレームサイズ制御手段、パンおよびチルトセンサー、所望の視野のサイズと角度を制御および測定するフレームサイズ測定手段、および所望の視野の画像表示手段を含む。

【図面の簡単な説明】

【0030】

本発明と見なされる主題は、明細書の末尾に具体的に指摘し、明確に主張されている。しかし、本発明のシステム構成および運用方法の両者における上述の特徴と利点は、以下の詳細な説明と添付図面とを参照することによって最もよく明らかとなる。

【図1a】低帯域幅通信リンクで接続された２つの場所に分割されるテレビ番組制作システムを示す図である。

【図1b】クライアントモジュールのブロック線図である。

【図2】ディレクタースクリーンとオペレーションチームを含む制作室のブロック線図である。

【図3】現場サーバによるビデオ前処理方法のフローチャートである。

【図4】遠隔制作室の方法のフローチャートである。

【図5】現場サーバによる選択されたフレームの後処理の方法のフローチャートである。

【発明を実施するための形態】

【0031】

次に、本発明を具体的な実施形態例により説明する。本発明は開示された実施形態例に限定されないことを理解しなければならない。添付請求項のいずれかで請求された本発明を実施するには、本方法とシステムの特徴のすべてが必要となるわけではないことを理解しなければならない。本発明を完全に有効にするために装置の様々な要素と特徴を説明する。本開示全体を通じて、１つの方法が開示または記述される場合は、ある段階を最初に実行してからでなければ他の段階を実行できないことが文脈から明らかでない限り、その方法の各段階がいかなる順番によっても、または同時に実施できることを理解しなければならない。

【0032】

本発明の複数の実施形態を詳細に説明する前に、本発明の出願は、以下の文章や図面で説明する詳細構造および構成要素に限定されないことを理解しなければならない。本発明は他の実施形態が可能で、様々な方法で実施または実行できる。また、本明細書で使用する表現と用語は説明を目的とするもので、限定することを目的とするものではないことを理解しなければならない。

【0033】

他の定義がなければ、本明細書で使用するすべての技術および科学用語は当該発明が属する技術分野において通常の知識を有する者が一般に理解しているものと同じ意味を有する。本明細書記載のシステム、方法および例は、単に例示を目的とするものであり、限定することを目的とするものではない。

【0034】

本発明の説明とクレームにおいて、「備える」、「含む」および「有する」という動詞およびその活用形は、動詞の単数または複数の目的語が必ずしも動詞の単数または複数の主語の部材、構成要素、要素または部品すべてを列挙するものではないことを示すのに使われる。

【0035】

定義
ｆｉｅｌｄ ｏｆ ｖｉｅｗ（視野）という用語は、ＦＯＶと略され、所望のフレームや要求されたフレームという用語が本開示の全体を通じて用いられ、人が視聴や放送等を希望するシーンやその画像のことをいう。

【0036】

クライアントモジュールは、オペレータまたはホームユーザがパノラマシーンまたはその画像を視聴し、所望の視野と特定のデータを通信するために使う装置、システムまたは器具の一部である。いくつかの実施形態において、クライアントモジュールのオペレータは、個人的に視聴するために所望の視野を受け取る。他の実施形態では、オペレータは他者に放送またはウェブキャストする視野を指定するだけである。

【0037】

いくつかの実施形態の仮想カメラマンは撮影現場から離隔した人間のオペレータであり、その業務は関心領域を反映する所望のフレームを定義することである。仮想カメラマンは実際のカメラを操作せず、撮影現場にいる実際のカメラマンが提供する役割をシステム全体に提供させることを支援する役割を提供するだけである。他の実施形態では、仮想カメラマンは所望のフレームの前記選択を提供するソフトウェアエージェントまたは特定のプログラムであってもよい。

【0038】

図１ａを参照すると、撮影現場１０５および制作室１６０のデータサーバ１１５を含む低コストのテレビ番組制作のためのシステム１００が説明されている。以下、「現場」制作がまず最初に説明され、次に現場サーバ１０５および遠隔制作室１６０が実行する連携的制作が説明される。次に、ホームユーザのための相互没入型仮想現実実施形態が提示される。最後に、これらの実施形態の方法が提示される。

【0039】

現場ライブ制作実施形態（図１ａ、１ｂ）
前記のように、低コストで効率的なテレビ番組制作のための１つの方法とシステムが提案されている。提案された方法は、機材と人材に費用がかかる現在の一般的なアウトドア番組、特にスポーツ番組の屋外制作に取って代わるものだと思われる。ここで提案するシステムは固定カメラ配列１１０、現場データサーバ１１５およびクライアントモジュール１９５からなる。クライアントモジュール１９５はオプションであることに注意されたい。提案されたシステムは制作後の用途のみに使用してもよく、シーンのライブ撮影中に、クライアントモジュールも制作室も必要のない用途に使用してもよい。

【0040】

カメラ配列１１０はビデオ撮影に使用される。複数のカメラがある場合、カメラのフレームは同期する。各カメラはシーンの所定の領域のビデオ画像を撮影する。その領域をカバーするために各カメラのレンズを調整する。カメラ配列１１０は好ましくは現場の連続的領域を撮影する。オプションとしては、パッキングシミュレーション技術により、様々な焦点距離のレンズと異なる水平および垂直ピクセルの量とサイズを持つカメラを使った複数のレンズによる理想的な現場の撮影方法を使ってもよい。典型的には、隣接するカメラは撮影対象領域が重なりあう。

【0041】

カメラ配列１１０は、ＣＭＯＳまたはＣＣＤカメラであってもよい。各カメラは１個または３個の画像からなってもよい。好ましくは、カメラは工業グレードである。カメラのデータ出力フォーマットは、ＧｉｇＥ、ＵＳＢ３．０、ＣａｍｅｒａＬｉｎｋ、ＨＤ−ＳＤＩまたはその他こうしたカメラで使用できる他のフォーマットであってもよい。

【0042】

すべてのカメラからのデータはカメラ配列の脇、現場の別の位置、または放送スタジオや「クラウドサーバファーム」のような離隔した場所にある現場サーバ１１５に送信される。カメラ配列モジュールからデータサーバへのデータ送信は、光学ケーブルまたは他の有線または無線通信システムで行う。本発明の好適実施態様では、カメラはＧｉｇＥ出力と、データをデータサーバ１１５に送信する光ファイバーケーブルによるネットワークスイッチを持つ。カメラデータはインターネットで送信してもよい。

【0043】

データサーバ１１５は以下のモジュールを含む：

【0044】

データ収集および取り込みモジュールまたはカメラデータを取り込み、最初に処理する前処理装置１２０。この初期処理は、カメラ測光および幾何学的校正、ＪＰＥＧ２０００やＭＰＥＧ２のような方法を使った動画圧縮プロセス、高域フィルタリングや色補正のような画像変換および画像補正プロセス、および低解像度パノラマ画像の生成で構成してもよい。測光校正プロセスは、好ましくはイベント中に複数回繰り返される。一般的には、このプロセスは数秒ごとに繰り返されるが、原理的にはフレームごとに実行でき、またはイベント全体で全く実行しないこともできる。こうした初期処理はカメラ配列１１０、クライアントモジュール１９５または、選択フレーム充填モジュール１３０で実行することができる。

【0045】

ステッチングおよび配置モジュールまたは選択されたフレーム充填モジュール１３０の機能は、所望のフレームに関わるカメラの色調と輝度を調整して、ステッチングラインを世界座標からカメラ座標に変換し、ステッチングゾーンのピクセルを混合し、カメラ配列が取り込んだ画像を校正および調整するための先行技術で既知の方法の１つを使って、フレームを形成するカメラの出力を幾何学的に揃えることにある。本発明の別の実施態様では、ステッチングおよびアライメントモジュールはクライアントモジュール１９５内にあってもよい。

【0046】

データ保存モジュールまたは記録装置１２５の機能は、データ取得モジュール１２０が取得したデータの少なくとも一部を保存することである。データ保存モジュール１２５はハーディスク、フラッシュメモリモジュール、または他の手段から構成される。モジュール１２５はライブ制作、リプレイ、撮影後作業、その他の用途のためにデータを保存する。本発明の好適な実施態様では、記録モジュール１２５に記録されたビデオデータは生またはわずかに圧縮されただけのビデオデータで、ピクセル混合、アライメント、その他ピクセル処理作業を行っていない。

【0047】

この好適な実施態様では、すべてのピクセル混合、アライメント、その他の処理作業が、選択フレーム充填モジュール１３０内で、放送される１つの所望のフレームに属するピクセルのみに対して行われるので処理時間とリソースが大幅に節約できる。

【0048】

また選択フレーム充填モジュール１３０または視野（ＦＯＶ）充填モジュールは、クライアントから要求されたフレームＦＯＶ設定を受け取る。クライアントは、人間の「仮想カメラマン」または自動イベント生成を行うコンピュータプログラムであってもよい。ＦＯＶ充填モジュール１３０はデータ保存モジュールから必要なデータを検索し、取得データに対して、所定のピクセル処理を行う。ＦＯＶ充填モジュール１３０は幾何学的画像アライメント、収差補正、口径食補正、アライメント、ステッチングゾーン混合、「最小差」ステッチングライン描画および様々な画像フィルタ処理を含む。ＦＯＶ充填モジュール１３０は、クライアントの要求に応じて、フレームを充填するピクセルのマトリクスを送信する。このプロセスはフレーム要求ごとに行われる。

【0049】

クライアントモジュール１９５は現場１０５、離隔したサーバファーム、または離隔したユーザの家庭に存在することもできる。一般に、クライアントモジュール１９５は、図１ｂのように、表示手段１９６、ＦＯＶ制御装置１９７、およびオプションの処理および通信装置１９８からなる。

【0050】

クライアントディスプレイ１９６の最も一般的な実施態様は、撮影された動画の少なくとも一部のパノラマ画像を表示する高解像度ＬＣＤである。「仮想カメラマン」としてのクライアントが選択した現在のＦＯＶまたは所望のフレームが、撮影シーンに重なる、例えば長方形画像として表示される。

【0051】

代替クライアントディスプレイ１９６は、ミニチュアＬＣＤスクリーンとコリメート光学装置の手段によって現在のＦＯＶの画像表示が生成され、ＨＵＤ前部に装着された部分反射透明表面から反射される頭部姿勢測定センサを備えたヘッドアップディスプレイ（ＨＵＤ）モジュールである。ユーザは風景を透明光学エレメントから直接、視聴する。所望のＦＯＶ画像表示は無限遠に投影され、仮想カメラマンの肉眼像に重なる。そうしたＨＵＤディスプレイモジュールにより仮想カメラマンは、撮影された動画でなく、実際の風景を見る。

【0052】

別の光学クライアントディスプレイ１９６は、手動で動かすパンおよびチルト装置およびフレームサイズ制御手段１９７の上部に装着され、好ましくは、パンおよびチルト角度およびフレーム測定手段を持つ単眼または双眼装置である。画像ＦＯＶ表示は、この望遠鏡（接眼レンズ）の少なくとも１つのアイピースに投影され、アイピース前部、後部または内部に位置する部分反射ビームスプリッタから反射される。ＦＯＶ画像表示は、オペレータが見ている実際の風景の拡大像に重ねられる。ＦＯＶ画像表示は、ミニチュアＬＣＤスクリーンとコリメート光学モジュールによって生成される。前記実施態様に対する本実施態様の利点は、仮想カメラマンが実際の風景の拡大像を見るという事実である。単眼または双眼装置の倍率は好ましくは可変である。

【0053】

あるいは、標準カメラハンドルをフレーム制御装置１９７として使用し、カメラマンが本来の運用環境を利用して、所望のＦＯＶまたはまたはフレームを定義および提示できるようにしてもよい。

【0054】

仮想現実ゴーグルセットは、パノラマ画像のストリームによって表示される一部の画像表示、および実際のシーンの観客が頭部を動かしながら見る情景を再現するために、その画像表示の一部を観客の頭部運動に同期させる手段を含むクライアントモジュール１９５として使用してもよい。ゴーグルを装着した１人のオペレータが３次元的視野を知覚できるように、ゴーグルの単眼ごとに、それぞれ異なるパノラマ画像を供給することが好ましい。

【0055】

ＦＯＶ制御装置１９７の別のオプションは、画像理解および物体追跡技術を使って、パノラマ現場画像において、ＦＯＶ位置とサイズを自動的に決定するソフトウェアである。例えば、取り込まれたイベントがサッカーの試合だったとすれば、提案されたソフトウェアは自動的に選手やボールを検知および追跡し、フリーキックやコーナーキックなどの試合イベントを自動的に認識し、現在取り込まれている試合イベントの性質に基づいて、時々刻々と変化するＦＯＶの適切なサイズと位置を決定する。

【0056】

ＦＯＶ制御装置１９７は一部自動で、一部手動であってもよい。この場合、優先決定権を持つのは、自動ソフトウェアまたは人間のオペレータのいずれでもよい。

【0057】

遠隔ライブ制作実施形態（図１ａ、１ｂおよび２）
図１ａおよび２は現場サーバ１１５と制作室１６０による連携的制作を示している。チームと機材を含む制作室１６０は、離隔した制作室にあり、現場にあるのではない。制作室機材は、制作室プロセッサ１７０、ディレクター分割スクリーン１６５およびそれぞれのオペレータ（仮想カメラマン）１８０−１、１８０−２、１８０−ｎが使用する複数のクライアントモジュール１９０−ｎを含む。カメラ配列１１０およびデータサーバ１１５は従前通り現場にある。

【0058】

低解像度パノラマ画像または表示は下記に詳述するように作成され、離隔した制作室１６０に送られる。送信はインターネットを使って実施することもできるが、他の有線または無線送信リンク１５５を使っても実施できる。また、クラウドサーバを送信に使うこともできる。低解像度表示は、低帯域通信リンクを経由したリアルタイム高忠実度送信を確保するために使用される。従って、広帯域幅データリンクが利用できれば、フル解像度または単により高い解像度のデータを送信してもよい。

【0059】

ＦＯＶ設定プロセスは、「仮想カメラマン」またはオペレータ１８０−１、１８０−２、１８０および１８０−ｎが手動で実施する。例えば、オペレータ１８０−１はジョイスティックを使用して、表示された動的シーンの上でＦＯＶ長方形を動かし、ボタンによってＦＯＶのサイズを設定（拡大）してもよい。さらに具体的には、制作室プロセッサ１７０はパノラマ画像を取得し、パノラマ画像の全体またはその一部をオペレータ１８０−１、１８０−２および１８０−ｎが使うディスプレイに配信する。

【0060】

ディレクターは、例えば、バスケットボールの試合のベンチやテニスの審判のスタンドなどのような固定関心領域（Ｒｅｑｕｅｓｔ ｏｆ Ｉｎｔｅｒｅｓｔ：ＲＯＩ）を取り込むための事前設定固定フレーム２２５−１、…２２５−ｎを事前に定義することができる。そうした事前設定フレームは、ディレクターが放送するフレームとして選択してもよい。オペレータ１８０−１はこの事前設定フレームまたは別の事前設定フレームを使うことができるので、オペレータはジョイスティックを使って、パノラマ画像（またはオペレータに割り当てられたパノラマ画像の一部）上で動かしたり、別の制御装置を使ってズームインやズームアウトをしたりすることができる。またオペレータは、自ら手動で選択するパノラマ画像の一部（またはオペレータに割り当てられたパノラマ画像の一部）である開始フレームを使うことができる。オペレータ１８０−１は、ディレクターの選択により表示されるフレーム２２０−１を生成する。例えば、オペレータ１８０−１はメインカメラ「仮想カメラマン」を表し、フレーム２２０−２を生成するオペレータ１８０−２は接写「仮想カメラマン」である。

【0061】

ディレクターの選択により表示される、所望の放送対象フレームのための他のオプションは、事前定義仮想運動を実行したり、またはシーン内の物体を追尾する移動式仮想カメラ２３０−１、事前定義イベント自動検知用アルゴリズムが決定するフレーム２３５−１、およびシーンの所定の位置で事前に発生したイベントに関わる時刻／位置リプレイオペレータ２１０−１が選択するフレーム２４０−１である。同様にカメラオペレータ１８０−ｎは、フレームクレクタ１９７を使って、フレーム２２０−ｎを生成し、リプレイオペレータ２１０−ｎはリプレイフレーム２４０−ｎを生成し、同時に事前設定固定フレーム２２５−ｎ、移動式カメラ２３０−ｎ、および自動アルゴリズム２３５−ｎがディレクター１７５によって事前定義される。

【0062】

リプレイオペレータ２１０−１、２１０−２および２１０−ｎはスポーツリプレイ装置の従来のスイッチと制御装置または位置変更が可能で、より特殊なフレーム制御装置１９７を使用して、時刻／位置リプレイ２１０−１または２１０−ｎを取得する。

【0063】

マウスや手振認識に基づくシステムのようなクライアントモジュールを使って、所望のフレームをパンやチルト運動させたり、ズームさせたりしてもよい。例えば、オペレータ１８０−ｎはクライアントモジュール１９０−ｎとして、仮想現実ゴーグルセットを使うことができる。１９０−ｎセットは、パノラマ画像のストリームによって表示される一部の画像表示、画像拡大調節手段、および実際のシーンの観客が頭部を動かしながら見る情景を再現するために、その画像表示の一部を観客の頭部運動に同期させる手段を含む。ゴーグルを装着した１人のオペレータが３次元的視野を知覚できるように、ゴーグルの単眼ごとに、それぞれ異なるパノラマ画像を供給することが好ましい。

【0064】

イベントディレクター１７５は、複数のオペレータ１８０−１、１８０−２、１８０−ｎ、２１０−１、２１０、２１０−ｎから来る複数のフレームを受け取る。これらの画像は、分割スクリーン１６５または複数のビデオモニタによってディレクターに表示される。ディレクターの分割スクリーンに常に表示される他の画像は、事前定義事前設定フレーム２２５−１および２２５−ｎ、自動アルゴリズムが生成するフレーム２３５−１および２３５−ｎ、および事前定義移動式仮想カメラを表すアイコン２３０−１および２３０−ｎである。ディレクターは所定の時間に放送したい画像を選択する。このプロセスは、通常は所定の時刻にたった一つのフレームを放送する制作全体を通じて、連続的に実行される。所望のフレーム選択の遷移は任意の時点で行うことができ、オペレータのアウトプットが選択されると、次の選択を行うまで、アウトプットは放送され続ける。

【0065】

場合によっては、所望のフレームの２つの選択が、古いものはフェードアウトし、新しいものがこれに代わるといった手法で、同時に表示されるように、遷移が段階的に行われる場合がある、ワイプなどのような他の遷移効果も同様に可能である。ディレクターは、別のフレームのスイッチを入れた時に実行したい遷移を選択することができる。

【0066】

またディレクター１７５は、放送したい音声チャンネルや音声信号使用を選択する。例えば、ディレクターは、その音声制御装置２６５を使用して、コメンテーター２６２またはアナウンサー２６０の担当者、環境音、音量、を選択することができる。ディレクターは複数の音源を混合することもできる。

【0067】

さらに、ディレクターは、画面に表示される画像制御装置２５５を使って放送するフレームに重ねる対象画像を選択することができる。画面に表示されるテンプレートはアニメーションを表示することもできる。

【0068】

さらに、統計オペレータ２５０は、画像制御装置２５５を使って統計的データを、制作室プロセッサ１７０にロードする。ディレクターは、このデータを視聴者に提供する時刻と形状を選択する。ディレクター１７５は、選択されたフレームやデータのストリーム、および選択されたフレームにデータが取り込まれた状態で、これらの項目を現場サーバ１１５に提供する方法に関する指示に、これらの音声、画像、遷移、統計項目のうちどれを添付するか決定する。

【0069】

イベントディレクター１７５はオプションにすぎない。ＦＯＶを決定する仮想カメラマン１８０−１が１人または自動ソフトウェア２３５−１が１個の場合は、供給者は１人（もしくは１個）だけであり、イベントディレクターは不要である。

【0070】

例えば４つの角度座標によって表される現在、放送対象となっているＦＯＶの設定は、インターネットまたは他の有線または無線送信リンク１５５または１５７により、現場サーバ１１５に送り返される。現場１０５では、選択されたフレーム充填モジュール１３０が、記録装置１２５にあらかじめ記録された高解像度カメラデータとともに指定されたＦＯＶをレンダリングする。さらに、音声、統計、画像データ項目は制作された高解像度フレームのストリームに埋め込まれる。

【0071】

出力フォーマットモジュール１３５はフレームのストリームを必要な動画規格に整え、テレビ局スタジオ１４５に送信、または衛星、ケーブルまたはその他の放送送信方法によって直接、テレビ視聴者に送信する。増加した現代の人口を考慮すれば、その他の送信先としては、ユーザがインターネットを通じて、ストリーム化された放送を視聴できるウェブキャストメディアが考えられる。信号は、ユーザの指定するフレームシーケンス要求に従って、個人ウェブクライアントであるホームユーザに直接またはクラウドサーバを通じて送信することもできる。生成された高解像度のフレームシーケンスは、リンク１５７を使って制作室に送り返してもよい。

【0072】

場合によっては、固定カメラ配列１１０に加えて、ショルダー式カメラや別の移動式リアルカメラを持った現場カメラマンが、シーンを撮影する。移動式カメラで生成したフレームのストリームは、可能であればデータ転送速度と圧縮率を幾分か低下させてから、制作室１６０に送信される。同時に生画像は固定カメラ映像とともに、記録装置１２５に記録される。移動式リアルカメラが送信したビデオストリームは、他の「仮想」フレームとともにディレクターに表示される。ディレクター１７５が、放送する画像ストリームを選択する場合、適切な指示が現場サーバ１１５に送信され、事前に記録された高解像度画像のストリームは、可能であればいくらかの処理を行ったあとに放送される。

【0073】

一部の実施態様では、ビデオカメラの複数の配列１１０は複数の現場から得られたシーンを撮影する。こうした実施態様または他の実施態様では、パノラマ画像のストリームは１個または複数の制作室１６０に送信される。

【0074】

ホームユーザ向け仮想現実の実施態様（図１ａ、１ｂおよび２）
本発明のこの実施態様では、クライアントは、広いＦＯＶと時々刻々と変化する頭部位置を測定する内蔵センサを持つ仮想現実ヘッドセット１９５を使うホームユーザである。一例として、ＯｃｕｌｕｓＶＲ（カリフォルニア州アーバイン）は、１１０度のＦＯＶを持つヘッドセットを製造している。

【0075】

仮想現実ヘッドセットは、そもそもゲーマーのための設計されたもので、外界を見ることは全く不可能で、ユーザに強い没入体験を与える。このヘッドセットは、ヘッドセットユーザの左右の眼の前方に異なる左右の画像を投影することによって立体視を与えるものであってもよい。通常はこうした市販のヘッドセットは、内蔵スピーカを持ち、没入型音響環境によって視覚体験効果を高める。

【0076】

この実施態様では、パノラマフレームのシーケンスが、インターネット、好ましくはクラウドサービスまたは他の送信リンクを使って連続的に現場サーバからクライアントプロセッサ１９８に送信される。ユーザはズーム制御装置を使って、動的に好みのズームレベルを決定できる。頭部を動かすと、頭部位置センサが新しい体勢を認識する。頭部位置パラメータはプロセッサ１９８に送信され、新しいＦＯＶが生成され、即時にユーザに提示される。

【0077】

撮影したイベントの立体表示も可能である。そのための一つの好適な方法は、Ｔａｍｉｒｅｔａｌに授与された米国特許公報２０１２／００１３７１１記載のＳｔｅｒｇｅｎシステムを使って、２Ｄ画像を３Ｄ立体画像に変換することである。立体画像を生成するには、適切な水平距離と収束を持つ少なくとも２つのカメラ配列、少なくとも部分的に重なり合う領域を持つ１つの配列、またはＪＶＣが製造するＩＦ−２Ｄ３Ｄ１のような一般的２Ｄ−３Ｄコンバータを使う他の方法がある。

【0078】

ピクセルデータとともに、現場に配置された好適には２つのマイクロフォンから得られる音声データは、画像データとともに、ビデオストリームと同期させてプロセッサ１９８に送信してもよい。音声／画像データは、ホームユーザが装着するヘッドセット１９５とスピーカに内蔵された投影装置に送信される。そうした内蔵スピーカがない場合は、データは、ホームユーザ近傍に位置する外部スピーカに転送することもできる。

【0079】

イベントの３Ｄ立体表示を行う場合、２つのデータストリームは分割して、ヘッドセット１９５の左右眼投影手段に送られる。左右眼に入るデータストリームと音声データは、ヘッドセットの頭部位置を測定する内蔵センサに従属する。頭部位置パラメータが変化すると、新しい頭部位置パラメータ（パン、チルト、ロール角度、３つの移動軸）がプロセッサ１９８に送信される。次に、ヘッドセット位置の新しいパラメータを使って対応する新しいＦＯＶが計算される。

【0080】

所望の画像フレームのストリームを生成する方法（図３−５）
あるシーンのパノラマ撮影から得られる所望の画像フレームのストリームを制作する方法は、ビデオカメラ配列１１０で提供される。方法は図３−５に示されている。これらの図には、現場サーバ１１５で行われる前処理の方法３００、シーンに近い現場サーバや現場１０５から離隔した制作室１６０で行われる連携的方法４００における前処理の方法３００、および現場サーバ１１５が行う後処理の方法５００のフローチャートが含まれている。

【0081】

現場サーバ１１５が行う方法３００は、機械的設計およびレンズ設定に基づいた、配列１１０のビデオカメラの予備校正のステップ３１０、シーンに基づいて校正パラメータを得るためのビデオカメラの正確な校正のステップ３１５、生ビデオ画像のストリームを得るために配列１１０のリグカメラでイベントを撮影するステップ３２０を含む。

【0082】

方法３００は、連続的に平行して行われる生画像の前処理の２つのステップを含む。最初のステップは、複数のビデオカメラで同時に撮影された生または僅かに圧縮したビデオ画像のストリームの記録である。第２のステップは、第１データ転送速度のビデオ画像のストリームを第２データ転送速度のパノラマ画像に変換することである。第２データ転送速度は第１データ転送速度の１／３未満である。

【0083】

記録のフレームワークの中で、方法３００は、ビデオカメラが撮影したフレームをピクセルタイルに分解するステップ３２５、ピクセルタイルをタイムコードに関連づけるステップ３３０、ピクセルタイルを記録装置１２５に記録するステップ３３５を含む。

【0084】

生画像を変換するフレームワークの中で、方法３００は、ビデオカメラの配列１１０が撮影した（隣接するカメラが生成した）隣接フレームを低品質で混合およびアライメントするステップ３６０、混合およびアライメントされたフレームから低解像度パノラマ画像を生成するステップ３６５、およびパノラマ画像を圧縮および符号化して離隔した制作室１６０に送信するステップ３７０を含む。ステップ３７０の後には、パノラマ画像のストリームを、低帯域幅リンク１５５を通じて、離隔した制作室１６０に送信するステップ３７５が実施される。

【0085】

連携的方法４００は、パノラマ画像とシーン全体に及ぶ所望のカメラ運動の部分からなる固定関心領域を表示するために、複数の事前設定固定フレームと仮想カメラ事前プログラム運動を決定するステップ４０５を含む。パノラマ画像のストリームは、ステップ４１０で示された現場サーバ１１５から連続的に送信される。方法４００は、さらに、各関心領域に従って、オペレータにパノラマ画像の部分フレームを生成および配信するステップ４１５を含む。例えば、メイン「仮想カメラマン」は、シーン全体のパノラマ画像を受け取り、より完成度の高い画像を制作することになっている「仮想カメラマン」２は、対象となる背景画像として、メインカメラマンのフレームを受け取る。

【0086】

また、方法４００は、実際のフレームを得るために、パノラマフレームの全体を対象としてズームインやズームアウトを行うオペレータのステップ４２０、およびディレクター１７５に実際の「仮想カメラマン」を提示し、移動式カメラと「自動アルゴリズム」フレームをリプレイし、事前設定するステップ４２５を含む。

【0087】

また、方法４００は、ディレクター１７５が実際に放送するフレームを選択するステップ４３０およびディレクター１７５が、放送する映像テンプレート、音源、遷移および統計的データを選択するステップ４３５を含む。

【0088】

さらに、方法４００は、狭帯域リンク１５５を使って所望のフレームのストリームのデータを画像、音声、遷移および統計的データとともに現場サーバ１１５に送信するステップ４４０、選択されたステップのために十分にステッチされた高解像度コンテンツを生成するステップ４４５、画像テンプレートをレンダリングし、音源に切り替え、他のデータ指示を調整するステップ４５０、およびビデオストリームに埋め込まれた画像／音声を放送またはウェブキャストするステップ４５５を含む。高解像度フレームの特徴は、隣接する各生ビデオ画像から得られた隣接する画像間に知覚不能またはシームレス境界を有していることである。。

【0089】

図５を参照すると、現場サーバ１１５におけるフレームの所望のシーケンスの後処理とレンダリングのための方法５００のフローチャートが提示されている。方法５００は制作室から、所望のフレーム、画像テンプレート、音源、設定、その他のデータを受け取るステップ５０５、選択されたフレームに関連して記録されたピクセルタイルを取得するステップ５１０、世界座標のステッチングラインをカメラ座標に変換し、そのラインを選択されたフレームの中で指定し、それを解除するステップ５１５および隣接するビデオカメラに属するピクセルを校正パラメータを使って、幾何学的に調整するステップ５２０を含む。

【0090】

また、方法５００は、複数の隣接するビデオカメラに属するステッチングゾーンにおいて、ピクセル対をステッチングラインからの距離に基づいて混合すること、異なるビデオカメラに属するピクセルの色彩強度を修正するステップ５３０およびフレーム全体の色調、彩度、強度およびガンマ値を調整するステップ５３５を含む。

【0091】

さらに方法５００は、高解像度フレームのストリームを必要な出力動画フォーマットへ符号化するステップ５４０、および高解像度フォーマットストリームの放送またはウェブキャスティングを行うステップ４５５を含む。

【0092】

本発明を具体的実施態様と関連づけて説明してきたが、当業者にとっては多くの代替方法、修正、変異が明白であることは論を待たない。従って、添付された請求項の趣旨と広い範囲に該当するすべての代替方法、修正、変異を内包することが意図されている。特に、本発明はいかなる場合も、説明された例によって制限を受けることはない。

【図1a】

【図1b】

【図2】

【図3】

【図4】

【図5】