特許 6784363 拡張画像を生成するテレビジョン放送システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6784363

(24)【登録日】2020年10月27日

(45)【発行日】2020年11月11日

(54)【発明の名称】拡張画像を生成するテレビジョン放送システム

(51)【国際特許分類】

   H04N 5/268 20060101AFI20201102BHJP

   H04N 21/21 20110101ALI20201102BHJP

   H04N 21/234 20110101ALI20201102BHJP

   H04N 5/262 20060101ALI20201102BHJP

【ＦＩ】

   H04N5/268

   H04N21/21

   H04N21/234

   H04N5/262

【請求項の数】15

【全頁数】19

(21)【出願番号】特願2019-541859(P2019-541859)

(86)(22)【出願日】2017年10月9日

(65)【公表番号】特表2019-536388(P2019-536388A)

(43)【公表日】2019年12月12日

(86)【国際出願番号】EP2017075623

(87)【国際公開番号】WO2018069218

(87)【国際公開日】20180419

【審査請求日】2019年6月12日

(31)【優先権主張番号】102016119637.1

(32)【優先日】2016年10月14日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】519134393

【氏名又は名称】ユニークフィード アーゲー

(74)【代理人】

【識別番号】100121441

【弁理士】

【氏名又は名称】西村 竜平

(74)【代理人】

【識別番号】100154704

【弁理士】

【氏名又は名称】齊藤 真大

(74)【代理人】

【識別番号】100129702

【弁理士】

【氏名又は名称】上村 喜永

(72)【発明者】

【氏名】ドラゴン ラルフ

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１５−２０４５１２（ＪＰ，Ａ）

【文献】 特開２００６−１８００７４（ＪＰ，Ａ）

【文献】 特開２００９−２３９４５９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１８２４４７（ＵＳ，Ａ１）

【文献】 欧州特許第０１０７１２７８（ＥＰ，Ｂ１）

【文献】 米国特許出願公開第２００４／００８５３４２（ＵＳ，Ａ１）

【文献】 欧州特許第００６８３９６１（ＥＰ，Ｂ１）

【文献】 米国特許出願公開第２０１５／０１６３４１６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２６８

Ｈ０４Ｎ ５／２６２

Ｈ０４Ｎ ２１／２１

Ｈ０４Ｎ ２１／２３４

(57)【特許請求の範囲】

【請求項1】

カメラ画像を記録し、それをカメラ信号（Ｓ１）として出力するように構成された複数のテレビジョンカメラ（Ｃ１、Ｃ２）、又はテレビジョンカメラによって予め記録されたカメラ画像を記憶し、記憶されたカメラ画像をカメラ信号（Ｓ１）として出力するように構成された少なくとも１つの記憶媒体と、
前記複数のテレビジョンカメラ（Ｃ１、Ｃ２）の前記カメラ画像から一連のプロダクション画像を生成し、それらをプロダクション信号（Ｓ３）として出力するように構成された少なくとも１つのプロダクションユニット（１２）と、
前記テレビジョンカメラ（Ｃ１、Ｃ２）のそれぞれに割り当てられ、同期的にバッファリングされた前記カメラ画像を受信し、個々の前記カメラ画像をそれぞれ解析して、前記カメラ画像のそれぞれについてのカメラ画像メタデータ（Ｍ）及びそれに関連するカメラ画像ハッシュ値（Ｈ）を算出し、前記カメラ画像のそれぞれについての前記カメラ画像メタデータ（Ｍ）及び前記カメラ画像ハッシュ値（Ｈ）を非同期的に出力するように構成された複数の解析モジュール（Ａ１、Ａ２）と、
前記プロダクションユニット（１２）及び前記解析モジュール（Ａ１、Ａ２）に接続されて、同期的にバッファリングされた前記プロダクション画像を前記プロダクションユニット（１２）から受け取り、前記プロダクション画像のそれぞれについて、関連するプロダクション画像ハッシュ値（ＨＲ）を算出するとともに、各カメラ画像について、非同期的にバッファリングされた前記カメラ画像メタデータ（Ｍ）及び前記関連するカメラ画像ハッシュ値（Ｈ）を前記解析モジュール（Ａ１、Ａ２）から受信するように構成され、さらにプロダクション画像ハッシュ値（ＲＨ）とカメラ画像ハッシュ値（Ｈ）とを比較し、この比較に基づいて、カメラ画像の前記関連するカメラ画像メタデータ（Ｍｊ）を、プロダクション画像メタデータ（ＭＲ）としてカレントプロダクション画像（Ｒｉ）に割り当て、同期的にバッファリングされた前記プロダクション画像メタデータ（ＭＲ）を出力するように構成された同期モジュール（１４）と、
前記同期モジュール（１４）及び前記プロダクションユニット（１２）に接続され、同期的にバッファリングされた前記プロダクション画像メタデータ（ＭＲ）を前記同期モジュール（１４）から受け取り、同期的にバッファリングされた前記プロダクション画像を前記プロダクションユニット（１２）から受け取り、プロダクション画像と関連する前記プロダクション画像メタデータ（ＭＲ）との間の時間オフセットを補償し、さらに前記プロダクション画像メタデータ（ＭＲ）に基づいて、オーグメンテーションによって、前記プロダクション画像の少なくとも１つのサブセクションの前記プロダクション画像に変化を起こして、拡張プロダクション画像を生成し、前記拡張プロダクション画像を出力する乗算モジュール（１６）と、
を有するテレビジョン放送システム。

【請求項2】

前記プロダクションユニット（１２）、前記解析モジュール（Ａ１、Ａ２）、前記同期モジュール（１４）及び前記乗算モジュール（１６）に接続された制御モジュール（１８）をさらに有し、
前記制御モジュール（１８）が、前記プロダクションユニット（１２）から前記制御モジュール（１８）に送信された制御信号に基づいて、前記解析モジュール（Ａ１、Ａ２）、前記同期モジュール（１４）及び前記乗算モジュールを有効又は無効にする請求項１に記載のテレビジョン放送システム。

【請求項3】

前記制御モジュール（１８）がさらに、プロダクション画像と前記関連するプロダクション画像メタデータとの間の時間オフセットをモニタ又は制御し、当該時間オフセットを前記乗算モジュール（１６）に送信するように構成されている、請求項２に記載のテレビジョン放送システム。

【請求項4】

前記制御モジュール（１８）がさらに、少なくとも１つの所定のオーグメンテーションを記憶し、当該オーグメンテーションを前記乗算モジュール（１６）に送信するように構成されている、請求項２又は３に記載のテレビジョン放送システム。

【請求項5】

前記制御モジュール（１８）がさらに、少なくとも１つの所定のアニメーションシーケンスを記憶し、当該アニメーションシーケンスを前記乗算モジュール（１６）に送信するように構成されている、請求項３又は４に記載のテレビジョン放送システム。

【請求項6】

前記乗算モジュール（１６）がさらに、
第１状態（Ｚ１）において、前記拡張プロダクション画像を送信し、
第２状態（Ｚ２）において、前記プロダクション画像を送信し、
第３状態（Ｚ３）において、アニメーションシーケンスによって、前記第２状態（Ｚ２）から前記第１状態（Ｚ１）への移行を実行し、
第４状態（Ｚ４）において、アニメーションシーケンスによって、前記第１状態（Ｚ１）から前記第２状態（Ｚ２）への移行を実行するように構成されている、請求項５に記載のテレビジョン放送システム。

【請求項7】

前記乗算モジュール（１６）が、前記第１状態、前記第２状態、前記第３状態及び前記第４状態と、前記プロダクション画像メタデータ（ＭＲ）と、前記制御モジュール（１８）によって送信された前記オーグメンテーションと、前記制御モジュール（１８）によって送信された前記アニメーションシーケンスとに基づいて、前記拡張プロダクション画像を生成するよう構成された、少なくとも１つのオーグメンテーションコンポーネント（ＡＫ１、ＡＫ２）を有する請求項６に記載のテレビジョン放送システム。

【請求項8】

前記制御モジュール（１８）が、追加的なカメラ、及び／又はＬＥＤシステム（２０）等のスクリーンシステム、及び／又はビデオ記憶システムから追加のデータを受信するように構成された少なくとも１つの追加的なデータ入力を有し、前記制御モジュール（１８）が、前記追加的なデータを前記乗算モジュール（１６）に送信し、前記乗算モジュール（１６）が、前記拡張プロダクション画像の生成のために前記追加的なデータを考慮するように構成されている、請求項２〜７のいずれか１項に記載のテレビジョン放送システム。

【請求項9】

複数のバナーモニタに接続され、前記複数のバナーモニタ上にバナー画像を表示及び／又は動画化するように構成された、画像信号出力を有する電子バナーシステムを更に有し、
前記バナーシステムが、前記制御モジュールに接続され、前記バナーモニタのためのバナー画像信号を前記制御モジュールに送信する、請求項２〜８のいずれか１項に記載のテレビジョン放送システム。

【請求項10】

前記解析モジュールが、前記バナー画像信号とカメラ画像との比較に基づいて、オクルージョンを、とりわけバナーモニタのオクルージョンを、決定するように構成された、請求項９に記載のテレビジョン放送システム。

【請求項11】

前記乗算モジュール（１６）が、特定の画像セクションにおけるオーグメンテーション又はスーパーインポーズが各カメラ設定に対して直角に投影されている拡張プロダクション画像を提供するように構成される、請求項１〜１０のいずれか１項に記載のテレビジョン放送システム。

【請求項12】

前記乗算モジュール（１６）が、拡張プロダクション画像において、オーグメンテーション及び／又はアニメーションが前記拡張プロダクション画像内の透明ペイン等のような記録された透明オブジェクト上に見えるように、前記透明オブジェクトを部分的に変更又はスーパーインポーズし、好ましくは前記オーグメンテーション及び／又は前記アニメーション自体が透明セクションを有するように構成されている、請求項１〜１１のいずれか１項に記載のテレビジョン放送システム。

【請求項13】

前記乗算モジュール（１６）が、複数の異なる拡張プロダクション画像を生成し、それらを異なる出力に同期して出力するように構成されている請求項１〜１２のいずれか１項に記載のテレビジョン放送システム。

【請求項14】

テレビジョン放送又はテレビジョン記録の画像を拡張する方法であって、
複数のテレビジョンカメラによってカメラ画像を記録し、当該カメラ画像をカメラ信号として出力するステップと、
前記複数のテレビジョンカメラの前記カメラ画像からの選択から生成された一連のプロダクション画像を生成し、当該プロダクション画像をプロダクション画像信号として出力するステップと、
各解析モジュールにおいて、前記複数のテレビジョンカメラの前記カメラ画像を同期的にバッファリングして受信するステップであって、各カメラ画像が解析され、カメラ画像メタデータが各カメラ画像に対して生成され、カメラ画像ハッシュ値が算出され、カメラ画像メタデータ及びカメラ画像ハッシュ値がそれぞれの解析モジュールから非同期的に出力されるステップと、
同期モジュールにおいて前記プロダクション画像を同期的にバッファリングして受信し、各プロダクション画像に対するプロダクション画像ハッシュ値を算出し、各カメラ画像に対する前記カメラ画像メタデータ及びそれに関連するカメラ画像ハッシュ値を同期的にバッファリングして受信するステップであって、前記プロダクション画像ハッシュ値と前記カメラ画像ハッシュ値とが比較され、この比較に基づいて、カメラ画像の前記関連するカメラ画像メタデータが、プロダクション画像メタデータとしてカレントプロダクション画像に割り当てられ、プロダクション画像メタデータが同期的にバッファリングされて出力されるステップと、
乗算モジュールにおいて前記プロダクション画像メタデータ及び前記プロダクション画像を同期的にバッファリングして受信し、前記乗算モジュールにおいてプロダクション画像と前記関連するプロダクション画像メタデータとの間の時間オフセットを補償し、前記プロダクション画像メタデータに基づくオーグメンテーションを有する前記プロダクション画像の少なくとも１つのサブセクションにおいてスーパーインポーズを生成し、それにより拡張プロダクション画像が生成され、前記拡張プロダクション画像を出力するステップと、
を有する、テレビジョン放送又はテレビジョン記録の画像を拡張する方法。

【請求項15】

カメラ画像を記録し、それをカメラ信号（Ｓ１）として出力するように構成された複数のテレビジョンカメラ（Ｃ１、Ｃ２）、又はテレビジョンカメラによって予め記録されたカメラ画像を記憶し、記憶されたカメラ画像をカメラ信号（Ｓ１）として出力するように構成された少なくとも１つの記憶媒体と、
前記複数のテレビジョンカメラ（Ｃ１、Ｃ２）の前記カメラ画像から一連のプロダクション画像を生成し、それらをプロダクション信号（Ｓ３）として出力するように構成された少なくとも１つのプロダクションユニット（１２）と、
前記テレビジョンカメラ（Ｃ１、Ｃ２）のそれぞれに割り当てられ、同期的にバッファリングされた前記カメラ画像を受信し、個々の前記カメラ画像をそれぞれ解析して、前記カメラ画像のそれぞれについてのカメラ画像メタデータ（Ｍ）及びそれに関連するカメラ画像ハッシュ値（Ｈ）を算出し、前記カメラ画像のそれぞれについての前記カメラ画像メタデータ（Ｍ）及び前記カメラ画像ハッシュ値（Ｈ）を非同期的に出力するように構成された複数の解析モジュール（Ａ１、Ａ２）と、
前記プロダクションユニット（１２）及び前記解析モジュール（Ａ１、Ａ２）に接続されて、同期的にバッファリングされた前記プロダクション画像を前記プロダクションユニット（１２）から受け取り、前記プロダクション画像のそれぞれについて、関連するプロダクション画像ハッシュ値（ＨＲ）を算出するとともに、各カメラ画像について、非同期的にバッファリングされた前記カメラ画像メタデータ（Ｍ）及び前記関連するカメラ画像ハッシュ値（Ｈ）を前記解析モジュール（Ａ１、Ａ２）から受信するように構成され、さらにプロダクション画像ハッシュ値（ＲＨ）とカメラ画像ハッシュ値（Ｈ）とを比較し、この比較に基づいて、カメラ画像の前記関連するカメラ画像メタデータ（Ｍｊ）を、プロダクション画像メタデータ（ＭＲ）としてカレントプロダクション画像（Ｒｉ）に割り当て、同期的にバッファリングされた前記プロダクション画像メタデータ（ＭＲ）を出力するように構成された同期モジュール（１４）と、
前記同期モジュール（１４）及び前記プロダクションユニット（１２）に接続され、同期的にバッファリングされた前記プロダクション画像メタデータ（ＭＲ）を前記同期モジュール（１４）から受け取り、同期的にバッファリングされた前記プロダクション画像を前記プロダクションユニット（１２）から受け取り、プロダクション画像と関連する前記プロダクション画像メタデータ（ＭＲ）との間の時間オフセットを補償し、さらに前記プロダクション画像メタデータ（ＭＲ）に基づいて、オーグメンテーションによって、前記プロダクション画像の少なくとも１つのサブセクションの前記プロダクション画像に変化を起こして、拡張プロダクション画像を生成し、前記拡張プロダクション画像を出力する乗算モジュール（１６）と、
を有し、
乗算モジュール（１６）が、
第１状態（Ｚ１）において、前記拡張プロダクション画像を送信し、
第２状態（Ｚ２）において、前記プロダクション画像を送信し、
第３状態（Ｚ３）において、アニメーションシーケンスによって、前記第２状態（Ｚ２）から前記第１状態（Ｚ１）への移行を実行し、
第４状態（Ｚ４）において、アニメーションシーケンスによって、前記第１状態（Ｚ１）から前記第２状態（Ｚ２）への移行を実行するように構成されているテレビジョン放送システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ画像を記録し、それらをカメラ信号として出力する複数のテレビジョンカメラと、複数のテレビジョンカメラのカメラ画像から一連のプロダクション画像を生成し、それらをプロダクション信号として出力するプロダクションユニットとを備えるテレビジョン放送システムに関する。

【背景技術】

【0002】

このようなテレビジョン放送システムは知られており、ライブ放送及びポストプロダクションの両方に使用されている。ポストプロダクションの場合には、カメラ画像は、カメラによって予め記録された画像シーケンスが記憶されているハードディスク等の少なくとも1つの記憶媒体から通常生じる。

【0003】

このようなテレビジョン放送システムでは、フェードイン（fading in）やスーパーインポーズ（superimposition）が行われることが知られている。このプロセスでは、カメラによって生成されたカメラ画像に加えて、加速度センサ、コンパス、ジャイロコンパス又は距離計等の追加のセンサによってセンサデータが記録され、それによって空間内のカメラの向きに関する追加の情報が得られる。その結果、カメラ画像内に表示されたオブジェクトが識別され、必要なときにスーパーインポーズする（重ね合わせる）ことができる。これに関連して、テレビジョン画像を記録するのに役立たないが、画像コンテンツを使用することができる付加的なカメラを使用して、テレビジョン画像上に付加的な画像情報を提供できるようにすることも知られている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、センサを追加することなく、記録されたカメラ画像のサブセクションをフェードイン又はスーパーインポーズできるテレビジョン放送システムを提供することである。

【課題を解決するための手段】

【0005】

したがって、本願発明のテレビジョン放送システムは、カメラ画像を記録し、それをカメラ信号として出力するように構成された複数のテレビジョンカメラと、前記複数のテレビジョンカメラの前記カメラ画像から一連のプロダクション画像を生成し、それらをプロダクション信号として出力するように構成された少なくとも１つのプロダクションユニットと、前記テレビジョンカメラのそれぞれに割り当てられ、同期的にバッファリングされた前記カメラ画像を受信し、個々の前記カメラ画像をそれぞれ解析して、前記カメラ画像のそれぞれについてのカメラ画像メタデータ及びそれに関連するカメラ画像ハッシュ値を算出し、前記カメラ画像のそれぞれについての前記カメラ画像メタデータ及び前記カメラ画像ハッシュ値を非同期的に出力するように構成された複数の解析モジュールと、前記プロダクションユニット及び前記解析モジュールに接続されて、同期的にバッファリングされた前記プロダクション画像を前記プロダクションユニットから受け取り、前記プロダクション画像のそれぞれについて、関連するプロダクション画像ハッシュ値を算出するとともに、各カメラ画像について、非同期的にバッファリングされた前記カメラ画像メタデータ及び前記関連するカメラ画像ハッシュ値を前記解析モジュールから受信するように構成され、さらにプロダクション画像ハッシュ値とカメラ画像ハッシュ値とを比較し、この比較に基づいて、カメラ画像の前記関連するカメラ画像メタデータを、プロダクション画像メタデータとしてカレントプロダクション画像に割り当て、同期的にバッファリングされた前記プロダクション画像メタデータを出力するように構成された同期モジュールと、前記同期モジュール及び前記プロダクションユニットに接続され、同期的にバッファリングされた前記プロダクション画像メタデータを前記同期モジュールから受け取り、同期的にバッファリングされた前記プロダクション画像を前記プロダクションユニットから受け取り、プロダクション画像と関連する前記プロダクション画像メタデータとの間の時間オフセットを補償し、さらに前記プロダクション画像メタデータに基づいて、オーグメンテーションによって、前記プロダクション画像の少なくとも１つのサブセクションの前記プロダクション画像に変化を起こして、拡張プロダクション画像（augmented production image）を生成し、前記拡張プロダクション画像を出力する乗算モジュールと、を有する。

【0006】

本明細書でいう「プロダクションユニット」とは、例えば現場の制作バンの内部で行われる画像選択及び画像編集のプロセスをいう。この用語はまた、互いに接続された複数のプロダクションユニットを含む。これらの各プロダクションユニットは、指示ユニットの出力が階層的により高いプロダクションユニットに情報を送るテレビジョンネットワークのように、それぞれ独立して機能する。これは、例えば、複数のカメラでそれぞれ異なる試合が別々に行われるスポーツイベントの場合である。

【0007】

本明細書でいう「オーグメンテーション（拡張ともいう。augmentation）」という用語は、現実の再現の一種の強化又は変更を指すことを意味する例えば、実際には英語で書かれた広告メッセージを、テレビ放送が見られる対象国の言語等の別言語での同一又は他の広告と共に、スポーツ場のバナーにスーパーインポーズすること等である。しかし、スーパーインポーズは、プロダクション画像を変更又は拡張する唯一の可能性ではない。むしろ、本発明の範囲内での“拡張”によって、プロダクション画像自体が局所的に変更されることが理解できる。本明細書で使用されるドイツ語の用語「Anreicherung」は、専門用語では「Augmentierung」としても知られている。これは、改善する（improve）、向上する（enhance）、強化する（enrich）を意味する英語「Augment」に対応する。

【0008】

本明細書で開示されるテレビジョン放送システムはカメラ画像のみで機能し、追加のセンサを使用する必要がない。さらに本明細書で開示するシステムは、任意の領域又はサブセクションを他の画像情報で拡張することができ、このプロセスにおいて、特定の背景色（いわゆるクロマキーイング）、又はＬＥＤパネル、赤外線反射物等の自発光型の背景の使用等の、実際に記録されたシーンの調整又は制限を必要としない。放送されるべきプロダクション画像のオーグメンテーションの選択は、プロダクション画像ハッシュ値とカメラ画像ハッシュ値との比較から明らかになる。両方のハッシュ値が同じである場合、それから、カレントプロダクション画像が特定のカメラによって記録されたカメラ画像に対応することが導出され得る。スポーツ放送、スポーツフィールド、バナー、スタンド等の場合のような、実際の画像コンテンツに関する構造化された情報が含まれる関連カメラ画像メタデータを用いて、プロダクション画像のサブセクションに対してオーグメンテーション又はスーパーインポーズを決定することができる。例えば、広告を有するバナーがどのセクションに位置するかがメタデータから導出される場合、この広告セクションは、オーグメンテーションによって、例えば別の広告によりスーパーインポーズすることができる。

【0009】

テレビジョン放送システムは、ポストプロダクションのために代替的に使用できることが指摘される。画像をライブで記録し、それらを解析モジュールに送信するテレビジョンカメラの代わりに、テレビジョン放送のカメラ画像が記憶されている少なくとも１つの記憶媒体がある。これらの記憶されたカメラ画像は、ライブで記録されたカメラ画像の代わりに使用される。またこの場合解析モジュールを各カメラに割り当てることができ、そのカメラ画像はポストプロダクションにおいてもオーグメンテーションを有効にできるように、記憶媒体に記憶されている。
プロダクションユニットはまた、ポストプロダクションにおいても利用可能であり、そこでそれはポストプロダクションユニットとしても指定され得る。

【0010】

テレビジョン放送システムは、プロダクションユニット、解析モジュール、同期モジュール及び乗算モジュールに接続された制御モジュールをさらに備えることができる。制御モジュールは、プロダクションユニットから制御モジュールに送信される制御信号に基づいて、解析モジュール、同期モジュール、及び乗算モジュールを有効又は無効にするように構成される。したがって、制御モジュールは、テレビジョン放送システムの追加のコンポーネントの既知のシステムへの制御を確実にする働きをする。このようなシステムの拡張の簡単な統合のために、制御モジュールをプロダクションユニットによって制御できることが有効である。

【0011】

制御モジュールがさらに、プロダクション画像と関連するプロダクション画像メタデータとの間の時間オフセットをモニタし又は制御し、当該時間オフセットを乗算モジュールに送信するように構成されてもよい。プロダクション画像は解析モジュールによる解析を受けないので、プロダクション画像の画像信号は、概して関連するプロダクション画像メタデータよりも早く入手可能である。このプロダクション画像メタデータは、各カメラ画像について生成されるカメラ画像メタデータに基づいて生成され、カレントプロダクション画像とカメラ画像との間における上述のハッシュ値の比較に基づいて、カレントプロダクション画像に割り当てられる。

【0012】

制御モジュールがさらに、少なくとも１つの所定のオーグメンテーションを記憶し、当該オーグメンテーションを乗算モジュールに送信するように構成されていてもよい。このようなオーグメンテーションは例えば、画像ファイルやビデオシーケンス等の形式で利用可能である。付加的なパラメータを考慮に入れて、拡張プロダクション画像におけるオーグメンテーション又はフェードイン／スーパーインポーズのような任意の方法でグラフィカルに表示することができるテキストシーケンスも考えられる。

【0013】

制御モジュールは、少なくとも１つの所定のアニメーションシーケンスを格納し、アニメーションシーケンスを乗算モジュールに送るように構成されてもよい。このようなアニメーションシーケンスは、プロダクション画像から拡張プロダクション画像に進む場合に、プロダクション画像の急激な変化を避けるのに役立つ。可能性のあるアニメーションシーケンスは、例えば、一定数のプロダクション画像のシーケンスによって、プロダクション画像の連続した変化が生じ（例えば、プロダクション画像の局所的な変化又は拡張によって、又は例えば、オーグメンテーションのフェードインによって）、そしてオーグメンテーションのみが見えるか、又は元のプロダクション画像セクションがフェードアウトされるように、この画像セクションにおける実際のコンテンツが、連続して変化することであり得る。そのようなアニメーションシーケンスによって、例えば、仮想ローリングバナー（例えば上向き又は下向き又は横向きへのローリング）を実現することができる。また、実コンテンツが反転され、当該反転したセクションにオーグメンテーションが現れるような仮想ウィンドウを提供することも考えられる。

【0014】

乗算モジュールがさらに、第１状態において、拡張プロダクション画像を送信し、第２状態において、プロダクション画像を送信し、第３状態において、アニメーションシーケンスによって、第２状態から第１状態への移行を実行し、第４状態において、アニメーションシーケンスによって、第１状態から第２状態への移行を実行するように構成されていてもよい。この処理において、第１状態は、通常、プロダクション画像が拡張され、拡張プロダクション画像が放送される状態として記述することもできる。第２状態はまた、プロダクション画像が拡張されることなく放送される、すなわち、乗算モジュールを通過するか、又は変更されずに通過するように導かれる状態として説明することもできる。第３状態及び第４状態は移行状態であり、ローリングバナー等のような上述のアニメーションシーケンスが行われ、プロダクション画像のオーグメンテーションを連続的に有効又は無効にすることを可能にする。

【0015】

乗算モジュールは、第１状態〜第４状態と、プロダクション画像メタデータと、制御モジュールによって送信されたオーグメンテーションと、制御モジュールによって送信されたアニメーションシーケンスとに基づいて、拡張プロダクション画像を生成するよう構成された、少なくとも１つのオーグメンテーションコンポーネントを有してもよい。通常、乗算モジュールは複数のオーグメンテーションコンポーネントを有し、各オーグメンテーションコンポーネントは、同じプロダクション画像に対して異なるオーグメンテーションを生成する。例えば、世界的なテレビジョン放送の場合には、テレビジョン信号が放送される各国のためのオーグメンテーションコンポーネントが存在してよく、それにより、オーグメンテーションコンポーネントによって、例えば、言語と内容の点で調整された周辺広告のような、特有のオーグメンテーションが、各国のためにフェードインされることができる。

【0016】

制御モジュールは、さらなるカメラ、及び／又はスクリーンシステム（特にＬＥＤシステム）、及び／又はビデオ記憶システムから、追加データを受信するように構成された少なくとも１つのさらなるデータ入力を有してもよい。ここで制御モジュールが、追加的なデータを乗算モジュールに送信し、乗算モジュールが、拡張プロダクション画像の生成のために追加的なデータを考慮するように構成されていてもよい。

【0017】

テレビジョン放送システムは、複数のバナーモニタに接続され、複数のバナーモニタ上にバナー画像を表示及び／又は動画化するように構成された、画像信号出力を有する電子バナーシステムを更に有し、このバナーシステムが、制御モジュールに接続され、バナーモニタのためのバナー画像信号を制御モジュールに送信するように構成されてもよい。このプロセスにおいて、解析モジュールが、バナー画像信号とカメラ画像との比較に基づいて、オクルージョンを、とりわけバナーモニタのオクルージョンを、決定するように構成されてもよい。例えば、ＬＥＤによって現在表示されている画像が例えば、ＬＥＤシステムのモニタ出力における１つ又は複数のＨＤＭＩ又はＤＶＩ信号（周辺広告）で記録されてよい。ＬＥＤシステムは、各カメラによって記録されている較正アニメーションの助けを借りて、ラジオメトリックに較正することができる。これにより、元の画像における特定の色値ｘについてＬＥＤ上に表示されるべき関数表現を決定することができ、それによって記録されたカメラ画像内の特定の色値を予測することができる。これにより、画像のそれぞれの位置で予想される背景又は色値がいつでも分かるので、解析モジュールは、オクルージョンを正確に決定することができる。

【0018】

乗算モジュールが、特定の画像セクションにおけるオーグメンテーション又はスーパーインポーズが各カメラ設定に対して直角に投影されている拡張プロダクション画像を提供するように構成されてもよい。ここでオーグメンテーションは、カメラの視野から直角に投影される特定の幾何学的形状を有することが特に考慮される。これは、一種の仮想「カムカーペット（cam carpet）」であり、床上に広げられたシート上に印刷される予め歪んだパターンである。特定の幾何学的形状を有するオーグメンテーションの場合、フェードインされるべきパターンは歪められる必要はないが、カメラアライメントに応じて、拡張プロダクション画像において個別に計算され、フェードインされてもよい。したがって、「カムカーペット」の通常の分野では、例えば、フットボールのピッチのゴールの左右に、パターン又は広告表示を実際に、すなわちスタジアムで、シート上に広げることができ、当該パターン等はスタジアムの観客にとって適切に読み取ることができる。スタジアム内の観客のためのこの読み取り可能なパターンは、テレビジョン放送の範囲内で、オーグメンテーションによってスーパーインポーズされることができる。その結果、同じパターン又は別のパターンが、カメラアライメントに応じて、拡張プロダクション画像内に常に最適に表示される。

【0019】

乗算ユニットが、拡張プロダクション画像において、オーグメンテーション及び／又はアニメーションが拡張プロダクション画像内の透明ペイン等のような記録された透明オブジェクト上に見えるように、透明オブジェクトを部分的に変更又はスーパーインポーズするように構成されてよい。透明な背景のこのような変更又はスーパーインポーズの場合、オーグメンテーション又はアニメーションそれ自体が透明又は半透明のセクションを有することも考えられる。その結果、例えば、視覚的に知覚可能な穴又は開口をオーグメンテーションに含めることができる。輪郭又は塗りつぶされた表面に属さないセクションを透明な方法で表示することができる場合、そのようなアニメーション又はオーグメンテーションは、任意の輪郭を有することもできる。ここで、例えば、アイスホッケーリンクの透明なアクリルガラス筐体を用いて、模様や広告をフェードインさせることが考えられる。そのようなスーパーインポーズは、例えば、モバイルインタビューウォールについても考慮に入れることができる。そのようなインタビューウォールは、通常、イベントのスポンサーによって印刷されるか、又は覆われている。本明細書に提示されるシステムにより、これらの壁の領域内で特定のオーグメンテーションをフェードインさせ、例えば、特定のインタビュー相手に応じて、様々なチームのスポンサーを考慮することができる。

【0020】

乗算モジュールが、複数の異なる拡張プロダクション画像を生成し、それらを異なる出力に同期して出力するように構成されてもよい。これは既に上述したように、例えば、拡張プロダクション画像が送信されるべき国に依存して、又は拡張プロダクション画像が有料ＴＶの顧客又は無料ＴＶの顧客のどちらに送信されるべきか否かに依存して、多種多様な拡張プロダクション画像の出力を可能にする。

【0021】

前記システムについて記載した特性及び特徴は、方法としても表現することができる。すなわち、本発明のテレビジョン放送又はテレビジョン記録の画像を拡張する方法は、複数のテレビジョンカメラによってカメラ画像を記録し、当該カメラ画像をカメラ信号として出力するステップと、前記複数のテレビジョンカメラの前記カメラ画像からの選択から生成された一連のプロダクション画像を生成し、当該プロダクション画像をプロダクション画像信号として出力するステップと、各解析モジュールにおいて、前記複数のテレビジョンカメラの前記カメラ画像を同期的にバッファリングして受信するステップであって、各カメラ画像が解析され、カメラ画像メタデータが各カメラ画像に対して生成され、カメラ画像ハッシュ値が算出され、カメラ画像メタデータ及びカメラ画像ハッシュ値がそれぞれの解析モジュールから非同期的に出力されるステップと、同期モジュールにおいて前記プロダクション画像を同期的にバッファリングして受信し、各プロダクション画像に対するプロダクション画像ハッシュ値を算出し、各カメラ画像に対する前記カメラ画像メタデータ及びそれに関連するカメラ画像ハッシュ値を同期的にバッファリングして受信するステップであって、前記プロダクション画像ハッシュ値と前記カメラ画像ハッシュ値とが比較され、この比較に基づいて、カメラ画像の前記関連するカメラ画像メタデータが、プロダクション画像メタデータとしてカレントプロダクション画像に割り当てられ、プロダクション画像メタデータが同期的にバッファリングされて出力されるステップと、乗算モジュールにおいて前記プロダクション画像メタデータ及び前記プロダクション画像を同期的にバッファリングして受信し、前記乗算モジュールにおいてプロダクション画像と前記関連するプロダクション画像メタデータとの間の時間オフセットを補償し、前記プロダクション画像メタデータに基づくオーグメンテーションを有する前記プロダクション画像の少なくとも１つのサブセクションにおいてスーパーインポーズを生成し、それにより拡張プロダクション画像が生成され、前記拡張プロダクション画像を出力するステップと、を有する。

【0022】

本発明の別の独立した態様によるテレビジョン放送システムは、カメラ画像を記録し、それをカメラ信号として出力するように構成された複数のテレビジョンカメラ、又はテレビジョンカメラによって予め記録されたカメラ画像を記憶し、記憶されたカメラ画像をカメラ信号として出力するように構成された少なくとも１つの記憶媒体と、前記複数のテレビジョンカメラの前記カメラ画像から一連のプロダクション画像を生成し、それらをプロダクション信号として出力するように構成された少なくとも１つのプロダクションユニットと、前記テレビジョンカメラのそれぞれに割り当てられ、同期的にバッファリングされた前記カメラ画像を受信し、個々の前記カメラ画像をそれぞれ解析して、前記カメラ画像のそれぞれについてのカメラ画像メタデータ及びそれに関連するカメラ画像ハッシュ値を算出し、前記カメラ画像のそれぞれについての前記カメラ画像メタデータ及び前記カメラ画像ハッシュ値を非同期的に出力するように構成された複数の解析モジュールと、前記プロダクションユニット及び前記解析モジュールに接続されて、同期的にバッファリングされた前記プロダクション画像を前記プロダクションユニットから受け取り、前記プロダクション画像のそれぞれについて、関連するプロダクション画像ハッシュ値を算出するとともに、各カメラ画像について、非同期的にバッファリングされた前記カメラ画像メタデータ及び前記関連するカメラ画像ハッシュ値を前記解析モジュールから受信するように構成され、さらにプロダクション画像ハッシュ値とカメラ画像ハッシュ値とを比較し、この比較に基づいて、カメラ画像の前記関連するカメラ画像メタデータを、プロダクション画像メタデータとしてカレントプロダクション画像に割り当て、同期的にバッファリングされた前記プロダクション画像メタデータを出力するように構成された同期モジュールと、前記同期モジュール及び前記プロダクションユニットに接続され、同期的にバッファリングされた前記プロダクション画像メタデータを前記同期モジュールから受け取り、同期的にバッファリングされた前記プロダクション画像を前記プロダクションユニットから受け取り、プロダクション画像と関連する前記プロダクション画像メタデータとの間の時間オフセットを補償し、さらに前記プロダクション画像メタデータに基づいて、オーグメンテーションによって、前記プロダクション画像の少なくとも１つのサブセクションの前記プロダクション画像に変化を起こして、拡張プロダクション画像を生成し、前記拡張プロダクション画像を出力する乗算モジュールと、を有し、乗算モジュールが、第１状態において、前記拡張プロダクション画像を送信し、第２状態において、前記プロダクション画像を送信し、第３状態において、アニメーションシーケンスによって、前記第２状態から前記第１状態への移行を実行し、第４状態において、アニメーションシーケンスによって、前記第１状態から前記第２状態への移行を実行するように構成されている。

【0023】

このようなシステムでは、上述した状態により、乗算モジュールが、オーグメンテーションの任意のスイッチオン／オフを可能にする。ここで、アニメーションシーケンスにより、（拡張された）プロダクション画像を受信するユーザは、実際のプロダクション画像を見ているのか、永続的な拡張プロダクション画像を見ているのか、又は（アニメーションシーケンス中の）移行画像を見ているのか分からない。したがって、オーグメンテーションのオン／オフの切り替えを、エレガントに、ユーザ又は観客に気付かれずに、そして視覚的な混乱の影響もなく行うことができる。

【図面の簡単な説明】

【0024】

【図1】本実施形態のテレビジョン放送システムの構成を概略に示す図。

【図2】本実施形態の解析プロセスを概略的に示す図。

【図3】本実施形態の同期プロセスを概略的に示す図。

【図4】本実施形態の乗算モジュール及びこれに関連する乗算プロセスを概略的に示す図。

【図5】本実施形態の乗算モジュールに存在する状態を示す図。

【図6】本実施形態における関連するアニメーションシーケンスを含む拡張の一例を示す図。

【発明を実施するための形態】

【0025】

以下では、本発明の一実施形態を添付の図面を参照して例示的かつ非限定的に説明する。

【0026】

テレビジョン放送システム１０は、複数のカメラＣ１、Ｃ２と、プロダクションユニット１２とを備える。カメラＣ１、Ｃ２は、それらのカメラ画像を、カメラ画像信号としてプロダクションユニット１２に送信する。通常、２つより多いカメラＣ１、Ｃ２がこのようなテレビジョン放送システム１０に含まれ、ここではカメラＣ２の右側の３つの黒点によって示される。

【0027】

本明細書では、時限的に又は同期的に処理されるデータ、或いは時限的に（又は同期的に）動作するモジュールが実線で表示されている。非同期的に動作するモジュール又は非同期的に処理されるデータは、破線で表示されている。知られている通常の処理経路は、カメラＣ１、Ｃ２から始まる。カメラ信号Ｓ１は、複数のカメラＣ１、Ｃ２（〜Ｃｎ）によって記録され、プロダクションユニット１２に送信される。プロダクションユニット１２において、個々のカメラＣ１〜Ｃｎのカメラ画像から、プロダクション画像シーケンス又はプロダクション画像信号がコンパイル又は編集される。この編集されたプロダクション画像信号Ｓ３又は連続したプロダクション画像（これらは専門用語で“ワールドフィード”とも言われる）が放送される。これに関連して、繰り返し、スローモーション及びインタビュー等のようなポストプロダクション（撮影後の編集）においても、オーグメンテーション、特に以前のライブ放送画像と同じオーグメンテーションを記録又はフェードインできうる可能性があることが示される。この目的のために、プロダクションユニットは、ライブ放送中又はライブ放送後のこのようなポストプロダクションのために、制御モジュールを用いてオーグメンテーションを有効又は無効にできるように構成することができる。

【0028】

本発明の一実施形態によれば、テレビジョン放送システム１０は、以下のように拡張される。カメラ信号Ｓ１は、解析（又は分析、analysis）モジュールＡ１、Ａ２（〜Ａｎまで。Ａ２の下の３つの黒い点によって示される）に送られる。解析モジュールＡ１、Ａ２は、選択又は同期モジュール１４に信号Ｓ２を送信する。解析モジュールＡ１、Ａ２は、カメラＣ１、Ｃ２にそれぞれ割り当てられる。各カメラ画像に対して、解析モジュールＡ１、Ａ２によってカメラ画像メタデータＭ１、Ｍ２（〜Ｍｎ）が生成され、関連するハッシュ値Ｈ１、Ｈ２（〜Ｈｎ）が計算される。メタデータ及びハッシュ値のそれぞれの対、すなわち、例えばＭ１、Ｈ１又はＭ２、Ｈ２は、解析モジュールＡ１、Ａ２によって信号Ｓ２として同期モジュール１４に送信される。同期モジュール１４はさらに、プロダクションユニット１２からプロダクション画像信号Ｓ３ａ又はプロダクション画像を受信する。同期モジュール１４は、プロダクション画像内で現在見えているカメラの修正されたメタデータＳ４を、乗算モジュール１６に送信する。乗算モジュール１６は、複数の拡張（又はオーグメントされた、augmented）プロダクション画像信号Ｓ５を生成し、これが送信される。解析モジュールＡ１、Ａ２、同期モジュール１４及び乗算モジュール１６は、制御モジュール１８によって制御される。制御モジュール１８は、プロダクションユニット１２を介して制御される。さらに、任意のＬＥＤシステム２０が図１に示されている。このＬＥＤシステム２０は、例えばＨＤＭＩ又はＤＶＩ等の画像トランスポートプロトコルを介して、画像データを制御モジュール１８に転送する。しかしこのＬＥＤシステム２０は、テレビジョン放送システム１０の基本的な機能にとって必須の構成ではない。

【0029】

図２は解析モジュールＡ１、Ａ２におけるプロセスを例示的に示す。同期的にバッファリングされたカメラ画像又はカメラ画像信号は、入力として、解析モジュールＡ１、Ａ２に転送される。カメラ画像が一時的に記憶されるバッファはＰで示される。カメラＣ１、Ｃ２のカメラ画像のそれぞれに対して、カメラ画像メタデータＭ及びカメラ画像ハッシュ値Ｈが、関連する解析モジュールＡ１、Ａ２においてそれぞれ決定され又は計算される。これらのメタデータＭ及びそれに関連するカメラ画像ハッシュ値Ｈは、それぞれの解析モジュールＡ１、Ａ２によって出力変数（出力）として提供される。

【0030】

このように、解析モジュールＡ１、Ａ２は、カメラＣ１、Ｃ２の計時されたカメラ画像（timed camera images）を入力として受信し、これらがバッファＰに記憶される。それぞれの解析モジュールＡ１、Ａ２は、スーパーインポーズされるべきオブジェクトの位置を認識し、これらは制御モジュール１８によって伝達される。加えて、スーパーインポーズされるべきでない、前景によるこれらのオブジェクトのオクルージョンを、例えば、「Boun Vinh Lu; Kakuta, T.; Kawakami, R.; Oishi, T.; Ikeuchi, K., “Foreground and shadow occlusion handling for outdoor augmented reality,” Mixed and Augmented Reality (ISMAR), 2010 9th IEEE International Symposium on , vol., no., pp. 109,118, 13-16 Oct. 2010」に記載されているような方法によって解析する。この目的のために、現在の画像処理方法（例えば、物体認識、物体検出、畳み込みニューラルネットワーク）が使用され、これはバッファＰからの画像のために画像を非同期的に処理する。抽出されたメタデータＭには、処理された画像コンテンツから決定されるカメラ画像ハッシュ値Ｈが付いている。これは、例えば、「Loic Pauleve, Herve Jegou, Laurent Amsaleg. Locality sensitive hashing: a comparison of hash function types and querying mechanisms. Pattern Recognition Letters, Elsevier, 2010, 31 (11), pp. 1348-1358」に記載されているように、例えば、ＬＳＨを用いて行うことができる。もちろん、他の計算方法もハッシュ値に対して可能であり、言及された方法は単なる例示的なものである。カメラ画像ハッシュ値Ｈは、部分的なオクルージョン及び変換に関する適切な変換によって強力なものにされる。したがって、プロダクション１２が基礎となるカメラＣ１、Ｃ２に切り替える場合、抽出されたメタデータＭは関連するプロダクション画像に後で割り当てられてよい。

【0031】

図３は、同期モジュール１４及び関連するプロセスを概略的に示す。同期モジュール１４は、入力変数（入力）として、同期的にバッファリングされたプロダクション画像Ｒ又はプロダクション画像信号を、具体的には信号経路Ｓ３ａ（図１）を介して受信する。さらに、同期モジュール１４は、各カメラ画像について、すべてのカメラＣ１、Ｃ２のそれぞれの解析モジュールＡ１、Ａ２から、関連するメタデータＭ及びカメラ画像ハッシュ値Ｈを、非同期にバッファリングされたデータとして受信する。同期モジュール１４は、どのカメラＣ１、Ｃ２からの画像がプロダクションユニット１２によって表示されるかを認識する。さらに、プロダクションの遅れがどれだけ大きいかを認識する。全てのプロダクション画像Ｒについて、プロダクション画像ハッシュ値ＨＲが、解析モジュールＡ１、Ａ２と同様に、２２で計算される。この認識のために、解析画像ハッシュバッファＰｎの全てのデータセットのカメラ画像ハッシュ値Ｈｎｋ（ｎ：カメラ、ｋ：バッファ内のインデックス）が、プロダクション画像ハッシュバッファＰＲ内の全てのデータセットＨＲｌのプロダクション画像ハッシュ値ＨＲと比較される。

【0032】

これらのメタデータＭｎｋは、以下の式を満たす出力変数又は出力として出力される。

【0033】

【数1】

【0034】

このプロセスにおいて、ｄは、ハッシュ値の比較に適したメトリックである。さらに、ｗ（ｘ）は、ｘ値により変位するウィンドウ（窓関数）を示し、ＰＲとＰｎを比較することができる。ｌはウィンドウ内のすべてのサンプル値にわたって実行され、ｋは変位されたウィンドウのすべてのサンプル値にわたってアナログである。合計量｜ｗ（ｘ）｜は、ウィンドウ内の変位の数又は式全体の被加数の数である。十分な数値安定性を達成するために、｜ｗ（ｘ）｜は十分に大きく選択されるべきである。例えば、｜ｗ（ｘ）｜は、バッファサイズの約半分に対応することができる。上に示した合計値が所定の閾値を超える場合、タグ“ＩＮＶＡＬＩＤ”がメタデータＭｎｋに追加される。合計値が閾値を下回ったままである場合、タグ“ＶＡＬＩＤ”がメタデータに追加される。

【0035】

これは、非常に簡単な例に基づいて簡単に説明される。しかしこの例は、ハッシュ情報の欠如及びｄのロバスト性の欠如のために、テレビジョン画像信号の実際の処理に対しては、現実には機能しないことを指摘しなければならない。ここでの例は、上記の適用された関数の理解を単に向上することを意図している。

【0036】

ここで、ハッシュ値は１次元であり、上記式におけるｄはＨＲｌとＨｎｋとの差分量であるとする。さらに、左からバッファへの変位が行われ、したがって、最も低いインデックスを有する最も古い画像が右であると仮定する。量｜ｗ（ｘ）｜は最小値３と仮定され、それ故ｘ＝-１、０及び＋１が可能である。この例では、３台のカメラ（ｎ＝１〜３）を想定している。以下のバッファ状態が示される。

【0037】

【表1】

【0038】

【表2】

【0039】

ここで全体の計算を述べずに、上記の関数に関する最良の解を表す対（ｎ，ｘ）は、（ｎ＝２，ｘ＝１）であることが指摘される。これは、カメラ２が見えていること（すなわち、カメラ２からのカメラ画像がプロダクション画像として使用される）、及びインデックスｌとｋとが、ｋ＝ｌ-１、のように関連付けられることを意味する。上述の合計は、ｗ（ｘ＝１）＝｛２，３，４｝にわたって、又はこれに沿って、｛１，２，３｝のｋにわたって広がる。この処理では、ｄ＝１のＰＲ（ｌ＝２）とＰ２（ｋ＝１）を除いて、それぞれのハッシュ値が対応する。

【0040】

図４は、乗算モジュール１６及び関連するプロセスを概略的に示す。入力変数（入力）は、プロダクション画像又はプロダクション信号に対するプロダクション画像メタデータＭＲ、及びプロダクション画像又はプロダクション信号Ｒそれ自体である。これらの入力変数は同期的にバッファリングされる。プロダクション画像メタデータＭＲは、同期モジュール１４によって提供される（図１のＳ４）。乗算モジュールは、異なるオーグメンテーションを有するプロダクション画像又はプロダクション信号を信号Ｓ５として出力し、その後、信号Ｓ５は実際に送信される。この拡張されたプロダクション画像又はプロダクション信号は、同期的にバッファリングされて出力される。

【0041】

乗算モジュール１６は、オーグメンテーションコンポーネントＡＫ１、ＡＫ２〜ＡＫｎを含み、これは、ＡＫ２の下の３つの点によって示される。オーグメンテーションコンポーネントＡＫ１、ＡＫ２は、メタデータＭｊ、状態Ｚ（ｔ）、ならびに制御モジュール１８によって指定されたアニメーション及びオーグメンテーションを使用して、プロダクション画像又はプロダクション信号を個々にスーパーインポーズする。

【0042】

提供されたプロダクション画像メタデータＭＲとプロダクション画像Ｒとの間の一定の時間オフセット（ｉ-ｊ）は、同期モジュール１４によって引き起こされ、制御モジュール１８を介して乗算モジュール１６に伝達される。この情報に基づいて、バッファＰＲ及びＰＭによって時間オフセットを補償することができる。その結果、関連するメタデータを各プロダクション画像に正しく割り当てることができる。

【0043】

このプロセスでは、Ｚ（ｔ）の潜在的状態が、２つの変数ＥＮ及びＴＲによって記述することができる。ここでＥＮは、オーグメンテーションがオンに切り換えられるかオフに切り換えられるかを表す表現である。ＴＲは、スイッチオン状態とスイッチオフ状態との間で切り換わるときに、移行アニメーションが再生されるべきかを表す表現である。

【0044】

これらの状態は次の通りである：

【0045】

Ｚ＝１は、ＥＮ＝１かつＴＲ＝０であり、オーグメンテーションコンポーネントはメタデータに従って規則的に拡張される（すなわち、オーグメンテーションがスイッチオンされる）（スイッチオン状態）。
Ｚ＝２は、ＥＮ＝０かつＴＲ＝０であり、オーグメンテーションコンポーネントは、オーグメンテーションのフェードインを伴わずに元の画像を出力する（すなわち、オーグメンテーションはスイッチオフされる）（スイッチオフ状態）。
Ｚ＝３は、ＥＮ＝１かつＴＲ＝１であり、オーグメンテーションコンポーネントは、スイッチオン状態（Ｚ＝１）から始まりスイッチオフ状態（Ｚ＝２）に移行する移行アニメーションを再生する。
Ｚ＝４は、ＥＮ＝０かつＴＲ＝１であり、オーグメンテーションコンポーネントは、スイッチオフ状態（Ｚ＝２）から始まりスイッチオン状態（Ｚ＝１）に移行する移行アニメーションを再生する。

【0046】

状態Ｚ（ｔ）＝１〜４及びそれらの移行は、図として例示的な方法で図５に示される。このプロセスでは、オーグメンテーションの表示をオフに切り替えることは、Ｚ＝１及びＯＫ＝０（データＳ２（ｔ）は表示には適していない）から、Ｚ＝３を経てＺ＝２までのＮサイクル続く移行である。オーグメンテーションの表示をオンに切り替えることは、Ｚ＝２及びＯＫ＝１（データＳ２（ｔ）は表示に適している）から、Ｚ＝４を経てＺ＝１までのＮサイクル続く移行である。

【0047】

これらの状態移行により、オーグメンテーションコンポーネントＡＫ１、ＡＫ２がカレントカメラ画像（プロダクション画像）をスーパーインポーズするだけでなく、それを具体的に変更することが可能になる。その結果、ＴＶセットをスイッチオンした際に、現在の現実かオーグメンテーションかのどちらを見ているかは、認識することができない。これにより、「仮想ローリングバナー」（現実は「前後にローリング」される）、「仮想ウィンドウ」（現実は「フリップオープン」される）などの効果を達成することができる。

【0048】

ここで、図６に基づいて、仮想ローリングバナーの例を簡単に説明する。第１の画像（左）は状態Ｚ＝２を示しており、実画像がプロダクション画像として放送される。画像２〜４（左から右へ）は移行状態Ｚ＝４を示しており、ここではアニメーションが使用されて、オーグメンテーション“Augment”を、放送されるプロダクション画像へ連続的にフェードインさせる。状態Ｚ＝１は右画像５において達成される。ここで、オーグメンテーション“Augment”は放送されるべきプロダクション画像に永久的にフェードインされる。当然ながら、このような仮想ローリングバナーは、オーグメンテーションが無効にされる場合、状態Ｚ＝１から状態Ｚ＝２への移行状態Ｚ＝３を伴う移行のためにも使用することもできる。

【0049】

アニメーションの再生及びこの目的のために構成されたシステムに関しては、同出願人によって同日に出願された「拡張画像を生成するためのシステム」と題する出願が参照される。そこに記載されたシステムはその異なるモジュールと共に、図４〜図６に関する上記の説明のために、参照により本明細書に完全に取り込まれる。特に、本明細書に記載される乗算モジュール１６及び制御モジュール１８は、前述の並列している特許出願に記載されるモジュールの対応する機能を引き継ぐことができる。参照された特許出願では図面の説明における全ての実施形態が特に参照され、これはまた、本出願にも関連し、その開示内容は本出願の特徴の具体化のために考慮に入れることができる。

【0050】

図１に示す制御モジュール１８は、他のすべてのモジュール、すなわち解析モジュールＡ１、Ａ２、同期モジュール１４及び乗算モジュール１６の中央制御を引き継ぐ。制御モジュール１８自体は、プロダクションユニット１２によって制御される。これにより、プロダクションユニット１２は、オーグメンテーションシステムをいつでも無効にし（Ｚ＝１からＺ＝３、次にＺ＝２）、そしてそれを有効にすることができる（Ｚ＝２からＺ＝４、次にＺ＝１）。ここで、無効化又は有効化は、乗算モジュール１６の状態Ｚ（ｔ）によって達成される。

【0051】

制御モジュール１８は、追加のカメラ又はビデオ記憶システムからの、図１に示すＬＥＤシステム２０のような１つ以上の任意の入力ビデオに任意に結合することができる。制御モジュール１８は、この追加のデータストリームを、乗算モジュール１６からオーグメンテーションコンポーネントＡ１、Ａ２に送ることができる。それにより、例えば、オーグメンテーションは、仮想ライブビデオを用いて行うことができる。これにより、例えば、仮想画面が有効になる。

【0052】

既に述べたように、ＬＥＤによって現在表示されている画像は、ＬＥＤシステム２０のモニタ出力における任意選択の拡張として、１つ以上の画像信号を用いて記録することができる。ＬＥＤシステムは、各カメラによって記録されている較正アニメーションの助けを借りて、ラジオメトリックに又はジオメトリックに較正することができる。これにより、元の画像における特定の色値ｘについてＬＥＤ上に表示されるべき関数表現ｆ：ｘ→ｙを決定することができ、それによって記録されたカメラ画像内の特定の色値ｙを予測することができる。これにより、画像のそれぞれの位置で予想される背景又は色値がいつでも分かるので、解析モジュールＡ１、Ａ２は、オクルージョンを正確に決定することができる。

【0053】

ＬＥＤシステム及び前景オブジェクト及び背景オブジェクトの強化されたセグメンテーションのための関連する可能性の組み込みに関して、同日に同出願人によって出願された「画像及び／又は画像シーケンスにおける前景と背景との間のコントラストを動的に最大化するためのシステム」という名称の出願を参照されたい。当該明細書に記載されたシステム及び対応する方法ステップは、本明細書に提示されたテレビジョン放送システムに含めることができる。特に、当該明細書に記載されている制御モジュールＫは、本明細書に記載されたシステムの制御モジュール１８に含めることができる。当該明細書に記載されている表示装置は、本明細書に記載されているＬＥＤシステム２０に含まれてよい。当該明細書の図１と本願明細書の図１とを参照すると、並列した出願におけるシステムは、本願のテレビジョン放送システムに容易に組み込むことができることが分かる。したがって、「画像及び／又は画像シーケンスにおける前景と背景との間のコントラストを動的に最大化するためのシステム」という名称の並列した出願を完全に参照し、そこに記載されているすべての特徴、特に表示情報（ビデオクリップ）及びこれに対応するネットワーク接続のためのデータベースを、本明細書のテレビジョン放送システムに組み込むことができる。さらに当然ながら、本明細書の解析モジュールは、並列アプリケーションで説明されるエネルギー関数を計算し、最小化してもよい。

【0054】

本明細書に提示されるテレビジョン放送システムは、特に、プロダクションユニットにおいて、異なる複数のカメラ信号が、送信されるべきプロダクション信号に編集される期間に、実映像コンテンツを実質的にリアルタイムで変更することを可能にする。メタデータの決定のための画像認識に純粋に基づく解析は、そのような放送システムにおいて慣例的な時間がほとんど遅延されないように選択される。このようなシステムの典型的な使用分野は、例えば、異なる複数の国におけるスポーツ放送であってよい。その場合、どの広告をオーグメンテーションの形で利用可能にし、そしてそれに応じてフェードインするべきかが、各国に対して予め決定される。例えば、開催国のバナー広告が実際に表示されている場合、イベントが送信される各国のオーグメンテーションによって、国固有の広告をオーグメンテーションとしてフェードインすることができる。このプロセスでは、乗算モジュール内の移行状態（Ｚ＝３又は４）により、現実と仮想オーグメンテーションとの間の滑らかな移行が可能になる。そのためテレビ視聴者は、イベントが行われている現地で見えている実際の広告を見ているのか、それともフェードインされた特定の広告やオーグメンテーションを見ているのか、を区別することができない。冒頭で既に述べたように、本願のテレビジョン放送システムは、位置や距離等を決定する追加のセンサを必要としない。機能原理は、カメラが記録した各カメラ画像からのリアルタイムの画像解析に純粋に基づいている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】