(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-27
(45)【発行日】2023-12-05
(54)【発明の名称】物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するための方法およびシステム
(51)【国際特許分類】
H04N 21/2365 20110101AFI20231128BHJP
H04N 21/234 20110101ALI20231128BHJP
H04N 21/242 20110101ALI20231128BHJP
H04N 5/222 20060101ALI20231128BHJP
H04N 23/60 20230101ALI20231128BHJP
【FI】
H04N21/2365
H04N21/234
H04N21/242
H04N5/222
H04N23/60
(21)【出願番号】P 2021502406
(86)(22)【出願日】2019-07-26
(86)【国際出願番号】 EP2019070186
(87)【国際公開番号】W WO2020021068
(87)【国際公開日】2020-01-30
【審査請求日】2022-04-08
(32)【優先日】2018-07-27
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】521016461
【氏名又は名称】アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー
(74)【代理人】
【識別番号】110001416
【氏名又は名称】弁理士法人信栄事務所
(72)【発明者】
【氏名】フォン ブラウン, マックス
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特表2020-505869(JP,A)
【文献】特表平11-512263(JP,A)
【文献】特表2000-500298(JP,A)
【文献】特表2009-534977(JP,A)
【文献】特表2018-504794(JP,A)
【文献】米国特許出願公開第2002/0144263(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
H04N 5/222
H04N 23/60
(57)【特許請求の範囲】
【請求項1】
物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するための方法であって、
少なくとも二つの異なる画像データ集合を作成することであって、各画像データ集合が個々の画像のシーケンスを包含
し、前記少なくとも二つの異なる画像データ集合が、直接視聴者と任意で放送視聴者により視聴される画像データ集合(M)と、前記放送視聴者のみに視聴される少なくとも一つの画像データ集合(P1,P2,P3)とを包含することと、
前記少なくとも二つの画像データ集合の前記画像をタイムスライス多重化法により表示用高フレームレート(HDFR)で前記物理ディスプレイに表示することと、
標準放送用フレームレート(SBFR)の整数倍であるスローモーション用フレームレート(SMFR)で前記少なくとも二つの画像データ集合(M,P1,P2,P3)の画像の表示と同時にカメラを用いて映像フレームを捕捉することと、
前記少なくとも二つの画像データ集合(M,P1,P2,P3)の一方の画像の表示と同時に捕捉された映像フレームから前記物理ディスプレイを含むシーンの一つの映像ストリームを作成すること
と、
前記少なくとも二つの画像データ集合(M,P1,P2,P3)の他の一つの画像の表示と同時に捕捉された映像フレームから前記物理ディスプレイを含むシーンの少なくとも一つの他の映像ストリームを作成する
こととを含み、
m個の
前記画像データ集合からn個の
前記映像ストリームが作成され、スローモーション係数f(n)の倍数により規定されるフレームレートと前記標準放送用フレームレート(SBFR)とにおいて、n,mが2以上の整数であってmがnより大きいか等しく、前記スローモーション係数f(n)が1以上の整数であって前記スローモーション係数f(n)の少なくとも一つが2以上であり、
方程式
【数1】
により規定される録画用高フレームレート(HRFR)で前記映像フレームが捕捉され、前記SBFRが前記標準放送用フレームレートであってf(i)が前記スローモーション係数であり、
前記表示用高フレームレート(HDFR)が前記録画用高フレームレート(HRFR)の整数倍であり、
【数2】
において
表示係数f
Dが
3以上の整数であることと、
前記映像ストリームの各々を前記標準放送用フレームレート(SBFR)で前記視聴者の異なる部分集合へ送信することと、
を包含する方法。
【請求項2】
前記少なくとも二つの画像データ集合の他の一つの画像の表示と同時に捕捉される映像フレームから成る前記少なくとも一つの他の映像ストリームが、標準放送用フレームレートまたは前記標準放送用フレームレート(SBFR)の異なる整数倍であるスローモーション用フレームレート(SMFR)である異なるフレームレートで作成される、請求項1に記載の方法。
【請求項3】
前記
表示係数f
Dが
3以上であって、前記放送視聴者のみに視聴される前記画像データ集合(P1,P2,P3)の画像の付加的な補完/反転画像が前記物理ディスプレイに表示されるが映像ストリームでは捕捉されない、請求項
1または請求項2に記載の方法。
【請求項4】
前記
表示係数f
Dが3以上であって、直接視聴者に視聴される前記画像データ集合(M)の付加的画像が前記物理ディスプレイに表示されるが前記映像ストリームでは捕捉されない、請求項
3に記載の方法。
【請求項5】
前記画像データ集合(M)の前記付加的な非捕捉画像が、前記画像データ集合(M,P1,P2,P3)の
捕捉画像よりも高い強度で前記物理ディスプレイに表示される、請求項
4に記載の方法。
【請求項6】
前記標準放送用フレーム
レート(SBFR)が25Hz(毎秒25フレーム)、50Hz(毎秒50フレーム)、または60Hz(毎秒60フレーム)である、請求項1から請求項
5のいずれか一項に記載の方法。
【請求項7】
前記物理ディスプレイがLEDディスプレイである、請求項1から請求項
6のいずれか一項に記載の方法。
【請求項8】
前記LEDディスプレイが看板または掲示板である、請求項
7に記載の方法。
【請求項9】
シーンがスポーツイベントまたはエンターテインメントイベントの一部である、請求項1から請求項
8のいずれか一項に記載の方法。
【請求項10】
物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するためのシステムであって、
少なくとも一つの物理ディスプレイ(12,13)と、
少なくとも
第1画像データ集合および第2画像データ集合をタイムスライス多重化法で前記物理ディスプレイ(12,13)に表示するための制御インタフェース(17)と、
前記第1画像データ集合に対応して前記物理ディスプレイ(12,13)を含むシーンを録画するための少なくとも一つのカメラ(C1,C2,C3,C4)と、
請求項1から請求項
9のいずれか一項に記載の方法に従って前記カメラ(C1,C2,C3,C4)により提供される映像データから少なくとも二つの映像ストリームを作成するための手段と、
前記映像ストリームを前記標準放送用フレームレート(SBFR)で前記視聴者の異なる部分集合へ送信するための手段と、
を包含するシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するための方法およびシステムに関する。
【背景技術】
【0002】
発光ダイオード(LED)ディスプレイのようなアクティブディスプレイは、情報または広告を視聴者に伝えるのに掲示板または看板で広く使用されている。一般的に、このようなディスプレイはスポーツまたはエンターテインメントのイベントで使用される。結果的に、このようなディスプレイは、テレビ放送(TV)、または多種多様な視聴者に向けられた映像ストリームに登場することが多く、一般的な例は、母国語が異なるか文化的背景が異なっている異なる国々の視聴者である。これらのディスプレイに示される情報/広告をこのような視聴者による特定の部分集合をターゲットとしたものにするため、テレビ放送または映像ストリームを介してディスプレイを見る視聴者の間でディスプレイのコンテンツを変化させる方法がすでに開発されている。例えば、特許文献1には、広告チャネルでのターゲット化広告をグループ分けするための方法および装置が記載されている。
【0003】
より優れたアプローチは、映像シーケンスの一体的部分として広告を挿入すること、例えば、映像シーケンスに示される掲示板に広告を表示することである。特許文献2には、映像における掲示板の自動的な電子的置換のための装置が記載されている。同様に、特許文献3には、テレビ放送システムにおける使用のための電子掲示板置換システムが記載されている。しかしながら、良好な印象を作り出して構成後の画像に自然な見た目を維持するため、広告は映像シーケンスの残りのシーンに合わせて適応化される必要がある。一般的に、このアプローチは良好な品質という結果を得るのに人の介入を必要とする。概して、これらの電子的またはソフトウェアベースのアプローチは、掲示板を部分的に覆い隠す動的シーンが放送方式に含まれる時にはとりわけ、視聴者体験に関する限り満足できるものではないことが多い。
【0004】
特許文献4には、テレビ放送の視聴者の間でのディスプレイのコンテンツの変化を可能にする方法が記載されている。この先行技術文献には、単一の映像ディスプレイに同時に表示される幾つかの映像ストリームの一つを多数の視聴者が視聴することを可能にする方法が記載されている。しかしながら、ディスプレイに示される映像ストリームの一つに同期化されたシャッタ付き視聴メガネを視聴者が使用する必要がある。このようなシステムは、ディスプレイ自体のテレビ放送には適していない。
【0005】
これらの問題は、特許文献5に記載されている解決法によって緩和される。この先行技術文献には、テレビ放送のシーンの一部として登場する物理ディスプレイのコンテンツをテレビ放送の視聴者の間で変化させるための方法およびデバイスが記載されている。表示コンテンツは、イベント、例えばスポーツイベントに参加している視聴者に向けられた直接視聴者用表示画像と、テレビ視聴者に向けられた放送視聴者用表示画像とを包含する。物理ディスプレイは時間インターリーブされた二つ以上のデータコンテンツインスタンスを表示し、放送視聴者のための表示画像は、このデータコンテンツインスタンスの一つを示すように同期化される。看板のような物理ディスプレイを含むイベントのシーンを録画するのにカメラが使用され、カメラと看板とを同期化するのに制御システムが使用される。異なるデータコンテンツインスタンスをすべて包含してカメラにより録画される映像ストリームは、物理ディスプレイに示される特定のデータコンテンツインスタンスに対応する個々のチャネルを作成する逆多重化装置へ供給される。特許文献5に記載されている方法およびシステムでは、看板に表示される各画像を捕捉するのにカメラが必要とされるので、テレビまたは映像放送で使用される通常の(標準的な)フレームレートよりもはるかに高いフレームレートでの録画を可能にする専用のカメラ技術が必要である。また、個々の映像チャネルを作成する逆多重化装置の計算能力はこれに対応して高くなければならない。ゆえに、特許文献5に記載されている方法は新たな専用の機器を必要とし、スポーツおよびエンターテインメントのイベントでこのような技術を確立するための対応の費用は高い。また、特許文献5の方法では、画像が示される時間間隔が画像コンテンツを視聴者が意識的に認知するには短すぎる時でも、放送視聴者のための専用画像の挿入は看板の不安定なちらつきを生じるので、イベントの直接視聴者の視聴体験が低下する。
【0006】
特許文献6および特許文献7において、本願の出願人は、例えばスポーツイベント中の競技場での物理ディスプレイのライフ視聴者と、放送視聴者、例えば異なる国々でインターネットまたはテレビ映像ストリームを介してイベントを見る視聴者とを含む異なる視聴者集合へ、物理ディスプレイの代替画像コンテンツを送信するための改良方法およびシステムを開示している。
【0007】
特許文献6に記載されている改良は、タイムスライス多重化法で物理ディスプレイに表示される少なくとも二つの異なる画像データ集合を作成することと、物理ディスプレイを含むシーンの一つ以上の映像ストリームを作成することとに存し、映像ストリームは、物理ディスプレイに表示される対応の画像データ集合の画像の表示と同時に捕捉される映像フレームから成るのに対して、少なくとも一つの画像データ集合は画像と反転画像とのシーケンスを包含する。画像と反転画像とのシーケンスを包含する画像データ集合は、放送視聴者へ送信されることが想定される画像データを含む。放送映像ストリームには含まれず物理ディスプレイのみに提示される対応の反転画像は、結果的に、競技場にいる直接視聴者の視聴体験への妨害を最小にする。
【0008】
特許文献7は、国内および国際スポーツイベントで既に使用されている既存のカメラおよび処理技術に組み込まれうるように、物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するための方法およびシステムを具現することに関する。タイムスライス多重化法で物理ディスプレイに表示される少なくとも二つの画像データ集合の画像は、通常は標準的な録画/表示用フレームレート(例えば50Hzの標準フレームレート)の整数倍である高いフレームレートで表示される。標準フレームレートのカメラ集合でシーンが録画され、放送される異なる映像ストリーム集合の画像を集合の各カメラが録画するようにカメラ集合が起動される。別の実施形態では、高フレームレートのカメラによりシーンが録画され、対応する高フレームレートの映像信号が、高フレームレート映像信号のための入力と複数の出力とを有する中間処理ユニットへ送信される。高フレームレート映像信号の連続フレームを中間処理ユニットの連続映像出力へ周期的に送信することにより、高フレームレート映像信号が多数の標準フレームレート映像信号に変換される。この方法では、結果的に、標準フレームレートを有する一つ以上の映像ストリームが映像出力の各々で得られる。
【0009】
多くのスポーツイベントでは、あるシーンがスローモーションで放送視聴者に提示される、つまり標準フレームレートの倍数である高いフレームレートでシーンが録画されるが、映像ストリームは標準フレームレートで視聴者へ送信される。例えば、150Hzの高フレームレートで録画されるが50Hzの標準フレームレートで再生されるシーンは、放送視聴者により視聴される際に3倍スローモーションとなる。物理ディスプレイの代替画像コンテンツを異なる放送視聴者へ送信するためのこの方法において、高フレームレートのスローモーションカメラによるシーンの録画は、特定の映像ストリームの放送視聴者を想定していない物理ディスプレイの画像フレーム、例えば直接視聴者を想定した画像データ集合または異なる映像ストリームを想定した画像データ集合の画像フレームをスローモーションカメラが捕捉する結果となる。ゆえに、出願人による特許文献6および特許文献7に記載されている方法では、スローモーションで録画されるシーンの一部である物理ディスプレイに表示される画像は、スローモーションで使用されるより高い録画周波数に同期化されており、その結果、例えば補完/反転画像を含むより複雑な画像シーケンスも採用される時にはとりわけ、今日利用可能なLEDディスプレイ技術の限界に近い表示用高フレームレートとなる。それゆえ、出願人の特許文献6および特許文献7に記載されている方法により作成される各映像ストリームをスローモーションレートで送信することは必ずしも実行可能ではない。
【先行技術文献】
【特許文献】
【0010】
【文献】米国特許出願公開第2002/0144263号明細書
【文献】英国特許出願公開第2305051号明細書
【文献】英国特許出願公開第2305049号明細書
【文献】国際公開第2005/112476号
【文献】国際公開第2007/125350号
【文献】欧州特許出願公開第2018/052177号明細書
【文献】欧州特許出願公開第2018/052178号明細書
【発明の概要】
【発明が解決しようとする課題】
【0011】
それゆえ、本発明の元になった技術的問題は、直接視聴者の視聴体験への妨害を最小にして放送視聴者の少なくとも一つの部分集合へのスローモーション映像ストリームの送信を可能にする、物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するための方法およびシステムを提供することである。本発明の方法およびシステムは、放送視聴者の一つの部分集合への標準フレームレート映像ストリームと、放送視聴者の異なる部分集合へのスローモーション映像ストリームとを、一つ以上のカメラにより録画される同じ映像信号の中に含めることも可能にする。
【課題を解決するための手段】
【0012】
この技術的問題は請求項1の方法により解決される。本発明の方法の好適な実施形態は従属請求項の主題である。
【0013】
したがって、本発明は、少なくとも二つの異なる画像データ集合を作成することであって、各画像データ集合が個々の画像のシーケンスを包含することと、少なくとも二つの画像データ集合の画像をタイムスライス多重化法により表示用高フレームレート(HDFR)で物理ディスプレイに表示することと、物理ディスプレイを含むシーンの少なくとも二つの映像ストリームを作成することであって、少なくとも一つの映像ストリームが、標準放送用フレームレート(SBFR)の整数倍であるスローモーション用フレームレート(SMFR)で少なくとも二つの画像データ集合の一つの画像を表示するのと同時に捕捉される映像フレームから成ることと、映像ストリームを標準放送用フレームレート(SBFR)で視聴者の部分集合へ送信することとを包含する、物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するための方法に関する。スローモーション映像ストリームと見なされるには、整数倍は少なくとも2でなければならない。スローモーション映像ストリームに対応する画像データ集合の物理ディスプレイに表示される画像の数も、少なくともこの整数倍だけ増加されなければならない。
【0014】
本発明によれば、物理ディスプレイに示される少なくとも二つの異なる画像データ集合は、静止画像または動画像、例えば映画を包含する。物理ディスプレイに静止画像が示される時に、一つの画像データ集合の画像は本質的に同一である。一つの画像データ集合が映画を包含する時には、動画シーケンスが表示されるように一つの画像データ集合の画像は互いに異なっている。したがって、以下の説明では、映像ストリームとテレビ放送の語は互換的に使用され、付加的な音声データを伴うか伴わない静止画像、動画像、映像を含む画像データを視聴者へ送信するための様々な方式を含むことが想定される。
【0015】
本発明によれば、一般的にはビデオカメラでシーンを録画することにより、物理ディスプレイを含むシーンの少なくとも一つの映像ストリームが作成される。少なくとも二つの画像データ集合の一つの画像を物理ディスプレイに表示するのと同時に捕捉される映像フレームから映像ストリームが成るように、ビデオカメラが起動される。ゆえに、本発明の一実施形態によれば、文献WO2007/125350に記載の方法とは対照的に、ビデオカメラは、物理ディスプレイに示されるすべての画像データ集合の画像をすべて捕捉する必要はなく、物理ディスプレイに示される画像データ集合の一つの画像を捕捉するだけでよい。したがって、本発明の方法で使用されるビデオカメラの最低フレームレートは、一つの画像データ集合のフレームレートと同じ高さであればよい。結果的に、当該技術で周知の従来のビデオカメラまたはスローモーションカメラが本発明の方法に採用されうる。
【0016】
本出願の意味において、「画像データ集合」は特定の視聴者部分集合に示される画像(静止画像でも映画でも)に対応する。本発明によれば、少なくとも二つの画像データ集合が物理ディスプレイに示されるのに対して、二つの画像データ集合のうち一つの集合を包含する少なくとも一つの映像ストリームが作成される。最も単純な形において、本発明の方法は、イベントの直接視聴者、例えばスポーツまたはエンターテインメントイベントに実際に参加している視聴者を想定した一つの画像データ集合を包含する。第2の画像データ集合は映像ストリームの視聴者に向けられたものである。より大まかに記すと、物理デバイスに示される画像データ集合が直接視聴者のための画像データを含む場合には、作成される映像ストリームの数は画像データ集合の数から1を引いたものに対応する。
【0017】
本発明の一実施形態において、「画像データ集合」は黒色画像、つまり物理ディスプレイに画像が表示されない時間間隔も含みうる。例えば、イベントの直接視聴者あるいはサッカーまたはバスケットボール選手のようなイベントの参加者が、物理ディスプレイに示されるコンテンツにより、つまり本実施形態では映像スクリーンを介して放送視聴者にのみ送信される広告により、注意散漫にされない場合には、これが望ましい。
【0018】
本発明の別の実施形態において、「画像データ集合」は、従来のソフトウェアベースのキーイング技術を使用して映像ストリームの物理ディスプレイのエリアに所望の広告を挿入するために、映像ストリーム内の物理ディスプレイの場所を特定するのに使用されうるモノクロカラーのフレームを包含しうる。
【0019】
直接視聴者のための専用の画像データ集合が必要とされない本発明のまた別の実施形態では、映像スクリーンの数は、物理ディスプレイに示される画像データ集合の数に対応する。結果的に、物理デバイスに表示される各画像データ集合について映像ストリームが作成される。本発明は最新のビデオカメラ技術を使用して具現されうるが、各映像ストリームに専用のビデオカメラが使用される。結果的に、本発明の方法を具現する時に、すべての視聴者部分集合のための画像データをすべて包含する単一の映像ストリームの逆多重化は必要とされない。
【0020】
本発明の方法の好適な実施形態によれば、少なくとも二つの画像データ集合の一つの画像の表示と同時に捕捉される映像フレームから成る映像ストリームは、物理デバイスでの少なくとも一つの画像データ集合の画像の表示と、この画像データ集合と関連する映像ストリームの映像フレームの捕捉とを同時に起動させる同期化信号を作成することにより実現される。例えば、特定の画像データ集合の特定の画像の表示を起動させるトリガインパルスが物理ディスプレイの画像バッファへ送られ、同時インパルスがビデオカメラへ送られてビデオカメラを起動させ、シーンの映像フレームを捕捉する。
【0021】
「標準放送用フレームレート」の語は、一つのチャネル、つまり物理的な映像出力の一つからの映像出力が送信される際のフレームレートを表す。一実施形態において、標準フレームレートは、映像信号が視聴者へ送信される際のフレームレートに対応する。
【0022】
本発明の方法では、画像データ集合の数と映像ストリームの数と個々の映像ストリームのスローモーション速度とが互いから独立して変化して、物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するための方法が、帯域幅、物理ディスプレイのスイッチング時間、カメラユニットの録画速度等のような技術的制約に合わせて容易に適応化されうるので、出願人のPCT/EP2018/052177およびPCT/EP2018/052178に記載されている方法の容易な適応化が可能である。
【0023】
とりわけ、映像ストリームは異なるフレームレートで捕捉されうる。それゆえ、一実施形態では、少なくとも二つの画像データ集合のうち他の集合の画像の表示と同期的に捕捉される映像フレームから成る少なくとも一つの他の映像ストリームは、標準放送用フレームレート(SBFR)の整数倍である異なるフレームレートで作成される。このケースで、この他の映像ストリームの整数倍は1である、つまり他の(第2)映像ストリームが標準放送用フレームレートで録画されるのに対して第1映像ストリームはスローモーションストリームの少なくとも2倍である。
【0024】
大まかに記すと、本発明の方法によれば、n個の映像ストリームがm個の画像データ集合から作成され、n,mは2以上の整数であって、mはnより大きいか等しい。したがって、少なくとも二つの映像ストリームが作成されるが、物理ディスプレイに示されるすべての画像データ集合が対応の映像ストリームになる必要はない。映像ストリームは、スローモーション係数f(n)と標準放送用フレームレート(SBFR)との倍数により規定されるフレームレートで捕捉され、スローモーション係数f(n)は1以上の整数であって、スローモーション係数f(n)の少なくとも一つは2以上である。
【0025】
好適な実施形態によれば、方程式
【数1】
により規定される録画用高フレームレート(HRFR)で映像フレームが捕捉され、SBFRは標準放送用フレームレートであり、f(i)は個々の映像ストリームのスローモーション係数である。本発明によれば、少なくとも二つの映像ストリームが作成され、そのうち少なくとも一つは少なくとも二つのスローモーション係数を持つスローモーションストリームであり、本発明の方法で最低の録画用高フレームレート(HRFR)は標準放送用フレームの3倍である。すべてのストリームを録画するのに一つのカメラユニットのみが使用される場合には、カメラユニットは録画用高フレームレート(HRFR)が可能でなければならない。異なるストリームを録画するのにより多くのカメラが採用される場合には、カメラ自体の録画用フレームレートがこれに対応して低くなりうる。
【0026】
録画対象の画像データが物理ディスプレイに提示される際の表示用高フレームレート(HDFR)は、録画用高フレームレート(HRFR)と少なくとも同じ高さである。大まかに記すと、表示用高フレームレート(HDFR)は録画用高フレームレート(HRFR)の整数倍であって、
【数2】
であり、表示係数f
Dは1以上の整数である。表示係数f
D=1では、物理ディスプレイに表示されるすべての画像データが録画される。より高い表示係数を使用すると、付加的な画像、または録画されない付加的な画像集合の導入も可能になる。
【0027】
好適な実施形態において、少なくとも二つの映像ストリームは、直接視聴者により、そして任意で放送視聴者により視聴される画像データ集合(M)と、放送視聴者のみに視聴される少なくとも一つの画像データ集合(P1,P2,P3)とを包含する。直接視聴者の視聴体験を改善するため、表示係数fDは少なくとも2以上に設定される。こうして放送視聴者のみに視聴される画像データ集合(P1,P2,P3)の画像の付加的な補完/反転画像が物理ディスプレイに表示されることが可能である。これらの付加的な反転画像は映像ストリームでは捕捉されない。放送視聴者のみにより視聴される画像データ集合(P1,P2,P3)と対応の反転画像とは、画像が直接視聴者により意識的に視聴されるには短すぎる時間にのみ表示される。画像と反転画像との急速シーケンスは、順序に関係なく、ニュートラル/グレーの合成画像となるので、画像と対応の反転画像とを組み合わせると、直接視聴者の視聴体験に対する妨害を最小にする。
【0028】
一実施形態において、表示係数fDは3以上であって、直接視聴者により視聴される画像データ集合(M)の付加的画像が物理ディスプレイに表示されることを可能にする。これらの付加的画像は映像ストリームで捕捉されず、直接視聴者により視聴される画像データと直接視聴者により視聴されることが想定されていない画像集合との正味の強度割当量を高める。画像データ集合(M)の付加的な非捕捉画像が、画像データ集合(M,P1,P2,P3)の捕捉画像よりも高い強度で物理ディスプレイに表示される場合には、この割当量がさらに高くなる。
【0029】
一実施形態において、標準放送用フレームレート(SBFR)は25Hz(毎秒50フレーム(fps)、50Hz(毎秒50フレーム)、60Hz(毎秒60フレーム)である。しかしながら、スポーツイベントではとりわけ、100Hz/fpsまたは150Hz/fpsのような高い標準フレームレートが採用されうる。
【0030】
本発明は、少なくとも一つの物理ディスプレイと、少なくとも第1および第2の画像データ集合をタイムスライス多重化法で物理ディスプレイに表示するための制御インタフェースと、第1画像データ集合に対応して物理ディスプレイを含むシーンを録画するための少なくとも一つのカメラと、少なくとも一つのカメラにより提供される映像データから少なくとも二つの映像ストリームを作成するための手段であって、少なくとも二つの画像データ集合の一つの画像の表示と同時に捕捉される映像フレームから成る少なくとも一つの映像ストリームが、標準放送用フレームレート(SBFR)の整数倍であるスローモーション用フレームレート(SMFR)で作成される、手段と、映像ストリームを異なる視聴者部分集合へ標準放送用フレームレート(SBFR)で送信するための手段とを包含する、物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するためのシステムにも関連する。
【0031】
商用の映像放送機器が採用される時には、多くの標準SDI出力は、カメラユニットにより捕捉されたHRFR映像信号を送信するのに必要な帯域幅を提供しない。出願人のPCT/EP2018/052178に記載されているように、後続の映像ストリーム(映像チャネル)を中間処理ユニットの異なる物理的出力に送るのに従来の中間処理ユニット(基底帯域プロセスユニット)が採用されうる。
【0032】
従来の専門的な映像放送技術では、カメラユニットはカメラ制御ユニット(CCU)により制御され、カメラユニットからの映像信号はCCUへ直接送信される。本発明のこの実施形態において、カメラからの映像信号は、カメラユニットとCCUとの間に配置される中間処理ユニットへ送信される。中間処理ユニットは、カメラからの高フレームレート映像信号のための入力と複数の映像出力とを有する少なくとも一つのコネクトユニットを包含し、この複数の映像出力の数は少なくとも、高フレームレート映像信号が作成される際の標準フレームレートの整数倍に対応する。中間処理ユニットでは、高フレームレート入力映像信号の連続フレームを映像出力の整数倍の連続映像出力へ周期的に送信することにより、高フレームレート映像信号が標準フレームレート映像信号に変換されうる。したがって、標準フレームレートに対応する時間周期内での高フレームレート映像信号の各フレームは同じ物理的映像出力へ送信される。それゆえ、標準フレームレートの少なくとも一つの映像ストリームを映像出力の整数倍の一つで得ることが可能である。
【0033】
本発明の特に好適な実施形態において、中間処理ユニットは、商用の基底帯域プロセスユニットである。
【0034】
商用の基底帯域プロセスユニットは、高解像度(例えば4K)および/または高フレームレート(例えば100Hz,150Hz,200Hz,400Hz,800Hz等)の入力映像ストリームをカメラユニットから受信するための映像入力を有し、入力映像ストリームを二つ以上の3G-SDIまたはHD-SDIの映像ストリームに変換するための映像プロセッサを包含する。したがって、基底帯域プロセスユニットは、標準的な3G-SDIおよび/またはHD-SDI出力として構成される対応数の映像出力を包含し、例えば、外部放送バンの標準的なSDI機器あるいはスポーツスタジアムで既に利用可能なSDI機器に4Kカメラユニットを接続することが可能である。
【0035】
従来のSDI機器の帯域要件を満たすため、商用の中間処理ユニットは一般的に、4Kの高フレームレート映像信号の連続映像フレームが周期的に中間処理ユニットの連続的な物理的映像出力へ送信されるように構成されていることが意外にも判明した。例えば、50Hz標準フレームレート映像信号の単一フレームの時間間隔中に録画される200Hzの高フレームレート映像信号の4個のフレームの各々は、中間処理ユニットの連続する4個の個別映像出力へ送信される。したがって、好適な実施形態において、基底帯域プロセスユニットは、少なくとも一つの4Kの高フレームレート映像入力と、少なくとも3G-SDIおよび/またはHD-SDIの映像出力とを包含する。
【0036】
出力の数は上述した整数倍より多いことに注意しなければならない。例えば、中間処理ユニットは、各映像信号について二つの物理出力を包含し、例えば各フレームが二つの映像出力へ移送されて、異なる映像処理経路を介して同じ映像信号が処理されることを可能にする。
【0037】
ある実施形態において、基底帯域プロセスユニットはカメラユニットとカメラ制御ユニットとの間に配置される。通常、プロ用のカメラユニットは、その専用カメラ制御ユニット(CCU)により制御される。HDカメラユニットは通常、専用のHD-CCUを有し、同様に、4Kカメラユニットは専用の4K-CCUを有する。低コストおよび相互運用性のため、ソニー株式会社のようなカメラ製造会社は、第1コネクトユニットおよび第2コネクトユニットを包含して「基底帯域プロセスユニット(BPU)」と表される中間処理ユニットを開発した。第1コネクトユニットは、空間方向および/または時間方向の第1解像度を有するカメラユニットに接続される。第2コネクトユニットは、空間方向および/または時間方向の第2解像度を有するカメラ制御ユニットに接続される。中間処理ユニットは、第1コネクトユニットと第2コネクトユニットとの間に介在配置される情報ブリングユニットを包含する。情報ブリッジユニットにより、カメラユニットとカメラ制御ユニットとの間の情報交換が橋渡しされる。例えば、情報ブリッジユニットは、カメラユニットから第1コネクトユニットへの第1解像度入力の映像信号を第2解像度の映像信号に変換し、第2コネクトユニットへ信号を出力する。このケースで、情報ブリッジユニットは、カメラユニットから第1コネクトユニットへの第1解像度入力の映像信号が第2解像度の映像信号に変換される前に、第1解像度の映像信号に対するカメラ信号処理を実行しうる。結果的に、4K解像度カメラをHDカメラ制御ユニットに接続することが可能である。
【0038】
一般的な中間処理ユニットは米国特許のUS9,413,923B2に記載されている。このような中間処理ユニットは、例えば基底帯域プロセスユニットBPU4000またはBPU4800としてソニー株式会社により商品化されている。本質的に、これらソニーのデバイスは、HDカメラ制御ユニットによる4Kカメラユニットの作動と、SDI出力を介した高フレームレート4K信号の送信とを可能にする。SDIチャネルであれば、高フレームレート4K信号の帯域幅要件を満たさないので、BPUは、高フレームレート4Kを送信するため上記のように幾つかのSDI出力の組み合わせを可能にする。
【0039】
他の会社も同様の機器を提供している。例えばカナダのモントリオールのGrass Valley(グラスバレー)により商品化されたXCU UXF/XFファイバベースステーションも、本発明のプロセスに同じく使用されうる。
【0040】
したがって、本発明は、上記の方法において、カメラユニットからの高解像度および/または高フレームレートの映像信号のための入力を有する少なくとも第1のコネクトユニットと、高解像度および/または高フレームレートの入力映像信号を、二つ以上、例えば四つ以上の3G-SDIまたはHD-SDI映像ストリ-ムに変換するための映像プロセッサと、少なくとも二つの3G-SDIおよび/またはHD-SDI映像出力とを包含する、4K基底帯域プロセスユニットのような中間処理ユニットの使用も対象とする。
【0041】
好ましくは、中間処理ユニットはさらに、カメラ制御ユニット、例えばHDカメラ制御ユニットを接続するための少なくとも第2のコネクトユニットを包含する。
【0042】
好ましくは、中間処理ユニットは、少なくとも8個、特に好ましくは少なくとも16個の3G-SDIおよび/またはHD-SDI映像出力を包含する。いずれにしても、映像出力の数は、標準フレームレートを高フレームレートカメラユニットと関係付ける整数倍より大きいか等しい。
【0043】
特に好ましくは、中間処理ユニットは、ソニーBPU4000またはソニーBPU4800のようなソニー4K基底帯域プロセスユニット、あるいはXCU UXF/XFファイバベースステーションのようなグラスバレー社のファイバベースステーションである。
【0044】
本発明の一実施形態では、物理ディスプレイに表示される少なくとも二つの画像データ集合のために少なくとも二つの映像ストリームが作成される。
【0045】
別の好適な実施形態では、物理ディスプレイに表示される各画像データ集合について映像ストリームが作成される。
【0046】
二つ以上の映像ストリームが作成される時には、これらの映像ストリームがHD、4K、および/またはスローモーションコンテンツを含有する場合にはとりわけ、これらの映像ストリームを送信するための帯域幅要件は実質的に高くなる。しかしながら、本発明の方法では、映像ストリームに録画される物理ディスプレイのコンテンツのみにおいて映像ストリームが異なっており、録画されるシーンへのわずかではあるが何らかのモーション効果は、採用される高フレームレートカメラユニットのフレームレートに応じたある遅延を伴って異なる映像ストリームの対応フレームが録画されるという事実に起因する。したがって、異なる出力チャネルでのフレーム間の差分符号化のような従来の映像圧縮技術、あるいは全映像情報を含む一つの出力チャネルの映像信号を移送できる一方で、元のチャネル信号の再構成を可能にする差分データのみが他の映像チャネルへ送信されるモーション補償技術を使用することが可能である。送信されるデータの量を削減するために変換符号化のような従来の圧縮技術もこのチャネルに適用されうるので、「全」送信される映像チャネルそのものが必ずしも非圧縮映像信号である必要はない。
【0047】
好ましくは、同期化信号は、例えば上記標準フレームレートなど、映像ストリームのフレームレートに対応するマスタクロックに基づく。映像または映画製作に使用される従来のフレームレートが採用されうる。例えば、50pの映像ストリーム(毎秒50のフルフレーム)が作成される場合には、50Hzのマスタクロックが採用されうる。
【0048】
従来、マスタクロック信号は、直接的に、またはCCUを介して、カメラユニットへ供給される。
【0049】
多数の異なる映像出力を発生させるのに単一のカメラユニットのみが使用される本発明の実施形態において、物理ディスプレイに表示される画像データを受信して、カメラユニットが映像信号を録画する際の上記の高フレームレートに対応するレートでトリガ信号を発生させるインタフェースへ、マスタクロック信号が供給される。トリガ信号にしたがって画像データが物理ディスプレイに表示される。
【0050】
各映像ストリームに専用カメラユニットが使用される別の好適な実施形態によれば、個々の画像データ集合の各々に専用のスレーブクロックを発生させるのにマスタクロックが使用される。各映像スクリーンに固有の遅延だけマスタクロックをシフトさせることにより、スレーブクロックが得られる。例えば、n個の画像データ集合が物理デバイスに表示される場合には、Di=(n-1)・Δtの遅延でマスタクロックをシフトさせることにより、スレーブクロックi(n)が得られる。したがって、第1画像データ集合の同期化信号がマスタクロックに対応するのに対して、後続の画像データ集合のための同期化信号はマスタクロックの周期時間内で位相シフトされる。例えば、50Hzのフレームレートでは、対応の周期時間T=1/フレームレート=20msである。特定の映像スクリーンに関連する各カメラの最小シャッタ時間は、物理ディスプレイに表示されて専用の映像ストリームを介して送信されうるチャネル(画像データ集合)の最大数を決定する。したがって、Δsのシャッタ時間では、画像データ集合の最大数nは方程式n・Δs≦1/fにより決定される。同様に、物理ディスプレイは、必要なn・fのフレームレートで画像を示すことが可能でなければならない。スポーツアリーナで使用される商用のディスプレイは、少なくとも24個の画像データ集合が提示されうるように、1200Hzまたは2400Hzものフレームレートを有する。
【0051】
本発明の一実施形態によれば、第1画像データ集合は、直接視聴者に提示される画像に対応する。この実施形態によれば、第1画像データ集合は、映像ストリームのための後続の同期化信号の間の遅延周期Δt内に示される。本発明の方法の特に好適な実施形態では、マスタクロックのフレーム周期内のおよそ90パーセントの時間に直接視聴者に向けられた第1画像データ集合の画像が示されるように、シャッタ時間Δsと遅延周期Δtとが選択される(n・Δs≦0.1・(n-1)・Δt)。
【0052】
本発明の別の実施形態によれば、少なくとも一つの画像データ集合は、実画像とそれぞれの実画像の反転または補完画像とのシーケンスを包含する。この好適な実施形態によれば、実画像とそれぞれの反転画像とは、人の眼による解像が不可能な周波数において即時継続状態で示される。したがって、直接視聴者は実画像および反転画像のシーケンスをニュートラルで目立たない画像として認知する。本発明によれば、映像ストリームを想定した各画像データ集合はこのように、つまり実画像および対応の反転/補完画像のシーケンスとして提示されるのに対して、直接視聴者を想定した画像データ集合は画像のみとして提示される。イベントに参加している視聴者は物理ディスプレイに示される全ての画像を視聴するので、画像および反転画像のシーケンスは本質的に相殺されるため映像ストリームを想定した挿入画像集合による妨害は少ない。
【0053】
映像を録画するためのフレームレートは通常、人の眼の時間解像度より高い、例えば、20Hz(毎秒20フレーム)より高いので、各画像が物理ディスプレイに提示された後に反転/補完画像を挿入する必要はない。それゆえ、本発明の別の実施形態によれば、二つ以上の実画像を包含する実画像のグループに基づいて反転/補完画像が計算される。反転/補完画像の提示はこの実画像グループの提示と関連しており、例えば、実画像グループが提示される前か後に、あるいは実画像グループ内に示される。一実施形態において、実画像グループは、マスタクロックの一つの時間周期(1/(フレームレート))内に示されるすべての画像を包含するので、各時間周期内には一つの反転/補完画像のみが示される。
【0054】
一実施形態によれば、ディスプレイがカラーディスプレイである時に、基本の画像とそのカラー反転画像とをピクセル単位で時間多重化することで、その結果としてディスプレイの直接視聴者にとって実質的に目立たない複合画像をディスプレイで作成することにより、画像および反転画像のシーケンスが確立される。各反転カラーデータコンポーネントは、基本の画像信号の対応のカラーデータコンポーネントから、そしてこれに相関して作成され、それゆえ基本画像の同じカラーコンポーネントを表す。信号振幅は、非線形ではあるが画像の色彩強度に直接関係するので、各反転カラーデータコンポーネントの振幅は、対応のカラーデータコンポーネントの振幅と相関して決定されるため、すべてのカラーデータコンポーネントの振幅に対応するとともに、反転カラーデータコンポーネントに対応する色彩強度の時間重み付き平均は、同じピクセルに対応する各複合カラーデータコンポーネントについて実質的に同じである。所与の表示フレーム中の各反転カラーデータコンポーネントについて計算される振幅は、結果的に得られる複合画像の各対応カラーコンポーネントの強度が他のカラーコンポーネントすべてについて実質的に同じであるように設定される。人の眼では見分けることができない充分に高い周波数で基本的な反転カラーデータコンポーネントが時間多重化されるので、複合画像信号により作成された結果である画像のすべてのカラーコンポーネントの強度は、各ピクセルについて実質的に同じように見える。結果として、ピクセルごとにカラーまたは強度に視認可能な変化はなく、その結果の複合画像は実質的に目立たないようである。ゆえに、基本の画像信号の個々のカラーデータコンポーネントを対応する反転カラーデータコンポーネントとピクセル単位で時間多重化することにより、基本画像は計算によるカラー反転画像と本質的に時間多重化されて、観察者の裸眼には実質的にニュートラルで目立たない複合画像が結果的に作成される。
【0055】
この反転画像の提示についての好適な実施形態によれば、画像および反転画像の組み合わせの結果、均質な強度を有する認知画像が得られるように、各先行および/または後続画像の反転画像が作成される。
【0056】
本発明のさらに好適な実施形態によれば、物理ディスプレイは発光ダイオード(LED)アレイ/ディスプレイである。好ましくは、LEDディスプレイは看板または掲示板である。
【0057】
本発明のさらなる実施形態によれば、一つ以上の映像ストリームに録画されるシーンはスポーツイベントまたはエンターテインメントイベントの一部である。
【0058】
本発明はさらに、本発明の方法を実行するように構成される制御インタフェースに関し、この制御インタフェースは、マスタクロック信号を受信するか発生させるための手段と、二つ以上の時間シフトスレーブクロック信号を発生させるための手段と、二つ以上の時間シフトスレーブクロック信号に対応してトリガ信号を発生させるための手段とを包含する。
【0059】
好ましくは、制御インタフェースはさらに、外部マスタクロック信号を受信する少なくとも一つの入力と、スレーブクロック信号を一つ以上、一実施形態では二つ以上のカメラへ送信するための少なくとも二つのスレーブ出力と、異なる画像データ集合をタイムスライス多重化法で物理ディスプレイに表示するためにトリガ信号を物理ディスプレイへ送信するための少なくとも一つのトリガ出力とを包含する。
【0060】
一実施形態によれば、制御インタフェースは専用のハードウェアインタフェースであり、マスタクロック信号を受信するか発生させるための手段と、二つ以上の時間シフトスレーブクロック信号を発生させるための手段と、二つ以上の時間シフトスレーブクロック信号に対応してトリガ信号を発生させるための手段とが、専用のマイクロ制御装置またはFPGAで少なくとも部分的にハードウェア具現化される。
【0061】
別の実施形態によれば、制御インタフェースはソフトウェアで完全に具現される。したがって、マスタクロック信号を受信するか発生させるための手段と、二つ以上の時間シフトスレーブクロック信号を発生させるための手段、二つ以上の時間シフトスレーブクロック信号に対応してトリガ信号を発生させるための手段とは、汎用コンピュータまたはハードウェアコンポーネント(FPGA、マイクロ制御装置、送信カード、グラフィックカード等)で実行可能なプログラムとして具現される。
【0062】
最後に、本発明は、少なくとも一つの物理ディスプレイと、少なくとも第1および第2の画像データ集合をタイムスライス多重化法で物理ディスプレイに表示するための上記の制御インタフェースと、第1画像データ集合に対応して物理ディスプレイを含むシーンを録画するための少なくとも一つのカメラと、少なくとも一つのカメラにより提供される映像データから少なくとも一つの映像ストリームを作成してこの映像ストリームを視聴者の部分集合へ送信するための手段とを包含する、物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するためのシステムを対象とする。
【図面の簡単な説明】
【0063】
以下では、同封の図面を参照して本発明の好適な実施形態がより詳しく説明される。
【
図1】本発明を実行するために使用されるシステムの概観図を示す。
【
図2】マスタおよびスレーブクロックのタイムラインを示す。
【
図4】本発明の方法の別の実施形態を実行するシステムの概観図を示す。
【
図5】
図4の実施形態で使用される単一のカメラユニットのフレームシーケンスを示す。
【
図6】
図5の映像ストリームから作成される映像ストリームのフレームシーケンスを示し、スローモーションは含まれない。
【
図7】本発明の方法において物理ディスプレイとカメラとの同期化を実行するための三つの代替実施形態を示す。
【
図8】本発明の方法を実行する異なるカメラを備えるシステムを示す。
【
図9】本発明の方法に従って少なくとも一つの映像ストリームのスローモーション送信のために異なる画像データ集合を物理ディスプレイに提示するための方式を示す。
【
図10】本発明のスローモーション方法の代替実施形態を示す。
【発明を実施するための形態】
【0064】
さて、一般的な例、すなわちスポーツイベントのテレビ放送について本発明がより詳しく説明される。
【0065】
図1~7は、出願人のPCT/EP2018/052178に記載の実施形態を示す。スローモーション映像ストリームを送信するための改良方法は、
図8から12に関連して説明される。
【0066】
図1に描かれている本発明の実施形態では、各映像ストリームに専用のカメラユニットが使用される。したがって、(部分的に描かれている)サッカー競技場10を例とするスポーツイベントの映像素材を提供するのに、多数のカメラC1,C2,C3,C4が使用される。競技場10のサイドライン11には、LEDディスプレイ13を有する広告掲示板12が設置されている。広告掲示板12は、LEDアレイ13への静止および/または動画像の送達を制御する制御装置14を包含する。従来のマルチカメラ放送方式では、一つのカメラから別のカメラへのシームレスな切り替えを可能にするため、カメラC1,C2,C3,C4は同期化されなければならない。そのために、カメラC1,C2,C3,C4は、例えば外部放送ユニット(OBユニット)、例えばOBバン16に収容されるテレビ制御ユニットの一部であるマスタクロック15から同期化信号を受信する。従来のTV放送では、カメラC1,C2,C3,C4は同一のマスタクロック信号M1,M2,M3,M4(つまりM1=M2=M3=M4)と同期化される。これらの同期化信号は、それぞれ回線L1,L2,L3,L4を介してカメラC1,C2,C3,C4へ送信されうる。矢印で記されているように、回線L1,L2,L3,L4は双方向性であって、カメラC1,C2,C3,C4への同期化信号の送信ばかりでなく、カメラからOBバン16への映像信号の供給も可能にする。当然のことであるが、OBバン16とカメラC1,C2,C3,C4との間の双方向通信は、有線ベースでも無線でも、またはその両方の組み合わせでもよい。
【0067】
従来のTV放送では、カメラの映像チャネルが通常は組み合わされて、視聴者へ配信される単一の映像ストリームが作成される。対照的に、本発明による方法では、異なる視聴者部分集合、例えば異なる国々の視聴者のために異なる映像チャネルV1,V2,V3,V4を作成するのにカメラC1,C2,C3,C4が使用される。これらの異なる映像チャネルは本質的にはイベントの同じシーンを示すが、LEDアレイ13に表示される情報が異なっている。LEDアレイに表示される異なる情報を異なるカメラが録画できるようにするため、マスタクロック15から発出される同時マスタクロック信号M1,M2,M3,M4はそれぞれのカメラC1,C2,C3,C4へ直接的には供給されない。そうではなく、同時マスタクロック信号はインタフェース17へ供給され、こうしてそれぞれのカメラへ送達される同期化信号の間に所定の時間遅延(位相シフト)を導入できる。位相シフト信号は、それぞれスレーブクロック信号S1,S2,S3,S4と呼ばれ、これらは双方向回線L1’,L2’,L3’,L4’を介してカメラC1,C2,C3,C4へ送信される。本ケースでは、スレーブ信号S1はマスタクロック信号M1に対応するのに対して、信号S2,S3,S4は、それぞれ対応のマスタクロック信号M2,M3,M4に関する遅延Δt,2・Δt,3・Δtだけ位相シフトされる。
【0068】
また、スレーブクロック信号S1,S2,S3,S4と同時に、インタフェース17は、特定の視聴者部分集合に向けられた画像がカメラC1,C2,C3,C4のそれぞれの(位相シフト)トリガ時点で広告掲示板12のLEDアレイ13に示されることを確実にするために、LEDアレイ13の制御装置14へ回線L5を介して送信されるトリガ信号T1,T2,T3,T4を発生させる。
【0069】
本発明の一実施形態において、カメラの一つは、イベントに参加している直接視聴者を想定した同じ画像データ集合を示すのに使用されうる。このケースでは、画像データ集合の数は、互いに対して位相シフトされたカメラの数に対応するだろう。しかしながら、図に記載の例では、別の画像データ集合が直接視聴者に提示される。したがって、インタフェース17により決定される特定の時点でLEDアレイ13に表示されうる合計5個の画像データ集合が、制御装置14を介して提供される。そのために、インタフェース17はトリガ信号T1,T2,T3,T4ばかりでなく、直接視聴者に向けられた画像データ集合の画像を示すのに使用されるトリガ信号T5も発生させる。
【0070】
具体的には、スポーツイベントを視聴して専用の情報または広告をLEDアレイ13で受信できるそれぞれ四つの視聴者部分集合に専用の四つの画像データ集合が用意される。カメラC1は第1視聴者部分集合のための映像ストリームV1を作成するのに対して、カメラC2,C3,C4は第2、第3、第4の視聴者部分集合のためにそれぞれ映像チャネルV2,V3,V4を作成する。
【0071】
スポーツイベントに参加している直接視聴者を想定した画像を示すのに第5画像データ集合が使用される。上記のように、本発明の好適な実施形態では、大半の時間には直接視聴者を想定した画像がLEDアレイ13に表示されるようにLEDアレイが制御される。
【0072】
図2には、本発明の方法で使用されるそれぞれの同期化信号が示されている。
図2aは、例えば毎秒50フレームの映像録画を対象とする50Hzのレートで発出されるマスタクロック信号を示す。
図2b,2c,2d,2eは、インタフェース17により発生されるスレーブクロック信号S1,S2,S3,S4に対応する。
図2から分かるように、各スレーブ信号はn・Δtの遅延で位相シフトされ、それぞれn=0,1,2,3である。信号S1,S2,S3,S4はそれぞれのカメラC1,C2,C3,C4のシャッタ時間を開始させる。
【0073】
カメラのシャッタが開いている間に、LEDアレイ13は、それぞれトリガパルスT1,T2,T3,T4により起動されるとそれぞれの画像データ集合の画像を示す。
【0074】
図2fは、直接視聴者に向けられた第5の画像データ部分集合のトリガパルスT5を示す。ここで説明される実施形態では、カメラが作動していない時にのみこれらの画像がLEDアレイに示されるが、他の実施形態では、カメラが作動していてもよい。
図2から分かるように、LEDアレイのフレームレートはカメラのフレームレートよりはるかに高い。
【0075】
図3には、
図2の同期化方式の変形が示されており、各スレーブクロックパルスについて、二つのLEDアレイトリガパルスが発生される。先頭パルスT1,T2,T3,T4は、それぞれのカメラにより録画される実画像を起動させる。映像フレームが録画された直後に、つまりスレーブ信号S1,S2,S3,S4の終了後にそれぞれパルスT1i,T2i,T3i,T4iが発生されて、T1,T2,T3,T4に示されているそれぞれの反転画像の表示を起動させる。画像および反転画像は裸眼では解像できないレートで示されることで、直接視聴者のスムーズな視聴体験をもたらす。
【0076】
本発明において、各カメラC1,C2,C3,C4はカメラグループに相当し、グループの各カメラは同じ同期化信号により起動されることに注意すべきである。各カメラグループにより作成される映像ストリームV1,V2,V3,V4はそれゆえ、例えばイベントを異なる角度から示すマルチカメラフィードから成る。
【0077】
また、同期化信号、マスタクロック信号、スレーブクロック信号、またはトリガ信号と、制御インタフェースでの対応の入力および出力の語は、広く解釈されるものとする。これらの信号は、アナログ信号、デジタル信号、または両方の組み合わせでもよい。これらの信号は有線ベースまたは無線の信号でありうる。デジタル信号が含まれる時にはとりわけ、これらの信号はタイミング/トリガ情報に加えて別の情報を伝えうる。例えば、トリガ信号は、特定の画像データ集合の特定の画像の表示に関連する情報を伝えうる。また、カメラC1,C2,C3,C4は専用回線を介してインタフェースに接続されるものとして示されたが、インタフェースのスレーブクロック出力が単一の出力、例えばデータバスにリンクされたカメラC1,C2,C3,C4へデジタル処理後のスレーブクロック信号S1,S2,S3,S4を送信するための単一のデータバスであってもよい。
【0078】
図4には、本発明のさらなる実施形態で、サッカー競技場10のサイドライン11に配置された広告掲示板12のLEDディスプレイ13を含むシーンの最初の高フレームレート映像ストリームを捕捉するのに単一のカメラユニットCが使用されることを除いて、
図1と同様の概略図でこの実施形態が概略的に描かれている。本実施形態で採用されうる一般的なカメラユニットCは、ソニー株式会社から商品化された、高フレームレートでのシーンの録画を可能にするHDC4300カメラである。高フレームレート映像ストリームHFR(
図5参照)は、第1光ケーブル20を介して中間処理ユニット22の第1コネクト21へ送信される。中間処理ユニット22は、第2光ケーブル25を介して中間処理ユニット22をカメラ制御ユニット(CCU)26に接続するのに使用されうる第2コネクト24に第1コネクト21を接続する情報ブリッジ23を包含する。カメラ制御ユニット26は、外部カメラ制御部、得点、プロンプタ、リターン映像等のような信号のための付加的な入力/出力28を有する。適当な中間処理ユニット22は、例えば、ソニー株式会社により商品化されたBPU4000のような基底帯域プロセスユニット(BPU)である。中間処理ユニット22はさらに、最初の高フレームレート映像ストリームを変換して複数の物理SDI出力O1,O2、O3等へ送るための映像プロセッサ27を包含する。SDI出力O1,O2,O3等は、標準フレームレート映像ストリームSFRを提供する(
図6参照)。
【0079】
カメラユニットCは、直接的に(不図示)、あるいはマスタクロック15をカメラ制御ユニット26に接続する回線29と、光ケーブル25,20とを介して、マスタクロック17からマスタクロック信号Mを受信する。
【0080】
マスタクロック信号Mは回線30を介してインタフェース17にも供給される。インタフェース17は画像データ入力31を介して画像データを受信してトリガ信号Tを発生させ、これに従って、画像データが回線32を介してLEDディスプレイ13へ送信され、ここでトリガ信号Tに従って画像データが示される。カメラユニットにより録画される後続のフレームが、LEDディスプレイ13に異なる画像が示される録画シーンを示すように、トリガ信号Tが選択される。言うまでもないが、画像データは送信されてディスプレイ13および/またはインタフェース17の記憶媒体に予め記憶される。また、インタフェース17は広告掲示板12の一部であって、回線32が掲示板12の内部回路の一部であってもよい。
【0081】
しかしながら、カメラユニットCが専用の制御ユニットを採用するか、必要な制御部がこれに具備されるので、本発明の方法にとってカメラ制御ユニット26は不可欠ではないことに注意すべきである。中間処理ユニット22の主な目的は、下でより詳しく説明するように、高フレームレートカメラユニットCからのフレームを中間処理ユニット22のSDI出力O1,O2,O3等での別々の映像ストリームに分割することである。
【0082】
図5は、標準フレームレート(50Hz)の3倍で、つまり150HzでカメラユニットCにより録画される高フレームレート映像HFRのフレームシーケンスを示す。したがって、1/50秒(20ms)の時間間隔の間に3個のフレームfi.1,fi.2,fi.3が録画される。
図5は、60msの周期中に、つまりi=1,2,3で録画されるフレームを示す。光ケーブル20を介して中間処理ユニット22(BPU)へフレームが送信される。
【0083】
図6に示されているように、nがHFR映像ストリームの連続フレームであるフレーム(f n.i)が出力Oi(i=1,2,3)へ送られるように、中間処理ユニット22の映像プロセッサ27はHFRストリームを三つのSFRストリームに分割して三つの異なるSDI出力O1,O2,O2へ送る。
図6から分かるように、最初の高フレームレート映像スクリーンのフレーム1.1,2.1,3.1等がSDI出力O1において第1標準フレームレートストリームSFRを50Hzのフレームレートで発生させる。類似のSFR映像ストリームが出力O2,O3で発生される。したがって、最初のHFR映像ストリームの帯域幅要件は、三つのSDI出力O1,O2,O3で三つのSFR映像ストリームに分散される。従来の放送方式では、標準SDI送信回線を介した送信の後に三つのストリームが再び組み合わされる。しかしながら、本発明において、フレームn.1,n.2,n.3(n=1,2,3,4,5,...)がそれぞれ録画される時に異なるコンテンツがディスプレイに示されるように、掲示板のLEDディスプレイが起動される。ゆえに、異なるSDI出力で発生されるSFRストリームは、異なる聴衆のための異なる映像ストリームとして使用される。
【0084】
図7には、本発明の方法において物理ディスプレイと一つ以上のカメラとの同期化を実行するための三つの代替方法が描かれている。
図7a,7b,7cに示されている実施形態では、
図1および4の概略図に既に示されている幾つかの要素が再掲されている。
図7の実施形態は、LEDディスプレイ13と、LEDディスプレイ13を含む方式を報告するためのカメラC(一つ以上のカメラを表す)とを示す。
図1および4にもそれぞれ示されているように、データ回線31を介してLEDディスプレイ13に示される画像データを受信するインタフェース17が設けられる。
図7の実施形態では、一つ以上のグラフィックカード42を包含しうる処理・記憶コンポーネント41と、一つ以上の制御ディスプレイ43とを例えば含みうるコンピュータユニット40により、画像データが提供される。コンピュータユニット40は、処理・記憶コンポーネント41のグラフィックカードから画像情報を受信してインタフェース17の対応の受信カード17aへ画像データを送信する専用の送信カード44も包含する。インタフェース17はさらに、LEDディスプレイ13の関連のLEDドライバ13aへ部分的画像データを送るように構成されるフィールドプログラマブルゲートアレイ(FPGA)17bを包含する。多数のディスプレイまたはパネル13は、広告掲示板(
図1および4の参照符号12)の完成ディスプレイを形成する。
【0085】
図7a~7cの実施形態は、LEDディスプレイ13に示される画像データのシーケンスがカメラCと同期化される際の手法が異なっている。
図7aの実施形態において、マスタクロック15はカメラCとインタフェース17のFPGA17bとを起動させる。各FPGA17bがマスタクロック15に接続されなければならないので対応する配線が高コストで複雑であることに注意しなければならない。
図7bの好適な実施形態では、マスタクロック15のトリガ信号がカメラCおよび送信カード44へ送られ、そして送信カードが画像データをインタフェース17へ送信するばかりでなく、様々なFPGA17bにより受信される対応のトリガ信号をも送信する。したがって、クロック信号のための対応の配線ははるかに単純である。
図7cに示されているように、コンピュータユニット40の処理・記憶コンポーネント41のグラフィックカード42へマスタクロック信号を送ることも可能である。しかしながら、これは、画像データばかりでなく付加的なトリガ情報を送信カード44へ送信できる特殊なグラフィックカードを必要とする。
【0086】
図8には、異なるカメラ設定を使用して本発明の方法を具現する放送システム50が描かれている。カメラ51は、本発明の方法が具現されたカメラ制御ユニット(CCU)/基底帯域処理ユニット(BPU)53へ送信回線52を介して接続されるスローモーションカメラを表す。そのために、ユニット53は、回線54を介してLEDディスプレイとの同期化のためのトリガ信号を受信する。回線55により表される広帯域幅接続が、CCU/BPU53と専用のスローモーションサーバ56との間に確立される。スローモーション信号は、例えば150Hz信号(つまり3倍スローモーション信号)でありうる。例えばEVS放送機器により商品化されたスローモーションサーバでありうる専用のスローモーションサーバ56は、選択されたシーンを標準的な50Hz信号として回線57を介してミキサ58へ送信し、ミキサは例えば外部放送バン(OBバン)に設けられる。回線55が専用のスローモーションサーバ56を迂回してミキサ58へ直接に供給が行われてもよい。このケースで、高フレームレートで録画される別々のフィードがLEDディスプレイで異なるコンテンツと同期化され、それゆえ、異なるユーザ部分集合のための標準フレームレートフィードとしても使用されうる。
【0087】
カメラ59は、回線62を介してLEDディスプレイにも同期化される専用のCCU/BPUユニット61へ回線60を介して映像信号を送信する従来の標準フレームレートカメラを表す。50Hz映像信号は、回線63を介してミキサ58へ送信される。
【0088】
ある設定では、あるイベントを非常に高いスローモーションレートで録画するのに専用の高速カメラ64が採用される。これらのカメラ(例えば「Phantom(ファントム)」の商標名で商品化されているカメラ)は、本発明の方法で一般的に使用される表示用高フレームレートよりもはるかに高い録画用フレームレートを使用している。それゆえ、これらのカメラは、LEDディスプレイに示されるあるコンテンツフィードに同期化されない。カメラ64の出力は回線65を介して専用の制御ユニット66に接続され、そして制御ユニットはケーブル67を介してミキサ58にリンクされている。上記の非同期化問題を以下のように解決するため、
図8には専用の制御回路68も示されている。例えば、回線68は、カメラ64が作動していることを示すトリガ信号をミキサ58へ送るのに使用され、そしてトリガ信号はミキサ58を起動させてカメラ64の視野内のLEDディスプレイでの代替画像コンテンツの表示を停止させる。したがって、高速カメラが採用されるという稀なケースでは、メインフィードまたは予選択された並列フィードのみがこれらのLEDディスプレイに示される。代替的に、回線68が使用されてもよく、LEDディスプレイが本発明の方法により作動することで、表示用高フレームレートに対応する最高速度で高速カメラ64を作動させる必要があることを示唆している。このようなカメラには通常、周期的に表示用高フレームレートと同期化されうる内部クロックが採用されて、イベント中のこのようなカメラの比較的短い作動周期の過程で同期化が確実に維持される。それから、放送視聴者へ送信される適当なフィードがミキサ58で選択されうる。
【0089】
図9には、本発明の方法にしたがって映像ストリームのスローモーション送信のために異なる画像データ集合を物理ディスプレイに提示する方式が記されている。
【0090】
この実施形態については、50Hzの標準放送用フレームレートSBFRつまり毎秒50フレーム(fps)でテレビまたはインターネット放送の視聴者へ映像フィードが配信されると推定される。物理的なLED広告ディスプレイ13(
図1参照)を含むシーンが、適当なカメラユニットにより録画用高フレームレートHRFRで録画される。この実施形態において、標準放送用フレームレートSBFRをスローモーション係数f
Mと掛け合わせることにより規定されるスローモーション用フレームレートSMFRで、直接視聴者を想定したメイン画像データ集合(メインフィードM)を含むシーンを録画するようにカメラが適応化される。
図9の実施形態において、メインフィードのスローモーション係数は3に等しい、つまりf
M=3である。本実施形態では、メイン画像データ集合M(メインフィード)と本質的に並列に送信され(時間多重化され)、それゆえ放送視聴者のみを想定した「並列フィード」P1,P2,P3と表される三つの付加的な画像データ集合が、LEDスクリーンに示される。カメラは、標準放送用フレームレートSBFRでのスローモーションを含まずに、つまりスローモーション係数f
p1=f
P2=f
P3=1で、並列フィードP1,P2,P3を示すLEDディスプレイを含むシーンを録画するようにも適応化される。したがって、上記のように、カメラユニットは
【数3】
により規定される録画用高フレームレートHRFRで作動しなければならない、つまり300Hz/fpsのフレームレートは50Hz/fpsの標準フレームレートの6倍に相当する。
【0091】
直接視聴者の視聴体験を改善するために、物理的なLEDディスプレイは録画用高フレームレートHRFRよりも高い表示用高フレームレートHDFRで作動する。この例では、ディスプレイ係数f
D=3が選択され、こうして各録画画像について二つの付加的画像を物理ディスプレイに表示することが可能である。したがって、表示用高フレームレートHDFRは、
【数4】
に、つまり50Hz/fpsの標準フレームレートの18倍に相当するフレームレートに設定される。
【0092】
図9には、標準フレームレート50Hz/fpsの単一の周期時間に相当する20msの周期が描かれている。20msの各周期時間は、20ms周期の間に900Hz/fpsのHDFRレートで物理ディスプレイに表示される18個の画像を表す、持続時間が1/900秒(つまりおよそ1.1ms)の18個のスロットに細分される。20msの周期の間に物理ディスプレイに表示される所与のフィードの画像は通常は同一である。続く20msの周期(
図9には不図示)では、パターンが反復されるが、フィード内の画像コンテンツは通常、変化する。
【0093】
図9から分かるように、示されている20ms周期では、300Hzで作動するカメラCは、それぞれ異なる映像チャネルC
1,C
2,C
3,C
4,C
5,C
6となる表記の6個の画像を録画する。カメラCのシャッタ時間は画像スロットの時間周期に合わせて調節される、つまりカメラCにより録画される各映像フレームが物理ディスプレイに示される一つの画像のみに対応するように、シャッタ時間は1/900秒(1.1ms)以下である。カメラ録画および物理ディスプレイは、第1スロットの始めに録画が開始するように同期化される。本実施形態では、四つの画像データ集合が表示される。画像データ集合Mの画像は、物理ディスプレイに示されるメイン画像フィードに対応し、シーンの直接視聴者により意識的に視聴されることが想定される。本実施形態において、画像データ集合Mの画像はまた、スローモーション映像ストリームを目的としてカメラCにより録画される。この例では、3倍スローモーション映像ストリームが想定される。それゆえ、メインフィードMの画像が表示され、各20ms周期内においてスロット1および5に3倍で録画される。
図9から分かるように、録画フレームC
1,C
3,C
5は画像データ集合Mに対応する。したがって、所望の3倍スローモーション映像ストリームに対応する150Hzのフレームレートでメイン画像データ集合Mが録画される。
【0094】
メイン画像データ集合M(メインフィード)と本質的に並列に送信される(時間多重化される)三つの付加的な画像データ集合は並列フィードP1,P2,P3と表され、50Hzの標準フレームレートで録画される、つまり各20ms周期時間内で一度のみ表示される。画像データ集合P1の画像はスロット4に、画像データ集合P2の画像はスロット10に、画像データ集合P3の画像はスロット16に示されるので、対応の画像はそれぞれカメラの映像フレームC2,C4,C6により捕捉される。およそ1.1msにのぼる物理ディスプレイでの画像P1,P2,P3の各々の表示時間は、直接視聴者により意識的に視聴されるには短すぎる。したがって、これらの画像データ集合は、それぞれC2,C4,C6から発生される映像ストリームを介して放送視聴者へ送信されることのみを想定している。PCT/EP2018/052177に一層詳しく記載されているように、画像P1,P2,P3の各々の補完/反転画像、つまりそれぞれタイムスロット5,11,17の反転画像I1,I2,I3を付加的に表示することにより、残っている可能性のある直接視聴者への付加的画像データ集合の妨害作用が最小となりうるので、それぞれP1とI1、P2とI2、P3とI3の各対の直接視聴者により認知される合成画像は結果的に本質的にニュートラル/グレー画像となる。
【0095】
P1l,P2l,P3lにより表される、放送視聴者を想定した低強度の画像を録画することにより、直接視聴者の視聴体験はさらに改善されうる。同様に、対応の補完/反転画像が低強度I1l,I2l,I3lで録画される。カメラユニットの利得が対応の低強度に合わせて適応化されなければならないので、並列フィードの画像とメインフィードの画像の録画の間でカメラ設定を変えないことが推奨される。したがって、直接視聴者を想定した画像データ集合Mは異なる強度レベルで、すなわち、カメラチャネルC1,C3,C5により録画されるスロット1,7,13では低強度Mlで、録画されたスロットの直後にあってそれ自体はカメラにより録画されないスロット2,8,14では高強度Mhで提示される。
【0096】
ここに記載のパターンはディスプレイ係数fD=2で実現されうる。上に明記したようにfD=3を使用すると、メインフィードの付加的な画像が高強度Mhで提示される付加的なスロット3,6,9,12,15,18が得られ、ゆえに直接視聴者の視聴体験をさらに向上させるためにメインフィードと並列フィードとの積分強度比が大きくなる。
【0097】
図9から容易に推論されるように、この方式では、3倍スローモーションレートの二つの映像ストリーム、例えば映像ストリームMおよびP1を送信することも可能であり、その結果、スロット10,11のP2,I2とスロット16,17の画像P3,I3とをそれぞれ画像P1,I1で単純に置き換えることになる。
【0098】
図10には、放送視聴者のみを想定した一つのフィードP1が3倍スローモーションフレームレートで録画されるのに対して直接視聴者および放送視聴者を想定したメインフィードMと、放送視聴者のための二つの付加的なフィードP2,P3とが標準フレームレートで送信される実施形態が示されている。この並列フィード(
図10のP1)が実際の広告の画像ではなくモノクロ画像および/またはパターン画像を含有して、クロマキーイングのような技術を使用する映像後処理において映像フィード内の物理ディスプレイの場所を特定するとともに、特定されたエリアを所望の画像コンテンツで置換することを可能にする場合には、スローモーションでの並列フィードの送信は特に有利である。このような方法は、映像放送において仮想広告として知られる。
【0099】
図9および10の例では、録画用高フレームレートHRFRで作動する単一のカメラユニットが採用されている。しかしながら、チャネルC1,C2,C3等が二つ以上のカメラユニットにより録画される同様の方式も考えられる。
【0100】
本発明のシステムは通常、本発明で得られる高フレームレートのスローモーション映像ストリームがスローモーションフレームレートで放送されるかどうかと、標準フレームレートでの送信が行われるようにフレームがドロップされるかどうかの判断を可能にするスローモーション制御装置および/またはサーバシステムを含む。通常は、あるイベントが完全にスローモーションで放送されることはなく、あるシーンのみが例えばスローモーションで再生される。イベントの場所からの送信帯域幅が制限されるのでこの種の前処理がイベント時に既に行われているべきである場合には、これは特に有利である。他の実施形態では、一つ以上の映像ストリームが完全に高フレームレートのスローモーション映像ストリームとして送信されて、離れた最終ユーザまたは中間ユーザ(例えば異なる国々の放送会社)は、ストリームのどの部分が標準フレームレートまたはスローモーションフレームレートで再放送されるかを選択することが可能である。スローモーション制御装置および/またはサーバは通常、数時間のスローモーション録画の記憶を可能にするリング記憶装置または高速ソリッドステート質量記憶装置を包含する。ライブ放送中にスローモーション制御装置/サーバを介してこの記憶装置にアクセスされて、放送ストリームへのあるイベントの挿入/再生を可能にする。
【0101】
再び
図4を参照すると、SDI出力O1,O2,O3等のみを有する従来の基底帯域プロセスユニット(BPU)が使用される場合には、(例えば
図9の150Hzの映像ストリームのケースで)高フレームレートのスローモーション映像ストリームの一部が標準フレームレートで異なる出力O1,O2,O3へ送られて後続のスローモーション制御装置がSDIサブフィードを高フレームレート映像ストリームに再度組み合わせるように、BPUが構成されうる。
【0102】
図11には、
図9の作動方式に代わる作動方式が描かれている。
図11では、標準フレームレート50Hz/ftsの単一周期時間に相当する20msの周期も示されている。
図11の実施形態では、HDFRレートが1200Hz/ftsである20ms周期における物理ディスプレイでの24個の画像表示を表す持続時間が1/1200秒(つまりおよそ0.83ms)の24個のスロットに、20msの各周期時間が細分される。
図9の実施形態と同様に、カメラCは300Hzで作動して、それぞれ異なる映像チャネルC
1,C
2,C
3,C
4,C
5,C
6のための6個の画像を録画する。ここでカメラCのシャッタ時間は、各画像スロットの時間周期より短くなるように設定されている、つまりシャッタ時間は1/1200秒以下である。やはり、メインフィードは3倍スローモーション映像ストリームとして録画されるが、メインフィードが高強度(N
h)で表示される(非録画)画像スロットは、メイン周波数が少なくとも100Hzであるように分散され、結果的にライブ聴衆にとってのちらつき体験全体が少なくなる。
【0103】
図12は、
図10の方式と類似の方式であるが、第3並列フィードの代わりに、並列フィード1および2の両方が2倍スローモーションで示されている。やはり、強度変化の各基本周波数は少なくとも100Hz以上であるので、ライブ聴衆にとってのLEDディスプレイのちらつきがかなり軽減される。
【0104】
800Hzでの放送イベントの録画を可能にする最先端のカメラ技術では、
図9~12の方式が例えば32個のチャネルに容易に拡張され、例えば8倍スローモーションでの一つのフィード(チャネル)と50Hzの標準放送用フレームレートでの8個の並列フィード(チャネル)との送信を可能にする。