特許 7447077 映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-01

(45)【発行日】2024-03-11

(54)【発明の名称】映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム

(51)【国際特許分類】

   H04N 5/262 20060101AFI20240304BHJP

   H04N 5/272 20060101ALI20240304BHJP

   G09G 5/00 20060101ALI20240304BHJP

【ＦＩ】

H04N5/262

H04N5/272 030

G09G5/00 510B

G09G5/00 555D

【請求項の数】 14

(21)【出願番号】P 2021502603

(86)(22)【出願日】2019-07-26

(65)【公表番号】

(43)【公表日】2021-11-25

(86)【国際出願番号】 EP2019070185

(87)【国際公開番号】W WO2020021067

(87)【国際公開日】2020-01-30

【審査請求日】2022-04-08

(31)【優先権主張番号】18186201.2

(32)【優先日】2018-07-27

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】521016461

【氏名又は名称】アパリオ グローバル ソリューションズ （アーゲーエス） アーゲー

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】フォン ブラウン， マックス

【審査官】三沢 岳志

(56)【参考文献】

【文献】特表２０１３－５３７３８４（ＪＰ，Ａ）

【文献】特開２００６－０５０４９１（ＪＰ，Ａ）

【文献】国際公開第２０１０／０１３２８９（ＷＯ，Ａ１）

【文献】国際公開第２０１２／１６０５３１（ＷＯ，Ａ１）

【文献】国際公開第２０１３／１３２０３２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／００２０１６７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２６２

Ｈ０４Ｎ ５／２７２

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

映像ストリームにおける動的画像コンテンツ置換のための方法であって、
少なくとも二つの異なるキー画像（Ｋ１，Ｋ２）のシーケンスを包含する第１キー画像データ集合（Ｋ）を作成することと、
前記第１キー画像データ集合（Ｋ）の前記少なくとも二つの異なるキー画像を物理ディスプレイ（１３）に周期的に表示することと、
前記物理ディスプレイを含むシーンをカメラ（Ｃ）で録画することにより前記シーンの少なくとも第１の元映像ストリーム（Ｏ１）を作成することであって、前記第１の元映像ストリームが、前記第１キー画像データ集合（Ｋ）の前記少なくとも二つの異なるキー画像（Ｋ１，Ｋ２）の各々を前記物理ディスプレイ（１３）に表示するのと同時に捕捉されるキー映像フレーム（ＦＫ１，ＦＫ２）を包含することと、
前記キー映像フレーム（ＦＫ１，ＦＫ２）で視認可能な前記物理ディスプレイ（１３）のアクティブエリア（Ａ）に対応するマスクエリア（ＭＡ）を、連続キー映像フレーム（ＦＫ１，ＦＫ２）から得られた差分画像（ΔＦＫ）から作成することと、
前記第１の元映像ストリーム（Ｏ１，Ｏ２）の前記マスクエリア（ＭＡ）へ代替画像コンテンツ（Ｉ）を挿入することにより少なくとも一つの代替映像ストリーム（Ｖ）を作成することと、
前記少なくとも一つの代替映像ストリーム（Ｖ）を放送することと、
を包含し、
前記連続キー映像フレーム（ＦＫ１，ＦＫ２）の間の強度差を判断することにより前記差分画像（ΔＦＫ）が得られる、方法。

【請求項2】

前記キー画像（Ｋ１，Ｋ２）が異なるモノクロ画像である、請求項１に記載の方法。

【請求項3】

前記強度差に閾値を適用することにより前記マスクエリア（ＭＡ）が作成される、請求項２に記載の方法。

【請求項4】

前記キー画像（Ｋ１，Ｋ２）が異なる画像パターンを包含する、請求項１に記載の方法。

【請求項5】

一方のキー画像（Ｋ１）の前記画像パターンがモノクロのチェッカーボードパターンであり、他方のキー画像（Ｋ２）の前記画像パターンが対応する逆のチェッカーボードパターンである、請求項４に記載の方法。

【請求項6】

前記差分画像にエッジ・ボーダー検出アルゴリズムを適用することによりマスク（Ｍ）が作成される、請求項４または５に記載の方法。

【請求項7】

物理ディスプレイの光学歪みデータが前記マスクエリア（ＭＡ）から判断される、請求項６に記載の方法。

【請求項8】

前記第１キー画像データ集合（Ｋ）が前記パターン化されたキー画像（Ｋ１、Ｋ２）およびモノクロ画像（Ｋ３）を包含する、請求項４から７のいずれか一項に記載の方法。

【請求項9】

直接視聴者により、また任意で放送視聴者により視聴される画像データ（Ｍ）を包含する第２の画像データ集合が作成される、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記物理ディスプレイがＬＥＤディスプレイである、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記ＬＥＤディスプレイが看板または掲示板である、請求項１０に記載の方法。

【請求項12】

前記シーンがスポーツイベントまたはエンターテインメントイベントの一部である、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

映像ストリームにおける動的画像コンテンツ置換のためのシステムであって、
少なくとも一つの物理ディスプレイ（１２，１３）と、
少なくとも第１キー画像データ集合（Ｋ）を前記物理ディスプレイ（１２，１３）に表示するための制御インタフェース（１７）と、
前記物理ディスプレイを含むシーンの少なくとも一つの元映像ストリーム（Ｏ１）を作成するための少なくとも一つのカメラユニット（Ｃ）であって、少なくとも一つの前記元映像ストリームが、前記第１キー画像データ集合（Ｋ）の少なくとも二つの異なるキー画像（Ｋ１，Ｋ２）の各々を前記物理ディスプレイ（１２，１３）に表示するのと同時に捕捉されるキー映像フレーム（ＦＫ１，ＦＫ２）を包含する、少なくとも一つのカメラユニット（Ｃ）と、
前記キー映像フレームで視認可能な前記物理ディスプレイ（１２，１３）のアクティブエリアに対応するマスクエリア（ＭＡ）を、連続キー映像フレーム（ＦＫ１，ＦＫ２）から得られた差分画像（ΔＦＫ）から作成するための手段であって、前記差分画像（ΔＦＫ）は、前記連続キー映像フレーム（ＦＫ１，ＦＫ２）の間の強度差を判断することにより得られる手段と、
代替画像コンテンツ（Ｉ）のための記憶手段と、
前記元映像ストリーム（Ｏ１）の前記マスクエリア（ＭＡ）へ前記代替画像コンテンツ（Ｉ）を挿入することにより少なくとも一つの代替映像ストリーム（Ｖ）を作成するための手段と、
前記少なくとも一つの代替映像ストリーム（Ｖ）を放送するための手段と、
を包含するシステム。

【請求項14】

前記第１キー画像データ集合（Ｋ１，Ｋ２，Ｋ３）と少なくとも第２の画像データ（Ｍ）とをタイムスライス多重化方式で前記物理ディスプレイ（１２，１３）に表示するように前記制御インタフェース（１７）が適応化される、請求項１３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像ストリーム、特にＬＥＤディスプレイのようなアクティブディスプレイが録画画像コンテンツの一部である映像ストリームにおける動的画像コンテンツ置換のための方法およびシステムに関する。

【背景技術】

【0002】

発光ダイオード（ＬＥＤ）ディスプレイのようなアクティブディスプレイは、情報または広告を視聴者に伝えるのに掲示板または看板で広く使用されている。一般的に、このようなディスプレイはスポーツまたはエンターテインメントのイベントで使用される。結果的に、このようなディスプレイは、テレビ（ＴＶ）放送（ＴＶ）、またはインターネットストリームを介して配信される映像放送に登場することが多い。これらの放送は多種多様な視聴者に向けられたものであり、一般的な例は、母国語が異なるか文化的背景が異なっている異なる国々の視聴者である。これらのディスプレイに示される情報／広告を、これらの視聴者による特定の部分集合をターゲットとしたものにするため、テレビ放送または映像ストリームを介してディスプレイを見る視聴者の間でディスプレイのコンテンツを変化させる方法がすでに開発されている。

【0003】

これらの方法の一グループでは、ソフトウェアベースの映像処理技術を使用して、録画映像ストリームの各フレームでの掲示板の場所を特定し、この映像ストリームで掲示板に示されているコンテンツを一つ以上の代替コンテンツで電子的に置換して一つ以上の付加的映像ストリームを作成し、これが異なるユーザ部分集合へ送信されうる。したがって、ライブイベントに参加している直接視聴者にとっては任意の時点で一つの特定タイプの広告のみが視認可能であるが、異なる放送視聴者部分集合が同じ所与の時点でイベントの映像ストリームを見ることができ、これらの放送に登場する掲示板はそれぞれの放送視聴者部分集合を特にターゲットとする異なるタイプの広告を示している。

【0004】

映像ストリームについてフォトリアリスティックな印象を得るには、電子的な画像コンテンツ置換が行われたことに視聴者が気付かないように、映像スクリーンに示されるアクティブディスプレイの画像コンテンツが変更されることが重要である。動的コンテンツ置換で最も困難な課題は、複雑な環境においてＬＥＤ掲示板のようなアクティブディスプレイの場所を正確に特定することと、所与の時点で掲示板に影響する歪みを特定することとに存する。これらの歪みは多岐にわたるものでありうる。動的画像コンテンツ置換について最も関心の高いイベントは整備されたＴＶスタジオ環境で行われるものではなく、ライブスポーツイベントのような屋外イベントである。したがって、映像ストリームにおいてアクティブディスプレイの表示に影響する一般的な歪みは、録画されるアクティブディスプレイに関する（おそらくは動的に変化する）録画カメラの距離、角度、またはズーム特性による射影歪みを含む。さらに、アクティブディスプレイと録画カメラとの間の視線上で移動するオブジェクト、例えば高速移動するサッカーボールや人、例えば選手によるアクティブディスプレイの全体または部分的な被覆が予想されなければならない。部分的被覆は、雨や霧のような細かいオブジェクトによる半透明の被覆も含みうる。

【0005】

映像スクリーンでのアクティブディスプレイの確実な検出の達成を目指す一つのコンセプトは、非侵入型方法、つまりライブ放送イベントで従来から存在し使用される広告または録画機器に干渉しない方法を含む。このような方法は例えば特許文献１に記載されている。これらの方法は、例えばディスプレイのコンピュータベース３Ｄモデルを使用して、コンピュータベース３Ｄモデルから得られた参照シルエットの集合に映像ストリームの画像セグメントを一致させるという、検出対象の物理ディスプレイについての広範な付加的知識を含む。今日まで、これらのコンセプトは、フォトリアリスティックな、つまり広告が電子的に挿入されたことに放送視聴者が気付くのが容易でない画像置換を提供していない。

【0006】

他のコンセプトは、広告掲示板または映像録画のための専用機器が必要とされるという点で侵入型である。例えば、ある方法では、短いモノクロ画像の特徴的なシーケンスがアクティブディスプレイに提示され、カメラ自体とカメラと関連する特殊な検出装置とがこれらのモノクロフレームを検出するように構成される。そして、モノクロフレームにより特定されるエリアが、所望の代替画像コンテンツにより置換される。しかしながら、挿入されるモノクロフレームは短いが、アクティブディスプレイ上の画像として意識的に視聴していない時でも、直接視聴者の視聴体験がフラッシュのような作用により妨害されうる。特許文献２は、その波長ゆえに直接視聴者への妨害作用が少なくされるべきアクティブディスプレイを特定するのに赤外線画像が使用される改良型について記載している。しかしながら、市販のディスプレイは赤外線範囲の高い放射強度を提供することが想定されていないが、特許文献２の方法は特殊な掲示板ばかりでなくそれぞれのカメラと関連する特殊な検出装置を必要とする。検出装置は、カメラとともに移動するように、つまりカメラと同じパンおよびチルト動作を行って、焦点距離、口径、動作、そして位置などカメラの関連パラメータを、コンテンツ置換システムが置かれた遠隔トラックまたは中継車（ＯＢバン）の映像処理サーバへ送信する付加的なテレメトリ信号を提供するように配置され、このサーバはこれらのパラメータを使用してアクティブディスプレイを特定し、所望の代替画像コンテンツにより画像コンテンツを置換する。同じ出願人による特許文献３では、アクティブディスプレイを覆う細部の表示を改善するためにシーンの画像を異なる解像度で取得することも示唆されている。いずれにしても、先行技術の動的コンテンツ置換方法では高度で特殊な機器が必要とされる。

【先行技術文献】

【特許文献】

【0007】

【文献】欧州特許出願公開第２３８３６９９号明細書

【文献】国際公開第２０１３／１８６２７８号

【文献】国際公開第２０１６／０２３９５３号

【発明の概要】

【発明が解決しようとする課題】

【0008】

それゆえ、ソフトウェアアルゴリズムを使用する市販の掲示板技術およびカメラ技術による実行が容易で費用効果が高く過度の処理能力を必要としない、映像ストリームにおける動的画像コンテンツ置換のための、特に映像ストリームで視認可能なアクティブディスプレイの画像コンテンツを代替画像コンテンツで置換するための方法およびシステムを提供することが、本発明の目的である。

【課題を解決するための手段】

【0009】

この技術的問題は本願請求項１の方法により解決される。請求される方法の好適な実施形態は従属請求項の主題である。

【0010】

したがって、本発明は、少なくとも二つの異なるキー画像（Ｋ１，Ｋ２）のシーケンスを包含するキー画像データ集合（Ｋ）を作成することと、キー画像データ集合（Ｋ）を物理ディスプレイに周期的に表示することと、物理ディスプレイを含むシーンの少なくとも第１の元映像ストリーム（Ｏ１）を、このシーンをカメラで録画することにより作成することであって、少なくとも一つの映像ストリーム（Ｏ１）が、キー画像データ集合（Ｋ）の少なくとも二つの異なるキー画像（Ｋ１，Ｋ２）の各々を物理ディスプレイに表示するのと同時に捕捉されるキー映像フレーム（ＦＫ１，ＦＫ２）を包含することと、連続するキー映像フレーム（ＦＫ１，ＦＫ２）から得られた差分画像（ΔＦＫ）からのキー映像フレームにおいて視認可能な物理ディスプレイのアクティブエリアに対応するマスクエリア（ＭＡ）を作成することと、元映像ストリームのマスクエリア（ＭＡ）へ代替画像コンテンツ（Ｉ）を挿入することにより少なくとも一つの代替映像ストリーム（Ｖ）を作成することと、少なくとも少なくとも一つの代替映像ストリームを放送することとを包含する、映像ストリームにおける動的画像コンテンツ置換のための方法に関する。

【0011】

録画映像ストリームから得られた差分画像を介して画像置換が行われるべきマスクエリアを判断することにより、広告掲示板の物理ディスプレイに映し出される供給画像にキー画像が挿入されなければならないという程度に、サッカー競技場などのイベント場所での既存の放送および広告技術が修正されるだけでよい。録画カメラは、物理ディスプレイでのキー画像の提示と同期化されなければならない。その他の点では、競技場の機器が本発明の方法に適応化される必要がないので、略侵入型コンセプトの発明であると考えられうる。ある実施形態では、物理ディスプレイに提示されうる付加的画像、例えば競技場にいる直接視聴者に向けられた広告を示すメイン供給画像からキー画像を区別するために、単数／複数の録画カメラが録画用高フレームレートで作動しなければならない。しかしながら、現在入手可能なＬＥＤ掲示板の仕様は毎秒５００から１，０００Ｈｚ／フレーム（ｆｐｓ）のような表示用高フレームレートでの作動を可能にするので、一般的に持続時間が１～５ｍｓのタイムスロットで提示されるキー画像が容易に挿入されうる。

【0012】

挿入される代替画像コンテンツ（Ｉ）は、放送される代替映像ストリーム（Ｖ）のアクティブディスプレイエリアに登場することが想定される所望のコンテンツ、例えば特定の視聴者部分集合をターゲットとする代替的な広告でありうる。このケースでは、様々な代替画像コンテンツが提供されて、異なる視聴者部分集合に各々が放送される複数の代替映像ストリームが作成される。しかしながら、このような解決法は、最終視聴者に向けられた複数の映像ストリームを放送するためイベント場所においてかなりの放送帯域を必要とする。

【0013】

それゆえ、好適な実施形態において、録画映像フレームで視認可能な物理ディスプレイの特定アクティブエリアへ挿入される代替画像コンテンツ（Ｉ）は、予め規定されたモノクロ画像である。この実施形態において、結果的に得られる代替映像ストリームは、直接的に最終視聴者ではなく、中間配給者、例えば異なる国々の放送会社へ送信され、「クロマキーイング」として知られる確立した映像処理技術を介して最終視聴者のための所望のコンテンツが挿入されうる。

【0014】

好適な実施形態では、一般的に画像ピクセルに基づいて連続キー映像フレーム（ＦＫ１，ＦＫ２）の間の強度差を判断することにより差分画像（ΔＦＫ）が得られる。必要とされる解像度に応じて、強度差を計算する前に、ＴＶ映像フレームの近隣ピクセル、例えば２×２ブロックまたは４×４ブロックのピクセルをグループにして色ノイズ低減または強度ノイズ低減を適用することも可能である。

【0015】

差分画像（ΔＦＫ）は好ましくはグレースケール画像に変換され、代替的に、強度差が判断される前にキー映像フレームがグレースケールフレームに変換されてもよい。

【0016】

一実施形態において、キー画像（Ｋ１，Ｋ２）は異なるモノクロ画像である。一実施形態において、一方のキー画像は、物理ディスプレイのアクティブエリアを均質なハイライトにする白色画像であって、他方のキー画像は、物理ディスプレイのアクティブエリアが全く点灯しない黒色画像である。こうして連続キー映像フレームの間に最大強度差が得られて、物理ディスプレイのアクティブエリアを容易に特定できる。しかしながら、キー画像（Ｋ１）および（Ｋ２）の間の強度差が大きいケースではとりわけ、その間の高強度画像の反射が差分画像（ΔＦＫ）でも存在しうる。作成されるマスクエリア（ＭＡ）への反射の影響を回避するには、マスクエリア（ＭＡ）を判断するためにある閾値より上の強度差のみが採用されるように、閾値が強度差に適用されうる。

【0017】

単なるモノクロキー画像からは、録画の物理ディスプレイに影響する射影歪みのような光学歪みを判断することは困難である。物理ディスプレイのある幾何学的特性についての従来の情報を取り入れて、作成されたマスクから射影歪みを抽出することにより、この問題が部分的に軽減されうる。しかしながら、好適な実施形態において、キー画像（Ｋ１）および（Ｋ２）は、物理ディスプレイのアクティブエリアに分散される異なる画像パターンを包含する。好適なパターンは、アクティブエリアに分散されるモノクロの方形または矩形から成るチェッカーボードパターンである。一実施形態において、画像（Ｋ１）は画像（Ｋ２）の逆チェッカーボードパターンである。例えば、画像（Ｋ１）が白色／灰色と黒色の方形または矩形から成る場合、画像（Ｋ２）では白色／灰色および黒色の方形または矩形が単純に置き換えられる。したがって、好適な実施形態では、一つのキーフレーム（Ｋ１）の画像パターンはモノクロのチェッカーボードパターンであって、他方のキーフレーム（Ｋ２）の画像パターンは対応する逆チェッカーボードパターンである。

【0018】

好適な実施形態では、エッジ・ボーダー検出アルゴリズムが差分画像に適用され、結果的に矩形パターンを有するマスクエリア（ＭＡ）が得られる一方で、強度差閾値を適用しなくても反射の発生を回避する。

【0019】

画像（Ｋ１）および（Ｋ２）による元のチェッカーボードパターンが均等に離間した矩形である場合には、カメラに関する物理ディスプレイの歪みは、例えば（断面）スプラインによってマスクの交点を合わせることにより、作成されたマスクエリア（ＭＡ）でのパターン分布から推測されうる。

【0020】

代替画像コンテンツ（Ｉ）が最終視聴者を想定した画像を包含する場合には、代替画像コンテンツをマスクエリアへ挿入する時に既に歪みデータが採用されてもよい。しかしながら、代替画像コンテンツ（Ｉ）が中間配給者による次のクロマキーイングのためのモノクロ画像を包含する好適な実施形態では、歪みデータが代替映像ストリーム（Ｖ）とともに中間配給者へ送信され、それぞれの歪みデータの適用の際に、最終視聴者を想定した実際の画像コンテンツが挿入される。

【0021】

好適な実施形態によれば、キー画像データ集合がパターンキー画像（Ｋ１）および（Ｋ２）を包含する場合には、少なくとも一つのモノクロ画像（Ｋ３）を含めることが好適である。好ましくは、モノクロ画像（Ｋ３）は黒色画像である、つまり物理ディスプレイの黒色アクティブエリアを設けて、雨滴や霧のような物理ディスプレイの前景の小さい半透明のオブジェクトを容易に特定できる。モノクロ画像（Ｋ３）のマスクエリアの重み付けオーバーレイを、挿入される代替画像コンテンツに付加することにより、代替映像ストリームの改良が得られる。歪みデータの処理と同様に、挿入される代替画像コンテンツの性質に応じて、モノクロキー画像（Ｋ３）から得られる修正用の画像データが、録画地点で適用されるか、クロマキーイング処理中の適用のため中間配給者へ送信されうる。

【0022】

一実施形態において、本発明の方法は、直接視聴者、例えばイベントに参加している観客により視聴される画像データ（Ｍ）を包含する少なくとも第２の画像データ集合の作成を行う。一実施形態において、またこれらの画像データ（Ｍ）はカメラにより録画され、異なる視聴者部分集合へ、例えば、電子的に交換された代替広告コンテンツではなく、ライブイベントで表示される広告を見ると想定される放送視聴者へ放送されうる。

【0023】

第２画像データ集合（Ｍ）が放送視聴者にも送信される場合には、対応する第２の元映像ストリーム（Ｏ２）が本発明の方法により作成される。

【0024】

本発明の方法により得られるマスクエリアが、直接視聴者も想定される画像データ集合（Ｍ）の元映像ストリーム（Ｏ１）に適用されるので、一つ以上の代替映像ストリーム（Ｖ）を作成するのに第２元映像ストリーム（Ｏ２）からの画像フレームも使用されうる。これは、例えば、本発明によりスローモーション映像ストリームでの画像コンテンツ置換も容易にするように第２元映像ストリーム（Ｏ２）がスローモーション速度で録画される時に利点となりうる。

【0025】

好ましくは、物理ディスプレイはＬＥＤディスプレイである。

【0026】

一実施形態において、ＬＥＤディスプレイは看板または掲示板である。

【0027】

本発明の方法の好適な実行例によれば、録画されるシーンはスポーツイベントまたはエンターテインメントイベントの一部である。

【0028】

本発明は、少なくとも一つの物理ディスプレイと、少なくとも第１の画像データ集合を物理ディスプレイに表示するための制御インタフェースと、物理ディスプレイを含むシーンの少なくとも一つの元映像ストリームを作成するための少なくとも一つのカメラユニットであって、少なくとも一つの映像ストリームが、第１キー画像データ集合（Ｋ）の少なくとも二つの異なるキー画像（Ｋ１，Ｋ２）の各々を物理ディスプレイに表示するのと同時に捕捉されるキー映像フレーム（ＦＫ１，ＦＫ２）を包含する、少なくとも一つのカメラユニットと、キー映像フレームで視認可能な物理ディスプレイのアクティブエリアに対応するマスクエリア（ＭＡ）を、連続キー映像フレーム（ＦＫ１，ＦＫ２）から得られる差分画像（ΔＦＫ）から作成するための手段と、代替画像コンテンツ（Ｉ）のための記憶手段と、元映像ストリーム（Ｏ１）のマスクエリア（ＭＡ）へ代替画像コンテンツ（Ｉ）を挿入することにより少なくとも一つの代替映像ストリーム（Ｖ）を作成するための手段と、例えば視聴者部分集合または中間配給者へ少なくとも一つの代替映像ストリーム（Ｖ）を放送するための手段とを包含する、映像ストリームにおける動的画像コンテンツ置換のためのシステムにも関する。

【0029】

好適な実施形態では、第１画像データ集合（Ｋ１，Ｋ２，Ｋ３）と少なくとも第２の画像データ（Ｍ）とをタイムスライス多重化方式で物理ディスプレイ（１２，１３）に表示するように制御インタフェース（１７）が適応化される。

【図面の簡単な説明】

【0030】

以下では、本発明の好適な実施形態が、同封の図面を参照してより詳しく説明される。

【図1】本発明の方法で使用されうる映像録画システムの概観図を示す。

【図2】本発明の方法において異なる画像データ集合を物理ディスプレイに提示するための一案を示す。

【図3】本発明の方法の実施形態による二つのキー映像フレームとこれから得られる処理後の画像とを示す。

【図4】本発明の方法による動的画像コンテンツ置換のための映像処理システムの概略図を示す。

【発明を実施するための形態】

【0031】

さて、一般的な例、すなわちスポーツイベントのテレビ放送に関連して本発明がより詳しく説明される。

【0032】

図１は、出願人によるＰＣＴ／ＥＰ２０１８／０５２１７８に記載されている適当な映像録画システムの実施形態を示す。この実施形態では、サッカー競技場１０のサイドライン１１に配置される広告掲示板１２のＬＥＤディスプレイ１３を含むシーンについて、最初の録画用高フレームレート映像ストリームＨＲＦＲを捕捉するのに単一のカメラユニットＣが使用される。広告掲示板１２は、ＬＥＤアレイ１３への静止および／または動画像の送達を制御する制御装置１４を包含する。本実施形態で採用されうる一般的なカメラユニットＣは、ソニー株式会社により商品化された、高フレームレートでのシーンの録画を可能にするＨＤＣ４３００カメラである。録画用高フレームレート映像ストリームＨＲＦＲ（図２参照）は、第１光ケーブル２０を介して中間処理ユニット２２の第１コネクト２１へ送信される。中間処理ユニット２２は、第２光ケーブル２５を介して中間処理ユニット２２をカメラ制御ユニット（ＣＣＵ）２６に接続するのに使用されうる第２コネクト２４へ第１コネクト２１を接続する情報ブリッジ２３を包含する。カメラ制御ユニット２６は、外部カメラ制御、得点、プロンプタ、リターン映像等のような信号のための付加的入力／出力２８を有する。適当な中間処理ユニット２２は、例えば、ソニー株式会社により商品化されたＢＰＵ４０００のような基底帯域プロセスユニット（ＢＰＵ）である。中間処理ユニット２２はさらに、最初の高フレームレート映像ストリームを変換して、映像ストリームＣ１，Ｃ２，Ｃ３，Ｃ４（図２参照）用の複数の物理ＳＤＩ出力へ送るための映像プロセッサ２７を包含する。映像ストリームＣ１，Ｃ２，Ｃ３等は、例えば５０Ｈｚ／ｆｐｓのフレームレートを有する標準放送用フレームレートの映像ストリームＳＢＦＲでありうる。

【0033】

カメラユニットＣは、直接的に（不図示）、あるいはマスタクロック１５をカメラ制御ユニット２６に接続する回線２９と光ケーブル２５，２０とを介して、マスタクロック１７からマスタクロック信号Ｍを受信する。

【0034】

マスタクロック信号Ｍは、回線３０を介してインタフェース１７にも供給される。インタフェース１７は、画像データ入力３１を介して画像データを受信してトリガ信号Ｔを発生させ、これに従って画像データが回線３２を介してＬＥＤディスプレイ１３へ送信され、ここでトリガ信号Ｔに従って画像データが示される。カメラユニットにより録画される後続のフレームが、ＬＥＤディスプレイ１３に示される異なる画像データを含む録画シーンを示すように、トリガ信号Ｔが選択される。当然のことながら、画像データも送信されて、ディスプレイ１３および／またはインタフェース１７の記憶媒体に予め記憶されうる。また、回線３２が掲示板１２の内部回路の一部であるように、インタフェース１７が広告掲示板１２の一部であってもよい。

【0035】

しかしながら、カメラユニットＣが専用の制御ユニットを採用するか、ここに具備される必要な制御部を有してもよいので、カメラ制御ユニット２６は本発明の方法に不可欠ではないことに注意すべきである。中間処理ユニット２２の主な目的は、以下でより詳しく説明するように、高フレームレートのカメラユニットＣからのフレームをＳＤＩ出力Ｏ１，Ｏ２，Ｏ３等での別々の映像ストリームに分割することである。

【0036】

図２は、本発明の方法の実施形態による異なる画像データ集合を物理ディスプレイ１３に提示するための案を説明している。

【0037】

この実施形態について、５０Ｈｚの標準放送用フレームレートＳＢＦＲ、つまり毎秒５０フレーム（ｆｐｓ）でテレビまたはインターネット放送の視聴者へ供給映像が配信されると仮定する。物理的なＬＥＤ広告ディスプレイ１３（図１参照）を含むシーンが、適当なカメラユニットＣにより録画用高フレームレートＨＲＦＲ（この例では２００Ｈｚ／ｆｐｓ）で録画される。この実施形態において、キー画像Ｋ１，Ｋ２，Ｋ３を含む第１キー画像データ集合Ｋが、直接視聴者を想定した第２画像データ集合（メイン画像データ集合またはメイン供給Ｍ）との時間多重化で物理ディスプレイに提示される間にシーンを録画するように、カメラが適応化される。下流の映像処理ユニット４０（図１参照）でのさらなる処理のために第１元映像ストリームＯ１に多重化されうるキー画像が、チャネルＣ１，Ｃ２，Ｃ３に録画される。しかしながら、図１からわかるように、ある市販のＢＰＵでは既に、チャネルＣ１，Ｃ２，Ｃ３が送られるＳＢＦＲ－ＳＤＩ出力が設けられている。これらのチャネルは映像処理ユニット４０へ供給され、元供給映像Ｏ１へのチャネルの多重化が必要である。この例では、チャネルＣ４を介して得られる第２元映像ストリームは別の専用ＳＤＩ出力へ送られ、ここでメイン供給Ｍの画像データを含有する第２元映像ストリームＯ２が配信される。

【0038】

直接視聴者の視聴体験を改善するため、物理ＬＥＤディスプレイは、この例では録画用高フレームレートＨＲＦＲより３倍高い、つまり６００Ｈｚの表示用高フレームレートＨＤＦＲで作動する。

【0039】

図２には、標準的フレームレート５０Ｈｚ／ｆｐｓの単一の周期時間に対応する２０ｍｓの周期が描かれている。２０ｍｓの各周期時間は、２０ｍｓ周期中に６００Ｈｚ／ｆｐｓのＨＤＦＲレートで物理ディスプレイに表示される１２個の画像を表す１／６００秒の持続時間（つまりおよそ１．７ｍｓ）の１２個のスロットに細分される。２０ｍｓ周期中に物理ディスプレイに表示されるメイン供給画像の画像は、通常は同一である。続く２０ｍｓの周期（図２では不図示）では、パターンが反復されるが、供給内の画像コンテンツは通常は変化する。

【0040】

図２から分かるように、描かれている２０ｍｓ周期では、表記された４個の画像を２００Ｈｚで作動するカメラＣが録画し、結果的にそれぞれ異なる映像チャネルＣ１，Ｃ２，Ｃ３，Ｃ４となる。カメラＣのシャッタ時間は画像スロットの時間周期に合わせて調節される、つまりカメラＣにより録画される各映像フレームが物理ディスプレイに映し出される一つの画像のみに対応するように、シャッタ時間は１／６００秒（１．７ｍｓ）以下である。カメラ録画と物理ディスプレイとは、第１スロットの開始時に録画が開始するように同期化される。本実施形態では、二つの画像データ集合が表示される。画像データ集合Ｍの画像は、物理ディスプレイに映し出されるメイン供給画像に対応し、このシーンの直接視聴者により意識的に視聴されることが想定される。キー供給画像Ｋの画像が本発明の画像コンテンツ置換方法に使用される。

【0041】

好適な実施形態において、画像Ｋ１およびＫ２は互いの相補的／逆画像であるので、Ｋ１およびＫ２の各対の直接視聴者により認知される合成画像は、結果的に本質的なニュートラル／グレー画像となり、ゆえに直接視聴者に対する視聴効果への妨害を最小にする。放送視聴者を想定したＭ_ｌ，Ｋ１_ｌ，Ｋ２_ｌ，Ｋ３_ｌの表記の画像を低強度で録画する一方で非録画画像が高強度Ｍ_ｈで提示されることにより、直接視聴者の視聴体験がさらに改善される。

【0042】

図３は、本発明の方法の一般的な実施形態を示す。図３ａ～３ｂは、連続するキー映像フレームＦＫ１，ＦＫ２，ＦＫ３をそれぞれ示し、画像Ｋ１，Ｋ２，Ｋ３をＬＥＤスクリーン１３に表示するのと同時に各々が捕捉される。キー画像Ｋ１は黒色と白色の矩形のチェックボードパターンであり、キー画像Ｋ２は対応する逆チェックボードパターンである。図３ｄは、ＦＫ２とＦＫ１の差分画像から生じるマスクエリアＭＡを示し、さらにボーダー・エッジ検出アルゴリズムが差分画像に適用されている。図３ｃから分かるように、カメラと、カメラと物理ディスプレイとの間のサイドライン上の前景オブジェクトとに関する物理ディスプレイ１３の歪みが容易に特定される。そして歪みと前景オブジェクトとを考慮して、代替画像コンテンツが挿入されうる。この例では、モノクロ（暗色）キーフレームＫ３はまだ使用されていない。

【0043】

図３ａおよび３ｂのキーフレームＦＫ１およびＦＫ２から図３ｄのマスクエリアＭＡを得るための簡単なルーチンは、以下のようにＳｃｉｌａｂ（サイラボ）プログラミング言語で実行された。
ｉｍＷ＝ｉｍｒｅａｄ（“ＦＫ１）
ｉｍＢ＝ｉｍｒｅａｄ（“ＦＫ２）
ｉｍＤ＝ｉｍｓｕｂｔｒａｃｔ（ｉｍＷ，ｉｍＢ）
ｉｍｇｒｅｙ＝ｒｇｂ２ｇｒａｙ（ｉｍＤ．＊３）
ｉｍＺ＝ｉｍｓｕｂｔｒａｃｔ（ｉｍＢ，ｉｍＷ）
ｉｍＺｇｒａｙ＝ｒｇｂ２ｇｒａｙ（ｉｍＺ．＊３）
ｉｍＡＤ＝ｉｍａｂｓｄｉｆｆ（ｉｍＷ，ｉｍＢ）
ｉｍＡＤｇｒａｙ＝ｒｇｂ２ｇｒａｙ（ｉｍＡＤ．＊３）
ｉｍｅｄｇｅ＝ｅｄｇｅ（ｉｍＡＤｇｒａｙ．＊３，‘ｆｆｔｄｅｒｉｖ’，０．３，６．５）
ｉｍｍａｓｋｅ＝ｉｍｆｉｌｌ（ｉｍｅｄｇｅ）
ｉｍＥ＝ｉｍｍｕｌｔｉｐｌｙ（ｉｍｇｒｅｙ，ｉｍｍａｓｋｅ）
ｉｍＦ＝ｉｍｍｕｌｔｉｐｌｙ（ｉｍＺｇｒａｙ，ｉｍｍａｓｋｅ）
ｉｍＥｅｄｇｅ＝ｅｄｇｅ（ｉｍＥ，‘ｆｆｔｄｅｒｉｖ’，０．３，５）
ｉｍＦｅｄｇｅ＝ｅｄｇｅ（ｉｍＦ，‘ｆｆｔｄｅｒｉｖ’，０．３，５）
ｉｍＨ＝ｉｍｍｕｌｔｉｐｌｙ（ｉｍＥｅｄｇｅ，ｉｍＦｅｄｇｅ）
ｉｍｌ＝ｉｍａｄｄ（ｉｍｅｄｇｅ，ｉｍＨ）
ｉｍｓｈｏｗ（ｉｍｌ）

【0044】

これから分かるように、キーフレームＦＫ１およびＦＫ２の間の絶対差のＦＦＴ導関数を介したエッジ検出により、マスクｉｍｍａｓｋｅが求められるように塗りつぶされる所望の輪郭が求められる。

【0045】

マスクを含むＦＫ２およびＦＫ１の通常差分とその逆とを掛け合わせて、ＦＦＴ導関数を介してエッジ検出を行うことにより、マスクエリアＭＡのパターンが得られる。二つの相互的結果が掛け合わされると、マスクＭＡの内面積が求められ、そしてこれが輪郭に付加されると、ｉｍｌつまり図３ｄに示されているマスクエリアＭＡが求められる。

【0046】

図４は、本発明の画像コンテンツ置換方法に使用される図１の映像処理ユニット４０の概略実施形態をより詳しく示す。ここで説明される作動ユニットはハードウェアまたはソフトウェア、あるいはその両方で具現されうることに注意すべきである。

【0047】

したがって、チャネルＣ１，Ｃ２，Ｃ３が映像処理ユニット４０へ供給される。映像処理ユニット４０は、キーフレームＦＫ１を含有するチャネルＣ１とキーフレームＦＫ２を含有するチャネルＣ２からの入力を受信するマスクエリア作成装置４１を包含する。マスクエリア作成装置４１は、差分画像作成装置４２と歪み評価装置４３とを包含して、マスクエリア（ＭＡ）データ記憶装置４４と歪みデータ（ＤＤ）記憶装置４５とが設けられている。歪みデータＤＤは映像処理ユニット４０の出力へ直接送られうる。画像データ記憶装置４６は、画像置換ユニット４７でマスクエリアＭＡデータにより規定されるＦＫ１，ＦＫ２，ＦＫ３フレームのいずれかのエリアへ挿入されて代替映像ストリームＶとなる代替画像データ（Ｉ）を含有する。

【0048】

モノクロのキー画像Ｋ３をディスプレイに示すキーフレームＦＫ３を包含するチャネルＣ３は、マスクエリア記憶装置４５からのマスクエリアデータを使用して構造評価ユニット４８で解析される。結果的に得られる構造データＳＤは、映像処理ユニット４０の出力へ直接送られうる。

【0049】

挿入される画像データＩがクロマキーイング処理のためのモノクロ画像である場合には、最終視聴者への代替映像ストリームの配信の前のさらなる処理のために映像ストリームＶと歪みデータＤＤと構造データＳＤとが外部／遠隔の中間配給者へ送信されうる。

【0050】

挿入される画像データＩが最終視聴者のための画像を包含する場合には、歪みデータＤＤと構造データＳＤとを包含する最終視聴者のための映像ストリームＶ’がオーバーレイユニット４９で得られる。

【図1】

【図2】

【図3(a)】

【図3(b)】

【図3(c)】

【図3(d)】

【図4】