特許 5944904 風景の背景と前景とを区別する方法、及び風景の画像において背景を置き換える方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5944904

(24)【登録日】2016年6月3日

(45)【発行日】2016年7月5日

(54)【発明の名称】風景の背景と前景とを区別する方法、及び風景の画像において背景を置き換える方法

(51)【国際特許分類】

   H04N 5/275 20060101AFI20160621BHJP

   H04N 9/75 20060101ALI20160621BHJP

【ＦＩ】

   H04N5/275

   H04N9/75

【請求項の数】20

【全頁数】20

(21)【出願番号】特願2013-528536(P2013-528536)

(86)(22)【出願日】2011年8月16日

(65)【公表番号】特表2013-537384(P2013-537384A)

(43)【公表日】2013年9月30日

(86)【国際出願番号】EP2011004114

(87)【国際公開番号】WO2012038009

(87)【国際公開日】20120329

【審査請求日】2014年4月11日

(31)【優先権主張番号】102010046025.7

(32)【優先日】2010年9月20日

(33)【優先権主張国】DE

【前置審査】

(73)【特許権者】

【識別番号】597159765

【氏名又は名称】フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー．

(74)【代理人】

【識別番号】100107364

【弁理士】

【氏名又は名称】斉藤 達也

(72)【発明者】

【氏名】フォノルフェン，ヴォルフガング

(72)【発明者】

【氏名】ヴォルシーフェン，ライナー

【審査官】 久保 光宏

(56)【参考文献】

【文献】 特開２０００−６９４９８（ＪＰ，Ａ）

【文献】 特開平１０−５１８０３（ＪＰ，Ａ）

【文献】 特開２０１０−１４６３９（ＪＰ，Ａ）

【文献】 特開平１１−３５３７０３（ＪＰ，Ａ）

【文献】 特開平４−８３４８０（ＪＰ，Ａ）

【文献】 特開昭４９−２２０３５（ＪＰ，Ａ）

【文献】 特表２００５−５０４４５７（ＪＰ，Ａ）

【文献】 特開２０００−１５２２７８（ＪＰ，Ａ）

【文献】 特開２００４−２８２１６７（ＪＰ，Ａ）

【文献】 米国特許第６４９０００６（ＵＳ，Ｂ１）

【文献】 特開２００８−９２１２０（ＪＰ，Ａ）

【文献】 Moshe Ben-Ezra，"Segmentation with Invisible Keying Signal"，Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2000，２０００年 ６月１５日，Vol.1，p.32-37，ISBN:0-7695-0662-3

【文献】 Agata, H., et.al.，"Chroma Key Using a Checker Pattern Background"，[online], IEICE TRANS. INF. & SYST.，２００７年 １月，Vol.E90-D, No.1，[平成27年3月18日検索]，インターネット，ＵＲＬ，http://sensor.eng.shizuoka.ac.jp/~yamasita/paper/A/A020Final.pdf

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ５／２２２−５／２５７，

Ｈ０４Ｎ５／２６２−５／２８，

Ｈ０４Ｎ９／４４−９／７８，

ＣＳＤＢ（日本国特許庁），

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

電子カメラで記録した画像において風景の背景と前景とを区別する方法であって、
前記背景は、前記背景を直接見る人物にとって画像が可視であるようなコーディングによってコード化した任意の画像を示し、
前記背景は、前記カメラの画像を記録する画像センサの生成する信号において、前記コーディングによってコード化されていない前記前景と区別され、
前記コーディングは、前記画像の周期的に入れ替わる異なる成分を前記背景が表示することを含み、
前記カメラが少なくとも１つの周期において、前記成分のうちの１つのみを記録するように、前記成分の表示を前記カメラの露出と同期させ、
前記コーディングは、画像を構成する周期的な一連の成分として前記画像を前記背景が示すことを含み、前記画像の表示に影響を及ぼす少なくとも１つの撮像パラメータを各周期において変更し、前記カメラの前記画像センサの露出を特定の成分の表示と同期して行う、方法。

【請求項2】

前記カメラが各周期毎に前記成分のうちの１つのみを記録するように、前記成分の表示を前記カメラの露出と同期させる、請求項１に記載の方法。

【請求項3】

コード化した画像を少なくとも１つの周期にわたって時間平均したものが前記画像に対応する、請求項１又は２に記載の方法。

【請求項4】

前記画像センサの記録サイクルの周期の長さは、前記成分の周期的な一連の表示の周期の長さ以上である、請求項１から３のいずれか一項に記載の方法。

【請求項5】

各周期の前記成分が完全な画像を構成する、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記カメラの記録する前記成分は、キーイングによって前記前景を前記背景と区別できるように選択され、
キーイングによって前記画像センサの記録する画像において前記背景を前記前景と区別する、請求項５に記載の方法。

【請求項7】

キーイングは、クロマキーである、請求項６に記載の方法。

【請求項8】

前記画像センサの記録する１周期の前記成分は、実質的に前記前景にはない色成分を増大した状態で表示し、これに対応してその他の成分がこの色成分を減少した状態で表示することで、これら成分が合わさって前記画像の色を構成する、請求項６又は７に記載の方法。

【請求項9】

２つの成分が、前記カメラの露出周波数の２倍の周波数で交互に示される、請求項１から８のいずれか一項に記載の方法。

【請求項10】

電子カメラで記録した画像において風景の背景と前景とを区別する方法であって、
前記背景は、前記背景を直接見る人物にとって画像が可視であるようなコーディングによってコード化した任意の画像を示し、
前記背景は、前記カメラの画像を記録する画像センサの生成する信号において、前記コーディングによってコード化されていない前記前景と区別され、
前記コーディングは、前記画像の周期的に入れ替わる異なる成分を前記背景が表示することを含み、
前記カメラが少なくとも１つの周期において、前記成分のうちの１つのみを記録するように、前記成分の表示を前記カメラの露出と同期させ、
前記画像の前記コーディングは、完全な画像を形成するべく１つの周期内で相互補完関係にある周期的に入れ替わるパターンを前記背景が表示することを含み、前記周期的に入れ替わるパターンによって前記画像センサの信号において前記背景が前記前景と区別される、方法。

【請求項11】

前記画像センサの露出周波数と前記パターンの表示とを相互に同期することと、前記画像センサの前記信号においてフーリエ変換を実行することの少なくとも一方を行い、前記パターンを交互に表示する周波数によって前記背景を前記前景と区別する、請求項１０に記載の方法。

【請求項12】

前記パターンは、数学的に識別可能な構造で存在する、請求項１０又は１１に記載の方法。

【請求項13】

前記パターンは、前記画像センサの走査方向において周期性がある、請求項１２に記載の方法。

【請求項14】

前記パターンは、チェス盤パターンである、請求項１２又は１３に記載の方法。

【請求項15】

１つの周期の前記パターンの各々が、所定の領域において完全に光透過性又は自己発光型でかつ、所定の領域において光透過性が低い若しくは１つの光に対する透過性が低い、対応する光に対して不透過性である、又は対応する色においてより弱く照射する若しくは全く照射しない、請求項１０から１４のいずれか一項に記載の方法。

【請求項16】

前記画像の前記コーディングは、前記画像シーケンスにわたる振動を含み、前記前景を前記背景と区別する際に前記振動を考慮する、請求項１から１５のいずれか一項に記載の方法。

【請求項17】

前記背景と前記前景を区別した後に、前記画像信号において前記前景を再構成する、請求項１から１６のいずれか一項に記載の方法。

【請求項18】

カメラのトラッキングを用いて前記画像を前記画像センサの前記画像内に位置づけ、かつ／または、前記カメラのトラッキングが前記背景と前記前景の区別を補助する、請求項１から１７のいずれか一項に記載の方法。

【請求項19】

風景の画像において背景を置き換える方法であって、請求項１から１８のいずれか一項に記載の方法によって、前記背景を前景と区別し、前記背景を異なる背景と置き換える、方法。

【請求項20】

請求項１から１９のいずれか一項に記載の方法を実行することができる、少なくとも１つのディスプレイと少なくとも１つのカメラを備える電子表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は電子カメラによって記録された風景の画像又はフィルムにおける背景と前景とを区別する方法に関する。さらに本発明は、前景を維持しながら、記録された風景の画像又はフィルムにおいて背景を置き換える方法に関する。

【0002】

実景では前後に立っていて互いを隠している物体又は人物をカメラで記録したものにおいて、これらの物体又は人物を分離するには、最新の技術では様々な方法がある。最も広く使用されている方法は長い間使用されてきたクロマキーで、この方法では実景における背景は前景の物体にはない明確な色を有する。記録画像の簡単な色分析によって、この背景を検出し前景から分離することができる。この方法では、実景の背景が明確な色で示されている必要があり、多くの場合では実施することができず不都合である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の目的は、電子カメラで記録した風景の画像又はフィルムにおける背景と前景とを区別して、背景と前景のデザインが自由にできるようにする方法を示すことである。さらに、本発明の目的は風景の画像又はフィルムにおいて背景を置き換え、背景と前景を自由にデザインできる方法を示すことである。

【0004】

この目的は、請求項１に記載する電子カメラによって記録した風景の画像において背景と前景とを区別する方法、請求項２８に記載する風景の画像において背景を置き換える方法、及び請求項２９に記載する電光表示システムによって達成される。従属請求項は、本発明による方法の有利な発展形を示す。

【0005】

本発明によれば、電子カメラによって記録した風景の画像において背景と前景を互いに区別することのできる方法が提供される。カメラから遠い風景の部分は背景とみなし、カメラに近い風景の部分を前景とする。風景は背景と前景の物体全体である。画像についていえば、画像は静止画像、又は好ましくはフィルムのコマとすることができる。背景も前景も画像を完全に埋める必要はなく、画像中に部分的にのみ現れても、全く現れなくてもよい。また、本発明による方法を画像の部分的な領域に使用してもよい。よって、例えばスポーツイベントを記録する際に、ピッチ周囲の広告を、その前に立っているプレーヤから区別することができる。一般に、前景はカメラの視点から所定の領域において背景を覆うものであるとする。

【0006】

本発明による方法は、電子カメラ、すなわち例えばＣＣＤ又はＣＭＯＳ画像センサ付きのカメラで記録した風景の静止画及びフィルムの両方において実施することができる。原則として、本方法は、アナログ電気カメラで記録した画像信号に基づいて実施することもできるが、デジタルカメラによる実施が好ましい。

【0007】

本発明によれば、背景は任意の画像を表示することができる。例えば、背景は複数の色及び／又は複数の輝度段階を有する画像であり得る。特に、モノクロで輝度の均一な面は、本明細書でいう画像と理解しないことが好ましい。

【0008】

風景を直接見る人に対して画像の可視状態を維持する、或いは風景を見る人に対して完全に不可視状態とさえするコーディングを用いて、背景の画像を示す。風景を直接見る人物に対して可視のコーディングされた画像とは、少なくとも人がその位置で風景を直接見ていて、画像の内容を認識できる程度に背景から離れている場合に、可視状態がもたらされることを意味する。従って画像のコーディングは、十分に距離がある状態でも構造化を行わずに見る人が画像を認識する程度に鮮明である場合に画像又は背景を構造化することによって、かく乱効果を生む又は認識可能とすることを含むことができる。

【0009】

背景とコーディングを有すると共に、背景の前に前景が位置する風景の画像又はフィルムを、電子カメラで記録する。風景の画像を記録するカメラの画像センサは、信号を生成する。この信号において、コーディングによって背景を前景と区別する。背景がコーディングを有するのに対し、前景はコーディングを有さないことを利用する。

【0010】

その後の表示又は更なる処理や送信のために風景の画像又はフィルムを記録する画像センサの信号において、前景と背景の区別を行うため、本発明の方法は、画像センサを１つのみ有するカメラ、即ち、複数の画像センサを要することなく画像を記録するカメラで実施可能である。好ましくは、本発明の方法はまさに１つの画像センサで実行される。本発明によれば、必要であるのはこの１つの画像センサのまさに１つの画像信号のみである。

【0011】

一部の実施形態では、コーディングによって背景を認識するために、カメラあるいは画像センサによって記録される画像を適切に修正することが必要となる場合がある。風景の記録画像を修正して記憶、更なる処理、又は送信を行う場合には、最終的に生成された画像中の少なくとも前景については、未修正画像のように処理を施していない状態に見えるよう、画像を記録する直前にその修正を取り消すことが好ましい。

【0012】

本発明の有利な実施形態では、画像又は背景のコーディングは、背景が周期的に入れ替わる画像の異なる成分を表示することを含み、１つの周期における成分それぞれが完全な画像を構成する。周期の持続期間、すなわち画像の成分全てが一度示される時間の長さは、風景を直接見る人が完全な画像を見ることができる程度に短い時間となるよう選択される。好ましくは例えばクロマキー等の色に基づいたキーイングであるキーイング方法によって、前景と背景とを区別できるように選択した画像の成分を１つのみカメラが常に記録するように、成分の表示とカメラの露出時間を同期させる。分割した画像の成分の数をｍとし、カメラが１周期毎に正確に１つの成分を記録した場合、有利には成分が示される際に変更される周波数はカメラの露出周波数のｍ倍となる。

【0013】

このような成分を示す過程において、画像の表示に影響を与える少なくとも１つの撮像パラメータを１周期の間に変更することができる。撮像パラメータによって、例えば個々の画素、画素グループ（パターン）、若しくは完全な画像のカラーチャネル、コントラスト、輝度、及び／又は彩度を調整するのに適した重みづけ係数若しくは倍率の値、又はそれら値のグループが理解できる。

【0014】

キーイングのために、カメラの露出の間に記録された背景の成分は、背景を前景と区別可能にするマスクを提供する。従って、例えば露出された成分は、増幅した背景の画像の特定の色成分を表示することができ、この色成分はもっぱら前景には存在しないか或いは存在してもわずかとなるように選択されることが好ましい。この場合、前景は例えば色に基づくキーイング、特にクロマキーによって、背景と区別することができる。

【0015】

本発明によれば、背景を前景と区別できるマスクの生成を可能とするいかなる方法も、本発明の全ての実施形態におけるキーイング処理と解釈することを意図している。一般に「キーイング」とは、画像又は映像の成分を検出する処理を表わす。これらの成分は認識又はフィルタリングされ（画像分析）、その他の画像ソースで置き換えることができる（画像合成）。画像分析では、画像中の特定の特徴又はコーディングを検出し、そこから画像成分に対応するマスクを生成する。マスクは画像合成においてテンプレートとして作用することができる。特徴又はコーディングに基づいたマスクの計算を必ずしも完全に行う必要はなく、更なる処理によって補完してもよい。更なる処理としては、例えばオプティカルフロー、色、エッジ等による画像分割、又はヒューリスティクス（即ち、シーン中の物体に関する仮定）等の画像分析処理がある。詳細には、カメラのトラッキングから情報を得ることができ、この情報をもとにシーンにおけるカメラの視野角を把握することによって、背景の位置及びサイズ、又は前景の位置及びサイズをも事前に決定することができる。

【0016】

従って一般的には、背景にはない又はわずかしかない特性をコーディングとして背景に追加することにより、この特性に基づいたマスクにおいて背景を前景と区別することができる。

【0017】

上記実施形態では、露出に用いる成分によって、キーイングに用いられるマスクが利用可能となる。１周期のうちのその他の１つ又は複数の成分が画像を完全なものとすることで、風景を直接見る人物に対して完全な画像が形成される。これらその他の成分を示す間は、カメラは好適には記録を行わない。

【0018】

例えば、露出中に示される成分が、増幅又は減少された画像の特定の色成分を表示することで、この色成分によって前景を背景と区別することができる。前景がこの色成分を減少した状態で示す場合には、露出される成分はこの色成分を増大させた状態で示し、前景がこの色成分を増大させた状態で示す場合には、露出される成分はこの色成分を減少した状態で示す。１周期において背景が示す成分またはその他の成分は、対応して減少又は増大した補完関係にある色成分を示すことができるため、風景を直接見る人物は画像の実際の色を把握することができる。

【0019】

本発明の有利な実施形態では、背景の画像をそれぞれちょうど２つの成分に分割して、これらを特定の周波数で交互に示すようにすることができる。カメラはこの入れ替えの周波数の半分に同期して記録を行うことができる。従って、カメラの１つのサイクルの間に常に画像の２つの成分が示される。よって、示される成分を変更する周波数はカメラの露出周波数の２倍である。

【0020】

例えば上記実施形態の別の形態では、色を３つの成分に分けて、露出を３分の１のみで行うようにすることもできる。従ってカメラは３つの成分のうちの１つのみを露出する。この場合には、成分を変更する周波数はカメラの露出周波数の３倍となるよう選択されることになる。

【0021】

本発明による方法の更なる実施形態では、画像又は背景のコーディングは、背景が経時的に入れ替わるパターンを表示することを含み、これらパターンは１周期内で互いに補完し合うことで完全な画像を形成する。この周期的に入れ替わるパターンによって、画像センサの信号において背景を前景と区別することができる。

【0022】

本発明の有利な実施形態では、例えばフーリエ変換及び／又はフーリエフィルタリングに基づくパターン検出を、画像センサの信号において実行することができる。従って、パターンが交互に示される周波数によって背景を前景と区別することができる。フーリエ変換では、背景領域は前景が示さない入れ替わり周波数の成分を示す。

【0023】

有利には、背景が示すパターンは画像センサの走査方向において周期性があり、詳細には例えばチェス盤パターンであり得る。パターンの個々の領域、すなわち例えばチェス盤の個々の正方形は、様々な色成分同士のように明領域と暗領域との間を振動することができる。

【0024】

振動するパターンを生成するために、とりわけ背景を自己発光型のもの、例えばＬＥＤディスプレイとしてもよく、又は、パターンに対応する制御可能なフィルタを背景の画像の前に配置して、このフィルタで周期的に画像の異なる部分を交互にブロックするようにしてもよい。

【0025】

チェス盤パターンの場合には、振動パターンはチェス盤パターンとその逆のチェス盤パターンで交互に示すことができる。

【0026】

好ましくは、パターンはバイナリパターン、すなわち２つの状態を正確に切り替えるものである。一方の状態では、パターンの所与の領域は画像の光を完全に通す、即ち最大輝度で照射し、他方の状態では、画像の光を抑制する、即ち低下した輝度で照射する。抑制は、完全に抑制する、即ち完全に暗くすることとしてもよい。

【0027】

本発明の更なる実施形態では、画像又は背景のコーディングは背景上の色付きドットの形態でグリッド状に表された画像を含み得る。色付きドットはそれらを囲む背景と共に、色付きドットの位置における画像の色を構成する。よって、画像の背景を黒として、色付きドットの色によって画像の色を正確に得るようにすることも可能である。

【0028】

カラーフィルタを画像センサの前又はカメラの前に配置して、このカラーフィルタで色付きドットの色を正確に抑制或いは除去し、背景の色を抑制せずに通過させる。実際には背景は完全には黒でないため、カラーフィルタは、背景が黒であっても、色付きドットの色ではないそれらの色を抑制することなく通過させる。

【0029】

画像センサによって記録された画像において、画像の背景の色はフィルタリングの結果、色付きドットの色に対して増大された状態となる。ここで本発明のすべての色に基づく実施形態のように、前景には存在しない又はわずかしか存在しない色が背景に選択された場合、色に基づくキーイングによって前景と背景を区別することができる。色付きドットの色を除く風景の色全てが、カラーフィルタを通る色で構成されることができるように、カラーフィルタを選択してもよい。

【0030】

最終的に生成された画像において色ずれを起こすことなく前景を表示するために、画像センサの前に置いたカラーフィルタの効果を算出することができる。

【0031】

特に好適な実施形態では、画像センサの前のカラーフィルタを、可視範囲全体に分布した可視スペクトルの特定範囲を除去するスペクトルフィルタ、詳細には干渉フィルタとしてもよい。色付きドットそれぞれの前に、カメラの前に置いたフィルタと補完関係にあるスペクトルフィルタ又は干渉フィルタを配置し、この干渉フィルタが、可視スペクトル上に均一に分布する色を通過させ、その結果、これらから画像の表示に必要な全ての色を表示することができる。色付きドットのカラーフィルタとカメラのカラーフィルタが補完関係にあるということは、それらフィルタが可視範囲内で通過させる可視スペクトルの範囲が、実質的に重複しない異なる範囲であることを意味する。干渉フィルタの代わりに、例えばノッチフィルタを使用してもよい。

【0032】

色付きドットのために、背景はグリッド状の画像を表す。グリッドの解像度は、風景を観る人が特定の距離から画像を認識できるよう選択することが好ましい。

【0033】

背景の色付きドットは、反射型又は自己発光型であるよう構成してもよい。自己発光型の色付きドットは、例えば電球又は発光ダイオード（ＬＥＤ）によって生成することができる。発光ダイオードはまさにモノクロの光で実現することができるため、背景の色付きドットを発光ダイオードで構成し、画像センサ又はカメラ前の例えば干渉フィルタ等のフィルタによって、発光ダイオードの出す周波数を正確に除去する又は抑制させるようにしてもよい。発光ダイオードの出さない周波数を、カメラ前のフィルタが抑制することなく通過させる場合、画像の背景と前景もこれらの色で表示することができる。

【0034】

本発明の更なる実施形態では、画像のコーディングは、少なくとも１つの可視スペクトル範囲、好適にはスペクトルにおいて互いに離間した少なくとも２つの可視スペクトル範囲から選択した色のみを背景が放射又は反射することを含むことができる。ここでは、風景から発する光が画像センサに衝突する前に通るカラーフィルタを、画像センサ又はカメラの前に配置する。前記カラーフィルタは、画像の色を選択した範囲の可視スペクトルについては抑制するが、これらの範囲同士間の範囲の可視スペクトルについては抑制することなく通過させるよう選択する。このようにして、背景は抑制された又は暗い状態で画像センサ上に表わされるのに対し、前景はカラーフィルタを通過した色を含む状態で現れる。除去するスペクトル範囲又はフィルタを通過させるスペクトル範囲を適切に選択すれば、前景の全ての色を表示することができる。詳細には、フィルタを通過する範囲の選択は、前景に生じる色に適応したものとしてよい。

【0035】

画像センサで記録した画像では、抑制した領域へのキーイングによって、前景が背景と区別される。従ってこの場合、抑制によってキーイングマスクが生成される。画像センサ前のフィルタによる抑制が完全ではない場合、必要であれば、抑制された領域、詳細には前景を、最終の画像を表示するために計算によって再構成することができる。

【0036】

有利には、背景のコーディングは、この場合には対応するカラーフィルタ、すなわち例えば干渉フィルタを、背景の前でかつ前景の後方、即ち背景と前景の間に配置することによって達成することができる。このように、背景から発する光がこのカラーフィルタを通過することにより、背景からは、本質的には背景と前景との間に配置したフィルタによって取り出された光のみがカメラの前のカラーフィルタに衝突する。カメラ前のフィルタによって除去又は抑制されない色成分は、前景のみから出たものである。

【0037】

本発明の更に可能な実施形態では、背景のコーディングは、背景の発する少なくとも１つの不可視スペクトル範囲の電磁放射を含み得る。この場合、画像センサ前又はカメラ前に変換装置を配置することができる。該変換装置は、画像センサに実質的に平行、かつ／又はカメラの入光面に平行に配した表面を有する平面形状を有することができる。

【0038】

変換装置は一方で、可視光線が障害なく装置を通過することができる領域を有する。他の領域では、変換装置は不可視放射を可視光に変換し、背景から発する光のビーム路に変換した光を含ませる要素を有する。例えばカメラレンズシステムのビーム路に光変換要素を含む１つ以上の適切なレンズを備えることによって、変換光をビーム路に含ませるようにして、それが背景の一部としてカメラに現れるようにすることができる。有利には、このタイプのレンズを個別に各光変換要素に割り当てる。

【0039】

好ましくは、変換要素は変換装置の表面にグリッド状に配置する。従って、変換要素は変換装置の表面上に等間隔で存在することになる。可視光は変換要素同士の間で変換装置を通過することができる。

【0040】

不可視の電磁放射線はＵＶ放射又は赤外放射であり得る。

【0041】

画像センサによって記録された画像において、変換装置はマスクを生成し、これによって背景はキーイング処理を通して、対応する不可視放射を発しない又は発してもその程度が低い前景と区別される。有利には、変換装置は不可視光を、前景にはない又はあってもわずかである色に変換する。

【0042】

蛍光性又はリン光性材料のドットを光変換要素としてもよい。そして、好ましくはカメラのビーム路において対応するドットを背景に統合する装置を、各ドットに設ける。蛍光性又はリン光性材料による光の変換は、特定の色の無向性可視光を生成する。従って、後に配置してフィルタに一体化されるレンズを使用して、この散光を光路に対応するよう束ねることが好ましい。補助的に、レンズの機能を補完する障壁もフィルタにおいて用いてもよい。例えば散光の一部がビーム路を横断するように延在するために、レンズによる方向付けの結果としてカメラのビーム路において束ねることができない場合、障壁によりこの散光の一部を吸収又は反射させることができる。障壁はビーム路に逆らう散光に対して半反射性としてもよい（即ち、入射する不可視電磁放射は通過させるのに対して、材料によって変換された散光は逆方向に反射して再びビーム路に戻すようにする）。

【0043】

本発明の更に可能な実施形態では、画像のコーディングは、背景又は画像が１つの特定の偏光方向又は回転偏光方向のみに偏向された光を放射及び／又は反射することを含み得る。ここでは直線偏光又は回転偏光を使用できる。カラーフィルタと偏光フィルタをカメラ前又は画像センサ前に配置して、風景から発する光が画像センサにあたる前にこれらフィルタを通過するようにする。好ましくは、風景から発する光がまずカラーフィルタを通り、その後画像センサにあたる前に偏向フィルタを通るように、カラーフィルタを偏光フィルタの前に配置する。カラーフィルタが１つの色成分を抑制、増大、又は増幅することができるのが好ましい。

【0044】

画像センサの前の偏光フィルタは、画像によって放射あるいは反射された偏光を除去するように配向される。その結果、画像センサの生成した画像中の暗画像成分にキーイングを行うことによって、背景を前景と区別することができる。カラーフィルタのカラートーンを有さない暗画像成分は、キーイングのためのマスクとして作用する。

【0045】

カラーフィルタが好ましくは対応する色成分を抑制するのみであって、完全には除去しないことを言及しておく。これによって、偏光フィルタが背景の偏向された光を除去した結果生成される黒色領域は、前景に黒色領域がある場合でも、前景が有する黒色領域はカラーフィルタのカラートーンを有する、より明るめの黒であることから、区別されることができる。自然の風景において記録される黒は、完全に黒ではなく暗いグレーである。また、カラーフィルタにより、物体は、知覚はできないが測定可能なカラートーンを得る。しかし、偏光フィルタによって減少される光は、色とは無関係に最も広範囲に吸収される。

【0046】

本発明の更に可能な実施形態では、画像又は背景のコーディングは、背景の発するＵＶ又は赤外線等の少なくとも１つの不可視スペクトル範囲の電磁放射を含む。この場合、風景から発する光が画像センサにあたる前に通過する変換装置を、画像センサの前に配置する。この変換装置は風景から発する不可視電磁放射を可視光に変換し、この可視光をカメラの視点からの風景に混合する。

【0047】

有利には、変換装置は、光が画像センサに衝突する前に通過するビームスプリッタを備え、このビームスプリッタは不可視放射を少なくとも部分的に変換装置の方へ偏向し、変換装置は不可視放射を検出して、背景に正確に対応する可視光の対応するパターンを生成する。この可視光を、例えば半透過性ミラーによってビーム路に混合して画像センサ方向に送るため、画像センサは半透過性ミラーとビームスプリッタを介した風景を見ることになる。

【0048】

よって本実施形態では、まずビームスプリッタによって不可視放射を少なくとも部分的にビーム路を外れるように偏向し、半透過性ミラーによって背景に対応する画像を混合する。

【0049】

変換装置が画像センサと結像レンズシステムを備え、結像レンズシステムを介して不可視放射から背景の画像が画像センサ上に生成されるようにしてもよい。変換装置は、例えば上述のようにカメラのビーム路に画像を混合させる画像表示によって、対応する可視放射を生成することができる。混合された表示の画像は、カメラの画像センサによって生成される画像の背景領域において追加的なカラートーン又はパターンを形成する。その後のキーイングによってマスクが生成され、これにより背景を前景と区別することができる。

【0050】

すべての実施形態において、カメラ又は画像センサの前に要素を配置するということは、画像センサと風景の前景との間に要素を配置することを意味する。よって、カメラレンズシステムの前、カメラレンズシステム中、又はカメラレンズシステムと画像センサとの間に要素を配置することができる。背景の前にフィルタを配置してもよいとは、画像又は背景と前景との間にフィルタを配置するということである。

【0051】

背景又は背景の画像の成分を周期的に入れ替えて示す本発明の全ての実施形態では、入れ替える周波数は、知覚できる最大の入れ替え周波数である２５ヘルツより高いことが好ましく、これを超える周波数であれば、入れ替わり示される成分は、画像を見る人によって、これら成分から構成される１つの画像として認識される。入れ替えの周波数は、好ましくは５０ヘルツ以上である。

【0052】

以下本発明を、幾つかの図面を参照して例を用いて説明する。同一又は対応する特徴には同一の参考番号を付す。これらの例で示す特徴は、多様な実施例において組み合わせてもよく、また具体例とは関係なく特徴を生み出してもよい。

【図面の簡単な説明】

【0053】

【図1】本発明の第１実施形態の発明による方法を実施するための一構成を示す図である。

【図2】本発明の第２実施形態の発明による方法を実施するための一構成を示す図である。

【図3】本発明の第３実施形態の発明による方法を実施するための一構成を示す図である。

【図4】本発明の第４実施形態の発明による方法を実施するための一構成を示す図である。

【図5】本発明の第５実施形態の発明による方法を実施するための一構成を示す図である。

【図6】本発明の第６実施形態の発明による方法を実施するための一構成を示す図である。

【図7】本発明の第７実施形態の発明による方法を実施するための一構成を示す図である。

【図8】相互補完関係にある２つの干渉フィルタの２つのスペクトルを概略的に示す図である。

【発明を実施するための形態】

【0054】

図１は、本発明の第１実施形態による発明の方法を実施するための装置を示す。前景２と背景３を有する風景をカメラ１で撮影する。カメラ１は画像センサ（図示せず）を有し、画像センサは画像分析及び／又は画像処理装置５に送信される画像信号４を生成する。例えば、カメラ１は結像レンズシステム１ａと、内部に画像センサを配置したカメラハウジング１ｂとを有することができる。

【0055】

前景２は、ここに示す例では単純な立方形である。ただしすべての実施形態において、本発明による方法は、任意の前景２、特に例えばスポーツイベントの競技者に対して実施することができる。同様に、背景３についても、本発明を実施するのに必要なコーディングを行うことができれば、どのような種類のものでもよい。例えば背景は、スタジオの背景やスタジアムにおけるピッチ周りの広告であり得る。

【0056】

図１に示す例では、背景３は画像を示す。各周期において周期的に入れ替わり完全な画像を構成する、画像の異なる成分が表されている。時間ｔ_１、ｔ_２、ｔ_３・・・、ｔ_８、・・・における画像の成分の表示は、カメラの露出と同期されていて、カメラは少なくとも１つの周期において、好ましくは各周期ごとに、キーイングによって画像信号中の前景と背景とを区別できるように選択された成分ｔ_１、ｔ_３、ｔ_５・・・のうちの特定の１つのみを記録する。キーイングは、例えば色に基づくキーイング、好ましくはクロマキーとすることができる。そして、分析装置５がカメラ１の画像センサによって記録された画像４の背景と前景を区別する。

【0057】

ここに示す例では、背景の画像を例えば２つの画像に分割することができ、第１の画像は背景の元の画像から色成分を任意に減少させたものとし、第２の画像はこの補色を有するものとすることで、両方の画像を組み合わせた際に元の画像が生成されるようにする。両画像は、見る人がそれらを個別に認識することができないような高い周波数（例えば１００ヘルツ）で交互に示すことができる。記録するカメラ１は、その半分の周波数（例えば５０ヘルツ）で短い露出時間（例えば１／１００秒）で同期的に動作できるので、２つの画像のうち選択された色成分を有する第１の画像のみが記録される。この方法はまた、反射する背景によって受動的に得ることもできる。このために、作動可能なＬＣＤカラーフィルタを背景の前に配置して、画像の対応する要素それぞれがこのフィルタを通過するようにしてもよい。背景が自己発光型（例えばＬＥＤディスプレイ）である能動的なケースでは、特に画像の成分を相応に示すよう背景を作動させることができる。

【0058】

図２は、本発明による方法を実施するためのさらに有利な構成を示す。コーディングに対する背景は周期的に入れ替わるパターンを示し、これらパターンは１周期内で相互に補完し合って完全な画像を形成する。従って１周期のパターン全てを併せて見れば、完全な画像が生成される。

【0059】

背景３と前景２を含む風景をカメラ１の画像センサで記録し、画像信号４を分析装置５で分析する。画像センサによって記録された画像では、背景３は周期的に入れ替わるパターンによって、前景２と区別することができる。このために、例えば画像センサの信号４においてフーリエ変換を実行し、パターンを交互に表示する周波数によって背景３を前景２と区別することができる。画像センサは例えばラインで走査を行い、走査信号において直接分析を実行することができる。周期的に入れ替わるパターンは、背景がどこで撮像されてもフーリエ変換において入れ替わる周波数の周波数成分を生成する。

【0060】

分析は連続した画像の分析によって経時的に且つ１つの画像内で行うことができる。よって、カメラ１の画像分析における対応するパターンを得ることができる。カメラトラッキングからの情報によって分析を補助することができる。例えばカメラトラッキングからの情報を、パターンサイズの決定に役立てるようにしてもよい。

【0061】

様々なパターンが可能である。ここに示すケースでは、背景３は、黒の正方形と、対応する正方形の位置における画像の切り抜きを示す正方形とが交互するチェス盤パターンを示す。このチェス盤パターンと、黒の正方形と画像を示す正方形が実際のチェス盤パターンに対して入れ替わった、補完関係にあるチェス盤パターンが交互に示される。

【0062】

振動数は、画像を見る人がそれを認識できない程度に高く（例えば５０ヘルツ）なるよう選択する。この周波数をカメラの撮像周波数に合わせてもよい。

【0063】

背景のパターンは、例えばＬＣＤフィルタのような作動可能なフィルタによって受動的に生成してもよい。また、例えばＬＥＤディスプレイのように自己発光型の背景として能動的に構成してもよい。

【0064】

図３は、本発明による方法を実施する更に可能な構成を示す。コーディングのために、ここでは背景７上の色付きドット６によって画像を示している。背景７上の色付きドット６は、グリッド状に配置されるのが好ましい。各色付きドット６はそれを囲む背景と共に、対応する位置における画像の色を表わす。背景を黒として、完全に色付きドットが画像の色に寄与するようにしてもよい。カメラ１の画像センサの前、好適にはカメラ１のレンズ１ａの前にカラーフィルタ８を配置し、このカラーフィルタによって、色付きドットから放射される色を正確に抑制又は除去する。好適には、背景３の背景７の色は、前景２にはない又はあってもわずかである色とするよう選択する。カメラ１の画像センサの生成する画像信号４において、背景７のカラートーンへのキーイングを行うことによって、分析装置５において前景２を背景３と区別することができる。従って、背景７は、キーイングを行うためのマスクを生成するために分析される色（又はパターン）を形成する。

【0065】

特定の最小距離で画像を直接見る人にとってグリッドがグリッド状に見えないように、ドットを配置することが好ましい。この最小距離は、風景自体を見る人の通常の位置、スタジアムのピッチ周囲の広告の場合には、例えばピッチ周囲の広告から最も近い座席の距離とすることができる。色付きドット６を相互にわずかに離間した状態で特定色又は黒の背景７上にグリッド状に配置すれば、これを見る人からは実際の画像が見えることになる。さらに、特定の最小距離だけ離れた位置に置いたカメラがグリッドを検知できない程度に細かいものとなるよう、グリッドを選択すべきである。カメラと見る人の両方にとって、背景に対する対応する距離から受ける印象が所望の色となる。

【0066】

色付きドットは、光の可視範囲から特定の波長のみを放射し、これを画像センサの前に配置したカラーフィルタ８が正確に除去することで、画像センサ上には本質的に背景の色のみが残ることになる。

【0067】

干渉フィルタを用いた方法を実行することは特に好適であり、これについては図３に示すと共に図８を参照して後にさらに詳細に説明する。可視スペクトルの周波数の一部のみを通過させる干渉フィルタを、各色付きドット６の前に配置する。通過する部分は、画像の色を構成することができるように可視スペクトルにわたって分布し相互に離間した複数の領域を有することが好ましい。カラーフィルタ８は、色付きドット６の前のカラーフィルタと補完関係にある干渉フィルタであり、この干渉フィルタは、抑制されることなく色付きドット６の前のカラーフィルタを通り抜けた色を正確に除去又は抑制するものである。色付きドット６は、例えば電球又はＬＥＤ等の自己発光型であることが好ましい。

【0068】

図４は、本発明による方法を実施する更に可能な実施形態を示す。背景３と前景２の間に、少なくとも１つの可視光範囲、好適にはスペクトル中で互いに離間した２つの可視光範囲から選択された色のみを放射するカラーフィルタ９を配置する。カメラ１の画像センサ又はレンズシステム１ａの前には、風景から発する光が画像センサに至る途中で通過する更なるカラーフィルタ８を配置する。このカラーフィルタ８は、カラーフィルタ９を通過したスペクトルの範囲を正確に除去又は抑制する。その結果、画像センサにおいて、詳細にはカラーフィルタ８を通過した周波数範囲の光を放射する前景２に対して、背景は色を抑えた状態又は黒となって現れる。従って、この暗領域は画像センサの画像信号４においてマスクを形成し、このマスクを用いて暗領域及び背景へのキーイングを実行することができる。このようにして、画像分析装置５は背景３を前景２と区別することができる。

【0069】

本実施形態では、フィルタ８及び９は互いに補完関係にある、即ち可視スペクトルの異なる範囲、好適には重複しない範囲を透過する干渉フィルタであることが好ましい。

【0070】

背景３それ自体がフィルタ８によって除去される特定の周波数範囲の光のみを放射する場合には、カラーフィルタ９を省いてもよい。かかる自己発光型の背景は、例えば所定のスペクトルを放射するＬＥＤを用いて生成することができる。この場合、カラーフィルタ８は、ＬＥＤの放射する周波数を正確に抑制又は除去するよう構成する。

【0071】

フィルタ９は、それを通る可視スペクトルの色領域が、背景に生じる色を表示するのに十分なものであるよう選択することができる。これに対応して、カラーフィルタ８は、これを通る周波数が前景２に生じる色を表示するのに十分なものであるよう選択することができる。このようにして、画像センサの生成する画像を修正することなくさらに使用することができる。しかし、画像センサの記録する画像においては、フィルタ８があるために、色ずれが生じた場合にはこれを修正する前景の色の修正も常に行うことができる。

【0072】

図５は、本発明による方法を実施する更なる構成を示す。コーディングのために、背景は例えば紫外線放射又は赤外線放射であり得る不可視放射１０を放射する。ここでは、カメラ１の画像センサの前あるいはレンズ１ａの前に平面変換装置１１を配置する。この変換装置１１は、例えば蛍光性又はリン光性の領域において、変換装置に衝突する放射を通過させ、前記領域に備わった要素１５によって、不可視放射１０を可視光１３に変換する。変換装置１１の表面に均一に、そして詳細にはグリッド状に要素１５を配置して、可視光１２については全ての領域において通過させ、不可視放射１０は可視光に変換することができる。画像センサに衝突する放射は全て、変換装置１１を通過する。画像センサでは、変化せずに装置を通過した光と、不可視放射１０が変換されることで生じた光１３が表わされる。不可視放射１０は背景３から発するものであるため、カメラ１の画像センサは背景３が撮像される場所に正確に光１３を記録する。装置１１によって生成された光１３の色は、前景２に生じる色と区別できるように選択することが好ましい。生成された光１３はマスクを形成し、このマスクを用いてキーイング処理で背景３を前景２と区別することができる。

【0073】

不可視放射を可視光１３に変換する要素１５が無向性の光１３を放射する場合には、レンズ１４を各要素１５に割り当ててもよく、その際このレンズ１４は、背景３における画像センサの視点からの無変換の光１３を表すように配置する。好ましくは、光ビーム路の方向にのみ光を通過させるスクリーンを各要素に備えてもよい。

【0074】

図６は、本発明による方法を実行する更に可能な構成を示す。背景３は特定の偏光方向に偏向された光１６を放射する。カラーフィルタ１７と偏光フィルタ１８をカメラ１の画像センサ前に配置するが、その通過方向は、背景が放射する光１６の偏向方向に対して垂直となるようにする。回転偏光を用いる場合、回転の通過方向は偏光回転を補完するものとなる。好ましくは、風景から発する光は、画像センサに衝突する前にまずカラーフィルタ１７を、次に偏光フィルタ１８を通過する。この構成では、画像センサが記録する画像において、背景はカラートーンを有さず暗く見える。これに対して、風景を直接見る人は偏向された光１６を認識できるため、背景３は通常の色に見える。カラーフィルタ１７があるためにカメラ１の画像センサの生成する画像において前景２が有するカラートーンは、画像信号４においてコンピュータでその後補正することができる。

【0075】

本実施形態の方法では、カラートーンを有さない暗画像成分、即ち背景３に由来する画像成分がマスクを形成し、これによってキーイングを実行し、背景３を前景２と区別することができる。

【0076】

図７は、本発明による方法を実施する更なる構成を示す。背景３は、実際の画像に加えて、例えば紫外線放射又は赤外線放射等の不可視放射１０を放射する。本実施形態では画像センサの前、好ましくはカメラ１の結像レンズシステム１ａの後方のビーム路の方向に変換装置１９を配置することにより、背景３の可視画像を不可視光から生成することができる。変換装置１９は、風景から光が画像センサに衝突するまでのビーム路に連続して配置したビームスプリッタ２０と半透過性ミラー２１を備える。ビームスプリッタ２０は、変換装置１９の画像センサ２２の方へ不可視光を少なくとも部分的に偏向させる。変換手段２４は不可視放射１０から画像センサ２２によって生成された画像を記録し、画像ディスプレイ２３上に画像センサによって記録された画像に対応する可視光の画像を生成し、従って不可視放射１０によって予め設定されていたパターンを正確に示す。画像ディスプレイの生成した画像は半透過性ミラー２１によって、風景から光がカメラ１の画像センサに衝突するまでのビーム路に混合され、カメラ１の画像センサによって生成される画像信号において、キーイングマスクを生成するためのパターンとして作用し、これにより、前景２をキーイングによって背景３と区別することができる。

【0077】

図８は、２つの相互補完関係にある干渉フィルタのスペクトルを上下に概略的に示している。横軸に示す光の周波数は、図示した例における可視範囲を実質的にカバーするよう意図している。同一の強度の図示した範囲の全ての周波数を含む白色光を干渉フィルタに放射した場合の、対応する干渉フィルタを通過した光の強度を縦軸に示している。一定のスペクトルの間隔で複数の範囲の可視光が干渉フィルタを通過することがわかる。両干渉フィルタを通過する光の領域は、背景３又は前景２の全ての必要な色をそれらで構成できるよう選択することができる。図示した両干渉フィルタは相互補完関係にあるが、これは、上の図面に示す干渉フィルタを通過するスペクトルの領域を、下の図面に示す干渉フィルタが正確に除去し、上の干渉フィルタが除去する周波数は、下の干渉フィルタを正確に通過するということを意味している。本発明による方法を可能にするためには、対応する色成分をフィルタが完全に除去する必要はないと言うことができる。抑制でも十分である。さらに、周波数範囲を図８に概略的に示すように相互に明確に分ける必要もない。異なるフィルタを通過する範囲がある程度重複してもよい。
〔付記１〕
電子カメラで記録した画像において風景の背景と前景とを区別する方法であって、
前記背景は、前記背景を直接見る人物にとって画像が可視であるようなコーディングによってコード化した任意の画像を示し、
前記背景は、前記カメラの画像を記録する画像センサの生成する信号において、前記コーディングによってコード化されていない前記前景と区別される、方法。
〔付記２〕
前記コーディングは、画像を構成する周期的な一連の成分として前記画像を前記背景が示すことを含み、前記画像の表示に影響を及ぼす少なくとも１つの撮像パラメータを各周期において変更し、前記カメラの前記画像センサの露出を特定の成分の表示と同期して行う、前付記に記載の方法。
〔付記３〕
コード化した画像を少なくとも１つの周期にわたって時間平均したものが前記画像に対応する、前付記に記載の方法。
〔付記４〕
前記画像センサの記録サイクルの周期の長さは、前記成分の周期的な一連の表示の周期の長さ以下である、前２つの付記のうちの一項に記載の方法。
〔付記５〕
前記コーディングは、前記画像の周期的に入れ替わる異なる成分を前記背景が表示することを含み、各周期の前記成分が完全な画像を構成し、
前記カメラが少なくとも１つの周期において、好適には各周期毎に前記成分のうちの１つのみを記録するように、前記成分の表示を前記カメラの露出と同期させる、先行する付記のうちの一項に記載の方法。
〔付記６〕
前記カメラの記録する前記成分は、キーイング、好適にはクロマキーによって前記前景を前記背景と区別できるように選択され、
キーイング、好適にはクロマキーによって前記画像センサの記録する画像において前記背景を前記前景と区別する、前付記に記載の方法。
〔付記７〕
前記画像センサの記録する１周期の前記成分は、実質的に前記前景にはない色成分を増大した状態で表示し、これに対応してその他の成分がこの色成分を減少した状態で表示することで、これら成分が合わさって前記画像の色を構成する、前付記に記載の方法。
〔付記８〕
２つの成分が、前記カメラの露出周波数の２倍の周波数で交互に示される、付記２から７のうちの一項に記載の方法。
〔付記９〕
前記画像の前記コーディングは、完全な画像を形成するべく１つの周期内で相互補完関係にある周期的に入れ替わるパターンを前記背景が表示することを含み、前記周期的に入れ替わるパターンによって前記画像センサの信号において前記背景が前記前景と区別される、
ことを特徴とする先行する付記のうちの一項に記載の方法。
〔付記１０〕
前記画像センサの露出周波数と前記パターンの表示とを相互に同期することと、前記画像センサの前記信号においてフーリエ変換を実行することの少なくとも一方を行い、前記パターンを交互に表示する周波数によって前記背景を前記前景と区別する、前付記に記載の方法。
〔付記１１〕
前記パターンは、好適には前記画像センサの走査方向において周期的な、数学的に識別可能な構造で存在し、前記パターンは好適にはチェス盤パターンである、前２つの付記のうちの一項に記載の方法。
〔付記１２〕
１つの周期の前記パターンの各々が、所定の領域において完全に光透過性又は自己発光型でかつ、所定の領域において光透過性が低い若しくは１つの光に対する透過性が低い、対応する光に対して不透過性である、又は対応する色においてより弱く照射する若しくは全く照射しない、付記９から１１のうちの一項に記載の方法。
〔付記１３〕
前記コーディングは、少なくとも１つの可視スペクトル範囲、好適には相互に離間した少なくとも２つの可視スペクトル範囲から選択された色でのみ、前記背景が前記画像を表示することを含み、前記背景から発する光が、前記画像センサに衝突する前に、カラーフィルタ、好適には干渉フィルタを通過し、前記カラーフィルタがこれらの範囲の可視スペクトルを除去又は抑制し、その他の範囲の可視スペクトルは抑制せずに通過させる、付記１に記載の方法。
〔付記１４〕
前記コーディングは、前記画像が背景上の色付きドットのグリッドで示されることを含み、前記色付きドットはそれぞれ、それらを囲む前記背景と共に前記画像の色を構成し、
前記画像センサの前にカラーフィルタが配置され、このカラーフィルタが前記色付きドットの色を抑制し、好適には前記背景の色は抑制せずに通過させ、前記背景の色におけるキーイング、好適にはクロマキーを行うことによって、前記背景を前記前景と区別する、付記１又は１３に記載の方法。
〔付記１５〕
前記色付きドットの色と前記背景の色が前記可視スペクトルの互いに重ならない部分を形成し、好適には前記色付きドットの光が、前記背景から発する光を通過させない少なくとも１つのスペクトルフィルタ、好適には干渉フィルタを通過し、前記画像センサの前に配置された前記フィルタは、スペクトルフィルタ、好適には干渉フィルタであり、前記色付きドットの前に配置された１つ又は複数の前記干渉フィルタと補完関係にある、前付記に記載の方法。
〔付記１６〕
前記色付きドットが自己発光型であり、好適には発光ダイオードである、前２つの付記のうちの一項に記載の方法。
〔付記１７〕
前記コーディングは、少なくとも１つの前記可視スペクトル範囲、好適には相互に離間した少なくとも２つの前記可視スペクトル範囲から選択した色のみを前記背景が放射することを含み、前記風景から発する光が前記画像センサに衝突する前にカラーフィルタを通過し、前記カラーフィルタが、前記画像の前記色を選択した範囲の前記可視スペクトルを抑制し、これらの範囲の間にある範囲の前記可視スペクトルは抑制せずに通過させ、前記画像センサの前に配置した前記カラーフィルタによって抑制された範囲の前記スペクトルに対するキーイングを行うことによって、前記背景を前記前景と区別する、付記１又は１３に記載の方法。
〔付記１８〕
前記風景において前記前景の後ろでかつ前記画像の前に干渉フィルタが配置され、この干渉フィルタが前記背景の色が選択された範囲ではない範囲の前記可視スペクトルを抑制し、前記光が前記画像センサに衝突する前に通過する前記カラーフィルタは、前記干渉フィルタと補完関係にある干渉フィルタである、前付記に記載の方法。
〔付記１９〕
前記コーディングは、前記背景が少なくとも１つの不可視スペクトル範囲の電磁放射を放射する、通過させる、又は反射することを含み、前記画像センサの前に変換装置を配置し、前記変換装置が前記不可視の電磁放射を可視光に変換し、これを前記画像センサが検出する、付記１に記載の方法。
〔付記２０〕
前記変換措置が平面型であって、少なくともその表面の一部において、前記背景の放射した、前記背景を通過した、又は前記背景の反射した前記不可視放射を可視光に変換し、これを前記画像センサが検出し、
前記変換された光に対するキーイングによって、前記背景を前記前景と区別する、付記１９に記載の方法。
〔付記２１〕
前記フィルタは、その表面上に好適にはグリッド状に分布した蛍光性又はリン光性材料のドットを有し、前記ドットが前記不可視放射によって励起されることで特定の波長において発光し、さらに、好適にはレンズである装置を有し、これを前記ドットのそれぞれに割り当てて、対応する前記蛍光性又はリン光性のドットを前記画像センサ上に結像する、前付記に記載の方法。
〔付記２２〕
前記コーディングは、前記背景が１つの特定の偏光方向又は偏光回転のみに偏向された光を放射又は反射することを含み、
前記風景から発する光が、前記画像センサに衝突する前にカラーフィルタ及び偏光フィルタを通過し、前記フィルタは前記背景から放射及び反射された偏光を除去するように配向され、
前記カラーフィルタのカラートーンを有さない、前記画像センサによって記録される前記画像の暗領域にキーイングを行うことによって前記背景を前記前景と区別し、前記風景から発する光が好適にはまず前記カラーフィルタを通過し、その後前記偏光フィルタを通過する、付記１に記載の方法。
〔付記２３〕
前記風景から発する前記電磁放射が、前記画像センサに衝突する前、好適には前記カメラの結像レンズシステムを通過した後に前記変換装置を通過し、変換装置は、前記不可視の電磁放射を可視光に変換し、前記背景の位置において前記カメラの視点からの前記風景へ前記可視光を混合する、付記１９に記載の方法。
〔付記２４〕
前記変換装置は、前記放射及び／又は前記不可視電磁放射の一部を変換器の方へ偏向するビームスプリッタを有し、前記変換器が、放射された前記電磁放射によって、前記背景に対応する画像を、好適には部分的に透過性のあるミラーを介して前記画像センサ前の前記ビーム路に混合する、前付記に記載の方法。
〔付記２５〕
前記画像の前記コーディングは、前記画像シーケンスにわたる振動を含み、前記前景を前記背景と区別する際に前記振動を考慮する、先行する付記のうちの一項に記載の方法。
〔付記２６〕
前記背景と前記前景を区別した後に、前記画像信号において前記前景を再構成する、先行する付記のうちの一項に記載の方法。
〔付記２７〕
カメラのトラッキングを用いて前記画像を前記画像センサの前記画像内に位置づけ、かつ／または、前記カメラのトラッキングが前記背景と前記前景の区別を補助する、先行する付記のうちの一項に記載の方法。
〔付記２８〕
風景の画像において背景を置き換える方法であって、先行する付記のうちの一項に記載の方法によって、前記背景を前景と区別し、前記背景を異なる背景と置き換える、方法。
〔付記２９〕
先行する付記のうちの一項に記載の方法を実行することができる、少なくとも１つのディスプレイと少なくとも１つのカメラを備える電子表示システム。

【符号の説明】

【0078】

１ カメラ
１ａ 結像レンズ
２ 前景
３ 背景
４ 画像信号
５ 画像分析／画像処理装置
８、１７ カラーフィルタ
１８ 偏光フィルタ
２０ ビームスプリッタ
１９ 変換装置
２４ 変換手段
２２ 画像センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】