(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
【0014】
なお、実施例1は、主に請求項1から5,10について説明する。また、実施例2は、主に請求項8,9について説明する。また、実施例3は、主に請求項6,7について説明する。
【0015】
≪実施例1≫
<概要>
図1は、本実施例の映像システムにおける撮影の一例を説明するための概念図である。この図にあるように、映像を投射するスクリーン0120がステージ上に配置され、投射装置0110からの映像αが投射される。したがって、この場にいる者は、その投射映像によるパフォーマンスを含めステージ上の演出などを楽しむことができる。
【0016】
そして、このステージの領域は撮影装置0130で撮影されており、その撮影映像がネットワークを介してユーザ端末にストリーミング配信されている。ここで、投射装置0110は所定周期で間欠的に映像を投射し、かつ撮影装置0130の例えばレンズ前面には、投射装置の間欠的映像投射タイミングと同期して開閉するアクティブシャッターAが配置されている。そして投射装置による映像投射タイミングでは撮影装置前のシャッターが閉じ撮影がなされず、撮影装置による撮影タイミングでは投射装置から投射がなされないように映像投射とシャッター開閉のタイミングを制御することで、
図2に示すような投射映像の無い映像が撮影される、という具合である。
【0017】
そしてこのような撮影映像に対して、例えば投射映像と同内容の映像データを合成することで、投射及び反射特性などによる画質の劣化のないきれいな投射映像を含む映像をユーザ端末に配信することなどができる。あるいは投射映像とはまったく別の映像を合成することで、その場にいる者と、ネットワークを介してユーザ端末で閲覧している者とで、別種類の映像体験を提供することもできる。
【0018】
<機能的構成>
図3は、本実施例の映像システムにおける機能ブロックの一例を表す図である。なお、以下に記載する本システムや本システムを構成する各装置の機能ブロックはハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本システムや装置の機能ブロックは専用ハードウェアによって実現されてもよい。また本システムを構成する各装置は、物理的に別個の装置から構成されても良いし、物理的に一つの装置に複数の装置を実現するための機能などが組み込まれていても良い。
【0019】
また、この発明はシステムや装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
【0020】
そしてこの
図3にあるように、本実施例の「映像システム」0300は、「投射装置」0310と、「スクリーン」0320と、「撮影装置」0330と、を有する。
【0021】
「投射装置」0310は、映像を投射する機能を有し、映像をスクリーンなどに投射することで表示する装置をいう。具体的には、各種のプロジェクター装置や映写機などで実現することができる。
【0022】
「スクリーン」0320は、投射装置からの映像を映す機能を有し、その材質、形状は問わない。なお材質としては、紙や布のほか、金属板、金属繊維で編みこまれた金属布、あるいは、金属粉末系塗料が塗布された布製や紙製などのスクリーンが挙げられる。そしてスクリーンの少なくとも一部をこのような金属製のもの、あるいは金属粉末系塗料が塗布されたものとすることで、投射映像光線が偏光されている場合にその偏光面を変わらないように反射させることができる。なお上記反射時の偏光面維持性能の観点から、金属板や金属繊維、金属粉末系塗料の好適な材料として例えばアルミニウム、銀などの高い正反射率を有するものが挙げられるが、もちろんその材質には限定されない。そして、後述する投射映像を透過させないフィルタを直交する2種類の偏光フィルタで構成する場合に、スクリーンとしてこのような金属材料を利用することで、その偏光フィルタの透過カット率を向上させることができる。
【0023】
また、このスクリーンは半透過型スクリーンであっても良い。半透過型スクリーンであれば、そのスクリーンの背後のオブジェクトを、その場にいる者であれば閲覧、撮影装置においては撮影することができ、投射映像を含めた風景をよりリアリティのあるものとすることができる。
【0024】
また、本発明において、投射装置がスクリーンを利用せずに空間上に直接映像を投射するものであれば、このスクリーンは省略されても良い。
【0025】
「撮影装置」0330は、フィルタを介してスクリーンを含む領域を撮影可能な機能を有し、例えば静止画や動画を撮影可能なカメラなどのレンズやレンズ筒内にフィルタを装着、あるいはレンズ前にフィルタを配置することで実現することができる。そして、この「フィルタ」は、スクリーンに映される映像を透過させないことを特徴とする。
【0026】
具体的には、例えば投射装置から投射される映像を、単色あるいは少数の色で表現されたものとする。そして「フィルタ」として当該色を通過させない物性を有するカラーフィルタや、該当色のみを撮影信号や撮影映像から除去するソフトウェアなどで実現する方法が挙げられる。このように構成すれば、その場では単色や少数の色の投射映像を視認することができる一方、撮影映像内にはその投射映像が含まれないようにすることができる。
【0027】
あるいは概要で例示したように、投射装置が、前記スクリーンに映像を間欠的に投射する間欠投射部を有し、そしてこの「フィルタ」が、前記間欠的に投射される映像の非投射タイミングでのみスクリーンを含む領域を撮影するためのシャッター機能を有する第一フィルタ部とすることで実現できる。このように構成することで、
図4(a)に示すように、投射装置から映像が投射されるタイミングでは、撮影装置のフィルタのシャッターが閉じ撮影がなされない。一方
図4(b)に示すように、投射装置から映像が投射されないタイミングでは、撮影装置のフィルタのシャッターが開いて撮影がなされる、という具合である。なお、この間欠周期は、映像クオリティを維持するために短い周期であることが望ましい。
【0028】
またこのように構成する場合、撮影映像のフレーム数は通常撮影時と比較して半分になる。そこで、予め通常の倍のフレーム数(30fpsを60fpsなど)で撮影し、何も撮影されていないフレームを削除して30fpsなどの撮影映像データを生成するよう構成しても良い。あるいは何も撮影されていないフレームについては、演算装置の演算処理によって前後のフレームの画像データからその画像内容を推定し、補間フレーム画像を生成し挿入するよう構成しても良い。
【0029】
またシャッター機能のほか、偏光フィルタによってスクリーンに映される映像を透過させないよう構成しても良い。具体的には、前記スクリーンに映される映像は第一条件にて偏光されており、前記撮影装置のフィルタは、前記第一条件での偏光を透過させない第二条件の偏光のみを透過させる第二フィルタ部として構成することで実現できる。この場合、例えば投射装置の投射レンズの前に90度の偏光フィルタを配置し、投射映像を90度の偏光面の光線で投射されるようにする。そして、前述のようにスクリーンが金属製であり反射の際の偏光面がほとんど変化しない場合、
図5(a)に示すように撮影装置の前のフィルタを180度の偏光フィルタとすることで、90度偏光の投射映像は透過することができない。一方
図5(b)に示すように、スクリーンを含む領域内にあるその他のオブジェクトは様々な偏光面を持つ自然光や照明光を反射するものであるので180度の偏光フィルタを通過し、撮影装置で撮影することができる、という具合である。
【0030】
以上のように、本実施例の映像システムでは、映像をステージ上などのスクリーンに投射しながら、画質の低い投射映像そのものが写らないようにステージ上などを撮影することができる。
【0031】
<処理の流れ>
図6は、本実施例の映像システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。
【0032】
この図にあるように、まず、ステージ上などに設置されたスクリーンに映像を間欠的に投射するよう投射装置を制御する(ステップS0601)。そしてスクリーンを含む領域を、前記間欠的に投射される映像の非投射タイミングでのみ撮影するよう撮影装置を制御する(ステップS0602)。
【0033】
<効果の簡単な説明>
以上のように、本実施例の映像システムによって、映像をステージ上などのスクリーンに投射しながら、画質の低い投射映像そのものが写らないようにステージ上などを撮影することができる。したがって、投射映像によるその場でのライブ感を保持しつつ、撮影映像には別の映像を合成しきれいな映像としたり、あるいはその場とは異なる風景としたりすることなどができる。
【0034】
≪実施例2≫
<概要>
本実施例は、上記実施例を基本として、スクリーンへの投射映像を除いて撮影された映像に対して、投射映像と異なる、あるいは同内容の映像を合成する機能を有することを特徴とする映像システムである。
【0035】
<機能的構成>
図7は、本実施例の映像システムにおける機能ブロックの一例を表す図である。この図にあるように、本実施例の「映像システム」0700は、実施例1を基本として「投射装置」0710と、「スクリーン」0720と、「撮影装置」0730と、を有する。そして本実施例の映像システムは、さらに「合成装置」0740を有することを特徴とする。
【0036】
「合成装置」0740は、撮影装置で撮影されたスクリーンの領域に映像を合成する機能を有し、例えば当該機能を有する専用のコンピュータ装置で実現することができる。あるいは撮影装置であるカメラにソフトウェア又は専用ハードウェアなどとして組み込まれたり、あるいは撮影映像をネットワークを介してユーザ端末に配信するものであれば、配信先のユーザ端末にソフトウェアや専用ハードウェアなどとして組み込まれたりすることで実現されても良い。
【0037】
また、ここで撮影映像内のスクリーン領域に合成される映像は、投射映像とは異なる映像としても良い。例えば合成装置がユーザ端末に組み込まれたものであれば、当該ユーザ端末にて立体映像キャラクターAの識別情報が入力される。すると、本来その場のスクリーンには別のキャラクターBの映像が投射され観客に視認されるのに対し、当該ユーザ端末では別のキャラクターAの映像が合成された風景を視聴することができる、という具合である。
【0038】
あるいは、投射映像が立体映像オブジェクトであれば、例えばユーザ操作によって入力されたオブジェクトの方向指定情報に基づいて、実際にステージ上スクリーンなどに投射されているオブジェクトと同一のものでありながら、その撮影された向き(オブジェクトの撮影面)が異なる映像を生成し合成するようにしても良い。
【0039】
また、この合成装置が投射装置からの映像と同内容の映像を合成する同内容映像合成部を有する構成とし、投射映像と同内容の映像を撮影映像内のスクリーン領域に合成するようにしても良い。また、その場合、この同内容映像合成部は、撮影装置の位置(スクリーンとの相対関係で示される位置)やスクリーンまでの距離、撮影方向/角度などの情報を取得し、それら情報に基づいて撮影装置で撮影される投射映像の内容を演算し、その演算された内容の映像を投射映像の例えば立体映像データから生成する機能を有すると良い。
【0040】
以上のような映像システムによってスクリーンへの投射映像を除いて撮影された映像に対して、投射映像と異なる、あるいは同内容の映像を合成することができる。
【0041】
<処理の流れ>
図8は、本実施例の映像システムにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。
【0042】
この図にあるように、まず、ステージ上などに配置されたスクリーンに対して映像を投射するよう投射装置を制御する(ステップS0801)。つづいて、スクリーンに映される映像を透過させないフィルタ、例えばカラーフィルタや偏光フィルタを介してスクリーンを含む領域を撮影するよう撮影装置を制御する(ステップS0802)。あるいは
図6で説明したように、投射装置の制御において映像を間欠的に投射するよう投射装置を制御し、撮影装置の制御において、前記間欠的に投射される映像の非投射タイミングでのみ撮影するよう制御するようにしても良い。
【0043】
そして、このようにして撮影された映像内のスクリーンの領域に対して、映像を合成するよう合成装置を制御する(ステップS0803)。なおこのとき投射装置からの映像と同内容の映像を合成するのであれば、
図9に示すように、まず投射装置から投射される映像(立体映像を表示するためのデータであることが望ましい)を取得し(ステップS0901)、つづいて、撮影装置の撮影装置の位置やスクリーンまでの距離、撮影方向/角度などの情報を取得する(ステップS0902)。そして、それら情報と立体映像データに基づいて演算された撮影装置で撮影される投射映像の内容で合成用の映像を生成し(ステップS0903)、撮影された映像内のスクリーンの領域に対して、生成した映像を合成する(ステップS0904)、という具合である。
【0044】
<効果の簡単な説明>
以上のように本実施例の映像システムによって、スクリーンへの投射映像を除いて撮影された映像に対して、投射映像と異なる、あるいは同内容の映像を合成することができる。
【0045】
したがって異なる映像を合成した場合は、その場の観客と撮影映像の視聴者との間で異なる映像体験を提供することができ、同内容の映像を合成した場合は、その場の観客には映像演出によるライブ感を提供する一方で、撮影映像の視聴者にはそこに含まれる投射映像がよりきれいなものとして映像を提供することができる。
【0046】
≪実施例3≫
<概要>
図10は、本実施例の映像システムによる映像投射の一例を説明するための図である。本実施例の映像システムでも、実施例1と同様に例えばステージ上などに設置されたスクリーンに投射装置から映像を投射し、その場にいる観客に投射映像によるパフォーマンスなどを提供することができる。
【0047】
そして本実施例の特徴点は、このスクリーンがハーフミラーからなる点である。すなわち
図10にあるように、例えばステージに対して45度の角度となるようにハーフミラー1020がステージ上に配置されている。そして、このハーフミラーの設置位置や設置角度などに合わせて映像投射に好適な位置に、具体的には例えばそのハーフミラーの直下などに投射装置1010が配置されている。また、その際には図に示すように観覧の邪魔にならないよう投射装置はステージ内に埋め込まれるよう配置されていると良い。
【0048】
そして、このようなハーフミラー及び投射装置の配置によって、
図10の矢印で示すように、投射装置からの映像(左右反転映像)がハーフミラーにてステージ前方に反射されるとともに、ステージ後方のもの(例えば背景映像/画像や実物の舞台セット、演奏バックバンドなど)がハーフミラーでは透過され、その投射映像と背景との組み合わせを観客に視聴させることができる、という具合である。
なお、上記概要における投射装置は、プロジェクタと当該プロジェクタからの映像を結像するスクリーン(ハーフミラーとは別のスクリーン)の組み合わせで構成されるものであっても良いし、自身が映像を表示するディスプレイ装置で構成されるものであっても良いし、それ以外の映像投射装置であっても良い。
【0049】
<機能的構成>
図11は、本実施例の映像システムにおける機能ブロックの一例を表す図である。この図にあるように、本実施例の「映像システム」1100は、実施例1を基本として「投射装置」1110と、「撮影装置」1130と、を有する。また本実施例の映像システムは、図示しない「合成装置」など、本明細書で説明したその他の構成要件を有していても良い。
【0050】
そして本実施例の映像システムは、前述のスクリーンが、「ハーフミラー」1121であることを特徴とする。「ハーフミラー」とは、入射した光の一部を反射し一部を透過する機能を備える鏡またはガラスの一種をいい、例えば、有機ガラスに反射板として極薄い金属膜を貼り付けたものなどが挙げられる。なお、その反射率と透過率が1:1であるものを特にハーフミラーと称する場合もあるが、本実施例ではこの比率は特に限定せず、ステージなどの観客に対して反射光による映像及び透過光による映像が視認可能に提供できる範囲であれば、どのような比率であっても構わない。
【0051】
そして、このようにハーフミラーをスクリーンとして用いることで、投射装置からの映像を観客側に反射し、かつ背景映像や舞台セットなどハーフミラー後方のものを透過して、その投射映像と背景との組み合わせを観客に視聴させることができる。またハーフミラーは一方向反射であり通常のスクリーンと比較して投射光の拡散率が低く、前方観客席方向などある程度指向性をもたせて投射光を反射させるため、視野角は狭くなるものの投射映像を輝度が高く品質の高い映像とすることができる。
【0052】
また本実施例の映像システムでは、その投射装置を「表示モニタ」としても良い。「表示モニタ」とは、自身が映像を表示する機能を備えるディスプレイ装置であって、例えば液晶ディスプレイやプラズマディスプレイ、有機EL(エレクトロ・ルミネッセンス)ディスプレイなどが挙げられる。
【0053】
このように、光源からの光を直接または反射などさせてスクリーンに投射し映像を結像表示させるいわゆる「プロジェクタ」ではなく、自身が映像を表示する「表示モニタ」を投射装置とすることで以下のような効果を奏することができる。すなわち、プロジェクタの場合は投射光が収束光となるので、一方向反射のハーフミラーで反射させると視野角が極端に狭くハーフミラーのほぼ真正面でしか投射映像を視認することができない。
【0054】
しかし投射装置を表示モニタとする場合、表示モニタに表示される映像は拡散光として投射されるため、一方向反射のハーフミラーでもそのまま拡散光として反射される。したがって視野角を広くすることができ、ハーフミラーの真正面から外れていても投射映像を視認することができる、という効果を奏する。
【0055】
そしてもちろん、このハーフミラーで反射される投射映像は、上記実施例で説明したように、例えば所定角度で偏光されているなどしており、当該角度の光線を透過させないフィルタを備える「撮影装置」には撮影されない。したがって、この場にいる者に対しては、その投射映像とハーフミラー後方の背景などの組み合わせ(例えば投射映像であるCGキャラクターのボーカルパフォーマンスと、ステージ上での生バンドの演奏風景の組み合わせなど)を視聴してもらうことができる。
【0056】
その一方で、撮影装置で撮影した映像中には上記の通りハーフミラーへの投射映像は撮影されていないため、そこに例えばまったく別の実際のボーカリストによるボーカルパフォーマンスの映像を合成したり、あるいは投射映像と同じCGキャラクターの映像であって、投射及び反射の過程での光線減衰などによる画質の劣化のない映像を合成したりすることができる。
【0057】
<効果の簡単な説明>
以上のような構成の本実施例の映像システムによって、投射装置からの映像を観客側に反射し、かつ背景映像や舞台セットなどハーフミラー後方のものを透過して、その投射映像と背景との組み合わせを観客に視聴させることができる。またハーフミラーは一方向反射であり通常のスクリーンと比較して投射光の拡散率が低く、前方観客席方向などある程度指向性をもたせて投射光を反射させるため、視野角は狭くなるものの投射映像を輝度が高く品質の高い映像とすることができる。
【0058】
また、投射装置を表示モニタとすれば、その表示映像は拡散光として投射されるため、一方向反射のハーフミラーでもそのまま拡散光として反射される。したがって視野角を広くすることができ、ハーフミラーの真正面から外れていても投射映像を視認することができる。