(58)【調査した分野】(Int.Cl.,DB名)
表示部に表示される映像を取り込む際に、映像の取り込み対象の領域である第1領域の領域内に、以前に取り込まれた表示画面の映像を表示する第2領域が含まれているか否かを判定する工程と、
前記第1領域に前記第2領域が含まれている場合に、前記第1領域から取り込まれた映像から前記第2領域の映像が非表示となる映像を生成して前記表示部に表示する工程と
を含むようにした映像制御方法。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は、本発明の第1の実施形態に係る映像表示システム1の構成を示すブロック図である。
図1に示すように、本発明の第1の実施形態に係る映像表示システム1は、映像受信装置11と、映像送信装置12a及び12bとから構成される。映像受信装置11と映像送信装置12a及び12bとの間は、例えばHDMI(登録商標)(High-Definition Multimedia Interface)等の映像ケーブル13a及び13bを用いて接続される。
【0013】
なお、ここでは、映像受信装置11に対して、2台の映像送信装置12a及び12bを接続しているが、これは一例であり、映像受信装置11に接続される映像送信装置の数はこれに限定されるものではない。また、ここでは、映像受信装置11と映像送信装置12a及び12bとの間を映像ケーブル13a及び13bを用いて接続しているが、映像受信装置11と映像送信装置12a及び12bとの間は、ワイヤレスで接続しても良い。また、映像受信装置11と映像送信装置12a及び12bとの間は、ネットワークを介して接続するようにしても良い。
【0014】
映像受信装置11は、液晶ディスプレイやプロジェクタからなる表示部を備え、自装置の映像や他装置(映像送信装置12a及び12b)からの映像を表示する。本実施形態では、映像受信装置11は、主画面となる自装置の画面に、映像送信装置12a及び12bの映像から取り込んだキャプチャ映像と、自装置の表示画面から取り込んだキャプチャ映像を合成して表示できる。なお、映像受信装置11としては、パーソナルコンピュータ(PC:Personal Computer)を用いても良い。
【0015】
映像送信装置12a及び12bは、映像受信装置11に映像を送信する。映像送信装置12a及び12bとしては、テレビジョン受信機、HDD(Hard Disk Drive)レコーダ、DVD(Digital Versatile Disc)プレーヤ等、外部に映像を送信できる機器であれば何れを用いても良い。また、映像送信装置12a及び12bとしては、パーソナルコンピュータ(PC)を用いても良い。
【0016】
図2は、本発明の第1の実施形態に係る映像受信装置11の概略構成を示すブロック図である。
図2に示すように、映像受信装置11は、制御部101と、記憶部102と、通信部103と、キャプチャ部104と、表示部105と、主画面生成部106と、表示出力部107とから構成される。
【0017】
制御部101は、映像受信装置11の全体制御を行っている。本実施形態では、制御部101は、主画面生成部106からの主画面の映像に、映像送信装置12a及び12bのキャプチャ映像と、自装置の表示画面のキャプチャ映像とを合成する処理を行っている。
【0018】
記憶部102は、各種のデータの書き込み/読み出しを行う。
図3は、本発明の第1の実施形態に係る映像受信装置における記憶部102の記憶領域の説明図である。
図3に示すように、本実施形態では、記憶部102は、画面A記憶領域121aと、画面B記憶領域121bと、画面C記憶領域121cとを有している。
【0019】
通信部103は、映像送信装置12a及び12bから送信されてきた映像信号を入力して、制御部101に出力する。通信部103としては、HDMI(登録商標)(High-Definition Multimedia Interface)、有線LAN(Local Area Network)、無線LAN等の方式のものが用いられる。本実施形態では、通信部103を介して、映像送信装置12aから送られてきた映像データは、制御部101の制御の下にキャプチャされ、
図3に示す記憶部102の画面A記憶領域121aに一旦保存される。また、通信部103を介して、映像送信装置12bから送られてきた映像データは、制御部101の制御の下にキャプチャされ、
図3に示す記憶部102の画面B記憶領域121bに一旦保存される。
【0020】
キャプチャ部104は、表示部105に表示される自装置の画面を取り込む。本実施形態では、キャプチャ部104で取り込まれた映像データは、制御部101の制御の下に、
図3に示す記憶部102の画面C記憶領域121cに一旦保存される。
【0021】
表示部105は、映像信号に基づく画像を表示する。表示部105としては、液晶ディスプレイやプロジェクタが用いられる。本実施形態では、表示部105には、主画面となる主画面生成部106の画面に、映像送信装置12a及び12bのキャプチャ映像と、自装置の表示画面のキャプチャ映像とを合成して表示できる。
【0022】
主画面生成部106は、自装置に映し出す主画面の映像を生成する。映像受信装置11がパーソナルコンピュータの場合には、主画面生成部106は、コンピュータの操作画面を生成するものであっても良い。表示出力部107は、当該映像受信装置11で表示する映像信号を外部に出力する。
【0023】
前述したように、表示部105には、主画面生成部106からの主画面となる画面に、映像送信装置12a及び12bのキャプチャ映像と、キャプチャ部104によりキャプチャした自装置の表示画面のキャプチャ映像とを合成して表示できる。しかしながら、自装置の映像をキャプチャして表示する場合、以前にキャプチャした自装置の表示画面をキャプチャすると、表示する映像がループし、合わせ鏡のような入れ子の状態になってしまう。そこで、本実施形態では、キャプチャ映像の表示領域内に、以前にキャプチャした自装置の表示画面が含まれている場合には、この以前にキャプチャした自装置の表示画面の範囲をキャプチャ領域から除くようにしている。このことについて、以下に説明する。
【0024】
図4A、
図4B、
図4Cは、本発明の第1の実施形態に係る映像受信装置11でキャプチャされる画面の説明図である。
【0025】
映像送信装置12aから映像受信装置11には、nフレーム、n+1フレーム、n+2フレーム、…(nは任意の整数)で、画面An、An+1、An+2、…の映像が送られる。映像送信装置12aからの画面An、An+1、An+2、…の映像データは、記憶部102の画面A記憶領域121aに一旦保存される。
図4Aは、nフレームのときの映像送信装置12aの画面Anを示している。
【0026】
また、映像送信装置12bから映像受信装置11には、nフレーム、n+1フレーム、n+2フレーム、…で、画面Bn、Bn+1、Bn+2、…の映像が送られる。映像送信装置12bからの画面Bn、Bn+1、Bn+2、…の映像データは、記憶部102の画面B記憶領域121bに一旦保存される。
図4Bは、nフレームのときの映像送信装置12bの画面Bnを示している。
【0027】
また、nフレーム、n+1フレーム、n+2フレーム、…の自装置で表示している画面Cn、Cn+1、Cn+2、…は、キャプチャ部104によりキャプチャされる。キャプチャ部104でキャプチャされた画面Cn、Cn+1、Cn+2、…の映像データは、記憶部102の画面C記憶領域に一旦保存される。
図4Cは、nフレームのときにキャプチャされた自装置の画面Cnを示している。この例では、nフレームより前には、画面の合成処理は行っておらず、表示部105には、主画面生成部106からの映像のみを映し出しているとする。
【0028】
そして、n+1フレームから、主画面となる主画面生成部106の画面に、映像送信装置12a及び12bのキャプチャ映像と、自装置の表示画面のキャプチャ映像とを合成して表示するものとする。
【0029】
図4Aに示したように、記憶部102の画面A記憶領域121aには、nフレームのときの映像送信装置12aの画面Anが保存されている。
図4Bに示したように、記憶部102の画面B記憶領域121bには、nフレームのときの映像送信装置12bの画面Bnが保存されている。また、
図4Cに示したように、記憶部102の画面C記憶領域121cには、nフレームのときの自装置の画面Cnが保存されている。
【0030】
図5A、
図5Bは、本発明の第1の実施形態に係る映像受信装置で合成される表示画面の説明図である。
【0031】
図5Aは、n+1フレームの表示部105の表示画面(画面Cn+1)を示している。
図5Aに示すように、主画面には、n+1フレームの主画面生成部106の画面が表示される。そして、記憶部102の画面A記憶領域121aからの画面An(
図4A参照)が読み出され、映像送信装置12aのキャプチャ映像として、表示領域151aに表示される。また、記憶部102の画面B記憶領域121bからの画面Bn(
図4B参照)が読み出され、映像送信装置12bのキャプチャ映像として、表示領域151bに表示される。また、記憶部102の画面C記憶領域121cからの自装置の画面Cn(
図4C参照)が読み出され、自装置の表示画面のキャプチャ映像として、表示領域151cに表示される。このように、n+1フレームの表示部105の表示画面(画面Cn+1)は、n+1フレームの主画面生成部106の画面を主画面とし、この画面に、nフレームの映像送信装置12aのキャプチャ映像(画面An)と、nフレームの映像送信装置12bのキャプチャ映像(画面Bn)と、nフレームの自装置の表示画面のキャプチャ映像(画面Cn)とを合成した表示画面となる。
【0032】
また、この間に、記憶部102の画面B記憶領域121aには、n+1フレームの画面An+1が保存される。また、記憶部102の画面B記憶領域121bには、n+1フレームの画面Bn+1が保存される。また、このときの自装置の表示画面(画面Cn+1)がキャプチャ映像として記憶部102の画面C記憶領域121cに保存される。
【0033】
ここで、本実施形態では、制御部101は、表示画面(画面Cn+1)をキャプチャする際に、キャプチャした画像の表示領域中に、所定の領域が含まれる場合に、所定の領域に所定の処理を行った取込映像を、第1の取込対象に対して割り当てられた第1の割当領域に含む、第2の映像を生成する。ここで所定の領域としては、例えば、キャプチャ部104が以前に取り込んだ際の取込対象を表示する対象の領域として割り当てられた領域を用いることができる。また、制御部101は、キャプチャ部104によってこの第2の映像を第2の取込対象として第2の取込映像が取得されると、第2の取込映像に所定の領域が含まれる場合に、所定の領域に所定の処理を行った第2の取込映像を、第2の取込対象に対して割り当てられた第2の割当領域に含む、第3の映像を生成する。この場合における第2の取込映像に含まれる所定の領域としては、例えば、第1の割当領域の一部の領域を用いることができる。
また、例えば、制御部101は、以前にキャプチャした自装置の表示画面(画面Cn)が含まれているか否かを判定し、以前にキャプチャした自装置の表示画面(画面Cn)が含まれている場合には、その位置とサイズを求め、その範囲を自装置の表示画面のキャプチャ領域から除外している。
【0034】
図6は、本発明の第1の実施形態に係る映像受信装置において画面の位置とサイズを求める際の説明図である。
図6を参照すると、表示部105は左上を原点(0,0)としサイズは(W,H)である。キャプチャした画像の表示領域は、位置(X,Y)、サイズ(Wr,Hr)で表示される。更にキャプチャした画像の表示内に存在している以前にキャプチャした自装置の表示画面(画面Cn)を含む領域は、位置(X,Y)を原点(0,0)としキャプチャ位置(x,y)、サイズ(w,h)に表示される。そのため、キャプチャを除外する範囲は表示部上の位置(X+x,Y+y)、サイズ(w,h)になる。
【0035】
図5Bは、n+2フレームの表示部105の表示画面(画面Cn+2)を示している。
図5Bに示すように、主画面には、n+2フレームの主画面生成部106の画面が表示される。そして、記憶部102の画面A記憶領域121aからの画面An+1が読み出され、映像送信装置12aのキャプチャ映像として、表示領域151aに表示される。また、記憶部102の画面B記憶領域121bからの画面Bn+1が読み出され、映像送信装置12bのキャプチャ映像として、表示領域151bに表示される。また、記憶部102の画面C記憶領域121cから自装置の画面Cn+1が読み出され、自装置の表示画面のキャプチャ映像として、表示領域151cに表示される。このように、n+2フレームの表示部105の表示画面(画面Cn+2)は、n+2フレームの主画面生成部106の画面を主画面とし、この画面に、n+1フレームの映像送信装置12aのキャプチャ映像(画面An+1)と、n+1フレームの映像送信装置12bのキャプチャ映像(画面Bn+1)と、n+1フレームの自装置の表示画面のキャプチャ映像(画面Cn+1)とを合成した画面となる。
【0036】
ここで、
図5Bにおいて表示領域151cに表示される自装置の表示画面のキャプチャ映像は、
図5Aに示した画面Cn+1の画面であり、その中で、以前にキャプチャした自装置の表示画面(画面Cn)が表示されている表示領域151cの画面は、キャプチャ領域から除かれている。ここでは、制御部101は、キャプチャ領域から除かれた部分に対応する領域に、特定の画像(符号155)を合成する。特定の画像としては、任意の画像を用いることができるが、例えば、単一色で塗り潰されたような画像を用いることができる。その結果、
図5Bの表示領域151cにおいて以前にキャプチャされた自装置の表示画面が表示される領域(画面Anに示す領域の下方の領域)には、特定の画像が表示される。
したがって、
図5Bにおける表示領域151cのキャプチャ映像には、以前にキャプチャした自装置の表示画面(画面Cn)の映像が含まれない。このため、映像がループし、合わせ鏡のような入れ子の状態になることが回避できる。このように、本実施形態では、自装置の表示画面の中で、以前にキャプチャした自装置の表示画面Cnの映像の部分を除いて、自装置の画面をキャプチャしているので、映像がループし、合わせ鏡のような入れ子の状態になることが回避できる。
【0037】
ここで、特定の画像として単一色で塗り潰されたような画像を用いることができるが、これ以外に、例えば、以前に記憶された前フレームの画像Cn+1の一部の領域の画像を合成するようにしてもよい。この前フレームの画像Cn+1の一部の領域の画像として、例えば、画像Cn+1における特定の画像を表示する領域の座標と同じ座標の画像を用いることができる。その場合、
図5Cの領域156に示すように、画像Cn+2における表示領域151cに表示される画像と類似する画像が表示される。そのため、表示領域151cの画像と領域156の画像とが連続した1つの画像であるかのように表示される。
【0038】
図5Cに示す画面が表示された後、さらに次のフレームにおいて、画面のキャプチャが行われた画像が表示される。ここでは、制御部101は、キャプチャされた画像に以前にキャプチャされた画像が含まれる場合に、以前にキャプチャされた画像を表示する領域に所定の処理を行った取込映像を、この取込対象に対して割り当てられた割当領域に含むように合成された映像を生成する。ここでは、キャプチャされた画像を用いてそのまま表示画面に表示すると、
図5Cの画像が表示された後に、
図5Dに示すような画像が表示される。すなわち、3つ前のフレームにおける画像の一部は特定の画像によって非表示の状態になっているが、2つ前のフレームに対応する画像について表示される領域については、入れ子の状態の画像となり得る。そこで、制御部101は、以前にキャプチャした自装置の表示画面(画面Cn+2)が表示される表示領域151cの画面については、キャプチャ領域から除いた上で残りの領域をキャプチャする。そして制御部101は、キャプチャ領域から除かれた部分に対応する領域に、
図5Eに示すように、特定の画像(符号157)を合成する。その結果、3つ前のフレームを表示する対象の領域が今回キャプチャする画面の一部に含まれていたとしても、割当領域表示領域151cにおいて以前にキャプチャされた自装置の表示画面が表示される領域(画面Anに示す領域の下方の領域)には、特定の画像が表示される。
【0039】
図7は、本発明の第1の実施形態に係る映像受信装置11での処理を示すフローチャートである。
【0040】
(ステップS1)制御部101は、主画面となる画面に、自装置の表示画面のキャプチャ映像を合成する処理を開始させる。
【0041】
(ステップS2)制御部101は、表示画面中に、キャプチャ映像が含まれているか否かを判定する。表示画面中に、キャプチャ映像が含まれていれば(ステップS2:Yes)、処理をステップS3に進める。表示画面中に、キャプチャ映像が含まれていなければ(ステップS2:No)、処理をステップS5に進める。
【0042】
(ステップS3)制御部101は、キャプチャ映像内に、以前にキャプチャした自装置の表示画面の映像が含まれているか否かを判定する。キャプチャ映像内に、以前にキャプチャした自装置の表示画面の映像が含まれていれば(ステップS3:Yes)、処理をステップS4に進める。キャプチャ画像内に、以前にキャプチャした自装置の表示画面の映像が含まれていなければ(ステップS3:No)、処理をステップS5に進める。
【0043】
(ステップS4)制御部101は、以前にキャプチャした自装置の表示画面の映像が含まれている領域の位置とサイズを求め、以前にキャプチャした自装置の表示画面の映像が含まれている領域を、自装置の画面をキャプチャする領域から除外する。
【0044】
(ステップS5)制御部101は、以前にキャプチャした自装置の表示画面の映像が含まれている領域を除いて、表示画面の映像をキャプチャし、記憶部102に保存する。
【0045】
(ステップS6)制御部101は、記憶部102からキャプチャ映像を読み出し、主画面に合成して、表示部105に表示させる。
【0046】
(ステップS7)制御部101は、キャプチャを終了するか否かを判定し、キャプチャを終了しない場合には(ステップS7:No)、処理をステップS2にリターンする。キャプチャを終了する場合には(ステップS7:Yes)、処理を終了する。
【0047】
以上説明したように、本実施形態では、キャプチャ映像の表示領域に、以前にキャプチャした自装置の表示画面の映像が含まれている場合には、以前にキャプチャした自装置の表示画面の映像の領域をキャプチャ領域から除外している。これにより、映像がループし、合わせ鏡のような入れ子の状態になることが回避できる。
【0048】
なお、上述の第1の実施形態では、キャプチャ映像の表示領域中の以前にキャプチャした自装置の表示画面の映像の領域をキャプチャ領域から除外しているが、他の装置のキャプチャ映像についても、キャプチャ領域から除外しても良い。すなわち、
図5Aに示したように、表示画面(画面Cn+1)をキャプチャする際に、以前にキャプチャした自装置の表示画面(画面Cn)が含まれている領域だけでなく、映像送信装置12aの画面(画面An)の領域や、映像送信装置12bの画面(画面Bn)の領域についても、キャプチャ領域から除外しても良い。
【0049】
また、上述の第1の実施形態では、キャプチャ映像の表示領域中の以前にキャプチャした自装置の表示画面の映像の領域をキャプチャ領域から除外しているが、以前にキャプチャした自装置の表示画面の映像の領域を特定の色で塗りつぶすようにしても良い。また、以前にキャプチャした自装置の表示画面の映像の領域を特定の画像を合成するようにしても良い。要は、キャプチャ映像の表示領域中に、以前にキャプチャした自装置の表示画面の映像が含まれている場合には、以前にキャプチャした自装置の表示画面の映像の領域を非表示とすれば、映像がループし、合わせ鏡のような入れ子の状態になることが回避できる。
【0050】
図8は、本発明の他の実施形態に係る映像受信装置で合成される表示画面の説明図である。この例では、キャプチャ映像は、画面Cn+1の画面であり、その中で、以前にキャプチャした自装置の表示画面(画面Cn)が表示されている表示領域151cの画面は、所望の色で塗りつぶされている。
【0051】
図9は、本発明による映像制御装置の基本構成を示す概略ブロック図である。すなわち、本発明による映像制御装置200は、表示部201、キャプチャ部202、領域判定部203、及び映像生成部204を基本構成とする。
【0052】
表示部201は、映像を表示する。キャプチャ部202は、表示部201の表示画面の映像を取り込む。領域判定部203は、映像の取り込み対象の領域である第1領域の領域内に、以前に取り込まれた表示画面の映像を表示する第2領域が含まれているか否かを判定する。映像生成部204は、第1領域に第2領域が含まれている場合に、第1領域から取り込みされた映像から第2領域の映像が非表示となる映像を生成して表示部201に表示する。
【0053】
上述した実施形態における映像表示システム1の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0054】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。