IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ローランド株式会社の特許一覧

特開2024-119410映像処理装置、映像処理プログラム及び映像処理方法
<>
  • 特開-映像処理装置、映像処理プログラム及び映像処理方法 図1
  • 特開-映像処理装置、映像処理プログラム及び映像処理方法 図2
  • 特開-映像処理装置、映像処理プログラム及び映像処理方法 図3
  • 特開-映像処理装置、映像処理プログラム及び映像処理方法 図4
  • 特開-映像処理装置、映像処理プログラム及び映像処理方法 図5
  • 特開-映像処理装置、映像処理プログラム及び映像処理方法 図6
  • 特開-映像処理装置、映像処理プログラム及び映像処理方法 図7
  • 特開-映像処理装置、映像処理プログラム及び映像処理方法 図8
  • 特開-映像処理装置、映像処理プログラム及び映像処理方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024119410
(43)【公開日】2024-09-03
(54)【発明の名称】映像処理装置、映像処理プログラム及び映像処理方法
(51)【国際特許分類】
   H04N 5/265 20060101AFI20240827BHJP
   G09G 5/14 20060101ALI20240827BHJP
   G09G 5/377 20060101ALI20240827BHJP
   G09G 5/38 20060101ALI20240827BHJP
   G09G 5/00 20060101ALI20240827BHJP
   G06F 3/0481 20220101ALI20240827BHJP
【FI】
H04N5/265
G09G5/14 A
G09G5/377
G09G5/38 100
G09G5/00 550H
G09G5/00 510H
G09G5/00 550C
G06F3/0481
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023026294
(22)【出願日】2023-02-22
(71)【出願人】
【識別番号】000116068
【氏名又は名称】ローランド株式会社
(74)【代理人】
【識別番号】110000534
【氏名又は名称】弁理士法人真明センチュリー
(72)【発明者】
【氏名】笠井 良秀
【テーマコード(参考)】
5C023
5C182
5E555
【Fターム(参考)】
5C023AA14
5C023BA12
5C023DA01
5C023DA08
5C182AA03
5C182AA04
5C182AB01
5C182AB03
5C182AB08
5C182AB14
5C182AB21
5C182AC03
5C182AC43
5C182BA01
5C182BA03
5C182BA06
5C182BA14
5C182BA65
5C182BA66
5C182BC26
5C182CB13
5C182CB14
5C182CB15
5C182CB23
5C182CB24
5C182CB25
5C182CB26
5C182CB42
5C182CB56
5C182CC02
5C182CC24
5C182DA33
5C182DA52
5E555AA30
5E555BA08
5E555BB08
5E555DB57
5E555DC19
5E555FA00
(57)【要約】
【課題】複合映像に配置されるコンテンツの辺のうち、指定された位置の近傍の辺を容易に整列できる映像処理装置、映像処理プログラム及び映像処理方法を提供すること。
【解決手段】ビデオスイッチャ1では、タッチパネル3a,4aを介してユーザHが複合映像Scにおいて指定した指定位置が取得され、その指定位置を基準に検索範囲Seが形成される。その検索範囲Seに含まれるコンテンツC1~C3の辺が特定辺Ssに特定され、特定された特定辺Ssが整列される。これにより、ユーザHは複合映像Scにおける指定位置を指定するという操作のみで、複合映像Scに配置されるコンテンツC1~C3の辺のうち、指定位置の近傍の辺を容易に整列させることができる。
【選択図】図2
【特許請求の範囲】
【請求項1】
画像や映像で構成されるコンテンツが複数配置された映像である複合映像を出力する映像処理装置であって、
入力手段から、前記複合映像において指定された位置である指定位置を取得する位置取得手段と、
前記複合映像における、前記位置取得手段で取得された指定位置の近傍に形成される検索範囲に含まれる前記コンテンツの辺を取得する辺取得手段と、
その辺取得手段で取得された辺のうち、角度が同一または類似する複数の辺を特定辺に特定する辺特定手段と、
前記複合映像に配置されたコンテンツにおける前記辺特定手段で特定された特定辺を整列させる整列手段と、を備えていることを特徴とする映像処理装置。
【請求項2】
前記整列手段は、前記位置取得手段で取得された指定位置に基づき前記辺特定手段で特定された特定辺を整列させるものであることを特徴とする請求項1記載の映像処理装置。
【請求項3】
前記整列手段により整列された後のコンテンツのアスペクト比が、整列前の当該コンテンツのアスペクト比のまま維持されることを特徴とする請求項1記載の映像処理装置。
【請求項4】
前記検索範囲は、その上下方向が前記位置取得手段で取得された指定位置を中心とした所定幅の領域で、かつ、その左右方向が前記複合映像の左端から右端までの領域であることを特徴とする請求項1記載の映像処理装置。
【請求項5】
前記検索範囲は、その左右方向が前記位置取得手段で取得された指定位置を中心とした所定幅の領域で、かつ、その上下方向が前記複合映像の上端から下端までの領域であることを特徴とする請求項1又は4に記載の映像処理装置。
【請求項6】
前記入力手段から、前記特定辺の移動後の位置を取得する移動後位置取得手段と、
前記整列手段で整列された特定辺を、前記移動後位置取得手段で取得された位置に整列された状態で移動させる特定辺移動手段と、を備えていることを特徴とする請求項1記載の映像処理装置。
【請求項7】
前記特定辺移動手段によって特定辺が移動された後のコンテンツのアスペクト比が、移動前の当該コンテンツのアスペクト比のまま維持されることを特徴とする請求項6記載の映像処理装置。
【請求項8】
前記入力手段から、前記特定辺を有するコンテンツを移動させる指示を取得する移動指示取得手段と、
その移動指示取得手段で取得された指示に対応するコンテンツが有する特定辺を、特定辺から解除する特定辺解除手段と、
前記移動指示取得手段で取得された指示に対応するコンテンツを移動させるコンテンツ移動手段と、を備えていることを特徴とする請求項1記載の映像処理装置。
【請求項9】
前記入力手段は、タッチパネルで構成されることを特徴とする請求項1記載の映像処理装置。
【請求項10】
入力部を備えたコンピュータに、画像や映像で構成されるコンテンツが複数配置された映像である複合映像を出力する処理を実行させる映像処理プログラムであって、
前記入力部から、前記複合映像において指定された位置である指定位置を取得する位置取得ステップと、
前記複合映像における、前記位置取得ステップで取得された指定位置の近傍に形成される検索範囲に含まれる前記コンテンツの辺を取得する辺取得ステップと、
その辺取得ステップで取得された辺のうち、角度が同一または類似する複数の辺を特定辺に特定する辺特定ステップと、
前記複合映像に配置されたコンテンツにおける前記辺特定ステップで特定された特定辺を整列させる整列ステップと、を前記コンピュータに実行させることを特徴とする映像処理プログラム。
【請求項11】
入力部から、画像や映像で構成されるコンテンツが複数配置された複合映像おいて指定された位置である指定位置を取得する位置取得ステップと、
前記複合映像における、前記位置取得ステップで取得された指定位置の近傍に形成される検索範囲に含まれる前記コンテンツの辺を取得する辺取得ステップと、
その辺取得ステップで取得された辺のうち、角度が同一または類似する複数の辺を特定辺に特定する辺特定ステップと、
前記複合映像に配置されたコンテンツにおける前記辺特定ステップで特定された特定辺を整列させる整列ステップと、を備えていることを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理装置、映像処理プログラム及び映像処理方法に関するものである。
【背景技術】
【0002】
特許文献1には、複数の映像入力チャンネルを有し、それぞれの映像入力チャンネルから入力された入力映像が配置された出力映像を出力するビデオミキサーが開示されている。当該ビデオミキサーでは、出力映像におけるそれぞれの入力映像のサイズや位置を、ユーザが任意に設定できるように構成される。これにより、ユーザが所望するサイズの入力映像を、ユーザの所望する配置位置に配置された出力映像を出力できる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002-262179号公報(例えば、段落0016-0019、図1-4)
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1のビデオミキサーでは、出力映像における、横並びの入力映像同士の水平方向の辺の位置を揃える等、複数の入力映像の位置を揃える場合、ユーザはビデオミキサーの操作方法を熟知した上で、対象の入力映像をそれに沿って1つずつ操作する必要がある。これによって、出力映像を作成するのに時間を要してしまうという問題点がある。
【0005】
本発明は、上述のような問題点に鑑み成されたものであり、複合映像に配置されるコンテンツの辺のうち、指定された位置の近傍の辺を容易に整列できる映像処理装置、映像処理プログラム及び映像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0006】
この目的を達成するために本発明の映像処理装置は、画像や映像で構成されるコンテンツが複数配置された映像(複合映像)を出力する装置であり、入力手段から、前記複合映像において指定された位置(指定位置)を取得する位置取得手段と、前記複合映像における、前記位置取得手段で取得された指定位置の近傍に形成される検索範囲に含まれる前記コンテンツの辺を取得する辺取得手段と、その辺取得手段で取得された辺のうち、角度が同一または類似する複数の辺を特定辺に特定する辺特定手段と、前記複合映像に配置されたコンテンツにおける前記辺特定手段で特定された特定辺を整列させる整列手段と、を備えている。
【0007】
本発明の映像処理プログラムは、入力部を備えたコンピュータに、画像や映像で構成されるコンテンツが複数配置された映像(複合映像)である複合映像を出力する処理を実行させるプログラムであり、前記入力部から、前記複合映像において指定された位置(指定位置)を取得する位置取得ステップと、前記複合映像における、前記位置取得ステップで取得された指定位置の近傍に形成される検索範囲に含まれる前記コンテンツの辺を取得する辺取得ステップと、その辺取得ステップで取得された辺のうち、角度が同一または類似する複数の辺を特定辺に特定する辺特定ステップと、前記複合映像に配置されたコンテンツにおける前記辺特定ステップで特定された特定辺を整列させる整列ステップと、を前記コンピュータに実行させるものである。
【0008】
また本発明の映像処理方法は、入力部から、画像や映像で構成されるコンテンツが複数配置された複合映像おいて指定された位置(指定位置)を取得する位置取得ステップと、前記複合映像における、前記位置取得ステップで取得された指定位置の近傍に形成される検索範囲に含まれる前記コンテンツの辺を取得する辺取得ステップと、その辺取得ステップで取得された辺のうち、角度が同一または類似する複数の辺を特定辺に特定する辺特定ステップと、前記複合映像に配置されたコンテンツにおける前記辺特定ステップで特定された特定辺を整列させる整列ステップと、を備えている。
【図面の簡単な説明】
【0009】
図1】映像処理装置の一例であるビデオスイッチャの外観図を含み、その周辺システムを表す図である。
図2】(a1)は、複合映像を表す図であり、(a2)は、(a1)の複合映像上をユーザがタッチ操作した場合を表す図であり、(a3)は、整列後の複合映像を表す図であり、(b1)は、別の複合映像を表す図であり、(b2)は、複合映像上をユーザがタッチ操作した場合を表す図であり、(b3)は、整列後の複合映像を表す図である。
図3】(a1)は、更に別の複合映像を表す図であり、(a2)は、(a1)の複合映像上をユーザがタッチ操作した場合を表す図であり、(a3)は、整列後の複合映像を表す図であり、(b1)は、水平方向の特定辺の移動前の複合映像を表す図であり、(b2)は、特定辺の移動後の複合映像を表す図である。
図4】(a1)は、垂直方向の特定辺の移動前の複合映像を表す図であり、(a2)は、特定辺の移動後の複合映像を表す図であり、(b1)は、特定辺以外の辺の移動前の複合映像を表す図であり、(b2)は、特定辺以外の辺の移動後の複合映像を表す図であり、(c1)は、特定辺の解除前の複合映像を表す図であり、(c2)は、特定辺の解除後の複合映像を表す図である。
図5】ビデオスイッチャの機能ブロック図である。
図6】ビデオスイッチャの信号処理構成を示すブロック図である。
図7】メイン処理のフローチャートである。
図8】ドラッグ処理のフローチャートである。
図9】(a)~(d)は、それぞれ変形例における検索範囲を表す図である。
【発明を実施するための形態】
【0010】
以下、好ましい実施例について、添付図面を参照して説明する。図1を用い、図2を参照して、本実施形態のビデオスイッチャ1の概要を説明する。図1は、映像処理装置の一例であるビデオスイッチャ1の外観図を含み、その周辺システムを表す図である。ビデオスイッチャ1は、入力された画像や映像を1つの映像に配置した複合映像Scを出力する装置(映像処理装置)である。
【0011】
ビデオスイッチャ1には、複合映像Scに配置する画像や映像が入力されるビデオカメラ20及びプレゼンテーション用のPC21(以下「プレゼン用PC21」と略す)と、複合映像Scが出力されるプロジェクタ22及び配信用のPC23(以下「配信用PC23」と略す)とが接続される。ビデオカメラ20(この例の場合は2台)は、撮影した画像または映像をビデオスイッチャ1に入力する撮影装置であり、プレゼン用PC21は、インストールされているアプリケーション・ソフトでユーザH(模擬的にユーザHの指の位置を示す)が作成した画像または映像をビデオスイッチャ1に入力する情報処理装置である。
【0012】
プロジェクタ22は、ビデオスイッチャ1からの複合映像Scを大型スクリーンに投影する出力装置であり、配信用PC23は、ビデオスイッチャ1から出力された複合映像ScをインターネットWを介して配信する情報処理装置である。配信用PC23からインターネットWを介して配信された複合映像Scが、インターネットWに接続される複数の配信先のPC24(以下「配信先PC24」と略す)で視聴することができる。なお、ビデオスイッチャ1をインターネットWに接続し、ビデオスイッチャ1から配信先PC24へ直接配信しても良い。この場合、配信用PC23を省略することができる。
【0013】
ビデオスイッチャ1は、入力元、即ちビデオカメラ20a,20bやプレゼン用PC21毎に、対応する入力元から入力された画像や映像が配置される「レイヤー」(層)が設けられ、各レイヤーにおいて、対応する入力元から入力された画像や映像がユーザHから指定された大きさ及び位置で配置される。このようなレイヤーを重ね合わせることで複合映像Scが作成される。以下、レイヤーに配置される画像や映像のことをまとめて「コンテンツ」と称す。
【0014】
ビデオスイッチャ1には、ユーザHの指示を入力する各種の設定ボタン2と、左側タッチパネル3a及び左側LCD3bと、右側タッチパネル4a及び右側LCD4bとが設けられる。左側タッチパネル3aは、ユーザHによるタッチ操作に応じて、タッチされた位置信号を入力するための入力装置である。左側LCD3bは、出力される複合映像Scのレイアウト等を表示する表示装置である。左側タッチパネル3a及び左側LCD3bは、ビデオスイッチャ1の正面における左側にそれぞれ配置され、左側タッチパネル3aが左側LCD3bの上に重ね合わせて設けられる。
【0015】
同様に、右側タッチパネル4aは、ユーザHによるタッチ操作に応じて、タッチされた位置に関する信号を入力するための入力装置であり、右側LCD4bは、出力される複合映像Scのレイアウト等を表示する表示装置である。右側タッチパネル4a及び右側LCD4bは、ビデオスイッチャ1の正面における右側にそれぞれ配置され、右側タッチパネル4aが右側LCD4bの上に重ね合わせて設けられる。
【0016】
本実施形態のビデオスイッチャ1では、プロジェクタ22と配信用PC23とに、それぞれ異なった複合映像Scが出力できるように構成される。左側LCD3bには、プロジェクタ22に出力される複合映像Scを設定・編集する画面が表示され、右側LCD4bには、配信用PC23に出力される複合映像Scを設定・編集する画面が表示される。
【0017】
ユーザHは、LCD3b,4bのそれぞれに表示される複合映像Scのレイアウトを視認しながら、LCD3b,4b上に配置されるタッチパネル3a,3bをタッチ操作することで、複合映像Scにおけるコンテンツの大きさや配置を自在に指定・設定し、所望のレイアウトの複合映像Scを構築することができる。
【0018】
このような複合映像Scの構築において、横並び又は縦並びに配置されるコンテンツの平行する辺同士を、同じ位置に整列させる場合がある。従来では、横並び又は縦並びの複数のコンテンツの辺を整列させるためには、対象のコンテンツを1つずつ選択して移動させて各々の辺を一致させること等をする必要があった。これによって、コンテンツの辺が整列した複合映像Scを構築するのに時間を要すると共に、このような操作を行うユーザHに多大な負担が生じていた。
【0019】
そこで、本実施形態では、複合映像ScにおいてユーザHによりタッチパネル3a,3bで指定された位置である指定位置の近傍のコンテンツの辺を特定し、特定された辺の整列を行う。図2,3を用い、複合映像Scにおけるコンテンツの整列手法を詳述する。
【0020】
図2(a1)は、複合映像Scを表す図であり、図2(a2)は、図2(a1)の複合映像Sc上をユーザHがタッチ操作した場合を表す図であり、図2(a3)は、整列後の複合映像Scを表す図である。
【0021】
複合映像Scには、ビデオカメラ20やプレゼン用PC21から入力されたコンテンツC1~C3が配置される。複合映像Scに配置されるコンテンツC1~C3には、それぞれ入力された画像または映像が、複合映像Sc内の対応する表示領域の大きさに応じてトリミングされたものが表示される。これによって、入力された画像または映像が歪むことなく複合映像Scに表示される。
【0022】
図2(a1)において、コンテンツC1とコンテンツC2とのそれぞれの垂直方向(縦方向)の辺を整列、即ちコンテンツC1とコンテンツC2とのそれぞれにおいて平行している辺を、同一の位置に移動させたい場合、ユーザHは、図2(a2)のようにコンテンツC1とコンテンツC2との間をタッチ操作する。図2(a1)においては、ユーザHは例えば、人差し指でタッチパネル3a,4aを触れてタッチ操作しているので、その人差し指の位置(情報)が「指定位置」(情報)とされる。なお、本実施形態において「平行している辺」とは、垂直方向や水平方向等の対象の辺同士の角度が同一であるものをいうが、例えば、角度の差が±3度以内のような、角度が類似するものを含んでも良い。
【0023】
ビデオスイッチャ1は、ユーザHからタッチパネル3a,4aを介して指定位置が取得された場合、当該指定位置の近傍におけるコンテンツC1~C3の辺を取得するための領域である、検索範囲Seを形成する。本実施形態において検索範囲Seは、取得された指定位置の垂直方向および水平方向に形成される。
【0024】
具体的に、まず複合映像Scにおいて取得された指定位置より左へ50ピクセル移動させた位置の複合映像Scの上端から下端までの間に、左境界線SeLが形成され、取得された指定位置より右へ50ピクセル移動させた位置の複合映像Scの上端から下端までの間に、右境界線SeRが形成される。これら左境界線SeLと右境界線SeRとの間に形成された領域(つまり、左境界線SeLと右境界線SeRで挟まれた領域)が、垂直方向の検索範囲Seとされる。
【0025】
同様に、複合映像Scにおいて取得された指定位置より上へ50ピクセル移動させた位置の複合映像Scの左端から右端までの間に、上境界線SePが形成され、取得された指定位置より下へ50ピクセル移動させた位置の複合映像Scの左端から右端までの間に、下境界線SeDが形成される。これら上境界線SePと下境界線SeDとの間に形成された領域(つまり、上境界線SePと下境界線SeDで挟まれた領域)が、水平方向の検索範囲Seとされる。
【0026】
なお、垂直方向または水平方向の検索範囲Seの幅は左右または上下に100ピクセルに限られず、100ピクセル以上でも良いし、100ピクセル以下でも良いし、検索範囲Seの幅をユーザHが設定ボタン2等を用いて予めLCD3b,4b上で設定できるようにしても良い。垂直方向の検索範囲Seと水平方向の検索範囲Seとの幅は同一のものに限られず、垂直方向の検索範囲Seの幅を水平方向の検索範囲Seより広くしても良いし、狭くしても良い。
【0027】
このようなユーザHがタッチした指定位置を中心とした、垂直方向および水平方向の十字形の検索範囲Seに含まれるコンテンツC1~C3の辺が検索される。図2(a2)においては、水平方向の検索範囲SeにコンテンツC1の辺(より具体的には、指定位置から近いコンテンツC1の右側の辺)とコンテンツC2の辺(より具体的には、指定位置から近いコンテンツC2の左側の辺)とが含まれている。これら、角度が同一または類似するコンテンツC1の左側の辺とコンテンツC2の右側の辺とが各々、整列される対象の辺とされる特定辺Ssに特定される。
【0028】
垂直方向の検索範囲Seには、複合映像Scの上端から下端までの領域が含まれ、水平方向の検索範囲Seには、複合映像Scの上端から下端までの領域が含まれる。これにより、指定位置の垂直方向および水平方向に近傍するコンテンツC1~C3の辺を取りこぼすことなく特定辺Ssに特定できる。
【0029】
一方で、垂直方向または水平方向の検索範囲Seの幅が100ピクセルに限定されていることで、指定位置から離れた位置のコンテンツC1~C3の辺が、不必要に特定辺Ssに特定されてしまう事態を抑制できる。
【0030】
そして、特定辺Ssに特定された辺同士が整列される。具体的には、図2(a3)に示す通り、特定辺Ssに特定されたコンテンツC1の右側の辺を指定位置まで移動させ、特定辺Ssに特定されたコンテンツC2の左側の辺も指定位置まで移動させる。これにより、コンテンツC1の右側の辺とコンテンツC2の左側の辺とが整列される。なお、整列手法として、指定位置を基準にする場合、コンテンツC1の辺を基準にする場合、または、コンテンツC1,C2の各々の辺の中間の点を基準にする場合があるが、いずれの場合でも良い。
【0031】
即ち特定辺Ssが整列される位置は、ユーザHがタッチパネル3a,4aを介して指定した複合映像Scの指定位置とされる。これにより、ユーザHは、自身がタッチした位置に特定辺Ssが整列されるので、整列後の特定辺Ssの位置が複合映像Scのどこであるかを予想しやすくなり、ユーザHの意図する位置への特定辺Ssの整列を容易に実現できる。
【0032】
ところで、コンテンツC1,C2の特定辺Ssが整列された場合、図2(a3)に示すように、複合映像ScにおけるコンテンツC1,C2の表示領域の形状が、特定辺Ssの整列前(図2(a1),(a2))と比べてそれぞれ変形される。この際、特定辺Ssの整列後のコンテンツC1,C2で表示領域が変形されても、それらの表示内容のアスペクト比が特定辺Ssの整列前と同等になるように処理が行われる。
【0033】
具体的には、特定辺Ssが整列された場合、改めて、入力元から入力された画像または映像が、整列後の複合映像ScのコンテンツC1,C2の表示領域の大きさに応じてトリミングされ、整列後の表示領域にそれぞれ表示される。これにより、特定辺Ssの整列後で表示されるコンテンツC1,C2が、本来、入力元から入力された画像または映像と比べて歪んでしまうことを抑制できるので、複合映像Scの視聴者の違和感を抑制できる。
【0034】
なお、特定辺Ssの整列後のコンテンツC1,C2の表示内容のアスペクト比を維持する手法は、上記したトリミングによる手法に限られない。例えば、整列前のコンテンツC1,C2の表示領域の大きさと整列後のコンテンツC1,C2の表示領域の大きさとの比(拡大率)に応じた倍率によって、整列前に表示されているコンテンツC1,C2を拡大または縮小したものを、整列後の対応する表示領域に表示しても良いし、他の手法を用いても良い。
【0035】
図2(a1)~(a3)では、コンテンツC1,C2の垂直方向の辺を整列させる場合を説明したが、図2(b1)~(b3)に示すように、水平方向の辺を整列させる場合も同様である。図2(b1)は、別の複合映像Scを表す図であり、図2(b2)は、図2(b1)の複合映像Sc上をユーザがタッチ操作した場合を表す図であり、図2(b3)は、整列後の複合映像Scを表す図である。
【0036】
図2(b2)において、ユーザHがコンテンツC1と、そのコンテンツC1の下に表示されるコンテンツC3との間をタッチ操作した場合、形成される検索範囲Seには、コンテンツC1の下側の辺とコンテンツC3の上側の辺とが含まれる。これによって、これら水平方向の辺が特定辺Ssに特定され、図2(b3)に示す通り、特定された特定辺Ssが整列される。
【0037】
次に図3(a1)~(a3)を参照して、垂直方向の辺と水平方向の辺とを同時に整列する場合を説明する。図3(a1)は、更に別の複合映像Scを表す図であり、図3(b2)は、図3(b1)の複合映像Sc上をユーザHがタッチ操作した場合を表す図であり、図3(b3)は、整列後の複合映像Scを表す図である。
【0038】
図3(b2)に示す通り、ユーザHがコンテンツC1とコンテンツC2との間であって、コンテンツC3の上方をタッチ操作した場合、その結果として形成される検索範囲Seには、コンテンツC1の右側および下側の辺と、コンテンツC2の左側および下側の辺と、コンテンツC3の右側および上側の辺とが含まれる。
【0039】
これによって、水平方向と垂直方向とのそれぞれの特定辺Ssが特定される。具体的に、水平方向の特定辺Ssに、コンテンツC1の下側の辺と、コンテンツC2の下側の辺と、コンテンツC3の上側の辺とが特定される。また、垂直方向の特定辺Ssに、コンテンツC1の右側の辺と、コンテンツC2の左側の辺と、コンテンツC3の右側の辺とが特定される。そして、図3(b3)に示す通り、特定された水平方向の特定辺Ssと、垂直方向の特定辺Ssとがそれぞれ整列される。なお、整列手法として、指定位置を基準にする場合、コンテンツC1の辺を基準にする場合、または、コンテンツC1、C2及びC3の各々の辺の中間の点を基準にする場合があるが、いずれの場合でも良い。
【0040】
このようにビデオスイッチャ1では、タッチパネル3a,4aを介してユーザHが複合映像Scにおいて指定した指定位置が取得され、その取得された指定位置を基準に検索範囲Seが形成される。その検索範囲Seに含まれるコンテンツC1~C3の辺が特定辺Ssに特定され、特定された特定辺Ssが整列される。これにより、ユーザHは複合映像Scにおける指定位置を指定するという操作のみで、複合映像Scに配置されるコンテンツC1~C3の辺のうち、指定位置の近傍の辺を容易に整列させることができる。
【0041】
次に図3(b1),(b2)及び図4(a1),(a2)を参照して、特定辺Ssの移動を説明する。図3(b1)は、水平方向の特定辺Ssの移動前の複合映像Scを表す図であり、図3(b2)は、特定辺Ssの移動後の複合映像Scを表す図であり、図4(a1)は、垂直方向の特定辺Ssの移動前の複合映像Scを表す図であり、図4(a1)は、特定辺Ssの移動後の複合映像Scを表す図である。
【0042】
まず、水平方向の特定辺Ssの移動を説明する。図3(b1)においては、コンテンツC1,C2のそれぞれの下側の辺とコンテンツC3の上側の辺とが、水平方向の特定辺Ssに特定されている。この状態で、ユーザHが水平方向の特定辺Ssを下方向にドラッグ操作すると、図3(b2)に示す通り、特定辺Ssに特定されたコンテンツC1,C2のそれぞれの下側の辺とコンテンツC3の上側の辺とが、水平方向の整列された状態を維持したまま下方に移動される。
【0043】
次に、垂直方向の特定辺Ssの移動を説明する。図4(a1)においては、コンテンツC1,C3のそれぞれの右側の辺とコンテンツC2の左側の辺とが、垂直方向の特定辺Ssに特定されている。この状態で、ユーザHが垂直方向の特定辺Ssを右方向にドラッグ操作すると、図4(a2)に示す通り、特定辺Ssに特定されたコンテンツC1,C3のそれぞれの右側の辺とコンテンツC2の左側の辺とが、垂直方向の整列された状態を維持したまま下方に移動される。
【0044】
このように、特定された水平方向または垂直方向の特定辺Ssをドラッグ操作するという操作のみで、整列された特定辺Ssを整列された状態を維持したまま移動できるので、ユーザHの特定辺Ssを移動させる際の操作性を向上させることができる。
【0045】
次に、コンテンツC1~C3における特定辺Ss以外の辺の移動について説明する。図4(b1)は、特定辺Ss以外の辺の移動前の複合映像Scを表す図であり、図4(b2)は、特定辺Ss以外の辺の移動後の複合映像Scを表す図である。図4(b1),(b2)に示す通り、特定辺Ssに特定されていない、コンテンツC1の上側の辺をユーザHが指定し、上方へドラッグ操作した場合、特定辺Ssの整列状態が維持されたまま、コンテンツC1の上側の辺のみが上方へ移動される。
【0046】
これにより、ユーザHは、コンテンツC1~C3において特定辺Ssの整列状態が維持された状態で、特定辺Ss以外の辺を自在に移動させることができるので、その時々の状況に最適な形状のコンテンツC1~C3の領域を拡大・縮小し、複合映像Scに表示させることができる。
【0047】
次に図4(c1),(c2)を参照して、特定辺Ssの整列状態の解除手法を詳述する。図4(c1)は、特定辺Ssの解除前の複合映像Scを表す図であり、図4(c2)は、特定辺Ssの解除後の複合映像Scを表す図である。本実施形態において、特定辺Ssに特定されている辺を有するコンテンツC1~C3の、特定辺Ssからの解除は、対象のコンテンツC1~C3の表示領域をドラッグ操作することで実行される。
【0048】
具体的に、図4(c1)においては、コンテンツC1,C2の下側の辺と、コンテンツC3の上側の辺とが水平方向の特定辺Ssに特定され、コンテンツC1,C3の左側の辺と、コンテンツC2の右側の辺とが垂直方向の特定辺Ssに特定されている。この状態で、コンテンツC3の表示領域、具体的に、コンテンツC3と他の領域との境界よりも内側の領域をユーザHにより特定し、左斜め下方向にドラッグ操作する。
【0049】
これによって、コンテンツC3の辺が、水平方向および垂直方向の特定辺Ssからそれぞれ削除され、コンテンツC3の辺がすべて特定辺Ssから解除される。これと共に、コンテンツC3のみがユーザHのドラッグ操作に応じて左斜め下方向に移動される。即ち特定辺Ssに特定されているコンテンツC1~C3のうち、コンテンツC3の表示領域のみをドラッグ操作するという、コンテンツC3のみを独立して移動させたいというユーザHの意図の操作により、コンテンツC3の辺が特定辺Ssから解除される。これにより、ユーザHは特定辺Ssの解除を直感的に行うことができる。
【0050】
次に図5を参照して、ビデオスイッチャ1の主要機能を説明する。図5は、ビデオスイッチャ1の機能ブロック図である。図5に示すように、ビデオスイッチャ1は、位置取得手段201と、辺取得手段202と、辺特定手段203と、整列手段204とを有する。
【0051】
位置取得手段201は、入力手段200から、複合映像Scにおいて指定された位置である指定位置を取得する手段であり、図6で後述のCPU10で実現される。なお、入力手段200は、上記したタッチパネル3a,4aで実現される。辺取得手段202は、複合映像Scにおける、位置取得手段201で取得された指定位置の近傍に形成される検索範囲に含まれるコンテンツの辺を取得する手段であり、CPU10で実現される。
【0052】
辺特定手段203は、辺取得手段202で取得された辺のうち、角度が同一または類似する複数の辺を特定辺Ssに特定する手段であり、CPU10で実現される。整列手段204は、複合映像Scに配置されたコンテンツにおける辺特定手段203で特定された特定辺Ssを整列させ、又は解除する手段であり、CPU10で実現される。
【0053】
ビデオスイッチャ1においては、複合映像Scにおいて指定位置が取得され、取得された指定位置の近傍に形成される検索範囲に含まれるコンテンツの辺が取得される。取得された辺のうち、角度が同一または類似する辺が特定辺Ssに特定され、複合映像Scに配置されたコンテンツにおける、特定された特定辺Ssが整列される。これにより、ユーザHは複合映像Scにおける指定位置を指定するという操作のみで、複合映像Scに配置されるコンテンツの辺のうち、指定位置の近傍の辺を容易に整列させることができる。
【0054】
次に図6を参照して、映像処理装置の一例であるビデオスイッチャ1の信号処理を説明する。図6は、ビデオスイッチャ1の信号処理構成を示すブロック図である。図6に示す通り、ビデオスイッチャ1は、CPU10と、フラッシュROM11と、RAM12とを有し、これらはバスライン13を介して入出力ポート14にそれぞれ接続されている。入出力ポート14には更に、上記した各種の設定ボタン2、左側タッチパネル3a、左側LCD3b、右側タッチパネル4a及び右側LCD4bと、ビデオ処理装置15と、通信装置18とが接続される。
【0055】
CPU10は、バスライン13により接続された各部を制御する演算装置である。フラッシュROM11は、CPU10により実行されるプログラムや固定値データ等を格納した書き換え可能な不揮発性の記憶装置であり、映像処理プログラム11aが記憶される。CPU10によって映像処理プログラム11aが実行されると、図7のメイン処理が実行される。RAM12は、CPU10がプログラムの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するためのメモリであり、特定辺Ssが記憶される特定辺メモリ12aが設けられる。
【0056】
ビデオ処理装置15は、CPU10からの指示に応じて画像処理を行う演算装置である。ビデオ処理装置15には、ビデオ処理装置15で画像処理を行う画像や映像を入力する第1入力端子16a~第3入力端子16cと、ビデオ処理装置15で画像処理を行った複合映像Sc等の画像や映像を出力するビデオ出力装置17とが接続される。
【0057】
第1入力端子16a~第3入力端子16cには、上記したビデオカメラ20やプレゼン用PC21が接続され、これらからの画像や映像が第1入力端子16a~第3入力端子16cを介してビデオ処理装置15に入力される。またビデオ出力装置17には、プロジェクタ22が接続され、それぞれに応じた映像がビデオ出力装置17を介してプロジェクタ22に出力される。なお、ビデオ処理装置15やビデオ出力装置17の少なくとも一部をFPGA(field-programmable gate array)や専用LSI等の電子回路で構成しても良い。
【0058】
通信装置18は、外部の装置と通信するための装置であり、特に上記した配信用PC23に通信可能に接続される。配信用PC23はインターネットWに接続され、インターネットWには、上記した配信先PC24が接続される。
【0059】
次に図7,8を参照して、映像処理装置の一例であるビデオスイッチャ1のCPU10で実行される処理を説明する。図7は、メイン処理のフローチャートである。メイン処理は、ビデオスイッチャ1の電源が投入された場合に、実行される処理である。
【0060】
メイン処理はまず、タッチパネル3a,4aがタッチ操作されたかを確認する(S1)。S1の処理おいて、タッチパネル3a,4aがタッチ操作された場合は(S1:Yes)、タッチされた位置、即ち指定位置を取得する(S2)。S2の処理の後、特定辺メモリ12aに特定辺Ssが記憶されているかを確認する(S3)。
【0061】
S3の処理において、特定辺メモリ12aに特定辺Ssが記憶されていない場合は(S3:No)、S2の処理で取得された指定位置を中心とした、図2(a2)等で説明した検索範囲Seを作成する(S4)。S4の処理の後、検索範囲Seに含まれるコンテンツの垂直方向の辺を、それぞれ垂直方向の特定辺Ssとして特定辺メモリ12aに追加する(S5)。また、S5の処理の後、検索範囲Seに含まれるコンテンツの水平方向の辺を、それぞれ水平方向の特定辺Ssとして特定辺メモリ12aに追加する(S6)。
【0062】
S6の処理の後、特定辺メモリ12aに記憶される垂直方向の特定辺Ssを、図2(a2),(a3)で説明したように、それぞれS2の処理で取得された指定位置に整列する(S7)。S7の処理の後、特定辺メモリ12aに記憶される水平方向の特定辺Ssを、図2(b2),(b3)で説明したように、それぞれS2の処理で取得された指定位置に整列する(S8)。これらにより、垂直方向の特定辺Ssと水平方向の特定辺Ssとがそれぞれ整列される。
【0063】
S3の処理において、特定辺メモリ12aに特定辺Ssが記憶されている場合は(S3:Yes)、S4~S8の処理をスキップする。S3,S8の処理の後、その他のタッチパネル3a,4aがタッチ操作された際の処理を行う(S9)。
【0064】
S1の処理において、タッチパネル3a,4aがタッチ操作されていない場合は(S1:No)、S2~S9の処理をスキップする。S1,S9の処理の後、タッチパネル3a,4aがドラッグ操作されたかを確認する(S10)。S10の処理において、タッチパネル3a,4aがドラッグ操作された場合は(S10:Yes)、S11のドラッグ処理を実行する。ここで図8を参照して、ドラッグ処理を説明する。
【0065】
図8は、ドラッグ処理のフローチャートである。ドラッグ処理はまず、ドラッグ操作の始点が特定辺メモリ12aに記憶されている特定辺Ssのいずれかの上に存在するか否かを確認する(S20)。S20の処理において、ドラッグ操作の始点が特定辺メモリ12aに記憶される特定辺Ssのいずれかの上に存在する場合は(S20:Yes)、図3(b2)で説明したように、指定された特定辺Ssをまとめて移動させる場合である。かかる場合、まず、特定辺メモリ12aに記憶される特定辺Ssのうちのドラッグ操作の始点の特定辺Ssを取得する(S21)。S21の処理の後、取得された特定辺Ssを図3(b2)のように、それぞれドラッグ操作の終点へ移動させる(S22)。
【0066】
一方でS20の処理において、ドラッグ操作の始点が特定辺メモリ12aに記憶される特定辺Ssのいずれかの上に存在しない場合は(S20:No)、S21,S22の処理をスキップする。S20,S22の処理の後、ドラッグ操作の始点がコンテンツにおける特定辺メモリ12aに記憶される特定辺Ss以外の辺の上に存在するか否かを確認する(S23)。
【0067】
S23の処理において、ドラッグ操作の始点がコンテンツにおける特定辺メモリ12aに記憶される特定辺Ss以外の辺の上に存在する場合は(S23:Yes)、特定辺Ssに特定されていない辺のみを移動させる場合である。かかる場合、まず、ドラッグ操作の始点の辺を取得し(S24)、取得された辺をドラッグ操作の終点に移動させる(S25)。
【0068】
一方でS23の処理において、ドラッグ操作の始点がコンテンツにおける特定辺メモリ12aに記憶される特定辺Ss以外の辺の上に存在しない場合は(S23:No)、S24,S25の処理をスキップする。S23,S25の処理の後、ドラッグ操作の始点が特定辺メモリ12aに記憶される特定辺Ssを有するコンテンツの領域内に存在するか否かを確認する(S26)。
【0069】
S26の処理において、ドラッグ操作の始点が特定辺メモリ12aに記憶される特定辺Ssを有するコンテンツの表示領域内に存在する場合は(S26:Yes)、図4(c2)で説明したように、対象のコンテンツの辺を特定辺Ssから解除すると共に、対象のコンテンツを移動させる場合である。かかる場合、まず、ドラッグ操作の始点が表示領域に含まれるコンテンツを取得する(S27)。S27の処理の後、特定辺メモリ12aの特定辺からS26の処理で取得されたコンテンツの辺を削除(解除)し(S28)、当該コンテンツの表示領域をドラッグ操作の終点まで移動させる(S29)。
【0070】
一方でS26の処理において、ドラッグ操作の始点が特定辺メモリ12aに記憶される特定辺Ssを有するコンテンツの表示領域内に存在しない場合は(S26:No)、S27~S29の処理をスキップする。S26,S29の処理の後、その他のタッチパネル3a,4aがドラッグ操作された際の処理を行い(S30)、ドラッグ処理を終了する。
【0071】
図7に戻る。S10の処理において、タッチパネル3a,4aがドラッグ操作されていない場合は(S10:No)、S11のドラッグ処理をスキップする。S10,S11の処理の後、ビデオスイッチャ1のその他の処理を実行し(S12)、S1以下の処理を繰り返す。
【0072】
以上、上記実施形態に基づき説明したが、種々の改良変更が可能であることは容易に推察できるものである。
【0073】
上記実施形態では、ビデオスイッチャ1へ画像や映像(動画、静止画等)を入力するのは、ビデオカメラ20やプレゼン用PC21としたが、これに限られない。例えば、ハードディスクレコーダやゲーム機等の他の装置から画像や映像を入力しても良い。また、通信装置18を介してインターネットW等から画像や映像を入力しても良い。或いは、ビデオスイッチャ1のフラッシュROM11に予め記憶された画像や映像を利用しても良い。このように外部から入力された画像や映像をビデオスイッチャ1のフラッシュROM11に記憶するようにしても良い。
【0074】
更に上記実施形態では、ビデオスイッチャ1に画像や映像を入力する入力元を、ビデオカメラ20a,20b及びプレゼン用PC21の3種類としたが、これに限られず、入力元は3種類以下でも3種類以上でも良い。例えば、2台のビデオカメラ20a,20b、1台のプレゼン用PC21、1台のゲーム機およびインターネットWから画像や映像を入力しても良い。
【0075】
また、ビデオスイッチャ1から複合映像Scを出力する出力先は、プロジェクタ22や配信用PC23に限られない。例えば、ビデオスイッチャ1の第1入力端子16a(図7参照)等に接続されたテレビや、インターネットWを介して接続されたスマートフォン等の他の装置に出力しても良い。
【0076】
更に上記実施形態では、ビデオスイッチャ1からの複合映像Scの出力先をプロジェクタ22及び配信用PC23の2種類としたが、これに限られず、出力先は2種類以下でも2種類以上でも良い。例えば、複合映像Scを2台のプロジェクタ22、1台のテレビ及び配信用PC23に出力しても良い。
【0077】
上記実施形態では、配信用PC23及び配信先PC24が接続されるネットワークをインターネットWとしたが、これに限られない。例えば、接続される配信先PC24が限定されるイントラネットでも良いし、その他の任意の通信システムにより構築された任意のネットワークでも良い。
【0078】
上記実施形態では、ビデオスイッチャ1に、左側タッチパネル3a及び左側LCD3bと、右側タッチパネル4a及び右側LCD4bとの2つのタッチパネル及びLCDの組み合わせを設けたが、これに限られない。ビデオスイッチャ1に設けられるタッチパネル及びLCDの組み合わせは、1つでも良いし、3つ以上でも良い。或いは、ビデオスイッチャ1にタッチパネル及びLCDの組み合わせを1つ設け、その1つのタッチパネル及びLCDの組み合わせの領域を2つ以上の複数に分割し、分割された領域ごとに設定モードや出力先を指定して複合映像Scの設定等を行っても良い。
【0079】
上記実施形態では、検索範囲Seとして、垂直方向の検索範囲Seと水平方向の検索範囲Seとの両方を用いたが、これに限られない。例えば、図9(a)のように、検索範囲Seを水平方向の検索範囲Seのみとしても良いし、図9(b)のように、検索範囲Seを垂直方向の検索範囲Seのみとしても良い。
【0080】
また検索範囲Seを複合映像Scの上端から下端まで、又は、左端から右端までといった端部から端部までの領域としたが、これに限られない。例えば、図9(c)のように、検索範囲Seを、指定位置を中心とした上下左右の所定の大きさ(例えば、水平方向:100ピクセル、垂直方向:80ピクセル)の矩形の領域としても良い。
【0081】
更に検索範囲Seは、上記のような矩形の領域に限られず、例えば、図9(d)のような指定位置を中心とした楕円の領域としても良いし、円形や多角形等の他の形状の領域としても良い。
【0082】
上記実施形態では、検索範囲Seに含まれるコンテンツの垂直方向の辺と、水平方向の辺との両方を特定辺Ssに特定したが、これに限られない。例えば、検索範囲Seに含まれるコンテンツの垂直方向の辺のみを特定辺Ssに特定しても良いし、検索範囲Seに含まれるコンテンツの水平方向の辺のみを特定辺Ssに特定しても良い。
【0083】
これらの場合、図9(a)のような水平方向の検索範囲Seでは、水平方向の辺のみを特定辺Ssに特定し、図9(b)のような垂直方向の検索範囲Seでは、垂直方向の辺のみを特定辺Ssに特定しても良い。また、コンテンツの垂直方向の辺と水平方向の辺とのどの方向の辺を特定辺Ssに特定するかを、ユーザHの指示を入力する各種の設定ボタン2で選択するか、左側タッチパネル3aや右側タッチパネル4aを用いてユーザHによるタッチ操作で検索範囲Seを定義・設定できるようにしても良い。
【0084】
上記実施形態では、図2(a3)のように、特定辺Ssを指定位置に整列したが、これに限られず、任意の位置に特定辺Ssを整列しても良い。例えば、図2(a3)のようにコンテンツC1の左側の辺とコンテンツC2の右側の辺とが特定辺Ssとされた場合に、コンテンツC1の左側の辺をコンテンツC2の右側の辺の位置まで移動させても良いし、これとは逆に、コンテンツC2の右側の辺をコンテンツC1の左側の辺の位置まで移動させても良い。
【0085】
上記実施形態では、図4(c2)のようにコンテンツC1~C3の表示領域をドラッグ操作することで、当該コンテンツC1~C3を特定辺Ssから解除したが、これに限られない。例えば、コンテンツC1~C3の表示領域を2回連続してタッチ操作(ダブルタップ)する等、ドラッグ操作以外の操作により、当該コンテンツC1~C3を特定辺Ssから解除しても良い。
【0086】
上記実施形態では、映像処理プログラム11aを実行する装置としてビデオスイッチャ1を例示したが、これに限られない。例えば、映像処理プログラム11aをPCやスマートフォン、タブレット端末等の情報処理装置で実行しても良い。
【符号の説明】
【0087】
1 ビデオスイッチャ(映像処理装置)
11a 映像処理プログラム
Sc 複合映像
C1~C3 コンテンツ
Ss 特定辺
3a,4a タッチパネル(入力手段、入力部)
S2 位置取得手段、位置取得ステップ
S5,S6 辺取得手段、辺特定手段、辺取得ステップ、辺特定ステップ
S7,S8 整列手段、整列ステップ
S25 特定辺移動手段
S28 特定辺解除手段
S29 コンテンツ移動手段
図1
図2
図3
図4
図5
図6
図7
図8
図9