特許 6208910 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6208910

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム

(51)【国際特許分類】

   H04N 21/2187 20110101AFI20170925BHJP

   H04N 21/2343 20110101ALI20170925BHJP

   H04N 21/2662 20110101ALI20170925BHJP

【ＦＩ】

   H04N21/2187

   H04N21/2343

   H04N21/2662

【請求項の数】15

【全頁数】32

(21)【出願番号】特願2017-84874(P2017-84874)

(22)【出願日】2017年4月21日

【審査請求日】2017年5月17日

【早期審査対象出願】

(73)【特許権者】

【識別番号】517144075

【氏名又は名称】合同会社ｃｕｖｉｅ

(74)【代理人】

【識別番号】100123526

【弁理士】

【氏名又は名称】宮川 壮輔

(74)【代理人】

【識別番号】100125036

【弁理士】

【氏名又は名称】深川 英里

(72)【発明者】

【氏名】江里口 徹平

【審査官】 福西 章人

(56)【参考文献】

【文献】 特開２０１３−８５１２８（ＪＰ，Ａ）

【文献】 特開２００９−２３２３１９（ＪＰ，Ａ）

【文献】 特開２０１０−１６５２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ５／７６−５／９５６

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

線上に順に配列された複数のカメラによって撮影されたそれぞれの動画像を前記線上のカメラの順に選択的に切り換えて表示装置に表示させる動画像処理装置であって、
前記それぞれの動画像の少なくとも一つを他の動画像と異なる解像度にして前記それぞれの動画像が互いに重ならないように配置した合成画像を生成する合成画像生成部と、
前記合成画像生成部が生成した合成画像を前記表示装置に出力し前記合成画像の一部である前記動画像を前記表示装置に選択的に表示させる合成画像出力部と、
前記表示装置から出力される前記動画像の切り換え指示を入力する切り換え指示入力部とを備え、
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を入力すると、前記それぞれの動画像のうち、前記表示装置から切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を表示装置に出力し前記切り換え指示された動画像を表示装置に表示させる動画像処理装置。

【請求項2】

前記合成画像出力部は、前記それぞれの動画像のうち、前記表示装置から切り換え指示された動画像が高解像度に設定され、当該動画像を撮影したカメラに対して前記線上において近くに配列されたカメラの動画像が中解像度に設定され、前記表示装置から切り換え指示された動画像を撮影したカメラに対して前記線上において遠くに配列されたカメラの動画像が低解像度に設定された合成画像を表示装置に出力する請求項１に記載の動画像処理装置。

【請求項3】

前記表示装置が前記切り換え指示を順次出力すると、前記切り換え指示入力部は前記切り換え指示を順次入力し、
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像に順次変更して前記表示装置に順次出力する請求項２に記載の動画像処理装置。

【請求項4】

前記合成画像生成部は、前記それぞれの動画像の少なくとも一つがあらかじめ高解像度に設定され前記少なくとも一つの動画像に対して前記線上において近くに配列されたカメラの動画像があらかじめ中解像度に設定され前記少なくとも一つの動画像に対して前記線上において遠くに配列されたカメラの動画像があらかじめ低解像度に設定された配置パターンに基づいて、前記それぞれの動画像ごとに複数の合成画像を生成し、
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記合成画像生成部がそれぞれの動画像ごとに生成した複数の合成画像の中から、前記切り換え指示された動画像が高解像度に設定された合成画像に変更して前記表示装置に順次出力する請求項３に記載の動画像処理装置。

【請求項5】

前記合成画像生成部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記切り換え指示された動画像を高解像度に設定し、前記切り換え指示された動画像に対して前記線上において近くに配列されたカメラの動画像を中解像度に設定し、前記切り換え指示された動画像に対して前記線上において遠くに配列されたカメラの動画像を低解像度にして合成画像を順次生成し、
前記合成画像出力部は、前記合成画像生成部が順次生成した合成画像を前記表示装置に順次出力する請求項３に記載の動画像処理装置。

【請求項6】

前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記切り換え指示された動画像が高解像度に設定された合成画像に代えて、前記切り換え指示された動画像が中解像度又は低解像度に設定され当該動画像を撮影したカメラに対して前記線上において切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像から前記切り換え方向の先に配列されたカメラの動画像までを順次切り換えて前記表示装置に表示させる請求項３から請求項５のいずれか一項に記載の動画像処理装置。

【請求項7】

前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記表示装置が前記動画像を切り換える切り換え速度が所定のしきい値よりも速い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像に代えて、前記切り換え指示された動画像が中解像度又は低解像度に設定され当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像から前記切り換え方向の先に配列されたカメラの動画像までを順次切り換えて前記表示装置に表示させ、前記切り換え速度が前記所定のしきい値よりも遅い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像を前記表示装置に表示させる請求項６に記載の動画像処理装置。

【請求項8】

前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記表示装置が前記動画像を切り換える切り換え速度が所定のしきい値よりも速い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像に代えて、前記切り換え指示された動画像が中解像度又は低解像度に設定され当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の遠くに配列されたカメラの動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像から前記切り換え方向の遠くに配列されたカメラの動画像までを順次切り換えて前記表示装置に表示させ、前記切り換え速度が前記所定のしきい値よりも遅い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像に代えて、前記切り換え指示された動画像が中解像度又は低解像度に設定され当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の近くに配列されたカメラの動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像から前記切り換え方向の近くに配列されたカメラの動画像までを順次切り換えて前記表示装置に表示させる請求項６に記載の動画像処理装置。

【請求項9】

前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記表示装置との通信速度が所定のしきい値よりも速い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像を順次切り換えて前記表示装置に表示させ、前記通信速度が前記所定のしきい値よりも遅い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像に代えて、前記切り換え指示された動画像が中解像度又は低解像度に設定され当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像から前記切り換え方向の遠くに配列されたカメラの動画像までを順次切り換えて前記表示装置に表示させる請求項７又は請求項８に記載の動画像処理装置。

【請求項10】

前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記切り換え指示された動画像が低解像度に設定され、当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の隣りに配列されたカメラの動画像が中解像度に設定され、前記切り換え方向のさらに隣りに配列されたカメラの動画像が高解像度に設定された合成画像を出力し前記切り換え指示された動画像、前記切り換え方向の隣りに配列されたカメラの動画像及び前記切り換え方向のさらに隣りに配列されたカメラの動画像を順次切り換えて前記表示装置に表示させる請求項６から請求項９のいずれか一項に記載の動画像処理装置。

【請求項11】

前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記切り換え指示された動画像が中解像度に設定され、当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の隣りに配列されたカメラの動画像が高解像度に設定された合成画像を出力し前記切り換え指示された動画像及び前記切り換え方向の隣りに配列されたカメラの動画像を順次切り換えて前記表示装置に表示させる請求項６から請求項１０のいずれか一項に記載の動画像処理装置。

【請求項12】

前記合成画像出力部は、１つのカメラが撮影した動画像を前記表示装置が連続して表示する表示時間が所定のしきい値を超えると、前記表示装置が表示している動画像以外の他の動画像が低解像度に設定された合成画像を出力する請求項２から請求項１１のいずれか一項に記載の動画像処理装置。

【請求項13】

動画像を表示する表示装置と、線上に順に配列された複数のカメラによって撮影されたそれぞれの動画像を前記線上のカメラの順に選択的に切り換えて前記表示装置に表示させる動画像処理装置とを備える動画像処理システムであって、
前記動画像処理装置は、
前記それぞれの動画像の少なくとも一つを他の動画像と異なる解像度にして前記それぞれの動画像が互いに重ならないように配置した合成画像を生成する合成画像生成部と、
前記合成画像生成部が生成した合成画像を前記表示装置に出力し前記合成画像の一部である前記動画像を前記表示装置に選択的に表示させる合成画像出力部と、
前記表示装置から出力される前記動画像の切り換え指示を入力する切り換え指示入力部とを備え
前記表示装置は、
前記動画像を切り換える切り換え指示を動画像処理装置に出力する切り換え指示出力部と、
前記合成画像出力部が出力した合成画像の一部である前記動画像を選択的に表示する表示部とを備え、
前記合成画像出力部は、前記切り換え指示出力部が出力した前記切り換え指示を前記切り換え指示入力部が入力すると、前記それぞれの動画像のうち、切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を表示装置に出力し、
前記表示部は、前記合成画像出力部が出力した合成画像のうち前記切り換え指示された動画像を選択的に表示する動画像処理システム。

【請求項14】

線上に順に配列された複数のカメラによって撮影されたそれぞれの動画像を前記線上のカメラの順に選択的に切り換えて表示装置に表示させる動画像処理方法であって、
合成画像生成部が、前記それぞれの動画像の少なくとも一つを他の動画像と異なる解像度にして前記それぞれの動画像が互いに重ならないように配置した合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成された合成画像の一部である前記動画像を選択的に表示させるように前記合成画像を前記表示装置に出力する合成画像出力ステップと、
切り換え指示入力部が、前記表示装置から出力される動画像の切り換え指示を入力する切り換え指示入力ステップと、
前記切り換え指示入力ステップにおいて前記切り換え指示入力部が前記切り換え指示を入力すると、前記合成画像出力部が、前記それぞれの動画像のうち、前記表示装置から切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を表示装置に出力し前記切り換え指示された動画像を表示装置に表示させる動画像切り換えステップとを含む動画像処理方法。

【請求項15】

線上に順に配列された複数のカメラによって撮影されたそれぞれの動画像を前記線上のカメラの順に選択的に切り換えて表示装置に表示させる動画像処理装置におけるプログラムであって、
合成画像生成部が、前記それぞれの動画像の少なくとも一つを他の動画像と異なる解像度にして前記それぞれの動画像が互いに重ならないように配置した合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成された合成画像の一部である前記動画像を選択的に表示させるように前記合成画像を前記表示装置に出力する合成画像出力ステップと、
切り換え指示入力部が、前記表示装置から出力される動画像の切り換え指示を入力する切り換え指示入力ステップと、
前記切り換え指示入力ステップにおいて前記切り換え指示入力部が前記切り換え指示を入力すると、前記合成画像出力部が、前記それぞれの動画像のうち、前記表示装置から切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を表示装置に出力し前記切り換え指示された動画像を表示装置に表示させる動画像切り換えステップとを前記動画像処理装置のコンピュータに実行させる動画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像を処理する動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラムに関する。

【背景技術】

【0002】

近年、通信技術の発達により、動画像の送受信がより多く行われるようになっている。動画像の品質要求は年々高まってきており、より高品質な動画像の送受信が求められている。従来、このような動画像において、複数の動画像を合成して送受信することが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−２７１９０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、動画像を適切に処理することができるデータ量や処理量は装置のスペックによって制限があるため、制限されたデータ量や処理量のもとで複数の動画像を単に合成して送受信しようとすると、視聴者が見たい動画像をより高品質な状態で表示することが困難になるという問題がある。

【0005】

以上に鑑みて、本発明は、限られたスペックの中で視聴者がより楽しめるように動画像を表示することができる動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に開示する動画像処理装置は、線上に順に配列された複数のカメラによって撮影されたそれぞれの動画像を前記線上のカメラの順に選択的に切り換えて表示装置に表示させる動画像処理装置であって、前記それぞれの動画像の少なくとも一つを他の動画像と異なる解像度にして前記それぞれの動画像が互いに重ならないように配置した合成画像を生成する合成画像生成部と、前記合成画像生成部が生成した合成画像を前記表示装置に出力し前記合成画像の一部である前記動画像を前記表示装置に選択的に表示させる合成画像出力部と、前記表示装置から出力される前記動画像の切り換え指示を入力する切り換え指示入力部とを備え、前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を入力すると、前記それぞれの動画像のうち、前記表示装置から切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を表示装置に出力し前記切り換え指示された動画像を表示装置に表示させる。

【発明の効果】

【0007】

本願の一観点によれば、限られたスペックの中で視聴者がより楽しめるように動画像を表示することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る動画像処理システムおよび動画像処理装置を示す全体構成図である。

【図2】通信速度対応テーブルを示す説明図である。

【図3】複数のカメラの配列と被写体との位置関係を示す説明図である。

【図4】表示部において動画像が切り換えられていく様子を示す説明図である。

【図5】合成画像における動画像の配置を示す説明図である。

【図6】図５における合成画像のカメラの配列を示す説明図である。

【図7】図５とは別の合成画像における動画像の配置を示す説明図である。

【図8】図７における合成画像のカメラの配列を示す説明図である。

【図9】一時点における全ての合成画像を示す説明図である。

【図10】動画像処理装置の動作を示すフローチャートである。

【図11】図５および図７とは別の合成画像における動画像の配置を示す説明図である。

【図12】図５、図７および図１２とは別の合成画像における動画像の配置を示す説明図である。

【図13】第２の実施形態に係る動画像処理装置の動作を示すフローチャートである。

【図14】合成画像における動画像の配置パターンに関する第１の変形例を示す説明図である。

【図15】合成画像における動画像の配置パターンに関する第２の変形例を示す説明図である。

【図16】合成画像における動画像の配置パターンに関する第３の変形例を示す説明図である。

【図17】合成画像における動画像の配置パターンに関する第４の変形例を示す説明図である。

【図18】合成画像における動画像の配置パターンに関する第５の変形例を示す説明図である。

【発明を実施するための形態】

【0009】

［第１の実施形態］
以下、本発明の第１の実施形態における動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラムについて、図面を参照して説明する。
図１は、本発明の第１実施形態としての動画像処理システム１を示す全体構成図である。
動画像処理システム１は、表示装置２０と動画像処理装置１０とを備えている。これら表示装置２０と動画像処理装置１０とは、ネットワークを介して互いに接続されている。

【0010】

表示装置２０は、制御部２０１と、通信部（切り換え指示出力部）２０２と、記憶部２０３と、表示部２０４と、操作部２０５とを備えている。
通信部２０２は、例えば、各種通信デバイスなどからなり、動画像処理装置１０から送信された合成画像データを入力する。なお、合成画像データについては、後述するものとする。また、通信部２０２は、制御部２０１が出力した、後述する切り換え指示信号を動画像処理装置１０に送信する。
記憶部２０３は、例えば、ハードディスクやメモリなどからなり、通信部２０２が入力した合成画像データの他、各種プログラムや作業データなどを記憶する。

【0011】

表示部２０４は、例えばモニタなどからなり、記憶部２０３が記憶した合成画像データのうち、一つのカメラで撮影された一つの動画像領域のみを択一的に選択して動画像として表示する。
操作部２０５は、例えばキーボード、マウス、タッチパッドまたはボタンなどからなり、ユーザからの各種指示を受け付け、各種の指示信号を制御部２０１に出力する。例えば、操作部２０５は、表示部２０４が動画像を表示しているときに、ユーザが動画像の表示の切り換え操作を行うと、動画像の切り換え操作指示信号を制御部２０１に出力する。

【0012】

制御部２０１は、例えばＣＰＵ等からなり、装置全体の制御を行う。また、制御部２０１は、記憶部２０３が記憶した合成画像データを読み出して、表示部２０４に出力する。さらに、制御部２０１は、操作部２０５が出力した切り換え操作指示信号を入力し、当該切り換え操作指示信号を通信部２０２に出力する。

【0013】

動画像処理装置１０は、制御部１０１と、通信部（切り換え指示入力部）１０２と、記憶部１０３と、表示部１０４と、操作部１０５と、動画像入力部１０６とを備えている。
通信部１０２は、例えば、各種通信デバイスなどからなり、各種の合成画像データを表示装置２０に送信する。また、通信部１０２は、表示装置２０から送信された切り換え指示を入力し、この切り換え指示を制御部１０１に出力する。

【0014】

記憶部１０３は、例えば、ハードディスクやメモリなどからなり、動画像入力部１０６が入力した各種動画像データや、後述する合成画像生成部１０１ｂが生成した各種合成画像データの他、各種プログラムや作業データなどを記憶する。また、記憶部１０３は、図２に示すように、表示装置２０と動画像処理装置１０との間の通信速度と、切り換え速度のしきい値とが対応付けられた通信速度対応テーブルを記憶する。この通信速度対応テーブルにおいては、通信速度が遅いと切り換え速度のしきい値が大きくなり、通信速度が速くなるにつれて段階的にしきい値が小さくなるように設定されている。例えば、しきい値は以下の式に基づいて設定される。
しきい値＝最小動画像単位のデータ量（Ｍｂ）／通信速度（Ｍｂｐｓ）
具体的には、しきい値（１．５秒）＝最小動画像単位のデータ量（１５Ｍｂ）／通信速度（１０Ｍｂｐｓ）となる。

【0015】

表示部１０４は、例えばモニタなどからなり、動画像を処理するための処理画面等を表示する。
操作部１０５は、例えばキーボード、マウス、タッチパッドまたはボタンなどからなり、ユーザからの各種指示を受け付け、各種の指示信号を制御部１０１に出力する。
動画像入力部１０６は、例えばＵＳＢおよびＣＤ-ＲＯＭなどの各種記憶媒体に記憶された動画像データや通信装置から送信された動画像データを入力し、制御部１０１に出力する。

【0016】

制御部１０１は、例えばＣＰＵ等からなり、メイン制御部１０１ａと、合成画像生成部１０１ｂと、合成画像出力部１０１ｃとを備えている。また、制御部１０１は、切り換え方向検知部１０１ｄと、切り換え速度検知部１０１ｅと、通信速度検知部１０１ｆとを備えている。
メイン制御部１０１ａは、装置全体の制御を行う。
合成画像生成部１０１ｂは、記憶部１０３が記憶した動画像データに基づいて、各種合成画像データを生成する。
合成画像出力部１０１ｃは、記憶部１０３が記憶した各種合成画像データの中から、特定の合成画像データを抽出し通信部１０２に出力する。

【0017】

切り換え方向検知部１０１ｄは、通信部１０２が順次入力した切り換え指示から、切り換え方向を検知する。
切り換え速度検知部１０１ｅは、通信部１０２が順次入力した切り換え指示から、切り換え速度を検知する。なお、切り換え速度とは、メイン制御部１０１ａが直前の切り換え指示信号を入力したときから最新の切り換え指示信号を入力するまでの間の経過時間をいうものである。
通信速度検知部１０１ｆは、動画像処理装置１０と表示装置２０との間の通信速度を検知する。

【0018】

次いで、動画像データを撮影するカメラの設置状況等について説明する。
図３に示すように、複数のカメラＣ１〜Ｃ２０が、被写体Ｐを中心点にして、円周上に配置されている。すなわち、カメラＣ１〜Ｃ２０は、被写体Ｐに対して全て径方向に同一の距離であって、かつ互いに周方向に均等間隔を空けて２０台設置されている。換言すれば、カメラＣ１〜Ｃ２０は、仮想的な円周線Ｌ上に順に配列されている。
カメラＣ１〜Ｃ２０が撮影する動画像の解像度は、すべて１９２０×１０８０ピクセルとする。

【0019】

このような構成のもと、例えばカメラＣ１が撮影した動画像を表示装置２０が表示しているときに、カメラＣ１に対して円周線Ｌ上に配列されたカメラが撮影した動画像への切り換え指示操作をユーザが行うと、図４に示すように、表示装置２０は、カメラＣ１が撮影した動画像から、円周線Ｌ上において隣り合うカメラＣ２が撮影した動画像へと動画像を切り換える。そして、表示装置２０は、ユーザからの切り換え指示操作が円周線Ｌ上に連続的に行われると、カメラＣ１からカメラＣ２、カメラＣ３、カメラＣ４へと連続的に順次切り換える。
なお、表示装置２０は、カメラＣ１とカメラＣ２０との間も連続的に順次切り替えるようになっており、そのため、カメラＣ１〜Ｃ２０は円周線Ｌ上の左右方向のいずれの方向にも循環して切り換えられるようになっている。
また、図４においては、カメラＣ１０からカメラＣ１９までの動画像の図示を省略しているのは言うまでもない。

【0020】

次いで、合成画像生成部１０１ｂが生成する合成画像について説明する。
図５は、カメラＣ１が撮影した動画像Ｄ１が高解像度に設定された合成画像Ｆ１を示す説明図である。図５における動画像Ｄ１〜Ｄ２０の数字が、撮影したカメラＣ１〜Ｃ２０の数字と対応している。
図５に示すように、カメラＣ１〜Ｃ２０が撮影した動画像Ｄ１〜Ｄ２０に対して、解像度を異ならせて、かつ互いに重ならないように配置して合成したものが合成画像である。例えば、カメラＣ１が撮影した動画像Ｄ１が１９２０×１０８０ピクセルの高解像度に設定され、カメラＣ２，Ｃ３，Ｃ２０，Ｃ１９が撮影した動画像Ｄ２，Ｄ３，Ｄ２０，Ｄ１９が１４４０×８１０ピクセルの中解像度に設定され、カメラＣ４〜Ｃ１８が撮影した動画像Ｄ４〜Ｄ１８が９６０×５４０ピクセルの低解像度に設定される。これが合成画像Ｆ１となる。
なお、「重ならないように」とは、各動画像のドットが重複しないように設定することであり、各動画像が視覚的に互いに影響を及ぼさないように設定することをいう。

【0021】

合成画像の解像度は、あらかじめ設定された配置パターンに基づいて設定される。例えば、図６に示すように、あるカメラＣ１が撮影した動画像Ｄ１が高像度に設定され、このカメラＣ１に対して円周線Ｌ上の両方向に順に２台分隣り合うカメラＣ２，Ｃ３，Ｃ２０，Ｃ１９が撮影した動画像Ｄ２，Ｄ３，Ｄ２０，Ｄ１９が中解像度に設定され、これら順に２台分隣り合うカメラＣ２，Ｃ３，Ｃ２０，Ｃ１９のさらに円周線Ｌ上の両方向に順に隣り合うカメラＣ４〜Ｃ１８が撮影した動画像Ｄ４〜Ｄ１８が低解像度に設定される。

【0022】

図７は、カメラＣ２が撮影した動画像Ｄ２が高解像度に設定された合成画像Ｆ２を示す説明図である。
図７に示すように、カメラＣ２が撮影した動画像Ｄ２が高解像度に設定され、カメラＣ３，Ｃ４，Ｃ１，Ｃ２０が撮影した動画像Ｄ３，Ｄ４，Ｄ１，Ｄ２０が中解像度に設定され、カメラＣ５〜Ｃ１９が撮影した動画像Ｄ５〜Ｄ１９が低解像度に設定されている。
すなわち、あらかじめ設定された配置パターンにおいて、図８に示すように、あるカメラＣ２が撮影した動画像Ｄ２が高像度に設定され、このカメラＣ２に対して円周線Ｌ上の両方向に順に２台分隣り合うカメラＣ３，Ｃ４，Ｃ１，Ｃ２０が撮影した動画像Ｄ３，Ｄ４，Ｄ１，Ｄ２０が中解像度に設定され、これら順に２台分隣り合うカメラＣ３，Ｃ４，Ｃ１，Ｃ２０のさらに円周線Ｌ上の両方向に隣り合うカメラＣ５〜Ｃ１９が撮影した動画像Ｄ５〜Ｄ１９が低解像度に設定される。
図９に示すように、合成画像生成部１０１ｂは、あらかじめ設定された配置パターンに基づいて、カメラＣ１〜Ｃ２０が撮影した各動画像Ｄ１〜Ｄ２０が高解像度に設定される２０種類全ての合成画像Ｆ１〜Ｆ２０を生成する。なお、図９では、ある時間ｔ１における各合成画像Ｆ１〜Ｆ２０のみが示されているが、さらに時間ｔ２、ｔ３・・・と時間が経過するにつれて、フレームレートに応じて新たな合成画像Ｆ１〜Ｆ２０を合成画像生成部１０１ｂが生成していくことは言うまでもない。

【0023】

次に、動画像処理システム１の処理動作について、図１０を参照して説明する。
まず、カメラＣ１〜Ｃ２０が被写体Ｐを撮影し、それら動画像データを動画像処理装置１０に出力する。動画像入力部１０６は、それら動画像データを入力し、制御部１０１に出力する。メイン制御部１０１ａは、それら動画像データを入力すると、記憶部１０３に出力し、記憶部１０３がそれら動画像データを記憶する。
このような状態で、表示装置２０において、ユーザの操作に基づいて操作部２０５が再生指示信号を制御部２０１に出力すると、制御部２０１が再生指示信号を入力し通信部２０２に出力する。通信部２０２は、その再生指示信号を入力すると、動画像処理装置１０に再生指示信号を送信する。

【0024】

動画像処理装置１０の通信部１０２は、表示装置２０が送信した再生指示信号を入力し、制御部１０１に再生指示信号を出力する。メイン制御部１０１ａは、その再生指示信号を入力すると、合成画像生成部１０１ｂに再生指示信号を出力する。合成画像生成部１０１ｂは、再生指示信号を入力すると、記憶部１０３からカメラＣ１〜Ｃ２０の動画像データを読み出し、図９に示す合成画像Ｆ１〜Ｆ２０を生成する（ステップＳ１）。このとき、合成画像生成部１０１ｂは、図５および図６に示すように、あらかじめ決められた配置パターンに基づいて、例えばカメラＣ１が撮影した動画像Ｄ１を高解像度に設定し、カメラＣ２，Ｃ３，Ｃ２０，Ｃ１９が撮影した動画像Ｄ２，Ｄ３，Ｄ２０，Ｄ１９を中解像に設定し、他のカメラＣ４〜Ｃ１８が撮影した動画像Ｄ４〜Ｄ１８を低解像度に設定して合成画像を生成する。さらに、合成画像生成部１０１ｂは、図９に示すように、すべてのカメラＣ１〜Ｃ２０が撮影した動画像Ｄ１〜Ｄ２０をそれぞれ高解像に設定した２０種類の合成画像Ｆ１〜Ｆ２０を生成し、記憶部１０３がそれら合成画像Ｆ１〜Ｆ２０を記憶する。

【0025】

合成画像生成部１０１ｂは、それぞれの合成画像Ｆ１〜Ｆ２０を生成すると、メイン制御部１０１ａに生成信号を出力する。メイン制御部１０１ａは、生成信号を入力すると、通信速度検知部１０１ｆに速度検知指示信号を出力する。通信速度検知部１０１ｆは、その速度検知指示信号を入力すると、表示装置２０と動画像処理装置１０との間の通信速度を検知する。例えば、通信速度検知部１０１ｆは、通信部１０２を介して通信速度検知指示信号を表示装置２０に送信する。表示装置２０の制御部２０１は、通信部２０２を介してその通信速度検知指示信号を入力すると、通信部２０２を介して通信速度検知応答を動画像処理装置１０に送信する。通信速度検知部１０１ｆは、通信部１０２を介してその通信速度検知応答を入力して、通信速度検知指示信号の送信から通信速度検知応答の入力までの時間を通信速度として検知する。そして、通信速度検知部１０１ｆは、図２に示す通信速度対応テーブルを記憶部１０３から読み出し、切り換え速度のしきい値を設定する（ステップＳ２）。例えば、通信速度検知部１０１ｆが通信速度を５．５Ｍｂｐｓであると検知すると、切り換え速度のしきい値を２秒に設定して、そのしきい値を記憶部１０３が記憶する。

【0026】

そして、通信速度検知部１０１ｆは、切り換え速度のしきい値を設定すると、メイン制御部１０１ａに設定完了信号を出力する。メイン制御部１０１ａは、設定完了信号を入力すると、合成画像出力部１０１ｃに合成画像出力指示信号を出力する。合成画像出力部１０１ｃは、合成画像出力指示信号を入力すると、カメラＣ１が撮影した動画像Ｄ１が高解像度に設定された図５に示す合成画像Ｆ１を記憶部１０３から読み出し、通信部１０２に出力する。通信部１０２は、合成画像Ｆ１を入力すると、表示装置２０に合成画像Ｆ１を送信する。すなわち、合成画像出力部１０１ｃが通信部１０２を介して合成画像Ｆ１を表示装置２０に送信する（ステップＳ３）。
表示装置２０の通信部２０２が、その合成画像Ｆ１を入力すると、制御部２０１に出力する。制御部２０１は、合成画像Ｆ１を入力すると表示部２０４に出力する。表示部２０４は、その合成画像Ｆ１を入力すると、動画像単位で配置された合成画像Ｆ１の領域から、高解像度に設定された動画像Ｄ１の領域のみを択一的に選択し動画像Ｄ１のみを表示する。これにより、カメラＣ１が撮影した動画像Ｄ１が表示画面に表示される。

【0027】

この状態で、例えばユーザが表示画面を指でタッチしながら、その指を画面上の右方向または左方向に連続的に動かす。この動作により、表示される動画像の切り換えをユーザが指示する。なお、表示される動画像の切り換えをユーザが指示することは、動画像を撮影したカメラを切り換えることである。例えば、ユーザが指を右方向の直線上に連続的に動かして、表示される動画像の切り換えを順次指示することは、表示対象となる動画像を撮影したカメラＣ１〜Ｃ２０を図３に示す円周線Ｌ上において左回りに順次切り換えることを意味する。一方、ユーザが指を左方向の直線上に連続的に動かして、表示される動画像の切り換えを順次指示することは、表示対象となる動画像を撮影したカメラＣ２０〜Ｃ１を円周線Ｌ上において右回りに順次切り換えることを意味する。これらカメラＣ１〜Ｃ２０が円周線Ｌ上において同一方向に順次切り換えられるときのその同一方向が動画像の切り換え方向となる。

【0028】

さて、ユーザが操作部２０５を操作すると、操作部２０５は、動画像の切り換え操作指示信号を制御部２０１に出力する。制御部２０１は、その切り換え操作指示信号を入力すると、切り換え指示信号を生成する。切り換え指示信号は、切り換え操作指示と切り換え動画像識別情報とを含むものである。切り換え動画像識別情報は、表示されている動画像から切り換え指示された動画像を識別するものである。例えば、動画像Ｄ１が表示されているときに、ユーザが画面上において指を右方向に動かすと、切り換え動画像識別情報は、カメラＣ１に対して円周線Ｌ上において左回りに隣り合うカメラＣ２が撮影した動画像Ｄ２を識別するものとなる。すなわち、制御部２０１は、現在表示されている動画像Ｄ１に対して、切り換え指示された動画像Ｄ２を識別するための切り換え動画像識別情報を生成して、この切り換え動画像識別情報および切り換え操作指示を切り換え指示信号として通信部２０２に出力する。
通信部２０２は、切り換え指示信号を入力すると、動画像処理装置１０に切り換え指示信号を送信する。

【0029】

動画像処理装置１０の通信部１０２は、切り換え指示信号を入力すると、制御部１０１に切り換え指示信号を出力する。メイン制御部１０１ａは、通信部１０２の出力を読み出し（ステップＳ４）、切り換え指示があったか否かを判定する（ステップＳ５）。すなわち、メイン制御部１０１ａは、通信部１０２から出力された切り換え指示信号を読み出して入力すると、切り換え指示があったと判定し、切り換え指示信号が読み出せなかったら切り換え指示がないと判定する。
なお、メイン制御部１０１ａは、切り換え指示信号を入力すると、切り換え指示信号の入力タイミング時間、入力回数および切り換え動画像識別情報を記憶部１０３に順次記憶する。

【0030】

メイン制御部１０１ａは、通信部１０２から出力された切り換え指示信号を読み出して入力し、切り換え指示があったと判定すると（ステップＳ５：Ｙｅｓ）、切り換え速度検知部１０１ｅに切り換え速度検知指示信号を出力する。切り換え速度検知部１０１ｅは、その切り換え速度検知指示信号を入力すると、動画像の切り換え速度を検知する（ステップＳ６）。すなわち、切り換え速度検知部１０１ｅは、表示装置２０から出力された再生指示信号に基づいて合成画像出力部１０１ｃが最初に合成画像Ｆ１を出力したときから、メイン制御部１０１ａが最新の切り換え指示信号を入力するまでの間に、メイン制御部１０１ａが切り換え指示信号を入力していない場合には、合成画像出力部１０１ｃが最初に合成画像Ｆ１を出力したときから、メイン制御部１０１ａが最新の切り換え指示信号を入力するまでの経過時間を動画像の切り換え速度として算出する。一方、切り換え速度検知部１０１ｅは、合成画像出力部１０１ｃが最初に合成画像Ｆ１を出力したときから、メイン制御部１０１ａが最新の切り換え指示信号を入力するまでの間に、メイン制御部１０１ａが切り換え指示信号を入力していた場合には、メイン制御部１０１ａが直前の切り換え指示信号を入力したときから最新の切り換え指示信号を入力するまでの間の経過時間を動画像の切り換え速度として算出する。そして、切り換え速度検知部１０１ｅは、算出した切り換え速度をメイン制御部１０１ａに出力する。

【0031】

メイン制御部１０１ａは、その切り換え時間を入力すると、切り換え時間が所定のしきい値よりも速いか否かを判定する（ステップＳ７）。ここでは、このしきい値は例えば２秒に設定されている。
メイン制御部１０１ａは、切り換え時間がしきい値よりも速いと判定すると（ステップＳ７：Ｙｅｓ）、切り換え時間がしきい値よりも速い切り換え指示が連続して３回目以上か否かを判定する（ステップＳ８）。すなわち、メイン制御部１０１ａは、表示装置２０から出力された再生指示信号に基づいて合成画像出力部１０１ｃが最初に合成画像Ｆ１を出力したときから、メイン制御部１０１ａが最新の切り換え指示信号を入力するまでの間に、メイン制御部１０１ａが切り換え指示信号を入力したそれぞれの入力タイミング時間と入力回数とを記憶部１０３から読み出し，これら入力タイミング時間および入力回数に基づいて、切り換え時間がしきい値以内となっている切り換え指示が連続して３回目以上か否かを判定する。

【0032】

メイン制御部１０１ａは、切り換え指示が連続して３回目以上であると判定すると（ステップＳ８：Ｙｅｓ）、切り換え方向検知信号を切り換え方向検知部１０１ｄに出力する。切り換え方向検知部１０１ｄは、その切り換え方向検知信号を入力すると、切り換え指示の切り換え方向を検知して（ステップＳ９）、検知結果をメイン制御部１０１ａに出力する。すなわち、切り換え方向検知部１０１ｄは、切り換え時間がしきい値より速い連続した切り換え指示に対して、記憶部１０３が記憶した切り換え動画像識別情報を読み出して、切り換え方向を検知する。
例えば、動画像Ｄ１が表示されている場合において、１回目の切り換え動画像識別情報が動画像Ｄ２であり、２回目および３回目の切り換え動画像識別情報がＤ３，Ｄ４と続く場合には、切り換え方向検知部１０１ｄは、動画像の切り換え方向が、図３に示す円周線Ｌ上において左回り方向であると検知する。

【0033】

そして、メイン制御部１０１ａは、切り換え方向検知部１０１ｄが出力した検知結果を入力すると、動画像の切り換え方向がすべて同じ方向であるか否かを判定する（ステップＳ１０）。例えば、動画像Ｄ１が表示されている場合において、１回目の切り換え動画像識別情報が動画像Ｄ２であり、２回目および３回目の切り換え動画像識別情報がＤ３，Ｄ４と続く場合には、メイン制御部１０１ａは、動画像の切り換え方向が、円周線Ｌ上においてすべて左回り方向の同方向であると判定する。一方、動画像Ｄ１が表示されている場合において、１回目の切り換え動画像識別情報が動画像Ｄ２であり、２回目および３回目の切り換え動画像識別情報がＤ３，Ｄ２と続く場合には、メイン制御部１０１ａは、動画像の切り換え方向が、円周線Ｌ上において同方向ではないと判定する。

【0034】

メイン制御部１０１ａは、切り換え方向が同方向ではないと判定した場合（ステップＳ１０：Ｎｏ）、またはステップＳ７において切り換え時間が所定のしきい値よりも遅いと判定した場合（ステップＳ７：Ｎｏ）、またはステップＳ８において切り換え指示が連続して３回以上でないと判定した場合（ステップＳ８：Ｎｏ）、通常の切り換え指示信号を合成画像出力部１０１ｃに出力する。
合成画像出力部１０１ｃは、通常の切り換え指示信号を入力すると、記憶部１０３が記憶した最新の切り換え動画像識別情報に基づいて切り換え指示された動画像が高解像度に設定された合成画像（通常の合成画像）を記憶部１０３から読み出して、通信部１０２を介して表示装置２０に送信する（ステップＳ１１）。例えば、動画像Ｄ１が表示されている場合において、記憶部１０３が記憶した最新の切り換え動画像識別情報が動画像Ｄ２である場合には、合成画像出力部１０１ｃは、通信部１０２を介して合成画像Ｆ２を出力する。

【0035】

表示装置２０の制御部２０１は、通信部２０２を介してその合成画像を入力し、表示部２０４に出力する。表示部２０４は、その合成画像を入力すると、合成画像のうち高解像度に設定された動画像を択一的に選択し表示する。例えば、表示部２０４は、合成画像Ｆ１における動画像Ｄ１を表示しているときに、合成画像Ｆ２を入力すると、合成画像Ｆ２における動画像Ｄ２のみを表示する。
これにより、画面上において、動画像が切り換えられる。
なお、動画像処理装置１０において、ステップＳ１１の後、制御部１０１は、ステップＳ４に戻って処理を繰り返す。

【0036】

また、ステップＳ１０において、メイン制御部１０１ａは、動画像の切り換え方向がすべて同じ方向であると判定すると（ステップＳ１０：Ｙｅｓ）、通常の切り換え指示信号に代えて、緊急の切り換え指示信号を合成画像出力部１０１ｃに出力する。合成画像出力部１０１ｃは、緊急の切り換え指示信号を入力すると、記憶部１０３が記憶した最新の切り換え動画像識別情報を読み出し、切り換え指示された動画像が高解像度に設定された合成画像に代えて、切り換え指示された動画像が低解像度に設定された合成画像（緊急の合成画像）を記憶部１０３から読み出し、通信部１０２を介してその合成画像を表示装置２０に送信する（ステップＳ１２）。このときの合成画像は、例えば、図１１に示すように、切り換え指示された動画像Ｄ４が低解像度に設定され、動画像Ｄ４を撮影したカメラＣ４に対して円周線Ｌ上において左回り方向に隣りに２つ分配列されたカメラＣ５，Ｃ６の動画像Ｄ５，Ｄ６が中解像度に設定され、これらカメラＣ５，Ｃ６に対して左回り方向に隣りにさらに１つ分配列されたカメラＣ７の動画像Ｄ７が高解像度に設定され、このカメラＣ７に対して左回り方向に隣りにさらに２つ分配列されたカメラＣ８，Ｃ９の動画像Ｄ８，Ｄ９が中解像度に設定され、このカメラＣ９からカメラＣ４の間に配列されたカメラＣ３〜Ｃ１０の動画像Ｄ３〜Ｄ１０が低解像度に設定された合成画像Ｆ７となる。

【0037】

表示装置２０の表示部２０４は、上記と同様に、合成画像Ｆ７に基づいて、切り換え指示された動画像Ｄ４を表示する。このとき、動画像Ｄ４は低解像度に設定されているが、ユーザからの所定の速さによる切り換え指示に応じて所定の速さで動画像が切り換えられているため、低解像度による表示はユーザにとってさほど気にはならない。それよりも、動画像処理装置１０から送信される合成画像では切り換え表示が間に合わない場合、すなわち通信による処理スピードが間に合わないくらいの速さでユーザからの同方向の切り換え指示操作があった場合、表示部２０４は、最新の合成画像Ｆ７の領域内において、表示する動画像をＤ４からＤ５，Ｄ６，Ｄ７，Ｄ８，Ｄ９へと順次切り換えていく。

【0038】

ここまでのステップＳ１からＳ１２に関して、いくつかのバリエーションにより具体例を交えて説明する。
（バリエーション１）
例えば、動画像Ｄ１が１分間表示されている場合に、ユーザが画面上において指を右方向に連続的に動かして、動画像Ｄ１からＤ５までをそれぞれ２秒を越える切り換え時間で切り換え指示動作を行うものとする。
まず、表示装置２０が、上述したように、動画像Ｄ１からＤ２への切り換え指示信号を送信すると、メイン制御部１０１ａが、ステップＳ７において切り換え時間が所定のしきい値２秒よりも遅いと判定することにより（ステップＳ７：Ｎｏ）、合成画像出力部１０１ｃが、通信部１０２を介して合成画像Ｆ１に代えて合成画像Ｆ２（図７に示す）を表示装置２０に送信する（ステップＳ１１）。
表示装置２０の表示部２０４は、合成画像Ｆ２に基づいて動画像Ｄ２のみを択一的に選択して、動画像Ｄ１から動画像Ｄ２に切り換えて表示する。

【0039】

同様にして、メイン制御部１０１ａが、ステップＳ７において切り換え時間が所定のしきい値２秒よりも遅いと判定することにより（ステップＳ７：Ｎｏ）、合成画像出力部１０１ｃが、通信部１０２を介して合成画像Ｆ２に代えて合成画像Ｆ３を表示装置２０に送信し、続いて合成画像Ｆ３，Ｆ４に代えてそれぞれ合成画像Ｆ４，Ｆ５を送信していく（ステップＳ１１）。
表示装置２０の表示部２０４は、合成画像Ｆ３に基づいて動画像Ｄ３のみを択一的に選択して、動画像Ｄ２から動画像Ｄ３に切り換えて表示し、続いて合成画像Ｆ４，Ｆ５に基づいて動画像Ｄ４，Ｄ５へと切り換えていく。
これによって、図４に示すように、円周線Ｌ上において左方向に配列されたカメラＣ１からＣ５へと順に動画像がＤ１からＤ５へと切り換えられてそれぞれ高解像度によって表示される。

【0040】

（バリエーション２）
次に、例えば動画像Ｄ１が１分間表示されている場合に、ユーザが画面上において指を右方向に連続的に動かして、動画像Ｄ１からＤ５までを２秒以下の切り換え速度で連続的に切り換え指示動作を行い、続けて動画像Ｄ５からＤ１０までを通信による処理スピードが間に合わないくらいの速い切り換え時間で連続的に切り換え指示動作を行うものとする。
まず、表示装置２０が、上述したように、動画像Ｄ１からＤ２への切り換え指示信号を送信すると、メイン制御部１０１ａが、ステップＳ７において切り換え時間が所定のしきい値よりも遅いと判定することにより（ステップＳ７：Ｎｏ）、合成画像出力部１０１ｃは、通信部１０２を介して合成画像Ｆ１に代えて合成画像Ｆ２（図７に示す）を表示装置２０に送信する（ステップＳ１１）。
表示装置２０の表示部２０４は、合成画像Ｆ２に基づいて動画像Ｄ２のみを択一的に選択して、動画像Ｄ１から動画像Ｄ２に切り換えて表示する。

【0041】

さらに、表示装置２０は、動画像Ｄ２からＤ３への切り換え指示信号を順次送信すると、動画像処理装置１０の通信部１０２が切り換え指示信号を順次入力し、メイン制御部１０１ａが、ステップＳ８において切り換え指示が２回目であって３回目以上でないと判定することにより（ステップＳ８：Ｎｏ）、合成画像出力部１０１ｃは、通信部１０２を介して合成画像Ｆ２に代えて合成画像Ｆ３を表示装置２０に順次送信する（ステップＳ１１）。
表示装置２０の表示部２０４は、合成画像Ｆ３に基づいて動画像Ｄ３のみを択一的に選択して、動画像Ｄ２から動画像Ｄ３に順次切り換えて表示する。

【0042】

そして、表示装置２０は、動画像Ｄ３からＤ４への切り換え指示信号を順次送信すると、動画像処理装置１０の通信部１０２が切り換え指示信号を順次入力し、メイン制御部１０１ａが、ステップＳ８において切り換え指示が３回目以上であると判定し（ステップＳ８：Ｙｅｓ）、さらにステップＳ１０において切り換え方向が同方向であると判定することにより（ステップＳ１０：Ｙｅｓ）、合成画像出力部１０１ｃは、合成画像Ｆ４に代えて緊急用の合成画像Ｆ７（図１１に示す）を表示装置２０に通信部１０２を介して順次送信する（ステップＳ１２）。
表示装置２０の表示部２０４は、緊急用の合成画像Ｆ７に基づいて動画像Ｄ４のみを択一的に選択して、動画像Ｄ３から動画像Ｄ４に順次切り換えて表示する。このときの動画像Ｄ４は、低解像度にて表示される。

【0043】

同様にして、表示装置２０は、動画像Ｄ４からＤ５への切り換え指示信号を順次送信すると、動画像処理装置１０の通信部１０２が切り換え指示信号を順次入力し、メイン制御部１０１ａが、ステップＳ８において切り換え指示が４回目であって３回目以上であると判定し（ステップＳ８：Ｙｅｓ）、さらにステップＳ１０において切り換え方向が同方向であると判定することにより（ステップＳ１０：Ｙｅｓ）、合成画像出力部１０１ｃは、合成画像Ｆ５に代えて緊急用の合成画像Ｆ８（図１２に示す）を表示装置２０に通信部１０２を介して順次送信する（ステップＳ１２）。
表示装置２０の表示部２０４は、緊急用の合成画像Ｆ８に基づいて動画像Ｄ５のみを択一的に選択して、動画像Ｄ４から動画像Ｄ５に順次切り換えて表示する。このときの動画像Ｄ５は、低解像度にて表示される。

【0044】

さらに、表示装置２０の操作部２０５が動画像Ｄ５から動画像Ｄ６へと切り換え操作指示信号を出力すると、制御部２０１は、前回の切り換え操作指示信号の入力タイミング時間から最新の切り換え操作指示信号の入力タイミング時間までの経過時間が極めて短く、通信による処理スピードが間に合わないと判定し、切り換え動画像識別情報および超緊急の切り換え指示信号を表示部２０４に出力する。表示部２０４は、それら切り換え動画像識別情報および超緊急の切り換え指示信号を入力すると、現在使用している合成画像Ｆ８（図１２に示す）に基づいて動画像Ｄ６を表示する。このときの動画像Ｄ６は、中解像度にて表示される。

【0045】

さらに、表示装置２０の操作部２０５が動画像Ｄ６から動画像Ｄ７へと切り換え操作指示信号を出力すると、制御部２０１は、前回の切り換え操作指示信号の入力タイミング時間から最新の切り換え操作指示信号の入力タイミング時間までの経過時間が極めて短く、通信による処理スピードが間に合わないと判定し、切り換え動画像識別情報および超緊急の切り換え指示信号を表示部２０４に出力する。表示部２０４は、それら切り換え動画像識別情報および超緊急の切り換え指示信号を入力すると、現在使用している合成画像Ｆ８（図１２に示す）に基づいて動画像Ｄ７を表示する。このときの動画像Ｄ７は、中解像度にて表示される。
上記と同様にして、表示部２０４は、切り換え動画像識別情報および超緊急の切り換え指示信号を順次入力すると、現在使用している合成画像Ｆ８に基づいて動画像Ｄ８〜Ｄ１０へと順次切り換えて表示していく。このときの動画像Ｄ８は高解像度にて表示され、動画像Ｄ９，Ｄ１０は中解像度に表示される。

【0046】

これにより、図４に示すように、円周線Ｌ上において左方向に配列されたカメラＣ１からＣ１０へと動画像がＤ１からＤ１０へと一つ一つ順次切り換えられて表示される。このとき、動画像Ｄ１からＤ３までは高解像度によって表示され、動画像Ｄ４からＤ５までは低解像度によって表示され、動画像Ｄ６からＤ７までは中解像度によって表示され、動画像Ｄ８は高解像度によって表示され、動画像Ｄ９からＤ１０までは中解像度によって順次表示される。このように、切り換え速度が速い場合、切り換え指示された動画像よりも、切り換え方向の先に配列されたカメラの動画像の解像度が高く設定された合成画像を、先に送っておくことにより、超緊急の切り換え指示に対して中解像度または高解像度による動画像を順次切り換えて表示することができる。

【0047】

続いて、図１０に示すフローチャートのステップＳ１３以降に関して説明する。
メイン制御部１０１ａは、通信部１０２の出力を読み出し、切り換え指示がないと判定すると（ステップＳ５：Ｎｏ）、合成画像出力部１０１ｃに維持信号を出力する。合成画像出力部１０１ｃは、その維持信号を入力すると、前回送信した合成画像（現在表示している動画像が高解像度に設定された合成画像）と同じ合成画像を記憶部１０３から読み出して、通信部１０２を介してその合成画像を表示装置２０に送信する（ステップＳ１３）。
表示装置２０の制御部２０１は、通信部２０２を介してその合成画像を入力すると、表示部２０４に出力し、現在表示している動画像と同じ動画像を表示する。これにより、時間の経過とともに例えば動画像Ｄ１が表示され続ける。

【0048】

そして、メイン制御部１０１ａは、維持信号を合成画像出力部１０１ｃに出力してから所定時間経過したか否かを判定する（ステップＳ１４）。メイン制御部１０１ａは、所定時間経過していないと判定すると（ステップＳ１４：Ｎｏ）、ステップＳ４に戻って処理を繰り返す。一方、メイン制御部１０１ａは、所定時間経過したと判定すると（ステップＳ４：Ｙｅｓ）、特定生成信号を合成画像生成部１０１ｂに出力する。合成画像生成部１０１ｂは、その特定生成信号を入力すると、特定合成画像を生成する（ステップＳ１５）。なお、特定合成画像は、現在表示している動画像が高解像度に設定され、それ以外の動画像が低解像度に設定されたものである。例えば、合成画像生成部１０１ｂは、現在表示している動画像Ｄ１のみを高解像度に設定し、それ以外の動画像Ｄ２〜Ｄ２０を低解像度に設定した特定合成画像を生成し、記憶部１０３に記憶する。そして、合成画像生成部１０１ｂは、生成完了信号を合成画像出力部１０１ｃに出力する。

【0049】

合成画像出力部１０１ｃは、その生成完了信号を入力すると、記憶部１０３から特定合成画像を読み出し、通信部１０２を介して特定合成画像を表示装置２０に送信する（ステップＳ１６）。
表示装置２０の制御部２０１は、通信部２０２を介して特定合成画像を入力し、特定合成画像を表示部２０４に出力する。表示部２０４は、その特定合成画像を入力すると、高解像度に設定された動画像のみを択一的に選択して表示する。
メイン制御部１０１ａは、合成画像が終了したか否かを判定する（ステップＳ１７）。すなわち、合成画像出力部１０１ｃが、記憶部１０３から時間順に合成画像を読み出し、読み出すべき合成画像がない場合に終了信号をメイン制御部１０１ａに出力し、メイン制御部１０１ａがその終了信号を入力したときに合成画像が終了したと判定する。

【0050】

メイン制御部１０１ａは、合成画像が終了していないと判定すると（ステップＳ１７：Ｎｏ）、ステップＳ４に戻って処理を繰り返す。一方、メイン制御部１０１ａは、合成画像が終了したと判定すると（ステップＳ１７：Ｙｅｓ）、終了信号を合成画像出力部１０１ｃに出力する。合成画像出力部１０１ｃは、その終了信号を入力すると、通信部１０２を介して終了信号を表示装置２０に送信する（ステップＳ１８）。
表示装置２０の制御部２０１は、通信部２０２を介して終了信号を入力すると、その終了信号を表示部２０４に出力する。表示部２０４は、その終了信号を入力すると、動画像の再生を停止する。

【0051】

以上より、本実施形態における動画像処理システム１、動画像処理装置１０、動画像処理方法、および動画像処理プログラムにおいては、複数の動画像Ｃ１〜Ｃ２０の少なくとも１つが異なる解像度にされて互いに重ならないように配置され、切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を合成画像出力部１０１ｃが表示装置２０に送信し、表示装置２０がその合成画像の一部であり高解像度に設定された動画像を択一的に選択して表示する。
これにより、表示装置２０が通常の切り換え速度で切り換え表示する動画像を高解像度によって表示することができる。また、表示装置２０が、通信が間に合わないような超緊急の切り換え速度で切り換え表示するときでも、同じ合成画像の他の動画像に素早く切り換えて表示することができる。そのため、種々の装置における限られたスペックの中で視聴者がより楽しめるように動画像を表示することができる。

【0052】

また、合成画像生成部１０１ｂが、切り換え指示された動画像を高解像度に設定し、この動画像を撮影したカメラに対して円周線Ｌ上において近くに配列されたカメラの動画像を中解像度に設定し、切り換え指示された動画像に対して近くに配列されたカメラより円周線Ｌ上において遠くに配列されたカメラの動画像を低解像度に設定して合成画像を生成することから、切り換え指示された動画像を表示装置２０において高解像度に表示させ、表示装置２０が、通信が間に合わないような超緊急の切り換え速度で切り換え表示するときでも、切り換え指示された動画像を撮影したカメラの近くに配列されたカメラの動画像を素早く切り換えて中解像度に表示させることができる。

【0053】

また、表示装置２０が切り換え指示信号を順次送信すると、動画像処理装置１０の通信部１０２がその切り換え指示信号を順次入力し、合成画像出力部１０１ｃは、切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像に順次切り換えて表示装置２０に順次送信することから、高解像度に設定された動画像をユーザの切り換え指示に応じて表示装置２０が順次切り換えて表示することができる。
また、合成画像生成部１０１ｂが、解像度があらかじめ設定された配置パターンに基づいて、それぞれの動画像ごとにすべての合成画像を生成し、合成画像出力部１０１ｃが、それらすべての合成画像の中から、切り換え指示された動画像が高解像度に設定された合成画像に変更して表示装置２０に順次送信することから、より簡易に合成画像を変更して表示することができる。

【0054】

また、切り換え指示された動画像が高解像度に設定された合成画像に代えて、切り換え指示された動画像が低解像度に設定され、当該動画像を撮影したカメラに対して円周線Ｌ上において切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を合成画像出力部１０１ｃが表示装置２０に送信することから、表示装置２０が、通信が間に合わないような超緊急の切り換え速度で切り換え表示するときでも、切り換え指示された動画像から切り換え方向に先に配列されたカメラの動画像を素早く切り換えて高解像度に表示させることができる。すなわち、切り換え方向検知部１０１ｄが切り換え方向を検知することにより、ユーザの切り換え動作の先を読むことができ、その先の切り換え指示があるはずの動画像を素早く切り換えて高解像度に表示することができる。

【0055】

また、合成画像出力部１０１ｃは、切り換え速度が所定のしきい値よりも速い場合には、切り換え指示された動画像が高解像度に設定された合成画像に代えて、切り換え指示された動画像が低解像度に設定され、当該動画像を撮影したカメラに対して円周線Ｌ上において切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を表示装置２０に順次送信し、切り換え速度が所定のしきい値よりも遅い場合には、切り換え指示された動画像が高解像度に設定された合成画像を表示装置２０に順次送信することから、切り換え速度に応じて適切な動画像を表示することができる。例えば、表示装置２０が、通信が間に合わないような超緊急の切り換え速度で切り換え表示するときでも、ユーザの切り換え動作の先を読むことにより、その先の切り換え指示があるはずの動画像を素早く切り換えて高解像度に表示することができ、一方、ユーザの切り換え動作が遅い場合には、切り換え指示された動画像を切り換えて高解像度に表示することができる。

【0056】

また、合成画像出力部１０１ｃは、通信速度が所定のしきい値よりも速い場合には、切り換え指示された動画像が高解像度に設定された合成画像を表示装置２０に順次送信し、通信速度が所定のしきい値よりも遅い場合には、切り換え指示された動画像が高解像度に設定された合成画像に代えて、切り換え指示された動画像が低解像度に設定され当該動画像を撮影したカメラに対して円周線Ｌ上において切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を表示装置２０に順次送信することから、通信速度に応じて適切な動画像を表示することができる。すなわち、通信速度が速い場合には、動画像の切り換え速度が速くてもその速さに応じて合成画像を表示装置２０が順次入力することができることから、切り換え指示された動画像に順次切り換えて高解像度に表示することができる。一方、通信速度が遅い場合には、切り換え速度が速いとその速さに応じて合成画像を表示装置２０が順次入力することができないことから、ユーザの切り換え動作の先を読むことにより、その先の切り換え指示があるはずの動画像に素早く切り換えて高解像度に表示することができる。

【0057】

また、合成画像出力部１０１ｃは、切り換え指示された動画像が低解像度に設定され、この動画像を撮影したカメラに対して円周線Ｌ上において切り換え方向の隣りに２つ分配列されたカメラの動画像が中解像度に設定され、切り換え方向のさらに隣りに配列されたカメラの動画像が高解像度に設定された合成画像を表示装置２０に送信することから、切り換え速度に応じて適切な動画像を表示することができる。例えば、ユーザの切り換え動作が速い場合には、ユーザの切り換え動作の先を読むことにより、その先の切り換え指示があるはずの隣りの動画像に素早く切り換えて高解像度または中解像度によって表示することができる。
また、合成画像出力部１０１ｃは、動画像の表示時間が所定のしきい値を超えると、特定合成画像を表示装置２０に送信することから、動画像のデータ量を抑制しつつ動画像を高解像度によって表示することができる。

【0058】

（実施形態２）
次に、本発明の第２の実施形態について説明する。
図１３は、本発明の第２の実施形態を示したものである。
図１３において、図１から図１２に記載の構成要素と同一部分については同一符号を付し、その説明を省略する。
この実施形態と上記第１の実施形態とは基本的構成は同一であり、ここでは主として異なる点について説明する。
本実施形態においては、切り換え速度のしきい値が、第１のしきい値として例えば２．５秒に設定され、第２のしきい値として例えば１秒に設定されて、記憶部１０３に記憶されている。

【0059】

このような構成のもと、メイン制御部１０１ａは、切り換え時間が第１のしきい値２．５を越えるか否かを判定する（ステップＳ７１）。
メイン制御部１０１ａは、切り換え時間が第１のしきい値を越えていると判定すると（ステップＳ７１：Ｙｅｓ）、上記と同様に、通常の切り換え指示信号を合成画像出力部１０１ｃに出力し、合成画像出力部１０１ｃが、切り換え指示された動画像が高解像度に設定された合成画像を記憶部１０３から読み出して、通信部１０２を介して表示装置２０に送信する（ステップＳ１１）。

【0060】

また、メイン制御部１０１ａは、ステップＳ１０において、動画像の切り換え方向がすべて同じ方向であると判定すると（ステップＳ１０：Ｙｅｓ）、切り換え時間が第２のしきい値１秒を越えるか否かを判定する（ステップＳ２０）。メイン制御部１０１ａは、切り換え時間が第２のしきい値を越えると判定すると（ステップＳ２０：Ｙｅｓ）、通常の切り換え指示信号に代えて、緊急の切り換え指示信号を合成画像出力部１０１ｃに出力する。合成画像出力部１０１ｃは、緊急の切り換え指示信号を入力すると、記憶部１０３が記憶した最新の切り換え動画像識別情報を読み出し、切り換え指示された動画像が高解像度に設定された合成画像に代えて、切り換え指示された動画像が低解像度に設定された緊急の合成画像を記憶部１０３から読み出し、通信部１０２を介してその合成画像を表示装置２０に送信する（ステップＳ１２）。このときの合成画像は、例えば、図１１に示すように、切り換え指示された動画像Ｄ４が低解像度に設定され、この動画像Ｄ４を撮影したカメラＣ４に対して切り換え方向の隣りに２つ分配列されたカメラＣ５,Ｃ６の動画像Ｄ５，Ｄ６が中解像度に設定され、これら２つ分のカメラＣ５,Ｃ６に対して切り換え方向の隣りに１つ分配列されたカメラＣ７の動画像Ｄ７が高解像度に設定され、このカメラＣ７に対して切り換え方向の隣りに２つ分配列されたカメラＣ８,Ｃ９の動画像Ｄ８,Ｄ９が高解像度に設定された合成画像Ｆ７となる。

【0061】

一方、メイン制御部１０１ａは、切り換え時間が第２のしきい値を越えていないと判定すると（ステップＳ２０：Ｎｏ）、通常の切り換え指示信号および緊急の切り換え指示信号に代えて、第２の緊急の切り換え指示信号を合成画像出力部１０１ｃに出力する。合成画像出力部１０１ｃは、第２の緊急の切り換え指示信号を入力すると、記憶部１０３が記憶した最新の切り換え動画像識別情報を読み出し、切り換え指示された動画像が高解像度に設定された合成画像および緊急の合成画像に代えて、切り換え指示された動画像を撮影したカメラが緊急の合成画像のときよりも切り換え方向の反対方向に配列された第２の緊急の合成画像を記憶部１０３から読み出し、通信部１０２を介してその第２の緊急の合成画像を表示装置２０に送信する（ステップＳ２１）。このときの合成画像は、例えば、図１２に示すように、切り換え指示された動画像Ｄ４が低解像度に設定され、この動画像Ｄ４を撮影したカメラＣ４が、緊急の合成画像において配列された位置よりも切り換え方向の反対方向に配列され、カメラＣ４に対して切り換え方向の隣りに１つ分配列されたカメラＣ５の動画像Ｄ５が低解像度に設定され、同様にして、動画像Ｄ６,Ｄ７,Ｄ９,Ｄ１０が中解像度に設定され、動画像Ｄ８が高解像度に設定された合成画像Ｆ８となる。

【0062】

これにより、切り換え速度に応じてより適切な動画像を表示することができる。例えば、ユーザの切り換え動作が遅い場合には、切り換え指示された動画像を切り換えて高解像度に表示することができ、また、ユーザの切り換え動作が速い場合には、ユーザの切り換え動作の先を読むことにより、その先の切り換え指示があるはずの動画像を素早く切り換えて高解像度または中解像度によって表示することができ、さらに、ユーザの切り換え動作がより速い場合には、ユーザの切り換え動作のより先を読むことにより、その先の切り換え指示があるはずの動画像を素早く切り換えて高解像度または中解像度によって表示することができる。

【0063】

以上、本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、各種の変形及び変更が可能である。
例えば、カメラの設置をカメラＣ１〜Ｃ２０の２０台としたが、これに限ることはなく、カメラの設置台数は、２０台未満であってもよいし、２０台超であってもよく、適宜変更可能である。
また、カメラの設置位置に関して、被写体Ｐに対して、同一距離および均等間隔としたが、これに限ることはなく、カメラの設置位置は適宜変更可能である。例えば、円周線Ｌ上において、カメラを互いに周方向に不均等な間隔に設置してもよい。
また、カメラＣ１〜Ｃ２０を円周線Ｌ上に設置しているが、これに限ることはなく、適宜変更可能である。例えば、複数のカメラを直線上、曲線上またはランダムな線上に配置してもよい。

【0064】

また、カメラＣ１〜Ｃ２０が撮影する動画像の解像度を１９２０×１０８０ピクセルとしたが、これに限ることはなく、解像度は適宜変更可能である。
また、高解像度を１９２０×１０８０ピクセルとし、中解像度を１４４０×８１０ピクセルとし、低解像度を９６０×５４０ピクセルとしているが、これらに限ることはなく、各解像度は適宜変更可能である。
また、合成画像において、動画像の解像度を高解像度、中解像度および低解像度の３段階に設定したが、これに限ることはなく、適宜変更可能である。例えば、高解像度と低解像度の２段階に設定してもよいし、高解像度、中解像度および低解像度以外の解像度も設定し４段階以上に設定してもよい。
また、高解像度の動画像が１つ、中解像度の動画像が４つ、残りの動画像が低解像度に設定されるとしたが、これに限ることはなく、各解像度の設置数は適宜変更可能である。例えば、高解像度の動画像が２つ以上、中解像度の動画像が１つ以上に設定されていてもよい。この場合、動画像の配置も適宜変更可能である。例えば、図１４に示すように、高解像度の動画像Ｄ１が１つ設定され、この動画像Ｄ１を挟んで線上の両方向の隣りに各３つ分配列された合計６つの動画像Ｄ２〜Ｄ４，Ｄ１７〜１９が中解像度に設定され、残りの動画像Ｄ５〜Ｄ１６が低解像度に設定されていてもよい。

【0065】

また、図１５に示すように、高解像度の動画像Ｄ１が１つ設定され、この動画像Ｄ１を挟んで線上の両方向の隣りに各４つ分配列された合計８つの動画像Ｄ２〜Ｄ５，Ｄ１５〜１８が中解像度に設定され、残りの動画像Ｄ６〜Ｄ１４が低解像度に設定されていてもよい。
また、図１６に示すように、高解像度の動画像Ｄ１が１つ設定され、この動画像Ｄ１以外の残りの動画像Ｄ２〜Ｄ２８が低解像度に設定されていてもよい。
また、図１７に示すように、高解像度の動画像Ｄ１が１つ設定され、この動画像Ｄ１を挟んで線上の両方向の隣りに各１つ分配列された合計２つの動画像Ｄ２，Ｄ１６が中解像度に設定され、動画像Ｄ２から線上の隣りに３つ分配列された動画像Ｄ３〜Ｄ５および動画像Ｄ１６から線上の隣りに３つ分配列された動画像Ｄ１３〜Ｄ１５の合計６つの動画像が低解像度に設定され、残りの動画像がさらに低い解像度に設定されていてもよい。この場合、動画像Ｄ３〜Ｄ１５の解像度が複数段階に設定されているものの、これらの動画像Ｄ３〜Ｄ１５をまとめて低解像度として区分けすることができる。また、必ずしも動画像が隣接して配置される必要はなく、クリアランスＣが設けられていてもよい。

【0066】

また、図１８に示すように、高解像度の動画像Ｄ１が１つ設定され、この動画像Ｄ１を挟んで線上の両方向の隣りに配列された各４つ分の合計８つの動画像Ｄ２〜Ｄ５，Ｄ１８〜１９が中解像度に設定され、残りの動画像Ｄ６〜Ｄ１７のうちのいくつかが間引かれて低解像度に設定されていてもよい。すなわち、合成画像生成部１０１ｂは、切り換え指示された動画像に対して線上に遠い位置に配列された動画像を間引いて合成画像を生成し、合成画像出力部１０１ｃは、その合成画像を表示装置２０に送信するようにしてもよい。なお、図１８においては、動画像Ｄ１１，Ｄ１３が間引かれている。

【0067】

また、図２に示す通信速度対応テーブルの通信速度としきい値の各数値は、適宜変更可能である。もちろん、しきい値を算出する数式も適宜変更可能である。
また、図１０に示すステップＳ８において、切り換え指示が連続して３回目以上であるか否かをメイン制御部１０１ａが判定しているが、これに限ることはなく、回数は適宜変更可能である。例えば、中解像度に設定される線上の一方向に連続して配列されたカメラの動画像の数＋１としてステップＳ８における回数を設定してもよい。例えば、図１４においては、中解像度に設定される線上の一方向に連続して配列されたカメラの動画像の数３（Ｄ２，Ｄ３，Ｄ４）＋１＝４回とし、図１５においては、中解像度に設定される線上の一方向に連続して配列されたカメラの動画像の数４（Ｄ２，Ｄ３，Ｄ４，Ｄ５）＋１＝５回とすることができる。

【0068】

また、合成画像生成部１０１ｂがあらかじめ決められた配置パターンに基づいてすべての合成画像を生成するとしたが、これに限ることはなく、通信部１０２が切り換え指示信号を入力すると、メイン制御部１０１ａの指示のもと、合成画像生成部１０１ｂが上述の必要な合成画像のみを都度ごとに生成してもよい。すなわち、合成画像生成部１０１ｂは、通信部１０２が切り換え指示信号を順次入力すると、必要な合成画像のみを順次生成し、合成画像出力部１０１ｃが、この順次生成された合成画像を表示装置２０に順次送信してもよい。

【0069】

また、図１０に示すステップＳ１１において、合成画像出力部１０１ｃが、切り換え速度が所定のしきい値よりも遅い場合には、切り換え指示された動画像（例えばＤ４とする）が高解像度に設定された合成画像Ｆ４を表示装置２０に順次送信するとしたが、これに限ることはなく、切り換え指示された動画像Ｄ４が高解像度に設定された合成画像Ｆ４に代えて、切り換え指示された動画像Ｄ４が中解像度（または低解像度）に設定され、この動画像Ｄ４を撮影したカメラに対して線上において切り換え方向の近くに配列されたカメラの動画像Ｄ６が高解像度に設定された合成画像Ｆ６を送信し、動画像Ｄ４から動画像Ｄ６までを順次切り換えて表示装置２０が表示してもよい。このとき、切り換え速度が所定のしきい値よりも速い場合には、ステップＳ１２において、合成画像出力部１０１ｃが、切り換え指示された動画像Ｄ４が高解像度に設定された合成画像Ｆ４に代えて、切り換え指示された動画像Ｄ４が中解像度（または低解像度）に設定され、この動画像を撮影したカメラに対して線上において切り換え方向の遠くに配列されたカメラの動画像Ｄ７が高解像度に設定された合成画像Ｆ７を送信し、動画像Ｄ４から動画像Ｄ７までを順次切り換えて表示装置２０が表示してもよい。

【0070】

また、図１０に示すステップＳ７において、切り換え速度のしきい値を通信速度に対応させることにより、通信速度に応じて、合成画像出力部１０１ｃが表示装置２０に送信する合成画像を制御している。すなわち、合成画像出力部１０１ｃは、通信速度が所定のしきい値よりも速い場合に、切り換え指示された動画像（例えばＤ４とする）が高解像度に設定された合成画像Ｆ４を表示装置２０に順次送信するとしているが、これに限ることはなく、切り換え指示された動画像Ｄ４が高解像度に設定された合成画像Ｆ４に代えて、切り換え指示された動画像Ｄ４が中解像度（または低解像度）に設定され、この動画像Ｄ４を撮影したカメラに対して線上において切り換え方向の近くに配列されたカメラの動画像Ｄ６が高解像度に設定された合成画像を送信してもよい。

【0071】

また、図１０に示すステップＳ１２において、合成画像出力部１０１ｃが、切り換え指示された動画像が低解像度に設定された合成画像を表示装置２０に送信するとしたが、これに限ることはなく、切り換え指示された動画像が中解像度に設定され、この動画像を撮影したカメラに対して線上において切り換え方向の隣りに配列されたカメラの動画像が高解像度に設定された合成画像を送信してもよい。例えば、図５において、切り換え指示された動画像がＤ１９であるとすると、動画像Ｄ１９とカメラＣ１９に対して円周線Ｌ上の切り換え方向の先に配列されたカメラＣ２０の動画像Ｄ２０との２つ分の動画像Ｄ１９，Ｄ２０が中解像度に設定され、これら２つ分のカメラＣ１９，Ｃ２０に対して円周線Ｌ上において切り換え方向の隣りに配列されたカメラＣ１の動画像Ｄ１が高解像度に設定された合成画像Ｆ１を合成画像出力部１０１ｃが表示装置２０に送信するようにしてもよい。

【0072】

また、図１１に示すステップＳ７１において第１のしきい値を２．５秒とし、第２のしきい値を１秒としたが、これらに限ることはなく、各数値は適宜変更可能である。すなわち、合成画像出力部１０１ｃは、メイン制御部１０１ａの判定のもと、切り換え速度が速い場合には、切り換え指示された動画像が高解像度に設定された通常の合成画像を表示装置２０に送信し、切り換え速度が中速度の場合には、切り換え指示された動画像を撮影したカメラに対して線上の近くに配列されたカメラの動画像が高解像度に設定された合成画像を送信し、切り換え速度が遅い場合には、切り換え指示された動画像を撮影したカメラに対して線上に遠くに配列されたカメラの動画像が高解像度に設定された合成画像を送信するようにしてもよい。

【0073】

また、表示装置２０が切り換え指示信号を順次送信すると、通信部１０２切り換え指示信号を順次入力し、合成画像出力部１０１ｃは、通信部１０２が切り換え指示信号を順次入力すると切り換え指示された動画像を他の動画像よりも高解像度に設定した合成画像に順次変更して表示装置２０に順次送信するとしたが、これに限ることはなく、合成画像出力部１０１ｃが必要な合成画像のみを選択して適宜のタイミングで送信するようにしてもよい。
また、合成画像出力部１０１ｃが、通信速度に応じて、切り換え指示された動画像が高解像度に設定された合成画像に代えて、切り換え指示された動画像を撮影したカメラに対して線上において切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を表示装置２０に順次出力するとしたが、これに限ることはなく、切り換え指示された動画像が高解像度に設定された合成画像を送信するようにしてもよい。この場合、通信速度検知部１０１ｆは設けられていなくてもよい。

【0074】

また、合成画像出力部１０１ｃが、切り換え方向に応じて、切り換え指示された動画像が高解像度に設定された合成画像に代えて、切り換え指示された動画像を撮影したカメラに対して線上において切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を表示装置２０に順次出力するとしたが、これに限ることはなく、切り換え指示された動画像が高解像度に設定された合成画像を送信するようにしてもよい。この場合、切り換え方向検知部１０１ｄは設けられていなくてもよい。
また、合成画像出力部１０１ｃが、切り換え速度に応じて、切り換え指示された動画像が高解像度に設定された合成画像に代えて、切り換え指示された動画像を撮影したカメラに対して線上において切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を表示装置２０に順次出力するとしたが、これに限ることはなく、切り換え指示された動画像が高解像度に設定された合成画像を送信するようにしてもよい。この場合、切り換え速度検知部１０１ｅは設けられていなくてもよい。

【0075】

また、所定時間経過すると、合成画像生成部１０１ｂが特定合成画像を生成し、合成画像出力部１０１ｃが特定合成画像を表示装置２０に送信するとしたが、これに限ることはなく、特定合成画像を生成したり送信したりしなくてもよい。
また、表示装置２０は、デスクトップパソコンのように固定的に設置される端末であってもよいし、携帯電話、スマートフォンまたはノートパソコンなどのような携帯端末であってもよい。

【0076】

また、操作部２０５として、タッチパッドなどを例示しているが、これに限ることはなく、適宜変更可能である。例えば、キーボードやマウスなどの操作により、切り換え指示を入力してもよい。また、これらの入力操作だけでなく、切り換え操作指示出力部として、見者の移動を画像認識により検知しその移動によって切り換え操作指示信号を出力するようにしてもよい。さらに、見者から発せられる赤外線によって見者の移動を検知する赤外線検知部や、見者の携帯端末のＧＰＳ機能を利用した位置検出部などによって、見者の移動を検知してもよい。また、見者の移動を検知するものとしているが、これに限ることはなく、例えば、人でなくても、ネコや犬などのような動物であってもよい。
また、見者の身体全体の移動を検知するだけでなく、見者の身体の少なくとも一部の移動を検知するものであってもよい。例えば、指示空間座標内において、見者が手を左から右にスライド移動させたときの手の動きを動画像の切り換え指示として検知するようにしてもよい。これにより、手などの身体を動かすとその動きに合わせて動画像を連続して順次切り換えることができるため、見者が動画像の変化を見ながら、手を動かすなどの切り替え指示をリアルタイムに行うことができる。

【0077】

また、見者が表示部２０４の傾きや角度を変化させたときに、その変化に応じて、動画像を連続して順次切り替えることができるように、切り換え操作指示出力部が傾き検知部や角度検知部などであってもよい。
例えば、スマートフォンなどの携帯端末に、切り換え操作指示出力部としての傾き検知部や角度検知部を設けてもよい。すなわち、ユーザが当該携帯端末を把持して表示部２０４を見ている状態で、携帯端末の角度を連続して切り替えることにより、傾き検知部や角度検知部が動画像の切り換え操作指示信号を連続して順次出力し、表示部２０４が動画像を連続して順次切り替えて表示するようにしてもよい。これにより、ユーザが携帯端末を把持しながら角度を変えていくだけで、表示部２０４に映る動画像が連続して順次切り替えられる。

【0078】

また、表示装置２０は、メガネなどの目を覆う部分（ガラスやレンズの部分）に動画を表示することができるようなメガネ式のデバイスに、切り換え操作指示出力部としての傾き検知部や角度検知部が設けられていてもよい。すなわち、ユーザが当該メガネ式デバイスを装着したまま顔の角度を変えていくことにより、傾き検知部や角度検知部が切り換え操作指示信号を連続して出力し、表示部２０４としての目を覆う部分が動画像を連続して切り替えて表示するようにしてもよい。これにより、ユーザがメガネ式デバイスを装着して顔の角度を変えていくだけで、表示部２０４に映ったユーザの見ている動画像が連続して切り替えられる。
また、表示部１０４，２０４としては、液晶、プラズマ、有機ＥＬなどのモニタだけでなく、ホログラムなどによる立体的な表示であってもよい。

【0079】

また、動画像処理システム１、動画像処理装置１０および表示装置２０を構成する前述の各機能部は、単体のコンピュータに備えられていてもよいし、通信ネットワークを介して通信可能な複数のコンピュータに分散して備えられていてもよい。
なお、ここでは、装置内での各種信号やデータのやり取りを出力及び入力とし、装置間でのネットワークを介した各種信号やデータのやり取りを送信および受信としているが、これらに限ることはなく、装置間でのネットワークを介したやり取りでも出力および入力としてもよい。
また、動画像処理システム１、動画像処理装置１０および表示装置２０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各種処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

【0080】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、以上の実施形態や変形例を種々組み合わせることができることは言うまでもない。

【0081】

既述の実施形態に関し、さらに以下の付記を開示する。
（付記１）
線上に順に配列された複数のカメラによって撮影されたそれぞれの動画像を前記線上のカメラの順に選択的に切り換えて表示装置に表示させる動画像処理装置であって、
前記それぞれの動画像の少なくとも一つを他の動画像と異なる解像度にして前記それぞれの動画像が互いに重ならないように配置した合成画像を生成する合成画像生成部と、
前記合成画像生成部が生成した合成画像を前記表示装置に出力し前記合成画像の一部である前記動画像を前記表示装置に選択的に表示させる合成画像出力部と、
前記表示装置から出力される前記動画像の切り換え指示を入力する切り換え指示入力部とを備え、
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を入力すると、前記それぞれの動画像のうち、前記表示装置から切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を表示装置に出力し前記切り換え指示された動画像を表示装置に表示させる動画像処理装置。

【0082】

（付記２）
前記合成画像出力部は、前記それぞれの動画像のうち、前記表示装置から切り換え指示された動画像が高解像度に設定され、当該動画像を撮影したカメラに対して前記線上において近くに配列されたカメラの動画像が中解像度に設定され、前記表示装置から切り換え指示された動画像を撮影したカメラに対して前記線上において遠くに配列されたカメラの動画像が低解像度に設定された合成画像を表示装置に出力する付記１に記載の動画像処理装置。

【0083】

（付記３）
前記表示装置が前記切り換え指示を順次出力すると、前記切り換え指示入力部は前記切り換え指示を順次入力し、
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像に順次変更して前記表示装置に順次出力する付記２に記載の動画像処理装置。

【0084】

（付記４）
前記合成画像生成部は、前記それぞれの動画像の少なくとも一つがあらかじめ高解像度に設定され前記少なくとも一つの動画像に対して前記線上において近くに配列されたカメラの動画像があらかじめ中解像度に設定され前記少なくとも一つの動画像に対して前記線上において遠くに配列されたカメラの動画像があらかじめ低解像度に設定された配置パターンに基づいて、前記それぞれの動画像ごとに複数の合成画像を生成し、
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記合成画像生成部がそれぞれの動画像ごとに生成した複数の合成画像の中から、前記切り換え指示された動画像が高解像度に設定された合成画像に変更して前記表示装置に順次出力する付記３に記載の動画像処理装置。

【0085】

（付記５）
前記合成画像生成部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記切り換え指示された動画像を高解像度に設定し、前記切り換え指示された動画像に対して前記線上において近くに配列されたカメラの動画像を中解像度に設定し、前記切り換え指示された動画像に対して前記線上において遠くに配列されたカメラの動画像を低解像度にして合成画像を順次生成し、
前記合成画像出力部は、前記合成画像生成部が順次生成した合成画像を前記表示装置に順次出力する付記３に記載の動画像処理装置。

【0086】

（付記６）
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記切り換え指示された動画像が高解像度に設定された合成画像に代えて、前記切り換え指示された動画像が中解像度又は低解像度に設定され当該動画像を撮影したカメラに対して前記線上において切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像から前記切り換え方向の先に配列されたカメラの動画像までを順次切り換えて前記表示装置に表示させる付記３から付記５のいずれか一つに記載の動画像処理装置。

【0087】

（付記７）
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記表示装置が前記動画像を切り換える切り換え速度が所定のしきい値よりも速い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像に代えて、前記切り換え指示された動画像が中解像度又は低解像度に設定され当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像から前記切り換え方向の先に配列されたカメラの動画像までを順次切り換えて前記表示装置に表示させ、前記切り換え速度が前記所定のしきい値よりも遅い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像を前記表示装置に表示させる付記６に記載の動画像処理装置。

【0088】

（付記８）
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記表示装置が前記動画像を切り換える切り換え速度が所定のしきい値よりも速い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像に代えて、前記切り換え指示された動画像が中解像度又は低解像度に設定され当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の遠くに配列されたカメラの動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像から前記切り換え方向の遠くに配列されたカメラの動画像までを順次切り換えて前記表示装置に表示させ、前記切り換え速度が前記所定のしきい値よりも遅い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像に代えて、前記切り換え指示された動画像が中解像度又は低解像度に設定され当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の近くに配列されたカメラの動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像から前記切り換え方向の近くに配列されたカメラの動画像までを順次切り換えて前記表示装置に表示させる付記６に記載の動画像処理装置。

【0089】

（付記９）
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記表示装置との通信速度が所定のしきい値よりも速い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像を順次切り換えて前記表示装置に表示させ、前記通信速度が前記所定のしきい値よりも遅い場合には、前記切り換え指示された動画像が高解像度に設定された合成画像に代えて、前記切り換え指示された動画像が中解像度又は低解像度に設定され当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の先に配列されたカメラの動画像が高解像度に設定された合成画像を前記表示装置に順次出力し前記切り換え指示された動画像から前記切り換え方向の遠くに配列されたカメラの動画像までを順次切り換えて前記表示装置に表示させる付記７又は付記８に記載の動画像処理装置。

【0090】

（付記１０）
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記切り換え指示された動画像が低解像度に設定され、当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の隣りに配列されたカメラの動画像が中解像度に設定され、前記切り換え方向のさらに隣りに配列されたカメラの動画像が高解像度に設定された合成画像を出力し前記切り換え指示された動画像、前記切り換え方向の隣りに配列されたカメラの動画像及び前記切り換え方向のさらに隣りに配列されたカメラの動画像を順次切り換えて前記表示装置に表示させる付記６から付記９のいずれか一つに記載の動画像処理装置。

【0091】

（付記１１）
前記合成画像出力部は、前記切り換え指示入力部が前記切り換え指示を順次入力すると、前記切り換え指示された動画像が中解像度に設定され、当該動画像を撮影したカメラに対して前記線上において前記切り換え方向の隣りに配列されたカメラの動画像が高解像度に設定された合成画像を出力し前記切り換え指示された動画像及び前記切り換え方向の隣りに配列されたカメラの動画像を順次切り換えて前記表示装置に表示させる付記６から付記１０のいずれか一つに記載の動画像処理装置。

【0092】

（付記１２）
前記合成画像出力部は、１つのカメラが撮影した動画像を前記表示装置が連続して表示する表示時間が所定のしきい値を超えると、前記表示装置が表示している動画像以外の他の動画像が低解像度に設定された合成画像を出力する付記２から付記１１のいずれか一つに記載の動画像処理装置。

【0093】

（付記１３）
動画像を表示する表示装置と、線上に順に配列された複数のカメラによって撮影されたそれぞれの動画像を前記線上のカメラの順に選択的に切り換えて前記表示装置に表示させる動画像処理装置とを備える動画像処理システムであって、
前記動画像処理装置は、
前記それぞれの動画像の少なくとも一つを他の動画像と異なる解像度にして前記それぞれの動画像が互いに重ならないように配置した合成画像を生成する合成画像生成部と、
前記合成画像生成部が生成した合成画像を前記表示装置に出力し前記合成画像の一部である前記動画像を前記表示装置に選択的に表示させる合成画像出力部と、
前記表示装置から出力される前記動画像の切り換え指示を入力する切り換え指示入力部とを備え
前記表示装置は、
前記動画像を切り換える切り換え指示を動画像処理装置に出力する切り換え指示出力部と、
前記合成画像出力部が出力した合成画像の一部である前記動画像を選択的に表示する表示部とを備え、
前記合成画像出力部は、前記切り換え指示出力部が出力した前記切り換え指示を前記切り換え指示入力部が入力すると、前記それぞれの動画像のうち、切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を表示装置に出力し、
前記表示部は、前記合成画像出力部が出力した合成画像のうち前記切り換え指示された動画像を選択的に表示する動画像処理システム。

【0094】

（付記１４）
線上に順に配列された複数のカメラによって撮影されたそれぞれの動画像を前記線上のカメラの順に選択的に切り換えて表示装置に表示させる動画像処理方法であって、
合成画像生成部が、前記それぞれの動画像の少なくとも一つを他の動画像と異なる解像度にして前記それぞれの動画像が互いに重ならないように配置した合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成された合成画像の一部である前記動画像を選択的に表示させるように前記合成画像を前記表示装置に出力する合成画像出力ステップと、
切り換え指示入力部が、前記表示装置から出力される動画像の切り換え指示を入力する切り換え指示入力ステップと、
前記切り換え指示入力ステップにおいて前記切り換え指示入力部が前記切り換え指示を入力すると、前記合成画像出力部が、前記それぞれの動画像のうち、前記表示装置から切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を表示装置に出力し前記切り換え指示された動画像を表示装置に表示させる動画像切り換えステップとを含む動画像処理方法。

【0095】

（付記１５）
線上に順に配列された複数のカメラによって撮影されたそれぞれの動画像を前記線上のカメラの順に選択的に切り換えて表示装置に表示させる動画像処理装置におけるプログラムであって、
合成画像生成部が、前記それぞれの動画像の少なくとも一つを他の動画像と異なる解像度にして前記それぞれの動画像が互いに重ならないように配置した合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成された合成画像の一部である前記動画像を選択的に表示させるように前記合成画像を前記表示装置に出力する合成画像出力ステップと、
切り換え指示入力部が、前記表示装置から出力される動画像の切り換え指示を入力する切り換え指示入力ステップと、
前記切り換え指示入力ステップにおいて前記切り換え指示入力部が前記切り換え指示を入力すると、前記合成画像出力部が、前記それぞれの動画像のうち、前記表示装置から切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を表示装置に出力し前記切り換え指示された動画像を表示装置に表示させる動画像切り換えステップとを前記動画像処理装置のコンピュータに実行させる動画像処理プログラム。

【符号の説明】

【0096】

１ 動画像処理システム
１０ 動画像処理装置
２０ 表示装置
１０１ｂ 合成画像生成部
１０１ｃ 合成画像出力部
１０２ 通信部（切り換え指示入力部）
２０２ 切り換え指示出力部
２０４ 表示部

【要約】

【課題】限られたスペックの中で視聴者がより楽しめるように動画像を表示することができる動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラムを提供すること。
【解決手段】
複数のカメラによって撮影された動画像を選択的に切り換えて表示装置２０に表示させる動画像処理装置１０であって、動画像の少なくとも一つを他の動画像と異なる解像度にしてそれぞれの動画像が互いに重ならないように配置した合成画像を生成する合成画像生成部１０１ｂと、合成画像を出力し動画像を表示装置２０に選択的に表示させる合成画像出力部１０１ｃと、表示装置２０から出力される動画像の切り換え指示を入力する切り換え指示入力部１０２とを備え、合成画像出力部１０１ｃは、切り換え指示された動画像が他の動画像よりも高解像度に設定された合成画像を表示装置２０に出力し切り換え指示された動画像を表示装置２０に表示させる。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】