特許 6402816 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6402816

(24)【登録日】2018年9月21日

(45)【発行日】2018年10月10日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20181001BHJP

   H04N 5/247 20060101ALI20181001BHJP

   G03B 17/00 20060101ALI20181001BHJP

   G03B 15/00 20060101ALI20181001BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/247

   H04N5/232 190

   G03B17/00 Q

   G03B15/00 Q

【請求項の数】16

【全頁数】23

(21)【出願番号】特願2017-207704(P2017-207704)

(22)【出願日】2017年10月27日

(62)【分割の表示】特願2014-53118(P2014-53118)の分割

【原出願日】2014年3月17日

(65)【公開番号】特開2018-26875(P2018-26875A)

(43)【公開日】2018年2月15日

【審査請求日】2017年11月14日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(72)【発明者】

【氏名】林 哲也

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００９−１８７３８８（ＪＰ，Ａ）

【文献】 特開２００３−１３４３７３（ＪＰ，Ａ）

【文献】 特開２００５−０２０３８５（ＪＰ，Ａ）

【文献】 特開２０１３−０８５２１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６ −１７／００

Ｇ０３Ｂ １７／２６ −１７／３４

Ｇ０３Ｂ １７／３８ −１７／４６

Ｈ０４Ｎ ５／７６５− ５／９５６

(57)【特許請求の範囲】

【請求項1】

複数の撮影画像を結合して結合画像を生成するための処理を行う画像処理装置であって、
被写体に対して視点が異なる複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点が滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定するグループ指定手段と、
前記結合画像を生成するために、前記グループ指定手段によって指定されたグループ内の各撮像手段が撮影する撮像画像の記憶部への記録開始タイミングを決定する決定手段と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記複数の撮像手段によって撮影された各撮影画像とその各撮像手段の撮影位置又は撮影方向を取得する取得手段を更に備え、
前記グループ指定手段は、前記取得手段によって取得された複数の撮像手段の撮影位置又は撮影方向を参照し、前記ユーザ指定された撮像手段の撮影位置又は撮影方向に対して所定の位置関係又は撮影方向の関係にある１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記グループ指定手段は、少なくとも２台の撮像手段がユーザ指定された場合に、そのユーザ指定の撮像手段の撮影位置に基づいて、その間又は近くに配置されている１又は２以上の撮像手段を前記他の撮像手段として、前記ユーザ指定の撮像手段と共にグループ指定する、
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記グループ指定手段は、予めユーザ指定された一部の撮像手段の配置状態を基準として１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定する場合に、グループ候補が複数存在しているときには、このグループ候補毎にその各撮像手段の配列状態を比較し、その比較結果に基づいて前記被写体に対する視点が滑らかに切り換わるグループを指定する、
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の画像処理装置。

【請求項5】

前記グループ指定手段は、前記グループ候補毎にその各撮像手段の配列状態を比較する場合は、少なくとも各撮像手段の配置間隔、その数のいずれかを比較する、
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記グループ指定手段は、前記複数の撮像手段の撮影画像内の被写体が所定の状態であり、かつ、前記複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点が滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記被写体の所定の状態は、被写体のサイズであり、
前記グループ指定手段は、前記被写体のサイズがより大きく、かつ、その被写体に対する視点が滑らかに切り換わるようにグループ指定する、
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記被写体の所定の状態は、人物の顔であり、
前記グループ指定手段は、前記被写体である人物の顔がより大きく、かつ、その被写体に対する視点が滑らかに切り換わるようにグループ指定する、
ことを特徴とする請求項６に記載の画像処理装置。

【請求項9】

前記被写体の所定の状態は、人物の人数であり、
前記グループ指定手段は、前記被写体である人数がより多く、かつ、その被写体に対する視点が滑らかに切り換わるようにグループ指定する、
ことを特徴とする請求項６に記載の画像処理装置。

【請求項10】

前記複数の撮像手段のうち、その一部の撮像手段をユーザ操作により任意に指定する撮像指定手段を更に備える、
ことを特徴とする請求項１〜請求項９のいずれか１項に記載の画像処理装置。

【請求項11】

前記決定手段は、前記記録開始タイミングを決定する場合に、該各撮像手段の撮影位置又は撮影方向の並び順にしたがってそのタイミングを決定する、
ことを特徴とする請求項１〜請求項１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記ユーザ指定の撮像手段に対応して前記記録開始タイミングを任意にユーザ指定するタイミング指定手段を更に備える、
ことを特徴とする請求項１〜請求項１１のいずれか１項に記載の画像処理装置。

【請求項13】

前記グループ指定手段によって指定されたグループ内の各撮像手段の撮影画像を前記決定手段によって決定されたタイミングにしたがって順次結合することにより前記結合画像を生成する生成手段を更に備える、
ことを特徴とする請求項１〜請求項１２のいずれか１項に記載の画像処理装置。

【請求項14】

前記決定手段は、前記結合画像を生成するために、前記グループ指定手段によって指定されたグループ内の各撮像手段の撮影記録開始タイミングを決定する、
ことを特徴とする請求項１〜請求項１３のいずれか１項に記載の画像処理装置。

【請求項15】

複数の撮影画像を結合して結合画像を生成するための処理を行う画像処理方法であって、
被写体に対して視点が異なる複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点が滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定するステップと、
前記結合画像を生成するために、前記指定されたグループ内の各撮像手段が撮影する撮像画像の記憶部への記録開始タイミングを決定するステップと、
を含むことを特徴とする画像処理方法。

【請求項16】

複数の撮影画像を結合して結合画像を生成するための処理を行う画像処理装置のコンピュータに対して、
被写体に対して視点が異なる複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点が滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定する機能と、
前記結合画像を生成するために、前記指定されたグループ内の各撮像手段が撮影する撮像画像の記憶部への記録開始タイミングを決定する機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の撮影画像を結合して一連の結合画像を生成するための処理を行う画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

一般に、デジタルスチルカメラやビデオカメラで競技者や演舞者などを被写体として様々な視点で撮影する場合、被写体の周囲やその進行する方向に複数台のカメラを設置し、その設置位置から被写体を撮影するようにしている。このように視点の異なる位置に配置された複数台のカメラによって撮影（多視点撮影）された各撮影画像を表示する場合に、従来では、カメラの設置位置の順番で撮影画像を切り換えながら表示するようにした技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−１０１８２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献の技術は、カメラの設置位置の順番で各撮影画像を切り換え表示するため、視点の移り変わりがいつも同じ順序で固定的なものとなり、例えば、特定の視点で撮影され画像だけを集中的に見たい場合でも常に最初の位置に配置されているカメラの撮影画像から見なければならなかった。
そこで、各撮影画像の切り換えをユーザ操作で任意に指定可能とすれば、ユーザの意向を反映することができるが、どのカメラがどの位置に設置されているのかを予め把握しておく必要がある。しかも、所望する視点で撮影された画像を全て表示させたい場合には、その視点で撮影するカメラを全て指定する必要があるために、ユーザに大きな負担をかけてしまう。

【0005】

本発明の課題は、被写体を様々な視点で撮影した各画像を基に一連の画像を生成する場合に、簡単なユーザ指定でユーザの要望に応じた一連の画像を得るようにすることである。

【課題を解決するための手段】

【0006】

上述した課題を解決するために本発明の画像処理装置は、
複数の撮影画像を結合して結合画像を生成するための処理を行う画像処理装置であって、
被写体に対して視点が異なる複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点が滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定するグループ指定手段と、
前記結合画像を生成するために、前記グループ指定手段によって指定されたグループ内の各撮像手段が撮影する撮像画像の記憶部への記録開始タイミングを決定する決定手段と、
を備えたことを特徴とする。

【0007】

上述した課題を解決するために本発明の画像処理方法は、
複数の撮影画像を結合して結合画像を生成するための処理を行う画像処理方法であって、
被写体に対して視点が異なる複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点が滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定するステップと、
前記結合画像を生成するために、前記指定されたグループ内の各撮像手段が撮影する撮像画像の記憶部への記録開始タイミングを決定するステップと、
を含むことを特徴とする。

【0008】

上述した課題を解決するために本発明のプログラムは、
複数の撮影画像を結合して結合画像を生成するための処理を行う画像処理装置のコンピュータに対して、
被写体に対して視点が異なる複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点が滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定する機能と、
前記結合画像を生成するために、前記指定されたグループ内の各撮像手段が撮影する撮像画像の記憶部への記録開始タイミングを決定する機能と、
を実現させる。

【発明の効果】

【0009】

本発明によれば、被写体を様々な視点で撮影した各画像を基に一連の画像を生成する場合に、簡単なユーザ指定でユーザの要望に応じた一連の画像を得ることができる。

【図面の簡単な説明】

【0010】

【図1】複数台の撮像装置（カメラ）によって撮影された各撮影動画像を基にユーザが所望する一連の結合動画像を生成する動画像生成処理を行う画像処理システムを示したブロック図。

【図2】画像処理装置１の基本的な構成要素を示したブロック図。

【図3】各カメラ２の基本的な構成要素を示したブロック図。

【図4】（１）は、被写体に対して複数台のカメラ２を配置した状態を例示した図、（２）、（３）は、一連の結合動画像の生成を説明するための図。

【図5】画像処理装置１の特徴的な動作（特に、多視点撮影画像の結合編集）を説明するためのフローチャート。

【図6】図５の動作に続くフローチャート。

【図7】第２実施形態において、（１）は、被写体に対して複数台のカメラ２を配置した状態を例示した図、（２）、（３）は、一連の結合動画像の生成を説明するための図。

【図8】第２実施形態において、画像処理装置１の特徴的な動作（特に、多視点撮影画像の結合編集）を説明するためのフローチャート。

【図9】第３実施形態において、画像処理装置１の特徴的な動作（特に、多視点撮影画像の結合編集）を説明するためのフローチャート。

【図10】各実施形態の変形例を示した動作概念を説明するための図。

【図11】各実施形態の他の変形例を示した動作概念を説明するための図。

【図12】各実施形態の更に他の変形例を示した動作概念を説明するための図。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図６を参照して本発明の第１実施形態を説明する。
図１は、複数台の撮像装置（カメラ）によって撮影された各撮影動画像を基にユーザが所望する一連の結合動画像を生成する動画像生成処理を行う画像処理システムを示したブロック図である。
この画像処理システムは、ユーザ所持の画像処理装置１を中核とする通信システムであり、この画像処理装置１には複数台の撮像装置（カメラ）２が短距離無線通信網３及び広域通信網４を介して接続されている。なお、この画像処理システムは、広域通信システムに限らず、構内通信システムであってもよい。

【0012】

画像処理装置１は、同一の被写体を撮影する複数台のカメラ２によって撮影された各撮影動画像を、各カメラ２から短距離無線通信網３及び広域通信網４を介して受信取得し、この各撮影動画像の中から所定のタイミングで切り換え取得した画像を順次結合する結合編集を行って一連の結合動画像を生成するＰＣ（パーソナルコンピュータ）である。なお、この結合編集処理（動画像生成処理）については、後で詳述するものとする。複数台のカメラ２は、例えば、動画像撮影が可能なデジタルビデオカメラであり、同一の被写体に対して視点が異なるように配置されている。なお、被写体に対する視点は、撮像装置（カメラ）２の配置状態（撮影位置、撮影方向）に応じて異なるが、以下の説明では、視点の相違は撮影位置に基づくものとする。なお、撮影位置とはカメラ２の現在位置を示し、第１実施形態では、カメラ２の設置位置（固定位置）である。短距離無線通信網３は、例えば、無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）通信網であり、また、広域通信網４は、例えば、インターネットである。

【0013】

図２は、画像処理装置１の基本的な構成要素を示したブロック図である。
画像処理装置１は、各種のアプリケーション機能として、文章作成機能、計時機能、インターネット接続機能などの基本的な機能のほかに、上述した結合編集機能（動画像生成機能）を備えている。制御部１１は、電源部１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの画像処理装置１の全体動作を制御する中央演算処理装置やメモリなどを有している。

【0014】

記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図５及び図６に示した動作手順に応じて第１実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１３ａと、この画像処理装置１が動作するために必要となる各種の情報（例えば、撮影動画像、フラグなど）を一時的に記憶するワークメモリ１３ｂと、上述の結合編集処理によって生成した一連の動画像を記録保存する画像メモリ１３ｃなどを有している。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

【0015】

制御部１１には、入出力デバイスとして表示部１４、操作部１５、広域通信部１６などが接続され、それらの入出力動作を制御する。表示部１４は、高精細液晶ディスプレイあるいは有機ＥＬ（Electro Luminescence）ディスプレイであり、上述の結合編集処理によって生成した一連の結合動画像を再生する画面として使用される。操作部１５は、各種のキーとして、図示省略したが、文字キー、テンキーなどを有し、複数台のカメラ２のうち、その一部のカメラ２を動画像生成用として、任意にユーザ指定する際などに使用される。広域通信部１６は、短距離無線通信網３及び広域通信網４を介して各カメラ２に撮影指示を送信したり、各カメラ２から撮影動画を受信取得したりする。

【0016】

図３は、各カメラ２の基本的な構成要素を示したブロック図である。
制御部２１は、電源部（二次電池）２２からの電力供給によって動作し、記憶部２３内の各種のプログラムに応じてこのカメラ２の全体動作を制御するもので、この制御部２１には、その入出力デバイスとして、操作部２４、表示部２５のほか、撮像部２６、無線通信部２７、位置取得部２８などが接続され、それらの入出力動作を制御する。撮像部２６は、被写体を高精細に撮影可能なビデオカメラ部を構成するもので、自動焦点調整（コントラストＡＦ）機能などを有し、この撮像部２６によって撮影された画像はリアルタイム又は送信要求に応じて通信部２７から画像処理装置１に送信される。無線通信部２７は、無線ＬＡＮ（Local Area Network）通信部やBluetooth（登録商標）通信部である。位置取得部２８は、現在位置を受信取得するＧＰＳ（Global Positioning System）部で、例えば、誤差１m以内の高精度で測位可能な構成となっている。

【0017】

図４（１）は、被写体に対して複数台のカメラ２を配置した状態を例示した図である。
図示の例は、被写体として大勢でダンスのレッスンを行っている様子を撮影する場合で、その被写体の近傍には、５台のカメラ２が配置されている。この５台のカメラ２は、同一の被写体に対して視点が異なるもので、この５台のカメラ２で被写体を同期撮影する場合（撮影開始から撮影終了までの撮影期間が同一となる撮影を行う場合）、画像処理装置１は、カメラ２はその撮影開始を指示するようにしている。なお、各カメラ２側のタイマ（図示省略）が撮影期間の経過を検出しとき際に撮影を終了してもよいが、画像処理装置１から各カメラ２に撮影終了を指示するようにしてもよい。

【0018】

なお、５台のカメラ２をカメラＡ〜Ｅと呼称すると、図中の例は、左端にカメラＡを配置し、右端にカメラＥを配置し、このカメラＡ、Ｅの間にカメラＢ、Ｃ、Ｄを配置した場合である。このように各カメラＡ〜Ｅは、ダンスレッスンの様子を被写体として視点を変えて同期撮影するためにその被写体の近傍に配置されたもので、各カメラＡ〜Ｅを三脚などによって固定して設置するようにしているが、その設置位置を固定する場合に限らず、その各撮影者が任意に移動しながら撮影する場合であってもよい。また、各カメラ２に対してズーム倍率などの撮影条件を同じ値に設定してもよいが、カメラ２毎に異なる値を任意に設定するようにしてもよい。

【0019】

図４（２）、（３）は、上述した結合編集処理（動画像生成処理）によって一連の結合動画像の生成を説明するための図である。
画像処理装置１は、５台のカメラＡ〜Ｅの各撮影動画像（多視点撮影画像）を基にユーザの所望する一連の結合動画像を生成する場合に、この５台のカメラＡ〜Ｅのうち、ユーザの所望する視点で撮影するカメラ２としてその一部のカメラ（少なくとも２台のカメラ）２がユーザ操作によって任意に指定されると、このユーザ指定された各カメラ２の間に他のカメラ２が存在しているか否かの判別を行う。例えば、図４（２）に示すようにカメラＡ、Ｄがユーザ指定された場合には、そのユーザ指定のカメラＡ、Ｄの間に他のカメラＢ、Ｃが存在していることを判別するが、図４（３）に示すようにカメラＡ、Ｂがユーザ指定された場合には、そのユーザ指定のカメラＡ、Ｂの間には他のカメラ２が存在していないことを判別する。

【0020】

画像処理装置１は、ユーザ指定された各カメラ２の間に他のカメラ２が存在していれば、ユーザ指定されたカメラ２の撮影位置を基準として被写体に対する視点がより滑らかに切り換わるように、１又は２以上の他のカメラ２を、ユーザ指定のカメラ２と共にグループ指定するようにしている。図４（２）の例では、ユーザ指定のカメラＡ、Ｄの間に他のカメラＢ、Ｃが存在しているので、このカメラＢ、Ｃは、ユーザ指定されたカメラＡ、Ｄの撮影位置を基準として被写体に対する視点がより滑らかに切り換わるカメラ２であるものと認識して、このカメラＢ、Ｃとユーザ指定のカメラＡ、Ｄとの組み合わせを１つの配列グループとして指定するようにしている。

【0021】

そして、画像処理装置１は、上述の配列グループ内の各カメラ２から撮影動画像（多視点撮影画像）を受信取得し、その多視点撮影画像の中から所定のタイミングで切り換え取得した画像を順次結合する結合編集を行って一連の結合動画像を生成するために、その結合する順番を決定するようにしている。図４（２）の例では、カメラＡを起点とすると、結合する順番は、カメラＡ、Ｂ、Ｃ、Ｄの順となる。すなわち、ユーザ指定されたカメラのうち最初に指定されたカメラ（最初に再生を開始する画像を撮影したカメラ）２を起点とするようにしているが、どのカメラ２を起点とするかは、ユーザ操作により任意に設定可能としてもよい。

【0022】

次に、第１実施形態における画像処理装置１の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

【0023】

図５及び図６は、画像処理装置１の特徴的な動作（特に、多視点撮影画像の結合編集）を説明するためのフローチャートである。
画像処理装置１の制御部１１は、同一の被写体に対して視点の異なる複数台のカメラ２に撮影開始の指示を送信して同期撮影を開始させる（図５のステップＳ１）。なお、この撮影指示により複数台のカメラ２は、同時に動画撮影を開始する。画像処理装置１は、その後、適当なタイミングで複数台のカメラ２に撮影終了の指示を送信して同期撮影を終了させる。そして、画像処理装置１は、各カメラ２からこの同期撮影で撮影した撮影動画像とその設置位置（現在位置）を受信取得して画像メモリ１３ｃに記録保存する処理を開始させる（ステップＳ２）。

【0024】

この状態において、動画像編集又は画像処理終了が指示されたかを調べ（ステップＳ３）、動画像編集が指示された場合に、その指示が“フレーム合成”であれば、記録保存されている各撮影動画像をフレーム合成する処理（図示省略）に移るが、“多視点撮影画像の結合編集”が指示されたときには、各撮影画像を順次結合して一連の結合動画像を生成する処理に移る（図５のステップＳ４〜Ｓ６及び図６のステップＳ７〜Ｓ１１）。なお、処理終了が指示されたときには、図５及び図６のフローから抜ける。

【0025】

以下、多視点撮影画像の結合編集処理について説明する。
この結合編集処理においては、編集後の動画像を再生した場合に、撮影時の時間経過（撮影期間）を維持したままで、撮影の視点だけが次々と切り換わるような動画像を得ることを目的としている。そして、この編集処理においては、ユーザ操作又は自動決定により視点の切り換えタイミング及び切り換え先のカメラを指定することになるが、以下、この切り換えタイミングは、同期撮影（動画撮影）の開始からの撮影経過時間により示すものとする。

【0026】

なお、第１実施形態では、結合編集処理の対象となる複数の撮影動画像の撮影において、全てのカメラが同時に同期撮影（動画撮影）を開始しているので、同期撮影（動画撮影）の開始からの撮影経過時間が各撮影動画像の先頭からの記録位置（各撮影動画像を再生する場合の再生経過時間）と等しくなる。このため、同期撮影（動画撮影）の開始からの撮影経過時間で示される切り換えタイミングを、各撮影動画像内の対応するフレームの記録位置に変換することは容易である。

【0027】

先ず、ステップＳ４では、最初に再生（結合）を開始する画像（又はその画像を撮影したカメラ）のユーザ指定を受け付ける。図５（２）、（３）の例では、カメラＡ（又はカメラＡで撮影された画像）が最初に再生を開始する画像（又はカメラ）となる。次に再生（結合）する画像（又はその画像を撮影したカメラ）とその切り換えタイミングのユーザ指定を受け付ける（ステップＳ５）。図４（２）の例ではカメラＤで撮影された画像（又はカメラＤ）、図４（３）の例では、カメラＢで撮影された画像（又はカメラＢ）が次に再生する画像（又はカメラ）となる。ここで、切り換えタイミングは、画像を切り換えるまでの時間間隔であり、ユーザ操作により任意に設定可能な情報である。

【0028】

このようにして２台のカメラ２の撮影動画像がユーザ指定されると、この２つの撮影動画像を切り換え前後の２つの撮影動画像としてそのカメラ２の撮影位置を取得する（ステップＳ５）。すなわち、図４（２）の例ではカメラＡ、Ｄの撮影位置をそれぞれ取得し、図４（３）の例ではカメラＡ、Ｂの撮影位置をそれぞれ取得する。そして、図６のフローに移り、このユーザ指定された２台のカメラ２の設置位置と他のカメラ２の設置位置とを比較して（ステップＳ７）、この２台のカメラ２の間に他のカメラ２が存在しているかを調べる（ステップＳ８）。

【0029】

ここで、ユーザ指定された２台のカメラ（切り換え前後のカメラ）２の間に他のカメラ２が存在していなければ（ステップＳ８でＮＯ）、その切り換え前後の撮影動画像内のフレームを切り換えタイミングの前後で切り取って結合する処理を行う（ステップＳ９）。すなわち、図４（３）の例ではカメラＡ、Ｂの間に他のカメラ２は存在していないので、カメラＡ、Ｂの撮影動画像内のフレームを切り換えタイミングにしたがって順次結合する処理を行う。例えば、切り換えタイミングを同期撮影（動画撮影）の開始から２０秒後とすると、カメラＡの撮影動画像の先頭（０秒）から２０秒後までのフレームとカメラＢの撮影動画像の２０秒後以降のフレームをカメラＡ、Ｂの順に結合する処理を行う。

【0030】

また、２台のカメラ２の間に他のカメラ２が存在していれば（ステップＳ８でＹＥＳ）、この２台のカメラ２と他のカメラ２とを１つの配列グループとして指定すると共に、この他のカメラ２の数に応じて等分となるように中間の切り換えタイミングを設定する（ステップＳ１２）。そして、各カメラ２の撮影位置に応じて切り換えの順番を決定（ステップＳ１３）した後、切り換えタイミング毎に、切り換え前後における撮影動画像内のフレームを切り換えタイミングの前後で切り取って結合する処理を行う（ステップＳ１４）。

【0031】

すなわち、図４（２）の例ではカメラＡ、Ｄの間に他のカメラＢ、Ｃが存在しているので、撮影動画像の先頭（０秒）から切り換えタイミング（例えば、１５秒）までを３等分してその２つの中間値（５秒、１０秒）を設定すると共に、切り換え順番としてＡ、Ｂ、Ｃ、Ｄを決定する。そして、カメラＡ、Ｂ、Ｃ、Ｄの撮影動画像内のフレームを切り換えタイミングにしたがって画像を順次結合する処理を行うが、この場合、切り換えタイミングの中間値は５秒、１０秒であるので、カメラＡの０〜５秒、Ｂの５〜１０秒、Ｃの１０〜１５秒、Ｄの１５秒以降分のフレームを切り取ってカメラＡ、Ｂ、Ｃ、Ｄの順に結合する処理を行う。

【0032】

このような結合処理が終ると、結合編集の終了がユーザ指示されたかを調べ（ステップＳ１０）、その編集終了が指示されるまで図５のステップＳ５に戻り、上述の動作を繰り返す。例えば、上述のようにユーザがカメラＡからカメラＢに切り換え指定した後、ステップＳ５においてユーザが更にカメラＤへの切り換えを指定したものとすると、図４（１）の例では、カメラＢ、Ｄの間に他のカメラＣが存在しているので（ステップＳ８でＹＥＳ）、ステップＳ１２〜Ｓ１４の処理を行う。また、上述のようにユーザがカメラＡからカメラＤに切り換え指定した後、ステップＳ５においてユーザが更にカメラＥへの切り換えを指定したものとすると、図４（１）の例では、カメラＤ、Ｅの間に他のカメラが存在していないので（ステップＳ８でＮＯ）、ステップＳ９の処理を行う。その後、結合編集の終了が指示されると（ステップＳ１０でＹＥＳ）、生成した一連の結合動画像を画像メモリ１３ｃに記録保存（ステップＳ１１）させた後、図５及び図６のフローから抜ける。

【0033】

以上のように、第１実施形態において画像処理装置１は、同一の被写体に対して視点が異なる複数台のカメラ２のうち、ユーザにより切換指定された一部のカメラ２の配置状態を基準として被写体に対する視点がより滑らかに切り換わるように、一連の結合動画像の生成に用いる画像を撮影する１又は２以上の他のカメラ２を、ユーザ指定のカメラ２と共にグループ指定し、この指定したグループ内の各カメラ２の各撮影動画像を所定の切り換えタイミングで切り換え結合して一連の結合動画像を生成するためにその結合する順番を決定するようにしたので、ユーザにあっては、どのカメラ２がどの位置に設置されているかを事前に把握しておく必要はなく、同一の被写体を様々な視点で撮影した各画像を基に一連の結合動画像を生成する場合に、次に切り換える一部のカメラ２を指定するという簡単なユーザ指定でユーザの要望に応じた一連の結合動画像を得ることができる。

【0034】

画像処理装置１は、複数台のカメラ２の撮影動画像とカメラ２の撮影位置に基づいて、所定の位置関係にある１又は２以上の他のカメラ２をユーザ指定のカメラ２と共にグループ指定するようにしたので、ユーザ指定のカメラ２との位置関係から１又は２以上の他のカメラ２を適切に指定することができる。

【0035】

画像処理装置１は、少なくとも２台のカメラ２をユーザ指定するだけで、その間に配置されている１又は２以上のカメラ２を含めてグループ指定するようにしたので、カメラの指定数を必要最小限とすることができ、その指定が簡単なものとなる。

【0036】

画像処理装置１は、ユーザの所望するカメラ２を操作部１５のキー操作によって指定するようにしたので、ユーザの所望する結合画像を何時でも自由に生成することが可能となる。

【0037】

画像処理装置１は、各撮影動画像を切り換え結合する順番を決定する場合に、各カメラ２の撮影位置の並び順にしたがってその順番を決定するようにしたので、その結合する順番をユーザ指定する必要はなく、しかも被写体が滑らかに変化する見やすい一連の結合動画像を得ることができる。

【0038】

画像処理装置１は、ユーザ指定の各カメラ２に対応して切り換えタイミングを任意に指定するようにしたので、更にユーザの意向を反映した一連の結合動画像を得ることができる。

【0039】

画像処理装置１は、一連の結合動画像を生成するようにしたので、結合編集時に結合動画像を生成することができる。

【0040】

画像処理装置１は、グループ指定された１又は２以上の他のカメラ２の数に基づいて、ユーザ指定の切り換えタイミングの中間値を求め、この中間値の切り換えタイミング毎にグループ内の各カメラ２の撮影動画像を順次結合するようにしたので、切り換えタイミングを細かく指定する必要がなくなり、そのタイミング指定が簡単なものとなる。

【0041】

上述した第１実施形態においては、カメラ２の配置状態として撮影位置を例示したが、カメラ２の撮影方向をその配置状態としてもよい。カメラ２の撮影方向としては、電子方位計や加速度センサなどで方位を測定したり、基準に対するカメラ向きを測定したりすればよい。この場合、ユーザ指定されたカメラ２の撮影方向の間に他のカメラ２の撮影方向が存在しているかを比較して他のカメラ２を特定するようにすればよい（このことは、以下の他の実施形態においても同様である）。

【0042】

上述した第１実施形態においては、動画編集時のユーザによる複数の切り換えタイミング及び切り換え先のカメラの指定は、１つ１つ順番に行うものとし、最初のカメラを指定した後に１回目の切り換えが指定されることにより、少なくとも２台のカメラ２がユーザ指定された場合に、そのユーザ指定のカメラ２の撮影位置に基づいて、その間に配置されている１又は２以上の他のカメラ２を、ユーザ指定のカメラ２と共にグループ指定するようにしたが、ユーザ指定のカメラ２の近くに配置されている１又は２以上の他のカメラ２を、ユーザ指定のカメラ２と共にグループ指定するようにしてもよい。これによって例えば、ユーザ指定のカメラ２の間ではなく、その外側に配置されている他のカメラ２も含めてグループ指定することができる（このことは、以下の他の実施形態においても同様である）。

【0043】

また、上述した第１実施形態においては、ユーザが１つ１つ順番に切り換え指定を行い、切り換え指定が行われる毎に、切り換え前後のカメラの中間位置に配置されているカメラを次々とグループ指定するようにしたが、予め切り換える予定の複数のカメラをユーザが一括して指定し、この指定された複数のカメラの撮影位置に基づいて同時に複数のグループ分けを行うようにしてもよい。

【0044】

（第２実施形態）
以下、この発明の第２実施形態について図７及び図８を参照して説明する。
なお、上述した第１実施形態においては、ユーザ指定の各カメラ２とそれらの間に存在している他のカメラ２との組み合わせ（配列グループ）が１つの場合を例示したが、この第２実施形態においては、この配列グループが複数存在する場合に、この複数の配列グループの中からどのグループを指定するかを特徴とするものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

【0045】

図７（１）は、第２実施形態において、被写体に対して複数台のカメラ２を配置した状態を例示した図である。
図示の例は、図４（１）の場合と同様、大勢でダンスのレッスンを行っている様子を被写体とした例を示したもので、第２実施形態においては、被写体の周囲に配置された８台のカメラ２で被写体を同期撮影する場合（撮影開始から撮影終了までの撮影期間が同一となる撮影を行う場合）である。この８台のカメラ２は、同一の被写体に対する視点が異なるようにその被写体の周囲に配置されたもので、被写体を前後左右の８方向から多視点撮影を行うようにしている。

【0046】

なお、被写体の周囲に配置された８台のカメラ２を、カメラＡ〜Ｈと呼称すると、被写体を原点とするＸＹ座標系において、Ｘ軸のマイナス側にカメラＡを配置し、Ｘ軸のプラス側にカメラＥを配置し、更に、このカメラＡとカメラＥの間において、Ｙ軸のマイナス側にカメラＢ、Ｃ、Ｄを配置し、Ｙ軸のプラス側にカメラＨ、Ｇ、Ｆを配置した場合である。また、各カメラＡ〜Ｈは、三脚などによって固定して設置してもよいが、その各撮影者が任意に移動しながら撮影する場合であってもよい。また、図示の例は、カメラＢ、Ｃと、カメラＤ、Ｅが比較的接近した状態で設置されているのに対し、カメラＨ、Ｇ、Ｆは略等間隔に設置されている場合を示している。

【0047】

図７（２）は、ユーザ指定のカメラＡ、Ｅと、その間に存在する他のカメラＢ、Ｃ、Ｄの配列を１つのグループとして指定した場合である。図７（３）は、ユーザ指定のカメラＡ、Ｅと、その間に存在する他のカメラＨ、Ｇ、Ｆの配列を１つのグループとして指定した場合である。このようにユーザ指定の各カメラ２と、このユーザ指定の各カメラ２の間に存在している他のカメラ２との組み合わせ（配列グループ）が複数存在する場合に、画像処理装置１は、この複数の配列グループを所定の方法にしたがって評価することにより、いずれか１つの配列グループを指定するようにしている。

【0048】

図８は、第２実施形態において、画像処理装置１の特徴的な動作（特に、多視点撮影画像の結合編集）を説明するためのフローチャートである。
画像処理装置１の制御部１１は、先ず、動画像編集（多視点撮影画像の結合編集）が指示されると、最初に再生（結合）を開始する画像（又はその画像を撮影したカメラ）のユーザ指定を受け付けると共に（ステップＳ２１）、次に再生（結合）する画像（又はその画像を撮影したカメラ）とその切り換えタイミングのユーザ指定を受け付ける（ステップＳ２２）。

【0049】

これによって２つの撮影動画像（カメラ）がユーザ指定されると、その２台のカメラ（切り換え前後のカメラ）２の撮影位置を取得し（ステップＳ２３）、この切り換え前後のカメラ２の設置位置と他のカメラ２の設置位置とを比較して（ステップＳ２４）、切り換え前後のカメラ２の間に他のカメラ２が存在しているかを調べる（ステップＳ２５）。例えば、ユーザ指定された２台のカメラ２を結ぶ直線を境として区分されるその垂線方向の２つの区分領域毎に、ユーザ指定のカメラ２の間に他のカメラ２が存在しているかを調べる。ここで、上述のいずれの区分領域にも他のカメラ２が存在していなければ（ステップＳ２５でＮＯ）、ステップＳ３０に移り、ユーザ指定された各カメラ（切り換え前後のカメラ）２の撮影動画像内のフレームを切り換えタイミングの前後で切り取って結合する処理を行う（ステップＳ３０）。

【0050】

また、ユーザ指定のカメラ２の間に他のカメラ２が存在していれば（ステップＳ２５でＹＥＳ）、上述した区分領域毎に配列グループの選択候補として指定する（ステップＳ２６）。例えば、図７（２）の場合には、各カメラＡ、Ｂ、Ｃ、Ｄ、Ｅを配列グループの選択候補として指定し、図７（３）の場合には、各カメラＡ、Ｈ、Ｇ、Ｆ、Ｅを配列グループの選択候補として指定する。そして、候補は複数グループであるかを調べ（ステップＳ２７）、１つのグループであれば（ステップＳ２７でＮＯ）、そのグループ内において、他のカメラ２の数に応じて等分となるように中間の切り換えタイミングを設定すると共に各カメラの撮影位置に応じて切り換えの順番を決定する（ステップＳ３１）。そして、切り換えタイミング毎に、切り換え前後の撮影動画像内のフレームを切り換えタイミングの前後で切り取って結合する処理を行う（ステップＳ３２）。

【0051】

また、配列グループの候補が複数存在していれば（ステップＳ２７でＹＥＳ）、各グループを評価する処理に移る（ステップＳ２８）。ここで、各グループを２種類の基準で評価し、その評価結果に基づいて、いずれか１つのグループを指定するようにしている（ステップＳ２９）。すなわち、１つの評価基準は、配列グループに各カメラ２の配列状態であり、配列グループ毎に各カメラ２の配列状態としてカメラ２の配列間隔及びカメラ２の台数を比較し、その比較結果に基づいて被写体に対する視点がより滑らかに切り換わるかを数値化して評価する（例えば、１０段階評価）。この場合、グループ内のカメラ２の台数が多く、略等間隔に配列されていれば、視点がより滑らかに切り換わると評価し、その評価値は高くなる。なお又は、１回の切り換わりにおける視点の変化量と変化方向を視点の変化ベクトルとして示した場合に、複数回の切り換わりにおいて視点の変化ベクトルの変化が少ないほど視点がより滑らかに切り換わると評価してもよい。

【0052】

また、他の評価基準は、撮影動画像内の被写体の状態（被写体の写り具合）であり、配列グループ毎に各カメラ２の撮影動画像内の被写体が所定の状態であるかを数値化して評価する。被写体の所定の状態とは、被写体（人物）サイズの大きさ、人物の顔の大きさ、人数の多さであり、被写体（人物）サイズの大きさ、顔の大きさ、人数の多さを数値化して評価する（例えば、各要素を３段階評価）。このような評価を総合した評価点を比較し、その値が最大となるグループを指定する。例えば、図７（２）の配列グループと図７（３）の配列グループを比較した場合、被写体の状態が略同じであれば、図７（３）の配列グループの方がその配列状態が略等間隔であるので、その総合評価値が高くなるので、この配列グループを指定する。

【0053】

このようにして複数のグループ候補の中からいずれか１つのグループを指定すると、上述のステップＳ３１に移り、指定グループ内において、他のカメラ２の数に応じて等分となるように中間の切り換えタイミングを設定すると共に各カメラの撮影位置に応じて切り換えの順番を決定する。そして、切り換えタイミング毎に、切り換え前後の撮影動画像内のフレームを切り換えタイミングの前後で切り取って結合する処理を行う（ステップＳ３２）。このような結合処理が終ると、結合編集の終了がユーザ指示されたかを調べ（ステップＳ３３）、その編集終了が指示されるまでステップＳ２２に戻り、上述の動作を繰り返すが、編集終了が指示されときには（ステップＳ３３でＹＥＳ）、生成した一連の結合動画像を画像メモリ１３ｃに記録保存（ステップＳ３４）させた後、図８のフローから抜ける。

【0054】

以上のように、第２実施形態において画像処理装置１は、予めユーザ指定された一部のカメラ２の配置状態を基準として１又は２以上の他のカメラ２をユーザ指定のカメラ２と共にグループ指定する場合に、グループ候補が複数存在しているときには、このグループ候補毎にその各カメラ２の配列状態を比較し、その比較結果に基づいて被写体に対する視点がより滑らかに切り換わるグループを指定するようにしたので、第１実施形態と同様に、同一の被写体を様々な視点で撮影した各画像を基に一連の画像を生成する場合に、簡単なユーザ指定でユーザの要望に応じた一連の画像を得ることができるほか、第２実施形態では、更に、カメラ２の配列状態に基づいて被写体に対する視点がより滑らかに切り換わるグループを指定することができる。

【0055】

カメラ２の配列状態は、カメラ２の配置間隔、その数であるので、被写体に対する視点がより滑らかに切り換わるグループを適切に指定することができる。

【0056】

画像処理装置１は、各カメラ２の撮影動画像内の被写体が所定の状態であり、かつ、被写体に対する視点がより滑らかに切り換わるようにグループ指定するようにしたので、被写体に対する視点と被写体の状態との組み合わせでグループ指定することができる。

【0057】

画像処理装置１は、撮影動画像内の被写体のサイズがより大きく、かつ、その被写体に対する視点がより滑らかに切り換わるようにグループ指定するようにしたので、被写体を重視した一連の結合動画像を得ることができる。

【0058】

画像処理装置１は、撮影画像内の人物の顔がより大きく、かつ、その被写体に対する視点がより滑らかに切り換わるようにグループ指定するようにしたので、人物の顔を重視した一連の結合動画像を得ることができる。

【0059】

画像処理装置１は、撮影動画像内の人数がより多く、かつ、その被写体に対する視点がより滑らかに切り換わるようにグループ指定するようにしたので、人数を重視した一連の結合動画像を得ることができる。

【0060】

なお、上述した第２実施形態においては、ユーザ指定された２台のカメラ２を結ぶ直線を境として区分されるその垂線方向の２つの区分領域毎に配列グループを選択候補としたが、候補となるグループ数は、４つのグループなど任意である。

【0061】

（第３実施形態）
以下、この発明の第３実施形態について図９を参照して説明する。
なお、上述した第１実施形態においては、複数台のカメラ２に同時に同期撮影（動画撮影）を開始及び終了させ、各カメラ２から受信取得した各撮影動画像を記録保存した後に、結合編集を行ってその撮影動画像を基に一連の結合動画像を生成するようにしたが、この第３実施形態においては、個々のカメラ２から撮影動画像を受信取得して記録する動作を切り換えながら一連の結合動画像を生成するようにしたものである。ここで、第１、第３実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第３実施形態の特徴部分を中心に説明するものとする。
この第３実施形態において、切り換えタイミングは、最初に指定されたカメラが動画撮影を開始してからの撮影経過時間により示すものとする。

【0062】

図９は、第３実施形態において、画像処理装置１の特徴的な動作（特に、多視点撮影画像の結合編集）を説明するためのフローチャートである。
画像処理装置１の制御部１１は、複数台のカメラ２で被写体を同期撮影している場合において、最初に撮影記録を開始するカメラ２のユーザ指定を受け付けると（ステップＳ４１）、このユーザ指定されたカメラ２から撮影動画像を受信取得して記録保存する動作を開始する（ステップＳ４２）。その後、別のカメラ２への切り換えがユーザ指示されたかを調べ（ステップＳ４３）、その切り換えが指示されなければ（ステップＳ４３でＮＯ）、結合編集終了が指示されたかを調べ（ステップＳ４９）、その編集終了が指示されなければ（ステップＳ４９でＮＯ）、上述のステップＳ４３に戻り、切り換え指示又は編集終了指示があるまで上述のループを回りながら待機状態となる。

【0063】

ここで、別のカメラ２への切り換えがユーザ指示されたときには（ステップＳ４３でＹＥＳ）、ユーザ指定の２台のカメラ（切り換え前後のカメラ）２の撮影位置を取得し（ステップＳ４４）、このユーザ指定の各カメラ２の設置位置と他のカメラ２の設置位置とを比較して（ステップＳ４５）、この２台のカメラ２の間に他のカメラ２が存在しているかを調べる（ステップＳ４６）。いま、他のカメラ２が存在していなければ（ステップＳ４６でＮＯ）、切り換え指示されたカメラ２の撮影動画像を受信取得して記録保存する動作を開始することで撮影記録の切り換えを行う（ステップＳ４７）。

【0064】

なお、最初にユーザ指定されたカメラ２の撮影動画像の記録時間は、次にユーザ指定されたカメラ２との間に他のカメラ２が存在していなければ、その最初のユーザ指定時から次のユーザ指定時までの任意の時間となる。このことは、任意のカメラ２をユーザ指定すると同時に、撮影記録の切り換えタイミング（切り換え前のカメラ２の撮影記録時間）を任意に指定可能であることを意味している。次に、結合編集の終了が指示されたかを調べ（ステップＳ４８）、その編集終了が指示されなければ（ステップＳ４８でＮＯ）、上述のステップＳ４３に戻る。

【0065】

また、ユーザ指定のカメラ２の間に他のカメラ２が存在していれば（ステップＳ４６でＹＥＳ）、ユーザ指定のカメラ２とその間に存在している他のカメラ２を１つのグループとして指定すると共に、そのグループ内における他の未選択のカメラ２の中で現在のカメラ２に近いカメラ２を選択する（ステップＳ４９）。つまり、切り換え前後のカメラ２の間に他のカメラ２が複数台存在していれば、そのカメラを１台ずつ選択するが、その際、他の未選択のカメラ２の中で現在のカメラ（切り換え前のカメラ）２の近傍に位置しているカメラ２を選択するようにしている。そして、この選択カメラ２から撮影動画像を受信取得して記録保存する動作を開始することで撮影記録の切り換えを行う（ステップＳ５０）。

【0066】

そして、未選択の他のカメラ２が残っていれば（ステップＳ５１でＹＥＳ）、切り換えタイミングが経過するまで一定時間（例えば、１０秒間）待機（ステップＳ５２）した後、上述のステップＳ４９に戻り、未選択の他のカメラ２を選択する。このようにしてユーザ指定のカメラ２の間に存在している全てのカメラ２を１台ずつ選択することによりその撮影記録の切り換えを順次行う。そして、未選択のカメラ２がなくなれば（ステップＳ５１でＮＯ）、ステップＳ４８に戻る。

【0067】

以上のように、第３実施形態において画像処理装置１は、切り換え指示のカメラ２の撮影動画像を受信取得してその撮影記録する動作を切り換えながら一連の結合動画像を生成するようにしたので、第１実施形態と同様に、同一の被写体を様々な視点で撮影した各画像を基に一連の画像を生成する場合に、一部のカメラ２を指定するという簡単なユーザ指定でユーザの要望に応じた一連の画像を得ることができるほか、第３実施形態では、更に、リアルタイムに結合動画像を生成することが可能となる。

【0068】

なお、上述した第３実施形態においては、グループ指定された各カメラ２の撮影動画像を受信取得してその撮影記録する動作を順次切り換えながら順次結合して一連の結合動画像を生成するようにしたが、短距離無線通信網３及び広域通信網４を介して他の電子機器（図示省略）に配信する動作を順次切り換えながら順次結合して一連の結合動画像を生成するようにしてもよい。

【0069】

また、第３実施形態においてユーザは、同期撮影中に任意のカメラ２をユーザ指定する毎に撮影記録を切り換えるようにしたが、ユーザ指定のカメラ２を一括して事前指定すると共に、その指定カメラ２に対応して各々の切り換えタイミングを任意に指定するようにしてもよい。

【0070】

上述した各実施形態においては、各カメラ２の撮影動画像（多視点撮影画像）を基にユーザの所望する一連の結合動画像を生成するようにしたが、各カメラ２の撮影画像（多視点撮影画像）は、静止画像であってもよい。この場合、各静止画像の中から所定の切り換えタイミングで切り換え取得した静止画像を順次結合すると共にその中間フレームを補間することによって動画像を生成するようにしてもよい。これによって多視点の静止画像から動画像を生成することが可能となる。

【0071】

上述した各実施形態においては、一連の結合動画像を生成するようにしたが、各カメラ２の撮影画像（多視点撮影画像）が静止画像の場合、この複数の静止画像を結合させてスライド形式の一連の静止画像を生成するようにしてもよい。

【0072】

図１０〜図１２は、上述した各実施形態の変形例の動作概念を説明するための図である。
図１０は、その変形例の１つの動作概念を示した図で、６台のカメラＡ〜Ｆの設置位置が固定され、かつ、そのＡ〜Ｆの順序で配置されている場合に、この各カメラＡ〜Ｆの撮影期間が同じで、結合編集時の切り換え間隔（切り換え時間）を“５秒”に固定した条件において、多視点撮影画像の結合編集を開始する前に、カメラＡ、Ｂ、Ｅがその順序でユーザ指定された場合を示している。なお、図中、縦軸は、各カメラＡ〜Ｆの撮影位置を示し、実際の撮影位置は二次元であるが、便宜上、一次元を示している（以下、同様）。また、横軸は撮影時間を示し、撮影期間が同じであれば、各カメラＡ〜Ｆの撮影時間は、撮影期間が同じであれば、同じ長さとなる。

【0073】

画像処理装置１は、例えば、第３実施形態で示したように撮影記録する動作を順次切り換えながら一連の結合動画像を生成するものとすると、最初のユーザ指定のカメラＡの撮影動画像を５秒間記録する動作を行った後、次のユーザ指定のカメラＢの撮影動画像を５秒間記録する動作に切り換える。この場合、ユーザ指定のカメラＢ、Ｅの間には、他のカメラＣ、Ｄが存在しているので、カメラＢの撮影記録を行った後に、カメラＣの撮影動画像を５秒間記録する動作に切り換える。更に、カメラＣの撮影記録を行った後に、カメラＤの撮影動画像を５秒間記録する動作に切り換える。その後、ユーザ指定のカメラＥの撮影動画像を５秒間記録する動作に切り換える。このように結合編集を開始する前にユーザ指定のカメラ２を特定しておけば、結合編集時の切り換え間隔を固定することができる。

【0074】

図１１は、他の変形例の動作概念を説明するための図である。
図示の例は、６台のカメラＡ〜Ｆの設置位置が固定され、かつ、そのＡ〜Ｆの順序で配置され、この各カメラＡ〜Ｆの撮影期間が同じの場合に、カメラＡ、Ｂ、Ｅがユーザ指定されてその撮影記録の切り換え順序としてＡ〜Ｅの順番が指定され、かつ、各カメラＡ、Ｂ、Ｅに対応して各々の切り換えタイミングが任意に指定された場合を示している。この場合、画像処理装置１は、最初のユーザ指定のカメラＡの撮影動画像を記録する動作を行った後、そのカメラＡに対応して指定された切り換えタイミング（例えば、５秒）の経過後に次のカメラＢの撮影動画像を記録する動作に切り換える。

【0075】

画像処理装置１は、例えば、第３実施形態で示したように撮影記録する動作を順次切り換えながら一連の結合動画像を生成するものとすると、ユーザ指定のカメラＢ、Ｅの間には、他のカメラＣ、Ｄが存在しているので、カメラＢに対応して指定されている切り換えタイミング（例えば、３０秒）を各カメラＢ、Ｃ、Ｄの撮影位置の距離間隔に相当する割合で分配することにより各カメラＢ、Ｃ、Ｄの切り換えタイミング（切り換え間隔：切り換え時間）を決定し、その切り換えタイミング（例えば、８秒、１４秒、８秒）に応じてカメラＢ、Ｃ、Ｄの撮影動画像を順次記録する動作に切り換える。

【0076】

その後、ユーザ指定のカメラＥの撮影動画像をその切り換えタイミングに応じて記録する動作に切り換える。このように、例えば、ユーザ指定のカメラＢ、Ｅの間に他のカメラＣ、Ｄが存在している場合に、このカメラＢに対応して指定されている切り換えタイミングを各カメラＢ、Ｃ、Ｄの撮影位置の距離間隔の割合で分配することにより各カメラＢ、Ｃ、Ｄの切り換えタイミングを決定するようにすれば、距離間隔に応じて切り換えタイミングを決定することができる。

【0077】

図１２は、更に他の変形例の動作概念を説明するための図である。
上記第１実施形態では、全てのカメラが同時に同期撮影（動画撮影）を開始及び終了するようにしたが、図１２の例では、同期撮影に参加する各々のカメラが動画撮影を開始又は終了するタイミングは異なっており、それらの位置も固定されていない場合の例である。この場合の切り換えタイミングも、最初に指定されたカメラが動画撮影を開始してからの撮影経過時間により示すものとする。ただし、この場合、上記第１実施形態と異なり、指定される切り換えタイミングを、各撮影動画像内の対応するフレームの記録位置に変換する際に、最初に指定されたカメラが動画撮影を開始してから他の動画像の撮影が開始されるまでの時間を差し引いてから、他の動画像内の対応するフレームの記録位置に変換する必要がある。

【0078】

図示の例は、６台のカメラＡ〜Ｆが同期撮影中に移動し、カメラ２の配置状態がカメラ移動によって変化する場合を示すと共に、各カメラＡ〜Ｆの撮影期間が異なる場合を示している。なお、図中、カメラＡ〜Ｆに対応する曲線は、そのカメラ移動に応じて変化したカメラ位置（現在の位置）を示している。また、カメラＡ、Ｆがその順番でユーザ指定されると共にその各カメラＡ、Ｆに対応して各々の切り換えタイミングが任意に指定された場合を示している。画像処理装置１は、例えば、第３実施形態で示したように撮影記録する動作を順次切り換えながら一連の結合動画像を生成するものとすると、最初にユーザ指定されたカメラＡの撮影動画像をその切り換えタイミングに応じて記録する動作を行う。

【0079】

その後、次のユーザ指定のカメラＦに着目するが、このユーザ指定のカメラＡ、Ｆの間には、他のカメラＢ、Ｃ、Ｄが存在し、カメラＢ、Ｃ、Ｄに対応して指定されている切り換えタイミングではその撮影期間が重なるため、カメラＡ、Ｆ間の距離の中心に近いカメラＣを切り換え対象として選択する（その他のカメラＢ、Ｄは非選択）。そして、この選択したカメラＣの撮影動画像をその切り換えタイミングに応じて記録する動作を行った後、ユーザ指定のカメラＦの撮影動画像をその切り換えタイミングに応じて記録する動作に切り換える。このようにユーザ指定のカメラ２の間に存在する他のカメラ２が多くとも適切な位置のカメラ２を選択することができる。

【0080】

なお、図１２の例において、選択／非選択の基準は、カメラＡ、Ｆ間の距離の中心に限らず、カメラＡ、Ｆの間に存在しているカメラ数が多い場合には、カメラＡ、Ｆ間の距離を４等分してその２つの中間点に近いカメラをそれぞれ切り換え対象として選択するようにしてもよい。

【0081】

また、上述した各実施形態においては、画像処理装置１としてＰＣを例示したが、タブレット端末、携帯電話機などの携帯端末装置であってもよく、更に複数台のカメラ２のいずれか１台のカメラ２でであってもよい。また、カメラ２は、カメラに限らず、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・音楽プレイヤーなどであってもよい。

【0082】

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

【0083】

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
複数の撮影画像を結合して一連の結合画像を生成するための処理を行う画像処理装置であって、
被写体に対して視点が異なる複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点がより滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定するグループ指定手段と、
前記グループ指定手段によって指定されたグループ内の各撮像手段の撮影画像を所定の切り換えタイミングで切り換え結合して前記一連の結合画像を生成するためにその結合する順番を決定する決定手段と、
を備えたことを特徴とする画像処理装置。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記複数の撮像手段によって撮影された各撮影画像とその各撮像手段の撮影位置又は撮影方向を取得する取得手段を更に備え、
前記グループ指定手段は、前記取得手段によって取得された複数の撮像手段の撮影位置又は撮影方向を参照し、前記ユーザ指定された撮像手段の撮影位置又は撮影方向に対して所定の位置関係又は撮影方向の関係にある１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定する、
ことを特徴とする画像処理装置。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記グループ指定手段は、少なくとも２台の撮像手段がユーザ指定された場合に、そのユーザ指定の撮像手段の撮影位置に基づいて、その間又は近くに配置されている１又は２以上の撮像手段を前記他の撮像手段として、前記ユーザ指定の撮像手段と共にグループ指定する、
ことを特徴とする画像処理装置。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれか１項に記載の画像処理装置において、
前記グループ指定手段は、予めユーザ指定された一部の撮像手段の配置状態を基準として１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定する場合に、グループ候補が複数存在しているときには、このグループ候補毎にその各撮像手段の配列状態を比較し、その比較結果に基づいて前記被写体に対する視点がより滑らかに切り換わるグループを指定する、
ことを特徴とする画像処理装置。
（請求項５）
請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記グループ指定手段は、前記グループ候補毎にその各撮像手段の配列状態を比較する場合は、少なくとも各撮像手段の配置間隔、その数のいずれかを比較する、
ことを特徴とする画像処理装置。
（請求項６）
請求項６に記載の発明は、請求項１に記載の画像処理装置において、
前記グループ指定手段は、前記複数の撮像手段の撮影画像内の被写体が所定の状態であり、かつ、前記複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点がより滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定する、
ことを特徴とする画像処理装置。
（請求項７）
請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記被写体の所定の状態は、被写体のサイズであり、
前記グループ指定手段は、前記被写体のサイズがより大きく、かつ、その被写体に対する視点がより滑らかに切り換わるようにグループ指定する、
ことを特徴とする画像処理装置。
（請求項８）
請求項８に記載の発明は、請求項６に記載の画像処理装置において、
前記被写体の所定の状態は、人物の顔であり、
前記グループ指定手段は、前記被写体である人物の顔がより大きく、かつ、その被写体に対する視点がより滑らかに切り換わるようにグループ指定する、
ことを特徴とする画像処理装置。
（請求項９）
請求項９に記載の発明は、請求項６に記載の画像処理装置において、
前記被写体の所定の状態は、人物の人数であり、
前記グループ指定手段は、前記被写体である人数がより多く、かつ、その被写体に対する視点がより滑らかに切り換わるようにグループ指定する、
ことを特徴とする画像処理装置。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項９のいずれか１項に記載の画像処理装置において、
前記複数の撮像手段のうち、その一部の撮像手段をユーザ操作により任意に指定する撮像指定手段を更に備える、
ことを特徴とする画像処理装置。
（請求項１１）
請求項１１に記載の発明は、請求項１〜請求項１０のいずれか１項に記載の画像処理装置において、
前記決定手段は、前記各撮影画像を切り換え結合する順番を決定する場合に、該各撮像手段の撮影位置又は撮影方向の並び順にしたがってその順番を決定する、
ことを特徴とする画像処理装置。
（請求項１２）
請求項１２に記載の発明は、請求項１〜請求項１１のいずれか１項に記載の画像処理装置において、
前記ユーザ指定の撮像手段に対応して前記切り換えタイミングを任意にユーザ指定するタイミング指定手段を更に備える、
ことを特徴とする画像処理装置。
（請求項１３）
請求項１３に記載の発明は、請求項１〜請求項１２のいずれか１項に記載の画像処理装置において、
前記グループ指定手段によって指定されたグループ内の各撮像手段の撮影画像を前記決定手段によって決定された順番にしたがって順次結合することにより前記一連の結合画像を生成する生成手段を更に備える、
ことを特徴とする画像処理装置。
（請求項１４）
請求項１４に記載の発明は、請求項１３に記載の画像処理装置において、
前記生成手段は、前記グループ指定手段によってグループ指定された１又は２以上の他の撮像手段の数に基づいて、前記タイミング指定手段によって指定された切り換えタイミングの中間値を求め、この中間値の切り換えタイミング毎にグループ内の各撮像手段の撮影画像を順次結合する、
ことを特徴とする画像処理装置。
（請求項１５）
請求項１５に記載の発明は、請求項１３に記載の画像処理装置において、
前記生成手段は、前記グループ指定手段によってグループ指定された各撮像手段の撮影動画像を受信取得してその記録又は配信する動作を順次切り換えながら順次結合して一連の結合動画像を生成する、
ことを特徴とする画像処理装置。
（請求項１６）
請求項１６に記載の発明は、請求項１３に記載の画像処理装置において、
前記複数の撮像手段によって撮影された各撮影画像は、それぞれ静止画像であり、
前記生成手段は、前記静止画像の中から所定の切り換えタイミングで切り換え取得した静止画像を順次結合すると共にその中間フレームを補間することによって動画像を生成する、
ことを特徴とする画像処理装置。
（請求項１７）
請求項１７に記載の発明は、
被写体に対して視点が異なる複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点がより滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定するステップと、
前記指定されたグループ内の各撮像手段の撮影画像を所定の切り換えタイミングで切り換え結合して前記一連の結合画像を生成するためにその結合する順番を決定するステップと、
を含むことを特徴とする画像処理方法。
（請求項１８）
請求項１８に記載の発明は、
コンピュータに対して、
被写体に対して視点が異なる複数の撮像手段のうち、予めユーザ指定された一部の撮像手段の配置状態を基準として前記被写体に対する視点がより滑らかに切り換わるように、１又は２以上の他の撮像手段を前記ユーザ指定の撮像手段と共にグループ指定する機能と、
前記指定されたグループ内の各撮像手段の撮影画像を所定の切り換えタイミングで切り換え結合して前記一連の結合画像を生成するためにその結合する順番を決定する機能と、
を実現させるためのプログラム。

【符号の説明】

【0084】

１ 画像処理装置
２ 撮像装置（カメラ）
３ 短距離無線通信網
４ 広域通信網
１１、２１ 制御部
１３、２３ 記憶部
１３ａ プログラムメモリ
１５ 操作部
１６、２７ 通信部
２８ 位置取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】