特開 2024-39517 画像編集装置及び撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024039517

(43)【公開日】2024-03-22

(54)【発明の名称】画像編集装置及び撮像システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240314BHJP

   G03B 15/00 20210101ALI20240314BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 300

G03B15/00 Q

G03B15/00 A

G03B15/00 H

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022144127

(22)【出願日】2022-09-09

(71)【出願人】

【識別番号】515020533

【氏名又は名称】カミエンス・テクノロジー株式会社

(71)【出願人】

【識別番号】522360563

【氏名又は名称】株式会社ｔｏＲｕｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ

(74)【代理人】

【識別番号】100099634

【弁理士】

【氏名又は名称】平井 安雄

(72)【発明者】

【氏名】川瀬 英路

(72)【発明者】

【氏名】鈴木 哉子

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA03

5C122EA12

5C122EA42

5C122FA18

5C122FH11

5C122FH18

5C122HA03

5C122HB01

(57)【要約】

【課題】固定カメラと移動カメラで撮像されたそれぞれの撮像データを組み合わせて編集することで、通常にはない特徴的な映像を生成することができる画像編集装置及び撮像システムを提供する。
【解決手段】被写体Ｘを固定地点から撮像する固定カメラＦＣで撮像された固定撮像データＦＤ、及び移動しながら前記被写体Ｘを撮像する移動カメラＭＣで撮像された移動撮像データＭＤを取得する撮像データ取得部１１と、前記固定撮像データＦＤ及び前記移動撮像データＭＤに共通する所定の特徴を含む画像を特定する特徴画像特定部１３と、特定した画像を含む前記固定撮像データＦＤ及び前記移動撮像データＭＤを編集して編集データを作成する編集データ作成部１４とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体を固定地点から撮像する第１カメラで撮像された第１撮像データ、及び移動しながら前記被写体を撮像する第２カメラで撮像された第２撮像データを取得する撮像データ取得手段と、
前記第１撮像データ及び前記第２撮像データに共通する所定の特徴を含む画像を特定する画像特定手段と、
特定した画像を含む前記第１撮像データ及び前記第２撮像データを編集して編集データを作成する編集データ作成手段とを備えることを特徴とする画像編集装置。

【請求項2】

請求項１に記載の画像編集装置において、
前記編集データ作成手段が、前記被写体の動きを追従して撮像された第２撮像データの動画像に対して、当該第２撮像データと共通する前記特徴を有する前記第１撮像データの定点画像であって、前記第２撮像データが撮像されたタイミングと同時に撮像された前記第１撮像データの定点画像を、当該タイミングの直前及び／又は直後に前記第２撮像データの動画像に連結又は差し替えして前記編集データを作成することを特徴とする画像編集装置。

【請求項3】

請求項１又は２に記載の画像編集装置において、
前記被写体の動作が定常状態から変動したことを検知する検知手段を備え、
前記編集データ作成手段が、前記検知手段が前記被写体の変動を検知したタイミングに合わせて前記第１撮像データ及び／又は前記第２撮像データの編集点を特定することを特徴とする撮像システム。

【請求項4】

請求項１又は２に記載の画像編集装置において、
前記編集データ作成手段が、前記第１撮像データ及び／又は第２撮像データのうち撮像された季節、天候及び／又は時間帯に応じた撮像角度及び／又は撮像タイミングで撮像された画像を抽出して前記編集データの作成に使用することを特徴とする画像編集装置。

【請求項5】

請求項１又は２に記載の画像編集装置において、
前記編集データ作成手段が、前記画像特定手段で特定された画像について、当該画像に含まれる前記特徴が撮像の中心となるように編集データを生成することを特徴とする画像編集装置。

【請求項6】

請求項１又は２に記載の画像編集装置において、
前記画像特定手段が、所定の第１特徴を含む画像、及び当該第１特徴以外の他の特徴を含む画像を特定し、
前記編集データ作成手段が、前記第１特徴を中心とする第１編集データを作成し、前記他の特徴を中心とする他の編集データを作成し、前記第１編集データと前記他の編集データとを繋げた統合編集データを作成することを特徴とする画像編集装置。

【請求項7】

被写体を固定地点から撮像する第１カメラと、
移動しながら前記被写体を撮像する第２カメラと、
前記第１カメラで撮像された第１撮像データ、及び前記第２カメラで撮像された第２撮像データを取得する撮像データ取得手段と、
前記第１撮像データ及び前記第２撮像データに共通する所定の特徴を含む画像を特定する画像特定手段と、
抽出した特徴を含む前記第１撮像データ及び前記第２撮像データを合成して編集データを作成する編集データ作成手段とを備えることを特徴とする撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラで撮像された撮像データを編集する画像編集装置等に関する。

【背景技術】

【0002】

複数のカメラで被写体を撮像して映像にする技術として、例えば特許文献１に示す技術が開示されている。特許文献１に示す技術は、被写体の位置と運動状況を検知する検知手段と、被写体を追尾する自動追尾装置と、また被写体の運動状況に併せてズーム制御を行うビデオカメラとを組み合わせ、被写体の加速度に応じたズーム制御を合わせて自動動画撮影を行うことにより、ダイナミックかつ観やすい映像を提供するものである。

【0003】

また、撮像されたデータを編集する際に利用できる技術として、例えば特許文献２、３に示す技術が開示されている。特許文献２に示す技術は、移動体のＯＮ期間の開始に応じて、クライアントに登録済みの撮像画像と「指定地点」とが対応付けられて情報処理サーバに送信されてデータベースに登録され、データベースに登録された画像に基づいて編集方針が決定され、または、クライアントにおいて編集方針が指定され、クライアントの旅行期間に撮像され、データベースに登録された複数の画像が、編集方針にしたがって編集されることにより、当該旅行期間における画像ライブラリが生成されるものである。

【0004】

特許文献３に示す技術は、顔画像を含む参照画像を記憶する記憶部と、撮像カメラで撮像された撮像画像を記憶する記憶部と、参照画像と撮像画像とを比較し、撮像画像内の認識対象の顔画像の類似度を算出する類似度算出部と、閾値を決定する閾値決定部と、閾値以上の類似度をもつ撮像画像を選択する写真選択部と、選択された撮像画像のアルバム編集を可能とするアルバム編集部とを有するものである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３－２７４２５７号公報

【特許文献2】特開２０１８－１３２９０６号公報

【特許文献3】特開２０２１－１３１６０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に示す技術は、被写体の動きに応じてカメラの回転やズームを制御し、複数のカメラで撮像した画像を編集することでダイナミックが映像を実現するが、撮像するカメラが定点カメラであることから、被写体の動きに対応したダイナミックな撮像には限界があると共に、ある程度決まった方向からのパターン化された映像になってしまうという課題を有する。

【0007】

特許文献２、３に示す技術は、利用者の嗜好に合う画像ライブラリの作成や自身に関連する画像を容易に選択することができるが、複数のカメラで撮像された撮像データを組み合わせて編集するものではないため、ダイナミックさ、臨場感、リアリティ、通常とは異なる非日常性などが十分に表現されるような映像を作成するのが難しいという課題を有する。

【0008】

本発明は上記課題を解決するためになされたものであり、固定カメラと移動カメラで撮像されたそれぞれの撮像データを組み合わせて編集することで、通常にはない特徴的な映像を生成することができる画像編集装置及び撮像システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る画像編集装置は、被写体を固定地点から撮像する第１カメラで撮像された第１撮像データ、及び移動しながら前記被写体を撮像する第２カメラで撮像された第２撮像データを取得する撮像データ取得手段と、前記第１撮像データ及び前記第２撮像データに共通する所定の特徴を含む画像を特定する画像特定手段と、特定した画像を含む前記第１撮像データ及び前記第２撮像データを編集して編集データを作成する編集データ作成手段とを備えるものである。

【0010】

このように、本発明に係る画像編集装置においては、被写体を固定地点から撮像する第１カメラで撮像された第１撮像データ、及び移動しながら前記被写体を撮像する第２カメラで撮像された第２撮像データを取得し、前記第１撮像データ及び前記第２撮像データに共通する所定の特徴を含む画像を特定し、特定した画像を含む前記第１撮像データ及び前記第２撮像データを編集して編集データを作成するため、定点で被写体を撮像した撮像データと移動しながら被写体を撮像した撮像データとが組み合わされて通常にはない特徴的な映像を生成することができるという効果を奏する。

【0011】

本発明に係る画像編集装置は必要に応じて、前記編集データ作成手段が、前記被写体の動きを追従して撮像された第２撮像データの動画像に対して、当該第２撮像データと共通する前記特徴を有する前記第１撮像データの定点画像であって、前記第２撮像データが撮像されたタイミングと同時に撮像された前記第１撮像データの定点画像を、当該タイミングの直前及び／又は直後に前記第２撮像データの動画像に連結又は差し替えして前記編集データを作成するものである。

【0012】

このように、本発明に係る画像編集装置においては、前記被写体の動きを追従して撮像された第２撮像データの動画像に対して、当該第２撮像データと共通する前記特徴を有する前記第１撮像データの定点画像であって、前記第２撮像データが撮像されたタイミングと同時に撮像された前記第１撮像データの定点画像を、当該タイミングの直前及び／又は直後に前記第２撮像データの動画像に連結又は差し替えして前記編集データを作成するため、被写体の動きに追従して撮像された動画像に、同じタイミングで異なる視点から被写体を撮像した定点画像の情報が挿入され、一連の動画像の中の特定の場面を強調した編集映像により通常にはない特徴的で且つ魅力的な映像を提供することができるという効果を奏する。

【0013】

本発明に係る画像編集装置は必要に応じて、前記被写体の動作が定常状態から変動したことを検知する検知手段を備え、前記編集データ作成手段が、前記検知手段が前記被写体の変動を検知したタイミングに合わせて前記第１撮像データ及び／又は前記第２撮像データの編集点を特定するものである。

【0014】

このように、本発明に係る画像編集装置においては、前記被写体の動作が定常状態から変動したことを検知し、前記被写体の変動を検知したタイミングに合わせて前記第１撮像データ及び／又は前記第２撮像データの編集点を特定するため、被写体に生じる変化に同期した画像の切り替えが可能となり、変化に応じた魅力的な映像を提供することができるという効果を奏する。

【0015】

本発明に係る画像編集装置は必要に応じて、前記編集データ作成手段が、前記第１撮像データ及び／又は第２撮像データのうち撮像された季節、天候及び／又は時間帯に応じた撮像角度及び／又は撮像タイミングで撮像された画像を抽出して前記編集データの作成に使用するものである。

【0016】

このように、本発明に係る画像編集装置においては、前記第１撮像データ及び／又は第２撮像データのうち撮像された季節、天候及び／又は時間帯に応じた撮像角度及び／又は撮像タイミングで撮像された画像を抽出して前記編集データの作成に使用するため、例えば現実における風景の変化、光の具合、色合いなどを考慮した最適な撮像角度及び／又は撮像タイミングで撮像された画像で編集データを作成することができ、魅力的な映像を提供することができるという効果を奏する。

【0017】

本発明に係る画像編集装置は必要に応じて、前記編集データ作成手段が、前記画像特定手段で特定された画像について、当該画像に含まれる前記特徴が撮像の中心となるように編集データを生成するものである。

【0018】

このように、本発明に係る画像編集装置においては、前記画像特定手段で特定された画像について、当該画像に含まれる前記特徴が撮像の中心となるように編集データを生成するため、ある被写体を抽出対象の特徴とした場合に当該被写体ごとに着目された映像を提供することができるという効果を奏する。

【0019】

本発明に係る画像編集装置は必要に応じて、前記画像特定手段が、所定の第１特徴を含む画像、及び当該第１特徴以外の他の特徴を含む画像を特定し、前記編集データ作成手段が、前記第１特徴を中心とする第１編集データを作成し、前記他の特徴を中心とする他の編集データを作成し、前記第１編集データと前記他の編集データとを繋げた統合編集データを作成するものである。

【0020】

このように、本発明に係る画像編集装置においては、所定の第１特徴を含む画像、及び当該第１特徴以外の他の特徴を含む画像を特定し、前記第１特徴を中心とする第１編集データを作成し、前記他の特徴を中心とする他の編集データを作成し、前記第１編集データと前記他の編集データとを繋げた統合編集データを作成するため、第１特徴に着目した映像に加えて、それに映り込んでいる他の特徴にも着目した映像を統合して提供することができ、例えば複数人のグループ単位が被写体である場合などに、当該グループ内でそれぞれの人に着目しつつグループとして統合された映像を提供することが可能になるという効果を奏する。

【図面の簡単な説明】

【0021】

【図1】第１の実施形態に係る撮像システムのシステム構成を示す模式図である。

【図2】第１の実施形態に係る画像編集装置の構成を示す機能ブロック図である。

【図3】第１の実施形態に係る撮像システムを用いて運動会の様子を撮像する場合のシステムの配置構成の一例を示す図である。

【図4】図３のシステム構成で撮像した撮像データを編集した場合の編集データの構成の一例を示す模式図である。

【図5】第１の実施形態に係る撮像システムの動作を示すフローチャートである。

【図6】第２の実施形態に係る画像編集装置の構成を示す機能ブロック図である。

【図7】景勝地などにおいて景色を背景として被写体が散歩している様子を示す図である。

【図8】第３の実施形態に係る撮像システムにより冬と夏とでそれぞれ図７における被写体と景色を左、中央、右で撮像した場合の撮像データの一例を示す図である。

【図9】第３の実施形態に係る画像編集装置及び撮像システムにおいて撮像データから編集データを生成する場合の処理の一例を示す図である。

【図10】第３の実施形態に係る画像編集装置及び撮像システムにおける編集データの一例を示す図である。

【発明を実施するための形態】

【0022】

（本発明の第１の実施形態）
本実施形態に係る画像編集装置及び当該画像編集装置を用いた撮像システムについて、図１ないし図５を用いて説明する。本実施形態に係る撮像システムは、撮像位置が固定された状態で被写体を撮像する固定カメラの画像と、撮像位置を移動しながら被写体を撮像する移動カメラの画像とを組み合わせて編集することで、魅力的な映像を生成して提供できるものである。

【0023】

図１は、本実施形態に係る撮像システムのシステム構成を示す模式図である。本実施形態に係る撮像システム１は、固定された位置から被写体Ｘの撮像を行う固定カメラＦＣ（ＦＣ１～ＦＣ４）と、移動しながら被写体Ｘの撮像を行う移動カメラＭＣ（ＭＣ１～ＭＣ２）と、これらの各カメラで撮像された撮像データを取得（例えば、無線通信で受信、有線通信で受信、デバイスを介して取得）し、組み合わせて編集データを生成する画像編集装置１０とを備える。

【0024】

固定カメラＦＣは、予め決められた箇所に固定して設置されるが、撮像方向（撮像角度）、撮像タイミング、ズーム倍率などは任意に設定又は操作することが可能となっている。移動カメラＭＣは、予め決められた経路又は被写体Ｘの動きに追従して空中を移動可能なドローンに設置されたカメラであり、このカメラについても撮像方向（撮像角度）、撮像タイミング、ズーム倍率などは任意に設定又は操作することが可能となっている。

【0025】

画像編集装置１０は、固定カメラＦＣで撮像された固定撮像データＦＤと、移動カメラＭＣで撮像された移動撮像データＭＤとを受信し、撮像データとして格納する。画像編集装置１０のＣＰＵは、リアルタイム処理又はバッチ処理により格納された固定撮像データＦＤと移動撮像データＭＤとを組み合わせて編集する。

【0026】

なお、固定カメラＦＣ及び移動カメラＭＣで撮像される撮像データは、静止画像でもよいし動画像でもよいが、移動カメラＭＣの撮像による迫力や臨場感を活かすには移動撮像データＭＤは動画像であることが望ましい。

【0027】

以下、撮像データの編集について詳細に説明する。図２は、本実施形態に係る画像編集装置の構成を示す機能ブロック図である。画像編集装置１０は、固定カメラＦＣから送信される固定撮像データＦＤ、及び移動カメラＭＣから送信される移動撮像データＭＤ（図２では撮像データＦＤ，ＭＤとして記載）を取得して撮像データ記憶部１０ａに格納する撮像データ取得部１１と、撮像データの中で着目したい被写体（例えば、人物、風景、物等）に関する情報を、利用者の入力情報１２に基づいて記憶する着目データ記憶部１０ｂと、撮像データ記憶部１０ａに記憶されている固定撮像データＦＤ及び移動撮像データＭＤから、着目データ記憶部１０ｂに記憶されている特徴が双方の撮像データに共通して含まれる画像を特定する特徴画像特定部１３と、特定された画像を含む固定撮像データＦＤ及び移動撮像データＭＤを、編集マスタデータ１０ｃに記憶されている編集条件等に基づいて合成及び／又は時系列に組み合わせて編集データを作成し、映像ファイル１５として出力する編集データ作成部１４とを備える。

【0028】

ここでは、固定撮像データＦＤは決まった位置から撮像された定点画像であり、移動撮像データＭＤは被写体を追従するドローンから撮像された動画像であるとする。定点画像については、静止画でもよいし、固定カメラＦＣが被写体に対してズームイン／ズームアウトしながら撮像した動画像や固定カメラＦＣを被写体の移動方向に合わせて回転（撮像方向を変更）しながら撮像した動画像であってもよい。ただし、移動撮像データＭＤは、被写体の一連の動作を連続的に撮像したものであるため相対的に長時間の撮像データであり、固定撮像データＦＤは被写体がある大きさ以上でフレームインしている間の相対的に短時間の撮像データである。これらの撮像データは各カメラから画像編集装置１０に送信され、撮像データ取得部１１により撮像データ記憶部１０ａに格納される。

【0029】

着目データ記憶部１０ｂには、利用者が着目したい被写体に関する情報が予め登録されており、特徴画像特定部１３は、その着目したい被写体が含まれる画像を撮像データ記憶部１０ａの撮像データから特定する。着目したい被写体に関する情報は、例えば着目したい人物の顔画像、風景、物などが撮像された参照画像であったり、参照画像がなくても一般的にＡＩで判断できるもの（例えば木、山、朝日、夕日、海、車、飛行機、電車、個人を限定しない人物、人物の動き（ランニング、ダンス、跳躍）など）であれば、その条件に関する情報であればよい。

【0030】

編集データ作成部１４は、特徴画像特定部１３で特定された着目したい被写体が含まれる画像をベースにした編集データの作成を行う。この編集データ作成部１４の編集処理について、図３及び図４を用いて具体例を挙げて説明する。図３は、本実施形態に係る撮像システムを用いて運動会の様子を撮像する場合のシステムの配置構成を示す図、図４は、図３のシステム構成で撮像した撮像データを編集した場合の編集データの構成を示す模式図である。図３において、トラックの四隅にそれぞれ固定カメラＦＣ１～ＦＣ４が設置され、運動会の様子を定点画像で撮像している。また、上空からは運動会をしている生徒の動きに追従するドローンから当該生徒の様子を１又は複数の移動カメラＭＣが動画像で撮像している。なお、必ずしも上空ではなく、安全性が確保できるのであれば生徒目線の高さであったり、より下方目線からの撮像であってもよい。

【0031】

より具体的には、例えば図３の配置構成で徒競走を撮像した場合、実際に走行する生徒の走行に合わせて追従するように移動カメラＭＣがグラウンドを周回しながら動画像の撮像を行う。一方、固定カメラＦＣは、固定カメラＦＣ１がスタートから第１コーナー走行時、固定カメラＦＣ２が第２コーナー走行時、固定カメラＦＣ３が第３コーナー走行時、固定カメラＦＣ４がゴール時の撮像を行う。各カメラで撮像された撮像データは画像編集装置１０に送信され、図４に示すような編集データが作成される。

【0032】

図４において、移動撮像データＭＤは移動カメラＭＣで撮像した時系列の動画像であり、連続する複数のフレームを模式的に示している。ここでは、ある１つのグループが徒競走を行った場合のスタートからゴールまでの移動撮像データＭＤであるとする。すなわち、一連の移動撮像データＭＤの中で、固定カメラＦＣ１～ＦＣ４に徒競走をしている生徒達が所定サイズ以上でフレームインしている時間帯が重複して存在することとなる。つまり、より具体的には、図３に示す第１コーナーあたりを走行する際の生徒が撮像された画像は、移動撮像データＭＤの動画像と固定撮像データＦＤ１の定点画像とが存在することとなる。同様に、第２コーナー、第３コーナー、ゴール地点における移動撮像データＭＤの動画像と固定撮像データＦＤ１の定点画像とが存在する。

【0033】

図４の場合は、編集データ作成部１４が、移動撮像データＭＤの動画像に固定撮像データＦＤの定点画像を挿入することで編集データを作成する。図４に示すように、移動撮像データＭＤの一例の動画像の中で、上述したように同じタイミング（時間帯）で移動カメラＭＣで撮像された撮像データと固定カメラＦＣで撮像された撮像データとが存在するため、移動撮像データＭＤにおける当該タイミングの直前及び／又は直後に固定撮像データＦＤを挿入又は差し替えすることが行われる。このような編集を行うことで、単に移動カメラＭＣで撮像された動画像の映像を提供するだけではなく、当該動画像の流れの中に同じタイミングで且つ全く異なる視点の画像が挿入された魅力的な映像を提供することが可能となる。

【0034】

ここで、編集マスタデータ１０ｃについて説明する。図３及び図４の場合は、移動撮像データＭＤにおける動画像の所定箇所に同じタイミングで撮像された固定撮像データＦＤの定点画像を挿入するという編集が行われたが、後述するように移動撮像データＭＤと固定撮像データＦＤとを組み合わせて編集する手法は複数あるため、それらの手法に関する設定情報が編集マスタデータ１０ｃに登録されており、利用者により選択された手法で編集処理が行われる。つまり、例えば後述するように、所定の人物が画像の中心となるような編集や、季節、天気、時間帯に応じて変更する景色に対応した編集など、利用者が選択した所望の編集方法を設定するデータ部となる。この編集マスタデータ１０ｃには、例えば図３及び図４に示したように、どのタイミングでどの画像を挿入するかといった設定情報や、どの季節のどの時間帯にどの角度で取られた画像を編集に使用するかいったような細かい情報も含まれる。編集データ作成部１４は、これらの編集マスタデータ１０ｃの設定情報にしたがって、特徴画像特定部１３で特定された画像をベースにして固定撮像データＦＤ及び移動撮像データＭＤを組み合わせて編集する処理を行う。

【0035】

次に、本実施形態に係る撮像システムの動作について説明する。図５は、本実施形態に係る撮像システムの動作を示すフローチャートである。図５において、まず移動カメラＭＣ及び固定カメラＦＣで被写体を撮像する（Ｓ１）。それぞれのカメラで撮像された撮像データは、画像編集装置１０に送信され（Ｓ２）、撮像データ取得部１１が撮像データ記憶部１０ａに保存する（Ｓ３）。特徴画像特定部１３は、着目データ記憶部１０ｂに予め記憶されている着目データに基づいて、当該着目するべき被写体が含まれる画像を撮像データ記憶部１０ａの撮像データから特定する（Ｓ４）。編集データ作成部１４が、編集マスタデータ１０ｃに設定されている編集方法に基づいて、Ｓ４で特定された画像をベースとした編集データを作成して（Ｓ５）、処理を終了する。

【0036】

このように、本実施形態に係る画像編集装置及び撮像システムにおいては、被写体を固定地点から撮像する固定カメラＦＣで撮像された固定撮像データＦＤ、及び移動しながら前記被写体を撮像する移動カメラＭＣで撮像された移動撮像データＭＤを取得し、前記固定撮像データＦＤ及び前記移動撮像データＭＤに共通する所定の特徴を含む画像を特定し、特定した画像を含む前記固定撮像データＦＤ及び前記移動撮像データＭＤを編集して編集データを作成するため、定点で被写体を撮像した撮像データと移動しながら被写体を撮像した撮像データとが組み合わされて通常にはない特徴的な映像を生成することができる。

【0037】

また、前記被写体の動きを追従して撮像された移動撮像データの動画像に対して、当該移動撮像データと共通する前記特徴を有する前記固定撮像データＦＤの定点画像であって、前記移動撮像データＭＤが撮像されたタイミングと同時に撮像された前記固定撮像データＦＤの定点画像を、当該タイミングの直前及び／又は直後に前記移動撮像データＭＤの動画像に連結又は差し替えして前記編集データを作成するため、被写体の動きに追従して撮像された動画像に、同じタイミングで異なる視点から被写体を撮像した定点画像の情報が挿入され、一連の動画像の中の特定の場面を強調した編集映像により通常にはない特徴的で且つ魅力的な映像を提供することができる。

【0038】

なお、上記においては移動カメラＭＣがドローンに設置されたカメラとしたが、例えば
ワイヤやレールに沿って移動可能とするカメラであってもよい。また、移動カメラＭＣを搭載したドローンは、予め決められた経路を巡回して移動しながら撮像を行うようにしてもよいし、被写体が有する識別体を追従するように移動しながら撮像を行うようにしてもよいし、管理者が手動で操作して移動するようにしてもよい。同様に固定カメラＦＣについても、予め決められた角度、ズーム、シャッタースピード等の設定で定期的又は不定期に撮像を行うようにしてもよいし、被写体が有する識別体を追従するように角度調整しながら撮像を行うようにしてもよいし、管理者が手動で角度、ズーム、シャッタースピードなどを設定して操作しながら撮像するようにしてもよい。さらに、シャッターのタイミングは、被写体が人物である場合には、当該被写体が所有する携帯端末（固定カメラＦＣや移動カメラＭＣの撮像風景をリアルタイムに表示可能な携帯端末）から任意に操作できるようにしてもよい。

【0039】

（本発明の第２の実施形態）
本実施形態に係る画像編集装置及び当該画像編集装置を用いた撮像システムについて、図６を用いて説明する。本実施形態に係る画像編集装置及び撮像システムは、前記第１の実施形態に係る画像編集装置及び撮像システムの機能を拡張したものであり、被写体の動作が定常状態から変動したタイミングを検知し、このタイミングを利用して編集データを作成するものである。なお、本実施形態において前記第１の実施形態と重複する説明は省略する。

【0040】

図６は、本実施形態に係る画像編集装置の構成を示す機能ブロック図である。本実施形態において、前記第１の実施形態における図２の構成と異なるのは、画像編集装置１０の外部からの情報（外部情報）及び／又は撮像データ記憶部１０ａに記憶されている撮像情報に基づいて、被写体の動作が定常状態から変動したことを検知する検知部６０を備え、編集データ作成部１４が、検知部６０で検知したタイミングを編集点として画像の切り替えを行うことで編集データを生成することである。

【0041】

検知部６０が検知する内容の具体例としては、例えば乗用車などの移動体から送信されるブレーキの操作情報（走行⇔停止の変動）、ハンドルの操作情報（直進⇔カーブの変動）、飛行体の移動情報や操作情報（着陸⇔離陸の変動）、画像処理で検知される人や物の動き（静止⇔移動、歩行⇔走行、着地⇔跳躍の変動、集合⇔分散、整列⇔ランダムの変動）などがあり、これらの動作の変動に伴って動画像や静止画像が切り替わることで、迫力や臨場感がある映像を作成することが可能となる。

【0042】

編集データ作成部１４は、検知部６０が検知した変動のタイミングを編集点として画像の差し替えを行う。具体的には例えば、自動車で直進している間は固定カメラＦＣで撮像された固定撮像データＦＤを用い、検知部６０がハンドル操作からカーブを検知したタイミングで移動カメラＭＣで撮像された移動撮像データＭＤに差し替える。カーブが終わると、再び固定撮像データＦＤに切り替える。このような編集を行うことで、カーブのように動きが大きく目立つ動作の部分を、移動撮像データＭＤで臨場感を表現することができ、臨場感のある魅力的な映像を提供することが可能となる。

【0043】

他の例としては、運動会の徒競走におけるスタートの場合、スタート地点で生徒が静止状態から走行状態に変動した瞬間を検知部６０が検知し、このタイミングで撮像データを切り替えることで魅力的な編集データを生成する。撮像データの切り替えは、固定撮像データＦＤから移動撮像データＭＤへの切り替え、移動撮像データＭＤから固定撮像データＦＤへの切り替え、一の固定撮像データＦＤから他の固定撮像データＦＤへの切り替え、一の移動撮像データＭＤから他の移動撮像データＭＤへの切り替えがあり、被写体の種別、動作、環境に応じて編集マスタデータ１０ｃに設定されている情報から、最適と判断される編集が行われる。

【0044】

このように、本実施形態に係る画像編集装置及び撮像システムにおいては、被写体の動作が定常状態から変動したことを検知し、前記被写体の変動を検知したタイミングに合わせて前記第１撮像データ及び／又は前記第２撮像データの編集点を特定するため、被写体に生じる変化に同期した画像の切り替えが可能となり、変化に応じた魅力的な映像を提供することができる。

【0045】

なお、検知部６０は正常状態から異常状態への変動を検知するようにしてもよい。例えば、走行状態から転倒状態に変動した場合、日常から非日常に変動した場合などである。ただし、これらの検知に関しては、必ずしも編集データを作成する必要はなく、別途備えられる報知手段（図示しない）により報知情報が出力されることが望ましい。すなわち、この場合は、撮像システム１を監視システムとして機能させることが可能となる。

【0046】

（その他の実施形態）
以下、その他の実施形態について図７ないし図１０を用いて具体例を説明する。本実施形態において前記各実施形態と重複する説明は省略する。

【0047】

第１の具体例は、編集データ作成部１４が、固定撮像データＦＤや移動撮像データＭＤのうち撮像された季節、天候及び／又は時間帯に応じた撮像角度及び／又は撮像タイミングで撮像された画像を抽出して編集データの作成に使用する場合である。図７は、景勝地などにおいて景色を背景として被写体が散歩している様子を示す図である。この景勝地は夕日が沈む様子が非常に美しく、この景色を背景に多くの観光客が訪れるような場所であるとする。つまり、固定カメラＦＣで固定位置から所定の角度で撮像すれば、景色を背景とした被写体の撮像が可能であるが、夏に夕日が沈む場所と冬に夕日が沈む場所にはズレが生じる。

【0048】

図７において、被写体Ｘが左側から右側に向かって道沿いに散歩している場合、固定カメラＦＣは被写体の移動に合わせて左方向から右方向に回動しながら撮像を行う。しかしながら、図７において、冬の場合は比較的左の方で太陽が沈み、夏の場合は比較的右の方で太陽が沈むといった現象が生じるため、夕日を背景とする画像を撮像する場合の固定カメラＦＣの角度やタイミングは季節により異なるものとなる。その具体例を図８に示す。図８は、冬と夏とでそれぞれ図７における被写体と景色を左、中央、右で撮像した場合の撮像データの一例を示す図である。図８（Ａ）～（Ｃ）は冬に撮像した撮像データ、図８（Ｄ）～（Ｆ）は夏に撮像した撮像データであり、図８（Ａ）及び（Ｄ）は図７における左側、図８（Ｂ）及び（Ｅ）は中央、図８（Ｃ）及び（Ｆ）は右側の被写体Ｘ及び景色を撮像した撮像データである。図８に示すように、冬の時期に撮像した図８（Ａ）～（Ｃ）の場合は、左側を撮像した図８（Ａ）において夕日を背景とする理想的な画像を撮像することが可能となり、夏の時期に撮像した図８（Ｄ）～（Ｆ）の場合は、右側を撮像した図８（Ｆ）において夕日を背景とする理想的な画像を撮像することが可能となる。

【0049】

すなわち、編集データ作成部１４は、撮像された季節に応じて編集データに使用する適正な画像を選択する。さらに図７及び図８の例の場合は、季節に応じて夕日が沈む時間帯も異なるため、編集マスタデータ１０ｃの情報から適正な季節、時間帯が特定され、それに応じた適正な画像を用いて編集処理が行われる。

【0050】

季節や時間帯以外にも天候に応じた編集が行われるようにしてもよい。例えば、晴れの日に美しい景色が取れる場所での撮像データと、雨の日に美しい景色が取れる場所での撮像データがある場合に、撮像日時の天候に応じて編集データに使用するデータを晴れの景色か雨の景色か選択的に使用するようにしてもよい。

【0051】

また、季節、天候及び／又は時間帯に応じて固定カメラＦＣ及び／又は移動カメラＭＣの動作を制御する制御手段を備えるようにしてもよい。すなわち、季節、天候及び／又は時間帯に応じて、カメラの角度、ズーム、シャッタースピード、露光具合等が調整されることで、その環境に適した撮像データを得ることが可能となる。

【0052】

このように、本実施形態に係る画像編集装置においては、固定撮像データＦＤ及び／又は移動撮像データＭＤのうち撮像された季節、天候及び／又は時間帯に応じた撮像角度及び／又は撮像タイミングで撮像された画像を抽出して前記編集データの作成に使用するため、例えば現実における風景の変化、光の具合、色合いなどを考慮した最適な撮像角度及び／又は撮像タイミングで撮像された画像で編集データを作成することができ、魅力的な映像を提供することができる。

【0053】

第２の具体例は、編集データ作成部１４が、特徴画像特定部１３で特定された画像について、当該画像に含まれる特徴（着目データ）が撮像の中心となるように編集データを生成する場合である。

【0054】

図９は、本実施形態に係る画像編集装置及び撮像システムにおいて撮像データから編集データを生成する場合の処理の一例を示す図である。ここでは図９（Ａ）において、運動会の徒競走の様子が固定カメラＦＣ又は移動カメラＭＣで撮像されているとする。図９（Ａ）にはＡ～Ｃの三人の被写体が撮像されており、生徒によっては目立たない場所で端っこにしか撮像されない場合などが現実的に生じうる。そのため、図９（Ｂ）～図９（Ｄ）に示すように、それぞれの生徒Ａ～Ｃの顔画像を着目データとすることで、生徒Ａが画像の中心となるような編集データ、生徒Ｂが画像の中心となるような編集データ、生徒Ｃが画像の中心となるような編集データをそれぞれ作成し、それぞれの生徒Ａ～Ｃごとに映像を提供することが可能となる。こうすることで、各生徒Ａ～Ｃの保護者は、自分の子供を中心とする映像を手に入れることができる。

【0055】

このように、本実施形態に係る画像編集装置及び撮像システムにおいては、画像に含まれる所定の特徴が撮像の中心となるように編集データを生成するため、ある被写体を抽出対象の特徴とした場合に当該被写体ごとに着目された映像を提供することができる。

【0056】

第３の具体例は、特徴画像特定部１３が所定の第１特徴を含む画像、及び当該第１特徴以外の他の特徴を含む画像を特定し、編集データ作成部１４が、前記第１特徴を中心とする第１編集データを作成し、前記他の特徴を中心とする他の編集データを作成し、前記第１編集データと前記他の編集データとを繋げた統合編集データを作成する場合である。

【0057】

具体的には例えば、グループで行動している様子を撮像した場合に、ある一人の人物の顔を第１特徴（着目データ記憶部１０ｂに登録済み）として特定される画像から編集データを作成すると共に、第１特徴が写っている画像に写り込んでいる他の人物の顔を第２特徴（特徴画像特定部１３が抽出）として特定される画像から編集データを作成し、これらの処理を所定サイズ以上で写り込んでいる全ての人物について行う。そして、各人物ごとに生成された編集データを結合することで、個人に着目しつつもグループ全体としてまとまった映像を提供することが可能となる。

【0058】

図１０は、本実施形態に係る画像編集装置及び撮像システムにおける編集データの一例を示す図である。ここでは、人物甲、乙、丙の３人が仲良しグループであるとし、その３人を中心として撮像システム１による撮像がＡ地点、Ｂ地点、Ｃ地点で行われた場合について説明する。例えば学校のイベントや旅行などにおいては、仲がいい人物甲、乙及び丙がそれらを中心として一緒に撮像されるケースが多い一方で、各人が個別に撮像されて中心となっている映像が所望される場合も多々ある。

【0059】

図１０（Ａ）は、Ａ地点、Ｂ地点、Ｃ地点ごとに、甲を中心とした編集データ、乙を中心とした編集データ、丙を中心とした編集データを作成し、それを人物ごとに順番に結合させて結合編集データが作成されている。一方、図１０（Ｂ）は、Ａ～Ｃ地点の全てを通して甲を中心とした編集データ、Ａ～Ｃ地点の全てを通して乙を中心とした編集データ、Ａ～Ｃ地点の全てを通して丙を中心とした編集データを作成し、それを人物ごとに順番に結合させて結合編集データが作成されている。いずれの結合編集データにおいても、個人に着目した映像を実現しつつ、グループでの一体感のある映像としても捉えることができる。特に、図１０（Ａ）においては、イベントや旅行などの全体の流れを汲みつつ人物間の関係性を表現するようなストーリー展開で映像化することができ、図１０（Ｂ）においては、人物ごとの思い出を重視したストーリー展開で映像化することができる。

【0060】

このように、本実施形態に係る画像編集装置及び撮像システムにおいては、所定の第１特徴を含む画像、及び当該第１特徴以外の他の特徴を含む画像を特定し、前記第１特徴を中心とする第１編集データを作成し、前記他の特徴を中心とする他の編集データを作成し、前記第１編集データと前記他の編集データとを繋げた統合編集データを作成するため、第１特徴に着目した映像に加えて、それに映り込んでいる他の特徴にも着目した映像を統合して提供することができ、例えば複数人のグループ単位が被写体である場合などに、当該グループ内でそれぞれの人に着目しつつグループとして統合された映像を提供することが可能になる。

【符号の説明】

【0061】

ＦＣ（ＦＣ１～ＦＣ４） 固定カメラ
ＦＤ（ＦＤ１～ＦＤ４） 固定撮像データ
ＭＣ（ＭＣ１～ＭＣ２） 移動カメラ
ＭＤ 移動撮像データ
Ｘ 被写体
１ 撮像システム
１０ 画像編集装置
１０ａ 撮像データ記憶部
１０ｂ 着目データ記憶部
１０ｃ 編集マスタデータ
１１ 撮像データ取得部
１２ 入力情報
１３ 特徴画像特定部
１４ 編集データ作成部
１５ 映像ファイル
６０ 検知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】