特開 2017-184132 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-184132(P2017-184132A)

(43)【公開日】2017年10月5日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 5/91 20060101AFI20170908BHJP

   H04N 5/265 20060101ALI20170908BHJP

【ＦＩ】

   H04N5/91 N

   H04N5/265

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【全頁数】14

(21)【出願番号】特願2016-71787(P2016-71787)

(22)【出願日】2016年3月31日

(71)【出願人】

【識別番号】304020498

【氏名又は名称】サクサ株式会社

(71)【出願人】

【識別番号】501305947

【氏名又は名称】株式会社マイスター

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(72)【発明者】

【氏名】野澤 宇一郎

【テーマコード（参考）】

5C023

5C053

【Ｆターム（参考）】

5C023AA11

5C023BA01

5C023BA11

5C023CA03

5C023CA04

5C053FA14

5C053GB06

5C053LA01

(57)【要約】

【課題】ユーザが所望しない画像を削除しつつ、削除した場面の記録を残す。
【解決手段】画像処理装置１は、第１カメラ１００が撮影して生成された複数の第１撮影データ、及び第２カメラ２００が撮影して生成された複数の第２撮影データを取得する取得部１３１と、複数の第１撮影データ及び複数の第２撮影データのうち、同一のタイミングで撮影された第１撮影データ及び第２撮影データを特定する特定部１３２と、所定の品質条件に基づいて、特定部１３２が特定した第１撮影データ及び第２撮影データのうち、いずれか一方の撮影データを選択する選択部１３３と、選択部１３３が選択した撮影データを出力する出力部１３４と、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

第１撮影装置が撮影して生成された複数の第１撮影データ、及び第２撮影装置が撮影して生成された複数の第２撮影データを取得する取得部と、
前記複数の第１撮影データ及び前記複数の第２撮影データのうち、同一のタイミングで撮影された前記第１撮影データ及び前記第２撮影データを特定する特定部と、
所定の品質条件に基づいて、前記特定部が特定した前記第１撮影データ及び前記第２撮影データのうち、いずれか一方の撮影データを選択する選択部と、
前記選択部が選択した撮影データを出力する出力部と、
を有する画像処理装置。

【請求項2】

前記特定部は、前記複数の第１撮影データ及び前記複数の第２撮影データに共通に含まれる類似する特徴を抽出し、抽出した前記類似する特徴の間の類似度が所定の閾値以上であることを条件として、同一のタイミングで撮影された前記第１撮影データ及び前記第２撮影データを特定する、
請求項１に記載の画像処理装置。

【請求項3】

前記特定部は、前記類似する特徴が含まれる前記第１撮影データ及び前記第２撮影データの組み合わせを少なくとも一つ抽出した場合に、前記第１撮影データの第１撮影時刻情報と前記第２撮影データの第２撮影時刻情報との差分に基づいて前記複数の第１撮影データの撮影時刻と前記複数の第２撮影データの撮影時刻との関係を特定することにより、同一のタイミングで撮影された前記第１撮影データ及び前記第２撮影データを特定する、 請求項２に記載の画像処理装置。

【請求項4】

前記選択部は、前記複数の第１撮影データ及び前記複数の第２撮影データに最も高い頻度で写っている被写体の画像の品質を前記所定の品質条件と比較することにより、いずれか一方の撮影データを選択する、
請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記選択部は、前記複数の第１撮影データ及び前記複数の第２撮影データに含まれている顔の領域が最も大きい被写体の画像の品質を前記所定の品質条件と比較することにより、いずれか一方の撮影データを選択する、
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記取得部は、前記選択部が品質を確認する対象とする被写体を特定する被写体情報をさらに取得し、
前記選択部は、前記被写体情報に対応する被写体の画像の品質を前記所定の品質条件と比較することにより、いずれか一方の撮影データを選択する、
請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記選択部は、前記複数の第１撮影データ及び前記複数の第２撮影データのうち、選択する撮影データを切り替えてから所定の時間が経過するまでは、選択した前記撮影データを撮影したカメラで撮影された撮影データを継続して選択する、
請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記選択部は、前記複数の第１撮影データ及び前記複数の第２撮影データのうち、選択した撮影データを切り替えてから所定の時間が経過する前と後とで、前記所定の品質条件を異なる条件とする、
請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

第１撮影装置が撮影して生成された複数の第１撮影データ、及び第２撮影装置が撮影して生成された複数の第２撮影データを取得するステップと、
前記複数の第１撮影データ及び前記複数の第２撮影データのうち、同一のタイミングで撮影された前記第１撮影データ及び前記第２撮影データを特定するステップと、
特定した前記第１撮影データ及び前記第２撮影データのうち、所定の品質条件に基づいていずれか一方の撮影データを選択するステップと、
選択した撮影データを出力するステップと、
を有する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

従来、動画コンテンツを編集する装置が知られている。特許文献１には、動画コンテンツのうち、ユーザがマーキングしたフレームの画像を削除することができる画像編集装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１４−５０１４６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術を用いることにより、ユーザは、動画コンテンツのうち、被写体が所望の通りに写っていない画像を削除することができる。そして、ユーザは、例えば、被写体にフォーカスが合っていない画像、障害物が被写体を隠してしまっている画像、被写体が暗い状態で写っている画像のように、ユーザにとって望ましくない画像が含まれない動画コンテンツを作成することができる。しかしながら、このようにして画像を削除してしまうと、削除した場面の記録が消えてしまうという問題があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、ユーザが所望しない画像を削除しつつ、削除した場面の記録を残すことができるようにする画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る画像処理装置は、第１撮影装置が撮影して生成された複数の第１撮影データ、及び第２撮影装置が撮影して生成された複数の第２撮影データを取得する取得部と、前記複数の第１撮影データ及び前記複数の第２撮影データのうち、同一のタイミングで撮影された前記第１撮影データ及び前記第２撮影データを特定する特定部と、所定の品質条件に基づいて、前記特定部が特定した前記第１撮影データ及び前記第２撮影データのうち、いずれか一方の撮影データを選択する選択部と、前記選択部が選択した撮影データを出力する出力部と、を有する。

【0007】

前記特定部は、例えば、前記複数の第１撮影データ及び前記複数の第２撮影データに共通に含まれる類似する特徴を抽出し、抽出した前記類似する特徴の間の類似度が所定の閾値以上であることを条件として、同一のタイミングで撮影された前記第１撮影データ及び前記第２撮影データを特定する。

【0008】

前記特定部は、前記類似する特徴が含まれる前記第１撮影データ及び前記第２撮影データの組み合わせを少なくとも一つ抽出した場合に、前記第１撮影データの第１撮影時刻情報と前記第２撮影データの第２撮影時刻情報との差分に基づいて前記複数の第１撮影データの撮影時刻と前記複数の第２撮影データの撮影時刻との関係を特定することにより、同一のタイミングで撮影された前記第１撮影データ及び前記第２撮影データを特定してもよい。

【0009】

前記選択部は、例えば、前記複数の第１撮影データ及び前記複数の第２撮影データに最も高い頻度で写っている被写体の画像の品質を前記所定の品質条件と比較することにより、いずれか一方の撮影データを選択する。

【0010】

前記選択部は、前記複数の第１撮影データ及び前記複数の第２撮影データに含まれている顔の領域が最も大きい被写体の画像の品質を前記所定の品質条件と比較することにより、いずれか一方の撮影データを選択してもよい。

【0011】

前記取得部は、前記選択部が品質を確認する対象とする被写体を特定する被写体情報をさらに取得し、前記選択部は、前記被写体情報に対応する被写体の画像の品質を前記所定の品質条件と比較することにより、いずれか一方の撮影データを選択してもよい。

【0012】

前記選択部は、前記複数の第１撮影データ及び前記複数の第２撮影データのうち、選択する撮影データを切り替えてから所定の時間が経過するまでは、選択した前記撮影データを撮影したカメラで撮影された撮影データを継続して選択してもよい。

【0013】

前記選択部は、前記複数の第１撮影データ及び前記複数の第２撮影データのうち、選択した撮影データを切り替えてから所定の時間が経過する前と後とで、前記所定の品質条件を異なる条件としてもよい。

【0014】

本発明の第２の態様に係る画像処理方法は、第１撮影装置が撮影して生成された複数の第１撮影データ、及び第２撮影装置が撮影して生成された複数の第２撮影データを取得するステップと、前記複数の第１撮影データ及び前記複数の第２撮影データのうち、同一のタイミングで撮影された前記第１撮影データ及び前記第２撮影データを特定するステップと、特定した前記第１撮影データ及び前記第２撮影データのうち、所定の品質条件に基づいていずれか一方の撮影データを選択するステップと、選択した撮影データを出力するステップと、を有する。

【発明の効果】

【0015】

本発明によれば、ユーザが所望しない画像を削除しつつ、削除した場面の記録を残すことができるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】画像処理装置の概要を説明するための図である。

【図2】ユーザが撮影して得られた撮影データの例を示す図である。

【図3】画像処理装置の構成を示す図である。

【図4】特定部が同じタイミングに撮影された撮影データの組み合わせを特定する処理について説明するための図である。

【図5】画像処理装置が実行する画像処理方法のフローチャートである。

【図6】特定部が同じタイミングで撮影された撮影データを特定する手順を示すフローチャートである。

【発明を実施するための形態】

【0017】

［画像処理装置１の概要］
図１は、画像処理装置１の概要を説明するための図である。画像処理装置１は、複数の異なるアングルで撮影された複数の撮影データを含む複数の撮影ファイルを受信し、受信した複数の撮影ファイルに含まれる、同じタイミングで撮影されたデータのうち、被写体が良好に写っている撮影データを選択して編集した編集データを出力する。

【0018】

図１（ａ）に示すように、第１カメラ１００（第１撮影装置）を所有する第１ユーザが、運動会及び学芸会等のイベントや旅行先において、第１のアングルで被写体を撮影し、第２カメラ２００（第２撮影装置）を所有する第２ユーザ（例えば、第１ユーザの家族）が、第１ユーザが撮影中のイベントや旅行先において、第２のアングルで被写体を撮影しているとする。第１カメラ１００で撮影された第１撮影データは、第１撮影ファイルとして第１カメラ１００の記憶媒体に記憶される。また、第２カメラ２００で撮影された第２撮影データは、第２撮影ファイルとして第２カメラ２００の記憶媒体に記憶される。ここで、第１撮影データ及び第２撮影データは、映像を構成する複数のフレームのうちの１つのフレームに含まれるデータである。第１撮影ファイル及び第２撮影ファイルには、画像データとともに音データが含まれている。

【0019】

続いて、図１（ｂ）に示すように、第１ユーザ及び第２ユーザは、ユーザ端末２を用いて、第１撮影ファイル及び第２撮影ファイルを画像処理装置１にアップロードする。ここでは、第１ユーザと第２ユーザとが家族であり、第１ユーザが、共用のユーザ端末２を用いて第１撮影ファイル及び第２撮影ファイルを画像処理装置１にアップロードする場合について説明するが、第１ユーザ及び第２ユーザが、それぞれのユーザ端末を用いて、第１撮影ファイル及び第２撮影ファイルを画像処理装置１にアップロードしてもよい。

【0020】

画像処理装置１は、例えば、インターネットを介してユーザ端末２に接続されたサーバであり、第１ユーザが、ユーザ端末２を用いて画像処理装置１にアクセスすると、画像処理装置１は、撮影ファイルをアップロードするための画面をユーザ端末２に表示させる。第１ユーザは、記憶媒体やネットワークを介して、第１カメラ１００及び第２カメラ２００に記憶された第１撮影ファイル及び第２撮影ファイルをユーザ端末２に移動させた後に、ユーザ端末２から第１撮影ファイル及び第２撮影ファイルをアップロードする。

【0021】

画像処理装置１は、第１撮影ファイル及び第２撮影ファイルを受信すると、第１撮影ファイルに含まれる複数の第１撮影データ及び第２撮影ファイルに含まれる複数の第２撮影データのいずれかに共通に含まれている特徴的な音（例えば、運動会におけるピストル音や放送の声）や画像（例えば、結婚披露宴におけるフラッシュの点滅）に基づいて、同じタイミングで撮影された画像を含む第１撮影データ及び第２撮影データを特定する。

【0022】

画像処理装置１は、同じタイミングで撮影された第１撮影データ及び第２撮影データを特定すると、同じタイミングで撮影された第１撮影データ及び第２撮影データのうち、品質が良い撮影データを選択する。品質は、例えば、被写体にフォーカスが合っているか、被写体の全体が写っているか、被写体が適切な明るさで写っているか等の条件によって判定される。

【0023】

画像処理装置１は、品質が良い撮影データを選択すると、図１（ｃ）に示すように、編集データを含む編集ファイルを出力する。画像処理装置１は、例えば、インターネットを介して、ユーザ端末２に編集ファイルを送信する。編集ファイルは、例えばＤＶＤのフォーマットに適合しており、ユーザ端末２で編集ファイルを受信したユーザは、受信した編集ファイルをＤＶＤ等の記憶媒体に書き込むことができる。ユーザは、ＤＶＤレコーダで編集ファイルを再生すると、同じタイミングで別アングルから撮影された画像のうち、品質が良い画像を視聴することができる。このようにすることで、第１カメラ１００で撮影した画像の品質が低い場合であっても、ユーザは、同じタイミングで同じ被写体を第２カメラ２００で撮影した画像を視聴することができるので、品質が悪い画像の代わりに品質が良い画像を継続的に見ることができる。

【0024】

なお、画像処理装置１は、編集データを作成する際に、音声データは編集することなく、第１撮影データ及び第２撮影データのいずれか一方に付された音声データを編集データに含める。このようにすることで、ユーザが映像を視聴中に、音の大きさや質が変動することを防止できる。

【0025】

図２は、ユーザが撮影して得られた撮影データの例を示す図である。図２（ａ）は、第１撮影ファイルに含まれる複数の第１撮影データＡ１、Ａ２、Ａ３、及び第２撮影ファイルに含まれる複数の第２撮影データＢ１、Ｂ２を示している。図２に示す第１撮影データ及び第２撮影データは、運動会の同じ競技を行っている子供が、それぞれ異なるアングルから撮影されて生成されたデータである。第１撮影データＡ２は、撮影中に第１カメラ１００の前に障害物が入ってしまい、斜線領域において被写体の一部が写っていない状態になっている。画像処理装置１は、このように品質が悪い画像を削除し、同じタイミングで第２カメラ２００において撮影された画像に置き換えることで、図２（ｂ）に示すように、品質が悪い画像が含まれない編集データを作成することができる。

【0026】

なお、第１撮影データ及び第２撮影データは、それぞれ異なるカメラで撮影されており、カメラに設定された時刻が不正確である場合、第２撮影データＢ１及びＢ２が、どの第１撮影データと同じタイミングで撮影されたかがわからない。画像処理装置１は、このように、撮影タイミングが未知の複数の第１撮影データ及び複数の第２撮影データのうち、どの第１撮影データとどの第２撮影データとが同じタイミングで撮影されたかを特定する。そして、同じタイミングで撮影された第１撮影データと第２撮影データのうち品質が良い撮影データを含む編集データを作成する。このようにすることで、ユーザは、ユーザが所望しない画像を削除しつつ、削除した場面の記録を残すことができる。
以下、画像処理装置１の構成及び動作について詳細に説明する。

【0027】

［画像処理装置１の構成］
図３は、画像処理装置１の構成を示す図である。画像処理装置１は、通信部１１と、記憶部１２と、制御部１３とを有する。
通信部１１は、例えば通信コントローラであり、インターネット等のネットワークを介して、ユーザ端末２との間でデータを送受信する。通信部１１は、例えば、ユーザ端末２から撮影データを受信し、ユーザ端末２に対して合成データを送信する。

【0028】

記憶部１２は、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１２は、制御部１３が実行するプログラムや、制御部１３が実行する処理に必要なデータを記憶している。また、記憶部１２は、ユーザ端末２から受信した撮影データを記憶する。

【0029】

制御部１３は、例えばＣＰＵ（Central Processing Unit）であり、記憶部１２に記憶されたプログラムを実行することにより、取得部１３１、特定部１３２、選択部１３３及び出力部１３４として機能する。

【0030】

取得部１３１は、第１カメラ１００が撮影して生成された複数の第１撮影データを含む第１撮影ファイル、及び第２カメラ２００が撮影して生成された複数の第２撮影データを含む第２撮影ファイルを、ユーザ端末２から取得する。取得部１３１は、取得した第１撮影ファイル及び第２撮影ファイルを記憶部１２に記憶させる。
また、取得部１３１は、選択部１３３が撮影データの選択に用いる品質条件、及び品質を確認する対象とする被写体を特定する被写体情報等の各種の設定情報を取得する。

【0031】

特定部１３２は、複数の第１撮影データ及び複数の第２撮影データのうち、同一のタイミングで撮影された第１撮影データ及び第２撮影データを特定する。具体的には、特定部１３２は、特定部は、複数の第１撮影データ及び複数の第２撮影データのそれぞれに含まれる類似する特徴を抽出し、抽出した類似する特徴の間の類似度が所定の閾値以上であることを条件として、同一のタイミングで撮影された第１撮影データ及び第２撮影データを特定する。

【0032】

類似する特徴は、例えば音や画像の変化パターンである。特定部１３２は、音の特徴を抽出する場合、隣接する複数の第１撮影データ間で音のレベルが所定の閾値以上に変化している場合に、音の変化パターンを特徴として抽出する。複数の第１撮影データ及び複数の第２撮影データが、運動会で撮影されたデータである場合、競技の開始を知らせるピストル音は、他の音よりも大きい。したがって、ピストル音が鳴ったタイミングで撮影された第１撮影データ及び第２撮影データには、直前に撮影された第１撮影データ及び第２撮影データには存在しなかった高いレベルの音が記録されていると考えられる。そこで、特定部１３２は、第１撮影データに、直前の第１撮影データに比べて所定の閾値以上に変化している音が存在する場合、その音が記録されている複数の第１撮影データと音の変化パターンを特定する。例えば、ピストル音が鳴ってから消えるまでに０．３秒を要した場合、特定部１３２は、０．３秒分の複数の第１撮影データと、それぞれの第１撮影データに対応する音のレベルを特定し、特定した情報を記憶部１２に記憶させる。

【0033】

続いて、特定部１３２は、第２撮影データ内の複数の第２撮影データを探索して、同等の音のパターンを含む複数の第２撮影データを特定する。特定部１３２は、例えば、直前の第２撮影データに比べて所定の閾値以上に変化している音が存在する第２撮影データを特定した後に、その後に続く第２撮影データにおいて、第１撮影データと同様に音のレベルが変化しているかどうかを確認する。

【0034】

特定部１３２は、第１撮影データにおいて抽出した音のパターンと第２撮影データにおいて抽出した音のパターンとを比較し、類似度を決定する。特定部１３２は、例えば、複数の第１撮影データに対応する複数の音のレベルと、複数の第２撮影データに対応する複数の音のレベルとの間の相関値を算出することで、類似度を決定する。特定部１３２は、類似度が所定の閾値以上である場合に、同等の音の変化パターンが含まれている複数の第１撮影データと複数の第２撮影データとが同じタイミングで撮影されたと判定する。

【0035】

特定部１３２は、人の声や音楽等を特徴として抽出してもよい。例えば、特定部１３２は、複数の第１撮影データ及び複数の第２撮影データに共通に含まれている声の変化パターンや音楽の変化パターンに基づいて、同じタイミングで撮影された第１撮影データ及び第２撮影データを特定することができる。

【0036】

また、特定部１３２は、画像の変化パターンとして、フラッシュが点滅する変化パターンや被写体が変化するパターンを用いることができる。例えば、結婚披露宴の撮影データのように、第１撮影データ及び第２撮影データが、室内で撮影されて生成された場合に、多数の人のカメラで用いられるフラッシュが点滅するタイミングに同期して、第１撮影データ及び第２撮影データの輝度が変化すると考えられる。そこで、特定部１３２は、第１撮影データ及び第２撮影データにおける画像の輝度の変化パターンに基づいて、同じタイミングで撮影された第１撮影データ及び第２撮影データを特定することもできる。

【0037】

特定部１３２は、同一の特徴が含まれている第１撮影データ及び第２撮影データを効率よく特定するために、第１撮影データ及び第２撮影データに含まれている撮影時刻情報が所定の範囲内の第１撮影データ及び第２撮影データから、類似する特徴を抽出してもよい。ユーザが第１カメラ１００及び第２カメラ２００に時刻を設定している場合、正確ではないとしても、概ね正しい時刻が設定されている可能性が高いので、同一のタイミングで撮影されたデータには、比較的近い撮影時刻情報が関連付けて記録されていると考えられる。したがって、特定部１３２は、第１撮影データに特徴的な音や画像の変化パターンを検出した際に、その第１撮影データに対応する撮影時刻情報に対して所定の範囲内の撮影時刻情報が付されている第２撮影データにおいて、類似する音や画像の変化パターンを探索することで、効率よく類似する特徴を抽出することができる。

【0038】

特定部１３２は、類似する特徴が含まれる第１撮影データ及び第２撮影データの組み合わせを少なくとも一つ抽出した場合に、第１撮影データの第１撮影時刻情報と第２撮影データの第２撮影時刻情報との差分に基づいて複数の第１撮影データの撮影時刻と複数の第２撮影データの撮影時刻との関係を特定することにより、同一のタイミングで撮影された第１撮影データ及び第２撮影データを特定してもよい。特定部１３２は、例えば、類似する特徴が含まれる第１撮影データと第２撮影データの少なくとも一つの組み合わせを抽出すると、それらの撮影時刻情報の差分に基づいて、複数の第１撮影データに含まれる複数の第１撮影時刻情報及び複数の第２撮影データに含まれる複数の第２撮影時刻情報の少なくとも一方を補正することにより、複数の第１撮影データの撮影時刻と前記複数の第２撮影データの撮影時刻との関係を特定する。このようにすることで、特定部１３２は、同一のタイミングで撮影された複数の第１撮影データ及び複数の第２撮影データの特定に要する時間を短縮することができる。

【0039】

また、特定部１３２は、同一のシーンに含まれる第１撮影データ及び第２撮影データから類似する特徴を抽出してもよい。特定部１３２は、例えば、第１撮影データ及び第２撮影データに共通の被写体が写っている場合に、同一のシーンであると判定する。

【0040】

一例として、運動会の大玉ころがし競技で用いられる赤又は白の大玉の画像が、複数の第１撮影データ及び複数の第２撮影データに共通に含まれている場合、大玉が写っている複数の第１撮影データ及び複数の第２撮影データにおいて、類似する特徴が含まれているかどうかを抽出することが考えられる。第１撮影データ及び第２撮影データが旅行先で撮影されたデータである場合、特定部１３２は、共通の建築物が写っている場合に同一のシーンであると判定することができる。このように、特定部１３２は、同一のシーンに含まれる第１撮影データ及び第２撮影データから類似する特徴を抽出することにより、処理の時間を短縮できるとともに、同一のタイミングで撮影されたか否かの判定精度を向上させることができる。

【0041】

特定部１３２は、同じタイミングに撮影された撮影データの組み合わせを特定するために、第１撮影データ及び第２撮影データのそれぞれから抽出された類似する特徴の間の類似度が所定の閾値以上である場合に、第１撮影データ及び第２撮影データに共通する識別情報を付与する。特定部１３２は、第１撮影データ及び第２撮影データを出力したビデオカメラが付与した撮影時刻情報とは異なる識別情報を付与するものとするが、特定部１３２は、撮影時刻情報を書き換えることにより識別情報を付与してもよい。

【0042】

図４は、特定部１３２が同じタイミングに撮影された撮影データの組み合わせを特定する処理について説明するための図である。図４（ａ）は、ユーザ端末２から受信した第１撮影ファイル及び第２撮影ファイルの一部を示している。第２撮影ファイルにおいて、Ｂ１４とＢ２１との間ではシーンが切り替えられているものとしている。

【0043】

特定部１３２は、第１撮影データＡ１２及び第２撮影データＢ１３において、ピストル音を抽出している。また、特定部１３２は、第１撮影データＡ１７及び第２撮影データＢ２２において、放送の声を抽出している。特定部１３２は、第１撮影データＡ１４において歓声を抽出しているが、第２撮影ファイルにおいては、歓声を抽出した撮影データが存在しない。このような場合、特定部１３２は、ピストル音が抽出された第１撮影データＡ１２及び第２撮影データＢ１３に識別情報としてＩＤ＝０００１を付与し、放送の声が抽出された第１撮影データＡ１７及び第２撮影データＢ２２にＩＤ＝０００２を付与する。

【0044】

また、特定部１３２は、同一の識別情報を付与した類似する特徴が含まれる第１撮影データ及び第２撮影データに基づいて、同じタイミングで撮影された複数の第１撮影データと複数の第２撮影データとを関連付けることで、同じタイミングで撮影された第１撮影データと第２撮影データの組み合わせを特定する。図４（ｂ）は、特定部１３２が複数の第１撮影データと複数の第２撮影データとを関連付けた状態を示す図である。図４（ｂ）においては、第１撮影データＡ１１、Ａ１２、Ａ１３、Ａ１６、Ａ１７、Ａ１８が、第２撮影データＢ１２、Ｂ１３、Ｂ１４、Ｂ２１、Ｂ２２、Ｂ２３と同じタイミングで撮影されたデータとして関連付けられている。

【0045】

選択部１３３は、特定部１３２が同一のタイミングで撮影された撮影データとして特定した第１撮影データ及び第２撮影データのうち、所定の品質条件に基づいていずれか一方の撮影データを選択する。品質条件は、被写体にフォーカスが合っているか、被写体の全体が写っているか、被写体が適切な明るさで写っているか等である。選択部１３３は、各撮影データが、それぞれの品質条件をどの程度満たしているかに応じて品質を数値化し、品質が高い数値を示している撮影データを選択する。選択部１３３は、ユーザにより指定された優先順位に基づいて複数の品質条件に重み付けをして品質を数値化してもよい。

【0046】

図４（ｃ）は、選択部１３３が、品質が良い撮影データを選択することにより作成された編集ファイルの例を示す図である。図４（ｃ）においては、Ｂ１１〜Ｂ１３の後にＡ１３〜Ａ１６が選択され、Ａ１３〜Ａ１６の後にＢ２２〜Ｂ２４が選択されている。

【0047】

選択部１３３は、例えば、複数の第１撮影データ及び複数の第２撮影データに最も高い頻度で写っている被写体の画像の品質を所定の品質条件と比較することにより、いずれか一方の撮影データを選択する。具体的には、選択部１３３は、複数の第１撮影データ及び複数の第２撮影データに含まれている被写体の色及び形状に基づいて特定した被写体の種別ごとに被写体ＩＤを割り当て、それぞれの撮影データに含まれている被写体の被写体ＩＤを示す情報を記憶部１２に記憶させる。そして、全ての撮影データに最も多く含まれている被写体ＩＤに対応する被写体を、最も高い頻度で写っている被写体であると特定する。

【0048】

複数の第１撮影データ及び複数の第２撮影データが、例えば、ユーザの子供の学校でのイベントを撮影したデータである場合、ユーザの子供が写っている頻度が高いと考えられる。したがって、選択部１３３は、上記のように写っている頻度に基づいて、品質を確認する対象となる被写体を決定することで、ユーザが撮影した対象となる被写体が高い品質で写っている撮影データを選択することができる。

【0049】

選択部１３３は、複数の第１撮影データ及び複数の第２撮影データに含まれている顔の領域が最も大きい被写体の画像の品質を所定の品質条件と比較することにより、いずれか一方の撮影データを選択してもよい。具体的には、選択部１３３は、複数の第１撮影データ及び複数の第２撮影データに含まれている一以上の顔の領域を認識し、認識した一以上の顔の領域のうち、最も大きな顔の画像の品質が良い撮影データを選択する。複数の第１撮影データ及び複数の第２撮影データが、例えば、ユーザの子供の学校でのイベントを撮影したデータである場合、ユーザの子供が大きく写るように撮影されている可能性が高い。したがって、選択部１３３は、最も大きな顔の画像の品質が良い撮影データを選択することで、ユーザが撮影した対象の子供の画質が良好な撮影データを選択できる。

【0050】

また、選択部１３３は、取得部１３１がユーザ端末２から取得した被写体情報に対応する被写体の画像の品質を所定の品質条件と比較することにより、いずれか一方の撮影データを選択してもよい。被写体情報は、例えば、複数の第１撮影データ及び複数の第２撮影データのうち一以上の撮影データにおいて、ユーザが選択した被写体の画像を特定するための情報である。選択部１３３は、複数の第１撮影データ及び複数の第２撮影データにおいて、被写体情報が示す被写体と類似する被写体を特定し、特定した被写体の画像の品質が良好な撮影データを選択する。このようにすることで、選択部１３３は、ユーザが良い画質で写っていることを所望する被写体の画質が良好な撮影データを選択することができる。

【0051】

選択部１３３が選択する撮影データが、第１撮影データと第２撮影データとの間で頻繁に切り替わることを防ぐために、選択部１３３は、複数の第１撮影データ及び複数の第２撮影データのうち、選択する撮影データを切り替えてから所定の時間（例えば、５秒）が経過するまでは、選択した撮影データを撮影したカメラで撮影された撮影データを継続して選択してもよい。すなわち、選択部１３３は、第１撮影データを選択した後に、第２撮影データの品質が良くなって第２撮影データを選択した後に所定の時間が経過するまでは、第１撮影データの品質が第２撮影データの品質よりも良い場合であっても、第２撮影データを選択し続ける。

【0052】

また、選択部１３３は、複数の第１撮影データ及び複数の第２撮影データのうち、選択した撮影データを切り替えてから所定の時間が経過する前と後とで、所定の品質条件を異なる条件としてもよい。例えば、選択部１３３は、第１撮影データと第２撮影データのうち、選択する撮影データを切り替えてから所定の時間が経過するまでの間は、同じタイミングに対応する第１撮影データの品質と第２撮影データの品質との差が所定の閾値以上であることを条件に、撮影データを切り替えるものとする。このようにすることで、第１撮影データの品質と第２撮影データの品質とが大差ないにもかかわらず画面が切り替わってしまうことを防止できる。

【0053】

出力部１３４は、選択部１３３が選択した撮影データにより構成される編集データを含む編集ファイルを出力する。出力部１３４は、例えば、図４（ｃ）に示すように、品質が良好な撮影データを含む編集ファイルを出力する。出力部１３４は、通信部１１を介して、ユーザ端末２に編集ファイルを送信してもよく、ＤＶＤ等の記憶媒体にデータを書き込む装置に編集ファイルを送信してもよい。

【0054】

［画像処理装置１の動作フローチャート］
続いて、画像処理装置１が実行する画像処理方法の手順について説明する。
図５は、画像処理装置１が実行する画像処理方法のフローチャートである。まず、取得部１３１は、ユーザ端末２から送信された第１撮影ファイル及び第２撮影ファイルを受信し、これらのファイルに含まれている複数の第１撮影データ及び複数の第２撮影データを取得する（Ｓ２１）。

【0055】

続いて、特定部１３２は、複数の第１撮影データと複数の第２撮影データのうち、同じタイミングで撮影された第１撮影データ及び第２撮影データを特定することにより（Ｓ２２）、図４（ｂ）に示したような撮影データ列を作成する。

【0056】

続いて、選択部１３３は、同じタイミングで撮影された第１撮影データ及び第２撮影データのうち、品質が良い撮影データを選択する。この際、選択部１３３は、品質が良い撮影データを切り替えてから所定の時間が経過したか否かを判定する（Ｓ２３）。選択部１３３は、撮影データを切り替えてから所定の時間が経過している場合（Ｓ２３においてＹＥＳ）、品質が良い撮影データを選択する（Ｓ２４）。選択部１３３は、撮影データを切り替えてから所定の時間が経過していない場合（Ｓ２３においてＮＯ）、品質によらず、選択されている撮影データに対応する撮影ファイルに含まれる撮影データを継続して選択する（Ｓ２５）。

【0057】

選択部１３３が、全ての撮影データに対して選択処理を実行すると（Ｓ２６においてＹＥＳ）、出力部１３４が、図４（ｃ）に示したような編集データを含む編集ファイルを出力する（Ｓ２７）。

【0058】

図６は、特定部１３２が、同じタイミングで撮影された撮影データを特定するステップＳ２２の手順を示すフローチャートである。
まず、特定部１３２は、複数の第１撮影データに含まれている特徴的な音や画像を抽出する（Ｓ２２１）。そして、特定部１３２は、複数の第１撮影データから、特徴的な音や画像を抽出した第１撮影データを選択する（Ｓ２２２）。この際、特徴的な音や画像が複数の第１撮影データにわたって含まれている場合、特定部１３２は、複数の第１撮影データを抽出してもよい。続いて、特定部１３２は、抽出した第１撮影データに含まれる特徴と類似する特徴を探索する対象となる第２撮影データを選択する（Ｓ２２３）。

【0059】

特定部１３２は、選択した第２撮影データに含まれる特徴と、ステップＳ２２２で選択した第１撮影データに含まれる特徴との間の類似度を算出し、算出した類似度が所定の閾値以上であるか否かを判定する（Ｓ２２４）。特定部１３２は、類似度が閾値以上であると判定した場合（Ｓ２２４においてＹＥＳ）、類似する特徴が含まれる第１撮影データ及び第２撮影データに識別番号を付与する（Ｓ２２５）。特定部１３２は、類似度が閾値未満であると判定した場合（Ｓ２２４においてＮＯ）、ステップＳ２２６に処理を進める。

【0060】

特定部１３２は、全ての第２撮影データに対して、ステップＳ２２２で選択した第１撮影データに含まれる特徴の有無の判定が終了していない場合（Ｓ２２６においてＮＯ）、ステップＳ２２３に戻って、未判定の第２撮影データに対してステップＳ２２３からＳ２２５を実行する。特定部１３２は、全ての第２撮影データに対して、ステップＳ２２２で選択した第１撮影データに含まれる特徴の有無の判定が終了している場合（Ｓ２２６においてＹＥＳ）、全ての第１撮影データで抽出された特徴に対して、第２撮影データの探索が終了したかどうかを判定する（Ｓ２２７）。特定部１３２は、全ての第１撮影データで抽出された特徴に対して処理が終了していない場合（Ｓ２２７においてＮＯ）、ステップＳ２２２に戻って、ステップＳ２２２からＳ２２６を実行する。

【0061】

特定部１３２は、全ての第１撮影データで抽出された特徴に対して、類似する特徴を有する第１撮影データと第２撮影データの組み合わせを特定すると（Ｓ２２７においてＹＥＳ）、類似する特徴を有する第１撮影データと第２撮影データが同じ再生位置になるように、全ての第１撮影データ及び第２撮影データを並び替えて、図４（ｂ）に示したように、同一のタイミングで撮影された第１撮影データと第２撮影データの組み合わせを特定する（Ｓ２２８）。
その後、制御部１３は、図５に示したステップＳ２３以降の処理を実行することにより、編集データを出力することができる。

【0062】

［変形例１］
以上の説明において、取得部１３１が２つの撮影ファイルを取得する例について説明したが、取得部１３１は３つ以上の撮影ファイルを取得してもよい。この場合、特定部１３２は、取得部１３１が取得した複数の撮影ファイル内の複数の撮影データのうち、少なくとも２つ以上に共通に含まれている類似する特徴を抽出し、同じタイミングで撮影された複数の撮影データを特定する。そして、選択部１３３は、同一のタイミングで撮影された複数の撮影データから品質条件に基づいて１つの撮影データを選択する。このようにすることで、ユーザは、３つ以上の撮影データのうちで最も品質が良い撮影データを見ることができる。

【0063】

［変形例２］
以上の説明においては、画像処理装置１が１台のユーザ端末２から複数の撮影データを取得する例について説明したが、画像処理装置１は、複数の異なるユーザ端末２から複数の撮影データを取得してもよい。このようにすることで、画像処理装置１は、例えば一つのイベントに参加した多数の人が撮影して得られた多数の撮影データを取得し、取得した多数の撮影データのうちで最も良い品質の撮影データを組み合わせた編集データを作成することができる。

【0064】

この際、画像処理装置１は、合成データの作成を希望するユーザのユーザ端末２から、多数の撮影データのうち、どの撮影データを組み合わせて合成データを作成するかの指定を受け付けてもよい。例えば、画像処理装置１は、ユーザ端末２に対して、編集が可能な撮影データのサムネイル画像を送信し、ユーザが選択したサムネイル画像に対応する撮影データから品質が良い撮影データを選択して編集データを作成する。このようにすることで、ユーザは、記録に残したい被写体が良好に映った映像コンテンツを取得することができる。

【0065】

［本実施形態の画像処理装置１による効果］
以上説明したように、画像処理装置１においては、取得部１３１が、複数の異なるアングルから被写体を撮影して生成された複数の第１撮影データ及び複数の第２撮影データを取得し、特定部１３２が、複数の第１撮影データ及び複数の第２撮影データのうち、同一のタイミングで撮影された第１撮影データ及び第２撮影データを特定する。そして、選択部１３３は、所定の品質条件に基づいて、特定部１３２が特定した同じタイミングで撮影された第１撮影データ及び第２撮影データのうち、いずれか一方の撮影データを選択する。このようにすることで、ユーザは、被写体を同一のタイミングで複数のアングルから撮影している場合に、ユーザが所望しない失敗画像を削除しつつ、削除した場面の記録を残すことができる。

【0066】

特定部１３２は、複数の第１撮影データ及び複数の第２撮影データのそれぞれに含まれる類似する特徴を抽出し、抽出した類似する特徴の間の類似度が所定の閾値以上であることを条件として、同一のタイミングで撮影された第１撮影データ及び第２撮影データを特定する。このようにすることで、特定部１３２は、複数の第１撮影データ及び複数の第２撮影データに撮影時刻に関する情報が含まれていない場合であっても、同じタイミングで撮影された撮影データを特定することができる。

【0067】

選択部１３３は、最も高い頻度で写っている被写体、最も顔が大きく写っている被写体、ユーザが指定した被写体の品質に基づいて、撮影データを選択することもできる。このようにすることで、選択部１３３は、ユーザが撮影していた対象の被写体の画質が良い撮影データを選択することができる。

【0068】

また、選択部１３３は、複数の第１撮影データ及び複数の第２撮影データのうち、選択する撮影データを切り替えてから所定の時間が経過するまでは、選択した前記撮影データを撮影したカメラで撮影された撮影データを継続して選択する。このようにすることで、編集データを再生する際に、撮影データが頻繁に切り替わってしまうことを防止できる。

【0069】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0070】

例えば、上記の説明では、合成ファイルがＤＶＤのフォーマットに適合している例を示したが、合成ファイルはブルーレイ等の他のフォーマットに適合していてもよい。
また、上記の説明では、画像処理装置１がインターネットを介してユーザ端末２に接続されたサーバである例を示したが、画像処理装置１は、ＰＣ（Personal Computer）又はクラウド上のサーバ等の他の装置であってもよい。

【0071】

１ 画像処理装置
２ ユーザ端末
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 取得部
１３２ 特定部
１３３ 選択部
１３４ 出力部
１００ 第１カメラ
２００ 第２カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】