特開 2015-231206 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-231206(P2015-231206A)

(43)【公開日】2015年12月21日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20151124BHJP

   H04N 5/232 20060101ALI20151124BHJP

【ＦＩ】

   H04N5/91 N

   H04N5/91 J

   H04N5/232 Z

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

【全頁数】18

(21)【出願番号】特願2014-117860(P2014-117860)

(22)【出願日】2014年6月6日

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(72)【発明者】

【氏名】小川 浩良

(72)【発明者】

【氏名】筒見 勝紀

(72)【発明者】

【氏名】坂本 昇平

(72)【発明者】

【氏名】村木 淳

【テーマコード（参考）】

5C053

5C122

【Ｆターム（参考）】

5C053FA08

5C053FA14

5C053HA21

5C122DA03

5C122DA04

5C122EA47

5C122EA61

5C122FA08

5C122FH07

5C122FH10

5C122FH19

5C122HB01

(57)【要約】

【課題】複数の動画に別々に記録されている被写体の特定動作を、より比較しやすくすること。
【解決手段】撮像装置１は、フレーム特定部５２と、合成方法特定部５４と、合成処理部５５と、を備える。フレーム特定部５２は、被写体の特定動作における所定のタイミングを撮影した複数の画像を選択する。合成方法特定部５４は、前記被写体の種類、前記特定動作の種類、前記特定動作のタイミングのうちの少なくとも１つの条件に応じて画像の合成条件を決定する。合成処理部５５は、フレーム特定部５２により選択された複数の画像を、合成方法特定部５４により決定された合成条件で合成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

被写体の特定動作における所定のタイミングを撮影した複数の画像を選択する選択手段と、
前記被写体の種類、前記特定動作の種類、前記特定動作のタイミングのうちの少なくとも１つの条件に応じて画像の合成条件を決定する決定手段と、
前記選択手段により選択された複数の画像を、前記決定手段により決定された合成条件で合成する合成手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記選択手段により選択された各々の画像内より前記特定動作を行う被写体部分を検出する第１の検出手段を備え、
前記決定手段は、前記第１の検出手段により検出された各々の画像内の前記特定動作を行う被写体部分の位置を基準とした所定の合成条件を決定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記選択手段は、前記特定動作を行う被写体を撮影した複数の動画に含まれる複数のフレームの中で、特定動作のタイミングが同じフレーム同士を前記複数の画像として選択する、
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

画像解析により動画に含まれる複数のフレームの中から前記特定動作における特定のタイミングの被写体が含まれるフレーム画像を検出する第２の検出手段を備え、
前記選択手段は、前記複数の動画の各々に対して前記第２の検出手段により検出されたフレーム同士を前記複数の画像として選択する、
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記合成手段は、前記決定手段により決定された合成条件に従い、前記第１の検出手段により検出された各々の画像内の前記特定動作を行う被写体部分の位置または大きさを揃えて合成する、
ことを特徴とする請求項２に記載の画像処理装置。

【請求項6】

前記合成手段は、各画像内の被写体部分の位置を近づけるように、少なくとも一方の被写体部分を切り抜くか、あるいは透過的に合成する、
ことを特徴とする請求項４または５に記載の画像処理装置。

【請求項7】

前記合成手段は、一方の画像内の被写体部分を切り抜くとともに半透明化して他方の画像に合成する、
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記合成手段は、各画像内の被写体部分の第１方向の位置を揃えて合成する、
ことを特徴とする請求項３乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記合成手段は、各画像内の被写体部分を第２方向に所定のずらし量で合成する、
ことを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記決定手段は、各画像内の被写体部分を、被写体の種類、特定動作の種類、前記特定動作のタイミングのうちの少なくとも１つの条件に応じて予め決められたずらし量で合成する合成条件を決定する、
ことを特徴とする請求項８に記載の画像処理装置。

【請求項11】

前記合成手段は、特定動作内の選択されたタイミングに対応する画像同士を合成して１枚の静止画を生成する、
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記合成手段は、特定動作内の各々のタイミングに対応する画像同士を合成して１つの動画を生成する、
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。

【請求項13】

被写体の特定動作における所定のタイミングを撮影した複数の画像を選択する選択ステップと、
前記被写体の種類、前記特定動作の種類、前記特定動作のタイミングのうちの少なくとも１つの条件に応じて画像の合成条件を決定する決定ステップと、
前記選択ステップにより選択された複数の画像を、前記決定ステップにより決定された合成条件で合成する合成ステップと、
を含むことを特徴とする画像処理方法。

【請求項14】

コンピュータに、
被写体の特定動作における所定のタイミングを撮影した複数の画像を選択する選択機能と、
前記被写体の種類、前記特定動作の種類、前記特定動作のタイミングのうちの少なくとも１つの条件に応じて画像の合成条件を決定する決定機能と、
前記選択機能により選択された複数の画像を、前記決定機能により決定された合成条件で合成する合成機能と、
を実現させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来より、ゴルフなどの特定動作を行う被写体を撮影した画像（動画）を合成する技術がある。このような技術では、例えば、同じ被写体（服装などが同じ）を、時間をずらして撮影した複数の画像（動画）を合成している（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−２０５６５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載される技術では、例えば、異なる被写体を合成する場合などでは、各画像の被写体部分が全く同じ位置に合成されると見難くなるなど、被写体や動作の状態によっては、比較がしにくいという問題がある。

【0005】

本発明は、このような状況に鑑みてなされたものであり、複数の画像に別々に記録されている被写体の特定動作を、より比較しやすくすることを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一態様の画像処理装置は、
被写体の特定動作における所定のタイミングを撮影した複数の画像を選択する選択手段と、
前記被写体の種類、前記特定動作の種類、前記特定動作のタイミングのうちの少なくとも１つの条件に応じて画像の合成条件を決定する決定手段と、
前記選択手段により選択された複数の画像を、前記決定手段により決定された合成条件で合成する合成手段と、
を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、複数の画像に別々に記録されている被写体の特定動作を、より比較しやすくすることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。

【図2】切抜合成画像の生成手法を説明するための模式図である。

【図3】図１の撮像装置の機能的構成のうち、画像合成処理を実行するための機能的構成を示す機能ブロック図である。

【図4】図３の機能的構成を有する図１の撮像装置が実行する画像合成処理の流れを説明するフローチャートである。

【図5】第２の実施形態における画像合成処理の流れを説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を用いて説明する。

【0010】

＜第１の実施形態＞
図１は、本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

【0011】

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

【0012】

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

【0013】

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

【0014】

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

【0015】

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

【0016】

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

【0017】

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

【0018】

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

【0019】

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

【0020】

このように構成される撮像装置１では、動画から抽出した被写体の所定の特定動作を含むフレーム画像を合成して、所定の特定動作を比較する合成画像を生成する機能を有する。本実施形態においては、被写体の所定の特定動作としてゴルフのスイングを含む動画から合成画像を生成する例について説明する。

【0021】

また、合成画像は、２つの異なる動画から抽出した対象となるフレーム画像を用いて、１つの静止画として生成される。
このような合成画像は、本実施形態においては、切抜合成画像と、並列合成画像と、の２種類の画像からなる。

【0022】

「切抜合成画像」は、比較する被写体を含む２つの動画から抽出したフレーム画像の一方から比較対象となる被写体を切り抜き、他方のフレーム画像に貼り付けて合成した画像である。以下、主体となる被写体を「主被写体」といい、主被写体と比較する被写体を「従被写体」という。本実施形態の切抜合成画像においては、貼り付けられる被写体が従被写体とし、従被写体が貼り付けられるフレーム画像に含まれる被写体は主被写体とする。

【0023】

ここで、このような切抜合成画像の生成方法について詳述する。
図２は、切抜合成画像の生成手法を説明するための模式図である。なお、本例では、異なる時期に同一人物を撮影したスイングの動画を用いた場合を例として説明する。また、ゴルフのスイングの特定動作の内、インパクトのタイミングを比較する例とする。

【0024】

切抜合成画像は、図２に示すように、メイン動画及び参照動画から所定の特定動作のタイミング（インパクト）となる主被写体Ｐ１及び従被写体Ｐ２を含むフレーム画像ＦＩ１，ＦＩ２を特定・抽出する。

【0025】

抽出された参照動画から抽出したフレーム画像ＦＩ２内から、従被写体Ｐ２の部分（被写体部分）を切り抜いて、主被写体Ｐ１と同一の大きさとなるように縮尺を調整する。異なる環境下や異なる人物を撮影した場合があるため、縮尺を同一に調整する。

【0026】

そして、縮尺を調整した従被写体Ｐ２の部分（被写体部分）を、特定動作のタイミング毎に決定された位置に配置する。
なお、本実施形態においては、主被写体に対して、所定の方向にどの程度ずらして配置するかが、特定動作の種類、タイミング、被写体の同一性等の所定の条件により、ずらし方向及びすらし量として予め決定されている。

【0027】

インパクトの例では、主被写体Ｐ１の近傍であり、上下方向を同じ位置に合わせて、左右方向に所定量ずらした位置に従被写体Ｐ２の部分（被写体部分）を配置する。
インパクトを比較する場合には、同一の高さで比較することを前提とし、グリップ位置や飛球方向側の体側等が重要な比較の要素となるため、グリップ位置等が比較可能な位置に従被写体Ｐ２の部分（被写体部分）を配置する。また、主被写体Ｐ１と従被写体Ｐ２とが近接又は重なる位置に配置されることとなるため、従被写体Ｐ２を半透過状態にして、フレーム画像ＦＩ１に貼り付けて合成する。

【0028】

その結果、複数の動画に別々に記録されている被写体の特定動作を、より比較しやすくする切抜合成画像を生成することができる。

【0029】

これに対して、「並列合成画像」は、比較する被写体を含む２つの動画から所定の特定動作を含むフレーム画像を抽出して、抽出したフレーム画像を特定の方向（本実施形態においては、左右）に並べて合成した画像である。

【0030】

図３は、このような撮像装置１の機能的構成のうち、画像合成処理を実行するための機能的構成を示す機能ブロック図である。
画像合成処理とは、比較対象となる動画から所定のスイング動作に該当するフレーム画像を抽出して、一方のフレーム画像から比較対象となる被写体を切り抜き、所定の位置に半透過状態で合成した画像（以下、「切抜合成画像」という。）を生成する一連の処理をいう。また、本実施形態の画像合成処理においては、合成方法において、切抜合成画像を生成する切り抜き合成を行わない場合には、抽出したフレーム画像を並列的に並べて合成した並列合成画像を生成する。

【0031】

画像合成処理を実行する場合には、図３に示すように、ＣＰＵ１１において、動画選択部５１と、フレーム特定部５２と、フレーム抽出部５３と、合成方法特定部５４と、合成処理部５５と、が機能する。

【0032】

また、記憶部１９の一領域には、動画記憶部７１と、合成情報記憶部７２と、合成画像記憶部７３と、が設定される。

【0033】

動画記憶部７１には、動画のデータが記憶される。動画記憶部７１に記憶されている動画は、本実施形態においては、ユーザ本人やプロ等のゴルフのスイングを撮影した動画である。

【0034】

合成情報記憶部７２には、合成に必要な情報（以下、「合成情報」という。）が記憶される。「合成情報」は、特定動作の種類や特定動作のタイミング毎に決定される合成方法の情報と、切抜合成画像の生成に際して、切り抜いた被写体の貼り付け位置に関する情報（以下、「配置情報」という。）と、を含む。

【0035】

ここで、「合成方法」は、切抜合成画像を生成する「切り抜き合成」の方法と、並列合成画像を生成する「並列合成方法」の方法とからなる。
また、配置情報は、詳細には、特定動作の種類、タイミング、被写体の同一性等の所定の条件毎の被写体の貼り付け位置、詳細には、従被写体の主被写体からのずらし方向やずらし量等の従被写体の配置に関する情報である。例えば、配置情報は、所定条件とずらし方向及びずらし量とが合成情報記憶部７２にテーブルデータとして構成される。

【0036】

合成画像記憶部７３には、生成された切抜合成画像や並列合成画像等の合成画像のデータが記憶されている。

【0037】

動画選択部５１は、例えば、ユーザからの入力部１７への入力操作に対応して、動画記憶部７１に記憶されるメイン動画と、参照動画を選択する。
また、動画選択部５１は、例えば、ユーザからの入力部１７への入力操作に対応して、比較する特定動作のタイミング（例えば、アドレス，トップ，インパクト等）を指定する。

【0038】

フレーム特定部５２は、動画選択部５１によって指定された動画を構成する各フレームを解析して、特定動作のタイミングを含むフレームを特定する。具体的には、フレーム特定部５２は、動画を構成する各フレームを解析して、動画選択部５１によって指定された特定動作のタイミングを含むフレームをメイン動画及び参照動画それぞれについて特定する。
フレーム特定部５２による特定動作のタイミングを含むフレームを特定する技術は、例えば、クラブの角度やスイング対象者の姿勢によるマッチング等の既存の公知の技術を用いる。

【0039】

フレーム抽出部５３は、フレーム特定部５２により特定されたフレームをメイン動画及び参照動画から抽出する。

【0040】

合成方法特定部５４は、合成情報記憶部７２に記憶される合成情報を参照し、特定動作の種類や特定動作のタイミングに応じて、切り抜き合成か、並列合成かの合成方法や、ずらし方向、ずらし量などの合成パラメータを含む合成条件を特定する（大きさ調整の有無や半透過か否かなどの合成方法についても、特定動作の種類や特定動作のタイミングに応じて選択するようにしてもよい）。例えば、合成方法特定部５４は、特定動作の種類がゴルフスイングであり、さらに、特定動作のタイミングがインパクトであった場合には、切り抜き合成の合成方法であると特定する。
また、特定動作における特定タイミングでの被写体の形状の類似性に応じて、合成条件を特定してもよい。例えば、ゴルフスイングのインパクトなどでは被写体の形状の類似性が高いので、切り抜き合成を行うとともに、そのずらし量を小さくすることで、より詳細部分の比較がしやすいようにし、野球の投球動作におけるオーバースローとアンダースローなどの被写体の形状の類似性が低い投球フォームの違いを比較する場合では、並列合成を行うことで全体を見やすい状態で比較できるようにしてもよい。
また、同じゴルフスイングであっても、インパクトではクラブのシャフトが垂直になるために左右にずらして合成し、テイクバックの途中などではクラブのシャフトが水平になるため上下にずらして合成するようにしてもよい。
また、特定動作の種類や特定動作のタイミングと、合成条件との対応関係を、予めユーザが任意に設定しておけるようにしてもよい。

【0041】

合成処理部５５は、合成方法特定部５４により特定された合成方法が「切り抜き合成」である場合には、主被写体を含んだフレーム画像に、従被写体を含んだフレーム画像から切り抜いた従被写体部分を合成する処理を行い、切抜合成画像を生成する。具体的には、合成処理部５５は、図２に示すような手法で切抜合成画像を生成する。また、合成処理部５５は、従被写体部分の合成に際して、特定された所定の条件に対応した合成情報記憶部７２に記憶される配置情報に基づいて、従被写体部分を配置させる。

【0042】

これに対して、合成処理部５５は、合成方法が「並列合成」である場合には、メイン動画と参照動画のそれぞれから抽出されたフレーム画像を左右に並べて１つの画像として合成する処理を行って、並列合成画像を生成する。

【0043】

合成処理部５５は、比較すべき他のタイミングがない場合には、生成した切抜合成画像又は並列合成画像を合成画像記憶部７３に記録させる。

【0044】

図４は、図３の機能的構成を有する図１の撮像装置が実行する画像合成処理の流れを説明するフローチャートである。
画像合成処理は、ユーザによる入力部１７への画像合成処理開始の操作により開始される。

【0045】

ステップＳ１１において、動画選択部５１は、比較対象となる２つの動画データであるメイン動画と参照動画を選択する。

【0046】

ステップＳ１２において、動画選択部５１は、比較すべき特定動作のタイミングを指定（ゴルフスイングであれば、アドレス、トップ、インパクト、・・・を指定）する。

【0047】

ステップＳ１３において、フレーム特定部５２は、各々の動画データを構成する各フレームの画像を解析し、指定された特定動作のタイミングに対応するフレームを各々特定する。

【0048】

ステップＳ１４において、フレーム抽出部５３は、特定されたフレームの画像を各々の動画内より抽出する。

【0049】

ステップＳ１５において、合成方法特定部５４は、予め特定動作の種類およびタイミング毎に決められた合成方法を特定する。

【0050】

ステップＳ１６において、合成方法特定部５４は、合成方法特定部５４による特定結果に応じて、合成方法として切り抜き合成とするか否かを判定する。
切り抜き合成とする場合には、ステップＳ１６においてＹＥＳと判定されて、処理はステップＳ１８に進む。
切り抜き合成としない場合には、ステップＳ１６においてＮＯと判定されて、処理はステップＳ１７に進む。

【0051】

ステップＳ１７において、合成処理部５５は、合成方法特定部５４による特定結果に応じて、抽出された２つの画像を左右に並べて合成する。その結果、並列合成画像を生成する。その後、処理はステップＳ２２に進む。ステップＳ２２以降の処理については後述する。

【0052】

ステップＳ１８において、合成処理部５５は、合成方法特定部５４による特定結果に応じて、所定の条件（特定動作の種類およびタイミング、被写体の同一性など）に応じて、ずらし量およびずらし方向を特定する。

【0053】

ステップＳ１９において、合成処理部５５は、参照動画から抽出された画像内より、特定動作を行っている被写体部分の輪郭に沿って部分画像を切り抜く。

【0054】

ステップＳ２０において、合成処理部５５は、切り抜かれた部分画像を、被写体部分の大きさがメイン動画内の被写体と同じになるように拡大または縮小する。

【0055】

ステップＳ２１において、合成処理部５５は、メイン動画から抽出された画像に対して、部分画像を半透過の状態で、特定されたずらし方向およびずらし量に対応する位置に合成する。

【0056】

ステップＳ２２において、合成処理部５５は、比較すべき他のタイミングがあるか否かを判定する。
比較すべき他のタイミングがある場合には、ステップＳ２２においてＹＥＳと判定されて、処理はステップＳ１２に戻る。
比較すべき他のタイミングがない場合には、ステップＳ２２においてＮＯと判定されて、処理はステップＳ２３に進む。
その後、画像合成処理は終了する。

【0057】

したがって、撮像装置１においては、複数の動画に別々に記録されている被写体の特定動作を、より比較しやすくする静止画を取得することができる。また、お手本と被写体のサイズが異なる場合でも自動で解像度を調整するため、カメラと被写体の距離を考慮せずに撮影を行うことができる。お手本と被写体の位置を自動で合わせるため、カメラの位置を考慮せずに撮影を行うことができる。

【0058】

＜第２の実施形態＞
第１の実施形態では、特定動作における所定のタイミングを比較する静止画を生成するように構成したが、本実施形態では、特定動作を比較する動画を生成するように構成する。二画面でストリームを再生したときには、確認したいポイント（クラブのフェース面や肘の角度など）が離れているため微細な違いを比べるのが難しく、撮影時のカメラの位置により被写体の大きさがまちまちになり、二画面で再生する時にスイング比較をすることが難しいという問題があり、特定動作を比較する動画においては、１つの動画で比較を行うように構成する。

【0059】

図５は、第２の実施形態における画像合成処理の流れを説明するフローチャートである。（第１の実施形態のフローチャート（図４）とは、具体的には、ステップＳ１２の特定動作において比較すべき１つのタイミングをユーザが選択して指定する行程がなく、特定動作における全てのタイミングを比較対象とする点、ステップＳ２２が特定動作の区間内の全てのフレーム画像の中で未合成の他のフレーム画像の有無を判定する行程となり、ステップＳ２３で、合成した各フレーム画像を動画化して合成画像（動画）を生成する点で異なる。）
画像合成処理は、ユーザによる入力部１７への画像合成処理開始の操作により開始される。

【0060】

ステップＳ４１において、動画選択部５１は、第１の実施形態と同様に、比較対象となる２つの動画データであるメイン動画と参照動画を選択する。

【0061】

ステップＳ４２において、フレーム特定部５２は、各々の動画データを構成する各フレーム画像を解析し、特定動作の各タイミングに対応するフレームを各々特定する。

【0062】

ステップＳ４３において、フレーム抽出部５３は、メイン動画において特定された各フレームについて、特定動作のタイミングが同じ参照動画のフレームを抽出する（このとき、メイン動画と参照動画のフレーム数が異なる場合には、参照動画のフレームを間引いたり、複製を行ったりしてフレーム数を調整する）。

【0063】

ステップＳ４４において、合成方法特定部５４は、第１の実施形態と同様に、予め特定動作の種類およびタイミング毎に決められた合成方法を特定する。

【0064】

ステップＳ４５において、フレーム特定部５２は、メイン動画において特定された複数フレームの中から、まだ合成処理が済んでいない次の（または先頭の）フレームを合成すべきフレーム画像として選択する。

【0065】

ステップＳ４６において、合成方法特定部５４は、第１の実施形態と同様に、合成方法特定部５４による特定結果に応じて、合成方法として切り抜き合成とするか否かを判定する。
切り抜き合成とする場合には、ステップＳ４６においてＹＥＳと判定されて、処理はステップＳ４８に進む。
切り抜き合成としない場合には、ステップＳ４６においてＮＯと判定されて、処理はステップＳ４７に進む。

【0066】

ステップＳ４７において、合成処理部５５は、合成方法特定部５４による特定結果に応じて、抽出された２つの画像を左右に並べて合成する。その結果、動画を構成するフレーム画像である並列合成画像を生成する。その後、処理はステップＳ５３に進む。ステップＳ５３の処理については後述する。

【0067】

ステップＳ４８において、合成処理部５５は、選択されたメイン動画のフレーム画像に対応して抽出された参照動画のフレーム画像内より、被写体のみを切り抜いた画像を抽出する。

【0068】

ステップＳ４９において、合成処理部５５は、第１の実施形態と同様に、合成方法特定部５４による特定結果に応じて、所定の条件（特定動作の種類およびタイミング、被写体の同一性など）に応じて、ずらし量およびずらし方向を特定する。

【0069】

ステップＳ５０において、合成処理部５５は、第１の実施形態と同様に、被写体のみを切り抜いた画像を、被写体部分の大きさがメイン動画内の被写体と同じになるように拡大または縮小する。

【0070】

ステップＳ５１において、合成処理部５５は、メイン動画から抽出された画像に対して、被写体のみを切り抜いた画像を半透過の状態にし、選択されたメイン動画のフレーム画像の指定された位置（特定されたずらし量およびずらし方向の位置）に合成する。なお、画像の合成に関しては、被写体を含むフレーム画像と切り抜いた連続した画像を特定する７つの解析点を合わせ、被写体と切り抜いた画像の比較する被写体の頭の上下位置を合わせて合成する。位置合わせの際、抽出した画像のサイズ（解像度）を調整して合成する。即ち、片方の被写体を抽出し、片方の動画に画像合成することで一つの動画とし、画像合成の際には、タイミングを解析点に合わせ、サイズ、位置を調整する。

【0071】

ステップＳ５２において、合成処理部５５は、メイン動画において特定された複数フレームの中で合成処理が済んでいない未処理の他のフレーム画像があるか否かを判定する。
未処理の他のフレーム画像がある場合には、ステップＳ５２においてＹＥＳと判定されて、処理はステップＳ４５に戻る。
未処理の他のフレーム画像がない場合には、ステップＳ５２においてＮＯと判定されて、処理はステップＳ５３に進む。

【0072】

ステップＳ５３において、合成処理部５５は、合成処理が済んだ複数の連続した画像を合成し、再エンコード（動画化）する。
その後、画像合成処理は終了する。

【0073】

したがって、撮像装置１においては、複数の動画に別々に記録されている被写体の特定動作を、より比較しやすくする動画を取得することができる。また、一つの動画で二人分の特定動作（本実施形態においては、ゴルフのスイング）の再生ができるため、細かなポイントの違いが比較しやすい動画を取得することができる。切り抜いた連続した画像の被写体と比較する被写体のサイズが異なる場合でも自動で解像度を調整するため、撮像装置と被写体の距離を考慮せずに撮影を行うことができる。また、比較する被写体と被写体の位置を自動で合わせるため、撮像装置の位置を考慮せずに撮影を行うことができる。

【0074】

以上のように構成される撮像装置１は、フレーム特定部５２と、合成方法特定部５４と、合成処理部５５と、を備える。
フレーム特定部５２は、被写体の特定動作における所定のタイミングを撮影した複数の画像を選択する。
合成方法特定部５４は、被写体の種類、特定動作の種類、特定動作のタイミングのうちの少なくとも１つの条件に応じて画像の合成条件を決定する。
合成処理部５５は、フレーム特定部５２により選択された複数の画像を、合成方法特定部５４により決定された合成条件で合成する。
これにより、撮像装置１においては、複数の画像に別々に記録されている被写体の特定動作を、より比較しやすくすることができる。

【0075】

フレーム特定部５２は、フレーム特定部５２により選択された各々の画像内より特定動作を行う被写体部分を検出する。
合成方法特定部５４は、フレーム特定部５２により検出された各々の画像内の特定動作を行う被写体部分の位置を基準とした所定の合成条件を決定する。
これにより、撮像装置１においては、複数の画像に別々に記録されている被写体の特定動作を、より比較しやすくすることができる。

【0076】

フレーム特定部５２は、特定動作を行う被写体を撮影した複数の動画に含まれる複数のフレームの中で、特定動作のタイミングが同じフレーム同士を複数の画像として選択する。
これにより、撮像装置１においては、特定動作のタイミングが同じフレームを比較する画像を生成することができる。

【0077】

フレーム特定部５２は、画像解析により動画に含まれる複数のフレームの中から特定動作における特定のタイミングの被写体が含まれるフレーム画像を検出する。
また、フレーム特定部５２は、複数の動画の各々に対して検出されたフレーム同士を複数の画像として選択する。
これにより、撮像装置１においては、自動的に画像の選択を行うことができる。

【0078】

また、合成処理部５５は、決定手段により決定された合成条件に従い、フレーム特定部５２により検出された各々の画像内の特定動作を行う被写体部分の位置または大きさを揃えて合成する。
これにより、撮像装置１においては、各々の動画に撮影された被写体の特定動作の速度やタイミングが異なる場合であっても、特定動作における同じタイミングの被写体の状態をより詳細に比較できるようにするために、被写体同士が比較しやすい画像を生成することができる。

【0079】

合成処理部５５は、各画像内の被写体部分の位置を近づけるように、少なくとも一方の被写体部分を切り抜くか、透過的に合成する。
これにより、撮像装置１においては、一方の画像の被写体に切り抜くか、透過的に他方の被写体部分が近づいた画像を合成するために、被写体同士が比較しやすい画像を生成することができる。

【0080】

合成処理部５５は、一方の動画の画像内の被写体部分を切り抜くとともに半透明化して他方の動画のフレームに合成する。
これにより、撮像装置１においては、より近似した位置に被写体部分を配置できるために、より被写体同士が比較しやすい画像を生成することができる。

【0081】

合成処理部５５は、各画像内の被写体部分の第１方向（例えば、上下方向）の位置を揃えて合成する。
これにより、撮像装置１においては、比較する基準を同じにできるために、より被写体同士が比較しやすい画像を生成することができる。

【0082】

合成処理部５５は、各画像内の被写体部分を第２方向（例えば、左右方向）に所定のずらし量で合成する。
これにより、撮像装置１においては、比較するポイントの邪魔にならない位置に配置することができるために、より被写体同士が比較しやすい画像を生成することができる。

【0083】

合成方法特定部５４は、各画像内の被写体部分を、被写体の種類、特定動作の種類、特定動作のタイミングのうちの少なくとも１つの条件に応じて予め決められたずらし量で合成する合成条件を決定する。
これにより、撮像装置１においては、被写体の種類または特定動作の種類に適した位置に被写体を配置することができ、より被写体同士が比較しやすい画像を生成することができる。

【0084】

合成処理部５５は、特定動作内の選択されたタイミングに対応する画像同士を合成して１枚の静止画を生成する。
これにより、撮像装置１においては、被写体を比較可能な静止画を生成することができる。

【0085】

合成処理部５５は、特定動作内の各々のタイミングに対応する画像同士を合成して１つの動画を生成する。
これにより、撮像装置１においては、被写体を比較可能な動画を生成することができる。

【0086】

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

【0087】

上述の実施形態では、ゴルフのスイングを特定動作としたが、例えば、テニスのスイング、野球のバッタースイング等の所定の特定動作を対象とすることができる。この際、切抜画像における従被写体の配置は、例えば、テニスのスイングの場合には、上下方向に大きなずらし量とすることで、比較しやすい画像とすることができる。
また、被写体や被写体の服装が同じ場合には、ずらし量を小さくし、異なっている場合には、ずらし量を大きくすることで比較しやすい画像とすることができる。

【0088】

また、上述の実施形態では、複数の動画のうち、比較を行う各々の動画に含まれる複数のフレームの中で、特定動作のタイミングが同じフレーム同士を自動的に特定するように構成したが、ユーザが任意に選択するように構成してもよい。
また、上述の実施形態では、特定動作を行う被写体を撮影した複数の動画に含まれる複数のフレームの中で、特定動作のタイミングが同じフレーム同士を合成対象（比較対象）として選択したが、特定動作のタイミングが同じ画像であれば、静止画として記録された画像の中から合成対象（比較対象）を選択するようにしてもよい。
また、上述の実施形態では、特定動作の種類や特定動作のタイミングに応じて合成方法や合成条件を特定したが、特定動作を行う被写体の種類に応じて合成方法や合成条件を特定するようにしてもよい。

【0089】

また、上述の実施形態では、各フレーム内の被写体部分の位置を近づけるように、少なくとも一方の被写体部分を切り抜いて合成したが、例えば、被写体部分とそれ以外の部分の透過の程度を変えて、画像を合成してもよい。

【0090】

また、上述の実施形態では、比較する画像として、１つの静止画を合成して生成する用に構成したが、１つの動画を生成するように構成してもよい。また、動画における全ての特定動作に対して比較を行うように構成してもよいし、一部の特定動作についてのみ比較を行うように構成してもよい。

【0091】

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像合成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

【0092】

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

【0093】

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

【0094】

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

【0095】

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

【0096】

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0097】

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体の特定動作における所定のタイミングを撮影した複数の画像を選択する選択手段と、
前記被写体の種類、前記特定動作の種類、前記特定動作のタイミングのうちの少なくとも１つの条件に応じて画像の合成条件を決定する決定手段と、
前記選択手段により選択された複数の画像を、前記決定手段により決定された合成条件で合成する合成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記選択手段により選択された各々の画像内より前記特定動作を行う被写体部分を検出する第１の検出手段を備え、
前記決定手段は、前記第１の検出手段により検出された各々の画像内の前記特定動作を行う被写体部分の位置を基準とした所定の合成条件を決定する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記選択手段は、前記特定動作を行う被写体を撮影した複数の動画に含まれる複数のフレームの中で、特定動作のタイミングが同じフレーム同士を前記複数の画像として選択する、
ことを特徴とする付記１または２に記載の画像処理装置。
［付記４］
画像解析により動画に含まれる複数のフレームの中から前記特定動作における特定のタイミングの被写体が含まれるフレーム画像を検出する第２の検出手段を備え、
前記選択手段は、前記複数の動画の各々に対して前記第２の検出手段により検出されたフレーム同士を前記複数の画像として選択する、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記合成手段は、前記決定手段により決定された合成条件に従い、前記第１の検出手段により検出された各々の画像内の前記特定動作を行う被写体部分の位置または大きさを揃えて合成する、
ことを特徴とする付記２に記載の画像処理装置。
［付記６］
前記合成手段は、各画像内の被写体部分の位置を近づけるように、少なくとも一方の被写体部分を切り抜くか、あるいは透過的に合成する、
ことを特徴とする付記４または５に記載の画像処理装置。
［付記７］
前記合成手段は、一方の画像内の被写体部分を切り抜くとともに半透明化して他方の画像に合成する、
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記合成手段は、各画像内の被写体部分の第１方向の位置を揃えて合成する、
ことを特徴とする付記３乃至７のいずれか１つに記載の画像処理装置。
［付記９］
前記合成手段は、各画像内の被写体部分を第２方向に所定のずらし量で合成する、
ことを特徴とする付記８に記載の画像処理装置。
［付記１０］
前記決定手段は、各画像内の被写体部分を、被写体の種類、特定動作の種類、前記特定動作のタイミングのうちの少なくとも１つの条件に応じて予め決められたずらし量で合成する合成条件を決定する、
ことを特徴とする付記９に記載の画像処理装置。
［付記１１］
前記合成手段は、特定動作内の選択されたタイミングに対応する画像同士を合成して１枚の静止画を生成する、
ことを特徴とする付記１乃至１０のいずれか１つに記載の画像処理装置。
［付記１２］
前記合成手段は、特定動作内の各々のタイミングに対応する画像同士を合成して１つの動画を生成する、
ことを特徴とする付記１乃至１０のいずれか１つに記載の画像処理装置。
［付記１３］
被写体の特定動作における所定のタイミングを撮影した複数の画像を選択する選択ステップと、
前記被写体の種類、前記特定動作の種類、前記特定動作のタイミングのうちの少なくとも１つの条件に応じて画像の合成条件を決定する決定ステップと、
前記選択ステップにより選択された複数の画像を、前記決定ステップにより決定された合成条件で合成する合成ステップと、
を含むことを特徴とする画像処理方法。
［付記１４］
コンピュータに、
被写体の特定動作における所定のタイミングを撮影した複数の画像を選択する選択機能と、
前記被写体の種類、前記特定動作の種類、前記特定動作のタイミングのうちの少なくとも１つの条件に応じて画像の合成条件を決定する決定機能と、
前記選択機能により選択された複数の画像を、前記決定機能により決定された合成条件で合成する合成機能と、
を実現させることを特徴とするプログラム。

【符号の説明】

【0098】

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・動画選択部，５２・・・フレーム特定部，５３・・・フレーム抽出部，５４・・・合成方法特定部，５５・・・合成処理部，７１・・・動画記憶部，７２・・・合成情報記憶部，７３・・・合成画像記憶部

【図1】

【図2】

【図3】

【図4】

【図5】