特許 6115656 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6115656

(24)【登録日】2017年3月31日

(45)【発行日】2017年4月19日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170410BHJP

   G06T 5/50 20060101ALI20170410BHJP

   A63B 69/36 20060101ALI20170410BHJP

   A63B 69/00 20060101ALI20170410BHJP

【ＦＩ】

   H04N5/232 Z

   G06T5/50

   A63B69/36 541W

   A63B69/00 C

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2016-8458(P2016-8458)

(22)【出願日】2016年1月20日

(62)【分割の表示】特願2012-64529(P2012-64529)の分割

【原出願日】2012年3月21日

(65)【公開番号】特開2016-123107(P2016-123107A)

(43)【公開日】2016年7月7日

【審査請求日】2016年2月18日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(72)【発明者】

【氏名】河村 義裕

(72)【発明者】

【氏名】中込 浩一

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１１−１０９５５７（ＪＰ，Ａ）

【文献】 特開平０４−１３０８８２（ＪＰ，Ａ）

【文献】 特開２００２−０２７３９８（ＪＰ，Ａ）

【文献】 特開２００８−１０４５０９（ＪＰ，Ａ）

【文献】 特開２００６−２０３４４３（ＪＰ，Ａ）

【文献】 特開２００３−１１７０４５（ＪＰ，Ａ）

【文献】 特開２００５−２７０５００（ＪＰ，Ａ）

【文献】 特開２００４−１８６９９４（ＪＰ，Ａ）

【文献】 特開２０１０−１２４８８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２８

Ｈ０４Ｎ ５／７６５

Ｈ０４Ｎ ５／９１ − ５／９５６

Ａ６３Ｂ ６９／００

Ａ６３Ｂ ６９／３６

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段と、
前記被写体の一連の動作を構成する複数の部分動作から第１の部分動作を特定する特定手段と、
前記画像取得手段により取得された前記複数の画像の中から、前記特定手段により特定された前記第１の部分動作に対応する画像を複数選択する画像選択手段と、
前記画像選択手段により選択された前記第１の部分動作に対応する画像を１つの画像に合成させて合成画像を生成する合成画像生成手段と、を備え、
さらに、前記特定手段は、前記合成画像生成手段により合成画像が生成された後、前記被写体の一連の動作から第２の部分動作を特定し、
前記画像選択手段は、前記第２の部分動作に対応する画像を前記複数の画像から選択し、
前記合成画像生成手段は、前記画像選択手段により選択された前記第２の部分動作に対応する画像を１つの画像に合成する、
ことを特徴とする画像処理装置。

【請求項2】

前記画像取得手段により取得された前記複数の画像のデータの中から、前記被写体の一連の動作を構成する複数の部分動作を検出する検出手段を更に備え、
前記特定手段は、前記検出手段により検出された前記複数の部分動作から、前記第１の部分動作又は前記第２の部分動作を特定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像選択手段は、前記第一の部分動作に対応する画像として、前記第一の部分動作時の単一の画像のデータに加えて、当該第一の部分動作から前又は後の時点のいずれかの動作に対応する画像のデータを選択する処理、又は前記第二の部分動作に対応する画像として、前記第二の部分動作時の単一の画像のデータに加えて、当該第二の部分動作から前又は後の時点のいずれかの動作に対応する画像のデータを選択する処理を行う、
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記画像取得手段は、前記被写体の動作として、ゴルフのスイングが撮影された画像のデータを取得する、
ことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。

【請求項5】

前記特定手段は、前記被写体の動作がゴルフのスイングの場合、前記被写体の一連の動作を構成する複数の部分動作として、アドレス、バックスイング、トップ、ダウンスイング、インパクト、フォロースイング、フィニッシュの中の少なくとも一つの動作を部分動作として特定する、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。

【請求項6】

前記画像取得手段は、前記複数の画像のデータを動画像のデータで取得する、
ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。

【請求項7】

入力部を備える画像処理装置が実行する画像処理方法であって、
被写体の一連の動作を示す複数の画像のデータを取得する画像取得ステップと、
前記被写体の一連の動作を構成する複数の部分動作から第１の部分動作を特定する特定ステップと、
前記画像取得ステップにより取得された前記複数の画像の中から、前記特定ステップにより特定された前記第１の部分動作に対応する画像を複数選択する画像選択ステップと、
前記画像選択ステップにより選択された前記第１の部分動作に対応する画像を１つの画像に合成させて合成画像を生成する合成画像生成ステップと、を備え、
さらに、前記特定ステップは、前記合成画像生成ステップにより合成画像が生成された後、前記被写体の一連の動作から第２の部分動作を特定し、
前記画像選択ステップは、前記第２の部分動作に対応する画像を前記複数の画像から選択し、
前記合成画像生成ステップは、前記画像選択ステップにより選択された前記第２の部分動作に対応する画像を１つの画像に合成する、
ことを特徴とする画像処理方法。

【請求項8】

コンピュータを、
被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段、
前記被写体の一連の動作を構成する複数の部分動作から第１の部分動作を特定する特定手段、
前記画像取得手段により取得された前記複数の画像の中から、前記特定手段により特定された前記第１の部分動作に対応する画像を複数選択する画像選択手段、
前記画像選択手段により選択された前記第１の部分動作に対応する画像を１つの画像に合成させて合成画像を生成する合成画像生成手段、として機能させ、
さらに、前記特定手段は、前記合成画像生成手段により合成画像が生成された後、前記被写体の一連の動作から第２の部分動作を特定し、
前記画像選択手段は、前記第２の部分動作に対応する画像を前記複数の画像から選択し、
前記合成画像生成手段は、前記画像選択手段により選択された前記第２の部分動作に対応する画像を１つの画像に合成する、
ことを特徴とするプログラム。

【請求項9】

被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段と、
前記画像取得手段により取得された前記複数の画像のデータの中から、前記被写体の一連の動作を構成する複数の部分動作を検出する検出手段と、
前記検出手段により検出された前記複数の部分動作から、第１の部分動作を特定する特定手段と、
前記画像取得手段により取得された前記複数の画像の中から、前記特定手段により特定された前記第１の部分動作に対応する画像を複数選択する画像選択手段と、
前記画像選択手段により選択された前記第１の部分動作に対応する画像を１つの画像に合成させて合成画像を生成する合成画像生成手段と、
を備えることを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の動作を把握する画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来より、デジタルカメラ等の撮像装置で撮像された動画像に映った被写体の動作を事後的に確認することが行われている。例えば、ゴルフ等のスポーツにおいては、スイング動作を動画像として記録し、スイングの確認を行うことが行われている。

【0003】

このようなスイングのフォームの確認の技術として、特許文献１に記載の技術が知られている。特許文献１に記載の技術は、ゴルフヘッドの一連のスイング動作を１枚の静止画像に合成表示させる技術である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１１−９８４５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した特許文献１に記載の技術は、ゴルフヘッドの一連のスイング動作を１枚の静止画像に合成表示させることから、各スイングの動作（ダウンスイング、インパクト前後のスイング、フォロースイング等）の軌跡が重なり、どの部分がどのスイングの動作に対応するのかを把握することが困難になるという虞があった。

【0006】

本発明は、このような状況に鑑みてなされたものであり、被写体の動作を容易に把握することができることを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の一態様の画像処理装置は、
被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段と、
前記被写体の一連の動作を構成する複数の部分動作から第１の部分動作を特定する特定手段と、
前記画像取得手段により取得された前記複数の画像の中から、前記特定手段により特定された前記第１の部分動作に対応する画像を複数選択する画像選択手段と、
前記画像選択手段により選択された前記第１の部分動作に対応する画像を１つの画像に合成させて合成画像を生成する合成画像生成手段と、を備え、
さらに、前記特定手段は、前記合成画像生成手段により合成画像が生成された後、前記被写体の一連の動作から第２の部分動作を特定し、
前記画像選択手段は、前記第２の部分動作に対応する画像を前記複数の画像から選択し、
前記合成画像生成手段は、前記画像選択手段により選択された前記第２の部分動作に対応する画像を１つの画像に合成する、
ことを特徴とする。

【発明の効果】

【0008】

本発明によれば、被写体の動作を容易に把握することができる。

【図面の簡単な説明】

【0009】

【図1】本発明における画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。

【図2】図１の撮像装置の機能的構成のうち、合成画像生成処理を実行するための機能的構成を示す機能ブロック図である。

【図3】合成画像生成処理により生成された全合成画像の一例を示す模式図である。

【図4】部分合成画像の表示の一例を示す模式図である。

【図5】撮像装置の表示部に表示される部分合成画像の選択画面の一例を示す図である。

【図6】図２の機能的構成を有する図３の撮像装置が実行する合成画像生成処理の流れを説明するフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を用いて説明する。

【0011】

図１は、本発明における画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。

【0012】

撮像装置１は、例えばデジタルカメラとして構成される。

【0013】

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

【0014】

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

【0015】

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

【0016】

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

【0017】

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

【0018】

光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。

【0019】

フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

【0020】

光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

【0021】

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。

【0022】

光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。

【0023】

ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。

【0024】

このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給される。

【0025】

入力部１８は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。

【0026】

出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

【0027】

記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。

【0028】

通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

【0029】

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

【0030】

図２は、図１の撮像装置の機能的構成のうち、合成画像生成処理を実行するための機能的構成を示す機能ブロック図である。

【0031】

合成画像生成処理とは、取得した動画像のデータに基づいて、当該動画像を解析して、当該動画像に映り込んだ被写体の動作を特定し、特定した動作に対応した静止画像（後述する全合成画像や後述する部分合成画像）を合成して表示等をする一連の処理である。
本実施形態において、撮像装置１は、ゴルフのスイングを行っている対象を被写体として撮像する例について説明する。
なお、本実施形態においては、撮像された被写体の動作を、一連の動作（以下、「全体動作」とも呼ぶ。）と、一連の動作を構成する部分的な動作（以下、「部分動作」と呼ぶ。）として特定する。
即ち、ゴルフのスイングを撮像して合成画像を生成する本実施形態においては、全体動作がスイングの一連の動作であり、部分動作がスイングを構成する各動作（例えば、アドレス，バックスイング，トップ，ダウンスイング，インパクト，フォロースイング，フィニッシュ）である。

【0032】

合成画像生成処理が実行される場合には、図２に示すように、ＣＰＵ１１において、撮像制御部５１と、出力制御部５２とが機能し、画像処理部１４において、画像取得部７１と、画像特定部７２と、画像選択部７３と、合成画像生成部７４とが機能する。

【0033】

ただし、図２は例示であり、ＣＰＵ１１の機能の少なくとも一部を画像処理部１４に委譲してもよいし、逆に、画像処理部１４の機能の少なくとも一部をＣＰＵ１１に委譲してもよい。

【0034】

この場合、記憶部２０の一領域として設けられた取得画像記憶部９１と、合成画像記憶部９２と、が用いられる。
取得画像記憶部９１においては、撮像部１７から出力され、画像取得部７１により取得された撮像画像のデータが記憶されている。
合成画像記憶部９２においては、合成画像生成部７４から出力された合成画像のデータが記憶されている。

【0035】

撮像制御部５１は、各種撮像条件を設定し、撮像部１７における撮像の動作を制御する。
本実施形態においては、被写体の動作を撮像するため、撮像制御部５１は、撮像部１７により動画像を撮像させる。

【0036】

出力制御部５２は、合成画像記憶部９２に記憶される合成画像（後述する全合成画像や後述する部分合成画像）を表示出力するように、出力部１９を制御する。

【0037】

画像取得部７１は、撮像部１７から出力された動画像のデータを、一連の動作を示す複数の画像のデータである複数の単一画像（静止画像）として取得可能なデータとして取得する。その後、画像取得部７１は、取得した動画像のデータを取得画像記憶部９１に記憶させる。

【0038】

画像特定部７２は、単一画像に写り込んだ被写体の動作を特定する画像の特定を行う。また、画像特定部７２は、特定した動作を単一画像に対応付ける。詳細には、画像特定部７２は、取得画像記憶部９１から動画像のデータを取得し、当該動画像を構成する単一画像内に写り込んだ被写体の動作を特定する。そして、画像特定部７２は、特定した被写体の動作を、対応する単一画像に対応付けて、取得画像記憶部９１に記憶させる。本実施形態においては、画像特定部７２は、全体動作となるスイングの動作と、スイングを構成する動作（例えば、（アドレス，バックスイング，トップ，ダウンスイング，インパクト，フォロースイング，フィニッシュ））を人の動作、クラブの動作（特に、クラブヘッドの動作）から特定する。

【0039】

被写体の動作に属する部分動作を特定する手法については、特に限定されないが、例えば、スイングの時間から判断して部分動作を推定して特定する手法を用いてもよく、基準となる画像との比較において、部分動作を特定する等の画像マッチング技術の手法を用いてもよい。また、画像からクラブやクラブヘッドを抽出して、抽出したクラブやクラブヘッドの位置関係から、スイングの部分動作を特定するような手法を用いてもよい。
このような被写体の動作に属する部分動作を特定する手法については、公知又は今後登場するであろう任意の手法、例えば特開２００８−２７８３８６号公報，特開２００９−５３７８６号公報，特許第４４１５１９８号等に開示されている手法等を採用することができる。

【0040】

画像選択部７３は、入力部１８からの画像の合成指示に基づいて、特定された単一画像を複数選択する。詳細には、画像選択部７３は、入力部１８からの、後述する全合成画像や後述する部分合成画像の合成指示に基づいて、取得画像記憶部９１に記憶される動画像を構成する、指定された動作に対応する単一画像のデータを選択する。

【0041】

合成画像生成部７４は、画像選択部７３により選択された単一画像を合成し、合成画像のデータを生成する。
合成画像生成部７４は、画像選択部７３により、スイングの一連の動作となる全体動作に対応する単一画像が選択された場合には、スイングを写した単一画像を全て１枚の静止画像として合成した画像（以下、「全合成画像」と呼ぶ。）のデータを生成する。
また、合成画像生成部７４は、画像選択部７３により、スイングの部分動作に対応する単一画像が選択された場合（例えば、ダウンスイング）には、ダウンスイングを写した単一画像を全て１枚の静止画像として合成した画像（以下、「部分合成画像」と呼ぶ。）のデータを生成する。なお、本実施形態において、部分合成画像は、部分動作に対応する単一画像と、部分動作と時間的に前後に位置する単一画像とが含めて合成される。即ち、ダウンスイングの部分動作で、部分合成画像のデータを生成する場合には、ダウンスイングの前後（トップとダウンスイングとの間の動作と、ダウンスイングからインパクトとの間の動作）の動作が写り込んだ単一画像を合成する。
また、合成画像生成部７４は、部分合成画像の生成に際し、動作の主体となる部分（例えば、クラブヘッドやボール）のみを合成することができる。即ち、合成画像生成部７４は、選択された動作を最もよく表す画像に動作の軌道がわかるように、当該動作を最もよく表す画像の前後に動きのある部分を合成することができる。
このように部分合成画像のデータを生成することで、煩雑でなく、被写体の動作を容易に把握可能な画像を提供することができる。
つまり、合成画像生成部７４は、入力部１８により、全合成画像の合成指示に基づいて、全合成画像のデータを生成し、所定の動作を指定することによる部分合成画像の合成指示に基づいて、部分合成画像のデータを生成する。

【0042】

次に、合成画像生成処理により生成された全合成画像の例について、図３を参照して説明する。
図３は、合成画像生成処理により生成された全合成画像の例を示す模式図である。
図３の例では、スイングをしている対象を背後から撮像した動画像のデータから全体画像のデータを生成している。
全合成画像は、スイングの一連の動作に対応する動作が全て写り込んだ画像により構成されるために、スイングを構成する部分動作が残像のように写り込んだ画像となる。即ち、全合成画像は、本実施形態においては、動作のある被写体（スイング対象者１００やクラブヘッド１０１、クラブシャフト１０２含むクラブ等）の全てが合成された画像となる。
ゴルフのスイングの場合、アドレスからフィニッシュまでの動作の間の、アドレスからバックスイングと、トップからダウンスイングを経てインパクトに至るまでの間のクラブの動作（軌道）がほぼ同一となる。
また、スイングをしている対象を背後から撮像した場合には、アドレスからインパクトまでと、インパクトからフィニッシュまでの動作も、ほぼ似たような軌道をたどることになる。
従って、全合成画像を見たユーザは、スイング全体動作のイメージはつかめるものの、部分的な動作がどれに対応するものなのかが把握することが困難になる。
そこで、本実施形態の撮像装置１は、部分合成画像として、部分的な動作のみをピックアップして表示可能な画像を生成する。

【0043】

次に、合成画像生成処理により生成された部分合成画像の例について、図４を参照して説明する。
図４は、合成画像生成処理により生成された部分合成画像の例を示す模式図である。
図４（ａ）〜（ｃ）は、スイング対象者１００の背面側からスイングの動作を撮像した場合のダウンスイング、インパクト及びフォロースイングに対応した部分合成画像の例を示す模式図である。
図４（ａ）〜（ｃ）の例は、スイングの動作が画像の奥行き方向に変化する図３の例に比べて、スイングの動作が、スイング対象者１００の平面方向のために変化が把握しやすいものとなっている。
また、図４（ａ）〜（ｃ）の例は、指定した動作の前後の動作を含めて合成しており、主にクラブヘッド１０１及びボール１０３のみの動作を含めて合成している。即ち、スイング対象者１００自体は、指定した動作（例えば、図３（ｂ）の場合にはインパクトの動作）のみが合成される。このように合成することにより、部分動作における流れの把握を可能にしながらも、指定した部分動作自体の確認も容易に行うことができる。
このように部分動作のみを合成することで、重複する軌道を描く動作の場合には、繁雑な画像とならない。

【0044】

また、図４（ｄ）〜（ｆ）は、スイング対象者１００の正面側からスイングの動作を撮像した場合のダウンスイング、インパクト及びフォロースイングに対応した部分合成画像の例を示す模式図である。
図４（ｄ）〜（ｆ）の例は、図４（ａ）〜（ｃ）に対応する部分動作を部分合成画像として合成している。

【0045】

なお、図４の例においては、主に、クラブヘッド１０１とボール１０３の動きに主眼が置かれており、クラブヘッド１０１とボール１０３以外の軌道は、極力表示させないように構成される。即ち、図４の例では、スイング対象者１００、クラブシャフト１０２等は所定の１の動作部分のみが極力表示されるように構成され、クラブヘッド１０１とボール１０３は、部分動作全てが表示されるように構成される。即ち、所定の動作が選択された場合には、所定の動作を構成する１の画像に写り込んだスイング対象者１００とクラブシャフト１０２等を採用し、クラブヘッド１０１やボール１０３等に関しては、所定の動作全てが写り込んだ画像を採用する。即ち、スイング対象者１００やクラブシャフト１０２や背景は動きがなく、クラブヘッド１０１やボール１０３に関しては複数合成され動きがある画像が生成される。
具体的な手法としては、種々の公知の手法が採用可能であるが、例えば、画像内において、スイング対象者１００、クラブ（クラブヘッド１０１、クラブシャフト１０２）、ボール１０３をオブジェクトとして抽出し、スイング対象者１００やクラブシャフト１０２等のみを１の画像から採用し、その他のクラブヘッド１０１やボール１０３等を所定の動作範囲の画像から採用することができる。
また、図４の例においては、均等の間隔で、単一画像を合成したがこれに限られず、動作の速さや指定した部分に対応して、合成する画像の間隔を変更してもよい。

【0046】

次に、全合成画像から部分合成画像への表示の切り替えの一例を、図５を参照しながら説明する。
図５は、撮像装置の表示部に表示される部分合成画像の選択画面の一例を示す図である。
本実施形態の撮像装置１においては、全合成画像の表示の後に、図５に示すような部分画像を選択可能なソフトウェアボタンＢ１〜Ｂ３が出現し、ソフトウェアボタンＢ１〜Ｂ３のいずれかを選択すると、選択されたソフトウェアボタンＢ１〜Ｂ３に対応する部分合成画像を生成し、表示することができるようになっている。
図５の例は、全合成画像の上にソフトウェアボタン（「ＦＳ」ボタン，「ＩＰ」ボタン，「ＤＳ」ボタン）が表示される。ユーザがいずれかのソフトウェアボタンをタッチ操作又は入力部１８を操作して選択することで、撮像装置１は、選択されたソフトウェアボタンに対応する部分合成画像を生成して、表示する。
なお、「ＦＳ」ボタンは、フォローの動作に対応する部分合成画像を生成し、表示する指示を行うソフトウェアボタンである。「ＩＰ」ボタンは、インパクトの動作に対応する部分合成画像を生成し、表示する指示を行うソフトウェアボタンである。「ＤＳ」ボタンは、ダウンスイングの動作に対応する部分合成画像を生成し、表示する指示を行うソフトウェアボタンである。
対象をタッチや選択することで、対応する動作の部分画像を生成してもよい。

【0047】

次に、図６のフローチャートを参照して、図２の機能的構成を有する図１の撮像装置１が実行する合成画像生成処理について説明する。なお、本例では、全合成画像のデータを生成し、表示した後に、フォロースイングの部分合成画像のデータを生成し、表示する例について説明する。
図６は、図２の機能構成を有する図１の撮像装置１が実行する合成画像生成処理の流れの一例を示すフローチャートである。

【0048】

ユーザの入力部１８に対する所定の操作により、合成画像生成処理の開始が指示されると、合成画像生成処理が開始されて、次のような処理が実行される。

【0049】

ステップＳ１において、画像取得部７１は、一連の動作を示す複数の画像のデータとして動画像のデータを取得する。詳細には、入力部１８からの撮像開始の入力を受けて、撮像制御部５１は、撮像部１７において撮像を開始する。そして、画像取得部７１は、撮像部１７によって撮像された動画像のデータを取得する。また、画像取得部７１は、取得した動画像のデータを撮像画像記憶部６２に格納する。

【0050】

ステップＳ２において、画像特定部７２は、動画像のデータを解析する。即ち、画像特定部７２は、動画像のデータを構成する単一画像のデータを解析する。単一画像のデータの解析は、単一画像内に写り込んだ被写体の動作を特定することにより行う。

【0051】

具体的には、画像特定部７２は、動画を構成する単一画像に写り込んだ被写体の動作が例えば、ダウンスイングに属していることを特定する。

【0052】

ステップＳ３において、画像特定部７２は、特定結果と単一画像との対応付けを行う。
詳細には、画像特定部７２は、ステップＳ２で特定された部分動作であることを示すデータと、単一画像のデータとを対応付けて、取得画像記憶部９１に記憶させる。

【0053】

ステップＳ４において、合成画像生成部７４は、全ての単一画像を合成し、全合成画像のデータを生成する。詳細には、画像選択部７３により全ての単一画像が選択され、合成画像生成部７４は、選択された単一画像の全てを１つの静止画像として合成し、全合成画像のデータを生成する。

【0054】

ステップＳ５において、出力部１９は、全合成画像を表示する。詳細には、出力部１９は、出力制御部５２により全合成画像を表示出力するように制御される。その結果、出力部１９においては、図３に示すような動画を構成する全ての単一画像を合成した全合成画像が表示される。

【0055】

ステップＳ６において、画像選択部７３は、指定された部分動作に対応する単一画像のデータを選択する。詳細には、画像選択部７３は、ユーザにより入力部１８が操作されることにより、図５に示すように部分動作が指定された場合には、取得画像記憶部９１に記憶された指定された部分動作に対応する単一画像のデータを、記憶される取得画像記憶部９１から選択する。
この際、図５に示す例では、「ＦＳ」のソフトウェアボタンＢ１がタッチ操作されて、「ＦＳ」のソフトウェアボタンＢ１に対応するフォロースイングに対応する単一画像が選択される。

【0056】

ステップＳ７において、合成画像生成部７４は、選択された単一画像を合成し、部分合成画像のデータを生成する。詳細には、画像選択部７３により全ての単一画像が選択され、合成画像生成部７４は、選択された単一画像の全てを１つの静止画像として合成し、全合成画像のデータを生成する。
合成画像生成部７４は、選択されたフォロースイングに対応する単一画像を取得画像記憶部９１から取得して、フォロースイングに対応する単一画像の全てを合成して、フォロースイングの部分動作に対応する部分合成画像のデータを生成する。
この際、指定されたフォロースイングに対応する単一画像の全てを取得したが、さらに、フォロースイングの前後の部分動作に対応する単一画像を取得する。

【0057】

ステップＳ８において、出力部１９は、部分合成画像を表示する。詳細には、出力部１９は、出力制御部５２により部分合成画像を表示出力するように制御される。その結果、出力部１９においては、図４（ｃ）に示すような、フォロースイングの動作に対応する単一画像を合成した部分合成画像が表示される。
また、ステップＳ６において、部分動作の指定を変更することにより、例えば、「ＩＰ」のソフトウェアボタンＢ２がタッチ操作されることにより、結果として、図４（ｂ）に示すようなインパクトの動作に対応する部分合成画像が表示される。
撮像方向を被写体の正面側から行うことで、例えば、図４（ｄ）のようなダウンスイングに対応する動作の部分合成画像、図４（ｅ）のようなインパクトに対応する動作の部分合成画像、図４（ｆ）のようなフォロースイングに対応する動作の部分合成画像等を生成し、表示可能となる。
このようにして、ステップＳ８の処理で部分合成画像の表示が行われると、合成画像生成処理は終了する。

【0058】

以上のような合成画像生成処理を実行する撮像装置１は、画像取得部７１と、画像特定部７２と、画像選択部７３と、合成画像生成部７４と、を備える。
画像取得部７１は、被写体の動作を示す複数の画像のデータを取得する。
画像特定部７２は、画像取得部７１により取得された複数の画像から、被写体の動作を構成する部分動作を特定する。
画像選択部７３は、画像特定部７２による特定結果に基づいて、複数の画像のデータの中から、所定の部分動作に対応する画像のデータを選択する。
合成画像生成部７４は、画像選択部７３選択された複数の画像のデータから１つの合成画像を生成する。
このため撮像装置１においては、画像特定部７２による特定結果に基づいて選択された複数の画像のデータの中から、所定の部分動作に対応する画像のデータから１つの合成画像を生成する。
従って、撮像装置１においては、被写体の動作における特定部分動作を容易に把握する画像を生成することができる。また、生成された画像は、特定部分動作のみが含まれたものになるため、煩雑な画像とならない。

【0059】

また、画像選択部７３は、所定の部分動作に対応する画像のデータに加えて、当該所定の部分動作の、少なくとも前又は後のいずれかの動作に対応する画像のデータを選択する。
このため撮像装置１においては、単に所定の部分動作に対応する部分の前又は後の動作も含んで画像を合成するために、所定の部分動作に至るまでの軌跡や所定の部分のどう以降の軌跡も含めた画像となるために、部分動作の軌跡を容易に把握することができる。

【0060】

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

【0061】

上述の実施形態では、撮像装置１により撮像した被写体の動作を含んだ複数の画像を動画像のデータとして、画像取得部７１により取得したが、これに限られない。取得される画像のデータは、例えば、一連の動作を含んだ複数の画像であればよく、動画像に限らず、静止画像でもよく、また、撮像部によって撮像された画像でなく外部から取得した画像でもよい。

【0062】

また、上述の実施形態では、合成画像（全合成画像及び部分合成画像）は、動作の速度に関係なく合成していたがこれに限られない。例えば、合成画像は、動作の遅い部分については、画像を間引いて合成したり、動作の速い部分については捉えられた画像と画像との間を補間したりするように構成してもよい。このように構成することにより、部分動作の軌道が把握しやすい画像を提供することができる。

【0063】

また、上述の実施形態では、一連の動作として、ゴルフのスイングを例に説明したがこれに限られない。例えば、一連の動作として、特に往復運動を含んだ動作が好ましく、野球、テニス、野球等の球技のスポーツや、剣道や柔道等の武術の動作にも限られず、また、一連の規則的に定められた動作にも限られない。一連の動きの一部分動作を抽出することで、合成した画像において一部分動作が容易に把握しやすくなったり、画像自体が煩雑にならなかったりするものであればよい。

【0064】

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、合成画像生成機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

【0065】

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

【0066】

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

【0067】

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

【0068】

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

【0069】

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0070】

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段と、
前記画像取得手段により取得された前記複数の画像から、前記被写体の一連の動作を構成する部分動作を特定する画像特定手段と、
前記画像特定手段による特定結果に基づいて、前記複数の画像のデータの中から、所定の部分動作に対応する画像のデータを複数選択する画像選択手段と、
前記画像選択手段により選択された複数の画像のデータから１つの合成画像を生成する合成画像生成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記画像選択手段は、前記所定の部分動作に対応する画像のデータに加えて、当該所定の部分動作の少なくとも前又は後のいずれかの動作に対応する画像のデータを選択する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記画像取得手段は、前記被写体の動作として、ゴルフのスイングが写り込んだ画像のデータを取得すること、
を特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記画像取得手段は、前記複数の画像のデータを動画像のデータで取得すること、
を特徴とする付記１乃至３のいずれか１つに記載の画像処理装置。
［付記５］
画像処理装置が実行する画像処理方法であって、
被写体の一連の動作を示す複数の画像のデータを取得する画像取得ステップと、
前記画像取得ステップにより取得された前記複数の画像から、前記被写体の一連の動作を構成する部分動作を特定する画像特定ステップと、
前記画像特定ステップによる特定結果に基づいて、前記複数の画像のデータの中から、所定の部分動作に対応する画像のデータを複数選択する画像選択ステップと、
前記画像選択ステップにより選択された複数の画像のデータから１つの合成画像を生成する合成画像生成ステップと、
を含むことを特徴とする画像処理方法。
［付記６］
コンピュータを、
被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段、
前記画像取得手段により取得された前記複数の画像から、前記被写体の一連の動作を構成する部分動作を特定する画像特定手段、
前記画像特定手段による特定結果に基づいて、前記複数の画像のデータの中から、所定の部分動作に対応する画像のデータを複数選択する画像選択手段、
前記画像選択手段により選択された複数の画像のデータから１つの合成画像を生成する合成画像生成手段、
として機能させることを特徴とするプログラム。

【符号の説明】

【0071】

１・・・画像処理装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・バス，１６・・・入出力インターフェース，１７・・・撮像部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・出力制御部，７１・・・画像取得部，７２・・・画像特定部，７３・・・画像選択部７３・・・合成画像生成部，９１・・・取得画像記憶部，９２・・・合成画像記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】