特許 6236856 画像処理装置および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6236856

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】画像処理装置および画像処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171120BHJP

【ＦＩ】

   H04N5/232 290

【請求項の数】14

【全頁数】25

(21)【出願番号】特願2013-95634(P2013-95634)

(22)【出願日】2013年4月30日

(65)【公開番号】特開2014-217009(P2014-217009A)

(43)【公開日】2014年11月17日

【審査請求日】2016年4月26日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100078189

【弁理士】

【氏名又は名称】渡辺 隆男

(72)【発明者】

【氏名】新田 啓一

(72)【発明者】

【氏名】斎藤 郁哉

(72)【発明者】

【氏名】坂本 浩一

(72)【発明者】

【氏名】杉原 麻理

(72)【発明者】

【氏名】森川 貴世

(72)【発明者】

【氏名】大宮 龍一

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１１−０６６７１７（ＪＰ，Ａ）

【文献】 特開２０１０−２３９４４７（ＪＰ，Ａ）

【文献】 特開２０１０−２３９４５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

Ｈ０４Ｎ ５／７６ − ５／９５６

(57)【特許請求の範囲】

【請求項1】

撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、
前記複数の画像に基づいて、前記第１変化領域の変化に同期して変化する第２変化領域を特定する特定部と、
前記指示部で指示された前記第１変化領域と前記特定部によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得部と、
前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、
を備える画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記指示部において前記第１変化領域の指示に用いられる画像と、前記画像合成部が合成に用いる前記基準画像の生成に用いられる画像とは同一である画像処理装置。

【請求項3】

請求項１に記載の画像処理装置において、
前記指示部が時間と共に変化させる前記第１変化領域を指示する前に、前記複数の画像に基づいて変化する領域を抽出し、前記抽出した領域を提示する候補提示部と、
操作信号を発する操作部材と、をさらに備え、
前記指示部は、前記操作部材からの操作信号に応じて、前記候補提示部で提示された領域を前記第１変化領域として指示する画像処理装置。

【請求項4】

撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、
前記複数の画像に基づいて、前記第１変化領域の変化に伴って変化する第２変化領域を特定する特定部と、
前記指示部で指示された前記第１変化領域と前記特定部によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得部と、
前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、
を備える画像処理装置。

【請求項5】

請求項４に記載の画像処理装置において、
前記画像合成部はさらに、前記第１変化領域についての画像と、前記第２変化領域についての画像との間で少なくとも一部の時間をずらして合成する画像処理装置。

【請求項6】

請求項４または５に記載の画像処理装置において、
前記特定部は、前記複数の画像のうちの一つの画像で前記第１変化領域と接する領域を前記第２変化領域とする画像処理装置。

【請求項7】

撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、
前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、
前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、を備え、
前記位置情報取得部はさらに、前記第１変化領域の位置情報を前記基準画像の生成に用いられる画像を基準とする位置情報に変換し、
前記画像取得部は、前記変換後の位置情報と前記複数の画像とに基づいて前記第１変化領域に対応する画像を取得し、
前記画像合成部は、前記変換後の位置情報をもとに、前記基準画像に対し、前記画像取得部で取得された前記画像を合成する画像処理装置。

【請求項8】

撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、
前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、
前記複数の画像の各々において、前記指示部で指示された前記第１変化領域の大きさ情報を取得する大きさ情報取得部と、
前記大きさ情報取得部で取得された前記第１変化領域の大きさ情報により決定された、前記複数の画像のうちの一つの画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、
を備える画像処理装置。

【請求項9】

請求項８に記載の画像処理装置において、
前記画像合成部は、前記大きさ情報取得部で取得された前記第１変化領域の大きさが最小の画像を、前記一つの画像として、前記第１変化領域に対する画像を合成する画像処理装置。

【請求項10】

撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、
前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、
前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、
前記基準画像の前記第１変化領域以外の背景領域を基準として前記複数の画像の位置を合わせ、前記第１変化領域の移動範囲を包含する領域を、前記複数の画像における第１変化領域として設定する設定部とを備え、
前記画像合成部は、前記設定部で設定された前記複数の画像における第１変化領域に対応する画像を、前記画像取得部で取得された前記第１変化領域についての画像として合成する画像処理装置。

【請求項11】

請求項１０に記載の画像処理装置において、
前記設定部で設定された前記複数の画像における第１変化領域の大きさは、前記複数の画像で同一である、
画像処理装置。

【請求項12】

請求項１０に記載の画像処理装置において、
前記設定部で設定された前記複数の画像における第１変化領域の位置は、前記基準画像の背景領域を基準として同一である、
画像処理装置。

【請求項13】

請求項１２に記載の画像処理装置において、
抽出された領域どうしで、差分演算を行い、差分値が所定値以上の対象物以外の領域を、領域から除外する、
画像処理装置。

【請求項14】

撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示処理と、
前記複数の画像に基づいて、前記第１変化領域の変化に同期して変化する第２変化領域を特定する特定処理と、
前記指示処理で指示された前記第１変化領域と前記特定処理によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得処理と、
前記位置情報取得処理で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得処理と、
前記複数の画像のうちの基準画像に対し、前記画像取得処理で取得された画像を合成する画像合成処理と、
をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理プログラムに関する。

【背景技術】

【0002】

静止画像中の一部を動的に表現する技術が知られている（特許文献１参照）。同技術は、ノイズが時間的に変化しない、あるいは本来動くべきものが動かない静止画という時間の止まった世界の中で、一部領域だけ時間が進行しているという異質な世界を表現したものであり、注目を集めている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２１２７８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術では、静止画像中の一部を動的に表現する場合において、静止画のどの領域を動的に表現させるかを適切に選択することができなかった。

【課題を解決するための手段】

【0005】

本発明の第１の態様による画像処理装置は、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、前記複数の画像に基づいて、前記第１変化領域の変化に同期して変化する第２変化領域を特定する特定部と、前記指示部で指示された前記第１変化領域と前記特定部によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得部と、前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、を備える。
本発明の第２の態様による画像処理装置は、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、前記複数の画像に基づいて、前記第１変化領域の変化に伴って変化する第２変化領域を特定する特定部と、前記指示部で指示された前記第１変化領域と前記特定部によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得部と、前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、を備える。
本発明の第３の態様による画像処理装置は、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、を備え、前記位置情報取得部はさらに、前記第１変化領域の位置情報を前記基準画像の生成に用いられる画像を基準とする位置情報に変換し、前記画像取得部は、前記変換後の位置情報と前記複数の画像とに基づいて前記第１変化領域に対応する画像を取得し、前記画像合成部は、前記変換後の位置情報をもとに、前記基準画像に対し、前記画像取得部で取得された前記画像を合成する。
本発明の第４の態様による画像処理装置は、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、前記複数の画像の各々において、前記指示部で指示された前記第１変化領域の大きさ情報を取得する大きさ情報取得部と、前記大きさ情報取得部で取得された前記第１変化領域の大きさ情報により決定された、前記複数の画像のうちの一つの画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、を備える。
本発明の第５の態様による画像処理装置は、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、前記基準画像の前記第１変化領域以外の背景領域を基準として前記複数の画像の位置を合わせ、前記第１変化領域の移動範囲を包含する領域を、前記複数の画像における第１変化領域として設定する設定部とを備え、前記画像合成部は、前記設定部で設定された前記複数の画像における第１変化領域に対応する画像を、前記画像取得部で取得された前記第１変化領域についての画像として合成する。
本発明の第６の態様による画像処理プログラムは、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示処理と、前記複数の画像に基づいて、前記第１変化領域の変化に同期して変化する第２変化領域を特定する特定処理と、前記指示処理で指示された前記第１変化領域と前記特定処理によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得処理と、前記位置情報取得処理で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得処理と、前記複数の画像のうちの基準画像に対し、前記画像取得処理で取得された画像を合成する画像合成処理と、をコンピュータに実行させる。

【発明の効果】

【0006】

本発明によれば、静止画像中の一部を動的に表現する場合において、静止画のどの領域を動的に表現させるかを適切に選択できる。

【図面の簡単な説明】

【0007】

【図1】本発明の一実施の形態によるデジタルカメラの構成を例示するブロック図である。

【図2】「先撮り撮影モード」における画像の取得タイミングを説明する図である。

【図3】サムネイル画像の表示を例示する図である。

【図4】フレームＳの画像表示を例示する図である。

【図5】(a)は対象物が画面左から右へ移動する場面を撮影した画像を例示する図、(b)はフレームＳにおける動体領域および非動体領域を例示する図、(c)は抽出した動体領域を例示する図である。

【図6】ＣＰＵが実行する処理の流れを説明するフローチャートである。

【図7】ＣＰＵが実行する処理の流れを説明するフローチャートである。

【図8】野球のバッターによる打撃の場面を撮影した時系列のフレーム画像に基づいて、ＣＰＵが選んだフレームＳ、フレームＰおよびフレームＱを構成する画像を例示する図である。

【図9】図８のフレームＳ、フレームＰおよびフレームＱに基づいて、ボールおよびバットをフレームＳにおいて対応するそれぞれの位置へ順次置換合成した画像を例示する図である。

【図10】変形例５の順次置換合成した画像を例示する図である。

【図11】変形例６の順次置換合成した画像を例示する図である。

【図12】コンピュータを例示する図である。

【発明を実施するための形態】

【0008】

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態によるデジタルカメラ１の構成を例示するブロック図である。デジタルカメラ１は、複数フレームの静止画像に基づいて、静止画像の一部領域を動的に表現する「動き表現」に用いる領域を適切に選ぶ。「動き表現」は、静止画という時間の止まった世界の中で、一部領域だけ時間が進行しているかのような異質な世界を表現するものである。

【0009】

以下、デジタルカメラ１の詳細について説明する。図１において、撮影レンズ１１は、撮像素子１２の撮像面に被写体像を結像させる。なお、図１では、撮影レンズ１１がカメラと一体的に形成された（撮影レンズが着脱不能な）デジタルカメラ１を例示したが、カメラボディと、そのカメラボディに着脱可能な交換レンズからなるカメラシステムによって構成してもよい。その場合は、図１の符号１１および２１からなる構成が交換レンズ側に含まれ、その他の符号からなる構成がカメラボディ側に含まれる。

【0010】

ＣＰＵ１６は、図示しないシャッターボタンの半押し操作に連動して半押しスイッチ２０ａがオンすると、ＡＥ（自動露出）演算およびオートフォーカス（ＡＦ）処理を行わせて、撮影レンズ１１を構成するフォーカシングレンズ（不図示）を光軸方向（図１において矢印方向）に進退移動させる。これにより、撮影レンズ１１の焦点位置が自動調節される。フォーカシングレンズ（不図示）の駆動は、ＣＰＵ１６から指示を受けたレンズ駆動部２１が行う。

【0011】

撮像素子１２は、ＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮像面上に結像された被写体像を撮像する。撮像素子１２から出力された撮像信号は、Ａ／Ｄ変換部１３においてアナログ信号からデジタル信号に変換される。画像処理部１４は、デジタル画像信号に対して所定の画像処理を行う。

【0012】

液晶モニタ１５は、撮像素子１２で撮像された画像、後述するバッファメモリ１８、あるいはメモリカード５０に記憶される画像を表示すると共に、ＣＰＵ１６からの指示に応じて、画像やアイコン、操作メニューなどを表示する。液晶モニタ１５の表示面にはタッチ操作部材１５ａが積層されている。タッチ操作部材１５ａは、表示画面上のタッチ位置を示す信号をＣＰＵ１６へ送出する。音響処理回路２３は、マイク２２で集音された音響信号を増幅し、増幅後の信号をＡ／Ｄ変換回路（不図示）によってデジタル音響データに変換する。

【0013】

フラッシュメモリ１７は、ＣＰＵ１６が実行するプログラムや、実行処理に必要なデータなどを格納する。フラッシュメモリ１７が格納するプログラムやデータの内容は、ＣＰＵ１６からの指示によって追加、変更が可能に構成されている。

【0014】

ＣＰＵ１６は、例えばバッファメモリ１８を作業領域として制御プログラムを実行し、カメラ各部に対する種々の制御を行う。バッファメモリ１８は、画像データを一時的に記憶する場合にも使用される。本実施形態によるデジタルカメラ１では、撮影指示（シャッターボタンの全押し操作）前に撮像素子１２によって所定のフレームレートで取得される複数フレームの画像（先撮り画像と呼ぶ）や、撮影指示後に撮像素子１２によって所定のフレームレートで取得される複数フレームの画像（後撮り画像と呼ぶ）を一時的に記憶する場合にも使用される。

【0015】

画像処理部１４は、デジタル画像信号に対する画像処理以外に、画像信号を格納した所定形式の画像ファイル（例えば Exif ファイル）を生成する。記録再生部１９は、ＣＰＵ１６からの指示に基づいて画像ファイルをメモリカード５０に記録（保存）し、また、メモリカード５０に記録（保存）されている画像ファイルを読み出す。記録再生部１９はさらに、音響データを格納した音響ファイルをメモリカード５０に記録（保存）し、メモリカード５０に記録（保存）されている音響ファイルを読み出す。

【0016】

メモリカード５０は、図示しないカードスロットに着脱自在に取り付けられる記録媒体である。ＣＰＵ１６は、記録再生部１９によってメモリカード５０から読み出された画像ファイル、または撮影後バッファメモリ１８に記憶されている画像データに基づいて、液晶モニタ１５に撮影画像を再生表示させる。また、ＣＰＵ１６は、記録再生部１９によってメモリカード５０から読み出された音響ファイルに基づいて、不図示のスピーカによって音声を再生することもできる。

【0017】

操作部材２０は、上記半押しスイッチ２０ａや、シャッターボタンの全押し操作に伴ってオンする全押しスイッチ２０ｂ、およびモード切替えスイッチなどを含み、各部材の操作に伴う操作信号をＣＰＵ１６へ送出する。

【0018】

半押しスイッチ２０ａからのオン信号（半押し操作信号）は、シャッターボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ２０ｂからのオン信号（全押し操作信号）は、シャッターボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。

【0019】

＜撮影モード＞
上記デジタルカメラ１は、「通常の撮影モード」と、「先撮り撮影モード」とを有する。「通常の撮影モード」は、上記全押し操作信号に応じて１フレームずつ撮影画像を取得してメモリカード５０へ記録する撮影モードである。「先撮り撮影モード」は、静止画像を所定のフレームレート（例えば毎秒１２０フレーム）で取得し、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後において取得した複数フレームの画像（上記先撮り画像と後撮り画像）のうち、所定の画像をメモリカード５０へ記録する撮影モードである。各撮影モードは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。

【0020】

＜再生モード＞
再生モードのデジタルカメラ１は、「通常の撮影モード」または「先撮り撮影モード」において記録された画像をフレームごとに、あるいは所定数のフレームごとに、液晶モニタ１５に再生表示する。また、「動き表現」する場合は、「先撮り撮影モード」で取得された複数フレームの画像に基づいて、静止画像の中で変化する対象物を動的に表現するように、液晶モニタ１５に再生表示を行う。

【0021】

＜動き表現＞
本実施形態によるデジタルカメラ１は、上記「動き表現」処理に特徴を有するので、以降はこの点を中心に説明する。「動き表現」処理のオン／オフは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。再生モードであって、かつ「動き表現」処理がオンされたデジタルカメラ１は、「先撮り撮影モード」で取得された複数フレームの画像に基づいて、「動き表現」に適したフレームを選び、選んだフレームの画像を用いて液晶モニタ１５に再生表示する。以下、複数フレーム画像の取得、「動き表現」に適したフレームの選択、および「動き表現」のための画像生成について順に説明する。

【0022】

−複数フレーム画像の取得−
ユーザーは、例えばデジタルカメラ１を手持ちして、または三脚に固定して、複数フレームの画像を取得する。図２は、「先撮り撮影モード」における画像の取得タイミングを説明する図である。図２において、時刻ｔ０に「先撮り撮影モード」が起動されると、ＣＰＵ１６は撮影待機処理を開始させる。撮影待機処理では、上記所定のフレームレートで被写体像を撮像して露出演算やフォーカス調節を行うとともに、取得した画像データを逐次バッファメモリ１８へ記憶する。

【0023】

「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ１８のメモリ容量は、あらかじめ十分な容量が確保されている。ＣＰＵ１６は、時刻ｔ０以降にバッファメモリ１８内に記憶したフレーム画像のフレーム枚数が所定枚数（例えばＡ枚）に達した場合には、古いフレーム画像から順に上書き消去する。これにより、「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ１８のメモリ容量を制限できる。

【0024】

時刻ｔ１に全押し操作信号が入力されると、ＣＰＵ１６は撮影処理を開始させる。撮影処理では、時刻ｔ１以前に先撮りしたＡ枚のフレーム画像と、時刻ｔ１以降に後撮りされるＢ枚のフレーム画像とを合わせた（Ａ＋Ｂ）枚のフレーム画像をメモリカード５０への記録候補画像とする。図２における黒い帯は、記録候補画像である（Ａ＋Ｂ）枚のフレーム画像が取得される区間を表す。斜線の帯は、バッファメモリ１８に一旦は記憶されたものの、上書き消去されたフレーム画像が取得された区間を表す。

【0025】

ＣＰＵ１６は、設定されている記録方式に基づいて、記録候補画像のうち所定のフレーム画像をメモリカード５０に記録する。本実施形態によるデジタルカメラ１では、（Ａ＋Ｂ）枚全てのフレーム画像をメモリカード５０に記録するものとする。

【0026】

―「動き表現」に適したフレームの選択―
ＣＰＵ１６は、メモリカード５０に記録された複数フレームの画像に基づいて、「動き表現」に適したフレームを選ぶ。具体的には、静止領域（背景）として用いるフレームＳと、フレームＳより時間的に前に取得されたフレームＰと、フレームＳより時間的に後に取得されたフレームＱとを、（Ａ＋Ｂ）枚のフレーム画像の中から選ぶ。

【0027】

―フレームＳ―
本実施形態によるデジタルカメラ１のＣＰＵ１６は、ユーザー操作によって指示されたフレーム画像をフレームＳとする。具体的には、ＣＰＵ１６が記録再生部１９へ指示を送り、メモリカード５０に記録されている（Ａ＋Ｂ）枚のフレーム画像に基づいて、各フレームのサムネイル画像を図３に例示するように液晶モニタ１５の画面に並べて表示させる。（Ａ＋Ｂ）枚のサムネイル画像が一画面に収まらない場合のＣＰＵ１６は、ユーザー操作に応じて画面をスクロールさせることにより、ユーザーが意図するサムネイル画像を液晶モニタ１５に表示させる。

【0028】

また、（Ａ＋Ｂ）枚のフレーム画像の組がメモリカード５０に複数記録されている場合、ＣＰＵ１６は、タッチ操作部材１５ａからの操作信号が示す組のサムネイル画像を液晶モニタ１５に表示させる。

【0029】

ユーザーは、図３に例示した液晶モニタ１５の画面上で、「動き表現」の際に静止領域（背景）として用いたいフレームをタッチ操作で選ぶ。ＣＰＵ１６は、タッチ操作部材１５ａからの操作信号が示すサムネイル画像Ｘに対応するフレーム画像をフレームＳとする。ＣＰＵ１６は、フレームＳを決定すると記録再生部１９へ指示を送り、メモリカード５０から読み出したフレームＳの画像を図４に例示するように液晶モニタ１５の画面上に表示させる。

【0030】

ユーザーは、「動き表現」の際に静止領域（背景）上で動かしたい対象物を、液晶モニタ１５の画面上においてタッチ操作で選ぶ、ＣＰＵ１６は、フレームＳにおいてタッチ操作部材１５ａからの操作信号に応じた矩形領域を示すマークｍをフレームＳの画像上に重ね表示させ、マークｍで囲まれる範囲を動体領域とする。

【0031】

―フレームＰ、フレームＱ―
ＣＰＵ１６は、上記フレームＳより時間的に前に取得されたフレーム画像からフレームＰを選ぶ。また、ＣＰＵ１６は、上記フレームＳより時間的に後に取得されたフレーム画像からフレームＱを選ぶ。図５(a)は、航空機を対象物とし、この航空機が画面左から右へ移動する場面を撮影したフレームｆ１、フレームｆ２、…フレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋２)…、フレームｆ(Ａ＋Ｂ)の画像を例示する図である。本例では、フレームｆ(Ａ＋１)が上記フレームＳに対応する。このため、フレームｆ１からフレームｆＡまでがフレームＰの候補に対応し、フレームｆ(Ａ＋２)からフレームｆ(Ａ＋Ｂ)までがフレームＱの候補に対応する。

【0032】

図５(a)のフレームｆ(Ａ＋１)（すなわちフレームＳ）における動体領域ｍ(Ａ＋１)は、図４において決定した動体領域に対応する。ＣＰＵ１６は、例えば動体領域ｍ(Ａ＋１)をテンプレートとして、図５(a)のフレームｆ(Ａ＋１)（すなわちフレームＳ）以外の他のフレーム画像から、テンプレートマッチング手法によって動体領域を抽出する。図５(a)のｍ１、ｍ２、…ｍＡ、ｍ(Ａ＋１)、…、ｍ(Ａ＋Ｂ)は、各フレームにおける動体領域を表す。

【0033】

図５(b)は、フレームｆ(Ａ＋１)（すなわちフレームＳ）における動体領域ｍ(Ａ＋１)、および非動体領域（すなわち静止領域）を例示する図である。斜線を引いた領域が非動体領域を表す。次に、ＣＰＵ１６は、図５(a)の各フレーム画像からそれぞれの動体領域を除外した非動体領域において２以上の特徴点を抽出する。

【0034】

図５において、複数の黒点は特徴点を表す。画像間の位置合わせに適した特徴点の抽出は、例えば、Lowe, David G. (1999). "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision. 2. pp.1150-1157.などに開示される公知の技術を用いることができる。

【0035】

ＣＰＵ１６は、フレームｆ１、フレームｆ２、…フレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋２)…、フレームｆ(Ａ＋Ｂ)間でそれぞれ特徴点の対応付けを行い、非動体領域（すなわち静止領域）を基準にフレーム間の画像の位置合わせを行う。ＣＰＵ１６はさらに、動体領域においても２以上の特徴点を抽出する。そして、各フレームにおける非動体領域の特徴点と動体領域の特徴点の位置関係に基づいて、各フレームにおける動体領域の位置を、フレームｆ(Ａ＋１)（すなわちフレームＳ）における非動体領域の例えば特徴点を基準に表す。

【0036】

図５(a)の場合、フレームＰの候補となるフレームでは、隣接フレームとの間でそれぞれ差分が生じている。ＣＰＵ１６は、対象物と背景の特徴点との相対的な距離が所定範囲内であるフレームｆＡをフレームＰとして選ぶ。なお、フレームＰは複数選んでもよい。例えば、フレームｆ２における対象物と背景の特徴点との相対的な距離が所定範囲内である場合には、フレームｆ２とフレームｆＡを、それぞれフレームＰとして選ぶ。一般に、フレームＰを構成するフレーム数を多くすると、「動き表現」を滑らかにできる。なお、対象物と背景の特徴点との相対的な距離が所定範囲を超える場合は、その対象物がフレームＳの画面外に外れるおそれがあるので、フレームＰとして適さない。この点について以下に説明する。

【0037】

例えば、図５(a)において、フレームＳとして用いられるフレームｆ（Ａ＋１）の背景（山の頂上の左）の特徴点の画面内のＸ座標をＸＡ１、これに対応するフレームｆ１の特徴点の画面内のＸ座標をＸ１とする。ここで、Ｘ座標の基準（原点）を各フレームの画面左端として、ここでは仮に、Ｘ１の座標値が座標値ＸＡ１よりも大きいものとする。フレームｆ１における対象物をフレームｆ（Ａ＋１）の背景に合成する際には、合成しようとする対象物とフレームｆ（Ａ＋１）の背景の特徴点との相対的な位置関係が、フレームｆ１における対象物とフレームｆ１における背景の特徴点との相対的位置関係と等しくなるように合成処理が施される。従って、例えば、Ｘ１の座標値が座標値ＸＡ１よりも大きいものとし、フレームｆ１における対象物の画面内のＸ座標が小さい場合（画面左端近傍に存在している場合）には、フレームｆ（Ａ＋１）における対象物（ｍ１）は、フレームｆ（Ａ＋１）からはみだすこととなる。対象物をフレームＳに合成した際に、このようなはみ出しが発生するか否かは、フレームｆ１における背景の特徴点と対象物とのＸ座標値の差分が、座標値ＸＡ１に比較して大きいか否かによって判断することができる。すなわち、フレームｆ１における背景の特徴点と対象物とのＸ座標値の差分が、フレームｆ（Ａｌ＋１）上の対応する特徴点の座標値ＸＡ１より大きい場合には、フレームｆ（Ａ＋１）において、対象物が画面からはみだしてしまうこととなる。上記の例では、画面の左方向のはみだしについて説明したが、後述する画面右方向、あるいは画面の縦方向など左方向以外の方向についても同様である。

【0038】

また、図５(a)の場合、フレームＱの候補となるフレームでも、隣接フレームとの間でそれぞれ差分が生じている。また、静止領域（背景）として用いるフレームＳ以外のフレームにおける対象物は、いずれも同じ航空機であって形状は等しく、大きさも変化がないので、対象物間の類似度は高く所定値以上となる。ＣＰＵ１６は、対象物と背景の特徴点との相対的な距離が所定範囲内であるフレームｆ(Ａ＋２)およびｆ(Ａ＋３)をフレームＱとして選ぶ。フレームＰの場合と同様に、フレームＱを構成するフレーム数を多くすると、「動き表現」を滑らかにできる。なお、上述のフレームＰの説明と同様に、対象物と背景の特徴点との相対的な距離が所定範囲を超える場合は、その対象物がフレームＳの画面外に外れるおそれがあるので、フレームＱとして適さない。このようなフレームが、フレームＱ、あるいは前述のフレームＰとして選択された場合には、操作者に対して警告を行う構成とすることができる。また、フレームＳ、及び対象物が指定された後に、上記のフレームＰ、フレームＱとしての適否を自動的に判断した上で、ＣＰＵ１６が、フレームＰ、フレームＱを自動的に選択する構成としてもよい。

【0039】

ＣＰＵ１６は、上述するように選んだフレームＳ、フレームＰ（フレームｆＡ）、およびフレームＱ（フレームｆ(Ａ＋２)とフレームｆ(Ａ＋３)）を合成して静止画像（フレームＳ）上において動体領域を動的に表現する。具体的には、フレームＳの一部を構成する動体領域に代えて、他のフレームの動体領域を、フレームＳにおいて対応する位置へ所定時間ごとに順次置き換えながらはめ込み合成する（以下、順次置換合成と呼ぶ）。このためにＣＰＵ１６は、先ず、フレームＳの画像、および選んだ複数のフレーム画像からテンプレートマッチング手法によってそれぞれ動体領域を抽出する。図５(c)は、抽出した動体領域を例示する図である。これらの動体領域は、上述した「動き表現」に適したフレーム選択を行う際に抽出済みであるので、この情報を使用できる。

【0040】

―「動き表現」のための画像生成―
ＣＰＵ１６は、図５(b)に例示したフレームＳ（ｆ(Ａ＋１)）における動体領域ｍ(Ａ＋１)に代えて、図５(c)に例示したフレームＰの動体領域ｍＡ、上記フレームＱの動体領域ｍ(Ａ＋２)、動体領域ｍ(Ａ＋３)を、フレームＳにおいて対応する位置へ所定の時間ごとに、順次置換合成する。フレームＳにおいて対応する位置は、「動き表現」に適したフレーム選択の際に求めた動体領域の位置であって、フレームＳにおける非動体領域を基準に表した位置である。この結果、図５(a)のフレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋２)、およびフレームｆ(Ａ＋３)相当の画像が順番に得られる。これらの画像を液晶モニタ１５に順番に再生表示させると、静止画（＝ｆ(Ａ＋１)）という時間の止まった世界の中で、動体領域（航空機）だけ時間が進行しているかのような、異質な世界を表現し得る。

【0041】

ここで、対象物が画面内で移動する場合において、フレームＳ（ｆ(Ａ＋１)）に、順次置換合成する動体領域の位置が、該フレームＳの動体領域ｍ(Ａ＋１)の位置と異なる場合は、該フレームＳにおいて２箇所で順次置換合成を行う。１つめの合成は、フレームＳにおいて上記フレームＰまたはフレームＱの動体領域に対応する位置へ、フレームＰまたはフレームＱの動体領域の画像を、順次置換合成する。

【0042】

２つめの合成は、フレームＳにおいて動体領域ｍ(Ａ＋１)の位置へ、非動体領域（背景）の画像を順次置換合成する。例えば、上記フレームＳ以外のフレーム（例えばフレームｆ１またはフレームｆ(Ａ＋Ｂ)）の画像から、フレームＳの動体領域ｍ(Ａ＋１)の位置に対応する背景画像を抽出し、抽出した背景画像をフレームＳの動体領域ｍ(Ａ＋１)があった位置へ順次置換合成する。ＣＰＵ１６は、以上説明した順次置換合成により、「動き表現」のための画像を生成する。

【0043】

ＣＰＵ１６は、生成した「動き表現」のための画像を所定時間ごとに液晶モニタ１５に再生表示させることにより、静止画像（フレームＳ）上で動体領域を動的に表現する。なお、動体領域の位置をｍＡ→ｍ(Ａ＋１)→ｍ(Ａ＋２)→ｍ(Ａ＋３)→ｍＡ→ｍ(Ａ＋１)…へ切替える時間の間隔を短くすると速い「動き表現」になり、切替える間隔を長くすると遅い「動き表現」になる。

【0044】

―「動き表現」に必要なデータの記録―
ＣＰＵ１６は、記録指示に応じて「動き表現」に必要なデータをメモリカード５０へ記録する。記録するデータは、例えば、フレームＳ、フレームＰおよびフレームＱの各画像、これらの画像における動体領域の範囲、座標位置、フレームＰおよびフレームＱからフレームＳへ位置合わせするための制御（シフト）値、ループ再生（繰り返し再生）の要否などの情報である。

【0045】

―フローチャートの説明―
図６は、上述した「動き表現」時にＣＰＵ１６が実行する処理の流れを説明するフローチャートである。ＣＰＵ１６は、「先撮り撮影モード」に設定、かつ「動き表現」処理がオンにされると図６による処理を起動する。図６のステップＳ１において、ＣＰＵ１６は先撮り画像の取得（すなわち撮影待機処理）を開始させてステップＳ２へ進む。これにより、先撮りされたフレーム画像がバッファメモリ１８に蓄積されるとともに、液晶モニタ１５に逐次表示される。

【0046】

ステップＳ２において、ＣＰＵ１６は、先撮り画像データに基づいてＡＥ（自動露出）演算およびＡＦ（自動焦点調節）処理を行わせてステップＳ３へ進む。ステップＳ３において、ＣＰＵ１６は、レリーズボタンの全押し操作が行われたか否かを判定する。ＣＰＵ１６は、全押しスイッチ２０ｂからのオン信号が入力された場合にステップＳ３を肯定判定してステップＳ４へ進み、全押しスイッチ２０ｂからのオン信号が入力されない場合には、ステップＳ３を否定判定してステップＳ２へ戻る。ステップＳ２へ戻る場合は、上述した処理を繰り返す。

【0047】

ステップＳ４において、ＣＰＵ１６は、後撮り画像の取得を開始させてステップＳ５へ進む。後撮り画像は、全押し操作に応じて取得する１枚と、その後に取得する(Ｂ−１)枚である。ステップＳ５において、ＣＰＵ１６は、バッファメモリ１８に記憶している（Ａ＋Ｂ）枚のフレーム画像をメモリカード５０に記録してステップＳ６へ進む。

【0048】

ステップＳ６において、ＣＰＵ１６は、終了指示が行われたか否かを判定する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから「通常撮影モード」へ切り替える操作信号が入力されると、ステップＳ６を肯定判定して図６による処理を終了する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから「通常撮影モード」への切り替え操作信号が入力されない場合は、ステップＳ６を否定判定してステップＳ１へ戻る。ステップＳ１へ戻る場合は、上述した処理を繰り返す。

【0049】

「動き表現」するＣＰＵ１６が実行する処理の流れについて、図７に例示するフローチャートを参照して説明する。ＣＰＵ１６は、再生モードであって、かつ「動き表現」処理がオンされると図７による処理を起動する。

【0050】

図７のステップＳ５１において、ＣＰＵ１６は、（Ａ＋Ｂ）枚のフレーム画像の中から静止画用フレーム（フレームＳ）を決めてステップＳ５２へ進む。ステップＳ５２において、ＣＰＵ１６は、再生時に静止画像（フレームＳ）上で動的に表現する動体領域を決定してステップＳ５３へ進む。

【0051】

ステップＳ５３において、ＣＰＵ１６は、図５(a)の各フレーム画像の位置合わせを行ってステップＳ５４へ進む。位置合わせは、フレーム画像から動体領域を除外した非動体領域において抽出した２以上の特徴点の位置に基づいて行う。

【0052】

ステップＳ５４において、ＣＰＵ１６は、各フレーム画像から上記テンプレートマッチング手法によって動体領域を抽出し、ステップＳ５５へ進む。ステップＳ５５において、ＣＰＵ１６は、静止画像（フレームＳ）における非動体領域（背景）の位置を基準に、各フレームの動体領域の位置を求めてステップＳ５６へ進む。

【0053】

ステップＳ５６において、ＣＰＵ１６は、静止画像（フレームＳ）より時間的に前に取得されたフレーム画像であって、当該フレームにおける対象物と背景の特徴点との相対的な距離が所定範囲内であるフレームＰを抽出してステップＳ５７へ進む。

【0054】

ステップＳ５７において、ＣＰＵ１６は、静止画像（フレームＳ）より時間的に後に取得されたフレーム画像であって、当該フレームにおける対象物と背景の特徴点との相対的な距離が所定範囲内であり、かつ、当該フレームにおける対象物と上記フレームＰにおける対象物との類似度が所定値以上であるフレームＱを抽出してステップＳ５８へ進む。

【0055】

ステップＳ５８において、ＣＰＵ１６は、所定の条件を満たすか否かを判定する。ＣＰＵ１６は、例えば、フレームＰ、フレームＱがフレームＳと略同一であって変化がなく、再生表示しても動体領域を動的に表現できない場合は、ステップＳ５８を否定判定してステップＳ５６へ戻ってフレームＰおよびフレームＱの抽出をやり直す。ＣＰＵ１６は、フレームＰ、フレームＱがフレームＳと適度に相違し、フレームＰ、フレームＱにおける対象物がフレームＳにおける対象物との間で所定の相対距離を有する場合は、ステップＳ５８を肯定判定してステップＳ５９へ進む。

【0056】

ステップＳ５９において、ＣＰＵ１６は、所定の時間ごとに、図５(c)に例示した動体領域を、フレームＳにおいて対応する位置へ順次置換合成し、ステップＳ６０へ進む。

【0057】

ステップＳ６０において、ＣＰＵ１６は、終了指示されたか否かを判定する。ＣＰＵ１６は、終了操作が行われた場合にステップＳ６０を肯定判定して図７による処理を終了する。ＣＰＵ１６は、終了操作が行われない場合には、ステップＳ６０を否定判定してステップＳ５１へ戻る。

【0058】

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、時系列に撮影された複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)のうちの１フレームｆ(Ａ＋１)の画像上で、時間と共に変化させる第１動体領域ｍ(Ａ＋１)を指示するＣＰＵ１６と、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)の各々において、ＣＰＵ１６で指示された第１動体領域ｍ(Ａ＋１)に対応する領域の位置情報を取得するＣＰＵ１６と、ＣＰＵ１６で取得された位置情報と複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)とに基づいて、第１動体領域ｍ（Ａ＋１）についての時系列画像ｍＡ〜ｍ(Ａ＋３)を取得するＣＰＵ１６と、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)のうちの１フレームの画像ｆ(Ａ＋１)に基づいて生成された静止画像(図５(b)の斜線領域)に対し、ＣＰＵ１６で取得された第１動体領域ｍ（Ａ＋１）についての時系列画像ｍＡ〜ｍ(Ａ＋３)を順次置換して合成するＣＰＵ１６と、を備える。これにより、静止画像中の一部を動的に表現する場合において、静止画のどの領域で表現させるかを適切に選択できる。

【0059】

（２）上記（１）のデジタルカメラ１において、ＣＰＵ１６において第１動体領域ｍ(Ａ＋１)の指示に用いられる１フレームの画像ｆ(Ａ＋１)と、ＣＰＵ１６が合成に用いる静止画像(図５(b)の斜線領域)の生成に用いられる１フレームの画像ｆ(Ａ＋１)とは同一であるので、同一でない場合に比べて、静止画像中の一部を動的に表現する処理を簡単にできる。

【0060】

（３）上記（１）のデジタルカメラ１において、ＣＰＵ１６はさらに、各フレームにおける第１動体領域ｍＡ〜ｍ（Ａ＋３）の位置情報を静止画像(図５(b)の斜線領域)の生成に用いられる１フレームの画像ｆ(Ａ＋１)を基準とする位置情報に変換し、ＣＰＵ１６は、変換後の位置情報と複数フレームの画像ｆＡ〜ｆ(Ａ＋３)とに基づいて第１動体領域ｍについての時系列画像ｍＡ〜ｍ(Ａ＋３)を取得し、ＣＰＵ１６は、変換後の位置情報をもとに、静止画像(図５(b)の斜線領域)に対し、ＣＰＵ１６で取得された時系列画像ｍＡ〜ｍ(Ａ＋３)を順次置換合成する。これにより、静止画像中の一部を動的に表現する処理時間を短縮できる。

【0061】

（４）上記（１）のデジタルカメラ１において、ＣＰＵ１６はさらに、静止画像(図５(b)の斜線領域)の生成に用いられる１フレームの画像ｆ(Ａ＋１)上の第１動体領域ｍ(Ａ＋１)を除いた領域を基準として、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)の各々について位置合わせを行った上で、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)の各々において第１動体領域ｍの位置情報を取得し、ＣＰＵ１６は、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)のうち位置合わせ後に第１動体領域ｍ(Ａ＋１)を含むフレームの画像から、位置情報に基づいて第１動体領域ｍについての時系列画像ｍＡ〜ｍ(Ａ＋３)を取得し、ＣＰＵ１６は、位置情報をもとに、静止画像(図５(b)の斜線領域)に対し、ＣＰＵ１６で取得された時系列画像ｍＡ〜ｍ(Ａ＋３)を順次置換合成する。これにより、静止画像中の一部を動的に表現する処理時間を短縮できる。

【0062】

（変形例１）
上述した説明では、デジタルカメラ１のＣＰＵ１６が、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）をユーザーのタッチ操作に基づいて決定する例を説明した。仮に、ユーザーが誤って対象物が存在しない領域をタッチ操作した場合には、ＣＰＵ１６がその旨を知らせるメッセージを液晶モニタ１５の画面上に表示させてもよい。この場合において、液晶モニタ１５の画面上においてタッチ操作に基づく矩形領域（動体領域ｍ）に対象物（航空機）が含まれるか否かは、フレームＳと、時系列に並ぶいずれかのフレーム画像との間で、当該矩形領域について差分が生じているか否かで判定する。すなわち、時系列に並ぶフレーム画像間で背景領域の位置合わせを行った上で、両フレーム間の差分をとることにより、差分が生じていれば対象物が含まれると判定し、差分が生じていなければ対象物が含まれないと判定する。

【0063】

（変形例２）
上述した説明では、デジタルカメラ１のＣＰＵ１６が、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）をユーザーのタッチ操作に基づいて決定する際、ユーザーにより液晶モニタ１５の画面上がタッチ操作されると、該タッチ操作に基づく矩形領域をマークｍで表示するようにした。この代わりに、ユーザーによるタッチ操作前に、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）の候補をＣＰＵ１６が提示するようにしてもよい。

【0064】

変形例２のＣＰＵ１６は、液晶モニタ１５にフレームＳの再生画像を表示させている状態で自動的にフレームＳにおける対象物（航空機）を探し、検出した対象物を含む領域をマークｍで表示する。ユーザーは、提示された候補（マークｍ）でよい場合に、該マークｍをタッチ操作する。ＣＰＵ１６は、マークｍの位置がタッチ操作されると、マークｍで囲まれる領域を「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）に決定する。

【0065】

フレームＳにおける対象物（航空機）の探索は、フレームＳと時系列に並ぶフレーム画像との間で、差分が生じている領域を探せばよい。すなわち、時系列に並ぶフレーム画像間で背景領域の位置合わせを行った上で、両フレーム間の差分をとることにより、差分が生じている領域に対象物が含まれると判定し、差分が生じていない場合は対象物が含まれないと判定する。

【0066】

（変形例３）
上述した変形例２において、ユーザーによるタッチ操作がなくても、ＣＰＵ１６が自動的に検出した対象物を含む領域を、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）に決定してもよい。変形例３のＣＰＵ１６は、例えば、画像データ等を用いた認識処理により、液晶モニタ１５にフレームＳの再生画像を表示させている状態で自動的にフレームＳにおける対象物（航空機）を探し、検出した対象物を含む領域をマークｍで表示する。ＣＰＵ１６は、そのマークｍで囲まれる領域を「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）に決定する。

【0067】

（変形例４）
上述した説明では、デジタルカメラ１のＣＰＵ１６が、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）をユーザーのタッチ操作に基づいて決定する例を説明した。この動的に表現する領域（対象物）を、ＣＰＵ１６が自動的に抽出する構成としてもよい。例えば、フレームＳの画面端近傍の４つの特徴点が背景領域に含まれるものとみなして、各フレームの画像を、フレームＳの画面端近傍の４つの特徴点を基準に位置合わせを行った上で、各フレーム画像における移動する対象物の領域（対象物の移動領域）を包含する領域（例えば矩形領域）を、各フレーム画像から抽出する。ここで、この移動する対象物の領域は、上記の位置合わせを行った隣接するフレーム画像間で差分演算を行って、その和の領域を求めることにより抽出できる。当該領域を包含する領域は、背景領域を含むものであってもよい。すなわち、このような構成とすれば、フレームＳ上で、順次置換合成する領域の大きさが同じとなり、さらに、順次置換合成する領域のフレームＳ上の位置を同一の位置とすることができる。また、フレームＳ上で、順次置換合成する領域の、各フレーム上での位置も、フレームＳを基準とした座標系で考えれば同一の位置とすることができ、「動き表現」のための画像の生成処理が容易となる。

【0068】

この場合、移動する対象物の領域を包含する領域に、対象物以外の動領域があると、対象物の変化と共に、その動領域も時間と共に変化することとなる。このようなことを避けるために、各フレームにおける、上記の移動する対象物を包含する領域間で差分演算を行い、対象物以外の領域に所定値以上の差分が発生しているか否かを判断する。所定値以上の差分が発生している場合には、移動する対象物の領域を包含する領域から、所定値以上の差分が発生している領域を除外する、あるいは操作者に報知する構成とすることもできる。なお、上記の移動する対象物を包含する、各フレーム領域間での差分演算においては、位置合わせは不要となる。

【0069】

（変形例５）
上述した説明では、対象物と背景中の所定位置との相対的な距離が所定範囲を超える場合には、その対象物がフレームＳの画面外に外れるおそれがあるので、フレームＰ、あるいはフレームＱとして適さないとして説明した。このような構成とすれば、「動き表現」のために生成された画像では、常に対象物が存在することとなる。しかしながら、例えば「動き表現」のために生成された画像を繰り返し再生する際にこの手法を用いた場合、図５のフレームｆ（Ａ＋３）における対象物の位置から、フレームｆＡにおける対象物の位置まで、対象物の位置が急激に変化することとなる。すなわち、例えば上記の繰り返し再生を行う場合には、「動き表現」のために生成された画像のうち、最初の画像と最後の画像とが、類似していることが好ましい。このような構成とすることによって、繰り返し再生の際の違和感を低減することができる。

【0070】

ここで、対象物と背景中の所定位置との相対的な距離が所定範囲を超えるフレームを特定し、当該フレームをフレームＰの最初のフレーム、フレームＱの最後のフレームとすることで、「動き表現」のために生成された画像において、フレームＳ上で対象物が存在しない画像を得ることができる。このようにして生成された「動き表現」のための画像を繰り返し再生した場合には、例えば、対象物が存在しないフレームから「動き表現」が開始され、画面内に対象物が現れてから再び対象物が存在しないフレームとなった時点で、１回目の「動き表現」による再生が終了する。その後、再び対象物が存在しないフレームから、２回目の「動き表現」が開始されることとなり、視聴者が感じる違和感を低減することができる。

【0071】

（変形例６）
変形例２において、ユーザーによるタッチ操作の代わりに、音声指示に基づいて「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）を決定してもよい。変形例４のＣＰＵ１６は、マイク２２で集音され、音響処理回路２３で変換された音響データに基づいて音声認識を行う。ＣＰＵ１６は、例えば、対象物の候補を、操作部材によって順次変更していった際に、音声認識によって、操作者の「ＯＫ」の発話を認識した場合に、マークｍで囲まれる領域を「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）に決定する。また、例えば、いずれかのフレーム、あるいはフレームＳとしてフレームｆ（Ａ＋１）を液晶モニタ１５に表示している状態で、操作者の「航空機」の発話を認識した場合に、画像データ等を用いて航空機の領域を認識し、当該領域を「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）に決定する構成としてもよい。

【0072】

（変形例７）
上記実施形態においては、フレームＳを、液晶モニタ１５の画面に並べて表示されたサムネイル画像の中からタッチ操作によって選択する例について説明したが、図２で説明したように、シャッターボタンの全押し操作のタイミングで取得されたフレーム画像をフレームＳとして設定する構成としてもよい。このような構成とすれば、撮影者が撮影を意図したタイミングにおいて取得された画像をもとに、「動き表現」の画像が生成されるので、撮影者が撮影を意図したタイミングのフレーム画像が、「動き表現」の画像に必ず含まれる構成とすることができる。

【0073】

また、複数のフレーム画像の中から、フレームＳとして、特徴的なハイライトのフレーム画像を選択する構成としてもよい。ハイライトのフレーム画像としては、例えば、マイク２２で集音した音量のレベルが最大のときに取得されたフレーム画像、あるいは対象物の動き量、姿勢などをもとに検出されたクライマックスのフレーム画像を自動的に選択することができる。

【0074】

さらには、フレームＳとして、対象物の大きさが一番小さいフレーム画像をフレームＳとして選択する構成としてもよい。例えば、フレームＳとして、対象物の大きさが大きいフレーム画像を選択した場合には、対象物が移動した場合、あるいは対象物の大きさが小さくなった場合などにおいては、対象物のみならず、順次置換合成する領域内の背景部分も、フレームＳとは異なる時刻に撮影された他のフレーム画像から、対応する領域の画像データを用いて置き換えることとなる。すなわち、このようにして、フレームＳの静止領域と合成された画像においては、異なる時刻に撮影された背景が混在することとなる。上記のような場合、あるいは上述の変形例４のような場合には、特に異なる時刻に撮影された背景の領域が多くなり、最終的に生成された「動き表現」の画像上で、対象物以外の本来は動いてほしくない背景領域にも動きが発生してしまう可能性が高くなる。そこで、対象物の大きさが一番小さいフレーム画像をフレームＳとして選択する構成とすれば、異なる時刻に撮影された背景が混在する可能性を低減することができる。

【0075】

（第二の実施形態）
第二の実施形態では、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）を２つ設ける。図８は、野球のバッターによる打撃の場面を撮影した時系列のフレーム画像に基づいて、ＣＰＵ１６が第一の実施形態と同様にして選んだフレームＳ、フレームＰおよびフレームＱを構成する画像を例示する図である。本例では、画面内で変化する第１の対象物はボールである。

【0076】

図８において、フレームｆ(Ａ＋１)は、ユーザー操作に基づいてＣＰＵ１６が決定したフレームＳに対応する。マークｍ(Ａ＋１)は、ユーザーによるタッチ操作により、タッチ操作部材１５ａから出力された操作信号に基づいてＣＰＵ１６が決定した第１の動体領域を表す。

【0077】

フレームｆ(Ａ−１)およびフレームｆＡは、フレームＳより時間的に前に取得されたフレーム画像の中からフレームＰとしてＣＰＵ１６が選んだ画像である。フレームｆ(Ａ＋２)およびフレームｆ(Ａ＋３)は、フレームＳより時間的に後に取得されたフレーム画像の中からフレームＱとしてＣＰＵ１６が選んだ画像である。

【0078】

ＣＰＵ１６は、時系列に並ぶ図８のフレーム画像について、フレームｆ(Ａ＋１)（すなわちフレームＳ）以外の他のフレーム画像から、第１の動体領域を抽出する。ＣＰＵ１６は、例えばフレームＳの動体領域ｍ(Ａ＋１)をテンプレートとして、テンプレートマッチング手法によって第１の動体領域を抽出する。図８のｍ(Ａ−１)、ｍＡ、ｍ(Ａ＋１)、ｍ(Ａ＋２)、およびｍ(Ａ＋３)は、各フレームにおける第１の動体領域を表す。

【0079】

第二の実施形態によるデジタルカメラ１のＣＰＵ１６はさらに、上記第１の動体領域に含まれる第１の対象物（ボール）と関連して変化する領域をフレーム画像から抽出し、この抽出領域を第２の動体領域とする。図８において、ボールはフレームｆ(Ａ＋１)（すなわちフレームＳ）を境に移動方向を変えている。そして、フレームｆ(Ａ＋１)ではボールがバットと接触している。ＣＰＵ１６は、バットの動きに起因してボールの動きが変化していることから、バットの動きとボールの動きは関連すると判定し、バットを含む領域を第２の動体領域とする。なお、ＣＰＵ１６は、上記移動方向が変化するまでに至らなくても、移動中の加速度が変化した場合には両者の動きが関連すると判定する。

【0080】

ＣＰＵ１６は、時系列に並ぶ図８のフレーム画像について、フレームｆ(Ａ＋１)（すなわちフレームＳ）以外の他のフレーム画像から第２の動体領域（バット）を抽出する。本例の場合、バットはフレームごとに形状と画面内の位置が変化しているので、差分検出手法を用いる。

【0081】

ＣＰＵ１６は、時系列に並ぶ図８のフレーム画像について、各フレームの第１の動体領域ｍ(Ａ−１)、ｍＡ、ｍ(Ａ＋１)、ｍ(Ａ＋２)、ｍ(Ａ＋３)を除いた背景領域で位置合わせを行った上で、隣接するフレーム間で差分をとることにより、フレーム画像におけるバットを抽出する。具体的には、時間的に隣接する、所定の閾値で２値化された差分画像間で、論理積をとることにより、バットを含む領域を抽出する。そしてＣＰＵ１６は、抽出した領域において公知の物体認識処理を行うことにより、バットを特定する。

【0082】

ここで、フレーム間で所定値以上の差分が生じた領域がバットを含む領域に対応し、フレーム間の差分が所定値未満の領域はバットを含まない領域に対応する。図８の場合、バットまたはバッターの腕を含む領域において、フレーム間で所定値以上の差分が検出される。ＣＰＵ１６は、バットまたはバッターの腕を含む領域から、物体認識処理によってバットを抽出する。

【0083】

次にＣＰＵ１６は、図８の各フレーム画像からそれぞれ第１の動体領域および第２の動体領域を除外した非動体領域において、第一の実施形態と同様に２以上の特徴点を抽出し、フレーム間でそれぞれ特徴点の対応付けを行う。

【0084】

ＣＰＵ１６はさらに、第１動体領域および第２動体領域においても、それぞれ２以上の特徴点を抽出する。そして、各フレームにおける非動体領域の特徴点と各動体領域の特徴点の位置関係に基づいて、各フレームにおける第１動体領域および第２動体領域の位置を、フレームｆ(Ａ＋１)（すなわちフレームＳ）における非動体領域を基準に表す。

【0085】

ＣＰＵ１６は、上記フレームＳ（フレームｆ(Ａ＋１)）、フレームＰ（フレームｆ(Ａ−１)とフレームｆＡ）、およびフレームＱ（フレームｆ(Ａ＋２)とフレームｆ(Ａ＋３)）を合成して静止画像（フレームＳ）上において第１動体領域および第２動体領域を動的に表現する。具体的には、フレームＳにおける第１動体領域、第２動体領域に代えて、他のフレームの第１動体領域、第２動体領域を、フレームＳにおいて対応するそれぞれの位置へ所定時間ごとに順次置換合成する。

【0086】

以上説明したように、「動き表現」のための画像生成において、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）を２つ設ける場合でも、２つの動体領域をフレームＳにおいて対応するそれぞれの位置へ所定時間ごとに順次置換合成する手法は、第一の実施形態と同様に行う。また、「動き表現」に必要なデータの記録についても第一の実施形態と同様に行う。

【0087】

図９は、図８のフレームＳ、フレームＰおよびフレームＱに基づいて、第１の動体領域（ボール）および第２の動体領域（バット）をフレームＳ（＝ｆ(Ａ＋１)）において対応するそれぞれの位置へ所定時間ごとに、順次置換合成した合成画像ｃ(Ａ−１)、ｃＡ、ｃ(Ａ＋１)、ｃ(Ａ＋２)、およびｃ(Ａ＋３)を例示する図である。

【0088】

合成画像ｃ(Ａ−１)は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆ(Ａ−１)の第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。合成画像ｃＡは、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆＡの第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。フレームＳに対応する合成画像ｃ(Ａ＋１)は、フレームｆ(Ａ＋１)と同一である。

【0089】

また、合成画像ｃ(Ａ＋２)は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆ(Ａ＋２)の第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。合成画像ｃ(Ａ＋３)は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆ(Ａ＋３)の第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。

【0090】

これらの合成画像ｃ(Ａ−１)、ｃＡ、ｃ(Ａ＋１)、ｃ(Ａ＋２)、およびｃ(Ａ＋３)を液晶モニタ１５に順番に再生表示させると、静止画（＝ｆ(Ａ＋１)）という時間の止まった世界の中で、第１の動体領域（ボール）および第２の動体領域（バット）だけ時間が進行しているかのような、異質な世界を表現し得る。

【0091】

以上説明した第二の実施形態によれば、以下の作用効果が得られる。
（１）デジタルカメラ１は、時系列に撮影された複数フレームの画像のうちの１フレームｆ(Ａ＋１)の画像上で、時間と共に変化させる第１動体領域(ボール)を指示するＣＰＵ１６と、複数フレームの画像の各々において、ＣＰＵ１６で指示された第１動体領域(ボール)の位置情報を取得するＣＰＵ１６と、ＣＰＵ１６で取得された位置情報と複数フレームの画像とに基づいて、第１動体領域(ボール)についての時系列画像ｍ(Ａ−１)Ａ〜ｍ(Ａ＋３)を取得するＣＰＵ１６と、複数フレームの画像のうちの１フレームの画像ｆ(Ａ＋１)に基づいて生成された静止画像に対し、ＣＰＵ１６で取得された第１動体領域(ボール)についての時系列画像ｍ(Ａ−１)〜ｍ(Ａ＋３)を順次置換して合成するＣＰＵ１６と、を備える。これにより、静止画像中の一部を動的に表現する場合において、静止画のどの領域で表現させるかを適切に選択できる。

【0092】

（２）上記（１）のデジタルカメラ１において、ＣＰＵ１６はさらに、複数フレームの画像に基づいて第１動体領域(ボール)の変化に応じて変化する領域を抽出し、抽出した領域を第２動体領域（バット）として指示し、ＣＰＵ１６は、複数フレームの画像の各々において、ＣＰＵ１６で指示された第２動体領域（バット）の位置情報をさらに取得し、ＣＰＵ１６は、ＣＰＵ１６で取得された位置情報と複数フレームの画像とに基づいて、第２動体領域（バット）についての時系列画像をさらに取得し、ＣＰＵ１６はさらに、複数フレームの画像のうちの１フレームの画像ｆ(Ａ＋１)に基づいて生成された静止画像に対しＣＰＵ１６で取得された第２動体領域（バット）についての時系列画像を、順次置換して合成する。これにより、静止画の中で、ボールの動きと因果関係を有するバットの動きを適切に表現し得る。

【0093】

（３）上記（１）、（２）のデジタルカメラ１において、ＣＰＵ１６は、複数フレームの画像のうちの１フレームｆ(Ａ＋１)で第１動体領域（ボール）と接する領域を第２動体領域（バット）とするので、静止画の中で、ボールの動きと因果関係を有するバットの動きを適切に表現し得る。

【0094】

（変形例８）
「動き表現」のための画像生成において、図９に例示したものと異なる順次置換合成を行ってもよい。図１０は、図８のフレームＳ、フレームＰおよびフレームＱに基づいて、第１の動体領域（ボール）および第２の動体領域（バット）をフレームＳ（＝ｆ(Ａ＋１)）において対応するそれぞれの位置へ所定時間ごとに順次置換合成した合成画像ｃ(Ａ−１)’、ｃＡ’、ｃ(Ａ＋１)、ｃ(Ａ＋２)’、およびｃ(Ａ＋３)’を例示する図である。

【0095】

合成画像ｃ(Ａ−１)’は、フレームＳ（＝ｆ(Ａ＋１)）の第２の動体領域（バット）の代わりに、フレームｆ(Ａ−１)の第２の動体領域（バット）を合成した画像である。合成画像ｃＡ’は、フレームＳ（＝ｆ(Ａ＋１)）の第２の動体領域（バット）の代わりに、フレームｆＡの第２の動体領域（バット）を合成した画像である。フレームＳに対応する合成画像ｃ(Ａ＋１)は、フレームｆ(Ａ＋１)と同一である。

【0096】

また、合成画像ｃ(Ａ＋２)’は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）の代わりに、フレームｆ(Ａ＋２)の第１の動体領域（ボール）を合成した画像である。合成画像ｃ(Ａ＋３)’は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）の代わりに、フレームｆ(Ａ＋３)の第１の動体領域（ボール）を合成した画像である。

【0097】

これらの画像ｃ(Ａ−１)’、ｃＡ’、ｃ(Ａ＋１)、ｃ(Ａ＋２)’、およびｃ(Ａ＋３)’を液晶モニタ１５に順番に再生表示させると、静止画（＝ｆ(Ａ＋１)）という時間の止まった世界の中で、バットとボールが接触する前は第２の動体領域（バット）だけ時間が進行し、バットとボールが接触した後は第１の動体領域（ボール）だけ時間が進行するかのような、異質な世界を表現し得る。

【0098】

（変形例９）
「動き表現」のための画像生成において、変形例８と異なる順次置換合成を行ってもよい。図１１は、図８のフレームＳ、フレームＰおよびフレームＱに基づいて、第１の動体領域（ボール）および第２の動体領域（バット）をフレームＳ（＝ｆ(Ａ＋１)）において対応するそれぞれの位置へ所定時間ごとに順次置換合成した合成画像ｃ(Ａ−１)’、ｃＡ’、ｃ(Ａ＋１)、ｃ(Ａ＋２)、およびｃ(Ａ＋３)を例示する図である。

【0099】

合成画像ｃ(Ａ−１)’は、フレームＳ（＝ｆ(Ａ＋１)）の第２の動体領域（バット）の代わりに、フレームｆ(Ａ−１)の第２の動体領域（バット）を合成した画像である。合成画像ｃＡ’は、フレームＳ（＝ｆ(Ａ＋１)）の第２の動体領域（バット）の代わりに、フレームｆＡの第２の動体領域（バット）を合成した画像である。フレームＳに対応する合成画像ｃ(Ａ＋１)は、フレームｆ(Ａ＋１)と同一である。

【0100】

また、合成画像ｃ(Ａ＋２)は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆ(Ａ＋２)の第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。合成画像ｃ(Ａ＋３)は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆ(Ａ＋３)の第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。

【0101】

これらの画像ｃ(Ａ−１)’、ｃＡ’、ｃ(Ａ＋１)、ｃ(Ａ＋２)、およびｃ(Ａ＋３)を液晶モニタ１５に順番に再生表示させると、静止画（＝ｆ(Ａ＋１)）という時間の止まった世界の中で、バットとボールが接触する前は第２の動体領域（バット）だけ時間が進行し、バットとボールが接触した後は第１の動体領域（ボール）および第２の動体領域（バット）だけ時間が進行するかのような、異質な世界を表現し得る。

【0102】

（変形例１０）
上述した第二の実施形態では、フレームｆ(Ａ＋１)におけるボールとバットの接触に基づいてバットの動きとボールの動きが関連すると判定した。このような２つの対象物の接触判定に加えて、または接触判定に代えて、音響データが示す音響レベルに基づいて２つの動体領域の動きが関連するか否かの判定をしてもよい。

【0103】

上述した第１の動体領域（ボール）と第２の動体領域（バット）の場合、両者の接触時に打撃音が発生する。変形例７のＣＰＵ１６は、マイク２２で集音され、音響処理回路２３で変換された音響データに基づいて音圧レベルの判定を行う。ＣＰＵ１６は、上記接触時に所定値以上の音圧レベルを判定した場合に、ボールとバットの接触に基づいてバットの動きとボールの動きが関連すると判定する。

【0104】

（変形例１１）
「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）を２つ設ける例として、第１の対象物（ボール）と、第１の対象物と接触する第２の対象物（バット）を例示した。この他にも、第１の対象物（例えばボール）の影を第２の対象物としてもよい。影は、ボールの移動に伴って移動し、ボールの輪郭形状に依拠した輪郭形状を有する。ＣＰＵ１６は、このことからボールの動きとその影の動きは同期すると判定し、影を含む領域を第２の動体領域とする。

【0105】

（変形例１２）
「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）を２つ設ける例として、変化する第１の対象物を含む第１の動体領域と、変化する第２の対象物を含む第２の動体領域とが隣接する場合があってもよい。例えば、鍋の中で煮えた特定具材が揺れている場合に特定具材を第１の対象物とし、この特定具材から舞い上がる湯気を第２の対象物とする。ＣＰＵ１６は、特定具材の向きが変わることによって立ち上る湯気の方向が変化した場合に、両者（第１の対象物と第２の対象物）の動きが関連すると判定する。変形例９の場合は、静止画という時間の止まった世界の中で、特定具材と、この特定具材から舞い上がる湯気だけ時間が進行するかのような、異質な世界を表現し得る。

【0106】

（変形例１３）
以上の説明では、「先撮り撮影モード」において取得した時系列に並ぶ複数フレームの画像群に基づいて「動き表現」する例を説明したが、複数の画像群は、必ずしも「先撮り撮影モード」で撮影した画像群でなくてもよい。例えば、連写によって取得した時系列に並ぶ複数フレームの画像群に基づいて「動き表現」してもよい。

【0107】

（変形例１４）
複数フレームの画像群を取得する際のフレームレートは、上述した毎秒１２０フレームでなくてもよく、毎秒３０フレームや、毎秒５フレームであってもよい。このフレームレートは、移動する被写体（対象物）の移動速度に応じて適宜設定してよい。なお、取得時のフレームレートより再生表示時のフレームレートを低くすると、いわゆるスロー再生を行える。

【0108】

（変形例１５）
「動き表現」に必要なデータを、動画ファイルとして記録してもよい。当該動画ファイルの中で、「動き表現」のために合成された映像が繰り返し再生可能である旨も記録する。具体的には、動画ファイルとして、動体領域の動画圧縮データと、非動体領域（背景となる静止領域）の圧縮画像データと、その他必要なデータ（静止領域に順次置換合成する動体領域データの座標位置、繰り返し再生の要否）を含める。

【0109】

（変形例１６）
以上の説明では、電子機器としてデジタルカメラ１を用いる例を説明したが、多機能携帯電話機やタブレット型コンピュータを用いて構成してもよい。

【0110】

（変形例１７）
上述した実施形態では、時系列に並ぶ複数フレームの画像群に基づいて、デジタルカメラ１で「動き表現」処理を行う例を説明したが、パーソナルコンピュータや、タブレット型コンピュータなどを用いて、事後的に「動き表現」処理を行う画像処理装置を構成してもよい。この場合、デジタルカメラ１で取得した画像データとして、時系列に並ぶ複数フレームの画像群を保存しておく。

【0111】

そして、図１２に示すコンピュータ２００に図７に例示したフローチャートの処理を行うプログラムを実行させることにより、静止画像の中で変化する被写体（対象物）を動的に表現する画像処理装置を構成する。プログラムをコンピュータ２００に取込んで使用する場合には、コンピュータ２００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。

【0112】

コンピュータ２００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体２０４をコンピュータ２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でコンピュータ２００へローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。プログラムは、記憶媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

【0113】

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

【符号の説明】

【0114】

１…デジタルカメラ
１２…撮像素子
１４…画像処理部
１５…液晶モニタ
１５ａ…タッチ操作部材
１６…ＣＰＵ
１７…フラッシュメモリ
１８…バッファメモリ
１９…記録再生部
２０…操作部材
５０…メモリカード
２００…コンピュータ
２０４…記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】