特許 6390075 画像処理装置、電子カメラ及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6390075

(24)【登録日】2018年8月31日

(45)【発行日】2018年9月19日

(54)【発明の名称】画像処理装置、電子カメラ及び画像処理プログラム

(51)【国際特許分類】

   H04N 5/77 20060101AFI20180910BHJP

   H04N 5/91 20060101ALI20180910BHJP

   H04N 5/232 20060101ALI20180910BHJP

【ＦＩ】

   H04N5/77

   H04N5/91

   H04N5/232 290

   H04N5/232 450

【請求項の数】13

【全頁数】18

(21)【出願番号】特願2013-109788(P2013-109788)

(22)【出願日】2013年5月24日

(65)【公開番号】特開2014-230194(P2014-230194A)

(43)【公開日】2014年12月8日

【審査請求日】2016年5月17日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】山口 未央

【審査官】 梅本 達雄

(56)【参考文献】

【文献】 特開２００６−２４６０１４（ＪＰ，Ａ）

【文献】 特開２０１０−２５２０６３（ＪＰ，Ａ）

【文献】 特開２０１３−０５５３７８（ＪＰ，Ａ）

【文献】 特開２００８−２８１３８５（ＪＰ，Ａ）

【文献】 特開２００３−１１０９３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７６ − ５／９５６

Ｈ０４Ｎ ５／２２２ − ５／２５７

(57)【特許請求の範囲】

【請求項1】

被写体を撮像して画像を生成する第１モードおよび第２モードのうちいずれか一方のモードを設定する設定部と、
前記第１モードに設定されると、第１画像に含まれる第１被写体と、前記第１被写体に重畳し、前記第１画像の奥行き方向において前記第１被写体よりも前方に存在する第２被写体と、のうち前記第２被写体を消去し、前記第１画像において前記第２被写体が存在した領域を前記第１画像とは異なる第２画像を用いて補正する補正部と、を備え、
前記第１モードにおいて生成された画像の解像度は、前記第２モードにおいて生成された画像の解像度よりも高い画像処理装置。

【請求項2】

前記第１モードおよび前記第２モードは、被写体を繰り返し撮像して複数の画像を生成する請求項１に記載の画像処理装置。

【請求項3】

前記第１モードにおいて前記第１画像の取得指示を受け付ける操作部材を備える請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記補正部は、前記第１画像の画像データから前記第１被写体と前記第２被写体とを抽出する請求項１〜３のいずれか一項に記載の画像処理装置。

【請求項5】

前記補正部は、前記第１画像の奥行き方向における前記第１被写体と前記第２被写体との距離を検出する請求項１〜４のいずれか一項に記載の画像処理装置。

【請求項6】

被写体を撮像して画像を生成する第１モードおよび第２モードのうちいずれか一方のモードを設定する設定部と、
前記第１モードに設定されると、第１画像に含まれる第１被写体と、前記第１被写体に重畳し、前記第１画像の奥行き方向において前記第１被写体よりも前方に存在する第２被写体と、のうち前記第２被写体を消去し、前記第１画像において前記第２被写体が存在した領域を前記第１被写体の画像を用いて補正する補正部と、を備え、
前記第１モードにおいて生成された画像の解像度は、前記第２モードにおいて生成された画像の解像度よりも高い画像処理装置。

【請求項7】

前記第１モードおよび前記第２モードは、被写体を繰り返し撮像して複数の画像を生成する請求項６に記載の画像処理装置。

【請求項8】

前記第１モードにおいて前記第１画像の取得指示を受け付ける操作部材を備える請求項６又は請求項７に記載の画像処理装置。

【請求項9】

前記補正部は、前記第１画像の画像データから前記第１被写体と前記第２被写体とを抽出する請求項６〜８のいずれか一項に記載の画像処理装置。

【請求項10】

前記補正部は、前記第１画像の奥行き方向における前記第１被写体と前記第２被写体との距離を検出する請求項６〜９のいずれか一項に記載の画像処理装置。

【請求項11】

被写体を撮像する撮像素子と、
前記撮像素子から画像を取得する請求項１〜１０のいずれか一項に記載の画像処理装置と
を備える電子カメラ。

【請求項12】

コンピュータに、
被写体を撮像して画像を生成する第１モードおよび第２モードのうちいずれか一方のモードを設定する設定ステップと、
前記第１モードに設定されると、第１画像に含まれる第１被写体と、前記第１被写体に重畳し、前記第１画像の奥行き方向において前記第１被写体よりも前方に存在する第２被写体と、のうち前記第２被写体を消去し、前記第１画像において前記第２被写体が存在した領域を前記第１画像とは異なる第２画像を用いて補正する補正ステップと、を実行させ、
前記第１モードにおいて生成された画像の解像度は、前記第２モードにおいて生成された画像の解像度よりも高い画像処理プログラム。

【請求項13】

コンピュータに、
被写体を撮像して画像を生成する第１モードおよび第２モードのうちいずれか一方のモードを設定する設定ステップと、
前記第１モードに設定されると、第１画像に含まれる第１被写体と、前記第１被写体に重畳し、前記第１画像の奥行き方向において前記第１被写体よりも前方に存在する第２被写体と、のうち前記第２被写体を消去し、前記第１画像において前記第２被写体が存在した領域を前記第１被写体の画像を用いて補正する補正ステップと、を実行させ、
前記第１モードにおいて生成された画像の解像度は、前記第２モードにおいて生成された画像の解像度よりも高い画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、電子カメラ及び画像処理プログラムに関する。

【背景技術】

【0002】

近年、デジタルカメラやビデオカメラなどの撮影機器で撮影した画像について種々の画像編集処理が行われるようになっている。
例えば特許文献１に記載の動画像印刷装置では、撮影された動画像中に被写体として含まれる移動体を画像編集処理の対象として設定する。そして、画像編集処理が行われた移動体と背景画像とを合成することにより静止画像を合成し、合成された静止画像の画像データを印刷部に出力して静止画像の印刷を行う。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−１８７２６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の動画像印刷装置では、撮影された動画像の奥行き方向における被写体同士の位置関係を考慮して画像編集処理の対象となる被写体が設定されていない。そのため、ユーザーによる画像編集処理に対する多様なニーズに対して十分に応えることができていなかった。

【0005】

本発明は、このような事情に鑑みてなされたものであり、その目的は、画像の奥行き方向における被写体同士の位置関係を考慮した多様な画像編集処理を行うことができる画像処理装置、電子カメラ及び画像処理プログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決する画像処理装置は、被写体を撮像して画像を生成する第１モードおよび第２モードのうちいずれか一方のモードを設定する設定部と、前記第１モードに設定されると、第１画像に含まれる第１被写体と、前記第１被写体に重畳し、前記第１画像の奥行き方向において前記第１被写体よりも前方に存在する第２被写体と、のうち前記第２被写体を消去し、前記第１画像において前記第２被写体が存在した領域を前記第１画像とは異なる第２画像を用いて補正する補正部と、を備え、前記第１モードにおいて生成された
画像の解像度は、前記第２モードにおいて生成された画像の解像度よりも高いことを特徴とする。
また、上記課題を解決する画像処理装置は、被写体を撮像して画像を生成する第１モードおよび第２モードのうちいずれか一方のモードを設定する設定部と、前記第１モードに設定されると、第１画像に含まれる第１被写体と、前記第１被写体に重畳し、前記第１画像の奥行き方向において前記第１被写体よりも前方に存在する第２被写体と、のうち前記第２被写体を消去し、前記第１画像において前記第２被写体が存在した領域を前記第１被写体の画像を用いて補正する補正部と、を備え、前記第１モードにおいて生成された画像の解像度は、前記第２モードにおいて生成された画像の解像度よりも高いことを特徴とする。

【0007】

また、上記画像処理装置において、前記第１モードおよび前記第２モードは、被写体を繰り返し撮像して複数の画像を生成することが好ましい。

【0008】

また、上記画像処理装置において、前記第１モードにおいて前記第１画像の取得指示を受け付ける操作部材を備えることが好ましい。

【0009】

また、上記画像処理装置において、前記補正部は、前記第１画像の画像データから前記第１被写体と前記第２被写体とを抽出することが好ましい。

【0010】

また、上記画像処理装置において、前記補正部は、前記第１画像の奥行き方向における前記第１被写体と前記第２被写体との距離を検出することが好ましい。

【0014】

また、上記課題を解決する電子カメラは、被写体を撮像する撮像素子と、前記撮像素子から画像を取得する上記構成の画像処理装置とを備えたことを特徴とする。

【0015】

また、上記課題を解決する画像処理プログラムは、コンピュータに、被写体を撮像して画像を生成する第１モードおよび第２モードのうちいずれか一方のモードを設定する設定ステップと、前記第１モードに設定されると、第１画像に含まれる第１被写体と、前記第１被写体に重畳し、前記第１画像の奥行き方向において前記第１被写体よりも前方に存在する第２被写体と、のうち前記第２被写体を消去し、前記第１画像において前記第２被写体が存在した領域を前記第１画像とは異なる第２画像を用いて補正する補正ステップと、を実行させ、前記第１モードにおいて生成された画像の解像度は、前記第２モードにおいて生成された画像の解像度よりも高いことを特徴とする。
また、上記課題を解決する画像処理プログラムは、コンピュータに、被写体を撮像して画像を生成する第１モードおよび第２モードのうちいずれか一方のモードを設定する設定ステップと、前記第１モードに設定されると、第１画像に含まれる第１被写体と、前記第１被写体に重畳し、前記第１画像の奥行き方向において前記第１被写体よりも前方に存在する第２被写体と、のうち前記第２被写体を消去し、前記第１画像において前記第２被写体が存在した領域を前記第１被写体の画像を用いて補正する補正ステップと、を実行させ、前記第１モードにおいて生成された画像の解像度は、前記第２モードにおいて生成された画像の解像度よりも高いことを特徴とする。

【発明の効果】

【0016】

本発明によれば、画像の奥行き方向における被写体同士の位置関係を考慮した多様な画像編集処理を行うことができる。

【図面の簡単な説明】

【0017】

【図1】第１の実施形態のデジタルカメラのブロック図。

【図2】同実施形態の画像処理エンジンが実行する補間合成処理ルーチンのフローチャート。

【図3】同実施形態の画像処理エンジンが補間合成処理を実行する過程で生成する画像の内容を示す模式図であって、（ａ）は対象画像の模式図、（ｂ）は対象画像から消去被写体が消去されたテンプレート画像の模式図、（ｃ）はテンプレート画像に対して補間合成処理が行われた合成画像の模式図。

【図4】第２の実施形態の画像処理エンジンが実行する補間合成処理ルーチンのフローチャート。

【図5】第３の実施形態の画像処理エンジンが実行する補間合成処理ルーチンのフローチャート。

【図6】同実施形態の画像処理エンジンが補間合成処理を実行する過程で生成する画像の内容を示す模式図であって、（ａ）は対象画像の模式図、（ｂ）は対象画像から消去被写体が消去されたテンプレート画像の模式図、（ｃ）はテンプレート画像に対して補間合成処理が行われた合成画像の模式図。

【発明を実施するための形態】

【0018】

（第１の実施形態）
以下、本発明を具体化した第１の実施形態を図面に従って説明する。
図１に示すように、デジタルカメラ（以下、「カメラ１０」という）は、ズームレンズなどの複数のレンズからなるレンズ部１１（図１では１つのレンズのみ図示）と、レンズ部１１を通過した光をレンズ部１１の像空間側において結像させて撮像する撮像素子１２とを備えている。なお、撮像素子１２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型、又は、ＣＣＤ（Charge Coupled Device）型のカラーイメージセンサからなる。

【0019】

撮像素子１２の出力側には、画像処理エンジン１３がＡ／Ｄ変換回路１４を介して接続されている。そして、撮像素子１２からアナログ信号として出力される画素信号は、Ａ／Ｄ変換回路１４においてデジタル信号に変換された後に画像処理エンジン１３に入力される。

【0020】

画像処理エンジン１３は、カメラ１０の各種の動作を統括的に制御するＭＰＵ１５（Micro Processing Unit）を備えている。そして、ＭＰＵ１５は、撮像素子１２から入力された画素信号に対し、色補間処理、階調補正、ホワイトバランス処理及び輪郭補償等の画像処理を施すことにより所定の画像を生成する。

【0021】

画像処理エンジン１３には、データバス１６を介して不揮発性メモリ１７、バッファメモリ１８、インターフェース部（以下、「Ｉ／Ｆ部１９」）という）及びモニタ２０が接続されている。

【0022】

不揮発性メモリ１７は、画像処理エンジン１３を動作させるためにＭＰＵ１５が実行するプログラムを格納している。なお、本実施形態では、不揮発性メモリ１７は、図２にフローチャートで示す補正処理の一例である補間合成処理用の画像処理プログラムなどを格納している。そして、ＭＰＵ１５は、不揮発性メモリ１７に格納された補間合成処理用の画像処理プログラムを実行することにより、被写体検出部２２、対象画像設定部２３、位置取得部２４、対象被写体設定部２５、消去対象設定部２６、補間合成処理部２７として機能する。

【0023】

バッファメモリ１８は、例えば、撮影画像、画像処理過程の画像、画像処理後の画像及び画像圧縮後の画像などを一時的に格納している。
Ｉ／Ｆ部１９は、メモリカード２８が着脱自在に装着されるカードスロット（図示略）を有している。そして、Ｉ／Ｆ部１９は、画像処理エンジン１３によって生成された画像をＩ／Ｆ部１９に装着されたメモリカード２８に出力したり、メモリカード２８に記憶されている画像を画像処理エンジン１３に出力したりする機能を有している。

【0024】

モニタ２０には、バッファメモリ１８に一時的に格納されている画像や、Ｉ／Ｆ部１９に装着されたメモリカード２８に格納されている画像が画像処理エンジン１３によって出力されて表示される。

【0025】

また、画像処理エンジン１３には、レリーズボタン２９及び操作部３０が接続されている。レリーズボタン２９は、半押し操作がなされた際と全押し操作がなされた際に操作信号を画像処理エンジン１３に入力する。操作部３０は、メニューボタン、セレクトボタン、決定ボタン、及び電源ボタン等により構成されており、押圧操作がなされた際に操作信号を画像処理エンジン１３に入力する。

【0026】

次に、本実施形態の画像処理エンジン１３のＭＰＵ１５が実行する補間合成処理ルーチンの概要を図２のフローチャートを参照しながら説明する。
さて、ＭＰＵ１５は、カメラ１０が電源ＯＮ状態である場合において、画像編集処理のモード状態が補間合成処理モードに設定されると、図２に示す補間合成処理ルーチンを開始する。この場合、補間合成処理モードの設定は、操作部３０を構成するメニューボタンの押圧操作によって行ってもよいし、レリーズボタン２９の半押し操作によって行ってもよい。また、補間合成処理モードの設定は、モニタ２０にスルー画が表示されている状態で行ってもよいし、ＭＰＵ１５が撮像素子１２から出力された画素信号に基づいて生成した動画をバッファメモリ１８に格納して撮影している最中に行ってもよい。

【0027】

そして、補間合成処理ルーチンが開始すると、まず、ステップＳ１１において、ＭＰＵ１５は、レリーズボタン２９の半押し操作がなされたか否かを判定する。そして、ＭＰＵ１５は、レリーズボタン２９の半押し操作がなされていない（ステップＳ１１＝ＮＯ）と判定した場合、レリーズボタン２９の半押し操作がなされるまでステップＳ１１の処理を周期的に繰り返す。

【0028】

一方、ＭＰＵ１５は、レリーズボタン２９の半押し操作がなされた（ステップＳ１１＝ＹＥＳ）と判定した場合、次のステップＳ１２において、補間合成処理に用いられる画像情報を含む処理情報画像としての動画の撮影を開始する。すなわち、レリーズボタン２９は、補間合成処理のための動画を取得する際に操作される操作部材の一例となる。この場合、補間合成処理のために撮影される動画の解像度は、通常の動画撮影モードにおいてカメラ１０が設定可能とする動画の解像度の最大値（例えば「１９２０×１０８０ピクセル」）に設定される。また、動画の撮影時に補間合成処理モードの設定がなされた場合では、その時点まで撮影されていた動画の解像度を例えば「１２８０×７２０ピクセル」とした場合、補間合成処理のために撮影される動画の解像度は、通常の動画撮影モードにおいてカメラ１０が設定可能とする動画の解像度の最大値（例えば「１９２０×１０８０ピクセル」）まで上昇する。なお、補間合成処理のために撮影される動画の解像度は、通常の動画撮影モードにおいてカメラ１０が設定可能とする動画の解像度の最大値よりも大きい値（例えば静止画の解像度の最大値の一例である「３６９６×２４４８ピクセル」）に設定されてもよい。

【0029】

また、補間合成処理のために撮影される動画の間引き率を、通常の動画撮影モードにおいてカメラ１０が設定可能とする動画の間引き率の最大値（例えば「１／３」）に設定してもよい。ここで、間引き率とは、撮像素子１２の全ての画素のうち、間引き読み出し処理によって画素信号が読み出される画素の比率を示している。また、動画の撮影時に補間合成処理モードの設定がなされた場合では、その時点まで撮影されていた動画の間引き率を例えば「１／５」とした場合、補間合成処理のために撮影される動画の間引き率は、通常の動画撮影モードにおいてカメラ１０が設定可能とする動画の間引き率の最大値（例えば「１／３」）まで上昇する。なお、補間合成処理のために撮影される動画の間引き率は、通常の動画撮影モードにおいてカメラ１０が設定可能とする動画の間引き率の最大値よりも大きい値（例えば「間引きなし」）に設定されてもよい。

【0030】

また、補間合成処理のための動画を撮影する場合、ＭＰＵ１５が撮像素子１２から出力された画素信号に基づいて生成する時系列的に連続した複数のフレーム画像のうち、動画を構成するフレーム画像として残すフレーム画像の枚数の比率を、通常の動画撮影モードにおいて動画を撮影する場合よりも大きく設定してもよい。

【0031】

そして次に、ステップＳ１３において、ＭＰＵ１５は、レリーズボタン２９の全押し操作がなされたか否かを判定する。そして、ＭＰＵ１５は、レリーズボタン２９の全押し操作がなされていない（ステップＳ１３＝ＮＯ）と判定した場合、レリーズボタン２９の全押し操作がなされるまでステップＳ１３の処理を周期的に繰り返す。一方、ＭＰＵ１５は、レリーズボタン２９の全押し操作がなされた（ステップＳ１３＝ＹＥＳ）と判定した場合、その処理をステップＳ１４に移行する。

【0032】

そして、ステップＳ１４において、ＭＰＵ１５の対象画像設定部２３は、対象画像設定ステップとして、その時点でＭＰＵ１５が撮像素子１２から出力された画素信号に基づいて生成している静止画を補間合成処理の対象となる対象画像として設定する。そして、ＭＰＵ１５の対象画像設定部２３は、対象画像として設定された静止画をバッファメモリ１８に格納する。

【0033】

具体的には、例えば図３（ａ）に示すように、ＭＰＵ１５の対象画像設定部２３は、レリーズボタン２９の全押し操作がなされた時点でモニタ２０に被写体としてライオン４０と檻４１が表示されていた画像を静止画として生成し、生成した静止画を対象画像としてバッファメモリ１８に格納する。

【0034】

そして次に、ステップＳ１５において、ＭＰＵ１５の被写体検出部２２は、被写体ステップとして、対象画像として設定された静止画に含まれる被写体を検出する。この被写体の検出は、例えばラベリング技術やパターン認識技術を用いて行われる。ここで、ラベリング技術とは、対象画像から検出した画素データの輝度と被写体に対応する基準閾値とを比較して対象画像における画素データを２値化し、被写体を示す領域と背景を示す領域とを分離することにより、対象画像中から被写体を検出する技術である。こうしたラベリング技術の一種である顔検出技術では、例えば被写体が人物である場合には、検出した画素データの輝度と肌色領域に対応する基準閾値とを比較することにより、肌色領域が人物の顔の領域として検出される。また、パターン認識技術とは、対象画像中から検出した画像データと不揮発性メモリ１７に予め格納されている被写体（例えば、人物の顔やペット等の動物や建物等）の画像パターンとを比較して画像中から被写体を検出する技術である。なお、被写体が人物である場合には、既知の輪郭抽出処理によって顔を含む被写体の輪郭が抽出される。そして、ＭＰＵ１５の被写体検出部２２は、対象画像から検出した被写体の画像を、例えばＥｘｉｆ（Exchangeable Image File Format）形式でバッファメモリ１８に格納する。

【0035】

続いて、ステップＳ１６において、ＭＰＵ１５の位置取得部２４は、位置取得ステップとして、対象画像から抽出された被写体とカメラ１０との距離情報を取得する。この距離情報の測定方式としては、例えば、位相差検出方式、コントラスト方式、及びＴＯＦ（Time Of Flight）方式等を採用することができる。ここで、位相差検出方式とは、被写体からの光のうちレンズ部１１の端部付近を通過する光を分離し、この分離された光が撮像素子１２に代えて配置されたＡＦ用のラインセンサ上に形成する二つの像の位相差に基づいて被写体とカメラ１０との距離を測定する方式である。また、コントラスト方式とは、レンズ部１１を光軸方向に移動させつつ各被写体のコントラスト値を求め、各被写体においてコントラスト値が最も高くなったときのレンズ部１１の光軸方向における位置に基づいて、被写体とカメラとの距離を測定する方式である。また、ＴＯＦ方式とは、カメラ１０に搭載された投光素子から被写体に向けて照射光を照射するとともに被写体から反射された反射光を撮像素子１２によって検出し、照射光と反射光との光の位相差に基づいて、被写体とカメラとの距離を測定する方式である。

【0036】

そして、ＭＰＵ１５の位置取得部２４は、取得した距離情報に基づいて対象画像の奥行き方向における被写体の位置関係を認識する。すなわち、取得した距離情報が小さい被写体が対象画像の奥行き方向の手前側となり、取得した距離情報が大きい被写体が対象画像の奥行き方向の奥側となるように順位付けを行う。そして、ＭＰＵ１５の位置取得部２４は、この順位付けのデータを、対象画像から検出された被写体の画像の付加情報としてバッファメモリ１８に格納する。

【0037】

図３（ａ）に示す例では、対象画像に被写体として含まれているライオン４０よりも手前側に被写体として檻４１が存在するため、檻４１の距離情報がライオン４０の距離情報よりも小さくなる。そして、距離情報が相対的に小さい被写体である檻４１が対象画像の奥行き方向の手前側となり、取得される距離情報が相対的に大きい被写体であるライオン４０が対象画像の奥行き方向の奥側となるように順位付けがなされる。

【0038】

そして次に、ステップＳ１７において、ＭＰＵ１５の対象被写体設定部２５は、対象画像から検出された被写体の中から補間合成処理の対象となる被写体が選択されたか否かを判定する。ここで、被写体の選択の有無は、例えば、操作部３０を構成するセレクトボタンや決定ボタンの押圧操作を通じて被写体の選択及び決定がなされたか否かに基づいて判定される。なお、被写体の選択の有無は、モニタ２０がタッチパネルである場合には、モニタ２０のタッチ操作を通じて被写体の選択及び決定がなされたか否かに基づいて判定されてもよい。そして、ＭＰＵ１５の対象被写体設定部２５は、被写体の選択がなされていない（ステップＳ１７＝ＮＯ）と判定した場合、被写体の選択がなされるまでステップＳ１７の処理を周期的に繰り返す。一方、ＭＰＵ１５の対象被写体設定部２５は、被写体の選択がなされた（ステップＳ１７＝ＹＥＳ）と判定した場合、その処理をステップＳ１８に移行する。

【0039】

そして、ステップＳ１８において、ＭＰＵ１５の対象被写体設定部２５は、基準被写体設定ステップとして、先のステップＳ１７において選択された被写体を対象被写体として設定する。なお、本実施形態では、対象被写体は、対象画像の奥行き方向における被写体同士の位置関係の基準となる基準被写体でもある。

【0040】

続いて、ステップＳ１９において、ＭＰＵ１５の消去対象設定部２６は、対象被写体の前方に他の被写体が重なっているか否かを判定する。この判定は、例えば以下のようにして行われる。すなわち、ＭＰＵ１５の消去対象設定部２６は、まず、バッファメモリ１８に格納されている被写体の画像を、被写体の画像の付加情報として格納されている順位付けのデータと併せて読み出す。そして、ＭＰＵ１５の消去対象設定部２６は、読み出したデータに基づいて、対象画像の奥行き方向における対象被写体に対する他の被写体の位置関係を認識する。続いて、ＭＰＵ１５の消去対象設定部２６は、読み出した被写体の画像から対象被写体及び他の被写体の輪郭形状を認識する。そして次に、ＭＰＵ１５の消去対象設定部２６は、対象被写体よりも対象画像の手前側にあると認識された被写体のうち、対象被写体の輪郭形状の内側にその輪郭形状の少なくとも一部が配置される被写体を対象被写体の前方に重なっている他の被写体として認識する。

【0041】

なお、図３（ａ）に示す例では、対象画像に被写体として含まれるライオン４０及び檻４１のうち、ライオン４０が対象被写体として設定されている場合、檻４１はライオン４０の前方に重なっている他の被写体として認識される。

【0042】

そして、ＭＰＵ１５の消去対象設定部２６は、先のステップＳ１９において対象被写体の前方に他の被写体が重なっている（ステップＳ１９＝ＹＥＳ）と判定された場合、その判定された他の被写体の画像の付加情報として「１」をとるフラグ情報を書き込んでバッファメモリ１８に格納し、その処理をステップ２０に移行する。

【0043】

そして、ステップＳ２０において、ＭＰＵ１５の消去対象設定部２６は、消去対象設定ステップとして、先のステップＳ１８においてフラグ情報として「１」を書き込んだ被写体を対象画像から消去する対象となる消去被写体として設定する。なお、図３（ａ）に示す例では、檻４１が消去被写体として設定される。

【0044】

なお、ＭＰＵ１５の消去対象設定部２６は、先のステップＳ１９において対象被写体の前方に他の被写体が重なっていない（ステップＳ１９＝ＮＯ）と判定された場合、その判定された他の被写体の画像の付加情報として「０」をとるフラグ情報を書き込んでバッファメモリ１８に格納する。そして、ＭＰＵ１５の消去対象設定部２６は、フラグ情報として「１」を書き込んだ被写体は存在せず、対象画像から消去する対象となる消去被写体がないと判断する。そのため、ＭＰＵ１５は、その時点でバッファメモリ１８に格納されている補間合成処理が行われていない対象画像を不揮発性メモリ１７に格納し、補間合成処理ルーチンを終了する。

【0045】

そして次に、ステップＳ２１において、ＭＰＵ１５の補間合成処理部２７は、先のステップＳ１９において消去被写体として設定された被写体の画素データを対象画像から消去する。そして、ＭＰＵ１５の補間合成処理部２７は、消去被写体が消去された対象画像をテンプレート画像としてバッファメモリ１８に格納する。

【0046】

具体的には、例えば図３（ｂ）に示すように、対象画像に被写体として含まれていた檻の画素部分の画素データが欠損し、対象被写体としてのライオン４０の画素部分の一部に空白部分４２が形成された画像がテンプレート画像としてバッファメモリ１８に格納される。

【0047】

続いて、ＭＰＵ１５の補間合成処理部２７は、補正処理ステップとして、テンプレート画像のうち消去被写体が消去された欠損部分の画素データを取得する。ここで、テンプレート画像における欠損部分の画素データの取得は、図３（ｂ）に示す例のように、対象被写体が移動体（ライオン４０）であるとともに前方の被写体が静止体（檻４１）である場合には、撮影周期ごとに撮像素子１２により繰り返し撮影される画像の中から対象被写体と一致または類似する画像領域を検索することによって対象被写体の位置を随時検出する。この場合、対象被写体が前方の被写体に対して相対移動するため、対象被写体の輪郭形状のうち、前方の被写体によって隠れていた画素部分が撮像素子１２によって撮像されるようになる。そのため、対象被写体の輪郭形状のうち、前方の被写体によって隠れていた画素部分の画素データは、ＭＰＵ１５が撮像素子１２から出力された画像信号に基づいて生成している補間合成処理のための動画に含まれることとなる。そのため、ＭＰＵ１５の補間合成処理部２７は、この補間合成処理のための動画から対象被写体のうち前方の被写体によって隠れていた欠損部分の画素データを取得する。なお、テンプレート画像における画素データの取得は、対象被写体及び前方の被写体の双方が移動体である場合にも同様にして行うことができる。また、対象被写体及び前方の被写体の双方が静止体である場合には、例えば撮像者自身が動いたり、又は、カメラ１０を動かしたりすることによって、テンプレート画像における画素データの取得を行うことができる。そして、ＭＰＵ１５の補間合成処理部２７は、取得した画素データをテンプレート画像における欠損部分の画素データとして含むテンプレート画像に更新した状態でバッファメモリ１８に格納する。

【0048】

そして次に、ステップＳ２２において、ＭＰＵ１５の補間合成処理部２７は、テンプレート画像のうち消去被写体が消去された欠損部分の全ての画素データが取得されたか否かを判定する。そして、ＭＰＵ１５は、欠損部分の全ての画素データが取得されていない（ステップＳ２２＝ＮＯ））と判定した場合、欠損部分の全ての画素データが取得されるまで補間合成処理のための動画の撮影を継続させる。

【0049】

一方、ＭＰＵ１５の補間合成処理部２７は、欠損部分の全ての画素データが取得された（ステップＳ２２＝ＹＥＳ）と判定した場合、その処理をステップＳ２３に移行し、補間合成処理のための動画の撮影を終了する。

【0050】

そして、ステップ２４において、ＭＰＵ１５の補間合成処理部２７は、この時点でバッファメモリ１８に格納されているテンプレート画像、即ち、欠損部分の全ての画素データが取得されたテンプレート画像を合成画像として不揮発性メモリ１７に格納する。

【0051】

具体的には、例えば図３（ｃ）に示すように、対象画像において画素データが欠損していた檻４１の画素部分が対象被写体としてのライオン４０の画素部分に置き換わった画像が合成画像として不揮発性メモリ１７に格納される。

【0052】

次に、上記のように構成されたカメラ１０の作用について、特に、ＭＰＵ１５が画像に対して補間合成処理を行う際の作用に着目して以下説明する。
さて、本実施形態では、補間合成処理の際には、ＭＰＵ１５が対象画像に含まれる被写体の中から対象被写体の前方に重なっている被写体を検出し、検出した被写体を対象画像から消去する。そして、ＭＰＵ１５は、対象画像において被写体が消去された画素部分を対象被写体の画素部分に置き換えた画像を合成画像として生成する。すなわち、ＭＰＵ１５は、対象被写体の手前側に存在していた被写体が無い状態を仮定した場合に、その際に想定される構図の静止画を合成画像として生成する。

【0053】

この場合、ＭＰＵ１５は、対象画像に含まれる被写体の距離情報を取得し、取得した距離情報に基づいて対象画像の奥行き方向における被写体の位置関係を認識する。そして、ＭＰＵ１５は、認識した被写体の位置関係に基づいて、対象画像に含まれる被写体の中から対象被写体の前方に重なっている被写体を検出する。そのため、ＭＰＵ１５は、対象被写体の前方に重なっている被写体が静止体であるか移動体であるかに関わらず、その被写体を検出して対象画像から消去することが可能となっている。

【0054】

また、本実施形態では、ＭＰＵ１５は、撮像者が補間合成処理のために動画を撮影しようと意思決定してレリーズボタン２９を半押し操作した時点で、レリーズボタン２９から画像処理エンジン１３に入力される操作信号をトリガーとして動画の撮影が開始される。そのため、画像編集処理のモード状態が補間合成処理モードに設定されると同時に動画の撮影が開始される場合と比較して、動画が撮影される時間が短縮される。したがって、動画を記憶するバッファメモリ１８のメモリ残量を十分に確保しつつ補間合成処理を行うことが可能となる。

【0055】

上記第１の実施形態によれば、以下に示す効果を得ることができる。
（１）対象画像の奥行き方向における特定の被写体に対する他の被写体の相対位置に基づいて、対象画像から消去する対象となる消去被写体が設定される。そして、対象画像から消去された消去被写体に対応する部分の画像情報が補間合成処理によって補われる。そのため、対象画像の奥行き方向における被写体同士の位置関係を考慮した多様な画像編集処理を行うことができる。

【0056】

（２）補間合成処理の対象となる対象被写体を基準とした他の被写体の相対位置に基づいて、対象画像から消去する対象となる消去被写体が設定される。そのため、補間合成処理の対象となる対象被写体を基準とした対象画像の奥行き方向における被写体同士の位置関係を考慮した多様な画像編集処理を行うことができる。

【0057】

（３）対象画像の奥行き方向において対象被写体よりも手前側に位置する被写体が消去されることにより、対象画像における対象被写体を強調した画像編集処理を行うことができる。

【0058】

（４）対象画像の奥行き方向において対象被写体に重なって配置された消去被写体を消去するとともに、対象画像において消去された消去被写体によって遮られていた部分の画像情報が補間合成処理によって補われる。そのため、対象画像において対象被写体を遮っていた消去被写体を消去することにより、対象被写体を鮮明に表示させて強調した画像編集処理を行うことができる。

【0059】

（５）補間合成処理の際に必要とされる画像情報を動画から取得することにより、対象画像から消去された消去被写体に対応する部分を補う補間合成処理を行うことができる。
（６）撮像者が補間合成処理のための動画を取得する意思決定をした時点から動画の撮影が開始される。そのため、画像編集処理のモード状態が補間合成処理モードに設定されると同時に動画の撮影が開始される場合と比較して、動画が撮影される時間が短縮される。したがって、動画を記憶するバッファメモリ１８のメモリ残量を十分に確保しつつ補間合成処理を行うことができる。

【0060】

（７）動画の撮影時に補間合成処理モードの設定がなされた場合では、対象画像として静止画が設定された時点で、その時点まで撮影されていた動画よりも解像度の高い動画が撮影される。そのため、動画の解像度は、対象画像として設定された静止画の解像度に近づく。したがって、動画に含まれる画像情報を用いて対象画像として設定された静止画の補間合成処理を行うことにより、対象画像から消去された消去被写体に対応する部分を鮮明に補うことができる。

【0061】

（８）動画の撮影時に補間合成処理モードの設定がなされた場合では、対象画像として静止画が設定された時点で、その時点まで撮影されていた動画よりも間引き率の高い動画が撮影される。そのため、動画の解像度は、対象画像として設定された静止画の解像度に近づく。したがって、動画に含まれる画像情報を用いて対象画像として設定された静止画の補間合成処理を行うことにより、対象画像から消去された消去被写体に対応する部分を鮮明に補うことができる。

【0062】

（第２の実施形態）
次に、第２の実施形態について説明する。なお、第２の実施形態は、対象画像から対象被写体が自動的に設定される点が第１の実施形態と異なる。したがって、以下の説明においては、第１の実施形態と相違する構成について主に説明し、第１の実施形態と同一又は相当する構成については同一符号を付して重複説明を省略する。

【0063】

図４に示すように、本実施形態のＭＰＵ１５が実行する補間合成処理ルーチンにおいて、ステップＳ３１〜ステップＳ３６の各処理は第１の実施形態における図２のステップＳ１１〜Ｓ１６の各処理と同様である。

【0064】

そして、ステップＳ３７において、ＭＰＵ１５の対象被写体設定部２５は、対象画像の撮影モードが設定されているか否かを判定する。具体的には、ＭＰＵ１５の対象被写体設定部２５は、バッファメモリ１８に格納されている対象画像の付加情報として対象画像の撮影モードに関する情報が含まれているか否かを判定する。なお、対象画像の撮影モードとしては、例えば、ＭＰＵ１５が撮像素子１２から出力された画素信号に基づいて対象画像として静止画を生成した際に、その時点でカメラ１０において静止画の撮影モードとして設定されていた撮影モードが設定される。そして、ＭＰＵ１５の対象被写体設定部２５は、対象画像の撮影モードが設定されている（ステップＳ３７＝ＹＥＳ）と判定した場合、その処理をステップＳ３８に移行する。

【0065】

続いて、ステップＳ３８において、ＭＰＵ１５の対象被写体設定部２５は、対象画像から検出された被写体の中に、対象画像に設定されている撮影モードに対応付けられた被写体があるか否かを判定する。この判定は、一例として以下のようにして行われる。すなわち、まず、カメラ１０における静止画の撮影モードの種類と、パターン認識技術によって認識可能とされる被写体の種類とを対応付けたデータベースを不揮発性メモリ１７に予め格納しておく。次に、対象画像に対してパターン認識技術を適用することにより、対象画像に含まれる被写体の種類を認識する。そして、認識された被写体の種類の中に、上記のデータベースにおいて対象画像の撮影モードの種類と対応付けられた種類と一致する被写体があるか否かを判定する。

【0066】

そして、ＭＰＵ１５の対象被写体設定部２５は、撮影モードに対応付けられた被写体がある（ステップＳ３８＝ＹＥＳ）と判定した場合、その処理をステップＳ３９に移行し、上記のステップＳ３８において判定した被写体を対象被写体として設定する。この場合、例えば、対象画像の撮影モードとして「ポートレートモード」が設定されている場合には、対象画像に含まれる被写体のうち、パターン認識技術の一種である顔認識技術により認識された顔領域を含む被写体が撮影モードに対応付けられた被写体であると判定され、その判定された被写体が対象被写体として設定される。

【0067】

一方、ＭＰＵ１５の対象被写体設定部２５は、撮影モードに対応付けられた被写体がない（ステップＳ３８＝ＮＯ）と判定した場合、その処理をステップＳ４０に移行する。なお、ＭＰＵ１５の対象被写体設定部２５は、上記のステップＳ３７において対象画像の撮影モードが設定されていない（ステップＳ３７＝ＮＯ）と判定した場合にも、その処理をステップＳ４０に移行する。

【0068】

そして、ステップＳ４０及び該ステップＳ４０に続くステップＳ４１において、ＭＰＵ１５の対象被写体設定部２５は、第１の実施形態における図２のステップＳ１７及びステップＳ１８の処理と同様にして、対象画像から検出された被写体の中から補間合成処理の対象となる対象被写体を選択して設定する。

【0069】

そして以降、ＭＰＵ１５は、ステップＳ４２〜ステップＳ４７において、第１の実施形態における図２のステップＳ１９〜ステップＳ２４の各処理と同様の処理を経て、対象画像に対して補間合成処理を行う。

【0070】

上記第２の実施形態によれば、上記第１の実施形態の効果（１）〜（８）に加え、以下に示す効果を得ることができる。
（９）対象画像に含まれる被写体のうち対象画像の撮影モードに対応付けられた被写体を対象被写体として自動的に設定することができる。

【0071】

（第３の実施形態）
次に、第３の実施形態について説明する。なお、第３の実施形態は、対象画像における複数の対象被写体を基準として補間合成処理が行われる点が第１の実施形態と異なる。したがって、以下の説明においては、第１の実施形態と相違する構成について主に説明し、第１の実施形態と同一又は相当する構成については同一符号を付して重複説明を省略する。

【0072】

図５に示すように、本実施形態のＭＰＵ１５が実行する補間合成処理ルーチンにおいて、ステップＳ５１〜ステップＳ５７の各処理は第１の実施形態における図２のステップＳ１１〜ステップＳ１７の各処理と同様である。

【0073】

なお、本実施形態では、例えば図６（ａ）に示すように、ＭＰＵ１５の対象画像設定部２３は、二匹のライオン４０Ａ，４０Ｂと、各々のライオン４０Ａ，４０Ｂに対応する檻４１Ａ，４１Ｂとが被写体として含まれる静止画を対象画像として設定している。この場合、ライオン４０Ａ，４０Ｂは、対象画像の奥行き方向において互いに異なる位置に配置されている。また同様に、檻４１Ａ，４１Ｂは、対象画像の奥行き方向において互いに異なる位置に配置されている。

【0074】

そして、ステップＳ５８において、ＭＰＵ１５の対象被写体設定部２５は、先のステップＳ５７において選択された被写体が複数であるか否かを判定する。続いて、ＭＰＵ１５の対象被写体設定部２５は、選択された被写体が複数である（ステップＳ５８＝ＹＥＳ）と判定した場合、その処理をステップＳ５９に移行する。そして、ステップＳ５９において、ＭＰＵ１５の対象被写体設定部２５は、選択された複数の被写体を対象被写体として設定する。

【0075】

そして次に、ステップＳ６０において、ＭＰＵ１５の消去対象設定部２６は、選択された複数の対象被写体のうち、対象画像に含まれる他の被写体が前方に重なっている対象被写体があるか否かを判定する。この判定は、第１の実施形態における図２のステップＳ１９と同様にして行われる。そして、ＭＰＵ１５の消去対象設定部２６は、他の被写体が前方に重なっている対象被写体がある（ステップＳ６０＝ＹＥＳ）と判定した場合には、その処理をステップＳ６１に移行する。

【0076】

続いて、ステップＳ６１において、ＭＰＵ１５の消去対象設定部２６は、他の被写体が前方に重なっている対象被写体が複数であるか否かを判定する。この判定では、対象画像の奥行き方向において互いに異なる位置に配置された複数の被写体が対象被写体として設定されている場合には、ＭＰＵ１５の消去対象設定部２６は、まず、対象画像の奥行き方向においてこれらの対象被写体が配置された複数の位置を基準として他の被写体の位置関係を認識する。そして次に、ＭＰＵ１５の消去対象設定部２６は、各々の対象被写体の前方にある他の被写体の中で、各々の対象被写体に重なっている他の被写体があるか否かを認識する。その後、ＭＰＵ１５の消去対象設定部２６は、重なっている他の被写体があると認識した対象被写体の数を判定する。そして、ＭＰＵ１５の消去対象設定部２６は、他の被写体が前方に重なっている対象被写体が複数である（ステップＳ６１＝ＹＥＳ）と判定した場合には、各々の対象被写体の前方に重なっている他の被写体の画像の付加情報として「１」をとるフラグ情報を書き込んでバッファメモリ１８に格納し、その処理をステップ６２に移行する。

【0077】

なお、図６（ａ）に示す例では、対象画像の奥行き方向において互いに異なる位置に配置された二匹のライオン４０Ａ，４０Ｂが対象被写体として設定されている。この場合、ライオン４０Ａの前方にある被写体としては檻４１Ａが認識される。そして、この認識された檻４１Ａはライオン４０Ａに重なっているため、ライオン４０Ａは檻４１Ａが前方に重なっている対象被写体として判断される。また、ライオン４０Ｂの前方にある被写体としては、檻４１Ａ、ライオン４０Ａ、檻４１Ｂが認識される。そして、これらの認識された被写体のうち、対象被写体であるライオン４０Ａ以外の被写体である檻４１Ａ及び檻４１Ｂは他の被写体として認識される。また、この認識された檻４１Ａ及び檻４１Ｂはライオン４０Ｂに重なっているため、ライオン４０Ｂは檻４１Ａ及び檻４１Ｂが前方に重なっている対象被写体として判断される。

【0078】

そして次に、ステップＳ６２において、ＭＰＵ１５の消去対象設定部２６は、先のステップＳ６１においてフラグ情報として「１」を書き込んだ被写体を対象画像から消去する対象となる消去被写体として設定する。なお、図６（ａ）に示す例では、ライオン４０Ａ，４０Ｂの前方に重なっている檻４１Ａ，４１Ｂが消去被写体として設定される。

【0079】

一方、先のステップＳ６１において、ＭＰＵ１５の消去対象設定部２６は、他の被写体が前方に重なっている対象被写体が複数ではない（ステップＳ６１＝ＮＯ）と判定した場合には、他の被写体が前方に重なっている対象被写体の数は一つであると判断する。そして、ＭＰＵ１５の消去対象設定部２６は、対象被写体の前方に重なっている他の被写体の画像の付加情報として「１」をとるフラグ情報を書き込んでバッファメモリ１８に格納し、その処理をステップ６３に移行する。

【0080】

そして、ステップＳ６３において、ＭＰＵ１５の消去対象設定部２６は、先のステップＳ６１においてフラグ情報として「１」を書き込んだ被写体を対象画像から消去する対象となる消去被写体として設定する。

【0081】

なお、ＭＰＵ１５の消去対象設定部２６は、先のステップＳ６０において他の被写体が前方に重なっている対象被写体がない（ステップＳ６０＝ＮＯ）と判定された場合、対象画像に対象被写体以外の被写体として含まれる他の被写体の画像の付加情報として「０」をとるフラグ情報を書き込んでバッファメモリ１８に格納する。そして、ＭＰＵ１５の消去対象設定部２６は、対象画像から検出された被写体のうち、フラグ情報として「１」を書き込んだ被写体は存在せず、対象画像から消去する対象となる被写体がないと判断する。そのため、ＭＰＵ１５は、その時点でバッファメモリ１８に格納されている補間合成処理が行われていない対象画像を不揮発性メモリ１７に格納し、補間合成処理ルーチンを終了する。

【0082】

一方、ＭＰＵ１５の対象被写体設定部２５は、先のステップＳ５８において選択された被写体が複数ではない（ステップＳ５８＝ＮＯ）と判定した場合には、先のステップＳ５８において選択された被写体が一つであると判断する。そして、ステップＳ６４において、ＭＰＵ１５の対象被写体設定部２５は、選択された一つの被写体を対象被写体として設定する。

【0083】

そして次に、ステップＳ６５及びＳ６６において、ＭＰＵ１５の消去対象設定部２６は、第１の実施形態における図２のステップＳ１９及びステップＳ２０の処理と同様にして、対象画像から消去する対象となる消去被写体を設定する。

【0084】

そして以降、ＭＰＵ１５の補間合成処理部２７は、ステップＳ６７〜ステップＳ７０において、第１の実施形態における図２のステップＳ２１〜ステップＳ２４の各処理と同様の処理を経て、対象画像に対して補間合成処理を行う。

【0085】

この場合、例えば図６（ｂ）に示すように、まず、対象画像に被写体として含まれていた檻４１Ａ，４１Ｂの画素部分の画素データが欠損し、対象被写体としてのライオン４０Ａ，４０Ｂの画素部分の一部に空白部分４２Ａ，４２Ｂが形成された画像がテンプレート画像としてバッファメモリ１８に格納される。

【0086】

その後、例えば図６（ｃ）に示すように、対象画像において画素データが欠損していた檻の画素部分が対象被写体としてのライオン４０Ａ，４０Ｂの画素部分に置き換わった画像が合成画像として不揮発性メモリ１７に格納される。

【0087】

上記第３の実施形態によれば、上記第１の実施形態の効果（１）〜（８）に加え、以下に示す効果を得ることができる。
（１０）複数の対象被写体を基準とした対象画像の奥行き方向における被写体同士の位置関係を考慮した更に多様な画像編集処理を行うことができる。

【0088】

なお、上記各実施形態は、以下のような別の実施形態に変更してもよい。
・上記各実施形態において、ＭＰＵ１５の補間合成処理部２７は、対象画像における消去被写体の周辺の画素部分の画素データに基づいて、テンプレート画像のうち消去被写体が消去された欠損部分の画素データを取得してもよい。

【0089】

この構成では、補間合成処理に用いられる画素データを含む動画を撮影することが不要となる。そのため、動画を記憶するための記憶領域をバッファメモリ１８に確保することが不要となるため、バッファメモリ１８のメモリ残量を確保しつつ対象画像に対する補間合成処理を行うことができる。

【0090】

・上記各実施形態において、ＭＰＵ１５は、動画の撮影時に補間合成処理モードの設定がなされた場合に、その時点まで撮影されていた動画の解像度や間引き率を変更することなく、補間合成処理のための動画の撮影を開始してもよい。

【0091】

・上記各実施形態において、ＭＰＵ１５の補間合成処理部２７は、ＭＰＵ１５の対象画像設定部２３が対象画像を設定したときに補間合成処理のための動画の撮影を開始してもよい。

【0092】

この構成では、対象画像が設定されることに併せて補間合成処理のための動画の撮影が開始される。そのため、対象画像を設定するための操作とは別に、動画の撮影を開始するための操作が必要となることがない。したがって、簡易な操作で対象画像の設定動作と動画の撮影開始動作を行うことができる。

【0093】

・上記各実施形態において、ＭＰＵ１５の補間合成処理部２７は、画像編集処理のモード状態が補間合成処理モードに設定されたときに補間合成処理のための動画の撮影を開始してもよい。

【0094】

・上記第２の実施形態において、ＭＰＵ１５の対象被写体設定部２５は、対象画像における画角の中心に位置する被写体を対象被写体として設定してもよい。
・上記第１及び第３の実施形態において、ＭＰＵ１５の対象被写体設定部２５は、操作部３０が撮像者によってマニュアル操作された際に入力される操作信号に基づいて、対象画像の奥行き方向における被写体同士の位置関係を設定してもよい。例えば、対象画像の奥行き方向において被写体が凹凸を有する場合には、対象画像の奥行き方向における被写体の位置は被写体の部位によって異なる。そのため、被写体が全体として対象被写体よりも後方に位置する一方でその被写体の一部が対象被写体よりも前方に位置する場合には、被写体が対象被写体の前方又は後方の何れに位置するのか正確に認識できない場合があり得る。この点、上記の構成では、モニタ２０に表示された対象画像の内容が撮像者によって視認された上で、被写体が対象被写体の前方又は後方の何れに位置するのかがマニュアル操作によって入力される。その結果、ＭＰＵ１５の位置取得部２４は、対象被写体に対する被写体の位置関係を正確に認識することが可能となる。

【0095】

・上記各実施形態において、ＭＰＵ１５の消去対象設定部２６は、対象画像の奥行き方向において対象被写体の前方にある被写体のうち、対象被写体に重なっていない被写体を消去被写体として設定してもよい。

【0096】

・上記各実施形態において、ＭＰＵ１５の消去対象設定部２６は、対象画像の奥行き方向における被写体の位置を認識する際の基準となる基準被写体を設定するとともに、この基準被写体の後方に位置する被写体を消去被写体として設定してもよい。例えば、ＭＰＵ１５の消去対象設定部２６は、対象画像に含まれる主要被写体を基準被写体として設定するとともに、その主要被写体の後方に位置する被写体を消去被写体としても設定してもよい。この場合、補間合成処理が行われる被写体は主要被写体の後方の被写体となり、基準被写体である主要被写体とは異なる被写体となる。

【0097】

・上記各実施形態において、ＭＰＵ１５の補間合成処理部２７は、補間合成処理によって動画を生成してもよい。この動画の生成は、例えば以下のようにして行われる。まず、ＭＰＵ１５の対象画像設定部２３は、対象画像として動画を撮影する。そして次に、ＭＰＵ１５の補間合成処理部２７は、対象画像となる動画から対象被写体の前方に位置する被写体の画素部分の画素データを消去したテンプレート画像となる動画を生成する。そして、ＭＰＵ１５の補間合成処理部２７は、テンプレート画像となる動画における欠損部分の画素データを補間合成処理のために撮影された動画の画像データを用いて補間することにより、合成画像を生成する。

【0098】

・上記各実施形態において、例えばパーソナルコンピュータや携帯電話機などのカメラ１０以外の電子機器に画像処理エンジン１３が搭載される構成としてもよい。この場合、画像処理エンジン１３が搭載される電子機器は、必ずしも、生成した画像を表示するモニタを有する電子機器である必要はなく、例えば、生成した画像を印刷して出力するプリンターや、生成した画像を壁面やスクリーンに投影するプロジェクターなどに画像処理エンジン１３が搭載される構成としてもよい。

【符号の説明】

【0099】

１０…電子カメラの一例としてのデジタルカメラ、１２…撮像素子、１３…画像処理装置及びコンピュータの一例としての画像処理エンジン、２２…被写体検出部、２３…対象画像設定部、２４…位置取得部、２５…基準被写体設定部の一例としての対象被写体設定部、２６…消去対象設定部、２７…補正処理部の一例としての補間合成処理部、２９…操作部材の一例としてのレリーズボタン、４０，４０Ａ，４０Ｂ…対象被写体の一例としてのライオン、４１，４１Ａ，４１Ｂ…消去被写体の一例としての檻、

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】