特許 6703361 撮像装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6703361

(24)【登録日】2020年5月12日

(45)【発行日】2020年6月3日

(54)【発明の名称】撮像装置及び画像処理方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20200525BHJP

   H04N 5/92 20060101ALI20200525BHJP

   G06T 1/00 20060101ALI20200525BHJP

   G06T 7/00 20170101ALI20200525BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/232 190

   H04N5/232 933

   H04N5/232 300

   H04N5/92 050

   G06T1/00 340A

   G06T7/00 660A

【請求項の数】6

【全頁数】27

(21)【出願番号】特願2019-104703(P2019-104703)

(22)【出願日】2019年6月4日

(62)【分割の表示】特願2017-524553(P2017-524553)の分割

【原出願日】2015年6月26日

(65)【公開番号】特開2019-149844(P2019-149844A)

(43)【公開日】2019年9月5日

【審査請求日】2019年6月4日

(73)【特許権者】

【識別番号】317015179

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】平林 正幸

(72)【発明者】

【氏名】橋本 康宣

(72)【発明者】

【氏名】清水 宏

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開２００７−１６６３８３（ＪＰ，Ａ）

【文献】 特開２００７−３１０８１３（ＪＰ，Ａ）

【文献】 特開２００７−１２４３６５（ＪＰ，Ａ）

【文献】 特開平１１−１３６５６８（ＪＰ，Ａ）

【文献】 特開２０１２−１０９６９３（ＪＰ，Ａ）

【文献】 特開２０１０−１０８４７５（ＪＰ，Ａ）

【文献】 特開２０１０−１７７８９６（ＪＰ，Ａ）

【文献】 特開２０１３−１６２４２６（ＪＰ，Ａ）

【文献】 特開２０１３−２２９６９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ５／９２

(57)【特許請求の範囲】

【請求項1】

タッチセンサを備えた表示パネルと、
前記タッチセンサを備えた表示パネルにおいて選択された被写体を撮像して画像データを生成する撮像処理部と、
前記画像データの被写体の顔認識処理を実行する顔認識処理部と、
前記画像データを記録する画像記録部と、
複数の画像データの其々に撮像された人物が、一つの画像データに含まれるように合成処理を実行して合成データを生成する合成処理部と、を備え、
前記顔認識処理部は、第一の画像データに対して、前記選択された被写体の前記顔認識処理を実行して第一の人物の顔を認識し、
前記第一の画像データの撮影タイミングとは異なる任意の撮影タイミングで撮影されると共に、前記第一の画像データの背景と同一の背景を有し、かつ前記第一の人物とは異なる第二の人物が撮像された第二の画像データが前記画像記録部に記録されている場合に、前記合成処理部は前記第一の画像データ及び前記第二の画像データを用いて前記同一の背景上に前記第一の人物及び前記第二の人物が重畳された前記合成データを生成する、
ことを特徴とする撮像装置。

【請求項2】

請求項１に記載の撮像装置において、
前記タッチセンサを備えた表示パネルにおいて選択された被写体を撮像する際に、前記画像記録部は前記被写体を登録人物として登録し、
前記合成処理部は、前記登録人物を撮影した場合に前記合成データの作成を自動的に行う、
ことを特徴とする撮像装置。

【請求項3】

請求項１に記載の撮像装置において、
前記タッチセンサを備えた表示パネルにおいて被写体を選択する際に、前記画像記録部は前記被写体を登録人物として登録し、
前記合成処理部は、前記顔認識処理部が前記第一の画像データ及び前記第二の画像データに対して顔認識処理を実行した認識結果及び前記登録人物の顔画像データを比較し、前記第一の画像データ又は前記第二の画像データに前記登録人物とは異なる未登録人物の顔が撮像されていると判断すると、当該未登録人物が撮像された被写体領域を削除し、その削除した領域に背景データを合成して前記合成データを生成する、
ことを特徴とする撮像装置。

【請求項4】

撮像装置に備えられ、かつタッチセンサを含む表示パネルにおいて選択された被写体を撮像して画像データを生成するステップと、
前記画像データの被写体の顔認識処理を実行する顔認識ステップと、
前記画像データを記録する記録ステップと、
複数の画像データの其々に撮像された人物が、一つの画像データに含まれるように合成処理を実行して合成データを生成する合成ステップと、を含み、
前記顔認識ステップにおいて、第一の画像データに対して、前記選択された被写体の前記顔認識処理を実行して第一の人物の顔を認識し、
前記第一の画像データの撮影タイミングとは異なる任意の撮影タイミングで撮影されると共に、前記第一の画像データの背景と同一の背景を有し、かつ前記第一の人物とは異なる第二の人物が撮像された第二の画像データが記録されている場合に、前記合成ステップにおいて、前記第一の画像データ及び前記第二の画像データを用いて前記同一の背景上に前記第一の人物及び前記第二の人物が重畳された前記合成データを生成する、
ことを特徴とする画像処理方法。

【請求項5】

請求項４に記載の画像処理方法において、
前記タッチセンサを備えた表示パネルにおいて選択された被写体を撮像する際に、前記被写体を登録人物として登録する登録ステップを更に含み、
前記登録人物を撮影した場合に前記合成ステップにおいて前記合成データの作成を自動的に行う、
ことを特徴とする画像処理方法。

【請求項6】

請求項４に記載の画像処理方法において、
前記タッチセンサを備えた表示パネルにより被写体を選択する際に前記被写体を登録人物として登録する登録ステップを更に含み、
前記合成ステップにおいて、前記第一の画像データ及び前記第二の画像データに対して顔認識処理を実行した認識結果及び前記登録人物の顔画像データを比較し、前記第一の画像データ又は前記第二の画像データに前記登録人物とは異なる未登録人物の顔が撮像されていると判断すると、当該未登録人物が撮像された被写体領域を削除し、その削除した領域に背景データを合成して前記合成データを生成する、
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び画像処理方法に係り、特に複数人が撮像された画像データを合成する技術に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特許文献１には「撮影者を含む複数人数での集合写真を容易に撮影可能とする」ことを課題とし、その解決手段として「デジタルカメラにおいて、合成撮影モードが指示された直後に、一人の撮影者によって他の被撮影者（複数）の撮影画像ａが撮影される。次いで、他の被撮影者の誰かにデジタルカメラに渡され、先の撮影者一人の撮影画像ｂが撮影される。そして、所定の合成条件、例えば、一方の撮影画像内に所定サイズ以上の複数の顔があり、かつ、他方の撮影画像内に所定サイズ以上の顔が１つある場合や、２つの撮影画像ａ、ｂの各々で検出される顔の人物構成が異なる場合に、連続して撮影された２枚の撮影画像ａ、ｂのどちらか一方に含まれる顔画像を、他方に合成した新たな合成画像ｃを作成する。これにより、複数人数全てが撮影された集合写真を容易に合成する」ことが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１２／１２０２７３号明細書（抜粋）

【発明の概要】

【発明が解決しようとする課題】

【0004】

前記特許文献１は、合成撮影モードが指示された直後に撮影画像ａ、ｂが連続して撮影（以下「一連の撮影」という）されるとこれらを基に合成画像ｃが作成される。しかし、例えば一連の撮影中に別のシャッターチャンスが訪れた場合、一連の撮影が終了するまでは別の画像を撮影できないため、シャッターチャンスを逃す可能性があり、加えて一方の写真が気に入らない場合は最初から撮り直す必要があることから、合成写真を生成する際の操作性に更なる改善の余地がある。

【0005】

本発明は上記実情に鑑みてなされたものであり、その目的は、複数人数の全員を含む写真を容易に生成する際の操作性を向上させた撮像装置及び画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

前記課題を解決する手段として、特許請求の範囲に記載の技術を用いる。一例を挙げるならば、撮像装置において、タッチセンサを備えた表示パネルと、前記タッチセンサを備えた表示パネルにより選択された被写体を撮像して画像データを生成する撮像処理部と、前記画像データの被写体の顔認識処理を実行する顔認識処理部と、前記画像データを記録する画像記録部と、複数の画像データの其々に撮像された人物が、一つの画像データに含まれるように合成処理を実行して合成データを生成する合成処理部と、を備え、前記顔認識処理部は、第一の画像データに対して、前記選択された被写体の前記顔認識処理を実行して第一の人物の顔を認識し、前記第一の画像データの撮影タイミングとは異なる任意の撮影タイミングで撮影されると共に、前記第一の画像データの背景と同一の背景を有し、かつ前記第一の人物とは異なる第二の人物が撮像された第二の画像データが前記画像記録部に記録されている場合に、前記合成処理部は前記第一の画像データ及び前記第二の画像データを用いて前記同一の背景上に前記第一の人物及び前記第二の人物が重畳された前記合成データを生成する。

【発明の効果】

【0007】

本発明によれば、複数人数の全員を含む写真を容易に生成する際の操作性を向上させた撮像装置及び画像処理方法を提供することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1A】第一実施形態に係る撮像装置の構成例を示すブロック図

【図1B】第一実施形態に係る撮像装置のソフトウェア構成図を示す図

【図2A】第一実施形態に係る撮像装置の正面図

【図2B】第一実施形態に係る撮像装置の背面図

【図3】第一実施形態に係る撮像装置の全体の動作例を示すフローチャート

【図4】第一実施形態に係る撮像装置の別の動作例（自動合成モード）を示すフローチャート

【図5】第一実施形態に係る合成処理部の動作例を示すフローチャート

【図6A】第一実施形態に係る撮像装置による撮影直後の表示部の表示例を示す図

【図6B】第一実施形態に係る撮像装置により合成された画像データの表示例を示す図

【図7A】第一実施形態に係る撮像装置により合成された画像データを記録するか否かの選択画面の表示例を示す図

【図7B】第一実施形態に係る撮像装置により画像を合成できなかった場合の表示例を示す図

【図8】第一実施形態に係る撮像装置により別の画像と合成した画像データを表示するか否かの選択画面の表示例を示す図

【図9】第一実施形態に係る画像データの検索と合成の一例を示す説明図

【図10】第一実施形態に係る画像データの検索と合成の一例を示す説明図

【図11】第二実施形態に係る撮像装置の全体の動作例を示すフローチャート

【図12】第二実施形態に係る合成処理部の動作例を示すフローチャート

【図13A】第二実施形態に係る撮像装置において再生ボタンが押された場合の表示部の表示例を示す図

【図13B】第二実施形態に係る撮像装置において別の画像データに変更された場合の表示部の表示例を示す図

【図14A】第二実施形態に係る撮像装置において合成ボタンが押された場合の表示部の表示例を示す図

【図14B】第二実施形態に係る撮像装置において別の画像データに変更された場合の表示部の表示例を示す図

【図15】第二実施形態に係る画像データの検索と合成の一例を示す説明図

【図16】第三実施形態に係る撮像装置の全体の動作例を示すフローチャート

【図17】第三実施形態に係る合成処理部の動作例を示すフローチャート

【図18A】第三実施形態に係る撮像装置において撮影直後、あるいは再生ボタンが押された場合の表示部の表示例を示す図

【図18B】第三実施形態に係る撮像装置により合成された画像データの表示例を示す図

【図19】第三実施形態に係る画像データの検索と合成の一例を示す説明図

【図20A】第四実施形態に係る撮像装置の構成例を示すブロック図

【図20B】第四実施形態に係る撮像装置のソフトウェア構成図を示す図

【図21】第四実施形態に係る合成処理部の動作例を示すフローチャート

【図22】第四実施形態に係る画像データの検索と合成の一例を示す説明図

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を用いて説明する。全図を通じで同一の構成には同一の符号を付けてその重複説明は省略する。以下の実施形態においては、本発明に係る撮像装置を例に挙げて説明する。

【0010】

＜第一実施形態＞
第一実施形態は、表示中の画像データと撮像装置が選択した画像データとを、手動合成モード（ユーザによる合成指示後に合成する動作モード）、又は自動合成モード（撮像装置が自動で合成する動作モード）により合成する実施形態である。

【0011】

［撮像装置のハードウェア構成］
図１Ａは、本発明の第一実施形態に係る撮像装置の構成例を示すブロック図である。

【0012】

図１Ａにおいて、主制御部１０１は、ＣＰＵ（Central Processing Unit）等で構成され、ＲＯＭ（Read Only Memory）１０２あるいはＲＡＭ（Random Access Memory）１０３に記憶された各種の動作プログラムおよびデータに従って撮像装置１の全体を制御する。システムバス１００は制御部１０１と撮像装置１内の各部との間でデータ送受信を行うためのデータ通信路である。

【0013】

ＲＯＭ１０２は、撮像装置１を制御するための各種プログラムが格納されたメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられる。

【0014】

ＲＡＭ１０３はＲＯＭ１０２に記憶されたプログラムの実行時の一時記憶領域あるいは撮影した画像の一時記憶として使用される。

【0015】

ストレージ部１０４（画像記録部に相当する）は、撮像装置１の動作設定値等の情報を記憶するものであり、例えばフラッシュＲＯＭやＳＳＤ（Solid State Drive）のような不揮発性で書き換え可能なデバイスが用いられる。

【0016】

ＲＯＭ１０２およびＲＡＭ１０３は主制御部１０１と一体構成であってもよい。また、ＲＯＭ１０２は、図１Ａに示したような独立構成とはせず、ストレージ部１０４内の一部記憶領域を使用するようにしてもよい。

【0017】

外部記憶媒体インターフェース（Ｉ／Ｆ）１０５はＳＤカードのような撮像装置１に収納、取り出し可能な外部記録媒体１０６に情報を記録・読み出しのためのインターフェースである。

【0018】

外部インターフェース１０７は、撮像装置１の機能を拡張するためのインターフェース群であり、本実施形態では、ＵＳＢ（Universal Serial Bus）インターフェース（Ｉ／Ｆ）１０７ａ、映像出力インターフェース（Ｉ／Ｆ）１０７ｂ、音声出力インターフェース（Ｉ／Ｆ）１０７ｃを有する。ＵＳＢインターフェース１０７ａはパソコンあるいはテレビ受信装置等の外部装置のＵＳＢインターフェースに接続し、ストレージ部１０４あるいは外部記録媒体１０６に保存された画像データ等を外部装置で読込、表示等が可能となっている。映像出力インターフェース１０７ｂおよび音声出力インターフェース１０７ｃは、外部映像／音声出力機器に映像信号／音声信号の出力を行う。ここで、映像出力インターフェース１０７ｂ、音声出力インターフェース１０７ｃはＨＤＭＩ（High-Definition Multimedia Interface：登録商標）を用いて、映像と音声を一緒に出力するようにしてもよい。

【0019】

音声入力部１０８は、撮像装置１の周辺の音声を電気信号に変換するマイク、および電気信号に変換された音声をディジタル信号の音声データに変換するＡ/Ｄ変換器等で構成される。

【0020】

音声信号処理部１０９では音声入力部から入力された音声データに対して、フィルタ処理や外部記録媒体１０６に記録する動画像のフォーマットに従って音声データの変換する処理などを行う。

【0021】

撮像部１１０は、ズームやフォーカス動作のためのレンズを含む光学系、前記レンズをズームやフォーカス動作のために駆動する機構系、およびレンズから入力した被写体の光画像を電気信号に変換するＣＣＤあるいはＣＭＯＳ等の画像センサと電気信号に変換された画像をディジタル信号の画像データに変換するＡ/Ｄ変換器等の電気系のデバイスで構成される。

【0022】

画像信号処理部１１１は、撮像部１１０から入力された画像データに対してホワイトバランス調整、露出調整、ガンマ補正等の画像処理を行う。また、外部記録媒体１０６に記録するフォーマットに従って、例えば動画像の場合にはＭＰＥＧ２あるいはＨ．２６４等の画像データに変換し、静止画像の場合にはＪＰＥＧ、ＴＩＦＦ等の画像データに変換する処理などを行う。また、ストレージ部１０４あるいは外部記録媒体１０６に記憶した画像データの合成処理、顔認識処理、パターンマッチング処理などを行う。

【0023】

表示部１１２は撮像部１１０の画像センサで撮像している被写体の画像、ストレージ部１０４あるいは外部記録媒体１０６に記録されている画像、あるいは撮像装置１の各種設定を行うための画面等を表示する。

【0024】

操作部１１３は、撮像装置１に対する操作指示の入力を行う指示入力部であり、電源オン/オフボタン、シャッターボタン、再生ボタン、合成ボタン、各種設定を行うためのボタン等を有する。また、表示部１１２の表面にタッチパネルを設け、表示部１１２に表示したボタン等の位置とタッチパネルをタッチした位置を検出することで撮像装置１に対する操作指示の入力を行うようにしてもよい。

【0025】

計時部１１４は、例えばユーザが設定した日時・時刻からの経過時間をＲＴＣ（Real Time Clock）回路を用いて計測を行い、日時・時刻情報を出力するものであり、計時部１１４から取得した日時・時刻情報に基づいて画像データに日時・時刻情報を付加して記録を行う。

【0026】

ＧＰＳ受信部１１５は複数のＧＰＳ衛星からの電波を受信するものであり、受信した信号に基づいて撮像装置１の位置(緯度、経度等)情報を取得することができる。この位置情報も、画像データに付加して記録される。

【0027】

電源部１１６はバッテリー（図示せず）を含み、主制御部１０１からの指示により、電源オン状態、電源オフ状態、電源オフ待機状態等の状態に応じて撮像装置１を構成する各部位への電源を供給する。

【0028】

撮像装置１は、撮像部１１０を備えるものであればデジタルカメラや携帯電話、スマートフォン、タブレット端末、ナビゲーション装置等、であっても良いし、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）やノート型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよい。通信機能を備えた音楽プレーヤや携帯型ゲーム機等、またはその他の携帯用ディジタル機器であっても良い。また、ウェラブルなスマートウォッチ、スマートグラス等でもよい。

【0029】

［撮像装置のソフトウェア構成］
図１Ｂは、第一実施形態に係る撮像装置のソフトウェア構成図を示す図であり、ＲＯＭ１０２、ＲＡＭ１０３およびストレージ部１０４におけるソフトウェアの構成を示す。

【0030】

図１Ｂにおいて、主制御部１０１がＲＯＭ１０２に記憶されたプログラムを実行することにより、基本動作実行部１０２１、位置情報取得部１０２２、撮像処理部１０２３、画像記録部１０２４、画像再生部１０２５、電源管理部１０２６、合成処理部１０２７、顔認識処理部１０２８を構成する。また、ＲＡＭ１０３は、ＲＯＭ１０２に記憶されたプログラムを実行する際に必要に応じてデータを一時的に保持する一時記憶領域１０３１、撮像処理部１０２３が撮像部１１０を介して撮影した画像を一時的に記憶する画像一時記憶領域１０３２を備えるものとする。

【0031】

ストレージ部１０４には、ＲＯＭ１０２に記憶されたプログラムを実行する際の設定情報を記憶する設定情報記憶領域１０４１、及び撮像装置１で撮影した静止画像データや動画像データを記憶する画像記憶領域１０４２等も有する。

【0032】

なお、以下では、説明を簡単にするために、主制御部１０１がＲＯＭ１０２に格納されたプログラム実行することにより各動作ブロックの制御を行うものとして記述する。

【0033】

基本動作実行部１０２１は、撮像装置１の各種設定や全体の動作を制御する。

【0034】

位置情報取得部１０２２はＧＰＳ受信部１１５で受信したＧＰＳ衛星からの信号に基づいて、撮像装置１の緯度、経度等の位置情報を取得する処理を行う。また、Ｗｉ−Ｆｉ（登録商標）受信機能を備え、Ｗｉ−Ｆｉの電波受信レベルの情報を用いて位置情報の補正を行うことで精度を向上するようにしたり、Ｗｉ−Ｆｉの電波受信レベルの情報を用いて位置情報を取得したりしてもよい。

【0035】

撮像処理部１０２３は、操作部１１３に含まれるシャッターボタンが押された場合に、撮像部１１０で撮像した被写体の画像データをＲＡＭ１０３の画像一時記憶領域１０３２に取り込む処理を行う。

【0036】

画像記録部１０２４は画像一時記憶領域１０３２に取り込まれた画像データをストレージ部１０４の画像記憶領域１０４２に記録する、あるいは外部記録媒体インターフェース１０５を介して外部記録媒体１０６に記録する処理を行う。

【0037】

画像再生部１０２５は、撮像部１１０の画像センサで撮像している被写体の画像をＲＡＭ１０３の画像一時記憶領域１０３２を介して表示部１１２に表示する処理を行う。また、ストレージ部１０４、あるいは外部記録媒体１０６に記録された画像データを読み出し、表示部１１２に表示する処理を行う。

【0038】

電源管理部１０２６は操作部１１３に含まれる電源ボタンにより撮像装置１を構成する各部位に供給する電源を制御する処理を行う。

【0039】

合成処理部１０２７は、操作部１１３に含まれる合成ボタンが押された場合や、合成した画像データの表示が選択された場合などに、ストレージ部１０４や外部記録媒体１０６に記憶された画像データを合成する処理を行う。

【0040】

顔認識処理部１０２８は、ＲＡＭ１０３、ストレージ部１０４や外部記録媒体１０６に記憶された画像データの顔認識処理を行う。

【0041】

前記ＲＯＭ１０２に記憶されたプログラムは、製品出荷の時点で、予めに格納された状態であってもよい。また製品出荷後に、パソコンによりインターネット上のサーバ装置等から取得したプログラムを、ＵＳＢインターフェース部１０７ａを介して格納したものであってもよい。

【0042】

なお、ＲＡＭ１０３に画像一時記憶領域１０３２を設ける代わりに、撮像部１１０あるいは画像信号処理部１１１に画像データを一旦記憶するバッファメモリを設けるようにしてもよい。

【0043】

［撮像装置の外観図］
図２Ａ、及び図２Ｂを参照して第一実施形態に係る撮像装置の外観について説明する。

【0044】

図２Ａは撮像装置１の正面図である。撮像装置１の正面には撮像部１１０を構成するレンズが配置されている。また、撮像装置１の上部には操作部１１３を構成する電源ボタン１１３−１、シャッターボタン１１３−２が配置されている。

【0045】

図２Ｂは撮像装置１の背面図である。撮像装置１の背面には表示部１１２と、操作部１１３を構成する選択/決定操作ボタン１１３−３、種々の設定・ファイル操作処理選択等を行うためのメニューボタン１１３−４、ストレージ部１０４あるいは外部記録媒体１０６に記録された画像データを再生するための再生ボタン１１３−５、画像データを合成するための合成ボタン１１３−６（合成指示操作部に相当する）が配置されている。表示部１１２にタッチセンサを備え、シャッターボタン１１３−２や選択/決定操作ボタン１１３−３、メニューボタン１１３−４、再生ボタン１１３−５、合成ボタン１１３−６の代わりに操作できるようにしてもよい。

【0046】

［撮像装置の全体動作］
図３は第一実施形態に係る撮像装置の全体の動作例を示すフローチャートである。図３では、手動モード、すなわち画像合成の指示をユーザが入力操作、より具体的には以下の例における「画像合成ボタンの押下げ（Ｓ３１２；Ｙｅｓ）」を契機として画像合成処理（Ｓ３１３）が実行される場合の動作の流れについて説明する。

【0047】

まず電源管理部１０２６により電源ボタン１１３−１の押下の確認を行う。押下げされていなければ（Ｓ３０１；Ｎｏ）次のステップに遷移することなく本ステップで待機する。

【0048】

電源ボタン１１３−１が押された場合（Ｓ３０１；Ｙｅｓ）は、撮像装置１の起動処理を行う（Ｓ３０２）。起動すると、撮像部１１０の画像センサで撮像している被写体の画像を表示部１１２に表示する。

【0049】

電源管理部１０２６により電源ボタン１１３−１の押下の確認を行う。電源ボタン１１３−１が押された場合（Ｓ３０３；Ｙｅｓ）は、撮像装置１の終了処理を行う（Ｓ３０４）。

【0050】

電源ボタン１１３−１が押されていない場合（Ｓ３０３；Ｎｏ）は、撮像処理部１０２３により、シャッターボタン１１３−２の押下の確認を行う。シャッターボタン１１３−２が押された場合（Ｓ３０５；Ｙｅｓ）は、撮像部１１０は被写体の画像データを撮像して取得し（Ｓ３０６）、ＲＡＭ１０３の画像一時記憶領域１０３２に記憶する。また、撮像した機種、絞り値、画素数、ＩＳＯ感度、撮影日時、位置情報などの付加情報も画像一時記憶領域１０３２に記憶する。そして画像一時記憶領域１０３２に記憶した画像データ及び付加情報を、画像記録部１０２４により、ストレージ部１０４あるいは外部記録媒体１０６に記録する（Ｓ３０７）。そして、撮像部１１０で撮像し、画像一時記憶領域１０３２に記憶した画像データが表示部１１２に表示される（Ｓ３０９）。

【0051】

シャッターボタン１１３−２が押されなかった場合（Ｓ３０５；Ｎｏ）は、画像再生部１０２５により再生ボタン１１３−５の押下の確認を行う。再生ボタン１１３−５が押された場合（Ｓ３０８；Ｙｅｓ）は、ストレージ部１０４や外部記録媒体１０６に記録された画像データを、画像再生部１０２５により再生し、表示部１１２に表示する（Ｓ３０９）。再生・表示する画像は再生ボタン１１３−５を押して表示部１１２に表示させることができる。この表示部１１２に表示された画像データ、及びユーザが撮影して生成され表示部１１２に表示された画像データ（Ｓ３０６）が、第一の画像データに相当する。

【0052】

図６Ａは撮像装置１による撮影直後の表示部１１２の表示例を示す図である。山を背景に人物Ａが撮影されている。撮影した画像データの表示時間は例えば３秒程度であり、ユーザが変更できるようにしてもよい。所定時間を経過すると画像データの表示が消えるが、再生ボタン１１３−５が押された場合は再び表示する。

【0053】

再生ボタン１１３−５が押されなかった場合（Ｓ３０８；Ｎｏ）は、合成処理部１０２７により合成ボタン１１３−６の押下の確認を行う。合成ボタン１１３−６が押された場合（Ｓ３１２；Ｙｅｓ）は、撮像部１１０で撮像し、画像一時記憶領域１０３２を介してストレージ部１０４や外部記録媒体１０６に記録された画像データを合成処理部１０２７により合成（Ｓ３１３）し、合成された画像データが表示部１１２に表示される（Ｓ３１５）。

【0054】

図６Ｂは撮像装置１により合成された画像データの表示例を示す図である。山を背景に撮影された人物Ａを含む画像に、同じ山を背景に撮影された人物Ｂが合成されている。

【0055】

選択/決定操作ボタン１１３−３により合成した画像データをストレージ部１０４や外部記録媒体１０６に記録する選択・決定が行われると（Ｓ３１７：Ｙｅｓ）、画像記録部１０２４は、合成処理部１０２７で合成した画像データをストレージ部１０４や外部記録媒体１０６に記録する（Ｓ３１８）。

【0056】

図７Ａは撮像装置１により合成された画像データを記録するか否かの選択画面の表示例を示す図である。ユーザは選択/決定操作ボタン１１３−３により「はい」「いいえ」を選択し、決定する。

【0057】

選択/決定操作ボタン１１３−３により合成した画像データをストレージ部１０４や外部記録媒体１０６に記録しない選択・決定が行われた場合（Ｓ３１７：Ｎｏ）、または合成ボタンの押下げがされない場合（Ｓ３１２；Ｎｏ）、画像再生処理（Ｓ３１５）の後、若しくは画像再生処理（Ｓ３０９）の後、ステップＳ３０３へ戻る。

【0058】

図７Ｂは画像を合成できなかった場合の表示例を示す図である。画像を合成できなかった場合（Ｓ３１３による画像合成処理の結果、合成ができなかった場合）は、図７Ａの代わりに図７Ｂに示す画面が表示部１１２に表示される。

【0059】

以上のＳ３０１〜Ｓ３１８の処理を行うことで画像の記録、再生、および合成を行う。

【0060】

なお、独立した合成ボタン１１３−６ではなく、メニューボタン１１３−４や選択/決定操作ボタン１１３−３で合成処理を選択して実行するようにしてもよい。また、予め重要人物を登録しておき、この人物を撮影した場合は、合成動作を自動的に行うようにしてもよい。また、シャッターボタン１１３−２を押す代わりに、タッチセンサを備えた表示部１１２に表示された被写体に触れることで撮影した場合、被写体が人物であれば当該人物を重要人物に登録してもよい。また、撮影した人物が画像の中心から所定値以上、あるいは所定の割合以上ずれていた場合、例えば中心から２０％以上ずれていた場合に合成動作を自動的に行うようにしてもよい。

【0061】

次に、人物を撮影した際に合成処理を自動的に行う、所謂自動合成モードにおける画像合成処理について図４を参照して説明する。図４は第一実施形態に係る撮像装置１の別の動作例（自動合成モード）を示すフローチャートである。

【0062】

図４のＳ４０１〜Ｓ４０９は図３のＳ３０１〜Ｓ３０９と同様であるため、説明を省略する。

【0063】

合成処理部１０２７は、自動合成モードか否かの確認を行う（Ｓ４１２）。自動合成モードは予めメニューボタン１１３−４や選択/決定操作ボタン１１３−３で設定しておく。従って、メニューボタン１１３−４や選択/決定操作ボタン１１３−３は、モード設定部に相当する。

【0064】

自動合成モードの場合（Ｓ４１２；Ｙｅｓ）、合成処理部１０２７は撮像部１１０で撮像し、画像一時記憶領域１０３２を介してストレージ部１０４や外部記録媒体１０６に記録された画像データを合成する（Ｓ４１３）。合成処理部１０２７は画像一時記憶領域１０３２にて合成処理を行う。

【0065】

表示部１１２は合成した画像データの表示の有無を選択するための画面を表示する。ユーザが選択/決定操作ボタン１１３−３により合成した画像データを表示するか否かの選択・決定を行う（Ｓ４１４；Ｙｅｓ）。

【0066】

図８は、撮像装置１により別の画像と合成した画像データを表示するか否かの選択画面の表示例を示す図である。ユーザは選択/決定操作ボタン１１３−３により「はい」「いいえ」を選択し、決定する。別の画像と合成できない場合は、表示しない。

【0067】

Ｓ４１５〜４１８：図３のＳ３１５〜Ｓ３１８と同様であるため、説明を省略する。

【0068】

自動合成モードに設定されていない場合（Ｓ４１２；Ｎｏ）、又は合成した画像データを表示しない場合（Ｓ４１４；Ｎｏ）、Ｓ４０３へ戻る。

【0069】

以上のＳ４０１〜Ｓ４１８の処理を行うことで自動合成モードにおいて画像の記録、再生、および合成が行われる。

【0070】

［画像合成処理］
次に、Ｓ３１３とＳ４１１の画像合成処理について説明する。

【0071】

図５は合成処理部１０２７の動作例を示すフローチャートである。

【0072】

合成処理部１０２７はストレージ部１０４の画像記憶領域１０４２又は外部記録場以外１０６に記憶された画像データの中から、表示部１１２に表示されている画像と同一撮影日で、一番新しい画像を検索する（Ｓ５０１）。以下、検索した画像を「検索画像」、表示部１１２に表示されている画像を「表示画像」と称する。

【0073】

合成処理部１０２７は、位置情報取得部１０２２により取得した位置情報により、検索画像の撮影場所が表示画像の撮影場所と同じか否かの確認を行う（Ｓ５０２）。

【0074】

撮影場所が同じ場合（Ｓ５０２；Ｙｅｓ）は、検索画像の撮影日時と表示画像の撮影日時が所定時間内か否かの確認を行う（Ｓ５０３）。所定時間は例えば３分程度であり、ユーザが変更できるようにしてもよい。

【0075】

撮影日時が所定時間内の場合（Ｓ５０３；Ｙｅｓ）は、パターンマッチングにより検索画像の背景が表示画像の背景と同じか否かの確認を行う（Ｓ５０４）。

【0076】

背景が同じ場合（Ｓ５０４；Ｙｅｓ）は、顔認識処理部１０２８により、表示画像に含まれている人物と同じ人物が検索画像に含まれているか否かの確認を行う（Ｓ５０５）。

【0077】

同じ人物が含まれていない場合（Ｓ５０５；Ｎｏ）は、検索画像と表示画像とを重ね合わせた場合に表示画像内において、表示画像に撮像されていた人物の位置と、検索画像から抽出して表示画像に合成しようとする人物の位置とが重なるか否かの確認を行う（Ｓ５０６）。少しでも人物が重なる場合はＹｅｓとする他、顔が重なる場合のみＹｅｓとする等、判定レベルを設定できるようにしてもよい。

【0078】

検索画像と表示画像の撮影場所と同じ（Ｓ５０２；Ｙｅｓ）、かつ撮影日時が所定時間内（Ｓ５０３；Ｙｅｓ）、かつ背景が同じ（Ｓ５０４；Ｙｅｓ）、かつ同じ人物が含まれない（Ｓ５０５；Ｎｏ）、かつ人物の位置が重ならない場合（Ｓ５０６；Ｎｏ）は、検索画像の人物を輪郭検出により抜き出し、表示画像に貼り付けて合成する（Ｓ５０７）。あるいは、表示画像の人物を輪郭検出により抜き出し、検索画像に貼り付けて合成する。

【0079】

検索画像と表示画像の撮影場所が同じではない場合（Ｓ５０２；Ｎｏ）、あるいは撮影日時が所定時間内ではない場合（Ｓ５０３；Ｎｏ）、あるいは背景が同じではない場合（Ｓ５０４；Ｎｏ）、あるいは同じ人物が含まれる場合（Ｓ５０５；Ｙｅｓ）、あるいは人物が重なる場合（Ｓ５０６；Ｙｅｓ）は、同一撮影日の別の画像があるか否かの確認を行う（Ｓ５０８）。

【0080】

別の画像がある場合（Ｓ５０８；Ｙｅｓ）は、次に新しい画像を検索（Ｓ５０９）してＳ５０２に戻り、処理を継続する。別の画像がない場合（Ｓ５０８；Ｎｏ）は、処理を終了する。なお、Ｓ５０２及びＳ５０３の順序は変えてもよく、これらのステップは、第二の画像データの候補を検索する処理に相当する。

【0081】

以上のＳ５０１〜Ｓ５０９の処理を行うことで、表示画像に貼り付ける画像を検索して人物を抜き出して合成する。

【0082】

更に、撮像装置に地磁気センサを搭載して、撮像装置の向きが同じか否かを上記判定に加えてもよい。

【0083】

また、ＧＰＳを搭載していない撮像装置の場合、Ｓ５０２を省略することで、合成処理を実行してもよい。

【0084】

図９は第一実施形態に係る画像データの検索と合成の一例を示す説明図である。

【0085】

画像データ９０１〜９０５は、北緯３５°２４′５３″、東経１３８°５１′３１″にて、２０１５．０３．１５の１０：０２：００〜１０：０２：５５に順に撮影された画像データである。画像データ９０１、９０２、９０４、９０５は同じ背景であり、画像データ９０３のみ背景が異なる。

【0086】

日時情報は計時部１１４により取得し、位置情報はＧＳＰ受信部１１５により取得する。

【0087】

画像データ９０１、９０２は、人物Ａにより人物Ｂが撮影された画像データであり、画像データ９０３は、人物Ａあるいは人物Ｂにより鳥が撮影された画像データである。画像データ９０４、９０５は、人物Ｂにより人物Ａが撮影された画像データである。

【0088】

一般に、ユーザは満足できる画像データが得られるまで撮影を繰り返す。画像データ９０１、９０２はどちらも人物Ａにより人物Ｂが撮影された画像データであるが、画像データ９０１の人物Ｂには笑みがないため、人物Ａにより画像データ９０２が撮影し直されたことを示す。同様に、画像データ９０４、９０５はどちらも人物Ｂにより人物Ａが撮影された画像データであるが、画像データ９０４の人物Ａには笑みがないため、人物Ｂにより画像データ９０５が撮影し直されたことを示す。また、画像データ９０３は一連の撮影（画像データ９０１から９０５の撮影の期間を意味する）中に突然現れた鳥が撮影されたことを示す。

【0089】

撮像装置１のシャッターボタン１１３−２が押されると被写体を撮影し、表示部１１２に撮影した画像を表示する。そして、合成ボタン１１３−６が押されると画像を合成する。

【0090】

画像データ９０６は画像データ９０２、９０５から合成された画像データである。

【0091】

前述の図６Ａは撮像装置１による画像データ９０５の撮影直後、あるいは撮影後に再生ボタン１１３−５が押された後の表示部１１２の表示例である。ここで、撮像装置１の合成ボタン１１３−６が押されると、図５のフローチャートに従って画像データ９０３を検索し、画像データ９０２と９０５を合成して、画像データ９０６を生成する。図６Ｂは撮像装置１が合成した画像データ９０６の表示例である。

【0092】

画像データ９０１〜９０４は画像データ９０５と撮影場所が同じ（Ｓ５０２；Ｙｅｓ）で、かつ撮影日時が所定時間内（Ｓ５０３；Ｙｅｓ）である。画像データ９０４は画像データ９０５と同じ人物が含まれている（Ｓ５０５；Ｙｅｓ）。画像データ９０３は画像データ９０５と背景が異なる（Ｓ５０４；Ｎｏ）。画像データ９０１、９０２は画像データ９０５と背景が同じ（Ｓ５０４；Ｙｅｓ）、かつ同じ人物が含まれておらず（Ｓ５０５；Ｎｏ）、かつ人物が重ならない場合（Ｓ５０６；Ｎｏ）である。このうち、一番新しい画像データとして画像データ９０２を選択し、画像データ９０５と合成し、合成画像データ９０６を生成する。図９の例では、画像９０５が第一の画像データ、画像９０２が第二の画像データに相当する。画像データ９０３は画像データ９０５と背景が異なるために除外されたが、撮像装置１がズーム機能付きのレンズを備える場合は、レンズ焦点距離が所定値以上に異なる画像データを除外してもよい。

【0093】

なお、背景を基準にして合成を行うことにより、各画像データの画角のずれを吸収することができる。例えば、画像データ９０２の人物Ｂを輪郭検出により抜き出し、背景を基準にして画像データ９０５に貼り付ける。あるいは、画像データ９０５の人物Ａを輪郭検出により抜き出し、背景を基準にして画像データ９０２と合成してもよい。

【0094】

図１０は第一実施形態に係る画像データの検索と合成の一例を示す説明図である。

【0095】

画像データ１００１、１００２は、北緯３５°２４′５３″、東経１３８°５１′３１″にて、２０１５．０３．１６の１０：０２：００〜１０：０２：５０に順に撮影された画像データである。画像データ１００１、１００２は同じ背景である。

【0096】

画像データ１００１は、人物Ａにより人物Ｂが撮影された画像データであり、画像データ１００２は、人物Ｂにより人物Ａが撮影された画像データである。

【0097】

画像データ１００２の撮影後に撮像装置１の合成ボタン１１３−６が押されると画像を合成する。あるいは、自動合成モードでは撮影後に画像を自動的に合成する。

【0098】

合成画像データ１００３は、画像データ１００１、１００２から合成された画像データである。

【0099】

合成画像データ１００３をストレージ部１０４や外部記録媒体１０６に記録した後、あるいは記録せずに、人物Ａにより人物Ｂが新たに撮影し直された画像が画像データ１００４である。画像データ１００１、１００４はどちらも人物Ａにより人物Ｂが撮影された画像データであるが、画像データ１００１の人物Ｂには笑みがないため、人物Ａにより画像データ１００４が撮影し直されたことを示す。また、人物Ｂが人物Ａを撮影し直すこともできる。

【0100】

画像データ１００４の撮影後に撮像装置１の合成ボタン１１３−６が押されると再び画像を合成する。あるいは、自動合成モードでは撮影後に再び画像を自動的に合成する。

【0101】

画像データ１００５は画像データ１００２、１００４から合成された画像データである。

【0102】

更に撮影し直すこともでき、撮影と合成を何度でも繰り返して所望の合成画像を取得することができる。

【0103】

以上により本実施形態では、撮像装置は合成の対象となる画像を撮影した後に合成ボタンが押されると、最適な画像を検索して合成を行うことができる。あるいは、撮像装置は撮影後に自動的に、最適な画像を検索して合成を行うことができる。

【0104】

合成の対象となる画像の撮影は何枚撮影されてもよく、撮像装置はその中から合成に最適な画像を検索する。また、合成対象となる複数の画像は、同一の背景を有していれば撮影タイミングに関らず合成対象とすることができる。そのため、一方の画像だけの撮り直しや、合成対象となる画像の撮影タイミングの間に、合成対象とならない画像を撮影した場合にも、合成対象とはならない画像を除外して合成処理を実行することができ。また、撮影と合成を何度でも繰り返して、所望の合成画像を取得することができる。これにより、複数人が一枚の画像に収まった合成画像を撮影する際の操作性を向上させることができる。なお、本実施形態では、より新しい画像を優先して選択する例を示したが、笑顔の人物や正面を向いた人物を含む画像を優先して選択してもよい。

【0105】

＜第二実施形態＞
第二実施形態は、ユーザが選択した画像データを用いて合成を行う実施形態である。

【0106】

［撮像装置の全体動作］
図１１は第二実施形態に係る撮像装置の全体の動作例を示すフローチャートである。

【0107】

Ｓ１１０１〜Ｓ１１０８は図３のＳ３０１〜Ｓ３０８と同様であるため、説明を省略する。

【0108】

撮像部１１０で撮像し、画像一時記憶領域１０３２に記憶した画像データが表示部１１２に表示される（Ｓ１１０９）。

【0109】

再生ボタン１１３−５が押された場合（Ｓ１１０８；Ｙｅｓ）、および選択/決定操作ボタン１１３−３により画像の変更が選択された場合（Ｓ１１１１；Ｙｅｓ）は、ストレージ部１０４や外部記録媒体１０６に記録された画像データを、画像再生部１０２５により再生し、表示部１１２に表示する（Ｓ１１１０）。ここで、選択/決定操作ボタン１１３−３はユーザがストレージ部１０４に記憶された画像を選択する操作部材として機能するので選択操作部に相当する。

【0110】

図１３Ａは再生ボタン１１３−５が押された場合の、表示部１１２の表示例を示す図である。

【0111】

ユーザが選択/決定操作ボタン１１３−３により、表示部１１２に表示する画像データを別の画像データに変更するか否かの選択を行うと、表示部１１２に表示されている画像データが別の画像データに代わる（Ｓ１１１１；Ｙｅｓ）。

【0112】

図１３Ｂは別の画像データに変更された場合の撮像装置１による表示部１１２の表示例を示す図である。

【0113】

Ｓ１１１２は図３のＳ３１２と同様であるため、説明を省略する。

【0114】

合成ボタン１１３−６が押された場合（Ｓ１１１２；Ｙｅｓ）、および選択/決定操作ボタン１１３−３により画像の変更が選択された場合（Ｓ１１１６；Ｙｅｓ）は、ストレージ部１０４や外部記録媒体１０６に記録された画像データを合成処理部１０２７により合成する（Ｓ１１１３：Ｙｅｓ）。合成は画像一時記憶領域１０３２にて行う。

【0115】

Ｓ１１１５は図３のＳ３１５と同様であるため、説明を省略する。

【0116】

図１４Ａは合成ボタン１１３−６が押された場合の、表示部１１２の表示例である。

【0117】

ユーザは選択/決定操作ボタン１１３−３により、合成する画像データを別の画像データに変更するか否かの選択を行う（Ｓ１１１６）。

【0118】

図１４Ｂは別の画像データに変更された場合の撮像装置１による表示部１１２の表示例である。Ｓ１１１６で選択した画像データ１４０４は変更せずに、これと合成する画像データ１４０１〜１４０３を変更する。

【0119】

Ｓ１１１７〜Ｓ１１１８は図３のＳ３１７〜Ｓ３１８と同様であるため、説明を省略する。

【0120】

以上のＳ１１０１〜Ｓ１１１８の処理を行うことで画像の記録、再生、および合成を行う。

【0121】

［画像合成処理］
次に、Ｓ１１１３の画像合成処理について説明する。図１２は第二実施形態に係る合成処理部の動作例を示すフローチャートである。

【0122】

ユーザによる画像変更指示があったか否かの確認を行う（Ｓ１２００）。

【0123】

ユーザによる画像変更指示がなかった場合（Ｓ１２００；Ｎｏ）は、表示部に表示されている画像と同一撮影日で、一番新しい画像を検索する（Ｓ１２０１）。

【0124】

Ｓ１２０２〜Ｓ１２０９は、図５のＳ５０２〜Ｓ５０９と同様であるため、説明を省略する。

【0125】

ユーザによる画像変更指示があった場合（Ｓ１２００；Ｙｅｓ）、あるいは検索画像と表示画像の撮影場所が同じではない場合（Ｓ１２０２；Ｎｏ）、あるいは撮影日時が所定時間内ではない場合（Ｓ１２０３；Ｎｏ）、あるいは背景が同じではない場合（Ｓ１２０４；Ｎｏ）、あるいは同じ人物が含まれる場合（Ｓ１２０５；Ｙｅｓ）、あるいは合成する人物が重なる場合（Ｓ１２０６；Ｙｅｓ）は、同一撮影日の別の画像があるか否かの確認を行い（Ｓ１２０８）、別の画像がある場合（Ｓ１２０８；Ｙｅｓ）は、次に新しい画像を検索（Ｓ１２０９）してＳ１２０２に戻り、処理を継続する。別の画像がない場合（Ｓ１２０８；Ｎｏ）は、処理を終了する。

【0126】

以上のＳ１２００〜Ｓ１２０９の処理を行うことで、表示画像に貼り付ける画像を検索して合成する。

【0127】

図１５は第二実施形態に係る画像データの検索と合成の一例を示す説明図である。

【0128】

画像データ１５０１〜１５０５は、北緯３５°２４′５３″、東経１３８°５１′３１″にて、２０１５．０３．１５の１０：０２：００〜１０：０２：５５に順に撮影された画像データである。画像データ１５０１〜１５０５は同じ背景である。画像データ１５０１〜１５０３は、人物Ａにより人物Ｂが撮影された画像データであり、画像データ１５０４、１５０５は、人物Ｂにより人物Ａが撮影された画像データである。

【0129】

撮像装置１のシャッターボタン１１３−２が押されると被写体を撮影し、表示部１１２に撮影した画像を表示する。そして、合成ボタン１１３−６が押されると画像を合成する。

【0130】

画像データ１５０６は画像データ１５０２、１５０４から合成された画像データである。

【0131】

以上により、本実施形態によれば、第一実施形態と同様の効果を得るとともに、更に、合成する画像をユーザが自由に選択することができる。

【0132】

＜第三実施形態＞
第三実施形態は、登録人物のみを合成後の画像に加え、未登録人物を合成後の画像から削除する実施形態である。

【0133】

［撮像装置の全体動作］
図１６は第三実施形態に係る撮像装置の全体の動作例を示すフローチャートである。

【0134】

Ｓ１６０１〜Ｓ１６１２は図３のＳ３０１〜Ｓ３１２と同様であるため、説明を省略する。

【0135】

図１８Ａは撮像装置１による撮影直後、あるいは再生ボタン１１３−５を押された場合の表示部１１２の表示例を示す図である。山を背景に人物Ａが撮影されているが、未登録人物Ｃ、Ｄも撮影されている。人物Ａ、Ｂは、予め重要人物として登録しておく。また、シャッターボタン１１３−２の代わりにタッチセンサを備えた表示部１１２に表示された人物に触れることで撮影した場合、当該人物を重要人物に登録してもよい。

【0136】

合成ボタン１１３−６が押された場合（Ｓ１６１２；Ｙｅｓ）は、撮像部１１０で撮像し、画像一時記憶領域１０３２に記憶した画像データと、ストレージ部１０４や外部記録媒体１０６に記録された画像データを合成処理部１０２７により合成する（Ｓ１６１３）。合成は画像一時記憶領域１０３２にて行い、合成により登録人物を加え、未登録人物を削除する。

【0137】

図１８Ｂは撮像装置１により合成された画像データの表示例を示す図である。山を背景に撮影された人物Ａを含む画像に、同じ山を背景に撮影された人物Ｂが合成されている。そして、未登録人物Ｃ、Ｄは削除されている。

【0138】

Ｓ１６１５〜Ｓ１６１８は図３のＳ３１５〜Ｓ３１８と同様であるため、説明を省略する。

【0139】

以上のＳ１６０１〜Ｓ１６１８の処理を行うことで画像の記録、再生、および合成を行う。

【0140】

［画像合成処理］
次に、Ｓ１６１３の画像合成処理について説明する。

【0141】

図１７は第三実施形態に係る合成処理部の動作例を示すフローチャートである。

【0142】

Ｓ１７０１〜Ｓ１７０６は図５のＳ５０１〜Ｓ５０６と同様であるため、説明を省略する。

【0143】

検索画像と表示画像の撮影場所が同じ（Ｓ１７０２；Ｙｅｓ）、かつ撮影日時が所定時間内（Ｓ１７０３；Ｙｅｓ）、かつ背景が同じ（Ｓ１７０４；Ｙｅｓ）、かつ同じ人物が含まれない（Ｓ１７０５；Ｎｏ）、かつ人物が重ならない場合（Ｓ１７０６；Ｎｏ）は、検索画像の登録人物を輪郭検出により抜き出し、表示画像に貼り付けて合成する。あるいは、表示画像の登録人物を輪郭検出により抜き出し、検索画像に貼り付けて合成する（Ｓ１７０７）。

【0144】

更に、表示画像の未登録人物の存在する位置の検索画像の背景を抜き出し、表示画像に貼り付ける（背景データの合成を行う）ことで未登録人物を削除する。あるいは、検索画像の未登録人物の存在する位置の表示画像の背景を抜き出し、検索画像に貼り付けることで未登録人物を削除する。

【0145】

Ｓ１７０８〜Ｓ１７０９は図５のＳ５０８〜Ｓ５０９と同様であるため、説明を省略する。

【0146】

画像を合成後（Ｓ１７０７）、または同一撮影日の別の画像が無い場合（Ｓ１７０８；Ｎｏ）、合成処理部１０２７は合成した画像データに未登録の人物が存在するか否かの確認を行う（Ｓ１７１０）。

【0147】

合成した画像データに未登録の人物が存在する場合（Ｓ１７１０；Ｙｅｓ）、合成処理部１０２７は別の画像があるか否かの確認を行う（Ｓ１７１１）。

【0148】

別の画像がある場合（Ｓ１７１１；Ｙｅｓ）は、別の画像を検索して抽出し（Ｓ１７１２）、別の画像がない場合（Ｓ１７１１；Ｎｏ）は、処理を終了する。

【0149】

合成処理部１０２７は検索画像の撮影場所と合成した画像の撮影場所が同じか否かの確認を行う（Ｓ１７１３）。

【0150】

撮影場所が同じ場合（Ｓ１７１３；Ｙｅｓ）、合成処理部１０２７は検索画像の撮影日時と合成した画像の撮影日時が所定時間内か否かの確認を行う（Ｓ１７１４）。所定時間は例えば３分程度であり、ユーザが変更できるようにしてもよい。

【0151】

撮影日時が所定時間内の場合（Ｓ１７１４；Ｙｅｓ）、合成処理部１０２７は検索画像の背景と表示画像の背景が同じか否かの確認を行う（Ｓ１７１５）。

【0152】

背景が同じ場合（Ｓ１７１５；Ｙｅｓ）、合成処理部１０２７は未登録の人物を削除し（Ｓ１７１６）、Ｓ１７１０に戻る。

【0153】

未登録人物を含まない場合（Ｓ１７１０;Ｎｏ）、または同一撮影日の別画像がない場合（Ｓ１７１１;Ｎｏ）、処理を終了する。

【0154】

以上のＳ１７００〜Ｓ１７１６の処理を行うことで、表示画像に貼り付ける画像を検索して登録人物を抜き出して合成し、未登録人物を削除する。

【0155】

図１９は画像データの検索と合成の一例を示す説明図である。

【0156】

画像データ１９０１〜１９０３は、北緯３５°２４′５３″、東経１３８°５１′３１″にて、２０１５．０３．１６の１０：０２：００〜１０：０２：５０に順に撮影された画像データである。画像データ１９０１〜１９０３は同じ背景である。

【0157】

画像データ１９０１、１９０２は、人物Ａにより人物Ｂが撮影された画像データであるが、画像データ１９０２には更に未登録人物Ｄも撮影されている。画像データ１９０１の人物Ｂには笑みがないため、人物Ａにより画像データ１９０２が撮影し直されたことを示す。画像データ１９０３は、人物Ｂにより人物Ａが撮影された画像データであるが、未登録人物Ｃ、Ｄも撮影されている。人物Ａ、Ｂは、予め重要人物として登録しておく。また、シャッターボタン１１３−２の代わりにタッチセンサを備えた表示部１１２に表示された人物に触れることで撮影した場合、当該人物を重要人物に登録してもよい。

【0158】

撮像装置１のシャッターボタン１１３−２が押されると被写体を撮影し、表示部１１２に撮影した画像を表示する。そして、合成ボタン１１３−６が押されると画像を合成する。

【0159】

画像データ１９０４は画像データ１９０２、１９０３から登録人物の合成と未登録人物Ｃの削除が行われた画像データである。

【0160】

例えば、画像データ１９０２の人物Ｂを輪郭検出により抜き出し、背景を基準にして画像データ１９０３に貼り付けることにより、画像データ１９０２に人物Ｂを合成する。更に画像データ１９０３の未登録人物Ｃの存在する位置の画像データ１９０２の背景を画像データ１９０３の未登録人物Ｃに貼り付けることで未登録人物Ｃを削除することができる。または、画像データ１９０３の人物Ａを輪郭検出により抜き出し、背景を基準にして画像データ１９０２と合成し、合成後の画像データ１９０４を生成してもよい。どちらか一方あるいは両方の画像データに未登録人物が存在する場合は、未登録人物が多い方の画像データから登録人物を抜き出し、登録人物が少ない方の画像データに貼り付けるとよい。

【0161】

次に、画像データ１９０４の未登録人物Ｄの存在する位置の画像データ１９０１の背景を画像データ１９０４の未登録人物Ｄに貼り付けることで未登録人物Ｄを削除する。

【0162】

画像データ１９０５は画像データ１９０４、１９０１から未登録人物Ｄの削除を行った画像データである。

【0163】

以上により、本実施形態によれば第一実施形態と同様の効果を得るとともに、更に、登録人物のみを画像に加え、未登録人物を削除することができる。なお、本実施形態では、登録人物を画像に加え、未登録人物を削除する例を示したが、登録人物を画像に加えずに、未登録人物を削除することもできる。

【0164】

＜第四実施形態＞
第四実施形態は、人物が撮像されていない背景のみの画像（以下「背景画像」という）を撮像した場合はその背景画像を、背景画像が無い場合はネットワーク上で公開されている背景が撮像された画像データを検索し、それらの背景画像を用いて未登録人物を削除する実施形態である。

【0165】

［撮像装置のハードウェア構成］
図２０Ａにおいて、図１Ａと同じ処理部分には同じ符号を付し、説明を省略する。

【0166】

図２０Ａは、第四実施形態に係る撮像装置の構成例を示すブロック図である。図２０Ａに示す撮像装置１は無線通信部１２０を有しており、アクセスポイント装置２を介して外部ネットワーク３と接続され、外部ネットワーク３上のサーバ装置４とデータの送受信を行う。アクセスポイント装置２との接続はＷｉ−Ｆｉ（登録商標）等による無線接続で行われるものとする。アクセスポイント装置２は移動体通信事業者の基地局であってもよい。また、撮像装置１が直接アクセスポイント２とデータの送受信を行うのではなく、スマートフォンや携帯端末を介してデータの送受信を行ってもよい。

【0167】

サーバ装置４は位置情報ありの画像データ、位置情報なしの画像データを複数有しており、撮像装置１はアクセスポイント装置２、ネットワーク３を介して各種画像データを取得することができる。

【0168】

［撮像装置のソフトウェア構成］
図２０Ｂは本実施例の撮像装置１のソフトウェア構成図であり、図１Ｂと同じ処理部分には同じ符号を付し、説明を省略する。

【0169】

図２０Ｂに示す第四実施形態に係る撮像装置のソフトウェア構成図を示す図である。ＲＯＭ部１０２に無線接続処理部１０２９を有しており、無線通信部１２０を制御することにより、アクセスポイント装置２との無線接続処理を行う。また、位置情報取得部１０２２により、本体のストレージ１０４あるいは外部記録媒体１０６に記録された画像ファイルのメタデータの位置情報を更新する処理を行う。

【0170】

［画像合成処理］
次に、画像合成処理について説明する。図２１は第四実施形態に係る合成処理部の動作例を示すフローチャートである。

【0171】

Ｓ２１０１〜Ｓ２１１０は図１７のＳ１７０１〜Ｓ１７１０と同様であるため、説明を省略する。

【0172】

画像データに未登録の人物が存在する場合（Ｓ２１１０；Ｙｅｓ）は、ストレージ部１０４の画像記憶領域１０４２に別の画像があるか否かの確認を行う（Ｓ２１１１）。

【0173】

別の画像がある場合（Ｓ２１１１；Ｙｅｓ）は、別の画像を検索し（Ｓ２１１２）、別の画像がない場合（Ｓ２１１１；Ｎｏ）は、Ｓ２１１７に進む。

【0174】

Ｓ２１１３〜Ｓ２１１６は、図１７のＳ１７１３〜Ｓ１７１６と同様であるため、説明を省略する。

【0175】

ストレージ部１０４の画像記憶領域１０４２に別の画像がない場合（Ｓ２１１１；Ｎｏ）は、アクセスポイント装置２を介して外部ネットワーク３と接続し、外部ネットワーク３上のサーバ装置４の画像を検索する（Ｓ２１１７）。そしてネットワーク上の画像を用いてＳ２１１６と同様の処理を行い、未登録人物を削除する（Ｓ２１１８）。

【0176】

以上のＳ２１０１〜Ｓ２１１８の処理を行うことで、表示画像に貼り付ける画像を検索して登録人物を抜き出して合成し、未登録人物を削除する。

【0177】

図２２は第四実施形態に係る画像データの検索と合成の一例を示す説明図である。

【0178】

画像データ２２０１〜２２０３は、北緯３５°２４′５３″、東経１３８°５１′３１″にて、２０１５．０３．１６の１０：０２：００〜１０：０２：５０に順に撮影された画像データである。画像データ２２０１〜２２０３は同じ背景である。

【0179】

画像データ２２０１は、人物Ａにより人物Ｂが撮影された画像データであるが、未登録人物Ｄも撮影されている。画像データ２２０２は、人物Ｂにより人物Ａが撮影された画像データであるが、未登録人物Ｃ、Ｄも撮影されている。人物Ａ、Ｂは、予め重要人物として登録しておく。また、シャッターボタン１１３−２の代わりにタッチセンサを備えた表示部１１２に表示された人物に触れることで撮影した場合、当該人物を重要人物に登録してもよい。

【0180】

撮像装置１のシャッターボタン１１３−２が押されると被写体が撮影され、表示部１１２に撮影された画像が表示される。そして、合成ボタン１１３−６が押されると画像が合成される。

【0181】

合成画像データ２２０３は画像データ２２０１、２２０２から登録人物の合成と未登録人物Ｃの削除が行われた画像データである。

【0182】

例えば、画像データ２２０１の人物Ｂを輪郭検出により抜き出し、背景を基準にして画像データ２２０２に貼り付けるとともに、画像データ２２０２の未登録人物Ｃの存在する位置の画像データ２２０１の背景を画像データ２２０２の未登録人物Ｃに貼り付けることにより未登録人物Ｃを削除する。あるいは、画像データ２２０２の人物Ａを輪郭検出により抜き出し、背景を基準にして画像データ２２０１に貼り付ける。どちらか一方あるいは両方の画像データに未登録人物が存在する場合は、未登録人物が多い方の画像データから登録人物を抜き出し、登録人物が少ない方の画像データに貼り付けるとよい。

【0183】

そして、同じ背景で未登録人物Ｄが存在しない画像（背景画像）を撮影し直して貼り付けることにより、未登録人物Ｄを削除することができる。

【0184】

しかし、もしも未登録人物Ｄが長時間その場所を離れない場合は、同じ背景で未登録人物Ｄが存在しない画像（背景画像）を撮影することができない。

【0185】

そこで、ネットワーク上で公開されている画像データを検索し、検索した画像データ２２０４（北緯３５°２４′５３″、東経１３８°５１′３１″にて、２０１５．０３．１０の０９：３０：００）を張り付けて未登録人物Ｄを削除する。画像データの検索はパターンマッチングで行い、類似の画像データを見つけ出す。撮影場所、撮影季節、撮影日時等を用いて検索してもよい。

【0186】

合成画像データ２２０５は、ネットワーク上で検索した画像データ２２０４を用いて合成画像データ２２０３から未登録人物Ｄの削除が行われた画像データである。

【0187】

合成画像データ２２０３の未登録人物Ｄの存在する位置の画像データ２２０４の背景を合成画像データ２２０３の未登録人物Ｄに貼り付けることにより未登録人物Ｄを削除する。

【0188】

以上により、本実施形態では第三実施形態と同様の効果を得るとともに、更に、ネットワーク上で公開されている画像データを検索し、検索した画像データを用いて未登録人物を削除することができる。

【0189】

また、ネットワーク上で公開されている画像データの撮影場所を基に、ユーザが同じ場所で撮影した画像データと合成できるようにしてもよい。

【0190】

以上、本発明の実施形態について説明したが、言うまでもなく、本発明の技術を実現する構成は上記実施形態に限られるものではなく、様々な変形例が考えられる。例えば、ある実施形態の構成の一部を他の実施形態の構成と置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。

【0191】

また、各処理例で説明したプログラムは、それぞれ独立したプログラムでもよく、複数のプログラムが一つのアプリケーションプログラムを構成していてもよい。また、各処理を行う順番を入れ替えて実行するようにしてもよい。

【0192】

前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用してもよい。

【0193】

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0194】

１：撮像装置、１０１：主制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ストレージ部、１０６：外部記録媒体、１１０：撮像部、１１５：ＧＰＳ受信部、１２０：無線通信部、１０２２：位置情報取得部、１０２３：撮像処理部、１０２４：画像記録部、１０２５：画像再生部、１０２７：合成処理部、１０２８：顔認識処理部

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14A】

【図14B】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図19】

【図20A】

【図20B】

【図21】

【図22】