特許 6247527 撮像装置及び制御方法、プログラム、並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6247527

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】撮像装置及び制御方法、プログラム、並びに記憶媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171204BHJP

   H04N 5/225 20060101ALI20171204BHJP

   G03B 15/00 20060101ALI20171204BHJP

   G03B 17/18 20060101ALI20171204BHJP

   G03B 19/07 20060101ALI20171204BHJP

【ＦＩ】

   H04N5/232 939

   H04N5/225 800

   G03B15/00 H

   G03B15/00 Q

   G03B17/18 Z

   G03B19/07

   H04N5/232 300

【請求項の数】16

【全頁数】18

(21)【出願番号】特願2013-266131(P2013-266131)

(22)【出願日】2013年12月24日

(65)【公開番号】特開2015-122670(P2015-122670A)

(43)【公開日】2015年7月2日

【審査請求日】2016年12月21日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】下里 二郎

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１３−０１７１２５（ＪＰ，Ａ）

【文献】 特開２００９−２１８９１５（ＪＰ，Ａ）

【文献】 特開２００５−０７３１６１（ＪＰ，Ａ）

【文献】 特開２００３−１３４３５８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／１８

Ｇ０３Ｂ １９／０７

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

第１の撮像手段と、
前記第１の撮像手段とは異なる第２の撮像手段と、
前記第１の撮像手段により撮像された第１のライブ画像の上に、前記第２の撮像手段により撮像された第２のライブ画像を重ねて表示するように制御する制御手段と、を有し、
前記制御手段は、前記第１のライブ画像と前記第２のライブ画像と共に第１の情報を表示手段に表示するときに、撮影待機状態の場合は、前記第１の情報を前記第２のライブ画像の下に表示し、撮影準備状態の場合は、前記第１の情報を前記第２のライブ画像の上に表示することを特徴とする撮像装置。

【請求項2】

前記第１の撮像手段は被写体側を撮像し、前記第２の撮像手段は撮影者側を撮像することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記制御手段はさらに、前記表示手段に第２の情報を表示し、
前記第２の情報を、前記撮影待機状態か前記撮影準備状態かにかかわらず前記第２のライブ画像の上に表示することを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

撮影指示に応じて、前記第１の撮像手段および前記第２の撮像手段により撮像された画像を関連付けて記録する記録手段をさらに有することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。

【請求項5】

前記第１の情報は、前記第１のライブ画像中の被写体に関する情報、被写体の位置、または、被写体の合焦位置を示す情報を含むことを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。

【請求項6】

前記制御手段は、前記第１のライブ画像と前記第２のライブ画像と共に第１の情報を表示手段に表示するときに、所定の機能の状態が撮影待機状態の場合は、前記第１の情報を前記第２のライブ画像の下に表示し、前記所定の機能の状態が撮影準備状態の場合は、前記第１の情報を前記第２のライブ画像の上に表示し、
前記所定の機能は、撮影動作を行うために前記第１のライブ画像中の被写体の位置を特定する機能であることを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。

【請求項7】

前記第１の情報は、前記第１のライブ画像中の被写体を示す情報であり、
前記制御手段は、前記第１のライブ画像中の被写体の位置または大きさに応じて、前記第１の情報を前記第２のライブ画像の上に表示するか、または、下に表示するかを切り替えることを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。

【請求項8】

前記撮影待機状態において所定の操作を受け付けたことに応じて、前記第１の撮像手段についてオートフォーカス処理を実行する処理手段をさらに有し、
前記第１の情報は、フォーカス枠であり、
前記制御手段は、前記撮影待機状態の場合は、前記フォーカス枠を前記第２のライブ画像の下に表示し、前記所定の操作を受け付けた場合に、前記フォーカス枠を前記第２のライブ画像の上に表示するように制御することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。

【請求項9】

前記第２の情報は、前記撮像装置に設定された撮影に関する情報を含むことを特徴とする請求項３に記載の撮像装置。

【請求項10】

前記制御手段は、前記撮影待機状態の場合は、前記第１のライブ画像中の被写体と前記第２のライブ画像とが重なる領域の面積が所定の大きさ未満である場合は、前記第１の情報を前記第２のライブ画像の上に表示し、前記重なる領域の面積が所定の大きさ以上である場合は、前記第１の情報を前記第２のライブ画像の下に表示することを特徴とする請求項１ないし９のいずれか１項に記載の撮像装置。

【請求項11】

前記第１の情報を前記第２のライブ画像の上に表示するか、または、下に表示するかの設定をユーザに選択可能に提示する提示手段をさらに有することを特徴とする請求項１ないし１０のいずれか１項に記載の撮像装置。

【請求項12】

第１の撮像手段により撮像された画像と、前記第１の撮像手段とは異なる第２の撮像手段により撮像された画像とを表示する表示制御装置の制御方法であって、
前記第１の撮像手段により撮像された第１のライブ画像の上に、前記第２の撮像手段により撮像された第２のライブ画像を重ねて表示するように制御する制御工程を有し、
前記制御工程では、前記第１のライブ画像と前記第２のライブ画像と共に第１の情報を表示手段に表示するときに、撮影待機状態の場合は、前記第１の情報を前記第２のライブ画像の下に表示し、撮影準備状態の場合は、前記第１の情報を前記第２のライブ画像の上に表示することを特徴とする制御方法。

【請求項13】

コンピュータを、請求項１ないし１１のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。

【請求項14】

コンピュータを、請求項１ないし１１のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。

【請求項15】

請求項１２に記載の表示制御装置の制御方法をコンピュータに実行させるためのプログラム。

【請求項16】

請求項１２に記載の表示制御装置の制御方法をコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の撮像手段を有する撮像装置に関する。

【背景技術】

【0002】

最近の携帯電話やスマートフォンには、撮影者から見える被写体を撮影する通常のカメラ（メインカメラ）とともに、撮影者自身や撮影者側の被写体を撮影するカメラ（サブカメラ）が搭載されている。そして、メインカメラとサブカメラを搭載していることにより、メインカメラとサブカメラで同時に撮影を行い、各カメラで撮影された画像を合成して記録する、いわゆるデュアルショット機能が実現される。デュアルショット機能を用いると、ユーザはメインカメラとサブカメラのライブビュー画像を見ながら、被写体の構図などと合わせて撮影者自身の表情なども確認し撮影を行うことができる。

【0003】

このデュアルショット機能により得られる画像は、一般的にメインカメラで撮影された画像の背景領域にサブカメラで撮影された画像が小さいサイズで重ね合せた構成である。このデュアルショット機能に関連して、例えば特許文献１には、メインカメラで撮影された画像中の被写体が隠れてしまわないように、メインカメラで撮影された画像について顔検出を行い、顔を含まない領域にサブカメラで撮影された撮影者の画像を合成する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−０９４７４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記デュアルショット機能を用いて撮影を行う場合、液晶パネルなどの電子ビューファインダー上には、メインカメラのライブビュー画像の背景領域にサブカメラのライブビュー画像が配置された合成画像がスルー表示される。このため、撮影者は被写体だけでなく自分の表情なども確認しながら撮影を行える。

【0006】

しかしながら、上記特許文献１では、撮影者の画像と被写体の画像を重ね合せて表示する際の位置関係が固定であるため、撮影者の画像が被写体の画像やフォーカス枠などの他の情報表示などで隠れてしまったり、被写体の画像が撮影者の画像や他の情報表示などで隠れてしまう可能性がある。

【0007】

本発明は、上記課題に鑑みてなされ、その目的は、画像や情報表示を重ねて表示する際の上下の位置関係を撮影状態に応じて切り替えることにより、ある画像が他の画像や情報表示などで隠れないように表示できる技術を実現することである。

【課題を解決するための手段】

【0008】

上記課題を解決し、目的を達成するために、本発明の撮像装置は、第１の撮像手段と、前記第１の撮像手段とは異なる第２の撮像手段と、前記第１の撮像手段により撮像された第１のライブ画像の上に、前記第２の撮像手段により撮像された第２のライブ画像を重ねて表示するように制御する制御手段と、を有し、前記制御手段は、前記第１のライブ画像と前記第２のライブ画像と共に第１の情報を表示手段に表示するときに、撮影待機状態の場合は、前記第１の情報を前記第２のライブ画像の下に表示し、撮影準備状態の場合は、前記第１の情報を前記第２のライブ画像の上に表示する。

【発明の効果】

【0009】

本発明によれば、複数の画像や情報表示を重ねて表示する際の上下の位置関係を撮影状態に応じて切り替えることにより、ある画像が他の画像や情報表示などで隠れないように表示できる。

【図面の簡単な説明】

【0010】

【図1】本発明に係る実施形態の撮像装置の外観図。

【図2】本実施形態の撮像装置の構成を示すブロック図。

【図3】本実施形態の撮像装置の基本動作を示すフローチャート。

【図4】本実施形態の撮像装置の静止画記録モードでの動作を示すフローチャート。

【図5】図４のＳ４０７における顔検出処理（ａ）、Ｓ４１４における撮影処理（ｂ）、Ｓ４１６における記録処理（ｃ）を示すフローチャート。

【図6】本実施形態のデュアルショットモードにおけるスルー表示制御処理を示すフローチャート。

【図7】本実施形態のデュアルショットモードにおけるライブビュー画面を例示する図。

【図8】本実施形態のデュアルショットモードにおけるライブビュー画面を例示する図。

【図9】本実施形態のデュアルショットモードにおけるレイヤー優先度設定画面を例示する図。

【図10】本実施形態のデュアルショットモードにおけるレイヤー構成を例示する図。

【発明を実施するための形態】

【0011】

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

【0012】

以下、本発明を、例えば、静止画や動画を撮影するデジタルカメラなどの撮像装置に適用した実施形態について説明する。

【0013】

＜装置構成＞図１および図２を参照して、本発明に係る実施形態のデジタルカメラの構成及び機能の概略について説明する。

【0014】

図１は、本実施形態のデジタルカメラ１００の外観を示している。

【0015】

図１において、表示部１０１は画像や各種情報を表示する液晶表示パネル（ＬＣＤ）等からなる。シャッターボタン１０２は撮影指示を行うための操作部である。モード切替ボタン１０３は各種モードを切り替えるための操作部である。コネクタ１０７は接続ケーブル１０８とデジタルカメラ１００とを接続するインターフェースである。操作部１０４はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材からなる操作部である。コントローラホイール１０６は操作部１０４に含まれる回転操作可能な操作部材である。１０５は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体１０９はメモリカードやハードディスク等の記録媒体である。記録媒体スロット１１０は記録媒体１０９を格納するためのスロットである。記録媒体スロット１１０に格納された記録媒体１０９は、デジタルカメラ１００との通信が可能となる。蓋１１１は記録媒体スロット１１０の蓋である。サブカメラ１１２は、撮影者自身や撮影者側の被写体を撮影するカメラモジュールである。ファインダー１１３は撮影者がファイダーを覗いて被写体側を撮影するために設けられている。

【0016】

図２は、本実施形態のデジタルカメラ１００の内部構成を示している。

【0017】

図２において、本実施形態のデジタルカメラ１００には、撮影者から見える被写体を撮影するメインカメラモジュール（以下、メインカメラ）と、撮影者自身や撮影者側の被写体を撮影するサブカメラモジュール（以下、サブカメラ）が搭載されている。メインカメラは、撮影レンズ２０３、シャッター２０４、撮像部２０５からなる第１の撮像光学系、サブカメラは撮影レンズ２３３、シャッター２３４、撮像部２３５からなる第２の撮像光学系をそれぞれ備える。

【0018】

撮影レンズ２０３、２３３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター２０４、２３４は絞り機能を備える。撮像部２０５、２３５は被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等で構成される撮像素子である。

【0019】

Ａ／Ｄ変換器２０６は、撮像部２０５、２３５から出力されるアナログ信号をデジタル信号に変換する。バリア２０２は、デジタルカメラ１００の、メインカメラ側の撮影レンズ２０３を含む撮像光学系を覆うことにより、撮影レンズ２０３、シャッター２０４、撮像部２０５を含む撮像光学系の汚れや破損を防止する。

【0020】

画像処理部２０７は、Ａ／Ｄ変換器２０６からのデータ、又は、メモリ制御部２０９からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２０７では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部２０１が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２０７では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

【0021】

なお、Ａ／Ｄ変換器２０６や画像処理部２０７を撮像部２０５、２３５ごとに設けることも可能である。

【0022】

Ａ／Ｄ変換器２０６からの出力データは、画像処理部２０７及びメモリ制御部２０９を介して、或いは、メモリ制御部２０９を介してメモリ２１０に直接書き込まれる。メモリ２１０は、撮像部２０５によって得られ、Ａ／Ｄ変換器２０６によりデジタルデータに変換された画像データや、表示部１０１に表示するための画像データを格納する。メモリ２１０は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。

【0023】

圧縮伸張部２１７は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮し、または圧縮した画像データを伸張する。圧縮伸張部２１７は、シャッター２０４、２３４をトリガにしてメモリ２１０に格納された画像データを読み込んで圧縮処理を行い、処理を終えた画像データをメモリ２１０に書き込む。また、後述するデュアルショットモードで撮影を行った場合は、メモリ制御部２０９がメモリ２１０に保持されているメインカメラで撮影された第１の画像（以下、メインカメラ画像）とサブカメラで撮影された第２の画像（以下、サブカメラ画像）を後述する表示時の上下関係を決定するレイヤー優先度に応じて合成し、圧縮伸張部２１７により圧縮処理を終えた合成画像データをメモリ２１０に書き込む。また、圧縮伸張部２１７は、記録媒体１０９に記録されているファイル化された画像データに伸張処理を行い、処理を終えた画像データをメモリ２１０に書き込む。システム制御部２０１は、圧縮伸張部２１７によりメモリ２１０に書き込まれた画像データをファイル化して記録媒体Ｉ／Ｆ２１６を介して記録媒体１０９に書き込む。

【0024】

また、メモリ２１０は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器２０８は、メモリ２１０に格納されている画像表示用のデータをアナログ信号に変換して表示部１０１に供給する。こうして、メモリ２１０に書き込まれた表示用の画像データはＤ／Ａ変換器２０８を介して表示部１０１により表示される。表示部１０１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器２０８からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２０６によって一旦Ａ／Ｄ変換され、メモリ２１０に蓄積されたデジタル信号をＤ／Ａ変換器２０８においてアナログ変換し、表示部１０１に逐次転送して表示することで、電子ビューファインダー（ＥＶＦ）として機能し、ライブビュー画像（以下、ライブ画像）のスルー表示を行うことができる。

【0025】

不揮発性メモリ２１３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２１３には、システム制御部２０１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

【0026】

システム制御部２０１は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ２１３に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。２１２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ２１２には、システム制御部２０１の動作用の定数、変数、不揮発性メモリ２１３から読み出したプログラム等を展開する。また、システム制御部２０１はメモリ２１０、Ｄ／Ａ変換器２０８、表示部１０１等を制御することにより表示制御も行う。

【0027】

システムタイマー２１１は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

【0028】

モード切替ボタン１０３、第１シャッタースイッチ１０２ａ、第２シャッタースイッチ１０２ｂ、操作部１０４はシステム制御部２０１に各種の動作指示を入力するための操作手段である。

【0029】

モード切替ボタン１０３は、システム制御部２０１の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード、メインカメラ画像とサブカメラ画像を同時に撮影するデュアルショットモードなどがある。モード切替ボタン１０３で、静止画記録モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替ボタン１０３で静止画記録モードに一旦切り替えた後に、静止画記録モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしても良い。同様に、動画記録モードにも複数のモードが含まれていてもよい。

【0030】

第１シャッタースイッチ１０２ａは、デジタルカメラ１００に設けられたシャッターボタン１０２の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１により、メインカメラやサブカメラのＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

【0031】

第２シャッタースイッチ１０２ｂは、シャッターボタン１０２の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２により、撮像部２０５や撮像部２３５からの信号読み出しから記録媒体１０９に画像データを書き込むまでの一連の撮影処理の動作を開始する。

【0032】

操作部１０４の各操作部材は、表示部１０１に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

【0033】

コントローラホイール１０６は、操作部１０４に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール１０６を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部２０１はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール１０６が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール１０６は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール１０６自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサからなる操作部材で、コントローラホイール１０６自体は回転せず、コントローラホイール１０６上でのユーザの指の回転動作などを検出するものであっても良い（いわゆる、タッチホイール）。

【0034】

電源制御部２１４は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２１４は、その検出結果及びシステム制御部２０１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０９を含む各部へ供給する。

【0035】

電源部２１５は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる。

【0036】

記録媒体Ｉ／Ｆ２１６は、メモリカードやハードディスク等の記録媒体１０９とのインターフェースである。記録媒体１０９は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

【0037】

＜基本動作＞図３を参照して、本実施形態のデジタルカメラ１００の起動から終了までの基本動作について説明する。なお、図３の処理は、不揮発性メモリ２１３に記録されたプログラムを、システムメモリ２１２に読み出してシステム制御部２０１が実行することにより実現される。

【0038】

また、サブカメラは、以下に述べるにようメインカメラと基本的に同様の動作を行うが、特にサブカメラに特有の処理については補足しつつ説明する。

【0039】

デジタルカメラ１００の電源スイッチ１０５がオンされると、図３の処理が開始される。

【0040】

Ｓ３０１では、システム制御部２０１は、フラグや制御変数等を初期化し、Ｓ３０２では、記録媒体１０９に記録されているファイルに関する管理処理を開始する。

【0041】

Ｓ３０３、Ｓ３０５、Ｓ３０７では、システム制御部２０１は、モード切替ボタン１０３の設定位置を判定する。Ｓ３０３で静止画記録モードに設定されていた場合はＳ３０４へ進み、図４で後述する静止画記録モード処理を実行する。また、Ｓ３０５で動画記録モードに設定されていた場合はＳ３０６に進み、動画記録モード処理を実行する。また、Ｓ３０７で再生モードに設定されていた場合はＳ３０８に進み、再生モード処理を実行する。

【0042】

また、Ｓ３０３、Ｓ３０５、Ｓ３０７で静止画記録モード、動画記録モード、再生モードのいずれにも設定されていない場合はＳ３０９へ進み、システム制御部２０１はその他のモード処理を実行する。その他のモード処理は、例えば、記録媒体１０９に記録されているファイルの送信を行う送信モード処理、外部機器からファイルを受信して記録媒体１０９に記録する受信モード処理などである。

【0043】

Ｓ３０４、Ｓ３０６、Ｓ３０８、Ｓ３０９で各モード処理を実行した後、Ｓ３１０へ進み、システム制御部２０１は電源スイッチ１０５の設定を判定し、ＯＮに設定されている場合はＳ３０３に戻り、ＯＦＦに設定されている場合はＳ３１１へ進む。

【0044】

Ｓ３１１では、システム制御部２０１は、終了処理を行う。終了処理には、例えば、表示部１０１の表示を終了状態に変更し、バリア２０２を閉じて撮像部２０５を保護する処理、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ２１３に記録し、電源供給が不要な部分への電源を遮断する処理が含まれる。

【0045】

Ｓ３１１の終了処理が完了すると、電源オフ状態へ移行する。

【0046】

＜静止画記録モード＞図４および図５を参照して、図３のＳ３０４における静止画記録モード処理について説明する。なお、図４の処理は、モード切替ボタン１０３により他の動作モードへの切り替えが指示された場合や電源スイッチ１０５がオフされた場合に割り込み処理等により終了するものである。

【0047】

Ｓ４０１では、システム制御部２０１は、撮影モードを確定する。撮影モードの確定は、不揮発性メモリ２１３より前回の静止画記録モード処理の終了時点における撮影モードを取得してシステムメモリ２１２に格納することでなされる。この撮影モードは、静止画を撮影するための撮影モードである。本実施形態のデジタルカメラ１００は以下の撮影モードを有する。

【0048】

・オート撮影モード：カメラの各種パラメータが、測光された露出値に基づいてデジタルカメラ１００に組み込まれたプログラムにより自動的に決定されるモード。

【0049】

・マニュアルモード：カメラの各種パラメータをユーザが自由に変更可能なモード。

【0050】

・シーンモード：撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせが自動で設定される。

【0051】

・デュアルショットモード：メインカメラの撮影と同時にサブカメラの撮影も行い、サブカメラ画像をメインカメラ画像に重ね合せて１つの合成画像を生成するモード。

【0052】

Ｓ４０２では、システム制御部２０１は、表示部１０１に対して撮像部２０５で撮像された画像データのスルー表示を行う。なお、図６で後述するデュアルショットモードの場合、撮像部２０５、２３５で撮像されているメインカメラ画像とサブカメラ画像をメモリ制御部２０９により合成し、記録媒体１０９に記録することなくほぼリアルタイムのライブ画像がスルー表示される。撮影者は、この合成画像を見て画角の確認や撮影のタイミングを調整することができ、また、自分の表情なども合わせて確認することができる。

【0053】

Ｓ４０３では、システム制御部２０１は，電源制御部２１４により電源部２１５の残容量や、記録媒体１０９の有無や残容量がデジタルカメラ１００の動作に問題があるか否かを判定する。問題がある場合はＳ４０４に進み、表示部１０１に画像や音声により所定の警告表示を行い、Ｓ４０１に戻り、問題がない場合はＳ４０５に進む。

【0054】

Ｓ４０５では、システム制御部２０１は、ユーザ設定に応じて不揮発性メモリ２１３に格納された撮影設定をシステムメモリ２１２に展開して撮影パラメータを設定しているか否かを判定する。設定していない場合はＳ４０７に進み、設定している場合はＳ４０６に進み、設定された撮影パラメータに応じた処理を行う。

【0055】

Ｓ４０７では、システム制御部２０１は、スルー表示されるライブ画像中から人物の顔を検出する（顔検出処理）。システム制御部２０１は、顔検出処理において人物の顔が検出された場合、検出した顔の位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等を顔情報としてシステムメモリ２１２に記憶する。顔検出処理において顔が検出されなかった場合はシステムメモリ２１２の位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等の領域に０を設定する。

【0056】

ここで、図５（ａ）を参照して、Ｓ４０７における顔検出処理について説明する。

【0057】

図５（ａ）において、システム制御部２０１は、メモリ２１０に保持されているライブ画像データ（Ｓ５３１）を読み出し、水平方向および垂直方向のバンドパスフィルタをかけ（Ｓ５３２、Ｓ５３３）、エッジ成分を検出する。次に、システム制御部２０１は、検出されたエッジ成分のパターンマッチングを行い（Ｓ５３４）、目及び鼻、口、耳の候補群を抽出する。次に、システム制御部２０１は、パターンマッチングにより抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみを目の候補群として絞り込む（Ｓ５３５）。

【0058】

そして、システム制御部２０１は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定された非顔条件フィルタを通すことで顔を検出し（Ｓ５３６）、検出結果に応じて顔情報を生成する（Ｓ５３７）。

【0059】

このようにスルー表示されるライブ画像データから人物の顔などの被写体の特徴量を抽出し被写体情報を生成することが可能である。なお、生成された被写体情報をユーザに通知するために、例えば顔の位置座標やサイズに応じて、表示部１０１に顔枠などをライブ画像と重ね合わせて表示しても良い。本実施形態では、被写体情報として顔情報を例示しているが、これに限らず、例えば自動車や電車などの動いている物体を追尾する被写体として検出することも可能である。

【0060】

Ｓ４０９では、システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１がＯＮしているか否かを判定する（撮影準備指示受付）。第１シャッタースイッチ信号ＳＷ１がＯＦＦの場合はＳ４０５に戻る一方、ＯＮの場合はＳ４１０に進む。

【0061】

Ｓ４１０では撮影準備動作が行われる。システム制御部２０１は、測距処理を行って撮影レンズ２０３の焦点を被写体に合わせるとともに（ＡＦ処理）、測光処理を行って絞り値及びシャッタースピードを決定する（ＡＥ処理）。なお、測光処理において、必要であればフラッシュの設定も行われる。また、Ｓ４０７で顔が検出されている場合、検出した顔の範囲で測距を行う顔ＡＦを行い、合焦位置を示す特定の顔にＡＦ枠を表示することも可能である。また、デュアルショットモードの場合は、サブカメラ側でも同様に撮影準備動作を行う。

【0062】

Ｓ４１１、Ｓ４１２では、システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１と第２シャッタースイッチ信号ＳＷ２のＯＮ／ＯＦＦ状態を判定する。第１シャッタースイッチ信号ＳＷ１がＯＮ状態で第２シャッタースイッチ信号ＳＷ２がＯＮになった場合はＳ４１３へ進む。その後、第１シャッタースイッチ信号ＳＷ１がＯＦＦになると（第２シャッタースイッチ信号ＳＷ２がＯＮせず、第１シャッタースイッチ信号ＳＷ１もＯＦＦされた場合）、Ｓ４０６へ戻る。また、第１シャッタースイッチ信号ＳＷ１がＯＮ、第２シャッタースイッチ信号ＳＷ２がＯＦＦの間は、Ｓ４１１、Ｓ４１２の処理が繰り返される。

【0063】

Ｓ４１３では、システム制御部２０１は、表示部１０１をスルー表示状態から固定色表示状態（例えば黒一色の表示）に設定する。

【0064】

Ｓ４１４では、システム制御部２０１は、露光処理や現像処理を含む撮影処理を実行する。露光処理では、撮像部２０５、Ａ／Ｄ変換器２０６から得られた画像データが、画像処理部２０７及びメモリ制御部２０９を介して、或いはＡ／Ｄ変換器２０６から直接メモリ制御部２０９を介して、メモリ２１０に書き込まれる。また、現像処理では、システム制御部２０１が、メモリ制御部２０９、必要に応じて画像処理部２０７により、メモリ２１０に書き込まれた画像データを読み出して各種処理を行う。

【0065】

ここで、図５（ｂ）を参照して、Ｓ４１４における撮影処理について説明する。

【0066】

図５（ｂ）において、システム制御部２０１は、システムタイマー２１１から撮影日時を取得し、システムメモリ２１２に記憶する（Ｓ５４１）。次に、システム制御部２０１は、Ｓ４１０で決定され、システムメモリ２１２に記憶された絞り値に応じて、シャッター２０４の絞り機能を調節し、撮像部２０５の露光を開始する（Ｓ５４２、Ｓ５４３）。

【0067】

システム制御部２０１は、撮像部２０５の露光が終了すると（Ｓ５４４）、シャッター２０４を閉じて（Ｓ５４５）、撮像部２０５から電荷信号を読み出し、Ａ／Ｄ変換器２０６、画像処理部２０７、メモリ制御部２０９を介して、或いはＡ／Ｄ変換器２０６から直接メモリ制御部２０９を介して、メモリ２１０に画像データを書き込む（Ｓ５４６）。

【0068】

システム制御部２０１は、メモリ制御部２０９により、必要に応じて画像処理部２０７を介して、メモリ２１０に書き込まれた画像データを読み出し、圧縮伸張部２１７により圧縮処理などの画像処理を行い（Ｓ５４７）、処理を終了した画像データをメモリ２１０に順次書き込む。デュアルショットモードの場合は、圧縮処理されたメインカメラ画像およびサブカメラ画像を合成し、メモリ２１０に書き込む。

【0069】

Ｓ５４８では、システム制御部２０１は、メモリ制御部２０９によりメモリ２１０から画像データを読み出し、Ｄ／Ａ変換器２０８によりアナログ信号に変換された表示用の画像データを表示部１０１に転送する。こうして、メモリ２１０に書き込まれた画像データはＤ／Ａ変換器２０８を介して表示部１０１に表示される。

【0070】

Ｓ４１５では、システム制御部２０１は、Ｓ４１４の撮影処理で得られた画像データのクイックレビュー表示を行う。クイックレビュー表示とは、撮影画像の確認のために、被写体の撮影後記録媒体への記録前に、予め決められた時間（レビュー時間）だけ画像データを表示部１０１に表示する処理である。

【0071】

Ｓ４１６では、システム制御部２０１は、Ｓ４１４の撮影処理で得られた画像データをファイルとして記録媒体１０９に書き込む。デュアルショットモードの場合は、サブカメラで撮影されたサブカメラ画像データをメインカメラデータと関連付けて記録媒体１０９に記録する。

【0072】

ここで、図５（ｃ）を参照して、Ｓ４１６における記録処理について説明する。

【0073】

図５（ｃ）において、システム制御部２０１は、所定のファイル名生成ルールに従ってファイル名を生成し（Ｓ５５１）、Ｓ４１４の撮影処理にてシステムメモリ２１２に記憶した撮影日時情報を取得する（Ｓ５５２）。次に、システム制御部２０１は、画像データのファイルサイズを取得し（Ｓ５５３）、ファイルを格納するディレクトリが記録媒体１０９に存在するか否かを判定する（Ｓ５５４）。判定の結果、ディレクトリが存在しない場合はＳ５５５に進み、存在する場合はＳ５５６に進む。

【0074】

Ｓ５５５では、システム制御部２０１は、例えば１００ＧＡＮＯＮなどのディレクトリを記録媒体１０９に作成する。

【0075】

Ｓ５５６では、システム制御部２０１は、Ｓ４１４の撮影処理で得られた画像データの撮影日時やファイルサイズ、撮影条件などから構成されるファイルヘッダを作成する。

【0076】

Ｓ５５７では、システム制御部２０１は、Ｓ５５１からＳ５５３で生成、取得したファイル名、撮影日時情報、データサイズからディレクトリエントリを生成し、画像データをファイルとして記録媒体１０９に書き込む。

【0077】

Ｓ４１７では、システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２のＯＮ／ＯＦＦ状態を判定し、第２シャッタースイッチ信号ＳＷ２がＯＦＦになるのを待つ。第２シャッタースイッチ信号ＳＷ２がＯＦＦになるまでの間、上記クイックレビュー表示を継続させる。即ち、Ｓ４１６の記録処理が終了した際に、第２シャッタースイッチ信号ＳＷ２がＯＦＦされるまで表示部１０１へのクイックレビュー表示を継続させる。このように構成することにより、ユーザは、シャッターボタン１０２の全押し状態を継続することで、クイックレビュー表示を用いた撮影画像データの確認を入念に行うことが可能となる。Ｓ４１７で第２シャッタースイッチ信号ＳＷ２がＯＦＦとなると、つまり、ユーザがシャッターボタン１０２から指を放すなどして全押し状態が解除されると、Ｓ４１８へ進む。

【0078】

Ｓ４１８では、システム制御部２０１は、予め定められたクイックレビュー表示のレビュー時間が経過したか否かを判定する。レビュー時間が経過していない場合はレビュー時間が経過するのを待ち、レビュー時間が経過するとＳ４１９に進む。

【0079】

Ｓ４１９では、システム制御部２０１は、表示部１０１をクイックレビュー表示からスルー表示状態に戻す。この処理により、クイックレビュー表示によって画像データを確認した後、表示部１０１の表示状態は次の撮影のために撮像部２０５で撮像された画像データを逐次表示するスルー表示状態に自動的に切り替わることになる。

【0080】

Ｓ４２０では、システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１のＯＮ／ＯＦＦ状態を判定し、ＯＮの場合はＳ４１１へ戻り、ＯＦＦの場合はＳ４０５へ戻る。即ち、システム制御部２０１は、シャッターボタン１０２の半押し状態が継続している（第１シャッタースイッチ信号ＳＷ１がＯＮ）場合は、次の撮影に備える（Ｓ４１１）。一方、シャッターボタン１０２が放された（第１シャッタースイッチ信号ＳＷ１がＯＦＦ）場合は、一連の撮影動作を終えて撮影待機状態に戻る（Ｓ４０６）。

【0081】

＜ライブ画像の表示処理＞次に、図６から図１０を参照して、図４のＳ４０２におけるデュアルショットモード時のライブ画像のスルー表示処理について説明する。

【0082】

デュアルショットモードでデジタルカメラ１００の電源をオンするか、他のモードからデュアルショットモードに切り替えられると、図６の処理が開始される。デュアルショットモードでは、図７（ａ）に示すように、ライブビュー画面７１０に、メインカメラで撮影された第１のライブ画像（以下、メインライブ画像）７１１とサブカメラで撮影された第２のライブ画像（以下、サブライブ画像）７１２が表示される。

【0083】

図６に示すように、Ｓ６０１、Ｓ６０２では、システム制御部２０１は、画像処理部２０７により、メモリ２１０に保持されているメインカメラ画像データおよびサブカメラ画像データから、メインライブ画像７１１とサブライブ画像７１２を生成する。

【0084】

Ｓ６０３では、システム制御部２０１は、メインカメラ画像データに対する図４のＳ４０７における顔検出の結果、顔が検出された場合はＳ６０４に進み、顔が検出されない場合はＳ６０５に進む。

【0085】

Ｓ６０４では、システム制御部２０１は、検出された顔の位置座標およびサイズ（幅、高さ）に応じて、ライブビュー画面７１０のメインライブ画像７１１に顔枠７１３を重ね合わせて表示するための枠情報（第１の情報）を生成する。

【0086】

Ｓ６０５では、システム制御部２０１は、ライブビュー画面７１０に撮影パラメータなどのＯＳＤ（オンスクリーンディスプレイ）７１４を表示するためのアイコンや文字列などからなるＯＳＤデータ（第２の情報）を生成する。ＯＳＤデータとしては、例えば撮影モードやバッテリー残量、シャッター速度、露出値、ＩＳＯ感度、ホワイトバランス、フラッシュＯＮ／ＯＦＦなどがある。

【0087】

上述したように、Ｓ６０１からＳ６０５で、メインライブ画像７１１、サブライブ画像７１２、顔枠７１３およびＯＳＤ７１４の各情報が生成されると、システム制御部２０１は、これらを表示部１０１に表示する際のレイヤーの優先度を決定する。なお、レイヤーの優先度は、メインライブ画像７１１、サブライブ画像７１２、顔枠７１３およびＯＳＤ７１４を重ね合せて表示する際の上下関係を表し、優先度が高いほど上位に配置される。

【0088】

Ｓ６０６、Ｓ６０７では、システム制御部２０１は、ＯＳＤ７１４のレイヤーの優先度を最上位に設定し、メインライブ画像７１１のレイヤーの優先度を最下位に設定する。これは、メインライブ画像７１１がライブビュー画面７１０のほぼ全体に表示されるため、最下層のレイヤーに表示しないとサブライブ画像７１２やＯＳＤ７１４が隠れて見えなくなってしまうからである。

【0089】

Ｓ６０８では、システム制御部２０１は、第１シャッタースイッチ信号ＳＷ１のＯＮ／ＯＦＦ状態を判定し、ＯＮの場合（撮影準備動作時）はＳ６０９に進み、ＯＦＦの場合（撮影待機時）はＳ６１０へ進む。

【0090】

Ｓ６０９では、システム制御部２０１は、図７（ｂ）に示すように、顔枠７２３のレイヤー優先度がサブライブ画像７２２のレイヤー優先度より高くなるように撮影準備動作時のレイヤー優先度に設定する。撮影準備動作時には、顔枠７２３は必ず確認され、撮影者は顔枠７２３を見て最終的に撮影指示を行うので、サブライブ画像７２２の上に表示されるようにレイヤー優先度が設定される。図１０（ｂ）は、図７（ｂ）のライブビュー画面７２０を表示するためのレイヤー構成を例示している。撮影準備状態では、顔枠のレイヤー１０２２の優先度が２番目に設定され、サブライブ画像のレイヤー１０２３の優先度が３番目に設定される。

【0091】

一方、Ｓ６１０では、システム制御部２０１は、図７（ｃ）に示すように、サブライブ画像７３２のレイヤー優先度が顔枠７３３のレイヤー優先度より高くなるように撮影待機時のレイヤー優先度に設定する。撮影待機時は、顔枠７３３の位置は移動、変更され、最終的に顔枠の位置が確定されるまではそれほど重要ではないため、サブライブ画像７３２の下に表示されるようにレイヤー優先度が設定される。図１０（ａ）は、図７（ｃ）のライブビュー画面７３０を表示するためのレイヤー構成を例示している。撮影待機時には、サブライブ画像のレイヤー１０１２の優先度が２番目に設定され、顔枠のレイヤー１０１３の優先度が３番目に設定される。

【0092】

Ｓ６１１では、システム制御部２０１は、Ｓ６０９またはＳ６１０で設定されたレイヤー優先度に応じて、全てのレイヤーの画像やＯＳＤを重ね合せて表示部１０１に表示する。なお、Ｓ６０６、Ｓ６０７により、図１０（ａ）の撮影待機時と図１０（ｂ）の撮影準備動作時のいずれの場合であっても、ＯＳＤのレイヤー１０１１、１０２１の優先度は最上位、メインライブ画像のレイヤー１０１４、１０２４は最下位に設定される。

【0093】

なお、Ｓ６１０での撮影待機時のレイヤ優先度の設定方法は、（１）固定の場合、（２）メインライブ画像の顔の座標位置やサイズなどに応じて決定する場合、（３）ユーザに選択可能に提示する場合など様々な方法が考えられる。

【0094】

上記（１）では、図７（ｃ）のライブビュー画面７３０のように、待機準備動作時にはメインライブ画像７３１の顔枠７３３の下に隠れて全体が見えなかったサブライブ画像７３２が見えるようになるので、撮影者は自分の表情などを確認することができる。

【0095】

上記（２）では、図８（ａ）および図８（ｂ）のライブビュー画面８１０、８２０に示すように、サブライブ画像８１２とメインライブ画像の顔領域８１１が重なった範囲に応じて決定する。例えば、図８（ｂ）に示すように、顔枠８２３を表示する対象の顔８２１とサブライブ画像８２２とが重なる領域の面積が所定の大きさ未満である場合は、顔枠８２３のレイヤー優先度をサブライブ画像８２２のレイヤー優先度よりも高くする。一方、図８（ａ）に示すように、顔８１１とサブライブ画像８１２とが重なる領域の面積が所定の大きさ以上である場合は、顔枠のレイヤー優先度をサブライブ画像８１２のレイヤー優先度よりも低くする。なお、メインライブ画像の顔の座標位置およびサイズの少なくともいずれかに応じてレイヤー優先度を決定しても良い。この場合、例えば、メインライブ画像の顔のサイズが当該画像全体を覆うように大きい場合は、顔位置に関係なく顔枠をサブライブ画像よりも下層に設定するようにしても良い。また、例えば、メインライブ画像の顔枠表示対象の顔位置がサブライブ画像から大きく離れている場合は、顔のサイズに関係なく顔枠をサブライブ画像よりも上位に設定するようにしても良い。

【0096】

上記（３）では、図９（ａ）に示すレイヤー優先度設定画面９１０から、ユーザがメニュー項目９１１、９１２を選択して、顔枠とサブライブ画像のいずれのレイヤー優先度を高くするかを予め設定する。例えば図９（ａ）のレイヤー優先度設定画面９１０でユーザが顔枠レイヤー９１１を選択した場合は、撮影待機時は常に顔枠のレイヤー優先度がサブライブ画像のレイヤー優先度よりも高くなる。一方、サブライブ画像レイヤー９１２を選択した場合は、サブライブ画像のレイヤー優先度が高くなる。このように、ユーザの趣向に応じて選択の幅を増やすことができる。レイヤー優先度の決定方法はその他にも考えられるが、これらの方法のいずれかを採用しても良い。また、例えば図９（ｂ）に示すレイヤー優先度設定画面９２０から、ユーザがメニュー項目９２１、９２２、９２３を選択して、顔枠とサブライブ画像のいずれかのレイヤー優先度を高くするか、条件に応じて優先度を高くするレイヤーを決定しても良い。図９（ｂ）のレイヤー優先度設定画面９２０でユーザが条件付き優先９２２を選択した場合は、撮影動作中の条件に応じて顔枠のレイヤー優先度とサブライブ画像のレイヤー優先度のどちらを高くするかをカメラが自動で判定する。一方、顔枠レイヤー優先９２１やサブライブ画像レイヤー９２３を選択した場合は、レイヤー優先度を高くしたいものをユーザが任意に決定することができる。

【0097】

以上説明したように、本実施形態によれば、メインライブ画像、顔枠、サブライブ画像、およびＯＳＤを重ねて表示する際の上下の位置関係を撮影状態に応じて切り替えることができる。このようにすることで、撮影者が被写体と自分の表情などと共に、合焦している被写体なども確認できるようになり、最適なタイミングで撮影を行うことが可能となる。

【0098】

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

【0099】

また、上述の実施形態では、本発明を適用した撮像装置を例に説明したが、カメラ付き携帯電話や携帯ゲーム機等の電子機器により本発明を実施しても良い。また、１つの装置で上述の実施形態の機能を実現せずに、複数の装置、例えば、複数の撮像部を有する撮像装置、表示部を有する表示装置、制御部を有し撮像装置と表示装置とを制御する制御装置を接続したシステムにより本発明を実現しても良い。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】