特許 7451171 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-08

(45)【発行日】2024-03-18

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240311BHJP

   H04N 23/611 20230101ALI20240311BHJP

   H04N 23/63 20230101ALI20240311BHJP

   G03B 15/00 20210101ALI20240311BHJP

   G03B 7/095 20210101ALI20240311BHJP

【ＦＩ】

H04N23/60

H04N23/611

H04N23/63

G03B15/00 Q

G03B7/095

【請求項の数】 16

(21)【出願番号】P 2019232534

(22)【出願日】2019-12-24

(65)【公開番号】P2021101503

(43)【公開日】2021-07-08

【審査請求日】2022-12-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】君島 裕一郎

(72)【発明者】

【氏名】▲高▼山 和紀

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１９－１３４３３５（ＪＰ，Ａ）

【文献】特開２００８－０２８７４７（ＪＰ，Ａ）

【文献】特開２０１０－１６９９５４（ＪＰ，Ａ）

【文献】特開２０１６－２１３６１９（ＪＰ，Ａ）

【文献】特開２０１９－１９７２９５（ＪＰ，Ａ）

【文献】特開２０１７－１８１７９７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１６２８７６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０２３８７４８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６１１

Ｈ０４Ｎ ２３／６３

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９５

(57)【特許請求の範囲】

【請求項1】

ライブビュー用画像と静止画像を選択的に取得可能な取得部、
前記ライブビュー用画像を所定の第１の周期で周期的に取得している際に、所定の操作によって前記静止画像を取得すると共に、前記静止画像を取得した直後にライブビュー用画像を再び取得する駆動制御部、
前記静止画像を取得した直前または直後のライブビュー用画像から被写体情報を検出する被写体検出部、
前記被写体検出部によって検出された被写体情報に基づき前記静止画像を処理する信号処理部、を有し、
前記ライブビュー用画像を前記所定の第１の周期より遅い所定の第２の周期で周期的に取得している際に、所定の操作によって前記静止画像を取得した場合には、前記被写体検出部によって前記静止画像から被写体情報を検出し、前記信号処理部は、前記被写体検出部によって検出された被写体情報に基づき前記静止画像を処理することを特徴とする画像処理装置。

【請求項2】

前記信号処理部から得られた画像を表示する表示部を有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記信号処理部は、前記ライブビュー用画像から検出された前記被写体情報に基づき前記ライブビュー用画像を処理することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記信号処理部は、前記ライブビュー用画像から検出された前記被写体情報に基づき前記ライブビュー用画像を処理して被写体を追尾するためのマークを表示することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記被写体検出部が、前記静止画像を取得した直後のライブビュー用画像から被写体情報を検出する場合に、前記駆動制御部は、前記静止画像を取得した直後に所定のライブビュー用画像を再び取得する際に、前記所定のライブビュー用画像を取得するための同期信号をリセットすることを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記静止画像を取得する際に前記取得部に入射する光を制御する絞りを有し、前記被写体検出部が、前記静止画像を取得した直後のライブビュー用画像から被写体情報を検出する場合には、前記絞り部は前記静止画像を取得する際の絞り状態と、前記静止画像を取得した直後に前記所定のライブビュー用画像を再び取得する際の絞り状態を同じにすることを特徴とする請求項１または５に記載の画像処理装置。

【請求項7】

ライブビュー用画像と静止画像を選択的に取得可能な取得部、
前記ライブビュー用画像を周期的に取得している際に、所定の操作によって前記静止画像を取得すると共に、前記静止画像を取得した直後にライブビュー用画像を再び取得する駆動制御部、
前記ライブビュー用画像を所定の第１の周期で周期的に取得している際には、所定の条件に応じて、前記ライブビュー用画像または前記静止画像の少なくとも１つから被写体情報を検出し、前記ライブビュー用画像を第１の周期より遅い所定の第２の周期で周期的に取得している際には、前記静止画像から被写体情報を検出する被写体検出部、
前記被写体検出部によって検出された被写体情報に基づき前記静止画像を処理する信号処理部、を有することを特徴とする画像処理装置。

【請求項8】

前記被写体検出部は、前記ライブビュー用画像を所定の第１の周期で周期的に取得している際には、所定の条件に応じて、前記静止画像の直前または直後の前記ライブビュー用画像から被写体情報を検出することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記被写体検出部は、前記静止画像の直前または直後の前記ライブビュー用画像の内、前記静止画像の露出タイミングとの差が少ない方のライブビュー用画像から被写体情報を検出することを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記所定の条件は前記ライブビュー用画像と前記静止画像の露出差が所定値より大きいか否かを含むことを特徴とする請求項８に記載の画像処理装置。

【請求項11】

前記所定の条件は前記ライブビュー用画像と前記静止画像の露出差が所定値より小さい場合には前記静止画像から被写体情報を検出することを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記所定の条件は主被写体の動き量、被写体のコントラストの少なくとも１つを含むことを特徴とする請求項８に記載の画像処理装置。

【請求項13】

前記主被写体の動き量が所定値より小さい場合には、前記静止画像から被写体情報を検出することを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

前記ライブビュー用画像から前記被写体情報を検出する場合に、被写体の動きを補正する補正部を有することを特徴とする請求項８に記載の画像処理装置。

【請求項15】

前記取得部は、光学系を介して被写体からの光を受光し画像データを出力するイメージセンサを含むことを特徴とする請求項１に記載の画像処理装置。

【請求項16】

請求項１～１５のいずれか１項に記載の前記画像処理装置の各部としてコンピュータを機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体情報を用いた画像処理装置等に関する。

【背景技術】

【0002】

従来、デジタルカメラなどの画像処理装置では、静止画連写中であっても、被写体のフレーミングを可能とするため、静止画の連写撮影の隙間期間にライブビュー（ＬＶ）用の画像の撮影が行われている。

【0003】

一方で、画像から被写体を検出する動作は、ＬＶ用の画像における被写体追尾のためだけでなく、静止画信号を処理する際の各種パラメータ生成のために必要である。従って、フレーミング時はＬＶ用に撮影された画像から被写体検出を行い、また、静止画の現像時には静止画記録用に撮影された静止画像から被写体検出を行うようにしていた。

【0004】

ここで、被写体検出をする際に、ＬＶ用の画像と静止画用の静止画とでは適正露出が異なるため、ＬＶ用の画像から検出された被写体情報と、静止画用の静止画像から検出される被写体情報とが異なってしまうなどして誤検出が発生する場合があった。

【0005】

これに対し、特許文献１においては、所定以上の露出変化が発生する場合には、静止画用の静止画像から検出された被写体情報を用いないようにすることで、誤検出の発生を抑制している。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１８－１４６５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

一方、近年の動画の表示レートの高フレームレート化や、静止画連写速度の高速化に伴い、ＬＶ用画像、静止画それぞれから被写体検出しようとすると被写体検出のための処理時間が所定の時間内に収まらない可能性がある。また、画像認識を用いた被写体検出においては、近年、ＡＩ技術の導入など、処理が複雑化し、処理時間も多く要するようになってきている。一方、専用のハードウェアにより高速処理をしようとすると、コストや消費電力の問題が発生する。

【0008】

また、被写体検出の処理時間は、被写体の数や画像認識の難易度等によって処理時間が増減する。従って、たとえばＬＶ用の画像から被写体検出をしていて、被写体検出の処理時間が長くかかってしまった場合、静止画用の静止画像から被写体を検出するための時間が不足し、静止画の現像処理に悪影響を与える場合もある。

【0009】

逆に、静止画用に撮影された静止画像から被写体検出を行うための処理時間が延びてしまった場合には、ＬＶ用の画像から被写体検出ができなくなり、例えば特許文献１に記載された構成では、被写体追尾に失敗してしまう可能性がある。
そこで本発明は被写体情報を適切に用いた画像処理ができる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

画像処理装置において、
ライブビュー用画像と静止画像を選択的に取得可能な取得部、
前記ライブビュー用画像を所定の第１の周期で周期的に取得している際に、所定の操作によって前記静止画像を取得すると共に、前記静止画像を取得した直後にライブビュー用画像を再び取得する駆動制御部、
前記静止画像を取得した直前または直後のライブビュー用画像から被写体情報を検出する被写体検出部、
前記被写体検出部によって検出された被写体情報に基づき前記静止画像を処理する信号処理部、を有し、
前記ライブビュー用画像を前記所定の第１の周期より遅い所定の第２の周期で周期的に取得している際に、所定の操作によって前記静止画像を取得した場合には、前記被写体検出部によって前記静止画像から被写体情報を検出し、前記信号処理部は、前記被写体検出部によって検出された被写体情報に基づき前記静止画像を処理することを特徴とする。

【発明の効果】

【0011】

本発明によれば、被写体情報を適切に用いた画像処理ができる画像処理装置を得ることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施例１における画像処理装置のブロック図である。

【図2】実施例１の高速ＬＶ時の被写体検出を説明するタイミングチャートである。

【図3】実施例１の高速ＬＶ中に静止画撮影がされた場合の例を説明するタイミングチャートである。

【図4】実施例１の高速ＬＶ中に静止画撮影がされ、絞りが駆動された場合の例を説明するタイミングチャートである。

【図5】実施例１の高速ＬＶ中に静止画撮影がされ、絞りが駆動された場合の他の例を説明するタイミングチャートである。

【図6】実施例１の高速ＬＶ中に静止画撮影がされ、絞りが駆動された場合の更に他の例を説明するタイミングチャートである。

【図7】実施例１における動作シーケンスを説明するフローチャートである。

【図8】実施例２の高速ＬＶ表示中に、静止画撮影が実施された場合のタイミングチャートである。

【図9】実施例３の画像処理装置のブロック図である。

【図10】実施例３の被写体位置検出部１０７のための制御フローを示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
また、実施例においては、画像処理装置としてデジタルスチルカメラなどの撮像装置に適用した例について説明する。しかし、本実施例の画像処理装置は、デジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ネットワークカメラなど撮像機能を有する画像処理装置等を含む。

【実施例1】

【0014】

以下、図面を用いて本発明の実施例１を説明する。図１は実施例１に係るデジタルカメラの構成の一例を示すブロック図であり、１００は光学系のレンズ、１０１は、撮像部に入射する光を制御するための絞りやフォーカスなどの調整機構の駆動を行う光学系駆動部である。
１０２は光学系を介して被写体からの光を受光し画像データを出力するセンサであり、例えばＣＭＯＳタイプのイメージセンサである。撮像部としてのセンサ１０２はＬＶ（ライブビュー）用の画像と、静止画記録用の静止画像とを選択的に取得可能である。

【0015】

１０３はデジタルカメラのモード（動画モードと静止画モード等）に応じてセンサの駆動方式を制御するセンサ駆動部、１１２はセンサから出力される画像データを一時的に記憶するＤＲＡＭなどの画像メモリである。
１０４はセンサから出力され画像メモリを介して得られた画像データに基づき、表示や記録に用いるデータを生成する信号処理部である。

【0016】

信号処理部１０４では、画素補正、黒レベル補正、シェーディング補正、傷補正、ホワイトバランス調整、倍率色収差補正、ガンマ補正、輝度・色生成処理、幾何変形補正、ノイズリダクション、拡大縮小などの複数の処理を実行する。１０５は表示デバイスを含む表示部であり、信号処理部１０４と接続され、不図示の表示デバイスのサイズに応じたリサイズなどの処理を施す。更に、表示部１０５は表示画像データに重畳するＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像を生成し、例えば被写体枠情報を表示デバイスの表示画像に重畳表示する。

【0017】

１０６は信号処理部１０４と接続された記録部であり、静止画データや動画データを不図示のＳＤカードなどの着脱可能なストレージメディアに記録する。１０７は被写体位置検出部であり、センサ１０２より入力された画像データから、例えば、画像認識により画像中の主被写体領域を検出する。１０８は被写体動き検出部であり、センサ１０２より入力された画像データと、被写体位置検出部１０７より得られた、複数枚の被写体位置検出結果に基づき、被写体の動きの量と方向を検出すると共に、被写体枠情報を生成する。被写体位置検出部１０７と被写体動き検出部１０８により被写体検出部が構成されている。

【0018】

被写体動き検出部１０８からの被写体枠情報は表示部１０５に供給され、被写体の枠データ等のマークが生成される。また、被写体動き検出部１０８は、被写体位置検出部１０７に対して、被写体位置を検出するための参考情報として被写体動き情報を供給する。１０９は前記の被写体位置検出結果等の被写体情報等を取得し、光学系駆動部１０１、センサ駆動部１０３などに、制御指示を出すシステム制御部である。１１０はコンピュータとしてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各検出部などで得られシステム制御部１０９を介した検出結果に基づき、駆動信号等を生成するなどの処理を、システム制御部１０９と通信しながら実施する。

【0019】

また、ＣＰＵ１１０は不図示のメモリに記憶されたコンピュータプログラムに基づきシステム制御部１０９とともに装置全体の各種動作を実行する制御手段として機能する。１１１は露出検出部であり、センサ１０２から出力された画像データから、被写体の露出情報（明るさ情報）を検出する。検出された被写体露出情報はシステム制御部１０９に供給される。システム制御部１０９は被写体露出情報に基づき、光学系駆動部１０１を用いて絞りを制御し、信号処理部１０４の各種信号処理のパラメータ制御を行う。

【0020】

なお、近年のデジタルカメラでは、ＬＶのフレームレートが高速化され、また、連写速度（１秒間に撮影（取得）できる静止画の撮影フレーム数）も高速化されている。従って、ライブビューと静止画の各々のフレームから、検出結果を常に取得し続けることが困難となっている。そこで、例えばＬＶから被写体を検出する処理を、数枚のフレーム毎に実行するなど、撮影のフレームレートに対して低いレートで実行することが考えられている。

【0021】

図２は、実施例１における、ライブビュー画像の撮影（取得）と表示、および、その時の検出結果を得るタイミングチャートを示している（横軸は時間）。撮像の同期信号は、センサ駆動部１０３から、センサ１０２へ出力されるフレーム単位の同期信号である。表示の同期信号は、不図示の表示デバイスに対する、同じくフレーム単位の同期信号である。信号処理部１０４からの画像信号（表示データ）と被写体枠データは、これらの同期信号と同期しながら、表示部１０５において重畳表示される。

【0022】

ＬＶ１～ＬＶ５はＬＶ画像データを示し、ＰＢ１～ＰＢ５は表示データを示す。
図２では、撮像（撮影）のフレームレート、表示のフレームレートは、例えば１２０ｆｐｓ（であり、１秒間に１２０枚のフレームを連続で撮影し、高速ＬＶ表示している。その際の被写体の画像認識等による検出処理を、撮像と表示の高速なフレームレートで処理することは大きな負荷となる。そのため、図２では、被写体位置検出部１０７にて撮像のフレームレートの半分の周期で被写体検出を行い、検出された結果（被写体枠データ）は、検出されたフレームより、２フレーム後の表示データに反映されている。

【0023】

なお、ここで被写体検出（被写体情報の検出）とは例えば画像認識により被写体の顔を検出したり、被写体の瞳を検出したり、全身の形や姿勢を検出したり、被写体の頭部を検出するものを含む。これらの被写体検出の結果である被写体情報に基づき例えばＬＶ表示における被写体自動追尾や、ＬＶ表示や静止画現像処理における各種補正処理が行われる。補正処理としては例えば静止画中の被写体の顔部分の輪郭強調を弱めることによって美顔効果を出したり、被写体部分の圧縮率を下げて解像度を上げたり、被写体の顔部分の肌色補正をしたり、顔の肌色に合わせてホワイトバランス補正をする等の補正処理がある。

【0024】

即ち、図２では、ＬＶ１と表記されたフレームから検出された結果は、ＰＢ３と表記される表示データにおいて反映されている。
理想的には、ＬＶ１と表記されている撮像データから得られた被写体検出結果は、ＰＢ１と表記されている表示データに反映されることが好ましい。しかし、１２０ｆｐｓ程度のフレームレートであれば、被写体検出結果が反映されるフレームが、２、３フレーム後になったとしても、被写体検出の遅れは、オートフォーカスの精度には大きく影響しない。

【0025】

図３は、図２に対して、高速ＬＶ表示中に、静止画撮影が実施された場合のタイミングチャートの例を示す図であり、図２のＬＶ３と表記されたタイミングで、静止画の撮影を行った場合を示している（横軸は時間）。図２では、ライブビュー用画像を第１の周期で周期的に取得している際に、所定のシャッタレリーズボタン操作によって静止画像を取得すると共に、静止画像を取得した直後にライブビュー用画像を再び取得するように駆動制御をしている。

【0026】

図２では、ＬＶ３の撮像データから被写体の検出を実施し、ＰＢ５と表記されているフレームに検出結果（枠データ等）を反映させていた。しかし図３では、ＬＶ３が存在しないため、静止画から被写体検出を行うか、ＬＶ２から取得することが考えられる。
しかし、静止画から被写体検出を行った場合、静止画像は、ユーザが露出をマニュアル設定している場合などにおいては、不適正な露出となっている場合もありえるので、被写体検出結果が正しく得られないことがある。

【0027】

したがって、図３の実施例では、静止画から被写体検出をせずに、ＬＶ２から被写体検出を行い、ＰＢ５の表示フレームに反映させている。また、静止画の信号処理をする際には、ＬＶ２のタイミングで得られた画像に基づき被写体検出をし、その結果を用いて、信号処理部１０４にて、静止画の信号処理を実施している。即ち、前述のように、例えば被写体検出結果により静止画中の被写体の顔部分の輪郭強調を弱めて美顔効果を得たり、被写体部分の圧縮率を下げて解像度を上げたり、被写体の顔部分の肌色補正をしたり、顔部分に合わせてホワイトバランス補正する等の処理をする。

【0028】

図４は、実施例１において、高速ＬＶ時中に静止画撮影がされたとき、絞り駆動が発生した場合を説明するタイミングチャートである。図４においては、図３の例に対して、ユーザがシャッタレリーズボタンを押下した直後のＬＶ画像から露出検出部１１１にて露出値（被写体の明るさの値）を取得する。そして、取得した露出値に基づきシステム制御部１０９にて絞り駆動量を算出し、光学系駆動部１０１にて絞り駆動量に応じた静止画撮影用の絞り駆動を行っている（横軸は時間）。

【0029】

ＬＶ２の直前のタイミングで、シャッタレリーズボタンが押下され、直後のＬＶ２の画像を用いて、露出検出部１１１にて、露出の検出を行っている。ＣＰＵ１１０によって、露出検出結果を用いた演算が実施され、その演算結果に基づき光学系駆動部１０１にて、カメラの絞りを制御する。このとき、絞りの動作条件等にもよるが、絞りを適正に制御するまで、数１０ｍｓ程度の時間を要する場合があり、また、絞りを動作中は、露出が変動するため、適正な撮像データを得ることができない。

【0030】

図３のタイミングチャートでは、静止画像に対する被写体検出結果は、静止画の直前のＬＶ用の画像データＬＶ２の検出結果を用い、静止画の信号処理を実施している。しかしながら、図４の場合においては、ＬＶ２と静止画撮影の間隔が離れているため、静止画像とＬＶ２の画像では、被写体ブレを起こしている可能性がある。しかもＬＶ２の時点の絞り値と静止画の絞り値とが異なるため、ＬＶ２で得られた画像に基づく被写体検出結果の信頼性が低下する可能性がある。

【0031】

図５は、図４に対して、静止画の信号処理における被写体検出結果を、静止画撮影の直後のＬＶ用の画像データＬＶ３から生成している。静止画像は、画像メモリ１１２にいったん蓄積され、ＬＶ３からの被写体検出結果が生成されたタイミングで、画像メモリ１１２から、静止画像を読み出し、信号処理が実施される（横軸は時間）。また、ＬＶ３の撮影時の露出を、静止画を撮影時の露出と同様とする（少なくとも、静止画撮影とＬＶ３の撮影では露出を変更しない）。即ち、静止画像を取得する際の絞り状態と、静止画像を取得した直後に所定のライブビュー用画像を再び取得する際の絞り状態を同じにする。

【0032】

このようにすることによって静止画像とＬＶ３の画像は、撮像間隔が短いので被写体ブレを起こしにくい。またＬＶ３の時点の絞り値と静止画の絞り値とが同じなので、ＬＶ３で得られた画像に基づく被写体検出結果の信頼性が高い。
図６は実施例１において、高速ＬＶ時中に静止画撮影がされ、絞りが駆動された場合の更に他の例を説明するタイミングチャートである。

【0033】

図６では、静止画像の撮影が終了した後、システム制御部１０９により、撮像の同期信号と、表示の同期信号を、できるだけ、静止画撮影終了後、時間的に前倒ししている（横軸は時間）。即ち、静止画像を取得した直後に所定のライブビュー用画像を再び取得する際に、前記所定のライブビュー用画像を取得するための同期信号をリセットする。
つまり、静止画撮影が完了した直後に、撮像の同期信号と表示の同期信号をリセットする。これは、静止画像撮影とＬＶ３の撮影の間隔をできるだけ詰めることにより、画像の被写体ブレを最小限に抑制するためである。

【0034】

このような制御を実施することにより、高速撮影処理中であっても、ＬＶ表示の被写体枠を適正に表示しつつ、静止画像から被写体の検出結果を得ることなく、静止画の信号処理を適正に実施することが可能となる。
なお、ＬＶ２から得られた露出結果とＬＶ４から得られた露出結果の比較をし、その結果（露出変動がどの程度であるか）に応じて、ＬＶ３から得られた被写体検出結果を表示画像ＰＢ５に反映するか否かを判断してもよい。

【0035】

以上のように、図３～図６に示された例では、静止画像を取得した直前または直後のライブビュー用画像から被写体情報を検出し検出された被写体情報に基づき静止画像を現像処理している。また、ライブビュー用画像を処理する際には、ライブビュー用画像から検出された被写体情報に基づきライブビュー用画像を処理し、例えば被写体を追尾するための被写体枠などのマークを画面に表示している。

【0036】

図７は、図６で説明したタイミングチャートに対応した、ＣＰＵ１１０の動作シーケンスを説明するフローチャートである。
図７のステップＳ２００にて、カメラの電源が入ると、ＬＶ表示を開始する。
ＬＶ表示開始後、ステップＳ２０１でシャッタレリーズボタン押下の判定をし、押下されたという判定があった場合は、ステップＳ２０２で、シャッタレリーズボタン押下直後のＬＶ用画像から露出検出部１１１で露出を検出し、露出結果取得の完了を待つ。

【0037】

露出結果を取得できたら、ステップＳ２０３に進み、ＣＰＵ１１０により、絞り駆動値を算出し、システム制御部１０９を介して、光学系駆動部１０１により、絞り駆動を行う。ステップＳ２０４では、絞り駆動の完了を待つ。
絞り駆動完了後、ステップＳ２０５にて、センサ駆動部１０３にて、センサ１０２の駆動モードを、静止画駆動モードに切り替え、静止画駆動モード用の同期信号に切り替える。ステップＳ２０６では、センサ１０２から静止画のデータの出力が完了したかを、画像メモリ１１２に静止画像データの書き込みが完了したかを見ることにより判別する。

【0038】

センサ１０２からの静止画データの出力が完了すると、ステップＳ２０７に進み、システム制御部１０９は、センサ駆動部１０３に対して、センサの同期信号と表示の同期信号をリセットし、ＬＶ用の撮像及び表示を速やかに再開する。ここでステップＳ２００～Ｓ２０８は、ライブビュー用画像を第１の周期で周期的に取得している際に、所定の操作によって静止画像を取得すると共に、静止画像を取得した直後にライブビュー用画像を再び取得する駆動制御部として機能している。

【0039】

以降、ステップＳ２０８でライブビュー表示が完了していない（カメラの電源が入り、静止画取得の待機状態となっている）ことが判別されればステップＳ２０１に戻る。そして、ステップＳ２０１～ステップＳ２０８のフローを繰り返す。ステップＳ２０８でＬＶ表示が完了したと判別されると図７のフローを終了する。
なお、以上では、静止画の信号処理をする際に用いる被写体情報を、静止画撮影後のＬＶ画像から取得する例について説明したが、これは高速ＬＶ用撮影と高速連写で静止画撮影をする場合の例である。

【0040】

即ち、ライブビュー用画像を所定の第１の周期（高速）で周期的に取得している際に、所定の操作によって静止画像を取得する場合の例である。
一方、低速ＬＶ用撮影や低速連写で静止画撮影する場合は、それぞれ動画像、静止画像で検出された被写体情報をそれぞれ動画像、静止画像に反映するように制御する。即ち、ライブビュー用画像を第１の周期より遅い低速（第２の周期）で周期的に取得している際に、所定の操作によって静止画像を取得する場合には、静止画像から被写体情報を検出して静止画像を処理している。

【実施例2】

【0041】

実施例２は、高速ＬＶ表示中に、静止画撮影が実施された場合、記録される静止画現像の精度を優先し、静止画用に撮影された画像から被写体検出を行うようにする点に特徴がある。
なお、実施例１と同じ部材には同じ番号を付しており、その部分の説明は省略する。

【0042】

図８は、図２に対して、高速ＬＶ表示中に、静止画撮影が実施された場合のタイミングチャートである。図２のＬＶ３、ＬＶ５、と表記された位置に、また図２では示していないＬＶ７のタイミングで、静止画の撮影が行われる例を示している（横軸は時間）。図２では、被写体位置検出部１０７は、ＬＶ３の撮像データから被写体を検出し、ＰＢ５と表記されているフレームに検出結果を反映させていた。

【0043】

一方、図８では、ＬＶ３、ＬＶ５、ＬＶ７が存在しないため、静止画から被写体検出を行うか、ＬＶ４、ＬＶ６から取得するかのどちらかをすることになる。
ＬＶ４、ＬＶ６の画像から被写体検出を行う場合、静止画撮影とＬＶ用の撮影で時間差があり、被写体が移動している可能性がある。被写体が移動している場合、静止画像に写っている被写体の位置と、ＬＶ用の画像から検出した被写体の位置にずれが生じ、精度の高い静止画現像ができなくなってしまう。

【0044】

一方で、静止画用に撮影された画像から被写体検出を行う場合には、ＬＶ用に撮影された画像から被写体検出ができない。従って、被写体追尾用の被写体検出ができず、被写体の追尾を失敗してしまう可能性がある。しかし、本実施例では、記録される静止画のための画質を優先し、静止画用に撮影された画像から被写体検出を行い、その被写体検出結果を静止画現像処理に反映させる。

【0045】

以上、説明したように、実施例２によれば、高速ＬＶ表示中に、静止画撮影が実施された場合でも、記録される静止画の画質を優先している。そして、静止画用に撮影された静止画像から被写体検出を行い、その結果を静止画の現像処理に反映させるようにすることで、記録される静止画の画質を落とさないようにすることができる。

【実施例3】

【0046】

実施例３は静止画に適用する露出設定等に応じて、被写体検出する画像を切り替える点に特徴がある。なお、実施例１、実施例２と同じ部材には同じ番号を付しており、その部分の説明は省略する。
図９において、被写体位置検出部１０７は、静止画撮影時の露出設定に基づき、静止画像から被写体検出を行うか、ＬＶ用の画像から取得するか、を選択し、被写体検出を行う。

【0047】

また、１１３は動き補償部であり、信号処理において被写体位置情報を補正するためのものである。具体的には、ＬＶ用の画像から被写体検出を行う場合に、静止画撮影とＬＶ用の画像撮影の時間差があり、被写体が移動している可能性がある。そのため、動き補償部１１３は、被写体動き検出部１０８からの被写体動き情報に基づき、信号処理部１０４における被写体位置を補正する。

【0048】

図１０は、実施例３の特徴である被写体位置検出部１０７のためのＣＰＵ１１０の動作フローを示すフローチャートである。
図１０のステップＳ３００で、露出検出部１１１からの露出検出結果、および、ユーザによる露出設定に基づき、ＬＶ用の撮影時の露出制御と静止画撮影時の露出制御を比較する。そして、ＬＶ用の撮影時の露出制御と静止画撮影時の露出制御における露出差が所定値より大きいか否かを判別する。

【0049】

ステップＳ３００でＬＶ用の撮影時の露出制御と静止画撮影時の露出制御で露出差が所定値より小さいと判断された場合は、ステップＳ３０１に進む。ステップＳ３０１では静止画用に撮影された画像から被写体検出を行っても追尾に失敗する可能性が低いため、静止画像に基づき被写体検出を行う。ステップＳ３００で、ＬＶ用の撮影時の露出制御と静止画撮影時の露出制御で露出差が所定値以上の場合は、静止画用に撮影された画像から被写体検出を行うと追尾に失敗してしまう可能性が高い。従って、被写体追尾を優先しステップＳ３０２へ進む。

【0050】

ステップＳ３０２においては、被写体動き検出部１０８からの被写体動き情報に基づき、主被写体の動き量が所定値より大きいか否かを判別する。ステップＳ３０２で主被写体が所定値より動いていないと判別されれば静止画用に撮影された画像から被写体検出を行っても追尾に失敗する可能性が低いためステップＳ３０３へ進む。ステップＳ３０３で静止画像より被写体検出を行う。ステップＳ３０２で主被写体が所定値より動いていれば静止画用に撮影された画像から被写体検出を行うと追尾に失敗してしまう可能性が高いためステップＳ３０４へ進む。

【0051】

ステップＳ３０４においては、ＬＶ用の画像から被写体検出を行う。その際、静止画撮影の直前に撮影されたＬＶ用の画像から被写体検出を行うか、静止画撮影直後に撮影されたＬＶ用の画像から被写体検出を行うかを決めるため、静止画とＬＶ用の画像の露光（露出）重心を計算する。ここで露光（露出）重心とは、露光（露出）期間（撮影期間）の重心を意味する。静止画と露光重心の近い方（すなわち、静止画の露出タイミングとの差が少ない方）のＬＶ用の画像より被写体検出を行った方が、被写体が移動している可能性が低くなるためである。

【0052】

静止画撮影の直前に撮影されたＬＶ用の画像の方が静止画と露光重心が近い場合は、ステップＳ３０５へ進み静止画撮影の直前に撮影されたＬＶ用の画像から被写体検出を行う。一方、静止画撮影の直後に撮影されたＬＶ用の画像の方が静止画と露光重心が近い場合は、ステップＳ３０６へ進み静止画撮影の直後に撮影されたＬＶ用の画像から被写体検出を行う。

【0053】

ステップＳ３０７においては、ＬＶ用の画像から被写体検出を行った場合は、被写体が移動している可能性があるため、被写体動き検出部１０８からの被写体動き情報に基づき、静止画撮影時の被写体の位置を推測して静止画の現像処理を行う。ここでステップＳ３０７は被写体の動きを補正する補正部として機能する。
以上説明したように、本実施例によれば、所定の条件に応じて、前記ライブビュー用画像または前記静止画像の少なくとも１つから被写体情報を検出している。

【0054】

更には、ＬＶ用の画像と静止画の露出制御、および、被写体の動き等の所定の条件に応じて、被写体検出するＬＶ用の画像を選択する。このように、所定の条件に応じて、静止画像の直前のＬＶ用の画像と、静止画像の直後のＬＶ用の画像と静止画像の少なくとも１つを選択することで、静止画の画質を向上させ、被写体検出などの精度を向上することが可能となる。
なお上記の所定の条件として、例えば静止画像の直前のＬＶ用の画像と、静止画像の直後のＬＶ用の画像と静止画像のそれぞれの被写体のコントラストを比較し、例えばコントラストが最も高い画像を選択して被写体検出をするようにしても良い。それによって被写体検出の信頼性が向上する。

【0055】

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置に供給するようにしてもよい。そしてその画像処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

【符号の説明】

【0056】

１００：レンズ
１０２：センサ
１１２：画像メモリ
１０４；信号処理部
１０７：被写体位置検出部
１０５：表示部
１０６：記録部
１０８：被写体動き検出部
１０９：システム制御部
１１１：露出検出部
１１３：動き補償部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】