特許 7532040 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-02

(45)【発行日】2024-08-13

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 23/68 20230101AFI20240805BHJP

   H04N 23/54 20230101ALI20240805BHJP

   H04N 23/60 20230101ALI20240805BHJP

   H04N 23/611 20230101ALI20240805BHJP

   H04N 23/741 20230101ALI20240805BHJP

   H04N 23/743 20230101ALI20240805BHJP

   G03B 5/00 20210101ALI20240805BHJP

   G03B 7/091 20210101ALI20240805BHJP

   G03B 15/00 20210101ALI20240805BHJP

【ＦＩ】

H04N23/68

H04N23/54

H04N23/60 500

H04N23/611

H04N23/741

H04N23/743

G03B5/00 J

G03B7/091

G03B15/00 H

G03B15/00 Q

【請求項の数】 12

(21)【出願番号】P 2020011299

(22)【出願日】2020-01-28

(65)【公開番号】P2021118466

(43)【公開日】2021-08-10

【審査請求日】2023-01-25

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】内藤 剛

【審査官】藏田 敦之

(56)【参考文献】

【文献】特開２００１－２２３９３２（ＪＰ，Ａ）

【文献】特開２０１０－２７３０３７（ＪＰ，Ａ）

【文献】特開２０１３－１３５３４１（ＪＰ，Ａ）

【文献】特開２０１４－１３８２５９（ＪＰ，Ａ）

【文献】特開２０１６－１５２６０２（ＪＰ，Ａ）

【文献】特開２０１７－１３８５５２（ＪＰ，Ａ）

【文献】特開２０１８－００６８２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／５０ － ２３／７６

Ｇ０３Ｂ ５／００ － ５／０６

Ｇ０３Ｂ ７／０９１－ ７／０９７

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

撮像光学系を通過した光束による像を撮像する撮像素子と、
前記撮像光学系の一部または前記撮像素子を移動させるぶれ補正部と、
主被写体の動きを検出する移動検出部と、
合成対象となる複数の画像を得るために前記主被写体を複数回撮像する制御を行う撮像制御部と、を備え、
前記撮像制御部は、前記合成対象となる複数の画像を得るための第１の撮像を実行した後に第２の撮像を実行し、前記第１の撮像が終了してから前記第２の撮像を開始するまでの期間において、前記移動検出部が検出した前記主被写体の動きに基づいて前記ぶれ補正部を駆動させ、前記第１の撮像および前記第２の撮像を行う際にはジャイロセンサを有するぶれ検出部の検出信号に基づいて前記ぶれ補正部を駆動させる
ことを特徴とする撮像装置。

【請求項2】

前記撮像制御部は、合成前よりもダイナミックレンジが拡大された合成画像が得られるように前記複数回の撮像でそれぞれ露出の異なる画像を取得することを特徴とする
請求項１に記載の撮像装置。

【請求項3】

前記撮像制御部は、前記主被写体を除いた背景の領域の露出に基づいて、前記複数回の撮像における前記ぶれ補正部の駆動を変更することを特徴とする
請求項２に記載の撮像装置。

【請求項4】

前記撮像制御部は、合成前よりも解像度の高い合成画像が得られるように前記複数回の撮像でそれぞれ前記撮像素子を微小移動させることを特徴とする
請求項１に記載の撮像装置。

【請求項5】

前記撮像制御部は、前記複数回の撮像のときに、撮像ごとの前記撮像素子の微小移動分を補正して前記ぶれ補正部による前記撮像素子の移動量を算出することを特徴とする
請求項４に記載の撮像装置。

【請求項6】

前記主被写体は、フォーカスポイントまたはユーザの注視点に基づき設定されることを特徴とする請求項１から請求項５のいずれか一項に記載の撮像装置。

【請求項7】

前記撮像制御部は、前記複数回の撮像において前記主被写体の動きが所定量よりも大きいときに、前記主被写体の動きを抑制するように前記ぶれ補正部を駆動させることを特徴とする請求項１から請求項６のいずれか一項に記載の撮像装置。

【請求項8】

前記移動検出部は、前記複数回の撮像で前記撮像素子から得られる第１の画像と前記第１の画像とは別に前記撮像素子から得られる第２の画像を用いて前記主被写体の動きを検出することを特徴とする請求項１から請求項７のいずれか一項に記載の撮像装置。

【請求項9】

前記第２の画像は、画像合成の対象ではないことを特徴とする請求項８に記載の撮像装置。

【請求項10】

前記第２の画像は、ライブビュー表示に用いられることを特徴とする請求項８または９に記載の撮像装置。

【請求項11】

前記第２の画像は、前記第１の撮像が終了してから前記第２の撮像を開始するまでの期間において前記撮像素子から得られる画像であることを特徴とする請求項８から１０のいずれか一項に記載の撮像装置。

【請求項12】

撮像光学系を通過した光束による像を撮像する撮像素子と、前記撮像光学系の一部または前記撮像素子を移動させるぶれ補正部と、を備える撮像装置の制御方法であって、
主被写体の動きを検出する移動検出工程と、
合成対象となる複数の画像を得るために前記主被写体を複数回撮像する制御を行う撮像制御工程と、を有し、
前記撮像制御工程では、前記合成対象となる複数の画像を得るための第１の撮像を実行した後に第２の撮像を実行し、前記第１の撮像が終了してから前記第２の撮像を開始するまでの期間において、前記移動検出工程で検出された前記主被写体の動きに基づいて前記ぶれ補正部を駆動させ、前記第１の撮像および前記第２の撮像を行う際にはジャイロセンサを有するぶれ検出部の検出信号に基づいて前記ぶれ補正部を駆動させる
ことを特徴とする撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置およびその制御方法に関する。

【背景技術】

【0002】

従来から、複数枚の画像から１枚の画像を合成して作成する技術が種々提案されている。例えば、露光期間の異なる複数の画像を合成し、画像のダイナミックレンジを拡大するハイダイナミックレンジ撮像（以下、ＨＤＲ撮像と呼ぶ）が知られている。また、例えば、複数枚の画像を取得する際に、撮像素子を微小に平行移動させて撮像することで、高解像度の画像を合成するハイレゾナンス撮像（以下、ハイレゾ撮像と呼ぶ）も知られている。

【0003】

ＨＤＲ撮像やハイレゾ撮像では複数回の撮像を行うので、ＨＤＲ撮像やハイレゾ撮像で全ての撮像が終了するまでの所要時間は通常の撮像と比べて一般的に長くなる。そのため、複数枚の画像を取得している際に被写体が動いてしまい、合成画像において被写体の解像度が低下してしまう事象が生じ得る。
これに対し、例えば特許文献１では、ＨＤＲ撮像において複数枚の画像間の動きを検出し、検出された動き量にあわせて合成時に各画素の合成比率を変更する技術を開示する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－６４２０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１のように動き量に応じて合成比率を変化させると、画像内の動きの大きな箇所ほど短秒露光で得られた画像を用いるように合成される。そのため、動いている被写体を適正露光で撮像したい状況に場合など、ユーザの意図に反する合成画像が作成されてしまう可能性がある。また、同様の被写体の動きを検出する技術を用いて、被写体の動きに合わせて複数枚の撮像画像の位置合わせ合成を行う場合、取得した画像に比べて合成時に得られる画像の画角が狭くなってしまう。

【0006】

本発明は、上記の状況に鑑みてなされたものであって、複数回の撮像で得られた画像を合成するときに、画角変動を抑制しながら被写体の動きによる合成画像の画質劣化を抑制できる撮像装置を提供する。

【課題を解決するための手段】

【0007】

本発明の一例である撮像装置は、撮像光学系を通過した光束による像を撮像する撮像素子と、前記撮像光学系の一部または前記撮像素子を移動させるぶれ補正部と、主被写体の動きを検出する移動検出部と、合成対象となる複数の画像を得るために前記主被写体を複数回撮像する制御を行う撮像制御部と、を備える。撮像制御部は、前記合成対象となる複数の画像を得るための第１の撮像を実行した後に第２の撮像を実行し、前記第１の撮像が終了してから前記第２の撮像を開始するまでの期間において、前記移動検出部が検出した前記主被写体の動きに基づいて前記ぶれ補正部を駆動させ、前記第１の撮像および前記第２の撮像を行う際にはジャイロセンサを有するぶれ検出部の検出信号に基づいて前記ぶれ補正部を駆動させる。

【発明の効果】

【0008】

本発明の一例である撮像装置によれば、複数回の撮像で得られた画像を合成するときに、画角変動を抑制しながら被写体の動きによる合成画像の画質劣化を抑制できる。

【図面の簡単な説明】

【0009】

【図1】（Ａ）は第１実施形態における撮像装置の光学系の構成例を示す図であり、（Ｂ）は第１実施形態における撮像装置の電気的構成を示すブロック図である。

【図2】（Ａ）、（Ｂ）は表示部に提示される画像の例を示す図であり、（Ｃ）は第１実施形態の合成画像の例を示す図である。

【図3】主被写体移動検出部の動作例を示す図である。

【図4】第１実施形態における撮像装置の動作例を示す流れ図である。

【図5】第２実施形態における撮像装置の動作例を示す流れ図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を図面などに基づいて詳細に説明する。各図において、同一の要素については同一の参照番号を付し、重複する説明はいずれも省略する。

【0011】

＜第１実施形態＞
以下、図１～図４を参照して、第１実施形態における撮像装置を説明する。
図１（Ａ）は、第１実施形態における撮像装置の光学系の構成例を示す図であり、図１（Ｂ）は、第１実施形態における撮像装置の電気的構成を示すブロック図である。

【0012】

第１実施形態の撮像装置はレンズ交換式の電子カメラであって、カメラ本体１と、カメラ本体１に着脱可能なレンズ鏡筒２とを備える。第１実施形態ではレンズ交換式カメラの構成例について説明するが、本発明の撮像装置はレンズ交換を前提としない構成であってもよい。

【0013】

まず、レンズ鏡筒２の構成について説明する。
レンズ鏡筒２は、撮像光学系３と、レンズシステム制御部１２と、レンズ側ぶれ補正部１３と、レンズ側ぶれ検出部１６とを備える。

【0014】

撮像光学系３は、ズーム、フォーカシング等の動作を行う複数のレンズを含み、後述する撮像素子６の撮像面に被写体からの光束による光学像を結像させる。撮像光学系３は、ぶれ補正を行うぶれ補正レンズ３ａを有している。なお、図１において、撮像光学系３の光軸を符号４で示す。

【0015】

レンズシステム制御部１２は、レンズ鏡筒２側の制御を担うプロセッサである。カメラ本体１にレンズ鏡筒２が装着された状態では、レンズシステム制御部１２は、電気接点１１を介してカメラ本体１と通信を行う。これにより、カメラ本体１とレンズ鏡筒２が連携して撮像装置の撮像時の制御が行われる。

【0016】

レンズ側ぶれ補正部１３は、光軸４に直交する面内でぶれ補正レンズ３ａを駆動させる。レンズ側ぶれ補正部１３は、例えばボイスコイルモータ（ＶＣＭ）や、リードスクリュを組み合わせたステッピングモータ等のリニアアクチュエータなどで構成される。かかるレンズ側ぶれ補正部１３の移動により、撮像素子６の撮像面に生じる像ぶれを補正することができる。

【0017】

レンズ側ぶれ検出部１６は、レンズ鏡筒２の内部に配置されたジャイロセンサであり、撮像装置のぶれ量として各方向のぶれの角速度を検出する。

【0018】

続いて、カメラ本体１の構成について説明する。
カメラ本体１は、カメラシステム制御部５と、撮像素子６と、画像処理部７と、メモリ部８と、表示部９と、操作検出部１０と、カメラ側ぶれ補正部１４と、カメラ側ぶれ検出部１５とを備える。

【0019】

カメラシステム制御部５は、撮像制御部の一例であって、カメラ本体１側の制御を担うプロセッサである。カメラシステム制御部５は、撮像の際のタイミング信号を生成して撮像装置の各部に出力する。例えば、カメラシステム制御部５は、操作検出部１０による不図示のレリーズ釦の押下の検出に応じて、撮像素子６および画像処理部７の動作などを制御して撮像処理を実行する。また、カメラシステム制御部５は、表示部９において情報表示を行う各セグメントの表示状態を制御する。

【0020】

また、カメラシステム制御部５は、画像処理部７の画像信号に基づいて、画像内に含まれる主被写体の動きを検出する主被写体移動検出部５ａを有している。主被写体移動検出部５ａは、移動検出部の一例である。

【0021】

撮像素子６は、撮像光学系３を通過した光束による被写体の像を撮像して画像信号を出力する。撮像素子６は、例えば、ＸＹアドレス方式のＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等で構成される。撮像素子６から出力された画像信号は、画像処理部７で画像処理され、その後にメモリ部８に記録される。

【0022】

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有し、撮像素子６から出力された画像信号に各種の信号処理を施す。また、画像処理部７は、予め定められた方法を用いて画像、音声などの圧縮を行う。

【0023】

さらに、画像処理部７は、カメラシステム制御部５にも画像信号を出力する。これにより、カメラシステム制御部５は、撮像素子６からの画像信号に基づきピント評価量や露光量の情報を得ることができる。また、カメラシステム制御部５は、ユーザに提示するための画像を表示部９に出力することができる。

【0024】

なお、画像処理部７は、撮像素子６から得られた複数の画像間の比較に基づいてぶれ検出信号を生成することもできる。そのため、撮像素子６と画像処理部７でカメラ側ぶれ検出部１５の機能を担うようにしてもよい。

【0025】

メモリ部８は、記録媒体（不図示）に対して各種のデータの記録または読み出しを行う。メモリ部８は、例えば、画像の記録が指示されたときに、画像処理部７から供給された動画像データや静止画像データを記録媒体に記録する。なお、上記の記録媒体は、例えば、半導体メモリ等の記録媒体や、ハードディスク等で構成される。記録媒体は、カメラ本体１に着脱可能に取り付けられてもよく、カメラ本体１に内蔵されていてもよい。

【0026】

表示部９は、画像表示が可能な表示素子を含み、いわゆるライブビュー画像、設定メニュー画像、記録済みの画像などを表示してユーザに提示する機能を担う。例えば、表示部９は、図１（Ａ）に示すように、カメラ本体１の背面に設けられた背面表示装置９ａと、カメラ本体１のファインダ内に設けられたＥＶＦ（電子ビューファインダー）９ｂを有する。なお、背面表示装置９ａはタッチパネルを備えていてもよく、この場合には背面表示装置９ａは操作部としても機能する。

【0027】

操作検出部１０は、例えば、不図示のレリーズ釦などを含む操作部からの信号を受け、ユーザの各種操作を検出する。

【0028】

カメラ側ぶれ補正部１４は、ぶれ補正部の一例であって、撮像素子６を光軸４と直交する面内で移動させる。かかる撮像素子６の移動により、撮像装置のぶれで撮像素子６の撮像面に生じる像ぶれを補正することができる。

【0029】

カメラ側ぶれ検出部１５は、カメラ本体１の内部に配置されたジャイロセンサであり、レンズ側ぶれ検出部１６と同様に撮像装置のぶれ量として各方向のぶれの角速度を検出する。

【0030】

ここで、撮像装置における撮像光学系３の調整動作は、以下のようにして行われる。
カメラシステム制御部５およびレンズシステム制御部１２は、カメラ本体１およびレンズ鏡筒２に設けられた各種の操作部（不図示）の操作に応じて、撮像装置の各部の動作を制御する。これにより、静止画や動画の撮像を行うことができる。

【0031】

撮像装置の撮像動作時には、撮像素子６により所定のフレームレートで被写界の画像が遂次取得される。カメラシステム制御部５は、撮像素子６および画像処理部７から画像信号を受ける。

【0032】

カメラシステム制御部５は、例えば、上記の画像信号を用いてコントラスト検出方式のオートフォーカス演算を行うことで、ピント評価量を得る。そして、カメラシステム制御部５は、上記のピント評価量を用いて撮像面近傍で被写体像が結像するように、レンズシステム制御部１２を介して撮像光学系３の焦点位置を調整する。

【0033】

また、カメラシステム制御部５は、例えば、上記の画像信号を用いて露出演算を行う。そして、カメラシステム制御部５は、露光演算の結果に基づき、レンズシステム制御部１２を介して撮像光学系３に含まれる絞りを制御する。なお、カメラシステム制御部５は、露光演算の結果に基づき、シャッタースピードやＩＳＯ感度などを調整してもよい。

【0034】

さらに、ぶれ補正を行う撮像モードでのカメラシステム制御部５は、カメラ側ぶれ検出部１５の信号に基づいてカメラ側ぶれ補正部１４を制御する。同様に、カメラシステム制御部５は、レンズ側ぶれ検出部１６の信号に基づいて、レンズ側ぶれ補正部１３を制御する。

【0035】

具体的には、カメラシステム制御部５は、カメラ側ぶれ検出部１５によって検出されたぶれの角速度から手ぶれ信号を生成する。同様に、レンズシステム制御部１２は、レンズ側ぶれ検出部１６によって検出されたぶれの角速度から手ぶれ信号を生成する。

【0036】

カメラシステム制御部５およびレンズシステム制御部１２は、上記の手ぶれ信号を用いて、手ぶれを補正するための撮像素子６およびぶれ補正レンズ３ａの駆動量をそれぞれ算出する。その後、算出された各駆動量は、カメラ側ぶれ補正部１４およびレンズ側ぶれ補正部１３へ指令値としてそれぞれ送出される。これにより、カメラ側ぶれ補正部１４の駆動によって撮像素子６が移動され、レンズ側ぶれ補正部１３の駆動によってぶれ補正レンズ３ａが移動される。

【0037】

また、実施形態では、主被写体の動きを抑制するようにカメラ側ぶれ補正部１４を用いて撮像素子６を動かすことで、合成時の画角変動を抑制しながら被写体の動きによる合成画像の画質劣化を防ぐ場合について説明する。しかし、本発明はその限りではなく、レンズ側ぶれ補正部１３を用いてぶれ補正レンズ３ａを駆動させてもよい。この場合には、レンズシステム制御部１２が撮像制御部の一部として機能し、レンズ側ぶれ補正部１３もぶれ補正部として機能しうる。

【0038】

次に、ＨＤＲ撮像について説明する。本実施形態でＨＤＲ撮像を行う際、まずカメラシステム制御部５は、撮像準備のときに撮像素子６から得られる露光量の情報に基づき、適切な露光条件（シャッタースピード、絞り値、ＩＳＯ感度等）を決定する。そして、カメラシステム制御部５は、ダイナミックレンジを拡大するためにシャッタースピードを変えて複数回撮像し、オーバー露出、適正露出、アンダー露出の各画像を得る。

【0039】

このとき、カメラシステム制御部５は、主被写体移動検出部５ａにより主被写体の移動を検出し、各々の撮像において画角内の被写体位置が一定になるように、カメラ側ぶれ補正部１４を用いて撮像素子６を移動させる。上記の撮像で得られた３枚の画像を用いてカメラシステム制御部５がＨＤＲ合成処理を行うことで、ダイナミックレンジを拡大した画像が生成される。

【0040】

次に、ハイレゾ撮像について説明する。本実施形態でハイレゾ撮像を行う際、まずカメラシステム制御部５は、撮像準備のときに撮像素子６から得られる露光量の情報に基づき、適切な露光条件（シャッタースピード、絞り値、ＩＳＯ感度等）を決定する。そして、カメラシステム制御部５は、合成前よりも解像度を向上させるためにカメラ側ぶれ補正部１４を用いて、撮像素子６の位置を微小に移動させながら、同一の撮像条件で複数回撮像する。

【0041】

このとき、カメラシステム制御部５は、主被写体移動検出部５ａにより主被写体の移動を検出し、各々の撮像において画角内の被写体位置が一定になるような撮像素子６の移動量を算出する。カメラシステム制御部５は、上記の算出された撮像素子６の移動量を、ハイレゾ撮像での撮像素子６の微小移動分を加えて補正する。そして、カメラシステム制御部５は、カメラ側ぶれ補正部１４を用いて補正後の移動量で撮像素子６を移動させる。上記の撮像で得られた複数枚の画像を用いてカメラシステム制御部５が合成処理を行うことで、被写体の解像度を向上させた画像が生成される。

【0042】

次に図２を用いて、第１実施形態の撮像動作について説明する。
図２（Ａ）は、複数枚の撮像を開始した時刻での被写体像を示す。図２（Ｂ）は、複数枚の撮像中において任意の時刻の被写体像を示す。また、図２（Ｃ）は、被写体の位置が一定となるように撮像素子の位置を制御して複数枚の撮像を行い、その結果を合成した画像の例を示す。

【0043】

図２（Ａ）、（Ｂ）は、それぞれＥＶＦ９ｂで提示される画像２１を示す。画像２１は、主被写体（本実施形態では人物）２２と、背景（本実施形態では建物）２３を含む。図２（Ａ）、（Ｂ）の画像２１には、撮像時にピント合わせを行うフォーカスポイント２４が重畳して表示されている。フォーカスポイント２４の位置はユーザが任意に変更可能であり、図２（Ａ）、（Ｂ）は、フォーカスポイント２４として主被写体２２の顔が選択されている状態を示している。

【0044】

本実施形態では、フォーカスポイント２４近辺における被写体を主被写体２２として、主被写体２２の動きを検出する場合について説明する。しかし、視線検出機能を有する撮像装置の場合、フォーカスポイント２４の代わりにユーザの見ている点（注視点）に基づいて主被写体２２を設定し、その被写体の動きを検出してもよい。

【0045】

図２の例では、一例として、ＨＤＲ撮像の場合の撮像動作について説明する。ＨＤＲ撮像を行うモードをユーザが選択して撮像装置による撮像が開始されると、例えば、図２（Ａ）と同様の構図の画像が取得される。次の撮像が行われるまでに主被写体２２が動いてしまうと、図２（Ｂ）に示すように、主被写体２２がぶれた画像が取得される。

【0046】

しかし、本実施形態では、カメラシステム制御部５が、主被写体移動検出部５ａが検出した主被写体２２の動きに合わせて、カメラ側ぶれ補正部１４により撮像素子６を移動させた後に撮像を行う。このときの主被写体移動検出部５ａの動作に関しては図３を用いて後述する。主被写体２２の位置が一定になるように、合成に用いる複数枚の撮像が行われた後、それらの画像の合成を行うと、図２（Ｃ）のように主被写体２２の位置があった状態で合成された画像が得られる。

【0047】

ここで、複数枚の撮像を行う際に、カメラ側ぶれ補正部１４により撮像素子６を移動させずに、撮像後に主被写体２２の位置が一定となるように位置合わせ合成を行う場合を考える。この場合には、主被写体２２の位置を合わせる代わりに、画像の周辺部において、画像を重ね合わせることができない箇所が発生する。さらに合成時に画像が適切に重ねあわされた部分のみ切り出して合成画像を作成する場合、撮像時との画角が変化するという事象が生じる。

【0048】

これに対して、本実施形態のように、各々の撮像の際に主被写体２２の位置が一定になるように撮像を行い合成するので、画角変動を抑制しながら被写体の動きによる合成画像の画質劣化を防ぐことが可能となる。
なお、本実施形態において、背景２３の建物は微小にずれた状態で合成される可能性がある。しかし、主被写体と比較して建物が被写界深度外にある場合など、微小にずれた状態で合成されても大きな問題とならない場合も考えられる。

【0049】

また、ＨＤＲ撮像の場合、カメラシステム制御部５は、複数枚の撮像を行う際の撮像条件に応じて主被写体の動きによって撮像素子６を移動させるか否かを変更してもよい。例えば、カメラシステム制御部５は、背景２３の領域の輝度を参照し、背景２３の領域の露出が適正な撮像条件で撮像を行う際には、主被写体２２の動きに合わせて撮像素子６を移動させないようにしてもよい。

【0050】

さらに、カメラシステム制御部５は、主被写体移動検出部５ａで検出された主被写体の動き量を参照し、カメラ側ぶれ補正部１４により撮像素子６を移動させるか否かを判断してもよい。例えば、カメラシステム制御部５は、検出された主被写体の動き量が所定の閾値よりも大きいときに、撮像素子６を移動させるようにしてもよい。

【0051】

本実施形態では、合成に用いる複数枚の撮像を行うときに、各々の撮像の間に表示部９に表示させる画像を取得し、この表示用の画像を用いて、主被写体移動検出部５ａが主被写体の移動を検出するものとする。しかし、本発明の構成は上記に限定されるものではなく、主被写体移動検出部５ａが撮像素子６以外から主被写体の動きを検出する画像を取得するようにしてもよい。

【0052】

次に、図３を用いて、主被写体移動検出部５ａの動作を説明する。
図３（Ａ）、（Ｂ）は、それぞれＥＶＦ９ｂで提示される画像３１をそれぞれ示す。図３（Ｂ）の画像は、図３（Ａ）よりも後に取得される画像である。各々の画像３１は、主被写体（本実施形態では人物）３２を含む。

【0053】

図３（Ａ）、（Ｂ）の画像３１においては、時刻変化により主被写体３２に微小な動きが生じている。図３（Ｂ）ではその差をわかりやすくするため、主被写体３２の動く前後の状態（３２ａ、３２ｂ）を重ねて表すが、図３（Ｂ）の時刻においてＥＶＦ９ａで実際に提示されている画像は主被写体３２ｂのみを含む。また、図３（Ｂ）では、主被写体３２の移動方向および移動量を示す動きベクトル３３も示している。

【0054】

また、図３では、図２で説明したフォーカスポイント２４の図示は省略しているが、図３においても主被写体３２の顔にフォーカスポイントが設定されているものとする。つまり、図３においてもユーザの選択した主被写体は人物の顔である。

【0055】

主被写体移動検出部５ａは、主被写体３２ａおよび主被写体３２ｂの撮像された画像３１に基づいて、図３（Ｂ）に示すように、主被写体３２の動きベクトル３３を算出する。例えば、主被写体移動検出部５ａは、所謂テンプレートマッチングのように２つの画像から類似する特徴的な箇所を検出し、２画像間の動きを検出することで動きベクトル３３を算出する。主被写体移動検出部５ａによって算出された動きベクトル３３の方向と移動量に従って撮像素子６を移動させることで、撮像画像における主被写体３２の位置を一定に保ちながら、複数枚の撮像を行うことが可能となる。

【0056】

なお、主被写体移動検出部５ａによる動きの検出は上記の例に限定されず、異なる時間に取得された画像間から主被写体の移動が検出できるものであれば、他の手法を用いてもよい。

【0057】

図４は、第１実施形態における撮像装置の動作例を示す流れ図である。
図４の処理は、例えば、ＨＤＲ撮像もしくはハイレゾ撮像のための撮像準備指示（所謂レリーズ釦半押し、Ｓ１操作）に応じて開始される。

【0058】

ステップＳ４００１にて、カメラシステム制御部５は、ユーザによる撮像開始指示（所謂レリーズ釦押下、Ｓ２操作）を受け付けたか否かを判断する。撮像開始指示を受け付けた場合、処理はステップＳ４００２に移行する。一方、撮像開始指示を受け付けていない場合、カメラシステム制御部５は、ユーザによる撮像開始指示を待機する。

【0059】

ステップＳ４００２にて、カメラシステム制御部５は、撮像準備状態のときに取得した露光量の情報に基づいて、ＨＤＲ撮像もしくはハイレゾ撮像における複数回の全撮像条件を決定する。なお、ＨＤＲ撮像もしくはハイレゾ撮像の合成に用いられる撮像画像を第１の画像とも称する。そして、カメラシステム制御部５は、撮像装置を１枚目の撮像条件に設定する。ここで、上記の撮像条件は、例えば、露光時間（シャッタースピード）、ＩＳＯ感度、絞り値、ハイレゾ撮像時での撮像素子６の位置の各設定を含む。その後、処理はステップＳ４００３に移行する。

【0060】

ステップＳ４００３にて、カメラシステム制御部５は１枚目の撮像を開始する。このとき、カメラシステム制御部５は、フォーカスポイントの位置等に基づいて１枚目の撮像時点での主被写体の位置を検出する。この主被写体の位置の検出は、主被写体移動検出部５ａが主被写体の移動量を求めるときの情報として用いられる。なお、Ｓ４００３での主被写体の位置の検出は、第１の画像を用いて行われるものでもよく、第１の画像の撮像前に取得されたライブビュー画像に基づくものであってもよい。
その後、処理はステップＳ４００４に移行する。

【0061】

なお、ステップＳ４００３から開始される複数枚の撮像では、カメラ側ぶれ補正部１４による通常の手ぶれ補正が実行されてもよい。例えば、ＨＤＲ撮像もしくはハイレゾ撮像におけるシャッタースピードが比較的遅い場合には、手ぶれ補正を行うことが好ましい。

【0062】

ステップＳ４００４にて、カメラシステム制御部５は、１枚目の撮像が終了したか否かを判断する。撮像が終了している場合、処理はステップＳ４００５に移行する。一方、撮像が終了していない場合、カメラシステム制御部５は撮像の終了を待機する。

【0063】

ステップＳ４００５にて、カメラシステム制御部５は、表示部９に提示するための画像（ライブビュー画像）を撮像する。このライブビュー画像は、第２の画像の一例である。このとき、カメラシステム制御部５は、フォーカスポイントの位置等に基づいて主被写体の位置を検出する。そして、主被写体移動検出部５ａは、前回の主被写体の位置と、上記のライブビュー画像を用いて得た現在の主被写体の位置とから、主被写体の動きベクトル（主被写体の移動方向および移動量）を算出する。その後、処理はステップＳ４００６に移行する。

【0064】

ステップＳ４００６にて、カメラシステム制御部５は、算出した主被写体の移動量（Ｓ４００５）から、画像合成時の主被写体のぶれ抑制のためにカメラ側ぶれ補正部１４を駆動させるか否かを判断する。例えば、カメラシステム制御部５は、主被写体の移動量が所定量（例えば、合成後に主被写体のぶれが目立つ程度の移動量）よりも大きい場合、カメラ側ぶれ補正部１４を駆動させると判断する。主被写体のぶれ抑制のためにカメラ側ぶれ補正部１４を駆動させる場合、処理はステップＳ４００７に移行する。一方、主被写体のぶれ抑制のためにカメラ側ぶれ補正部１４を駆動させない場合、処理はステップＳ４００８に移行する。

【0065】

ステップＳ４００７にて、カメラシステム制御部５は、算出した主被写体の動きベクトル（Ｓ４００５）に基づいて、主被写体の動きが抑制されるようにカメラ側ぶれ補正部１４を駆動させる。その後、処理はステップＳ４００８に移行する。

【0066】

ステップＳ４００８にて、カメラシステム制御部５は、撮像装置を次回の撮像条件に設定する。例えば、例えばＨＤＲ撮像の場合、カメラシステム制御部５は、シャッタースピードを前回の撮像のシャッタースピードと異なる値に設定する。また、ハイレゾ撮像の場合、カメラシステム制御部５は、撮像素子６の位置を前回の撮像時とは微小に異なる位置に移動させる。その後、処理はステップＳ４００９に移行する。

【0067】

ステップＳ４００９にて、カメラシステム制御部５はステップＳ４００８で設定された撮像条件で撮像を行う。その後、処理はステップＳ４０１０に移行する。

【0068】

ステップＳ４０１０にて、カメラシステム制御部５は、所定の撮像枚数分の撮像が完了したか否かを判断する。撮像が完了している場合、処理はステップＳ４０１１に移行する。
一方、撮像が完了していない場合、処理はステップＳ４００５に戻る。この場合には、再度主被写体の検出（Ｓ４００５）が行われ、必要に応じてカメラ側ぶれ補正部１４の駆動が行われる（Ｓ４００６、Ｓ４００７）。そして、撮像装置が次回の撮像条件に設定（Ｓ４００８）された後に撮像（Ｓ４００９）が行われる。

【0069】

ステップＳ４０１１にて、カメラシステム制御部５は、取得した各撮像画像を用いて、ＨＤＲ合成処理もしくはハイレゾ合成処理を実行する。本実施形態では、複数回の撮像の間に主被写体が動く場合であっても、カメラ側ぶれ補正部１４の駆動により、各画像内での主被写体の位置は画角内においておおよそ一定になる。そのため、上記の合成処理を行った場合において、重ね合わせることができずに失われる画角が少なくなる。
その後、処理はステップＳ４０１２に移行する。

【0070】

ステップＳ４０１２にて、カメラシステム制御部５は、ユーザの設定等に基づいて、撮像素子６の位置を中央に戻すセンタリング動作を行うか否かを判断する。センタリング動作を行う場合には処理はステップＳ４０１３に移行し、センタリング動作を行わない場合には処理はステップＳ４０１４に移行する。

【0071】

ステップＳ４０１３にて、カメラシステム制御部５はセンタリング動作を行い、カメラ側ぶれ補正部１４を駆動させて撮像素子６の位置を中央に戻す。その後、処理はステップＳ４０１４に移行する。

【0072】

一般には、ステップＳ４０１３でセンタリング動作を行い、次の撮像時にカメラ側ぶれ補正部１４の駆動範囲を広い状態にしておくほうが好ましい。しかし、センタリング動作は画角の変動を伴う。例えば、ＨＤＲ撮像もしくはハイレゾ撮像の連写を行う状況では、センタリング動作の前後で合成後の被写体の位置ずれが生じる可能性があるためセンタリング動作を実施しないほうが好ましい。このように、センタリング動作に関しては、ユーザの意図や撮像の状況などに応じてニーズが異なるので、上記のステップＳ４０１２においてカメラシステム制御部５が要否判断を行っている。

【0073】

ステップＳ４０１４にて、カメラシステム制御部５は、ユーザの入力等に基づいて、撮像装置の動作を終了するか否かを判断する。動作を終了する場合には図４の処理は終了し、動作を終了しない場合にはステップＳ４００１に戻って上記の処理が繰り返される。

【0074】

以上のように、第１実施形態の撮像装置では、ＨＤＲ撮像もしくはハイレゾ撮像の際に、主被写体移動検出部５ａによって算出された主被写体の動きを抑制するように、カメラ側ぶれ補正部１４が撮像素子６を移動させる。これにより、合成前の各画像における主被写体の位置が一定に保たれるので、ＨＤＲ撮像もしくはハイレゾ撮像のときに画角の変動が抑制され、しかも被写体の動きによって合成画像に含まれる主被写体の画質劣化も抑制できる。

【0075】

＜第２実施形態＞
第２実施形態の撮像装置は、後述の撮像素子６を除いて第１実施形態と同様の構成である。そのため、第２実施形態において、第１実施形態と同様の要素についての重複説明はいずれも省略する。

【0076】

第２実施形態の撮像素子６は、ＨＤＲ撮像もしくはハイレゾ撮像のための第１の画像と、主被写体の位置の検出のための第２の画像とを、同一の撮像面でそれぞれ独立して取得可能な構成である。例えば、第２実施形態の撮像素子６は、第１の画像を取得する第１画素群とは別に、第２の画像を取得する第２画素群を備え、第１画素群と第２画素群とをそれぞれ独立して読み出し可能に構成されている。

【0077】

上記の構成によれば、ＨＤＲ撮像もしくはハイレゾ撮像のための第１の画像の撮像と並行して第２の画像としてライブビュー画像を取得でき、第２の画像を用いて主被写体の動きを検出することができる。

【0078】

図５は、第２実施形態における撮像装置の動作例を示す流れ図である。
図５の処理も、図４の処理と同様に、例えば、ＨＤＲ撮像もしくはハイレゾ撮像のための撮像準備指示（所謂レリーズ釦半押し、Ｓ１操作）に応じて開始される。なお、図５の説明では、図４と同様の処理については同じステップ番号を付して重複説明を省略する。

【0079】

図５の処理においては、ステップＳ４００１、Ｓ４００２の後にステップＳ５００１の処理が行われる。
ステップＳ５００１にて、カメラシステム制御部５は１枚目の撮像を開始する。このとき、主被写体移動検出部５ａは、主被写体の移動を検出する処理を開始する。第２実施形態では、ＨＤＲ撮像もしくはハイレゾ撮像のための第１の画像の撮像と並行して、第２の画像としてライブビュー画像を取得できる。そのため、カメラシステム制御部５は、ＨＤＲ撮像もしくはハイレゾ撮像のための撮像中にも、主被写体の位置を画角内で一定に保つようにカメラ側ぶれ補正部１４を駆動させることができる。なお、主被写体の移動を検出する処理は、所定の撮像枚数分の撮像が完了するまで（Ｓ４０１０のＹＥＳ）実行される。

【0080】

ステップＳ５００１の処理の後、処理はステップＳ４００４に移行する。ステップＳ５００１以降、主被写体の位置は常に取得可能となるので、図５においてはステップＳ４００５の処理は実行されない。そのため、図５のステップＳ４００４において１枚目の撮像が終了している場合、処理はステップＳ４００６に移行する。以降のステップＳ４００６～Ｓ４０１４の処理は、図４と同様である。

【0081】

以上の第２実施形態においても、第１実施形態と同様の効果を得ることができる。特に、第２実施形態では、ＨＤＲ撮像もしくはハイレゾ撮像のための撮像中にも、主被写体の位置を画角内で一定に保つようにカメラ側ぶれ補正部１４を駆動できるので、より主被写体の動きを抑制した合成画像を生成しやすくなる。

【0082】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0083】

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【0084】

例えば、上記実施形態の主被写体移動検出部５ａは、ＨＤＲ撮像もしくはハイレゾ撮像の合成に用いる第１の画像を用いて主被写体の動きを検出し、以降に行われる第１の画像の撮像でカメラ側ぶれ補正部１４を駆動させてもよい。また、上記実施形態では、カメラで画像合成を行う例を説明したが、カメラで複数回の撮影を行い得られた複数の画像を外部機器へ出力し、カメラから出力された複数の画像を外部機器で画像合成するシステムであってもよい。

【符号の説明】

【0085】

１…カメラ本体、２…レンズ鏡筒、３…撮像光学系、３ａ…ぶれ補正レンズ、５…カメラシステム制御部、５ａ…主被写体移動検出部、６…撮像素子、１３…レンズ側ぶれ補正部、１４…カメラ側ぶれ補正部

【図1】

【図2】

【図3】

【図4】

【図5】