特許 6500618 撮影装置及び撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6500618

(24)【登録日】2019年3月29日

(45)【発行日】2019年4月17日

(54)【発明の名称】撮影装置及び撮影方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190408BHJP

   G03B 5/00 20060101ALI20190408BHJP

   G03B 17/18 20060101ALI20190408BHJP

   H04N 5/225 20060101ALI20190408BHJP

【ＦＩ】

   H04N5/232 941

   G03B5/00 J

   G03B5/00 L

   G03B17/18 Z

   H04N5/225 900

   H04N5/232 290

   H04N5/232 480

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2015-118807(P2015-118807)

(22)【出願日】2015年6月12日

(65)【公開番号】特開2017-5553(P2017-5553A)

(43)【公開日】2017年1月5日

【審査請求日】2018年3月2日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100083286

【弁理士】

【氏名又は名称】三浦 邦夫

(74)【代理人】

【識別番号】100166408

【弁理士】

【氏名又は名称】三浦 邦陽

(72)【発明者】

【氏名】岡本 鉄兵

(72)【発明者】

【氏名】越川 直樹

(72)【発明者】

【氏名】上原 広靖

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２００８−１９８０６２（ＪＰ，Ａ）

【文献】 特開２００８−１８２４９９（ＪＰ，Ａ）

【文献】 国際公開第２００７／０３２１５６（ＷＯ，Ａ１）

【文献】 特開２００３−０２３５６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １７／１８

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

複数の画像を取得する画像取得部と、
前記複数の画像を合成して合成画像を生成する画像合成部と、
前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換部と、
前記画像置換部が前記置換処理を施して合成置換画像を生成した旨を報知する置換報知部と、
前記画像置換部が前記置換処理を施して合成置換画像を生成したときに、前記合成置換画像が使用適格要件を満足するか否かを判定するとともに、前記合成置換画像が使用適格要件を満足すると判定したとき、前記置換報知部に置換報知処理を実行させ、前記合成置換画像が使用適格要件を満足しないと判定したとき、前記画像取得部に複数の画像の取得を再実行させる判定制御部と、
を有することを特徴とする撮影装置。

【請求項2】

請求項１記載の撮影装置において、
前記置換報知部は、表示部に、合成置換画像とともにそれが置換処理を施したものである旨を表示させる撮影装置。

【請求項3】

請求項１記載の撮影装置において、
前記置換報知部は、表示部に、合成置換画像のうち置換処理を施した領域と置換処理を施さなかった領域を異なる表示態様で表示させる撮影装置。

【請求項4】

請求項１記載の撮影装置において、
前記置換報知部は、表示部に、置換処理を施す前の合成画像と置換処理を施した後の合成置換画像を比較可能に表示させる撮影装置。

【請求項5】

請求項１ないし４のいずれか１項記載の撮影装置において、
前記置換報知部による報知結果を受けて前記合成置換画像を記録画像として取り込むか否かを決定する取込決定部をさらに有する撮影装置。

【請求項6】

請求項１ないし５のいずれか１項記載の撮影装置において、
前記判定制御部は、前記合成置換画像に占める置換領域の割合が所定の閾値を超えたか否かを以って、前記合成置換画像が使用適格要件を満足するか否かを判定する撮影装置。

【請求項7】

請求項１ないし６のいずれか１項記載の撮影装置において、
前記複数の画像は、撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサにより撮影したものであり、且つ、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に移動させながら、各移動後の被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて撮影したものである撮影装置。

【請求項8】

複数の画像を取得する画像取得ステップと、
前記複数の画像を合成して合成画像を生成する画像合成ステップと、
前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換ステップと、
前記画像置換ステップで前記置換処理を施して合成置換画像を生成した旨を報知する置換報知ステップと、
前記画像置換ステップで前記置換処理を施して合成置換画像を生成したときに、前記合成置換画像が使用適格要件を満足するか否かを判定するとともに、前記合成置換画像が使用適格要件を満足すると判定したとき、前記置換報知ステップで置換報知処理を実行させ、前記合成置換画像が使用適格要件を満足しないと判定したとき、前記画像取得ステップで複数の画像の取得を再実行させる判定制御ステップと、
を有することを特徴とする撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影装置及び撮影方法に関する。

【背景技術】

【0002】

近年、通常の１ショット画像よりも高精細（高画質、高精度）な画像を得るために、時系列に撮像した複数の画像を合成して合成画像を得る、所謂マルチショット合成と呼ばれる撮影技術が知られている。例えば、出願人は、撮像素子に対する光軸を水平および垂直方向に小数画素単位（例えば１画素ピッチ単位）でずらして取り込んだ複数の画像信号を合成して合成画像を得る「超解像撮影（ＲＲＳ撮影）」の開発を進めている。

【0003】

マルチショット合成は、その性質上、複数の画像を時系列に撮像する際の撮像条件に殆ど変化がない（被写体が動かない、カメラに振動が加わらない、障害物が発生しない、照度変化がない等）ことを前提としている。

【0004】

しかし、マルチショット合成の前提に反して、複数の画像を時系列に撮像する際の撮像条件に大きな変化が生じる（被写体が大きく動く、カメラに大きな振動が加わる、障害物が発生する、大きな照度変化がある等）ことがある。この場合、変化が生じた箇所において、その後の合成処理の結果、通常の撮影では起こり得ない特異なパターンが発生し、通常の１ショット画像よりも品質が劣化してしまう。

【0005】

そこで、マルチショット合成では、複数の画像のいずれかの画像を基準画像に設定し、合成画像の品質劣化部分を基準画像の対応部分で置換する置換処理が施されることがある。置換処理を施した領域は、マルチショット合成の所望の効果（高い解像感）を得ることは出来ないが、合成画像の品質劣化部分をそのまま残すよりは遥かに好ましい。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第３１９３２５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところが、ユーザ（撮影者）の側からすれば、置換処理が施されたのか否か、置換処理が施されたのであればその置換領域はどの辺りなのかといったことを知ることはできず、単に出来上がった合成画像が供給されるだけなので、利便性に富んだものとは言えなかった。

【0008】

本発明は、以上の問題意識に基づいてなされたものであり、複数の画像を合成して合成画像を得るマルチショット合成をユーザの利便性に富んだ形で好適に実行することができる撮影装置及び撮影方法を得ることを目的とする。

【課題を解決するための手段】

【0009】

本発明の撮影装置は、複数の画像を取得する画像取得部と、前記複数の画像を合成して合成画像を生成する画像合成部と、前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換部と、前記画像置換部が前記置換処理を施して合成置換画像を生成した旨を報知する置換報知部と、前記画像置換部が前記置換処理を施して合成置換画像を生成したときに、前記合成置換画像が使用適格要件を満足するか否かを判定するとともに、前記合成置換画像が使用適格要件を満足すると判定したとき、前記置換報知部に置換報知処理を実行させ、前記合成置換画像が使用適格要件を満足しないと判定したとき、前記画像取得部に複数の画像の取得を再実行させる判定制御部と、を有することを特徴としている。

【0010】

前記置換報知部は、表示部に、合成置換画像とともにそれが置換処理を施したものである旨を表示させることができる。

【0011】

前記置換報知部は、表示部に、合成置換画像のうち置換処理を施した領域と置換処理を施さなかった領域を異なる表示態様で表示させることができる。

【0012】

前記置換報知部は、表示部に、置換処理を施す前の合成画像と置換処理を施した後の合成置換画像を比較可能に表示させることができる。

【0013】

本発明の撮影装置は、前記置換報知部による報知結果を受けて前記合成置換画像を記録画像として取り込むか否かを決定する取込決定部をさらに有することができる。

【0016】

前記判定制御部は、前記合成置換画像に占める置換領域の割合が所定の閾値を超えたか否かを以って、前記合成置換画像が使用適格要件を満足するか否かを判定することができる。

【0017】

前記複数の画像は、撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサにより撮影したものであり、且つ、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に移動させながら、各移動後の被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて撮影したものとすることができる。

【0018】

本発明の撮影方法は、複数の画像を取得する画像取得ステップと、前記複数の画像を合成して合成画像を生成する画像合成ステップと、前記合成される画像の少なくとも一部で置換処理を施すことにより合成置換画像を生成する画像置換ステップと、前記画像置換ステップで前記置換処理を施して合成置換画像を生成した旨を報知する置換報知ステップと、前記画像置換ステップで前記置換処理を施して合成置換画像を生成したときに、前記合成置換画像が使用適格要件を満足するか否かを判定するとともに、前記合成置換画像が使用適格要件を満足すると判定したとき、前記置換報知ステップで置換報知処理を実行させ、前記合成置換画像が使用適格要件を満足しないと判定したとき、前記画像取得ステップで複数の画像の取得を再実行させる判定制御ステップと、を有することを特徴としている。

【発明の効果】

【0022】

本発明によれば、複数の画像を合成して合成画像を得るマルチショット合成をユーザの利便性に富んだ形で好適に実行することができる撮影装置及び撮影方法が得られる。

【図面の簡単な説明】

【0023】

【図1】第１実施形態のデジタルカメラ（撮影装置）の要部構成を示すブロック図である。

【図2】像振れ補正装置の要部構成を示すブロック図である。

【図3】像振れ補正装置の構成を示す側面図である。

【図4】図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード」の一例を示す概念図である。

【図5】ＤＳＰ（制御装置）の内部構成を示す機能ブロック図である。

【図6】置換領域算出部が算出した合成画像の基準画像置換領域と非置換領域の一例を示す図である。

【図7】置換報知部による置換報知処理の第１の態様を示す図である。

【図8】置換報知部による置換報知処理の第２の態様を示す図である。

【図9】置換報知部による置換報知処理の第３の態様を示す図である。

【図10】第１実施形態のデジタルカメラによる撮影処理を示すフローチャートである。

【図11】第２実施形態のデジタルカメラを示す図５に対応する機能ブロック図である。

【図12】第２実施形態のデジタルカメラを示す図１０に対応するフローチャートである。

【発明を実施するための形態】

【0024】

≪第１実施形態≫
図１〜図１０を参照して、第１実施形態のデジタルカメラ（撮影装置）１０について説明する。

【0025】

図１に示すように、デジタルカメラ１０は、ボディ本体２０と、このボディ本体２０に着脱可能（レンズ交換可能）な撮影レンズ３０とを備えている。撮影レンズ３０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、撮影レンズ群（撮影光学系、移動部材、振れ補正部材）３１と、絞り（撮影光学系）３２とを備えている。ボディ本体２０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、シャッタ（撮影光学系）２１と、イメージセンサ（画像取得部、撮像部、移動部材、振れ補正部材）２２とを備えている。またボディ本体２０は、撮影レンズ３０への装着状態で絞り３２とシャッタ２１を駆動制御する絞り／シャッタ駆動回路２３を備えている。撮影レンズ群３１から入射し、絞り３２とシャッタ２１を通った被写体光束による被写体像が、イメージセンサ２２の受光面上に形成される。イメージセンサ２２の受光面上に形成された被写体像は、マトリックス状に配置された検出色の異なる多数の画素によって、電気的な画素信号に変換され、画像データ（時系列に撮像（取得）した複数の画像データ）としてＤＳＰ（制御装置）４０に出力される。ＤＳＰ４０は、イメージセンサ２２から入力した画像データに所定の画像処理を施して、これをＬＣＤ（表示部）２４に表示し、画像メモリ２５に記憶する。なお、図１では、撮影レンズ群３１が単レンズからなるように描いているが、実際の撮影レンズ群３１は、例えば、固定レンズ、変倍時に移動する変倍レンズ、フォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズを有している。

【0026】

図示は省略しているが、イメージセンサ２２は、パッケージと、このパッケージに収納される固体撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ２２を駆動する」とは、「イメージセンサ２２の複数の構成要素のうち被写体光束が通過する少なくとも一部を駆動する」ことを意味する。

【0027】

撮影レンズ３０は、撮影レンズ群３１の解像力（ＭＴＦ）情報や絞り３２の開口径（絞り値）情報などの各種情報を記憶した通信用メモリ３３を搭載している。撮影レンズ３０をボディ本体２０に装着した状態では、通信用メモリ３３が記憶した各種情報がＤＳＰ４０に読み込まれる。

【0028】

ボディ本体２０は、ＤＳＰ４０に接続させて、撮影操作スイッチ２６を備えている。撮影操作スイッチ２６は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。

【0029】

ボディ本体２０は、ＤＳＰ４０に接続させて、ジャイロセンサ（振れ検出部）２７を備えている。ジャイロセンサ２７は、ボディ本体２０に加わる移動角速度（Ｘ軸とＹ軸周り）を検出することで、該ボディ本体２０の光軸直交平面内の振れを示す振れ検出信号を検出する。

【0030】

図１〜図３に示すように、イメージセンサ２２は、撮影光学系の光軸Ｚと直交するＸ軸方向とＹ軸方向（直交二方向）に移動可能に像振れ補正装置５０に搭載されている。像振れ補正装置５０は、ボディ本体２０のシャーシなどの構造物に固定される固定支持基板５１と、イメージセンサ２２を固定した、固定支持基板５１に対してスライド可能な可動ステージ５２と、固定支持基板５１の可動ステージ５２との対向面に固定した磁石Ｍ１、Ｍ２、Ｍ３と、固定支持基板５１に可動ステージ５２を挟んで各磁石Ｍ１、Ｍ２、Ｍ３と対向させて固定した、各磁石Ｍ１、Ｍ２、Ｍ３との間に磁気回路を構成する磁性体からなるヨークＹ１、Ｙ２、Ｙ３と、可動ステージ５２に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルＣ１、Ｃ２、Ｃ３を有している。駆動用コイルＣ１、Ｃ２、Ｃ３に交流駆動信号（交流電圧）を流す（印加する）ことにより、固定支持基板５１に対して可動ステージ５２（イメージセンサ２２）が光軸直交平面内で駆動するようになっている。駆動用コイルＣ１、Ｃ２、Ｃ３に流す交流駆動信号は、ＤＳＰ４０による制御の下、イメージセンサ駆動回路６０によって生成される。

【0031】

本実施形態では、磁石Ｍ１、ヨークＹ１及び駆動用コイルＣ１からなる磁気駆動手段と、磁石Ｍ２、ヨークＹ２及び駆動用コイルＣ２からなる磁気駆動手段（２組の磁気駆動手段）とがイメージセンサ２２の長手方向（水平方向、Ｘ軸方向）に所定間隔で配置され、磁石Ｍ３、ヨークＹ３及び駆動用コイルＣ３からなる磁気駆動手段（１組の磁気駆動手段）がイメージセンサ２２の長手方向と直交する短手方向（鉛直（垂直）方向、Ｙ軸方向）に配置されている。

【0032】

さらに固定支持基板５１には、各駆動用コイルＣ１、Ｃ２、Ｃ３の近傍（中央空間部）に、磁石Ｍ１、Ｍ２、Ｍ３の磁力を検出して可動ステージ５２（イメージセンサ２２）の光軸直交平面内の位置を示すホール出力信号（位置検出信号）を出力（検出）するホールセンサ（位置検出部）Ｈ１、Ｈ２、Ｈ３が配置されている。ホールセンサＨ１、Ｈ２により可動ステージ５２（イメージセンサ２２）のＹ軸方向位置及び傾き（回転）が検出され、ホールセンサＨ３により可動ステージ５２（イメージセンサ２２）のＸ軸方向位置が検出される。ＤＳＰ４０は、イメージセンサ駆動回路６０を介して、ジャイロセンサ２７が検出したボディ本体２０の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサＨ１、Ｈ２、Ｈ３が出力したイメージセンサ２２の光軸直交平面内の位置を示すホール出力信号とに基づいて、像振れ補正装置５０によってイメージセンサ２２を光軸直交平面内で駆動する。これにより、イメージセンサ２２上への被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。

【0033】

本実施形態のデジタルカメラ１０は、像振れ補正装置５０を利用して、イメージセンサ２２（イメージセンサユニット）を撮影光学系の光軸Ｚと直交する平面内で微細に移動させながら時系列に複数回の撮影を行い、その画像を１枚に合成（画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像を生成する撮影モード（マルチショット合成モード）を搭載している。以下ではこの撮影モードを「ＲＲＳ（リアル・レゾリューション・システム）撮影モード」と呼ぶ。「ＲＲＳ撮影モード（マルチショット合成モード）」では、１画素あたり１つの色情報のみを取得する従来のベイヤ方式と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。

【0034】

図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード（マルチショット合成モード）」の一例を示す概念図である。同図において、イメージセンサ２２は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（色帯域）の光を光電変換し、その強さ（輝度）に応じた電荷を蓄積する。より具体的に、図４（Ａ）の基準位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ下方に移動させた図４（Ｂ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ右方に移動させた図４（Ｃ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ上方に移動させた図４（Ｄ）の位置で１枚の画像を撮影し、最後に図４（Ａ）の基準位置に戻る。このように、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像が、ＲＡＷ画像データとして、ＤＳＰ（制御装置）４０に入力される。

【0035】

図１に示すように、ボディ本体２０は、ＤＳＰ４０に接続させて、「ＲＲＳ撮影」を行うか否か、更にはその詳細を設定するためのＲＲＳ撮影モード設定部２８を備えている。

【0036】

図５は、ＤＳＰ（制御装置）４０の内部構成を示す機能ブロック図である。このＤＳＰ４０は、イメージセンサ２２が「ＲＲＳ撮影モード（マルチショット合成モード）」で時系列に撮像した４枚の画像（ＲＡＷ画像）に対して各種の処理を施すものである。

【0037】

ＤＳＰ４０は、画像入力部４１と、画像合成部４２と、基準画像決定部４３と、置換領域算出部４４と、画像置換部４５と、置換判定部４６と、置換報知部４７と、取込決定部４８とを有している。

【0038】

画像入力部４１は、イメージセンサ２２が時系列に撮像した４枚の画像が入力するものである。

【0039】

画像合成部４２は、画像入力部４１に入力した４枚の画像を合成して合成画像を生成するものである。

【0040】

基準画像決定部４３は、画像入力部４１に入力した４枚の画像の中から１枚を選択してこれを基準画像に決定する。例えば、基準画像決定部４３は、イメージセンサ２２が最初（１枚目）または最後（４枚目）に撮影した画像を基準画像に決定する。

【0041】

置換領域算出部４４は、画像合成部４２による合成画像の少なくとも一部を基準画像決定部４３が決定した基準画像で置換するための置換領域を算出する。置換領域算出部４４は、画像合成部４２による合成画像の品質が所定の水準を満足しているか否か、すなわち手振れや被写体の動き、蛍光灯のちらつき（フリッカー）の悪影響を受けているか否か等に基づいて、置換領域を算出する。

【0042】

より具体的に、置換領域算出部４４は、基準画像と他の合成前フレーム画像とを画素ごとに比較することにより、置換領域を算出する。あるいは、置換領域算出部４４は、各合成前フレーム画像をブロック化し、基準画像と他の合成前フレーム画像とをブロックごとに比較することにより、置換領域を算出する。あるいは、置換領域算出部４４は、輝度データや色差データにより差分情報を得て、この差分情報に基づいて、置換領域を算出する。あるいは、置換領域算出部４４は、高周波成分の検出を行ってその高周波成分が閾値を超えているか否かを判定することにより、置換領域を算出する。このように、置換領域算出部４４が置換領域を算出する態様には自由度があり、種々の設計変更が可能である。

【0043】

図６は、置換領域算出部４４が算出した合成画像の基準画像置換領域と非置換領域の一例を示す図である。合成画像の基準画像置換領域は、合成画像の品質が所定の水準を満足しないために基準画像での置換が指定される領域であり、非置換領域は、合成画像の該当部分をそのまま適用（使用）する領域である。

【0044】

画像置換部４５は、置換領域算出部４４が算出した置換領域（図６）に従って、画像合成部４２による合成画像の少なくとも一部を基準画像決定部４３が決定した基準画像で置き換える置換処理を施すことにより、合成置換画像を生成することが可能である。

【0045】

画像置換部４５は、置換領域算出部４４が算出した置換領域がゼロでなければ当該置換領域に従った置換処理を実行し、置換領域算出部４４が算出した置換領域がゼロであれば置換処理を実行しない。

【0046】

置換判定部４６は、画像置換部４５が置換処理を施して合成置換画像を生成したか否かを判定する。置換判定部４６は、画像置換部４５が全く置換処理を施していない場合（置換領域ゼロ）は勿論のこと、合成置換画像に占める置換領域の割合（面積比）が極めて小さい場合や合成置換画像中の置換領域の分布度合い（例えば合成置換画像中のメイン被写体に置換処理が施されていない場合）により、画像置換部４５が置換処理を施していないと判定する（置換領域ゼロとみなす）ことができる。すなわち、画像置換部４５が置換処理を施して合成置換画像を生成したか否かを判定するための手法や基準には自由度があり、種々の設計変更が可能である。

【0047】

置換報知部４７は、画像置換部４５が置換処理を施して合成置換画像を生成したと置換判定部４６が判定したときに、ユーザ（撮影者）にその旨を報知するためのユーザインタフェースとして機能する。

【0048】

図７、図８、図９は、それぞれ、置換報知部４７による置換報知処理の第１、第２、第３の態様を示している。同図の例は、被写体である花が風で揺れ動いていたために花の全体に置換処理を施した場合を想定している。

【0049】

図７の第１の態様では、置換報知部４７は、ＬＣＤ（表示部）２４に、合成置換画像とともにそれが置換処理を施したものである旨のメッセージを表示させている。

【0050】

図８の第２の態様では、置換報知部４７は、ＬＣＤ（表示部）２４に、合成置換画像のうち置換処理を施した領域と置換処理を施さなかった領域を異なる表示態様で表示させている。ここでは置換報知部４７は、置換処理を施した花の全体を特殊表示（点滅表示）させている。

【0051】

図９の第３の態様では、置換報知部４７は、ＬＣＤ（表示部）２４に、置換処理を施す前の合成画像と置換処理を施した後の合成置換画像を比較可能に交互（あるいは並列して）に表示させている。

【0052】

置換報知部４７は、図７の第１の態様、図８の第２の態様、図９の第３の態様の置換報知処理に加えて、図示しないスピーカーからＬＣＤ（表示部）２４に表示された合成画像が置換処理を施したものであることを知らせるメッセージを音声発信させてもよい。

【0053】

取込決定部４８は、ユーザ（撮影者）が置換報知部４７による報知結果を受けて合成置換画像を記録画像として取り込むか否かを決定するためのユーザインタフェースとして機能する。例えば、取込決定部４８は、ＬＣＤ（表示部）２４に「この合成画像には置換処理が施されていますがこれを保存しますか？」といったメッセージを表示させて、保存するか否かの決定処理をユーザ（撮影者）に促す。取込決定部４８は、合成置換画像を保存する旨の決定処理がなされた場合には、当該合成置換画像を画像メモリ２５に保存し、合成置換画像を保存しない旨の決定処理がなされた場合には、当該合成置換画像を破棄する。

【0054】

図１０のフローチャートを参照して、第１実施形態のデジタルカメラ１０によるＲＲＳ撮影処理を説明する。このＲＲＳ撮影処理は、ＤＳＰ（制御装置）４０のコンピュータに所定のプログラムを実行させることにより実現される。

【0055】

ステップＳ１では、イメージセンサ（撮像部）２２によって４枚の画像を時系列に撮像する。

【0056】

ステップＳ２では、画像合成部４２が、イメージセンサ２２が撮像した４枚の画像を合成して合成画像を生成する。

【0057】

ステップＳ３では、置換判定部４６が、画像置換部４５が合成画像に置換処理を施して合成置換画像を生成したか否かを判定する。

【0058】

画像置換部４５が置換処理を施していないと置換判定部４６が判定した場合（ステップＳ３：Ｎｏ）、ステップＳ４において、置換処理が施されていない合成画像が「合成成功画像」として画像メモリ２５に保存される。

【0059】

画像置換部４５が置換処理を施したと置換判定部４６が判定した場合（ステップＳ３：Ｙｅｓ）、ステップＳ５において、置換報知部４７が、その合成置換画像をＬＣＤ（表示部）２４に表示させて、置換報知処理（警告表示）を実行する（例えば図７〜図９）。

【0060】

ステップＳ６では、取込決定部４８が、置換報知部４７による報知結果を受けたユーザ（撮影者）による決定処理に従って、合成置換画像を記録画像として取り込むか否かを決定する。すなわち、ユーザ（撮影者）は、置換報知部４７による報知結果を参考にしながら合成置換画像を検証することで、当該合成置換画像の品質が許容できるレベルであるか否か（記録する価値があるか否か）を判断する。

【0061】

合成置換画像を記録画像として取り込むことを決定した場合（合成置換画像の品質が許容できるレベルであると判断した場合）（ステップＳ６：Ｙｅｓ）、ステップＳ７において、合成置換画像が「準合成成功画像」として画像メモリ２５に保存される。

【0062】

合成置換画像を記録画像として取り込まないことを決定した場合（合成置換画像の品質が許容できないレベルであると判断した場合）（ステップＳ６：Ｎｏ）、ステップＳ８において、合成置換画像が失敗画像として破棄される。

【0063】

≪第２実施形態≫
図１１、図１２を参照して、第２実施形態のデジタルカメラ（撮影装置）１０について説明する。

【0064】

図１１に示すように、第２実施形態のＤＳＰ（制御装置）４０’は、第１実施形態のＤＳＰ（制御装置）４０の構成において、判定制御部４９をさらに追加したものである。第２実施形態のその他の構成は、第１実施形態の構成と同一なので、同一の符号を付して重複する説明を省略する。

【0065】

判定制御部４９は、画像置換部４５が置換処理を施して合成置換画像を生成したと置換判定部４６が判定したときに、当該合成置換画像が使用適格要件を満足するか否かを判定する。この「使用適格要件」は、置換報知処理を行った上で合成置換画像を記録画像として取り込むか否かをユーザ（撮影者）に問い合わせるまでもなく、合成置換画像を明らかな失敗画像として破棄すべきものであるか否か、を判断するための基準である。

【0066】

より具体的に、判定制御部４９は、合成置換画像に占める置換領域の割合が所定の閾値を超えたか否かを以って、合成置換画像が使用適格要件を満足するか否かを判定する。すなわち、判定制御部４９は、合成置換画像に占める置換領域の割合が所定の閾値を超えていれば、合成置換画像が使用適格要件を満足していないと判定し、合成置換画像に占める置換領域の割合が所定の閾値を超えていなければ、合成置換画像が使用適格要件を満足していると判定する。

【0067】

そして、判定制御部４９は、合成置換画像が使用適格要件を満足すると判定したとき、置換報知部４７に置換報知処理を実行させる（例えば図７〜図９）。一方、判定制御部４９は、合成置換画像が使用適格要件を満足しないと判定したとき、当該合成置換画像を破棄した上で、イメージセンサ（撮像部）２２に４枚の画像の撮像を再実行させる。

【0068】

図１２のフローチャートに示すように、画像置換部４５が置換処理を施したと置換判定部４６が判定した場合（ステップＳ３：Ｙｅｓ）、ステップＳ３５において、判定制御部４９が、合成置換画像が使用適格要件を満足するか否かを判定する。判定制御部４９は、合成置換画像が使用適格要件を満足すると判定したとき（ステップＳ３５：Ｙｅｓ）、ステップＳ５に進んで、置換報知部４７に置換報知処理を実行させる（例えば図７〜図９）。判定制御部４９は、合成置換画像が使用適格要件を満足しないと判定したとき（ステップＳ３５：Ｎｏ）、合成置換画像を破棄した上で、ステップＳ１に戻って、イメージセンサ２２に４枚の画像の撮像を再実行させる。

【0069】

このように本実施形態によれば、置換報知部４７が、画像置換部４５が置換処理を施して合成置換画像を生成したときにその旨を報知するので、複数の画像を合成して合成画像を得るマルチショット合成（例えばＲＲＳ撮影）をユーザの利便性に富んだ形で好適に実行することができる。すなわち、置換処理が行われた場合、その旨をユーザ（撮影者）に報知することで、再撮影を促したり合成結果の成否を確認したりするなどの撮影結果に対するフォローが可能になる。特に、超解像撮影の成否をユーザ（撮影者）が判断できるようにするとともに、失敗していた場合のフォローについてもユーザ（撮影者）の意図に従った動作を実現することができる。

【0070】

以上の実施形態では、ＲＲＳ撮影モードにおいて、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像を「複数の画像」とした場合を例示して説明した。しかし、イメージセンサ２２の駆動軌跡及び駆動ピッチ並びに「複数の画像」の枚数には自由度があり、種々の設計変更が可能である。またイメージセンサ２２を駆動する方向は、撮影光学系の光軸と直交する平面内に限定されず、撮影光学系の光軸と異なる方向であればよい。さらに「複数の画像」は、ＲＲＳ撮影モードで撮影（取得）したものに限定されず、同一の被写体について撮影条件を変えながら連続的に撮影したものであればよい。

【0071】

以上の実施形態では、イメージセンサ２２を「移動部材」として、このイメージセンサ２２を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素を「移動部材」として、この光学要素を撮影レンズ３０内に設けたボイスコイルモータによって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ２２と撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。

【0072】

以上の実施形態では、ＤＳＰ４０とイメージセンサ駆動回路６０を別々の構成要素（ブロック）として描いているが、これらを単一の構成要素（ブロック）として実現する態様も可能である。

【0073】

以上の実施形態では、像振れ補正装置５０の構成として、固定支持基板５１に磁石Ｍ１、Ｍ２、Ｍ３及びヨークＹ１、Ｙ２、Ｙ３を固定し、可動ステージ５２に駆動用コイルＣ１、Ｃ２、Ｃ３を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。

【0074】

以上の実施形態では、ボディ本体２０と撮影レンズ３０を着脱可能（レンズ交換可能）とする態様を例示して説明したが、ボディ本体２０と撮影レンズ３０を着脱不能（レンズ交換不能）とする態様も可能である。

【符号の説明】

【0075】

１０ デジタルカメラ（撮影装置）
２０ ボディ本体
２１ シャッタ（撮影光学系）
２２ イメージセンサ（画像取得部、撮像部、移動部材、振れ補正部材）
Ｒ Ｇ（Ｇｒ、Ｇｂ） Ｂ カラーフィルタ
２３ 絞り／シャッタ駆動回路
２４ ＬＣＤ（表示部）
２５ 画像メモリ
２６ 撮影操作スイッチ
２７ ジャイロセンサ（振れ検出部）
２８ ＲＲＳ撮影モード設定部
３０ 撮影レンズ
３１ 撮影レンズ群（撮影光学系、移動部材、振れ補正部材）
３２ 絞り（撮影光学系）
３３ 通信用メモリ
４０ ４０’ ＤＳＰ（制御装置）
４１ 画像入力部
４２ 画像合成部
４３ 基準画像決定部
４４ 置換領域算出部
４５ 画像置換部
４６ 置換判定部
４７ 置換報知部
４８ 取込決定部
４９ 判定制御部
５０ 像振れ補正装置
５１ 固定支持基板
５２ 可動ステージ
Ｍ１ Ｍ２ Ｍ３ 磁石
Ｙ１ Ｙ２ Ｙ３ ヨーク
Ｃ１ Ｃ２ Ｃ３ 駆動用コイル
Ｈ１ Ｈ２ Ｈ３ ホールセンサ（位置検出部）
６０ イメージセンサ駆動回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】