(58)【調査した分野】(Int.Cl.,DB名)
画像合成に用いる複数の撮像画像から成る画像セットを撮像する撮像処理を制御し、前記撮像処理では、イメージセンサ及び光学要素の少なくとも一方を移動させて両者の相対位置を変化させる撮像制御部と、
前記画像セットの各撮像画像を前記移動に応じて表示部に表示させる表示制御部と、
を具備し、
前記撮像制御部は、前記イメージセンサ及び前記光学要素の一方の他方に対する基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記一方を順次移動させ、
前記表示制御部は、前記表示部の表示画面に複数の部分画面領域を設定し、前記基準位置及び前記複数の相対位置で得られた前記複数の撮像画像を、前記基準位置及び前記複数の相対位置に対応する前記複数の部分画面領域にそれぞれ表示させ、
前記表示制御部は、合成画像の生成処理のタイミングにおいて、前記複数の部分画面領域にそれぞれ表示された前記複数の撮像画像が前記表示画面の所定領域に集合して合成集約されるアニメーションを表示させる、
ことを特徴とする撮影制御装置。
画像合成に用いる複数の撮像画像から成る画像セットを撮像する撮像処理を制御し、前記撮像処理では、イメージセンサ及び光学要素の少なくとも一方を移動させて両者の相対位置を変化させる撮像制御部と、
前記画像セットの各撮像画像を前記移動に応じて表示部に表示させる表示制御部と、
を具備し、
前記撮像制御部は、前記イメージセンサ及び前記光学要素の一方の他方に対する基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記一方を順次移動させ、
前記表示制御部は、前記基準位置及び前記複数の相対位置で得られた前記複数の撮像画像に半透明化処理をそれぞれ施して得られた複数の半透明画像を、前記表示部の表示画面に重畳表示させる、
ことを特徴とする撮影制御装置。
画像合成に用いる複数の撮像画像から成る画像セットを撮像する撮像処理を制御し、前記撮像処理では、イメージセンサ及び光学要素の少なくとも一方を移動させて両者の相対位置を変化させる撮像制御部と、
前記画像セットの各撮像画像を前記移動に応じて表示部に表示させる表示制御部と、
を用いた撮影制御方法であって、
前記撮像制御部が、前記イメージセンサ及び前記光学要素の一方の他方に対する基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記一方を順次移動させ、
前記表示制御部が、前記表示部の表示画面に複数の部分画面領域を設定し、前記基準位置及び前記複数の相対位置で得られた前記複数の撮像画像を、前記基準位置及び前記複数の相対位置に対応する前記複数の部分画面領域にそれぞれ表示させ、
前記表示制御部が、合成画像の生成処理のタイミングにおいて、前記複数の部分画面領域にそれぞれ表示された前記複数の撮像画像が前記表示画面の所定領域に集合して合成集約されるアニメーションを表示させる、
ことを特徴とする撮影制御方法。
画像合成に用いる複数の撮像画像から成る画像セットを撮像する撮像処理を制御し、前記撮像処理では、イメージセンサ及び光学要素の少なくとも一方を移動させて両者の相対位置を変化させる撮像制御部と、
前記画像セットの各撮像画像を前記移動に応じて表示部に表示させる表示制御部と、
を用いた撮影制御方法であって、
前記撮像制御部が、前記イメージセンサ及び前記光学要素の一方の他方に対する基準位置から光軸方向と異なる方向のそれぞれ異なる複数の相対位置に、前記一方を順次移動させ、
前記表示制御部が、前記基準位置及び前記複数の相対位置で得られた前記複数の撮像画像に半透明化処理をそれぞれ施して得られた複数の半透明画像を、前記表示部の表示画面に重畳表示させる、
ことを特徴とする撮影制御方法。
【発明を実施するための形態】
【0023】
以下に、本願の開示する撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願の開示する撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラムが限定されるものではない。また、実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略される。
【0024】
≪第1実施形態≫
[撮像装置(撮影装置)の構成例]
図1は、第1実施形態の撮像装置の要部構成を示す図である。
図2は、像振れ補正装置の要部構成を示すブロック図である。
図3は、像振れ補正装置の構成を示す側面図である。
【0025】
図1に示すように、デジタルカメラ10は、ボディ本体20と、このボディ本体20に着脱可能(レンズ交換可能)な撮影レンズ30とを備えている。撮影レンズ30は、被写体側(
図1中の左側)から像面側(
図1中の右側)に向かって順に、撮影レンズ群(撮影光学系、移動部材、振れ補正部材)31と、絞り(撮影光学系)32とを備えている。ボディ本体20は、被写体側(
図1中の左側)から像面側(
図1中の右側)に向かって順に、シャッタ(撮影光学系)21と、イメージセンサ(撮像部、移動部材、振れ補正部材)22とを備えている。またボディ本体20は、撮影レンズ30への装着状態で絞り32とシャッタ21を駆動制御する絞り/シャッタ駆動回路23を備えている。撮影レンズ群31から入射し、絞り32とシャッタ21を通った被写体光束による被写体像が、イメージセンサ22の受光面上に形成される。イメージセンサ22の受光面上に形成された被写体像は、マトリックス状に配置された検出色の異なる多数の画素によって、電気的な画素信号に変換され、画像データ(時系列に撮像した複数の画像データ)としてDSP(制御装置)40に出力される。DSP40は、イメージセンサ22から入力した画像データに所定の画像処理を施して、これをLCD24に表示し、画像メモリ25に記憶する。なお、
図1では、撮影レンズ群31が単レンズからなるように描いているが、実際の撮影レンズ群31は、例えば、固定レンズ、変倍時に移動する変倍レンズ、フォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズを有している。
【0026】
図示は省略しているが、イメージセンサ22は、パッケージと、このパッケージに収納される固体撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ22を駆動する」とは、「イメージセンサ22の複数の構成要素のうち被写体光束が通過する少なくとも一部を駆動する」ことを意味する。
【0027】
撮影レンズ30は、撮影レンズ群31の解像力(MTF)情報や絞り32の開口径(絞り値)情報などの各種情報を記憶した通信用メモリ33を搭載している。撮影レンズ30をボディ本体20に装着した状態では、通信用メモリ33が記憶した各種情報がDSP40に読み込まれる。
【0028】
ボディ本体20は、DSP40に接続させて、撮影操作スイッチ26を備えている。撮影操作スイッチ26は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。
【0029】
ボディ本体20は、DSP40に接続させて、ジャイロセンサ(振れ検出部)27を備えている。ジャイロセンサ27は、ボディ本体20に加わる移動角速度(X軸とY軸周り)を検出することで、該ボディ本体20の光軸直交平面内の振れを示す振れ検出信号を検出する。
【0030】
図1〜
図3に示すように、イメージセンサ22は、撮影光学系の光軸Zと直交するX軸方向とY軸方向(直交二方向)に移動可能に像振れ補正装置50に搭載されている。像振れ補正装置50は、ボディ本体20のシャーシなどの構造物に固定される固定支持基板51と、イメージセンサ22を固定した、固定支持基板51に対してスライド可能な可動ステージ52と、固定支持基板51の可動ステージ52との対向面に固定した磁石M1、M2、M3と、固定支持基板51に可動ステージ52を挟んで各磁石M1、M2、M3と対向させて固定した、各磁石M1、M2、M3との間に磁気回路を構成する磁性体からなるヨークY1、Y2、Y3と、可動ステージ52に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルC1、C2、C3を有している。駆動用コイルC1、C2、C3に交流駆動信号(交流電圧)を流す(印加する)ことにより、固定支持基板51に対して可動ステージ52(イメージセンサ22)が光軸直交平面内で駆動するようになっている。駆動用コイルC1、C2、C3に流す交流駆動信号は、DSP40による制御の下、イメージセンサ駆動回路60によって生成される。
【0031】
本実施形態では、磁石M1、ヨークY1及び駆動用コイルC1からなる磁気駆動手段と、磁石M2、ヨークY2及び駆動用コイルC2からなる磁気駆動手段(2組の磁気駆動手段)とがイメージセンサ22の長手方向(水平方向、X軸方向)に所定間隔で配置され、磁石M3、ヨークY3及び駆動用コイルC3からなる磁気駆動手段(1組の磁気駆動手段)がイメージセンサ22の長手方向と直交する短手方向(鉛直(垂直)方向、Y軸方向)に配置されている。
【0032】
さらに固定支持基板51には、各駆動用コイルC1、C2、C3の近傍(中央空間部)に、磁石M1、M2、M3の磁力を検出して可動ステージ52(イメージセンサ22)の光軸直交平面内の位置を示すホール出力信号(位置検出信号)を出力(検出)するホールセンサ(位置検出部)H1、H2、H3が配置されている。ホールセンサH1、H2により可動ステージ52(イメージセンサ22)のY軸方向位置及び傾き(回転)が検出され、ホールセンサH3により可動ステージ52(イメージセンサ22)のX軸方向位置が検出される。DSP40は、イメージセンサ駆動回路60を介して、ジャイロセンサ27が検出したボディ本体20の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサH1、H2、H3が出力したイメージセンサ22の光軸直交平面内の位置を示すホール出力信号とに基づいて、像振れ補正装置50によってイメージセンサ22を光軸直交平面内で駆動する。これにより、イメージセンサ22上への被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。
【0033】
本実施形態のデジタルカメラ10は、像振れ補正装置50を利用して、イメージセンサ22(イメージセンサユニット)を撮影光学系の光軸Zと直交する平面内で微細に移動させながら時系列に複数回の撮影を行い、その画像を1枚に合成(画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成)することで、超高精細(高画質、高精度)な画像を生成する撮影モード(マルチショット合成モード)を搭載している。以下ではこの撮影モードを「RRS(リアル・レゾリューション・システム)撮影モード」と呼ぶ。ボディ本体20は、
図1に示すように、DSP40に接続させて、「RRS撮影モード」を行うか否か、更にはその詳細を設定するためのRRS撮影モード設定部28を備えている。
【0034】
「RRS撮影モード(マルチショット合成モード)」では、1画素あたり1つの色情報のみを取得する従来のベイヤ方式と異なり、1画素毎にRGB各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。
【0035】
図4は、DSP(制御装置)40の内部構成を示す機能ブロック図である。
図4において、DSP(制御装置)40は、撮像制御部40Aと、合成画像生成部40Bと、表示制御部40Cとを含んでいる。
【0036】
撮像制御部40Aは、マルチショット画像合成に用いる複数の撮像画像から成る「画像セット」を撮像する「撮像処理」を制御している。この「撮像処理」では、イメージセンサ22及び撮影光学系に含まれる光学要素(例えば、撮影レンズ群31の少なくとも一部)のうちの一方の他方に対する「基準位置」から光軸方向と異なる方向(例えば、光軸方向と直交する方向)のそれぞれ異なる複数の「相対位置」に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)のうちの上記一方を上記他方に対して順次相対移動させている。
【0037】
図5(A)〜
図5(D)は本実施形態の「RRS撮影モード(マルチショット合成モード)」の一例を示す概念図である。同図において、イメージセンサ22は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタR、G(Gr、Gb)、Bのいずれかが配置されている。特に、ベイヤ配列のカラーフィルタは、「基本単位」に1つのR画素と2つのG画素と1つのB画素とを含んでいる。各画素は、前面のカラーフィルタR、G(Gr、Gb)、Bを透過して入射した被写体光線の色を検出、つまり、色成分(色帯域)の光を光電変換し、その強さ(輝度)に応じた電荷を蓄積する。より具体的に、
図5(A)の基準位置で1枚の画像を撮影し、そこからイメージセンサ22を1画素ピッチだけ下方に移動(相対移動)させた
図5(B)の位置で1枚の画像を撮影し、そこからイメージセンサ22を1画素ピッチだけ右方に移動させた
図5(C)の位置で1枚の画像を撮影し、そこからイメージセンサ22を1画素ピッチだけ上方に移動させた
図5(D)の位置で1枚の画像を撮影し、最後に
図5(A)の基準位置に戻る。すなわち、本明細書では、例えば、
図5(A)に示した位置を「基準位置」と呼び、
図5(B)〜(D)に示した位置を「相対位置」と呼んでいる。そして、「基準位置」及び複数の「相対位置」は、上記の「基本単位」の4つの画素(つまり、1つのR画素、2つのG画素、及び1つのB画素)にそれぞれ対応している。このように、イメージセンサ22を光軸直交平面内で1画素ピッチの正方形を描くように駆動しながら時系列に撮影した4枚の画像が、RAW画像データとして、DSP(制御装置)40に入力される。
【0038】
図4の説明に戻り、合成画像生成部40Bは、撮像制御部40Aにおいて画像セットのすべての構成画像が得られた段階で、得られた画像セットを用いて合成画像を生成する。
【0039】
表示制御部40Cは、「表示制御処理」を実行する。この「表示制御処理」として、表示制御部40Cは、例えば、基準位置及び複数の相対位置でそれぞれ撮像された複数の撮像画像を、「相対移動」に応じてLCD(表示部)24にそれぞれ表示させる。「相対移動に応じて表示」とは、例えば、タイミングに関して言えば、第1の位置で撮像した撮像画像を、第1の位置から次の第2の位置への移動タイミング自体及び第2の位置での撮影処理や画像処理の所定タイミングで表示させることを意味する。すなわち、第1の位置で撮像した撮像画像を、第1の位置から次の第2の位置への移動タイミングと所定の関係を有するタイミングにおいて表示できればよいので、「相対移動に応じて表示」は「相対移動と同期して表示」を含む概念である。また、例えば、表示制御部40Cは、画像セットを構成する撮像画像の数、及び、現時点で既に得られている撮像画像の数をユーザが認識可能な態様で、各撮像画像をLCD(表示部)24に表示させる。
【0040】
例えば、第1実施形態では、表示制御部40Cは、LCD(表示部)24の表示画面に対して複数の「部分画面領域」を設定する。また、表示制御部40Cは、この複数の「部分画面領域」と、基準位置及び複数の相対位置とを、それぞれ対応付けておく。すなわち、例えば、LCD(表示部)24の表示画面上の各「部分画面領域」は、上記のカラーフィルタの基本単位における各画素に対応している。そして、表示制御部40Cは、基準位置及び複数の相対位置で得られた複数の撮像画像を、基準位置及び複数の相対位置に対応する複数の部分画面領域にそれぞれ表示させる。
【0041】
また、表示制御部40Cは、「表示制御処理」として、合成画像生成部40Bで画像合成処理が行われている期間において、「画像合成処理中」であることを示す情報をLCD(表示部)24に表示させる。そして、合成画像生成部40Bにおける画像合成処理の終了後には、表示制御部40Cは、「表示制御処理」として、合成画像を表示する。以上の「表示制御処理」については次の動作説明において詳しく説明する。
【0042】
[撮像装置の動作例]
以上の構成を有するデジタルカメラ(撮像装置)10の処理動作の一例について説明する。
図6は、第1実施形態のデジタルカメラの処理動作の説明に供する図である。
図7は、第1実施形態のデジタルカメラの処理動作タイミングの一例を示すタイミングチャートである。
図6及び
図7に示した図には、特に、DSP(制御装置)40による処理動作が示されている。このDSP(制御装置)40による処理動作は、メモリ(図示せず)に記憶されている制御プログラムがDSP(制御装置)40に読み出されることにより実現される。なお、デジタルカメラ10は、マルチショット合成モードによる撮影動作を、シャッタ21を全開した状態で、電子シャッタ動作により行う。
【0043】
ステップS1では、DSP(制御装置)40の撮像制御部40Aは、基準位置(つまり、
図5(A)に示した位置)において、1枚目の撮影を制御する。例えば、
図7に示すように、撮像制御部40Aは、期間P1で撮影準備を制御し、期間P2で露光(撮影)を制御する。この期間P2では、
図7には図示していないが、所定の露光時間が経過したときにイメージセンサ22から画像信号を読み出して、基準位置で得られた撮像画像に対する画像単位(フレーム単位)の現像処理が行われている。なお、ここでは、基準位置における撮影処理(準備処理及び露光処理を含む)が実行されている期間P1,P2では、撮像画像が得られていないので、LCD(表示部)24には何も表示されていない状態、つまり、所謂「ブラックアウト状態」であることを前提としている。また、また、期間P1の撮影準備には、シャッタ全開動作、測光動作、露出値(露光時間、絞り値)設定動作や、AF動作等を含めることができる。
【0044】
基準位置での撮影が終わると、ステップS2では、表示制御部40Cは、基準位置で得られた撮像画像(現像した画像)を、基準位置に対応するLCD(表示部)24の部分画面領域に表示させる。すなわち、LCD(表示部)24には、例えば、
図7に示す表示画像I1が表示される。ステップS3では、撮像制御部40Aは、1番目の相対位置(つまり、
図5(B)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この1番目の相対位置において、2枚目の撮影を制御する。例えば、
図7に示すように、撮像制御部40Aは、期間P3で撮影準備(相対移動を含む)を制御し、期間P4で露光を制御し、1番目の相対位置で得られた撮像画像を現像する。そして、1枚目の露光終了から2枚目の露光期間(期間P3,P4)において、上述したように、基準位置で得られた1枚目の撮像画像が、基準位置に対応するLCD(表示部)24の部分画面領域に表示される。
【0045】
1番目の相対位置での撮影が終わると、ステップS4では、表示制御部40Cは、1番目の相対位置で得られた撮像画像(現像した画像)を、1番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。すなわち、LCD(表示部)24には、例えば、
図7に示す表示画像I2が表示される。ステップS5では、撮像制御部40Aは、2番目の相対位置(つまり、
図5(C)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この2番目の相対位置において、3枚目の撮影を制御する。例えば、
図7に示すように、撮像制御部40Aは、期間P5で撮影準備(相対移動を含む)を制御し、期間P6で露光を制御し、2番目の相対位置で得られた撮像画像を現像する。そして、2枚目の露光終了から3枚目の露光期間(期間P5,P6)において、上述したように、1番目の相対位置で得られた2枚目の撮像画像が、1番目の相対位置に対応するLCD(表示部)24の部分画面領域に表示される。
【0046】
2番目の相対位置での撮影が終わると、ステップS6では、表示制御部40Cは、2番目の相対位置で得られた撮像画像(現像した画像)を、2番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。すなわち、LCD(表示部)24には、例えば、
図7に示す表示画像I3が表示される。ステップS7では、撮像制御部40Aは、3番目の相対位置(つまり、
図5(D)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この3番目の相対位置において、4枚目の撮影を制御する。例えば、
図7に示すように、撮像制御部40Aは、期間P7で撮影準備(相対移動を含む)を制御し、期間P8で露光を制御し、3番目の相対位置で得られた撮像画像を現像する。そして、3枚目の露光終了から4枚目の露光期間(期間P7,P8)において、上述したように、2番目の相対位置で得られた3枚目の撮像画像が、2番目の相対位置に対応するLCD(表示部)24の部分画面領域に表示される。
【0047】
3番目の相対位置での撮影が終わると、ステップS8では、表示制御部40Cは、3番目の相対位置で得られた撮像画像(現像した画像)を、3番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。すなわち、LCD(表示部)24には、例えば、
図7に示す表示画像I4が表示される。ステップS9では、合成画像生成部40Bは、基準位置及び3つの相対位置で得られた4枚の撮像画像を用いて、合成画像を生成する。例えば、
図7に示すように、合成画像生成部40Bは、期間P9で画像合成処理を実行する。また、表示制御部40Cは、
図7に示すように、期間P9の初めの部分である期間P9aでは、基準位置及び3つの相対位置で得られた4枚の撮像画像がそれぞれ対応する部分画面領域に表示された表示画像I4を表示させ、期間P9aの後の期間P9bでは、画像合成処理中であることを示す情報を含む表示画像I5を表示させる。表示画像I5では、画像合成処理の進行具合をユーザが認識可能な態様、例えば、進行具合に応じて棒グラフが長くなる態様で、画像合成処理中であることを示す情報が表示されている。なお、期間P9aの後の期間P9bでも引き続き、期間P9aと同様に表示画像I4が表示されてもよい。
【0048】
画像合成処理が終わると、ステップS10で、表示制御部40Cは、生成された合成画像を、LCD(表示部)24に表示させる。例えば、
図7に示すように、期間P10では、合成画像を含む表示画像I6が、LCD(表示部)24に表示される。
【0049】
ここで、第1実施形態の表示制御部40Cは、撮像制御部40Aによって制御される「相対移動のパターン」と同じパターン(表示パターン)で、基準位置及び3つの相対位置で得られた4枚の撮像画像を順次表示させている。すなわち、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)のうちの一方の移動に応じて、各位置で撮像された静止画像が順次追加表示されて、表示画像が順次変化する。例えば、表示制御部40Cは、
図5で示したように「相対移動のパターン」が時計回りであれば、LCD(表示部)24の表示画面が4分割された4つの部分画面領域に対して、基準位置及び3つの相対位置で得られた4枚の撮像画像を時計回りで順次表示させている。この「表示パターン」は、これに限定されるものではなく、例えば、イメージセンサ22の移動方向にマッチさせて、基準位置及び3つの相対位置で得られた4枚の撮像画像を反時計回りで順次表示させるパターンであってもよい。又は、「表示パターン」は、基準位置及び3つの相対位置で得られた4枚の撮像画像を表示位置の軌跡が「Z」を描くように順次表示させるパターンであってもよい。すなわち、複数画像を縮小表示する際に用いられる表示パターン(例えば、3行3列の分割表示領域がある場合、1行目で左から右に順次表示した後に2行目に移り、2行目で左から右に順次表示した後に3行目に移り、3行目で左から右に順次表示する表示パターン)と同様の表示パターンであってもよい。また、「表示パターン」は、LCD(表示部)24の表示画面が縦又は横に4分割された4つの部分画面領域に対して、基準位置及び3つの相対位置で得られた4枚の撮像画像を、例えば、上(下)から又は右(左)から順番に表示させるパターンであってもよい。
【0050】
以上のように第1実施形態によれば、DSP(制御装置)40において、表示制御部40Cは、基準位置及び複数の相対位置でそれぞれ撮像された複数の撮像画像を、「相対移動」と同期してLCD(表示部)24にそれぞれ表示させる。
【0051】
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理で電子シャッタが用いられる場合であっても、ユーザに、1セットの撮像がいつ開始されいつ終了するのかについて認識させることができる。この結果として、1セットの撮像中にユーザが撮像装置を動かしてしまう可能性が低くなり、1セットの撮像画像ひいては合成画像の画質(品質)を向上させることができる。
【0052】
例えば、表示制御部40Cは、LCD(表示部)24の表示画面に複数の部分画面領域を設定し、基準位置及び複数の相対位置で得られた複数の撮像画像を、基準位置及び複数の相対位置に対応する複数の部分画面領域にそれぞれ表示させる。
【0053】
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理の進行具合をユーザに確実に認識させることができる。
【0054】
また、例えば、表示制御部40Cは、相対移動のパターンに対応する表示パターンで、複数の撮像画像をLCD(表示部)24に表示させる。
【0055】
このDSP(制御装置)40の構成により、マルチショット処理の動きにマッチした態様で、マルチショット合成モードの撮像処理の進行具合をユーザに確実に認識させることができる。すなわち、ユーザは、マルチショット処理において移動部材(イメージセンサと光学要素の少なくとも一方)がどのような軌跡を描いているのかを擬似的に把握することができる。
【0056】
(変形例)
表示制御部40Cは、「画像合成処理中であることを示す情報を含む表示画像」として、複数の部分画面領域にそれぞれ表示された複数の撮像画像がLCD(表示部)24の表示画面の所定領域(例えば、中央領域)に集合して合成集約されるアニメーションを表示させてもよい。
【0057】
≪第2実施形態≫
第2実施形態は、第1実施形態のように撮像中(撮像未完了)の基準位置又は相対位置に対応する部分画面領域をブラックアウト状態にしておくのではなく、撮像中の基準位置又は相対位置に対応する部分画面領域に「撮像中であることを示す情報」を表示する実施形態に関する。なお、第2実施形態のデジタルカメラ(撮像装置)の構成は、第1実施形態のデジタルカメラ(撮像装置)10の構成と同様なので、
図1から
図4を参照して説明する。
【0058】
[撮像装置の構成例]
第2実施形態のデジタルカメラ(撮像装置)10において、表示制御部40Cは、基準位置及び複数の相対位置のうちで現在撮像中の位置に対応する部分画面領域に、「撮像中であることを示す情報」を表示させる。例えば、表示制御部40Cは、基準位置及び複数の相対位置のうちで現在撮像中の位置に対応する部分画面領域に、「カメラマーク」をグレー表示させる。なお、「カメラマーク」の表示色は特にグレーに限定されるものではなく、「カメラマーク」の表示態様は、背景と異なる表示態様であればよい。
【0059】
[撮像装置の動作例]
以上の構成を有する第2実施形態のジタルカメラ(撮像装置)10の処理動作の一例について説明する。
図8は、第2実施形態のデジタルカメラの処理動作の説明に供する図である。
図9は、第2実施形態のデジタルカメラの処理動作タイミングの一例を示すタイミングチャートである。
【0060】
ステップS21では、DSP(制御装置)40の撮像制御部40Aは、基準位置(つまり、
図5(A)に示した位置)において、1枚目の撮影を制御する。さらに、ステップS21では、表示制御部40Cは、基準位置(つまり、
図5(A)に示した位置)に対応する部分画面領域に、「カメラマーク」を表示する。例えば、
図9に示すように、期間P1,P2において、基準位置に対応する部分画面領域に「カメラマーク」が表示された表示画像I21が表示される。
【0061】
基準位置での撮影が終わると、ステップS22では、撮像制御部40Aは、1番目の相対位置(つまり、
図5(B)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この1番目の相対位置において、2枚目の撮影を制御する。さらに、ステップS22では、表示制御部40Cは、基準位置で得られた撮像画像(現像した画像)を、基準位置に対応するLCD(表示部)24の部分画面領域に表示させると共に、現在撮像中の1番目の相対位置に対応する部分画面領域に、「カメラマーク」を表示する。例えば、
図9に示すように、期間P3,P4において、基準位置に対応する部分画面領域に基準位置で得られた撮像画像が表示されると共に、現在撮像中の1番目の相対位置に対応する部分画面領域に「カメラマーク」が表示された表示画像I22が表示される。
【0062】
1番目の相対位置での撮影が終わると、ステップS23では、撮像制御部40Aは、2番目の相対位置(つまり、
図5(C)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この2番目の相対位置において、3枚目の撮影を制御する。さらに、ステップS23では、表示制御部40Cは、1番目の相対位置で得られた撮像画像(現像した画像)を、1番目の相対位置に対応するLCD(表示部)24の部分画面領域に表示させると共に、現在撮像中の2番目の相対位置に対応する部分画面領域に、「カメラマーク」を表示する。例えば、
図9に示すように、期間P5,P6において、1番目の相対位置に対応する部分画面領域に1番目の相対位置で得られた撮像画像が表示されると共に、現在撮像中の2番目の相対位置に対応する部分画面領域に「カメラマーク」が表示された表示画像I23が表示される。
【0063】
2番目の相対位置での撮影が終わると、ステップS24では、撮像制御部40Aは、3番目の相対位置(つまり、
図5(D)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この3番目の相対位置において、4枚目の撮影を制御する。さらに、ステップS24では、表示制御部40Cは、2番目の相対位置で得られた撮像画像(現像した画像)を、2番目の相対位置に対応するLCD(表示部)24の部分画面領域に表示させると共に、現在撮像中の3番目の相対位置に対応する部分画面領域に、「カメラマーク」を表示する。例えば、
図9に示すように、期間P7,P8において、2番目の相対位置に対応する部分画面領域に2番目の相対位置で得られた撮像画像が表示されると共に、現在撮像中の3番目の相対位置に対応する部分画面領域に「カメラマーク」が表示された表示画像I24が表示される。
【0064】
3番目の相対位置での撮影が終わると、ステップS25では、合成画像生成部40Bは、基準位置及び3つの相対位置で得られた4枚の撮像画像を用いて、合成画像を生成する。さらに、ステップS25では、表示制御部40Cは、3番目の相対位置で得られた撮像画像(現像した画像)を、3番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。例えば、期間P9aにおいて、基準位置及び3つの相対位置で得られた4枚の撮像画像がそれぞれ対応する部分画面領域に表示された表示画像I25が表示される。
【0065】
ステップS26では、表示制御部40Cは、画像合成処理中であることを示す情報を、LCD(表示部)24に表示させる。例えば、
図9に示すように、期間P9bにおいて、画像合成処理中であることを示す情報を含む表示画像I26が表示される。
【0066】
画像合成処理が終わると、ステップS27で、表示制御部40Cは、生成された合成画像を、LCD(表示部)24に表示させる。例えば、
図9に示すように、期間P10では、合成画像を含む表示画像I27が、LCD(表示部)24に表示される。
【0067】
以上のように第2実施形態によれば、DSP(制御装置)40において、表示制御部40Cは、基準位置及び複数の相対位置のうちで現在撮像中の位置に対応する部分画面領域に、「撮像中であることを示す情報」を表示させる。
【0068】
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理で電子シャッタが用いられる場合であっても、ユーザに、1セットのうちの何番目の画像を撮影中であるのかについて確実に認識させることができる。
【0069】
≪第3実施形態≫
第3実施形態は、基準位置及び前記複数の相対位置で得られた複数の撮像画像を表示する表示方法のバリエーションに関する。なお、第3実施形態のデジタルカメラ(撮像装置)の構成は、第1実施形態のデジタルカメラ(撮像装置)10の構成と同様なので、
図1から
図4を参照して説明する。
【0070】
[撮像装置の構成例]
第3実施形態のデジタルカメラ(撮像装置)10において、表示制御部40Cは、基準位置及び複数の相対位置で得られた複数の撮像画像を、一部重なるように一方向に表示位置をずらしながらLCD(表示部)24の表示画面に表示させる。
【0071】
例えば、表示制御部40Cは、基準位置及び複数の相対位置にそれぞれ対応する複数の部分画面領域を、一方向にずらして一部重なるように、LCD(表示部)24の表示画面に設定する。そして、基準位置及び複数の相対位置で得られた複数の撮像画像を、基準位置及び複数の相対位置に対応する複数の部分画面領域に順次表示する。表示制御部40Cは、第2実施形態と同様に、基準位置及び複数の相対位置のうちで現在撮像中の位置に対応する部分画面領域に、「撮像中であることを示す情報」を表示させてもよい。
【0072】
また、表示制御部40Cは、画像セットを構成する撮像画像の数、及び、現時点で既に得られている撮像画像の数を、各撮像画像と共にLCD(表示部)24の表示画面に表示させる。
【0073】
[撮像装置の動作例]
以上の構成を有する第2実施形態のジタルカメラ(撮像装置)10の処理動作の一例について説明する。
図10は、第3実施形態のデジタルカメラの処理動作の説明に供する図である。
【0074】
ステップS41では、撮像制御部40Aは、基準位置(つまり、
図5(A)に示した位置)において、1枚目の撮影を制御する。
【0075】
基準位置での撮影が終わると、ステップS42では、表示制御部40Cは、基準位置で得られた撮像画像(現像した画像)を、基準位置に対応するLCD(表示部)24の部分画面領域に表示させる。このときに表示される画像が、表示画像I41である。表示画像I41には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「1」であることを示す、「1/4」が示されている。ステップS43では、撮像制御部40Aは、1番目の相対位置(つまり、
図5(B)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この1番目の相対位置において、2枚目の撮影を制御する。
【0076】
1番目の相対位置での撮影が終わると、ステップS44では、表示制御部40Cは、1番目の相対位置で得られた撮像画像(現像した画像)を、1番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。上記の通り、基準位置及び複数の相対位置にそれぞれ対応する複数の部分画面領域は、一方向にずれながら一部重なるように、LCD(表示部)24の表示画面に設定されている。このため、
図10の表示画像I42に示すように、基準位置で得られた撮像画像の一部の領域を除いて、1番目の相対位置で得られた撮像画像が、基準位置で得られた撮像画像の上に重畳表示される。表示画像I42には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「2」であることを示す、「2/4」が示されている。ステップS45では、撮像制御部40Aは、2番目の相対位置(つまり、
図5(C)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この2番目の相対位置において、3枚目の撮影を制御する。
【0077】
2番目の相対位置での撮影が終わると、ステップS46では、表示制御部40Cは、2番目の相対位置で得られた撮像画像(現像した画像)を、2番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。
図10の表示画像I43に示すように、1番目の相対位置で得られた撮像画像の一部の領域を除いて、2番目の相対位置で得られた撮像画像が、1番目の相対位置で得られた撮像画像の上に重畳表示される。表示画像I43には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「3」であることを示す、「3/4」が示されている。ステップS47では、撮像制御部40Aは、3番目の相対位置(つまり、
図5(D)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させると共に、この3番目の相対位置において、4枚目の撮影を制御する。
【0078】
3番目の相対位置での撮影が終わると、ステップS8では、表示制御部40Cは、3番目の相対位置で得られた撮像画像(現像した画像)を、3番目の相対位置に対応するLCD(表示部)24の部分画面領域にさらに表示させる。
図10の表示画像I44に示すように、2番目の相対位置で得られた撮像画像の一部の領域を除いて、3番目の相対位置で得られた撮像画像が、2番目の相対位置で得られた撮像画像の上に重畳表示される。表示画像I44には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「4」であることを示す、「4/4」が示されている。ステップS49では、合成画像生成部40Bは、基準位置及び3つの相対位置で得られた4枚の撮像画像を用いて、合成画像を生成する。このとき、表示制御部40Cは、画像合成処理中であることを示す情報を含む表示画像I45を、LCD(表示部)24に表示させる。
【0079】
画像合成処理が終わると、ステップS50で、表示制御部40Cは、生成された合成画像を、LCD(表示部)24に表示させる。例えば、
図10に示すように、合成画像を含む表示画像I46が、LCD(表示部)24に表示される。
【0080】
以上のように第3実施形態によれば、DSP(制御装置)40において、表示制御部40Cは、基準位置及び複数の相対位置で得られた複数の撮像画像を一部重なるように一方向に表示位置をずらしながらLCD(表示部)24に表示させる。
【0081】
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理の進行具合をユーザに確実に認識させることができる。
【0082】
≪第4実施形態≫
第4実施形態は、基準位置及び前記複数の相対位置で得られた複数の撮像画像を表示する表示方法のバリエーションに関する。なお、第4実施形態のデジタルカメラ(撮像装置)の構成は、第1実施形態のデジタルカメラ(撮像装置)10の構成と同様なので、
図1から
図4を参照して説明する。
【0083】
[撮像装置の構成例]
第4実施形態のデジタルカメラ(撮像装置)10において、表示制御部40Cは、基準位置及び前記複数の相対位置で得られた複数の撮像画像に「半透明化処理」をそれぞれ施し、得られた複数の半透明画像をLCD(表示部)24に重畳表示させる。「半透明化処理」とは、撮像画像の透過率を調整して半透明画像を生成する処理である。ここでは、4枚の半透明画像を重畳表示させることを前提としているので、表示制御部40Cは、一例として、4枚の半透明画像を重畳表示したときに透過率の総和が100%となるように、各半透明画像の透過率を25%(=1/4[%])としてもよい。また、表示制御部40Cは、基本位置における撮像処理中に、「撮像中であることを示す情報」をLCD(表示部)24に表示させてもよい。
【0084】
例えば、表示制御部40Cは、得られた複数の半透明画像を、表示位置をずらしながらLCD(表示部)24に重畳表示させる。表示位置のずれ量は、特に限定されるものではないが、例えば、上記の「相対移動のパターン」に応じた量であってもよい。すなわち、上記の「相対移動のパターン」が1画素ピッチで相対移動するパターンである場合、表示位置のズレ量を「1画素ピッチ」としてもよい。又は、表示位置のズレ量を「1画素ピッチ」より大きくしてもよい。
【0085】
また、表示制御部40Cは、画像セットを構成する撮像画像の数、及び、現時点で既に得られている撮像画像の数を、各撮像画像と共にLCD(表示部)24の表示画面に表示させる。
【0086】
[撮像装置の動作例]
以上の構成を有する第4実施形態のジタルカメラ(撮像装置)10の処理動作の一例について説明する。
図11は、第4実施形態のデジタルカメラの処理動作の説明に供する図である。
【0087】
期間P1では、DSP(制御装置)40の撮像制御部40Aは、撮影準備を制御する。期間P2では、撮像制御部40Aは、基準位置(つまり、
図5(A)に示した位置)において、1枚目の撮影を制御する。
【0088】
期間P3では、撮像制御部40Aは、1番目の相対位置(つまり、
図5(B)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させる。期間P4では、撮像制御部40Aは、1番目の相対位置において、2枚目の撮影を制御する。また、期間P3,P4では、表示制御部40Cは、基準位置に対応する半透明画像をLCD(表示部)24に表示させる。このとき表示される画像が、表示画像I61(透過画像(1))である。表示画像I61には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「1」であることを示す、「1/4」が示されている。
【0089】
期間P5では、撮像制御部40Aは、2番目の相対位置(つまり、
図5(C)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させる。期間P6では、撮像制御部40Aは、2番目の相対位置において、3枚目の撮影を制御する。また、期間P5,P6では、表示制御部40Cは、1番目の相対位置に対応する半透明画像をLCD(表示部)24に重畳表示させる。このとき表示される画像が、表示画像I62(透過画像(1+2))である。表示画像I62には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「2」であることを示す、「2/4」が示されている。
【0090】
期間P7では、撮像制御部40Aは、3番目の相対位置(つまり、
図5(D)に示した位置)に、イメージセンサ22及び上記の光学要素(例えば、撮影レンズ群31)を相対移動させる。期間P8では、撮像制御部40Aは、3番目の相対位置において、4枚目の撮影を制御する。また、期間P7,P8では、表示制御部40Cは、2番目の相対位置に対応する半透明画像をLCD(表示部)24にさらに重畳表示させる。このとき表示される画像が、表示画像I63(透過画像(1+2+3))である。表示画像I63には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「3」であることを示す、「3/4」が示されている。
【0091】
期間P9では、合成画像生成部40Bは、画像合成処理を実行する。また、期間9aでは、表示制御部40Cは、3番目の相対位置に対応する半透明画像をLCD(表示部)24にさらに重畳表示させる。このとき表示される画像が、表示画像I64(透過画像(1+2+3+4))である。期間9bでは、表示制御部40Cは、画像合成処理中であることを示す情報を、LCD(表示部)24に表示させる。このとき表示される画像が、表示画像I65である。表示画像I64には、画像セットを構成する撮像画像の数が「4」で、現時点で既に得られている撮像画像の数が「4」であることを示す、「4/4」が示されている。
【0092】
期間P10では、表示制御部40Cは、生成された合成画像を、LCD(表示部)24に表示させる。このとき表示される画像が、表示画像I66である。
【0093】
以上のように第4実施形態によれば、DSP(制御装置)40において、表示制御部40Cは、基準位置及び複数の相対位置で得られた複数の撮像画像に半透明化処理をそれぞれ施して得られた複数の半透明画像を、LCD(表示部)24に重畳表示させる。
【0094】
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理の進行具合をユーザに確実に認識させることができる。
【0095】
表示位置のずれ量は、例えば、上記の「相対移動のパターン」に応じた量である。
【0096】
このDSP(制御装置)40の構成により、マルチショット処理の動きにマッチした態様で、マルチショット合成モードの撮像処理の進行具合をユーザに確実に認識させることができる。
【0097】
また、表示位置のズレ量は、例えば、上記の「相対移動のパターン」の相対移動ピッチよりも大きい。
【0098】
このDSP(制御装置)40の構成により、マルチショット合成モードの撮像処理の進行具合をユーザにさらに認識させ易くすることができる。
【0099】
≪他の実施形態≫
[1]第1実施形態乃至第4実施形態では、RRS撮影モードにおいて、イメージセンサ22を光軸直交平面内で1画素ピッチの正方形を描くように駆動しながら撮影した4枚の画像を「複数の撮像画像から成る画像セット」とした場合を例示して説明した。しかし、イメージセンサ22の駆動軌跡及び駆動ピッチ並びに「複数の撮像画像から成る画像セット」の枚数や表示態様には自由度があり、種々の設計変更が可能である。例えば、第1実施形態乃至第4実施形態で説明した様に、画像セットの構成画像の枚数分の分割表示が行われてもよいし、画像セットの構成画像を順番に繰り返し表示させてもよい。またイメージセンサ22を駆動する方向は、撮影光学系の光軸と直交する平面内に限定されず、撮影光学系の光軸と異なる方向であればよい。さらに「複数の撮像画像から成る画像セット」は、RRS撮影モードで撮影(取得)したものに限定されず、同一の被写体について撮影条件を変えながら連続的に撮影したものであればよい。
【0100】
[2]第1実施形態乃至第4実施形態では、イメージセンサ22を「移動部材」として、このイメージセンサ22を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群(撮影光学系)31の少なくとも一部をなす光学要素を「移動部材」として、この光学要素を撮影レンズ30内に設けたボイスコイルモータによって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ22と撮影レンズ群(撮影光学系)31の少なくとも一部をなす光学要素の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。
【0101】
[3]第1実施形態乃至第4実施形態では、画像セットの各撮像画像を、相対移動に応じてLCD(表示部)24に表示させることを前提に説明を行ったが、これに限定されるものではない。例えば、撮像画像をLCD(表示部)24に表示させる代わりに、現時点で既に得られている撮像画像の数を示す情報、画像セットを構成する撮像画像の数及び現時点で既に得られている撮像画像の数の両方を示す情報、又は、現在撮像中の位置(基準位置及び複数の相対位置)の順番を示す情報が相対移動に応じて表示されてもよい。すなわち、マルチショット合成モードの撮像処理の進行具合をユーザが認識可能な情報(指標)を表示させてもよい。このような表示方法は、例えば、上記の期間P1乃至P9aのすべてにおいて固定的に実行されてもよいし、又は、相対移動のスピードに画像処理が追従できておらず撮像画像を表示したくてもできないタイミング(例えば、期間P3、及び期間P4の最初の部分)においてのみ実行されてもよい。後者の場合、画像処理が終了した時点で撮像画像が表示されることとなる。このような表示方法によっても、マルチショット合成モードの撮像処理で電子シャッタが用いられる場合であっても、ユーザに、1セットの撮像がいつ開始されいつ終了するのかについて認識させることができる。この結果として、1セットの撮像中にユーザが撮像装置を動かしてしまう可能性が低くなり、1セットの撮像画像ひいては合成画像の画質(品質)を向上させることができる。
【0102】
[4]第1実施形態乃至第4実施形態では、DSP40とイメージセンサ駆動回路60を別々の構成要素(ブロック)として描いているが、これらを単一の構成要素(ブロック)として実現する態様も可能である。
【0103】
[5]第1実施形態乃至第4実施形態では、像振れ補正装置50の構成として、固定支持基板51に磁石M1、M2、M3及びヨークY1、Y2、Y3を固定し、可動ステージ52に駆動用コイルC1、C2、C3を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。
【0104】
[6]第1実施形態乃至第4実施形態では、ボディ本体20と撮影レンズ30を着脱可能(レンズ交換可能)とする態様を例示して説明したが、ボディ本体20と撮影レンズ30を着脱不能(レンズ交換不能)とする態様も可能である。
【0105】
[7]第1実施形態乃至第4実施形態では、デジタルカメラ10が所謂ミラーレスカメラであることを前提として説明を行ったが、これに限定されるものではなく、所謂可動ミラーを有する一眼レフカメラであってもよい。第1実施形態乃至第4実施形態で開示の技術を一眼レフカメラに適用した場合、基準位置における撮影準備のとき又はその前に、可動ミラーを観察位置から撮影位置にアップさせ、シャッタを全開させて、この状態で基準位置において1枚、その後異なる相対位置において3枚撮影する。全ての撮影が終了したとき又はその後に、シャッタを全閉させて、可動ミラーを観察位置にダウンさせる。この態様によれば、撮影開始はミラーアップオン又はシャッタ動作オンにより認識し、その後撮影中であることは第1乃至第4実施形態と同様のLCD(表示部)24の表示態様によって認識することができる。