(58)【調査した分野】(Int.Cl.,DB名)
撮影光学系により形成された被写体像を電気的な画素信号に変換することで被写体の動画像を撮像するイメージセンサと、前記撮影光学系を含む被写体像を結像させる光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に駆動することにより、被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動機構と、を有する動画撮像装置において、
前記駆動機構を介して前記移動部材を駆動するための駆動信号を生成する駆動信号生成ステップと、
被写体の動画像を撮像する際のフレームレートを設定するフレームレート設定ステップと、
前記動画撮像装置が略静止した静止状態にあるか否かを判定する静止判定ステップと、
前記動画撮像装置が静止状態にあると前記静止判定ステップで判定したとき、前記フレームレート設定ステップで設定したフレームレートにおけるフレーム若しくはフィールドの開始タイミング又は前記イメージセンサの画素の露光開始タイミングと略同期するように、前記駆動信号生成ステップで生成する駆動信号を制御するとともに、前記動画撮像装置が静止状態にないと前記静止判定ステップで判定したとき、前記動画撮像装置が静止状態にあると前記静止判定ステップで判定したときと比較して、前記駆動信号生成ステップで生成する駆動信号の駆動周波数または駆動半径を小さくする駆動信号制御ステップと、
を有することを特徴とする動画撮像方法。
撮影光学系により形成された被写体像を電気的な画素信号に変換することで被写体の動画像を撮像するイメージセンサと、前記撮影光学系を含む被写体像を結像させる光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に駆動することにより、被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動機構と、を有する動画撮像装置において、
前記駆動機構を介して前記移動部材を駆動するための駆動信号を生成する駆動信号生成ステップと、
被写体の動画像を撮像する際のフレームレートを設定するフレームレート設定ステップと、
前記フレームレート設定ステップで設定したフレームレートにおけるフレーム若しくはフィールドの開始タイミング又は前記イメージセンサの画素の露光開始タイミングと略同期するように、前記駆動信号生成ステップで生成する駆動信号を制御する駆動信号制御ステップと、
被写体の動画像にモアレが発生しているか否かを判定するモアレ判定ステップと、
被写体の動画像にモアレが発生していると前記モアレ判定ステップで判定したとき、前記駆動信号生成ステップで生成する駆動信号の駆動周波数または駆動半径を変化させながら、定期的に、被写体の動画像にモアレが発生しているか否かを再判定するモアレ再判定ステップと、
を有することを特徴とする動画撮像方法。
撮影光学系により形成された被写体像を電気的な画素信号に変換することで被写体の動画像を撮像するイメージセンサと、前記撮影光学系を含む被写体像を結像させる光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に駆動することにより、被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動機構と、を有する動画撮像装置において、
前記駆動機構を介して前記移動部材を駆動するための駆動信号を生成する駆動信号生成ステップと、
被写体の動画像を撮像する際のフレームレートを設定するフレームレート設定ステップと、
前記フレームレート設定ステップで設定したフレームレートにおけるフレーム若しくはフィールドの開始タイミング又は前記イメージセンサの画素の露光開始タイミングと略同期するように、前記駆動信号生成ステップで生成する駆動信号を制御する駆動信号制御ステップと、
被写体の動画像にモアレが発生しているか否かを判定するモアレ判定ステップと、
被写体の動画像にモアレが発生していると前記モアレ判定ステップで判定したとき、前記駆動機構による前記移動部材の駆動範囲と光学的なローパスフィルタ効果を大きくしていき、その後、前記駆動機構による前記移動部材の駆動範囲と光学的なローパスフィルタ効果を小さくしていき、被写体の動画像にモアレが発生しているか否かを再判定するモアレ再判定ステップと、
を有することを特徴とする動画撮像方法。
撮影光学系により形成された被写体像を電気的な画素信号に変換することで被写体の動画像を撮像するイメージセンサと、前記撮影光学系を含む被写体像を結像させる光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に駆動することにより、被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動機構と、を有する動画撮像装置において、
前記駆動機構を介して前記移動部材を駆動するための駆動信号を生成する駆動信号生成ステップと、
被写体の動画像を撮像する際のフレームレートを設定するフレームレート設定ステップと、
前記フレームレート設定ステップで設定したフレームレートにおけるフレーム若しくはフィールドの開始タイミング又は前記イメージセンサの画素の露光開始タイミングと略同期するように、前記駆動信号生成ステップで生成する駆動信号を制御する駆動信号制御ステップと、
を有し、
前記フレームレート設定ステップでは、前記移動部材を駆動して光学的なローパスフィルタ効果を得ながら動画撮像を行う場合のフレームレートを、前記移動部材を駆動せず光学的なローパスフィルタ効果を得ないで動画撮像を行う場合のフレームレートよりも小さく設定する、
ことを特徴とする動画撮像方法。
【発明を実施するための形態】
【0025】
図1ないし
図10を参照して、本発明によるデジタルカメラ(動画撮像装置)10について説明する。
【0026】
本明細書で「被写体の動画像を撮像する(動画撮像)」とは、被写体の動画像をメモリ等の記憶手段(画像メモリ25)に記憶する「動画撮影」及び被写体の動画像をモニタ等の表示手段(LCD24)にリアルタイムで表示する「スルー画撮影(ライブビュー撮影)」の双方を含む概念で使用する。
【0027】
図1に示すように、デジタルカメラ10は、ボディ本体20と、このボディ本体20に着脱可能(レンズ交換可能)な撮影レンズ30とを備えている。撮影レンズ30は、被写体側(
図1中の左側)から像面側(
図1中の右側)に向かって順に、撮影レンズ群(撮影光学系、移動部材、振れ補正部材)31と、絞り(撮影光学系)32とを備えている。ボディ本体20は、被写体側(
図1中の左側)から像面側(
図1中の右側)に向かって順に、シャッタ(撮影光学系)21と、イメージセンサ(移動部材、振れ補正部材)22とを備えている。またボディ本体20は、撮影レンズ30への装着状態で絞り32とシャッタ21を駆動制御する絞り/シャッタ駆動回路23を備えている。撮影レンズ群31から入射し、絞り32とシャッタ21を通った被写体光束による被写体像が、イメージセンサ22の受光面上に形成される。イメージセンサ22の受光面上に形成された被写体像は、マトリックス状に配置された多数の画素によって、電気的な画素信号に変換され、動画像データとしてDSP40に出力される。DSP40は、イメージセンサ22から入力した動画像データに所定の画像処理を施して、これをLCD24に表示し(スルー画撮影(ライブビュー撮影))、画像メモリ25に記憶する(動画撮影)。なお、
図1では、撮影レンズ群31が単レンズからなるように描いているが、実際の撮影レンズ群31は、例えば、固定レンズ、変倍時に移動する変倍レンズ、フォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズからなる。
【0028】
図示は省略しているが、イメージセンサ22は、パッケージと、このパッケージに収納される固体撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ(移動部材)22を駆動する」とは、「イメージセンサ(移動部材)22の複数の構成要素のうち被写体光束が通過する少なくとも一部を駆動する」ことを意味する。
【0029】
撮影レンズ30は、撮影レンズ群31の解像力(MTF)情報や絞り32の開口径(絞り値)情報などの各種情報を記憶した通信用メモリ33を搭載している。撮影レンズ30をボディ本体20に装着した状態では、通信用メモリ33が記憶した各種情報がDSP40に読み込まれる。
【0030】
ボディ本体20は、DSP40に接続させて、撮影操作スイッチ26とローパスフィルタ操作スイッチ27を備えている。撮影操作スイッチ26は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。ローパスフィルタ操作スイッチ27は、イメージセンサ22を、撮影光学系の光軸Zと異なる方向、本実施形態では撮影光学系の光軸Zと直交する平面内(以下、光軸直交平面内と呼ぶことがある)で駆動するローパスフィルタ動作のオンオフの切替え、ローパスフィルタ動作に関する各種設定などを行うためのスイッチである。イメージセンサ22のローパスフィルタ動作については後に詳細に説明する。
【0031】
ボディ本体20は、DSP40に接続させて、ジャイロセンサ(振れ検出部)28を備えている。ジャイロセンサ28は、ボディ本体20に加わる移動角速度(X軸とY軸周り)を検出することで、該ボディ本体20の光軸直交平面内の振れを示す振れ検出信号を検出する。
【0032】
図1ないし
図3に示すように、イメージセンサ22は、撮影光学系の光軸Zと直交するX軸方向とY軸方向(直交二方向)に移動可能に像振れ補正装置(駆動機構)50に搭載されている。像振れ補正装置50は、ボディ本体20のシャーシなどの構造物に固定される固定支持基板51と、イメージセンサ22を固定した、固定支持基板51に対してスライド可能な可動ステージ52と、固定支持基板51の可動ステージ52との対向面に固定した磁石M1、M2、M3と、固定支持基板51に可動ステージ52を挟んで各磁石M1、M2、M3と対向させて固定した、各磁石M1、M2、M3との間に磁気回路を構成する磁性体からなるヨークY1、Y2、Y3と、可動ステージ52に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルC1、C2、C3を有し、駆動用コイルC1、C2、C3に交流駆動信号(交流電圧)を流す(印加する)ことにより、固定支持基板51に対して可動ステージ52(イメージセンサ22)が光軸直交平面内で駆動するようになっている。駆動用コイルC1、C2、C3に流す交流駆動信号は、DSP40による制御の下、後述するイメージセンサ駆動回路(駆動信号生成部)60によって生成される。イメージセンサ駆動回路60の構成及び該イメージセンサ駆動回路60が生成する交流駆動信号については後に詳細に説明する。
【0033】
本実施形態では、磁石M1、ヨークY1及び駆動用コイルC1からなる磁気駆動手段と、磁石M2、ヨークY2及び駆動用コイルC2からなる磁気駆動手段(2組の磁気駆動手段)とがイメージセンサ22の長手方向(水平方向、X軸方向)に所定間隔で配置され、磁石M3、ヨークY3及び駆動用コイルC3からなる磁気駆動手段(1組の磁気駆動手段)がイメージセンサ22の長手方向と直交する短手方向(鉛直(垂直)方向、Y軸方向)に配置されている。
【0034】
さらに固定支持基板51には、各駆動用コイルC1、C2、C3の近傍(中央空間部)に、磁石M1、M2、M3の磁力を検出して可動ステージ52(イメージセンサ22)の光軸直交平面内の位置を示す位置検出信号を検出するホールセンサH1、H2、H3が配置されている。ホールセンサH1、H2により可動ステージ52(イメージセンサ22)のY軸方向位置及び傾き(回転)が検出され、ホールセンサH3により可動ステージ52(イメージセンサ22)のX軸方向位置が検出される。DSP40は、後述するイメージセンサ駆動回路60を介して、ジャイロセンサ28が検出したボディ本体20の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサH1、H2、H3が検出したイメージセンサ22の光軸直交平面内の位置を示す位置検出信号とに基づいて、像振れ補正装置50によってイメージセンサ22を光軸直交平面内で駆動する。これにより、イメージセンサ22上への被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。本実施形態ではこの動作を「イメージセンサ22の像振れ補正動作(像振れ補正駆動)」と呼ぶ。
【0035】
本実施形態の像振れ補正装置50は、撮影光学系の光軸Zと直交する平面内において所定軌跡を描くようにイメージセンサ22を駆動して、被写体光束をイメージセンサ22の検出色の異なる複数の画素に入射させることにより、光学的なローパスフィルタ効果(以下、LPF効果と呼ぶことがある)を与える。本実施形態ではこの動作を「イメージセンサ22のローパスフィルタ動作(LPF動作、LPF駆動)」と呼ぶ。
【0036】
本実施形態の像振れ補正装置50は、イメージセンサ22をその像振れ補正動作範囲(像振れ補正駆動範囲)の中央位置で保持する「イメージセンサ22の中央保持動作(中央保持駆動)」を実行する。例えば、「イメージセンサ22の像振れ補正動作(像振れ補正駆動)」と「イメージセンサ22のLPF動作(LPF駆動)」がともにオフの場合には、「イメージセンサ22の中央保持動作(中央保持駆動)」のみをオンにして撮影が行われる(像振れ補正を行わなくても中央保持は行う)。
【0037】
「イメージセンサ22の像振れ補正動作(像振れ補正駆動)」、「イメージセンサ22のLPF動作(LPF駆動)」及び「イメージセンサ22の中央保持動作(中央保持駆動)」は、これらの合成動作(合成駆動)として像振れ補正装置50によって実現される態様、あるいは、これらのいずれか1つの動作(駆動)のみが単独で像振れ補正装置50によって実現される態様が可能である。
【0038】
図4(A)、(B)を参照して、像振れ補正装置50が、所定軌跡を描くようにイメージセンサ22を駆動して、該イメージセンサ22によってLPF効果を与えるLPF動作について説明する。同図において、イメージセンサ22は、受光面にマトリックス状に所定の画素ピッチPで配置された多数の画素22aを備え、各画素22aの前面にベイヤ配列のカラーフィルタR、G、Bのいずれかが配置されている。各画素22aは、前面のいずれかのカラーフィルタR、G、Bを透過して入射した被写体光線の色を検出、つまり、色成分(色帯域)の光を光電変換し、その強さ(輝度)に応じた電荷を蓄積する。
【0039】
図4(A)は、イメージセンサ22を、撮影光学系の光軸Zを中心とする回転対称な正方形軌跡を描くように駆動する場合を示している。この正方形軌跡は、例えば、イメージセンサ22の画素ピッチPを一辺とした正方形の閉じた経路とすることができる。
図4(A)では、イメージセンサ22を、画素22aの互いに直交する並び方向の一方(鉛直方向)と平行なY軸方向、他方(水平方向)と平行なX軸方向に1画素ピッチP単位で交互にかつ正方形経路となるように移動させている。
【0040】
図4(B)は、イメージセンサ22を、撮影光学系の光軸Zを中心とする回転対称な円形軌跡を描くように駆動する場合を示している。この円形軌跡は、イメージセンサ22の画素ピッチPの2
1/2/2倍を半径rとする円形の閉じた経路とすることができる。
【0041】
図4(A)、(B)のように、露光中にイメージセンサ22を正方形または円形の所定軌跡を描くように駆動すると、各カラーフィルタR、G、B(画素22a)の中央に入射した被写体光線(光束)が、4個のカラーフィルタR、G、B、Gに均等に入射するので、光学的なローパスフィルタと同等の効果が得られる。つまり、どのカラーフィルタR、G、B、G(画素22a)に入射した光線も、必ずその周辺のカラーフィルタR、G、B、G(画素22a)に入射するので、恰も光学的なローパスフィルタを光線が通過したのと同等の効果(LPF効果)が得られる。
【0042】
さらに、イメージセンサ22の駆動範囲を段階的に切り替える(正方形軌跡の場合は一辺の長さを異ならせ、円形軌跡の場合は半径rを異ならせる)ことで、イメージセンサ22によるLPF効果の強弱を段階的に切り替えることができる。つまり、正方形軌跡の一辺または円形軌跡の半径rを長くする(被写体光線が入射するイメージセンサ22の検出色の異なる画素22a(カラーフィルタR、G、B、G)に入射する画素22aの範囲を拡大する)ことでLPF効果が強くなり、一方、正方形軌跡の一辺または円形軌跡の半径rを短くする(被写体光線が入射するイメージセンサ22の検出色の異なる画素22a(カラーフィルタR、G、B、G)に入射する画素22aの範囲を縮小する)ことでLPF効果が弱くなる。表1に示すように、本実施形態では、イメージセンサ22の駆動範囲ならびにLPF効果を「OFF」、「小」、「中」、「大」の4段階で切り替えることができる。イメージセンサ22の駆動範囲ならびにLPF効果が「OFF」とは、イメージセンサ22を駆動することなく、従ってLPF効果が得られない状態を意味する。
【表1】
【0043】
イメージセンサ22の駆動範囲ならびにLPF効果の切り替えは、例えば、ローパスフィルタ操作スイッチ27の手動操作により行う態様、あるいはDSP40が種々の撮影条件パラメータに基づいて自動で行う態様が可能であり、その態様には自由度がある。
【0044】
ここで、
図4(A)、(B)は、複数の画素22aの全てから画素信号を読み出す「全画素読出方式」を採用した場合のイメージセンサ22の駆動軌跡を示している。これに対し、イメージセンサ22の画素読出方式は、「全画素読出方式」の他にも、例えば、複数の画素22aのうち垂直方向の走査読出ラインを2/3だけ間引きながら同垂直方向の走査読出ラインの1/3を使用して画素信号を読み出す「1/3垂直間引き読出方式」、複数の画素22aのうち垂直方向の走査読出ラインを4/5だけ間引きながら同垂直方向の走査読出ラインの1/5を使用して画素信号を読み出す「1/5垂直間引き読出方式」、及び、複数の画素22aのうち垂直方向の走査読出ラインを6/7だけ間引きながら同垂直方向の走査読出ラインの1/7を使用して画素信号を読み出す「1/7垂直間引き読出方式」を採用することができる。
【0045】
図5(A)、(B)は、それぞれ、イメージセンサ22の画素読出方式として「全画素読出方式」、「1/3垂直間引き読出方式」を採用した場合のイメージセンサ22の駆動軌跡の一例を示している。
図5(A)では、イメージセンサ22の駆動軌跡が、X方向(水平方向)とY方向(垂直方向)の駆動量が同一の円形軌跡となっている。
図5(B)では、イメージセンサ22の駆動軌跡が、Y方向(垂直方向)の駆動量がX方向(水平方向)の駆動量の3倍の楕円軌跡となっている。
【0046】
図1、
図2、
図6に示すように、デジタルカメラ10は、駆動用コイルC1、C2、C3に交流駆動信号を流すことで、像振れ補正装置50を介してイメージセンサ22を光軸直交平面内で駆動するイメージセンサ駆動回路(駆動信号生成部)60を有している。このイメージセンサ駆動回路60の動作全般はDSP40によって制御される。
【0047】
図6に示すように、イメージセンサ駆動回路60は、加算部61と、ゲイン部62と、微小振動用信号生成部63と、LPFスイッチ64と、重畳合成部65と、コントローラ66とを有している。
加算部61は、ジャイロセンサ28が検出したボディ本体20の光軸直交平面内の振れを示す振れ検出信号に加算処理を施す。
ゲイン部62は、加算部61が加算処理を施した振れ検出信号を増幅する。ゲイン部62は、撮影レンズ30とのレンズ通信で取得した該撮影レンズ30の焦点距離情報に応じて、加算部61が加算処理を施した振れ検出信号を増幅する。つまり、撮影レンズ30の焦点距離情報は、ゲイン部62が振れ検出信号を増幅するためのゲインに含まれる。
微小振動用信号生成部63は、イメージセンサ22を光軸直交平面内で微小振動させてLPF効果を得るための微小振動用信号を生成する。
LPFスイッチ64は、微小振動用信号生成部63が生成した微小振動用信号の通過と遮断を切り替えることにより、イメージセンサ22を光軸直交平面内で微小振動させてLPF効果を得るか否かを切り替えるためのスイッチである。
重畳合成部65は、微小振動用信号生成部63が生成した微小振動用信号と、加算部61が加算処理を施してゲイン部62が増幅した振れ検出信号とを重畳合成することにより、像振れ補正装置50を介してイメージセンサ22を光軸直交平面内で駆動するための駆動信号を生成する。
コントローラ66は、重畳合成部65が生成した駆動信号を駆動用コイルC1、C2、C3に流すことで、イメージセンサ22を光軸直交平面内で駆動して、イメージセンサ22に像振れ補正動作とLPF動作を実行させる。コントローラ66によるコントロールの方式としては例えばPID制御などが考えられる。PID制御からはPWM制御で駆動用コイルC1、C2、C3を駆動するためのデューティ比が出力される。
【0048】
続いて、イメージセンサ駆動回路60の動作を制御するためのDSP40の構成について説明する。
図1に示すように、DSP40は、フレームレート設定部41と、静止判定部42と、モアレ判定部43と、モアレ通知部44と、駆動信号制御部45と、動画撮像設定変更部46とを有している。
【0049】
フレームレート設定部41は、被写体の動画像を撮像する際のフレームレートを設定する。フレームレート設定部41が設定するフレームレートは、例えば、プログレッシブ走査の場合は、24[Hz(fps)]、25[Hz(fps)]及び30[Hz(fps)]のいずれかを選択することができ、インターレース走査の場合は、50[Hz(fps)]及び60[Hz(fps)]のいずれかを選択することができる。
【0050】
フレームレート設定部41は、イメージセンサ22を光軸直交平面内で駆動して光学的なローパスフィルタ効果を得ながら動画撮像を行う場合のフレームレートを、イメージセンサ22を光軸直交平面内で駆動せず光学的なローパスフィルタ効果を得ないで動画撮像を行う場合のフレームレートよりも小さく設定する。これにより、イメージセンサ22の駆動制御を行いやすくすると同時に、イメージセンサ22の駆動に伴う雑音の発生を抑制することができる。
【0051】
静止判定部42は、ジャイロセンサ28が検出したボディ本体20の光軸直交平面内の振れを示す振れ検出信号に基づいて、デジタルカメラ10のボディ本体20が略静止した静止状態にあるか否かを判定する。ここで「ボディ本体20が略静止した静止状態にある」とは、ジャイロセンサ28からの振れ検出信号が所定期間に亘ってゼロでありボディ本体20が完全に静止している状態、及び、ジャイロセンサ28からの振れ検出信号が所定期間に亘って極めて微小でありボディ本体20が殆ど静止している状態を含んでいる。
【0052】
モアレ判定部43は、被写体の動画像の少なくとも一部分の色の変化の周期と、イメージセンサ22の微小振動の周期及びフレームレートとを比較することにより、被写体の動画像にモアレが発生しているか否かを判定または再判定する。
【0053】
モアレ通知部44は、被写体の動画像にモアレが発生しているとモアレ判定部43が判定または再判定したときに、その旨をLCD24またはスピーカ(図示せず)によって画像または音声によって通知(警告)する。
【0054】
図7(A)、(B)は、スルー画撮影(ライブビュー撮影)において被写体の動画像にモアレが発生していることをLCD24に表示することで通知している状態を示している。同図の例では、モアレの発生を顕著にするために、スルー画撮影のフレームレートを30[Hz(fps)]、イメージセンサ22を駆動するための駆動信号の駆動周波数を2[Hz]かつ振幅を1画素で動かしている。このときスルー画は、
図7(A)の状態と
図7(B)の状態を交互に繰り返し、赤色の偽色と緑色の偽色が交互に変化する。これにより、ユーザ(撮影者)はモアレに気付きやすくなる。なお、2[Hz]の周波数での色の変化を画像処理で抽出して、OSDで色づけして強調表示する態様も可能である。
【0055】
駆動信号制御部45は、フレームレート設定部41が設定したフレームレート、静止判定部42による静止状態の判定結果、及び、モアレ判定部43によるモアレの判定結果に基づいて、イメージセンサ駆動回路60が生成する駆動信号を制御する。
【0056】
より具体的に、駆動信号制御部45は、フレームレート設定部41が設定したフレームレートにおけるフレーム若しくはフィールドの開始タイミング又はイメージセンサ22の画素22aの露光開始タイミングと略同期するように、イメージセンサ駆動回路60が生成する駆動信号を制御する。
【0057】
ここで「略同期する」とは、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数(駆動周期)や位相が、フレームレート設定部41が設定したフレームレートにおけるフレーム若しくはフィールドの開始タイミング又はイメージセンサ22の画素22aの露光開始タイミングと完全にあるいは殆ど同期することを意味する。「殆ど同期する」の一例として、フレームレート設定部41が設定したフレームレートが30[Hz(fps)]であり、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数が30.01[Hz]である場合が挙げられる。また、フレームレート設定部41が設定したフレームレートが、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数の略整数倍になる場合、例えば、フレームレート設定部41が設定したフレームレートが30[Hz(fps)]であり、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数が約15[Hz]である場合も2フレームに1回は同期されるので「略同期する」に含まれる。さらに、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数が、フレームレート設定部41が設定したフレームレートの略整数倍になる場合、例えば、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数が約60[Hz]であり、フレームレート設定部41が設定したフレームレートが30[Hz(fps)]である場合も、フレームの開始時の位相は一定なので同期に含まれる。
【0058】
駆動信号制御部45は、フレームレート設定部41がプログレッシブ走査において24[Hz(fps)]、25[Hz(fps)]、30[Hz(fps)]のフレームレートを設定したときは、そのフレームレートに対応させるべく、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数を24[Hz]、25[Hz]、30[Hz]となるように制御する。
【0059】
駆動信号制御部45は、フレームレート設定部41がインターレース走査において50[Hz(fps)]、60[Hz(fps)]のフレームレートを設定したときは、そのフレームレートに対応させるべく、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数を50[Hz]、60[Hz]となるように制御する。
【0060】
図8は、プログレッシブ走査またはインターレース走査を行う場合において、1フレーム分の動画像の露光タイミングと、イメージセンサ駆動回路60が生成する駆動信号の信号波形との関係を示している。同図において、駆動信号のX方向(水平方向)の成分を実線で示し、駆動信号のY方向(垂直方向)の成分を破線で示している。
【0061】
プログレッシブ走査の場合、1フレーム内の偶数行と奇数行を同時に露光する。このため、露光期間とイメージセンサ22の駆動周期を合わせれば、露光開始時のイメージセンサ22の駆動軌跡(例えば円運動)の位相は、フレーム間で一致する。
【0062】
インターレース走査の場合、1フレーム内の偶数行と奇数行とで露光タイミングが半周期ずれている。このため、イメージセンサ22の駆動周期を露光期間の半分に合わせれば、露光開始時のイメージセンサ22の駆動軌跡(例えば円運動)の位相は、フレーム間で一致する。
【0063】
このように、任意のフレームの任意の画素に対して、露光開始時のイメージセンサ22の駆動軌跡(例えば円運動)の位相を合わせる(同期させる)ことで、均一でムラのない光学的なローパスフィルタ効果を実現し、モアレや偽色を安定して除去することができる。
【0064】
仮に、フレームの周波数とイメージセンサ22の駆動周波数が異なっている(同期していない)場合には、|動画のフレームの周波数−イメージセンサ22の駆動周波数|のうなりが発生する。このうなりの周波数がモアレの取り残し成分と相まって、緑、マゼンダ、緑、マゼンダと色が変わるため(
図7(A)、(B))、特に三脚などでデジタルカメラ10を固定して動画を撮像する場合に著しく品位が悪くなってしまう。
【0065】
図9は、LPF効果をオンにした場合とLPF効果をオフにした場合におけるイメージセンサ22の光軸直交平面内での動きを示している。同図において、横軸は時間、縦軸は移動量を示しており、縦軸の移動量についてはX方向移動量とY方向移動量に分けて示している。フレームレート設定部41が設定したフレームレートは25[Hz(fps)]であり、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数は25[Hz]である(動画撮像の1フレームでイメージセンサ22が1周する)。
同図に明らかなように、LPF効果がオフの場合には、ジャイロセンサ28から求められる制御目標に追従してイメージセンサ22が駆動される。一方、LPF効果がオンの場合には、ジャイロセンサ28から求められる制御目標に微小振動用信号生成部63が生成した微小振動用信号が重畳されて、イメージセンサ22が駆動される。
【0066】
駆動信号制御部45は、ボディ本体20が静止状態にあると静止判定部42が判定したとき、フレームレート設定部41が設定したフレームレートにおけるフレーム若しくはフィールドの開始タイミング又はイメージセンサ22の画素22aの露光開始タイミングと略同期するように、イメージセンサ駆動回路60が生成する駆動信号を制御する。駆動信号制御部45は、フレームレート設定部41がプログレッシブ走査において24[Hz(fps)]、25[Hz(fps)]、30[Hz(fps)]のフレームレートを設定したときは、そのフレームレートに対応させるべく、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数を24[Hz]、25[Hz]、30[Hz]となるように制御する。駆動信号制御部45は、フレームレート設定部41がインターレース走査において50[Hz(fps)]、60[Hz(fps)]のフレームレートを設定したときは、そのフレームレートに対応させるべく、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数を50[Hz]、60[Hz]となるように制御する。
【0067】
駆動信号制御部45は、ボディ本体20が静止状態にない(動いている)と静止判定部42が判定したとき、ボディ本体20が静止状態にあると静止判定部42が判定したときと比較して、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数または駆動半径(駆動振幅)を小さくする。駆動信号制御部45は、フレームレート設定部41がプログレッシブ走査において24[Hz(fps)]、25[Hz(fps)]、30[Hz(fps)]のフレームレートを設定したときは、そのフレームレートの1/2の値となるように、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数を12[Hz]、12.5[Hz]、15[Hz]となるように制御する。駆動信号制御部45は、フレームレート設定部41がインターレース走査において50[Hz(fps)]、60[Hz(fps)]のフレームレートを設定したときは、そのフレームレートの1/2の値となるように、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数を25[Hz]、30[Hz]となるように制御する。ボディ本体20が静止状態にない(動いている)場合には、うなりが発生してもこれを判別し難いため、周波数を落とすことによる低消費電力化と低雑音化を優先する。イメージセンサ駆動回路60が生成する駆動信号の駆動周波数をフレームレート設定部41が設定したフレームレートの1/2とした場合には、動画撮像の1フレームでイメージセンサ22が半周期しか駆動できないことになるが、モアレや偽色の除去に一定の効果は得られる。
【0068】
駆動信号制御部45は、被写体の動画像にモアレが発生しているとモアレ判定部43が判定したとき、イメージセンサ駆動回路60が生成する駆動信号の駆動周波数または駆動半径(駆動振幅)を変化させながら、定期的に、モアレ判定部43に、被写体の動画像にモアレが発生しているか否かを再判定させる。
【0069】
駆動信号制御部45は、被写体の動画像にモアレが発生しているとモアレ判定部43が判定したとき、イメージセンサ駆動回路60と像振れ補正装置50によるイメージセンサ22の駆動範囲と光学的なローパスフィルタ効果を大きくしていき、その後、イメージセンサ駆動回路60と像振れ補正装置50によるイメージセンサ22の駆動範囲と光学的なローパスフィルタ効果を小さくしていき、モアレ判定部43に、被写体の動画像にモアレが発生しているか否かを再判定させる。
【0070】
図10は、イメージセンサ22の駆動範囲とモアレ判定部43によるモアレの判定結果の関係を示すタイミングチャートである。同図において、被写体の動画像にモアレが発生しているとモアレ判定部43が判定したとき、所定時間(例えば3秒間)だけイメージセンサ22のLPF駆動を実行する。LPF駆動の開始時には、イメージセンサ22の駆動半径(回転半径)をゼロから徐々に上げていき、その後、イメージセンサ22の駆動半径(回転半径)を徐々にゼロに戻していき、最大駆動半径(最大回転半径)の1/2となったところで、LPF駆動を一旦停止する。所定時間のLPF駆動中はモアレや偽色が除去されるので、モアレ判定部43は、被写体の動画像にモアレが発生していないと判定する。本実施形態では、所定時間が経過してLPF駆動を一旦停止したこのタイミングで、モアレ判定部43に、被写体の動画像にモアレが発生しているか否かを再判定させる。
【0071】
モアレ判定部43による再判定の結果、被写体の動画像にモアレが発生しているときは、イメージセンサ22の駆動半径(回転半径)を再び上げていき、その後、イメージセンサ22の駆動半径(回転半径)を徐々にゼロに戻していき、最大駆動半径(最大回転半径)の1/2となったところで、LPF駆動を一旦停止する。そして、このタイミングで、モアレ判定部43に、被写体の動画像にモアレが発生しているか否かを再々判定させる。一方、モアレ判定部43による再判定の結果、被写体の動画像にモアレが発生していないときは、イメージセンサ22の駆動半径(回転半径)をゼロに戻してLPF駆動を完全に停止する。以上の動作を、被写体の動画像にモアレが発生していないとモアレ判定部43が判定するまで繰り返し実行する。
図10の例では、モアレ判定部43による再判定において、被写体の動画像にモアレが発生していると判定され、モアレ判定部43による再々判定において、被写体の動画像にモアレが発生していないと判定されている。
【0072】
このように、イメージセンサ22の駆動半径(回転半径)を徐々に変化させることで、過渡応答を避け、振動や画質への悪影響を防止する効果が得られる。また、モアレ判定の結果に応じて断続的にLPF駆動をオンオフ制御することにより、LPF駆動時にモアレや偽色を効果的に除去することができ、同時に、LPF非駆動時には、消費電力を少なくし、雑音や振動を抑制し、解像度を上げて画像品質を向上することができる。また、モアレ判定部43によるモアレの再判定を行う際に、最大駆動半径(最大回転半径)の1/2となったところLPF駆動を一旦停止するので、モアレがあると判定された後のLPF駆動を迅速に再開させることができる。
【0073】
続いて、
図10のタイミングチャートに代わる別実施形態を説明する。まず、被写体の動画像にモアレが発生しているとモアレ判定部43が判定したとき、所定時間(例えば1秒間)だけイメージセンサ22のLPF駆動(例えば円運動)を実行する。次いで、この所定時間が経過した後、駆動周波数を所定量(例えば5[Hz])だけ低下させてイメージセンサ22のLPF駆動を実行する。この状態で、モアレ判定部43に、被写体の動画像にモアレが発生しているか否かを再判定させる。ここで、モアレが出る被写体であれば、駆動周波数の低下量(例えば5[Hz])に応じたうなりが起き、モアレが出ない被写体であれば、このようなうなりは起きない。モアレ判定部43による再判定の結果、被写体の動画像にモアレが発生しているときは、イメージセンサ22の駆動半径(回転半径)と駆動周波数を上げてモアレ判定を再試行する。一方、モアレ判定部43による再判定の結果、被写体の動画像にモアレが発生していないときは、イメージセンサ22の駆動半径(回転半径)をゼロに戻してLPF駆動を完全に停止する。以上の動作を、被写体の動画像にモアレが発生していないとモアレ判定部43が判定するまで繰り返して実行する。このように、イメージセンサ22の駆動周波数(駆動周期)を変化させてLPF駆動を完全に停止しない状態でモアレの判定を行うことで、モアレがあると判定された後のLPF駆動を迅速に再開させることができる。
【0074】
動画撮像設定変更部46は、被写体の動画像にモアレが発生しているとモアレ判定部43が判定したとき、動画撮像の際の各種設定を変更する。例えば、動画撮像設定変更部46は、被写体の動画像にモアレが発生しているとモアレ判定部43が判定したとき、強制的に、イメージセンサ22を光軸直交平面内で駆動して光学的なローパスフィルタ効果を得ることにより、被写体の動画像のモアレを低減または除去させるような制御を実行する。また、動画撮像設定変更部46は、撮影レンズ30による画角をリアルタイムで検出し、検出した画角に応じて、イメージセンサ22によるLPF効果のオンオフや強弱を自動的に切り替える制御を実行する。
【0075】
このように、本実施形態のデジタルカメラ(動画撮像装置)10によれば、イメージセンサ駆動回路(駆動信号生成部)60が、像振れ補正装置(駆動機構)50を介してイメージセンサ(移動部材)22を駆動するための駆動信号を生成し、フレームレート設定部41が、被写体の動画像を撮像する際のフレームレートを設定し、駆動信号制御部45が、フレームレート設定部41が設定したフレームレートにおけるフレーム若しくはフィールドの開始タイミング又はイメージセンサ22の画素22aの露光開始タイミングと略同期するように、イメージセンサ駆動回路(駆動信号生成部)60が生成する駆動信号を制御する。
これにより、均一でムラのない光学的なローパスフィルタ効果を実現し、モアレや偽色を安定して除去することができる。同時に、光学的なローパスフィルタ効果を得るための消費電力、高周波騒音及び振動を抑制することができる。
【0076】
以上の実施形態では、イメージセンサ22を「移動部材」として、このイメージセンサ22を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群(撮影光学系)31を含む被写体像を結像させる光学要素(レンズ)を「移動部材」として、この光学要素(レンズ)を撮影レンズ30内に設けたボイスコイルモータ(駆動機構)によって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ22と撮影レンズ群(撮影光学系)31を含む被写体像を結像させる光学要素(レンズ)の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。いずれの態様であっても、イメージセンサ22上への被写体像の結像位置を変位させて像振れを補正するとともに、被写体光束をイメージセンサ22の検出色の異なる複数の画素に入射させて光学的なローパスフィルタ効果を得ることができる。
【0077】
以上の実施形態では、像ぶれ補正動作とLPF動作を実行するために、像ぶれ補正装置(駆動機構)50を介してイメージセンサ(移動部材)22を光軸直交平面内で駆動する場合を例示して説明したが、イメージセンサ(移動部材)22を駆動する方向はこれに限定されず、撮影光学系の光軸と異なる方向であればよい。
【0078】
以上の実施形態では、単一(共通)の像振れ補正装置(駆動機構)50を介してイメージセンサ22を光軸直交平面内で駆動することで、イメージセンサ22による像振れ補正動作とLPF動作を実行する場合を例示して説明したが、LPF動作を実行させるための駆動系をピエゾ駆動装置などによって独立して設ける態様も可能である。
【0079】
以上の実施形態では、DSP40とイメージセンサ駆動回路60を別々の構成要素(ブロック)として描いているが、これらを単一の構成要素(ブロック)として実現する態様も可能である。
【0080】
以上の実施形態では、像振れ補正装置(駆動機構)50の構成として、固定支持基板51に磁石M1、M2、M3及びヨークY1、Y2、Y3を固定し、可動ステージ52に駆動用コイルC1、C2、C3を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。
【0081】
以上の実施形態では、ボディ本体20と撮影レンズ30を着脱可能(レンズ交換可能)とする態様を例示して説明したが、ボディ本体20と撮影レンズ30を着脱不能(レンズ交換不能)とする態様も可能である。
【0082】
以上の実施形態では、デジタルカメラ10が被写体の動画像を撮像するための構成及び動作について説明したが、デジタルカメラ10は被写体の静止画像を撮像することも勿論可能である。