特許 6354877 撮像制御装置、及びその制御方法とプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6354877

(24)【登録日】2018年6月22日

(45)【発行日】2018年7月11日

(54)【発明の名称】撮像制御装置、及びその制御方法とプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180702BHJP

   G03B 15/00 20060101ALI20180702BHJP

   H04N 5/243 20060101ALI20180702BHJP

   H04N 5/92 20060101ALI20180702BHJP

【ＦＩ】

   H04N5/232 290

   G03B15/00 G

   G03B15/00 H

   H04N5/243

   H04N5/92

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2017-27469(P2017-27469)

(22)【出願日】2017年2月17日

(62)【分割の表示】特願2013-145114(P2013-145114)の分割

【原出願日】2013年7月11日

(65)【公開番号】特開2017-123670(P2017-123670A)

(43)【公開日】2017年7月13日

【審査請求日】2017年3月1日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(72)【発明者】

【氏名】竹内 丈晴

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１２−１７５４１９（ＪＰ，Ａ）

【文献】 特開２００８−２０３７９１（ＪＰ，Ａ）

【文献】 特開２００７−１１６４１８（ＪＰ，Ａ）

【文献】 特開２０１０−１１４８５７（ＪＰ，Ａ）

【文献】 特開２００７−２８１５４８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／２４３

Ｈ０４Ｎ ５／９２

(57)【特許請求の範囲】

【請求項1】

撮像手段から出力される撮像フレームをフレーム合成する際の合成枚数と、前記撮像手段の撮像動作における撮像感度と、を変更制御する制御手段を備えた撮像制御装置、であって、
前記制御手段は、
合成枚数＝最高速撮像フレームレート÷記録フレームレート；
撮像感度＝最大撮像感度÷合成枚数；
として制御することを特徴とする撮像制御装置。

【請求項2】

撮像手段から出力される撮像フレームをフレーム合成する際の合成方法を変更制御する制御手段を備えた撮像制御装置、であって、
前記制御手段は、
撮像フレームレートが所定のフレームレートより高速の場合、
前記フレーム合成を行なう合成対象の複数の撮像フレームの全てが記録フレーム毎に異なる順次合成を行ない、
撮像フレームレートが前記所定のフレームレート以下の場合は、
前記フレーム合成を行なう合成対象の複数の撮像フレームに、前回の記録フレームで使用した１又は複数の画像が含まれる重複合成を行なう、
ことを特徴とする撮像制御装置。

【請求項3】

前記撮像手段の撮像動作開始時点の被写体の明るさを取得する取得手段を備え、
前記制御手段は、前記取得手段が取得した被写体の明るさに応じた撮像フレームレートを設定する、
ことを特徴とする請求項１又は２に記載の撮像制御装置。

【請求項4】

前記撮像手段の撮像動作期間中に、記録フレームレートを変更する変更手段を備えた、
ことを特徴とする請求項１乃至３の何れか一項に記載の撮像制御装置。

【請求項5】

前記変更手段は、前記撮像手段の撮像動作期間中に、使用者の要求に応じて前記記録フレームレートを変更する、
ことを特徴とする請求項４記載の撮像制御装置。

【請求項6】

前記変更手段は、前記撮像手段の撮像動作期間中に、所定のタイミングで前記記録フレームレートを自動的に変更する、
ことを特徴とする請求項４記載の撮像制御装置。

【請求項7】

撮像制御装置の制御方法であって、
撮像手段から出力される撮像フレームをフレーム合成する際の合成枚数と、前記撮像手段の撮像動作における撮像感度と、を変更制御する制御ステップを含み、
前記制御ステップは、
合成枚数＝最高速撮像フレームレート÷記録フレームレート；
撮像感度＝最大撮像感度÷合成枚数；
として制御することを特徴とする制御方法。

【請求項8】

撮像制御装置の制御方法であって、
撮像手段から出力される撮像フレームをフレーム合成する際の合成方法を変更制御する制御ステップを含み、
前記制御ステップは、
撮像フレームレートが所定のフレームレートより高速の場合、
前記フレーム合成を行なう合成対象の複数の撮像フレームの全てが記録フレーム毎に異なる順次合成を行ない、
撮像フレームレートが前記所定のフレームレート以下の場合は、
前記フレーム合成を行なう合成対象の複数の撮像フレームに、前回の記録フレームで使用した１又は複数の画像が含まれる重複合成を行なう、
ことを特徴とする制御方法。

【請求項9】

撮像制御装置が有するコンピュータを、
撮像手段から出力される撮像フレームをフレーム合成する際の合成枚数と、前記撮像手段の撮像動作における撮像感度と、を変更制御する制御手段として機能させるプログラムであって、
前記制御手段は、
合成枚数＝最高速撮像フレームレート÷記録フレームレート；
撮像感度＝最大撮像感度÷合成枚数；
として制御することを特徴とするプログラム。

【請求項10】

撮像制御装置が有するコンピュータを、
撮像手段から出力される撮像フレームをフレーム合成する際の合成方法を変更制御する制御手段として機能させるプログラムであって、
前記制御手段は、
撮像フレームレートが所定のフレームレートより高速の場合、
前記フレーム合成を行なう合成対象の複数の撮像フレームの全てが記録フレーム毎に異なる順次合成を行ない、
撮像フレームレートが前記所定のフレームレート以下の場合は、
前記フレーム合成を行なう合成対象の複数の撮像フレームに、前回の記録フレームで使用した１又は複数の画像が含まれる重複合成を行なう、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像制御装置、及びその制御方法とプログラムに関するものである。

【背景技術】

【0002】

従来、撮像装置においては動画撮影中にフレームレートを変更可能なものがある。係る撮像装置においては、例えば低速のフレームレートで撮影を行っている間に、被写体の動きが速い特定の撮影シーンのみを高速のフレームレートでの撮影を行うことができ、記録する動画像のデータ量を徒に増大させることなく、撮影後には特定の撮影シーンのみをスロー再生することができる。

【0003】

また、下記特許文献１には、動画撮影中におけるフレームレートの変更に際し、例えば絞り値をシャッタースピードやゲインよりも優先して決定した後、決定した絞り値に応じてシャッタースピードやゲインを設定する技術が記載されている。係る技術によれば、フレームレートの変更前後において発生するフレーム間での画像の明るさの変化を低減することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−１４１８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、動画撮影中にフレームレートを切り替えるときには、撮像素子の駆動速度の切り替えにタイムラグが発生し、その間の画像が欠落してしまう。これを回避するためには、動画撮影中に高速のフレームレートへの切り替えを可能とする際には、撮像素子を常に高速のフレームレートで駆動しておき、低速のフレームレートでの撮影中には、そのフレームレートに応じたフレームの画像のみを抜き出して記録すればよい。

【0006】

しかし、撮像素子を常に高速のフレームレートで駆動する場合には、シャッタースピードの調整による最大露光時間が制限されるため、適正な露出を得るには撮影感度、すなわち撮像素子の出力信号のゲインを常に上げておく必要があり、記録画像のノイズが増大するという問題があった。

【0007】

本発明は、かかる従来の課題に鑑みてなされたものであり、動画撮影中の動画像の質を向上することを可能とする撮像装置、及びその制御方法とプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

前記課題を解決するため、本発明の第一の態様の撮像制御装置にあっては、撮像手段から出力される撮像フレームをフレーム合成する際の合成枚数と、前記撮像手段の撮像動作における撮像感度と、を変更制御する制御手段を備えた撮像制御装置、であって、前記制御手段は、合成枚数＝最高速撮像フレームレート÷記録フレームレート；撮像感度＝最大撮像感度÷合成枚数；として制御することを特徴とする。
前記課題を解決するため、本発明の第二の態様の撮像制御装置にあっては、撮像手段から出力される撮像フレームをフレーム合成する際の合成方法を変更制御する制御手段を備えた撮像制御装置、であって、前記制御手段は、撮像フレームレートが所定のフレームレートより高速の場合、前記フレーム合成を行なう合成対象の複数の撮像フレームの全てが記録フレーム毎に異なる順次合成を行ない、撮像フレームレートが前記所定のフレームレート以下の場合は、前記フレーム合成を行なう合成対象の複数の撮像フレームに、前回の記録フレームで使用した１又は複数の画像が含まれる重複合成を行なう、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、動画撮影中の動画像の質を向上することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の撮像装置として例示するデジタルカメラのブロック図である。

【図2】記録フレームレート切替機能を使用する場合のデジタルカメラ１の動作内容を示す図である。

【図3】撮像フレームレートが１２０ｆｐｓである場合におけるフレーム画像の順次合成を示す模式図である。

【図4】撮像フレームレートが６０ｆｐｓである場合におけるフレーム画像の重複合成を示す模式図である。

【図5】記録フレームレート切替機能を使用した動画撮影モードでの処理内容を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について説明する。図１は、本発明の撮像装置として例示するデジタルカメラ１の概略構成を示すブロック図である。このデジタルカメラ１は、撮影モードとして静止画撮影モード及び動画撮影モードを有するものである。

【0012】

デジタルカメラ１は、レンズブロック２と撮像素子３とを有している。レンズブロック２は、フォーカスレンズを含むレンズ群と、絞りと、レンズ群を駆動するレンズモータ、絞りを開閉駆動するアクチュエータから構成される。レンズモータやアクチュエータは、ＣＰＵ（Central Processing Unit）８の指令に基づき光学系駆動部４によって駆動されることにより、焦点位置や撮像素子３の受光量が調整される。

【0013】

撮像素子３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta１ ０xide Semiconductor）センサであり、駆動回路５により駆動され、被写体の光学像を光電変換し、変換後の光学像に応じた電気信号つまり撮像信号をＡＦＥ（Analog Front End）６へ出力する。

【0014】

前記駆動回路５は、撮像素子３をＣＰＵ８の指令に基づき複数の駆動モードで駆動することが可能であり、より具体的には、撮像素子３を駆動する際のフレームレート（以下、撮像フレームレートという。）が１２０ｆｐｓの高速モードと、６０ｆｐｓの中速モードと、３０ｆｐｓの低速モードの３種類の駆動モードで駆動することが可能である。なお、低速モードは、静止画撮影モードや動画撮影モードでの撮影待機状態において使用され、中速モード及び高速モードは、動画撮影モードでの動画撮影時において使用されるモードである。

【0015】

ＡＦＥ６は、ＣＤＳ（Correlated Double Sampling）回路や、ＰＧＡ（Programmable Gain Amp）、ＡＤＣ（Analog-to-Digital Converter）等によって構成される。ＡＦＥ６は、撮像素子３が出力した撮像信号のゲイン調整を含む所定のアナログ処理を行い、アナログ処理後の撮像信号をデジタル信号に変換した後、変換後の画像データを画像処理部７へ出力する。

【0016】

ＡＦＥ６における撮像信号のゲイン調整は、撮影時に設定されるＩＳＯ感度（撮像感度）に応じてＣＰＵ８の指令に基づき行われる。

【0017】

画像処理部７は、ＡＦＥ６から入力したゲイン調整後の画素データを一時記録するメモリ７ａを有している。メモリ７ａには複数フレーム分の画素データを記憶可能なメモリ容量が確保されている。

【0018】

画像処理部７は、メモリ７ａに一時記憶された画像データに対し、画像の記録に向けた種々の画像処理を行う。画像処理部７が行う画像処理は、ガンマ補正や、ホワイトバランス調整、画素毎のＲ，Ｇ，Ｂの色成分データの生成、生成したＲＧＢデータからＹＵＶデータを生成するＹＵＶ変換等である。そして、画像処理部７は、生成した１フレーム分のＹＵＶデータを、撮影待機状態にある間にはＣＰＵ８へ供給し、かつ撮影時にはＣＯＤＥＣ（Coder & Decoder：符号器／復号器）９へ供給する。

【0019】

また、動画撮影時において画像処理部７は、必要に応じ、後述するように前記メモリ７ａに一時記憶した複数フレーム分の画像データを合成（加算）する処理も行う。

【0020】

撮影待機状態においてＣＰＵ８へ供給されたＹＵＶデータは表示部１０へ供給され、表示部１０においてライブビュー画像として表示される。表示部１０は、ライブビュー画像等を表示する液晶表示器と、液晶表示器を駆動する駆動回路等から構成される。

【0021】

ＣＯＤＥＣ９は、撮影時に画像処理部７から供給された画像データ（ＹＵＶデータ）を符号化し、また、符号化されている任意の画像データを復号する。図示しないが、ＣＯＤＥＣ９は、画像データの符号化、及び復号化を行うための直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路、フレームメモリ等から構成される。

【0022】

撮影時に画像処理部７からＣＯＤＥＣ９へ出力されたＹＵＶデータは、静止画モードでの撮影時にはＪＰＥＧ（Joint Photographic Expert Group）方式等により圧縮符号化された後、静止画ファイルとして画像メモリ１１に記録され、動画モードでの撮影時にはＭＰＥＧ（Motion Picture Experts Group）方式等によりフレーム毎に圧縮符号化された後、順次画像メモリ１１に送られ最終的には動画ファイルとして記録される。

【0023】

また、ＣＯＤＥＣ９は、再生モードにおいてＣＰＵ８により画像メモリ１１から読み出された静止画または動画データ（符号化データ）を復号しＣＰＵ８へ出力する。復号されたデータは表示部１０において静止画、又は動画像として再生される。なお、画像メモリ１１は、例えばカメラ本体に内蔵されたフラッシュメモリや、カメラ本体に着脱自在な各種のメモリカードである。

【0024】

また、ＣＰＵ８には、操作部１２、ＲＡＭ（Random Access memory）１３、プログラムメモリ１４が接続されている。ＲＡＭ１３はＣＰＵ８のワーキングメモリである。

【0025】

操作部１２は、電源キーや、シャッターキー、デジタルカメラ１の基本の動作モードである撮影モードと、記録画像の表示用の再生モードとの切り替えを行うモード切替キー、撮影モードの下位モードの設定等の種々の設定作業に使用されるＭＥＮＵキー、方向キー等の図示しない複数キーを含む。操作部１２における各キーはＣＰＵ８によって操作状態を随時スキャンされる。

【0026】

シャッターキーは、半押し操作と全押し操作との２段階操作が可能な所謂ハーフシャッター機能を有する構成である。シャッターキーの半押し操作は、ＡＥ（Auto Exposure）動作、及びＡＦ（Auto Focus）動作の開始指示等に使用され、シャッターキーの全押し操作は撮影指示に使用される。

【0027】

プログラムメモリ１４は、例えば記憶データが書き換え可能なＥＥＰＲＯＭ（Electric Erasable Programmable Read Only Memory）であるフラッシュメモリである。プログラムメモリ１４には、ＣＰＵ８にデジタルカメラ１の全体の動作を制御させるための制御プログラムや各種のデータが記憶されている。

【0028】

前記制御プログラムには、ＣＰＵ８にＡＥ制御、ＡＦ制御、ＡＷＢ（Auto white balance）制御を行わせるためのプログラム、及びＣＰＵ８に動画撮影モードにおいて後述する処理を行わせるためのプログラムが含まれる。

【0029】

前記各種のデータには、撮影時の適正な露出値に対応する絞り値とシャッタースピードとの組み合わせを示すプログラム線図を構成する制御データが含まれる。プログラム線図は、静止画撮影時に使用されるもの、及び撮像素子３の駆動モード別の複数のもの（高速モード用、中速モード用、低速モード用）が存在する。

【0030】

そして、以上の構成からなるデジタルカメラ１には、動画撮影に際し撮像フレームレートを固定した状態で、記録する動画像のフレームレート（以下、記録フレームレートという。）を適宜切替可能とする記録フレームレート切替機能が設けられている。

【0031】

この記録フレームレート切替機能は、動画撮影中おいて被写体の動きが速い特定の撮影シーンでは記録フレームレートを高速に設定し、それ以外のシーンでは記録フレームレートを低速に設定することを可能とするものである。つまり記録フレームレート切替機能は、記録する動画像のデータ量を抑制しつつ、撮影後に特定の撮影シーンのみを良質な動画像でスロー再生可能とするためのものである。

【0032】

なお、デジタルカメラ１において、記録した動画像を再生する際のフレームレート（以下、再生フレームレートという。）は、記録フレームレートに関係なく３０ｆｐｓに固定されている。

【0033】

図２は、上記の記録フレームレート切替機能を使用する場合のデジタルカメラ１の動作内容を示した図である。図２に示したように、記録フレームレート切替機能を使用する場合、撮像フレームレートは１２０ｆｐｓ又は６０ｆｐｓのいずれかに設定される。

【0034】

また、ユーザーが指定可能な記録フレームレートは、撮像フレームレートの範囲内のフレームレートである。すなわち撮像フレームレートが１２０ｆｐｓのときには１２０ｆｐｓ、６０ｆｐｓ、３０ｆｐｓのいずれかが指定可能であり、撮像フレームレートが６０ｆｐｓのときには６０ｆｐｓ又は３０ｆｐｓが指定可能である。

【0035】

また、記録フレームレート切替機能を使用する場合、ＩＳＯ感度は記録フレームレートに応じた値に固定される。すなわち記録フレームレートが１２０ｆｐｓのときのＩＳＯ感度は８００、記録フレームレートが６０ｆｐｓのときのＩＳＯ感度は４００、記録フレームレートが３０ｆｐｓのときのＩＳＯ感度は２００にそれぞれ固定される。

【0036】

また、記録フレームレート切替機能を使用する場合、前述した撮像フレームレートで撮像された各フレームの画像が、それぞれ記録フレームレートに応じたフレーム数だけ合成され、合成後の画像が動画像を構成するフレーム画像として記録される。なお、以下の説明では、撮像フレームレートで撮像されたフレーム画像を撮像フレーム画像と称し、動画像を構成するフレーム画像を記録フレーム画像と称することにより両者を区別する。

【0037】

撮像フレーム画像の合成枚数（フレーム合成数）は、記録フレームレートが６０ｆｐｓのときは２枚（２フレーム）であり、記録フレームレートが３０ｆｐｓのときは４枚（４フレーム）である。但し、撮像フレームレートと記録フレームレートとが共に１２０ｆｐｓのときには、撮像フレーム画像が、そのまま記録フレーム画像として使用される。

【0038】

さらに、撮像フレーム画像の合成方法は２種類あり、撮像フレームレートが１２０ｆｐｓのときの合成方法は順次合成であり、撮像フレームレートが６０ｆｐｓのときの合成方法は重複合成である。係る合成方法を具体的に説明すると以下の通りである。

【0039】

図３は、撮像フレームレートが１２０ｆｐｓである場合における順次合成を示した模式図である。同図（ａ）に示したように、記録フレームレートが６０ｆｐｓのときには、撮像フレーム画像が２フレーム毎に合成される。

【0040】

また、同図（ｂ）に示したように、記録フレームレートが３０ｆｐｓのときには、撮像フレーム画像が４フレーム毎に合成される。

【0041】

図４は、撮像フレームレートが６０ｆｐｓである場合における重複合成を示した模式図である。同図（ａ）に示したように、記録フレームレートが６０ｆｐｓのときには、撮像フレームの１フレーム毎に、当該フレームの撮像フレーム画像と前回のフレームの撮像フレーム画像とが合成される。つまり一部の撮像フレーム画像が、相前後する記録フレーム画像の生成に重複して使用される。

【0042】

また、同図（ｂ）に示したように、記録フレームレートが３０ｆｐｓのときには、撮像フレームの２フレーム毎に、当該フレームの撮像フレーム画像と直前３フレーム分の撮像フレーム画像とが合成される。つまりこの場合も一部の撮像フレーム画像が、相前後する記録フレーム画像の生成に重複して使用される。

【0043】

以下、記録フレームレート切替機能を使用した動画撮影モードにおけるＣＰＵ８の処理内容を図５のフローチャートに従い説明する。

【0044】

すなわちＣＰＵ８は動画撮影モードの設定とともに動作を開始し、直ちに撮像素子３の駆動モードを低速モード（３０ｆｐｓ）に設定して撮像を開始するとともに（ステップＳ１）、表示部１０におけるライブビュー画像の表示を開始する（ステップＳ２）。なお、ライブビュー画像の表示中には、前述した低速モード用のプログラム線図を使用したＡＥ制御が行われる。

【0045】

ライブビュー画像の表示中においてＣＰＵ８は、ユーザーによる動画撮影モードの終了指示（静止画撮影モードへの変更指示等）の有無を逐次確認し、動画撮影モードの終了指示があれば（ステップＳ３：ＹＥＳ）、その時点で全ての処理を終了する。

【0046】

また、ＣＰＵ８は、ライブビュー画像の表示中にユーザーによる撮影開始指示の有無を逐次確認し、撮影開始指示があると（ステップＳ４：ＹＥＳ）、その直前に画像処理部７のメモリ７ａに一時記憶された画像データに基づき、現在の被写体の明るさを示すＬＶ値を取得する（ステップＳ５）。なお、このＬＶ値は、例えばデジタルカメラ１に光量を検出する測光センサが設けられている場合には、その測光センサの出力信号に基づき取得しても構わない。

【0047】

しかる後、ＣＰＵ８は、ＬＶ値が予め決められている閾値以上であるか否かを確認する（ステップＳ６）。上記閾値は、仮に高速モード（１２０ｆｐｓ）で撮像素子３を駆動した場合、撮像フレーム画像に一定以上の明るさが確保可能であると判断できる値である。

【0048】

そして、ＣＰＵ８は、ＬＶ値が閾値以上である場合には（ステップＳ６：ＹＥＳ）、前記駆動回路５における撮像素子３の駆動モードを高速モード（１２０ｆｐｓ）に設定する（ステップＳ７）。しかる後、ＣＰＵ８は、記録フレームレートを初期設定値である３０ｆｐｓ、つまり再生フレームレートと同一に設定するとともに、前述した順次合成による動画記録を開始する（ステップＳ８）。

【0049】

なお、ステップＳ８に際してＣＰＵ８は、ＡＦＥ６におけるゲインをＩＳＯ感度２００に応じた値に設定するとともに、動画記録中には、高速モード用のプログラム線図を使用したＡＥ制御を行う。

【0050】

つまり、ＣＰＵ８は、画像処理部７に、図３（ｂ）に示したように、ＩＳＯ感度２００で撮像した撮像フレーム画像を４フレーム毎に合成し、記録フレーム画像を生成する処理を開始させ、生成された記録フレーム画像をＣＯＤＥＣ９において圧縮して画像メモリ１１に記録する処理を開始する。

【0051】

また、ＣＰＵ８は、ＬＶ値が閾値未満である場合には（ステップＳ６：ＮＯ）、前記駆動回路５における撮像素子３の駆動モードを中速モード（６０ｆｐｓ）に設定する（ステップＳ９）。これにより、各フレームの撮像画像の明るさとして、撮像素子３を高速モードで駆動する場合の２倍の明るさを確保可能にする。しかる後、ＣＰＵ８は、この場合も記録フレームレートを初期設定値である３０ｆｐｓに設定するとともに、前述した重複合成による動画記録を開始する（ステップＳ１０）。

【0052】

なお、ステップＳ１０に際してＣＰＵ８は、ＡＦＥ６におけるゲインをＩＳＯ感度２００に応じた値に設定するとともに、動画記録中には、中速モード用のプログラム線図を使用したＡＥ制御を行う。

【0053】

つまり、ＣＰＵ８は、画像処理部７に、図４（ｂ）に示したように、ＩＳＯ感度２００で撮像した撮像フレームの２フレーム毎に、当該フレームの撮像フレーム画像と直前３フレーム分の撮像フレーム画像とを合成し記録フレーム画像を生成する処理を開始させ、生成された記録フレーム画像をＣＯＤＥＣ９において圧縮して画像メモリ１１に記録する処理を開始する。

【0054】

以後、撮像素子３を高速モード又は中速モードで駆動して動画撮影を行っている間、ＣＰＵ８は、ユーザーによって記録フレームレートの変更指示がなく（ステップＳ１１：ＮＯ）、かつ撮影終了指示もなければ（ステップＳ１３：ＮＯ）、ステップＳ８又はステップＳ１０で開始した前述した設定内容での動画記録処理を続行する。

【0055】

そして、動画記録中にユーザーによって記録フレームレートの変更指示があった場合（ステップＳ１１：ＹＥＳ）、ＣＰＵ８は、ユーザーから指示に応じて記録フレームレートを変更するとともに、ＩＳＯ感度、加算枚数を、変更後の記録フレームレートと、その時点の撮像素子３の駆動モード、つまり撮像フレームレートに応じて予め決められている値（図２参照）に変更する（ステップＳ１２）。

【0056】

これにより、例えば撮像フレームレートが１２０ｆｐｓである場合においては、ユーザーが記録フレームレートを３０ｆｐｓから１２０ｆｐｓに変更したときには、図３（ｂ）
に示したように、ＩＳＯ感度が８００、加算枚数が１枚（＝加算なし）に変更された状態で動画記録処理が続行される。

【0057】

また、ユーザーが記録フレームレートを３０ｆｐｓから６０ｆｐｓに変更したときには、ＩＳＯ感度が４００、加算枚数が２枚に変更された状態で動画記録処理が続行される（図３（ａ）参照）。

【0058】

さらに、記録フレームレートが１２０ｆｐｓ又は６０ｆｐｓから初期設定時の３０ｆｐｓに変更されたときには、再びＩＳＯ感度が２００、加算枚数が４枚に設定された状態で動画記録処理が続行される（図３（ｂ）参照）。

【0059】

一方、上記とは異なり、例えば撮像フレームレートが６０ｆｐｓである場合においては、ユーザーが記録フレームレートを３０ｆｐｓから６０ｆｐｓに変更したときには、図４（ａ）に示したように、ＩＳＯ感度が４００、加算枚数が２枚に変更された状態で動画記録処理が続行される。

【0060】

さらに、記録フレームレートが６０ｆｐｓに変更された後、ユーザーによりいずれかの時点で記録フレームレートが初期設定時の３０ｆｐｓに変更されたときには、再びＩＳＯ感度が２００、加算枚数が４枚に変更された状態で動画記録処理が続行される（図４（ｂ）参照）。

【0061】

以上のようにＣＰＵ８は、ユーザーの指示に応じて記録フレームレートを変更する場合においても、撮像フレームレートを変更することなく、ユーザーの指示に応じた記録フレームレートで記録フレーム画像を生成し記録する。

【0062】

同時に、ＩＳＯ感度と撮像フレーム画像の合成枚数とを調整することによって、撮像フレームレートが１２０ｆｐｓのときには、各記録フレーム画像に、記録フレームレートが１２０ｆｐｓ、ＩＳＯ感度が８００のときと同じ明るさを常に確保し、また、撮像フレームレートが６０ｆｐｓのときには、各記録フレーム画像に、記録フレームレートが６０ｆｐｓ、ＩＳＯ感度が４００のときと同じ明るさを常に確保する。

【0063】

そして、ＣＰＵ８は、上述した動画記録処理を繰り返している間に、ユーザーによる撮影終了指示があれば（ステップＳ１３：ＹＥＳ）、その時点で動画記録を終了した後（ステップＳ１４）、撮像素子３の駆動モードを低速モード（３０ｆｐｓ）に設定（変更）する（ステップＳ１５）。つまり撮像フレームレートをライブビュー画像の表示が可能な程度まで低下させ、無駄な電力消費を防止する。

【0064】

以後、ＣＰＵ８は、ステップＳ３の処理へ戻り、ユーザーによる動画撮影モードの終了指示があるまでの間（ステップＳ３：ＮＯ）、前述したステップＳ４以降の処理を繰り返し実行する。

【0065】

以上のように記録フレームレート切替機能を使用した動画撮影モードにおいては、動画撮影中の撮像フレームレートを記録フレームレートに関係なく１２０ｆｐｓ又は６０ｆｐｓに固定するため、動画撮影中に記録フレームレートを変更しても撮像動作にタイムラグが発生することがない。

【0066】

また、記録フレームレートを撮像フレームレート未満に設定したときには、記録フレームレートに応じたフレーム数分の撮像フレーム画像を合成して記録フレーム画像を生成することにより、記録フレームレートを固定したまま、実質的な露光時間を長くすることができる。しかも、合成対象となる複数の撮像フレーム画像に存在するランダムノイズは合成後の画像において増大することがない。

【0067】

同時にＩＳＯ感度を、記録フレームレートに応じた値であって、記録フレームレートが撮像フレームレートと同じときよりも低い値に設定することにより、記録フレーム画像のノイズが低減できるとともに、記録フレームレートの変更前後における画像の明るさを一定に維持することができる。

【0068】

したがって、動画撮影中に記録フレームレートを切り替え可能とする場合においても、より質の高い動画像を記録することができる。

【0069】

また、動画撮影中の撮像フレームレートを、撮影開始時点で被写体の明るさ（ＬＶ値）に応じて設定するようにし、被写体の明るさが閾値未満である場合には、設定可能な最速の撮像フレームレートである１２０ｆｐｓよりも低速の６０ｆｐｓに設定するようにした。つまり各フレームの撮像画像の明るさとして、撮像素子３を高速モードで駆動する場合の２倍の明るさを確保可能とした。

【0070】

したがって、撮像フレームレートを常に１２０ｆｐｓに固定する場合に比べ、記録フレームレート切替機能を使用する場合において、より暗い被写体の撮影を可能とすることができる。つまり動画撮影時における記録フレームレート切替機能の使用範囲を広げることができる。

【0071】

また、記録フレームレートを撮像フレームレート未満に設定されている間における撮像フレーム画像の合成方法を、撮像フレームレートが１２０ｆｐｓに固定されているときには前述した順次合成とし、かつ撮像フレームレートが６０ｆｐｓに固定されているときには前述した重複合成とした。

【0072】

そのため、撮像フレームレートに関係なく、記録フレームレートが同一の場合にはＩＳＯ感度を同一とすることができ（図２参照）、被写体の明るさに応じて撮像フレームレートを異なる値に固定したとしても、記録フレーム画像に不可避的に生ずるＩＳＯ感度に応じたノイズ量を同程度とすることができる。

【0073】

したがって、記録フレームレートが同一の場合には、被写体の明るさに関係なく記録する動画像の質を安定させることができる。

【0074】

なお、本実施形態においては、設定可能な最速の撮像フレームレートが１２０ｆｐｓであるとともに、動画撮影中に変更（設定）可能な記録フレームレートが１２０ｆｐｓ、６０ｆｐｓ、３０ｆｐｓの３段階である場合について説明した。

【0075】

しかし、本発明の実施に際しては、設定可能な最速の撮像フレームレートは１２０ｆｐｓ以上であってもよい。また、動画撮影中に変更（設定）可能な記録フレームレートは最速の撮像フレームレートよりも低速であればよく、記録フレームレートは３段階以上であってもよい。

【0076】

また、変更（設定）可能な記録フレームレートは、必ずしも設定可能な最速の撮像フレームレートの１／ｎ（ｎは整数）でなくともよく、それ以外の場合においても、ＩＳＯ感度を撮像フレームレートと記録フレームレートとの比率に応じて予め決められた値に固定することにより、より質の高い動画像を記録することができる。

【0077】

また、本実施形態においては、動画撮影中における記録フレームレートの切替をユーザーによる変更指示に応じて行うものについて説明したが、本発明の実施に際しては、記録フレームレートの切替を所定のタイミングで自動的に行わせるようにしてもよい。

【0078】

より具体的には、例えば記録フレームレートを、動画撮影の開始後、ユーザーが予め設定した時間等の所定時間が経過したタイミングで、再生フレームレートと同じ記録フレームレート（３０ｆｐｓ）から、それよりも高速の記録フレームレート（設定可能な最速の記録フレームレート等）に自動的に切り替えるようにしてもよい。

【0079】

その場合、例えばユーザーが三脚等にデジタルカメラ１を固定した状態で、自己のゴルフスイングのフォームを撮影する場合には都合がよい。すなわち、ユーザーが上記の所定時間として、撮影開始操作を行ってから画角内でゴルフスイングを開始するまでの所要時間を設定しておけば、ゴルフスイングを行っている間のみを最速の記録フレームレートで撮影することができる。つまりゴルフスイングを開始するまでの動画データの記録量を削減しつつ、ゴルフスイングを行っている間のみを、良質な動画像でスロー再生することができる。

【0080】

さらに、上記に加え、最速の記録フレームレートによる撮影時間もユーザーが予め設定した時間等の所定時間とし、係る所定時間が経過したタイミングで記録フレームレートを自動的に３０ｆｐｓに切り替える（戻す）ようにしてもよい。その場合には、ゴルフスイングを終了してから動画撮影を終了するまでの動画データの記録量も削減することができる。

【0081】

また、例えば動画撮影中には、動画像の記録と並行して、撮像フレーム画像に基づき公知の画像認識技術を用いて被写体の特定の動きを検出する動体検出を行い、特定の動きを検出したタイミングで記録フレームレートを最速の記録フレームレートに自動的に切り替えるようにしてもよい。

【0082】

さらには、上記のように記録フレームレートを最速の記録フレームレートに切り替えた後、被写体の特定の動きが検出できた時点で、記録フレームレートを自動的に３０ｆｐｓに切り替える（戻す）ようにしてもよい。

【0083】

その場合には、例えば動画撮影中に、動画像の記録と並行して、撮像フレーム画像に基づいて任意の人物によるゴルフスイングの開始時点（例えばバックスイングの開始時点）、及びゴルフスイングの終了時点（例えばフォロースルーの完了時点）を検出させれば、正確にゴルフスイングを行っている間のみを最速の記録フレームレートで撮影することができる。

【0084】

また、以上の例とは別に、動画撮影中における記録フレームレートの切り替えは、例えばパンニングに伴い画角が急激に変化したタイミングで自動的に行わせるようにしてもよい。その場合にも、画角が急激に変化し始めた時点に加え、その後、画角が安定した時点も検出し、その時点で記録フレームレートを自動的に３０ｆｐｓに切り替える（戻す）ようにしてもよい。

【0085】

なお、画角が急激に変化した時点や画角が安定した時点の検出は、公知の画像認識技術を用いれば撮像フレーム画像に基づいて行うことができ、またカメラ本体に加速度センサが設けられていれば、加速度センサの検出信号によって行うことができる。

【0086】

その場合には、例えば動画撮影中に主たる被写体が動き出し、それに追随してカメラをパンさせたときには、記録フレームレートを最速の記録フレームレートに自動的に切り替えることができ、撮影後には、カメラをパンさせている間の主たる被写体、及びその背景を含む全ての被写体の変化状態を良質な動画像でスロー再生することができる。

【0087】

以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
被写体の画像を撮像する撮像手段と、
所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、
前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段と、
撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる撮像制御手段と、
前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する変更手段と、
前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する記録制御手段と、
前記変更手段による記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する感度制御手段と
を備えたことを特徴とする撮像装置。
［請求項２］
前記記録制御手段は、前記変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合、前記合成手段に、前記所定の撮像フレームレートと前記変更後の記録フレームレートとの比率に応じて決められている枚数分の複数枚の画像の合成を開始させることを特徴とする請求項１記載の撮像装置。
［請求項３］
前記感度制御手段は、前記撮像感度を、前記所定の撮像フレームレートと前記変更後の記録フレームレートとの比率に応じて決められている撮像感度に固定することを特徴とする請求項１又は２記載の撮像装置。
［請求項４］
前記撮像手段における撮像動作の開始時点の被写体の明るさを取得する取得手段をさらに備え、
前記撮像制御手段は、前記所定の撮像フレームレートとして、前記取得手段が取得した被写体の明るさに応じた撮像フレームレートを設定し、設定した撮像フレームレートに撮像フレームレートを固定した状態で前記撮像手段に撮像動作を開始させる
ことを特徴とする請求項１又は２，３記載の撮像装置。
［請求項５］
前記撮像制御手段は、前記取得手段が取得した被写体の明るさが閾値以上の場合には、前記所定の撮像フレームレートとして設定可能な最速の撮像フレームレートを設定し、前記取得手段が取得した被写体の明るさが閾値以上の場合には、前記所定の撮像フレームレートとして前記最速の撮像フレームレートの２分の１の撮像フレームレートを設定することを特徴とする請求項４記載の撮像装置。
［請求項６］
前記記録制御手段は、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満であって、前記合成手段に前記複数枚の画像の合成を開始させる際、
前記撮像制御手段により設定された前記所定の撮像フレームレートが前記最速の撮像フレームレートである場合には、前記合成手段に、合成対象の複数枚の画像の全てが記録フレーム毎に異なる順次合成を開始させ、
前記撮像制御手段により設定された前記所定の撮像フレームレートが前記最速の撮像フレームレートの２分の１の撮像フレームレートである場合には、前記合成手段に、記録フレーム毎の合成対象の複数枚の画像に前回の記録フレームで使用した１又は複数の画像が含まれる重複合成を開始させる
ことを特徴とする請求項４記載の撮像装置。
［請求項７］
前記変更手段は、前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、使用者の要求に応じ前記所定の記録フレームレートを変更することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
［請求項８］
前記変更手段は、前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、所定のタイミングで前記所定の記録フレームレートを自動的に変更することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
［請求項９］
被写体の画像を撮像する撮像手段と、所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段とを備えた撮像装置の制御方法であって、
撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる工程と、
前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する工程と、
変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する工程と、
前記記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する工程と
を含むことを特徴とする撮像装置の制御方法。
［請求項１０］
被写体の画像を撮像する撮像手段と、所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段とを備えた撮像装置が有するコンピュータを、
撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる撮像制御手段と、
前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する変更手段と、
前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する記録制御手段と、
前記変更手段による記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する感度制御手段と
して機能させることを特徴とするプログラム。

【符号の説明】

【0088】

１ デジタルカメラ
２ レンズブロック
３ 撮像素子
４ 光学系駆動部
５ 駆動回路
６ ＡＦＥ
７ 画像処理部
７ａ メモリ
８ ＣＰＵ
９ ＣＯＤＥＣ
１０ 表示部
１１ 画像メモリ
１２ 操作部
１３ ＲＡＭ
１４ プログラムメモリ

【図1】

【図2】

【図3】

【図4】

【図5】