特許 6031670 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6031670

(24)【登録日】2016年11月4日

(45)【発行日】2016年11月24日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20161114BHJP

   G03B 19/07 20060101ALI20161114BHJP

   G03B 35/08 20060101ALI20161114BHJP

【ＦＩ】

   H04N5/225 Z

   G03B19/07

   G03B35/08

【請求項の数】8

【全頁数】24

(21)【出願番号】特願2011-269708(P2011-269708)

(22)【出願日】2011年12月9日

(65)【公開番号】特開2013-121173(P2013-121173A)

(43)【公開日】2013年6月17日

【審査請求日】2014年10月6日

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106116

【弁理士】

【氏名又は名称】鎌田 健司

(74)【代理人】

【識別番号】100170494

【弁理士】

【氏名又は名称】前田 浩夫

(72)【発明者】

【氏名】長岡 英一

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２０１１−２０５４０６（ＪＰ，Ａ）

【文献】 特開２０１１−２１７３９４（ＪＰ，Ａ）

【文献】 特開２００３−２７４３５８（ＪＰ，Ａ）

【文献】 特開２００５−１２４１３８（ＪＰ，Ａ）

【文献】 浜本隆之，『撮像−画像処理−表示系の連携による高画質映像システム〜高ダイナミックレンジ化』，映像情報メディア学会誌，日本，（社）映像情報メディア学会，２０１１年１０月 １日，第65巻第10号，第1369〜1372頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

Ｇ０３Ｂ １９／０７

Ｇ０３Ｂ ３５／０８

(57)【特許請求の範囲】

【請求項1】

被写体を撮影する撮像装置であって、
第１光学系と第２光学系と、
前記第１光学系で形成される光学像を第１電気信号に変換する第１撮像素子と、
前記第２光学系で形成される光学像を第２電気信号に変換する第２撮像素子と、
前記第１撮像素子から前記第１電気信号を第１周期で読み出し、第１映像信号を生成する第１映像信号処理部と、
前記第２撮像素子から前記第２電気信号を前記第１周期とは異なり第１周期より短い第２周期で読み出し、第２映像信号を生成する第２映像信号処理部と、
前記第１映像信号および前記第２映像信号を互いに異なるフレームレートで記録媒体に記録する記録部と、
前記記録媒体から、前記第１映像信号および／または前記第２映像信号を読み出す再生部と、
ユーザからの入力を受け付ける入力受付部と、を備え、
前記再生部は前記入力受付部が通常再生指示を受け付けた場合に前記第１映像信号を再生し、前記入力受付部がスロー再生指示を受け付けた場合に前記第２映像信号を再生する、
撮像装置。

【請求項2】

前記再生部は前記第１映像信号を再生している時に、前記入力受付部がスロー再生指示を受け付けた場合に、前記スロー再生指示を受け付けた時に再生していた第１映像信号に対応する箇所から第２映像信号を再生する、
請求項１に記載の撮像装置。

【請求項3】

前記再生部は前記第１映像信号を再生している時に、前記入力受付部がスロー再生指示を受け付けた場合で、前記第２映像信号が存在しない場合には第１映像信号を再生する、
請求項２に記載の撮像装置。

【請求項4】

前記記録部は前記第１映像信号と前記第２映像信号のフレーム位置関係を示すインデックスデータを作成し、前記再生部は前記入力受付部が前記スロー再生指示を受け付けた時に、インデックスデータを参照して第２映像信号の再生位置を決定する、
請求項２に記載に撮像装置。

【請求項5】

被写体を撮影する撮像装置であって、
第１光学系と第２光学系と、
前記第１光学系で形成される光学像を第１電気信号に変換する第１撮像素子と、
前記第２光学系で形成される光学像を第２電気信号に変換する第２撮像素子と、
前記第１撮像素子から前記第１電気信号を第１周期で読み出し、第１映像信号を生成する第１映像信号処理部と、
前記第２撮像素子から前記第２電気信号を前記第１周期とは異なり第１周期より短い第２周期で読み出し、第２映像信号を生成する第２映像信号処理部と、
前記第１映像信号および前記第２映像信号を互いに異なるフレームレートで記録媒体に記録する記録部と、
前記記録媒体から、前記第１映像信号および／または前記第２映像信号を読み出す再生部と、を備え、
前記記録部は前記第１映像信号に対して動き検出を行い、前記動き検出の結果が一定値以上の場合のみ前記第２映像信号を記録する、
撮像装置。

【請求項6】

被写体を撮影する撮像装置であって、
第１光学系と第２光学系と、
前記第１光学系で形成される光学像を第１電気信号に変換する第１撮像素子と、
前記第２光学系で形成される光学像を第２電気信号に変換する第２撮像素子と、
前記第１撮像素子から前記第１電気信号を第１周期で読み出し、第１映像信号を生成する第１映像信号処理部と、
前記第２撮像素子から前記第２電気信号を前記第１周期とは異なり第１周期より短い第２周期で読み出し、第２映像信号を生成する第２映像信号処理部と、
前記第１映像信号および前記第２映像信号を互いに異なるフレームレートで記録媒体に記録する記録部と、
前記第１映像信号および／または前記第２映像信号を積算合成した第３映像信号を生成する画像合成部と、
前記記録媒体から、前記第１映像信号および／または前記第２映像信号および／または前記第３映像信号を読み出す再生部と、を備える、
撮像装置。

【請求項7】

前記合成部は、前記第３映像信号と前記第１映像信号とからＨＤＲ画像を合成した第４映像信号を生成し、
前記再生部は、前記記録媒体から、前記第１映像信号および／または前記第２映像信号および／または前記第３映像信号および／または前記第４映像信号を読み出す、
請求項６に記載の撮像装置。

【請求項8】

前記記録部は、前記画像合成部の出力を、前記記録媒体に記録する、
請求項６乃至７に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。詳しくは、複数の撮像光学系と撮像素子を用いる撮像装置に関する。

【背景技術】

【0002】

立体画像の撮影などを目的として、複数（２つ）の撮像光学系と撮像素子を備えた撮像装置が市販されている。この種の撮像装置では、立体画像の撮影という機能以外にも、通常撮影時の動画や静止画の画質向上を目的とした機能が提案・実用化されている。例えば、特許文献１の画像撮像装置は、少なくとも静止画用撮像部と動画用撮像部を有する。そして、両者の出力を選択して記録する画像撮像装置である。これによって、適正なフレームレートの動画、あるは高精細な静止画を得ることができるとしている。また特許文献２には、露光量が異なる複数の画像を撮影し、それらを合成する撮像装置が開示されている。すなわち、複数の撮像光学系を用いて、露光の長い画像と、露光の短い画像を順次撮影した後、合成する手順が開示されている。これによって、視差のある広ダイナミックレンジな静止画（ＨＤＲ静止画）を提供すると記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−０２３５５５号公報

【特許文献2】特開２００３−０１８６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、スポーツ撮影やペット撮影などのように被写体が高速で移動する場合には、被写体ブレという課題あった。これは、被写体の移動により画質が劣化するものである。例えば動画を撮影している場合には、フレーム間隔である１／３０秒間の露光時間中に蓄積された画像が記録される。よって、被写体が高速で移動するとブレた画像となり、鮮明な画像を得ることが困難であった。あるいはスロー再生時に、被写体の細かい動きが確認できないという顕著な課題があった。同様にＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の生成においても、露光量の異なる画像間で被写体の位置が異なると、合成したＨＤＲ画像が不鮮明になるという課題があった。

【0005】

そこで本発明は、被写体が高速で移動する場合であっても、被写体ブレなどによる画質劣化を防止し、鮮明な画像を撮影できる撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的は、以下の撮像装置により達成される。すなわち、被写体を撮影する撮像装置であって、
第１光学系と第２光学系と、
前記第１光学系で形成される光学像を第１電気信号に変換する第１撮像素子と、
前記第２光学系で形成される光学像を第２電気信号に変換する第２撮像素子と、
前記第１撮像素子から前記第１電気信号を第１周期で読み出し、第１映像信号を生成する第１映像信号処理部と
前記第２撮像素子から前記第２電気信号を前記第１周期とは異なる第２周期で読み出し、第２映像信号を生成する第２映像信号処理部と
前記第１映像信号および前記第２映像信号を互いに異なるフレームレートで記録媒体に記録する記録部とを備えるものである。

【発明の効果】

【0007】

本発明よれば、被写体が高速で移動する場合であっても、鮮明な画像を撮影できる撮像装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】撮像装置１００の外観図

【図2】撮像装置１００の外観図

【図3】撮像装置１００の構成を示すブロック図

【図4】撮像装置１００の動画撮影時の動作を説明するフローチャート

【図5】撮像装置１００の動画再生時の動作を説明するフローチャート

【図6】撮像装置１００の高画質再生時の動作を説明するフローチャート

【図7】撮像装置１００の待機状態における動作を説明するフローチャート

【図8】撮像装置１００のＨＤＲ再生時の動作を説明するフローチャート

【図9】撮像装置１００のＨＤＲ撮影動作時の動作を説明するフローチャート

【図10】撮像装置１００のＡＦ（オートフォーカス）動作を説明するフローチャート

【発明を実施するための形態】

【0009】

［実施の形態１］
図１の外観図に示すように、撮像装置１００は第１光学系１０１と第２光学系１０２を有している。撮像装置１００の上部には、シャッターボタン１０３が設けられ、静止画撮影時のタイミングを決定するようになっている。また動画撮影時には、このシャッターボタン１０３を押すことで撮影が開始され、再度シャッターボタン１０３を押すと撮影を終了するように構成されている。

【0010】

また、シャッターボタン１０３の横には、切替ボタン１１０が設けられている。この切替ボタン１１０を横にスライドして、撮像装置１００の電源のＯＮ／ＯＦＦと動作モードを選択する。すなわち、電源ＯＦＦと、撮影モードと、再生モードの何れかを選択できる。

【0011】

また図２の外観図に示すように、撮像装置１００は液晶画面１１１を有している。液晶画面１１１は撮影モード時にモニタ画面として機能する。また、先の切替ボタン１１０をスライドして、再生モードに切り替えた場合には、再生画像を表示するように構成されている。また、液晶画面１１１には、ユーザによる操作を検出するタッチパネル１１２が一体的に設けられている。これによってユーザは、液晶画面１１１に表示される各種メニューやボタンを選択できる。すなわち、タッチパネル１１２を介して、撮像装置１００の動作をコントロールできるように構成されている。

【0012】

図３に撮像装置１００の構成をブロック図で示す。撮像装置１００は、第１光学系１０１と、第２光学系１０２と、第１撮像素子２０５と、第２撮像素子２０６とを備えている。第１光学系１０１はズーム光学系である。すなわち、第１ズームレンズ２０１が前後に移動することによって、撮影画角が変化（変倍）する。例えば、広角側と望遠側との画角を５倍に変えることができる。また、第１光学系１０１は、合焦位置を調整する第１フォーカスレンズ２０３を有している。第１フォーカスレンズ２０３が前後に動くことによって、近距離から無限遠まで合焦位置を変えることができる。

【0013】

第１撮像素子２０５は第１光学系１０１が形成する光学的な像を第１電気信号２３１に変換する。第１映像信号処理部２０７は、この第１電気信号２３１を第１周期で第１撮像素子２０５から読み出す。例えば動画撮影時にはフレームレートとして一般的な１／３０秒の周期で画像を読み出す。第1映像信号処理部２０７は、第１電気信号２３１のノイズの除去や増幅処理を行い、第1映像信号２４１を出力する。第１映像信号２４１は、映像信号記録部２１３と後述の画像合成部２２２に送出される。

【0014】

また第１映像信号処理部２０７は、第１映像信号２４１内の任意領域を切り出して第１コントラスト検出部２０９に送出する。この送出タイミングも第１周期毎に行う。第１コントラスト検出部２０９は、受け取った画像のコントラスト値を計算する。そしてコントラスト値の計算結果が最大となる位置に、第１光学系１０１の第１フォーカスレンズ２０３を位置決めする。すなわち、第１コントラスト検出部２０９の指令に基づいて、第１フォーカス駆動部２１１が第１フォーカスレンズ２０３を駆動する。 第２光学系１０２は第１光学系１０１とほぼ同じ構成を有している。第２光学系１０２はズーム光学系である。第２ズームレンズ２０２が前後に移動して撮影画角を変化（変倍）させる。また第２フォーカスレンズ２０４の移動によって合焦位置を調整する。

【0015】

同様に、第２撮像素子２０６は第２光学系１０２が形成する光学的な像を第２電気信号２３２に変換する。第２映像信号処理部２０８は、この第２電気信号２３２を第１周期とは異なる第２周期で第２撮像素子２０６から読み出す。例えば第１周期が１／３０秒であった時に、１０倍高速な１／３００秒の周期で読み出す。第２映像信号処理部２０８は、第２電気信号２３２のノイズの除去や増幅処理を行い、第２映像信号２４２を出力する。第２映像信号２４２は、映像信号記録部２１３と後述の画像合成部２２２に送られる。

【0016】

また第２映像信号処理部２０８は、第２映像信号２４２の任意領域を切り出して第２コントラスト検出部２１０に送出する。この送出タイミングも第２周期に一致させて行う。第２コントラスト検出部２１０は、受け取った画像のコントラスト値を第２周期毎に計算する。そして、第２コントラスト検出部２１０は、第２フォーカスレンズ２０４を駆動する第２フォーカス駆動部２１２を制御する。また第２コントラスト検出部２１０は、第１フォーカス駆動部２１１も制御できるように構成されている。

【0017】

映像信号記録部２１３は、記憶媒体２２０に第１映像信号２４１と第２映像信号２４２を記録する。この際、第１映像信号２４１と第２映像信号２４２は、異なるフレームレートで記録媒体２２０に記録される。例えば、第１映像信号２４１を１秒あたり３０フレームで記録し、第２映像信号２４２は１秒あたり３００フレームで記録する。なお記憶媒体２２０としては、ＳＤカードなどの半導体メモリを用いる。ＳＤカードは可搬型半導体メモリの代表的例である。ＳＤカードをＴＶやＰＣなどに差し替えることができる。すなわち、撮像装置１００で記録した動画や静止画などを、ＴＶやＰＣなどで表示できる。

【0018】

撮像装置１００の上部にある切替ボタン１１０を再生モードに切り替える。すると、映像信号再生部２２１が、記憶媒体２２０に記録された第１映像信号２４１および／または第２映像信号２４２を読み出す。そして、画像合成部２２２に送出する。画像合成部２２２は、第１映像信号２４１および／または第２映像信号２４２を受け取る。

【0019】

また、切替ボタン１１０が撮影モードの場合には、第１映像信号処理部２０７と第２映像信号処理部２０８から受け取る。そして画像合成部２２２は、第１映像信号２４１および／または前記第２映像信号２４２を、選択および／または合成して第３映像信号２４３を出力する。例えば、第１映像信号２４１をそのまま第３映像信号２４３として出力する場合もある。あるいは、第２映像信号２４２だけを時間軸方向に積算合成した画像とする場合もある。あるいは、第１映像信号２４１と第２映像信号２４２を合成してＨＤＲ画像を第３映像信号２４３とする場合もある。第３映像信号２４３の内容については、各実施の形態の動作において詳細に説明する。

【0020】

第３映像信号２４３は、画像出力部２２３に送出され、撮像装置１００の裏面にある液晶画面１１１に表示される。すなわち、液晶画面１１１は撮影モード時にモニタ画面として機能する。また、再生モードに切り替えた場合には、再生画像を表示するように構成されている。

【0021】

なお画像出力部２２３には、図示しない出力端子も接続されており、ＴＶやＰＣなどの外部表示装置に画像を表示することが可能となっている。出力端子としては、ＲＣＡ端子などのアナログ系の出力端子や、ＨＤＭＩ規格などのデジタル出力端子を用いるのが一般的である。

【0022】

また第３映像信号２４３は映像信号記録部２１３にも送出される。映像信号記録部２１３は、第３映像信号２４３を記録媒体２２０に記録できるように構成されている。このようにして記録媒体２２０に記録した第３映像信号２４３も、液晶画面１１１に表示することも可能である。すなわち映像信号再生部２２１が、記憶媒体２２０に記録された第３映像信号２４３を読み出す。そして、画像合成部２２２に送出する。画像合成部２２２は、第３映像信号２４３を画像出力部２２３に送出する。こうして、液晶画面１１１に第３映像信号２４３が表示される。

【0023】

以上のように構成した実施の形態１の撮像装置１００の動画撮影時の動作について、図４のフローチャートを用いて順に説明する。以下では、第１周期を１秒あたりＮフレーム（Ｎフレーム毎秒）、第２周期を１秒あたりＭフレーム（Ｍフレーム毎秒）とフレームレートで表記する。また、第２周期は第１周期のＫ倍であると呼称する。Ｋ＝Ｍ／Ｎ倍である。これは、フレームレートがＫ倍という意味である。例えば、第１周期が１／３０秒、第２周期が１／３００秒とする。この時、Ｎ＝３０、Ｍ＝３００、Ｋ＝１０となる。

【0024】

（ステップＳ１００）
ユーザが切替ボタン１１０を操作して撮影モードを選択する。そして、シャッターボタン１０３を押すと、動画撮影動作が開始される。すなわち、第１光学系１０１が形成する光学的な像を、第１撮像素子２０５が第１電気信号２３１に変換する。同様に、第２光学系１０２が形成する光学像を、第２撮像素子２０６が第２電気信号２３２に変換する。第１映像信号２４１のフレーム番号Ｉはゼロを初期値として与える。

【0025】

（ステップＳ１０１）
第１映像信号２４１のフレーム番号Ｉを１進める。

【0026】

（ステップＳ１０２）
第１映像信号処理部２０７が、第１電気信号２３１を第１周期（Ｎフレーム毎秒）で第１撮像素子２０５から読み出す。そして、ノイズの除去や増幅処理を行った第１映像信号２４１を、映像信号記録部２１３と画像合成部２２２に送出する。この際、第１映像信号２４１は、１枚の画像として送出されるので、これを第１映像信号２４１のＩフレーム目の画像と呼ぶ。

【0027】

（ステップＳ１０３）
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。これによって、ユーザは液晶画面１１１に表示されたモニタ画像を見ながら撮影できる。

【0028】

（ステップＳ１０４）
ステップＳ１０２と並行して、第２映像信号処理部２０８が第２電気信号２３１を第２周期（Ｍフレーム毎秒）で第２撮像素子２０６から読み出す。そして、ノイズの除去や増幅処理を行った第２映像信号２４２を映像信号記録部２１３に送出する。第２映像信号２４２も、１枚の画像として送出されるので、これを第２映像信号２４２のＪフレーム目の画像と呼ぶ。

【0029】

第２映像信号２４２は第２周期（Ｍフレーム毎秒）で読み出される。第２周期Ｍは、第１周期ＮのＫ倍としたので、フレームレートがＫ倍となる。よって、ステップＳ１０２にて第１映像信号２４１のＩフレーム目を読み出す間に、第２映像信号２４２はＫ回読み出す。すなわち、第２映像信号２４２のＪフレームから、Ｊ＋１フレーム、Ｊ＋２フレームと逐次読み出し、Ｊ＋Ｋ−１フレームまでのＫフレーム分の画像を読み出す。

【0030】

なお、第２映像信号２４２のフレーム番号Ｊは、Ｋ＝Ｍ／Ｎの関係から、Ｊ＝Ｋ×Ｉを開始値とする。また第２映像信号２４２は、画像合成部２２２に出力しなくても良い。ステップＳ１０３にて説明したように、画像合成部２２２は、第１映像信号２４１だけを選択するからである。

【0031】

（ステップＳ１０５）
映像信号記録部２１３は、第１映像信号２４１と第２映像信号２４２を記録媒体２２０に記録する。すなわち、ステップＳ１０２で取得した第１映像信号２４１のＩフレーム目の画像と、ステップＳ１０４で取得した第２映像信号２４２のＪ＝Ｋ×Ｉフレーム目からＪ＋Ｋ−１フレーム目までのＫ個の画像を記録する。これらは同一ファイルとして一括して記録してもよい。あるいは、第１映像信号２４１の画像と、第２映像信号２４２の画像を、それぞれ別ファイルとして記録しても良い。

【0032】

また、第１映像信号２４１と第２映像信号２４２のフレーム位置関係を示す索引データ（インデックスデータ）を作成する。この索引データも映像信号記録部２１３が記憶媒体２２０に記録する。すなわち、第１映像信号２４１のＩフレーム目と、第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までが、同一時刻に撮影されたフレームであることを記録する。索引データは、第１映像信号２４１の画像と同じファイルに記録しても良い。あるいは、独立した別ファイルとして記録してもよい。

【0033】

（ステップＳ１０６）
ユーザがシャッターボタン１０３を再度押した場合には、ステップＳ１０７に進んで動画撮影動作を終了する。シャッターボタン１０３の操作がない場合には、ステップＳ１０１に戻って動画撮影動作を継続する。

【0034】

（ステップＳ１０７）
動画撮影動作を終了する。

【0035】

ステップＳ１０１〜Ｓ１０６の処理を第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。これによって、第１映像信号２４１はＮ個のフレーム画像が取得される。一方、第２映像信号２４２はＫ×Ｎフレームの画像が取得される。よって、第２映像信号２４２のフレームレートは、Ｍ＝Ｋ×Ｎになる。すなわち、第２周期Ｍになる。

【0036】

また映像信号記録部２１３は、第１映像信号２４１を第１周期（Ｎフレーム毎秒）で記録媒体２２０へ記録する。また第２映像信号２４２を、第２周期（Ｍフレーム毎秒）で記録媒体２２０へ記録する。よって、第１映像信号２４１と第２映像信号２４２は、互いに異なるフレームレートで記録媒体２２０に記録される。

【0037】

なお、第１周期Ｎと第２周期Ｍの倍数Ｋは整数でなくても良い。例えば、第１周期は１／３０秒、第２周期は１／１００秒である場合には、Ｎ＝３０、Ｍ＝１００、Ｋ＝３．３３としても良い。

【0038】

また、上記の動画撮影動作では、第２映像信号２４２を連続して（途切れることなく）記録媒体２２０に記録したが、ユーザが指定したときだけ断続的に記録しても良い。すなわち、ユーザの指定が無い場合には、第１映像信号２４１だけを記録する。そして、ユーザが指定した時間帯だけ第２映像信号２４２を記録する。例えば、１００ｍ走を撮影する場合を考える。スタートラインに静止するまでは、被写体が高速で動くことはない。よって、第１映像信号２４１だけを記録する。いよいよスタートという段階で、ユーザ（撮影者）が開始を指定し、第２映像信号２４２の記録を開始する。被写体がゴールラインを超えた後、ユーザが終了を指定して第２映像信号２４２の記録を停止する。この間も第１映像寝具２４１は連続して途切れることなく記録する。このように、第２映像信号２４２を断続的に記録すれば、記憶媒体２２０に記録される第２映像信号２４２の記録容量が少なくなる。よって、より長時間の撮影が可能になるという利点がある。

【0039】

この時（断続的に第２映像信号２４２を記録する場合）、映像信号記録部２１３に所定時間のリングバッファを用意しておくとさらによい。すなわち、第２映像信号２４２の画像は、常にリングバッファに順次書き込む。ユーザが開始を指定した場合には、リングバッファに記録された所定時間前の画像から記録媒体２２０に記録する。例えば、ペット撮影などで、ペットが急に走りだした場合に、慌ててユーザが開始を指定する場合がある。このような場合でも、リングバッファに所定時間前の画像が記憶されているので、時間を遡って第２映像２４２を記録できるという利点がある。

【0040】

また、第１映像信号２４１または第２映像信号２４２に対して、動き検出を行い、第２映像信号２４２の記録を自動的に行うように構成してもよい。すなわち、動き量を監視して、動き量が激しい時だけ第２映像信号２４２を記録する。登録された人物やペットの位置を検出して、その位置を追尾しているような場合には、それら被写体の動き量で判断すると特に有効である。また、このような場合にリングバッファを設けると、さらに効果的である。

【0041】

さらにまた、動き量の大小に応じて第２周期を可変としてもよい。すなわち、第２映像信号２４２のフレームレートを変えてもよい。例えば、動き量が極端に大きい場合には、Ｋをさらに大きくＫ＝２０などとする。逆に動き量が大きくない場合には、Ｋ＝５とする。このようにして、第２周期（Ｍフレーム毎秒）を可変にしてもよい。

【0042】

なお、断続的に第２映像信号２４２を記録する場合、索引データにも第２映像信号２４２の状態（記録の有無）を記録する。例えば、第１映像信号２４１だけを記録している時には、第１映像信号２４１のフレーム画像に対応する第２映像信号２４２は無いと記録する。一方、第２映像信号２４２が同時に記録されている時、第１映像信号２４１のＩ番目のフレーム画像と、第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までが、同一時刻に撮影されたフレームであると記録する。

【0043】

次に、実施の形態１の撮像装置１００の動画再生時の動作について、図５のフローチャートを用いて順に説明する。

【0044】

（ステップＳ２００）
ユーザが切替ボタン１１０を操作して再生モードを選択する。さらに液晶画面１１１に表示されるメニューから再生ボタンにタッチすると、タッチパネル１１２により検出されて、再生動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝１を初期値として与える。

【0045】

（ステップＳ２０１）
映像信号再生部２２１は、記録媒体２２０から第１映像信号２４１のＩフレーム目の画像を読み出す。そして、画像合成部２２２にＩフレーム目の画像を送る。

【0046】

（ステップＳ２０２）
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。

【0047】

（ステップＳ２０３）
第１映像信号２４１のフレーム番号Ｉを１進める。

【0048】

（ステップＳ２０４）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンにタッチすると、Ｓ２１４に進み再生動作を終了する。さもなくば、ステップＳ２０５に進む。

【0049】

（ステップＳ２０５）
ユーザが液晶画面１１１に表示されるメニューからスロー再生ボタンにタッチすると、Ｓ２０６に進み、スロー再生動作を開始する。ユーザによる操作がなければ、通常の再生動作を継続するためステップＳ２０１に戻る。

【0050】

ステップＳ２０１〜Ｓ２０５の処理を第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。これによって、第１光学系１０１で撮影した動画を、撮影動作時と同じ速度で再生できる。すなわち、ユーザは一般的なムービーやデジタルカメラと同様の動画を、実時間で視聴できる。

【0051】

（ステップＳ２０６）
ユーザがスロー再生を指定した場合、第２映像信号２４２の記録状態を判定する。第２映像信号２４２が断続的に記録されている場合などを考慮しなくてはならないからである。そこで、映像信号再生部２２１は索引データを記録媒体２２０から読み出す。そして、再生中の第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ２０７に進む。存在しない場合は、「スロー再生はできません」と液晶画面１１１に表示して、ステップＳ２０１に戻る。

【0052】

（ステップＳ２０７）
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。

【0053】

（ステップＳ２０８）
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目の画像を読み出す。そして、画像合成部２２２にＪフレーム目の画像を送る。

【0054】

（ステップＳ２０９）
画像合成部２２２は、第２映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第２映像信号２４２のＪフレーム目の画像を液晶画面１１１に表示する。

【0055】

（ステップＳ２１０）
第２映像信号２４２のフレーム番号Ｊを１進める。

【0056】

（ステップＳ２１１）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンにタッチすると、Ｓ２１４に進みスロー再生動作（および再生動作）を終了する。さもなくば、ステップＳ２１２に進む。

【0057】

（ステップＳ２１２）
ユーザが液晶画面１１１に表示されるメニューから通常再生ボタンにタッチすると、ステップＳ２１３に進み、通常の再生動作に戻る。また、第２映像信号２４２のＪフレーム目が存在しない場合もステップＳ２１３に進み、通常の再生動作に戻る。さもなくば、スロー再生動作を継続するためステップＳ２０８に戻る。

【0058】

ステップＳ２０８〜Ｓ２１２の処理を第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。これによって、第２光学系１０２で撮影した動画を、撮影動作時の１／Ｋ倍速度でスロー再生できる。

【0059】

（ステップＳ２１３）
第１映像信号２４１のフレーム番号Ｉを、索引データを参照して設定する。すなわち、第２映像信号２４２のＪフレーム目の画像に対して、同時に撮影された第１映像信号２４１のフレーム画像の番号をＩとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｉ＝（Ｊ／Ｋ）により計算すれば良い。ここで、（Ａ）は実数Ａを超えない最大の整数を示すものとする。例えば、Ａ＝１０．２なら（Ａ）＝１０となる。第１映像信号のフレーム番号Ｉを設定した後、ステップＳ２０１に戻る。

【0060】

（ステップＳ２１４）
スロー再生動作および再生動作を終了する。

【0061】

以上説明したように、実施の形態１の撮像装置１００は、第１映像信号２４１と第２映像信号２４２を互いに異なるフレームレートで記録媒体２２０に記録する。すなわち映像信号記録部２１３は、第１映像信号２４１を第１周期（Ｎフレーム毎秒）で記録媒体２２０へ記録する。また第２映像信号２４２を、第２周期（Ｍフレーム毎秒）で記録媒体２２０へ記録する。これによって再生動作時には、第１映像信号２４１と第２映像信号２４２を選択して再生できる。

【0062】

また、第２映像信号２４２は第１周期（Ｎフレーム毎秒）のＫ倍の第２周期（Ｍフレーム毎秒）で記録する。よって、第２映像信号２４２の各フレーム画像の露光時間は１／Ｋ倍に短くなる。これにより、被写体が高速で移動している場合でも、第２映像信号２４２のフレーム画像では被写体ブレがほとんど無い。

【0063】

しかも第２映像信号はフレーム数がＫ倍の動画となる。よって、第１周期で第２映像信号２４２を再生するだけで、１／Ｋ倍速のスロー再生が実現できる。しかも、フレーム数がＫ倍となるので、第１映像信号２４１を用いた場合に比べて、単位時間当たりＫ倍のフレームを表示できる。よって、被写体の細かな動きを容易に確認できるという効果がある。

【0064】

また、第１映像信号２４１と第２映像信号２４２のフレーム位置関係を示す索引データを作成している。ユーザが第１映像信号２４１を再生中に、スロー再生動作を指定する。すると、索引データを参照して、直ちに対応する第２映像信号２４２のフレーム番号が設定される。よって、シームレスに第２映像信号２４２のスロー再生を開始できるという利点がある。

【0065】

なお、本実施の形態１においては、スロー再生時に第２映像信号２４２を第１周期（Ｎフレーム毎秒）で表示したが、この表示周期は任意に変えてもよい。例えば、毎秒２×Ｎフレーム表示してもよい。毎秒０．５フレームと固定してもよい。

【0066】

あるいは、ステップＳ２１０において、フレーム番号の更新をＪ＝Ｊ＋２などとしてもよい。すなわち、第２映像信号２４２の全てのフレーム画像を表示する必要はなく、間引き表示してもよい。

【0067】

なお、本実施の形態１のステップＳ２０６においては、第２映像信号２４２の記録状態を判定している。ここで、対応する第２映像信号２４２が存在しない場合には、ステップＳ２０１に戻って通常再生を継続しているが、第１映像信号２４１を用いてスロー再生を行っても良い。

【0068】

［実施の形態２］
実施の形態２の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。また、動画撮影動作も実施の形態１（図４）と同じであるので、説明を省略する。

【0069】

実施の形態２の撮像装置１００の高画質再生時の動作について、図６のフローチャートを用いて順に説明する。

【0070】

（ステップＳ３００）
ユーザが切替ボタン１１０を操作して再生モードを選択する。さらに液晶画面１１１に表示されるメニューから高画質再生ボタンにタッチすると、タッチパネル１１２により検出されて、高画質再生動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝０を初期値として与える。

【0071】

（ステップＳ３０１）
第１映像信号２４１のフレーム番号Ｉを１進める。

【0072】

（ステップＳ３０２）
第２映像信号２４２の記録状態を判定する。映像信号再生部２２１が索引データを記録媒体２２０から読み出す。そして、第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ３０６に進み第２映像信号２４２の積算画像生成と再生動作を行う。存在しない場合は、ステップＳ３０３に進み第１映像信号２４１の再生を行う。

【0073】

（ステップＳ３０３）
映像信号再生部２２１は、記録媒体２２０から第１映像信号２４１のＩフレーム目の画像を読み出す。そして、画像合成部２２２にＩフレーム目の画像を送る。

【0074】

（ステップＳ３０４）
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。この際、液晶画面１１１に「通常再生」とオーバーラップ表示させるとよい。

【0075】

（ステップＳ３０５）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、Ｓ３１１に進み高画質再生動作を終了する。ユーザの操作がない場合にはステップＳ３０１に戻って再生動作を継続する。

【0076】

以上のステップＳ３０１〜Ｓ３０５の処理を第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。

【0077】

（ステップＳ３０６）
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。

【0078】

（ステップＳ３０７）
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までのＫ個のフレーム画像を読み出す。そして、画像合成部２２２へ、読み出したＫ個のフレーム画像を送る。

【0079】

（ステップＳ３０８）
画像合成部２２２は、読み出したＫ個のフレーム画像を積算合成する。

【0080】

（ステップＳ３０９）
画像合成部２２２は、積算合成した画像を第３映像信号２４３（のＩフレーム目）の画像として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３（のＩフレーム目）の画像を液晶画面１１１に表示する。

【0081】

（ステップＳ３１０）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、Ｓ３１１に進み高画質再生動作を終了する。ユーザの操作がない場合にはステップＳ３０１に戻って再生動作を継続する。

【0082】

以上のステップＳ３０１〜Ｓ３１０の処理も第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。

【0083】

（ステップＳ３１１）
高画質再生動作を終了する。

【0084】

このようにして、第２映像信号２４２の積算画像を第３映像信号２４３として表示する。第２映像信号は第１周期（Ｎフレーム毎秒）のＫ倍の第２周期（Ｍフレーム毎秒）で記録する。第２映像信号２４２の各フレーム画像の露光時間は１／Ｋ倍に短くなる。よって、被写体が高速で移動している場合でも、第２映像信号２４２のフレーム画像では被写体ブレがほとんど無い。そこで、ステップＳ３０８においては、第２映像信号２４２の各フレーム間の動き検出を行い、動き量に応じた積算を行う。個々のフレーム画像の動きが少ない領域は、そのまま加算すればよい。被写体の動きが大きい部分は、動き量を考慮して被写体位置を修正しながら加算してもよい。あるいは、動き量に応じて重み付け加算してもよい。こうして、第１映像信号２４１に比べて、被写体ブレの小さい鮮明な画像を合成できる。

【0085】

あるいは、ステップＳ３０８においては、動き検出結果に応じて、積算する画像を選択することも可能である。例えば、第２映像信号２４２のＪフレーム目からＫ個のフレームのうち、先行するＫ１個のフレームでは動きが小さく、後続のＫ２個のフレームでは動きが大きい場合には、先行するＫ１個のフレームだけを積算しても良い。全フレームで動きが小さい場合には、Ｋ個全てのフレームを積算すればよい。全フレームで動きが大きいと判定した場合には、最もノイズの少ない画像を選択して、積算動作は行わずに第３映像信号２４３としてもよい。

【0086】

また積算画像は、ランダムノイズを消去できるという特徴がある。個々のフレーム画像には、ランダムに発生するノイズが含まれる。しかし、発生位置がランダムであるので、複数の画像を積算合成することでこれをキャンセルできる。また、フレーム間の画像比較からノイズと思われる画素を検出して、周りの画素の輝度や色情報を用いて補間することも可能である。こうすれば、固定的なノイズを減らすことも可能である。

【0087】

また、上述のような各種の積算方法から、最も高画質になる手法を逐次選びながら実施してもよい。あるいは、各積算方法を全て行って候補画像を複数作成してから最も高画質となる（すなわち被写体ブレが無く、ノイズが少ない）画像を選んでもよい。

【0088】

このように、ステップＳ３０８において各種の積算方法を選択可能となるのは、再生時に積算処理を行うからである。一般に、記録媒体２２０として用いるＳＤカードなどの半導体メモリでは、記録時と再生時の速度が大きく異なることが知られている。すなわち、一定量のデジタルデータを書き込む速度（記録速度）は、それを読み出す速度（再生速度）の２〜１０倍程度遅い。高フレームレートの第２周期（Ｍフレーム毎秒）で第２映像信号２４２を記録する場合、記録するだけで大半の時間を要することになる。しかし、実施の形態２では再生時に第２映像信号２４２を積算しているので、記録媒体２２０から高速に読み出すことができる。よって、十分な処理時間を確保することができるという利点がある。

【0089】

また第３映像信号２４３の再生フレームレートは、第１映像信号２４１と同じ第１周期（Ｎフレーム毎秒）に一致させているので、視聴対象を液晶画面１１１に限定する必要がない。通常、第１周期としては３０フレーム毎秒のフレームレートなどが常用される。この時、画像出力部２２３からの出力をＴＶやＰＣなどの外部機器に接続だけでよい。すると、第１映像信号２４１だけでなく第３映像信号２４３も視聴できる。すなわち、被写体ブレの小さい鮮明な画像を、多種多様な機器で視聴できるという利点がある。

【0090】

次に、実施の形態２の撮像装置１００の待機状態における動作について、図７のフローチャートを用いて順に説明する。

【0091】

（ステップＳ４００）
ユーザが切替ボタン１１０を操作して再生モードや撮影モードを選択した後、待機状態を長時間継続した場合、撮像装置１００は、待機時高画質記録動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝０を初期値として与える。

【0092】

（ステップＳ４０１）
第１映像信号２４１のフレーム番号Ｉを１進める。

【0093】

（ステップＳ４０２）
第２映像信号２４２の記録状態を判定する。映像信号再生部２２１が索引データを記録媒体２２０から読み出す。そして、第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ４０４に進み第２映像信号２４２の積算画像生成と記録動作を行う。存在しない場合は、ステップＳ４０３に進む。

【0094】

（ステップＳ４０３）
ユーザがシャッターボタン１０３や切替ボタン１１０を操作した場合、あるいはタッチパネル１１２を操作した場合には、もはや待機状態ではない。Ｓ４０９に進み待機時高画質記録動作を停止する。ユーザの操作がない場合にはステップＳ４０１に戻る。

【0095】

（ステップＳ４０４）
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。

【0096】

（ステップＳ４０５）
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までのＫ個のフレーム画像を読み出す。そして、画像合成部２２２へ、読み出したＫ個のフレーム画像を送る。

【0097】

（ステップＳ４０６）
画像合成部２２２は、読み出したＫ個のフレーム画像を積算合成する。積算方法はステップＳ３０８と同じ処理がよい。

【0098】

（ステップＳ４０７）
画像合成部２２２は、積算合成した画像を第３映像信号２４３の画像として映像信号記録部２１３に出力する。映像信号記録部２１３は、受け取った第３映像信号２４３を記録媒体２２０に記録する。

【0099】

また、第１映像信号２４１と第３映像信号２４３のフレーム位置関係を示す索引データ（インデックスデータ）を作成し、記憶媒体２２０に記録してもよい。すなわち、第１映像信号２４１のＩフレーム目と、第３映像信号２４３のＬフレーム目が同一時刻に撮影されたフレームであることを記録する。

【0100】

（ステップＳ４０８）
ユーザがシャッターボタン１０３や切替ボタン１１０を操作した場合、あるいはタッチパネル１１２を操作した場合には、もはや待機状態ではない。Ｓ４０９に進み待機時高画質記録動作を停止する。ユーザの操作がない場合にはステップＳ４０１に戻る。

【0101】

以上のステップＳ４０１〜Ｓ４０８の処理は、任意の時間をかけて実施すればよい。すなわち、「１秒間にＮ回繰返し実行する」といった制約はない。

【0102】

（ステップＳ４０９）
待機時高画質記録動作を終了する。

【0103】

このようにして、待機時に第２映像信号２４２の積算画像を合成し、第３映像信号２４３として記録媒体２２０に記録する。待機時には再生時よりさらに時間的な余裕があるので、より高画質な（被写体ブレがなく鮮明な）画像を記録できる。

【0104】

なお再生時には、索引データを参照して、記録済みの第３映像信号２４３の存在をまず確認し、存在する場合には映像信号再生部２２１がこれを読み出す。画像合成部２２２は読み出した第３映像信号２４３を選択して、画像出力部２２３に出力する。

【0105】

なお、本実施の形態２においては、Ｋ個のフレーム画像から１個の積算画像を合成したが、複数の積算画像を合成することも可能である。例えばＫフレームのうち、３フレームずつをシフトしながら積算してもよい。すなわち、ＪとＪ＋１とＪ＋２フレームを積算した画像、Ｊ＋１とＪ＋２とＪ＋３フレームを積算した画像、Ｊ＋Ｋ−３とＪ＋Ｋ−２とＪ＋Ｋ−１フレームを積算した画像、と順次合成してもよい。こうして、Ｋ個の画像からＫ−２個の積算画像を合成する。このようにすれば、被写体ブレが無く、しかもランダムノイズなどを消去した鮮明な複数の画像を合成できる。このＫ−２個の（複数の）積算画像を第３映像信号２４３として、記録媒体２２０に記録する。すると、実施の形態１と同様のスロー再生も可能になる。すなわち、スロー再生が選択された時には、第３映像信号２４３を、実施の形態１の第２映像信号２４２として取り扱えばよい。より鮮明でノイズの少ない画像を用いたスロー再生が実現できる。

【0106】

また、本実施の形態２では、動画撮影後の再生動作などについて説明を行ったが、本発明はそれに限られるものではない。静止画撮影や連写撮影時にも適用可能である。個々のフレーム画像を１枚の静止画とみなせばよい。

【0107】

［実施の形態３］
実施の形態３の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。また、動画撮影動作も実施の形態１（図４）と同じであるので、説明を省略する。

【0108】

実施の形態３の撮像装置１００のＨＤＲ再生時の動作について、図８のフローチャートを用いて順に説明する。

【0109】

（ステップＳ５００）
ユーザが切替ボタン１１０を操作して再生モードを選択する。さらに液晶画面１１１に表示されるメニューからＨＤＲ再生ボタンにタッチすると、タッチパネル１１２により検出されて、ＨＤＲ再生動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝０を初期値として与える。

【0110】

（ステップＳ５０１）
第１映像信号２４１のフレーム番号Ｉを１進める。

【0111】

（ステップＳ５０２）
映像信号再生部２２１は、記録媒体２２０から第１映像信号２４１のＩフレーム目の画像を読み出す。そして、画像合成部２２２にＩフレーム目の画像を送る。

【0112】

（ステップＳ５０３）
第２映像信号２４２の記録状態を判定する。映像信号再生部２２１が索引データを記録媒体２２０から読み出す。そして、第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ５０６に進みＨＤＲ画像生成と再生動作を行う。存在しない場合は、ステップＳ５０４に進み第１映像信号２４１の再生を行う。

【0113】

（ステップＳ５０４）
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。

【0114】

（ステップＳ５０５）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、ステップＳ５１２に進み再生動作を終了する。ユーザの操作がなければ、ステップＳ５０１に戻って再生動作を継続する。

【0115】

以上のステップＳ５０１〜Ｓ５０５の処理を第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。

【0116】

（ステップＳ５０６）
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。

【0117】

（ステップＳ５０７）
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までのＫ個のフレーム画像を読み出す。そして、画像合成部２２２へ、読み出したＫ個のフレーム画像を送る。

【0118】

（ステップＳ５０８）
画像合成部２２２は、読み出したＫ個のフレーム画像を積算合成する。積算方法は実施の形態２のステップＳ３０８と同じ処理がよい。

【0119】

（ステップＳ５０９）
画像合成部２２２は、第２映像信号２４２を積算合成した画像と、第１映像信号２４１のＩフレーム目の画像から、ＨＤＲ画像を合成する。

【0120】

（ステップＳ５１０）
合成したＨＤＲ画像を、第３映像信号２４３（のＩフレーム目）として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３（のＩフレーム目）の画像を液晶画面１１１に表示する。

【0121】

（ステップＳ５１１）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、ステップＳ５１２に進みＨＤＲ再生動作を終了する。ユーザの操作がない場合にはステップＳ５０１に戻ってＨＤＲ再生動作を継続する。

【0122】

以上のステップＳ５０１〜Ｓ５１１の処理も第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。

【0123】

（ステップＳ５１２）
高画質再生動作を終了する。

【0124】

ステップＳ５０９におけるＨＤＲ画像（広ダイナミックレンジ画像）の合成は、例えば以下のように行う。第１映像信号２４１のＩフレーム目の画像は、長時間露光画像である。第２映像信号２４２のＪフレーム目からＫ個の画像を積算合成した画像は、短時間露光画像である。両画像を輝度信号と色差信号に分離して、各画像の適正露出領域を求める。次に、各適正露出領域に対して諧調補正を行う。そして、適正露出領域だけを使って、両画像を合成する。このようにして、長時間露光画像の適正露出領域と、短時間露光画像の適正露出領域を合成して広ダイナミックレンジな画像、ＨＤＲ画像が合成できる。

【0125】

第１映像信号２４１と第２映像信号２４２は同時に撮影した画像であるので、被写体が高速で移動する場合であっても、被写体ブレの無いＨＤＲ画像を合成できる。しかもＨＤＲ動画として連続的に表示することも可能である。

【0126】

また、一般に露光時間が短い画像ではノイズ成分が残りやすく、特にランダムノイズが目立つ場合が多い。しかし本実施の形態３では、短時間露出画像として、第２映像信号２４２の積算合成画像を用いているので、積載合成時にノイズを消去できる。これによって、ＨＤＲ合成画像のノイズも少なくできる。

【0127】

また上記ＨＤＲ画像合成の処理過程においてもノイズが悪影響を及ぼす。ノイズ成分が顕著な画像では、適正露出範囲を誤る場合が多い。また、ノイズの輝度に誘引されて諧調補正を失敗する場合がある。しかし本実施の形態３では短時間露出画像のノイズが少ないので、適正露出範囲や諧調補正を精度良く実施でき、より鮮明なＨＤＲ合成画像が得られる。

【0128】

なお実施の形態２と同様に、待機時にＨＤＲ画像合成処理を行っても良い。この場合には、画像合成部２２２がＨＤＲ画像を生成し、第３映像信号２４３として映像信号記録部２１３に出力する。映像信号記録部２１３は、受け取った第３映像信号２４３を記録媒体２２０に記録する。

【0129】

さらに、実施の形態２において説明したように、例えば３フレームずつシフトしながら積算してもよい。これによって、Ｋ−２個の積算合成画像が生成できるので、それらを第１映像信号２４１のＩフレーム目の画像と個別に合成してもよい。すると、実施の形態１と同様のスロー再生も可能になる。すなわち、ＨＤＲ画像のスロー再生が可能になる。

【0130】

また、本実施の形態３では、動画撮影後の再生動作などについて説明を行ったが、本発明はそれに限られるものではない。静止画撮影や連写撮影時にも適用可能である。個々のフレーム画像を１枚の静止画とみなせばよい。

【0131】

［実施の形態４］
実施の形態４の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。

【0132】

実施の形態４の撮像装置１００のＨＤＲ撮影動作時の動作について、図９のフローチャートを用いて順に説明する。

【0133】

（ステップＳ６００）
ユーザが切替ボタン１１０を操作して撮影モードを選択する。さらに液晶画面１１１に表示されるメニューからＨＤＲ撮影ボタンにタッチすると、ＨＤＲ撮影モードに切り変わる。そして、シャッターボタン１０３を押すと、ＨＤＲ撮影動作が開始される。すなわち、第１光学系１０１が形成する光学的な像を、第１撮像素子２０５が第１電気信号２３１に変換する。同様に、第２光学系１０２が形成する光学像は、第２撮像素子２０６が第２電気信号２３２に変換する。第１映像信号２４１のフレーム番号Ｉはゼロを初期値として与える。

【0134】

（ステップＳ６０１）
第１映像信号２４１のフレーム番号Ｉを１進める。

【0135】

（ステップＳ６０２）
第１映像信号処理部２０７が、第１電気信号２３１を第１周期（Ｎフレーム毎秒）で第１撮像素子２０５から読み出す。そして、ノイズの除去や増幅処理を行い、第１映像信号２４１のＩフレーム目の画像を、画像合成部２２２に送出する。

【0136】

（ステップＳ６０３）
ステップＳ６０２と並行して、第２映像信号処理部２０８が第２電気信号２３１を第２周期（Ｍフレーム毎秒）で第２撮像素子２０６から読み出す。そして、ノイズの除去や増幅処理を行い、第２映像信号２４２のＪフレームからＪ＋Ｋ−１フレームまでのＫフレーム分の画像を画像合成部２２２に送出する。なお、Ｊ＝Ｋ×Ｉである。

【0137】

（ステップＳ６０４）
画像合成部２２２は、受け取ったＫ個のフレーム画像を積算合成する。積算方法は実施の形態２のステップＳ３０８と同じ処理がよい。

【0138】

（ステップＳ６０５）
画像合成部２２２は、第２映像信号２４２のＫ個のフレーム画像を積算合成した画像と、第１映像信号２４１のＩフレーム目の画像から、ＨＤＲ画像を合成する。そして、合成したＨＤＲ画像を、第３映像信号２４３（のＩフレーム目）として画像出力部２２３と映像信号記録部２１３に出力する。ＨＤＲ画像の合成方法は、実施の形態３のステップＳ５０９と同じ処理がよい。

【0139】

（ステップＳ６０６）
画像出力部２２３は、受け取った第３映像信号２４３（のＩフレーム目）の画像を液晶画面１１１に表示する。

【0140】

（ステップＳ６０７）
映像信号記録部２１３は、受け取った第３映像信号２４３を記録媒体２２０に記録する。 また、第１映像信号２４１と第３映像信号２４３のフレーム位置関係を示す索引データ（インデックスデータ）を作成し、記憶媒体２２０に記録してもよい。すなわち、第１映像信号２４１のＩフレーム目と、第３映像信号２４３のＬフレーム目が同一時刻に撮影されたフレームであることを記録する。

【0141】

（ステップＳ６０８）
ユーザがシャッターボタン１０３を再度押した場合には、ステップＳ６０９に進んでＨＤＲ撮影動作を終了する。シャッターボタン１０３の操作がない場合には、ステップＳ６０１に戻ってＨＤＲ撮影動作を継続する。

【0142】

（ステップＳ６０９）
ＨＤＲ撮影動作を終了する。

【0143】

以上のように本実施の形態４においては、撮影時に積算画像の合成とＨＤＲ画像合成処理を実施し、その結果を液晶画面１１１に表示している。よって、ユーザがＨＤＲ画像の合成結果を確認しながら撮影を継続できるという利点がある。

【0144】

また、合成したＨＤＲ画像を第３映像信号２４３として記録媒体２２０に記録する。この第３映像信号２４３は、第１映像信号２４１と同じ第１周期のフレームレート（Ｎフレーム毎秒）で記録する。よって、記憶媒体２２０の容量を圧迫することなく長時間のＨＤＲ録画が可能になる。

【0145】

なお、ステップＳ６０５をスキップして（実施しないで）、第２映像信号２４２の積算画像による高画質動画を、第３映像信号２４３として表示および記録してもよい。

【0146】

また、本実施の形態４では、動画撮影時の動作などについて説明を行ったが、本発明はそれに限られるものではない。静止画撮影や連写撮影時にも適用可能である。個々のフレーム画像を１枚の静止画とみなせばよい。

【0147】

［実施の形態５］
実施の形態５の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。

【0148】

実施の形態５の撮像装置１００のＡＦ（オートフォーカス）動作について、図１０のフローチャートを用いて順に説明する。

【0149】

（ステップＳ７００）
ユーザが切替ボタン１１０を操作して撮影モードを選択すると、ＡＦ動作を開始する。

【0150】

（ステップＳ７０１）
第２撮像素子２０６は第２光学系１０２が形成する光学的な像を第２電気信号２３２に変換する。第２映像信号処理部２０８は、この第２電気信号２３２を第２周期で第２撮像素子２０６から読み出す。

【0151】

（ステップＳ７０２）
第２映像信号処理部２０８は、第２映像信号２４２の任意領域を切り出して第２コントラスト検出部２１０に送出する。第２コントラスト検出部２１０は、受け取った画像のコントラスト値を計算する。

【0152】

（ステップＳ７０３）
第２コントラスト検出部２１０が計算したコントラスト値などから、第２光学系１０２の合焦状態を判定する。合焦していると判定した場合は、ステップＳ７０５へ進む。合焦状態が確定していなければ、ステップＳ７０４に進む。

【0153】

（ステップＳ７０４）
第２フォーカス駆動部２１２を制御して、第２フォーカスレンズ２０４を移動させる。そして、ステップＳ７０１に戻る。

【0154】

以上のようにして、ステップＳ７０１〜Ｓ７０４の処理を第２周期で繰返し実行する。すなわち、１秒間にＭ回繰返し実行する。こうして、合焦サーチ動作を実行する。なお、合焦サーチ動作のアルゴリズムとしては、ウォブリング（微小振幅の振動）を使って、逐次コントラスト値を比較する山登り方式がよい。あるいは、一定区間をサーチして複数のコントラスト値を求めた後、コントラスト値のピーク位置を予測する方法でもよい。

【0155】

（ステップＳ７０５）
合焦サーチ動作が完了したら、第２フォーカス駆動部２１２を制御して、第２フォーカスレンズ２０４を合焦位置に移動させる。同時に、第１フォーカス駆動部２１１を制御して、第１フォーカスレンズ２０３も合焦位置に移動させる。

【0156】

（ステップＳ７０６）
ユーザが切替ボタン１１０を操作して電源ＯＦＦまたは再生モードを選択すると、ステップＳ７０７に進みＡＦ動作を終了する。ユーザの操作がない場合には、ステップＳ７０１に戻ってＡＦ動作を継続する。

【0157】

（ステップＳ７０７）
ＡＦ動作を終了する。

【0158】

以上のように本実施の形態５においては、第２光学系１０２のＡＦ動作を第２周期（Ｍフレーム毎秒）で行っているので、被写体の高速移動による合焦位置変化にも瞬時に対応できる。しかも第１周期（Ｎフレーム毎秒）で撮影している第１光学系１０１についても被写体の高速移動に伴う合焦ずれを解消できるという効果がある。すなわち、第１映像信号２４１のＩフレーム目の画像を露光中に、第２光学系１０２のＡＦ動作はＫ倍高速な第２周期で実施される。よって、第１映像信号２４１のＩフレーム目の露光が完了する前に、ＡＦサーチ動作を完了させて、第１フォーカス駆動部２１１を制御し、第１フォーカスレンズ２０３も第１光学系１０１の合焦位置に移動できる。

【0159】

なお、第１周期と第２周期の関係は、必ずしもＭ＞Ｎとする必要はなく、Ｍ＜Ｎでもよい。例えば、太陽などの強い光源によって、背景の一部が非常に明るい場合に、光源と反対向きの被写体（例えば顔）が暗くなる場合がある。このような場合に被写体の顔に合焦させたい場合には、Ｍ＜Ｎとして第２光学系を長時間露光としてもよい。ＡＦの動作速度は遅くなるが、露光時間を長くできるので暗い顔にも正確に合焦することができる。

【0160】

なお、第１コントラスト検出部２０９は、通常の動作を行えばよい。第１フォーカス駆動部２１１は、第１コントラスト検出部２０９の指令に従う。そして、第２コントラスト検出部２１０からの指令があった時だけ、これを優先すればよい。

【産業上の利用可能性】

【0161】

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に好適である。

【符号の説明】

【0162】

１００ 撮像装置
１０１ 第１光学系
１０２ 第２光学系
１０３ シャッターボタン
１１０ 切替ボタン
１１１ 液晶画面
１１２ タッチパネル
２０１ 第１ズームレンズ
２０２ 第２ズームレンズ
２０３ 第１フォーカスレンズ
２０４ 第２フォーカスレンズ
２０５ 第１撮像素子
２０６ 第２撮像素子
２０７ 第１映像信号処理部
２０８ 第２映像信号処理部
２０９ 第１コントラスト検出部
２１０ 第２コントラスト検出部
２１１ 第１フォーカス駆動部
２１２ 第２フォーカス駆動部
２１３ 映像信号記録部
２２０ 記録媒体
２２１ 映像信号再生部２２１
２２２ 画像合成部
２２３ 画像出力部
２３１ 第１電気信号
２３２ 第２電気信号
２４１ 第１映像信号
２４２ 第２映像信号
２４３ 第３映像信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】