(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024086776
(43)【公開日】2024-06-28
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 23/741 20230101AFI20240621BHJP
H04N 23/60 20230101ALI20240621BHJP
H04N 23/667 20230101ALI20240621BHJP
G06T 5/50 20060101ALI20240621BHJP
G06T 5/90 20240101ALI20240621BHJP
【ＦＩ】
H04N23/741
H04N23/60 500
H04N23/667
G06T5/50
G06T5/90
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2024060289
(22)【出願日】2024-04-03
(62)【分割の表示】P 2023022132の分割
【原出願日】2016-07-01
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】清水 宏
(72)【発明者】
【氏名】石山 明
(72)【発明者】
【氏名】吉澤 和彦
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】鈴木 基之
(72)【発明者】
【氏名】渡辺 光信
(57)【要約】
【課題】撮像環境に対応させた高品質なＨＤＲ合成画像を生成すること。
【解決手段】被写体を撮像し、被写体の画像信号を生成する映像入力部と、画像信号に基づいて被写体の撮像画像を生成する映像信号処理部と、画像信号に基づいて被写体の動き情報を検出し、動き情報に基づいて、映像入力部に対し露光量を異ならせて被写体を複数回撮像させ、映像信号処理部に対し、露光量が異なる複数の画像信号に基づいて被写体のＨＤＲ合成画像を生成させる制御部と、を備える。
【選択図】図５
【解決手段】被写体を撮像し、被写体の画像信号を生成する映像入力部と、画像信号に基づいて被写体の撮像画像を生成する映像信号処理部と、画像信号に基づいて被写体の動き情報を検出し、動き情報に基づいて、映像入力部に対し露光量を異ならせて被写体を複数回撮像させ、映像信号処理部に対し、露光量が異なる複数の画像信号に基づいて被写体のＨＤＲ合成画像を生成させる制御部と、を備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
被写体を撮像し、前記被写体の画像信号を生成する映像入力部と、
前記画像信号に基づいて前記被写体の撮像画像を生成する映像信号処理部と、
焦点距離に基づいて、前記映像入力部に対し露光量を異ならせて前記被写体の画像信号を複数回生成させ、前記映像信号処理部に対し、露光量が異なる複数の前記画像信号に基づいて前記被写体のＨＤＲ合成画像を生成させる制御部と、
を備え、
前記映像入力部は、第１解像度の画像信号を生成する第１の映像入力部と、前記第１の映像入力部とは異なる第２解像度の画像信号を生成する第２の映像入力部と、を備え、
前記制御部は、
前記焦点距離を第１の閾値と比較し、前記焦点距離が前記第１の閾値未満であると判定した場合に、前記第１の映像入力部に対し、露光量を異ならせて前記被写体の画像信号を複数回生成させ、前記映像信号処理部に対し、前記第１の映像入力部で生成された前記画像信号に基づいて前記第１解像度の撮像画像を生成させ、前記第１解像度の撮像画像を用いて前記ＨＤＲ合成画像を生成させる、第１の撮像モードと、
前記焦点距離を第１の閾値と比較し、前記焦点距離が前記第１の閾値以上であると判定した場合に、前記第１の映像入力部及び前記第２の映像入力部に対し、露光量を異ならせて前記被写体の画像信号を生成させ、前記映像信号処理部に対し、前記第１の映像入力部で生成された前記第１解像度の画像信号から前記第１解像度の撮像画像を生成させ、前記第２の映像入力部で生成された前記第２解像度の画像信号から前記第２解像度の撮像画像を生成させ、さらに、前記第２解像度の撮像画像を前記第１解像度に変換させるか、または、前記第１解像度の撮像画像を前記第２解像度に変換させ、前記第１解像度の撮像画像と前記第１解像度に変換させた撮像画像とを用いて前記ＨＤＲ合成画像を生成させるか、または、前記第２解像度に変換させた撮像画像と前記第２解像度の撮像画像とを用いて前記ＨＤＲ合成画像を生成させる、第２の撮像モードと、
を備える、
撮像装置。
前記画像信号に基づいて前記被写体の撮像画像を生成する映像信号処理部と、
焦点距離に基づいて、前記映像入力部に対し露光量を異ならせて前記被写体の画像信号を複数回生成させ、前記映像信号処理部に対し、露光量が異なる複数の前記画像信号に基づいて前記被写体のＨＤＲ合成画像を生成させる制御部と、
を備え、
前記映像入力部は、第１解像度の画像信号を生成する第１の映像入力部と、前記第１の映像入力部とは異なる第２解像度の画像信号を生成する第２の映像入力部と、を備え、
前記制御部は、
前記焦点距離を第１の閾値と比較し、前記焦点距離が前記第１の閾値未満であると判定した場合に、前記第１の映像入力部に対し、露光量を異ならせて前記被写体の画像信号を複数回生成させ、前記映像信号処理部に対し、前記第１の映像入力部で生成された前記画像信号に基づいて前記第１解像度の撮像画像を生成させ、前記第１解像度の撮像画像を用いて前記ＨＤＲ合成画像を生成させる、第１の撮像モードと、
前記焦点距離を第１の閾値と比較し、前記焦点距離が前記第１の閾値以上であると判定した場合に、前記第１の映像入力部及び前記第２の映像入力部に対し、露光量を異ならせて前記被写体の画像信号を生成させ、前記映像信号処理部に対し、前記第１の映像入力部で生成された前記第１解像度の画像信号から前記第１解像度の撮像画像を生成させ、前記第２の映像入力部で生成された前記第２解像度の画像信号から前記第２解像度の撮像画像を生成させ、さらに、前記第２解像度の撮像画像を前記第１解像度に変換させるか、または、前記第１解像度の撮像画像を前記第２解像度に変換させ、前記第１解像度の撮像画像と前記第１解像度に変換させた撮像画像とを用いて前記ＨＤＲ合成画像を生成させるか、または、前記第２解像度に変換させた撮像画像と前記第２解像度の撮像画像とを用いて前記ＨＤＲ合成画像を生成させる、第２の撮像モードと、
を備える、
撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
撮像装置、撮像制御方法及び撮像プログラムに係り、特に複数のカメラの露光量を変えて撮像した画像を合成してＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成画像を生成する撮像装置、撮像制御方法及び撮像プログラムに関する。
【背景技術】
【0002】
被写体像を、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の電子デバイスにより電気信号に変換し、変換した電気信号をメモリに記録するデジタルカメラの普及が著しい。また、最近では、デジタルカメラが搭載された携帯電話、スマートフォン、タブレット端末等の情報端末機器も広く普及している。
【0003】
デジタルカメラ等に用いられる撮像素子は、フィルムと比較するとダイナミックレンジが非常に狭いため、撮像条件によっては、いわゆる黒つぶれや白とびを生じ、画質が著しく劣化することがある。このような欠点を解消するために、露出を変えつつ複数枚の画像を撮像し、これらを合成する時に、露出を長くした画像から暗部を抽出し、露出を短くした画像から明部を抽出することで、白とびや黒つぶれを抑えた幅広いダイナミックレンジを得るＨＤＲ合成機能が注目されている。
【0004】
例えば特許文献１には、２つの撮像素子を有し、一方は高解像度で露光量小画像を撮像し、他方は低解像度で露光量大画像を露出時間を短くして撮像することにより、手振れ等によるノイズを低減させたＨＤＲ合成画像を作成する映像生成装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００７－３３６５６１公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１に記載の技術は、露光量の多い画像を撮像する際の露出時間を短くすることにより、手振れ等のノイズを低減することを目的としているが、被写体の動き、明るさ、手振れ等の撮像環境に応じたより好ましい画質を得るためのＨＤＲ合成方法については考慮されていない。また、２つの撮像素子の有効な利用方法についても言及されていない。
【0007】
そこで、本発明の目的は、撮像環境に対応させた高品質なＨＤＲ合成画像を生成する撮像装置、撮像制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【0009】
本発明の代表的な実施の形態による撮像装置は、被写体を撮像し、被写体の画像信号を生成する映像入力部と、画像信号に基づいて被写体の撮像画像を生成する映像信号処理部と、画像信号に基づいて被写体の動き情報を検出し、動き情報に基づいて、映像入力部に対し露光量を異ならせて被写体を複数回撮像させ、映像信号処理部に対し、露光量が異なる複数の画像信号に基づいて被写体のＨＤＲ合成画像を生成させる制御部と、を備える。
【発明の効果】
【0010】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【0011】
すなわち、本発明の代表的な実施の形態によれば、撮像環境に対応させた高品質なＨＤＲ合成画像を生成する撮像装置、撮像制御方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施の形態１に係る撮像装置１００の一例を示す外観図である。
【図2】本発明の実施の形態１に係る撮像装置の構成の一例を示すブロック図である。
【図3】本発明の実施の形態１に係る撮像装置の構成の一例を示すブロック図である。
【図4】本発明の実施の形態１に係る映像信号処理部及び映像入力部の構成の一例を示すブロック図である。
【図5】本発明の実施の形態１の撮像方法に係るフローチャート図である。
【図6】本発明の実施の形態１に係る、動き情報検出ステップ、撮像ステップ、撮像画像生成ステップ等における処理の一例を示すフローチャート図である。
【図7】本発明の実施の形態１に係る、動き情報検出ステップ、撮像ステップ、撮像画像生成ステップ等における処理の一例を示すフローチャート図である。
【図8】本発明の実施の形態１に係る撮像についてのタイミングチャートを示す図である。
【図9】本発明の実施の形態１に係るＨＤＲ合成処理を模式的に示す図である。
【図10】本発明の実施の形態１に係るＨＤＲ合成処理を模式的に示す図である。
【図11】本発明の実施の形態１に係るＨＤＲ合成処理を模式的に示す図である。
【図12】本発明の実施の形態２に係る撮像装置の構成の一例を示すブロック図である。
【図13】本発明の実施の形態２に係る撮像装置の構成の一例を示すブロック図である。
【図14】本発明の実施の形態２の撮像方法に係るフローチャート図である。
【図15】本発明の実施の形態２の撮像方法に係るフローチャート図である。
【図16】本発明の実施の形態２に係るＨＤＲ合成処理を模式的に示す図である。
【図17】本発明の実施の形態２に係るＨＤＲ合成処理を模式的に示す図である。
【図18】本発明の実施の形態２に係るＨＤＲ合成処理を模式的に示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態の例を、図面を用いて説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって、適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成されても良い。
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の外観の一例を示す図であり、図１（Ａ）は撮像装置の平面図、図１（Ｂ）は撮像装置１００の背面図である。図２は、本発明の実施の形態１に係る撮像装置の構成の一例を示すブロック図である。図３は、本発明の実施の形態１に係る撮像装置のソフトウェア構成の一例を示す図である。
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の外観の一例を示す図であり、図１（Ａ）は撮像装置の平面図、図１（Ｂ）は撮像装置１００の背面図である。図２は、本発明の実施の形態１に係る撮像装置の構成の一例を示すブロック図である。図３は、本発明の実施の形態１に係る撮像装置のソフトウェア構成の一例を示す図である。
【0014】
図１は、スマートフォンに搭載された撮像装置について例示しているが、これ以外にも、撮像装置が、例えば、携帯電話、タブレット端末等のＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ノート型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置に搭載されてもよい。また、撮像装置がデジタルスチルカメラで構成されてもよい。
【0015】
撮像装置１００は、図１、図２に示すように、主制御部（制御部）１０１、システムバス１０２、メモリ部１０４、ストレージ部１１０、映像処理部１２０、音声処理部１３０、操作部１４０、通信処理部１５０、センサ部１６０、拡張インタフェース部１７０、表示部１２１等を備えている。
【0016】
システムバス１０２は、撮像装置１００の各構成要素を接続するデータ通信路である。、主制御部１０１と撮像装置１００内の各部との間では、システムバス１０２を介してデータの出入力が実施される。
【0017】
ストレージ部１１０は、例えばフラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性メモリで構成され、撮像装置１００に電源が供給されていない状態でも情報が記憶される。
【0018】
ストレージ部１１０は、例えば図３に示すように、撮像装置１００の基本動作を実行させる基本動作プログラムを記憶する基本動作プログラム記憶領域１１０ａ、カメラ機能を実現させるカメラ機能プログラムを記憶するカメラ機能プログラム記憶領域１１０ｂ、音声認識機能を実現させる音声認識プログラムを記憶する音声認識プログラム記憶領域１１０ｃ、タイミング報知機能を実現させるタイミング報知プログラムを記憶するタイミング報知プログラム記憶領域１１０ｄ、その他のプログラム等を記憶するその他プログラム記憶領域１１０ｅ、撮像装置１００の動作設定値、ユーザー情報等の各種情報を記憶する各種情報／データ記憶領域１１０ｆ等を備えている。
【0019】
また、ストレージ部１１０は、撮像装置１００で撮像した撮像画像、動画像、後述するＨＤＲ合成画像、これらのサムネイル画像等を、例えば各種情報／データ記憶領域１１０ｆに記憶する。また、ストレージ部１１０は、インターネット上のアプリケーションサーバからダウンロードされた新規アプリケーションプログラムを、例えばその他プログラム記憶領域１１０ｅに記憶する。
【0020】
また、ストレージ部１１０は、後述する被写体の動きを判定する際の基準となる第１の動き閾値、第１の動き閾値より大きい第２の動き閾値を記憶する。これらの動き閾値は、例えば、実験等により適宜設定される。
【0021】
メモリ部１０４では、ストレージ部１１０の各部に記憶された各種プログラムが展開される。各種プログラムが主制御部１０１により実行されると、メモリ部１０４に、それぞれのプログラムの機能を実現する各種実行部が構成される。例えば、基本動作プログラム記憶領域１１０ａに記憶された基本動作プログラムがメモリ部１０４で展開されると、メモリ部１０４には、撮像装置１００の基本動作を実現する基本動作実行部１０４ａが構成される。また、カメラ機能プログラム記憶領域１１０ｂに記憶されたカメラ機能プログラムがメモリ部１０４で展開されると、メモリ部１０４には、カメラ機能を実現するカメラ機能実行部１０４ｂが構成される。また、音声認識機能プログラム記憶領域１１０ｃに記憶された音声認識機能プログラムがメモリ部１０４で展開されると、メモリ部１０４には、音声認識機能を実現する音声認識機能実行部１０４ｃが構成される。また、タイミング報知機能プログラム記憶領域１１０ｄに記憶されたタイミング報知機能プログラムがメモリ部１０４で展開されると、メモリ部１０４には、タイミング報知機能を実現するタイミング報知機能実行部１０４ｄが構成される。また、メモリ部１０４は、必要に応じてデータが一時的に記憶される一時記憶領域１０４ｅ等を有する。
【0022】
なお、基本動作実行部１０４ａ、カメラ機能実行部１０４ｂ、音声認識機能実行部１０４ｃ、タイミング報知機能実行部１０４ｄ等の各部が、これら各部と同様の機能を有するハードウェアで構成されてもよい。また、メモリ部１０４は、主制御部１０１と一体で構成されてもよい。
【0023】
表示部１２１は、図１（Ａ）に示すように、第３の映像入力部１２５が設けられた撮像装置１００の表面１００ａに設けられている。表示部１２１は、例えば液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示デバイスであり、映像信号処理部１２２で処理された後述するＨＤＲ合成画像、合成前の撮像画像、動画像、サムネイル画像等を表示する。
【0024】
音声処理部１３０は、音声出力部１３１、音声信号処理部１３２、音声入力部１３３、で構成されている。音声出力部１３１は、スピーカであり、例えば図１（Ａ）に示すように、撮像装置１００の表面１００ａの表示部１２１の周辺部に設けられている。音声出力部１３１は、音声信号処理部１３２で処理された音声信号に基づいて音声を発する。音声入力部１３３は、マイクであり、例えば図１（Ａ）、（Ｂ）に示すように、撮像装置１００の側面であって、表示部１２１に対して音声出力部１３１と反対側に設けられている。音声入力部１３３は、撮像装置１００のユーザー等の音声の入力を受け付け、入力された音声を音声信号に変換する。音声入力部１３３は、入力された音声信号を音声信号処理部１３２に出力する。なお、音声入力部１３３は、撮像装置１００と別体で構成されてもよく、この場合、音声入力部１３３と撮像装置１００とが、有線通信又は無線通信により接続されてもよい。
【0025】
操作部１４０は、撮像装置１００に対する操作指示の入力を行う指示入力部である。本実施の形態では、例えば図１（Ａ）、（Ｂ）に示すように、表示部１２１に重ねて配置された、タッチパネル１４０ａ、撮像装置１００の側面に設けられた操作キー１４０ｂ、撮像装置１００の表面１００ａの表示部１２１の近傍に設けられた操作キー１４０ｃで構成されている。ただし、これら全てを備えている必要はなく、これらのうちのいずれかを備えていればよい。また、タッチパネル１４０ａは、表示部１２１と一体で構成されてもよい。また、操作部１４０は、後述する拡張インタフェース部１７０に接続される、図示しないキーボード等で構成されてもよい。また、操作部１４０は、有線通信または無線通信を介して接続される別体の情報端末機器で構成されてもよい。
【0026】
通信処理部１５０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信部１５１、移動体電話網通信部１５２、近接無線通信部１５３で構成されている。ＬＡＮ通信部１５１は、例えば、インターネットの無線通信用アクセスポイントを経由して接続される無線通信を介してデータの送受信を行う。移動体電話網通信部１５２は、移動体電話通信網の基地局と接続され、基地局を経由した無線通信を介して、電話通信（通話）及びデータの送受信を行う。近接無線通信部１５３は、近接無線に対応するリーダ／ライタとの間でデータの送受信を行う。ＬＡＮ通信部１５１、移動体電話網通信部１５２、近接無線通信部１５３は、例えば、図示しない符号回路、復号回路、アンテナ等の各種装置を備えている。また、通信処理部１５０は、赤外線通信を実施する赤外線通信部等を備えてもよい。
【0027】
センサ部１６０は、撮像装置１００の状態を検出するセンサ群である。本実施の形態では、センサ部１６０は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１６１、加速度センサ１６２、ジャイロセンサ１６３、地磁気センサ１６４、光量センサ１６５、近接センサ１６６で構成されている。なお、センサ部１６０は、これら以外のセンサを備えていてもよい。
【0028】
ＧＰＳ受信部１６１は、ＧＰＳを利用して複数の衛星から送信されるＧＰＳ信号を受信する。ＧＰＳ受信部１６１で受信されたＧＰＳ信号は、例えば主制御部１０１に出力され、主制御部１０１では、ＧＰＳ信号に基づいて撮像装置１００の位置が検出される。
【0029】
加速度センサ１６２は、撮像装置１００に掛かる加速度（例えば重力加速度）の大きさ、方向を測定する。加速度センサ部１３３で測定された加速度の大きさ、方向の測定値は、加速度情報として主制御部１０１に出力され、主制御部１０１では、加速度情報に基づいて、撮像装置１００に掛かる加速度が検出される。
【0030】
ジャイロセンサ１６３は、撮像装置１００を使用者が動かした場合等に発生する撮像装置１００の角速度を測定する。ジャイロセンサ部１６３で測定された角速度は、例えば角速度情報として主制御部１０１に出力される。主制御部１０１では、角速度情報に基づいて、撮像装置１００の角速度が検出される。
【0031】
地磁気センサ１６４は、撮像装置１００に掛かる地磁気の大きさ、方向を測定する。地磁気センサ１６４で測定された地磁気の大きさ、方向の測定値は、地磁気情報として主制御部１０１に出力される。主制御部１０１では、地磁気情報に基づいて撮像装置１００に掛かる地磁気が検出される。
【0032】
光量センサ１６５は、撮像装置１００の周囲の明るさを測定する。光量センサ１６５は、例えば、被写体を撮像する際に被写体周辺の光量を測定する。光量センサ１６５で測定された光量の測定値は、光量情報として主制御部１０１に出力される。主制御部１０１では、光量情報に基づいて撮像装置１００の周囲の光量が検出される。
【0033】
近接センサ１６６は、撮像装置１００の周囲の物との近接状況を測定する。近接センサ１６６は、例えば、撮像装置１００の周囲の物との距離、方向を測定する。近接センサ１６６で検出された近接状況の測定値は、近接状況情報として主制御部１０１に出力される。主制御部１０１では、近接状況情報に基づいて、撮像装置１００の周囲の物との近接状況を検出する。
【0034】
拡張インタフェース部１７０は、撮像装置１００の機能を拡張するためのインタフェース群である。拡張インタフェース部１７０は、例えば、映像／音声インタフェース１７１、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース１７２、メモリインタフェース１７３を備えている。
【0035】
映像／音声インタフェース１７１は、外部の映像／音声出力機器と接続され、映像／音声出力機器から出力された映像信号／音声信号の入力を受け付ける。また、映像／音声インタフェース１７１は、映像／音声入力機器への映像信号／音声信号の出力等を行う。ＵＳＢインタフェース１７２は、キーボード等のＵＳＢ機器と接続され、ＵＳＢ機器との間で情報の入出力を行う。メモリインタフェース１７３は、メモリカード等のメモリ媒体と接続され、メモリ媒体との間でデータの入出力を行う。
【0036】
次に、映像入力部１２０、映像信号処理部１２２について説明する。図４は、本発明の実施の形態１に係る映像入力部及び映像信号処理部の構成の一例を示すブロック図である。なお、図４では、第３の映像入力部１２５を省略している。
【0037】
映像入力部１２０は、例えば図２、図４に示すように、第１の映像入力部１２３、第２映像入力部１２４、第３映像入力部１２５、露光制御部１２６を備えている。第１の映像入力部１２３及び第２の映像入力部１２４は、例えば図１（Ｂ）に示すように、撮像装置１００の裏面１００ｂに並んで設けられている。第３の映像入力部１２５は、図１（Ａ）に示すように、撮像装置１００の表面１００ａにおける表示部１２１の近傍に設けられている。
【0038】
なお、図１（Ｂ）では、第１の映像入力部１２３及び第２の映像入力部１２４は、撮像装置１００の背面１００ｂに設けられているが、例えば、撮像装置１００の表面１００ａに設けられてもよい。また、第１の映像入力部１２３及び第２の映像入力部１２４は、一体で構成されてもよい。
【0039】
第１の映像入力部１２３は、例えば図４に示すように、第１の撮像光学系１２３ａ及び第１の撮像素子１２３ｂを備えている。第２の映像入力部１２４は、例えば図４に示すように、第２の撮像光学系１２４ａ及び第２の撮像素子１２４ｂを備えている。
【0040】
第１の撮像光学系１２３ａ及び第２の撮像光学系１２４ａは、例えば、被写体からの入射光を集光する複数のレンズ、絞り（虹彩絞り等）、機械式又は電子式のシャッタ等で構成されている。第１の撮像素子１２３ｂ及び第２の撮像素子１２４ｂは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等で構成されている。
【0041】
第１の映像入力部１２３及び第２の映像入力部１２４は、被写体を撮像し、被写体の画像信号を生成する。具体的には、第１の撮像素子１２３ｂのそれぞれの画素では、第１の撮像光学系１２３ａからの光が電荷として蓄えられることにより、入力光が電気信号に変換される。また、第２の撮像素子１２４ｂのそれぞれの画素でも、第２の撮像光学系１２４ａからの光が電荷として蓄えられることにより、入力光が電気信号に変換される。このように、第１の撮像素子１２３及び第２の撮像素子１２４では、画像信号としての電気信号が生成される。
【0042】
本実施の形態では、第１の撮像素子１２３ｂは第１の解像度（高解像度）の撮像素子であり、第２の撮像素子１２４ｂは、第１の撮像素子１２３ｂよりも解像度が低い第２の解像度（低解像度）の撮像素子である。
【0043】
露光制御部１２６は、主制御部１０１からの指示に基づいて、第１の撮像光学系１２３ａ及び第２の撮像光学系１２４ａの絞り、シャッタ速度を規定し、第１の撮像素子１２３ｂ及び第２の撮像素子１２４ｂに入力される露光量を制御する。
【0044】
映像信号処理部１２２は、画像信号に基づいて被写体の撮像画像を生成する。映像信号処理部１２２は、例えば図４に示すように、第１の画像処理部１２２ａ、第２の画像処理部１２２ｂ、画像合成部１２２ｃ、画像出力部１２４ｄを備えている。
【0045】
第１の画像処理部１２２ａは、第１の撮像素子１２３ｂと接続され、第１の撮像素子１２３ｂから出力された電気信号（画像信号）を所定のビットの階調幅を持ったデジタル画像データに変換する。そして、第１の画像処理部１２２ａは、デジタル画像データに対し画像処理を行い、ＨＤＲ画像合成に適した中間画像データを生成する。第１の画像処理部１２２ａは、生成した中間画像データを画像合成部１２２ｃに出力する。また、第１の画像処理部１２２ａは、合成前の撮像画像をストレージ部１１０に出力する。
【0046】
第２の画像処理部１２２ｂは、第２の撮像素子１２４ｂと接続され、第２の撮像素子１２４ｂから出力された電気信号（画像信号）を所定のビットの階調幅を持ったデジタル画像データに変換する。そして、第２の画像処理部１２２ｂは、デジタル画像データに対し画像処理を行い、ＨＤＲ画像合成に適した中間画像データを生成する。第２の画像処理部１２２ｂは、生成した中間画像データを画像合成部１２２ｃに出力する。また、第２の画像処理部１２２ｂは、合成前の撮像画像をストレージ部１１０に出力する。
【0047】
画像合成部１２２ｃは、第１の画像処理部１２２ａ及び第２の画像処理部１２２ｂから入力された中間画像データを合成して、撮像画像としてのＨＤＲ合成画像を生成する。画像合成部１２２ｃは、生成したＨＤＲ合成画像をストレージ部１１０に出力する。
【0048】
画像出力部１２２ｄは、画像合成部１２２ｃで生成されたＨＤＲ合成画像、合成前の撮像画像、動画像、これらのサムネイル画像等を表示部１２１に出力し表示させる。
【0049】
フラッシュ部１２９は、例えば図１（Ｂ）に示すように、撮像装置１００の裏面１００ｂの第１の映像入力部１２３、第２の映像入力部１２４に隣接して設けられている。フラッシュ部１２９は、例えば、第１の映像入力部１２３、第２の映像入力部１２４が撮像する際に、被写体にフラッシュ光を照射する。
【0050】
主制御部（制御部）１０１は、マイクロプロセッサユニット等のコンピュータで構成されている。主制御部１０１は、メモリ部１０４に構成された各実行部１００ａ～１００ｄを実行することにより、各プログラムの機能を実現し、撮像装置１００の各構成要素を動作させる。
【0051】
主制御部１０１は、映像入力部１２０で生成された画像信号に基づいて被写体の動き情報を検出する。また、主制御部１０１は、動き情報に基づいて、映像入力部１２０に対し露光量を異ならせて被写体を複数回撮像させる。具体的には、主制御部１０１は、動き情報を、第１の動き閾値及び第２の動き閾値と比較し、その結果に基づいて後述する各撮像モードに切り替えて被写体を撮像させる。また、主制御部１０１は、画像信号、あるいは撮像画像に基づいて、第１の映像入力部１２３及び第２の映像入力部１２４に関する露光量、シャッター速度、絞り等の露出情報を生成する。主制御部１０１は、映像入力部１２０に出力する。また、主制御部１０１は、映像信号処理部１２２に対し、露光量が異なる複数の画像信号に基づいて被写体のＨＤＲ合成画像を生成させる。
【0052】
次に、本実施の形態に係る撮像方法について説明する。本実施の形態では、例えば、図３に示すカメラ機能プログラム１１０ｂ等の各種プログラムがメモリ部１０４に展開され、主制御部１０１が、カメラ機能実行部１０４ｂ等の各実行部を実行することにより、撮像に係る動作が実施される。
【0053】
図５は、本発明の実施の形態１の撮像方法に係るフローチャート図である。図５に示すように、撮像する際には、映像入力ステップＳ１０、動き情報検出ステップＳ２０、撮像ステップＳ３０、ＨＤＲ合成画像生成ステップＳ４０が実施される。
【0054】
操作部１４０から撮像の指示がなされると、被写体の撮像に係る動作を開始する。映像入力ステップＳ１０では、映像入力部１２０は、被写体を撮像し、被写体の画像信号を生成する。第１の映像入力部１２３及び第２の映像入力部１２４は、被写体を撮像し、第１の撮像素子１２３ｂ及び第２の撮像素子１２４ｂにおいて、画像信号としての電気信号を生成する。第１の撮像素子１２３ｂは、生成した電気信号を、映像信号処理部１２２の第１の画像処理部１２２ａに出力し、第２の撮像素子１２４ｂは、生成した電気信号を、映像信号処理部１２２の第２の画像処理部１２２ｂに出力する。なお、ここでは、第１の映像入力部１２３及び第２の映像入力部１２４のいずれもが、被写体を撮像する場合について説明したが、いずれかの映像入力部のみが被写体を撮像するようにしてもよい。そして、動き情報検出ステップＳ２０に移行する。
【0055】
図６及び図７は、本発明の実施の形態１に係る、動き情報検出ステップ、撮像ステップ、撮像画像生成ステップ等における処理の一例を示すフローチャート図である。動き情報検出ステップＳ２０では、主制御部１０１は、画像信号に基づいて被写体の動き情報を検出する。具体的には、映像信号処理部１２２の第１の画像処理部１２２ａは、第１の撮像素子１２３ｂから出力された電気信号を主制御部１０１に出力する。映像信号処理部１２２の第２の画像処理部１２２ｂは、第２の撮像素子１２４ｂから出力された電気信号を主制御部１０１に出力する。なお、第１の画像処理部１２２ａ、第２の画像処理部１２２ｂは、電気信号に基づいて撮像画像を生成し、生成した撮像画像を主制御部１０１に出力してもよい。
【0056】
主制御部１０１は、入力されたこれらの電気信号（画像信号）に基づいて、被写体の動き情報（例えば動きベクトル）を検出する。主制御部１０１は、これらの画像信号に対し、周知のブロックマッチング法等を用いることにより被写体の動きベクトルを検出する。なお、主制御部１０１は、入力された撮像画像に基づいて被写体の動き情報を検出してもよい。そして、撮像ステップＳ３０に移行する。
【0057】
撮像ステップＳ３０では、映像入力部１２０は、動き情報検出ステップＳ２０で検出された動き情報に基づいて、露光量を異ならせて被写体を複数回撮像する。撮像ステップＳ３０では、まずステップＳ１０２が実施される。ステップＳ１０２では、動き情報に基づいて被写体の動きが判定される。具体的には、主制御部１０１は、動き情報検出ステップＳ２０で検出した動きベクトルを、第１の動き閾値及び第２の動き閾値と比較することにより、被写体の動きを判定する。詳しくは、主制御部１０１は、ストレージ部１１０に記憶された第１の動き閾値及び第２の動き閾値をメモリ１０４に読み出し、動きベクトルを第１の動き閾値及び第２の動き閾値と比較する。
【0058】
［静止画撮像モード］
ステップＳ１０２において、動きベクトルは第１の動き閾値未満であると、主制御部１０１が判定した場合には、ステップＳ１１３が実施される。すなわち、主制御部１０１は、被写体がほとんど動いていないものと判断し、静止画撮像モードに切り替える。
ステップＳ１０２において、動きベクトルは第１の動き閾値未満であると、主制御部１０１が判定した場合には、ステップＳ１１３が実施される。すなわち、主制御部１０１は、被写体がほとんど動いていないものと判断し、静止画撮像モードに切り替える。
【0059】
図８は、本発明の実施の形態１に係る撮像についてのタイミングチャートを示す図である。図９は、本発明の実施の形態１に係るＨＤＲ合成処理を模式的に示す図である。ステップＳ１１３では、第１の映像入力部１２３が、例えば図８（Ａ）に示すように、露光量を異ならせて被写体を連続して撮像する。具体的には、主制御部１０１は、第１の撮像素子１２３ｂ又は第２の撮像素子１２４ｂから出力された電気信号（画像信号）に基づいて、それぞれの撮像における露光量（例えば、シャッタ速度、絞り値等）を決定する。主制御部１０１は、例えば図８（Ａ）に示すように、１回目の撮像における露光量を、低照度側の暗い部分が黒つぶれしないような露光量ＬＡ０に設定し、２回目の撮像における露光量を、例えば高照度側の明るい部分が白とびしないよう、ＬＡ０より少ない露光量ＬＡ１に設定する（ＬＡ０＞ＬＡ１）。主制御部１０１は、決定した露光量に関する情報を露光情報として映像入力部１２０に出力する。映像入力部１２０では、入力された露光情報に基づいて、第１の映像入力部１２３は、１回目は露光量ＬＡ０で被写体を撮像し、２回目は露光量ＬＡ１で被写体を撮像する。
【0060】
第１の撮像素子１２３ｂは、被写体を撮像するごとに、例えば図９に示すような撮像画像に関する電気信号を生成する。第１の撮像素子１２３ｂは、被写体を撮像するごとに、例えば図９に示すような露光量ＬＡ０の電気信号（Ａ０）、露光量ＬＡ１の電気信号（Ａ１）を生成し、生成した電気信号（Ａ０、Ａ１）を映像信号処理部１２２の第１の画像処理部１２２ａに出力する。なお、ここでは、露光量を異ならせて２回被写体を撮像する場合を取り上げているが、例えば３回以上被写体を撮像してもよい。
【0061】
一方、第２の映像入力部１２４は、例えば被写体の動画（Ｂｍ）を撮像する。また、第２映像入力部１２４は、例えば、絞り値を変更することにより、被写界深度を異ならせて被写体を撮像してもよい。第２の撮像素子１２４ｂは、動画等に関する画像信号を映像信号処理部１２２の第２の画像処理部１２２ｂに出力する。そして、ＨＤＲ合成画像生成ステップＳ４０に移行する。
【0062】
ＨＤＲ合成画像生成ステップＳ４０では、ステップＳ１１４が実施される。ステップＳ１１４では、ステップＳ１１３で生成された、露光量の異なる複数の画像信号（Ａ０、Ａ１）に基づいて、第１の解像度のＨＤＲ合成画像が生成される。具体的には、映像信号処理部１２２の第１の画像処理部１２２ａは、第１の撮像素子１２３ｂから入力された電気信号（Ａ０、Ａ１）のそれぞれを、所定のビットの階調幅を持ったデジタル画像データに変換する。そして、第１の画像処理部１２２ａは、それぞれのデジタル画像データに対し画像処理を行い、ＨＤＲ画像合成に適したそれぞれの中間画像データを生成する。そして、第１の画像処理部１２２ａは、それぞれの中間画像データを画像合成部１２２ｃに出力する。また、第１の画像処理部１２２ａは、電気信号（Ａ０、Ａ１）に基づいて、それぞれの合成前の撮像画像を生成する。また、第１の画像処理部１２２ａは、合成前の撮像画像のそれぞれに対応するサムネイル画像を生成する。
【0063】
第２の画像処理部１２２ｂは、第２の映像入力部１２４から入力された、画像信号に基づいて動画像を生成し、あるいは、被写界深度を異ならせた撮像画像を生成する。また、第２の画像処理部１２２ｂは、生成した動画像、撮像画像のそれぞれに対応するサムネイル画像を生成する。
【0064】
画像合成部１２２ｃは、第１の画像処理部１２２ａから入力されたそれぞれの中間画像データを重み付き合成することにより、例えば図９に示すような第１の解像度（高解像度）のＨＤＲ合成画像（撮像画像）（Ａ０＋Ａ１）を生成する。このように生成されたＨＤＲ合成画像（Ａ０＋Ａ１）は、暗い部分の黒つぶれや、明るい部分の白とびが解消され、ユーザーが肉眼で見た景色に近い画像となっている。また、画像合成部１２２ｃは、生成したＨＤＲ合成画像に対応するサムネイル画像を生成する。
【0065】
なお、第１の画像処理部１２２ａ及び第２の画像処理部１２２ｂは、高解像度の画像信号を低解像度の画像信号に変換し、画像合成部１２２ｃが低解像度のＨＤＲ合成画像を生成してもよい。そして、ステップＳ１１５に移行する。
【0066】
ステップＳ１１５では、ステップＳ１１４で生成されたＨＤＲ合成画像、合成前の撮像画像、動画像、サムネイル画像等がストレージ部１１０に記憶される。具体的には、画像合成部１２２ｃは、生成したＨＤＲ合成画像（Ａ０＋Ａ１）、サムネイル画像をストレージ１１０に出力し、ストレージ１１０は、入力されたＨＤＲ画像合成（Ａ０＋Ａ１）、サムネイル画像を記憶する。また、第１の画像処理部１２２ａ、第２の画像処理部１２２ｂは、合成前の撮像画像、動画像、サムネイル画像をストレージ１１０に出力し、ストレージ１１０は、入力された合成前の撮像画像、動画像、サムネイル画像を記憶する。これらの処理が実施されると、ＨＤＲ合成画像生成ステップＳ４０の処理が完了し、ステップＳ１０４に移行する。ステップＳ１０４については後述する。
【0067】
［微動撮像モード］
図１０、図１１は、本発明の実施の形態１に係るＨＤＲ合成処理を模式的に示す図である。撮像ステップＳ３０のステップＳ１０２において、動きベクトルは第１の動き閾値以上であると、主制御部１０１が判定した場合には、ステップＳ１２３又はステップＳ１３３が実施される。詳しくは、動きベクトルは第１の動き閾値以上、第２の動き閾値以下であると、主制御部１０１が判定した場合には、ステップＳ１２３が実施される。すなわち、主制御部１０１は、被写体が静止画撮像モードと比較すれば動きが大きいが、後述する動体撮像モードよりは動きが小さいものと判断し、微動撮像モードに切り替える。
図１０、図１１は、本発明の実施の形態１に係るＨＤＲ合成処理を模式的に示す図である。撮像ステップＳ３０のステップＳ１０２において、動きベクトルは第１の動き閾値以上であると、主制御部１０１が判定した場合には、ステップＳ１２３又はステップＳ１３３が実施される。詳しくは、動きベクトルは第１の動き閾値以上、第２の動き閾値以下であると、主制御部１０１が判定した場合には、ステップＳ１２３が実施される。すなわち、主制御部１０１は、被写体が静止画撮像モードと比較すれば動きが大きいが、後述する動体撮像モードよりは動きが小さいものと判断し、微動撮像モードに切り替える。
【0068】
ステップＳ１２３では、主制御部１０１は、第１の映像入力部１２３及び第２の映像入力部１２４に対し、露光量を異ならせて被写体を同時に撮像させた後、第２の映像入力部１２４に対し、露光量を異ならせて被写体を撮像させる。具体的には、主制御部１０１は、例えば図８（Ｂ）に示すように、第１の映像入力部１２３の撮像における露光量を、低照度側の暗い被写体が黒つぶれしないような露光量ＬＡ０に設定する。言い換えれば、第１の映像入力部１２３は適切露出で被写体を撮像する。なお、ここでの適切露出とは、低照度側の暗い被写体を十分な露光量で撮像することをいう。また、主制御部１０１は、第２の映像入力部１２４による１回目の撮像における露光量を、例えば、低照度側が黒つぶれするような露光量と高照度側が白とびするような露光量の間の露光量ＬＢ０に設定し、第２の映像入力部１２４による２回目の撮像における露光量を、例えば明るい部分が白とびしないよう、ＬＢ０より少ない露光量ＬＡ１に設定する（ＬＡ０＞ＬＢ０＞ＬＢ１）。
【0069】
また、第２の撮像素子１２４ｂの解像度が第１の撮像素子１２３ｂよりも低いので、１画素当りの面積が大きくなり露光量が増えるので、第２の映像入力部１２４は、第１の映像入力部１２３よりも短い撮像時間（速いシャッタースピード）でも同じ露光量を得ることができる。したがって、第２の映像入力部１２４における撮像間隔（時間差）は、第１の映像入力部１２３より短くできるので、ＨＤＲ合成処理を行った際における被写体の微動によるノイズの発生を低く抑えられる。
【0070】
主制御部１０１は、決定した露光量に関する情報を露光情報として映像入力部１２０に出力する。映像入力部１２０では、入力された露光情報に基づいて、第１の映像入力部１２３は、露光量ＬＡ０で被写体を撮像し、第２の映像入力部１２４は、１回目は露光量ＬＢ０で被写体を撮像し、２回目は露光量ＬＢ１で被写体を撮像する。
【0071】
第１の撮像素子１２３ｂは、例えば図１０（Ａ）に示すような露光量ＬＡ０の電気信号（Ａ０）を生成し、生成した電気信号（Ａ０）を映像信号処理部１２２の第１の画像処理部１２２ａに出力する。
【0072】
第２の撮像素子１２４ｂは、被写体を撮像するごとに、例えば図１０（Ａ）に示すような露光量ＬＢ０の電気信号（Ｂ０）、露光量ＬＢ１の電気信号（Ｂ１）を生成し、生成した電気信号（Ｂ０、Ｂ１）を映像信号処理部１２２の第２の画像処理部１２２ｂに出力する。そして、ＨＤＲ合成画像生成ステップＳ４０に移行する。
【0073】
ＨＤＲ合成画像生成ステップＳ４０では、まず、ステップＳ１２４が実施される。ステップＳ１２４では、ステップＳ１２３で生成された電気信号の撮像画像の解像度が変換される。具体的には、主制御部１０１は、映像信号処理部１２２に対し、第１の映像入力部１２３で生成された画像信号の解像度を第２の解像度に変換させ、第２の映像入力部１２４で生成された画像信号の解像度を第１の解像度に変換させる。
【0074】
詳しくは、主制御部１０１は、第１の画像処理部１２２ａに対し、第１の撮像素子１２３ｂで生成された電気信号（Ａ０）の解像度を、第１の解像度から第２の解像度に変換させ、第２の画像処理部１２２ｂに対し、第２の撮像素子１２４ｂで生成された電気信号（Ｂ０）の解像度を、第２の解像度から第１の解像度に変換させる。より詳しくは、第１の画像処理部１２２ａは、第１の解像度の電気信号（Ａ０）に対して解像度変換を実施し、図１０（Ｂ）に示す、第２の解像度の電気信号（Ａ０ｄ）を生成する。第２の画像処理部１２２ｂは、第２の解像度の電気信号（Ｂ０）に対して解像度変換を実施し、例えば補間処理等の処理を実施することにより、図１０（Ａ）に示す、第１の解像度の電気信号（Ｂ０ｕ）を生成する。そして、ステップＳ１２５に移行する。
【0075】
ステップＳ１２５では、ステップＳ１２４で生成された、複数の画像信号（Ａ０、Ｂ０、Ｂ１、Ａ０ｄ、Ｂ０ｕ）に基づいて、第１の解像度のＨＤＲ合成画像、第２の解像度のＨＤＲ合成画像が生成される。具体的には、第１の画像処理部１２２ａは、第１の解像度の電気信号（Ａ０）、第２の解像度の電気信号（Ａ０ｄ）のそれぞれを、所定のビットの階調幅を持ったデジタル画像データに変換する。そして、第１の画像処理部１２２ａは、それぞれのデジタル画像データに対し画像処理を行い、ＨＤＲ画像合成に適したそれぞれの中間画像データを生成する。そして、第１の画像処理部１２２ａは、それぞれの中間画像データを画像合成部１２２ｃに出力する。また、第１の画像処理部１２２ａは、電気信号（Ａ０、Ａ０ｄ）に基づいて、それぞれの合成前の撮像画像を生成する。また、第１の画像処理部１２２ａは、合成前の撮像画像のそれぞれに対応するサムネイル画像を生成する。
【0076】
第２の画像処理部１２２ｂは、第２の解像度の電気信号（Ｂ０、Ｂ１）、第１の解像度の電気信号（Ｂ０ｕ）のそれぞれを、所定のビットの階調幅を持ったデジタル画像データに変換する。そして、第２の画像処理部１２２ｂは、それぞれのデジタル画像データに対し画像処理を行い、ＨＤＲ画像合成に適したそれぞれの中間画像データを生成する。そして、第２の画像処理部１２２ｂは、それぞれの中間画像データを画像合成部１２２ｃに出力する。また、第２の画像処理部１２２ｂは、電気信号（Ｂ０、Ｂ１、Ｂ０ｕ）に基づいて、それぞれの合成前の撮像画像を生成する。また、第２の画像処理部１２２ｂは、生成した合成前の撮像画像のそれぞれに対応するサムネイル画像を生成する。
【0077】
画像合成部１２２ｃは、第１の画像処理部１２２ａから出力されたそれぞれの中間画像データと、第２の画像処理部１２２ｂから出力されたそれぞれの中間画像データとを重み付き合成することにより第１の解像度のＨＤＲ合成画像、第２の解像度のＨＤＲ合成画像を生成する。
【0078】
具体的には、画像合成部１２２ｃは、電気信号（Ａ０）の中間画像データ及び電気信号（Ｂ０ｕ）の中間画像データに基づいて、例えば図１０（Ａ）に示す、第１の解像度のＨＤＲ合成画像（Ａ０＋Ｂ０ｕ）を生成する。また、画像合成部１２２ｃは、電気信号（Ａ０ｄ）の中間画像データ及び電気信号（Ｂ０）の中間画像データに基づいて、例えば図１０（Ｂ）に示す、第２の解像度のＨＤＲ合成画像（Ａ０ｄ＋Ｂ０）を生成する。また、画像合成部１２２ｃは、電気信号（Ｂ０）の中間画像データ及び電気信号（Ｂ１）の中間画像データに基づいて、例えば図１１（Ａ）に示す、第２の解像度のＨＤＲ合成画像（Ｂ０＋Ｂ１）を生成する。また、画像合成部１２２ｃは、電気信号（Ａ０ｄ）の中間画像データ及び電気信号（Ｂ０、Ｂ１）の中間画像データに基づいて、例えば図１１（Ｂ）に示す、第２の解像度のＨＤＲ合成画像（Ａ０ｄ＋Ｂ０＋Ｂ１）を生成する。また、画像合成部１２２ｃは、生成したＨＤＲ合成画像に対応するサムネイル画像を生成する。
【0079】
なお、ユーザーがＨＤＲ合成画像を後に閲覧する際に、これらの画像から目視でもっともよいと判断されるものをユーザーが選択し、ＨＤＲ合成処理を施した最終処理結果の画像として取り扱ってもよい。そして、ステップＳ１２６に移行する。
【0080】
ステップＳ１２６では、ステップＳ１２５で生成されたＨＤＲ合成画像、合成前の撮像画像、サムネイル画像等がストレージ部１１０に記憶される。具体的には、画像合成部１２２ｃは、生成したＨＤＲ合成画像（Ａ０＋Ｂ０ｕ）、（Ａ０ｄ＋Ｂ０）、（Ｂ０＋Ｂ１）、（Ａ０ｄ＋Ｂ０＋Ｂ１）、サムネイル画像をストレージ１１０に出力し、ストレージ１１０は、入力されたＨＤＲ画像合成（Ａ０＋Ｂ０ｕ）、（Ａ０ｄ＋Ｂ０）、（Ｂ０＋Ｂ１）、（Ａ０ｄ＋Ｂ０＋Ｂ１）、サムネイル画像を記憶する。また、第１の画像処理部１２２ａ、第２の画像処理部１２２ｂは、合成前の撮像画像、サムネイル画像をストレージ１１０に出力し、ストレージ１１０は、入力された合成前の撮像画像、サムネイル画像を記憶する。これらの処理が実施されると、ＨＤＲ合成画像生成ステップＳ４０の処理が完了し、ステップＳ１０４に移行する。ステップＳ１０４については後述する。
【0081】
［動体撮像モード］
撮像ステップＳ３０のステップＳ１０２において、主制御部１０１が、動きベクトルは第２の動き閾値を超えていると判定した場合には、ステップＳ１３３が実施される。すなわち、主制御部１０１は、被写体が微動撮像モードよりも動きが大きいものと判断し、動体撮像モードに切り替える。
撮像ステップＳ３０のステップＳ１０２において、主制御部１０１が、動きベクトルは第２の動き閾値を超えていると判定した場合には、ステップＳ１３３が実施される。すなわち、主制御部１０１は、被写体が微動撮像モードよりも動きが大きいものと判断し、動体撮像モードに切り替える。
【0082】
ステップＳ１３３では、ステップＳ１２３と同様の処理が実施される。すなわち、ステップＳ１２３では、主制御部１０１は、第１の映像入力部１２３及び第２の映像入力部１２４に対し、露光量を異ならせて被写体を同時に撮像させる。第１の映像入力部１２３は、露光量ＬＡ０で被写体を撮像し、例えば図１０（Ａ）、（Ｂ）に示すような第１の解像度の撮像画像についての電気信号（Ａ０）を生成する。第２の映像入力部１２４は、露光量ＬＢ０で被写体を撮像し、例えば図１０（Ａ）、（Ｂ）に示すような第２の解像度の撮像画像についての電気信号（Ｂ０）を生成する。なお、動体撮像モードでは、微動撮像モードのように、第２の映像入力部１２４が時間差をおいて被写体を撮像しない。これは、被写体の動きが大きいため、時間差をおいて撮像すると、生成されたＨＤＲ合成画像における被写体振れが顕著になるからである。
【0083】
第１の撮像素子１２３ｂは、露光量ＬＡ０の電気信号（Ａ０）を第１の画像処理部１２２ａに出力する。第２の撮像素子１２４ｂは、露光量ＬＢ０の電気信号（Ｂ０）を第２の画像処理部１２２ｂに出力する。そして、ＨＤＲ合成画像生成ステップＳ４０に移行する。
【0084】
ＨＤＲ合成画像生成ステップＳ４０では、まず、ステップＳ１３４が実施される。ステップＳ１３４では、前述のステップＳ１２４と同様の処理が実施される。すなわち、ステップＳ１３４では、第１の画像処理部１２２ａは、第１の解像度の電気信号（Ａ０）に対して解像度変換を実施し、例えば図１０（Ｂ）に示す、第２の解像度の電気信号（Ａ０ｄ）を生成する。第２の画像処理部１２２ｂは、第２の解像度の電気信号（Ｂ０）に対して解像度変換を実施し、図１０（Ａ）に示す、第１の解像度の電気信号（Ｂ０ｕ）を生成する。そして、ステップＳ１３５に移行する。
【0085】
ステップＳ１３５では、前述のステップＳ１２５とほぼ同様の処理が実施される。すなわち、ステップＳ１３５では、ステップＳ１３４で生成された、複数の画像信号（Ａ０、Ｂ０、Ａ０ｄ、Ｂ０ｕ）に基づいて、第１の解像度のＨＤＲ合成画像、第２の解像度のＨＤＲ合成画像が生成される。具体的には、画像合成部１２２ｃは、図１０（Ｂ）に示す第１の解像度のＨＤＲ合成画像（Ａ０＋Ｂ０ｕ）及び図１０（Ａ）に示す第２の解像度のＨＤＲ合成画像（Ａ０ｄ＋Ｂ０）を生成する。また、第１の画像処理部１２２ａ、第２の画像処理部１２２ｂは、合成前の撮像画像、合成前の撮像画像のそれぞれに対応するサムネイル画像を生成する。
【0086】
なお、ユーザーがＨＤＲ合成画像を後に閲覧する際に、これらの画像から目視でもっともよいと判断されるものをユーザーが選択し、ＨＤＲ合成処理を施した最終処理結果の画像として取り扱ってもよい。そして、ステップＳ１２６に移行する。
【0087】
ステップＳ１２６では、ステップＳ１３５で生成されたＨＤＲ合成画像、合成前の撮像画像、サムネイル画像等がストレージ部１１０に記憶される。具体的には、画像合成部１２２ｃは、生成したＨＤＲ合成画像（Ａ０＋Ｂ０ｕ）、（Ａ０ｄ＋Ｂ０）、サムネイル画像をストレージ１１０に出力し、ストレージ１１０は、入力されたＨＤＲ画像合成（Ａ０＋Ｂ０ｕ）、（Ａ０ｄ＋Ｂ０）、サムネイル画像を記憶する。また、第１の画像処理部１２２ａ、第２の画像処理部１２２ｂは、合成前の撮像画像、サムネイル画像をストレージ１１０に出力し、ストレージ１１０は、入力された合成前の撮像画像、サムネイル画像を記憶する。これらの処理が実施されると、ＨＤＲ合成画像生成ステップＳ４０の処理が完了し、ステップＳ１０４に移行する。
【0088】
ステップＳ１０４では、表示部１２１に表示させる画像等が選択される。具体的には、それぞれの撮像モードの各ステップＳ１１４、Ｓ１２５、Ｓ１３５で生成され、ストレージ部１１０に記憶された画像等（ＨＤＲ合成画像、合成前の撮像画像、動画像）の中から、表示部１２１に表示させる画像等が選択される。
【0089】
例えば、ストレージ部１１０は、記憶している画像等に関する情報（例えばサムネイル画像）を画像出力部１２２ｄに出力する。画像出力部１２２ｄは、入力されたサムネイル画像を表示部１２１に出力する。表示部１２１は、入力されたサムネイル画像を表示する。ユーザーは表示されたサムネイル画像から、表示部１２１に表示させる画像等を選択する。そして、ステップＳ１０５に移行する。
【0090】
ステップＳ１０５では、選択されたサムネイル画像に対応する画像等が表示される。具体的には、画像出力部１２２ｄは、例えば、ユーザーが選択したサムネイル画像に対応する画像等をストレージ部１１０から出力する。画像出力部１２２ｄは、読み出した画像等を表示部１２１に出力する。表示部１２１は、入力された画像等を表示する。
【0091】
なお、ユーザーは、表示部１２１に表示させる画像等を任意に選択してもよいし、表示させる優先順位を事前に撮像装置１００に登録し、この順位に従って画像等が順次表示されるようにしてもよい。
【0092】
また、表示部１２１に表示される画像等は、表示部１２１の解像度に合わせて、適宜拡大又は縮小されてもよい。このとき、複数の画像等が同じサイズで表示されてもよいし、選択された画像等の解像度に合わせて、複数の画像等がそれぞれ異なるサイズで表示されてもよい。
【0093】
なお、本実施の形態に係る撮像装置１００は、図２に示した構成に限定されるものではない。例えば、撮像装置１００が、例えば、通信処理部１５０やセンサ部１６０等を備えていなくてもよいし、デジタルテレビ放送受信機能や電子マネー決済機能等の各種機能を備えてもよい。
【0094】
本実施の形態によれば、被写体の動きベクトルに基づいて、主制御部１０１は、映像入力部１２０に対し露光量を異ならせて被写体を複数回撮像させ、映像信号処理部に対し、露光量が異なる複数の画像信号に基づいて被写体のＨＤＲ合成画像を生成させる。
【0095】
この構成によれば、被写体の動きに応じた適切な撮像モードを選択することができるので、被写体の動き、手振れ等の撮像環境に対応させた高品質なＨＤＲ合成画像を生成することができる。
【0096】
また、本実施の形態によれば、主制御部１０１は、動きベクトルが第１の動き閾値未満であると判定した場合には、静止画撮像モードに切り替え、高解像度な第１の解像度の第１の撮像素子１２３ｂを有する第１の映像入力部１２３に対し、露光量を異ならせて被写体を連続して撮像させ、映像信号処理部１２２に対し、露光量の異なる複数の画像信号（Ａ０、Ａ１）に基づいて、第１の解像度のＨＤＲ合成画像を生成させる。
【0097】
この構成によれば、静止画撮像モードでは被写体がほとんど動かないので、時間差をおいて被写体を撮像しても、ＨＤＲ合成画像における被写体の動きによるノイズの発生が抑えられる。これにより、高解像度の撮像素子のみを使用して被写体を連続して撮像することができるので、高品質なＨＤＲ合成画像が生成される。
【0098】
また、この構成によれば、低照度側の暗い被写体を十分な露光量で撮像して生成された電気信号（Ａ０）と、高照度側の明るい被写体を露光量を抑えて撮像して生成された電気信号（Ａ１）とを合成するので、ダイナミックレンジを拡大させた高品質なＨＤＲ合成画像が生成される。
【0099】
また、本実施の形態によれば、主制御部１０１は、動きベクトルが第１の動き閾値以上であると判定した場合には、微動撮像モード又は動体撮像モードに切り替え、第１の映像入力部１２３及び第２の映像入力部１２４に対し、露光量を異ならせて被写体を同時に撮像させ、画像信号処理部１２２に対し、第１の解像度の画像信号を第２の解像度の画像信号に変換させ、第２の解像度の画像信号を第１の解像度の画像信号に変換させ、第１の解像度のＨＤＲ合成画像及び第２の解像度のＨＤＲ合成画像を生成させる。
【0100】
この構成によれば、被写体が動いている場合でも、同時に撮像された複数の画像信号に基づいてＨＤＲ合成画像が生成されるので、被写体の動きや手振れによるノイズの影響が抑えられ、ダイナミックレンジを拡大させた高品質なＨＤＲ合成画像が生成される。
【0101】
また、この構成によれば、解像度の異なるＨＤＲ画像が複数生成されるので、ユーザーの用途に適したＨＤＲ画像が提供され、使い勝手のよい撮像装置１００が提供される。
【0102】
また、本実施の形態によれば、制御部１０１は、動きベクトルが第１の動き閾値以上、第２の動き閾値以下であると判定した場合には、微動撮像モードに切り替え、第１の映像入力部１２３及び第２の映像入力部１２４に対し、露光量を異ならせて被写体を同時に撮像させた後、第２の映像入力部１２４に対し、露光量を異ならせて被写体を撮像させる。
【0103】
この構成によれば、露光量が異なる少なくとも３種類の画像信号に基づいてＨＤＲ合成処理がされるので、より高品質なＨＤＲ合成画像が生成される。
【0104】
また、本実施の形態によれば、第２の撮像素子１２４ｂの解像度は、第１の撮像素子１２３ｂの解像度よりも低い。
【0105】
この構成によれば、第２の映像入力部１２４は、第１の映像入力部１２３よりも短い撮像時間でも同じ露光量を得ることができる。これにより、第２の映像入力部１２４が時間差を置いて被写体を撮像しても、被写体の動きによるノイズの発生が抑えられるので、ＨＤＲ合成画像における、被写体の動きによるノイズの発生が抑えられる。
【0106】
また、この構成によれば、第２の撮像素子１２４のコストが抑えられるので、撮像装置１００の製造コストを抑えることができる。
【0107】
また、本実施の形態によれば、表示部１２１は、ＨＤＲ合成画像等のサムネイル画像を表示し、サムネイル画像が選択されると、選択されたサムネイル画像に対応するＨＤＲ合成画像を表示する。
【0108】
この構成によれば、ユーザーがストレージ部１１０に記憶されたＨＤＲ合成画像等を容易に識別できるようになるので、表示部１２１に表示させるＨＤＲ画像等を選択する際の負担が軽減される。
【0109】
また、本実施の形態によれば、映像入力部１２０が被写体を撮像し、被写体の画像信号を生成する映像入力ステップＳ１０と、主制御部１０１が画像信号に基づいて被写体の動き情報を検出する動き情報検出ステップＳ２０と、主制御部１０１が、動き情報に基づいて、映像入力部１２０に対し露光量を異ならせて被写体を複数回撮像させる撮像ステップＳ３０と、映像信号処理部１２２が、露光量が異なる複数の画像信号に基づいて被写体のＨＤＲ合成画像を生成するＨＤＲ合成画像生成ステップＳ４０と、を有する。
【0110】
この構成によれば、被写体の動きに応じた適切な撮像モードを選択して被写体を撮像することができるので、撮像環境に対応させた高品質なＨＤＲ合成画像を生成することができる撮像方法を提供することができる。
【0111】
また、本実施の形態によれば、映像入力部１２０に被写体を撮像させ、被写体の画像信号を生成させる映像入力ステップＳ１０と、画像信号に基づいて被写体の動き情報を検出する動き情報検出ステップＳ２０と、動き情報に基づいて、映像入力部に対し露光量を異ならせて被写体を複数回撮像させる撮像ステップＳ３０と、映像信号処理部１２２に対し、露光量が異なる複数の画像信号に基づいて被写体のＨＤＲ合成画像を生成させるＨＤＲ合成画像生成ステップＳ４０と、をコンピュータである主制御部１０１に実行させる。
【0112】
この構成によれば、被写体の動きに応じた適切な撮像モードを選択して被写体を撮像することができるので、撮像環境に対応させた高品質なＨＤＲ合成画像を生成することができる撮像プログラムを提供することができる。
【0113】
（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、被写体の動き及び光量に基づいて撮像モードを切り替える場合について説明する。なお、以下では、上述の実施の形態１と重複する箇所についての詳細な説明を適宜省略する場合がある。
次に、実施の形態２について説明する。本実施の形態では、被写体の動き及び光量に基づいて撮像モードを切り替える場合について説明する。なお、以下では、上述の実施の形態１と重複する箇所についての詳細な説明を適宜省略する場合がある。
【0114】
【0115】
映像入力部２２０は、図１２、図１３に示すように、第２の映像入力部２２４、解像度変換部２２８等を備えている。第２の映像入力部２２４は、第２の撮像素子２２４ｂを備えている。第２の撮像素子２２４ｂは、第１の撮像素子１２３ｂと同様に第１の解像度（高解像度）の撮像素子である。第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂは、解像度変換部２２８により、解像度が適宜変換されるように構成されている。
【0116】
光量センサ１６５は、撮像装置２００周辺や被写体付近の光量を測定する。そして、光量センサ１６５は、測定した光量情報を露光制御部１２６、主制御部１０１に出力する。
【0117】
露光制御部１２６は、例えば、光量センサ１６５から出力された光量情報、主制御部１０１からの指示に基づいて、第１の映像入力部１２３及び第２の映像入力部２２４ｄが撮像する際の露光量を設定する。
【0118】
主制御部１０１は、光量センサ１６５で測定された光量及び被写体の動きベクトルの検出結果に基づいて撮像モードを切り替える。また、主制御部１０１は、解像度変換部２２８に対し、複数の画素をグループ化させることにより、第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂの解像度を、第１の解像度（高解像度）から第２の解像度（低解像度）に変換させる。また、主制御部１０１は、解像度変換部２２８に対し、複数の画素のグループ化を解除させることにより、第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂの解像度を、第２の解像度（低解像度）から第１の解像度（高解像度）に変換させる。
【0119】
例えば、主制御部１０１は、撮像モードに応じて、第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂの解像度を変換させる解像度変換情報を解像度変換部２２８に出力する。解像度変換部２２８は、解像度変換情報に基づき、第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂの解像度を変換する。低解像度に変換された撮像素子では、グループ化された複数の画素が１つの画素とされる。これにより、グループ化後の１画素では、グループ化前の１画素より面積が増大し、露光量が増えるので、同じ露光量を得るための露出時間（シャッタースピード）が短縮される。
【0120】
光量センサ１６５は、例えば、被写体の高光度の領域から低高度の領域までの光量を測定する。図１２、図１３では、光量センサ１６５が独立して設けられている場合を例示しているが、このような構成に限定されることはなく、例えば、第１の撮像素子１２３ｂ又は第２の撮像素子２２４ｂが、光量センサ１６５の機能を兼ね備えていてもよい。
【0121】
次に、本実施の形態に係る撮像方法について説明する。図１４、図１５は、本発明の実施の形態２の撮像方法に係るフローチャート図である。本実施の形態においても、図５に示す、映像入力ステップＳ１０、動き情報検出ステップＳ２０、撮像ステップＳ３０、ＨＤＲ合成画像生成ステップＳ４０が実施される。映像入力ステップＳ１０、動き情報検出ステップＳ２０は、上述した実施の形態１と同様である。
【0122】
撮像ステップＳ３０では、まずステップＳ２０２が実施される。ステップＳ２０２では、動き情報に基づいて被写体の動きが判定される。具体的には、主制御部１０１は、動き情報検出ステップＳ２０で検出した動きベクトルを第３の動き閾値と比較することにより、被写体の動きを判定する。詳しくは、主制御部１０１は、ストレージ部１１０に記憶された第３の動き閾値をメモリ１０４に読み出し、動きベクトルを第３の動き閾値と比較する。第３の動き閾値は、例えば実験等により適宜設定される。
【0123】
［静止画撮像モード］
ステップＳ２０２において、主制御部１０１が、動きベクトルは第３の動き閾値未満であると判定した場合には、ステップＳ２１４が実施される。すなわち、主制御部１０１は、被写体がほとんど動いていないものと判断し、静止画撮像モードに切り替える。
ステップＳ２０２において、主制御部１０１が、動きベクトルは第３の動き閾値未満であると判定した場合には、ステップＳ２１４が実施される。すなわち、主制御部１０１は、被写体がほとんど動いていないものと判断し、静止画撮像モードに切り替える。
【0124】
ステップＳ２１４では、実施の形態１におけるステップＳ１１３と同様の処理が実施される。すなわち、第１の映像入力部１２３は、露光量を異ならせて被写体を連続して撮像する。第１の映像入力部１２３は、１回目の撮像では、例えば露光量ＬＡ０で被写体を撮像し、２回目の撮像では、ＬＡ０より少ない露光量ＬＡ１で撮像する（ＬＡ０＞ＬＡ１）。第１の撮像素子１２３ｂは、例えば図９に示す、高解像度の撮像画像についての電気信号（Ａ０、Ａ１）を生成し、生成した電気信号（Ａ０、Ａ１）を第１の画像処理部１２２ａに出力する。なお、ここでは露光量が異なる２種類の画像信号が合成処理される場合について説明するが、例えば、３種類以上の画像信号が合成処理されてもよい。
【0125】
一方、第２の映像入力部２２４は、例えば被写体の動画（Ｂｍ）を撮像してもよいし、被写界深度を異ならせて被写体を撮像してもよい。また、第２の映像入力部２２４の第２の撮像素子２２４ｂも高解像度であるので、例えば、露光量を異ならせて（例えばＬＡ１等）第１の映像入力部１２３と同時に被写体を撮像してもよい。第２の撮像素子２２４ｂは、露光量ＬＡ０の電気信号（Ａ０）、露光量ＬＡ１の電気信号（Ａ１）を生成し、生成した電気信号（Ａ０、Ａ１）を第１の画像処理部１２２ａに出力する。第２の撮像素子２２４ｂは、動画等に関する画像信号を映像信号処理部１２２の第２の画像処理部１２２ｂに出力する。そして、ＨＤＲ合成画像生成ステップＳ４０に移行する。
【0126】
ＨＤＲ合成画像生成ステップＳ４０では、ステップＳ２１５が実施される。ステップＳ２１５では、実施の形態１におけるステップＳ１１４と同様の処理が実施される。すなわち、ステップＳ２１４で生成された、露光量の異なる複数の画像信号（Ａ０、Ａ１）に基づいて、画像合成部１２２ｃは、第１の解像度のＨＤＲ合成画像（Ａ０＋Ａ１）を生成する。また、画像合成部１２２ｃは、第１の撮像素子１２３ｂ及び第２の撮像素子で生成された電気信号に基づいてＨＤＲ合成画像を生成してもよい。また、画像合成部１２２ｃは、ＨＤＲ合成画像に対応するサムネイル画像を生成する。第１の画像処理部１２２ａ、第２の画像処理部１２２ｂは、合成前の撮像画像、動画像、これらの画像に対応するサムネイル画像を生成する。
【0127】
なお、第１の画像処理部１２２ａ及び第２の画像処理部１２２ｂは、高解像度の画像信号を低解像度の画像信号に変換し、画像合成部１２２ｃが低解像度のＨＤＲ合成画像を生成してもよい。そして、ステップＳ２１６に移行する。
【0128】
ステップＳ２１６では、実施の形態１におけるステップＳ１１５と同様の処理が実施される。すなわち、ステップＳ２１５で生成されたＨＤＲ合成画像、合成前の撮像画像、動画像、サムネイル画像等がストレージ部１１０に記憶される。
【0129】
［動体撮像モード］
図１６は、本発明の実施の形態２に係るＨＤＲ合成処理を模式的に示す図である。撮像ステップＳ３０のステップＳ２０２において、主制御部１０１は、動きベクトルが第３の動き閾値以上であると判定した場合には、被写体の動きが大きいものと判断し、動体撮像モードに切り替える。動体撮像モードに切り替わると、ステップＳ２０３に移行する。
図１６は、本発明の実施の形態２に係るＨＤＲ合成処理を模式的に示す図である。撮像ステップＳ３０のステップＳ２０２において、主制御部１０１は、動きベクトルが第３の動き閾値以上であると判定した場合には、被写体の動きが大きいものと判断し、動体撮像モードに切り替える。動体撮像モードに切り替わると、ステップＳ２０３に移行する。
【0130】
ステップＳ２０３では、光量センサ１６５で測定された光量に基づいて、撮像モードが切り替えられる。具体的には、光量センサ１６５は、撮像装置２００周辺の光量を測定し、測定した光量に関する情報を光量情報として主制御部１０１に出力する。主制御部１０１は、入力された光量情報に基づいて、測定された光量を第１の光量閾値及び第１の光量閾値よりも大きい第２の光量閾値と比較する。詳しくは、主制御部１０１は、ストレージ部１１０に記憶された第１の光量閾値及び第２の光量閾値をメモリ１０４に読み出し、光量を第１の光量閾値及び第２の光量閾値と比較する。第１の光量閾値及び第２の光量閾値は、例えば実験等により適宜設定される。
【0131】
＜高光量動体撮像モード＞
主制御部１０１が、光量は第２の光量閾値を超えていると判定した場合には、ステップＳ２２４に移行する。すなわち、主制御部１０１は、光量が高いと判断し、高光量動体撮像モードに切り替える。
主制御部１０１が、光量は第２の光量閾値を超えていると判定した場合には、ステップＳ２２４に移行する。すなわち、主制御部１０１は、光量が高いと判断し、高光量動体撮像モードに切り替える。
【0132】
ステップＳ２２４では、主制御部１０１は、第１の映像入力部１２３及び第２の映像入力部２２４に対し、露光量を異ならせて被写体を同時に撮像させる。このとき、主制御部１０１は、第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂの解像度を高解像度である第１の解像度に設定する。
【0133】
例えば、第１の撮像素子１２３ｂ又は第２の撮像素子２２４ｂの解像度が低解像度に設定されていれば、主制御部１０１は、該当する撮像素子の解像度を変換させる解像度変換情報を解像度変換部２２８に出力する。解像度変換部２２８は、入力された解像度変換情報に基づいて、該当する撮像素子の解像度を低解像度から高解像度に変換する。
【0134】
このように撮像素子の解像度が設定されると、第１の映像入力部１２３は、露光量ＬＡ０で被写体を撮像し、例えば図１６に示すような高解像度の撮像画像についての電気信号（Ａ０）を生成する。第２の映像入力部１２４は、ＬＡ０より少ない露光量ＬＢ０で被写体を撮像し（ＬＡ０＞ＬＢ０）、例えば図１６に示すような高解像度の撮像画像についての電気信号（Ｂ０）を生成する。
【0135】
第１の撮像素子１２３ｂは、露光量ＬＡ０の電気信号（Ａ０）を第１の画像処理部１２２ａに出力する。第２の撮像素子１２４ｂは、露光量ＬＢ０の電気信号（Ｂ０）を第２の画像処理部１２２ｂに出力する。そして、ＨＤＲ合成画像生成ステップＳ４０に移行する。
【0136】
ＨＤＲ合成画像生成ステップＳ４０では、ステップＳ２２５が実施される。ステップＳ２２５では、ステップＳ２２４で生成された複数の画像信号（Ａ０、Ｂ０）に基づいて、画像合成部１２２ｃが、例えば図１６に示す、高解像度のＨＤＲ合成画像（Ａ０＋Ｂ０）を生成する。また、画像合成部１２２ｃは、ＨＤＲ合成画像に対応するサムネイル画像を生成する。第１の画像処理部１２２ａ、第２の画像処理部１２２ｂは、合成前の撮像画像、動画像、これらの画像に対応するサムネイル画像を生成する。
【0137】
なお、第１の画像処理部１２２ａ及び第２の画像処理部１２２ｂは、高解像度の画像信号を低解像度の画像信号に変換し、画像合成部１２２ｃが低解像度のＨＤＲ合成画像を生成してもよい。そして、ステップＳ２３７に移行する。
【0138】
ステップＳ２３７では、実施の形態１におけるステップＳ１２６と同様の処理が実施される。すなわち、ステップＳ２２５で生成されたＨＤＲ合成画像、合成前の撮像画像、動画像、サムネイル画像等がストレージ部１１０に記憶される。そして、ステップＳ２０４に移行する。ステップＳ２０４については後述する。
【0139】
＜中光量動体撮像モード＞
図１７は、本発明の実施の形態２に係るＨＤＲ合成処理を模式的に示す図である。主制御部１０１が、光量は第１の光量閾値以上、第２の光量閾値以下であると判定した場合には、ステップＳ２３４に移行する。すなわち、主制御部１０１は、光量が高光量動体撮像モード時よりも少ないと判断し、中光量動体撮像モードに切り替える。
図１７は、本発明の実施の形態２に係るＨＤＲ合成処理を模式的に示す図である。主制御部１０１が、光量は第１の光量閾値以上、第２の光量閾値以下であると判定した場合には、ステップＳ２３４に移行する。すなわち、主制御部１０１は、光量が高光量動体撮像モード時よりも少ないと判断し、中光量動体撮像モードに切り替える。
【0140】
ステップＳ２３４では、主制御部１０１は、第１の映像入力部１２３及び第２の映像入力部２２４に対し、露光量を異ならせて被写体を同時に撮像させる。このとき、主制御部１０１は、解像度変換部２２８に対し、第１の撮像素子１２３ｂの解像度を第１の解像度に変換させ、第２の撮像素子２２４ｂの解像度を第２の解像度に変換させる。
【0141】
例えば、第１の撮像素子１２３ｂの解像度が低解像度に設定されていれば、主制御部１０１は、第１の撮像素子１２３ｂの解像度を変換させる解像度変換情報を解像度変換部２２８に出力する。解像度変換部２２８は、入力された解像度変換情報に基づいて、第１の撮像素子１２３ｂの解像度を低解像度から高解像度に変換する。また、第２の撮像素子２２４ｂの解像度が高解像度に設定されていれば、主制御部１０１は、第２の撮像素子２２４ｂの解像度を変換させる解像度変換情報を解像度変換部２２８に出力する。解像度変換部２２８は、入力された解像度変換情報に基づいて、第２の撮像素子２２４ｂの解像度を高解像度から低解像度に変換する。
【0142】
このように撮像素子の解像度が設定されると、第１の映像入力部１２３は、露光量ＬＡ０で被写体を撮像し、例えば図１７（Ａ）、（Ｂ）に示すような高解像度の撮像画像についての電気信号（Ａ０）を生成する。第２の映像入力部１２４は、ＬＡ０より少ない露光量Ｌｂ０で被写体を撮像し（ＬＡ０＞Ｌｂ０）、例えば図１７（Ａ）、（Ｂ）に示すような低解像度の撮像画像についての電気信号（ｂ０）を生成する。なお、第２の映像入力部２２４の解像度は、第１の映像入力部１２３よりも小さいので、ＨＤＲ合成画像におけるダイナミックレンジを拡大させるための露光量を適切に設定することができる。
【0143】
第１の撮像素子１２３ｂは、露光量ＬＡ０の電気信号（Ａ０）を第１の画像処理部１２２ａに出力する。第２の撮像素子１２４ｂは、露光量Ｌｂ０の電気信号（ｂ０）を第２の画像処理部１２２ｂに出力する。そして、ＨＤＲ合成画像生成ステップＳ４０に移行する。
【0144】
ＨＤＲ合成画像生成ステップＳ４０では、まず、ステップＳ２３５が実施される。ステップＳ２３５では、例えば、実施の形態１におけるステップＳ１２４と同様の処理が実施される。すなわち、ステップＳ２３５では、ステップＳ２３４で生成された電気信号の解像度が変換される。具体的には、第１の画像処理部１２２ａは、高解像度の電気信号（Ａ０）に対して解像度変換を実施し、例えば図１７（Ｂ）に示す、低解像度の電気信号（Ａ０ｄ）を生成する。第２の画像処理部１２２ｂは、低解像度の電気信号（ｂ０）に対して解像度変換を実施し、例えば図１７（Ａ）に示す、高解像度の電気信号（ｂ０ｕ）を生成する。そして、ステップＳ２３６に移行する。
【0145】
ステップＳ２３６では、画像合成部１２２ｃは、ステップＳ２３５で生成された複数の電気信号（Ａ０、ｂ０、Ａ０ｄ、ｂ０ｕ）に基づいて、例えば図１７（Ａ）に示す、高解像度のＨＤＲ合成画像（Ａ０＋ｂ０ｕ）、例えば図１７（Ｂ）に示す、低解像度のＨＤＲ合成画像（Ａ０ｄ＋ｂ０）を生成する。また、画像合成部１２２ｃは、ＨＤＲ合成画像に対応するサムネイル画像を生成する。第１の画像処理部１２２ａ、第２の画像処理部１２２ｂは、合成前の撮像画像、動画像、これらの画像に対応するサムネイル画像を生成する。そして、ステップＳ２３７に移行する。
【0146】
ステップＳ２３７では、ステップＳ２３６で生成されたＨＤＲ合成画像、合成前の撮像画像、動画像、サムネイル画像等がストレージ部１１０に記憶される。そして、ステップＳ２０４に移行する。ステップＳ２０４については後述する。
【0147】
＜低光量動体撮像モード＞
図１８は、本発明の実施の形態２に係るＨＤＲ合成処理を模式的に示す図である。主制御部１０１が、光量は第１の光量閾値未満であると判定した場合には、ステップＳ２４４に移行する。すなわち、主制御部１０１は、中光量撮像モード時よりも光量が低いと判断し、低光量動体撮像モードに切り替える。
図１８は、本発明の実施の形態２に係るＨＤＲ合成処理を模式的に示す図である。主制御部１０１が、光量は第１の光量閾値未満であると判定した場合には、ステップＳ２４４に移行する。すなわち、主制御部１０１は、中光量撮像モード時よりも光量が低いと判断し、低光量動体撮像モードに切り替える。
【0148】
ステップＳ２２４では、主制御部１０１は、第１の映像入力部１２３及び第２の映像入力部２２４に対し、露光量を異ならせて被写体を同時に撮像させる。このとき、主制御部１０１は、解像度変換部２２８に対し、第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂの解像度を低解像度である第２の解像度に変換させる。
【0149】
例えば、第１の撮像素子１２３ｂ又は第２の撮像素子２２４ｂの解像度が高解像度に設定されていれば、主制御部１０１は、該当する撮像素子の解像度を変換させる解像度変換情報を解像度変換部２２８に出力する。解像度変換部２２８は、入力された解像度変換情報に基づいて、該当する撮像素子の解像度を高解像度から低解像度に変換する。
【0150】
このように撮像素子の解像度が設定されると、第１の映像入力部１２３は、露光量Ｌａ０で被写体を撮像し、例えば図１８に示す、低解像度の撮像画像についての電気信号（ａ０）を生成する。第２の映像入力部１２４は、Ｌａ０より少ない露光量Ｌｂ０で被写体を撮像し、例えば図１８に示す、低解像度の撮像画像についての電気信号（ｂ０）を生成する。なお、第１の映像入力部１２３及び第２の映像入力部２２４の解像度は、低解像度に設定されているので、ＨＤＲ合成画像におけるダイナミックレンジを拡大させるための露光量を適切に設定することができる。
【0151】
第１の撮像素子１２３ｂは、露光量Ｌａ０の電気信号（ａ０）を第１の画像処理部１２２ａに出力する。第２の撮像素子１２４ｂは、露光量Ｌｂ０の電気信号（ｂ０）を第２の画像処理部１２２ｂに出力する。そして、ＨＤＲ合成画像生成ステップＳ４０に移行する。
【0152】
ＨＤＲ合成画像生成ステップＳ４０では、ステップＳ２２５が実施される。ステップＳ２２５では、ステップＳ２２４で生成された複数の画像信号（ａ０、ｂ０）に基づいて、画像合成部１２２ｃが、例えば図１８に示す、低解像度のＨＤＲ合成画像（ａ０＋ｂ０）を生成する。また、画像合成部１２２ｃは、ＨＤＲ合成画像に対応するサムネイル画像を生成する。第１の画像処理部１２２ａ、第２の画像処理部１２２ｂは、合成前の撮像画像、動画像、これらの画像に対応するサムネイル画像を生成する。そして、ステップＳ２３７に移行する。
【0153】
ステップＳ２３７では、ステップＳ２２５で生成されたＨＤＲ合成画像、合成前の撮像画像、動画像、サムネイル画像等がストレージ部１１０に記憶される。
【0154】
なお、第１の画像処理部１２２ａ及び第２の画像処理部１２２ｂは、低解像度の画像信号を高解像度の画像信号に変換し、画像合成部１２２ｃが高解像度のＨＤＲ合成画像を生成してもよい。そして、ステップＳ２０４に移行する。
【0155】
ステップＳ２０４では、実施の形態１におけるステップＳ１０４と同様の処理が実施され、表示部１２１に表示させる画像等が選択される。そして、ステップＳ２０５に移行する。
【0156】
ステップＳ２０５では、実施の形態１におけるステップＳ１０５同様の処理が実施され、ステップＳ２０４においてユーザーが選択した画像が、表示部１２１に表示される。
【0157】
本実施の形態によれば、光量を測定する光量センサ１６５を備え、主制御部１０１は、動きベクトル及び光量に基づいて、映像入力部２２０に対し露光量を異ならせて被写体を複数回撮像させる。
【0158】
この構成によれば、被写体の動き、周辺の光量に応じた、より適切な撮像モードを選択することができるので、撮像環境に対応させた高品質なＨＤＲ合成画像が生成される。
【0159】
また、本実施の形態によれば、主制御部１０１は、動きベクトルを第３の動き閾値と比較し、動き情報が第３の動き閾値未満であると判定した場合には、静止画撮像モードに切り替え、第１の映像入力部１２３に対し、露光量を異ならせて被写体を連続して撮像させ、映像信号処理部１２２に対し、第１の解像度のＨＤＲ合成画像を生成させる。
【0160】
この構成によれば、被写体がほとんど動かないので、時間差をおいて被写体を撮像しても、被写体の動きによるノイズの発生を抑えることができる。これにより、第１の映像入力部１２３のみを使用して、撮像環境に対応させた高品質なＨＤＲ合成画像が生成される。また、これにより、第２の映像入力部２２４を動画撮像等に使用することが可能となり、使い勝手のよい撮像装置２００が提供される。
【0161】
また、本実施の形態によれば、主制御部１０１は、動きベクトルが第３の動き閾値以上、光量が第２の光量閾値を超えていると判定した場合には、高光量動体撮像モードに切り替え、第１の映像入力部１２３及び第２の映像入力部２２４に対し、露光量を異ならせて被写体を同時に撮像させ、映像信号処理部１２２に対し、高解像度のＨＤＲ合成画像を生成させる。
【0162】
この構成によれば、被写体の動きによるノイズの発生を抑えることができるので、被写体の動きが大きくて、高品質な高解像度のＨＤＲ合成画像（Ａ０＋Ｂ０）が生成される。
【0163】
また、本実施の形態によれば、主制御部１０１は、動きベクトルが第３の動き閾値以上、光量が第１の光量閾値以上、第２の光量閾値以下であると判定した場合には、中光量動体撮像モードに切り替え、解像度変換部２２８に対し、第２の撮像素子２２４の解像度を第２の解像度に変換させ、第１の映像入力部１２３及び第２の映像入力部２２４に対し、露光量を異ならせて被写体を同時に撮像させる。そして、主制御部１０１は、第１の映像入力部１２３で生成された画像信号の解像度を第２の解像度に変換し、第２の映像入力部２２４で生成された画像信号の解像度を第１の解像度に変換し、映像信号処理部１２２に対し、第１の解像度のＨＤＲ合成画像及び第２の解像度のＨＤＲ合成画像を生成させる。
【0164】
この構成によれば、第２の撮像素子２２４ｂの解像度が低解像度に変換されることにより、解像度変換後の画素の面積が増大するので、それぞれの画素の感度が向上する。これにより、第２の映像入力部２２４による撮像時間（露出時間）が短縮されるので、光量が少ない状況であっても、被写体の動きによるノイズの発生が抑えられ、撮像環境に対応させた高品質なＨＤＲ合成画像（Ａ０＋ｂ０ｕ、Ａ０ｄ＋ｂ０）が生成される。
【0165】
また、この構成によれば、解像度の異なる複数のＨＤＲ合成画像が生成されるので、ユーザーの用途に適したＨＤＲ画像が提供され、使い勝手のよい撮像装置２００が提供される。
【0166】
また、本実施の形態によれば、主制御部１０１は、動きベクトルが第３の動き閾値以上、光量が第１の光量閾値未満であると判定した場合には、低光量動体撮像モードに切り替え、解像度変換部２２８に対し、第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂの解像度を第２の解像度に変換させ、第１の映像入力部１２３及び第２の映像入力部２２４に対し、露光量を異ならせて被写体を同時に撮像させ、映像信号処理部１２２に対し、第２の解像度のＨＤＲ合成画像を生成させる。
【0167】
この構成によれば、第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂでは、解像度が低解像度に変換されることにより、解像度変換後の画素の面積が増大するので、それぞれの画素の感度が向上する。これにより、第１の映像入力部１２３及び第２の映像入力部２２４の双方の撮像時間が短縮されるので、光量がさらに少ない状況であっても、被写体の動きによるノイズの発生が抑えられ、撮像環境に対応させた高品質なＨＤＲ合成画像（ａ０＋ｂ０）が生成される。
【0168】
また、本実施の形態によれば、主制御部１０１は、解像度変換部２２８に対し、複数の画素をグループ化させることにより、第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂの解像度を、高解像度から低解像度に変換させ、解像度変換部２２８に対し、複数の画素のグループ化を解除させることにより、第１の撮像素子１２３ｂ及び第２の撮像素子２２４ｂの解像度を、低解像度から高解像度に変換させる。
【0169】
この構成によれば、それぞれの解像度ごとの撮像素子を用意しなくてもよいので、撮像装置が小型化される。また、これにより、撮像装置の製造コストの増大を抑えられる。
【0170】
（その他の実施の形態）
ここまで説明した実施の形態１、２では、主制御部１０１は、第１の撮像素子１２３ｂ又は第２の撮像素子１２４ｂ（２２４ｂ）で生成された画像信号に基づいて被写体の動き情報（例えば動きベクトル）を検出する。ただし、これ以外にも、例えば、映像入力部１２０の焦点距離に基づいて被写体の動き情報を検出してもよい。具体的には、映像入力部１２０の焦点距離が短い場合には手振れの影響は小さく、焦点距離が長い場合には手振れの影響が大きくなる。すなわち、主制御部１０１は、焦点距離が短いと、被写体の動きが小さいという動き情報を検出し、焦点距離が長いと、被写体の動きが大きいという動き情報を検出する。そこで、主制御部１０１は、映像入力部１２０の焦点距離を、第１の焦点距離閾値、第１の焦点距離閾値より大きい第２の焦点距離閾値と比較する。そして、主制御部１０１は、映像入力部１２０の焦点距離が、第１の焦点距離閾値未満であると判定した場合には、静止画撮像モードに切り替える。また、主制御部１０１は、映像入力部１２０の焦点距離が、第１の焦点距離閾値以上、第２の焦点距離以下であると判定した場合には、微動撮像モードに切り替える。また、主制御部１０１は、映像入力部１２０の焦点距離が、第２の焦点距離閾値を超えると判定した場合には、動体撮像モードに切り替える。このように、映像入力部１２０の焦点距離に基づいて撮像モードを切り替えても、上述した効果が得られる。
ここまで説明した実施の形態１、２では、主制御部１０１は、第１の撮像素子１２３ｂ又は第２の撮像素子１２４ｂ（２２４ｂ）で生成された画像信号に基づいて被写体の動き情報（例えば動きベクトル）を検出する。ただし、これ以外にも、例えば、映像入力部１２０の焦点距離に基づいて被写体の動き情報を検出してもよい。具体的には、映像入力部１２０の焦点距離が短い場合には手振れの影響は小さく、焦点距離が長い場合には手振れの影響が大きくなる。すなわち、主制御部１０１は、焦点距離が短いと、被写体の動きが小さいという動き情報を検出し、焦点距離が長いと、被写体の動きが大きいという動き情報を検出する。そこで、主制御部１０１は、映像入力部１２０の焦点距離を、第１の焦点距離閾値、第１の焦点距離閾値より大きい第２の焦点距離閾値と比較する。そして、主制御部１０１は、映像入力部１２０の焦点距離が、第１の焦点距離閾値未満であると判定した場合には、静止画撮像モードに切り替える。また、主制御部１０１は、映像入力部１２０の焦点距離が、第１の焦点距離閾値以上、第２の焦点距離以下であると判定した場合には、微動撮像モードに切り替える。また、主制御部１０１は、映像入力部１２０の焦点距離が、第２の焦点距離閾値を超えると判定した場合には、動体撮像モードに切り替える。このように、映像入力部１２０の焦点距離に基づいて撮像モードを切り替えても、上述した効果が得られる。
【0171】
さらに、実施の形態１、２では、第１の映像入力部１２３、第２の映像入力部１２４（２２４）の２台のカメラで被写体を撮像し、ＨＤＲ合成画像を生成する場合について説明したが、たとえば、３台以上のカメラを用いて被写体を撮像し、ＨＤＲ合成画像を生成してもよい。
【0172】
以上、本発明の実施の形態について説明したが、言うまでもなく、本発明の技術を実現する構成は、これらの実施の形態に限定されるものではない。また、文中や図中に現れる数値等は、あくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
【0173】
上述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現されてもよいし、マイクロプロセッサユニット等のコンピュータがそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとが併用されて実現されてもよい。
【0174】
また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0175】
１００…撮像装置、１０１…主制御部、１０４ａ…基本動作実行部、１０４ｂ…カメラ機能実行部、１１０ａ…基本動作プログラム記憶領域、１１０ｂ…カメラ機能プログラム記憶領域、１２０…映像入力部、１２３…第１の映像入力部、１２３ｂ…第１の撮像素子、１２４…第２の映像入力部、１２４ｂ…第２の撮像素子、１６５…光度センサ、２２４…第２の映像入力部、２２４ｂ…第２の撮像素子、２２８…解像度変換部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
