特許 6564368 撮像制御装置、撮像装置および撮像制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6564368

(24)【登録日】2019年8月2日

(45)【発行日】2019年8月21日

(54)【発明の名称】撮像制御装置、撮像装置および撮像制御方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20190808BHJP

   H04N 5/225 20060101ALI20190808BHJP

   H04N 5/369 20110101ALI20190808BHJP

   G03B 15/00 20060101ALI20190808BHJP

【ＦＩ】

   H04N5/235 500

   H04N5/225 300

   H04N5/369

   G03B15/00 H

【請求項の数】5

【全頁数】13

(21)【出願番号】特願2016-534315(P2016-534315)

(86)(22)【出願日】2015年5月29日

(86)【国際出願番号】JP2015065576

(87)【国際公開番号】WO2016009729

(87)【国際公開日】20160121

【審査請求日】2018年4月5日

(31)【優先権主張番号】特願2014-147583(P2014-147583)

(32)【優先日】2014年7月18日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100112955

【弁理士】

【氏名又は名称】丸島 敏一

(72)【発明者】

【氏名】倉田 康司

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開２０１２−２０５０３０（ＪＰ，Ａ）

【文献】 特開２００８−２７０８３２（ＪＰ，Ａ）

【文献】 特開２００５−０７２９６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３５

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／３６９

(57)【特許請求の範囲】

【請求項1】

画像信号を生成する通常画素と低感度画像信号を生成して前記通常画素よりも可視光に対する光電変換感度が低い低感度画素とを有する撮像素子を所定の露光条件により制御して前記画像信号および前記低感度画像信号を前記撮像素子に出力させる露光制御部と、
前記低感度画像信号に基づいて前記低感度画像信号の出現頻度分布を表す低感度ヒストグラムを生成する低感度ヒストグラム生成部と、
前記生成された前記低感度ヒストグラムに基づいて前記露光条件より露光時間が短い短時間露光条件を算出する短時間露光条件算出部と、
前記撮像素子を前記算出された前記短時間露光条件により制御して前記通常画素が生成する画像信号である短時間露光画像信号を前記撮像素子に出力させる短時間露光制御部と、
前記画像信号および前記短時間露光画像信号を合成する合成部と
を具備する撮像制御装置。

【請求項2】

前記画像信号に基づいて前記画像信号の出現頻度分布を表す通常感度ヒストグラムを生成する通常感度ヒストグラム生成部と、
前記生成された前記通常感度ヒストグラムに基づいて前記短時間露光制御部に前記制御を行わせる制御部と
をさらに具備する請求項１記載の撮像制御装置。

【請求項3】

画像信号を生成する通常画素と低感度画像信号を生成して前記通常画素よりも可視光に対する光電変換感度が低い低感度画素とを有する撮像素子と、
前記撮像素子を制御する撮像制御装置と
を具備し、
前記撮像制御装置は、
前記撮像素子を所定の露光条件により制御して前記画像信号および前記低感度画像信号を前記撮像素子に出力させる露光制御部と、
前記低感度画像信号に基づいて前記低感度画像信号の出現頻度分布を表す低感度ヒストグラムを生成する低感度ヒストグラム生成部と、
前記生成された前記低感度ヒストグラムに基づいて前記露光条件より露光時間が短い短時間露光条件を算出する短時間露光条件算出部と、
前記撮像素子を前記算出された前記短時間露光条件により制御して前記通常画素が生成する画像信号である短時間露光画像信号を前記撮像素子に出力させる短時間露光制御部と、
前記画像信号および前記短時間露光画像信号を合成する合成部と
を備える
撮像装置。

【請求項4】

赤外光を遮断する赤外光カットフィルタをさらに具備し、
前記通常画素は、可視光に対応する可視光画素であり、
前記低感度画素は、赤外光に対応する赤外光画素である
請求項３記載の撮像装置。

【請求項5】

画像信号を生成する通常画素と低感度画像信号を生成して前記通常画素よりも可視光に対する光電変換感度が低い低感度画素とを有する撮像素子を所定の露光条件により制御して前記画像信号および前記低感度画像信号を前記撮像素子に出力させる露光制御手順と、
前記低感度画像信号に基づいて前記低感度画像信号の出現頻度分布を表す低感度ヒストグラムを生成する低感度ヒストグラム生成手順と、
前記生成された前記低感度ヒストグラムに基づいて前記露光条件より露光時間が短い短時間露光条件を算出する短時間露光条件算出手順と、
前記撮像素子を前記算出された前記短時間露光条件により制御して前記通常画素が生成する画像信号である短時間露光画像信号を前記撮像素子に出力させる短時間露光制御手順と、
前記画像信号および前記短時間露光画像信号を合成する合成手順と
を具備する撮像制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、撮像制御装置、撮像装置および撮像制御方法に関する。詳しくは、２回の撮影により得られた２つの画像を合成してダイナミックレンジを拡大した画像を生成する撮像制御装置、撮像装置、および、これらにおける撮像制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

【背景技術】

【0002】

従来、カメラ等の撮像装置において、明るい部分と暗い部分の輝度差が大きい被写体の撮影を行う際、露光条件を変えた撮影を複数回行い、得られた画像を合成することにより、撮像装置のダイナミックレンジを拡大した撮影が行われている。例えば、１回目の撮影により得られた画像信号からヒストグラムを生成し、このヒストグラムにより２回目の撮影を行うか否かの判断を行う。２回目の撮影の際には、１回目の撮影により得られたヒストグラムから露光条件を求め、撮影を行うシステムが提案されている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平８−２１４２１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の従来技術では、２回目の撮影の際に適切な露光条件を得ることができないという問題がある。すなわち、１回目の撮影の際には被写体の輝度が高い領域に対応する画像信号は飽和することが多いため、このような画像信号から得られたヒストグラムは、被写体における輝度の分布とは完全には一致しない。したがって、このようなヒストグラムから得られた露光条件により２回目の撮影を行うと、得られた画像は不必要に露光されたものとなってしまう。

【0005】

本技術はこのような状況に鑑みて生み出されたものであり、２回の撮影により得られた複数の画像を合成してダイナミックレンジを拡大した画像を生成する際、２回目の撮影においても適正な露光条件を得ることを目的とする。

【課題を解決するための手段】

【0006】

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画像信号を生成する通常画素と低感度画像信号を生成して上記通常画素よりも可視光に対する光電変換感度が低い低感度画素とを有する撮像素子を所定の露光条件により制御して上記画像信号および上記低感度画像信号を上記撮像素子に出力させる露光制御部と、上記低感度画像信号に基づいて上記低感度画像信号の出現頻度分布を表す低感度ヒストグラムを生成する低感度ヒストグラム生成部と、上記生成された上記低感度ヒストグラムに基づいて上記露光条件より露光時間が短い短時間露光条件を算出する短時間露光条件算出部と、上記撮像素子を上記算出された上記短時間露光条件により制御して上記通常画素が生成する画像信号である短時間露光画像信号を上記撮像素子に出力させる短時間露光制御部と、上記画像信号および上記短時間露光画像信号を合成する合成部とを具備する撮像制御装置である。これにより、低感度画像信号による低感度ヒストグラムに基づいて露光時間が短い短時間露光条件を算出するという作用をもたらす。

【0007】

また、この第１の側面において、上記画像信号に基づいて上記画像信号の出現頻度分布を表す通常感度ヒストグラムを生成する通常感度ヒストグラム生成部と、上記生成された上記通常感度ヒストグラムに基づいて上記短時間露光制御部に上記制御を行わせる制御部とをさらに具備してもよい。これにより、通常画素から得られた画像信号による通常感度ヒストグラムに基づいて短時間露光による撮影を行わせるという作用をもたらす。

【0008】

また、本技術の第２の側面は、画像信号を生成する通常画素と低感度画像信号を生成して上記通常画素よりも可視光に対する光電変換感度が低い低感度画素とを有する撮像素子と、上記撮像素子を制御する撮像制御装置とを具備し、上記撮像制御装置は、上記撮像素子を所定の露光条件により制御して上記画像信号および上記低感度画像信号を上記撮像素子に出力させる露光制御部と、上記低感度画像信号に基づいて上記低感度画像信号の出現頻度分布を表す低感度ヒストグラムを生成する低感度ヒストグラム生成部と、上記生成された上記低感度ヒストグラムに基づいて上記露光条件より露光時間が短い短時間露光条件を算出する短時間露光条件算出部と、上記撮像素子を上記算出された上記短時間露光条件により制御して上記通常画素が生成する画像信号である短時間露光画像信号を上記撮像素子に出力させる短時間露光制御部と、上記画像信号および上記短時間露光画像信号を合成する合成部とを備える撮像装置である。これにより、低感度画像信号による低感度ヒストグラムに基づいて露光時間が短い短時間露光条件を算出するという作用をもたらす。

【0009】

また、この第２の側面において、赤外光を遮断する赤外光カットフィルタをさらに具備し、上記通常画素は、可視光に対応する可視光画素であり、上記低感度画素は、赤外光に対応する赤外光画素であってもよい。これにより、赤外光画素を低感度画素として使用するという作用をもたらす。

【0010】

また、本技術の第３の側面は、画像信号を生成する通常画素と低感度画像信号を生成して上記通常画素よりも可視光に対する光電変換感度が低い低感度画素とを有する撮像素子を所定の露光条件により制御して上記画像信号および上記低感度画像信号を上記撮像素子に出力させる露光制御手順と、上記低感度画像信号に基づいて上記低感度画像信号の出現頻度分布を表す低感度ヒストグラムを生成する低感度ヒストグラム生成手順と、上記生成された上記低感度ヒストグラムに基づいて上記露光条件より露光時間が短い短時間露光条件を算出する短時間露光条件算出手順と、上記撮像素子を上記算出された上記短時間露光条件により制御して上記通常画素が生成する画像信号である短時間露光画像信号を上記撮像素子に出力させる短時間露光制御手順と、上記画像信号および上記短時間露光画像信号を合成する合成手順とを具備する撮像制御方法である。これにより、低感度画像信号による低感度ヒストグラムに基づいて露光時間が短い短時間露光条件を算出するという作用をもたらす。

【発明の効果】

【0011】

本技術によれば、２回の撮影により得られた複数の画像を合成してダイナミックレンジを拡大した画像を生成する際、２回目の撮影においても適正な露光条件を得るという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0012】

【図1】本技術の実施の形態における撮像装置の構成例を示す図である。

【図2】本技術の実施の形態における撮像素子の構成例を示す図である。

【図3】本技術の実施の形態における撮像素子に使用される画素のカラーフィルタおよび赤外光カットフィルタの分光特性の一例を示す図である。

【図4】本技術の実施の形態における赤外光カットフィルタを使用した場合の撮像素子における画素の特性の一例を示す図である。

【図5】本技術の実施の形態における撮像装置の構成例を示す図である。

【図6】本技術の実施の形態における露光制御と短時間露光条件の算出方法を説明する図である。

【図7】本技術の実施の形態における撮像制御処理の処理手順の一例を示す図である。

【図8】本技術の実施の形態におけるダイナミックレンジ拡大処理の処理手順の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．実施の形態の構成
２．実施の形態の動作

【0014】

＜１．実施の形態の構成＞
［撮像装置の構成］
図１は、本技術の実施の形態における撮像装置の構成例を示す図である。同図における撮像装置１０は、レンズ１００と、赤外光カットフィルタ２００と、撮像素子３００と、撮像制御装置４００とを備える。

【0015】

レンズ１００は、撮像素子３００に対して光学的に被写体を結像するものである。赤外光カットフィルタ２００は、撮像素子３００に入射する光に含まれる赤外光を遮断するものである。撮像素子３００は、レンズ１００によって結像された光学画像を画像信号に変換し、出力するものである。この撮像素子３００には、光学画像が結像される面に、画像信号を生成する画素が２次元に配置されている。この画素は、光電変換を行う光電変換素子を備えており、画素に入射する光の輝度に応じた電気信号を出力する。通常、撮像素子はＡ／Ｄ変換器を内蔵しており、この電気信号をデジタル信号に変換し、画像信号として出力する。本技術の実施の形態における撮像素子３００は、この画素として画像信号を生成する通常画素と低感度画像信号を生成して通常画素よりも可視光に対する光電変換感度が低い低感度画素とを備えている。撮像素子３００の構成と通常画素および低感度画素については後述する。

【0016】

撮像制御装置４００は、撮像素子３００における撮像を制御するものである。またこの撮像制御装置４００は、撮像素子３００が出力した画像信号および低感度画像信号の処理も行う。これらについては後述する。また、撮像制御装置４００は、撮像装置全体の制御も行う。これらのほか、撮像装置１０には、撮像素子３００に入射する光量を変更する絞り（不図示）なども備える。

【0017】

［撮像素子の構成］
図２は、本技術の実施の形態における撮像素子の構成例を示す図である。同図は、撮像素子３００の画素が配置された面である画素面の構成を表したものである。この画素面には画素３０１が２次元格子状に配置されている。この画素３０１に付されたＲ、Ｇ、ＢおよびＩＲは画素３０１の種類を表すものである。Ｒは赤色光に対応する画素（Ｒ画素）を表し、Ｇは緑色光に対応する画素（Ｇ画素）を表し、Ｂは青色光に対応する画素（Ｂ画素）を表し、ＩＲは赤外光に対応する画素（ＩＲ画素）を表す。画素における光電変換素子は、可視光から赤外光に亘る広い範囲の波長の光に対し感度を有している。これを特定の波長の光にのみ対応する画素とするため、画素ごとに異なる分光特性を有するカラーフィルタを配置している。このカラーフィルタについては後述する。撮像素子３００には、これら４種類の画素が画素面に規則的に配置されている。本技術の実施の形態においては、Ｒ画素、Ｇ画素およびＢ画素を通常画素とし、ＩＲ画素を低感度画素として使用する。

【0018】

［画素の構成］
図３は、本技術の実施の形態における撮像素子に使用される画素のカラーフィルタおよび赤外光カットフィルタの分光特性の一例を示す図である。同図におけるａは、Ｂ画素に配置されたカラーフィルタの波長と透過率の関係を表したものである。同図におけるｂは、Ｇ画素に配置されたカラーフィルタの波長と透過率の関係を表したものである。同図におけるｃは、Ｒ画素に配置されたカラーフィルタの波長と透過率の関係を表したものである。同図におけるｄは、ＩＲ画素に配置されたカラーフィルタの波長と透過率の関係を表したものである。同図におけるｅは、赤外光カットフィルタの波長と透過率の関係を表したものである。このような各画素に対応する光に対する透過率が高いカラーフィルタを配置することにより、これらの画素を所望の特性としている。例えば、図３におけるｄに表したＩＲ画素のカラーフィルタは可視光領域における透過率が低く、赤外光における透過率が高い。

【0019】

このようなカラーフィルタを使用した画素は、可視光に対する感度が低く、赤外光に対する感度が高い画素、すなわちＩＲ画素となる。このような画素を有する撮像素子３００に図３におけるｅに表した分光特性を有する赤外光カットフィルタを使用した場合を考える。赤外光カットフィルタの分光特性は、同図より明らかなように、可視光に対する透過率が高く、赤外光に対する透過率が低い。そのため、Ｒ、ＧおよびＢ画素については、ほとんど影響を及ぼさない。一方、ＩＲ画素においては、当該画素におけるカラーフィルタの赤外光領域における高い透過率が相殺されて低い透過率となる。

【0020】

［赤外光カットフィルタを使用した場合の画素の特性］
図４は、本技術の実施の形態における赤外光カットフィルタを使用した場合の撮像素子における画素の特性の一例を示す図である。同図におけるａは、Ｂ画素の波長と感度の関係を表したものである。同図におけるｂは、Ｇ画素の波長と感度の関係を表したものである。同図におけるｃは、Ｒ画素の波長と感度の関係を表したものである。同図におけるｄは、ＩＲ画素の波長と感度の関係を表したものである。Ｒ、ＧおよびＢ画素においては、赤外光カットフィルタの影響を受けることなく、それぞれ対応する波長の光に対して感度を有する特性となっている。一方、ＩＲ画素においては、赤外光カットフィルタにより、赤外光領域の感度が略ゼロとなる。また、可視光に対しては、低い感度を有する特性となる。このように本技術の実施の形態では、赤外光カットフィルタを使用することにより、ＩＲ画素を可視光にのみ対応する画素とするとともに、感度が低い低感度画素としている。なお、本技術の実施の形態においては、この低感度画素の感度を通常画素の感度の１０分の１と想定する。

【0021】

［撮像制御装置の構成］
図５は、本技術の実施の形態における撮像装置の構成例を示す図である。同図における撮像制御装置４００は、画像信号処理部４０１と、通常感度ヒストグラム生成部４０２と、低感度ヒストグラム生成部４０３とを備える。また、撮像制御装置４００は、メモリ４０４と、短時間露光条件算出部４０５と、合成部４０６と、露光制御部４０７と、短時間露光制御部４０８と、画像出力部４０９と、制御部４１０とをさらに備える。

【0022】

画像信号処理部４０１は、撮像素子３００が出力した画像信号を処理するものである。この処理は、例えば、デモザイク処理である。これは、Ｒ、ＧおよびＢ画素に対してそれぞれの画素が有していない他の色についての画像信号を生成する処理である。メモリ４０４は、画像信号を記憶するメモリである。このメモリ４０４は、２度の撮影によりダイナミックレンジを拡大した画像を生成する際の、１回目の撮影により得られた画像信号を保持する。合成部４０６は、メモリ４０４に保持された１回目の撮影により得られた画像信号と画像信号処理部４０１が出力した２回目の撮影により得られた画像信号とを合成し、出力するものである。なお、被写体によっては、２度の撮影によってもダイナミックレンジの拡大ができない場合が存在する。このような場合、合成部４０６は、この合成処理を行わず、メモリ４０４に保持されていた画像信号を出力する。画像出力部４０９は、合成部４０６が出力した画像信号を撮像装置１０の外部に出力するものである。この画像出力部４０９は、必要に応じて画像信号のフォーマットを変更し、出力する。

【0023】

通常感度ヒストグラム生成部４０２は、画像信号に基づいて画像信号の出現頻度分布を表す通常感度ヒストグラムを生成するものである。この通常感度ヒストグラムは、撮像装置１０における１回目の撮影の際の露光制御に使用されるものである。露光制御部４０７は、露光を制御するものである。この露光制御部４０７は、撮像装置１０における１回目の撮影の際の露光を制御する。この露光制御は、撮影の際に撮像素子における露光量を変更することにより出力される画像信号の信号レベルを所定の値に制御するものである。通常、露光量は、撮像素子３００の光電変換の開始から終了までの時間である露光時間や絞りによる入射光量の変更により制御することができる。この露光制御は、画像信号の評価値、例えば、画像信号の平均値が所定の信号レベルになるように露光時間を制御することにより行うことができる。この制御方法については後述する。

【0024】

低感度ヒストグラム生成部４０３は、低感度画像信号に基づいて低感度画像信号の出現頻度分布を表す低感度ヒストグラムを生成するものである。この低感度ヒストグラムは、撮像装置１０における２回目の撮影の際の露光条件算出に使用されるものである。短時間露光条件算出部４０５は、撮像装置１０における２回目の撮影の際の露光条件を算出するものである。この露光条件の算出については、後述する。短時間露光制御部４０８は、露光を制御するものである。この短時間露光制御部４０８は、短時間露光条件算出部４０５によって算出された露光条件に基づいて、撮像装置１０における２回目の撮影の際の露光を制御する。

【0025】

制御部４１０は、露光制御部４０７または短時間露光制御部４０８が出力した制御信号を選択して撮像素子３００に対して出力するものである。また、この制御部４１０は、通常感度ヒストグラム生成部４０２によって生成された通常感度ヒストグラムに基づいて短時間露光制御部４０８に露光制御を行わせる機能も有する。さらに、制御部４１０は、撮像制御装置４００の全体の制御も行う。

【0026】

［露光制御と短時間露光条件の算出］
図６は、本技術の実施の形態における露光制御と短時間露光条件の算出方法を説明する図である。同図におけるａは、通常感度ヒストグラム生成部４０２により生成された通常感度ヒストグラムの一例であり、横軸は通常画素が出力した画像信号の信号レベルを表し、縦軸は対応する画素の個数を表している。なお、本技術の実施の形態における画像信号は１０ビットデジタル信号であり、信号レベルは値「０」から値「１０２３」の範囲で変化する。露光制御部４０７は、これら画像信号の平均値を算出し、この平均値が最大信号レベルの２０％の値に等しくなるように露光時間を制御する。同図におけるａでは、信号レベルが値「２００」となるように露光時間を制御する。被写体が高輝度の領域を含む場合、この高輝度の領域に含まれる画素は画像信号が飽和する。つまり、いわゆる白飛びが発生する。このような場合、ダイナミックレンジを拡大した撮影が必要となる。この判断は、次のように行う。通常感度ヒストグラムにおいて信号レベルが飽和状態にある画素の画素数を算出する。同図におけるａでは、信号レベルが１０２３であるグラフ５０１の画素数を算出する。これが所定の飽和判定閾値以上である場合には、ダイナミックレンジを拡大した撮影が必要と判断する。この場合、信号レベルが飽和状態にある画素の周囲に存在する低感度画素による低感度画像信号に基づいて、低感度ヒストグラム生成部４０３が低感度ヒストグラムを生成する。

【0027】

同図におけるｂは、通常感度ヒストグラムおよび低感度ヒストグラムを１つのグラフに記載したものである。ここで、グラフ５０２は、この低感度ヒストグラムを表している。前述のように低感度画素の感度を通常画素の１０分の１と想定しているため、低感度画像信号に感度比の逆数である１０を乗算することにより、補正を行っている。この低感度ヒストグラムに基づいて、ダイナミックレンジを拡大した撮影を行うか否かの判断をさらに行う。この判断は、以下の手順により行われる。まず、グラフ５０２のなかで、画素数が最大となる信号レベル（以下、ピーク低感度画素数信号レベルと称する。）ここで、グラフ５０３は、このピーク低感度画素数信号レベルのグラフを表している。この画素数が低感度ヒストグラムにおける飽和判定閾値未満であり、かつ、不飽和判定閾値以上である場合には、ダイナミックレンジを拡大した撮影が可能と判断する。この場合、短時間露光条件算出部４０５により、２回目の撮影における露光条件が算出される。

【0028】

同図におけるｃは、短時間露光条件の算出方法を示している。すなわち、通常感度ヒストグラムおよび低感度ヒストグラムを記載したグラフに１回目の撮影における通常露光の露光範囲５０４および２回目の撮影における短時間露光の露光範囲５０５をさらに示している。上述のように、通常露光では、画像信号の信号レベルの平均値、すなわち同図における通常ヒストグラムの平均信号レベルが値「２００」となるように制御していた。なお、平均信号レベルを値「０」となるように制御した場合には、画像は黒潰れ状態となり、平均信号レベルを値「１０２３」となるように制御した場合には、画像は白飛び状態となる。一方、短時間露光においては、通常露光において白飛び状態となる領域が露光範囲となる。

【0029】

短時間露光条件は、上述したグラフ５０３のピーク低感度画素数信号レベルに基づいて、次のように算出される。この信号レベルを値「６０００」とすると、これを通常露光における平均信号レベルである値「２００」となるような露光条件を算出する。具体的には、２００／６０００＝１／３０であるため、通常露光に対して露光時間を３０分の１の露光時間とする。このように、本技術の実施の形態においては、低感度画像信号により２回目の撮影における露光条件を推定し、撮影を行う。

【0030】

＜２．実施の形態の動作＞
次に、２度の撮影によりダイナミックレンジを拡大した画像を生成する撮像装置における動作について説明する。

【0031】

［撮像制御処理の処理手順］
図７は、本技術の実施の形態における撮像制御処理の処理手順の一例を示す図である。まず、撮像制御装置４００は、１回目の撮影である通常撮影を行う（ステップＳ９０１）。具体的には、露光制御部４０７により撮像素子３００の露光が制御され、撮影が行われる。これにより、画像信号と低感度画像信号が、撮像素子３００から撮像制御装置４００に出力される。また、画像信号はメモリ４０４に保持される。次に、撮像制御装置４００は、画像信号から通常感度ヒストグラムを生成する（ステップＳ９０２）。次に、撮像制御装置４００は、通常感度ヒストグラムに基づいて、飽和画素数が飽和判定閾値以上であるか否かを判断する（ステップＳ９０３）。その結果、飽和判定閾値未満である場合は（ステップＳ９０３：Ｎｏ）、Ｓ９０７の処理に移行する。一方、飽和判定閾値以上である場合は（ステップＳ９０３：Ｙｅｓ）、ダイナミックレンジ拡大処理を行う（ステップＳ９１０）。その後、得られた画像信号を出力する（ステップＳ９０７）。なお、ダイナミックレンジ拡大処理においてダイナミックレンジを拡大した撮影を行った場合には、この撮影により得られた画像信号と通常撮影により得られた画像信号とを合成した画像信号を出力する。一方、ダイナミックレンジを拡大した撮影を行わなかった場合には、通常撮影より得られた画像信号を出力する。

【0032】

［ダイナミックレンジ拡大処理の処理手順］
図８は、本技術の実施の形態におけるダイナミックレンジ拡大処理の処理手順の一例を示す図である。まず、撮像制御装置４００は、飽和した画素の周囲の低感度画素の低感度画像信号を取得する（ステップＳ９１１）。次に、撮像制御装置４００は、感度比に基づく補正を行う（ステップＳ９１２）。本技術の実施の形態においては、低感度画像信号の信号レベルを１０倍にすることにより、補正を行う。次に、撮像制御装置４００は、低感度ヒストグラムを生成する（ステップＳ９１３）。次に、撮像制御装置４００は、ピーク低感度画素数信号レベルおよびこれに該当する画素数を算出する（ステップＳ９１４）。この画素数が飽和判定閾値以上または不飽和判定閾値未満である場合は（ステップＳ９１５：ＮｏまたはステップＳ９１６：Ｎｏ）、ダイナミックレンジを拡大した撮影を行わずにダイナミックレンジ拡大処理を終了する。

【0033】

一方、画素数が飽和判定閾値未満かつ不飽和判定閾値以上である場合は（ステップＳ９１５：ＹｅｓかつステップＳ９１６：Ｙｅｓ）、撮像制御装置４００は、短時間露光条件を算出する（ステップＳ９１７）。次に、撮像制御装置４００は、短時間露光条件による２回目の撮影を行う（ステップＳ９１８）。この際、短時間露光制御部４０８により撮像素子３００の露光が制御され、撮影が行われる。最後に、撮像制御装置４００は、この２回目の撮影により得られた画像信号およびメモリ４０４に保持された１回目の撮影における画像信号を合成し（ステップＳ９１９）、ダイナミックレンジ拡大処理を終了する。

【0034】

このように、本技術の実施の形態によれば、ダイナミックレンジを拡大した画像を生成する際、２回目の撮影においても低感度画素による低感度画像信号に基づいて適正な露光条件を設定することができる。

【0035】

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

【0036】

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

【0037】

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

【0038】

なお、本技術は以下のような構成もとることができる。
（１）画像信号を生成する通常画素と低感度画像信号を生成して前記通常画素よりも可視光に対する光電変換感度が低い低感度画素とを有する撮像素子を所定の露光条件により制御して前記画像信号および前記低感度画像信号を前記撮像素子に出力させる露光制御部と、
前記低感度画像信号に基づいて前記低感度画像信号の出現頻度分布を表す低感度ヒストグラムを生成する低感度ヒストグラム生成部と、
前記生成された前記低感度ヒストグラムに基づいて前記露光条件より露光時間が短い短時間露光条件を算出する短時間露光条件算出部と、
前記撮像素子を前記算出された前記短時間露光条件により制御して前記通常画素が生成する画像信号である短時間露光画像信号を前記撮像素子に出力させる短時間露光制御部と、
前記画像信号および前記短時間露光画像信号を合成する合成部と
を具備する撮像制御装置。
（２）前記画像信号に基づいて前記画像信号の出現頻度分布を表す通常感度ヒストグラムを生成する通常感度ヒストグラム生成部と、
前記生成された前記通常感度ヒストグラムに基づいて前記短時間露光制御部に前記制御を行わせる制御部と
をさらに具備する前記（１）に記載の撮像制御装置。
（３）画像信号を生成する通常画素と低感度画像信号を生成して前記通常画素よりも可視光に対する光電変換感度が低い低感度画素とを有する撮像素子と、
前記撮像素子を制御する撮像制御装置と
を具備し、
前記撮像制御装置は、
前記撮像素子を所定の露光条件により制御して前記画像信号および前記低感度画像信号を前記撮像素子に出力させる露光制御部と、
前記低感度画像信号に基づいて前記低感度画像信号の出現頻度分布を表す低感度ヒストグラムを生成する低感度ヒストグラム生成部と、
前記生成された前記低感度ヒストグラムに基づいて前記露光条件より露光時間が短い短時間露光条件を算出する短時間露光条件算出部と、
前記撮像素子を前記算出された前記短時間露光条件により制御して前記通常画素が生成する画像信号である短時間露光画像信号を前記撮像素子に出力させる短時間露光制御部と、
前記画像信号および前記短時間露光画像信号を合成する合成部と
を備える
撮像装置。
（４）赤外光を遮断する赤外光カットフィルタをさらに具備し、
前記通常画素は、可視光に対応する可視光画素であり、
前記低感度画素は、赤外光に対応する赤外光画素である
前記（３）に記載の撮像装置。
（５）画像信号を生成する通常画素と低感度画像信号を生成して前記通常画素よりも可視光に対する光電変換感度が低い低感度画素とを有する撮像素子を所定の露光条件により制御して前記画像信号および前記低感度画像信号を前記撮像素子に出力させる露光制御手順と、
前記低感度画像信号に基づいて前記低感度画像信号の出現頻度分布を表す低感度ヒストグラムを生成する低感度ヒストグラム生成手順と、
前記生成された前記低感度ヒストグラムに基づいて前記露光条件より露光時間が短い短時間露光条件を算出する短時間露光条件算出手順と、
前記撮像素子を前記算出された前記短時間露光条件により制御して前記通常画素が生成する画像信号である短時間露光画像信号を前記撮像素子に出力させる短時間露光制御手順と、
前記画像信号および前記短時間露光画像信号を合成する合成手順と
を具備する撮像制御方法。

【符号の説明】

【0039】

１０ 撮像装置
１００ レンズ
２００ 赤外光カットフィルタ
３００ 撮像素子
３０１ 画素
４００ 撮像制御装置
４０１ 画像信号処理部
４０２ 通常感度ヒストグラム生成部
４０３ 低感度ヒストグラム生成部
４０４ メモリ
４０５ 短時間露光条件算出部
４０６ 合成部
４０７ 露光制御部
４０８ 短時間露光制御部
４０９ 画像出力部
４１０ 制御部
５０１〜５０３ グラフ
５０４ 通常露光の露光範囲
５０５ 短時間露光の露光範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】