知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023058354
(43)【公開日】2023-04-25
(54)【発明の名称】撮像装置、映像処理方法、及び映像処理装置
(51)【国際特許分類】
H04N 23/63 20230101AFI20230418BHJP
H04N 23/76 20230101ALI20230418BHJP
G03B 7/091 20210101ALI20230418BHJP
G03B 15/00 20210101ALI20230418BHJP
【ＦＩ】
H04N5/232 930
H04N5/243
G03B7/091
G03B15/00 H
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021168334
(22)【出願日】2021-10-13
(71)【出願人】
【識別番号】000209751
【氏名又は名称】池上通信機株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】宅間 智志
(72)【発明者】
【氏名】前里 真一
(72)【発明者】
【氏名】石神 弘道
【テーマコード（参考）】
2H002
5C122
【Ｆターム（参考）】
2H002CC00
5C122DA03
5C122EA12
5C122EA61
5C122FC01
5C122FC02
5C122FF15
5C122FF18
5C122FG11
5C122FG15
5C122FH01
5C122FH18
5C122FH23
5C122FK24
5C122FK41
5C122GA01
5C122GA24
5C122HA46
5C122HA86
5C122HA88
5C122HB01
5C122HB02
5C122HB09
5C122HB10
(57)【要約】
【課題】スローシャッター機能がない撮像装置において高感度撮影を可能にし、また、高感度撮影に伴う映像品質の低下を抑制すること。
【解決手段】イメージセンサの出力信号から映像フレームを生成する信号処理部と、高感度撮影機能がオンになると、信号処理部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを高輝度の映像フレームに切り替えるフレーム蓄積部と、高輝度の映像フレームに切り替わる前の複数のフレーム期間において、高輝度の映像フレームの輝度レベルに徐々に近づくように、複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部とを備える、撮像装置が提供される。
【選択図】図１
【解決手段】イメージセンサの出力信号から映像フレームを生成する信号処理部と、高感度撮影機能がオンになると、信号処理部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを高輝度の映像フレームに切り替えるフレーム蓄積部と、高輝度の映像フレームに切り替わる前の複数のフレーム期間において、高輝度の映像フレームの輝度レベルに徐々に近づくように、複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部とを備える、撮像装置が提供される。
【選択図】図１
【特許請求の範囲】
【請求項1】
イメージセンサの出力信号から映像フレームを生成する信号処理部と、
高感度撮影機能がオンになると、前記信号処理部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを前記高輝度の映像フレームに切り替えるフレーム蓄積部と、
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部と、
を備える、撮像装置。
高感度撮影機能がオンになると、前記信号処理部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを前記高輝度の映像フレームに切り替えるフレーム蓄積部と、
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部と、
を備える、撮像装置。
【請求項2】
前記フレーム蓄積部は、
第１のフレームメモリ及び第２のフレームメモリを有し、
前記信号処理部から出力された複数の映像フレームを前記第１のフレームメモリ及び前記第２のフレームメモリのうちの一方に蓄積して前記高輝度の映像フレームを生成し、蓄積動作の間は他方のフレームメモリ内にある映像フレームを出力し、前記高輝度の映像フレームの出力後に、蓄積に利用するフレームメモリと、蓄積動作中の出力に利用するフレームメモリとを入れ替える、
請求項１に記載の撮像装置。
第１のフレームメモリ及び第２のフレームメモリを有し、
前記信号処理部から出力された複数の映像フレームを前記第１のフレームメモリ及び前記第２のフレームメモリのうちの一方に蓄積して前記高輝度の映像フレームを生成し、蓄積動作の間は他方のフレームメモリ内にある映像フレームを出力し、前記高輝度の映像フレームの出力後に、蓄積に利用するフレームメモリと、蓄積動作中の出力に利用するフレームメモリとを入れ替える、
請求項１に記載の撮像装置。
【請求項3】
前記ゲイン調整部によって輝度レベルが調整される映像フレームの数は、前記高輝度の映像フレームの生成に用いられる映像フレームの数と、１枚の映像フレームに適用される予め設定された輝度レベルの調整量とに基づいて決定される、
請求項１又は２に記載の撮像装置。
請求項１又は２に記載の撮像装置。
【請求項4】
前記フレーム蓄積部による蓄積動作は、前記信号処理部から出力された蓄積対象の映像フレームと、前記蓄積に利用するフレームメモリから読み出した映像フレームとに重み係数をかけて加算する処理と、加算後の映像フレームを、前記蓄積に利用するフレームメモリに書き込む処理とを含む、
請求項２に記載の撮像装置。
請求項２に記載の撮像装置。
【請求項5】
前記フレーム蓄積部は、前記イメージセンサの出力信号から生成される映像フレームのうちの無効な映像フレームを、前記高輝度の映像フレームの生成に利用しない、
請求項１～４のいずれか１項に記載の撮像装置。
請求項１～４のいずれか１項に記載の撮像装置。
【請求項6】
前記信号処理部から出力される映像フレームの黒レベルを補正して、補正後の映像フレームを前記フレーム蓄積部へと出力する第１の黒レベル補正部をさらに備え、
前記フレーム蓄積部は、前記高感度撮影機能がオンになると、前記第１の黒レベル補正部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成する、
請求項１～５のいずれか１項に記載の撮像装置。
前記フレーム蓄積部は、前記高感度撮影機能がオンになると、前記第１の黒レベル補正部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成する、
請求項１～５のいずれか１項に記載の撮像装置。
【請求項7】
前記高輝度の映像フレームの生成に用いられる映像フレームの数に対応する第２の補正値を用いて、前記高輝度の映像フレームの黒レベルを補正する第２の黒レベル補正部をさらに備える、
請求項６に記載の撮像装置。
請求項６に記載の撮像装置。
【請求項8】
前記第１の黒レベル補正部は、前記信号処理部によって前記映像フレームに適用されるフィルタリング処理の内容に対応する第１の補正値を用いて、前記信号処理部から出力される前記映像フレームの黒レベルを補正する、
請求項６又は７に記載の撮像装置。
請求項６又は７に記載の撮像装置。
【請求項9】
イメージセンサの出力信号から生成される映像フレームにフィルタリング処理を適用する信号処理部と、
前記フィルタリング処理の適用後の映像フレームに黒レベル補正を適用する第１の黒レベル補正部と、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力するフレーム蓄積部と、
を備える、撮像装置。
前記フィルタリング処理の適用後の映像フレームに黒レベル補正を適用する第１の黒レベル補正部と、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力するフレーム蓄積部と、
を備える、撮像装置。
【請求項10】
前記高輝度の映像フレームの生成に用いられる映像フレームの数に対応する第２の補正値を用いて、前記高輝度の映像フレームの黒レベルを補正する第２の黒レベル補正部をさらに備える、
請求項９に記載の撮像装置。
請求項９に記載の撮像装置。
【請求項11】
前記第１の黒レベル補正部は、前記信号処理部によって前記映像フレームに適用される前記フィルタリング処理の内容に対応する第１の補正値を用いて、前記信号処理部から出力される前記映像フレームの黒レベルを補正する、
請求項９又は１０に記載の撮像装置。
請求項９又は１０に記載の撮像装置。
【請求項12】
前記信号処理部は、前記映像フレームのうち、対象画素を含む矩形領域の画素群、前記対象画素を含む水平方向に並んだ画素群、又は、前記対象画素を含む垂直方向に並んだ画素群に対し、フィルタ係数をかけて加算処理する前記フィルタリング処理を適用する、
請求項９～１１のいずれか１項に記載の撮像装置。
請求項９～１１のいずれか１項に記載の撮像装置。
【請求項13】
高感度撮影機能がオンになると、イメージセンサの出力信号から生成された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを前記高輝度の映像フレームに切り替えることと、
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整することと、
を含む処理をコンピュータが実行する、映像処理方法。
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整することと、
を含む処理をコンピュータが実行する、映像処理方法。
【請求項14】
イメージセンサの出力信号から生成される映像フレームにフィルタリング処理を適用することと、
前記フィルタリング処理の適用後の映像フレームに黒レベル補正を適用することと、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力することと、
を含む処理をコンピュータが実行する、映像処理方法。
前記フィルタリング処理の適用後の映像フレームに黒レベル補正を適用することと、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力することと、
を含む処理をコンピュータが実行する、映像処理方法。
【請求項15】
高感度撮影機能がオンになると、イメージセンサの出力信号から生成された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを前記高輝度の映像フレームに切り替えるフレーム蓄積部と、
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部と、
を備える、映像処理装置。
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部と、
を備える、映像処理装置。
【請求項16】
イメージセンサの出力信号から生成され、フィルタリング処理が適用された映像フレームに黒レベル補正を適用する第１の黒レベル補正部と、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力するフレーム蓄積部と、
を備える、映像処理装置。
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力するフレーム蓄積部と、
を備える、映像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、映像処理方法、及び映像処理装置に関する。
【背景技術】
【0002】
世の中には様々な種類のカメラが存在する。身近なカメラとしては、スナップ撮影やポートレート撮影などで活躍しているコンパクトタイプのデジタルカメラやスマートフォンのカメラなどがある。一方、特殊用途のカメラとしては、テレビ局で利用される放送用カメラや、建造物の入口や屋外に設置される監視カメラなどがある。その他にも、自動車、船舶、航空機などに搭載されるカメラシステムや、空港の滑走路に設置されて障害物の有無を監視する特殊な監視カメラなどが存在する。もちろん、複数の特殊な用途に適応できる多目的カメラも存在する。
【0003】
例えば、屋外に固定された監視カメラによる撮影は、オペレータが居ない状況で長時間にわたって行われる。この場合、天候や日照条件などの環境が変化することによって、監視カメラから出力される映像の輝度レベルが時々刻々と変化する。監視対象物の検知など、監視カメラの用途を考えると、映像の輝度レベルをある一定のレベルに維持することが求められる。輝度レベルを上げる方法としては、露光時間を長くする方法（以下、スローシャッター機能）がある。しかし、特定の用途で利用されるカメラにはスローシャッター機能が搭載されておらず、スローシャッターによる輝度レベルの調整はできない。
【0004】
スローシャッターを用いずに映像の輝度レベルを上げる方法としては、下記の特許文献１に記載の方法のように、複数の映像フレームを加算して高輝度の映像フレームを生成する方法がある。また、特許文献１の方法では、映像フレームの加算枚数を変更した場合に、出力される高輝度の映像フレームの輝度レベルが変更前後で一定になるようにゲイン調整を行う。例えば、特許文献１の方法では、映像フレームの加算枚数を半分に変更したとき、変更後の映像フレームに対するゲインを２倍にする。また、下記の特許文献２には、フレーム加算による白飛びを抑えるためにフレームメモリの出力に応じてゲインを調整する方法が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００８－２６３３１６号公報
【特許文献2】特開平１１－２６１８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した映像フレームの加算処理を適用することによって、スローシャッター機能がなくても映像の輝度レベルを上げることができる。しかし、上記文献に記載の方法では、フレーム加算動作を開始した後、唐突に高輝度の映像フレームが出力されることになり、その前後で輝度レベルのギャップが生じてしまう。なお、特許文献１のゲイン調整は、フレーム加算動作の最中に加算枚数の増減に応じて輝度レベルを一定に保つようにゲインを調整する機能であり、上述した輝度レベルのギャップを解消することはできない。特許文献２のゲイン調整もフレーム加算動作の最中に白飛びが生じないようにゲインを調整する機能であり、上述した輝度レベルのギャップを解消することはできない。
【0007】
上記のような輝度レベルの急激な変化は映像品質を低下させる。これに限らず、フレーム加算に伴う映像品質の低下要因を少しでも減らすことは、スローシャッター機能を搭載しない撮像装置で高感度撮影を行う上で重要になる。そのため、本発明のある態様においては、スローシャッター機能がない撮像装置で高感度撮影を可能にし、また、高感度撮影に伴う映像品質の低下を抑制することを目的とする。
【課題を解決するための手段】
【0008】
本発明の第１の態様によれば、イメージセンサの出力信号から映像フレームを生成する信号処理部と、高感度撮影機能がオンになると、信号処理部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを高輝度の映像フレームに切り替えるフレーム蓄積部と、高輝度の映像フレームに切り替わる前の複数のフレーム期間において、高輝度の映像フレームの輝度レベルに徐々に近づくように、複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部と、を備える、撮像装置が提供される。
【0009】
また、本発明の第２の態様によれば、イメージセンサの出力信号から生成される映像フレームにフィルタリング処理を適用する信号処理部と、フィルタリング処理の適用後の映像フレームに黒レベル補正を適用する第１の黒レベル補正部と、高感度撮影機能がオンになると、黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力するフレーム蓄積部と、を備える、撮像装置が提供される。
【0010】
また、本発明の第３の態様によれば、高感度撮影機能がオンになると、イメージセンサの出力信号から生成された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを高輝度の映像フレームに切り替えることと、高輝度の映像フレームに切り替わる前の複数のフレーム期間において、高輝度の映像フレームの輝度レベルに徐々に近づくように、複数のフレーム期間に出力される映像フレームの輝度レベルを調整することと、を含む処理をコンピュータが実行する、映像処理方法が提供される。
【0011】
また、本発明の第４の態様によれば、イメージセンサの出力信号から生成される映像フレームにフィルタリング処理を適用することと、フィルタリング処理の適用後の映像フレームに黒レベル補正を適用することと、高感度撮影機能がオンになると、黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力することと、を含む処理をコンピュータが実行する、映像処理方法が提供される。
【0012】
また、本発明の第５の態様によれば、上述した第３又は第４の態様のいずれかに係る映像処理方法をコンピュータに実装するためのコンピュータプログラムが提供されうる。また、本発明の第６の態様によれば、第５の態様に係るコンピュータプログラムが格納されたコンピュータ可読記憶媒体が提供されうる。また、本発明の第７の態様によれば、上述した第３及び第４の態様のいずれかに係る映像処理方法を実行する映像処理装置が提供されうる。
【発明の効果】
【0013】
本発明のある態様によれば、スローシャッター機能がない撮像装置で高感度撮影を可能にし、また、高感度撮影に伴う映像品質の低下を抑制することが可能になる。
【図面の簡単な説明】
【0014】
【図1】第１実施形態に係る撮像装置の構成を模式的に示すブロック図である。
【図2】信号処理部による画素加算の処理について説明するための図である。
【図3】第１の補正データの例を示す図表である。
【図4】フレーム蓄積部の構成を模式的に示す図である。
【図5】フレーム蓄積部の動作例（２フレーム蓄積の場合）について説明するためのタイミングチャートである。
【図6】フレーム蓄積部の動作例（３フレーム蓄積の場合）について説明するためのタイミングチャートである。
【図7】第２の補正データの例を示す図表である。
【図8】ゲイン調整部の動作例（２フレーム蓄積の場合）について説明するためのタイミングチャートである。
【図9】ゲイン調整部の動作例（３フレーム蓄積の場合）について説明するためのタイミングチャートである。
【図10】第１実施形態に係る映像フレーム処理の流れについて説明するためのフローチャートである。
【図11】第２実施形態に係る撮像装置の構成を模式的に示すブロック図である。
【図12】第３実施形態に係る撮像装置の構成を模試的に示すブロック図である。
【発明を実施するための形態】
【0015】
以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
【0016】
＜１．第１実施形態＞
以下、本発明に係る第１実施形態について説明する。
以下、本発明に係る第１実施形態について説明する。
【0017】
［１－１．撮像装置の構成］
図１を参照しながら、第１実施形態に係る撮像装置の構成について説明する。図１は、第１実施形態に係る撮像装置の構成を模式的に示すブロック図である。なお、図１に示した撮像装置１０は、第１実施形態に係る撮像装置の一例である。また、撮像装置１０は、上述したスローシャッター機能を搭載していない。
図１を参照しながら、第１実施形態に係る撮像装置の構成について説明する。図１は、第１実施形態に係る撮像装置の構成を模式的に示すブロック図である。なお、図１に示した撮像装置１０は、第１実施形態に係る撮像装置の一例である。また、撮像装置１０は、上述したスローシャッター機能を搭載していない。
【0018】
図１に示すように、撮像装置１０は、カメラヘッド部１１と、カメラ制御部１２と、表示装置１３とを有する。カメラヘッド部１１は、単にカメラヘッドと称されたり、又は光学部などと称されることがある。カメラ制御部１２は、ＣＣＵ（Camera Control Unit）などと称されることがある。
【0019】
図１の例では、カメラヘッド部１１とカメラ制御部１２とを分けて記載しているが、両者を同じ筐体内に収容した一体型の撮像装置であってもよい。以下の説明では、図１に示した構成例を参照して説明を進めるが、撮像装置１０の物理的な形状や、カメラヘッド部１１及びカメラ制御部１２の各々に搭載する機能の組み合わせについては、実施の態様に応じて任意に変形可能であり、そのような変形例についても当然に第１実施形態の技術的範囲に属する。
【0020】
カメラヘッド部１１は、光ファイバケーブル、同軸ケーブル、又はＬＡＮ（Local Area Network）ケーブルなどの通信線を介してカメラ制御部１２に接続される。そして、カメラ制御部１２から出力される制御信号や、カメラヘッド部１１から出力される映像信号は通信線を介して伝送される。例えば、光ファイバケーブルを利用する場合、最大で１０ｋｍ程度の長さの通信線を張ることができ、放送カメラとしての利用だけでなく、例えば、空港などの広大なエリアで活躍する監視カメラなどへの応用が容易になる。
【0021】
表示装置１３は、カメラ制御部１２に接続され、カメラ制御部１２から出力される映像を表示する。表示装置１３は、例えば、ＬＣＤ（Liquid Crystal Display）、ＥＬＤ（Electro-Luminescence Display）などのディスプレイデバイスである。図１の例では、カメラ制御部１２に表示装置１３が直接接続されているが、表示装置１３は、撮像装置１０の外部にあってよく、映像出力用のインターフェースを介して撮像装置１０に接続されていてもよい。表示装置１３の設置方法及び接続方法は実施の態様に応じて任意に変形可能であり、そのような変形例についても当然に第１実施形態の技術的範囲に属する。
【0022】
（カメラヘッド部の構成について）
図１に示すように、カメラヘッド部１１は、光学系１１１と、イメージセンサ１１２と、信号処理部１１３とを有する。
図１に示すように、カメラヘッド部１１は、光学系１１１と、イメージセンサ１１２と、信号処理部１１３とを有する。
【0023】
光学系１１１は、例えば、レンズユニット１１１ａ、光学フィルタ１１１ｂ、及び分光素子１１１ｃなどを含む。レンズユニット１１１ａは、１つ以上のレンズ群で構成され、各レンズ群は、１枚以上のレンズを含む。レンズユニット１１１ａは、アイリスを含んでもよい。光学フィルタ１１１ｂは、減光用のＮＤ（Neutral Density）フィルタ、赤外線を減衰させるＩｒフィルタ、Ｒ（赤色）／Ｇ（緑色）／Ｂ（青色）のいずれかを透過させるカラーフィルタなどであってよく、レンズユニット１１１ａを透過してイメージセンサ１１２に到達する光の経路上に配置されうる。
【0024】
分光素子１１１ｃは、レンズユニット１１１ａを透過した光を分光するプリズムなどの光学素子であり、レンズユニット１１１ａと、イメージセンサ１１２との間に配置される。図１の例では、撮像装置１０に３枚のイメージセンサ１１２が搭載されている。例えば、３枚のイメージセンサ１１２は、それぞれＲ、Ｇ、Ｂに対応する。この場合、分光素子１１１ｃは、レンズユニット１１１ａを透過した光をＲ、Ｇ、Ｂの３成分に分離し、これら３成分を３枚のイメージセンサ１１２にそれぞれ導光する。なお、撮像装置１０が１枚のイメージセンサ１１２を搭載する場合、分光素子１１１ｃは省略される。
【0025】
イメージセンサ１１２は、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサである。上記のように、イメージセンサ１１２は、複数のセンサで構成されてよい。また、イメージセンサ１１２の読み出し方式は、ローリングシャッター方式でもよいし、グローバルシャッター方式でもよい。但し、ローリングシャッター歪みを抑制する観点からは、グローバルシャッター方式のＣＭＯＳセンサを採用する方が好適である。イメージセンサ１１２から出力される映像信号は、信号処理部１１３に入力される。
【0026】
信号処理部１１３は、ＡＤＣ（Analog to Digital Converter）機能１１３ａと、画素加算機能１１３ｂとを有する。ＡＤＣ機能１１３ａは、イメージセンサ１１２から出力されるアナログの映像信号をデジタル信号（以下、映像フレーム）に変換する。画素加算機能１１３ｂは、各映像フレームにフィルタリング処理を適用してノイズの低減及び／又は輝度レベルのアップ（ゲインアップ）を実現する。例えば、画素加算機能１１３ｂは、図２に示す方法で各映像フレームを処理する。図２は、信号処理部による画素加算の処理について説明するための図である。
【0027】
図２の例において、ｎは、画素の水平位置を示すパラメータであり、ｍは、画素の垂直位置を示すパラメータである。また、ｐ（ｎ，ｍ）は、座標（ｎ，ｍ）の位置にある画素の画素値を表す。例えば、フィルタリング処理後の画素値をＰ（ｎ，ｍ）とすると、画素加算機能１１３ｂは、以下の式（１）に従ってＰ（ｎ，ｍ）を計算する。
【0028】
【数1】
【0029】
式（１）中のａ０、ａ１、ａ２、ａ３は、フィルタ係数である。ａ０、ａ１、ａ２、ａ３を全て１にすると、映像フレームの輝度レベルがアップする。また、周辺画素の画素値が加算されるため、上記のフィルタリング処理は、高周波成分を低減させるローパスフィルタの効果もある。フィルタ係数の組み合わせを変えることによって、様々なフィルタリング処理が可能になる。例えば、係数の合計値を１より大きくすることでゲインアップを伴うフィルタとして機能させることができ、合計値を１以下にすることでゲインアップせずにノイズを低減するノイズ低減フィルタとして機能させることができる。
【0030】
図２の例及び上記の式（１）は、説明の都合上、水平２画素、垂直２画素の４画素をフィルタリング処理の対象としたが、対象画素の組み合わせはこれに限定されない。フィルタリング処理の対象となる画素の組み合わせとしては、例えば、以下の表１に示す７つのフィルタリングパターンを設定することができる。なお、＋０ｄＢのパターンは、画素加算機能１１３ｂによるフィルタリング処理を適用しないケースに対応する。
【0031】
【表1】
【0032】
また、上記の式（１）は、下記の式（２）のように拡張できる。式（２）中のａmnは、座標（ｍ，ｎ）の位置にある画素値ｐ（ｍ，ｎ）に適用されるフィルタ係数である。対象画素以外のフィルタ係数を０に設定することで、上記の各パターンを表現することができ、対象画素のフィルタ係数を設定することで、映像フレームの周波数特性を操作することができる。信号処理部１１３は、画素加算機能１１３ｂによって、全てのｍ、ｎについてＰ（ｍ，ｎ）を計算し、計算したＰ（ｍ，ｎ）を画素値とする映像フレームをカメラ制御部１２へと出力する。
【0033】
【数2】
【0034】
（カメラ制御部の構成について）
再び図１を参照する。カメラ制御部１２は、制御部１２０と、第１の黒レベル補正部１２１と、フレーム蓄積部１２２と、第２の黒レベル補正部１２３と、ゲイン調整部１２４と、映像処理部１２５とを有する。
再び図１を参照する。カメラ制御部１２は、制御部１２０と、第１の黒レベル補正部１２１と、フレーム蓄積部１２２と、第２の黒レベル補正部１２３と、ゲイン調整部１２４と、映像処理部１２５とを有する。
【0035】
制御部１２０は、第１実施形態に係るカメラヘッド部１１及びカメラ制御部１２の動作を制御する。制御部１２０は、例えば、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphic Processing Unit）などのプロセッサである。プロセッサは、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリ、及び／又はＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などのストレージデバイスに接続される。メモリ及び／又はストレージデバイスには、制御部１２０の機能を実装するためのコンピュータプログラムが格納されうる。
【0036】
（第１の黒レベル補正について）
第１の黒レベル補正部１２１は、予め設定された補正値Ｍ１を用いて、カメラヘッド部１１（信号処理部１１３）から出力される映像フレームの黒レベルを補正する。補正値Ｍ１は、遮光状態でカメラヘッド部１１から出力される映像フレームの輝度レベル平均値である。非遮光状態で撮影した映像フレームの輝度レベルから補正値を減算することで、黒レベルを補正することができる。但し、センサ出力のゲインアップを行うと、暗電流ノイズが増幅されるため、ゲインの大きさに応じて適切な黒レベルの補正値も変化する。
第１の黒レベル補正部１２１は、予め設定された補正値Ｍ１を用いて、カメラヘッド部１１（信号処理部１１３）から出力される映像フレームの黒レベルを補正する。補正値Ｍ１は、遮光状態でカメラヘッド部１１から出力される映像フレームの輝度レベル平均値である。非遮光状態で撮影した映像フレームの輝度レベルから補正値を減算することで、黒レベルを補正することができる。但し、センサ出力のゲインアップを行うと、暗電流ノイズが増幅されるため、ゲインの大きさに応じて適切な黒レベルの補正値も変化する。
【0037】
撮像装置１０の場合、信号処理部１１３の画素加算機能１１３ｂによって映像フレームに上述したフィルタリング処理が適用される。このフィルタリング処理の内容が変わると、補正すべき黒レベルの大きさが変動する。そのため、第１の黒レベル補正部１２１は、信号処理部１１３で適用されたフィルタリング処理の内容に対応する補正値Ｍ１を取得し、補正値Ｍ１を映像フレームの輝度レベルから減算することで黒レベルを補正する。
【0038】
図１の例では、補正値Ｍ１のデータは、第１の黒レベル補正部１２１が第１の補正データ１２１ａとして保持している。但し、第１の補正データ１２１ａは、制御部１２０が保持して第１の黒レベル補正部１２１に提供してもよい。第１の補正データ１２１ａは、例えば、図３のような構成を有しうる。図３は、第１の補正データの例を示す図表である。なお、図３には、説明を容易にするために、図表の形式で、フィルタリング処理の内容（上記の表１に示した７つのフィルタリングパターン）と補正値Ｍ１との関係を示しているが、データ構造はこの例に限定されない。
【0039】
例えば、信号処理部１１３の画素加算機能１１３ｂによって、水平２画素、垂直２画素を単純加算するフィルタリングパターン（図２を参照）が適用された場合、第１の黒レベル補正部１２１は、そのパターンに対応する補正値Ｍ１（＋１２ｄＢ）を用いて、信号処理部１１３から出力される映像フレームの黒レベルを補正する。なお、各フィルタリングパターンに対応する補正値Ｍ１は、遮光状態で撮影したフィルタリング後の映像フレームを用いて予め求めることができる。また、信号処理部１１３で利用されるフィルタリングパターンは、制御部１２０によって決定されてよく、第１の黒レベル補正部１２１で適用される補正値Ｍ１は、制御部１２０によって指定されてよい。
【0040】
上記の説明では、各フィルタリングパターンに対応する補正値Ｍ１を第１の補正データ１２１ａとして予め用意する方法を紹介したが、変形例として、フィルタリング処理を適用しない場合の補正値Ｍ１（０＋ｄＢ）と、他のフィルタリングパターンを適用した場合の補正値（例えば、Ｍ１（＋１２ｄＢ））との差分値を第１の補正データ１２１ａとして保持してもよい。この場合、第１の黒レベル補正部１２１は、補正値Ｍ１（０＋ｄＢ）と差分値とを用いて、適用されたフィルタリングパターンに対応する補正値（例えば、Ｍ１（＋１２ｄＢ））を求め、求めた補正値を用いて黒レベル補正を実行する。
【0041】
（フレーム蓄積について）
第１の黒レベル補正部１２１による黒レベル補正後の映像フレームは、フレーム蓄積部１２２へと出力される。フレーム蓄積部１２２は、高感度撮影モードがオンのとき、複数の映像フレームをフレームメモリに蓄積し、複数の映像フレームを加算することで高輝度の映像フレームを生成する。高感度撮影モードがオフのとき、フレーム蓄積部１２２は、入力される映像フレームを加算せずにスルー出力する。
第１の黒レベル補正部１２１による黒レベル補正後の映像フレームは、フレーム蓄積部１２２へと出力される。フレーム蓄積部１２２は、高感度撮影モードがオンのとき、複数の映像フレームをフレームメモリに蓄積し、複数の映像フレームを加算することで高輝度の映像フレームを生成する。高感度撮影モードがオフのとき、フレーム蓄積部１２２は、入力される映像フレームを加算せずにスルー出力する。
【0042】
図１に示すように、フレーム蓄積部１２２は、フレームメモリ１２２ａ、１２２ｂと、レジスタ１２２ｃとを有する。以下の説明では、説明を容易にするため、フレームメモリ１２２ａをＡ面と表記し、フレームメモリ１２２ｂをＢ面と表記する場合がある。但し、Ａ面、Ｂ面の表記は、単に両者を区別するための表記に過ぎず、優先度や上位／下位などの関係を意味するものではない点に留意されたい。
【0043】
フレーム蓄積部１２２は、例えば、図４のような構成を有する。図４は、フレーム蓄積部の構成を模式的に示す図である。なお、図４の構成例は、あくまでも説明のための例示であり、実装時には、回路などのハードウェア要素及び／又はソフトウェア要素を適宜組み合わせて同等の機能を実現することができ、第１実施形態に係る技術の適用範囲は図４の例に限定されない点に留意されたい。
【0044】
図４には、フレーム蓄積部１２２の要素として、フレームメモリ１２２ａ、１２２ｂの他に、スイッチＳＷｉｎ、ＳＷｏｕｔ及び加算部１２２ｄ、１２２ｅが示されている。
【0045】
スイッチＳＷｉｎは、映像フレームを蓄積するフレームメモリを切り替えるためのスイッチである。スイッチＳＷｉｎがフレーム蓄積部１２２への入力Ｉｎをフレームメモリ１２２ａ側の端子Ａｉｎに接続すると、映像フレームは、フレームメモリ１２２ａ（Ａ面）に蓄積される。また、スイッチＳＷｉｎがフレーム蓄積部１２２への入力Ｉｎをフレームメモリ１２２ｂ側の端子Ｂｉｎに接続すると、映像フレームは、フレームメモリ１２２ｂ（Ｂ面）に蓄積される。
【0046】
スイッチＳＷｏｕｔは、映像フレームを読み出すフレームメモリを切り替えるためのスイッチである。スイッチＳＷｏｕｔがフレームメモリ１２２ａ側の端子Ａｏｕｔを、フレーム蓄積部１２２からの出力Ｏｕｔに接続すると、フレームメモリ１２２ａ（Ａ面）から映像フレームが読み出される。また、スイッチＳＷｏｕｔがフレームメモリ１２２ｂ側の端子Ｂｏｕｔを、フレーム蓄積部１２２からの出力Ｏｕｔに接続すると、フレームメモリ１２２ｂ（Ｂ面）から映像フレームが読み出される。
【0047】
加算部１２２ｄは、フレームメモリ１２２ａから読み出された映像フレームと、端子Ａｉｎに入力された映像フレームとを加算する。加算部１２２ｄから出力される加算後の映像フレームは、フレームメモリ１２２ａに書き込まれる。同様に、加算部１２２ｅは、フレームメモリ１２２ｂから読み出された映像フレームと、端子Ｂｉｎに入力された映像フレームとを加算する。加算部１２２ｅから出力される加算後の映像フレームは、フレームメモリ１２２ｂに書き込まれる。スイッチＳＷｉｎ、ＳＷｏｕｔの動作、及び、映像フレームの読み出し及び書き込みのタイミングは、制御部１２０によって制御される。
【0048】
（動作の説明）
ここで、図５及び図６を参照しながら、フレーム蓄積部１２２の動作について具体的に説明する。図５は、フレーム蓄積部の動作例（２フレーム蓄積の場合）について説明するためのタイミングチャートである。また、図６は、フレーム蓄積部の動作例（３フレーム蓄積の場合）について説明するためのタイミングチャートである。
ここで、図５及び図６を参照しながら、フレーム蓄積部１２２の動作について具体的に説明する。図５は、フレーム蓄積部の動作例（２フレーム蓄積の場合）について説明するためのタイミングチャートである。また、図６は、フレーム蓄積部の動作例（３フレーム蓄積の場合）について説明するためのタイミングチャートである。
【0049】
図５の例は、フレームメモリへの映像フレームの蓄積動作を開始した後、２枚の映像フレームを加算して出力するケースを示している。図５には、イメージセンサ１１２からの出力タイミング（フレーム期間）［センサ出力］、フレームメモリ１２２ａ側の動作［フレームメモリ（Ａ面）］、フレームメモリ１２２ｂ側の動作［フレームメモリ（Ａ面）］、レジスタ１２２ｃの値［レジスタ（蓄積フレーム数）］、及びいずれの面から映像フレームが出力されるか［出力映像］が示されている。また、図５に示したタイミングチャートの横軸は時間軸であり、右方向に時間が進む。
【0050】
センサ出力のブロックに記載された数はフレーム期間を表す。例えば、ｋと記載されたブロックは、ｋ番目のフレーム期間を表す。図５の例では、ｋ番目のフレーム期間から映像フレームの蓄積動作が行われる。映像フレームの蓄積数Ｎは２である。蓄積動作が開始される前のフレーム期間においては、映像フレームが加算されず、１枚の映像フレームがスルー出力される。この場合、加算部１２２ｄ、１２２ｅは動作せず、Ａ面及びＢ面に交互に書き込まれ、書き込まれた１枚の映像フレームがそのまま出力される。
【0051】
例えば、（ｋー２）番目のフレーム期間では、カメラヘッド部１１から出力された映像フレームがＢ面に書き込まれ、同じタイミングで、Ａ面にある映像フレームが読み出されてフレーム蓄積部１２２から出力される。この場合、スイッチＳＷｉｎは、入力ＩｎをＢ面側の端子Ｂｉｎに接続しており、スイッチＳＷｏｕｔは、Ａ面側の端子Ａｏｕｔを出力Ｏｕｔに接続している。
【0052】
（ｋー１）番目のフレーム期間では、カメラヘッド部１１から出力された映像フレームがＡ面に書き込まれ、同じタイミングで、Ｂ面にある映像フレームが読み出されてフレーム蓄積部１２２から出力される。この場合、スイッチＳＷｉｎは、入力ＩｎをＡ面側の端子Ａｉｎに接続しており、スイッチＳＷｏｕｔは、Ｂ面側の端子Ｂｏｕｔを出力Ｏｕｔに接続している。なお、蓄積期間の開始前は、蓄積フレーム数を表すレジスタ１２２ｃの値は、０のままである。
【0053】
蓄積動作が開始されると、加算部１２２ｄ、１２２ｅが機能し、映像フレームの加算が行われる。蓄積動作の開始直後であるｋ番目のフレーム期間では、フレーム蓄積部１２２に新たに入力された映像フレームがＢ面に書き込まれ、同じタイミングで、Ａ面にある映像フレームが読み出されてフレーム蓄積部１２２から出力される。このとき、スイッチＳＷｉｎは、入力ＩｎをＢ面側の端子Ｂｉｎに接続しており、スイッチＳＷｏｕｔは、Ａ面側の端子Ａｏｕｔを出力Ｏｕｔに接続している。
【0054】
続く（ｋ＋１）番目のフレーム期間では、Ｂ面にある映像フレームが読み出されて加算部１２２ｅに入力される。また、フレーム蓄積部１２２に新たに入力された映像フレームが加算部１２２ｅに入力され、Ｂ面から読み出された映像フレームに加算される。そして、加算部１２２ｅで加算された映像フレームは、Ｂ面に書き込まれる。このとき、レジスタ１２２ｃの値（蓄積フレーム数）が１に書き換えられる。この期間、スイッチＳＷｉｎは、入力ＩｎをＢ面側の端子Ｂｉｎに接続している。
【0055】
この例では、加算する映像フレーム数Ｎが２であるため、レジスタ１２２ｃの値が１になると、フレームメモリに蓄積された映像フレームが出力される。従って、Ｂ面にある加算後の映像フレームが読み出されてフレーム蓄積部１２２から出力される。このとき、スイッチＳＷｏｕｔは、Ｂ面側の端子Ｂｏｕｔを出力Ｏｕｔに接続している。フレーム蓄積が完了し、加算された映像フレームが出力されると、レジスタ１２２ｃの値は０にリセットされる。なお、このフレーム期間ではＡ面に対する処理は行われない。
【0056】
続く（ｋ＋２）番目のフレーム期間では、Ｂ面にある映像フレームが読み出されてフレーム蓄積部１２２から出力される。また、フレーム蓄積部１２２に新たに入力された映像フレームがＡ面に書き込まれる。このとき、スイッチＳＷｉｎは、入力ＩｎをＡ面側の端子Ａｉｎに接続しており、スイッチＳＷｏｕｔは、Ｂ面側の端子Ｂｏｕｔを出力Ｏｕｔに接続している。
【0057】
続く（ｋ＋３）番目のフレーム期間では、Ａ面にある映像フレームが読み出されて加算部１２２ｄに入力される。また、フレーム蓄積部１２２に新たに入力された映像フレームが加算部１２２ｄに入力され、Ａ面から読み出された映像フレームに加算される。そして、加算部１２２ｄで加算された映像フレームは、Ａ面に書き込まれる。このとき、レジスタ１２２ｃの値（蓄積フレーム数）が１に書き換えられる。この期間、スイッチＳＷｉｎは、入力ＩｎをＡ面側の端子Ａｉｎに接続している。
【0058】
この例では、加算する映像フレーム数Ｎが２であるため、レジスタ１２２ｃの値が１になると、フレームメモリに蓄積された映像フレームが出力される。従って、Ａ面にある加算後の映像フレームが読み出されてフレーム蓄積部１２２から出力される。このとき、スイッチＳＷｏｕｔは、Ａ面側の端子Ａｏｕｔを出力Ｏｕｔに接続している。フレーム蓄積が完了し、加算された映像フレームが出力されると、レジスタ１２２ｃの値は０にリセットされる。なお、このフレーム期間ではＢ面に対する処理は行われない。
【0059】
続く（ｋ＋４）番目以降のフレーム期間でも同様に、Ａ面及びＢ面を切り替えながら映像フレームを蓄積し、加算部１２２ｄ、１２２ｅを利用して映像フレームを加算することによって、フレーム蓄積部１２２は、高輝度の映像フレームを生成する。
【0060】
加算する映像フレームの数Ｎが３の場合、フレーム蓄積部１２２の動作は、図６のようになる。蓄積動作の開始前のフレーム期間におけるフレーム蓄積部１２２の動作は、図５の例と同じである。一方、（ｋ＋１）番目以降のフレーム期間における動作が図５の例とは異なる。例えば、（ｋ＋１）番目のフレーム期間では、Ａ面にある映像フレームがフレーム蓄積部１２２から出力される。また、Ｂ面にある映像フレームを読み出して加算部１２２ｅに入力し、フレーム蓄積部１２２に新たに入力される映像フレームと加算する処理は図５の例と同じであるが、加算後の映像フレームは、Ｂ面に書き込まれた後にフレーム蓄積部１２２から出力されない。また、レジスタ１２２ｃの値は１のまま維持される。
【0061】
続く（ｋ＋２）番目のフレームでは、Ｂ面にある映像フレームが読み出されて加算部１２２ｅに入力される。また、フレーム蓄積部１２２に新たに入力された映像フレームが加算部１２２ｅに入力され、Ｂ面から読み出された映像フレームに加算される。そして、加算部１２２ｅで加算された映像フレームは、Ｂ面に書き込まれる。このとき、レジスタ１２２ｃの値（蓄積フレーム数）が２に書き換えられる。この期間、スイッチＳＷｉｎは、入力ＩｎをＢ面側の端子Ｂｉｎに接続している。
【0062】
図６の例では、加算する映像フレーム数Ｎが３であるため、レジスタ１２２ｃの値が２になると、フレームメモリに蓄積された映像フレームが出力される。従って、Ｂ面にある加算後の映像フレームが読み出されてフレーム蓄積部１２２から出力される。このとき、スイッチＳＷｏｕｔは、Ｂ面側の端子Ｂｏｕｔを出力Ｏｕｔに接続している。フレーム蓄積が完了し、加算された映像フレームが出力されると、レジスタ１２２ｃの値は０にリセットされる。なお、このフレーム期間ではＡ面に対する処理は行われない。
【0063】
続く（ｋ＋３）番目のフレーム期間では、Ｂ面にある映像フレームが読み出されてフレーム蓄積部１２２から出力される。また、フレーム蓄積部１２２に新たに入力された映像フレームがＡ面に書き込まれる。このとき、スイッチＳＷｉｎは、入力ＩｎをＡ面側の端子Ａｉｎに接続しており、スイッチＳＷｏｕｔは、Ｂ面側の端子Ｂｏｕｔを出力Ｏｕｔに接続している。続く（ｋ＋４）番目以降のフレーム期間でも同様に、Ａ面及びＢ面を切り替えながら映像フレームを蓄積し、加算部１２２ｄ、１２２ｅを利用して映像フレームを加算することによって、フレーム蓄積部１２２は、高輝度の映像フレームを生成する。
【0064】
上記のように、フレーム蓄積部１２２は、フレームメモリ１２２ａ、１２２ｂを利用して映像フレームを蓄積し、加算部１２２ｄ、１２２ｅを利用して複数の映像フレームを加算することによって、高輝度の映像フレームを生成する。また、一方のフレームメモリに映像フレームを蓄積しているフレーム期間においても、他方のフレームメモリから映像フレームが出力される。そのため、一般的なスローシャッター機能では映像が出力されない期間が生じるが、上述した撮像装置１０では、そのような期間が生じない。
【0065】
ここで、加算部１２２ｄ、１２２ｅの機能について、さらに説明する。複数の映像フレームを加算する方法としては、複数の映像フレームの対応する画素の画素値を単純に加算する方法がある。また、応用例として、対応する画素の画素値に重み付けして加算する方法もある。ｊ番目の映像フレーム内の位置（ｎ，ｍ）にある画素の画素値をｑ（ｎ，ｍ，ｊ）と表記し、ｊ番目の映像フレームの画素値に対する重み係数をｒjと表記すると、加算後の映像フレームの画素値Ｑ（ｎ，ｍ，ｔ）は、下記の式（３）で与えられる。
【0066】
【数3】
【0067】
ｒ0＝ｒ1＝１、ｒj（ｊ≧２）＝０の場合、２枚の映像フレームを単純加算した映像フレームが得られる。また、重み係数ｒjが１より大きい場合にはゲインアップした映像フレームが得られる。その他、重み係数ｒjの設定によっては、ローパスフィルタなどのフィルタ効果を生じさせることもできる。重み係数ｒjの要素を加算部１２２ｄ、１２２ｅに組み込む方法としては、例えば、レジスタ１２２ｃの値に予め重み係数ｒjを対応付けておき、映像フレームの加算時に、加算部１２２ｄ、１２２ｅがレジスタ１２２ｃの値に応じた重み係数ｒjを各画素値に適用する方法がある。
【0068】
上記のように、高感度撮影モードがオンのとき、フレーム蓄積部１２２は、複数の映像フレームを用いて高輝度の映像フレームを生成する。そして、フレーム蓄積部１２２から出力される映像フレームは、第２の黒レベル補正部１２３に入力される。
【0069】
（無効フレームの排除について）
上記のように、フレーム蓄積部１２２により映像フレームの加算処理が実行されることで、高輝度の映像フレームが得られる。但し、何らかの事情でカメラヘッド部１１から無効な映像フレームが出力される可能性があり、そのような無効な映像フレームを加算すると映像品質が低下してしまう。なお、最近のイメージセンサは様々なタイミングで映像を出力できるようになっており、敢えて不要な映像（黒味）となる無効な映像フレームが出力されることがある。このような無効な映像フレームもそのまま使用するとノイズとなりうる。そのため、フレーム蓄積部１２２は、上述した蓄積動作の中で、カメラヘッド部１１から出力される映像フレーム（つまり、イメージセンサ１１２の出力信号から生成される映像フレーム）のうちの無効な映像フレームの加算を回避し、高輝度の映像フレームの生成に利用しないようにする。この仕組みを適用することで、無効な映像フレームによる映像品質の低下を回避することができる。なお、無効な映像フレームが出力される要因は様々であってよく、例えば、イメージセンサ１１２の出力信号に含まれるノイズの他、信号処理部１１３及び／又は第１の黒レベル補正部１２１による映像処理の際に発生した何らかの品質低下要因を含みうる。無効とされる理由については本実施形態において特に限定されない。
上記のように、フレーム蓄積部１２２により映像フレームの加算処理が実行されることで、高輝度の映像フレームが得られる。但し、何らかの事情でカメラヘッド部１１から無効な映像フレームが出力される可能性があり、そのような無効な映像フレームを加算すると映像品質が低下してしまう。なお、最近のイメージセンサは様々なタイミングで映像を出力できるようになっており、敢えて不要な映像（黒味）となる無効な映像フレームが出力されることがある。このような無効な映像フレームもそのまま使用するとノイズとなりうる。そのため、フレーム蓄積部１２２は、上述した蓄積動作の中で、カメラヘッド部１１から出力される映像フレーム（つまり、イメージセンサ１１２の出力信号から生成される映像フレーム）のうちの無効な映像フレームの加算を回避し、高輝度の映像フレームの生成に利用しないようにする。この仕組みを適用することで、無効な映像フレームによる映像品質の低下を回避することができる。なお、無効な映像フレームが出力される要因は様々であってよく、例えば、イメージセンサ１１２の出力信号に含まれるノイズの他、信号処理部１１３及び／又は第１の黒レベル補正部１２１による映像処理の際に発生した何らかの品質低下要因を含みうる。無効とされる理由については本実施形態において特に限定されない。
【0070】
（第２の黒レベル補正について）
既に説明したように、第１の黒レベル補正部１２１によって、フレーム蓄積部１２２の前段で各映像フレームの黒レベルが補正されている。しかし、フレーム蓄積部１２２で複数の映像フレームを加算するため、加算数（蓄積フレーム数）によっては、残存するノイズの増幅によって黒レベルの変動が生じる可能性がある。そこで、第１実施形態では、第２の黒レベル補正部１２３によって黒レベルをさらに補正する。
既に説明したように、第１の黒レベル補正部１２１によって、フレーム蓄積部１２２の前段で各映像フレームの黒レベルが補正されている。しかし、フレーム蓄積部１２２で複数の映像フレームを加算するため、加算数（蓄積フレーム数）によっては、残存するノイズの増幅によって黒レベルの変動が生じる可能性がある。そこで、第１実施形態では、第２の黒レベル補正部１２３によって黒レベルをさらに補正する。
【0071】
第２の黒レベル補正部１２３は、蓄積フレーム数に応じた補正値Ｍ２を利用して、フレーム蓄積部１２２から出力される映像フレームの黒レベルを補正する。補正値Ｍ２は、遮光状態で撮影動作を行った場合にフレーム蓄積部１２２から出力される映像フレームの輝度レベル平均値に設定される。蓄積フレーム数を変えながら輝度レベル平均値を求めることで、蓄積フレーム数に応じた補正値Ｍ２のデータ（第２の補正データ１２３ａ）が得られる。図７は、第２の補正データの例を示す図表である。
【0072】
蓄積フレーム数が１の場合（例えば、図５のｋ番目以前のフレーム期間）、映像フレームはスルー出力されたものであるため、加算処理による黒レベル変動はなく、また、第１の黒レベル補正部１２１によって既に黒レベルが補正されている。そのため、第２の黒レベル補正部１２３は、蓄積フレーム数が１の場合には黒レベル補正を行わず、フレーム蓄積部１２２から出力される映像フレームをそのままゲイン調整部１２４へと出力する。
【0073】
蓄積フレーム数が２以上の場合（例えば、図５の（ｋ＋１）番目以降のフレーム期間）、第２の黒レベル補正部１２３は、蓄積フレーム数に対応する補正値Ｍ２を取得し、補正値Ｍ２を映像フレームの輝度レベルから減算することで黒レベルを補正する。例えば、蓄積フレーム数が２の場合、第２の黒レベル補正部１２３は、第２の補正データ１２３ａの補正値Ｍ２（２）を利用して映像フレームの黒レベルを補正する。黒レベル補正後の映像フレームは、ゲイン調整部１２４へと出力される。
【0074】
（ゲイン調整について）
上述したように、撮像装置１０では、高感度撮影モードになると、フレーム蓄積部１２２の機能により複数の映像フレームが加算されて高輝度の映像フレームが出力される。出力される映像フレームの輝度レベルは、フレーム蓄積部１２２に入力される１枚の映像フレームの輝度レベルに比べて、加算枚数倍（２枚加算の場合には２倍）になる。そのため、未加算の映像フレームから高輝度の映像フレームへと切り替えるタイミングで輝度レベルのギャップが生じてしまう。
上述したように、撮像装置１０では、高感度撮影モードになると、フレーム蓄積部１２２の機能により複数の映像フレームが加算されて高輝度の映像フレームが出力される。出力される映像フレームの輝度レベルは、フレーム蓄積部１２２に入力される１枚の映像フレームの輝度レベルに比べて、加算枚数倍（２枚加算の場合には２倍）になる。そのため、未加算の映像フレームから高輝度の映像フレームへと切り替えるタイミングで輝度レベルのギャップが生じてしまう。
【0075】
上記のギャップを解消するため、ゲイン調整部１２４は、高輝度の映像フレームが出力される前の複数のフレーム期間で、未加算の映像フレームを徐々にゲインアップして、輝度レベルを高輝度の映像フレームに近づけるように調整する。また、ゲイン調整部１２４は、蓄積動作の開始後、高輝度の映像フレームが出力される前の数フレーム期間に出力される映像フレームの輝度レベルも同様に調整する。このようなゲイン調整により、高感度撮影モードに切り替えた際、なめらかに輝度レベルが変化する。
【0076】
ゲイン調整部１２４は、ゲイン調整幅が任意に設定可能なバリアブルゲイン回路で構成されてもよいし、ゲイン調整幅が所定値（例えば、＋６ｄＢ）に設定されているステップゲイン回路で構成されてもよい。バリアブルゲイン回路を利用する場合、高輝度の映像フレームの輝度レベル（又は蓄積フレーム数）と、ゲイン調整期間（ゲイン調整を行うフレーム期間の数）とに基づいてゲイン調整幅を決定しうる。また、ステップゲイン回路を利用する場合、高輝度の映像フレームの輝度レベル（又は蓄積フレーム数）に基づいて、ゲイン調整期間（ゲイン調整を行うフレーム期間の数）を決定しうる。
【0077】
ここで、図８及び図９を参照しながら、ゲイン調整部１２４の動作について、より具体的に説明する。図８は、ゲイン調整部の動作例（２フレーム蓄積の場合）について説明するためのタイミングチャートである。図９は、ゲイン調整部の動作例（３フレーム蓄積の場合）について説明するためのタイミングチャートである。
【0078】
図８の例は、フレームメモリへの映像フレームの蓄積動作を開始した後、２枚の映像フレームを加算して出力するケースを示している。この場合、出力される高輝度の映像フレームの輝度レベルは、入力される１枚の映像フレームの２倍になる。図８は、イメージセンサ１１２からの出力タイミング（フレーム期間）［センサ出力］、フレームメモリ１２２ａ側の動作［フレームメモリ（Ａ面）］、フレームメモリ１２２ｂ側の動作［フレームメモリ（Ａ面）］、レジスタ１２２ｃの値［レジスタ（蓄積フレーム数）］、及びいずれの面から映像フレームが出力されるか［出力映像］が示されている。
【0079】
図８の例では、既に説明した図５の例と同様に、ｋ番目のフレーム期間から映像フレームの蓄積動作が行われる。蓄積動作が開始される前のフレーム期間においては、映像フレームが加算されず、未加算の映像フレームが出力される。一方、蓄積動作の開始後、最初の加算処理が完了した後のフレーム期間では、高輝度の映像フレームが出力される。図８の例では、（ｋ＋１）番目以降のフレーム期間で高輝度の映像フレームが出力され、ｋ番目以前のフレーム期間では、未加算の映像フレームが出力される。
【0080】
撮像装置１０では、高感度撮影モードがオンになると、直ちに蓄積動作を開始するのではなく、ゲイン調整部１２４によるゲイン調整のためのフレーム期間（以下、ゲイン調整期間）を設定ける。図８の例では、（ｋ－６）番目からｋ番目のフレーム期間がゲイン調整期間である。つまり、蓄積動作を開始する前の所定数（図８の例では６）のフレーム期間と、蓄積動作開始後に高輝度の映像フレームが出力されるまでのフレーム期間とを合わせた期間が、ゲイン調整期間に設定される。
【0081】
図８に示すように、ゲイン調整期間内の各フレーム期間で適用される増幅量は一定値に設定され、その一定値は、蓄積動作の開始直前にあるフレーム期間（図８の例では（ｋ－１）番目のフレーム期間）で、高輝度の映像フレームと同じ輝度レベルに到達するように事前設定されてよい。また、その一定値は、ゲイン調整期間の最後に位置するフレーム期間（図８の例ではｋ番目のフレーム期間）で、高輝度の映像フレームと同じ輝度レベルに到達するように事前設定されてもよい。
【0082】
加算する映像フレームの数Ｎが３の場合、フレーム蓄積部１２２及びゲイン調整部１２４の動作は、図９のようになる。蓄積動作の開始前におけるフレーム蓄積部１２２及びゲイン調整部１２４の動作は、図８の例と同じである。蓄積動作の開始後は、高輝度の映像フレームが出力されるまでの２つのフレーム期間（図９の例ではｋ番目及び（ｋ＋１）番目のフレーム期間）で、未加算の映像フレームが出力される。従って、図９の例では、（ｋ＋１）番目以前のフレーム期間がゲイン調整期間になる。なお、フレーム調整期間内の各フレーム期間で適用される増幅量は図８の例と同じである。
【0083】
ゲイン調整部１２４から出力される映像フレームは、映像処理部１２５へと入力される。ゲイン調整期間より前に入力される映像フレームは、ゲイン調整されていないスルー出力の映像フレームであり、ゲイン調整期間内に入力される映像フレームは、ゲイン調整された未加算の映像フレームであり、ゲイン調整期間後に入力される映像フレームは、高輝度の映像フレームである。これらの映像フレームの輝度レベルは滑らか変化しているため、出力映像の輝度レベルのギャップがなく、違和感の少ない高品質の映像が得られる。
【0084】
上記の説明では、高感度撮影モードをオンにしたときの動作について述べたが、高感度撮影モードをオフにしたときも、ゲイン調整を行わなければ、輝度レベルのギャップが生じうる。そのため、上述した方法とは逆に、蓄積動作終了後の所定数のフレーム期間（第２ゲイン調整期間）において、ゲイン調整部１２４は、第２ゲイン調整期間の直後で増幅量が０になるように増幅量を徐々に下げつつ、第２ゲイン調整期間内の各フレーム期間で未加算の映像フレームをゲインアップする。これにより、高感度撮影モードをオフにしたときも映像の明るさがスムーズに変化するため、輝度レベルのギャップが生じない。
【0085】
（映像処理部による処理及び表示について）
映像処理部１２５は、入力される映像フレームに対し、ＡＷＢ（Auto White Balance）、ガンマ補正、ニー補正などの所定の映像処理を適用する。上述したように撮像装置１０では、スローシャッターとは違い、映像フレームの加算によって輝度レベルを上げると共に蓄積期間も映像フレームが出力される構成としているため、映像が出力されない期間がない。また、ゲイン調整部１２４によるゲイン調整によって輝度レベルの急激な変化を回避している。そのため、ＡＷＢなどの映像処理を適用することが可能になり、より高い映像品質を実現することができる。また、第１の黒レベル補正部１２１及び第２の黒レベル補正部１２３による黒レベル補正によって映像品質がさらに向上する。
映像処理部１２５は、入力される映像フレームに対し、ＡＷＢ（Auto White Balance）、ガンマ補正、ニー補正などの所定の映像処理を適用する。上述したように撮像装置１０では、スローシャッターとは違い、映像フレームの加算によって輝度レベルを上げると共に蓄積期間も映像フレームが出力される構成としているため、映像が出力されない期間がない。また、ゲイン調整部１２４によるゲイン調整によって輝度レベルの急激な変化を回避している。そのため、ＡＷＢなどの映像処理を適用することが可能になり、より高い映像品質を実現することができる。また、第１の黒レベル補正部１２１及び第２の黒レベル補正部１２３による黒レベル補正によって映像品質がさらに向上する。
【0086】
映像処理部１２５は、映像フレームに所定の映像処理を適用した後、表示装置１３に一連の映像フレームを表示させる。なお、映像処理部１２５は、表示装置１３に加え又は表示装置１３に代えて、映像出力用のインターフェースに一連の映像フレームを出力してもよい。変形例として、映像処理部１２５は、入力される一連の映像フレームを解析し、映像フレームに含まれる対象物（例えば、滑走路の障害物など）を検知し、検知した対象物の情報を表示装置１３に表示させてもよい。他の変形例として、映像処理部１２５は、映像を解析して対象物を検知する検知デバイスに一連の映像フレームを出力してもよい。
【0087】
以上、第１実施形態に係る撮像装置の構成について説明した。
【0088】
［１－２．映像フレーム処理の流れ］
次に、図１０を参照しながら、第１実施形態に係る映像フレーム処理（カメラ制御部１２による処理）の流れについて説明する。図１０は、第１実施形態に係る映像フレーム処理の流れについて説明するためのフローチャートである。
次に、図１０を参照しながら、第１実施形態に係る映像フレーム処理（カメラ制御部１２による処理）の流れについて説明する。図１０は、第１実施形態に係る映像フレーム処理の流れについて説明するためのフローチャートである。
【0089】
（Ｓ１０１）カメラヘッド部１１から出力された映像フレームが、第１の黒レベル補正部１２１に入力される。第１の黒レベル補正部１２１は、第１の補正データ１２１ａを参照して、カメラヘッド部１１の信号処理部１１３で適用されたフィルタリングパターンに対応する補正値Ｍ１を選択する。そして、第１の黒レベル補正部１２１は、選択した補正値Ｍ１を利用して映像フレームの黒レベルを補正する。黒レベル補正後の映像フレームは、フレーム蓄積部１２２へと出力される。
【0090】
（Ｓ１０２）制御部１２０は、高感度撮影モードであるかを判定する。高感度撮影モードである場合、処理はＳ１０３へと進む。一方、高感度撮影モードでない場合、処理はＳ１０７へと進む。
【0091】
（Ｓ１０３）制御部１２０は、ゲイン調整期間であるかを判定する。例えば、高感度撮影モードがオンになると、蓄積動作の開始前に設定される所定数のフレーム期間と、蓄積動作の開始後に未加算の映像フレームが出力されるフレーム期間とが、ゲイン調整期間として設定される。ゲイン調整期間である場合、処理はＳ１０４へと進む。一方、ゲイン調整期間でない場合、処理はＳ１０５へと進む。
【0092】
（Ｓ１０４）フレーム蓄積部１２２は、映像フレームを加算することなくスルー出力する。ゲイン調整部１２４は、フレーム蓄積部１２２から出力される未加算の映像フレームをゲインアップする。このとき、ゲイン調整部１２４は、増幅量を徐々に増加させ、ゲイン調整期間の最後のフレーム期間までに、その後出力される高輝度の映像フレームと同じ輝度レベルになるように、未加算の映像フレームをゲインアップする。ゲイン調整された映像フレームは、映像処理部１２５で所定の映像処理が適用された後に外部出力される。Ｓ１０４の処理が完了すると、図１０に示した一連の処理は終了する。
【0093】
（Ｓ１０５）フレーム蓄積部１２２は、高輝度の映像フレームをフレームメモリから読み出して出力する。また、フレーム蓄積部１２２は、映像フレームを一方のフレームメモリに蓄積している間、他方のフレームメモリから読み出した映像フレームを出力する。
【0094】
（Ｓ１０６）Ｓ１０５でフレーム蓄積部１２２から出力される映像フレームは、第２の黒レベル補正部１２３に入力される。第２の黒レベル補正部１２３は、第２の補正データ１２３ａを参照して、蓄積フレーム数に対応する補正値Ｍ２を選択する。そして、第２の黒レベル補正部１２３は、選択した補正値Ｍ２を利用して映像フレームの黒レベルを補正する。黒レベル補正後の映像フレームは、ゲイン調整部１２４によるゲイン調整を受けずに映像処理部１２５へ出力され、映像処理部１２５で所定の映像処理が適用された後に外部出力される。Ｓ１０６の処理が完了すると、図１０に示した一連の処理は終了する。
【0095】
（Ｓ１０７）第１の黒レベル補正部１２１による黒レベル補正後の映像フレームは、フレーム蓄積部１２２、第２の黒レベル補正部１２３、及びゲイン調整部１２４による処理をスキップし、映像処理部１２５で所定の映像処理が適用された後に外部出力される。Ｓ１０７の処理が完了すると、図１０に示した一連の処理は終了する。
【0096】
図１０の例は、高感度撮影モードがオンになるときの動作について説明しているが、高感度撮影モードがオフになるときの動作では、上述した第２ゲイン調整期間におけるゲイン調整方法が変更になる。既に説明したように、第２ゲイン調整期間では、増幅量が徐々に小さくしつつ、未加算の映像フレームのゲインアップが行われ、第２ゲイン調整期間の最後のフレーム期間で増幅量が０になるようにする。この点が図１０の例と異なるが、当業者であれば、図１０の説明から、高感度撮影モードがオフになるときの動作についても容易に理解できるだろう。
【0097】
以上、本発明に係る第１実施形態について説明した。
【0098】
＜２．第２実施形態＞
次に、図１１を参照しながら、第２実施形態に係る撮像装置の構成について説明する。図１１は、第２実施形態に係る撮像装置の構成を模式的に示すブロック図である。なお、図１１に示した撮像装置１０ａは、第２実施形態に係る撮像装置の一例である。また、撮像装置１０ａは、上述したスローシャッター機能を搭載していない。
次に、図１１を参照しながら、第２実施形態に係る撮像装置の構成について説明する。図１１は、第２実施形態に係る撮像装置の構成を模式的に示すブロック図である。なお、図１１に示した撮像装置１０ａは、第２実施形態に係る撮像装置の一例である。また、撮像装置１０ａは、上述したスローシャッター機能を搭載していない。
【0099】
図１１に示すように、撮像装置１０ａは、カメラヘッド部１１と、カメラ制御部１２ａと、表示装置１３とを有する。カメラヘッド部１１の構成は、第１実施形態のカメラヘッド部１１と同じである。表示装置１３の構成も、第１実施形態の表示装置１３と同じである。そのため、カメラヘッド部１１及び表示装置１３の構成については詳細な説明を省略する。また、カメラ制御部１２ａを構成する要素のうち、第１実施形態のカメラ制御部１２を構成する要素と実質的に同じ機能を有する要素については同じ符号を付している。
【0100】
カメラ制御部１２ａは、制御部１２０と、第１の黒レベル補正部１２１と、フレーム蓄積部１２２と、ゲイン調整部１２４と、映像処理部１２５とを有する。カメラ制御部１２ａと、第１実施形態のカメラ制御部１２との違いは、第２の黒レベル補正部１２３の有無にある。カメラ制御部１２ａでは、第２の黒レベル補正部１２３が省略されており、フレーム蓄積部１２２から出力される高輝度の映像フレームも、黒レベル補正を受けることなく映像処理部１２５に入力される。
【0101】
第２実施形態では第２の黒レベル補正部１２３は省略されているが、第１の黒レベル補正部１２１によって、フレーム蓄積部１２２の前段で各映像フレームに黒レベル補正が適用されているため、用途によっては十分な映像品質が得られる。また、第２の黒レベル補正部１２３を省略することで、実装時には回路構成が少しシンプルになり、設計コストや製造コストの低減に寄与する可能性がある。
【0102】
以上、第２実施形態に係る撮像装置の構成について説明した。
【0103】
＜３．第３実施形態＞
次に、図１２を参照しながら、第３実施形態に係る撮像装置の構成について説明する図１２は、第３実施形態に係る撮像装置の構成を模試的に示すブロック図である。なお、図１２に示した撮像装置１０ｂは、第３実施形態に係る撮像装置の一例である。また、撮像装置１０ｂは、上述したスローシャッター機能を搭載していない。
次に、図１２を参照しながら、第３実施形態に係る撮像装置の構成について説明する図１２は、第３実施形態に係る撮像装置の構成を模試的に示すブロック図である。なお、図１２に示した撮像装置１０ｂは、第３実施形態に係る撮像装置の一例である。また、撮像装置１０ｂは、上述したスローシャッター機能を搭載していない。
【0104】
図１２に示すように、撮像装置１０ｂは、カメラヘッド部１１と、カメラ制御部１２ｂと、表示装置１３とを有する。カメラヘッド部１１の構成は、第１実施形態のカメラヘッド部１１と同じである。表示装置１３の構成も、第１実施形態の表示装置１３と同じである。そのため、カメラヘッド部１１及び表示装置１３の構成については詳細な説明を省略する。また、カメラ制御部１２ｂを構成する要素のうち、第１実施形態のカメラ制御部１２を構成する要素と実質的に同じ機能を有する要素については同じ符号を付している。
【0105】
カメラ制御部１２ｂは、制御部１２０と、第１の黒レベル補正部１２１と、フレーム蓄積部１２２と、第２の黒レベル補正部１２３と、映像処理部１２５とを有する。カメラ制御部１２ｂと、第１実施形態のカメラ制御部１２との違いは、ゲイン調整部１２４の有無にある。カメラ制御部１２ｂでは、ゲイン調整部１２４が省略されており、ゲイン調整期間にフレーム蓄積部１２２から出力される未加算の映像フレームも、ゲイン調整されることなく映像処理部１２５に入力される。
【0106】
第３実施形態ではゲイン調整部１２４が省略されているため、高輝度の映像フレームが最初に出力されるタイミングで輝度レベルのギャップが生じる。一方、第１の黒レベル補正部１２１及び第２の黒レベル補正部１２３によって、フレーム蓄積部１２２の前段及び後段で黒レベルが補正され、従来の方式に比べると格段に映像品質が改善される。ゲイン調整部１２４を省略することで、実装時には回路構成が少しシンプルになり、設計コストや製造コストの低減に寄与する可能性がある。そのため、輝度レベルのギャップが気にならない用途であれば、第３実施形態の構成を採用するメリットがある。
【0107】
以上、第３実施形態に係る撮像装置の構成について説明した。
【0108】
＜４．付記＞
上述した第１～第３実施形態は、以下の付記に記載の技術的思想を説明するものであり、言い換えると、上記の第１～第３実施形態の説明から、以下の付記に記載の技術的思想を導き出すことが可能である。もちろん、ここに示す付記の記載は、本発明の技術的範囲を制限することを意図するものではなく、本明細書で開示された技術的思想の理解を助けることを目的とするものである点に留意されたい。
上述した第１～第３実施形態は、以下の付記に記載の技術的思想を説明するものであり、言い換えると、上記の第１～第３実施形態の説明から、以下の付記に記載の技術的思想を導き出すことが可能である。もちろん、ここに示す付記の記載は、本発明の技術的範囲を制限することを意図するものではなく、本明細書で開示された技術的思想の理解を助けることを目的とするものである点に留意されたい。
【0109】
［付記１］
イメージセンサの出力信号から映像フレームを生成する信号処理部と、
高感度撮影機能がオンになると、前記信号処理部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを前記高輝度の映像フレームに切り替えるフレーム蓄積部と、
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部と、
を備える、撮像装置。
［付記２］
前記フレーム蓄積部は、
第１のフレームメモリ及び第２のフレームメモリを有し、
前記信号処理部から出力された複数の映像フレームを前記第１のフレームメモリ及び前記第２のフレームメモリのうちの一方に蓄積して前記高輝度の映像フレームを生成し、蓄積動作の間は他方のフレームメモリ内にある映像フレームを出力し、前記高輝度の映像フレームの出力後に、蓄積に利用するフレームメモリと、蓄積動作中の出力に利用するフレームメモリとを入れ替える、
付記１に記載の撮像装置。
［付記３］
前記ゲイン調整部によって輝度レベルが調整される映像フレームの数は、前記高輝度の映像フレームの生成に用いられる映像フレームの数と、１枚の映像フレームに適用される予め設定された輝度レベルの調整量とに基づいて決定される、
付記１又は２に記載の撮像装置。
［付記４］
前記フレーム蓄積部による蓄積動作は、前記信号処理部から出力された蓄積対象の映像フレームと、前記蓄積に利用するフレームメモリから読み出した映像フレームとに重み係数をかけて加算する処理と、加算後の映像フレームを、前記蓄積に利用するフレームメモリに書き込む処理とを含む、
付記２に記載の撮像装置。
［付記５］
前記フレーム蓄積部は、前記イメージセンサの出力信号から生成される映像フレームのうちの無効な映像フレームを、前記高輝度の映像フレームの生成に利用しない、
付記１～４のいずれかに記載の撮像装置。
［付記６］
前記信号処理部から出力される映像フレームの黒レベルを補正して、補正後の映像フレームを前記フレーム蓄積部へと出力する第１の黒レベル補正部をさらに備え、
前記フレーム蓄積部は、前記高感度撮影機能がオンになると、前記第１の黒レベル補正部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成する、
付記１～５のいずれかに記載の撮像装置。
［付記７］
前記高輝度の映像フレームの生成に用いられる映像フレームの数に対応する第２の補正値を用いて、前記高輝度の映像フレームの黒レベルを補正する第２の黒レベル補正部をさらに備える、
付記６に記載の撮像装置。
［付記８］
前記第１の黒レベル補正部は、前記信号処理部によって前記映像フレームに適用されるフィルタリング処理の内容に対応する第１の補正値を用いて、前記信号処理部から出力される前記映像フレームの黒レベルを補正する、
付記６又は７に記載の撮像装置。
イメージセンサの出力信号から映像フレームを生成する信号処理部と、
高感度撮影機能がオンになると、前記信号処理部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを前記高輝度の映像フレームに切り替えるフレーム蓄積部と、
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部と、
を備える、撮像装置。
［付記２］
前記フレーム蓄積部は、
第１のフレームメモリ及び第２のフレームメモリを有し、
前記信号処理部から出力された複数の映像フレームを前記第１のフレームメモリ及び前記第２のフレームメモリのうちの一方に蓄積して前記高輝度の映像フレームを生成し、蓄積動作の間は他方のフレームメモリ内にある映像フレームを出力し、前記高輝度の映像フレームの出力後に、蓄積に利用するフレームメモリと、蓄積動作中の出力に利用するフレームメモリとを入れ替える、
付記１に記載の撮像装置。
［付記３］
前記ゲイン調整部によって輝度レベルが調整される映像フレームの数は、前記高輝度の映像フレームの生成に用いられる映像フレームの数と、１枚の映像フレームに適用される予め設定された輝度レベルの調整量とに基づいて決定される、
付記１又は２に記載の撮像装置。
［付記４］
前記フレーム蓄積部による蓄積動作は、前記信号処理部から出力された蓄積対象の映像フレームと、前記蓄積に利用するフレームメモリから読み出した映像フレームとに重み係数をかけて加算する処理と、加算後の映像フレームを、前記蓄積に利用するフレームメモリに書き込む処理とを含む、
付記２に記載の撮像装置。
［付記５］
前記フレーム蓄積部は、前記イメージセンサの出力信号から生成される映像フレームのうちの無効な映像フレームを、前記高輝度の映像フレームの生成に利用しない、
付記１～４のいずれかに記載の撮像装置。
［付記６］
前記信号処理部から出力される映像フレームの黒レベルを補正して、補正後の映像フレームを前記フレーム蓄積部へと出力する第１の黒レベル補正部をさらに備え、
前記フレーム蓄積部は、前記高感度撮影機能がオンになると、前記第１の黒レベル補正部から出力された複数の映像フレームを用いて高輝度の映像フレームを生成する、
付記１～５のいずれかに記載の撮像装置。
［付記７］
前記高輝度の映像フレームの生成に用いられる映像フレームの数に対応する第２の補正値を用いて、前記高輝度の映像フレームの黒レベルを補正する第２の黒レベル補正部をさらに備える、
付記６に記載の撮像装置。
［付記８］
前記第１の黒レベル補正部は、前記信号処理部によって前記映像フレームに適用されるフィルタリング処理の内容に対応する第１の補正値を用いて、前記信号処理部から出力される前記映像フレームの黒レベルを補正する、
付記６又は７に記載の撮像装置。
【0110】
［付記９］
イメージセンサの出力信号から生成される映像フレームにフィルタリング処理を適用する信号処理部と、
前記フィルタリング処理の適用後の映像フレームに黒レベル補正を適用する第１の黒レベル補正部と、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力するフレーム蓄積部と、
を備える、撮像装置。
［付記１０］
前記高輝度の映像フレームの生成に用いられる映像フレームの数に対応する第２の補正値を用いて、前記高輝度の映像フレームの黒レベルを補正する第２の黒レベル補正部をさらに備える、
付記９に記載の撮像装置。
［付記１１］
前記第１の黒レベル補正部は、前記信号処理部によって前記映像フレームに適用される前記フィルタリング処理の内容に対応する第１の補正値を用いて、前記信号処理部から出力される前記映像フレームの黒レベルを補正する、
付記９又は１０に記載の撮像装置。
［付記１２］
前記信号処理部は、前記映像フレームのうち、対象画素を含む矩形領域の画素群、前記対象画素を含む水平方向に並んだ画素群、又は、前記対象画素を含む垂直方向に並んだ画素群に対し、フィルタ係数をかけて加算処理する前記フィルタリング処理を適用する、
付記９～１１のいずれかに記載の撮像装置。
イメージセンサの出力信号から生成される映像フレームにフィルタリング処理を適用する信号処理部と、
前記フィルタリング処理の適用後の映像フレームに黒レベル補正を適用する第１の黒レベル補正部と、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力するフレーム蓄積部と、
を備える、撮像装置。
［付記１０］
前記高輝度の映像フレームの生成に用いられる映像フレームの数に対応する第２の補正値を用いて、前記高輝度の映像フレームの黒レベルを補正する第２の黒レベル補正部をさらに備える、
付記９に記載の撮像装置。
［付記１１］
前記第１の黒レベル補正部は、前記信号処理部によって前記映像フレームに適用される前記フィルタリング処理の内容に対応する第１の補正値を用いて、前記信号処理部から出力される前記映像フレームの黒レベルを補正する、
付記９又は１０に記載の撮像装置。
［付記１２］
前記信号処理部は、前記映像フレームのうち、対象画素を含む矩形領域の画素群、前記対象画素を含む水平方向に並んだ画素群、又は、前記対象画素を含む垂直方向に並んだ画素群に対し、フィルタ係数をかけて加算処理する前記フィルタリング処理を適用する、
付記９～１１のいずれかに記載の撮像装置。
【0111】
［付記１３］
高感度撮影機能がオンになると、イメージセンサの出力信号から生成された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを前記高輝度の映像フレームに切り替えることと、
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整することと、
を含む処理をコンピュータが実行する、映像処理方法。
高感度撮影機能がオンになると、イメージセンサの出力信号から生成された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを前記高輝度の映像フレームに切り替えることと、
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整することと、
を含む処理をコンピュータが実行する、映像処理方法。
【0112】
［付記１４］
イメージセンサの出力信号から生成される映像フレームにフィルタリング処理を適用することと、
前記フィルタリング処理の適用後の映像フレームに黒レベル補正を適用することと、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力することと、
を含む処理をコンピュータが実行する、映像処理方法。
イメージセンサの出力信号から生成される映像フレームにフィルタリング処理を適用することと、
前記フィルタリング処理の適用後の映像フレームに黒レベル補正を適用することと、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力することと、
を含む処理をコンピュータが実行する、映像処理方法。
【0113】
［付記１５］
高感度撮影機能がオンになると、イメージセンサの出力信号から生成された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを前記高輝度の映像フレームに切り替えるフレーム蓄積部と、
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部と、
を備える、映像処理装置。
高感度撮影機能がオンになると、イメージセンサの出力信号から生成された複数の映像フレームを用いて高輝度の映像フレームを生成し、出力する映像フレームを前記高輝度の映像フレームに切り替えるフレーム蓄積部と、
前記高輝度の映像フレームに切り替わる前の複数のフレーム期間において、前記高輝度の映像フレームの輝度レベルに徐々に近づくように、前記複数のフレーム期間に出力される映像フレームの輝度レベルを調整するゲイン調整部と、
を備える、映像処理装置。
【0114】
［付記１６］
イメージセンサの出力信号から生成され、フィルタリング処理が適用された映像フレームに黒レベル補正を適用する第１の黒レベル補正部と、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力するフレーム蓄積部と、
を備える、映像処理装置。
イメージセンサの出力信号から生成され、フィルタリング処理が適用された映像フレームに黒レベル補正を適用する第１の黒レベル補正部と、
高感度撮影機能がオンになると、前記黒レベル補正の適用後の複数の映像フレームを用いて生成した高輝度の映像フレームを出力するフレーム蓄積部と、
を備える、映像処理装置。
【0115】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属する。
【符号の説明】
【0116】
１０、１０ａ、１０ｂ 撮像装置
１１ カメラヘッド部
１２、１２ａ、１２ｂ カメラ制御部
１３ 表示装置
１１１ 光学系
１１２ イメージセンサ
１１３ 信号処理部
１２０ 制御部
１２１ 第１の黒レベル補正部
１２２ フレーム蓄積部
１２３ 第２の黒レベル補正部
１２４ ゲイン調整部
１２５ 映像処理部
１１ カメラヘッド部
１２、１２ａ、１２ｂ カメラ制御部
１３ 表示装置
１１１ 光学系
１１２ イメージセンサ
１１３ 信号処理部
１２０ 制御部
１２１ 第１の黒レベル補正部
１２２ フレーム蓄積部
１２３ 第２の黒レベル補正部
１２４ ゲイン調整部
１２５ 映像処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】