6331966 撮像装置及び撮像装置の調整方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6331966

(24)【登録日】2018年5月11日

(45)【発行日】2018年5月30日

(54)【発明の名称】撮像装置及び撮像装置の調整方法

(51)【国際特許分類】

   H04N 9/04 20060101AFI20180521BHJP

   H04N 5/225 20060101ALI20180521BHJP

【ＦＩ】

   H04N9/04 B

   H04N5/225

【請求項の数】7

【全頁数】35

(21)【出願番号】特願2014-217443(P2014-217443)

(22)【出願日】2014年10月24日

(65)【公開番号】特開2016-86278(P2016-86278A)

(43)【公開日】2016年5月19日

【審査請求日】2016年9月29日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】関口 智

(72)【発明者】

【氏名】笹生 剛良

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００８−０８５９１５（ＪＰ，Ａ）

【文献】 特開平０４−００７９９１（ＪＰ，Ａ）

【文献】 特開平０５−２６８６１５（ＪＰ，Ａ）

【文献】 特開２００１−０５７６８０（ＪＰ，Ａ）

【文献】 特開２００３−２４４７２３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ９／０４−９／１１

(57)【特許請求の範囲】

【請求項1】

赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを投光するよう、前記赤外線投光器を制御する投光制御部と、
被写体を撮像して撮像信号を生成する撮像部と、
前記撮像信号に基づいて、赤，緑，青の３原色映像信号を生成する映像処理部と、
前記投光制御部が前記第１〜第３の赤外光を投光しないよう前記赤外線投光器を制御した状態で被写体を撮像する通常モードと、前記投光制御部が前記第１〜第３の赤外光を投光するよう前記赤外線投光器を制御した状態で被写体を撮像する暗視モードとで、前記映像処理部内部の動作を切り換えるモード切換部と、
前記３原色映像信号に色ゲインを乗じる色ゲイン設定部と、
前記色ゲイン設定部が前記３原色映像信号に乗じる色ゲインを制御する色ゲイン制御部と、
を備え、
前記通常モードでは、前記色ゲイン制御部は、白を決めるための基準となる無彩色の物体に基準光源からの光を照射した状態で前記撮像部が前記物体を撮像したときに、前記映像処理部によって生成される前記３原色映像信号が白となるような色ゲインを赤，緑，青の各色の映像信号に乗じるよう、前記色ゲイン設定部を制御し、
前記暗視モードでは、前記物体に前記赤外線投光器からの前記第１〜第３の赤外光を照射した状態で前記撮像部が前記物体を撮像したときに、前記映像処理部によって生成される前記３原色映像信号が白以外の特定の色を再現するように、前記３原色映像信号における前記各色の映像信号のバランスを調整している
ことを特徴とする撮像装置。

【請求項2】

前記投光制御部が、前記赤外線投光器によって投光する前記第１〜第３の赤外光それぞれの強度を調整することによって、前記暗視モードにおける前記バランスを調整することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記色ゲイン制御部が、前記暗視モード時に、前記映像処理部によって生成される前記各色の映像信号に乗じる色ゲインを制御することによって、前記バランスを調整することを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記物体は、標準白色板であることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。

【請求項5】

赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを投光した状態で撮像部が被写体を撮像するモードを暗視モードとし、前記赤外線投光器によって、前記第１〜第３の赤外光を投光しない状態で前記撮像部が被写体を撮像するモードを通常モードとしたとき、
モードが前記通常モードに切り換えられている状態では、
白を決めるための基準となる無彩色の物体に基準光源からの光を照射した状態で、前記撮像部が前記物体を撮像して第１の撮像信号を生成し、
前記第１の撮像信号に基づいて赤，緑，青の第１の３原色映像信号を生成し、
前記第１の３原色映像信号が白となるような、赤，緑，青の各色の映像信号に乗じる色ゲインを決定し、
モードが前記暗視モードに切り換えられている状態では、
前記基準光源からの光を照射しない状態で、前記撮像部が前記物体を撮像して第２の撮像信号を生成し、
前記第２の撮像信号に基づいて赤，緑，青の第２の３原色映像信号を生成し、
前記通常モードで決定した色ゲインを維持したまま、前記第１〜第３の赤外光それぞれの強度を調整することによって、前記第２の３原色映像信号が白以外の特定の色を再現するように、前記第２の３原色映像信号における前記各色の映像信号のバランスを調整する
ことを特徴とする撮像装置の調整方法。

【請求項6】

赤外光を投光する赤外線投光器を制御する投光制御部と、
被写体を撮像して撮像信号を生成する撮像部と、
前記撮像信号に基づいてカラー映像信号を生成する映像処理部と、
前記投光制御部が赤外光を非投光とするよう前記赤外線投光器を制御した状態で、前記撮像部が被写体を撮像し、前記映像処理部がカラー映像信号を生成する通常モードと、前記投光制御部が赤外光を投光するよう前記赤外線投光器を制御した状態で、前記撮像部が被写体を撮像し、前記映像処理部がカラー映像信号を生成する暗視モードとを切り換えるモード切換部と、
前記通常モード時に、前記映像処理部が生成するカラー映像信号の各色の映像信号に所定のゲインを乗じてホワイトバランスを調整する色ゲイン設定部と、
を備え、
前記暗視モード時に、前記色ゲイン設定部が調整したホワイトバランスが示す白を白以外の所定の色に割り当てている
ことを特徴とする撮像装置。

【請求項7】

通常モードでは、
赤外光を非投光とした状態で、撮像部によって被写体を撮像してカラー映像信号を生成し、
前記カラー映像信号の各色の映像信号に所定のゲインを乗じてホワイトバランスを調整し、
暗視モードでは、
赤外光を投光した状態で、前記撮像部によって被写体を撮像してカラー映像信号を生成し、
前記通常モード時に調整したホワイトバランスが示す白を白以外の所定の色に割り当てる
ことを特徴とする撮像装置の調整方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び撮像装置の調整方法に関する。

【背景技術】

【0002】

従来、例えば夜間等の可視光がほとんどない環境下において被写体を撮像するために、赤外線投光器によって被写体に赤外光を照射し、被写体から反射した赤外光を撮像する方法が用いられている。この方法は、可視光を照射するライトを用いることができない場合に有効な撮像方法である。

【0003】

しかしながら、この撮像方法によって被写体を撮像した映像は、モノクロ映像となる。モノクロ映像では物体の識別が困難となることがある。可視光がない環境下でもカラー映像を撮像することができれば、物体の識別性を向上させることができる。例えば監視カメラでは、物体の識別性を向上させるために、可視光がない環境下でもカラー映像を撮像することが望まれる。

【0004】

特許文献１には、可視光がない環境下でもカラー映像を撮像することができる撮像装置が記載されている。特許文献１に記載されている撮像装置においても、赤外線投光器が用いられる。監視カメラに特許文献１に記載の技術を搭載すれば、被写体をカラー映像化して物体の識別性を向上させることが可能となる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−５００４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、可視光がある環境下で被写体を撮像する通常の撮像装置においては、映像信号の色をどのような調整方法で調整するかが確立されている。しかしながら、可視光がほとんどない環境下で被写体に赤外光を照射して被写体をカラー映像化する暗視用の撮像装置においては、映像信号の色をどのような調整方法で調整するかが確立されていない。

【0007】

即ち、暗視用の撮像装置において、色再現性のよい映像信号を得るために、映像信号の色をどのように調整するかの調整手法は確立されておらず、調整手法を確立することが求めれている。

【0008】

本発明は、色再現性のよい映像信号を得ることができる暗視用の撮像装置及び撮像装置の調整方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、上述した従来の技術の課題を解決するため、赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを投光するよう、前記赤外線投光器を制御する投光制御部と、被写体を撮像して撮像信号を生成する撮像部と、前記撮像信号に基づいて、赤，緑，青の３原色映像信号を生成する映像処理部と、前記投光制御部が前記第１〜第３の赤外光を投光しないよう前記赤外線投光器を制御した状態で被写体を撮像する通常モードと、前記投光制御部が前記第１〜第３の赤外光を投光するよう前記赤外線投光器を制御した状態で被写体を撮像する暗視モードとで、前記映像処理部内部の動作を切り換えるモード切換部と、前記３原色映像信号に色ゲインを乗じる色ゲイン設定部と、前記色ゲイン設定部が前記３原色映像信号に乗じる色ゲインを制御する色ゲイン制御部とを備え、前記通常モードでは、前記色ゲイン制御部は、白を決めるための基準となる無彩色の物体に基準光源からの光を照射した状態で前記撮像部が前記物体を撮像したときに、前記映像処理部によって生成される前記３原色映像信号が白となるような色ゲインを赤，緑，青の各色の映像信号に乗じるよう、前記色ゲイン設定部を制御し、前記暗視モードでは、前記物体に前記赤外線投光器からの前記第１〜第３の赤外光を照射した状態で前記撮像部が前記物体を撮像したときに、前記映像処理部によって生成される前記３原色映像信号が白以外の特定の色を再現するように、前記３原色映像信号における前記各色の映像信号のバランスを調整していることを特徴とする撮像装置を提供する。

【0010】

また、本発明は、上述した従来の技術の課題を解決するため、赤外線投光器によって、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを投光した状態で撮像部が被写体を撮像するモードを暗視モードとし、前記赤外線投光器によって、前記第１〜第３の赤外光を投光しない状態で前記撮像部が被写体を撮像するモードを通常モードとしたとき、モードが前記通常モードに切り換えられている状態では、白を決めるための基準となる無彩色の物体に基準光源からの光を照射した状態で、前記撮像部が前記物体を撮像して第１の撮像信号を生成し、前記第１の撮像信号に基づいて赤，緑，青の第１の３原色映像信号を生成し、前記第１の３原色映像信号が白となるような、赤，緑，青の各色の映像信号に乗じる色ゲインを決定し、モードが前記暗視モードに切り換えられている状態では、前記基準光源からの光を照射しない状態で、前記撮像部が前記物体を撮像して第２の撮像信号を生成し、前記第２の撮像信号に基づいて赤，緑，青の第２の３原色映像信号を生成し、前記通常モードで決定した色ゲインを維持したまま、前記第１〜第３の赤外光それぞれの強度を調整することによって、前記第２の３原色映像信号が白以外の特定の色を再現するように、前記第２の３原色映像信号における前記各色の映像信号のバランスを調整することを特徴とする撮像装置の調整方法を提供する。

【0011】

本発明は、上述した従来の技術の課題を解決するため、赤外光を投光する赤外線投光器を制御する投光制御部と、被写体を撮像して撮像信号を生成する撮像部と、前記撮像信号に基づいてカラー映像信号を生成する映像処理部と、前記投光制御部が赤外光を非投光とするよう前記赤外線投光器を制御した状態で、前記撮像部が被写体を撮像し、前記映像処理部がカラー映像信号を生成する通常モードと、前記投光制御部が赤外光を投光するよう前記赤外線投光器を制御した状態で、前記撮像部が被写体を撮像し、前記映像処理部がカラー映像信号を生成する暗視モードとを切り換えるモード切換部と、前記通常モード時に、前記映像処理部が生成するカラー映像信号の各色の映像信号に所定のゲインを乗じてホワイトバランスを調整する色ゲイン設定部とを備え、前記暗視モード時に、前記色ゲイン設定部が調整したホワイトバランスが示す白を白以外の所定の色に割り当てていることを特徴とする撮像装置を提供する。

【0012】

また、本発明は、上述した従来の技術の課題を解決するため、通常モードでは、赤外光を非投光とした状態で、撮像部によって被写体を撮像してカラー映像信号を生成し、前記カラー映像信号の各色の映像信号に所定のゲインを乗じてホワイトバランスを調整し、暗視モードでは、赤外光を投光した状態で、前記撮像部によって被写体を撮像してカラー映像信号を生成し、前記通常モード時に調整したホワイトバランスが示す白を白以外の所定の色に割り当てることを特徴とする撮像装置の調整方法を提供する。

【発明の効果】

【0013】

本発明の撮像装置及び撮像装置の調整方法によれば、色再現性のよい映像信号を得ることができる。

【図面の簡単な説明】

【0014】

【図1】一実施形態の撮像装置の全体的な構成を示すブロック図である。

【図2】一実施形態の撮像装置に用いられるカラーフィルタにおけるフィルタエレメントの配列の一例を示す図である。

【図3】一実施形態の撮像装置を構成する撮像部における３原色光の波長と相対感度との分光感度特性を示す特性図である。

【図4】所定の物質からの３原色光の反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示す特性図である。

【図5】図１中の前信号処理部５２の具体的な構成を示すブロック図である。

【図6】一実施形態の撮像装置が通常モードで動作しているときの露光と映像信号のフレームとの関係を示す図である。

【図7】一実施形態の撮像装置が通常モードで動作しているときのデモザイク処理を説明するための図である。

【図8】一実施形態の撮像装置が中間モード及び暗視モードで動作しているときの露光と映像信号のフレームとの関係を示す図である。

【図9】一実施形態の撮像装置が第１中間モードで動作しているときの前信号処理を説明するための図である。

【図10】一実施形態の撮像装置が第１中間モードで動作しているときのデモザイク処理を説明するための図である。

【図11】一実施形態の撮像装置が第２中間モードで動作しているときの前信号処理を説明するための図である。

【図12】一実施形態の撮像装置が第２中間モードで動作しているときのデモザイク処理を説明するための図である。

【図13】一実施形態の撮像装置が暗視モードで動作しているときの周囲画素の加算処理を説明するための図である。

【図14】周囲画素の加算処理が施されたフレームを示す図である。

【図15】一実施形態の撮像装置が第１暗視モードで動作しているときの前信号処理を説明するための図である。

【図16】一実施形態の撮像装置が第１暗視モードで動作しているときのデモザイク処理を説明するための図である。

【図17】一実施形態の撮像装置が第２暗視モードで動作しているときの前信号処理を説明するための図である。

【図18】一実施形態の撮像装置が第２暗視モードで動作しているときのデモザイク処理を説明するための図である。

【図19】一実施形態の撮像装置におけるモード切換の例を説明するための図である。

【図20】一実施形態の撮像装置がそれぞれのモードに設定されているときの各部の状態を示す図である。

【図21】一実施形態の撮像装置の第１の変形例を示す部分ブロック図である。

【図22】一実施形態の撮像装置の第２の変形例を示す部分ブロック図である。

【図23】一実施形態の撮像装置の第３の変形例を示す部分ブロック図である。

【図24】映像信号処理方法を示すフローチャートである。

【図25】図２４におけるステップＳ３に示す通常モードの具体的な処理を示すフローチャートである。

【図26】図２４におけるステップＳ４の中間モードの具体的な処理を示すフローチャートである。

【図27】図２４におけるステップＳ５の暗視モードの具体的な処理を示すフローチャートである。

【図28】映像信号処理プログラムがコンピュータに実行させる処理を示すフローチャートである。

【図29】通常モードにおいてホワイトバランスを調整したときの、ＮＴＳＣのベクトルスコープ上の白の位置を示す図である。

【図30】暗視モードにおいて映像信号のバランスを第１の状態に調整したとき、ＮＴＳＣのベクトルスコープ上で白が移動する位置を示す図である。

【図31】暗視モードにおいて映像信号のバランスを第２の状態に調整したとき、ＮＴＳＣのベクトルスコープ上で白が移動する位置を示す図である。

【図32】通常モードにおけるＲ／Ｇ及びＢ／Ｇの値が、暗視モードにおいてどのように変化するかを示す図である。

【発明を実施するための形態】

【0015】

以下、一実施形態の撮像装置及び撮像装置の調整方法について、添付図面を参照して説明する。

【0016】

＜撮像装置の構成＞
まず、図１を用いて、一実施形態の撮像装置の全体的な構成について説明する。図１に示す一実施形態の撮像装置は、昼間等の可視光が十分に存在する環境下に適した通常モードと、夜間等の可視光がほとんどない環境下に適した暗視モードと、可視光がわずかに存在する環境下に適した中間モードとの３つのモードで撮像可能な撮像装置である。

【0017】

中間モードは、可視光が少ない環境下で、赤外線を投光しながら撮像する第１の赤外光投光モードである。暗視モードは、可視光がさらに少ない（ほとんどない）環境下で、赤外線を投光しながら撮像する第２の赤外光投光モードである。

【0018】

撮像装置は、中間モードと暗視モードとのうちの一方のみを備えていてもよい。撮像装置は、通常モードを備えていなくてもよい。撮像装置は、少なくとも、赤外線を投光しながら撮像する赤外光投光モードを備えていればよい。

【0019】

図１において、被写体から反射した一点鎖線にて示す光は、光学レンズ１によって集光される。ここで、光学レンズ１には、可視光が十分に存在する環境下では可視光、可視光がほとんどない環境下では後述する赤外線投光器９より発せられた赤外光を被写体が反射した赤外光が入射される。

【0020】

可視光がわずかに存在する環境下では、光学レンズ１には、可視光と赤外線投光器９より発せられた赤外光を被写体が反射した赤外光とが混在した光が入射される。

【0021】

図１では簡略化のため、光学レンズ１を１つのみとしているが、実際には、撮像装置は複数の光学レンズを備える。

【0022】

光学レンズ１と撮像部３との間には、光学フィルタ２が設けられている。光学フィルタ２は、赤外線カットフィルタ２１とダミーガラス２２との２つの部分を有する。光学フィルタ２は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入した状態と、光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態とのいずれかの状態に駆動される。

【0023】

撮像部３は、水平方向及び垂直方向に複数の受光素子（画素）が配列した撮像素子３１と、それぞれの受光素子に対応して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの色のフィルタエレメントが配置されたカラーフィルタ３２とを有する。撮像素子３１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）でよい。

【0024】

カラーフィルタ３２には、一例として、図２に示すように、Ｒ，Ｇ，Ｂの各色のフィルタエレメントがベイヤ配列と称される配列で並べられている。ベイヤ配列は、Ｒ，Ｇ，Ｂのフィルタエレメントの所定の配列の一例である。図２において、各行のＲのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｒ、Ｂのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｂとしている。

【0025】

ベイヤ配列では、ＲのフィルタエレメントとＧｒのフィルタエレメントとが交互に配置された水平方向の行と、ＢのフィルタエレメントとＧｂのフィルタエレメントとが交互に配置された水平方向の行とが、垂直方向に交互に配列されている。

【0026】

図３は、撮像部３におけるＲ光，Ｇ光，Ｂ光の波長と相対感度との分光感度特性を示している。相対感度は、最大値が１に正規化されている。撮像装置を通常モードで動作させるとき、可視光による良好なカラー映像を撮像するには、波長７００ｎｍ以上の赤外光をカットする必要がある。

【0027】

そこで、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入するように光学フィルタ２を駆動する。

【0028】

図３より分かるように、撮像部３は、波長７００ｎｍ以上の赤外光の領域においても感度を有する。そこで、撮像装置を中間モードまたは暗視モードで動作させるときには、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間の赤外線カットフィルタ２１を外してダミーガラス２２を挿入するように光学フィルタ２を駆動する。

【0029】

光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態では、波長７００ｎｍ以上の赤外光はカットされない。よって、撮像装置は、図３に破線の楕円で囲んだ部分の感度を利用して、Ｒ，Ｇ，Ｂの各色情報を得ることが可能となる。ダミーガラス２２を挿入するのは、光路長を、赤外線カットフィルタ２１を挿入した場合の光路長と同じにするためである。

【0030】

赤外線投光器９は、それぞれ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する投光部９１，９２，９３を有する。中間モードまたは暗視モードのとき、制御部７内の投光制御部７１は、時分割で投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光させるように制御する。

【0031】

ところで、撮像素子３１にはシリコンウェハが用いられている。図４は、Ｒ，Ｇ，Ｂそれぞれの色を呈する素材に白色光を照射した場合の各波長における反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示している。図４においても、相対検出率は、最大値が１に正規化されている。

【0032】

図４に示すように、赤外光の領域において、例えば、波長７８０ｎｍにおける反射光はＲ色を呈する素材の反射光との相関性が高く、波長８７０ｎｍにおける反射光はＢ色を呈する素材の反射光との相関性が高く、波長９４０ｎｍにおける反射光はＧ色を呈する素材の反射光との相関性が高い。

【0033】

そこで、本実施形態においては、投光部９１，９２，９３が投光する赤外光の波長ＩＲ１，ＩＲ２，ＩＲ３を、７８０ｎｍ，９４０ｎｍ，８７０ｎｍとする。これらの波長は、波長ＩＲ１〜ＩＲ３の一例であり、７８０ｎｍ，９４０ｎｍ，８７０ｎｍ以外でもよい。

【0034】

投光部９１が波長ＩＲ１の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＲ信号に割り当てる。投光部９３が波長ＩＲ２の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＧ信号に割り当てる。投光部９２が波長ＩＲ３の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＢ信号に割り当てる。

【0035】

このようにすれば、原理的に、中間モードまたは暗視モードにおいても、通常モードにおいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができる。

【0036】

色味が被写体の実際の色味と異なるカラー映像となるものの、７８０ｎｍの波長ＩＲ１をＲ光、８７０ｎｍの波長ＩＲ３をＧ光、９４０ｎｍの波長ＩＲ２をＢ光に割り当ててもよい。波長ＩＲ１，ＩＲ２，ＩＲ３をＲ光，Ｇ光，Ｂ光に任意に割り当てることも可能である。

【0037】

本実施形態においては、被写体の色味を最もよく再現する、波長ＩＲ１，ＩＲ２，ＩＲ３をそれぞれＲ光，Ｇ光，Ｂ光に割り当てることとする。

【0038】

制御部７は、撮像部３における撮像と、映像処理部５内の各部と、映像出力部６とを制御する。制御部７は、投光制御部７１の他、通常モードと中間モードと暗視モードとを切り換えるモード切換部７２と、後述する色ゲイン設定部６２によって３原色データに乗じる色ゲインを調整して設定するよう制御する色ゲイン制御部７３とを備える。

【0039】

モード切換部７２は、通常モードと中間モードと暗視モードとに対応させて、映像処理部５内の動作を後述のように適宜切り換える。映像処理部５と制御部７とが一体化されていてもよい。

【0040】

撮像部３によって撮像された映像信号はＡ／Ｄ変換器４によってＡ／Ｄ変換され、映像処理部５に入力される。撮像部３とＡ／Ｄ変換器４とが一体化されていてもよい。

【0041】

映像処理部５は、スイッチ５１，５３と、前信号処理部５２と、デモザイク処理部５４とを有する。スイッチ５１，５３は物理的なスイッチであってもよく、前信号処理部５２の動作と不動作とを切り換えるための概念的なスイッチであってもよい。制御部７には、撮像している映像の明るさを検出するために、映像処理部５から映像信号が入力される。

【0042】

図５に示すように、前信号処理部５２は、周囲画素加算部５２１と、同一位置画素加算部５２２と、合成部５２３とを有する。

【0043】

映像処理部５は、Ｒ，Ｇ，Ｂの３原色データを生成して、映像出力部６に供給する。映像出力部６は、３原色データを所定の形式で図示していない表示部等へと出力する。

【0044】

映像出力部６は、Ｒ，Ｇ，Ｂ信号をそのまま出力してもよいし、Ｒ，Ｇ，Ｂ信号を輝度信号と色信号（または色差信号）に変換して出力してもよい。映像出力部６は、コンポジット映像信号を出力してもよい。映像出力部６は、デジタル信号の映像信号を出力してもよいし、Ｄ／Ａ変換器によってアナログ信号に変換した映像信号を出力してもよい。

【0045】

映像出力部６は、Ｒ，Ｇ，Ｂの３原色データのそれぞれに所定の色ゲインを乗じてＲ，Ｇ，Ｂのバランス（比率）を調整する色ゲイン設定部６２を有する。色ゲイン設定部６２は、通常モードにおける映像信号のホワイトバランスを調整するために、色ゲインを設定することができる。色ゲイン設定部６２は、暗視モードにおいて、Ｒ，Ｇ，Ｂのバランスを調整するために、色ゲインを設定してもよい。

【0046】

ここでは、色ゲイン設定部６２を映像出力部６内に設けているが、映像処理部５内に設けてもよい。

【0047】

以下、通常モードと中間モードと暗視モードとのそれぞれの具体的な動作について説明する。

【0048】

＜通常モード＞
通常モードでは、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオフにする。

【0049】

撮像部３によって撮像された映像信号は、Ａ／Ｄ変換器４によってデジタル信号である映像データに変換されて、映像処理部５に入力される。通常モードでは、モード切換部７２は、スイッチ５１，５３を端子Ｔｂに接続するように制御する。

【0050】

図６の（ａ）は、撮像部３の露光Ｅｘ１，Ｅｘ２，Ｅｘ３…を示している。実際には露光時間はシャッタスピード等の条件によって変化するが、ここでは露光Ｅｘ１，Ｅｘ２，Ｅｘ３は最大露光時間を示している。

【0051】

図６の（ｂ）は、それぞれの映像信号のフレームが得られるタイミングを示している。露光Ｅｘ１の前の図示していない露光に基づいて、所定時間後に映像信号のフレームＦ０が得られる。露光Ｅｘ１に基づいて、所定時間後に映像信号のフレームＦ１が得られる。露光Ｅｘ２に基づいて、所定時間後に映像信号のフレームＦ２が得られる。露光Ｅｘ３以降も同様である。映像信号のフレーム周波数を、例えば３０フレーム／秒とする。

【0052】

映像信号のフレーム周波数は、ＮＴＳＣ方式であれば３０フレーム／秒または６０フレーム／秒、ＰＡＬ方式であれば２５フレーム／秒または５０フレーム／秒のように適宜設定すればよい。また、映像信号のフレーム周波数は、映画で使われている２４フレーム／秒であってもよい。

【0053】

Ａ／Ｄ変換器４より出力された各フレームの映像データは、スイッチ５１，５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、入力された各フレームの映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

【0054】

図７を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図７において、（ａ）は映像データの任意のフレームＦｍを示している。フレームＦｍは、有効映像期間の画素によって構成されたフレームである。映像データの画素数は、例えばＶＧＡ規格では水平６４０画素、垂直４８０画素である。ここでは簡略化のため、フレームＦｍの画素数を大幅に少なくして、フレームＦｍを概念的に示している。

【0055】

ベイヤ配列の撮像部３を用いて生成された映像データは、フレームＦｍ内で、Ｒ，Ｇ，Ｂの画素データが混在したデータである。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて算出したＲの補間画素データＲｉを生成する。デモザイク処理部５４は、図７の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームＦｍＲを生成する。

【0056】

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて算出したＧの補間画素データＧｉを生成する。デモザイク処理部５４は、図７の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームＦｍＧを生成する。

【0057】

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて算出したＢの補間画素データＢｉを生成する。デモザイク処理部５４は、図７の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームＦｍＢを生成する。

【0058】

デモザイク処理部５４は、Ｒの画素データを補間する際には少なくともＲの画素データを用いればよく、Ｇの画素データを補間する際には少なくともＧの画素データを用いればよく、Ｂの画素データを補間する際には少なくともＢの画素データを用いればよい。デモザイク処理部５４は、補間精度を向上させるために、Ｒ，Ｇ，Ｂの画素データを補間する際に、生成しようとする補間画素データの色とは異なる他の色の画素データを用いてもよい。

【0059】

撮像部３には、有効映像期間より外側の画素も存在しているため、フレームＦｍの上下左右端部に位置する画素においても、Ｒ，Ｇ，Ｂの画素データを補間することができる。

【0060】

デモザイク処理部５４によって生成されたＲフレームＦｍＲ，ＧフレームＦｍＧ，ＢフレームＦｍＢがＲ，Ｇ，Ｂの３原色データとして出力される。図６では、理解を容易にするため、Ｒ，Ｇ，Ｂの画素データをフレーム単位で説明したが、実際には、Ｒ，Ｇ，Ｂの画素データは画素ごとに順次出力される。

【0061】

＜中間モード：第１中間モード＞
中間モード（第１中間モード及び後述する第２中間モード）では、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

【0062】

図８の（ａ）は、赤外線投光器９による赤外光の投光の状態を示している。制御部７は、通常モードの１フレーム期間を１／３ずつに分け、例えば投光部９１，９２，９３の順に赤外光を投光させるように制御する。

【0063】

図８の（ａ）に示す例では、１フレームの最初の１／３の期間では、波長ＩＲ１（７８０ｎｍ）の赤外光が被写体に照射される。１フレームの次の１／３の期間では、波長ＩＲ２（９４０ｎｍ）の赤外光が被写体に照射される。１フレームの最後の１／３の期間では、波長ＩＲ３（８７０ｎｍ）の赤外光が被写体に照射される。波長ＩＲ１〜ＩＲ３の赤外光を投光する順番は任意である。

【0064】

図８の（ｂ）に示すように、波長ＩＲ１の赤外光を投光しているタイミングでは、撮像部３はＲ光との相関性が高い露光Ex1Rが行われる。波長ＩＲ２の赤外光を投光しているタイミングでは、撮像部３はＧ光との相関性が高い露光Ex1Gが行われる。波長ＩＲ３の赤外光を投光しているタイミングでは、撮像部３はＢ光との相関性が高い露光Ex1Bが行われる。

【0065】

但し、中間モードでは、可視光がわずかに存在する環境下での撮像であるため、可視光と赤外線投光器９より投光された赤外光とが混在した状態である。よって、中間モードにおいては、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、可視光による露光と赤外光による露光とを合わせた露光となる。

【0066】

図８の（ｃ）に示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、所定時間後に、露光Ex1Rに対応したフレームF1IR1、露光Ex1Gに対応したフレームF1IR2、露光Ex1Bに対応したフレームF1IR3が得られる。

【0067】

また、露光Ex2R，Ex2G，Ex2Bに基づいて、所定時間後に、露光Ex2Rに対応したフレームF2IR1、露光Ex2Gに対応したフレームF2IR2、露光Ex2Bに対応したフレームF2IR3が得られる。露光Ex3R，Ex3G，Ex3B以降も同様である。

【0068】

図８の（ｃ）の撮像信号のフレーム周波数は、９０フレーム／秒である。中間モードでは、通常モードにおける映像信号の１フレームを時分割して波長ＩＲ１〜ＩＲ３の赤外光を投光するため、通常モードと同じ形式の映像信号を出力するためには、図８の（ｃ）の撮像信号のフレーム周波数は、通常モードにおけるフレーム周波数の３倍となる。

【0069】

後述するように、図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）に示す３０フレーム／秒のフレーム周波数を有する映像信号の１フレームが生成される。例えば、フレームF1IR1，F1IR2，F1IR3に基づいてフレームF1IRが生成され、フレームF2IR1，F2IR2，F2IR3に基づいてフレームF2IRが生成される。

【0070】

図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）の各フレームの映像信号を生成する中間モードでの動作を具体的に説明する。

【0071】

Ａ／Ｄ変換器４より出力された図８の（ｃ）に示す撮像信号に対応する各フレームの映像データは、スイッチ５１を介して前信号処理部５２に入力される。

【0072】

図９を用いて、前信号処理部５２における前信号処理について説明する。図９の（ａ）は、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR1を示している。フレームFmIR1内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ１の赤外光を投光した状態で生成されたことを示す添え字１を付している。

【0073】

図９の（ｂ）は、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR2を示している。フレームFmIR2内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ２の赤外光を投光した状態で生成されたことを示す添え字２を付している。

【0074】

図９の（ｃ）は、波長ＩＲ３の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR3を示している。フレームFmIR3内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ３の赤外光を投光した状態で生成されたことを示す添え字３を付している。

【0075】

図９の（ａ）に示すフレームFmIR1は、Ｒ光との相関性が高い波長ＩＲ１の赤外光が投光された状態で生成された映像データであるので、Ｒの画素データは投光された赤外光と対応した画素データであり、Ｂ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｂ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

【0076】

図９の（ｂ）に示すフレームFmIR2は、Ｇ光との相関性が高い波長ＩＲ２の赤外光が投光された状態で生成された映像データであるので、Ｇの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｂの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

【0077】

図９の（ｃ）に示すフレームFmIR3は、Ｂ光との相関性が高い波長ＩＲ３の赤外光が投光された状態で生成された映像データであるので、Ｂの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

【0078】

前信号処理部５２内の同一位置画素加算部５２２は、互いに同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データを以下の式（１）〜（３）に従って個別に加算して、画素データR123，Gr123，Gb123，B123を生成する。中間モードでは、前信号処理部５２内の周囲画素加算部５２１は不動作である。

【0079】

R123=ka×R1+kb×R2+kc×R3 …（１）
G123=kd×G1+ke×G2+kf×G3 …（２）
B123=kg×B1+kh×B2+ki×B3 …（３）

【0080】

式（１）〜（３）において、R1，G1，B1はフレームFmIR1におけるＲ，Ｇ，Ｂの画素データ、R2，G2，B2はフレームFmIR2におけるＲ，Ｇ，Ｂの画素データ、R3，G3，B3はフレームFmIR3におけるＲ，Ｇ，Ｂの画素データである。ka〜kiは所定の係数である。式（２）におけるG123はGr123またはGb123である。

【0081】

このとき、同一位置画素加算部５２２は、ハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂのそれぞれの画素データに、ハッチングを付した同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データそれぞれを加算する。

【0082】

即ち、同一位置画素加算部５２２は、式（１）に基づいて、フレームFmIR1におけるＲの画素データに、フレームFmIR2，FmIR3における同じ画素位置のＲの画素データを加算して、画素データR123を生成する。つまり、受光素子における赤色のカラーフィルタに対応する領域の画素データだけを用いて赤色用の画素データR123を生成する。

【0083】

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2におけるＧｒ，Ｇｂの画素データに、フレームFmIR1，FmIR3における同じ画素位置のＧｒ，Ｇｂの画素データを加算して、画素データG123を生成する。つまり、受光素子における緑色のカラーフィルタに対応する領域の画素データだけを用いて緑色用の画素データG123を生成する。

【0084】

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3におけるＢの画素データに、フレームFmIR1，FmIR2における同じ画素位置のＢの画素データを加算して、画素データB123を生成する。つまり、受光素子における青色のカラーフィルタに対応する領域の画素データだけを用いて青色用の画素データB123を生成する。

【0085】

前信号処理部５２内の合成部５２３は、それぞれの画素位置において生成された画素データR123，Gr123，Gb123，B123に基づいて、図９の（ｄ）に示す合成映像信号のフレームFmIR123を生成する。

【0086】

具体的には、合成部５２３は、フレームFmIR1における画素データR123と、フレームFmIR2における画素データGr123，Gb123と、フレームFmIR3における画素データB123とを選択して合成する。これによって合成部５２３は、合成映像信号のフレームFmIR123を生成する。

【0087】

このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR123，Gr123，Gb123，B123を配列させたフレームFmIR123を生成する。

【0088】

第１中間モードにおいては、ハッチングを付していない画素データと、ハッチングを付した画素データとを用いて、フレームFmIR123の映像データを生成する。

【0089】

同一位置画素加算部５２２によって互いに同じ画素位置の画素データを加算するのは、次の理由による。中間モードではわずかではあるものの可視光が存在する環境下での撮像であるため、ハッチングを付した画素データは可視光による露光に基づくそれぞれの色の成分を含む。よって、同じ画素位置の画素データを加算することによって、それぞれの色の感度を上げることができる。

【0090】

可視光と赤外光とが混在している状況で可視光が比較的多ければ、可視光による露光が支配的となる。この場合、フレームFmIR123の映像データは、可視光によって露光した映像信号に基づく成分が主となる。可視光と赤外光とが混在している状況で赤外光が比較的多ければ、赤外光による露光が支配的となる。この場合、フレームFmIR123の映像データは、赤外光によって露光した映像信号に基づく成分が主となる。

【0091】

可視光が比較的少ない場合には、式（１）において、係数ka，kb，kcの大小関係を、ka>kb，kcとし、式（２）において、係数kd，ke，kfの大小関係を、kf>kd，keとし、式（３）において、係数kg，kh，kiの大小関係を、kh>kg，kiとするのがよい。これは、波長ＩＲ１はＲ光との相関性が高く、波長ＩＲ２はＧ光との相関性が高く、波長ＩＲ３はＢ光との相関性が高いからである。

【0092】

このようにすれば、Ｒの画素データではフレームFmIR1におけるＲの画素データ、Ｇの画素データではフレームFmIR2におけるＧの画素データ、Ｂの画素データではフレームFmIR3におけるＢの画素データを主とすることができる。

【0093】

前信号処理部５２より出力されたフレームFmIR123の映像データは、スイッチ５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、通常モードと同様に、入力されたフレームFmIR123の映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

【0094】

図１０を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１０の（ａ）は、フレームFmIR123を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123iを生成する。デモザイク処理部５４は、図１０の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123Rを生成する。

【0095】

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123iを生成する。デモザイク処理部５４は、図１０の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123Gを生成する。

【0096】

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123iを生成する。デモザイク処理部５４は、図１０の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123Bを生成する。

【0097】

通常モードにおける図７に示すデモザイク処理部５４の動作と、中間モードにおける図１０に示すデモザイク処理部５４の動作とを比較すれば分かるように、両者は実質的に同じである。デモザイク処理部５４の動作は、通常モードであっても中間モードであっても変わらない。

【0098】

通常モードでは前信号処理部５２を不動作とし、中間モードでは、周囲画素加算部５２１を除き、前信号処理部５２を動作させればよい。通常モードと中間モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

【0099】

＜中間モード：第２中間モード＞
図１１及び図１２を用いて、第２中間モードにおける動作を説明する。第２中間モードにおける動作において、第１中間モードにおける動作と同一部分は説明を省略する。図１１の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。

【0100】

合成部５２３は、フレームFmIR1におけるＲの画素データであるR1と、フレームFmIR2におけるＧの画素データであるGr2，Gb2と、フレームFmIR3におけるＢの画素データであるB3とを選択して合成する。これによって合成部５２３は、図１１の（ｄ）に示す合成映像信号のフレームFmIR123’を生成する。

【0101】

即ち、フレームFmIR123’は、フレームFmIR1，FmIR2，FmIR3におけるハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂの画素データを１フレームに集結させた映像データである。

【0102】

つまり、フレームFmIR123’においては、波長ＩＲ１の赤外光を投光した状態における赤色のカラーフィルタに対応する領域の画素データだけを用いた赤色用の画素データ、波長ＩＲ２の赤外光を投光した状態における緑色のカラーフィルタに対応する領域の画素データだけを用いた緑色用の画素データ、波長ＩＲ３の赤外光を投光した状態における青色のカラーフィルタに対応する領域の画素データだけを用いた青色用の画素データとなっている。

【0103】

このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1，Gr2，Gb2，B3を配列させたフレームFmIR123’を生成する。

【0104】

第２中間モードでは、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

【0105】

これによって、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データは、それぞれそのままの値となる。

【0106】

よって、合成部５２３は、第１中間モードにおける動作と同様に、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データを選択すれば、フレームFmIR123’を生成することができる。

【0107】

第２中間モードにおいては、前信号処理部５２は、画素データの色と同じ色の画素データを生成するための赤外光が投光された状態で生成された画素データ（ハッチングを付していない画素データ）のみ用いて、フレームFmIR123’の映像データを生成する。

【0108】

第２中間モードによれば、第１中間モードよりも感度や色の再現性は低下するものの、演算処理を簡略化したり、フレームメモリを削減したりすることができる。

【0109】

図１２を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１２の（ａ）は、フレームFmIR123’を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データＲ１ｉを生成する。デモザイク処理部５４は、図１２の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’Rを生成する。

【0110】

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データＧ２ｉを生成する。デモザイク処理部５４は、図１２の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’Gを生成する。

【0111】

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データＢ３ｉを生成する。デモザイク処理部５４は、図１２の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’Bを生成する。

【0112】

以上のように、中間モードにおいては、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成し、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成し、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成する。

【0113】

＜暗視モード：第１暗視モード＞
暗視モード（第１暗視モード及び後述する第２暗視モード）では、中間モードと同様、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

【0114】

暗視モードにおける概略的な動作は、図８と同じである。但し、暗視モードでは、可視光がほとんど存在しない環境下での撮像であるため、図８の（ｂ）における露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、赤外光のみによる露光を想定している。

【0115】

可視光がほとんど存在せず赤外光のみが存在している環境下では、カラーフィルタ３２におけるそれぞれのフィルタエレメントの特性には差がなくなるため、撮像部３を単色の撮像素子とみなすことができる。

【0116】

そこで、前信号処理部５２内の周囲画素加算部５２１は、暗視モードでは、赤外光の感度を向上させるために、それぞれの画素データに対して、周囲に位置する画素データを加算する。

【0117】

具体的には、図１３の（ａ）に示すように、Ｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＲの画素データに対して周囲に位置するＧ（Ｇｒ，Ｇｂ）及びＢの８画素の画素データを加算する。

【0118】

つまり、中間モードのときは、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから赤色用の画素データを生成することとなる。図１３に示す例では、各色とも注目画素を含む９画素分の領域から得た画素データを用いている。

【0119】

図１３の（ｂ）に示すように、Ｇｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧｒの画素データに対して周囲に位置するＲ，Ｇｂ，Ｂの８画素の画素データを加算する。図１３の（ｃ）に示すように、Ｇｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧｂの画素データに対して周囲に位置するＲ，Ｇｒ，Ｂの８画素の画素データを加算する。

【0120】

つまり、中間モードのときは、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから緑色用の画素データを生成することとなる。

【0121】

図１３の（ｄ）に示すように、Ｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＢの画素データに対して周囲に位置するＲ及びＧ（Ｇｒ，Ｇｂ）の８画素の画素データを加算する。

【0122】

つまり、中間モードのときは、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから青色用の画素データを生成することとなる。

【0123】

周囲画素加算部５２１は、注目画素の画素データと周囲の８画素の画素データとの９画素を単純に加算してもよいし、周囲の８画素の画素データに対して所定の重み付けをした上で注目画素の画素データに加算してもよい。

【0124】

ところで、ビニングと称される複数の画素をまとめて１つの画素として読み出し可能な撮像素子が存在する。撮像素子３１として、ビニング機能を有する撮像素子を用いる場合には、周囲画素加算部５２１による加算処理ではなく、ビニング機能を有する撮像素子による加算処理を行ってもよい。撮像素子によるビニングは、周囲画素加算部５２１による加算処理と実質的に等価である。

【0125】

図１４の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。図１４の（ｄ）〜（ｆ）において、R1ad，Gr1ad，Gb1ad，B1ad，R2ad，Gr2ad，Gb2ad，B2ad，R3ad，Gr3ad，Gb3ad，B3adは、それぞれ、Ｒ，Ｇｒ，Ｇｂ，Ｂの画素データに対して周囲の８画素の画素データを加算した加算画素データである。

【0126】

周囲画素加算部５２１は、フレームFmIR1，FmIR2，FmIR3のそれぞれの画素データに対して図１３に示す加算処理を施すことにより、図１４の（ｄ）〜（ｆ）に示すフレームFmIR1ad，FmIR2ad，FmIR3adを生成する。

【0127】

図１５の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１４の（ｄ）〜（ｆ）のフレームFmIR1ad，FmIR2ad，FmIR3adと同じである。

【0128】

同一位置画素加算部５２２は、第１中間モードと同様に、式（１）に基づいて、フレームFmIR1adにおけるR1adの画素データに、フレームFmIR2ad，FmIR3adにおける同じ画素位置のR2ad，R3adの画素データを加算して、画素データR123adを生成する。

【0129】

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2adにおけるGr2ad，Gb2adの画素データに、フレームFmIR1ad，FmIR3adにおける同じ画素位置のGr1ad，Gb1ad，Gr3ad，Gb3adの画素データを加算して、画素データGr123ad，Gb123adを生成する。

【0130】

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3adにおけるB3adの画素データに、フレームFmIR1ad，FmIR2adにおける同じ画素位置のB1ad，B2adの画素データを加算して、画素データB123adを生成する。

【0131】

合成部５２３は、第１中間モードと同様に、フレームFmIR1adにおける画素データR123adと、フレームFmIR2adにおける画素データGr123ad，Gb123adと、フレームFmIR3adにおける画素データB123adとを選択して合成する。これによって合成部５２３は、図１５の（ｄ）に示す合成映像信号のフレームFmIR123adを生成する。

【0132】

合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR123ad，Gr123ad，Gb123ad，B123adを配列させたフレームFmIR123adを生成する。

【0133】

図１６の（ａ）はフレームFmIR123adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123adiを生成する。デモザイク処理部５４は、図１６の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123adRを生成する。

【0134】

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123adiを生成する。デモザイク処理部５４は、図１６の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123adGを生成する。

【0135】

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123adiを生成する。デモザイク処理部５４は、図１６の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123adBを生成する。

【0136】

第１中間モードと第１暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。モード切換部７２は、暗視モードのとき、周囲画素加算部５２１を動作させればよい。

【0137】

暗視モードにおけるデモザイク処理部５４の動作は、通常モード及び中間モードにおけるデモザイク処理部５４の動作と実質的に同じである。通常モードと中間モードと暗視モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

【0138】

＜暗視モード：第２暗視モード＞
図１７及び図１８を用いて、第２暗視モードにおける動作を説明する。第２暗視モードにおける動作において、第１暗視モードにおける動作と同一部分は説明を省略する。図１７の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１５の（ａ）〜（ｃ）のFmIR1ad，FmIR2ad，FmIR3adと同じである。

【0139】

合成部５２３は、フレームFmIR1adにおけるＲの画素データであるR1adと、フレームFmIR2におけるＧの画素データであるGr2ad，Gb2adと、フレームFmIR3におけるＢの画素データであるB3adとを選択して合成する。これによって合成部５２３は、図１７の（ｄ）に示す合成映像信号のフレームFmIR123’adを生成する。

【0140】

合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1ad，Gr2ad，Gb2ad，B3adを配列させたフレームFmIR123’adを生成する。

【0141】

なお、図１３を用いて説明したように、フレームFmIR123’adにおける赤色用の画素データR1adは、中間モードのときに赤色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

【0142】

また、フレームFmIR123’adにおける緑色用の画素データGr2adは、中間モードのときに緑色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

【0143】

さらに、フレームFmIR123’adにおける青色用の画素データB3adは、中間モードのときに青色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

【0144】

第２暗視モードでは、第２中間モードと同様に、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

【0145】

これによって、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データは、それぞれそのままの値となる。

【0146】

よって、合成部５２３は、第１暗視モードにおける動作と同様に、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データを選択すれば、フレームFmIR123’adを生成することができる。

【0147】

図１８を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１８の（ａ）は、フレームFmIR123’adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のR1adの画素データを用いて演算して、Ｒの補間画素データR1adiを生成する。デモザイク処理部５４は、図１８の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’adRを生成する。

【0148】

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のGr2ad，Gb2adの画素データを用いて演算して、Ｇの補間画素データG2adiを生成する。デモザイク処理部５４は、補間して、図１８の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’adGを生成する。

【0149】

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のB3adの画素データを用いて算出したＢの補間画素データB3adiを生成する。デモザイク処理部５４は、図１８の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’adBを生成する。

【0150】

第２中間モードと第２暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。

【0151】

また、中間モードにおいては、受光素子における各色に対応する領域から得た画素データそれぞれから各色用の画素データを生成していたが、暗視モードにおいては、周囲画素を加算するため、中間モードにおける各色用の画素データを生成するための領域それぞれよりも広い領域から得た画素データから各色用の画素データを生成するとも言える。

【0152】

＜モード切換の例＞
図１９を用いて、モード切換部７２によるモード切換の例を説明する。図１９の（ａ）は、一例として、昼間の時間帯から夜の時間帯へと時間が経過していくとき、周囲環境の明るさが変化していく様子を概略的に示している。

【0153】

図１９の（ａ）に示すように、昼間から夕刻へと時間が経過していくに従って明るさが低下していき、時刻ｔ３以降、ほぼ真っ暗の状態となる。図１９の（ａ）に示す明るさは実質的に可視光の量を示しており、時刻ｔ３以降、可視光がほとんどない状態である。

【0154】

制御部７は、映像処理部５から入力される映像信号（映像データ）の輝度レベルに基づいて周囲環境の明るさを判断することができる。図１９の（ｂ）に示すように、モード切換部７２は、明るさが所定の閾値Th1（第１の閾値）以上であるとき通常モードとし、明るさが閾値Th1未満で所定の閾値Th2（第２の閾値）以上であるとき中間モード、閾値Th2未満であるとき暗視モードとする。

【0155】

本実施形態の撮像装置は、明るさが閾値Th1となる時刻ｔ１までは通常モード、時刻ｔ１から明るさが閾値Th2となる時刻ｔ２まで中間モード、時刻ｔ２以降は暗視モードに、モードを自動的に切り換える。図１９の（ｂ）において、中間モードは第１中間モードと第２中間モードとのいずれでもよく、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

【0156】

図１９の（ａ）では可視光がほとんどなくなる時刻ｔ３の直前の明るさを閾値Th2としているが、時刻ｔ３の明るさを閾値Th2としてもよい。

【0157】

図１９の（ｃ）に示すように、モード切換部７２は、中間モードの期間で、可視光が比較的多い時刻ｔ１側の期間を第１中間モード、可視光が比較的少ない時刻ｔ２側の期間を第２中間モードとしてもよい。図１９の（ｃ）において、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

【0158】

本実施形態の撮像装置は、投光制御部７１が赤外線投光器９のオン・オフを制御し、モード切換部７２が映像処理部５内の各部の動作・不動作を切り換えることにより、それぞれのモードを実現することができる。

【0159】

図２０に示すように、通常モードは、赤外線投光器９がオフ、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３がいずれも不動作、デモザイク処理部５４が動作の状態である。

【0160】

第１中間モードは、赤外線投光器９がオン、周囲画素加算部５２１が不動作、同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４とが動作の状態である。第２中間モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２とが不動作、合成部５２３とデモザイク処理部５４とが動作の状態である。

【0161】

同一位置画素加算部５２２における動作と不動作とは、前述のように、式（１）〜（３）の係数ka〜kiの値を適宜に設定することによって容易に切り換えることができる。

【0162】

第１暗視モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４との全てが動作の状態である。第２暗視モードは、赤外線投光器９がオン、同一位置画素加算部５２２が不動作、周囲画素加算部５２１と合成部５２３とデモザイク処理部５４とが動作の状態である。

【0163】

ところで、周囲画素加算部５２１は、注目画素の画素データに対して周囲の画素データを加算するための計算式において、周囲の画素データに乗じる係数を、０を超える係数（例えば１）とすれば、周囲画素の加算処理を動作の状態とすることができる。

【0164】

また、周囲画素加算部５２１は、その計算式において、周囲の画素データに乗じる係数を０とすれば、周囲画素の加算処理を不動作の状態とすることができる。

【0165】

周囲画素加算部５２１における動作と不動作も、係数の値を適宜に設定することによって容易に切り換えることができる。

【0166】

＜撮像装置の第１の変形例＞
制御部７が周囲環境の明るさを検出する方法は、映像信号の輝度レベルに基づく方法に限定されない。

【0167】

図２１に示すように、明るさセンサ１１によって周囲環境の明るさを検出してもよい。図２１において、映像信号の輝度レベルと明るさセンサ１１によって検出した明るさとの双方に基づいて、周囲環境の明るさを判断してもよい。

【0168】

＜撮像装置の第２の変形例＞
制御部７は、周囲環境の明るさを直接的に検出せず、１年間における時期（日にち）及び時刻（時間帯）に基づいて周囲環境の明るさを概略的に想定して、モード切換部７２が各モードに切り換えるようにしてもよい。

【0169】

図２２に示すように、モード設定テーブル１２には、日にちと時間帯との組み合わせに対応して、通常モードと中間モードと暗視モードとのいずれかが設定されている。制御部７内の時計７４は、日にちと時刻を管理している。制御部７は、時計７４が示す日にちと時刻とを参照して、モード設定テーブル１２より設定されているモードを読み出す。

【0170】

投光制御部７１とモード切換部７２は、モード設定テーブル１２より読み出されたモードとなるように、撮像装置を制御する。

【0171】

＜撮像装置の第３の変形例＞
図２３に示すように、操作部１３によってユーザがモードを手動で選択して、投光制御部７１とモード切換部７２が選択されたモードとなるように撮像装置を制御してもよい。操作部１３は、撮像装置の筐体に設けられている操作ボタンであってもよく、リモートコントローラであってもよい。

【0172】

＜映像信号処理方法＞
図２４を用いて、図１に示す撮像装置で実行される映像信号処理方法を改めて説明する。

【0173】

図２４において、撮像装置が動作を開始すると、制御部７は、ステップＳ１にて、周囲環境の明るさが閾値Th1以上であるか否かを判定する。閾値Th1以上であれば（YES）、制御部７は、ステップＳ３にて、通常モードでの処理を実行させる。閾値Th1以上でなければ（NO）、制御部７は、ステップＳ２にて、周囲環境の明るさが閾値Th2以上であるか否かを判定する。

【0174】

閾値Th2以上であれば（YES）、制御部７は、ステップＳ４にて、中間モードでの処理を実行させる。閾値Th2以上でなければ（NO）、制御部７は、ステップＳ５にて、暗視モードでの処理を実行させる。

【0175】

制御部７は、ステップＳ３〜Ｓ５の後、処理をステップＳ１に戻し、ステップＳ１以降を繰り返す。

【0176】

図２５は、ステップＳ３の通常モードの具体的な処理を示す。図２５において、制御部７（投光制御部７１）は、ステップＳ３１にて、赤外線投光器９をオフにする。制御部７は、ステップＳ３２にて、赤外線カットフィルタ２１を挿入する。制御部７（モード切換部７２）は、ステップＳ３３にて、スイッチ５１，５３を端子Ｔｂに接続させる。ステップＳ３１〜Ｓ３３の順番は任意であり、同時であってもよい。

【0177】

制御部７は、ステップＳ３４にて、撮像部３によって被写体を撮像させる。制御部７は、ステップＳ３５にて、撮像部３が被写体を撮像することよって生成した映像信号を構成するフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

【0178】

図２６は、ステップＳ４の中間モードの具体的な処理を示す。図２６において、制御部７（投光制御部７１）は、ステップＳ４１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

【0179】

制御部７は、ステップＳ４２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ４３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ４１〜Ｓ４３の順番は任意であり、同時であってもよい。

【0180】

制御部７は、ステップＳ４４にて、撮像部３によって被写体を撮像させる。撮像部３は、Ｒに対応付けられた波長ＩＲ１の赤外光と、Ｇに対応付けられた波長ＩＲ２の赤外光と、Ｂに対応付けられた波長ＩＲ３の赤外光とがそれぞれ投光されている状態で被写体を撮像する。

【0181】

制御部７（モード切換部７２）は、ステップＳ４５にて、周囲画素加算部５２１を不動作とし、合成部５２３を動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

【0182】

波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光がそれぞれ投光されている状態で撮像部３が被写体を撮像することよって生成された映像信号を構成するフレームを第１のフレーム，第２のフレーム，第３のフレームとする。

【0183】

合成部５２３は、第１のフレーム内のＲの画素データと、第２のフレーム内のＧの画素データと、第３のフレーム内のＢの画素データとに基づく３原色の画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させる。合成部５２３は、このようにして第１〜第３のフレームを１フレームに合成した合成映像信号を生成する。

【0184】

制御部７は、ステップＳ４６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

【0185】

デモザイク処理部５４は、合成映像信号のフレームに基づいて、Ｒのフレームと、Ｇのフレームと、Ｂのフレームとを生成するデモザイク処理を施して、デモザイク処理された３原色のフレームを順次生成する。

【0186】

デモザイク処理部５４は、Ｒの画素データが存在しない画素位置にＲの画素データを補間することによって、Ｒのフレームを生成することができる。デモザイク処理部５４は、Ｇの画素データが存在しない画素位置にＧの画素データを補間することによって、Ｇのフレームを生成することができる。デモザイク処理部５４は、Ｂの画素データが存在しない画素位置にＢの画素データを補間することによって、Ｂのフレームを生成することができる。

【0187】

第１中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を動作させ、第２中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を不動作とすればよい。

【0188】

図２７は、ステップＳ５の暗視モードの具体的な処理を示す。図２７において、制御部７（投光制御部７１）は、ステップＳ５１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

【0189】

制御部７は、ステップＳ５２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ５３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ５１〜Ｓ５３の順番は任意であり、同時であってもよい。

【0190】

制御部７は、ステップＳ５４にて、撮像部３によって被写体を撮像させる。制御部７（モード切換部７２）は、ステップＳ５５にて、周囲画素加算部５２１と合成部５２３とを動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

【0191】

制御部７は、ステップＳ５６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

【0192】

第１暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を動作させ、第２暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を不動作とすればよい。

【0193】

＜映像信号処理プログラム＞
図１において、制御部７、または、映像処理部５と制御部７とが一体化部分をコンピュータ（マイクロコンピュータ）で構成し、映像信号処理プログラム（コンピュータプログラム）をコンピュータで実行させることによって、上述した本実施形態の撮像装置と同様の動作を実現させることも可能である。

【0194】

図２８を用いて、図２４のステップＳ４である中間モードにおける制御を映像信号処理プログラムで構成した場合にコンピュータに実行させる手順の例を説明する。図２８は、映像信号処理プログラムがコンピュータに実行させる処理を示す。

【0195】

図２８において、映像信号処理プログラムは、ステップS401にて、コンピュータに、Ｒ，Ｇ，Ｂに対応付けられた波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光をそれぞれ投光するように赤外線投光器９を制御するステップを実行させる。

【0196】

ステップS401に示すステップを映像信号処理プログラムの外部にて実行させてもよい。図２８では、ダミーガラス２２を挿入させるステップを省略している。ダミーガラス２２を挿入させるステップも映像信号処理プログラムの外部にて実行させてもよい。

【0197】

映像信号処理プログラムは、ステップS402にて、コンピュータに、波長ＩＲ１の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第１のフレームを構成する画素データを取得するステップを実行させる。

【0198】

映像信号処理プログラムは、ステップS403にて、コンピュータに、波長ＩＲ２の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第２のフレームを構成する画素データを取得するステップを実行させる。

【0199】

映像信号処理プログラムは、ステップS404にて、コンピュータに、波長ＩＲ３の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第３のフレームを構成する画素データを取得するステップを実行させる。ステップS402〜S404の順番は任意である。

【0200】

映像信号処理プログラムは、ステップS405にて、コンピュータに、Ｒ，Ｇ，Ｂの画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させて、１フレームに合成した合成映像信号を生成するステップを実行させる。

【0201】

中間モードでは、映像信号処理プログラムは、ステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させない。

【0202】

映像信号処理プログラムは、ステップS406にて、コンピュータに、合成映像信号のフレームにデモザイク処理を施して、Ｒ，Ｇ，Ｂのフレームを生成するステップを実行させる。

【0203】

図示は省略するが、図２４のステップＳ５である暗視モードにおける制御を映像信号処理プログラムで構成する場合には、図２８のステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させればよい。

【0204】

映像信号処理プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムであってよい。映像信号処理プログラムが記録媒体に記録された状態で提供されてもよいし、映像信号処理プログラムをコンピュータにダウンロードさせるよう、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の非一時的な任意の記録媒体でよい。

【0205】

＜暗視モードにおける色の調整について＞
ここで、暗視モードにおいて、映像信号の色をどのように調整すれば色再現性のよい映像信号が得られるのかについて考察する。

【0206】

まず、通常モードにおいて、映像信号の色をどのような調整方法で調整するのかを説明する。通常モードでは、可視光がある環境下で被写体を撮像する通常の撮像装置において確立されている一般的な調整方法を採用すればよい。

【0207】

通常モードにおける調整時には、撮像装置は、基準光源下で基準となる無彩色の物体を撮像したときに出力される映像信号が白となるように調整される。基準光源は、例えば、色温度3100Kのハロゲンランプである。基準となる無彩色の物体としては、一般的に標準白色板が用いられる。

【0208】

標準白色板としては、例えば、Labsphere, Inc.,製の商品名“SRT-99-050 Reflectance Target”を用いることができる。標準白色板は複数の会社から提供されており、いずれの会社の製品であってもよい。標準白色板は、可視光域から近赤外域までほぼ一定の反射率を有する。なお、上記の製品は、250nm〜2500nmの波長帯域で９０％以上の反射率を有する。

【0209】

色ゲイン制御部７３は、基準光源下で標準白色板を撮像したときに出力される映像信号が白となるように、色ゲイン設定部６２がＲ，Ｇ，Ｂの３原色データに乗じる色ゲインを制御する。即ち、色ゲイン制御部７３は、色ゲイン設定部６２を制御して映像出力部６より出力される映像信号のホワイトバランスを調整する。

【0210】

映像出力部６より出力されるＲ，Ｇ，Ｂの映像信号の比率は、Ｒ：Ｇ：Ｂ＝ｘ：ｙ：ｚと表される。通常モードにおいて、基準光源下で標準白色板を撮像したとき、Ｒ：Ｇ：Ｂ＝１：１：１とすることによって、ホワイトバランスが調整される。

【0211】

Ｇに対する色ゲインを固定し、Ｒ，Ｂに対する色ゲインを変化させてホワイトバランスを調整することもある。この場合、Ｒ／Ｇ＝１．０、Ｂ／Ｇ＝１．０とすることによって、ホワイトバランスが調整される。

【0212】

本実施形態の撮像装置は、通常モードの調整時に、以上のようにして、映像出力部６より出力される映像信号のホワイトバランスが調整されている。通常モードでは、ホワイトバランスが調整されることによって、結果として、映像信号の各色が調整されることになる。

【0213】

次に、暗視モードにおいて、色再現性のよい映像信号を得るために、映像出力部６より出力される映像信号をどのように調整すべきかについて説明する。

【0214】

暗視モードにおいては、前述のように、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を被写体に照射したときに得られる映像信号をそれぞれＲ信号，Ｇ信号，Ｂ信号に割り当てている。原理的に、暗視モードにおいても、通常モードにおいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができるものの、全く同じ色を再現できるわけではない。しかも、再現可能な色は限定的である。

【0215】

そこで、本実施形態においては、暗視モードのときに特定の色再現性を重視して映像信号の色を調整することとする。特定の色の第１の例は人の肌の色、特定の色の第２の例は着色されたプラスチックの色である。人の肌の色とは、一般的な日本人の肌の色を例とする。プラスチックの色は、例えば、赤，緑，青を含む。プラスチックの色は、１色であってもよい。

【0216】

暗視モードにおける調整時には、基準光源の代わりに赤外線投光器９によって波長ＩＲ１〜ＩＲ３の赤外光を投光する。赤外線投光器９は、波長ＩＲ１〜ＩＲ３の赤外光を前述のように選択的に投光してもよいし、波長ＩＲ１〜ＩＲ３の全てを同時に投光してもよい。

【0217】

本発明者による実験の結果、人の肌の色を重視して映像信号の色を調整する場合、Ｒ／Ｇ＝０．６６程度、Ｂ／Ｇ＝１．４６程度とすることによって、人の肌の色がよく再現されることが確かめられた。また、プラスチックの複数の色を重視して映像信号の色を調整する場合、Ｒ／Ｇ＝１．３５程度、Ｂ／Ｇ＝２．０４程度とすることによって、プラスチックの色がよく再現されることが確かめられた。

【0218】

プラスチックの複数の色を重視する場合、赤，緑，青等の色が全体として最も色再現性よく表現される場合のＲ／Ｇ及びＢ／Ｇの値を選択すればよい。複数の色のうちの特定の色の再現性を重視する場合には、その特定の色が色再現性よく表現される場合のＲ／Ｇ及びＢ／Ｇの値を選択すればよい。

【0219】

暗視モードにおける調整時に、色ゲイン制御部７３が、色ゲイン設定部６２によって、Ｒ，Ｇ，Ｂの映像信号に乗じる色ゲインを制御することによって、上記のＲ／Ｇ及びＢ／Ｇの値とすることができる。

【0220】

このようにすると、通常モードにおいてホワイトバランスを調整した色ゲインと、暗視モードにおいて特定の色を再現するために調整する色ゲインとが異なることになる。色ゲイン制御部７３は、モード切換部７２が通常モードと暗視モードとを切り換えるのに対応して、色ゲイン設定部６２が映像信号に乗じる色ゲインを切り換えるよう制御する。

【0221】

他の方法として次のようにしてもよい。色ゲイン設定部６２が映像信号に乗じる色ゲインを通常モードにおいてホワイトバランスを調整した色ゲインのままで一定とする。赤外線投光器９が波長ＩＲ１〜ＩＲ３の赤外光を投光するときのそれぞれの強度を調整することによって、上記のＲ／Ｇ及びＢ／Ｇの値とすることができる。

【0222】

このようにすると、色ゲイン制御部７３は、通常モードと暗視モードとにかかわらず、色ゲイン設定部６２が映像信号に乗じる色ゲインを一定とすればよい。よって、波長ＩＲ１〜ＩＲ３の赤外光の強度を調整して、映像信号のＲ，Ｇ，Ｂのバランスを調整する方が好ましい。

【0223】

色ゲイン設定部６２によってＲ，Ｇ，Ｂの映像信号に乗じる色ゲインを制御して、映像信号のＲ，Ｇ，Ｂのバランスを調整する方法と、波長ＩＲ１〜ＩＲ３の赤外光の強度を調整して、映像信号のＲ，Ｇ，Ｂのバランスを調整する方法とを組み合わせてもよい。

【0224】

図２９〜図３２を用いて、以上説明した通常モード及び暗視モードにおける映像信号の色の調整をさらに詳細に説明する。

【0225】

図２９〜図３１は、ＮＴＳＣのベクトルスコープを概略的に示している。横軸は色差信号Ｂ−Ｙ、縦軸はＲ−Ｙである。Ｙは輝度信号である。ベクトルスコープが示す円の周方向は色相を示している。Ｒ，Ｇ，Ｂと、黄色（Ｙｅ），マゼンタ（Ｍｇ），シアン（Ｃｙ）はハッチングを付した丸で示す位置で表現される。

【0226】

通常モードにおいて上記のようにホワイトバランスを調整すると、白は、図２９に白丸で示すように、ベクトルスコープの円の中心に位置する。

【0227】

暗視モードにおいて上記のようにＲ，Ｇ，ＢのバランスがＲ／Ｇ＝０．６６、Ｂ／Ｇ＝１．４６となるように調整すると、円の中心に位置していた白は、図３０にクロスハッチングを付した丸で示す位置へと移動する。通常モードにおける白が、図３０にクロスハッチングを付した丸で示す位置へと移動した状態における各色ゲインまたは各赤外光の強度で、人の肌の色が色再現性よく再現される。

【0228】

暗視モードにおいて上記のようにＲ，Ｇ，ＢのバランスがＲ／Ｇ＝１．３５、Ｂ／Ｇ＝２．０４となるように調整すると、円の中心に位置していた白は、図３１にクロスハッチングを付した丸で示す位置へと移動する。通常モードにおける白が、図３１にクロスハッチングを付した丸で示す位置へと移動した状態における各色ゲインまたは各赤外光の強度で、プラスチックの色が色再現性よく再現される。

【0229】

図３２は、通常モードにおけるＲ／Ｇ及びＢ／Ｇの値が、暗視モードにおいてどのように変化するかを示している。通常モードでは、黒丸で示すように、Ｒ／Ｇ＝１．０、Ｂ／Ｇ＝１．０である。

【0230】

暗視モードにおいて人の肌の色を重視する場合には、Ｒ／Ｇ＝０．６６、Ｂ／Ｇ＝１．４６であるので、黒丸は黒の四角の位置へと移動する。即ち、通常モードにおける白が暗視モードおいて人の肌の色に割り当てられる。

【0231】

暗視モードにおいてプラスチックの色を重視する場合には、Ｒ／Ｇ＝１．３５、Ｂ／Ｇ＝２．０４であるので、黒丸は黒の三角の位置へと移動する。即ち、通常モードにおける白が暗視モードにおいて特定の色に割り当てられる。

【0232】

以上説明した本実施形態の撮像装置をまとめると次のとおりである。通常モードでは、調整時に、白を決めるための基準となる無彩色の物体（例えば、標準白色板）に基準光源からの光を照射した状態とする。色ゲイン制御部７３は、その物体を撮像したときに、映像処理部５によって生成される３原色映像信号（カラー映像信号）が白となるような色ゲインを赤，緑，青の各色の映像信号に乗じるよう、色ゲイン設定部６２を制御する。

【0233】

暗視モードでは、調整時に、無彩色の物体に赤外線投光器９からの波長ＩＲ１〜ＩＲ３の赤外光を照射した状態とする。撮像部３がその物体を撮像したときに、映像処理部５によって生成される３原色映像信号が白以外の特定の色を再現するように、３原色映像信号における各色の映像信号のバランスを調整する。

【0234】

各色の映像信号のバランスは、色ゲイン設定部６２が各色の映像信号に乗じる色ゲインを適宜設定することによって調整してもよいし、赤外線投光器９が投光する波長ＩＲ１〜ＩＲ３の赤外光の強度を適宜設定することによって調整してもよい。

【0235】

以上説明した本実施形態の撮像装置の調整方法をまとめると次のとおりである。撮像部３によって、白を決めるための基準となる無彩色の物体に基準光源からの光を照射した状態で、その物体を撮像して第１の撮像信号を生成する。映像処理部５は、第１の撮像信号に基づいてＲ，Ｇ，Ｂの第１の３原色映像信号を生成する。

【0236】

色ゲイン制御部７３は、第１の３原色映像信号が白となるような、Ｒ，Ｇ，Ｂの各色の映像信号に乗じる色ゲインを決定する。以上で通常モードにおける調整が完了する。

【0237】

上記と同じ物体に波長ＩＲ１〜ＩＲ３の赤外光を照射した状態で、撮像部３によってその物体を撮像して第２の撮像信号を生成する。映像処理部５は、第２の撮像信号に基づいてＲ，Ｇ，Ｂの第２の３原色映像信号を生成する。撮像装置は、第２の３原色映像信号が白以外の特定の色を再現するように、３原色映像信号における各色の映像信号のバランスを調整する。以上で暗視モードにおける調整が完了する。

【0238】

本実施形態の撮像装置及び撮像装置の調整方法によれば、暗視モードにおいて色再現性のよい映像信号を得ることができる。

【0239】

ところで、本実施形態の撮像装置においては、暗視モードでの撮像時に、波長ＩＲ１〜ＩＲ３の赤外光を時分割で選択的に投光する構成を示したが、波長ＩＲ１〜ＩＲ３の赤外光を同時に投光する構成であってもよい。

【0240】

例えば、撮像部３が単板式であればマイクロフィルタを用い、撮像部３が三板式であればダイクロイックプリズムを用いることにより、波長ＩＲ１〜ＩＲ３の赤外光を同時に投光する構成とすることができる。

【0241】

マイクロフィルタまたはダイクロイックプリズムによって、Ｒの画素には可視光のＲ成分または波長ＩＲ１の赤外光、Ｇの画素には可視光のＧ成分または波長ＩＲ２の赤外光、Ｂの画素には可視光のＢ分または波長ＩＲ３の赤外光が入射するように構成すればよい。

【0242】

本実施形態においては、特定の色を人の肌の色または着色されたプラスチックの色としたが、どのような物質のどのような色を特定の色とするのかは任意である。勿論、物質の素材によって元々の色が再現しにくい場合がある。元々の色またはそれに準ずる色が再現可能な色を特定の色とするのがよい。

【0243】

このように、本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

【符号の説明】

【0244】

３ 撮像部
５ 映像処理部
９ 赤外線投光器
６２ 色ゲイン設定部
７１ 投光制御部
７３ 色ゲイン制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】