知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023066487
(43)【公開日】2023-05-16
(54)【発明の名称】撮像装置、及び撮像方法
(51)【国際特許分類】
H04N 23/667 20230101AFI20230509BHJP
H04N 23/54 20230101ALI20230509BHJP
H04N 23/56 20230101ALI20230509BHJP
H04N 23/76 20230101ALI20230509BHJP
H04N 23/74 20230101ALI20230509BHJP
H04N 25/10 20230101ALI20230509BHJP
【ＦＩ】
H04N5/232 450
H04N5/225 300
H04N5/225 600
H04N5/243
H04N5/235 400
H04N9/07 A
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2021177109
(22)【出願日】2021-10-29
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】酒井 潤一
【テーマコード（参考）】
5C065
5C122
【Ｆターム（参考）】
5C065AA01
5C065BB48
5C065CC01
5C065DD17
5C065EE05
5C065GG22
5C065GG23
5C122DA16
5C122EA68
5C122FB16
5C122FB17
5C122FC06
5C122FF15
5C122FG03
5C122GG04
5C122GG21
5C122HA87
5C122HB01
(57)【要約】
【課題】生成する画像を、可視光画像、及び低解像度の赤外光画像と、高解像度の赤外光画像との間で切り換える。
【解決手段】撮像装置１００の制御部１は、Ｒ画素、Ｇ画素、及びＢ画素の出力信号から可視光画像ＰＡ２１を生成すると共に、ＩＲ画素の出力信号から第１赤外光画像ＰＡ２２を生成する第１処理ＰＲ１と、赤外光照射部２５が赤外光を照射する第１状態ＳＴ１と、赤外光照射部２５が赤外光を照射しない第２状態ＳＴ２とで、撮像部２１に撮像を実行させ、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号と、第２状態ＳＴ２でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号との差分値ΔＲ、ΔＧ、ΔＢ、及び、第１状態ＳＴ１でのＩＲ画素の出力信号から第２赤外光画像ＰＢ６を生成する第２処理ＰＲ２と、を切り換える切換部１１３を備える。
【選択図】図１
【解決手段】撮像装置１００の制御部１は、Ｒ画素、Ｇ画素、及びＢ画素の出力信号から可視光画像ＰＡ２１を生成すると共に、ＩＲ画素の出力信号から第１赤外光画像ＰＡ２２を生成する第１処理ＰＲ１と、赤外光照射部２５が赤外光を照射する第１状態ＳＴ１と、赤外光照射部２５が赤外光を照射しない第２状態ＳＴ２とで、撮像部２１に撮像を実行させ、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号と、第２状態ＳＴ２でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号との差分値ΔＲ、ΔＧ、ΔＢ、及び、第１状態ＳＴ１でのＩＲ画素の出力信号から第２赤外光画像ＰＢ６を生成する第２処理ＰＲ２と、を切り換える切換部１１３を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素が周期的に配列された撮像部と、赤外光を周囲に照射する赤外光照射部と、前記撮像部の出力信号から画像を生成する信号処理部と、前記撮像部、前記赤外光照射部、及び前記信号処理部を制御する制御部と、を備え、
前記Ｒ画素、前記Ｇ画素、前記Ｂ画素及び前記ＩＲ画素の各々は、ＩＲ光を透過するフィルタを有し、
前記制御部は、
前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の出力信号から可視光画像を生成すると共に、前記ＩＲ画素の出力信号から第１赤外光画像を生成する第１処理と、
前記赤外光照射部が前記赤外光を照射する第１状態と、前記赤外光照射部が前記赤外光を照射しない第２状態とで、前記撮像部に撮像を実行させ、前記第１状態での前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の各々の出力信号と、前記第２状態での前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の各々の出力信号との差分値、及び、前記第１状態での前記ＩＲ画素の出力信号から第２赤外光画像を生成する第２処理と、
を切り換える切換部を備える、撮像装置。
前記Ｒ画素、前記Ｇ画素、前記Ｂ画素及び前記ＩＲ画素の各々は、ＩＲ光を透過するフィルタを有し、
前記制御部は、
前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の出力信号から可視光画像を生成すると共に、前記ＩＲ画素の出力信号から第１赤外光画像を生成する第１処理と、
前記赤外光照射部が前記赤外光を照射する第１状態と、前記赤外光照射部が前記赤外光を照射しない第２状態とで、前記撮像部に撮像を実行させ、前記第１状態での前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の各々の出力信号と、前記第２状態での前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の各々の出力信号との差分値、及び、前記第１状態での前記ＩＲ画素の出力信号から第２赤外光画像を生成する第２処理と、
を切り換える切換部を備える、撮像装置。
【請求項2】
前記制御部は、
前記第２処理において、前記第１状態での前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の各々の出力信号に含まれる赤外光成分の感度を、前記第１状態での前記ＩＲ画素の出力信号の感度と一致させるように、前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の各々の出力信号のゲインを調整するゲイン調整部を備える、
請求項１に記載の撮像装置。
前記第２処理において、前記第１状態での前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の各々の出力信号に含まれる赤外光成分の感度を、前記第１状態での前記ＩＲ画素の出力信号の感度と一致させるように、前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の各々の出力信号のゲインを調整するゲイン調整部を備える、
請求項１に記載の撮像装置。
【請求項3】
前記撮像部は、前記Ｒ画素、前記Ｇ画素、前記Ｂ画素、及び前記ＩＲ画素がＲＧＢ－ＩＲ配列で配列され、前記撮像部の出力信号のうち、可視光画像はＲＧＧＢ配列で出力され、
前記制御部は、前記第２処理において、前記差分値と、前記第１状態での前記ＩＲ画素の出力信号とを、前記ＲＧＢ－ＩＲ配列に配列して前記第２赤外光画像を生成する画像生成部を備える、
請求項１又は請求項２に記載の撮像装置。
前記制御部は、前記第２処理において、前記差分値と、前記第１状態での前記ＩＲ画素の出力信号とを、前記ＲＧＢ－ＩＲ配列に配列して前記第２赤外光画像を生成する画像生成部を備える、
請求項１又は請求項２に記載の撮像装置。
【請求項4】
Ｒ画素とＧ画素とＢ画素とＩＲ画素とが周期的に配列された撮像部と、赤外光を周囲に照射する赤外光照射部と、前記撮像部の出力信号から画像を生成する信号処理部と、前記撮像部、前記赤外光照射部、及び前記信号処理部を制御する制御部と、を備える撮像装置の撮像方法であって、
前記Ｒ画素、前記Ｇ画素、前記Ｂ画素及び前記ＩＲ画素の各々は、ＩＲ光を透過するフィルタを有し、
前記制御部は、
前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の出力信号から可視光画像を生成すると共に、前記ＩＲ画素の出力信号から第１赤外光画像を生成する第１処理と、
前記赤外光照射部が前記赤外光を照射する第１状態と、前記赤外光照射部が前記赤外光を照射しない第２状態とで、前記撮像部に撮像を実行させ、前記第１状態での前記Ｒ画素、前記Ｇ画素、及びＢ画素の各々の出力信号と、前記第２状態での前記Ｒ画素、前記Ｇ画素、及びＢ画素の各々の出力信号との差分値、及び、前記第１状態での前記ＩＲ画素の出力信号から第２赤外光画像を生成する第２処理と、
を切り換える切換ステップ、を含む、撮像方法。
前記Ｒ画素、前記Ｇ画素、前記Ｂ画素及び前記ＩＲ画素の各々は、ＩＲ光を透過するフィルタを有し、
前記制御部は、
前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の出力信号から可視光画像を生成すると共に、前記ＩＲ画素の出力信号から第１赤外光画像を生成する第１処理と、
前記赤外光照射部が前記赤外光を照射する第１状態と、前記赤外光照射部が前記赤外光を照射しない第２状態とで、前記撮像部に撮像を実行させ、前記第１状態での前記Ｒ画素、前記Ｇ画素、及びＢ画素の各々の出力信号と、前記第２状態での前記Ｒ画素、前記Ｇ画素、及びＢ画素の各々の出力信号との差分値、及び、前記第１状態での前記ＩＲ画素の出力信号から第２赤外光画像を生成する第２処理と、
を切り換える切換ステップ、を含む、撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、及び撮像方法に関する。
【背景技術】
【0002】
従来、赤外光画像を表示装置に表示する技術が知られている。
【0003】
例えば、特許文献１には、下記の構成を有する情報提供システムが記載されている。すなわち、不可視マーカは、再帰性反射特性を有する透明な物質で構成される。カメラは、赤外光を照射するための赤外線ＬＥＤと、赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能なＣＭＯＳと、赤外線ＬＥＤを用いて対象物に可視光下で赤外光を照射した状態で、可視光と赤外光の下での画像（以下、可視赤外画像という）をＣＭＯＳにより撮像する処理と、赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像する処理とを実行するように制御するＦＰＧＡとを有する。ウェアラブルコンピュータは、可視赤外画像と可視画像との差分画像を生成して、この差分画像に含まれる不可視マーカを検出する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１０－５０７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載の情報提供システム等の従来の装置では、可視光画像と赤外光画像とを切り換えることができなかった。
例えば、撮像装置では、昼間においては、可視光画像を生成し、夜間においては、赤外光画像を生成することが要求される場合がある。
また、ＲＧＢ－ＩＲカメラでは、Ｒ画素：Ｇ画素：Ｂ画素：ＩＲ画素＝１：４：１：２の比率で配置されている。そのため、赤外光画像のサイズは、ＲＧＢ－ＩＲカメラの画素数の１／４となってしまう。高解像度の赤外光画像を得るためには、高解像度のＲＧＢ－ＩＲカメラを使用する必要があった。
例えば、撮像装置では、昼間においては、可視光画像を生成し、夜間においては、赤外光画像を生成することが要求される場合がある。
また、ＲＧＢ－ＩＲカメラでは、Ｒ画素：Ｇ画素：Ｂ画素：ＩＲ画素＝１：４：１：２の比率で配置されている。そのため、赤外光画像のサイズは、ＲＧＢ－ＩＲカメラの画素数の１／４となってしまう。高解像度の赤外光画像を得るためには、高解像度のＲＧＢ－ＩＲカメラを使用する必要があった。
【0006】
そこで、本発明では、生成する画像を、可視光画像、及び低解像度の赤外光画像と、高解像度の赤外光画像との間で切り換えることが可能な撮像装置、及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、例えば、本発明に係る撮像装置は、Ｒ画素、Ｇ画素、Ｂ画素及びＩＲ画素が周期的に配列された撮像部と、赤外光を周囲に照射する赤外光照射部と、前記撮像部の出力信号から画像を生成する信号処理部と、前記撮像部、前記赤外光照射部、及び前記信号処理部を制御する制御部と、を備え、前記Ｒ画素、前記Ｇ画素、前記Ｂ画素及び前記ＩＲ画素の各々は、ＩＲ光を透過するフィルタを有し、前記制御部は、前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の出力信号から可視光画像を生成すると共に、前記ＩＲ画素の出力信号から第１赤外光画像を生成する第１処理と、前記赤外光照射部が前記赤外光を照射する第１状態と、前記赤外光照射部が前記赤外光を照射しない第２状態とで、前記撮像部に撮像を実行させ、前記第１状態での前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の各々の出力信号と、前記第２状態での前記Ｒ画素、前記Ｇ画素、及び前記Ｂ画素の各々の出力信号との差分値、及び、前記第１状態での前記ＩＲ画素の出力信号から第２赤外光画像を生成する第２処理と、を切り換える切換部を備える。
【発明の効果】
【0008】
本発明に係る撮像装置、及び撮像方法によれば、生成する画像を、可視光画像、及び低解像度の赤外光画像と、高解像度の赤外光画像との間で切り換えることができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係る撮像装置の構成の一例を示す構成図である。
【図2】可視光画像を出力する第１処理の一例を示す図である。
【図3】第１処理における第１ゲイン調整処理の一例を示すグラフである。
【図4】赤外光画像を出力する第２処理の一例を示す図である。
【図5】第２処理における第２ゲイン調整処理の一例を示すグラフである。
【図6】制御部の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態について説明する。
【0011】
［１．撮像装置の構成］
まず、図１を参照して、撮像装置１００の構成について説明する。図１は、本実施形態に係る撮像装置１００の構成の一例を示す構成図である。
図１に示すように、本実施形態に係る撮像装置１００は、制御部１と、撮像部２１と、信号処理部２３と、赤外光照射部２５と、ディスプレイ２７と、を備える。
撮像装置１００は、例えば、車両に搭載され、車内を撮像する。
まず、図１を参照して、撮像装置１００の構成について説明する。図１は、本実施形態に係る撮像装置１００の構成の一例を示す構成図である。
図１に示すように、本実施形態に係る撮像装置１００は、制御部１と、撮像部２１と、信号処理部２３と、赤外光照射部２５と、ディスプレイ２７と、を備える。
撮像装置１００は、例えば、車両に搭載され、車内を撮像する。
【0012】
撮像部２１は、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素が周期的に配列されて構成される。具体的には、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素は、例えば、いわゆる、「ＲＧＢ－ＩＲ配列」に配列される。
Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の各々は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサと、フィルタとを有する。フィルタは、イメージセンサに外部から入光する光の波長を規制する。
Ｒ画素のフィルタは、Ｒ（Ｒｅｄ：赤色）光とＩＲ（ｉｎｆｒａｒｅｄ：赤外）光とを透過し、Ｇ（Ｇｒｅｅｎ：緑色）光とＢ（Ｂｌｕｅ：青色）光とを遮断する。
Ｇ画素のフィルタは、Ｇ光とＩＲ光とを透過し、Ｒ光とＢ光とを遮断する。Ｂ画素のフィルタは、Ｂ光とＩＲ光とを透過し、Ｒ光とＧ光とを遮断する。ＩＲ画素のフィルタは、ＩＲ光を透過し、Ｒ光とＧ光とＢ光とを遮断する。
Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の各々は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサと、フィルタとを有する。フィルタは、イメージセンサに外部から入光する光の波長を規制する。
Ｒ画素のフィルタは、Ｒ（Ｒｅｄ：赤色）光とＩＲ（ｉｎｆｒａｒｅｄ：赤外）光とを透過し、Ｇ（Ｇｒｅｅｎ：緑色）光とＢ（Ｂｌｕｅ：青色）光とを遮断する。
Ｇ画素のフィルタは、Ｇ光とＩＲ光とを透過し、Ｒ光とＢ光とを遮断する。Ｂ画素のフィルタは、Ｂ光とＩＲ光とを透過し、Ｒ光とＧ光とを遮断する。ＩＲ画素のフィルタは、ＩＲ光を透過し、Ｒ光とＧ光とＢ光とを遮断する。
【0013】
本実施形態では、例えば、Ｂ光の波長が４６０ｎｍであり、Ｇ光の波長が５４０ｎｍであり、Ｒ光の波長が６００ｎｍであり、ＩＲ光の波長が９２０ｎｍである場合について説明する。
【0014】
撮像部２１は、制御部１からの指示に従って、例えば、「ＲＧＢ－ＩＲ配列」の画像ＰＡ１に対応する出力信号ＳＡ１を生成し、出力信号ＳＡ２１、及び出力信号ＳＡ２２を信号処理部２３へ出力する。出力信号ＳＡ２１は、「ＲＧＧＢ配列」の可視光画像ＰＡ２１に対応する。出力信号ＳＡ２２は、第１赤外光画像ＰＡ２２に対応する。
「ＲＧＢ－ＩＲ配列」、及び「ＲＧＧＢ配列」については、図２を参照して説明する。
また、可視光画像ＰＡ２１、及び第１赤外光画像ＰＡ２２については、図２を参照して説明する。
「ＲＧＢ－ＩＲ配列」、及び「ＲＧＧＢ配列」については、図２を参照して説明する。
また、可視光画像ＰＡ２１、及び第１赤外光画像ＰＡ２２については、図２を参照して説明する。
【0015】
信号処理部２３は、制御部１からの指示に従って、例えば、撮像部２１の出力信号ＳＡ２１、及び出力信号ＳＡ２２から画像を生成する。具体的には、信号処理部２３は、出力信号ＳＡ２１から可視光画像ＰＡ２１を生成し、出力信号ＳＡ２２から第１赤外光画像ＰＡ２２を生成する。
信号処理部２３は、可視光画像ＰＡ２１と、第１赤外光画像ＰＡ２２とを、制御部１へ出力する。
信号処理部２３は、可視光画像ＰＡ２１と、第１赤外光画像ＰＡ２２とを、制御部１へ出力する。
【0016】
赤外光照射部２５は、制御部１からの指示に従って、赤外光を周囲に照射する。赤外光照射部２５は、例えば、光源として、赤外光を発光するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等を備える。
【0017】
ディスプレイ２７は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等で構成され、制御部１からの指示に従って、種々の画像を表示する。
【0018】
制御部１は、本実施形態では、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）として構成される。制御部１は、ディスプレイ２７に表示する画像を制御する。制御部１は、プロセッサー１１と、メモリー１２とを備える。
メモリー１２は、プロセッサー１１が実行する制御プログラム１２１やデータ等を不揮発的に記憶する記憶装置である。メモリー１２は、磁気的記憶装置、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。また、メモリー１２は、プロセッサー１１のワークエリアを構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでもよい。メモリー１２は、制御部１により処理されるデータや、プロセッサー１１が実行する制御プログラム１２１等を記憶する。
プロセッサー１１は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーがプロセッサー１１として機能する構成であってもよい。
メモリー１２は、プロセッサー１１が実行する制御プログラム１２１やデータ等を不揮発的に記憶する記憶装置である。メモリー１２は、磁気的記憶装置、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。また、メモリー１２は、プロセッサー１１のワークエリアを構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでもよい。メモリー１２は、制御部１により処理されるデータや、プロセッサー１１が実行する制御プログラム１２１等を記憶する。
プロセッサー１１は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーがプロセッサー１１として機能する構成であってもよい。
【0019】
また、制御部１は、例えば、集積回路により構成することができる。集積回路は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、及びＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含む。ＰＬＤには、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が含まれる。また、集積回路の構成の一部にアナログ回路が含まれていてもよく、プロセッサーと集積回路との組み合わせであってもよい。プロセッサーと集積回路との組み合わせは、マイクロコントローラー（ＭＣＵ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）、システムＬＳＩ、チップセットなどと呼ばれる。
【0020】
制御部１は、撮像部２１、信号処理部２３、赤外光照射部２５、及びディスプレイ２７の各々と通信可能に接続される。制御部１は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の規格に従って、撮像部２１、信号処理部２３、赤外光照射部２５、及びディスプレイ２７の各々と通信する。
【0021】
［２．制御部の構成］
次に、図１を参照して制御部１の構成について説明する。
図１に示すように、制御部１は、第１処理部１１１、第２処理部１１２、切換部１１３、ゲイン調整部１１４、画像生成部１１５、表示制御部１１６、及びゲイン記憶部１２２を備える。
具体的には、制御部１のプロセッサー１１がメモリー１２に記憶された制御プログラム１２１を実行することによって、第１処理部１１１、第２処理部１１２、切換部１１３、ゲイン調整部１１４、画像生成部１１５、及び表示制御部１１６として機能する。また、制御部１のプロセッサー１１がメモリー１２に記憶された制御プログラム１２１を実行することによって、メモリー１２を、ゲイン記憶部１２２として機能させる。
次に、図１を参照して制御部１の構成について説明する。
図１に示すように、制御部１は、第１処理部１１１、第２処理部１１２、切換部１１３、ゲイン調整部１１４、画像生成部１１５、表示制御部１１６、及びゲイン記憶部１２２を備える。
具体的には、制御部１のプロセッサー１１がメモリー１２に記憶された制御プログラム１２１を実行することによって、第１処理部１１１、第２処理部１１２、切換部１１３、ゲイン調整部１１４、画像生成部１１５、及び表示制御部１１６として機能する。また、制御部１のプロセッサー１１がメモリー１２に記憶された制御プログラム１２１を実行することによって、メモリー１２を、ゲイン記憶部１２２として機能させる。
【0022】
ゲイン記憶部１２２は、ゲイン調整部１１４によるゲイン調整結果を記憶する。
例えば、第１処理部１１１が第１可視光画像ＰＡ３と第１赤外光画像ＰＡ２２を生成する場合には、ゲイン調整部１１４は、図３を参照して説明するゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１をゲイン記憶部１２２に記憶させる。
また、例えば、第１処理部１１１が第２赤外光画像ＰＢ６を生成する場合には、ゲイン調整部１１４は、図５を参照して説明するゲインＧＲ２、ゲインＧＧ２、及びゲインＧＢ２をゲイン記憶部１２２に記憶させる。
例えば、第１処理部１１１が第１可視光画像ＰＡ３と第１赤外光画像ＰＡ２２を生成する場合には、ゲイン調整部１１４は、図３を参照して説明するゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１をゲイン記憶部１２２に記憶させる。
また、例えば、第１処理部１１１が第２赤外光画像ＰＢ６を生成する場合には、ゲイン調整部１１４は、図５を参照して説明するゲインＧＲ２、ゲインＧＧ２、及びゲインＧＢ２をゲイン記憶部１２２に記憶させる。
【0023】
第１処理部１１１は、Ｒ画素、Ｇ画素、及びＢ画素の出力信号ＳＡ２１から第１可視光画像ＰＡ３を生成すると共に、ＩＲ画素の出力信号ＳＡ２２から第１赤外光画像ＰＡ２２を生成する第１処理ＰＲ１を実行する。
本実施形態では、第１処理部１１１は、第１処理ＰＲ１において、赤外光照射部２５に赤外光を照射させる。
第１処理ＰＲ１、第１可視光画像ＰＡ３、及び第１赤外光画像ＰＡ２２については、図２を参照して更に説明する。
本実施形態では、第１処理部１１１は、第１処理ＰＲ１において、赤外光照射部２５に赤外光を照射させる。
第１処理ＰＲ１、第１可視光画像ＰＡ３、及び第１赤外光画像ＰＡ２２については、図２を参照して更に説明する。
【0024】
本実施形態では、第１処理部１１１は、第１処理ＰＲ１において、赤外光照射部２５に赤外光を照射させる場合について説明するが、これに限定されない。第１処理部１１１は、第１処理ＰＲ１において、赤外光照射部２５に赤外光を照射させなくてもよい。この場合には、赤外光照射部２５に赤外光を照射させる場合と比較して、第１赤外光画像ＰＡ２２の輝度が低下する。
【0025】
第２処理部１１２は、以下に示す第２処理ＰＲ２を実行する。すなわち、第２処理部１１２は、赤外光照射部２５が赤外光を照射する第１状態ＳＴ１と、赤外光照射部２５が赤外光を照射しない第２状態ＳＴ２とで、撮像部２１に撮像を実行させる。また、第２処理部１１２は、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号ＳＢ２１と、第２状態ＳＴ２でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号ＳＢ２２との差分値、及び、第１状態ＳＴ１でのＩＲ画素の出力信号ＳＢ３１から第２赤外光画像ＰＢ６を生成する。
なお、差分値は、差分値ΔＲ、差分値ΔＧ、及び差分値ΔＢで構成される。また、差分値は、画像生成部１１５によって算出される。
第２処理ＰＲ２、及び第２赤外光画像ＰＢ６については、図４を参照して更に説明する。
なお、差分値は、差分値ΔＲ、差分値ΔＧ、及び差分値ΔＢで構成される。また、差分値は、画像生成部１１５によって算出される。
第２処理ＰＲ２、及び第２赤外光画像ＰＢ６については、図４を参照して更に説明する。
【0026】
切換部１１３は、例えば、ユーザーからの指示に応じて、第１処理ＰＲ１と第２処理ＰＲ２とを切り換える。切換部１１３は、例えば、ユーザーが第１処理ＰＲ１を選択した場合には、第１処理部１１１に第１処理ＰＲ１を実行させる。切換部１１３は、例えば、ユーザーが第２処理ＰＲ２を選択した場合には、第２処理部１１２に第２処理ＰＲ２を実行させる。
【0027】
ゲイン調整部１１４は、第１処理ＰＲ１において、以下に説明するように、ゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１を調整し、ゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１をゲイン記憶部１２２に記憶させる。換言すれば、ゲイン調整部１１４は、第１処理部１１１の指示に従って、ゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１を調整する。ゲインＧＲ１は、第１処理ＰＲ１において、Ｒ画素の出力信号に乗じられるゲインである。ゲインＧＧ１は、第１処理ＰＲ１において、Ｇ画素の出力信号に乗じられるゲインである。ゲインＧＢ１は、第１処理ＰＲ１において、Ｂ画素の出力信号に乗じられるゲインである。
なお、以下の説明において、第１処理ＰＲ１において、ゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１を調整する処理を第１ゲイン調整処理ＡＧ１と記載する場合がある。
なお、以下の説明において、第１処理ＰＲ１において、ゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１を調整する処理を第１ゲイン調整処理ＡＧ１と記載する場合がある。
【0028】
ゲイン調整部１１４は、Ｒ画素の出力信号に含まれるＲ光成分の感度が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致するように、Ｒ画素の出力信号のゲインＧＲ１を調整する。
また、ゲイン調整部１１４は、Ｇ画素の出力信号に含まれるＧ光成分の感度が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致するように、Ｇ画素の出力信号のゲインＧＧ１を調整する。
また、ゲイン調整部１１４は、Ｂ画素の出力信号に含まれるＢ光成分の感度が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致するように、Ｂ画素の出力信号のゲインＧＢ１を調整する。
第１ゲイン調整処理ＡＧ１については、図３を参照して更に説明する。
また、ゲイン調整部１１４は、Ｇ画素の出力信号に含まれるＧ光成分の感度が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致するように、Ｇ画素の出力信号のゲインＧＧ１を調整する。
また、ゲイン調整部１１４は、Ｂ画素の出力信号に含まれるＢ光成分の感度が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致するように、Ｂ画素の出力信号のゲインＧＢ１を調整する。
第１ゲイン調整処理ＡＧ１については、図３を参照して更に説明する。
【0029】
ゲイン調整部１１４は、第２処理ＰＲ２において、以下に説明するように、ゲインＧＲ２、ゲインＧＧ２、及びゲインＧＢ２を調整し、ゲインＧＲ２、ゲインＧＧ２、及びゲインＧＢ２をゲイン記憶部１２２に記憶させる。換言すれば、ゲイン調整部１１４は、第２処理部１１２の指示に従って、ゲインＧＲ２、ゲインＧＧ２、及びゲインＧＢ２を調整する。ゲインＧＲ２は、第２処理ＰＲ２において、Ｒ画素の出力信号に乗じられるゲインである。ゲインＧＧ２は、第２処理ＰＲ２において、Ｇ画素の出力信号に乗じられるゲインである。ゲインＧＢ２は、第２処理ＰＲ２において、Ｂ画素の出力信号に乗じられるゲインである。
なお、以下の説明において、第２処理ＰＲ２において、ゲインＧＲ２、ゲインＧＧ２、及びゲインＧＢを調整する処理を第２ゲイン調整処理ＡＧ２と記載する場合がある。
なお、以下の説明において、第２処理ＰＲ２において、ゲインＧＲ２、ゲインＧＧ２、及びゲインＧＢを調整する処理を第２ゲイン調整処理ＡＧ２と記載する場合がある。
【0030】
ゲイン調整部１１４は、第１状態ＳＴ１でのＲ画素の出力信号に含まれるＩＲ光成分の感度が、第１状態ＳＴ１でのＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致するように、Ｒ画素の出力信号のゲインＧＲ２を調整する。
また、ゲイン調整部１１４は、第１状態ＳＴ１でのＧ画素の出力信号に含まれるＩＲ光成分の感度が、第１状態ＳＴ１でのＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致するように、Ｇ画素の出力信号のゲインＧＧ２を調整する。
また、ゲイン調整部１１４は、第１状態ＳＴ１でのＢ画素の出力信号に含まれるＩＲ光成分の感度が、第１状態ＳＴ１でのＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致するように、Ｂ画素の出力信号のゲインＧＢ２を調整する。
第２ゲイン調整処理ＡＧ２については、図５を参照して更に説明する。
また、ゲイン調整部１１４は、第１状態ＳＴ１でのＧ画素の出力信号に含まれるＩＲ光成分の感度が、第１状態ＳＴ１でのＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致するように、Ｇ画素の出力信号のゲインＧＧ２を調整する。
また、ゲイン調整部１１４は、第１状態ＳＴ１でのＢ画素の出力信号に含まれるＩＲ光成分の感度が、第１状態ＳＴ１でのＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致するように、Ｂ画素の出力信号のゲインＧＢ２を調整する。
第２ゲイン調整処理ＡＧ２については、図５を参照して更に説明する。
【0031】
画像生成部１１５は、第２処理ＰＲ２において、以下に説明するように、第２赤外光画像ＰＢ６を生成する。換言すれば、画像生成部１１５は、第２処理部１１２の指示に従って、第２赤外光画像ＰＢ６を生成する。
すなわち、画像生成部１１５は、第１状態ＳＴ１でのＲ画素の出力信号と、第２状態ＳＴ２でのＲ画素の出力信号の差分値ΔＲを算出する。また、画像生成部１１５は、第１状態ＳＴ１でのＧ画素の出力信号と、第２状態ＳＴ２でのＧ画素の出力信号の差分値ΔＧを算出する。画像生成部１１５は、第１状態ＳＴ１でのＢ画素の出力信号と、第２状態ＳＴ２でのＢ画素の出力信号の差分値ΔＢを算出する。
そして、画像生成部１１５は、差分値ΔＲ、差分値ΔＧ、及び差分値ΔＢと、第１状態ＳＴ１でのＩＲ画素の出力信号とを、ＲＧＢ－ＩＲ配列に配列して第２赤外光画像ＰＢ６を生成する。
画像生成部１１５の処理については、図５を参照して更に説明する。
すなわち、画像生成部１１５は、第１状態ＳＴ１でのＲ画素の出力信号と、第２状態ＳＴ２でのＲ画素の出力信号の差分値ΔＲを算出する。また、画像生成部１１５は、第１状態ＳＴ１でのＧ画素の出力信号と、第２状態ＳＴ２でのＧ画素の出力信号の差分値ΔＧを算出する。画像生成部１１５は、第１状態ＳＴ１でのＢ画素の出力信号と、第２状態ＳＴ２でのＢ画素の出力信号の差分値ΔＢを算出する。
そして、画像生成部１１５は、差分値ΔＲ、差分値ΔＧ、及び差分値ΔＢと、第１状態ＳＴ１でのＩＲ画素の出力信号とを、ＲＧＢ－ＩＲ配列に配列して第２赤外光画像ＰＢ６を生成する。
画像生成部１１５の処理については、図５を参照して更に説明する。
【0032】
表示制御部１１６は、第１処理部１１１が生成した第１可視光画像ＰＡ３、第１赤外光画像ＰＡ２２、及び、第２処理部１１２が生成した第２赤外光画像ＰＢ６をディスプレイ２７に表示する。
【0033】
［３．第１処理］
次に、図２及び図３を参照して、第１処理ＰＲ１について説明する。
図２は、第１可視光画像ＰＡ３を出力する第１処理ＰＲ１の一例を示す図である。
画像ＰＡ１は、撮像部２１によって生成される「ＲＧＢ－ＩＲ配列」の画像である。
次に、図２及び図３を参照して、第１処理ＰＲ１について説明する。
図２は、第１可視光画像ＰＡ３を出力する第１処理ＰＲ１の一例を示す図である。
画像ＰＡ１は、撮像部２１によって生成される「ＲＧＢ－ＩＲ配列」の画像である。
【0034】
「ＲＧＢ－ＩＲ配列」の一例である画像ＰＡ１では、破線で示す領域ＡＲ１内の８画素が１つの単位になり、この８画素が上下左右に配列されることによって構成される。領域ＡＲ１には、Ｒ画素Ｒ１、Ｇ画素ＧＡ、Ｇ画素ＧＢ、Ｇ画素ＧＣ、Ｇ画素ＧＤ、Ｂ画素Ｂ１、ＩＲ画素ＩＲ１、及びＩＲ画素ＩＲ２の８画素が配置される。
領域ＡＲ１内の上段には、左から右に向けて、Ｂ画素Ｂ１、Ｇ画素ＧＡ、Ｒ画素Ｒ１、及びＧ画素ＧＢの４画素が順に配置される。領域ＡＲ１内の下段には、左から右に向けて、Ｇ画素ＧＣ、ＩＲ画素ＩＲ１、Ｇ画素ＧＤ、及びＩＲ画素ＩＲ２の４画素が順に配置される。
領域ＡＲ１内の上段には、左から右に向けて、Ｂ画素Ｂ１、Ｇ画素ＧＡ、Ｒ画素Ｒ１、及びＧ画素ＧＢの４画素が順に配置される。領域ＡＲ１内の下段には、左から右に向けて、Ｇ画素ＧＣ、ＩＲ画素ＩＲ１、Ｇ画素ＧＤ、及びＩＲ画素ＩＲ２の４画素が順に配置される。
【0035】
撮像部２１は、出力信号ＳＡ２１、及び出力信号ＳＡ２２を信号処理部２３へ出力する。出力信号ＳＡ２１は、可視光画像ＰＡ２１に対応する。出力信号ＳＡ２２は、第１赤外光画像ＰＡ２２に対応する。
信号処理部２３は、出力信号ＳＡ２１から可視光画像ＰＡ２１を生成し、出力信号ＳＡ２２から第１赤外光画像ＰＡ２２を生成する。
信号処理部２３は、出力信号ＳＡ２１から可視光画像ＰＡ２１を生成し、出力信号ＳＡ２２から第１赤外光画像ＰＡ２２を生成する。
【0036】
可視光画像ＰＡ２１は、「ＲＧＧＢ配列」の画像である。
「ＲＧＧＢ配列」の一例である可視光画像ＰＡ２１では、破線で示す領域ＡＲ２内の４画素が１つの単位になり、この４画素が上下左右に配列されることによって構成される。領域ＡＲ２には、Ｂ画素Ｂ１、Ｇ画素ＧＡ、Ｇ画素ＧＢ、及びＲ画素Ｒ１の４画素が配置される。
領域ＡＲ２内の上段には、左から右に向けて、Ｂ画素Ｂ１、及びＧ画素ＧＡの２画素が順に配置される。領域ＡＲ２内の下段には、左から右に向けて、Ｇ画素ＧＢ、及びＲ画素Ｒ１の２画素が順に配置される。
「ＲＧＧＢ配列」の一例である可視光画像ＰＡ２１では、破線で示す領域ＡＲ２内の４画素が１つの単位になり、この４画素が上下左右に配列されることによって構成される。領域ＡＲ２には、Ｂ画素Ｂ１、Ｇ画素ＧＡ、Ｇ画素ＧＢ、及びＲ画素Ｒ１の４画素が配置される。
領域ＡＲ２内の上段には、左から右に向けて、Ｂ画素Ｂ１、及びＧ画素ＧＡの２画素が順に配置される。領域ＡＲ２内の下段には、左から右に向けて、Ｇ画素ＧＢ、及びＲ画素Ｒ１の２画素が順に配置される。
【0037】
第１赤外光画像ＰＡ２２は、画像ＰＡ１に含まれるＩＲ画素ＩＲ１、及びＩＲ画素ＩＲ２等のＩＲ画素の出力信号ＳＡ２２から生成される。例えば、図２に示す画像ＰＡ１には、１６個のＩＲ画素が含まれるため、第１赤外光画像ＰＡ２２は、１６個の画素の出力信号で構成される。
【0038】
第１処理部１１１は、ゲイン調整部１１４に、第１ゲイン調整処理ＡＧ１を実行させ、ゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１を調整させる。
ゲイン調整部１１４は、可視光画像ＰＡ２１に含まれるＲ画素の各々の出力信号にゲインＧＲ１を乗じる。また、ゲイン調整部１１４は、可視光画像ＰＡ２１に含まれるＧ画素の各々の出力信号にゲインＧＧ１を乗じる。ゲイン調整部１１４は、可視光画像ＰＡ２１に含まれるＢ画素の各々の出力信号にゲインＧＢ１を乗じる。その結果、ゲイン調整部１１４は、第１可視光画像ＰＡ３を生成する。
ゲイン調整部１１４は、可視光画像ＰＡ２１に含まれるＲ画素の各々の出力信号にゲインＧＲ１を乗じる。また、ゲイン調整部１１４は、可視光画像ＰＡ２１に含まれるＧ画素の各々の出力信号にゲインＧＧ１を乗じる。ゲイン調整部１１４は、可視光画像ＰＡ２１に含まれるＢ画素の各々の出力信号にゲインＧＢ１を乗じる。その結果、ゲイン調整部１１４は、第１可視光画像ＰＡ３を生成する。
【0039】
次に、図３を参照して、ゲイン調整部１１４によって実行される第１ゲイン調整処理ＡＧ１について説明する。図３は、第１処理ＰＲ１における第１ゲイン調整処理ＡＧ１の一例を示すグラフである。
グラフＧ１は、ゲイン調整前のＲ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度分布を示し、グラフＧ２は、ゲイン調整後のＲ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度分布を示す。グラフＧ１及びグラフＧ２の各々において、横軸は、光の波長ＷＬ（ｎｍ）であり、縦軸は、光感度ＬＳ（％）である。
グラフＧ１は、ゲイン調整前のＲ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度分布を示し、グラフＧ２は、ゲイン調整後のＲ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度分布を示す。グラフＧ１及びグラフＧ２の各々において、横軸は、光の波長ＷＬ（ｎｍ）であり、縦軸は、光感度ＬＳ（％）である。
【0040】
グラフＧ１において、グラフＧ１１は、ゲイン調整前のＢ画素の感度分布を示し、グラフＧ１２は、ゲイン調整前のＧ画素の感度分布を示し、グラフＧ１３は、ゲイン調整前のＲ画素の感度分布を示し、グラフＧ１４は、ゲイン調整前のＩＲ画素の感度分布を示す。
感度ＬＳ１は、グラフＧ１４に示すゲイン調整前のＩＲ画素の感度分布におけるＩＲ光成分の感度である。
感度ＬＳ１は、グラフＧ１４に示すゲイン調整前のＩＲ画素の感度分布におけるＩＲ光成分の感度である。
【0041】
感度Ｓ１３は、グラフＧ１３に示すゲイン調整前のＲ画素の感度分布におけるＲ光成分の感度である。感度Ｓ１２は、グラフＧ１２に示すゲイン調整前のＧ画素の感度分布におけるＧ光成分の感度である。感度Ｓ１１は、グラフＧ１１に示すゲイン調整前のＢ画素の感度分布におけるＢ光成分の感度である。
【0042】
グラフＧ２において、グラフＧ２１は、ゲイン調整後のＢ画素の感度分布を示し、グラフＧ２２は、ゲイン調整後のＧ画素の感度分布を示し、グラフＧ２３は、ゲイン調整後のＲ画素の感度分布を示し、グラフＧ２４は、ゲイン調整後のＩＲ画素の感度分布を示す。
【0043】
ゲイン調整部１１４は、Ｒ画素の出力信号に含まれるＲ光成分の感度Ｓ１３が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度ＬＳ１と一致するように、Ｒ画素の出力信号のゲインＧＲ１を調整する。すなわち、ゲイン調整部１１４は、次の式（１）によってゲインＧＲ１を算出する。
ＧＲ１＝ＬＳ１／Ｓ１３ （１）
また、ゲイン調整部１１４は、Ｇ画素の出力信号に含まれるＧ光成分の感度Ｓ１２が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度ＬＳ１と一致するように、Ｇ画素の出力信号のゲインＧＧ１を調整する。すなわち、ゲイン調整部１１４は、次の式（２）によってゲインＧＧ１を算出する。
ＧＧ１＝ＬＳ１／Ｓ１２ （２）
また、ゲイン調整部１１４は、Ｂ画素の出力信号に含まれるＢ光成分の感度Ｓ１１が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度ＬＳ１と一致するように、Ｂ画素の出力信号のゲインＧＢ１を調整する。すなわち、ゲイン調整部１１４は、次の式（３）によってゲインＧＢ１を算出する。
ＧＢ１＝ＬＳ１／Ｓ１１ （３）
ＧＲ１＝ＬＳ１／Ｓ１３ （１）
また、ゲイン調整部１１４は、Ｇ画素の出力信号に含まれるＧ光成分の感度Ｓ１２が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度ＬＳ１と一致するように、Ｇ画素の出力信号のゲインＧＧ１を調整する。すなわち、ゲイン調整部１１４は、次の式（２）によってゲインＧＧ１を算出する。
ＧＧ１＝ＬＳ１／Ｓ１２ （２）
また、ゲイン調整部１１４は、Ｂ画素の出力信号に含まれるＢ光成分の感度Ｓ１１が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度ＬＳ１と一致するように、Ｂ画素の出力信号のゲインＧＢ１を調整する。すなわち、ゲイン調整部１１４は、次の式（３）によってゲインＧＢ１を算出する。
ＧＢ１＝ＬＳ１／Ｓ１１ （３）
【0044】
このようにして、ゲインＧＲ１、ゲインＧＧ１、及びＧＢ１を調整することによって、Ｒ画素の出力信号に含まれるＲ光成分の感度、Ｇ画素の出力信号に含まれるＧ光成分の感度、及びＢ画素の出力信号に含まれるＢ光成分の感度を、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致させることができる。したがって、ゲイン調整前の可視光画像ＰＡ２１のホワイトバランスを適正に調整できる。すなわち、適正にホワイトバランスが調整された第１可視光画像ＰＡ３を生成できる。
【0045】
［４．第２処理］
次に、図４及び図５を参照して、第２処理ＰＲ２について説明する。
図４は、第２赤外光画像ＰＢ６を出力する第２処理ＰＲ２の一例を示す図である。
画像ＰＢ１１は、第１状態ＳＴ１において、撮像部２１によって生成される「ＲＧＢ－ＩＲ配列」の画像である。画像ＰＢ１２は、第２状態ＳＴ２において、撮像部２１によって生成される「ＲＧＢ－ＩＲ配列」の画像である。
次に、図４及び図５を参照して、第２処理ＰＲ２について説明する。
図４は、第２赤外光画像ＰＢ６を出力する第２処理ＰＲ２の一例を示す図である。
画像ＰＢ１１は、第１状態ＳＴ１において、撮像部２１によって生成される「ＲＧＢ－ＩＲ配列」の画像である。画像ＰＢ１２は、第２状態ＳＴ２において、撮像部２１によって生成される「ＲＧＢ－ＩＲ配列」の画像である。
【0046】
「ＲＧＢ－ＩＲ配列」については、図２を参照して説明した画像ＰＡ１と同様であるため、その説明を省略する。
撮像部２１は、第１状態ＳＴ１において、出力信号ＳＢ２１、及び出力信号ＳＢ３１を信号処理部２３へ出力する。出力信号ＳＢ２１は、可視光画像ＰＢ２１に対応する。出力信号ＳＢ３１は、赤外光画像ＰＢ３１に対応する。
信号処理部２３は、出力信号ＳＢ２１から可視光画像ＰＢ２１を生成し、出力信号ＳＢ３１から赤外光画像ＰＢ３１を生成する。
撮像部２１は、第１状態ＳＴ１において、出力信号ＳＢ２１、及び出力信号ＳＢ３１を信号処理部２３へ出力する。出力信号ＳＢ２１は、可視光画像ＰＢ２１に対応する。出力信号ＳＢ３１は、赤外光画像ＰＢ３１に対応する。
信号処理部２３は、出力信号ＳＢ２１から可視光画像ＰＢ２１を生成し、出力信号ＳＢ３１から赤外光画像ＰＢ３１を生成する。
【0047】
また、撮像部２１は、第２状態ＳＴ２において、出力信号ＳＢ２２、及び出力信号ＳＢ３２を信号処理部２３へ出力する。出力信号ＳＢ２２は、可視光画像ＰＢ２２に対応する。出力信号ＳＢ３２は、赤外光画像ＰＢ３２に対応する。
信号処理部２３は、出力信号ＳＢ２２から可視光画像ＰＢ２２を生成し、出力信号ＳＢ３２から赤外光画像ＰＢ３２を生成する。
信号処理部２３は、出力信号ＳＢ２２から可視光画像ＰＢ２２を生成し、出力信号ＳＢ３２から赤外光画像ＰＢ３２を生成する。
【0048】
可視光画像ＰＢ２１、及び可視光画像ＰＢ２２は、「ＲＧＧＢ配列」の画像である。
「ＲＧＧＢ配列」の構成については、図２を参照して説明した可視光画像ＰＡ２１と同様であるため、その説明を省略する。
赤外光画像ＰＢ３１、及び赤外光画像ＰＢ３２は、図２を参照して説明した第１赤外光画像ＰＡ２２と同様であるため、その説明を省略する。
「ＲＧＧＢ配列」の構成については、図２を参照して説明した可視光画像ＰＡ２１と同様であるため、その説明を省略する。
赤外光画像ＰＢ３１、及び赤外光画像ＰＢ３２は、図２を参照して説明した第１赤外光画像ＰＡ２２と同様であるため、その説明を省略する。
【0049】
第２処理部１１２は、ゲイン調整部１１４に、第２ゲイン調整処理ＡＧ２を実行させ、ゲインＧＲ２、ゲインＧＧ２、及びゲインＧＢ２を調整させる。
【0050】
ゲイン調整部１１４は、可視光画像ＰＢ２１、及び可視光画像ＰＢ２２に含まれるＲ画素の各々の出力信号にゲインＧＲ２を乗じる。また、ゲイン調整部１１４は、可視光画像ＰＢ２１、及び可視光画像ＰＢ２２に含まれるＧ画素の各々の出力信号にゲインＧＧ２を乗じる。ゲイン調整部１１４は、可視光画像ＰＢ２１、及び可視光画像ＰＢ２２に含まれるＢ画素の各々の出力信号にゲインＧＢ２を乗じる。
【0051】
また、第２処理部１１２は、第２処理の一部として、第１配置変更処理ＰＲ２１を実行する。第１配置変更処理ＰＲ２１は、「ＲＧＧＢ配列」の可視光画像ＰＢ２１、及び可視光画像ＰＢ２２を、「ＲＧＢ－ＩＲ配列」に変更する処理である。その結果、第２処理部１１２は、可視光画像ＰＢ４１、及び可視光画像ＰＢ４２を生成する。可視光画像ＰＢ４１は、可視光画像ＰＢ２１に対応する。可視光画像ＰＢ４２は、可視光画像ＰＢ２２に対応する。
可視光画像ＰＢ２１、及び可視光画像ＰＢ２２の各々は、Ｒ画素、Ｇ画素、及びＢ画素で構成されるため、図４に示すように、「ＲＧＢ－ＩＲ配列」の可視光画像ＰＢ４１、及び可視光画像ＰＢ４２の各々は、ＩＲ画素の出力信号が欠落している。図４に示す可視光画像ＰＢ４１、及び可視光画像ＰＢ４２では、ＩＲ画素の出力信号が欠落していることを、ＩＲ画素が配置される位置を白抜きして示す。
可視光画像ＰＢ２１、及び可視光画像ＰＢ２２の各々は、Ｒ画素、Ｇ画素、及びＢ画素で構成されるため、図４に示すように、「ＲＧＢ－ＩＲ配列」の可視光画像ＰＢ４１、及び可視光画像ＰＢ４２の各々は、ＩＲ画素の出力信号が欠落している。図４に示す可視光画像ＰＢ４１、及び可視光画像ＰＢ４２では、ＩＲ画素の出力信号が欠落していることを、ＩＲ画素が配置される位置を白抜きして示す。
【0052】
第２処理部１１２は、第２処理の一部として、差分値算出処理ＰＲ２２を実行する。換言すれば、第２処理部１１２は、画像生成部１１５に差分値算出処理ＰＲ２２を実行させる。差分値算出処理ＰＲ２２は、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号と、第２状態ＳＴ２でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号との差分値を算出する処理である。
第２処理部１１２は、例えば、差分値算出処理ＰＲ２２として、可視光画像ＰＢ４１を構成するＲ画素の出力信号と、可視光画像ＰＢ４２を構成するＲ画素の出力信号との差分値ΔＲを算出する。
また、第２処理部１１２は、例えば、差分値算出処理ＰＲ２２として、可視光画像ＰＢ４１を構成するＧ画素の出力信号と、可視光画像ＰＢ４２を構成するＧ画素の出力信号との差分値ΔＧを算出する。
また、第２処理部１１２は、例えば、差分値算出処理ＰＲ２２として、可視光画像ＰＢ４１を構成するＢ画素の出力信号と、可視光画像ＰＢ４２を構成するＢ画素の出力信号との差分値ΔＢを算出する。
第２処理部１１２は、例えば、差分値算出処理ＰＲ２２として、可視光画像ＰＢ４１を構成するＲ画素の出力信号と、可視光画像ＰＢ４２を構成するＲ画素の出力信号との差分値ΔＲを算出する。
また、第２処理部１１２は、例えば、差分値算出処理ＰＲ２２として、可視光画像ＰＢ４１を構成するＧ画素の出力信号と、可視光画像ＰＢ４２を構成するＧ画素の出力信号との差分値ΔＧを算出する。
また、第２処理部１１２は、例えば、差分値算出処理ＰＲ２２として、可視光画像ＰＢ４１を構成するＢ画素の出力信号と、可視光画像ＰＢ４２を構成するＢ画素の出力信号との差分値ΔＢを算出する。
【0053】
第１状態ＳＴ１では、赤外光照射部２５が赤外光を照射するため、例えば、可視光画像ＰＢ４１を構成するＲ画素の出力信号に、Ｒ光成分とＩＲ光成分とで構成される。また、第２状態ＳＴ２では、赤外光照射部２５が赤外光を照射しないため、可視光画像ＰＢ４２を構成するＲ画素の出力信号は、Ｒ光成分だけで構成される。
また、可視光画像ＰＢ４１を構成するＲ画素の出力信号のＲ光成分の大きさと、可視光画像ＰＢ４２を構成するＲ画素の出力信号のＲ光成分の大きさとは同一である。
したがって、差分値ΔＲの大きさは、第１状態ＳＴ１でのＲ画素が受光した光のＩＲ光成分の大きさと一致する。同様にして、差分値ΔＧの大きさは、第１状態ＳＴ１でのＧ画素が受光した光のＩＲ光成分の大きさと一致し、差分値ΔＢの大きさは、第１状態ＳＴ１でのＢ画素が受光した光のＩＲ光成分の大きさと一致する。
このようにして、可視光画像ＰＢ４１におけるＲ画素、Ｇ画素、及びＢ画素の各々に対応する位置のＩＲ光成分が得られる。得られたＩＲ光成分は、第２赤外光画像ＰＢ６の一部を構成する。
また、可視光画像ＰＢ４１を構成するＲ画素の出力信号のＲ光成分の大きさと、可視光画像ＰＢ４２を構成するＲ画素の出力信号のＲ光成分の大きさとは同一である。
したがって、差分値ΔＲの大きさは、第１状態ＳＴ１でのＲ画素が受光した光のＩＲ光成分の大きさと一致する。同様にして、差分値ΔＧの大きさは、第１状態ＳＴ１でのＧ画素が受光した光のＩＲ光成分の大きさと一致し、差分値ΔＢの大きさは、第１状態ＳＴ１でのＢ画素が受光した光のＩＲ光成分の大きさと一致する。
このようにして、可視光画像ＰＢ４１におけるＲ画素、Ｇ画素、及びＢ画素の各々に対応する位置のＩＲ光成分が得られる。得られたＩＲ光成分は、第２赤外光画像ＰＢ６の一部を構成する。
【0054】
また、第２処理部１１２は、第２処理の一部として、第２配置変更処理ＰＲ２３を実行する。換言すれば、第２処理部１１２は、画像生成部１１５に第２配置変更処理ＰＲ２３を実行させる。第２配置変更処理ＰＲ２３は、赤外光画像ＰＢ３１を構成するＩＲ画素の出力信号の各々を、「ＲＧＢ－ＩＲ配列」の可視光画像ＰＢ４１のＩＲ画素の情報が欠落している位置に配置する処理である。換言すれば、第２配置変更処理ＰＲ２３は、赤外光画像ＰＢ３１を構成するＩＲ画素の出力信号の各々を、例えば、撮像部２１が生成する「ＲＧＢ－ＩＲ配列」の可視光画像ＰＢ４１、及び可視光画像ＰＢ４２におけるＩＲ画素の位置に、配置する処理である。その結果、赤外光画像ＰＢ５１が生成される。
【0055】
そして、第２処理部１１２は、第２処理の一部として、合成処理ＰＲ２４を実行する。換言すれば、第２処理部１１２は、画像生成部１１５に合成処理ＰＲ２４を実行させる。合成処理ＰＲ２４は、差分値ΔＲ、差分値ΔＧ、及び差分値ΔＢと、赤外光画像ＰＢ５１とから第２赤外光画像ＰＢ６を生成する処理である。
第２処理部１１２は、合成処理ＰＲ２４において、差分値算出処理ＰＲ２２によって得られた可視光画像ＰＢ４１におけるＲ画素、Ｇ画素、及びＢ画素の各々に対応する位置のＩＲ光成分と、赤外光画像ＰＢ５１とを合成して、第２赤外光画像ＰＢ６を生成する。
第２処理部１１２は、合成処理ＰＲ２４において、差分値算出処理ＰＲ２２によって得られた可視光画像ＰＢ４１におけるＲ画素、Ｇ画素、及びＢ画素の各々に対応する位置のＩＲ光成分と、赤外光画像ＰＢ５１とを合成して、第２赤外光画像ＰＢ６を生成する。
【0056】
次に、図５を参照して、ゲイン調整部１１４によって実行される第２ゲイン調整処理ＡＧ２について説明する。図５は、第２処理ＰＲ２における第２ゲイン調整処理ＡＧ２の一例を示すグラフである。
グラフＧ１は、ゲイン調整前のＲ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度分布を示し、グラフＧ３は、ゲイン調整後のＲ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度分布を示す。グラフＧ１及びグラフＧ３の各々において、横軸は、光の波長ＷＬ（ｎｍ）であり、縦軸は、光感度ＬＳ（％）である。
なお、グラフＧ１は、図３に示すグラフＧ１と同一である。感度ＬＳ２は、グラフＧ１４に示すゲイン調整前のＩＲ画素の感度分布におけるＩＲ光成分の感度である。感度ＬＳ２は、図３に示す感度ＬＳ１と一致する。
グラフＧ１は、ゲイン調整前のＲ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度分布を示し、グラフＧ３は、ゲイン調整後のＲ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度分布を示す。グラフＧ１及びグラフＧ３の各々において、横軸は、光の波長ＷＬ（ｎｍ）であり、縦軸は、光感度ＬＳ（％）である。
なお、グラフＧ１は、図３に示すグラフＧ１と同一である。感度ＬＳ２は、グラフＧ１４に示すゲイン調整前のＩＲ画素の感度分布におけるＩＲ光成分の感度である。感度ＬＳ２は、図３に示す感度ＬＳ１と一致する。
【0057】
感度Ｓ２３は、グラフＧ１３に示すゲイン調整前のＲ画素の感度分布におけるＩＲ光成分の感度である。感度Ｓ２２は、グラフＧ１２に示すゲイン調整前のＧ画素の感度分布におけるＩＲ光成分の感度である。感度Ｓ２１は、グラフＧ１１に示すゲイン調整前のＢ画素の感度分布におけるＩＲ光成分の感度である。
【0058】
グラフＧ３において、グラフＧ３１は、ゲイン調整後のＢ画素の感度分布を示し、グラフＧ３２は、ゲイン調整後のＧ画素の感度分布を示し、グラフＧ３３は、ゲイン調整後のＲ画素の感度分布を示し、グラフＧ３４は、ゲイン調整後のＩＲ画素の感度分布を示す。
【0059】
ゲイン調整部１１４は、Ｒ画素の出力信号に含まれるＩＲ光成分の感度Ｓ２３が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度ＬＳ２と一致するように、Ｒ画素の出力信号のゲインＧＲ２を調整する。すなわち、ゲイン調整部１１４は、次の式（４）によってゲインＧＲ２を算出する。
ＧＲ２＝ＬＳ２／Ｓ２３ （４）
また、ゲイン調整部１１４は、Ｇ画素の出力信号に含まれるＩＲ光成分の感度Ｓ２２が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度ＬＳ１と一致するように、Ｇ画素の出力信号のゲインＧＧ２を調整する。すなわち、ゲイン調整部１１４は、次の式（５）によってゲインＧＧ２を算出する。
ＧＧ２＝ＬＳ２／Ｓ２２ （５）
また、ゲイン調整部１１４は、Ｂ画素の出力信号に含まれるＩＲ光成分の感度Ｓ２１が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度ＬＳ２と一致するように、Ｂ画素の出力信号のゲインＧＢ２を調整する。すなわち、ゲイン調整部１１４は、次の式（６）によってゲインＧＢ２を算出する。
ＧＢ２＝ＬＳ２／Ｓ２１ （６）
ＧＲ２＝ＬＳ２／Ｓ２３ （４）
また、ゲイン調整部１１４は、Ｇ画素の出力信号に含まれるＩＲ光成分の感度Ｓ２２が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度ＬＳ１と一致するように、Ｇ画素の出力信号のゲインＧＧ２を調整する。すなわち、ゲイン調整部１１４は、次の式（５）によってゲインＧＧ２を算出する。
ＧＧ２＝ＬＳ２／Ｓ２２ （５）
また、ゲイン調整部１１４は、Ｂ画素の出力信号に含まれるＩＲ光成分の感度Ｓ２１が、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度ＬＳ２と一致するように、Ｂ画素の出力信号のゲインＧＢ２を調整する。すなわち、ゲイン調整部１１４は、次の式（６）によってゲインＧＢ２を算出する。
ＧＢ２＝ＬＳ２／Ｓ２１ （６）
【0060】
このようにして、ゲインＧＲ２、ゲインＧＧ２、及びＧＢ２を調整することによって、Ｒ画素の出力信号に含まれるＩＲ光成分の感度、Ｇ画素の出力信号に含まれるＩＲ光成分の感度、及びＢ画素の出力信号に含まれるＩＲ光成分の感度を、ＩＲ画素の出力信号に含まれるＩＲ光成分の感度と一致させることができる。したがって、第２赤外光画像ＰＢ６を構成するＲ画素、Ｇ画素、及びＢ画素の感度を適正に調整できる。すなわち、第２赤外光画像ＰＢ６として、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度が適正に調整された画像を生成できる。
【0061】
［５．制御部の処理］
次に、図６を参照して、制御部１の処理について説明する。図６は、制御部１の処理の一例を示すフローチャートである。
まず、ステップＳ１０１において、切換部１１３は、例えば、ユーザーからの指示に応じて、第１処理ＰＲ１を実行するか否かを判定する。換言すれば、切換部１１３は、第１処理ＰＲ１を実行するか、第２処理ＰＲ２を実行するかを選択する。
第１処理ＰＲ１を実行しない、すなわち第２処理ＰＲ２を実行すると切換部１１３が判定した場合（ステップＳ１０１；ＮＯ）には、処理がステップＳ１１３へ進む。第１処理ＰＲ１を実行すると切換部１１３が判定した場合（ステップＳ１０１；ＹＥＳ）には、処理がステップＳ１０３へ進む。
次に、図６を参照して、制御部１の処理について説明する。図６は、制御部１の処理の一例を示すフローチャートである。
まず、ステップＳ１０１において、切換部１１３は、例えば、ユーザーからの指示に応じて、第１処理ＰＲ１を実行するか否かを判定する。換言すれば、切換部１１３は、第１処理ＰＲ１を実行するか、第２処理ＰＲ２を実行するかを選択する。
第１処理ＰＲ１を実行しない、すなわち第２処理ＰＲ２を実行すると切換部１１３が判定した場合（ステップＳ１０１；ＮＯ）には、処理がステップＳ１１３へ進む。第１処理ＰＲ１を実行すると切換部１１３が判定した場合（ステップＳ１０１；ＹＥＳ）には、処理がステップＳ１０３へ進む。
【0062】
そして、ステップＳ１０３において、第１処理部１１１は、赤外光照射部２５に赤外光を照射させる。
次に、ステップＳ１０５において、第１処理部１１１は、撮像部２１に出力信号ＳＡ１を生成し、出力信号ＳＡ２１、及び出力信号ＳＡ２２を信号処理部２３へ出力させる。信号処理部２３は、出力信号ＳＡ２１から可視光画像ＰＡ２１を生成し、出力信号ＳＡ２２から第１赤外光画像ＰＡ２２を生成する。
次に、ステップＳ１０７において、ゲイン調整部１１４は、第１ゲイン調整処理ＡＧ１を実行する。第１ゲイン調整処理ＡＧ１は、ゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１を調整する処理である。ゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１の各々は、Ｒ画素、Ｇ画素、及びＢ画素の各々の出力信号に乗じられる。その結果、第１可視光画像ＰＡ３が生成される。
次に、ステップＳ１０５において、第１処理部１１１は、撮像部２１に出力信号ＳＡ１を生成し、出力信号ＳＡ２１、及び出力信号ＳＡ２２を信号処理部２３へ出力させる。信号処理部２３は、出力信号ＳＡ２１から可視光画像ＰＡ２１を生成し、出力信号ＳＡ２２から第１赤外光画像ＰＡ２２を生成する。
次に、ステップＳ１０７において、ゲイン調整部１１４は、第１ゲイン調整処理ＡＧ１を実行する。第１ゲイン調整処理ＡＧ１は、ゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１を調整する処理である。ゲインＧＲ１、ゲインＧＧ１、及びゲインＧＢ１の各々は、Ｒ画素、Ｇ画素、及びＢ画素の各々の出力信号に乗じられる。その結果、第１可視光画像ＰＡ３が生成される。
【0063】
次に、ステップＳ１０９において、表示制御部１１６は、第１可視光画像ＰＡ３、又は第１赤外光画像ＰＡ２２をディスプレイ２７に表示する。
次に、ステップＳ１１１において、切換部１１３は、ユーザーからの指示に応じて、第１処理ＰＲ１を第２処理ＰＲ２に切り換えるか否かを判定する。
第１処理ＰＲ１を第２処理ＰＲ２に切り換えないと切換部１１３が判定した場合（ステップＳ１１１；ＮＯ）には、処理がステップＳ１０３に戻る。第１処理ＰＲ１を第２処理ＰＲ２に切り換えると切換部１１３が判定した場合（ステップＳ１１１；ＹＥＳ）には、処理がステップＳ１０１へリターンされる。
次に、ステップＳ１１１において、切換部１１３は、ユーザーからの指示に応じて、第１処理ＰＲ１を第２処理ＰＲ２に切り換えるか否かを判定する。
第１処理ＰＲ１を第２処理ＰＲ２に切り換えないと切換部１１３が判定した場合（ステップＳ１１１；ＮＯ）には、処理がステップＳ１０３に戻る。第１処理ＰＲ１を第２処理ＰＲ２に切り換えると切換部１１３が判定した場合（ステップＳ１１１；ＹＥＳ）には、処理がステップＳ１０１へリターンされる。
【0064】
ステップＳ１０１でＮＯの場合、すなわち、第２処理ＰＲ２を実行すると切換部１１３が判定した場合には、ステップＳ１１３において、第２処理部１１２は、赤外光照射部２５に、１フレームの間、赤外光を照射させる。
次に、ステップＳ１１５において、第２処理部１１２は、撮像部２１に出力信号ＳＢ２１、及び出力信号ＳＢ３１を生成させ、出力信号ＳＢ２１、及び出力信号ＳＢ３１を信号処理部２３へ出力させる。信号処理部２３は、出力信号ＳＢ２１から可視光画像ＰＢ２１を生成し、出力信号ＳＢ３１から赤外光画像ＰＢ３１を生成する。
次に、ステップＳ１１７において、第２処理部１１２は、赤外光照射部２５に、１フレームの間、赤外光の照射を停止させる。
次に、ステップＳ１１９において、第２処理部１１２は、撮像部２１に出力信号ＳＢ２２、及び出力信号ＳＢ３２を生成させ、出力信号ＳＢ２２、及び出力信号ＳＢ３２を信号処理部２３へ出力させる。信号処理部２３は、出力信号ＳＢ２２から可視光画像ＰＢ２２を生成し、出力信号ＳＢ３２から赤外光画像ＰＢ３２を生成する。
次に、ステップＳ１１５において、第２処理部１１２は、撮像部２１に出力信号ＳＢ２１、及び出力信号ＳＢ３１を生成させ、出力信号ＳＢ２１、及び出力信号ＳＢ３１を信号処理部２３へ出力させる。信号処理部２３は、出力信号ＳＢ２１から可視光画像ＰＢ２１を生成し、出力信号ＳＢ３１から赤外光画像ＰＢ３１を生成する。
次に、ステップＳ１１７において、第２処理部１１２は、赤外光照射部２５に、１フレームの間、赤外光の照射を停止させる。
次に、ステップＳ１１９において、第２処理部１１２は、撮像部２１に出力信号ＳＢ２２、及び出力信号ＳＢ３２を生成させ、出力信号ＳＢ２２、及び出力信号ＳＢ３２を信号処理部２３へ出力させる。信号処理部２３は、出力信号ＳＢ２２から可視光画像ＰＢ２２を生成し、出力信号ＳＢ３２から赤外光画像ＰＢ３２を生成する。
【0065】
次に、ステップＳ１２１において、ゲイン調整部１１４は、第２ゲイン調整処理ＡＧ２を実行する。第２ゲイン調整処理ＡＧ２は、ゲインＧＲ２、ゲインＧＧ２、及びゲインＧＢ２を調整する処理である。ゲインＧＲ２、ゲインＧＧ２、及びゲインＧＢ２の各々は、Ｒ画素、Ｇ画素、及びＢ画素の各々の出力信号に乗じられる。
次に、ステップＳ１２３において、第２処理部１１２は、第１配置変更処理ＰＲ２１を実行する。第１配置変更処理ＰＲ２１は、「ＲＧＧＢ配列」の可視光画像ＰＢ２１、及び可視光画像ＰＢ２２を、「ＲＧＢ－ＩＲ配列」に変更する処理である。その結果、可視光画像ＰＢ４１、及び可視光画像ＰＢ４２が生成される。
次に、ステップＳ１２５において、第２処理部１１２は、差分値算出処理ＰＲ２２を実行する。差分値算出処理ＰＲ２２は、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号と、第２状態ＳＴ２でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号との差分値を算出する処理である。差分値は、差分値ΔＲ、差分値ΔＧ、及び差分値ΔＢで構成される。
次に、ステップＳ１２３において、第２処理部１１２は、第１配置変更処理ＰＲ２１を実行する。第１配置変更処理ＰＲ２１は、「ＲＧＧＢ配列」の可視光画像ＰＢ２１、及び可視光画像ＰＢ２２を、「ＲＧＢ－ＩＲ配列」に変更する処理である。その結果、可視光画像ＰＢ４１、及び可視光画像ＰＢ４２が生成される。
次に、ステップＳ１２５において、第２処理部１１２は、差分値算出処理ＰＲ２２を実行する。差分値算出処理ＰＲ２２は、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号と、第２状態ＳＴ２でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号との差分値を算出する処理である。差分値は、差分値ΔＲ、差分値ΔＧ、及び差分値ΔＢで構成される。
【0066】
次に、ステップＳ１２７において、第２処理部１１２は、第２配置変更処理ＰＲ２３を実行する。第２配置変更処理ＰＲ２３は、赤外光画像ＰＢ３１を構成するＩＲ画素の出力信号の各々を、例えば、撮像部２１が生成する「ＲＧＢ－ＩＲ配列」の可視光画像ＰＢ４１におけるＩＲ画素の位置に、配置する処理である。その結果、赤外光画像ＰＢ５１が生成される。
次に、ステップＳ１２９において、画像生成部１１５は、合成処理ＰＲ２４を実行する。合成処理ＰＲ２４は、差分値ΔＲ、差分値ΔＧ、及び差分値ΔＢと、赤外光画像ＰＢ５１とから、第２赤外光画像ＰＢ６を生成する処理である。
次に、ステップＳ１２９において、画像生成部１１５は、合成処理ＰＲ２４を実行する。合成処理ＰＲ２４は、差分値ΔＲ、差分値ΔＧ、及び差分値ΔＢと、赤外光画像ＰＢ５１とから、第２赤外光画像ＰＢ６を生成する処理である。
【0067】
次に、ステップＳ１３１において、表示制御部１１６は、第２赤外光画像ＰＢ６をディスプレイ２７に表示する。
次に、ステップＳ１３３において、切換部１１３は、ユーザーからの指示に応じて、第２処理ＰＲ２を第１処理ＰＲ１に切り換えるか否かを判定する。
第２処理ＰＲ２を第１処理ＰＲ１に切り換えないと切換部１１３が判定した場合（ステップＳ１３３；ＮＯ）には、処理がステップＳ１１３に戻る。第２処理ＰＲ２を第１処理ＰＲ１に切り換えると切換部１１３が判定した場合（ステップＳ１３３；ＹＥＳ）には、処理がステップＳ１０１へリターンされる。
次に、ステップＳ１３３において、切換部１１３は、ユーザーからの指示に応じて、第２処理ＰＲ２を第１処理ＰＲ１に切り換えるか否かを判定する。
第２処理ＰＲ２を第１処理ＰＲ１に切り換えないと切換部１１３が判定した場合（ステップＳ１３３；ＮＯ）には、処理がステップＳ１１３に戻る。第２処理ＰＲ２を第１処理ＰＲ１に切り換えると切換部１１３が判定した場合（ステップＳ１３３；ＹＥＳ）には、処理がステップＳ１０１へリターンされる。
【0068】
ステップＳ１０１は、「切換ステップ」の一例に対応する。
【0069】
図６を参照して説明したように、切換部１１３が、ユーザーからの指示に応じて、第１処理ＰＲ１と第２処理ＰＲ２とを切り換える。よって、第１可視光画像ＰＡ３、又は第１赤外光画像ＰＡ２２をディスプレイ２７に表示するか、第２赤外光画像ＰＢ６をディスプレイ２７に表示するかをユーザーが選択できる。したがって、ユーザーの利便性を向上できる。
【0070】
［６．撮像装置の構成及び効果］
本実施形態に係る撮像装置１００は、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素が周期的に配列された撮像部２１と、赤外光を周囲に照射する赤外光照射部２５と、撮像部２１の出力信号から画像を生成する信号処理部２３と、撮像部２１、赤外光照射部２５、及び信号処理部２３を制御する制御部１と、を備え、Ｒ画素、Ｇ画素、Ｂ画素及びＩＲ画素の各々は、ＩＲ光を透過するフィルタを有し、制御部１は、Ｒ画素、Ｇ画素、及びＢ画素の出力信号から可視光画像ＰＡ２１を生成すると共に、ＩＲ画素の出力信号から第１赤外光画像ＰＡ２２を生成する第１処理ＰＲ１と、赤外光照射部２５が赤外光を照射する第１状態ＳＴ１と、赤外光照射部２５が赤外光を照射しない第２状態ＳＴ２とで、撮像部２１に撮像を実行させ、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号と、第２状態ＳＴ２でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号との差分値ΔＲ、ΔＧ、ΔＢ、及び、第１状態ＳＴ１でのＩＲ画素の出力信号から第２赤外光画像ＰＢ６を生成する第２処理ＰＲ２と、を切り換える切換部１１３を備える。
本実施形態に係る撮像装置１００は、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素が周期的に配列された撮像部２１と、赤外光を周囲に照射する赤外光照射部２５と、撮像部２１の出力信号から画像を生成する信号処理部２３と、撮像部２１、赤外光照射部２５、及び信号処理部２３を制御する制御部１と、を備え、Ｒ画素、Ｇ画素、Ｂ画素及びＩＲ画素の各々は、ＩＲ光を透過するフィルタを有し、制御部１は、Ｒ画素、Ｇ画素、及びＢ画素の出力信号から可視光画像ＰＡ２１を生成すると共に、ＩＲ画素の出力信号から第１赤外光画像ＰＡ２２を生成する第１処理ＰＲ１と、赤外光照射部２５が赤外光を照射する第１状態ＳＴ１と、赤外光照射部２５が赤外光を照射しない第２状態ＳＴ２とで、撮像部２１に撮像を実行させ、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号と、第２状態ＳＴ２でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号との差分値ΔＲ、ΔＧ、ΔＢ、及び、第１状態ＳＴ１でのＩＲ画素の出力信号から第２赤外光画像ＰＢ６を生成する第２処理ＰＲ２と、を切り換える切換部１１３を備える。
【0071】
この構成によれば、制御部１が第１処理ＰＲ１を実行する場合には、可視光画像ＰＡ２１、及び第１赤外光画像ＰＡ２２を生成し、制御部１が第２処理ＰＲ２を実行する場合には、第２赤外光画像ＰＢ６を生成する。第２赤外光画像ＰＢ６は、第１赤外光画像ＰＡ２２と比較して、高解像度の画像である。また、切換部１１３は、第１処理ＰＲ１と、第２処理ＰＲ２とを切り換える。
したがって、制御部１が生成する画像を、可視光画像ＰＡ２１、及び低解像度の第１赤外光画像ＰＡ２２と、高解像度の第２赤外光画像ＰＢ６との間で切り換えることができる。
したがって、制御部１が生成する画像を、可視光画像ＰＡ２１、及び低解像度の第１赤外光画像ＰＡ２２と、高解像度の第２赤外光画像ＰＢ６との間で切り換えることができる。
【0072】
また、撮像装置１００において、制御部１は、第２処理ＰＲ２において、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号に含まれる赤外光成分の感度Ｓ２１～Ｓ２３を、第１状態ＳＴ１でのＩＲ画素の出力信号の感度ＬＳ２と一致させるように、Ｒ画素、Ｇ画素、及びＢ画素の各々の出力信号のゲインＧＲ２、ＧＧ２、ＧＢ２を調整するゲイン調整部１１４を備える。
【0073】
この構成によれば、ゲイン調整部１１４は、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号に含まれる赤外光成分の感度Ｓ２１～Ｓ２３を、第１状態ＳＴ１でのＩＲ画素の出力信号の感度ＬＳ２と一致させるように、Ｒ画素、Ｇ画素、及びＢ画素の各々の出力信号のゲインＧＲ２、ＧＧ２、ＧＢ２を調整する。
したがって、第２赤外光画像ＰＢ６を構成するＲ画素、Ｇ画素、及びＢ画素の感度を適正に調整できる。すなわち、第２赤外光画像ＰＢ６として、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度が適正に調整された画像を生成できる。
したがって、第２赤外光画像ＰＢ６を構成するＲ画素、Ｇ画素、及びＢ画素の感度を適正に調整できる。すなわち、第２赤外光画像ＰＢ６として、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の感度が適正に調整された画像を生成できる。
【0074】
また、撮像装置１００において、撮像部２１は、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素がＲＧＢ－ＩＲ配列で配列され、撮像部２１の出力信号のうち、可視光画像はＲＧＧＢ配列で出力され、制御部１は、第２処理ＰＲ２において、差分値ΔＲ、ΔＧ、ΔＢと、第１状態ＳＴ１でのＩＲ画素の出力信号とを、ＲＧＢ－ＩＲ配列に配列して第２赤外光画像ＰＢ６を生成する画像生成部１１５を備える。
【0075】
この構成によれば、画像生成部１１５は、差分値ΔＲ、ΔＧ、ΔＢと、第１状態ＳＴ１でのＩＲ画素の出力信号とを、ＲＧＢ－ＩＲ配列に配列して第２赤外光画像ＰＢ６を生成する。また、差分値ΔＲは、第１状態ＳＴ１でのＲ画素が受光した光のＩＲ光成分に対応し、差分値ΔＧは、第１状態ＳＴ１でのＧ画素が受光した光のＩＲ光成分に対応し、差分値ΔＢは、第１状態ＳＴ１でのＢ画素が受光した光のＩＲ光成分に対応する。
したがって、Ｒ画素、Ｇ画素、及びＢ画素が受光した光のＩＲ光成分と、ＩＲ画素の出力信号とをＲＧＢ－ＩＲ配列に配列して第２赤外光画像ＰＢ６を生成するため、第２赤外光画像ＰＢ６として、高解像度の赤外光画像を生成できる。
したがって、Ｒ画素、Ｇ画素、及びＢ画素が受光した光のＩＲ光成分と、ＩＲ画素の出力信号とをＲＧＢ－ＩＲ配列に配列して第２赤外光画像ＰＢ６を生成するため、第２赤外光画像ＰＢ６として、高解像度の赤外光画像を生成できる。
【0076】
本実施形態に係る撮像方法は、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素が周期的に配列された撮像部２１と、赤外光を周囲に照射する赤外光照射部２５と、撮像部２１の出力信号から画像を生成する信号処理部２３と、撮像部２１、赤外光照射部２５、及び信号処理部２３を制御する制御部１と、を備える撮像装置１００の撮像方法であって、Ｒ画素、Ｇ画素、Ｂ画素及びＩＲ画素の各々は、ＩＲ光を透過するフィルタを有し、制御部１が、Ｒ画素、Ｇ画素、及びＢ画素の出力信号から可視光画像ＰＡ２１を生成すると共に、ＩＲ画素の出力信号から第１赤外光画像ＰＡ２２を生成する第１処理ＰＲ１と、赤外光照射部２５が赤外光を照射する第１状態ＳＴ１と、赤外光照射部２５が赤外光を照射しない第２状態ＳＴ２とで、撮像部２１に撮像を実行させ、第１状態ＳＴ１でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号と、第２状態ＳＴ２でのＲ画素、Ｇ画素、及びＢ画素の各々の出力信号との差分値ΔＲ、ΔＧ、ΔＢ、及び、第１状態ＳＴ１でのＩＲ画素の出力信号から第２赤外光画像ＰＢ６を生成する第２処理ＰＲ２と、を切り換える切換ステップ、を含む。
この構成によれば、本実施形態に係る撮像装置１００と同様の作用効果を奏する。
この構成によれば、本実施形態に係る撮像装置１００と同様の作用効果を奏する。
【0077】
［７．他の実施形態］
上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の主旨を逸脱しない範囲で任意に変形及び応用が可能である。
本実施形態では、制御部１がＥＣＵとして構成される場合について説明したが、本発明の実施形態はこれに限定されない。制御部１がプロセッサーとメモリーとを備えればよい。例えば、制御部１が、ＦＰＧＡ、ＳｏＣ等で構成されてもよい。
上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の主旨を逸脱しない範囲で任意に変形及び応用が可能である。
本実施形態では、制御部１がＥＣＵとして構成される場合について説明したが、本発明の実施形態はこれに限定されない。制御部１がプロセッサーとメモリーとを備えればよい。例えば、制御部１が、ＦＰＧＡ、ＳｏＣ等で構成されてもよい。
【0078】
本実施形態では、制御部１が生成した可視光画像、及び赤外光画像をディスプレイ２７に表示する場合について説明するが、これに限定されない。制御部１が生成した可視光画像、及び赤外光画像を、車両の種々の制御に用いてもよい。この場合には、制御部１は、可視光画像、及び赤外光画像を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の車載ネットワークを介して、車両の種々の制御を実行するＥＣＵに伝送する。
【0079】
本実施形態では、切換部１１３が、ユーザーからの指示に応じて、第１処理ＰＲ１と第２処理ＰＲ２とを切り換える場合について説明するが、これに限定されない。例えば、撮像装置１００が搭載される車両の室内の明るさを輝度センサによって検出し、切換部１１３が、検出した明るさに応じて、第１処理ＰＲ１と第２処理ＰＲ２とを切り換えてもよい。例えば、検出した明るさが、所定の明るさよりも明るい場合には、切換部１１３は、第１処理ＰＲ１を選択し、検出した明るさが、所定の明るさよりも暗い場合には、切換部１１３は、第２処理ＰＲ２を選択する。
【0080】
また、図１は、本願発明を理解容易にするために、撮像装置１００の制御部１の機能構成を主な処理内容に応じて分類して示した概略図であり、撮像装置１００の制御部１の構成は、処理内容に応じて、更に多くの構成要素に分類することもできる。また、１つの構成要素が更に多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
【0081】
また、図６に記載のフローチャートの処理単位は、制御部１の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。制御部１の処理は、処理内容に応じて、更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。また、フローチャートの処理順序も、図示した例に限られるものではない。
【0082】
また、撮像方法は、制御部１が備えるプロセッサー１１に、撮像方法に対応した制御プログラム１２１を実行させることで実現できる。また、制御プログラム１２１は、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。
記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、制御部１が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。
制御プログラム１２１をサーバー装置等に記憶させておき、サーバー装置から制御部１に、制御プログラム１２１をダウンロードすることで、撮像方法を実現することもできる。
記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、制御部１が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。
制御プログラム１２１をサーバー装置等に記憶させておき、サーバー装置から制御部１に、制御プログラム１２１をダウンロードすることで、撮像方法を実現することもできる。
【符号の説明】
【0083】
１００ 撮像装置
１ 制御部
１１ プロセッサー
１１１ 第１処理部
１１２ 第２処理部
１１３ 切換部
１１４ ゲイン調整部
１１５ 画像生成部
１１６ 表示制御部
１２ メモリー
１２１ 制御プログラム
１２２ ゲイン記憶部
２１ 撮像部
２３ 信号処理部
２５ 赤外光照射部
２７ ディスプレイ
ＰＡ２１ 可視光画像
ＰＡ３ 第１赤外光画像
ＰＢ６ 第２赤外光画像
ＳＴ１ 第１状態
ＳＴ２ 第２状態
ΔＲ、ΔＧ、ΔＢ 差分値
１ 制御部
１１ プロセッサー
１１１ 第１処理部
１１２ 第２処理部
１１３ 切換部
１１４ ゲイン調整部
１１５ 画像生成部
１１６ 表示制御部
１２ メモリー
１２１ 制御プログラム
１２２ ゲイン記憶部
２１ 撮像部
２３ 信号処理部
２５ 赤外光照射部
２７ ディスプレイ
ＰＡ２１ 可視光画像
ＰＡ３ 第１赤外光画像
ＰＢ６ 第２赤外光画像
ＳＴ１ 第１状態
ＳＴ２ 第２状態
ΔＲ、ΔＧ、ΔＢ 差分値
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】