特開 2022-126511 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022126511

(43)【公開日】2022-08-30

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20220823BHJP

【ＦＩ】

H04N9/07 A

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021024632

(22)【出願日】2021-02-18

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】三輪 守孝

(72)【発明者】

【氏名】齋木 俊佑

【テーマコード（参考）】

5C065

【Ｆターム（参考）】

5C065AA06

5C065BB01

5C065CC10

5C065DD17

5C065EE06

5C065GG21

5C065GG22

5C065GG23

(57)【要約】

【課題】カラーイメージセンサの撮影画像を利用して高解像度の赤外画像を得る。
【解決手段】本発明の実施形態にかかる画像処理装置は、例えば、照射部によって赤外光が照射された撮影対象領域からの光を可視光減衰フィルタを介して受けた撮影部から、少なくとも、可視光の第１の色成分および赤外成分を有する第１の画素と、可視光の第２の色成分および赤外成分を有する第２の画素と、可視光の第３の色成分および赤外成分を有する第３の画素と、を有する撮影画像を取得する取得部と、撮影画像における所定範囲について、複数の第１の画素の輝度の平均値と、複数の第２の画素の輝度の平均値と、複数の第３の画素の輝度の平均値と、を算出する算出部と、第１の補正ゲイン値と、第２の補正ゲイン値と、第３の補正ゲイン値と、を、決定する決定部と、各補正ゲイン値を用いてモノクロ画像を生成する生成部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

照射部によって赤外光が照射された撮影対象領域からの光を可視光減衰フィルタを介して受けた撮影部から、少なくとも、可視光の第１の色成分および赤外成分を有する第１の画素と、可視光の第２の色成分および赤外成分を有する第２の画素と、可視光の第３の色成分および赤外成分を有する第３の画素と、を有する撮影画像を取得する取得部と、
前記撮影画像における所定範囲について、複数の前記第１の画素の輝度の平均値と、複数の前記第２の画素の輝度の平均値と、複数の前記第３の画素の輝度の平均値と、を算出する算出部と、
前記第１の画素に乗算する第１の補正ゲイン値と、前記第２の画素に乗算する第２の補正ゲイン値と、前記第３の画素に乗算する第３の補正ゲイン値と、を、前記第１の補正ゲイン値と、前記第２の補正ゲイン値と、前記第３の補正ゲイン値と、の比が、前記第１の画素の輝度の平均値の逆数と、前記第２の画素の輝度の平均値の逆数と、前記第３の画素の輝度の平均値の逆数と、の比と等しくなるように決定する決定部と、
前記撮影画像における前記所定範囲について、それぞれの前記第１の画素の輝度に前記第１の補正ゲイン値を乗算した値と、それぞれの前記第２の画素の輝度に前記第２の補正ゲイン値を乗算した値と、それぞれの前記第３の画素の輝度に前記第３の補正ゲイン値を乗算した値と、を用いることで、モノクロ画像を生成する生成部と、を備える画像処理装置。

【請求項2】

前記決定部は、所定周期または所定条件充足時に、前記第１の補正ゲイン値と、前記第２の補正ゲイン値と、前記第３の補正ゲイン値と、を新たに決定する、請求項１に記載の画像処理装置。

【請求項3】

前記算出部は、前記撮影画像における前記所定範囲について、複数の前記第１の画素の輝度差が所定値以下のときに、複数の前記第１の画素の輝度の平均値と、複数の前記第２の画素の輝度の平均値と、複数の前記第３の画素の輝度の平均値と、を算出する、請求項１に記載の画像処理装置。

【請求項4】

前記第１の色成分は緑で、前記第２の色成分は赤で、前記第３の色成分は青である、請求項１に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置に関する。

【背景技術】

【0002】

従来から、例えば車両内等の撮影対象領域を撮影部（例えばカメラ）で撮影して得た撮影画像を用いて、撮影画像に写っている物体（例えば人）の存在、姿勢、状態等を検出し、検出データを機器制御等に利用する技術が知られている。その場合、物体検出を高精度にするために、撮影画像は高解像度であるほどよい。

【0003】

また、例えば、撮影画像の解像度の確保と外乱光の影響の低減という点から、昼間でも夜間でも、赤外照明を用い、赤外領域で撮影した撮影画像（赤外画像）を使用する場合もある。その場合、例えば、赤外領域に感度があるモノクロイメージセンサを使用する。

【0004】

また、ディスプレイへの画像表示や、色情報を用いた画像認識を行うことを考えると、ＲＧＢ(Red,Green,Blue)画像と赤外画像の両方を得られるとよい。例えば、一般的なカラーイメージセンサを利用すると、ＲＧＢの各画素にも赤外領域の感度があるので、赤外カットフィルタを用いることでＲＧＢ画像を得ることができ、また、可視光カットフィルタを用いることで赤外画像を得ることができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００７－１８４８０５号公報

【特許文献2】特開２００９－２５３４４７号公報

【非特許文献】

【0006】

【非特許文献1】野中雄一ら６名、“近赤外カラー同時撮像と視覚特性に基づくノイズ低減法”映像情報メディア学会誌、２０１９年７３巻１号、ｐ．１７７－１８９

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、一般的なカラーイメージセンサを利用して赤外画像を得ると、ＲＧＢの各画素色ごとで赤外領域の感度に差があるため、高解像度の赤外画像を得ることができないという問題がある。加えて、可視光成分の混入によってＲＧＢの各画素色ごとに感度のバラつきが発生するという問題もある。

【0008】

そこで、本発明の課題の一つは、カラーイメージセンサの撮影画像を利用して高解像度の赤外画像を得ることができる画像処理装置を提供することである。

【課題を解決するための手段】

【0009】

本発明の実施形態にかかる画像処理装置は、例えば、照射部によって赤外光が照射された撮影対象領域からの光を可視光減衰フィルタを介して受けた撮影部から、少なくとも、可視光の第１の色成分および赤外成分を有する第１の画素と、可視光の第２の色成分および赤外成分を有する第２の画素と、可視光の第３の色成分および赤外成分を有する第３の画素と、を有する撮影画像を取得する取得部と、前記撮影画像における所定範囲について、複数の前記第１の画素の輝度の平均値と、複数の前記第２の画素の輝度の平均値と、複数の前記第３の画素の輝度の平均値と、を算出する算出部と、前記第１の画素に乗算する第１の補正ゲイン値と、前記第２の画素に乗算する第２の補正ゲイン値と、前記第３の画素に乗算する第３の補正ゲイン値と、を、前記第１の補正ゲイン値と、前記第２の補正ゲイン値と、前記第３の補正ゲイン値と、の比が、前記第１の画素の輝度の平均値の逆数と、前記第２の画素の輝度の平均値の逆数と、前記第３の画素の輝度の平均値の逆数と、の比と等しくなるように決定する決定部と、前記撮影画像における前記所定範囲について、それぞれの前記第１の画素の輝度に前記第１の補正ゲイン値を乗算した値と、それぞれの前記第２の画素の輝度に前記第２の補正ゲイン値を乗算した値と、それぞれの前記第３の画素の輝度に前記第３の補正ゲイン値を乗算した値と、を用いることで、モノクロ画像を生成する生成部と、を備える。

【0010】

この構成によれば、例えば、カラーイメージセンサの撮影画像を利用する場合に、上述の第１の補正ゲイン値と、第２の補正ゲイン値と、第３の補正ゲイン値と、を用いた輝度補正の演算を行うことで、第１の画素と、第２の画素と、第３の画素と、の赤外領域の感度の差による影響を減らすことができ、高解像度のモノクロ画像（赤外画像）を得ることができる。

【0011】

また、上述の画像処理装置において、例えば、前記決定部は、所定周期または所定条件充足時に、前記第１の補正ゲイン値と、前記第２の補正ゲイン値と、前記第３の補正ゲイン値と、を新たに決定する。この構成によれば、例えば、第１の補正ゲイン値と、第２の補正ゲイン値と、第３の補正ゲイン値と、を適宜更新することで、高解像度のモノクロ画像（赤外画像）を継続して得ることができる。

【0012】

また、上述の画像処理装置において、例えば、前記算出部は、前記撮影画像における前記所定範囲について、複数の前記第１の画素の輝度差が所定値以下のときに、複数の前記第１の画素の輝度の平均値と、複数の前記第２の画素の輝度の平均値と、複数の前記第３の画素の輝度の平均値と、を算出する。この構成によれば、例えば、所定範囲が無地で各画素の輝度補正の必要性が高いときに当該補正を行うことができる。

【0013】

また、上述の画像処理装置において、例えば、前記第１の色成分は緑で、前記第２の色成分は赤で、前記第３の色成分は青である。この構成によれば、例えば、３つの色成分が光の三原色の場合に上述の補正を行うことができる。

【図面の簡単な説明】

【0014】

【図1】図１は、実施形態の画像処理システムの概要を示す全体構成図である。

【図2】図２は、実施形態のベイヤータイプのＲＧＢの画素配列を示す模式図である。

【図3】図３は、実施形態の画像信号の波長と感度の関係を示すグラフである。

【図4】図４は、実施形態の撮影画像と拡大画像の模式図である。

【図5】図５は、実施形態の画像処理回路による処理を示すフローチャートである。

【図6】図６は、変形例のＲＧＢ-ＩＲの画素配列を示す模式図である。

【発明を実施するための形態】

【0015】

以下、本開示の画像処理装置を含む画像処理システムの実施形態を図面に基づいて説明する。以下に説明される実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、本発明は以下の記載内容に限られるものではない。また、以下の実施形態において、画像処理システムは、一例として、車両に適用されるものとする。

【0016】

図１は、実施形態の画像処理システムＳの概要を示す全体構成図である。画像処理システムＳは、カメラ１と、ＥＣＵ６と、赤外線照射部７（照射部）と、を備える。

【0017】

ＥＣＵ６は、車両内の各種機器を制御する。ＥＣＵ６は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）等によって構成される。ＣＰＵは、例えば、ＲＯＭ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種演算処理を実行する。

【0018】

ＲＡＭは、ＣＰＵでの演算で用いられる各種データを一時的に記憶する。ＳＳＤは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ６の電源がオフされた場合にあってもデータを記憶することができる。なお、ＥＣＵ６は、ＣＰＵに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤやＨＤＤは、ＥＣＵ６とは別に設けられてもよい。なお、車両内には、ＥＣＵ６以外のＥＣＵが設けられてもよい。

【0019】

そして、例えば、ＥＣＵ６は、カメラ１や赤外線照射部７を制御して車室内を撮影して撮影画像を取得し、その撮影画像に写っている物体の存在、姿勢、状態等を検出し、検出データに基づいて車内ネットワーク８経由で各種機器を制御する。車内ネットワーク８は、例えば、ＣＡＮ（Controller Area Network）として構成されている。

【0020】

したがって、カメラ１と赤外線照射部７は、例えば、車室内を見渡せる位置に配置されるのが望ましい。カメラ１と赤外線照射部７は、例えば、車両のフロントウインドウの内側上部の中央部に配置されるが、これに限定されない。なお、カメラ１と赤外線照射部７は、一体のカメラユニットとして構成されてもよい。

【0021】

赤外線照射部７は、例えば、赤外線を照射するＬＥＤ（Light Emitting Diode）ライト等である。赤外線照射部７は、カメラ１の撮影対象領域を少なくとも含む領域に赤外光を照射できるように照射角および照射強度が設定されている。

【0022】

カメラ１は、主な構成として、レンズ２と、可視光減衰フィルタ３と、カラーイメージセンサ４（撮影部）と、画像処理回路５と、を備える。レンズ２は、集光手段としての凸レンズである。

【0023】

可視光減衰フィルタ３は、透過する可視光を減衰させるフィルタである。可視光減衰フィルタ３は、例えば、透過する可視光を１割程度に減衰させる。このような可視光減衰フィルタ３を使用することにより、赤外成分と可視光を低減した成分との合算値を輝度として取得することができる（詳細は後述）。なお、可視光減衰フィルタ３は、レンズ２よりも外側（図１では上側）に配置されてもよい。

【0024】

カラーイメージセンサ４は、ベイヤータイプのＲＧＢのイメージセンサである。通常、ＲＧＢイメージセンサでもＩＲ（Infrared）の感度を有しており、例えば、一般的なカラーカメラではベイヤータイプのＲＧＢのイメージセンサを用い、光学系でＩＲカットフィルタを装着しており、ＩＲを含まないＲ、Ｇ、Ｂの単色を各画素で検出する。図２は、実施形態のベイヤータイプのＲＧＢの画素配列を示す模式図である。

【0025】

次に、図３は、実施形態の画像信号の波長と感度の関係を示すグラフである。図３において、横軸は画像信号の波長であり、縦軸は画像信号の感度である。なお、図３は厳密なグラフではなく、大まかなグラフである。

【0026】

本実施形態では、可視光減衰フィルタ３によって可視光を例えば１割程度に減衰させてからカラーイメージセンサ４で受光する。線Ｌ１、線Ｌ２、線Ｌ３は、それぞれ、Ｒ出力、Ｇ出力、Ｂ出力を示すが、それらには可視光と赤外線の境界付近で感度差がある。そのため、画素色（ＲＧＢ）ごとの輝度出力に差が発生する場合がある。また、可視光が入射された場合も画素色（ＲＧＢ）ごとの輝度差は発生する。

【0027】

ここで、図４は、実施形態の撮影画像と拡大画像（以下、両者を「画像」とも称する。）の模式図である。図４の画像は、ＲＧＢ出力に基づいて各画素の輝度を用いてモノクロ化した画像であり、後述の補正を行う前の画像である。撮影画像Ａの一部を拡大したのが拡大画像Ｂである。拡大画像Ｂでは、ＲＧＢに着目した場合、上述のようにＲ出力、Ｇ出力、Ｂ出力について可視光と赤外線の境界付近での感度差があり、また、可視光が入射された場合も輝度差は発生するため、実際には無地の領域が市松模様になってしまっている。この市松模様を無地にするための補正について、以下で説明する。

【0028】

図１に戻って、画像処理回路５は、処理部５１と、記憶部５２と、を備える。記憶部５２は、処理部５１が動作するための各種情報や各種演算結果等を記憶する。

【0029】

処理部５１は、機能構成として、取得部５１１と、算出部５１２と、決定部５１３と、生成部５１４と、制御部５１５と、を備える。

【0030】

取得部５１１は、カラーイメージセンサ４やＥＣＵ６から各種情報を取得する。取得部５１１は、例えば、赤外線照射部７によって赤外光が照射された撮影対象領域からの光（可視光、赤外光）を可視光減衰フィルタ３を介して受けたカラーイメージセンサ４から、撮影画像を取得する。撮影画像は、少なくとも、可視光の第１の色成分および赤外成分を有する第１の画素と、可視光の第２の色成分および赤外成分を有する第２の画素と、可視光の第３の色成分および赤外成分を有する第３の画素と、を有する。例えば、第１の色成分は緑（Ｇ）で、第２の色成分は赤（Ｒ）で、第３の色成分は青（Ｂ）である。なお、後述の変形例で説明するように、撮影画像は、第４の成分(ＩＲのみ)を有していてもよい。

【0031】

算出部５１２は、撮影画像における所定範囲について、複数の第１の画素（Ｇ）の輝度の平均値と、複数の第２の画素（Ｒ）の輝度の平均値と、複数の第３の画素（Ｂ）の輝度の平均値と、を算出する。

【0032】

なお、撮影画像に対して輝度の補正を行う対象である所定範囲は、撮影画像の全範囲でもよいし、予め決めた分割領域それぞれでもよいし、あるいは、無地領域と判定した範囲であってもよい。

【0033】

算出部５１２は、撮影画像における所定範囲について、例えば、無地領域と判定した場合、複数の第１の画素（Ｇ）の輝度の平均値と、複数の第２の画素（Ｒ）の輝度の平均値と、複数の第３の画素（Ｂ）の輝度の平均値と、を算出する。

【0034】

無地領域としては、例えば、撮影対象領域における壁や天井の部分などが考えられる。したがって、例えば、ＲＧＢの色成分ごとに撮影画像の計算対象領域（例えば６×６画素、８×８画素等）内の平均輝度と分散（ヒストグラム）を算出し、輝度変化の少ない部分を無地領域と判定する。なお、計算に使うのは、ＲＧＢのうちＧの画素（以下、単に「Ｇ」ともいう。）のみ等、１種類だけでもよい。つまり、例えば、複数の第１の画素（Ｇ）の輝度差が所定値以下のときに、無地領域であると判定するようにしてもよい。

【0035】

Ｇのみを計算に使う場合、例えば、次のようにして無地領域の判定を行う。
まず、計算対象領域におけるＧの輝度平均値（Ｇａｖｅ）を算出する。
次に、計算対象領域におけるＧの輝度最大値（Ｇｍａｘ）を算出する。
次に、計算対象領域におけるＧの輝度最小値（Ｇｍｉｎ）を算出する。
閾値（Ｃｇ）を、Ｇａｖｅの１割～２割程度の値に設定しておく。

【0036】

そして、「Ｇｍａｘ－Ｇｍｉｎ＜閾値（Ｃｇ）」の条件を満たせば無地領域であると判定する。なお、ノイズ成分を除去するために、所定範囲内に収まっていない最大値・最小値を除去したり、分散や偏差(σ)から計算したりするのが好ましい。

【0037】

また、ＲとＢについても同様の判定を行い、ＲＧＢのすべてについて条件を満たした場合に、無地領域であると判定してもよい。

【0038】

決定部５１３は、第１の画素（Ｇ）に乗算する第１の補正ゲイン値と、第２の画素（Ｒ）に乗算する第２の補正ゲイン値と、第３の画素（Ｂ）に乗算する第３の補正ゲイン値と、を、第１の補正ゲイン値と、第２の補正ゲイン値と、第３の補正ゲイン値と、の比が、第１の画素（Ｇ）の輝度の平均値の逆数と、第２の画素（Ｒ）の輝度の平均値の逆数と、第３の画素（Ｂ）の輝度の平均値の逆数と、の比と等しくなるように決定する。

【0039】

例えば、第１の補正ゲイン値をＧｇとし、第２の補正ゲイン値をＧｒとし、第３の補正ゲイン値をＧｂとする。また、第１の画素（Ｇ）の輝度の平均値を［Ｇ］とし、第２の画素（Ｒ）の輝度の平均値を［Ｒ］とし、第３の画素（Ｂ）の輝度の平均値を［Ｂ］とする。

【0040】

その場合、例えば、Ｇを基準として、以下のように各補正ゲイン値を算出できる。
Ｇｇ＝［Ｇ］／［Ｇ］＝１
Ｇｒ＝［Ｇ］／［Ｒ］
Ｇｂ＝［Ｇ］／［Ｂ］

【0041】

また、決定部５１３が第１の補正ゲイン値と、第２の補正ゲイン値と、第３の補正ゲイン値と、を新たに決定（更新）するタイミングは、所定周期または所定条件充足時である。なお、当該更新を行う理由は、以下の通りである。

【0042】

赤外光を照射しての撮影ではあるが、可視光減衰フィルタ３で可視光を完全にカットしているわけではない。そして、刻々と光環境が変化していく中で、可視光成分は外乱光であり、カラーイメージセンサ４が受光する可視／赤外成分の光量比率は一定ではなく変化しうる。したがって、適正な各補正ゲイン値も変化しうるので、各補正ゲイン値を適宜更新することが好ましい。

【0043】

所定周期とは、例えば、毎フレーム、数秒おき、数分おき等である。また、所定条件充足時とは、撮影対象領域の光環境が変わったことを検知した場合であり、具体的には、例えば、以下の（１）～（３）のときである。

【0044】

（１）撮影画像における平均輝度の変化（画像全体、補正領域ごと）
（２）カメラ露光時間の変化（光量変化を検出）
（３）輝度のヒストグラムの変化（画像全体、補正領域ごと）

【0045】

なお、例えば、夜間などの可視光がほぼ無い条件下では、各補正ゲイン値が大きく変わることは少ないので、各補正ゲイン値を更新しないようにしてもよい。

【0046】

生成部５１４は、撮影画像における所定範囲について、それぞれの第１の画素（Ｇ）の輝度に第１の補正ゲイン値を乗算した値と、それぞれの第２の画素（Ｒ）の輝度に第２の補正ゲイン値を乗算した値と、それぞれの第３の画素（Ｂ）の輝度に第３の補正ゲイン値を乗算した値と、を用いることで、モノクロ画像を生成する。これにより、補正後のＲＧＢの輝度平均値が一致するので、ＲＧＢごとの感度差による市松模様を抑制できる。

【0047】

なお、上述の計算例では、各補正ゲイン値は１または１に近い値である。よって、例えば、各補正ゲイン値の正常範囲を決め、その正常範囲を逸脱した場合には何らかの不具合があるとして警告を出すようにしてもよい。正常範囲は、例えば、カラーイメージセンサ４の色ごとの感度差の最大値や、可視光減衰フィルタ３の特性等から決定できる。

【0048】

制御部５１５は、各部５１１～５１４が行う処理以外の処理や制御を行う。例えば、制御部５１５は、生成部５１４によって生成されたモノクロ画像を記憶部５２に記憶させたり、ＥＣＵ６に送信したりする。また、制御部５１５は、カラーイメージセンサ４からのＲＧＢ出力に基づくカラー画像を記憶部５２に記憶させたり、ＥＣＵ６に送信したりする。

【0049】

図５は、実施形態の画像処理回路５による処理を示すフローチャートである。まず、赤外線照射部７によって撮影対象領域に赤外光が照射されている状況で、ステップＳ１において、取得部５１１は、カラーイメージセンサ４から撮影画像を取得する。

【0050】

次に、ステップＳ２において、制御部５１５は、ステップＳ１で取得した撮影画像に対して黒レベル補正を行う。

【0051】

次に、ステップＳ３において、算出部５１２は、撮影画像について処理エリアの切り出しを行う。

【0052】

次に、ステップＳ４において、処理部５１は、補正タイミングの判定を行う。つまり、処理部５１は、上述の所定周期や所定条件充足時に、補正タイミングであると判定する。

【0053】

次に、ステップＳ５において、算出部５１２は、撮影画像における補正領域を抽出する。例えば、上述のように、撮影画像について無地領域と判定した範囲を補正領域とする。

【0054】

次に、ステップＳ６において、算出部５１２は、撮影画像における補正領域について、各画素色（ＲＧＢ）ごとの平均輝度（輝度の平均値）を算出する。

【0055】

次に、ステップＳ７において、決定部５１３は、各画素色（ＲＧＢ）ごとの補正ゲイン値を決定する。

【0056】

次に、ステップＳ８において、生成部５１４は、ＲＧＢの各画素ごとに、輝度に補正ゲイン値を乗算して、モノクロ画像を生成する。

【0057】

このように、本実施形態の画像処理システムＳによれば、カラーイメージセンサ４の撮影画像を利用する場合に、上述の第１の補正ゲイン値Ｇｇと、第２の補正ゲイン値Ｇｒと、第３の補正ゲイン値Ｇｂと、を用いた輝度補正の演算を行うことで、第１の画素（Ｇ）と、第２の画素（Ｒ）と、第３の画素（Ｂ）と、の赤外領域の感度の差による影響を減らすことがで、高解像度のモノクロ画像（赤外画像）を得ることができる。つまり、補正後のＲＧＢの輝度平均値が一致するので、ＲＧＢごとの感度差による市松模様を抑制できる。

【0058】

したがって、入手容易な一般的なカラーイメージセンサ４を用いて、モノクロＩＲイメージセンサと同等の高解像度の赤外画像を安定して取得できる。そして、例えば、この技術をＤＭＳ(Driver Monitoring System)等に応用することができる。

【0059】

例えば、そのような高解像度のモノクロ画像を用いて、撮影対象領域内に写っている物体（例えば人）の存在、姿勢、状態等を検出し、検出データを機器制御等に利用することができる。具体的には、例えば、画像処理による車両の乗員の視線認識時に、プルキニエ像や瞳孔を高精度で検出することができる。

【0060】

また、第１の補正ゲイン値Ｇｇと、第２の補正ゲイン値Ｇｒと、第３の補正ゲイン値Ｇｂと、を適宜更新することで、高解像度のモノクロ画像（赤外画像）を継続して得ることができる。

【0061】

また、所定範囲が無地で各画素の輝度補正の必要性が高いときに当該補正を行うことができる。

【0062】

また、３つの色成分が光の三原色の場合に上述の補正を行うことができる。

【0063】

また、可視光減衰フィルタ３を使用することにより、従来技術のように可視光遮断フィルタと赤外線遮断フィルタを交換することなく、赤外画像とカラー画像（ＲＧＢ画像）の両方を取得すること、つまり、赤外成分と可視光を低減した成分との合算値を輝度として取得することができる。そして、カラー画像は、色情報を用いた画像認識やディスプレイへの表示などに利用でき、従来の構成ではできなかったセンシングや認識の機能追加や精度向上に貢献できる。

【0064】

（変形例）
以下、変形例について説明する。上述の実施形態では、図２に示すようなベイヤータイプのＲＧＢの画素配列の場合について説明した。本発明は、これに限定されず、ＲＧＢ－ＩＲの画素配列の場合にも適用できる。つまり、カラーイメージセンサ４として、ベイヤー配列のＲＧＢイメージセンサの代わりに、ＲＧＢ－ＩＲのイメージセンサを用いることができる。このＲＧＢ－ＩＲのイメージセンサは、ＩＲカットフィルタを有さず、検出した信号からＲＧＢ成分のみを抽出できるように、ＩＲのみに感度がある画素を設けたものである。

【0065】

図６は、変形例のＲＧＢ－ＩＲの画素配列を示す模式図である。ＲＧＢの各画素は、ＩＲのみの画素（第4の画素）と一般的にはほぼ同じ特性のＩＲ領域の感度を有する。そのため、ＲＧＢ－ＩＲのイメージセンサからのＲＧＢ出力は、「Ｒ＋ＩＲ」、「Ｇ＋ＩＲ」、「Ｂ＋ＩＲ」と表わすことができる。したがって、ＲＧＢ出力からＩＲ成分を減算することで、ＲＧＢ各色の抽出が可能になる。

【0066】

また、上述の所定条件充足時として、例えば、以下の（４）のときとしてもよい。
（４）ＩＲ画素の平均輝度とＲ、Ｇ、Ｂそれぞれの平均輝度の比が一定以上になった場合（画像全体、補正領域ごと）

【0067】

本実施形態の画像処理回路５で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0068】

さらに、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、当該プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0069】

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0070】

例えば、撮影画像における隣接する２つの無地領域について、別々の各補正ゲイン値を算出した場合、境界部分では補正ゲイン値を徐変させてもよい。

【0071】

また、画像処理装置の機能の一部をＥＣＵ６によって実現してもよい。

【符号の説明】

【0072】

１…カメラ、２…レンズ、３…可視光減衰フィルタ、４…カラーイメージセンサ、５…画像処理回路、６…ＥＣＵ、７…赤外線照射部、８…車内ネットワーク、５１…処理部、５２…記憶部、５１１…取得部、５１２…算出部、５１３…決定部、５１４…生成部、５１５…制御部、Ｓ…画像処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】