特許 5988093 画像処理装置、物体識別装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5988093

(24)【登録日】2016年8月19日

(45)【発行日】2016年9月7日

(54)【発明の名称】画像処理装置、物体識別装置、及びプログラム

(51)【国際特許分類】

   H04N 1/46 20060101AFI20160825BHJP

   G06T 1/00 20060101ALI20160825BHJP

   H04N 1/60 20060101ALI20160825BHJP

【ＦＩ】

   H04N1/46 Z

   G06T1/00 510

   H04N1/40 D

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2012-168378(P2012-168378)

(22)【出願日】2012年7月30日

(65)【公開番号】特開2014-27597(P2014-27597A)

(43)【公開日】2014年2月6日

【審査請求日】2015年6月23日

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】304019399

【氏名又は名称】国立大学法人岐阜大学

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】城殿 清澄

(72)【発明者】

【氏名】寒澤 佑介

(72)【発明者】

【氏名】山本 和彦

(72)【発明者】

【氏名】加藤 邦人

(72)【発明者】

【氏名】伊藤 啓太

【審査官】 豊田 好一

(56)【参考文献】

【文献】 特開２００９−２９４８５４（ＪＰ，Ａ）

【文献】 特開平０８−０５１６３２（ＪＰ，Ａ）

【文献】 特開２００８−０５２４２８（ＪＰ，Ａ）

【文献】 特開２００８−１０３８０９（ＪＰ，Ａ）

【文献】 特開２００１−０７８２０２（ＪＰ，Ａ）

【文献】 特開２０１０−０５５１９２（ＪＰ，Ａ）

【文献】 特開２００１−０８３００９（ＪＰ，Ａ）

【文献】 特開２００８−０２７２４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４６−６２

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／４０

(57)【特許請求の範囲】

【請求項1】

被写体に照明光が照射されたとき及び照射されていないときの各々において、複数の波長帯の光の各々で撮像された複数の画像のいずれかの画素値に基づいて、該画像内に環境光の影響の強さに応じた複数の領域を設定する設定手段と、
前記設定手段により設定された領域毎に、前記環境光の波長帯毎のスペクトル強度比を示すスペクトルバランスを推定する推定手段と、
前記推定手段により推定された環境光のスペクトルバランスに基づいて、環境光の波長帯毎のスペクトル強度が一定となるように、前記複数の波長帯の画像の各々における前記領域内の画素の画素値を補正する補正手段と、
を含む画像処理装置。

【請求項2】

前記推定手段は、同一波長帯における前記照明光が照射されたときの画像と前記照明光が照射されていないときの画像との差分値、前記照明光が照射されていないときの画像の画素値、及び前記照明光の波長帯毎のスペクトル強度比に基づいて、前記環境光のスペクトルバランスを推定する請求項１記載の画像処理装置。

【請求項3】

前記推定手段は、前記差分値及び前記照明光が照射されていないときの画像の画素値の各々を、前記領域内において空間積分した値を用いて、前記環境光のスペクトルバランスを推定する請求項２記載の画像処理装置。

【請求項4】

前記設定手段は、前記複数の波長帯のいずれかの画像の輝度値、及びいずれかの同一波長帯における前記照明光が照射されたときの画像と前記照明光が照射されていないときの画像との差分値の少なくとも一方と、環境光の影響の強さに応じて予め定めた閾値とを比較することにより、前記領域を設定する請求項１〜請求項３のいずれか１項記載の画像処理装置。

【請求項5】

前記設定手段は、照度計により計測した前記環境光の照度、または時刻もしくは前記環境光の光源位置により推定された環境光の強度に基づいて、前記領域を設定する請求項１〜請求項４のいずれか１項記載の画像処理装置。

【請求項6】

請求項１〜請求項５のいずれか１項記載の画像処理装置と、
前記補正手段により補正された複数の波長帯の画像の各々の画素値に基づく値と、前記照明光に対する識別対象の物体の分光反射率特性に基づいて予め定めた閾値とを比較して、前記識別対象の物体を識別する識別手段と、
を含む物体識別装置。

【請求項7】

前記推定手段は、前記環境光のスペクトルバランスとして、前記識別手段で用いる画像の波長帯における前記環境光のスペクトル強度比を推定する請求項６記載の物体識別装置。

【請求項8】

前記識別手段は、前記閾値を前記環境光の影響の強さに応じて前記領域毎に設定し、前記領域毎に前記識別対象の物体を識別し、前記領域毎の識別結果を統合する請求項６または請求項７記載の物体識別装置。

【請求項9】

前記設定手段は、環境光の影響の強さが強い領域か又は弱い領域かを判定するための領域閾値と、前記複数の画像のいずれかの画素値に基づく値、又は、同一波長帯における前記照明光が照射されたときの画像と前記照明光が照射されていないときの画像との差分値とを比較して、該画像内に環境光の影響が強い領域と弱い領域とを設定し、
前記推定手段は、前記環境光の影響が強い領域における前記環境光のスペクトルバランスを推定し、
前記補正手段は、前記推定手段により推定された環境光のスペクトルバランスに基づいて、前記環境光の影響が強い領域内の画素の画素値を補正し、
前記識別手段は、前記環境光の影響が弱い領域は、前記補正手段による補正前の画像を用いて前記識別対象の物体を識別し、前記環境光の影響が強い領域は、前記補正手段による補正後の画像を用いて前記識別対象の物体を識別する
請求項６〜請求項８のいずれか１項記載の物体識別装置。

【請求項10】

コンピュータを、
被写体に照明光が照射されたとき及び照射されていないときの各々において、複数の波長帯の光の各々で撮像された複数の画像のいずれかの画素値に基づいて、該画像内に環境光の影響の強さに応じた複数の領域を設定する設定手段、
前記設定手段により設定された領域毎に、前記環境光の波長帯毎のスペクトル強度比を示すスペクトルバランスを推定する推定手段、及び
前記推定手段により推定された環境光のスペクトルバランスに基づいて、環境光の波長帯毎のスペクトル強度が一定となるように、前記複数の波長帯の画像の各々における前記領域内の画素の画素値を補正する補正手段
として機能させるための画像処理プログラム。

【請求項11】

コンピュータを、
請求項１〜請求項５のいずれか１項記載の画像処理装置を構成する各手段、及び
前記補正手段により補正された複数の波長帯の画像の各々の画素値に基づく値と、前記照明光に対する識別対象の物体の分光反射率特性に基づいて予め定めた閾値とを比較して、前記識別対象の物体を識別する識別手段
として機能させるための物体識別プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、物体識別装置、及びプログラムに関する。

【背景技術】

【0002】

従来、マルチバンドカメラを用いたマルチバンド画像情報抽出方法であって、被写体を照射する光源情報が未知の光源を被写体に点灯してマルチバンド画像情報を取得し、また光源情報が未知の光源と光源情報が既知のプローブ光源を併用して同一被写体を照射してマルチバンド画像を取得し、プローブ光源を点灯して撮像した場合の被写体のマルチバンド画像情報から、プローブ光源を点灯させないで撮像した場合の被写体のマルチバンド画像情報を減じた差を、既知のプローブ光源情報で割ることによって、被写体の分光反射率情報を取得することを特徴とするマルチバンド画像情報抽出方法が提案されている（例えば、特許文献１参照）。

【0003】

また、マルチバンドカメラにより得られた複数のスペクトル画像を表す画像データを、光量に対して線形となるように補正して、複数のスペクトル画像における画素毎に分光エネルギー分布を求め、さらにこれの積分値を求め、この積分値を値が大きい順にソートし、上位２％の値を採る画素群における積分値の平均値等を求め、これを撮像時における光源の分光エネルギーデータとし、画像データを分光エネルギーデータにより規格化して、被写体の分光反射率データを求める画像処理方法が提案されている（例えば、特許文献２参照）。

【0004】

また、被写体をカメラによって撮像して得られたマルチバンド画像から所定の照明環境下の色再現画像を生成する画像処理装置であって、カメラの分光感度情報と、撮像時の照明光の分光分布情報と、被写体の統計情報とから得られる分光反射率推定行列と、マルチバンド画像上の白色点の画素値とを入力して、白色点の分光反射率を算出し、分光反射率推定行列を、白色点の分光反射率に基づき補正し、補正後の分光反射率推定行列に基づきホワイトバランス調整後の分光反射率画像を生成し、分光反射率画像から所定の照明環境下の色再現画像を生成する画像処理装置が提案されている（例えば、特許文献３参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００１−８３００９号公報

【特許文献2】特開２００１−２２９３０号公報

【特許文献3】特開２０１１−２５９２０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、屋外環境においてはストロボ等による照射光が輝度値に反映されない場合がある。例えば、太陽光が強く照射されている物体表面ではストロボを照射した画像と照射しない画像との間で輝度値に大きな変化が表れない。このような領域に対して特許文献１の手法を適用すると、計算される被写体の分光反射率情報は誤差を多く含んだ情報になる、という問題がある。

【0007】

また、特許文献２の技術では、画像中に環境光を全反射するような領域が含まれると仮定して、輝度の大きい上位２％程度の画素群から光源の分光情報を算出している。しかしながら、一般的に環境光を全反射するような領域はその他の領域に比べて格段に入射光量が大きいため、画素値が飽和していることが多い。画素値の飽和は輝度情報の欠落を意味するため、光源の分光スペクトル情報を復元することは困難である。また、画像中で輝度の大きい領域が必ずしも環境光を全反射する領域に対応しているという保証はなく、入力シーンに応じて環境光とは異なる分光情報が算出され、誤った規格化により想定した被写体の分光反射率が正しく求められない場合がある、という問題がある。

【0008】

また、特許文献３の技術では、ユーザによって指定された白色点の輝度値を基準としてマルチバンド画像におけるホワイトバランスを調整している。しかしながら、一般的な屋外環境を入力画像とした場合、必ずしも適切な白色点が画像中に含まれるとは限らない。また、白色点をユーザが指定する構成では装置の自動化の実現に不向きである、という問題がある。

【0009】

本発明は、上記の問題点を解決するためになされたもので、環境光の影響を考慮した適切な補正を行うことができる画像処理装置及びプログラム、並びに適切に補正された画像から精度良く物体を識別することができる物体識別装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明の画像処理装置は、被写体に照明光が照射されたとき及び照射されていないときの各々において、複数の波長帯の光の各々で撮像された複数の画像のいずれかの画素値に基づいて、該画像内に環境光の影響の強さに応じた複数の領域を設定する設定手段と、前記設定手段により設定された領域毎に、前記環境光の波長帯毎のスペクトル強度比を示すスペクトルバランスを推定する推定手段と、前記推定手段により推定された環境光のスペクトルバランスに基づいて、環境光の波長帯毎のスペクトル強度が一定となるように、前記複数の波長帯の画像の各々における前記領域内の画素の画素値を補正する補正手段と、を含んで構成されている。

【0011】

本発明の画像処理装置によれば、設定手段が、被写体に照明光が照射されたとき及び照射されていないときの各々において、複数の波長帯の光の各々で撮像された複数の画像のいずれかの画素値に基づいて、画像内に環境光の影響の強さに応じた複数の領域を設定する。そして、推定手段が、設定手段により設定された領域毎に、環境光の波長帯毎のスペクトル強度比を示すスペクトルバランスを推定し、補正手段が、推定手段により推定された環境光のスペクトルバランスに基づいて、環境光の波長帯毎のスペクトル強度が一定となるように、複数の波長帯の画像の各々における領域内の画素の画素値を補正する。

【0012】

このように、環境光の影響の強さに応じた領域、すなわち同様のスペクトルバランスになると考えられる領域を設定し、領域毎に推定した環境光のスペクトルバランスに基づいて画素値を補正するため、環境光の影響を考慮した適切な補正を行うことができる。

【0013】

また、前記推定手段は、同一波長帯における前記照明光が照射されたときの画像と前記照明光が照射されていないときの画像との差分値、前記照明光が照射されていないときの画像の画素値、及び前記照明光の波長帯毎のスペクトル強度比に基づいて、前記環境光のスペクトルバランスを推定することができる。この場合、前記推定手段は、前記差分値及び前記照明光が照射されていないときの画像の画素値の各々を、前記領域内において空間積分した値を用いて、前記環境光のスペクトルバランスを推定することができる。これにより、暗電流などによるノイズの影響を減少させ、環境光のスペクトルバランスの推定精度を向上させることができる。

【0014】

また、前記設定手段は、前記複数の波長帯のいずれかの画像の輝度値、及びいずれかの同一波長帯における前記照明光が照射されたときの画像と前記照明光が照射されていないときの画像との差分値の少なくとも一方と、環境光の影響の強さに応じて予め定めた閾値とを比較することにより、前記領域を設定することができる。これにより、環境光の影響の強さに応じた領域を適切に設定することができる。

【0015】

また、前記設定手段は、照度計により計測した前記環境光の照度、または時刻もしくは前記環境光の光源位置により推定された環境光の強度に基づいて、前記領域を設定することができる。これにより、環境光の影響の強さに応じた領域をより適切に設定することができる。

【0016】

また、上記目的を達成するために、本発明の物体識別装置は、上記の画像処理装置と、前記補正手段により補正された複数の波長帯の画像の各々の画素値に基づく値と、前記照明光に対する識別対象の物体の分光反射率特性に基づいて予め定めた閾値とを比較して、前記識別対象の物体を識別する識別手段と、を含んで構成されている。

【0017】

本発明の物体識別装置によれば、識別手段が、推定手段により推定された領域毎の環境光のスペクトルバランスに基づいて、補正手段により補正された複数の波長帯の画像の各々の画素値に基づく値と、照明光に対する識別対象の物体の分光反射率特性に基づいて予め定めた閾値とを比較して、識別対象の物体を識別する。

【0018】

環境光のスペクトルバランスが崩れている場合には、識別対象の物体の分光反射率特性に基づいた識別処理が適切に行えない場合があるが、環境光のスペクトルバランスに基づいて補正された画素値を用いることで、精度良く物体を識別することができる。

【0019】

また、前記推定手段は、前記環境光のスペクトルバランスとして、前記識別手段で用いる画像の波長帯における前記環境光のスペクトル強度比を推定することができる。これにより、スペクトルバランスの推定処理を軽減することができる。

【0020】

また、前記識別手段は、前記閾値を前記環境光の影響の強さに応じて前記領域毎に設定し、前記領域毎に前記識別対象の物体を識別し、前記領域毎の識別結果を統合することができる。これにより、環境光の影響の強さを考慮したより適切な識別を行うことができる。

【0021】

また、前記設定手段は、環境光の影響の強さが強い領域か又は弱い領域かを判定するための領域閾値と、前記複数の画像のいずれかの画素値に基づく値、又は、同一波長帯における前記照明光が照射されたときの画像と前記照明光が照射されていないときの画像との差分値とを比較して、該画像内に環境光の影響が強い領域と弱い領域とを設定し、前記推定手段は、前記環境光の影響が強い領域における前記環境光のスペクトルバランスを推定し、前記補正手段は、前記推定手段により推定された環境光のスペクトルバランスに基づいて、前記環境光の影響が強い領域内の画素の画素値を補正し、前記識別手段は、前記環境光の影響が弱い領域は、前記補正手段による補正前の画像を用いて前記識別対象の物体を識別し、前記環境光の影響が強い領域は、前記補正手段による補正後の画像を用いて前記識別対象の物体を識別することができる。これにより、全体的な処理軽減と共に識別精度を向上することができる。

【0022】

また、本発明の画像処理プログラムは、コンピュータを、被写体に照明光が照射されたとき及び照射されていないときの各々において、複数の波長帯の光の各々で撮像された複数の画像のいずれかの画素値に基づいて、該画像内に環境光の影響の強さに応じた複数の領域を設定する設定手段、前記設定手段により設定された領域毎に、前記環境光の波長帯毎のスペクトル強度比を示すスペクトルバランスを推定する推定手段、及び前記推定手段により推定された環境光のスペクトルバランスに基づいて、環境光の波長帯毎のスペクトル強度が一定となるように、前記複数の波長帯の画像の各々における前記領域内の画素の画素値を補正する補正手段として機能させるためのプログラムである。

【0023】

また、本発明の物体識別プログラムは、コンピュータを、上記の画像処理装置を構成する各手段、及び前記補正手段により補正された複数の波長帯の画像の各々の画素値に基づく値と、前記照明光に対する識別対象の物体の分光反射率特性に基づいて予め定めた閾値とを比較して、前記識別対象の物体を識別する識別手段として機能させるためのプログラムである。

【発明の効果】

【0024】

以上説明したように、本発明の画像処理装置及びプログラムによれば、環境光の影響の強さに応じた領域、すなわち同様のスペクトルバランスになると考えられる領域を設定し、領域毎に推定した環境光のスペクトルバランスに基づいて画素値を補正するため、環境光の影響を考慮した適切な補正を行うことができる、という効果が得られる。

【0025】

また、本発明の物体識別装置及びプログラムによれば、上記のように補正された画素値を用いて識別処理を行うことにより、精度良く物体を識別することができる、という効果が得られる。

【図面の簡単な説明】

【0026】

【図1】第１の実施の形態に係る画像処理装置の構成を示す概略図である。

【図2】第１の実施の形態における画像処理ルーチンの内容を示すフローチャートである。

【図3】第２の実施の形態に係る物体識別装置の構成を示す概略図である。

【図4】人肌の分光反射率特性を示すグラフである。

【図5】第２の実施の形態における物体識別処理ルーチンの内容を示すフローチャートである。

【図6】領域の違いによる人肌識別処理の前処理を示すイメージ図である。

【図7】人肌識別処理ルーチンの内容を示すフローチャートである。

【図8】領域毎の人肌識別結果及び統合結果の一例を示すイメージ図である。

【発明を実施するための形態】

【0027】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0028】

図１に示すように、第１の実施の形態に係る画像処理装置１０は、対象領域を撮像する撮像装置１２と、対象領域に光を照射する照明装置１４と、撮像装置１２から出力される画像データを処理するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。

【0029】

撮像装置１２は、対象領域を撮像し、画像信号を生成する撮像部（図示省略）、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。本実施の形態では、近赤外領域の３つの波長帯（例えば、中心波長８７０ｎｍ、９７０ｎｍ、１０５０ｎｍ、半値幅５０ｎｍ）の各々に対応した画像を撮像することができるマルチバンドカメラを用いる。撮像装置１２の構成については特に限定しないが、各波長帯の画像の全てで光軸及び視野角が揃った画像が撮像される構成が望ましい。例えば、単板式カラーカメラで用いられるＢａｙｅｒフィルタのように画素単位で異なる透過特性を持つフィルタを貼り合わせた構成としてもよいし、プリズムで分光して各波長帯に対応した複数の撮像素子の各々により各波長帯の画像を取得する構成としてもよい。

【0030】

照明装置１４は、撮像装置１２の視野角内に存在する被写体に向けて近赤外領域の光を照射する。照明光は撮像装置１２の受光可能な波長帯域を含む。照明装置１４は撮像装置１２のシャッターに連動してストロボのように動作し、撮像装置１２では、３つの波長帯毎に、被写体に照明光を照射したときに撮像された画像データ（画像Ｉｐ）と、照明光を照射していないときに撮像された画像データ（画像Ｉｅ）とが取得される。

【0031】

コンピュータ１６は、画像処理装置１０全体の制御を司るＣＰＵ、後述する画像処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

【0032】

このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２から出力された画像に対して、環境光の影響の強さに応じた領域を設定する領域設定部２２と、設定された領域毎に環境光のスペクトルバランスを推定する環境光推定部２４と、推定結果に基づいて画像の輝度値を補正する画像補正部２６とを含んだ構成で表すことができる。なお、領域設定部２２は本発明の設定手段の一例であり、環境光推定部２４は本発明の推定手段の一例であり、画像補正部２６は本発明の補正手段の一例である。

【0033】

領域設定部２２は、入力された画像（３波長帯×照明光の有無）のいずれかを用いて、画素単位または所定数の画素群からなる小領域単位で環境光の影響を分析し、環境光の影響の強さに応じて複数の領域を設定する。例えば、環境光の影響の強さをいくつかのレベルに分けて、画素または小領域の環境光の影響の強さがどのレベルに属するかを判定して領域を設定する。例えば、輝度値の大きさを環境光の影響の強さとみなして、いずれかの波長帯の画像Ｉｅの明るさ（輝度値）Ｌ（Ｉｅ）に対して段階的な閾値を設け、各画素の輝度値、または小領域に含まれる各画素の輝度値の平均を閾値と比較することにより、領域を設定する。このとき、画像Ｉｅだけでなく画像Ｉｐの輝度値Ｌ（Ｉｐ）を利用してもよい。この他に、同波長帯の２つの画像ＩｐとＩｅとの照明有無差分画像を生成し、その差分値によって環境光の影響の強さを推定することも有効である。例えば、ある波長帯λの画像Ｉｐ_λと画像Ｉｅ_λとの照明有無差分画像の各照明有無差分値Ｉ_λ＝Ｌ（Ｉｐ_λ）−Ｌ（Ｉｅ_λ）の値が小さいほど環境光の影響の度合いが大きい領域として設定する。

【0034】

また、Ｌ（Ｉｐ_λ）及びＬ（Ｉｅ_λ）の少なくとも一方とＩ_λとの両方を領域設定の判定基準として利用してもよい。さらには、照度計や太陽位置推定部を別途設けて、太陽光の照射角度や時間に応じた強度などを領域設定に利用してもよい。また、設定される複数の領域は重複を許すように設定してもよい。

【0035】

環境光推定部２４は、各領域に含まれる環境光のスペクトルバランスＳを推定する。ここで、近赤外の３波長帯に対する環境光のスペクトル強度の比は下記（１）式により求められる。

【0036】

【数1】

【0037】

ただし、各記号の添え字は波長帯を表す。また、Ｄは照明装置１４の既知のスペクトルバランスから得られる３波長帯の各々のスペクトル強度の比である。実際には３波長帯間のスペクトル強度比が分かればよいので、例えば１０５０ｎｍ帯を基準として、下記（２）式により環境光のスペクトルバランスＳを求めればよい。

【0038】

【数2】

【0039】

なお、（１）式において、分母の照明有無差分値Ｉ_λは非常に重要であるが、屋外環境の太陽光を環境光として想定した場合には、照明光は環境光よりも照射強度が非常に小さいため、照明有無差分値Ｉ_λも小さくなる。このため、撮像装置１２の暗電流など、ランダム性の高いノイズの影響を受け易くなる。そこで、環境光は領域全体に渡って一様であると仮定し、下記（３）式に示すように、領域内で輝度値及び照明有無差分値を空間的に積分する。これにより、ノイズの影響を減少させ、環境光のスペクトルバランスＳの推定精度を向上させることができる。

【0040】

【数3】

【0041】

画像補正部２６は、環境光推定部２４で推定された領域毎の環境光のスペクトルバランスＳに基づいて、領域内の各画素の輝度値を補正する。具体的には、Ｌ（Ｉｅ₈₇₀）には、（２）式で求めた比率Ｓ₈₇₀／Ｓ₁₀₅₀の逆数を掛け、Ｌ（Ｉｅ₉₇₀）には、（２）式で求めた比率Ｓ₉₇₀／Ｓ₁₀₅₀の逆数を掛ける。

【0042】

また、画像補正部２６は、輝度値が補正された各波長帯の画像Ｉｅ’を合成したマルチバンド画像を生成し、生成したマルチバンド画像が表示装置１８に表示されるように制御する。

【0043】

次に、第１の実施の形態に係る画像処理装置１０の作用について説明する。

【0044】

照明装置１４により被写体に照明が照射されたとき、及び照射されていないときに撮像装置１２により被写体の撮像が行われ、撮像装置１２から各波長帯の画像データ（Ｉｐ₈₇₀、Ｉｐ₉₇₀、Ｉｐ₁₀₅₀、Ｉｅ₈₇₀、Ｉｅ₉₇₀、Ｉｅ₁₀₅₀）が出力されると、コンピュータ１６において、図２に示す画像処理ルーチンが実行される。

【0045】

ステップ１００で、領域設定部２２が、撮像装置１２から出力された各画像データを取得し、次に、ステップ１０２で、取得した画像のいずれかを用いて、画素単位または小領域単位で環境光の影響を分析し、環境光の影響の強さに応じて複数の領域を設定する。

【0046】

次に、ステップ１０４で、領域設定部２２が、上記ステップ１０２で設定された領域から１つの領域を選択する。

【0047】

次に、ステップ１０６で、環境光推定部２４が、上記ステップ１０４で選択された領域に含まれる環境光のスペクトルバランスＳを、各画像の輝度値（Ｌ（Ｉｐ₈₇₀）、Ｌ（Ｉｐ₉₇₀）、Ｌ（Ｉｐ₁₀₅₀）、Ｌ（Ｉｅ₈₇₀）、Ｌ（Ｉｅ₉₇₀）、Ｌ（Ｉｅ₁₀₅₀））及び照明装置１４による照明光の３波長帯のスペクトル強度の比（Ｄ₈₇₀、Ｄ₉₇₀、Ｄ₁₀₅₀）を用いて、（３）式により推定する。

【0048】

次に、ステップ１０８で、画像補正部２６が、上記ステップ１０６で推定された環境光のスペクトルバランスＳを（２）式により表した比率を用いて、各波長帯の画像Ｉｅの輝度値を補正する。

【0049】

次に、ステップ１１０で、領域設定部２２が、上記ステップ１０２で設定された全領域について処理が終了したか否かを判定し、未処理の領域が存在する場合には、ステップ１０４へ戻って、次の領域を選択して、ステップ１０６及び１０８の処理を繰り返す。全ての領域について処理が終了した場合には、ステップ１１２へ移行し、画像補正部２６が、輝度値が補正された各波長帯の画像Ｉｅ’を合成したマルチバンド画像を生成し、生成したマルチバンド画像が表示装置１８に表示されるように制御して、画像処理ルーチンを終了する。

【0050】

環境光が強く当たっている箇所、反射した環境光が当たっている箇所、環境光がほとんど当たっていない箇所等により、環境光は様々なスペクトルバランスとなるが、本実施の形態の画像処理装置によれば、環境光の影響の強さに応じた領域、すなわち同様のスペクトルバランスになると考えられる領域を設定し、領域毎に環境光のスペクトルバランスを推定して、環境光のスペクトルバランスがフラットになるように輝度値を補正するため、環境光の影響を考慮した適切な補正を行うことができる。

【0051】

このような画像処理を行うことで、領域毎のホワイトバランス調整が可能となり、例えば、画像暗部の色かぶりのような現象を補正することができる。

【0052】

次に、第２の実施の形態について説明する。第２の実施の形態では、第１の実施の形態で説明した画像処理装置を適用した物体識別装置について説明する。ここでは、識別対象の物体を人肌（人物の肌）とする場合について説明する。なお、第２の実施の形態に係る物体識別装置において、第１の実施の形態に係る画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。

【0053】

図３に示すように、第２の実施の形態に係る物体識別装置２１０は、撮像装置１２と、照明装置１４と、コンピュータ２１６と、表示装置１８とを備えている。

【0054】

コンピュータ２１６は、機能的には、領域設定部２２２と、環境光推定部２２４と、画像から人肌領域を識別する第１識別部２８及び第２識別部３０と、第１識別部２８及び第２識別部３０の識別結果を統合する統合処理部３２とを含んだ構成で表すことができる。なお、第１識別部２８、第２識別部３０、及び統合処理部３２は本発明の識別手段の一例である。

【0055】

領域設定部２２２は、第１の実施の形態における領域設定部２２と同様に、環境光の影響の強さに応じて複数の領域を設定する。ここでは、環境光の影響が強い領域Ａ及び環境光の影響が弱い領域Ｂの２つの領域を設定するものとする。

【0056】

環境光推定部２２４は、領域設定部２２２において領域Ａに設定された領域について、第１の実施の形態と同様に、環境光のスペクトルバランスＳを推定する。

【0057】

第１識別部２８は、領域設定部２２２で領域Ｂに設定された領域について、取得した画像（３波長帯×照明光の有無）の各々にノイズ除去のためのフィルタリング処理を施し、同一波長帯の画像毎にＩｐとＩｅとの照明有無差分画像を生成する。そして、画素単位または小領域単位で、生成した照明有無差分画像の照明有無差分値Ｉ_λを用いて、下記（４）式及び（５）式に示す波長間差分値Ｉｄ₁及びＩｄ₂を算出する。

【0058】

Ｉｄ₁＝Ｉ₈₇₀−Ｉ₉₇₀ （４）
Ｉｄ₂＝Ｉ₁₀₅₀−Ｉ₉₇₀ （５）

【0059】

図４に示すように、人肌の分光反射率は９７０ｎｍが最も低く、８７０ｎｍ、１０５０ｎｍでは９７０ｎｍ帯よりも高い。したがって、上記で求めた２つの差分値に対する閾値Ｔｈ₁及びＴｈ₂を設定し、下記（６）式に示す条件を満たす画素または小領域を人肌領域として識別して、人肌領域を示すフラグを付与する。

【0060】

Ｉｄ₁＞Ｔｈ₁ ∧ Ｉｄ₂＞Ｔｈ₂ （６）

【0061】

第２識別部３０は、画像補正部２６による補正後の画像Ｉｅ’の各領域に対して、下記（７）式及び（８）式に示す波長間差分値Ｉｄ’₁及びＩｄ’₂を算出し、第１識別部２８と同様に、人肌領域を示すフラグを付与する。

【0062】

Ｉｄ’₁＝Ｉｅ’₈₇₀−Ｉｅ’₉₇₀ （７）
Ｉｄ’₂＝Ｉｅ’₁₀₅₀−Ｉｅ’₉₇₀ （８）

【0063】

なお、第２識別部３０の処理対象となる領域は環境光の影響が強い領域Ａであるが、環境光の影響が強いほど図４に示すような人肌の分光反射特性が明確に現れ難い場合もある。そこで、Ｔｈ₁’＜Ｔｈ₁及びＴｈ₂’＜Ｔｈ₂となる閾値Ｔｈ₁及びＴｈ₂’を用いて、下記（９）式を人肌領域の識別条件とする。

【0064】

Ｉｄ’₁＞Ｔｈ₁’ ∧ Ｉｄ’₂＞Ｔｈ₂’ （９）

【0065】

統合処理部３２は、第１識別部２８の識別結果と第２識別部３０の識別結果とを統合する。領域Ａと領域Ｂとに重複がなければ、人肌領域のフラグが付いた画素または小領域を抽出及び合成することにより、識別結果を統合することができる。領域Ａと領域Ｂとに重複がある場合には、人肌領域のフラグが付いた画素または小領域の論理和や論理積をとる形で合成してもよいし、環境光の影響の強さや領域の面積、領域内での環境光スペクトルのバラつきなどに基づいて、人肌領域の識別結果の信頼性を判定して統合するようにしてもよい。画素単位で人肌領域のフラグを付与した場合には、ノイズの多い統合結果となるため、膨張・縮退処理などによりノイズを除去したものを最終の識別結果としてもよい。

【0066】

次に、第２の実施の形態に係る物体識別装置２１０の作用について説明する。

【0067】

照明装置１４により被写体に照明が照射されたとき、及び照射されていないときに撮像装置１２により被写体の撮像が行われ、撮像装置１２から各波長帯の画像データ（Ｉｐ₈₇₀、Ｉｐ₉₇₀、Ｉｐ₁₀₅₀、Ｉｅ₈₇₀、Ｉｅ₉₇₀、Ｉｅ₁₀₅₀）が出力されると、コンピュータ２１６において、図５に示す物体識別処理ルーチンが実行される。なお、物体識別処理ルーチンについて、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。

【0068】

ステップ１００で、領域設定部２２２が、撮像装置１２から出力された各画像データを取得し、次に、ステップ２００で、取得した画像のいずれかを用いて、画素単位または小領域単位で環境光の影響を分析し、環境光の影響が強い領域Ａ及び環境光の影響が弱い領域Ｂの２つの領域を設定する。

【0069】

次に、ステップ１０４で、領域設定部２２２が、上記ステップ２００で設定された領域から１つの領域を選択する。

【0070】

次に、ステップ２０２で、領域設定部２２２が、上記ステップ１０４で選択した領域が領域Ａか否かを判定する。選択した領域が領域Ａ（環境光の影響が強い領域）の場合には、ステップ１０６へ移行し、図６に示すように、環境光推定部２２４が、上記ステップ１０４で選択された領域に含まれる環境光のスペクトルバランスＳを推定し、次に、ステップ１０８で、画像補正部２６が、上記ステップ１０６で推定された環境光のスペクトルバランスＳに基づいて、各波長帯の画像Ｉｅの輝度値を補正して、ステップ２０４の人肌識別処理へ移行する。

【0071】

一方、ステップ２０２で、選択した領域が領域Ｂ（環境光の影響が弱い領域）であると判定された場合には、図６に示すように、ステップ１０６及び１０８をスキップして、ステップ２０４の人肌識別処理へ移行する。

【0072】

ここで、図７を参照して、第１識別部２８または第２識別部３０が実行する人肌識別処理ルーチンについて説明する。

【0073】

まず、領域Ｂについて（上記ステップ１０６及び１０８をスキップした場合）は、ステップ２０４０で、取得した画像（３波長帯×照明光の有無）の各々にノイズ除去のためのフィルタリング処理を施し、図８に示すように、同一波長帯の画像毎にＩｐとＩｅとの照明有無差分画像を生成する。

【0074】

次に、ステップ２０４２で、画素単位または小領域単位で、上記ステップ２０４０で生成した照明有無差分画像の照明有無差分値Ｉ_λを用いて、（４）式及び（５）式に示す波長間差分値Ｉｄ₁及びＩｄ₂を算出する。

【0075】

次に、ステップ２０４４で、上記ステップ２０４２で算出した波長間差分値Ｉｄ₁及びＩｄ₂が、（６）式に示す条件を満たすか否かを判定することにより、各画素または各小領域が人肌領域か否かを識別する。各画素または各小領域が人肌領域であると識別された場合には、ステップ２０４６へ移行して、人肌領域と識別された画素または小領域に人肌領域のフラグを付与して、ステップ２０４８へ移行する。一方、人肌領域ではないと識別された場合には、そのままステップ２０４８へ移行する。図８に、人肌領域のフラグが付与された画素または小領域を白で表示した人肌識別結果の一例を示す。

【0076】

次に、ステップ２０４８では、処理中の領域内の全画素または全小領域について、人肌識別の処理が終了したか否かを判定する。未処理の画素または小領域が存在する場合には、ステップ２０４２へ戻って、ステップ２０４２〜２０４６の処理を繰り返す。全画素または全小領域について処理が終了した場合には、人肌識別処理ルーチンを終了して、物体識別処理ルーチンにリターンする。

【0077】

また、領域Ａについて（上記ステップ１０６及び１０８を経た場合）は、ステップ２０４０をスキップし、次に、ステップ２０４２で、画素単位または小領域単位で、上記ステップ１０８で補正された画像Ｉｅ’を用いて、（７）式及び（８）式に示す波長間差分値Ｉｄ’₁及びＩｄ’₂を算出する。

【0078】

次に、ステップ２０４４で、上記ステップ２０４２で算出した波長間差分値Ｉｄ’₁及びＩｄ’₂が、（９）式に示す条件を満たすか否かを判定することにより、各画素または各小領域が人肌領域か否かを識別する。以下、領域Ｂの場合と同様に処理して、物体識別処理ルーチンにリターンする。

【0079】

次に、ステップ１１０で、領域設定部２２２が、上記ステップ２００で設定された全領域について処理が終了したか否かを判定し、未処理の領域が存在する場合には、ステップ１０４へ戻って、次の領域を選択して、ステップ２０２〜２０４の処理を繰り返す。全ての領域について処理が終了した場合には、ステップ２０６へ移行する。

【0080】

ステップ２０６では、統合処理部３２が、図８に示すように、上記ステップ２０４で識別された領域Ａの人肌領域の識別結果と、領域Ｂの人肌領域の識別結果とを統合し、膨張・縮退処理などによりノイズを除去して最終の識別結果を得る。次に、ステップ２０８で、統合処理部３２が、識別結果が表示装置１８に表示されるように制御して、物体識別処理ルーチンを終了する。

【0081】

以上説明したように、第２の実施の形態に係る物体識別装置によれば、第１の実施の形態と同様に、環境光の影響の強さに応じた領域、すなわち同様のスペクトルバランスになると考えられる領域を設定し、領域毎に環境光のスペクトルバランスを推定して、環境光のスペクトルバランスがフラットになるように輝度値を補正した上で、波長間差分値を用いた物体の識別処理を行うため、精度良く物体を識別することができる。

【0082】

なお、第２の実施の形態では、識別対象の物体を人肌とする場合について説明したが、これに限定されない。他の物体を識別対象とする場合には、識別対象の分光反射率特性に応じた複数の波長帯の画像を撮像し、また、識別対象の分光反射率特性に応じた識別条件を設定するようにするとよい。

【0083】

また、第２の実施の形態では、環境光の影響の強さに応じて設定した領域毎に物体識別処理を行う場合について説明したが、補正後の画像から共通の識別条件により識別処理を行うようにしてもよい。この場合、統合処理部を省略することができる。

【0084】

また、第２の実施の形態では、領域Ａ及びＢの２つの領域を設定する場合を例に説明したが、環境光の影響の程度や、光源の種類や方向などに応じて３つ以上の領域を設定するようにしてもよい。この場合、第１の実施の形態で述べたように、領域毎に（３）式に示したような領域内での空間積分を行ってスペクトルバランスを推定するようにすればよい。

【0085】

また、第２の実施の形態では、人肌領域の識別結果を表示装置に表示する場合について説明したが、歩行者検出システムの候補設定に利用するなど、後段のシステムの入力情報として利用してもよい。

【0086】

なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。

【符号の説明】

【0087】

１０ 画像処理装置
１２ 撮像装置
１４ 照明装置
１６、２１６ コンピュータ
１８ 表示装置
２２、２２２ 領域設定部
２４、２２４ 環境光推定部
２６ 画像補正部
２８ 第１識別部
３０ 第２識別部
３２ 統合処理部

【図1】

【図2】

【図3】

【図5】

【図4】

【図6】

【図7】

【図8】