特許 6289439 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6289439

(24)【登録日】2018年2月16日

(45)【発行日】2018年3月7日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180226BHJP

   G06T 5/50 20060101ALI20180226BHJP

【ＦＩ】

   H04N5/232 290

   G06T5/50

【請求項の数】8

【全頁数】20

(21)【出願番号】特願2015-245118(P2015-245118)

(22)【出願日】2015年12月16日

(65)【公開番号】特開2017-112486(P2017-112486A)

(43)【公開日】2017年6月22日

【審査請求日】2017年2月14日

(73)【特許権者】

【識別番号】510123839

【氏名又は名称】オムロンオートモーティブエレクトロニクス株式会社

(74)【代理人】

【識別番号】100101786

【弁理士】

【氏名又は名称】奥村 秀行

(72)【発明者】

【氏名】松浦 義朗

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開２００８−１２３１３７（ＪＰ，Ａ）

【文献】 特表２０１０−５１５９７１（ＪＰ，Ａ）

【文献】 特開２０１３−１３５３４３（ＪＰ，Ａ）

【文献】 特開２０１３−０３８７７０（ＪＰ，Ａ）

【文献】 特開２００７−０８９０３７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／００８４４９９（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１３／０３００８９４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

被写体に照明光を投光する第１照明部と、
前記第１照明部と異なる方向から被写体に照明光を投光する第２照明部と、
前記第１照明部が被写体に照明光を投光した状態で、当該被写体の第１画像を撮像し、前記第２照明部が被写体に照明光を投光した状態で、当該被写体の第２画像を撮像する撮像部と、
前記第１画像を構成する第１画素の第１輝度値と、前記第２画像を構成する第２画素の第２輝度値とを対応する画素ごとに比較し、その比較結果に基づいて、前記第１画像と前記第２画像の合成画像に対し所定の補正処理を行って補正画像を生成する画像補正部と、を備え、
前記画像補正部は、
前記第１輝度値と前記第２輝度値との差分を算出し、
前記差分と、当該差分の増加とともに単調増加しかつ増加率が漸減する所定の関数と、に基づいて補正輝度値を算出し、
前記補正輝度値を用いて前記補正画像を生成する、ことを特徴とする画像処理装置。

【請求項2】

被写体に照明光を投光する照明部と、
前記照明部が被写体に照明光を投光した状態で、当該被写体の第１画像を撮像する第１撮像部と、
前記照明部が被写体に照明光を投光した状態で、前記第１撮像部と異なる方向から被写体の第２画像を撮像する第２撮像部と、
前記第１画像を構成する第１画素の第１輝度値と、前記第２画像を構成する第２画素の第２輝度値とを対応する画素ごとに比較し、その比較結果に基づいて、前記第１画像と前記第２画像の合成画像に対し所定の補正処理を行って補正画像を生成する画像補正部と、を備え、
前記画像補正部は、
前記第１輝度値と前記第２輝度値との差分を算出し、
前記差分と、当該差分の増加とともに単調増加しかつ増加率が漸減する所定の関数と、に基づいて補正輝度値を算出し、
前記補正輝度値を用いて前記補正画像を生成する、ことを特徴とする画像処理装置。

【請求項3】

請求項１または請求項２に記載の画像処理装置において、
前記関数は、対数関数であり、
前記画像補正部は、前記対数関数に基づいて、前記差分の絶対値の対数である差分対数値を算出し、当該差分対数値を用いて前記補正輝度値を算出する、ことを特徴とする画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記補正輝度値は、前記第１輝度値と前記第２輝度値のうち、小さい方の輝度値である低輝度値と、前記差分対数値とを加算した第１補正輝度値である、ことを特徴とする画像処理装置。

【請求項5】

請求項３に記載の画像処理装置において、
前記補正輝度値は、前記第１輝度値と前記第２輝度値のうち、小さい方の輝度値である低輝度値と前記差分対数値とを加算した値に第１係数αを乗じた値と、前記第１輝度値と前記第２輝度値の平均値に第２係数βを乗じた値とを加算した第２補正輝度値である、ことを特徴とする画像処理装置。

【請求項6】

請求項５に記載の画像処理装置において、
前記第１係数αは、前記第１輝度値と前記第２輝度値のうち、大きい方の輝度値である高輝度値に応じて、０≦α≦１の範囲で変化する係数であって、前記高輝度値が小さくなるに従って漸減し、
前記第２係数βは、β＝１−α（０≦β≦１）で与えられる係数であって、前記高輝度値が小さくなるに従って漸増し、
前記画像補正部は、
前記高輝度値を検出して、当該高輝度値が所定値以上か否かを判別し、
前記高輝度値が所定値以上である場合は、前記第１係数をα＝１、前記第２係数をβ＝０として、前記第２補正輝度値を算出し、
前記高輝度値が所定値未満である場合は、当該高輝度値に応じた前記第１係数α（０≦α＜１）および前記第２係数β（０＜β≦１）を用いて、前記第２補正輝度値を算出する、ことを特徴とする画像処理装置。

【請求項7】

請求項３ないし請求項６のいずれかに記載の画像処理装置において、
前記対数関数は、２を底とする対数関数である、ことを特徴とする画像処理装置。

【請求項8】

請求項１ないし請求項７のいずれかに記載の画像処理装置において、
前記画像補正部は、
前記第１輝度値と前記第２輝度値とを対応する画素ごとに比較することに代えて、
複数の第１画素を含む複数の第１ブロックの第１輝度値と、複数の第２画素を含む複数の第２ブロックの第２輝度値とを、対応するブロックごとに比較する、ことを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体を撮像してその画像を処理する画像処理装置に関し、特に、眼鏡等からの反射光の影響を軽減するための技術に関する。

【背景技術】

【0002】

車両には、運転者の脇見運転や居眠り運転を監視するための装置（以下、「ドライバーモニタ」という。）が搭載されているものがある。このようなドライバーモニタにおいては、カメラで撮像した運転者の顔画像から運転者の目が検出され、また、瞳の視線方向や瞼の閉じ具合などが検出される。しかし、運転者が眼鏡をかけていると、車室内の照明光、外部光、撮像用の照明光などが眼鏡のレンズやフレームで反射して、瞳や瞼を正確に検出できなくなる。特に、眼鏡からの反射光が瞳と重なった場合は、検出精度が著しく低下してしまう。この対策として、特許文献１、２に開示されている技術が知られている。

【0003】

特許文献１においては、車載用カメラに２つの照明装置が設けられている。車載用カメラは、撮像のタイミングに同期して、２つの照明装置を交互に点灯させ、一方の照明装置が照射した被写体と、他方の照明装置が照射した被写体とをそれぞれ撮像する。そして、撮像した２つの画像について、相対位置が等しい画素ごとに輝度を比較し、輝度の低い方の画素を抽出して１つの合成画像を生成する。これにより、眼鏡からの反射光の写り込みが軽減され、目の検出が容易となる。

【0004】

特許文献２においては、カメラで撮像された画像から顔領域の検出を行うにあたって、画像の各画素の輝度値が閾値より大きいか否かを判定する。そして、輝度値が閾値より大きい画素で構成される高輝度部位が検出された場合は、当該高輝度部位の各画素の輝度値を低輝度にすることで、高輝度部位を低輝度部位に変換する。これにより、眼鏡からの反射光による高輝度部位が除去されるため、目の検出が容易となる。

【0005】

ところで、被写体の顔を右側から照射して撮像する場合は、顔の右側に比べて左側の照度が低下するため、顔の左側の画像が暗くなる。一方、被写体の顔を左側から照射して撮像する場合は、顔の左側に比べて右側の照度が低下するため、顔の右側の画像が暗くなる。したがって、特許文献１のように、２つの画像のうち輝度値の低い方の画素を使って合成画像を生成すると、画像全体が暗くなってしまう。このため、顔画像の輪郭を正確に検出したり、顔画像の中から瞳や瞼を正確に検出したりすることが困難になる可能性がある。

【0006】

これに対して、特許文献２の技術では、画像全体が暗くなることは抑制できるが、高輝度部位が低輝度部位に変換されることで、白目の部分が黒っぽくなってしまう懸念がある。また、閾値を境として明るい部分が暗い部分に変換されるため、当該変換部分とこれに隣接する非変換部分とで明るさが不連続となり、その結果、画像が不自然なものとなる。また、特許文献２のように閾値を用いて高輝度部位を除去する方式では、画像処理のアルゴリズム中に処理の分岐が含まれるため、演算処理が煩雑になるという問題もある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−１２３１３７号公報

【特許文献2】特開２００６−４８３２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の課題は、画像全体が暗くならないようにしつつ、眼鏡等からの反射光の影響を軽減することが可能な画像処理装置を提供することにある。本発明の他の課題は、簡単な演算処理によって連続性のある自然な画像が得られる画像処理装置を提供することにある。

【課題を解決するための手段】

【0009】

本発明に係る画像処理装置は、被写体に照明光を投光する第１照明部と、第１照明部と異なる方向から被写体に照明光を投光する第２照明部と、第１照明部が被写体に照明光を投光した状態で、当該被写体の第１画像を撮像し、第２照明部が被写体に照明光を投光した状態で、当該被写体の第２画像を撮像する撮像部と、第１画像を構成する第１画素の第１輝度値と、第２画像を構成する第２画素の第２輝度値とを対応する画素ごとに比較し、その比較結果に基づいて、第１画像と第２画像の合成画像に対し所定の補正処理を行って補正画像を生成する画像補正部とを備える。画像補正部は、第１輝度値と第２輝度値との差分を算出し、この差分と、当該差分の増加とともに単調増加しかつ増加率が漸減する所定の関数とに基づいて補正輝度値を算出し、この補正輝度値を用いて補正画像を生成する。

【0010】

このようにすると、被写体の眼鏡等からの反射があって第１輝度値と第２輝度値との差分が大きい場合は、増加率が漸減する関数により差分が圧縮されるので、相対的に小さくなった差分を補正輝度値に反映させることで、反射光の影響を抑制した補正画像を生成することができる。一方、被写体の眼鏡等からの反射がなく第１輝度値と第２輝度値との差分が小さい場合は、関数による差分の圧縮度合いが小さいので、この差分を補正輝度値に反映させることで、画像全体を明るくすることができる。また、閾値を用いずに関数による単一演算だけで補正を行うので、画像が不連続になることはなく、演算処理も簡単になる。

【0011】

本発明において、２つの照明部と１つの撮像部を設けることに代えて、１つの照明部と２つの撮像部を設けてもよい。この場合、画像処理装置は、被写体に照明光を投光する照明部と、照明部が被写体に照明光を投光した状態で、当該被写体の第１画像を撮像する第１撮像部と、照明部が被写体に照明光を投光した状態で、第１撮像部と異なる方向から被写体の第２画像を撮像する第２撮像部とを備える。

【0012】

本発明において、前記の関数として対数関数を用いることができる。この場合、画像補正部は、対数関数に基づいて、輝度値の差分の絶対値の対数である差分対数値を算出し、当該差分対数値を用いて補正輝度値を算出する。

【0013】

本発明において、補正輝度値は、第１輝度値と第２輝度値のうち、小さい方の輝度値である低輝度値と、差分対数値とを加算した第１補正輝度値であってもよい。

【0014】

本発明において、補正輝度値は、第１輝度値と第２輝度値のうち、小さい方の輝度値である低輝度値と差分対数値とを加算した値に第１係数αを乗じた値と、第１輝度値と第２輝度値の平均値に第２係数βを乗じた値とを加算した第２補正輝度値であってもよい。

【0015】

本発明において、第１係数αは、第１輝度値および第２輝度値のうち、大きい方の輝度値である高輝度値に応じて、０≦α≦１の範囲で変化する係数であって、高輝度値が小さくなるに従って漸減し、第２係数βは、β＝１−α（０≦β≦１）で与えられる係数であって、高輝度値が小さくなるに従って漸増する係数であってもよい。この場合、画像補正部は、高輝度値を検出して、当該高輝度値が所定値以上か否かを判別し、高輝度値が所定値以上である場合は、第１係数をα＝１、第２係数をβ＝０として、第２補正輝度値を算出する。また、高輝度値が所定値未満である場合は、当該高輝度値に応じた第１係数α（０≦α＜１）および第２係数β（０＜β≦１）を用いて、第２補正輝度値を算出する。

【0016】

本発明において、対数関数は２を底とする対数関数であることが、演算を簡略化する上で好ましい。

【0017】

本発明において、第１輝度値と第２輝度値とを対応する画素ごとに比較することに代えて、複数の画素を含むブロック単位で輝度値を比較してもよい。この場合、画像補正部は、複数の第１画素を含む複数の第１ブロックの第１輝度値と、複数の第２画素を含む複数の第２ブロックの第２輝度値とを、対応するブロックごとに比較する。

【発明の効果】

【0018】

本発明によれば、画像全体が暗くならないようにしつつ、眼鏡等からの反射光の影響を軽減することが可能で、しかも、簡単な演算処理によって連続性のある自然な画像が得られる画像処理装置を提供することができる。

【図面の簡単な説明】

【0019】

【図1】第１実施形態に係るドライバーモニタのブロック図である。

【図2】第１実施形態に係るドライバーモニタの外観図である。

【図3】ドライバーモニタの使用状態を示す図である。

【図4】ドライバーモニタで被写体を照射した状態を上から見た図である。

【図5】ドライバーモニタで照射された被写体の顔を示す図である。

【図6】被写体の右目部分の撮像画像を示す模式図である。

【図7】対数関数を表したグラフである。

【図8】第１実施形態による顔画像を従来方式による顔画像と対比して示した図である。

【図9】第１実施形態に係るドライバーモニタの全体的な動作を示すフローチャートである。

【図10】図９のステップＳ７の詳細を示すフローチャートである。

【図11】第２実施形態に係るドライバーモニタの外観図である。

【図12】第２実施形態に係るドライバーモニタのブロック図である。

【図13】第２実施形態に係るドライバーモニタの全体的な動作を示すフローチャートである。

【図14】図１３のステップＳ４５の詳細を示すフローチャートである。

【図15】左右の画素を幾何学的に対応付ける方法を説明する図である。

【図16】重み付け係数を示すグラフである。

【図17】眼鏡反射のある場合とない場合の顔画像を示した図である。

【図18】無理関数を表したグラフである。

【図19】双曲線関数を表したグラフである。

【図20】ブロック単位で輝度値を比較する例を説明する図である。

【発明を実施するための形態】

【0020】

本発明の実施形態につき、図面を参照しながら説明する。各図において、同一の部分または対応する部分には、同一符号を付してある。以下では、本発明の画像処理装置の一例として、運転者の脇見運転や居眠り運転を監視するドライバーモニタを例に挙げる。

【0021】

まず、図１および図２を参照しながら、第１実施形態のドライバーモニタの構成について説明する。図１において、ドライバーモニタ１００は、車両に搭載されており、撮像部１、照明部２、記憶部３、画像補正部４、補正画像記憶部５、画像解析部６、制御部７、および外部出力部８を備えている。撮像部１は、カメラを構成する部分で、レンズや光学フィルタなどを含む光学系１１と、この光学系１１を通して被写体（運転者）を撮像する撮像装置１２とからなる。照明部２は、被写体を照射する光源を構成する部分で、第１照明部２１と第２照明部２２とからなる。

【0022】

撮像装置１２は、格子状に配列された多数の撮像素子（図示省略）を有している。これらの撮像素子は、たとえばＣＣＤ（電荷結合素子）から構成されている。各照明部２１、２２は、それぞれ、格子状に配列された多数の発光素子２１ａ、２２ａ（図２）を有している。これらの発光素子２１ａ、２２ａは、たとえば、近赤外光を発光するＬＥＤ（発光ダイオード）から構成されている。

【0023】

図２に示すように、撮像部１と、第１照明部２１および第２照明部２２は、ドライバーモニタ１００の筐体１０１の前面に臨むように設けられている。撮像部１は、筐体１０１の前面中央に位置しており、２つの照明部２１、２２は、撮像部１を挟んで左右に設けられている。

【0024】

図３に示すように、ドライバーモニタ１００は、車両の運転席に設けられており、被写体である運転者Ｐの顔と対向する位置に設置されている。そして、図４（ａ）に示すように、ドライバーモニタ１００の第１照明部２１は、運転者Ｐの顔を右方向から照射する。また、図４（ｂ）に示すように、ドライバーモニタ１００の第２照明部２２は、運転者Ｐの顔を左方向から照射する。すなわち、第２照明部２２は、第１照明部２１と異なる方向から運転者Ｐの顔に照明光を投光する。

【0025】

図１において、撮像部１の撮像装置１２は、第１照明部２１が運転者Ｐに照明光を投光した状態で、運転者Ｐの顔の画像を撮像する。このときの撮像画像を「第１画像」と呼ぶ。また、撮像部１の撮像装置１２は、第２照明部２２が運転者Ｐに照明光を投光した状態で、運転者Ｐの顔の画像を撮像する。このときの撮像画像を「第２画像」と呼ぶ。第１照明部２１と第２照明部２２は、異なるタイミングで運転者Ｐの顔を照射し、撮像部１は、異なるタイミングで運転者Ｐの顔を撮像する。

【0026】

記憶部３は、撮像部１で撮像された第１画像および第２画像を記憶する。画像補正部４は、第１画像と第２画像の合成画像に対して所定の補正処理を行い、補正画像を生成する。この補正処理については後で詳述する。補正画像記憶部５は、画像補正部４で生成された補正画像を記憶する。画像解析部６は、補正画像記憶部５に記憶された補正画像を解析して、目の位置や瞳・瞼の状態などを検出する。制御部７は、画像解析部６での検出結果に基づいて、運転者Ｐの脇見運転や居眠り運転の有無を判定し、その判定結果を出力する。詳しくは、脇見運転や居眠り運転の有無を表す信号を生成して外部出力部８へ与える。外部出力部８は、その信号を車両制御システム（図示省略）へ出力する。また、制御部７は、撮像部１の撮像のタイミングや、第１照明部２１および第２照明部２２の点灯のタイミングを制御するとともに、記憶部３、画像補正部４、画像解析部６に対して所定の制御を行う。

【0027】

図５は、照明光で照射された被写体の顔の明暗状態を模式的に示している。図５（ａ）は、第１照明部２１により照射された顔であって、被写体からみて左方向からの照射により、顔の右側（図では左側）が顔の左側（図では右側）に比べて暗くなっている。また、符号Ｒ１で示したように、眼鏡の左右のレンズにおいて、第１照明部２１からの照明光が反射している。図５（ｂ）は、第２照明部２２により照射された顔であって、被写体からみて右方向からの照射により、顔の左側（図では右側）が顔の右側（図では左側）に比べて暗くなっている。また、符号Ｒ２で示したように、眼鏡の左右のレンズにおいて、第２照明部２２からの照明光が反射している。

【0028】

前述したように、眼鏡のレンズでの反射があると、目の正確な検出が困難となることから、従来は、図５（ａ）、（ｂ）の顔を撮像したそれぞれの画像における、相対位置が等しい画素同士の輝度を比較し、輝度の低い方の画素を用いて合成画像を生成していた（特許文献１）。しかし、この方法では、レンズでの反射光の影響は軽減できるが、合成画像が輝度の低い画素で構成されるため、当該合成画像は、図８（ａ）に示すような全体として暗い画像になってしまう。

【0029】

そこで、本発明では、図５（ａ）、（ｂ）の顔を撮像したそれぞれの画像を合成するにあたり、単に輝度の低い方の画素を用いるのではなく、これにさらに独自の補正を加えることにより、図８（ｂ）に示すような、従来に比べて明るい合成画像が得られるようにした。以下、本発明の補正処理について詳細に説明する。

【0030】

図６は、被写体の右目部分（図５参照）の撮像画像を示す模式図である。図中、１つのマス目は１つの画素を表している。ここでは、簡略化のために、画素の数を実際より大幅に少なくしてある。画素の色が濃くなるほど、その部分の画像は暗い画像となり、画素の色が薄くなるほど、その部分の画像は明るい画像となる。

【0031】

図６（ａ）は、第１照明部２１から照明光が投光された状態（図５（ａ））で撮像した右目部分の画像である。以下、この画像を「第１画像」と呼び、第１画像を構成する画素Ｇ１を「第１画素」呼ぶ。この状態では、顔の右側の照度が不足するため、第１画素Ｇ１の多くは輝度が低くなる。このため、第１画像は全体的に暗いものとなるが、照明光が眼鏡で反射した反射部分Ｒ１（図５（ａ））に対応する箇所は、白色の画素で示されるように、際立って明るい画像となる。

【0032】

図６（ｂ）は、第２照明部２２から照明光が投光された状態（図５（ｂ））で撮像した右目部分の画像である。以下、この画像を「第２画像」と呼び、第２画像を構成する画素Ｇ２を「第２画素」呼ぶ。この状態では、顔の右側が照射されるため、第２画素Ｇ２の多くは第１画素Ｇ１よりも輝度が増加する。このため、第２画像は、第１画像に比べて全体的に明るくなる。また、照明光が眼鏡で反射した反射部分Ｒ２（図５（ｂ））に対応する箇所は、白色の画素で示されるように、際立って明るい画像となる。

【0033】

図６（ａ）、（ｂ）において、第１画素Ｇ１と第２画素Ｇ２のそれぞれに、Ｘ座標（横方向）およびＹ座標（縦方向）を割り当てる。そして、座標値が同じである画素、すなわち画素Ｇ１、Ｇ２間で相対的に同じ位置にある画素（以下、「対応画素」という）ごとに輝度値を比較し、輝度の低い方の画素を合成した画像が、従来方式による図６（ｃ）の画像である。図６（ｃ）においては、図６（ａ）の眼鏡での反射による高輝度部分（白色画素）と、図６（ｂ）の眼鏡での反射による高輝度部分（白色画素）は、ともに輝度が低くなっており、反射光の影響を軽減できることがわかる。しかし、その一方で、合成画像が輝度の低い方の画素で構成されることから、画像全体が暗いものとなる。

【0034】

図６（ｄ）は、図６（ｃ）の画像に対して、画像補正部４により補正処理を行った後の合成画像、すなわち補正画像を表している。この補正処理では、まず、図６（ａ）の第１画像と図６（ｂ）の第２画像の各対応画素ごとに、第１画素Ｇ１の輝度値Ｑ１と第２画素Ｇ２の輝度値Ｑ２との差分ΔＱを、次式により算出する。
ΔＱ＝Ｑ１−Ｑ２ …（１）
次に、上記差分ΔＱの絶対値を｜ΔＱ｜を、次式により算出する。
｜ΔＱ｜＝｜Ｑ１−Ｑ２｜ …（２）
さらに、上記差分の絶対値｜ΔＱ｜の対数である差分対数値Ａを、次式により算出する。
Ａ＝ｌｏｇ_２｜ΔＱ｜＝ｌｏｇ_２｜Ｑ１−Ｑ２｜ …（３）
そして、各対応画素ごとに、輝度値Ｑ１、Ｑ２のうち小さい方の輝度値である低輝度値Ｍｉｎ（Ｑ１，Ｑ２）に上記差分対数値Ａを加算することによって、補正輝度値Ｑｓを算出する。
Ｑｓ＝Ｍｉｎ（Ｑ１，Ｑ２）＋Ａ
＝Ｍｉｎ（Ｑ１，Ｑ２）＋ｌｏｇ_２｜Ｑ１−Ｑ２｜ …（４）

【0035】

これにより、合成画像の各対応画素の輝度値は、低い方の輝度値に差分対数値Ａが加算された補正輝度値Ｑｓとなるので、単に輝度の低い方の画素を用いて合成画像を作成する図６（ｃ）の従来方式に比べて、図６（ｄ）に示すような全体的に明るい画像を得ることができる。補正輝度値Ｑｓは、本発明における「第１補正輝度値」に相当する。

【0036】

図７は、差分対数値Ａの算出に用いられる対数関数ｙ＝ｌｏｇ_２ｘのグラフを表している。ここでは、演算をできるだけ簡略化するために、２を底とする対数関数を用いる。図７からわかるように、対数の値ｙは、変数ｘの増加とともに単調増加し、かつ増加率Δｙ／Δｘが漸減する。したがって、たとえば、対応画素Ｇ１、Ｇ２の輝度値Ｑ１、Ｑ２をそれぞれＱ１＝１９、Ｑ＝１５３とした場合、補正輝度値Ｑｓは式（４）より、
Ｑｓ＝Ｍｉｎ（Ｑ１，Ｑ２）＋ｌｏｇ_２｜Ｑ１−Ｑ２｜
＝１９＋ｌｏｇ_２（１５３−１９）
＝１９＋７．０６＝２６．０６
となる。すなわち、輝度値Ｑ１、Ｑ２の差である１５３−１９＝１３４が、その対数である７．０６に変換され、低い方の輝度値１９に加算されて、補正輝度値Ｑｓが算出される。

【0037】

このように、輝度値Ｑ１、Ｑ２の差が大きい場合には、当該輝度差が対数変換によって大きく圧縮される。したがって、低輝度値Ｍｉｎ（Ｑ１，Ｑ２）に差分対数値Ａを加算しても、補正輝度値Ｑｓが必要以上に大きな値になることはない。これにより、画像全体が暗くなるのを抑制しつつ、眼鏡の反射光の影響を軽減することができる。

【0038】

たとえば、図６（ａ）、（ｂ）において、座標（３２０，２００）の画素に着目すると、眼鏡の反射光の影響により、対応画素間の輝度差は大きい。この場合、上述したように、大きな輝度差が圧縮されて補正輝度値Ｑｓが算出される結果、図６（ｄ）における座標（３２０，２００）の画素は、図６（ｃ）の同画素に比べて明るくなっているが、反射光の影響は軽減されている。

【0039】

一方、たとえば、対応画素Ｇ１、Ｇ２の輝度値Ｑ１、Ｑ２をそれぞれＱ１＝６３、Ｑ＝７１とした場合、補正輝度値Ｑｓは式（４）より、
Ｑｓ＝Ｍｉｎ（Ｑ１，Ｑ２）＋ｌｏｇ_２｜Ｑ１−Ｑ２｜
＝６３＋ｌｏｇ_２（７１−６３）
＝６３＋３＝６６
となる。すなわち、輝度値Ｑ１、Ｑ２の差である７１−６３＝８が、その対数である３に変換され、低い方の輝度値６３に加算されて、補正輝度値Ｑｓが算出される。このように、輝度値Ｑ１、Ｑ２の差が小さい場合には、当該輝度差を対数変換しても、圧縮の度合いは小さい。したがって、低輝度値Ｍｉｎ（Ｑ１，Ｑ２）に差分対数値Ａを加算すると、輝度値の小差を反映した補正輝度値Ｑｓが得られる。

【0040】

たとえば、図６（ａ）、（ｂ）において、座標（３２０，２０２）の画素に着目すると、眼鏡の反射光の影響はなく、対応画素間の輝度差は比較的小さい。この場合、上述したように、輝度差が反映された補正輝度値Ｑｓが算出される結果、図６（ｄ）における座標（３２０，２０２）の画素は、図６（ｃ）の同画素に輝度差に応じた明るさが加わったものになる。

【0041】

以上述べた補正処理は、目の部分だけでなく顔全体に対して行われる。その結果、補正処理がされた顔の画像（補正画像）は、図８（ｂ）に示すように、従来方式による図８（ａ）の画像に比べて、全体的に明るいものとなる。このため、顔画像の輪郭を正確に検出したり、顔画像の中から目の位置や、瞳・瞼の状態を正確に検出したりすることが容易となり、検出精度を高めることができる。なお、実際には、図８（ａ）、（ｂ）の各画像の輝度は顔全体にわたって均一ではなく、顔の部位によって輝度差があるが、ここでは説明の便宜のために顔全体を均一の輝度としてある。

【0042】

図９は、第１実施形態のドライバーモニタ１００の全体的な動作を示すフローチャートである。

【0043】

図９において、ステップＳ１では、第１照明部２１を点灯させ、図４（ａ）のように被写体（運転者Ｐ）の顔を照明光で照射する。この状態で、ステップＳ２において、撮像部１により被写体の顔を撮像する。そして、ステップＳ３で、撮像した顔の画像を第１画像として記憶部３に記憶する。次に、ステップＳ４で、第２照明部２２を点灯させ、図４（ｂ）のように被写体（運転者Ｐ）の顔を照明光で照射する。この状態で、ステップＳ５において、撮像部１により被写体の顔を撮像する。そして、ステップＳ６で、撮像した顔の画像を第２画像として記憶部３に記憶する。その後、ステップＳ７において、第１画像および第２画像に基づき、前述したような画像補正処理を行う。このステップＳ７の詳細が図１０に示されているが、これについては後述する。補正処理が行われた補正画像は、補正画像記憶部５に記憶される。

【0044】

次に、ステップＳ８においては、画像解析部６が、補正画像記憶部５に記憶された補正画像を読み出し、当該補正画像から目を検出する。詳しくは、画像解析部６は、補正画像を解析して、目の位置を検出するとともに、瞳の視線方向や瞼の閉じ具合などを検出する。これらを検出する方法は公知であり、本発明の特徴とするところでもないので、検出方法の詳細については説明を省略する。続くステップＳ９では、制御部７が、ステップＳ８で検出された目の状態から、運転者Ｐが脇見運転または居眠り運転をしているか否かを判定する。この判定の手法も公知であり、本発明の特徴とするところでもないので、判定方法の詳細については説明を省略する。

【0045】

ステップＳ９での判定の結果、運転者Ｐが脇見運転または居眠り運転をしている場合は（ステップＳ９；ＹＥＳ）、ステップＳ１０において、制御部７は、脇見運転または居眠り運転であることを示す信号を、外部出力部８を介して、図示しない車両制御システムへ出力する。車両制御システムは、この信号に基づいて、警報を出力するなどの制御を行う。一方、ステップＳ９での判定の結果、運転者Ｐが脇見運転も居眠り運転もしていない場合は（ステップＳ９；ＮＯ）、ステップＳ１１において、制御部７は、脇見運転または居眠り運転であることを示す信号の出力を停止する。

【0046】

ステップＳ１０またはステップＳ１１の実行後、ステップＳ１２において、休止時間が経過したか否かを判定する。休止時間とは、第１照明部２１が次のタイミングで投光を行うまでの待ち時間である。ステップＳ１２での判定の結果、休止時間が経過してなければ（ステップＳ１２；ＮＯ）、そのまま待機し、休止時間が経過すれば（ステップＳ１２；ＹＥＳ）、ステップＳ１に戻って、上述したＳ１〜Ｓ１２の処理を繰り返す。

【0047】

図１０は、図９のステップＳ７の画像補正処理の詳細手順を示したフローチャートである。本フローチャートの各手順は、画像補正部４により実行される。

【0048】

図１０において、ステップＳ２１では、読み出す画素の座標（Ｘ、Ｙ）の初期値を（０，０）に設定する。Ｘ、Ｙは、それぞれ０≦Ｘ≦ｍ、０≦Ｙ≦ｎの範囲にある座標値である（ｍおよびｎは整数）。したがって、画素の総数は、（ｍ＋１）×（ｎ＋１）である。

【0049】

次に、ステップＳ２２において、図９のステップＳ３で記憶された第１画像から、座標が（Ｘ、Ｙ）の画素（以下、「画素（Ｘ、Ｙ）」と表記）の輝度値Ｑ１を読み出す。ステップＳ２２の初回実行時には、第１画像の画素（０、０）の輝度値Ｑ１が読み出される。続いて、ステップＳ２３において、図９のステップＳ６で記憶された第２画像から、画素（Ｘ、Ｙ）の輝度値Ｑ２を読み出す。ステップＳ２３の初回実行時には、第２画像の画素（０、０）の輝度値Ｑ２が読み出される。

【0050】

その後、ステップＳ２４において、輝度値Ｑ１と輝度値Ｑ２のうち値の小さい方、すなわち低輝度値Ｍｉｎ（Ｑ１，Ｑ２）を画素（Ｘ、Ｙ）の輝度値Ｑとする（Ｑ＝Ｍｉｎ（Ｑ１，Ｑ２））。次に、ステップＳ２５において、輝度値Ｑ１と輝度値Ｑ２の差分ΔＱを算出する（ΔＱ＝Ｑ１−Ｑ２）。続いて、ステップＳ２６において、差分ΔＱの絶対値の対数、つまり差分対数値Ａを算出する（Ａ＝ｌｏｇ_２｜ΔＱ｜）。さらに、ステップＳ２７において、輝度値Ｑに差分対数値Ａを加算して輝度値Ｑを補正し、補正輝度値Ｑｓを算出する（Ｑｓ＝Ｑ＋Ａ＝Ｍｉｎ（Ｑ１，Ｑ２）＋Ａ）。

【0051】

ステップＳ２７までの処理が終わると、ステップＳ２８へ進んで、座標のＸの値をインクリメントする。すなわち、Ｘ＝Ｘ＋１の演算を行う。そして、ステップＳ２９において、Ｘ＞ｍか否かを判定し、Ｘ＞ｍでなければ（ステップＳ２９；ＮＯ）、ステップＳ２２へ戻って、第１画像の次の画素の輝度値Ｑ１を読み出し、以下、ステップＳ２２〜Ｓ２９を繰り返す。また、Ｘ＞ｍであれば（ステップＳ２９；ＹＥＳ）、ステップＳ３０へ進んで、座標のＹの値をインクリメントする。すなわち、Ｙ＝Ｙ＋１の演算を行う。続いて、ステップＳ３１において、Ｙ＞ｎか否かを判定し、Ｙ＞ｎでなければ（ステップＳ３１；ＮＯ）、ステップＳ２２へ戻って、第１画像の次の画素の輝度値Ｑ１を読み出し、以下、ステップＳ２２〜Ｓ３１を繰り返す。そして、Ｙ＞ｎになると（ステップＳ３１；ＹＥＳ）、全ての画素について補正処理が完了したと判断して、一連の処理を終了する。

【0052】

上述した第１実施形態によると、輝度の低い方の画素の輝度値（低輝度値）に差分対数値を加算した補正輝度値を用いて合成画像を生成するので、眼鏡の反射光の影響を軽減しながら、全体的に明るい合成画像を得ることができる。また、特許文献２のような閾値を用いる方式では、前述したように画像が不連続なものとなり、演算処理も煩雑になるが、本実施形態では、閾値を用いずに前記の式（４）による単一演算だけで補正を行うので、画像が不連続になることはなく、演算処理も簡単になる。

【0053】

次に、本発明の第２実施形態について説明する。前述の第１実施形態では、図２に示したように、ドライバーモニタ１００は、筐体１０１の前面中央に設けられた１つの撮像部１と、この撮像部１の両側に設けられた２つの照明部２１、２２とを備えたものであった。これに対して、第２実施形態では、図１１に示したように、ドライバーモニタ２００は、筐体２０１の前面中央に設けられた１つの照明部３０と、この照明部３０の両側に設けられた第１撮像部１ａおよび第２撮像部１ｂを備えている。すなわち、第２実施形態のドライバーモニタ２００は、２つの撮像部を備えたステレオカメラ方式のドライバーモニタである。

【0054】

図１２は、第２実施形態によるドライバーモニタ２００のブロック図を示している。第１撮像部１ａは、レンズや光学フィルタなどを含む光学系１１ａと、この光学系１１ａを通して被写体（運転者）を撮像する撮像装置１２ａとからなる。第２撮像部１ｂは、レンズや光学フィルタなどを含む光学系１１ｂと、この光学系１１ｂを通して被写体（運転者）を撮像する撮像装置１２ｂとからなり、第１撮像部１ａと異なる方向から被写体を撮像する。

【0055】

各撮像装置１２ａ、１２ｂは、それぞれ、格子状に配列された多数の撮像素子（図示省略）を有している。これらの撮像素子は、たとえばＣＣＤ（電荷結合素子）から構成されている。照明部３０は、図１１に示すように、格子状に配列された多数の発光素子３０ａを有している。これらの発光素子３０ａは、たとえば、近赤外光を発光するＬＥＤ（発光ダイオード）から構成されている。

【0056】

図１２のその他の部分３〜８については、図１と同じであるので、重複説明は省略する。第２実施形態のドライバーモニタ２００は、図３に示した第１実施形態のドライバーモニタ１００と同様に、車両の運転席に設けられる。

【0057】

図１３は、第２実施形態のドライバーモニタ２００の全体的な動作を示すフローチャートである。

【0058】

図１３において、ステップＳ４１では、照明部３０を点灯させ、被写体（運転者Ｐ）の顔を照明光で照射する。この状態で、ステップＳ４２において、第１撮像部１ａおよび第２撮像部１ｂにより、被写体の顔を異なる方向から同時に撮像する。そして、ステップＳ４３において、第１撮像部１ａで撮像した顔の画像を第１画像として記憶部３に記憶し、ステップＳ４４において、第２撮像部１ｂで撮像した顔の画像を第２画像として記憶部３に記憶する。その後、ステップＳ４５において、第１画像および第２画像に基づき、画像補正処理を行う。このステップＳ４５の詳細が図１４に示されているが、これについては後述する。補正処理が行われた補正画像は、補正画像記憶部５に記憶される。

【0059】

以降のステップＳ４６〜Ｓ５０の処理は、図９のステップＳ８〜Ｓ１２の処理と同様である。すなわち、ステップＳ４６では、画像解析部６が、補正画像記憶部５の補正画像から、目の位置、瞳の視線方向、瞼の閉じ具合などを検出する。ステップＳ４７では、制御部７が、脇見運転等の有無を判定する。脇見運転等がある場合は（ステップＳ４７；ＹＥＳ）、ステップＳ４８において、制御部７は、脇見運転等を示す信号を、外部出力部８を介して車両制御システムへ出力する。一方、脇見運転等がない場合は（ステップＳ４７；ＮＯ）、ステップＳ４９において、制御部７は、脇見運転等を示す信号の出力を停止する。そして、休止時間が経過するのを待って（ステップＳ５０）、ステップＳ４１に戻り、上述したＳ４１〜Ｓ５０の処理を繰り返す。

【0060】

図１４は、図１３のステップＳ４５の画像補正処理の詳細手順を示したフローチャートである。本フローチャートの各手順は、画像補正部４により実行される。図１４の各ステップにおいて、図１０と同じ処理を行うステップには、同じ符号を付してある。図１４では、図１０のステップＳ２１がステップＳ２１ａに置き換わっているとともに、図１０のステップＳ２３がステップＳ２３ａに置き換わっている。

【0061】

図１４において、ステップＳ２１ａでは、第１画像において、読み出す画素の座標（Ｘ、Ｙ）の初期値を（０，０）に設定する。Ｘ、Ｙは、それぞれ０≦Ｘ≦ｍ、０≦Ｙ≦ｎの範囲にある座標値である（ｍおよびｎは整数）。したがって、画素の総数は、（ｍ＋１）×（ｎ＋１）である。

【0062】

次に、ステップＳ２２において、図１３のステップＳ４３で記憶された第１画像から、座標が（Ｘ、Ｙ）の画素（以下、「画素（Ｘ、Ｙ）」と表記）の輝度値Ｑ１を読み出す。ステップＳ２２の初回実行時には、第１画像の画素（０、０）の輝度値Ｑ１が読み出される。

【0063】

続くステップＳ２３ａでは、図１３のステップＳ４４で記憶された第２画像から、画素（Ｘ＋Ｗ、Ｙ）の輝度値Ｑ２を読み出す。ステップＳ２３ａの初回実行時には、第２画像の画素（Ｗ、０）の輝度値Ｑ２が読み出される。ここで、Ｗは、第１撮像部１ａの画素と、第２撮像部１ｂの画素とを対応付けるための、視差に相当する値である。これを図１５でさらに詳しく説明する。

【0064】

図１５は、ステレオカメラ方式における左右の画素の幾何学的な関係を示している。左側撮像素子は、第１撮像部１ａの撮像装置１２ａに備わる撮像素子であり、右側撮像素子は、第２撮像部１ｂの撮像装置１２ｂに備わる撮像素子である。Ｄは被写体とカメラ（撮像装置１２ａ、１２ｂ）との距離である。被写体は座席に座っている運転者であり、カメラは車体に固定されているから、距離Ｄはほぼ一定値とみなすことができる。Ｆは焦点距離、Ｚはカメラ間距離であって、これらは既知の値である。２つの直線Ｌ１、Ｌ２は互いに平行になっている。

【0065】

図１５においては、左側撮像素子の画素に対応する右側撮像素子の画素のＸ座標の値は、左側撮像素子の画素のＸ座標の値よりＷだけずれている。したがって、左側撮像素子の或る画素の座標を（Ｘ，Ｙ）としたとき、この画素に対応する右側撮像素子の画素の座標は（Ｘ＋Ｗ，Ｙ）となる。ここで、幾何学的にＷ／Ｆ＝Ｚ／Ｄの関係が成立するから、図１４のステップＳ２３ａにおけるＷは、次式から算出することができる。
Ｗ＝Ｆ・（Ｚ／Ｄ） …（５）

【0066】

図１４のステップＳ２４〜Ｓ３１の処理は、図１０の場合と同様である。すなわち、ステップＳ２４では、輝度値Ｑ１と輝度値Ｑ２のうち、値の小さい方を画素（Ｘ、Ｙ）の輝度値Ｑとし、ステップＳ２５において、輝度値Ｑ１と輝度値Ｑ２の差分ΔＱを算出し、ステップＳ２６において、差分ΔＱの絶対値の対数である差分対数値Ａを算出する。そして、ステップＳ２７において、輝度値Ｑに差分対数値Ａを加算して輝度値Ｑを補正し、補正輝度値Ｑｓを算出する。その後、ステップＳ２８で座標のＸの値をインクリメントし、ステップＳ２９でＸ＞ｍでなければステップＳ２２へ戻り、Ｘ＞ｍであればステップＳ３０へ進んで、座標のＹの値をインクリメントする。そして、ステップＳ３１でＹ＞ｎでなければステップＳ２２へ戻り、Ｙ＞ｎになると一連の処理を終了する。

【0067】

上述した第２実施形態においても、対応画素ごとに、小さい方の輝度値（低輝度値）に差分対数値を加算して輝度値を補正しているので、第１実施形態と同様の効果を得ることができる。さらに、第２実施形態では照明部３０が１つであるので、第１実施形態のように２つの照明部２１、２２を異なるタイミングで発光させる必要がなく、照明部３０の制御が簡単になる。また、２つの撮像部１ａ、１ｂにより、第１画像と第２画像を同じタイミングで一度に取得できるので、第１実施形態のように１つの撮像部１により第１画像と第２画像を異なるタイミングで取得する場合に比べて、フレームレート（単位時間あたりの処理画像数）が向上するという利点がある。

【0068】

次に、補正輝度値を算出する他の方法について、図１６を参照しながら説明する。図１６は、補正輝度値の算出に用いる重み付け係数を示すグラフである。横軸は、第１画像と第２画像における２つの対応画素の輝度値Ｑ１、Ｑ２のうち、大きい方の輝度値である高輝度値Ｍａｘ（Ｑ１，Ｑ２）を階調で表した数字である。ここでは、画素の最も暗い状態から最も明るい状態までを、２５６階調（０〜２５５）の輝度値で表している。縦軸は、高輝度値Ｍａｘ（Ｑ１，Ｑ２）に応じて変化する重み付け係数を表している。ここでは、重み付け係数として、２つの係数α、βを用いる。

【0069】

係数αは、高輝度値Ｍａｘ（Ｑ１，Ｑ２）に応じて０≦α≦１の範囲で変化する係数であって、Ｍａｘ（Ｑ１，Ｑ２）が１２８以上になるとα＝１となり、Ｍａｘ（Ｑ１，Ｑ２）が１２８より小さくなるに従って漸減し、Ｍａｘ（Ｑ１，Ｑ２）が０ではα＝０となる。この係数αは、本発明における「第１係数」に相当する。また、係数βは、β＝１−αで与えられる係数であって、高輝度値Ｍａｘ（Ｑ１，Ｑ２）に応じて０≦β≦１の範囲で変化する。Ｍａｘ（Ｑ１，Ｑ２）が１２８以上になるとβ＝０となり、Ｍａｘ（Ｑ１，Ｑ２）が１２８より小さくなるに従って漸増し、Ｍａｘ（Ｑ１，Ｑ２）が０ではβ＝１となる。この係数βは、本発明における「第２係数」に相当する。

【0070】

画像補正部４は、第１画像と第２画像の各対応画素について、第１輝度値Ｑ１と第２輝度値Ｑ２を検出するとともに、Ｑ１とＱ２を比較して、大きい方の高輝度値Ｍａｘ（Ｑ１，Ｑ２）と、小さい方の低輝度値Ｍｉｎ（Ｑ１，Ｑ２）とを検出する。また、第１輝度値Ｑ１と第２輝度値Ｑ２の差分対数値Ａ（前述）と、第１輝度値Ｑ１と第２輝度値Ｑ２の平均値である輝度平均値Ｂを、それぞれ次式により算出する。
差分対数値Ａ＝ｌｏｇ_２｜Ｑ１−Ｑ２｜
輝度平均値Ｂ＝（Ｑ１＋Ｑ２）／２
さらに、高輝度値Ｍａｘ（Ｑ１，Ｑ２）に基づき、図１６のグラフより係数α、βの値を決定する。そして、これらの差分対数値Ａ、輝度平均値Ｂ、低輝度値Ｍｉｎ（Ｑ１，Ｑ２）、および係数α、βを用いて、補正輝度値Ｑｓ’を次式により算出する。
補正輝度値Ｑｓ’＝α・（Ｍｉｎ（Ｑ１，Ｑ２）＋Ａ）＋β・Ｂ
＝α・（Ｍｉｎ（Ｑ１，Ｑ２）＋ｌｏｇ_２｜Ｑ１−Ｑ２｜）
＋β・（Ｑ１＋Ｑ２）／２ …（６）
式（６）からわかるように、係数αは、低輝度値Ｍｉｎ（Ｑ１，Ｑ２）と差分対数値Ａとの和に対して重み付けを行う係数であり、係数βは、輝度平均値Ｂに対して重み付けを行う係数である。また、補正輝度値Ｑｓ’は、本発明における「第２補正輝度値」に相当する。

【0071】

画像補正部４は、補正輝度値Ｑｓ’の算出にあたり、高輝度値Ｍａｘ（Ｑ１，Ｑ２）が所定値（ここでは１２８）以上か否かを判別する。そして、０＜Ｍａｘ（Ｑ１，Ｑ２）＜１２８であれば、当該Ｍａｘ（Ｑ１，Ｑ２）に応じた係数α、βの値を図１６のグラフから決定し、式（６）により補正輝度値Ｑｓ’を算出する。また、１２８≦Ｍａｘ（Ｑ１，Ｑ２）である場合は、式（６）において、α＝１、β＝０として補正輝度値Ｑｓ’を算出する。このときの補正輝度値Ｑｓ’は、
Ｑｓ’＝Ｍｉｎ（Ｑ１，Ｑ２）＋ｌｏｇ_２｜Ｑ１−Ｑ２｜ …（７）
であり、前記の式（４）の補正輝度値Ｑｓと同じとなる。また、Ｍａｘ（Ｑ１，Ｑ２）＝０の場合は、式（６）において、α＝０、β＝１として補正輝度値Ｑｓ’を算出する。このときの補正輝度値Ｑｓ’は、
Ｑｓ’＝（Ｑ１＋Ｑ２）／２ …（８）
であり、輝度平均値Ｂがそのまま補正輝度値Ｑｓ’ となる。

【0072】

このように、低輝度値Ｍｉｎ（Ｑ１，Ｑ２）と差分対数値Ａとの和に対して係数αによる重み付けを行い、輝度平均値Ｂに対して係数βによる重み付けを行った補正輝度値Ｑｓ’を用いて画像の補正処理を行うことにより、眼鏡による反射の有無に応じた最適の合成画像を作成することができる。すなわち、眼鏡で反射があって高輝度値Ｍａｘ（Ｑ１，Ｑ２）が大きい場合は、大きな値の係数αと小さな値の係数βによって重み付けが行われる結果、補正輝度値Ｑｓ’は、輝度平均値Ｂよりも、低輝度値Ｍｉｎ（Ｑ１，Ｑ２）および差分対数値Ａが強調された値となる。このため、低輝度化と対数変換による差分の圧縮効果とが反映されて、図１７（ａ）に示すような眼鏡反射に影響されない合成画像を得ることができる。一方、眼鏡で反射がなく高輝度値Ｍａｘ（Ｑ１，Ｑ２）が小さい場合は、小さな値の係数αと大きな値の係数βによって重み付けが行われる結果、補正輝度値Ｑｓ’は、低輝度値Ｍｉｎ（Ｑ１，Ｑ２）や差分対数値Ａよりも、輝度平均値Ｂが強調された値となる。このため、輝度の平均化により図１７（ｂ）に示すような、図１７（ａ）よりも全体的に明るい合成画像を得ることができる。

【0073】

上述した補正輝度値Ｑｓ’を用いて合成画像を作成する方法は、図１および図２に示したドライバーモニタ１００と、図１１および図１２に示したドライバーモニタ２００のいずれにおいても採用することができる。

【0074】

本発明では、以上述べた実施形態以外にも、以下のような種々の実施形態を採用することができる。

【0075】

前記の実施形態では、補正輝度値の算出にあたって、底が２である対数関数（図７）を用いたが、対数の底は２以外の値（たとえば３）であってもよい。また、本発明で用いる関数は、変数の増加とともに単調増加し、かつ増加率が漸減する関数であればよく、対数関数に限定されない。たとえば、図１８に示す無理関数や、図１９に示す双曲線関数を用いることも可能である。

【0076】

前記の実施形態では、第１輝度値Ｑ１と第２輝度値Ｑ２とを対応画素ごとに比較したが、これに代えて、複数の画素を含むブロック単位で輝度値を比較してもよい。たとえば、図２０に示すように、第１画像を複数の第１画素Ｇ１を含む複数の第１ブロックＨ１に分割するとともに、第２画像を複数の第２画素Ｇ２を含む複数の第２ブロックＨ２に分割する。そして、第１ブロックＨ１の第１輝度値Ｑ１と、第２ブロックＨ２の第２輝度値Ｑ２とを、対応するブロックごとに比較する。この場合、各ブロックＨ１、Ｈ２の輝度値Ｑ１、Ｑ２としては、１ブロックに含まれる各画素の輝度値の合計値、平均値、最大値などを用いることができる。

【0077】

図１５においては、左側撮像素子の画素の座標系を基準として、右側撮像素子の画素の座標を算出したが、これとは逆に、右側撮像素子の画素の座標系を基準として、左側撮像素子の画素の座標を算出してもよい。また、左右の画素の座標系以外に、第３の座標系を設定し、これを基準として左右の撮像素子の画素の座標を算出してもよい。

【0078】

また、図１５のような幾何学的方法によらずに、実験的方法によって画素の対応付けを行ってもよい。たとえば、２つの撮像装置（ステレオカメラ）により、あらかじめ所定の模様が描かれた図を異なる方向から撮像し、左右の画像を比較することで画素の対応付けを行い、その結果をテーブル化しておいてもよい。その他、ステレオカメラ方式における画素の対応付け方法としては、エピポーラ線（epipolar line）を用いる方法など、各種の公知の方法を採用することができる。

【0079】

図１６においては、重み付けの係数βを、β＝１−αとした例を挙げたが、係数βは、係数αに依存しない係数であってもよい。

【0080】

図１および図２においては、１つの撮像部１と２つの照明部２１、２２を備えたドライバーモニタ１００を例に挙げ、図１１および図１２においては、２つの撮像部１ａ、１ｂと１つの照明部３０を備えたドライバーモニタ２００を例に挙げたが、本発明はこれらに限定されない。たとえば、ドライバーモニタは、２つの撮像部と２つの照明部を備えたものであってもよい。

【0081】

図１および図１２においては、画像補正部４と画像解析部６が制御部７と別に設けられているが、画像補正部４と画像解析部６は、制御部７の内部に備わっていてもよい。

【0082】

前記の実施形態では、画像処理装置として車両に搭載されるドライバーモニタを例に挙げたが、本発明は、これ以外の用途に用いられる画像処理装置にも適用することができる。

【符号の説明】

【0083】

１ 撮像部
１ａ 第１撮像部
１ｂ 第２撮像部
２ 照明部
３ 記憶部
４ 画像補正部
５ 補正画像記憶部
６ 画像解析部
７ 制御部
８ 外部出力部
２１ 第１照明部
２２ 第２照明部
３０ 照明部
１００、２００ ドライバーモニタ（画像処理装置）
Ｇ１ 第１画素
Ｇ２ 第２画素
Ｈ１ 第１ブロック
Ｈ２ 第２ブロック
Ｐ 運転者（被写体）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】