特許 7533208 乗員監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】乗員監視装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240806BHJP

【ＦＩ】

G06T7/00 300B

G06T7/00 660A

【請求項の数】 4

(21)【出願番号】P 2020217265

(22)【出願日】2020-12-25

(65)【公開番号】P2022102494

(43)【公開日】2022-07-07

【審査請求日】2023-09-25

(73)【特許権者】

【識別番号】000002082

【氏名又は名称】スズキ株式会社

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【氏名又は名称】松島 鉄男

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【識別番号】100170379

【弁理士】

【氏名又は名称】徳本 浩一

(74)【代理人】

【氏名又は名称】有原 幸一

(72)【発明者】

【氏名】新舎 大昌

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０２０－１５２１３３（ＪＰ，Ａ）

【文献】黒田 卓也，近赤外光を用いた顔認識監視システム，画像ラボ 第１６巻，日本工業出版株式会社，2005年03月01日，第１６巻 第３号，pp.48-50

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両の乗員が写っている近赤外線画像及びカラー画像を取得する取得部であって、前記カラー画像はＲＧＢ画像又はＹＵＶ画像である、取得部と、
前記カラー画像がＲＧＢ画像である場合、前記ＲＧＢ画像をＹＵＶ画像へ変換し、前記近赤外線画像と前記ＹＵＶ画像とのいずれかを選択する選択部と、
前記選択部により選択された前記近赤外線画像又は前記ＹＵＶ画像を用いて、前記乗員の状態を判定する判定部と
を有し、
前記選択部は、
前記ＹＵＶ画像において前記乗員の顔が写っている領域を複数のサブ領域に分割し、前記複数のサブ領域のそれぞれにつき、当該サブ領域に含まれる画素の輝度値の平均値を計算し、
前記平均値が予め定められた閾値以上である場合に、前記近赤外線画像を選択し、
前記平均値が前記閾値を下回る場合に、前記ＹＵＶ画像を選択する、
乗員監視装置。

【請求項2】

前記サブ領域は，前記乗員の顔の部位ごとに設けられる、請求項１に記載の乗員監視装置。

【請求項3】

前記判定部は，前記ＹＵＶ画像から得られるＶ成分に対してエッジ部分を抽出するソーベルフィルタ処理を実行し，前記乗員の口唇に関する特徴点を認識する、請求項１又は２に記載の乗員監視装置。

【請求項4】

前記判定部は，前記ＹＵＶ画像から得られるＵ成分とＶ成分とに対してエッジ部分を抽出するソーベルフィルタ処理を実行し、前記乗員の顔に占めるＵ成分の面積と、前記乗員の顔に占めるＶ成分の面積とを比較し、前記乗員の体調を判定する、請求項１又は２に記載の乗員監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は乗員監視装置に関する。

【背景技術】

【0002】

特許文献１に車両用撮像制御装置が記載されている。この車両用撮像制御装置において、モード選択部は、車両情報を用いて、搭乗者に対するモニタリングの処理モードを選択し、領域選択部は、選択された処理モードに対応する領域を選択する。そして、露光制御部は、選択された領域の輝度情報を用いて、撮像部に設定すべき露光条件を算出するとされている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１８／１５８８０９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の乗員を捉えた画像を用いて当該乗員を監視するに際し、外乱光に対するロバスト性を維持するためには、近赤外光の画像だけでは不十分な可能性がある。また、カラー画像を採用したとしても、車両走行中に乗員の顔に太陽光や街灯の光といった外乱光が当たることにより、顔表面上の明暗が時々刻々と変化するため、画像に写っている顔を認識することが難しいという課題がある。

【0005】

そこで、本発明は、車両の乗員監視における外乱光の影響を抑えることを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明に係る乗員監視装置は、車両の乗員が写っている近赤外線画像及びカラー画像を取得する取得部であって、前記カラー画像はＲＧＢ画像又はＹＵＶ画像である、取得部と、前記カラー画像がＲＧＢ画像である場合、前記ＲＧＢ画像をＹＵＶ画像へ変換し、前記近赤外線画像と前記ＹＵＶ画像とのいずれかを選択する選択部と、前記選択部により選択された前記近赤外線画像又は前記ＹＵＶ画像を用いて、前記乗員の状態を判定する判定部とを有する。前記選択部は、前記ＹＵＶ画像において前記乗員の顔が写っている領域を複数のサブ領域に分割し、前記複数のサブ領域のそれぞれにつき、当該サブ領域に含まれる画素の輝度値の平均値を計算し、前記平均値が予め定められた閾値以上である場合に、前記近赤外線画像を選択し、前記平均値が前記閾値を下回る場合に、前記ＹＵＶ画像を選択する。

【発明の効果】

【0007】

本発明によれば、車両の乗員監視における外乱光の影響を抑えることができる。

【図面の簡単な説明】

【0008】

【図1】乗員監視システムの構成を示すブロック図である。

【図2】輝度値（Ｙ成分）の第１閾値及び第２閾値を示す説明図である。

【図3】乗員監視装置により行われる処理の流れを示すフローチャートである。

【図4】第１判定処理の流れを示すフローチャートである。

【図5】第２判定処理の流れを示すフローチャートである。

【図6】乗員の顔が写っている領域を示す説明図である。

【図7】乗員の顔が写っている領域が複数のサブ領域に分割された様子を示す説明図である。

【図8】乗員の顔が写っている領域を示す別の説明図である。

【図9】乗員の顔が写っている領域が複数のサブ領域に分割された様子を示す別の説明図である。

【発明を実施するための形態】

【0009】

以下、本発明を図示の実施の形態に基づいて説明する。ただし、本発明は、以下に説明する実施の形態によって限定されるものではない。

【0010】

図１に、車両に搭載される乗員監視システム１を示す。乗員監視システムをドライバーモニタリングシステム（ＤＭＳ）とも呼ぶ。乗員監視システム１は、通信可能に接続されたカメラ２及び乗員監視装置３を備えている。カメラ２は、車両の運転席付近に設置され、当該車両の乗員を撮影する。乗員監視装置３は、カメラ２により得られた画像を取得し、当該画像に基づいて乗員を監視する。乗員監視装置３は、取得部３１と選択部３２と判定部３３とを備えている。各部が行う処理については後述する。乗員監視装置３は、コンピュータハードウェアにより実現され、演算処理装置と記憶装置と外部通信用のインターフェースとを備えている。

【0011】

乗員監視システム１においては、近赤外線画像およびカラー画像を使用して乗員の監視が行われる。画像の輝度値に応じて、近赤外線画像と、ＹＵＶ形式の画像（ＹＵＶ画像）とのいずれかが選択され、選択された画像が乗員の監視に用いられる。なお、カメラ２によるカラー画像がＲＧＢ形式の画像（ＲＧＢ画像）である場合、ＲＧＢ画像からＹＵＶ画像への変換は、ＩＴＵ（国際電気通信連合）で定める規格ＩＴＵ－Ｒ ＢＴ．６０１に基づいて行うことができる。

【0012】

ところで、近赤外線画像においては、色がグレーなのか赤なのかが画素値から判別できないことがある。

【0013】

そこで、乗員の顔が写っている領域の輝度値（乗員の顔における明るさ）が、乗員の顔認識に問題のない適正範囲内である限り、近赤外線画像が用いられる。他方、輝度値が所定の範囲外である場合、すなわち、輝度値が乗員認識に悪影響を及ぼすと考えられる場合には、ＹＵＶ画像が用いられる。ＹＵＶ画像においては、色成分の値と輝度値が分離されており、色成分の値に対する明るさ成分の影響が少ないことから、輝度値が所定の範囲外であっても好適に乗員の顔の特徴点を認識することが可能となる。

【0014】

図２に、ＹＵＶ画像における輝度値（Ｙ成分）の第１閾値及び第２閾値を示す。第１閾値及び第２閾値はいずれも正の値であり、第１閾値は第２閾値よりも小さい。輝度値が第１閾値以上かつ第２閾値以下である場合は、輝度値が適正範囲内であるとして、近赤外線画像が用いられる。輝度値が第１閾値を下回る場合、あるいは第２閾値を上回る場合は、輝度値が適正範囲外であるとして、ＹＵＶ画像が用いられる。

【0015】

一例として、第１閾値を、輝度値のシステム上限値の２０％から３０％に相当する値とし、第２閾値を、上記システム上限値の８０％に相当する値とすることができる。第１閾値及び第２閾値は、乗員監視装置３内の記憶装置に記憶することができる。

【0016】

図３に、乗員監視装置３により行われる処理の流れを示す。本処理は、車両の走行中に定期的に行われる。ステップＳ１において、取得部３１は、カメラ２により得られた近赤外線画像及びカラー画像を取得する。カラー画像は、ＲＧＢ画像又はＹＵＶ画像である。さらに同ステップにおいて、選択部３２は、第１判定フローが成立したかどうかを判定する。第１判定フローについては後述する。第１判定フローが成立していないと判定された場合は、次にステップＳ２が行われ、第１判定フローが成立したと判定された場合は、次にステップＳ４が行われる。

【0017】

ステップＳ２において、選択部３２は、第２判定フローが成立したかどうかを判定する。第２判定フローの詳細については後述する。第２判定フローが成立していないと判定された場合は、次にステップＳ３が行われ、第２判定フローが成立したと判定された場合は、次にステップＳ４が行われる。

【0018】

ステップＳ３において、選択部３２は、乗員監視に用いる画像として近赤外線画像を選択する。ステップＳ４において、選択部３２は、乗員監視に用いる画像としてＹＵＶ形式の画像を選択する。ステップＳ５において、判定部３３は、ステップＳ３又はステップＳ４において選択された画像を用いて、乗員の状態を判定する。

【0019】

ステップＳ１における第１判定フローの詳細を図４に示す。ステップＳ１１において、選択部３２は、カメラ２による近赤外線画像又はカラー画像に写っている乗員の顔の認識を試みた上で、認識できたかどうかを判定する。認識できたと判定された場合は、次にステップＳ１２が行われ、さもなければ再びステップＳ１１が行われる。

【0020】

ステップＳ１２において、選択部３２は、カメラ２により得られたカラー画像がＲＧＢ画像である場合、そのＲＧＢ画像をＹＵＶ画像へと変換する。これにより、Ｙ値すなわち輝度値が得られる。なお、カメラ２により得られたカラー画像がＹＵＶ画像である場合、本ステップを行う必要はない。

【0021】

ステップＳ１３において、選択部３２は、近赤外線画像において認識されている乗員の顔領域に対応する、ＹＵＶ画像の顔領域に含まれる画素のＹ成分の平均値を演算する。このようにすることで、カメラ２により得られた画像の白飛び状態を判定することができる。また、乗員の顔を好適に認識、判断することができる。なお、一部の極端な明るさによる認識失敗を防止するために、顔領域を複数の領域に分割し、領域ごとにＹ成分の平均値を計算してもよい。

【0022】

ステップＳ１４において、選択部３２は、ステップＳ１３にて算出されたＹ成分の平均値が第２閾値を上回っているかどうかを判定する。これにより、この判定結果が「ＹＥＳ」であれば、輝度が高いために近赤外線画像を用いた判定は適切ではないとされて、次にステップＳ１５が行われ、さもなければ再びステップＳ１１が行われる。

【0023】

ステップＳ１５において、選択部３２は、タイマー変数Ｋに１を加えた値をタイマー変数Ｋに代入する。このタイマー変数は、乗員の顔領域におけるＹ成分の平均値が複数のフレームにわたって継続的に第２閾値を上回っているかどうかを判定するための変数である。タイマー変数Ｋの初期値は０である。また、タイマー変数Ｋが更新されてから所定時間が経過すると、タイマー変数Ｋは０にリセットされる。

【0024】

ステップＳ１６において、選択部３２は、タイマー変数Ｋが、予め値が定められているタイマー変数閾値Ｋ_ＴＨを上回っているかどうかを判定する。この判定結果が「ＹＥＳ」であればステップＳ１７が行われ、さもなければ再びステップＳ１１が行われる。

【0025】

一例として、タイマー変数閾値Ｋ_ＴＨを２と定めることができる。フレームカウンタを用いて、３フレーム以上にわたり安定して見えていない場合（つまり、３フレーム以上にわたりステップＳ１４の判定結果が「ＹＥＳ」となった場合）に、ステップＳ１６の判定結果が「ＹＥＳ」となり、ステップＳ１７が行われる。これにより、ステップＳ１４の判定結果が「ＹＥＳ」となるようなフレームがいくつかあったとしても、ステップＳ１６の判定結果が「ＮＯ」である限り、ＹＵＶ画像ではなく近赤外線画像を用いて乗員の判定がなされる。なお、タイマー変数Ｋ_ＴＨの値は可変とすることもできる。

【0026】

ステップＳ１７では、近赤外線画像からＹＵＶ画像への切替条件が成立したと選択部３２が判定する。すなわち、選択部３２は、ＹＵＶ画像の使用に関するフラグを成立させる。なお、フラグに所定の有効期間を設定し、フラグが成立してから当該所定の有効期間が成立するとフラグを不成立に変えることもできる。これにより、必要なタイミングでのみＹＵＶ画像の使用がなされるため、乗員の顔を認識する精度を保つことができる。

【0027】

ステップＳ２における第２判定フローの詳細を図５に示す。ステップＳ２１において、選択部３２は、カメラ２による近赤外線画像又はカラー画像に写っている乗員の顔の認識を試みた上で、認識できたかどうかを判定する。認識できたと判定された場合は、次にステップＳ２２が行われ、さもなければ再びステップＳ２１が行われる。

【0028】

ステップＳ２２において、選択部３２は、カメラ２により得られたカラー画像がＲＧＢ画像である場合、そのＲＧＢ画像をＹＵＶ画像へと変換する。これにより、Ｙ値すなわち輝度値が得られる。なお、カメラ２により得られたカラー画像がＹＵＶ画像である場合、本ステップを行う必要はない。

【0029】

ステップＳ２３において、選択部３２は、近赤外線画像において認識されている顔領域に対応するＹＵＶ画像の領域を複数のサブ領域に分割する。例えば、顔が写っている領域を含む矩形の領域の面積に基づいて、例えば、図６及び図７に示すように、乗員の顔５が写っている領域６を、水平方向に４つ、垂直方向に４つ、計１６個のサブ領域に分けることができる。この場合、１６個のサブ領域Ｄ_１１～Ｄ_１４、Ｄ_２１～Ｄ_２４、Ｄ_３１～Ｄ_３４、及びＤ_４１～Ｄ_４４が得られる。

【0030】

あるいは、乗員の顔５における右眉５１、左眉５２、右目５３、左目５４、鼻５５及び口唇５６の各部位を認識し、各部位が単一のサブ領域に含まれるように（各部位が複数のサブ領域にまたがらないように）、領域６を複数のサブ領域に分割してもよい。図８及び図９に、領域６が、１４個のサブ領域Ｅ_１１、Ｅ_２１、Ｅ_２２、Ｅ_３１～Ｅ_３４、Ｅ_４１～Ｅ_４３、Ｅ_５１～Ｅ_５３、及びＥ_６１に分割された様子を示す。

【0031】

サブ領域Ｅ_１１は、乗員の右眉５１及び左眉５２の上側の部位を含むように設けられている。
サブ領域Ｅ_２１は右眉５１を含むように設けられ、サブ領域Ｅ_２２は左眉５２を含むように設けられる。
サブ領域Ｅ_３１は右目５３の、乗員から見て右側の部位を含むように設けられ、サブ領域Ｅ_３２は右目５３を含むように設けられる。また、サブ領域Ｅ_３３は左目５４を含むように設けられ、サブ領域Ｅ_３４は左目５４の、乗員から見て左側の部位を含むように設けられる。
サブ領域Ｅ_４１は鼻５５の、乗員から見て右側の部位を含むように設けられ、サブ領域Ｅ_４２は鼻５５を含むように設けられ、サブ領域Ｅ_４３は鼻５５の、乗員から見て左側の部位を含むように設けられる。
サブ領域Ｅ_５１は口唇５６の、乗員から見て右側の部位を含むように設けられ、サブ領域Ｅ_５２は口唇５６を含むように設けられ、サブ領域Ｅ_５３は口唇５６の、乗員から見て左側の部位を含むように設けられる。
サブ領域Ｅ_６１は、口唇５６の下側の部位を含むように設けられる。

【0032】

図８及び図９に示したような分割を行った場合、顔の特定の部位に応じてサブ領域が構成されるため、図６及び図７に示したような分割を行う場合に比べて、簡便に輝度を判断することができる。例えば、図６に示したように口唇が複数のサブ領域に跨っている場合、乗員の顔認識に影響があるか否かを判別するための演算負荷が上昇する恐れがあるが、図８及び図９に示したような分割を行うことでこれを回避することができる。

【0033】

このように、ステップＳ２３においては、近赤外線画像において認識されている顔領域に対応するＹＵＶ画像の領域が、複数のサブ領域に分割される。

【0034】

ステップＳ２４において、選択部３２は、ステップＳ２３で得られたサブ領域ごとに、Ｙ成分の平均値を演算する。

【0035】

ステップＳ２５において、選択部３２は、ステップＳ２４にてサブ領域ごとに算出されたＹ成分の平均値が第１閾値を下回っているかどうかを判定する。
複数のサブ領域にそれぞれ対応する複数の平均値のうち、ｎ個の平均値が第１閾値を下回っていれば、判定結果を「ＹＥＳ」とすることができる。ただし、ｎは自然数であり、予め定められている。
あるいは、乗員監視において重要となる目や口といった部位を含むサブ領域（図９の例では、サブ領域Ｅ_３２、Ｅ_３３、及びＥ_５２）のＹ成分の平均値が、第１閾値を下回った場合には、他のサブ領域のＹ成分の平均値にかかわらず、ステップＳ２５の判定結果を「ＹＥＳ」とすることもできる。
本ステップの判定結果が「ＹＥＳ」であれば、輝度が低いために近赤外線画像を用いた判定は適切ではないとされて、次にステップＳ２６が行われ、さもなければ再びステップＳ２１が行われる。

【0036】

ステップＳ２６では、近赤外線画像からＹＵＶ画像への切替条件が成立したと選択部３２が判定する。すなわち、選択部３２は、ＹＵＶ画像の使用に関するフラグを成立させる。なお、フラグに所定の有効期間を設定し、フラグが成立してから当該所定の有効期間が成立するとフラグを不成立に変えることもできる。これにより、必要なタイミングでのみＹＵＶ画像の使用がなされるため、乗員の顔を認識する精度を保つことができる。

【0037】

以上のような実施形態によれば、カラー画像が用いられるため、生体認証などの、色を活用した乗員監視を行うことができるとともに、輝度値に応じて近赤外線画像又はＹＵＶ画像が選択されるため、外乱光による監視への悪影響を低減することができる。

【0038】

色を使用した新たなアプリケーションも利用可能となる。乗員の状態の診断、顔色から暑さ・寒さを判断し、エアコンの温度設定を変えるといったことが可能である。

【0039】

コスト面でも、従来のドライバーモニタリングシステムの構成（カメラ、ＬＥＤ、ＥＣＵ）に対し、カメラをカラー化するためのカラーフィルタ付センサおよびデュアルバスフィルタ（可視光線と近赤外光線を通すことができるフィルタ）を設けることで足りる。別部品としてカラーカメラを追加する必要がないため、アプリケーションを増やすことができるにもかかわらず、コスト増を抑えることができる。

【0040】

カラー処理を行う際に、ＩＳＰ（Image Signal Processor）が別途必要な場合には、カメラ２又は乗員監視装置３に追加すればよい。

【0041】

単眼カメラ（ベイヤ配列はＲＧＢＣ（又はＲＧＢＷ））とデュアルパスフィルタを使用することで、カラー画像及び従来の近赤外線画像を同時に取得することができる。そして、ＩＳＰにて、内部画像処理を行い、カラー画像と近赤外線画像を交互に出力（例えば、偶数フレームはカラー画像、奇数フレームは近赤外線画像）することができるカメラが構成される。

【0042】

近赤外線画像の処理内容としては、従来技術に見られるような脇見検知、居眠り検知などの処理を行うことができる。
カラー画像の処理内容としては、マスクなどの装着物の判定（装着物がある場合には、近赤外線画像への処理方法に変えることが可能）、顔色の判断（運転開始時との差により判断）を行うことで、急に体調が悪くなった場合に少しでも早く検出することができる。

【0043】

続いて、色を使った部位や装着物を判定する方法について述べる。実施する方法としては、“赤色の成分”のみに分離して処理を行い、口や顔色の判定に使うことで、誤検知、未検知を減らすことができる。

【0044】

ｉ）色を使って口を認識する方法
（１）カラー画像を入力する
（２）ＲＧＢ画像からＹＵＶ（ＹＣｂＣｒ）画像への変換
（３）判定部により、Ｖ成分（赤色成分）のみピックアップして、ソーベルフィルタ処理を行う。
（４）赤成分のエッジのみ残っている状態で“口唇”のパターン認識を行う。
（５）“口唇”を認職できたら開口度を判定し、その開口度に応じて眠気の判定を行う。

【0045】

ｉｉ）色を使って、顔色判定（体調急変など）をする方法
（１）カラー画像を入力する
（２）ＲＧＢ画像からＹＵＶ（ＹＣｂＣｒ）画像への変換
（３）判定部により、Ｕ成分（青色成分）のみピックアップして、ソーベルフィルタ処理を行う。
（４）Ｖ成分（赤色成分）のみピックアップして、ソーベルフィルタ処理を行う。
（５）赤成分のエッジのみ残っている状態で、“口唇”のパターン認識を行う。
（６）上記（５）で正面を向いている状態と判定された後に、青成分のエッジのみ残っている状態の領域と、赤成分のエッジのみ残っている領域を比較し、変化量を計測する（具体的には、ソーベルフィルタ処理から得られるエッジによって囲まれる領域の面積を成分ごとに比較する。）。
（７）計測結果で急激に青成分が多くなっているか、赤成分が多くなっている場合は、乗員の体調に変化が生じた可能性があるとして、体調に問題ないかどうかの警告を乗員へ向けて出す。
（８）警告に対して、スイッチを押すなどの乗員からの反応が見られない場合は、通報するなど別システムに報知する。

【0046】

ソーベルフィルタとは、エッジ抽出を行うフィルタのことである。ソーベルフィルタとしては、横方向、縦方向のソーベルフィルタを合成して、全方向のエッジを強調したものを使用する。

【0047】

顔色判定にあたっては、車両走行中のＵ成分（青成分）とＶ成分（赤成分）のデータを所定時間にわたって蓄積し、各成分の平均値を用いることができる。この所定時間は、一例として１０分から３０分程度とすることができ、あるいは、可変としてもよい。各成分の平均値は、上記（６）の「ソーベルフィルタ処理から得られるエッジによって囲まれる領域の面積」を演算する際に使用される。このような時間平均を使用することにより、外光等によって明るさが短時間に変化する車両内であっても好適に“エッジに囲まれる領域の面積”を演算することが可能である。

【0048】

なお、図３においてステップＳ１を省略してもよい。すなわち、第２閾値を用いた第１判定フロー（図４）を行わずに、第１閾値を用いた第２判定フロー（図５）を行って、近赤外線画像及びＹＵＶ画像のいずれかを選択することができる。

【0049】

これまでに説明した実施形態に関し、以下の付記を開示する。
［付記１］
車両の乗員が写っている近赤外線画像及びカラー画像を取得する取得部であって、前記カラー画像はＲＧＢ画像又はＹＵＶ画像である、取得部と、
前記カラー画像がＲＧＢ画像である場合、前記ＲＧＢ画像をＹＵＶ画像へ変換し、前記近赤外線画像と前記ＹＵＶ画像とのいずれかを選択する選択部と、
前記選択部により選択された前記近赤外線画像又は前記ＹＵＶ画像を用いて、前記乗員の状態を判定する判定部と
を有し、
前記選択部は、
前記ＹＵＶ画像において前記乗員の顔が写っている領域を複数のサブ領域に分割し、前記複数のサブ領域のそれぞれにつき、当該サブ領域に含まれる画素の輝度値の平均値を計算し、
前記平均値が予め定められた閾値以上である場合に、前記近赤外線画像を選択し、
前記平均値が前記閾値を下回る場合に、前記ＹＵＶ画像を選択する、
乗員監視装置。
［効果］
このようにすることで，顔の表面上の輝度に依らず、安定して顔の特徴点を判別することが可能である．すなわち、西日や太陽光などにより車両のピラーが陰となるときや影の向きは車両挙動により一定にならない時であっても，安定して輝度値が分離されるＹＵＶ画像へ切り替えられることから、乗員の顔を認識することが可能である。具体的な事例としては、対向車のヘッドライト、後側方の車からのヘッドライトにより顔の一部で明るさが異なるか、影となるときが挙げられる。あるいは、道路照明や店舗照明の当たり具合により、顏の一部が影になるときも挙げられる。
なお、ＹＵＶとは、ＹＣｂＣｒのことである。ＹＵＶの形式は、ＹＵＶ４：４：４、ＹＵＶ４：２：２、ＹＵＶ４：１：１のいずれでもよい（ビット数の違い、圧縮率の違い）。

【0050】

［付記２］
前記サブ領域は，前記乗員の顔の部位ごとに設けられる、付記１に記載の乗員監視装置。
［効果］
分割後の各領域の面積が等しくなる等分と比較して、より顔のパーツに応じてサブ領域を構成することで簡便に輝度を判断することができる。具体的には、唇などの部位は等分の場合、複数のサブ領域に跨る可能性があり、乗員の顔認識に影響があるか否か判別するための演算負荷が上昇する恐れがある。さらに、部位の存在有無に基づいてサブ領域ごとに重み付けを行うことが簡便にできるため、好適に乗員の顔を認識することが可能である。
また、等分と比較して、部位ごとに重み付けや判断を容易に行うことが可能である。等分の場合には、１つのサブ領域に複数の顔部位が含まれる可能性がある。等分の場合でも、複数の顔部位が含まれないようにすることや精度を向上させるためにサブ領域の数を増加させることが考えられるが、数が増えるほどシステムの演算負荷が上昇する恐れがある。

【0051】

［付記３］
前記判定部は，前記ＹＵＶ画像から得られるＶ成分に対してエッジ部分を抽出するソーベルフィルタ処理を実行し，前記乗員の口唇に関する特徴点を認識する、付記１又は２に記載の乗員監視装置。
［効果］
明るさが安定しない状態であっても、口唇の特徴点を認識することが可能である。

【0052】

［付記４］
前記判定部は，前記ＹＵＶ画像から得られるＵ成分とＶ成分とに対してエッジ部分を抽出するソーベルフィルタ処理を実行し、前記乗員の顔に占めるＵ成分の面積と、前記乗員の顔に占めるＶ成分の面積とを比較し、前記乗員の体調を判定する、付記１又は２に記載の乗員監視装置。
［効果］
明るさが安定しない状態であっても、乗員の状態を認識することが可能である。

【0053】

以上、本発明の実施の形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。

【符号の説明】

【0054】

１ 乗員監視システム
２ カメラ
３ 乗員監視装置
３１ 取得部
３２ 選択部
３３ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】