特許 7625073 車載用露光制御装置及び露光制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-23

(45)【発行日】2025-01-31

(54)【発明の名称】車載用露光制御装置及び露光制御方法

(51)【国際特許分類】

   H04N 23/70 20230101AFI20250124BHJP

   H04N 23/611 20230101ALI20250124BHJP

   H04N 23/73 20230101ALI20250124BHJP

   H04N 23/76 20230101ALI20250124BHJP

   G03B 15/00 20210101ALI20250124BHJP

   G03B 7/091 20210101ALI20250124BHJP

【ＦＩ】

H04N23/70

H04N23/611

H04N23/73

H04N23/76

G03B15/00 V

G03B15/00 Q

G03B7/091

【請求項の数】 4

(21)【出願番号】P 2023515986

(86)(22)【出願日】2021-04-23

(86)【国際出願番号】 JP2021016404

(87)【国際公開番号】W WO2022224423

(87)【国際公開日】2022-10-27

【審査請求日】2023-04-19

【前置審査】

(73)【特許権者】

【識別番号】324003048

【氏名又は名称】三菱電機モビリティ株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】松本 智大

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２００９－１００２５２（ＪＰ，Ａ）

【文献】特開２０１８－１５１９１９（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１５２３４７３（ＣＮ，Ａ）

【文献】国際公開第２０１０／１００８４２（ＷＯ，Ａ１）

【文献】国際公開第２０２１／０２４４７０（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１７９１７４（ＷＯ，Ａ１）

【文献】特開２０１１－１３０１１６（ＪＰ，Ａ）

【文献】国際公開第２０１９／１０２６１９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０２３９９７７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７０

Ｈ０４Ｎ ２３／６１１

Ｈ０４Ｎ ２３／７３

Ｈ０４Ｎ ２３／７６

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９１

(57)【特許請求の範囲】

【請求項1】

車両に搭乗している搭乗者を撮影する撮像装置から出力される前記搭乗者の撮像画像を取得する撮像部と、
前記撮像部に取得された前記撮像画像から前記搭乗者の顔情報を検知する顔検知部と、
前記顔検知部により検知された前記顔情報を用いて、前記撮像画像に写る前記搭乗者の顔又は顔の一部の輝度である第１輝度を検出する輝度検出部と、
前記輝度検出部に検出された前記第１輝度が目標輝度となるように露光を制御する露光制御部と、を備え、
前記輝度検出部は、前記搭乗者の顔がアクセサリにより遮蔽されていない場合は、前記搭乗者の顔の輝度を前記第１輝度として検出し、前記搭乗者の顔の一部がアクセサリにより遮蔽されている場合は、前記アクセサリにより遮蔽されている前記顔の一部を除く領域の輝度を前記第１輝度として検出し、
前記顔検知部に検知された前記顔情報を用いて、前記搭乗者が前記アクセサリであるマスクを装着しているか否かを検出するマスク検出部をさらに備え、
前記輝度検出部は、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記搭乗者の顔のうち、マスクで遮蔽された前記顔の一部を除いた領域の輝度を前記第１輝度として検出し、前記マスク検出部により、前記搭乗者がマスクの装着していないと検出された場合、前記搭乗者の顔の輝度を前記第１輝度として検出し、
前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記マスクの種類を識別するマスク種類識別部と、
前記露光制御部による露光の制御における前記目標輝度を調整する目標輝度調整部と、をさらに備え、
前記露光制御部は、前記マスク検出部により、前記搭乗者がマスクの装着していないと検出された場合、前記第１輝度が前記目標輝度のうち、第１目標輝度となるように露光を制御し、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記第１輝度が、前記目標輝度のうち、前記第１目標輝度と異なる第２目標輝度となるように露光を制御し、
前記目標輝度調整部は、前記マスク種類識別部により、前記マスクの種類が白系マスクと識別された場合、前記第２目標輝度を、前記第１目標輝度よりも大きな輝度に調整し、
前記マスク種類識別部により、前記マスクの種類が黒系マスクと識別された場合、前記第２目標輝度を、前記第１目標輝度よりも小さな輝度に調整する
ことを特徴とする車載用露光制御装置。

【請求項2】

車両に搭乗している搭乗者を撮影する撮像装置から出力される前記搭乗者の撮像画像を取得する撮像部と、
前記撮像部に取得された前記撮像画像から前記搭乗者の顔情報を検知する顔検知部と、
前記顔検知部により検知された前記顔情報を用いて、前記撮像画像に写る前記搭乗者の顔又は顔の一部の輝度である第１輝度を検出する輝度検出部と、
前記輝度検出部に検出された前記第１輝度が目標輝度となるように露光を制御する露光制御部と、を備え、
前記輝度検出部は、前記搭乗者の顔がアクセサリにより遮蔽されていない場合は、前記搭乗者の顔の輝度を前記第１輝度として検出し、前記搭乗者の顔の一部がアクセサリにより遮蔽されている場合は、前記アクセサリにより遮蔽されている前記顔の一部を除く領域の輝度を前記第１輝度として検出し、
前記顔検知部に検知された前記顔情報から顔パーツを検知する顔パーツ検知部と、
前記顔パーツ検知部に検知された顔パーツの検知精度を検出する顔パーツ検知精度検出部と、
前記顔パーツ検知精度検出部に検出された前記顔パーツの前記検知精度が予め定められた検知精度以上である顔パーツを、アクセサリに遮蔽されていない露光制御対象顔パーツと判定し、判定結果を出力する露光制御対象顔パーツ判定部と、をさらに備え、
前記輝度検出部は、前記露光制御対象顔パーツ判定部により出力された判定結果を用いて、前記露光制御対象顔パーツを、前記搭乗者の顔におけるアクセサリにより遮蔽されていない顔パーツとし、当該顔パーツの輝度を第１輝度として検出する
ことを特徴とする車載用露光制御装置。

【請求項3】

撮像部により、車両に搭乗している搭乗者を撮影する撮像装置から出力される前記搭乗者の撮像画像を取得するステップと、
顔検知部により、前記撮像部に取得された前記撮像画像から前記搭乗者の顔情報を検知するステップと、
輝度検出部により、前記顔検知部により検知された前記顔情報を用いて、前記撮像画像に写る前記搭乗者の顔又は顔の一部の輝度である第１輝度を検出するステップと、
露光制御部により、前記輝度検出部に検出された前記第１輝度が目標輝度となるように露光を制御するステップと、を備え、
前記輝度検出部は、前記搭乗者の顔がアクセサリにより遮蔽されていない場合は、前記搭乗者の顔の輝度を前記第１輝度として検出し、前記搭乗者の顔の一部がアクセサリにより遮蔽されている場合は、前記アクセサリにより遮蔽されている前記顔の一部を除く領域の輝度を前記第１輝度として検出し、
マスク検出部により、前記顔検知部に検知された前記顔情報を用いて、前記搭乗者が前記アクセサリであるマスクを装着しているか否かを検出するステップをさらに備え、
前記輝度検出部は、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記搭乗者の顔のうち、マスクで遮蔽された前記顔の一部を除いた領域の輝度を前記第１輝度として検出し、前記マスク検出部により、前記搭乗者がマスクの装着していないと検出された場合、前記搭乗者の顔の輝度を前記第１輝度として検出し、
マスク種類識別部により、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記マスクの種類を識別するステップと、
目標輝度調整部により、前記露光制御部による露光の制御における前記目標輝度を調整するステップと、をさらに備え、
前記露光制御部は、前記マスク検出部により、前記搭乗者がマスクの装着していないと検出された場合、前記第１輝度が前記目標輝度のうち、第１目標輝度となるように露光を制御し、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記第１輝度が、前記目標輝度のうち、前記第１目標輝度と異なる第２目標輝度となるように露光を制御し、
前記目標輝度調整部は、前記マスク種類識別部により、前記マスクの種類が白系マスクと識別された場合、前記第２目標輝度を、前記第１目標輝度よりも大きな輝度に調整し、前記マスク種類識別部により、前記マスクの種類が黒系マスクと識別された場合、前記第２目標輝度を、前記第１目標輝度よりも小さな輝度に調整する
ことを特徴とする露光制御方法。

【請求項4】

撮像部により、車両に搭乗している搭乗者を撮影する撮像装置から出力される前記搭乗者の撮像画像を取得するステップと、
顔検知部により、前記撮像部に取得された前記撮像画像から前記搭乗者の顔情報を検知するステップと、
輝度検出部により、前記顔検知部により検知された前記顔情報を用いて、前記撮像画像に写る前記搭乗者の顔又は顔の一部の輝度である第１輝度を検出するステップと、
露光制御部により、前記輝度検出部に検出された前記第１輝度が目標輝度となるように露光を制御するステップと、を備え、
前記輝度検出部は、前記搭乗者の顔がアクセサリにより遮蔽されていない場合は、前記搭乗者の顔の輝度を前記第１輝度として検出し、前記搭乗者の顔の一部がアクセサリにより遮蔽されている場合は、前記アクセサリにより遮蔽されている前記顔の一部を除く領域の輝度を前記第１輝度として検出し、
顔パーツ検知部により、前記顔検知部に検知された前記顔情報から顔パーツを検知するステップと、
顔パーツ検知精度検出部により、前記顔パーツ検知部に検知された顔パーツの検知精度を検出するステップと、
露光制御対象顔パーツ判定部により、前記顔パーツ検知精度検出部に検出された前記顔パーツの前記検知精度が予め定められた検知精度以上である顔パーツを、アクセサリに遮蔽されていない露光制御対象顔パーツと判定し、判定結果を出力するステップと、をさらに備え、
前記輝度検出部は、前記露光制御対象顔パーツ判定部により出力された判定結果を用いて、前記露光制御対象顔パーツを、前記搭乗者の顔におけるアクセサリにより遮蔽されていない顔パーツとし、当該顔パーツの輝度を第１輝度として検出する
ことを特徴とする露光制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車載用露光制御装置及び露光制御方法に関する。

【背景技術】

【0002】

従来、運転者の顔を撮像した撮像画像上において、運転者がマスクを装着していると判定された場合に撮像画像の露光を制御する車載用露光制御装置が知られている（例えば、特許文献１）。当該車載用露光制御装置が有する撮像画像の露光を制御する露光制御部は、例えば、マスク端部で抽出された水平エッジよりも上下方向下方向の予め定められた領域（つまり、当該マスクが存在する領域）が予め定められた輝度値以上であることから運転者がマスクを装着していると判定された場合、当該マスク（例えば、白色）による撮像画像の過剰な露光調整を抑制する。よって、他の部位（例えば、眼等）に対する露光が不適切になることを防止でき、運転者の視線を検出することができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１１８５８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両に搭乗している運転者を含む搭乗者は、マスクに限らず、他の様々なアクセサリ（例えば、サングラス等）を装着する可能性がある。また、マスクの色も白色に限らず、他の様々な色を装着する可能性がある。しかしながら、特許文献１には、マスク以外のアクセサリや白色以外のマスクを装着している場合においても適切に露光を制御する方法については、具体的に開示されていない。

【0005】

本開示は上記した問題点を解決するためになされたものであり、搭乗者が装着している様々なアクセサリに対応して適切に露光を制御することが可能な車載用露光制御装置及び露光制御方法を得ることを目的とする。

【課題を解決するための手段】

【0006】

本開示に関わる車載用露光制御装置は、車両に搭乗している搭乗者を撮影する撮像装置から出力される前記搭乗者の撮像画像を取得する撮像部と、前記撮像部に取得された前記撮像画像から前記搭乗者の顔情報を検知する顔検知部と、前記顔検知部により検知された前記顔情報を用いて、前記撮像画像に写る前記搭乗者の顔又は顔の一部の輝度である第１輝度を検出する輝度検出部と、前記輝度検出部に検出された前記第１輝度が目標輝度となるように露光を制御する露光制御部と、を備え、前記輝度検出部は、前記搭乗者の顔がアクセサリにより遮蔽されていない場合は、前記搭乗者の顔の輝度を前記第１輝度として検出し、前記搭乗者の顔の一部がアクセサリにより遮蔽されている場合は、前記アクセサリにより遮蔽されている前記顔の一部を除く領域の輝度を前記第１輝度として検出し、前記顔検知部に検知された前記顔情報を用いて、前記搭乗者が前記アクセサリであるマスクを装着しているか否かを検出するマスク検出部をさらに備え、前記輝度検出部は、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記搭乗者の顔のうち、マスクで遮蔽された前記顔の一部を除いた領域の輝度を前記第１輝度として検出し、前記マスク検出部により、前記搭乗者がマスクの装着していないと検出された場合、前記搭乗者の顔の輝度を前記第１輝度として検出し、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記マスクの種類を識別するマスク種類識別部と、前記露光制御部による露光の制御における前記目標輝度を調整する目標輝度調整部と、をさらに備え、前記露光制御部は、前記マスク検出部により、前記搭乗者がマスクの装着していないと検出された場合、前記第１輝度が前記目標輝度のうち、第１目標輝度となるように露光を制御し、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記第１輝度が、前記目標輝度のうち、前記第１目標輝度と異なる第２目標輝度となるように露光を制御し、前記目標輝度調整部は、前記マスク種類識別部により、前記マスクの種類が白系マスクと識別された場合、前記第２目標輝度を、前記第１目標輝度よりも大きな輝度に調整し、前記マスク種類識別部により、前記マスクの種類が黒系マスクと識別された場合、前記第２目標輝度を、前記第１目標輝度よりも小さな輝度に調整する。

【0007】

また、本開示に関わる露光制御方法は、撮像部により、車両に搭乗している搭乗者を撮影する撮像装置から出力される前記搭乗者の撮像画像を取得するステップと、顔検知部により、前記撮像部に取得された前記撮像画像から前記搭乗者の顔情報を検知するステップと、輝度検出部により、前記顔検知部により検知された前記顔情報を用いて、前記撮像画像に写る前記搭乗者の顔又は顔の一部の輝度である第１輝度を検出するステップと、露光制御部により、前記輝度検出部に検出された前記第１輝度が目標輝度となるように露光を制御するステップと、を備え、前記輝度検出部は、前記搭乗者の顔がアクセサリにより遮蔽されていない場合は、前記搭乗者の顔の輝度を前記第１輝度として検出し、前記搭乗者の顔の一部がアクセサリにより遮蔽されている場合は、前記アクセサリにより遮蔽されている前記顔の一部を除く領域の輝度を前記第１輝度として検出し、マスク検出部により、前記顔検知部に検知された前記顔情報を用いて、前記搭乗者が前記アクセサリであるマスクを装着しているか否かを検出するステップをさらに備え、前記輝度検出部は、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記搭乗者の顔のうち、マスクで遮蔽された前記顔の一部を除いた領域の輝度を前記第１輝度として検出し、前記マスク検出部により、前記搭乗者がマスクの装着していないと検出された場合、前記搭乗者の顔の輝度を前記第１輝度として検出し、マスク種類識別部により、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記マスクの種類を識別するステップと、目標輝度調整部により、前記露光制御部による露光の制御における前記目標輝度を調整するステップと、をさらに備え、前記露光制御部は、前記マスク検出部により、前記搭乗者がマスクの装着していないと検出された場合、前記第１輝度が前記目標輝度のうち、第１目標輝度となるように露光を制御し、前記マスク検出部により、前記搭乗者がマスクを装着していると検出された場合、前記第１輝度が、前記目標輝度のうち、前記第１目標輝度と異なる第２目標輝度となるように露光を制御し、前記目標輝度調整部は、前記マスク種類識別部により、前記マスクの種類が白系マスクと識別された場合、前記第２目標輝度を、前記第１目標輝度よりも大きな輝度に調整し、前記マスク種類識別部により、前記マスクの種類が黒系マスクと識別された場合、前記第２目標輝度を、前記第１目標輝度よりも小さな輝度に調整する。

【発明の効果】

【0008】

本開示の車載用露光制御装置及び露光制御方法は、搭乗者の顔情報を用いてマスクの装着有無を判定し、その判定結果から検出された平均輝度を予め定められた目標輝度に近づけるように露光を制御するため、搭乗者がアクセサリを装着し顔パーツを遮蔽している場合においても適切に露光を制御することができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】実施の形態１の車載用露光制御装置１０が適用されるＤＭＳ１００の概略図である。

【図2】実施の形態１の露光制御方法のフローチャートである。

【図3】ステップＳ１０４における露光制御対象顔パーツの例を示す図である。

【図4】ステップＳ１０４における露光制御対象顔パーツの例を示す図である。

【図5】ステップＳ１０４における露光制御対象顔パーツの例を示す図である。

【図6】ステップＳ１０４における露光制御対象顔パーツの例を示す図である。

【図7】実施の形態２の車載用露光制御装置２０が適用されるＤＭＳ２００の概略図である。

【図8】実施の形態２の露光制御方法のフローチャートである。

【図9】ステップＳ２０３及びＳ２０４で検出される各領域の範囲を示す図である。

【図10】実施の形態３の車載用露光制御装置３０が適用されるＤＭＳ３００の概略図である。

【図11】実施の形態３の露光制御方法のフローチャートである。

【発明を実施するための形態】

【0010】

実施の形態１．
実施の形態１における車載用露光制御装置１０および露光制御方法について図１から図６を用いて説明する。図１は実施の形態１の車載用露光制御装置１０が適用されるＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）１００の概略図である。当該ＤＭＳ１００は、車両に搭載され、当該車両に搭乗している運転者を含む搭乗者を対象とした種々のモニタリング処理を行うものである。当該ＤＭＳ１００が有する搭乗者に対してのモニタリング処理としては、例えば、当該搭乗者の状態判定、及び、当該搭乗者の個人認証等が挙げられる。
当該ＤＭＳ１００は、撮像装置１と、撮像装置１にネットワークを介して接続される車載用露光制御装置１０を備える。

【0011】

撮像装置１は、搭乗者を撮影し、その撮像画像を車載用露光制御装置１０へ出力するカメラである。

【0012】

車載用露光制御装置１０は、撮像装置１から出力された撮像画像の露光制御を行うものである。車載用露光制御装置１０は、撮像部２と、顔検知部３と、顔パーツ検知部４と、顔パーツ検知精度検出部５と、露光制御対象顔パーツ判定部６と、輝度検出部７と、露光制御部８とを備える。

【0013】

撮像部２は、撮像装置１から出力される撮像画像を取得する。そして、撮像部２は、当該撮像画像を顔検知部３へ出力する。

【0014】

顔検知部３は、撮像部２から出力される撮像画像を用いて、搭乗者の顔情報を検知する。そして、顔検知部３は、当該顔情報を検知した検知結果を顔パーツ検知部４へ出力する。

【0015】

顔パーツ検知部４は、顔検知部３から出力される検知結果を用いて、モニタリング処理に必要な顔情報の特徴点となる顔パーツ（例えば、目、鼻及び口等）を検知する。そして、顔パーツ検知部４は、当該顔パーツを検知した検知結果を顔パーツ検知精度検出部５へ出力する。

【0016】

顔パーツ検知精度検出部５は、顔パーツ検知部４から出力される検知結果を用いて、顔パーツの検知結果の精度を示す検知精度を検出する。そして、顔パーツ検知精度検出部５は、当該検知精度の検出結果を露光制御対象顔パーツ判定部６へ出力する。

【0017】

露光制御対象顔パーツ判定部６は、顔パーツ検知精度検出部５から出力される検出結果を用いて、検知精度が予め定められた第一の検知精度に達しているか否かを判定し、第一の検知精度に達している顔パーツを、露光を制御する対象とする露光制御対象顔パーツとして選択する。そして、露光制御対象顔パーツ判定部６は、当該結果を輝度検出部７へ出力する。
ここで、第一の検知精度とは、モニタリング処理に必要な第二の検知精度には達していないものの、露光を制御することにより顔パーツの検知精度を第二の検知精度に到達させることが可能な検知精度のことである。

【0018】

輝度検出部７は、露光制御対象顔パーツ判定部６から出力される結果を用いて、当該露光制御対象顔パーツの平均輝度を検出する。そして、輝度検出部７は、当該平均輝度の検出結果を露光制御部８へ出力する。

【0019】

露光制御部８は、輝度検出部７から検出される検出結果を用いて、平均輝度が予め定められた目標輝度に近づくように露光を制御する。
ここで、目標輝度とは、高い検知精度で顔パーツを検知可能な輝度として予め定められたものであり、顔パーツの検知精度がモニタリング処理に必要な第二の検知精度以上となるような輝度に設定される。

【0020】

次に、実施の形態１の車載用露光制御装置１０を用いた露光制御方法について説明する。図２は実施の形態１の露光制御方法のフローチャートである。実施の形態１の露光制御方法は、搭乗者がアクセサリを装着している場合における、車両に搭乗している搭乗者を撮影する撮像装置１から出力される当該搭乗者の撮像画像を取得するステップと、当該撮像画像から当該搭乗者の顔情報を検知するステップＳ１０１と、当該顔情報から顔パーツを検知するステップＳ１０２と、当該顔パーツの検知精度を検出するステップＳ１０３と、当該検知精度が予め定められた検知精度以上である顔パーツを露光制御対象顔パーツと判定するステップＳ１０４と、当該露光制御対象顔パーツの平均輝度を検出するステップＳ１０５と、当該平均輝度が目標輝度に近づくように露光を制御するステップＳ１０６を備える。

【0021】

撮像画像から当該搭乗者の顔情報を検知するステップＳ１０１では、車両に搭乗している搭乗者を撮影する撮像装置から出力される当該搭乗者の撮像画像を出力するステップにより出力される当該撮像画像を用いて、当該搭乗者の顔情報を検知する。

【0022】

顔情報から顔パーツを検知するステップＳ１０２では、ステップＳ１０１で検知された当該搭乗者の顔情報を用いて、顔パーツを検知する。

【0023】

顔パーツの検知精度を検出するステップＳ１０３では、ステップＳ１０２で検知された顔パーツを用いて、当該顔パーツの検知結果の精度を示す検知精度を検出する。
ここで、当該検知精度は、例えば、当該顔パーツの位置が予め記憶された顔パーツの位置と一致している割合に基づいて算出することで検出される。

【0024】

検知精度が予め定められた検知精度以上である顔パーツを露光制御対象顔パーツと判定するステップＳ１０４では、ステップＳ１０３で検出された当該顔パーツの検知精度を用いて、当該検知精度が予め定められた第一の検知精度に達しているか否かを判定し、第一の検知精度に達している当該顔パーツを、露光を制御する対象とする露光制御対象顔パーツとして選択する。

【0025】

図３から図６は、ステップＳ１０４における露光制御対象顔パーツの例を示す図である。第一の検知精度に達している顔パーツ（露光制御対象顔パーツＡ）を四角枠で囲んで表し、第一の検知精度に達していない顔パーツ（欠損パーツＢ）を塗り潰された四角枠で囲んで表している。
図３は、搭乗者の右目が眼帯等で遮蔽されている場合である。この場合、遮蔽されていない左目及び口が露光制御対象顔パーツＡと判定され、遮蔽されている右目は欠損パーツＢと判定される。図４は、搭乗者の両目が透過率の低いサングラス等で遮蔽されている場合である。この場合、遮蔽されていない口が露光制御対象顔パーツＡと判定され、両目を遮蔽するサングラスの透過率が低いことから、当該サングラスを透過して当該両目を検出することは可能でないため、当該両目は欠損パーツＢと判定される。図５は、搭乗者の両目が透過率の高いサングラス等で遮蔽され、また口がマスク等で遮蔽されている場合である。この場合、両目を遮蔽するサングラスの透過率が高いことから、当該サングラスを透過して当該両目を検出することは可能なため、検出された当該両目の検知精度が第一の検知精度に達していれば露光制御対象パーツＡと判定され、遮蔽されている口は欠損パーツＢと判定される。図６は、搭乗者の右目が眼帯等で遮蔽され、また口がマスク等で遮蔽されている場合である。この場合、遮蔽されていない左目が露光制御対象顔パーツＡと判定され、遮蔽されている右目及び口は欠損パーツＢと判定される。

【0026】

露光制御対象顔パーツの平均輝度を検出するステップＳ１０５では、ステップＳ１０４で判定された露光制御対象顔パーツの平均輝度を検出する。

【0027】

平均輝度が目標輝度に達するように露光を制御するステップＳ１０６では、ステップＳ１０５で検出された露光制御対象顔パーツの平均輝度が予め定められた目標輝度に達していない場合は、当該平均輝度が当該目標輝度に近づくように露光時間及びゲインを調整することで露光を制御する。

【0028】

すなわち、実施の形態１の露光制御方法では、搭乗者のモニタリング処理に必要な顔パーツがアクセサリによって遮蔽されている場合、当該顔パーツの検知精度が、露光を制御することでモニタリング処理に必要な第二の検知精度に達することが可能な検知精度である第一の検知精度に達しているか否かを判定し、第一の検知精度に達している顔パーツを露光制御対象顔パーツとし、当該露光制御対象顔パーツの平均輝度を検出し、当該平均輝度が目標輝度に近づくよう、露光を制御する。これにより、搭乗者がマスクを含む様々なアクセサリを装着している場合であっても、露光を適切に制御することができ、モニタリング処理を円滑にし、且つ精度を高めることができる。具体例としては、例えば、図５のように、マスクとサングラスを同時に着用している場合であっても、露光を適切に制御することができる。

【0029】

以上のように、実施の形態１の車載用露光制御装置１０及び露光制御方法は、搭乗者の顔情報を用いて顔パーツを検知し、予め定められた検知精度に達する顔パーツの平均輝度が目標輝度に近づくように露光を制御するため、搭乗者のアクセサリの装着により顔パーツが遮蔽された場合であっても、適切に露光を制御することができるという効果を奏する。

【0030】

実施の形態２．
実施の形態２における車載用露光制御装置２０及び露光制御方法について図７から図９を用いて説明する。図７は実施の形態２の車載用露光制御装置２０が適用されるＤＭＳ２００の概略図である。図７のように、マスク検出部２４が備えられている点で実施の形態１と異なるが、顔パーツ検知部４、顔パーツ検知精度検出部５及び露光制御対象顔パーツ判定部６を除くその他の構成については実施の形態１と同様である。

【0031】

マスク検出部２４は、顔検知部２３から出力される顔情報と予め記憶された顔情報を比較し、マスクの装着有無を検出する。そして、マスク検出部２４は、当該検出結果を輝度検出部２５へ出力する。

【0032】

輝度検出部２５は、マスク検出部２４から出力される検出結果が、マスクの装着有りの場合は顔領域Ｃのうちマスク領域Ｄを除いた領域Ｅの平均輝度を検出し、マスクの装着無しの場合は、顔領域Ｃの平均輝度を検出する。そして、輝度検出部２５は、当該平均輝度の検出結果を露光制御部２６へ出力する。

【0033】

露光制御部２６は、輝度検出部２５から出力される検出結果を用いて、当該平均輝度が目標輝度に近づくように露光を制御する。

【0034】

次に、実施の形態２の車載用露光制御装置２０を用いた露光制御方法について説明する。図８は実施の形態２の露光制御方法のフローチャートである。実施の形態２の露光制御方法は、搭乗者がアクセサリを装着している場合における、車両に搭乗している搭乗者を撮影する撮像装置から出力される前記搭乗者の撮像画像を取得するステップと、当該撮像画像から当該搭乗者の顔情報を検知するステップＳ２０１と、顔情報から搭乗者のマスクの装着有無を検出するステップＳ２０２と、マスクの装着有りと検出された場合、当該顔情報が有する顔領域のうちマスクで遮蔽されるマスク領域を除いた領域の平均輝度を検出し（ステップＳ２０３）、マスクの装着無しと検出された場合、前記顔領域Ｃの平均輝度を検出するステップＳ２０４と、当該平均輝度が目標輝度に近づくように露光を制御するステップＳ２０５を備える。

【0035】

撮像画像から当該搭乗者の顔情報を検知するステップＳ２０１では、車両に搭乗している搭乗者を撮影する撮像装置から出力される当該搭乗者の撮像画像を出力するステップにより出力される当該撮像画像を用いて、当該搭乗者の顔情報を検知する。

【0036】

顔情報から当該搭乗者のマスクの装着有無を検出するステップＳ２０２では、ステップＳ２０１で検知される顔情報と予め記憶された顔情報を比較し、マスク装着の有無を検出する。
ここで、予め記憶された顔情報とは、例えば、搭乗者がマスクを装着していない場合の顔情報や、搭乗者がマスクを装着している場合の顔情報のことである。当該顔情報に予め記憶された搭乗者が装着しているマスクは、白色の他、例えば、黄色や水色等、比較的淡色のものを含む白系マスクや、黒色の他、例えば、紺色や茶色等、比較的濃色のものを含む黒系マスクなど様々な色を持っている。

【0037】

ステップＳ２０２でマスクの装着有りと検出された場合は、顔情報が有する顔領域のうちマスクで遮蔽されるマスク領域を除いた領域の平均輝度を検出するステップＳ２０３に移行する。ステップＳ２０３では、顔領域Ｃのうちマスク領域Ｄを除いた領域Ｅの平均輝度を検出する。

【0038】

ステップＳ２０２でマスクの装着無しと検出された場合は、顔領域Ｃの平均輝度を検出するステップＳ２０４に移行する。ステップＳ２０４では、顔領域Ｃの平均輝度を検出する。

【0039】

図９は、ステップＳ２０３及びＳ２０４で検出される各領域の範囲を示す図である。顔領域Ｃは当該搭乗者の顔情報の領域であり、点線枠で示される範囲である。次に、マスク領域Ｄは顔領域Ｃのうちマスクで遮蔽されている領域であり、実線枠内が斜線で示される範囲である。最後に、領域Ｅは顔領域Ｃのうちマスク領域Ｄを除いた領域であり、実線枠で示される範囲である。

【0040】

平均輝度が目標輝度に近づくように露光を制御するステップＳ２０５では、ステップＳ２０３及びＳ２０４で検出された平均輝度が目標輝度に達していない場合は、当該平均輝度が当該目標輝度に近づくように露光時間及びゲインを調整することで露光を制御する。

【0041】

すなわち、実施の形態２の露光制御方法では、搭乗者のモニタリング処理に必要な顔パーツがマスクによって遮蔽されている場合、検出された当該搭乗者の顔情報と予め記憶された顔情報を比較することでマスクの装着有無を検出し、マスクの装着有無によって平均輝度を検出する領域を変化させ、当該領域の平均輝度が目標輝度に近づくよう、露光を制御する。これにより、搭乗者がマスクを装着している場合であっても、露光を適切に制御することができ、モニタリング処理を円滑にし、且つ精度を高めることができる。

【0042】

以上のように、実施の形態２の車載用露光制御装置２０及び露光制御方法は、搭乗者の顔情報を用いてマスクの装着有無を検出し、マスクの装着有無によって平均輝度を検出する領域を変化させ、当該領域の平均輝度が目標輝度に近づくように露光を制御するため、搭乗者のマスクの装着により顔パーツが遮蔽された場合であっても、適切に露光を制御することができるという効果を奏する。

【0043】

また、搭乗者のマスクの装着有無を検出する場合、ステップＳ２０１で検出された顔情報と予め記憶された顔情報を比較することで検出するため、当該搭乗者のマスクの装着有無を精度良く検出することができる。

【0044】

実施の形態３．
実施の形態３における車載用露光制御装置３０及び露光制御方法について図１０及び図１１を用いて説明する。図１０は実施の形態３の車載用露光制御装置３０が適用されるＤＭＳ３００の概略図である。図１０のように、マスク種類識別部３５及び目標輝度調整部３６が備えられている点で実施の形態２と異なるが、その他の構成については実施の形態２と同様である。

【0045】

マスク検出部３４は、顔検知部３３から出力される顔情報と予め記憶された顔情報を比較し、マスクの装着有無を検出する。そして、マスク検出部３４は、当該検出結果を輝度検出部３７へ出力する。また、マスク検出部３４がマスクの装着有りと検出した場合は、マスク種類識別部３５へ当該検出結果を出力する。

【0046】

マスク種類識別部３５は、マスク検出部３４から出力されるマスクの装着有りの検出結果を用いて、当該マスクの種類を識別する。そして、マスク種類識別部３５は、目標輝度調整部３６へ当該識別結果を出力する。

【0047】

目標輝度調整部３６は、マスク種類識別部３５から出力される識別結果を用いて、識別されたマスクに応じた目標輝度を調整する。そして、目標輝度調整部３６は、露光制御部３８へ調整された目標輝度を出力する。

【0048】

露光制御部３８は、輝度検出部３７から出力される検出結果を用いて、当該平均輝度が目標輝度に近づくように露光を制御する。ただし、目標輝度調整部３６により目標輝度の調整が行われている場合は、当該平均輝度が目標輝度調整部３６から出力される調整された目標輝度に近づくように露光を制御する。

【0049】

次に、実施の形態３の車載用露光制御装置３０を用いた露光制御方法について説明する。図１１は実施の形態３のフローチャートである。実施の形態３の露光制御方法は、搭乗者がアクセサリを装着している場合における、車両に搭乗している搭乗者を撮影する撮像装置から出力される前記搭乗者の撮像画像を取得するステップと、当該撮像画像から当該搭乗者の顔情報を検知するステップＳ３０１と、当該顔情報から当該搭乗者のマスクの装着有無を検出するステップＳ３０２と、マスクの装着無しと検出された場合、前記顔情報が有する顔領域の平均輝度を検出するステップＳ３０３と、当該平均輝度が目標輝度に近づくように露光を制御するステップＳ３０７と、マスクの装着有りと検出された場合、当該マスクの種類を識別するステップＳ３０４と、当該マスクの種類が白系マスクと識別された場合は、当該目標輝度をマスクの装着無しの場合よりも高く調整し（ステップＳ３０５）、当該マスクの種類が黒系マスクと識別された場合は、当該目標輝度をマスク着用無しの場合よりも低く調整するステップＳ３０６を備える。

【0050】

マスクの装着有りと検出された場合、当該マスクの種類を識別するステップＳ３０４では、当該マスクの種類を識別する。
ここで、マスクの種類を識別する方法とは、例えば、当該マスクの反射率からマスクの色を検出する方法である。反射率が一定値以上のものを白系マスク、反射率が一定値以下のものを黒系マスクと分類することができる。白系マスクには、白色の他、例えば、黄色や水色等、比較的淡色のものが含まれる。黒系マスクには、黒色の他、例えば紺色や茶色等、比較的濃色のものが含まれる。また、検出されたマスクの情報と予め記憶された複数種類のマスクの情報との比較に基づいて、マスクの種類を識別してもよい。

【0051】

当該マスクの種類が白系マスクと識別された場合は、目標輝度をマスクの装着無しの場合より高く調整するステップＳ３０５に移行する。白系マスクが装着されている場合、白系マスクが他の顔領域よりも輝度が高く検知されてしまうため、ステップＳ３０５では、目標輝度をマスク無しの場合より高く調整する。

【0052】

当該マスクの種類が黒系マスクと識別された場合は、目標輝度をマスクの装着無しの場合よりも低く調整するステップＳ３０６に移行する。黒系マスクが装着されている場合、黒系マスクが他の顔領域よりもきどが低く検知されてしまうため、ステップＳ３０６では、目標輝度をマスク無しの場合よりも低く調整する。

【0053】

平均輝度が目標輝度に近づくように露光を制御するステップ３０７では、ステップＳ３０３で検出された平均輝度が目標輝度に達していない場合は、当該平均輝度が当該目標輝度に近づくように露光時間及びゲインを調整することで露光を制御する。ただし、ステップＳ３０５又はステップＳ３０６で目標輝度の調整が行われている場合は、当該平均輝度がステップＳ３０５及びＳ３０６で調整された目標輝度に近づくように露光を制御する。

【0054】

すなわち、実施の形態３の露光制御方法では、搭乗者が着用しているマスクの種類を識別し、その種類に応じて目標輝度を調整し、当該目標輝度に基づいて露光を制御する。したがって、マスクの種類に関わらず露光を適切に制御することができ、モニタリング処理を円滑にし、且つ精度を高めることができる。

【0055】

以上のように、実施の形態３の車載用露光制御装置及び露光制御方法は、実施の形態２の効果に加えて、検知されたマスクの種類を識別し、識別した種類に対応して目標輝度を調整し、当該目標輝度に基づいて露光を制御することから、搭乗者のマスクの装着有無を精度良く判定することができるだけでなく、マスクの種類に応じて適切に露光を制御することができるため、搭乗者がアクセサリを装着し顔パーツを遮蔽している状態であっても、適切に露光を制御することができるという効果を奏する。

【符号の説明】

【0056】

１、２１、３１ 撮像装置
２、２２、３２ 撮像部
３、２３、３３ 顔検知部
４ 顔パーツ検知部
５ 顔パーツ検知精度検出部
６ 露光制御対象顔パーツ判定部
７、２５ 輝度検出部
８、２６ 露光制御部
１０、２０、３０ 車載用露光制御装置
１４、３４ マスク検出部
３５ マスク種類識別部
３６ 目標輝度調整部
１００、２００，３００ ＤＭＳ
Ａ 露光制御対象パーツ
Ｂ 欠損パーツ
Ｃ 顔領域
Ｄ マスク領域
Ｅ 領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】