特許 7603828 遮蔽判定装置、乗員監視装置及び遮蔽判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-12

(45)【発行日】2024-12-20

(54)【発明の名称】遮蔽判定装置、乗員監視装置及び遮蔽判定方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241213BHJP

   B60W 40/08 20120101ALI20241213BHJP

【ＦＩ】

G08G1/16 F

B60W40/08

【請求項の数】 8

(21)【出願番号】P 2023544834

(86)(22)【出願日】2021-08-31

(86)【国際出願番号】 JP2021031899

(87)【国際公開番号】W WO2023032029

(87)【国際公開日】2023-03-09

【審査請求日】2023-08-14

【前置審査】

(73)【特許権者】

【識別番号】324003048

【氏名又は名称】三菱電機モビリティ株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】國廣 和樹

【審査官】西堀 宏之

(56)【参考文献】

【文献】特開２００９－１１０１７３（ＪＰ，Ａ）

【文献】特開２００９－２４８７７７（ＪＰ，Ａ）

【文献】特開２０２０－１８１３８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｂ６０Ｗ ４０／０８

(57)【特許請求の範囲】

【請求項1】

車両の内部を撮像する撮像部から複数のフレームの撮像画像を取得する画像取得部と、
前記撮像画像の中から、前記各フレームにより画素位置が異なる複数の参照画素を選定する画素選定部と、
前記参照画素の輝度値に基づいて前記撮像部による撮像を妨げる遮蔽物が存在するか否かを判定する遮蔽物判定部と、
前記遮蔽物判定部により２以上の予め設定された枚数のフレームにおいて前記遮蔽物が存在すると判定された場合は、前記撮像部が前記遮蔽物により遮蔽された遮蔽状態であると判定し、前記遮蔽物判定部により前記予め設定された枚数のフレームにおいて前記遮蔽物が存在すると判定されない場合は、前記遮蔽状態ではないと判定する遮蔽状態判定部と、
を備えた遮蔽判定装置。

【請求項2】

前記画素選定部は、前記撮像画像又は前記撮像画像中の乗員の特定部分が収まる特定領域の全ての画素から所定の画素を間引いた前記複数の参照画素を選定する
ことを特徴とする請求項１に記載の遮蔽判定装置。

【請求項3】

前記画素選定部は、前記予め設定された枚数のフレームにおいて、前記複数の参照画素が前記撮像画像又は前記特定領域の全体に点在するように、前記フレームにより画素位置が異なる前記複数の参照画素を選定する
ことを特徴とする請求項２に記載の遮蔽判定装置。

【請求項4】

前記遮蔽物判定部は、前記複数の参照画素のうち、前記参照画素の前記輝度値が予め設定された閾値未満である前記参照画素が所定の個数以上である場合に、前記遮蔽物が存在すると判定し、前記閾値未満の前記参照画素が前記所定の個数未満である場合に前記遮蔽物が存在しないと判定する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の遮蔽判定装置。

【請求項5】

前記車両が走行中であるか否かを示す走行情報を取得し、前記走行情報に基づき前記車両が走行中であるか否かを判定する走行判定部をさらに備え、
前記遮蔽状態判定部は、前記走行判定部により前記車両が走行中であると判定された場合は、前記遮蔽状態であるか否かを判定し、前記走行判定部により前記車両が走行中ではないと判定された場合は、前記遮蔽状態であるか否かの判定を行わない
ことを特徴とする請求項１から請求項４のいずれか一項に記載の遮蔽判定装置。

【請求項6】

前記撮像画像において乗員の顔領域の検出に成功したか否かを示す顔領域検出情報を取得し、前記顔領域検出情報に基づき前記乗員の前記顔領域の検出に成功したか否かを判定する顔領域判定部をさらに備え、
前記遮蔽状態判定部は、前記顔領域判定部により前記乗員の前記顔領域の検出に成功したと判定された場合は、前記遮蔽状態であるか否かの判定を行わず、前記顔領域判定部により前記乗員の前記顔領域の検出に失敗したと判定された場合は、前記遮蔽状態であるか否かを判定する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の遮蔽判定装置。

【請求項7】

車両の内部を撮像する撮像部と、
前記撮像部から複数のフレームの撮像画像を取得する画像取得部と、
前記撮像画像の中から、前記各フレームにより画素位置が異なる複数の参照画素を選定する画素選定部と、
前記参照画素の輝度値に基づいて前記撮像部による撮像を妨げる遮蔽物が存在するか否かを判定する遮蔽物判定部と、
前記遮蔽物判定部により２以上の予め設定された枚数のフレームにおいて前記遮蔽物が存在すると判定された場合は、前記撮像部が前記遮蔽物により遮蔽された遮蔽状態であると判定し、前記遮蔽物判定部により前記予め設定された枚数のフレームにおいて前記遮蔽物が存在すると判定されない場合は、前記遮蔽状態ではないと判定する遮蔽状態判定部と、
前記遮蔽状態判定部により前記遮蔽状態ではないと判定された場合は、前記車両の乗員に対する画像認識処理により前記乗員の状態判定及び前記乗員の個人認証の少なくともいずれか一方であるモニタリング処理をし、前記遮蔽状態判定部により前記遮蔽状態であると判定された場合は前記モニタリング処理をしないモニタリング処理部と、
を備えた乗員監視装置。

【請求項8】

画像取得部と、画素選定部と、遮蔽物判定部と、遮蔽状態判定部と、を備える遮蔽判定装置の遮蔽判定方法であって、
前記画像取得部が、車両の内部を撮像する撮像部から複数のフレームの撮像画像を取得するステップと、
前記画素選定部が、前記撮像画像の中から、前記各フレームにより画素位置が異なる複数の参照画素を選定するステップと、
前記遮蔽物判定部が、前記参照画素の輝度値に基づいて前記撮像部による撮像を妨げる遮蔽物が存在するか否かを判定するステップと、
前記遮蔽状態判定部が、２以上の予め設定された枚数のフレームにおいて前記遮蔽物が存在すると判定された場合は、前記撮像部が前記遮蔽物により遮蔽された遮蔽状態であると判定し、２以上の予め設定された枚数のフレームにおいて前記遮蔽物が存在すると判定されない場合は、前記遮蔽状態ではないと判定するステップと、を含む、
遮蔽判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遮蔽判定装置、遮蔽判定装置を備えた乗員監視装置及び遮蔽判定方法に関する。

【背景技術】

【0002】

撮像部により車両内部の乗員を撮像し、例えば居眠り運転及び脇見運転の有無をモニタリングする技術がある。従来、乗員と撮像部との間に存在する遮蔽物により乗員を撮像することが妨げられた場合に、乗員に撮像部が遮蔽物により遮蔽された遮蔽状態であることを報知していた。そして、撮像部が遮蔽物により遮蔽された遮蔽状態であるか否かは、撮像画像中の乗員の顔等の特定部分が収まる特定領域の画素の輝度値に基づき判定していた（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１５９３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般的に、撮像部は撮像画像中の特定領域の平均輝度値が予め設定された範囲に近づくように、撮像画像全体の露光制御及びゲイン制御等の撮像制御を実施する。例えば、特定領域の一部に太陽等の局所的な高輝度物体が写った場合、撮像部は撮像画像全体の輝度値を低下させることにより白飛びを防ぐ。しかしながら、このような撮像制御が実施された場合、撮像画像中の特定領域の画素の輝度値は低下されているため、特定領域の画素の輝度値に基づき正しく遮蔽状態を判定することができないという課題があった。

【0005】

本開示は、上述した課題を解決するためになされたものであり、遮蔽状態の判定精度を向上することができる遮蔽判定装置及び遮蔽判定方法を提供することを目的とするものである。

【課題を解決するための手段】

【0006】

本開示に係る遮蔽判定装置は、車両の内部を撮像する撮像部から複数のフレームの撮像画像を取得する画像取得部と、撮像画像の中から、各フレームにより画素位置が異なる複数の参照画素を選定する画素選定部と、参照画素の輝度値に基づいて撮像部による撮像を妨げる遮蔽物が存在するか否かを判定する遮蔽物判定部と、遮蔽物判定部により２以上の予め設定された枚数のフレームにおいて遮蔽物が存在すると判定された場合は、撮像部が遮蔽物により遮蔽された遮蔽状態であると判定し、遮蔽物判定部により予め設定された枚数のフレームにおいて遮蔽物が存在すると判定されない場合は、遮蔽状態ではないと判定する遮蔽状態判定部と、を備えたものである。

【0007】

本開示に係る乗員監視装置は、車両の内部を撮像する撮像部と、撮像部から複数のフレームの撮像画像を取得する画像取得部と、撮像画像の中から、各フレームにより画素位置が異なる複数の参照画素を選定する画素選定部と、参照画素の輝度値に基づいて撮像部による撮像を妨げる遮蔽物が存在するか否かを判定する遮蔽物判定部と、遮蔽物判定部により２以上の予め設定された枚数のフレームにおいて遮蔽物が存在すると判定された場合は、撮像部が遮蔽物により遮蔽された遮蔽状態であると判定し、遮蔽物判定部により予め設定された枚数のフレームにおいて遮蔽物が存在すると判定されない場合は、遮蔽状態ではないと判定する遮蔽状態判定部と、遮蔽状態判定部により遮蔽状態ではないと判定された場合は、車両の乗員に対する画像認識処理により乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるモニタリング処理をし、遮蔽状態判定部により遮蔽状態であると判定された場合はモニタリング処理をしないモニタリング処理部と、を備えたものである。

【0008】

本開示に係る遮蔽判定方法は、車両の内部を撮像する撮像部から複数のフレームの撮像画像を取得するステップと、撮像画像の中から、各フレームにより画素位置が異なる複数の参照画素を選定するステップと、参照画素の輝度値に基づいて撮像部による撮像を妨げる遮蔽物が存在するか否かを判定するステップと、２以上の予め設定された枚数のフレームにおいて遮蔽物が存在すると判定された場合は、撮像部が遮蔽物により遮蔽された遮蔽状態であると判定し、２以上の予め設定された枚数のフレームにおいて遮蔽物が存在すると判定されない場合は、遮蔽状態ではないと判定するステップと、を備えたものである。

【発明の効果】

【0009】

本開示によれば、フレームにより画素位置が異なる複数の参照画素の輝度値に基づき遮蔽物が存在するか否かを判定する。そして、２以上の予め設定された枚数のフレームにおいて遮蔽物が存在すると判定されたか否かに基づき遮蔽状態であるか否かを判定する。これにより、遮蔽状態の判定精度を向上することができる。

【図面の簡単な説明】

【0010】

【図1】図１は実施の形態１の遮蔽判定装置を含むＤＭＳの一部を示すブロック図である。

【図2】図２は実施の形態１のＤＭＳの概略図である。

【図3】図３は実施の形態１の撮像画像の一例を示す概略図である。

【図4】図４は実施の形態１の遮蔽判定装置のハードウェア構成例を示す概略図である。

【図5】図５は実施の形態１の遮蔽状態判定方法を示すフローチャートである。

【図6】図６は実施の形態１の撮像画像の一例を示す概略図である。

【図7】図７は実施の形態１のステップＳ２０における処理動作を説明する概略図である。

【図8】図８は比較例に係る遮蔽判定装置の遮蔽状態判定方法を示すフローチャートである。

【図9】図９は比較例に係る遮蔽判定装置の処理動作を説明する概略図である。

【図10】図１０は実施の形態１の遮蔽判定装置の処理動作を説明する概略図である。

【図11】図１１は実施の形態２の遮蔽判定装置を含むＤＭＳの一部を示すブロック図である。

【図12】図１２は実施の形態２の遮蔽状態判定方法を示すフローチャートである。

【図13】図１３は実施の形態３の遮蔽判定装置を含むＤＭＳの一部を示すブロック図である。

【図14】図１４は実施の形態３の遮蔽状態判定方法を示すフローチャートである。

【発明を実施するための形態】

【0011】

実施の形態１．
実施の形態１における遮蔽判定装置１００について図１及び図２を用いて説明する。図１は実施の形態１の遮蔽判定装置１００を含むドライバモニタリングシステム（ＤＭＳ：Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）の一部を示すブロック図である。ＤＭＳは乗員監視装置であり、車両内部の乗員８に対する画像認識処理により、乗員８を対象とした種々のモニタリング処理を行う。モニタリング処理は、例えば、居眠り運転及び脇見運転等の乗員８の状態判定、乗員８の個人認証である。図１に示すＤＭＳは、撮像部１、遮蔽判定装置１００、モニタリング処理部２及び報知部３を備えている。図２は、実施の形態１のＤＭＳの概略図である。図２Ａは撮像部１による乗員８の撮像を妨げる遮蔽物９がある場合を示している。図２Ｂは撮像部１による乗員８の撮像を妨げる遮蔽物９がなく、局所的な高輝度物体１０である太陽が撮像部１の撮像範囲に存在する場合を示している。

【0012】

ここで、乗員８は車両の運転者及び同乗者の総称である。遮蔽物９は、例えば図２Ａではダッシュボート上に置かれたタオルであり、タオルはセンターディスプレイ上に垂れ下がり後述する撮像素子１ｂの撮像範囲を遮蔽している。局所的な高輝度物体１０は、図２Ｂでは太陽を示したが、ヘッドライト、街灯等であってもよい。

【0013】

図２Ｂに示すように撮像部１は、発光素子１ａ及び撮像素子１ｂを有するカメラである。撮像部１は例えば３０～６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の間隔で車両の内部の乗員８を撮像し、撮像画像Ｐを遮蔽判定装置１００の画像取得部４に出力する。発光素子１ａ及び撮像素子１ｂは、車両のインストルメントパネル、ダッシュボード、センターディスプレイ又は、ルームミラー等に設置される。発光素子１ａ及び撮像素子１ｂは、近接して設けられてもよく、離れて設けられていてもよい。図２では、センターディスプレイの両サイドに発光素子１ａ及び撮像素子１ｂが離れて配置された例を示している。

【0014】

発光素子１ａは、例えば近赤外線光を発光する赤外線発光ダイオードである。発光素子１ａは、乗員８に近赤外線光を照射する。発光素子１ａは赤外線発光ダイオードに限らず、乗員８に対して可視光、又は遠赤外線光を照射するものであってもよい。

【0015】

撮像素子１ｂは例えばイメージセンサであり、発光素子１ａにより近赤外線光等が照射された乗員８を撮像する。撮像素子１ｂは、撮像画像Ｐの特定領域１１の平均輝度値が予め設定された範囲に近づくように、撮像画像Ｐ全体の露光制御及びゲイン制御等の撮像制御を行う。特定領域１１は、乗員８に対する画像認識処理を実行する際に用いる撮像画像Ｐ中の乗員８の顔等の特定部分が収まるように設定される。

【0016】

図３を用いて、撮像素子１ｂによる撮像制御の一例を説明する。図３は実施の形態１の撮像画像Ｐの一例を示す概略図である。図３Ａはフレームｆ＿１における撮像画像Ｐ、図３Ｂはフレームｆ＿１よりも後の時刻に撮像されたフレームｆ＿２における撮像画像Ｐを示している。フレームｆ＿１及びフレームｆ＿２の間隔は限定されない。以下、撮像画像Ｐにおける乗員８が写った領域を乗員の領域Ｐ＿８、撮像画像Ｐにおける局所的な高輝度物体１０が写った領域を高輝度物体の領域Ｐ＿１０とそれぞれ称する。

【0017】

撮像素子１ｂは、フレームｆ＿１において図３Ａに示す撮像画像Ｐを撮像すると、撮像画像Ｐの特定領域１１の平均輝度値を算出する。図３における特定領域１１は破線で囲まれた領域であり、乗員８のヘッドエリアと想定される領域である。そして、算出した特定領域１１の平均輝度値が予め設定された範囲に近づくように、次フレーム以降の撮像画像Ｐ全体の露光及びゲインを決定する。予め設定された範囲は、高い精度で乗員８の特定部分が検出可能な輝度値の範囲に設定すればよい。

【0018】

例えば図３Ａに示すように局所的な高輝度物体１０が特定領域１１に写った場合、特定領域１１の平均輝度値は予め設定された範囲より高くなりやすい。この場合、撮像素子１ｂは次フレーム以降の特定領域１１の平均輝度値が予め設定された範囲に近づくように撮像画像Ｐ全体の露光制御及びゲイン制御等の撮像制御を行う。その結果、図３Ｂに示すようにフレームｆ＿２では、撮像画像Ｐ全体の輝度値が低下される。このように、撮像素子１ｂは、撮像画像Ｐの特定領域１１が乗員８に対する画像認識処理を実施するために適した輝度値となるように撮像制御する。このような撮像制御により、図３Ａの撮像画像Ｐは局所的な高輝度物体１０により乗員の領域Ｐ＿８の右目付近が白飛びしているため乗員８の状態を判定することは難しいが、図３Ｂの撮像画像Ｐでは輝度値が最適化され乗員８の状態を判定することができる。

【0019】

図１に戻り、遮蔽判定装置１００は撮像部１が遮蔽物９により遮蔽された遮蔽状態であるか否かを判定する。遮蔽判定装置１００は、画像取得部４、画素選定部５、遮蔽物判定部６、及び遮蔽状態判定部７を備える。以下に遮蔽判定装置１００の各構成について説明する。

【0020】

画像取得部４は撮像部１から複数のフレームの撮像画像Ｐを取得する。そして、画像取得部４は画素選定部５に取得した複数のフレームの撮像画像Ｐを出力する。画像取得部４により取得される撮像画像Ｐは、上述のとおり特定領域１１の輝度値が予め設定された範囲に近づくように撮像画像Ｐ全体が撮像制御されたものである。

【0021】

画素選定部５は、画像取得部４から取得した撮像画像Ｐの特定領域１１の中から複数の参照画素１２を選定する。また、画素選定部５はフレームにより画素位置が異なる複数の参照画素１２を選定する。そして、画素選定部５は複数の参照画素１２の位置情報を遮蔽物判定部６に出力する。

【0022】

遮蔽物判定部６は、画素選定部５により選定された複数の参照画素１２の輝度値に基づいて遮蔽物９が存在するか否かを判定する。そして、遮蔽物判定部６は判定結果を遮蔽状態判定部７に出力する。

【0023】

遮蔽状態判定部７は、２以上の予め設定された枚数のフレームにおいて、遮蔽物判定部６により遮蔽物９が存在すると判定された場合に、撮像部１は遮蔽物９により遮蔽された遮蔽状態であると判定する。そして、遮蔽状態判定部７は遮蔽状態であることを示す信号を出力する。
一方、遮蔽状態判定部７は、２以上の予め設定された枚数のフレームにおいて、遮蔽物判定部６により遮蔽物９が存在すると判定されない場合、撮像部１は遮蔽物９により遮蔽された遮蔽状態ではないと判定する。そして、遮蔽状態判定部７は遮蔽状態ではないことを示す信号を出力する。
遮蔽判定装置１００の各構成の詳細な処理動作は、後述の遮蔽判定方法において説明する。

【0024】

次に、遮蔽判定装置１００のハードウェア構成例を説明する。図４は実施の形態１の遮蔽判定装置１００のハードウェア構成例を示す概略図である。遮蔽判定装置１００の、画像取得部４、画素選定部５、遮蔽物判定部６、及び遮蔽状態判定部７は、図４Ａに示すように専用のハードウェアである処理回路１３であってもよいし、図４Ｂに示すようにメモリ１５に格納されているプログラムを実行するプロセッサ１４であってもよい。

【0025】

図４Ａに示すように、画像取得部４、画素選定部５、遮蔽物判定部６、及び遮蔽状態判定部７が専用のハードウェアである場合、処理回路１３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。画像取得部４、画素選定部５、遮蔽物判定部６、及び遮蔽状態判定部７の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

【0026】

図４Ｂに示すように、画像取得部４、画素選定部５、遮蔽物判定部６、及び遮蔽状態判定部７がプロセッサ１４である場合、各部の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１５に格納される。プロセッサ１４は、メモリ１５に記憶されたプログラムを読み出して実行することにより、画像取得部４、画素選定部５、遮蔽物判定部６、及び遮蔽状態判定部７の各機能を実現する。すなわち、画像取得部４、画素選定部５、遮蔽物判定部６、及び遮蔽状態判定部７は、プロセッサ１４により実行されるときに、後述する図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１５を備える。また、これらのプログラムは、画像取得部４、画素選定部５、遮蔽物判定部６、及び遮蔽状態判定部７の手順又は方法をコンピュータに実行させるものであるともいえる。

【0027】

ここで、プロセッサ１４とは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のことである。メモリ１５は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

【0028】

なお、画像取得部４、画素選定部５、遮蔽物判定部６、及び遮蔽状態判定部７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、遮蔽判定装置１００における処理回路１３は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。

【0029】

図１に戻り、モニタリング処理部２は、遮蔽判定装置１００の遮蔽状態判定部７から遮蔽状態ではないことを示す信号が入力された場合に、車両の乗員８に対する画像認識処理により、乗員８を対象とした種々のモニタリング処理を行う。具体的に、モニタリング処理部２は、居眠り運転及び脇見運転等の乗員８の状態判定、又は乗員８の個人認証の少なくともいずれか一方であるモニタリング処理をする。

【0030】

報知部３は、遮蔽判定装置１００の遮蔽状態判定部７から遮蔽状態であることを示す信号が入力された場合に、乗員８に撮像部１が遮蔽状態であることを報知する。報知部３は、例えば車両に設けられたスピーカ及びディスプレイであり、乗員８に遮蔽物９の除去を促す音声及び画像の少なくともいずれか一方を出力する。
また、車両に設けられた図示しないＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）は、遮蔽判定装置１００の遮蔽状態判定部７から遮蔽状態であることを示す信号が入力された場合に、例えば前車追従走行、レーンキープアシスト、後側方警報、被害軽減ブレーキ等の運転支援を実施してもよい。

【0031】

次に、遮蔽判定装置１００による遮蔽状態判定方法について説明する。図５は実施の形態１の遮蔽状態判定方法を示すフローチャートである。遮蔽判定装置１００は、例えば撮像部１が撮像を開始したタイミングで動作を開始し、車両が走行中は動作を繰り返す。

【0032】

まず、ステップＳ１０では、画像取得部４は撮像部１から撮像制御された複数のフレームの撮像画像Ｐを取得する。図６は実施の形態１の撮像画像Ｐの一例を示す概略図である。図６は、図２Ａに示す撮像部１による乗員８の撮像を妨げる遮蔽物９がある場合に、画像取得部４が取得した撮像画像Ｐを示している。撮像画像Ｐにおける遮蔽物９が写った領域を、遮蔽物の領域Ｐ＿９と称する。図２Ａに示すように撮像素子１ｂの前に遮蔽物９が存在する場合、図６に示すように遮蔽物の領域Ｐ＿９は他の領域よりも低輝度である。これは、遮蔽物９は発光素子１ａによる照射を受けず、他の領域よりも暗く写るためである。

【0033】

ステップＳ１０において、画像取得部４は撮像部１が撮像した全ての撮像画像Ｐを取得してもよく、例えば所定のフレーム数毎に取得することで処理負荷を軽減してもよい。以下では、撮像部１は６０ｆｐｓの間隔で撮像し、画像取得部４は１５フレーム毎に撮像画像Ｐを取得する例を説明する。すなわち、画像取得部４は１秒間に４フレーム（ｆ＿１５、ｆ＿３０、ｆ＿４５、ｆ＿６０）の撮像画像Ｐを取得する例を説明する。

【0034】

ステップＳ２０では、画素選定部５は、画像取得部４から取得した撮像画像Ｐの特定領域１１の中からフレームにより画素位置が異なる複数の参照画素１２を選定する。後述のステップＳ３０及びステップＳ４０にて参照画素１２の輝度値に基づき遮蔽物９が存在するか否かを判定する際に、撮像画像Ｐ全体又は特定領域１１の全ての画素の輝度値を算出すると処理負荷が大きくなる。そこで、画素選定部５は、撮像画像Ｐの特定領域１１の全ての画素から所定の画素を間引いた複数の参照画素１２を選定する。

【0035】

ここで、画素選定部５による参照画素１２の選定方法の一例を説明する。図７は実施の形態１のステップＳ２０における処理動作を説明する概略図である。図７Ａ～Ｄはそれぞれフレームｆ＿１５、ｆ＿３０、ｆ＿４５、ｆ＿６０における特定領域１１であり、白い点は参照画素１２を示している。
画素選定部５は特定領域１１の幅ｗ及び高さｈをそれぞれ４分割する。参照画素１２は予め設定された個数選定される。ここでは、参照画素１２は縦３個×横３個の合計９個である例を説明する。隣接する参照画素１２の間隔は幅がｗ／４、高さが４／ｈである。
そして、画素選定部５はフレームにより画素位置が異なる複数の参照画素１２を選定する。例えば、図７Ａに示すフレームｆ＿１５では、画素選定部５は特定領域１１の左上の９個を参照画素１２として選定する。図７Ｂに示すフレームｆ＿３０では、図７Ａに示すフレームｆ＿１５において選定した９個の参照画素１２の位置から、それぞれ右方向にｗ／２移動した位置の画素を参照画素１２として選定する。図７Ｃに示すフレームｆ＿４５では、図７Ｂに示すフレームｆ＿３０において選定した９個の参照画素１２の位置から、それぞれ下方向にｈ／２移動した位置の画素を参照画素１２として選定する。図７Ｄに示すフレームｆ＿６０では、図７Ｃに示すフレームｆ＿４５において選定した９個の参照画素１２の位置から、それぞれ左方向にｗ／２分移動した位置の画素を参照画素１２として選定する。フレームｆ＿６０以降についても、上述のフレームｆ＿１５、ｆ＿３０、ｆ＿４５、ｆ＿６０における動作を繰り返す。

【0036】

画素選定部５による参照画素１２の選定方法は上述の方法に限られない。処理負荷を軽減するために、参照画素１２は特定領域１１の画素から選定される例を示したが、撮像画像Ｐ全体の画素から選定されてもよい。また、画素選定部５は、後述するステップＳ７０における２以上の予め設定された枚数のフレームにおいて、複数の参照画素１２が撮像画像Ｐ又は特定領域１１の全体に点在するように、フレームにより画素位置が異なる複数の参照画素１２を選定することが好ましい。

【0037】

図５に戻り、ステップＳ３０では、遮蔽物判定部６は画素選定部５により選定した複数の参照画素１２の輝度値をそれぞれ算出する。

【0038】

ステップＳ４０では、遮蔽物判定部６はステップＳ３０において算出した参照画素１２の輝度値に基づいて、撮像部１による撮像を妨げる遮蔽物９が存在するか否かを判定する。

【0039】

ここで、ステップＳ４０において、参照画素１２の輝度値に基づいて撮像部１による撮像を妨げる遮蔽物９が存在するか否かを判定する方法の一例を説明する。例えば、遮蔽物判定部６はステップＳ３０において算出した参照画素１２の輝度値が、予め設定された閾値未満である参照画素１２が所定の個数以上である場合は、撮像部１による撮像を妨げる遮蔽物９が存在すると判定する（ステップＳ４０のＹＥＳ）。一方、遮蔽物判定部６はステップＳ３０において算出した参照画素１２の輝度値が、予め設定された閾値未満である参照画素１２が所定の個数未満である場合は、撮像部１による撮像を妨げる遮蔽物９が存在しないと判定する（ステップＳ４０のＮＯ）。予め設定された閾値は撮像素子１ｂであるイメージセンサの画素レンジにより適宜設定し、所定の個数は参照画素１２の個数及び特定領域１１の面積により適宜設定するとよい。

【0040】

より具体的に、図７を用いて説明する。遮蔽物の領域Ｐ＿９の画素は閾値未満の低輝度画素であり、遮蔽物の領域Ｐ＿９以外の特定領域１１の画素は閾値以上の高輝度画素であり、所定の個数は４個であるとする。この場合、閾値未満の参照画素１２の個数は、図７Ａに示すフレームｆ＿１５では９個、図７Ｂに示すフレームｆ＿３０では９個、図７Ｃに示すフレームｆ＿４５では７個、図７Ｄに示すフレームｆ＿６０では９個である。フレームｆ＿１５、ｆ＿３０、ｆ＿４５、ｆ＿６０のそれぞれにおいて、閾値未満である参照画素１２が所定の個数以上である。そのため、遮蔽物判定部６はフレームｆ＿１５、ｆ＿３０、ｆ＿４５、ｆ＿６０の全てのフレームにおいて遮蔽物９が存在すると判定する（ステップＳ４０のＹＥＳ）。

【0041】

図５に戻り、遮蔽物判定部６は撮像部１による撮像を妨げる遮蔽物９が存在すると判定した場合（ステップＳ４０のＹＥＳ）、遮蔽物９が存在するフレーム数を示す信号を遮蔽状態判定部７に出力する（ステップＳ５０）。一方、遮蔽物判定部６は撮像部１による撮像を妨げる遮蔽物９が存在しないと判定した場合（ステップＳ４０のＮＯ）、遮蔽物９が存在しないフレーム数を示す信号を遮蔽状態判定部７に出力する（ステップＳ６０）。遮蔽物判定部６は、ステップＳ５０の遮蔽物９が存在するフレーム数とステップＳ６０の遮蔽物９が存在しないフレーム数の総和が、後述するステップＳ７０の２以上の予め設定された枚数のフレームになった場合に、信号を遮蔽状態判定部７に出力する（ステップＳ５０、ステップＳ６０）。

【0042】

ステップＳ７０では、遮蔽状態判定部７は撮像部１が遮蔽物９により遮蔽された遮蔽状態であるか否かを判定する。具体的に、遮蔽状態判定部７は２以上の予め設定された枚数のフレームにおいて、遮蔽物判定部６により遮蔽物９が存在すると判定された場合は、遮蔽状態であると判定する。また、遮蔽状態判定部７は２以上の予め設定された枚数のフレームにおいて、遮蔽物判定部６により遮蔽物９が存在すると判定されない場合は、遮蔽状態ではないと判定する。

【0043】

２以上の予め設定された枚数のフレームは、例えばステップＳ１０において画像取得部４が取得する撮像画像Ｐのフレーム数により適宜設定すればよい。
ここでは、２以上の予め設定された枚数を４とする。図７では、遮蔽物判定部６は１秒間の４フレーム（フレームｆ＿１５、ｆ＿３０、ｆ＿４５、ｆ＿６０）において遮蔽物９が存在すると判定するため、遮蔽物９が存在するフレーム数が４であることを示す信号を遮蔽状態判定部７に出力する（ステップＳ５０）。したがって、遮蔽状態判定部７はステップＳ７０においてＹＥＳと判定する。

【0044】

ステップＳ７０においてＹＥＳと判定した場合は、遮蔽状態判定部７は撮像部１が遮蔽物９により遮蔽された遮蔽状態であることを示す信号を出力する（ステップＳ８０）。一方、ステップＳ７０においてＮＯと判定した場合は、遮蔽状態判定部７は撮像部１が遮蔽物９により遮蔽された遮蔽状態ではないことを示す信号を出力する（ステップＳ９０）。
以上により、遮蔽判定装置１００の処理動作を終了する。

【0045】

また、ステップＳ８０において、遮蔽状態判定部７は撮像部１が遮蔽物９により遮蔽された遮蔽状態であることを示す信号を報知部３及びＥＣＵに出力してもよい。そして、報知部３は乗員８に撮像部１が遮蔽物９により遮蔽された遮蔽状態であることを報知する。また、ＥＣＵは運転支援を実施する。

【0046】

また、ステップＳ９０において、遮蔽状態判定部７は撮像部１が遮蔽物９により遮蔽された遮蔽状態ではないことを示す信号をモニタリング処理部２に出力してもよい。そして、モニタリング処理部２は車両の乗員８に対する画像認識処理により、乗員８を対象とした種々のモニタリング処理を行う。

【0047】

次に、本実施の形態における遮蔽判定装置１００の効果を、図８～図１０を用いて説明する。図８は比較例に係る遮蔽判定装置の遮蔽状態判定方法を示すフローチャートである。図９は比較例に係る遮蔽判定装置の処理動作を説明する概略図である。図１０は実施の形態１の遮蔽判定装置１００の処理動作を説明する概略図である。比較例に係る遮蔽判定装置において、本実施の形態における遮蔽判定装置１００と同様の構成については、同一符号が付されている。図９及び図１０は、撮像画像Ｐの特定領域１１であり、白い点は参照画素１２を示している。図９Ａ～Ｄ及び図１０Ａ～Ｄはそれぞれフレームｆ＿１５、ｆ＿３０、ｆ＿４５、ｆ＿６０における特定領域１１である。また、図９及び図１０は、図２Ｂに示す撮像部１による乗員８の撮像を妨げる遮蔽物９がなく、局所的な高輝度物体１０が撮像部１の撮像範囲に存在する場合である。局所的な高輝度物体１０が撮像部１の撮像範囲に存在する場合、図３に示すように撮像画像Ｐは撮像部１による撮像制御により輝度値が低下される。そして、遮蔽物判定部６は遮蔽物９が存在するか否かを、実際に遮蔽物９の存在を認識したか否かではなく、複数の参照画素１２の輝度値に基づいて判定する。そのため、撮像部１による撮像制御により撮像画像Ｐ全体の輝度値が低下されると、遮蔽物判定部６は正しく遮蔽物９が存在するか否かを判定できない可能性がある。例えば、後述する比較例の遮蔽判定装置の処理動作では、実際には遮蔽物９は存在しないが、誤って遮蔽状態と判定される。

【0048】

図８及び図９を用いて比較例の遮蔽判定装置の処理動作を説明する。図５における本実施の形態の遮蔽判定装置１００の処理動作と、図８における比較例の遮蔽判定装置の処理動作とは、図５のステップ２０と図８のステップ２１が異なる。図８のステップＳ２１では、画素選定部５は全てのフレームにおいて同じ画素位置の複数の参照画素１２を選定する。すなわち、複数の参照画素１２の位置は固定であり、図９では特定領域１１の中央の９個の参照画素１２が選定された例を示している。

【0049】

ステップＳ３０では、遮蔽物判定部６は複数の参照画素１２の輝度値をそれぞれ算出する。特定領域１１の一部に局所的な高輝度物体１０が写った場合に、撮像制御により撮像画像Ｐ全体の輝度が大きく低下するが、高輝度物体の領域Ｐ＿１０の画素は他の領域よりも高輝度である。

【0050】

そして、ステップＳ４０では、遮蔽物判定部６はステップＳ３０において算出した参照画素１２の輝度値に基づいて、撮像部１による撮像を妨げる遮蔽物９が存在するか否かを判定する。上述の実施の形態１の遮蔽判定装置１００と同様に、遮蔽物判定部６はステップＳ３０において算出した参照画素１２の輝度値が、予め設定された閾値未満である参照画素１２が所定の個数以上である場合は、遮蔽物９が存在すると判定する（ステップＳ４０のＹＥＳ）。一方、遮蔽物判定部６はステップＳ３０において算出した参照画素１２の輝度値が、予め設定された閾値未満である参照画素１２が所定の個数未満である場合は、遮蔽物９が存在しないと判定する（ステップＳ４０のＮＯ）。ここでは、高輝度物体の領域Ｐ＿１０の画素は閾値以上の高輝度画素であり、高輝度物体の領域Ｐ＿１０以外の特定領域１１の画素は閾値未満の低輝度画素であり、所定の個数は４個とする。この場合、図９Ａ～Ｄにおいて閾値未満の参照画素１２の個数は５個である。よって、遮蔽物判定部６はフレームｆ＿１５、ｆ＿３０、ｆ＿４５、ｆ＿６０の全てにおいて遮蔽物９が存在すると誤って判定する（ステップＳ４０のＹＥＳ）。そして、遮蔽物判定部６は遮蔽物９が存在するフレーム数が４であることを示す信号を遮蔽状態判定部７に出力する（ステップＳ５０）。

【0051】

次に、ステップＳ７０では、遮蔽状態判定部７は撮像部１が遮蔽物９により遮蔽された遮蔽状態であるか否かを判定する。具体的に、遮蔽状態判定部７は２以上の予め設定された枚数のフレームにおいて、遮蔽物判定部６により遮蔽物９が存在すると判定された場合は遮蔽状態であると判定する。また、遮蔽状態判定部７は２以上の予め設定された枚数のフレームにおいて、遮蔽物判定部６により遮蔽物９が存在すると判定されない場合は遮蔽状態ではないと判定する。上述の実施の形態１の遮蔽判定装置１００と同様に、予め設定された枚数を４とする。図９では、上述のとおり遮蔽物判定部６はフレームｆ＿１５、ｆ＿３０、ｆ＿４５、ｆ＿６０の４フレームにおいて遮蔽物９が存在すると判定し、遮蔽物９が存在するフレーム数が４であることを示す信号を遮蔽状態判定部７に出力する（ステップＳ５０）。そのため、遮蔽状態判定部７はステップＳ７０においてＹＥＳと判定し、撮像部１が遮蔽物９により遮蔽された遮蔽状態であることを示す信号を出力する（ステップＳ８０）。

【0052】

このように、比較例に係る遮蔽判定装置では、特定領域１１の一部に局所的な高輝度物体１０が写った場合に、撮像画像Ｐ全体が撮像制御される。そのため、特定領域１１全体の輝度が大きく低下する。これにより、実際には撮像部１による乗員８の撮像を妨げる遮蔽物９がない場合でも、遮蔽判定装置は撮像部１が遮蔽物９により遮蔽状態であると誤って判定する可能性がある。

【0053】

この課題を解決するための本実施の形態における遮蔽判定装置１００の処理について図５及び図１０を用いて説明する。まず、ステップＳ２０では、画素選定部５は画像取得部４から取得した撮像画像Ｐの特定領域１１の中から複数の参照画素１２を選定する。画素選定部５による参照画素１２の選定方法は上述の図７と同様である。
図１０に示すように、画素選定部５はフレームにより画素位置が異なる複数の参照画素１２を選定することにより、高輝度物体の領域Ｐ＿１０の画素が参照画素１２として多く選定されるフレームｆ＿１５と、少なく選定されるフレームｆ＿３０、ｆ＿４５、ｆ＿６０がある。

【0054】

ステップＳ３０では、遮蔽物判定部６は複数の参照画素１２の輝度値をそれぞれ算出する。

【0055】

そして、ステップＳ４０では、遮蔽物判定部６はステップＳ３０において算出した参照画素１２の輝度値に基づいて、撮像部１による撮像を妨げる遮蔽物９が存在するか否かを判定する。判定方法は、上述の比較例に係る遮蔽判定装置と同様である。閾値未満の参照画素１２の個数は、図１０Ａに示すフレームｆ＿１５では１個、図１０Ｂに示すフレームｆ＿３０では７個、図１０Ｃに示す時刻フレームｆ＿４５では８個、図１０Ｄに示す時刻フレームｆ＿６０では６個である。ｆ＿３０、ｆ＿４５、ｆ＿６０では、予め設定された閾値未満である参照画素１２が所定の個数以上であるため、遮蔽物判定部６は遮蔽物９が存在すると誤って判定する（ステップＳ４０のＹＥＳ）。そして、遮蔽物判定部６は遮蔽物９が存在するフレーム数がｆ＿３０、ｆ＿４５、ｆ＿６０の３であることを示す信号を遮蔽状態判定部７に出力する（ステップＳ５０）。一方、高輝度物体の領域Ｐ＿１０の画素が参照画素１２として多く選定されるフレームｆ＿１５では、予め設定された閾値未満である参照画素１２が所定の個数未満である。そのため、遮蔽物判定部６はフレームｆ＿１５では遮蔽物９が存在しないと正しく判定する（ステップＳ４０のＮＯ）。そして、遮蔽物判定部６は遮蔽物９が存在しないフレーム数がｆ＿１５の１であることを示す信号を遮蔽状態判定部７に出力する（ステップＳ６０）。

【0056】

次に、ステップＳ７０では、遮蔽状態判定部７は撮像部１が遮蔽物９により遮蔽された遮蔽状態であるか否かを判定する。具体的に、遮蔽状態判定部７は２以上の予め設定された枚数のフレームにおいて、遮蔽物判定部６は遮蔽物９が存在すると判定した場合は、撮像部１が遮蔽物９により遮蔽された遮蔽状態であると判定する。また、遮蔽状態判定部７は２以上の予め設定された枚数のフレームにおいて、遮蔽物判定部６は遮蔽物９が存在すると判定しなかった場合は遮蔽状態ではないと判定する。上述の実施の形態１の遮蔽判定装置１００及び比較例に係る遮蔽判定装置と同様に、２以上の予め設定された枚数のフレームを４とする。図１０に示す場合、遮蔽物判定部６は遮蔽物９が存在するフレーム数が３であることを示す信号と、遮蔽物９が存在しないフレーム数が１であることを示す信号を遮蔽状態判定部７に出力する。そのため、遮蔽物判定部６は４フレームにおいて遮蔽物９が存在すると判定しない。したがって、遮蔽状態判定部７はステップＳ７０においてＮＯと判定し、撮像部１が遮蔽物９により遮蔽された遮蔽状態ではないことを示す信号を出力する（ステップＳ９０）。

【0057】

このように、本実施の形態における遮蔽判定装置１００は、撮像画像Ｐの中から、フレームにより画素位置が異なる複数の参照画素１２を選定する画素選定部５と、選定した複数の参照画素１２の輝度値に基づいて撮像部１による撮像を妨げる遮蔽物９が存在するか否かを判定する遮蔽物判定部６と、２以上の予め設定された枚数のフレームにおいて遮蔽物９が存在すると判定された場合は撮像部１が遮蔽物９により遮蔽された遮蔽状態であると判定し、２以上の予め設定された枚数のフレームにおいて遮蔽物９が存在すると判定されない場合は撮像部１が遮蔽物９により遮蔽された遮蔽状態ではないと判定する遮蔽状態判定部７とを備えることを特徴とする。このように、フレームにより画素位置が異なる複数の参照画素１２の輝度値に基づき遮蔽物９が存在するか否かを判定し、２以上の予め設定された枚数のフレームにおいて遮蔽物９が存在すると判定されたか否かに基づき遮蔽状態であるか否かを判定することにより、遮蔽状態の判定精度を向上することができる。

【0058】

また、画素選定部５は画像取得部４から取得した撮像画像Ｐ又は特定領域１１の全ての画素から所定の画素を間引いた複数の参照画素１２を選定する（例えば、図５のステップＳ２０）。これにより、参照画素１２の輝度値に基づき遮蔽物９が存在するか否かを判定する際（例えば、図５のステップＳ３０及びステップＳ４０）に、撮像画像Ｐ又は特定領域１１の全ての画素の輝度値を算出する場合よりも処理負荷を低減できる。

【0059】

一方で、撮像画像Ｐ又は特定領域１１の全ての画素を参照画素１２とする場合に比較して、撮像画像Ｐ又は特定領域１１の全ての画素から所定の画素を間引いた画素を複数の参照画素１２とする場合は、遮蔽状態の判定精度が低くなる虞がある。そこで、画素選定部５はフレームにより画素位置が異なる複数の参照画素１２を選定する（例えば、図５のステップＳ２０）。また、画素選定部５は２以上の予め設定された枚数のフレームにおいて、複数の参照画素１２が撮像画像Ｐ又は特定領域１１の全体に点在するように、フレームにより画素位置が異なる複数の参照画素１２を選定する。そして、図５のステップＳ７０では、遮蔽状態判定部７は２以上の予め設定された枚数のフレームにおいて、遮蔽物判定部６は遮蔽物９が存在すると判定したか否かに基づき、遮蔽状態であるか否かを判定する。これにより、２以上の予め設定された枚数のフレームにおいて、撮像画像Ｐ又は特定領域１１の全体に点在する複数の参照画素１２の輝度値に基づき、遮蔽状態であるか否かを判定することができる。そのため、処理負荷の低減と遮蔽状態の判定精度の向上を両立することができる。

【0060】

また、図５のステップＳ４０では、複数の参照画素１２のうち、参照画素１２の輝度値が閾値未満である参照画素１２が所定の個数以上である場合に、遮蔽物９が存在すると判定し、閾値未満である参照画素１２が所定の個数未満である場合に、遮蔽物９が存在しないと判定する例を示した。
ここで、複数の参照画素１２の平均輝度値が予め設定された閾値未満である場合に、遮蔽物９が存在すると判定し、複数の参照画素１２の平均輝度値が閾値以上である場合に、遮蔽物９が存在しないと判定する場合を考える。この場合、複数の参照画素１２の平均輝度値を算出するために総和及び除算を行う。このように、複数の参照画素１２の平均輝度値を算出するよりも、輝度値が閾値未満である参照画素１２の個数をカウントする方が処理負荷を軽減することができる。

【0061】

また、図５のステップＳ８０において、遮蔽状態判定部７は撮像部１が遮蔽物９により遮蔽された遮蔽状態であることを示す信号を例えば車両に設けられた報知部３に出力する。そして、報知部３は乗員８に撮像部１が遮蔽物９により遮蔽された遮蔽状態であることを報知する。これにより、乗員８は遮蔽物９を除去する措置を講じることができる。

【0062】

また、図５のステップＳ９０において、遮蔽状態判定部７は撮像部１が遮蔽物９により遮蔽された遮蔽状態ではないことを示す信号をモニタリング処理部２に出力する。すなわち、本実施の形態の遮蔽判定装置１００を含む乗員監視装置であるＤＭＳは、遮蔽状態判定部７により遮蔽状態ではないと判定された場合は、モニタリング処理部２により乗員８を対象としたモニタリング処理をし、遮蔽状態判定部７により遮蔽状態であると判定された場合はモニタリング処理部２によりモニタリング処理をしない。これにより、車両の乗員８に対する画像認識処理が実施可能な場合にはモニタリング処理をし、車両の乗員８に対する画像認識処理を実施不可能が場合にはモニタリング処理をしないので、処理負荷を軽減することができる。

【0063】

なお、処理負荷の増大が許容される場合は、図５のステップＳ４０において、遮蔽物判定部６は複数の参照画素１２の平均輝度値が予め設定された閾値未満である場合は遮蔽物９が存在すると判定し、複数の参照画素１２の平均輝度値が閾値以上である場合は遮蔽物９が存在しないと判定してもよい。

【0064】

また、図２ではセンターディスプレイの両サイドに発光素子１ａ及び撮像素子１ｂが離れて配置された例を示した。このように発光素子１ａ及び撮像素子１ｂが離れて配置された場合には、撮像画像Ｐにおいて遮蔽物の領域Ｐ＿９は低輝度領域となる可能性が高い。これは、撮像素子１ｂを覆うように置かれた遮蔽物９は発光素子１ａによる照射を受けない、又は発光素子１ａにより照射された遮蔽物９が撮像素子１ｂの撮像範囲にないためである。

【0065】

発光素子１ａ及び撮像素子１ｂは上述の配置位置に限らず、発光素子１ａ及び撮像素子１ｂは近接して配置されてもよい。例えば、センターディスプレイの運転者側に発光素子１ａ及び撮像素子１ｂを近接して配置してもよい。この場合、遮蔽物９は発光素子１ａに照射されて撮像される場合が多く、撮像画像Ｐにおいて遮蔽物の領域Ｐ＿９は高輝度領域となる可能性が高い。そのため、図５のステップＳ４０では、遮蔽物判定部６はステップＳ３０において算出した参照画素１２の輝度値が、予め設定された閾値以上である参照画素１２が所定の個数以上である場合は、遮蔽物９が存在すると判定する（ステップＳ４０のＹＥＳ）とよい。そして、遮蔽物判定部６はステップＳ３０において算出した参照画素１２の輝度値が、予め設定された閾値以上である参照画素１２が所定の個数以上ではない場合は、遮蔽物９が存在しないと判定する（ステップＳ４０のＮＯ）とよい。このように、ステップＳ４０における遮蔽物判定部６により遮蔽物９が存在するか否かを判定する条件は、撮像部１の設計に合わせて適宜設定すればよい。

【0066】

実施の形態２．
実施の形態２における遮蔽判定装置１００について図１１を用いて説明する。図１１は実施の形態２の遮蔽判定装置１００を含むＤＭＳの一部を示すブロック図である。実施の形態２の遮蔽判定装置１００は走行判定部１７を備えることを特徴とする。その他の遮蔽判定装置１００の構成は実施の形態１と同様である。実施の形態１と同様の構成については、同一符号が付されている。

【0067】

走行判定部１７は、例えば車両に設けられた車速及びシフトを制御する制御部１８から、車両が走行中であるか否かを示す走行情報を取得する。そして、走行判定部１７は走行情報に基づき、車両が走行中であるか否かを判定する。走行判定部１７は車両が走行中であると判定した場合は画像取得部４に撮像部１から複数のフレームの撮像画像Ｐを取得させる信号を出力し、車両が走行中ではないと判定した場合は遮蔽判定装置１００の処理動作を終了させる信号を出力する。

【0068】

次に、遮蔽判定装置１００による遮蔽状態判定方法について説明する。図１２は実施の形態２の遮蔽状態判定方法を示すフローチャートである。

【0069】

ステップＳ０１では、走行判定部１７は車両が走行中であるか否かを示す走行情報を取得し、車両が走行中であるか否かを判定する。走行判定部１７は車両が走行中であると判定した場合（ステップＳ０１のＹＥＳ）、ステップＳ１０に進む。ステップＳ１０～Ｓ９０は実施の形態１の遮蔽状態判定方法と同様である。走行判定部１７は車両が走行中ではないと判定した場合（ステップＳ０１のＮＯ）、遮蔽判定装置１００の処理動作を終了させる。

【0070】

図１２に示すように、遮蔽状態判定部７は走行判定部１７により車両が走行中であると判定された場合（ステップＳ０１のＹＥＳ）は、ステップＳ７０において遮蔽状態であるか否かを判定する。また、遮蔽状態判定部７は走行判定部１７により車両が走行中ではないと判定された場合（ステップＳ０１のＮＯ）は、ステップＳ７０における遮蔽状態であるか否かの判定を行わない。

【0071】

実施の形態１と同様に本実施の形態における遮蔽判定装置１００は、撮像画像Ｐの中から、フレームにより画素位置が異なる複数の参照画素１２を選定する画素選定部５と、選定した複数の参照画素１２の輝度値に基づいて撮像部１による撮像を妨げる遮蔽物９が存在するか否かを判定する遮蔽物判定部６と、２以上の予め設定された枚数のフレームにおいて遮蔽物９が存在すると判定された場合は撮像部１が遮蔽物９により遮蔽された遮蔽状態であると判定し、２以上の予め設定された枚数のフレームにおいて遮蔽物９が存在すると判定されない場合は撮像部１が遮蔽物９により遮蔽された遮蔽状態ではないと判定する遮蔽状態判定部７とを備えることを特徴とする。このように、フレームにより画素位置が異なる複数の参照画素１２の輝度値に基づき遮蔽物９が存在するか否かを判定し、２以上の予め設定された枚数のフレームにおいて遮蔽物９が存在すると判定されたか否かに基づき遮蔽状態であるか否かを判定することにより、遮蔽状態の判定精度を向上することができる。

【0072】

また、本実施の形態における遮蔽判定装置１００は、車両が走行中であるか否かを示す走行情報を取得し、走行情報に基づき車両が走行中であるか否かを判定する走行判定部１７を備える。そして、遮蔽状態判定部７は、走行判定部１７により車両が走行中であると判定された場合は、遮蔽状態であるか否かを判定し、走行判定部１７により車両が走行中ではないと判定された場合は、遮蔽状態であるか否かの判定を行わない。
車両が走行中ではない場合は乗員８を対象としたモニタリング処理をする必要がないため、撮像部１による乗員８の撮像が遮蔽物９により妨げられていても問題がない。そのため、車両が走行中ではない場合は、図１２のステップＳ７０における遮蔽状態であるか否かの判定を行う処理動作をしないことにより、遮蔽判定装置１００の処理負荷を低減することができる。

【0073】

なお、図１２のステップＳ０１における処理動作をステップＳ１０の前に行う例を示したがこれに限られず、少なくともステップＳ７０よりも前に行えばよい。図１２に示すフローチャートにおいて、上流段階でステップＳ０１の処理動作を実施した方が遮蔽判定装置１００の処理負荷を低減する効果は大きくなる。

【0074】

実施の形態３．
実施の形態３における遮蔽判定装置１００について図１３を用いて説明する。図１３は実施の形態３の遮蔽判定装置１００を含むＤＭＳの一部を示すブロック図である。実施の形態３の遮蔽判定装置１００は顔領域判定部１９を備えることを特徴とする。その他の遮蔽判定装置１００の構成は実施の形態１と同様である。実施の形態１と同様の構成については、同一符号が付されている。

【0075】

顔領域判定部１９は、撮像部１から出力される撮像画像Ｐから乗員８の顔領域を検出する顔領域検出部２０から、乗員８の顔領域の検出に成功したか否かを示す顔領域検出情報を取得する。そして、顔領域判定部１９は顔領域検出情報に基づき、乗員８の顔領域の検出に成功したか否かを判定する。顔領域判定部１９は乗員８の顔領域の検出に成功したと判定した場合は遮蔽判定装置１００の処理動作を終了させる信号を出力し、乗員８の顔領域の検出に失敗したと判定した場合は画像取得部４に撮像部１から複数のフレームの撮像画像Ｐを取得させる信号を出力する。

【0076】

次に、遮蔽判定装置１００による遮蔽状態判定方法について説明する。図１４は実施の形態２の遮蔽状態判定方法を示すフローチャートである。

【0077】

ステップＳ０２では、顔領域判定部１９は乗員８の顔領域の検出に成功したか否かを示す顔領域検出情報を取得し、乗員８の顔領域の検出に成功したか否かを判定する。顔領域判定部１９は乗員８の顔領域の検出に成功したと判定した場合（ステップＳ０２のＹＥＳ）は、遮蔽判定装置１００の処理動作を終了させる。顔領域判定部１９は乗員８の顔領域の検出に失敗したと判定した場合（ステップＳ０２のＮＯ）は、ステップＳ１０に進む。ステップＳ１０～Ｓ９０は実施の形態１の遮蔽状態判定方法と同様である。

【0078】

図１４に示すように、遮蔽状態判定部７は顔領域判定部１９により乗員８の顔領域の検出に成功したと判定された場合（ステップＳ０２のＹＥＳ）は、ステップＳ７０における遮蔽状態であるか否かの判定を行わない。また、遮蔽状態判定部７は顔領域判定部１９により乗員８の顔領域の検出に失敗したと判定された場合（ステップＳ０１のＮＯ）は、ステップＳ７０において遮蔽状態であるか否かを判定する。

【0079】

実施の形態１と同様に本実施の形態における遮蔽判定装置１００は、撮像画像Ｐの中から、フレームにより画素位置が異なる複数の参照画素１２を選定する画素選定部５と、選定した複数の参照画素１２の輝度値に基づいて撮像部１による撮像を妨げる遮蔽物９が存在するか否かを判定する遮蔽物判定部６と、２以上の予め設定された枚数のフレームにおいて遮蔽物９が存在すると判定された場合は撮像部１が遮蔽物９により遮蔽された遮蔽状態であると判定し、２以上の予め設定された枚数のフレームにおいて遮蔽物９が存在すると判定されない場合は撮像部１が遮蔽物９により遮蔽された遮蔽状態ではないと判定する遮蔽状態判定部７とを備えることを特徴とする。このように、フレームにより画素位置が異なる複数の参照画素１２の輝度値に基づき遮蔽物９が存在するか否かを判定し、２以上の予め設定された枚数のフレームにおいて遮蔽物９が存在すると判定されたか否かに基づき遮蔽状態であるか否かを判定することにより、遮蔽状態の判定精度を向上することができる。

【0080】

また、本実施の形態における遮蔽判定装置１００は、乗員８の顔領域の検出に成功したか否かを示す顔領域検出情報を取得し、顔領域検出情報に基づき乗員８の顔領域の検出に成功したか否かを判定する顔領域判定部１９を備える。そして、遮蔽状態判定部７は、顔領域判定部１９により乗員８の顔領域の検出に成功したと判定された場合は、遮蔽状態であるか否かの判定を行わず、顔領域判定部１９により乗員８の検出に失敗したと判定された場合は、遮蔽状態であるか否かを判定する。
乗員８の顔領域の検出に成功した場合は撮像部１による乗員８の撮像が遮蔽物９により妨げられていない。そのため、乗員８の顔領域の検出に成功した場合は図１４のステップＳ７０における遮蔽状態であるか否かの判定を行う処理動作をしないことにより、遮蔽判定装置１００の処理負荷を低減することができる。

【0081】

なお、図１４のステップＳ０２における処理動作をステップＳ１０の前に行う例を示したがこれに限られず、少なくともステップＳ７０よりも前に行えばよい。図１４に示すフローチャートにおいて、上流段階でステップＳ０１の処理動作を実施した方が遮蔽判定装置１００の処理負荷を低減する効果は大きくなる。

【0082】

また、顔領域判定部１９は乗員８の顔領域の検出に成功したか否かを示す顔領域検出情報を取得し、乗員８の顔領域の検出に成功したか否かを判定する例を示したが、これに限られない。顔領域判定部１９は、モニタリング処理部２において乗員８に対する画像認識処理を実行するために撮像画像Ｐから検出する必要がある乗員８の身体の器官に関する特定部分を検出できたか否かを示す情報を取得し、その情報に基づき特定部分の検出に成功したか否かを判定してもよい。

【0083】

また、本明細書中に開示する各実施の形態は、その範囲内において、各実施の形態を自由に組み合わせることが可能であり、各実施の形態を適宜、変形、省略することが可能である。

【符号の説明】

【0084】

１ 撮像部、１ａ 発光素子、１ｂ 撮像素子、２ モニタリング処理部、３ 報知部、４ 画像取得部、５ 画素選定部、６ 遮蔽物判定部、７ 遮蔽状態判定部、８ 乗員、９ 遮蔽物、１０ 高輝度物体、１１ 特定領域、１２ 参照画素、１３ 処理回路、１４ プロセッサ、１５ メモリ、１７ 走行判定部、１８ 制御部、１９ 顔領域判定部、２０ 顔領域検出部、１００ 遮蔽判定装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】