特許 7463999 乗員モニタシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-01

(45)【発行日】2024-04-09

(54)【発明の名称】乗員モニタシステム

(51)【国際特許分類】

   H04N 23/57 20230101AFI20240402BHJP

   B60R 11/04 20060101ALI20240402BHJP

   G06T 1/00 20060101ALI20240402BHJP

【ＦＩ】

H04N23/57

B60R11/04

G06T1/00 420B

【請求項の数】 4

(21)【出願番号】P 2021068431

(22)【出願日】2021-04-14

(65)【公開番号】P2022163480

(43)【公開日】2022-10-26

【審査請求日】2023-04-19

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000567

【氏名又は名称】弁理士法人サトー

(72)【発明者】

【氏名】田口 清貴

(72)【発明者】

【氏名】上保 康彦

(72)【発明者】

【氏名】神谷 玲朗

(72)【発明者】

【氏名】三村 浩之

(72)【発明者】

【氏名】水野 俊範

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１２－０４４４０４（ＪＰ，Ａ）

【文献】特開２００９－２５５７４０（ＪＰ，Ａ）

【文献】特開２０２０－０５５４７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／５７

Ｂ６０Ｒ １１／０４

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車室に設けられ車両（Ｄ）の乗員の顔を撮像するカメラ（６）と、
前記カメラの撮像データから乗員の顔を認識する画像処理部（３）と、
前記カメラの視野又は前記撮像データから、前記乗員の顔と誤認識する虞のある障害物の存在する領域を除外する除外構造（１４、２２、３１）と、
を備え、
前記除外構造は、前記カメラの撮像視野の一部を物理的に塞ぐ遮蔽部材（１４、２２）を含んでおり、前記遮蔽部材は、前記カメラが組み込まれたカメラユニットに設けられている乗員モニタシステム。

【請求項2】

車室に設けられ車両（Ｄ）の乗員の顔を撮像するカメラ（６）と、
前記カメラの撮像データから乗員の顔を認識する画像処理部（３）と、
前記カメラの視野又は前記撮像データから、前記乗員の顔と誤認識する虞のある障害物の存在する領域を除外する除外構造（１４、２２、３１）と、
を備え、
前記除外構造は、前記カメラの撮像視野の一部を物理的に塞ぐ遮蔽部材（３１）を含んでおり、前記遮蔽部材は、前記車室に設けられている乗員モニタシステム。

【請求項3】

前記遮蔽部材は、前記カメラの撮像視野のうち、前記乗員の顔の存在範囲のみに光を透過させる窓部（１４ａ）を有した遮光板（１４）から構成されている請求項１又は２記載の乗員モニタシステム。

【請求項4】

前記遮蔽部材は、前記カメラの撮像視野のうち、ステアリングホイールを含む固定物を遮蔽する遮光板（２２、３１）から構成されている請求項１又は２記載の乗員モニタシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、乗員の顔をカメラで撮像し、その撮像データから乗員の顔を認識する乗員モニタシステムに関する。

【背景技術】

【0002】

近年、自動車等の車両にあっては、乗員の顔をカメラで撮像し、その撮像データから乗員の顔を認識する乗員モニタシステムを搭載することが行われてきている。この乗員モニタシステムは、カメラ及び光源を含むカメラユニットを例えばインストルメントパネル部分に設け、ドライバの顔を撮像するように構成され、これにより、ドライバやドライバの状態を判定し、例えば運転支援等に利用することが行われる。このとき、画像データから乗員の顔を判定する画像認識技術においては、目や口などの複数の特徴点を検出し、顔であるとの認識を行うようになっている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－５２８２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記のように特徴点の検出に基づいて人の顔を判定する場合、顔以外の物を、人の顔であると判定してしまう虞がある。例えば、ドライバの顔の前部には、ステアリングホイールが存在し、ドライバがそのステアリングホイールを握っている。ステアリングホイールを握る手の指の間隔や、関節の突起、隙間や拳の大きさが、人の顔に似た配置となり、顔であると判定してしまうことがある。この場合、カメラの配設位置を、ステアリングホイールからずらすようにすることも考えられるが、それでは、カメラに後席の乗員の顔が写り込んでしまう不具合を招いてしまう。

【0005】

本発明は上記した事情に鑑みてなされたものであり、その目的は、乗員の顔をカメラで撮像し、その撮像データから乗員の顔を認識するものにあって、乗員の顔以外のものを顔と判定してしまう誤認識を効果的に防止することができる乗員モニタシステムを提供するにある。

【課題を解決するための手段】

【0006】

本発明の乗員モニタシステム（１）は、車室に設けられ車両の乗員（Ｄ）の顔を撮像するカメラ（6）と、前記カメラの撮像データから乗員の顔を認識する画像処理部（3）と、前記カメラの視野又は前記撮像データから、前記乗員の顔と誤認識する虞のある障害物の存在する領域を除外する除外構造（１４、２２、３１）とを備えている。上記構成において、除外構造は、カメラの撮像視野の一部を物理的に塞ぐ遮蔽部材（１４、２２）を含んでおり、遮蔽部材は、カメラが組み込まれたカメラユニットに設けられている。尚、乗員の顔と誤認識する虞のある障害物としては、例えばステアリングホイール、ルームランプなどの内装部品、シートベルトの金具、乗員が設置した装飾品特に丸形のもの、後部座席から運転席側に乗り出す子どもの顔、等があげられる。

【0007】

これによれば、カメラにより車両の乗員の顔が撮像されると、その撮像データから画像処理部により乗員の顔が認識される。このとき、除外構造を備えていることにより、カメラの視野から、乗員の顔と誤認識する虞のある障害物の存在する領域が除外される、あるいは、前記撮像データから、乗員の顔と誤認識する虞のある障害物の存在する領域が除外されるようになる。これにより、乗員の顔以外のものを顔と判定してしまう誤認識を効果的に防止することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態を示すもので、カメラユニットの配置を示す平面図

【図2】カメラユニット部分の斜視図

【図3】車室内のインストルメントパネル部分の正面図

【図4】カメラによる撮像例を示す図

【図5】画像認識の手順を示すフローチャート

【図6】システムの外観構成を概略的に示す斜視図

【図7】システムの電気的構成を概略的に示すブロック図

【図8】第２の実施形態を示すもので、カメラユニット部分の斜視図

【図9】カメラによる撮像例を示す図

【図10】第３の実施形態を示すもので、カメラユニットの配置を示す平面図

【図11】カメラによる撮像例を示す図

【図12】第４の実施形態を示すもので、画像認識の手順を示すフローチャート

【図13】カメラによる撮像例を示す図

【発明を実施するための形態】

【0009】

以下、本発明を具体化したいくつかの実施形態について図面を参照しながら説明する。以下に示す各実施形態において、先行する実施形態で説明した内容に対応する部分には同一の参照符号を付し、重複する説明を省略することがある。尚、以下に述べる各実施形態では、乗員モニタシステムは、車両例えば自動車に搭載され、乗員としてのドライバを検知し、そのドライバの状態、例えば顔の向きや開眼状態等を監視する装置として設けられている。

【0010】

（１）第１の実施形態
図１から図７を参照して、第１の実施形態について述べる。まず、図６及び図７は、本実施形態に係る乗員モニタシステム１の全体構成を概略的に示している。ここで、乗員モニタシステム１は、カメラユニット２と、画像処理部としての画像処理ＥＣＵ３とを備えている。

【0011】

前記カメラユニット２は、基板４に、光源としてのＬＥＤ５及びカメラ６を実装して構成されている。前記ＬＥＤ５としては、例えば照明光として赤外光を出力するＩＲＬＥＤが採用され、カメラ６としては赤外線カメラが採用される。カメラユニット２は、ＬＥＤ５から乗員この場合ドライバＤ（図１参照）の顔に向けて赤外光を照射し、反射光をカメラ６で受光することによりドライバＤの顔を撮像するように構成されている。このカメラユニット２の詳細については、後述する。

【0012】

前記画像処理ＥＣＵ３は、詳しい説明は省略するが、ＣＰＵ及びその周辺機器を含むコンピュータを主体として構成され、前記ＬＥＤ５及びカメラ６の制御、前記カメラ６の撮像データの画像処理、画像認識を行う。画像認識の処理では、ドライバＤの顔の検出、特徴点からの顔の部位の検出、顔の向きや開眼状態の検出などが行われる。この画像処理ＥＣＵ３及び前記カメラユニット２は、車室Ｒの例えばインストルメントパネル１５（図３参照）内に組込まれている。

【0013】

このとき、図６に示すように、この画像処理ＥＣＵ３は、ユニット化されて、フレキシブルケーブル８及びコネクタを介して前記カメラユニット２に接続されている。また、画像処理ＥＣＵ３は、ケーブル９及びコネクタ１０などを介して、電源、グランド、車内ネットワークなどに接続されている。これにて、乗員モニタシステム１の認識したドライバＤの顔認識のデータは、運転支援処理などに利用される。

【0014】

ここで、上記カメラユニット２について、図１～図４も参照して述べる。図１、図２に示すように、カメラユニット２は、基板４の前面側に、左右に並んでＬＥＤ５及びカメラ６を実装して構成されると共に、ＬＥＤ５側とカメラ６側とを区画する遮光壁７が設けられている。このカメラユニット２は、前記インストルメントパネル１５内に設けられている。尚、図３に示すように、インストルメントパネル１５の前面の意匠面には、中央部に位置して、例えばナビゲーション画面等の各種画面が表示されるセンターディスプレイ１１が設けられている。また、この場合、車室Ｒ内の左側には運転席が設けられ、その運転席の前部には、ステアリングホイール１２が設けられている。

【0015】

そして、前記インストルメントパネル１５には、前記センターディスプレイ１１の上方部に位置して、モニタ用窓部１３が設けられている。このモニタ用窓部１３は、インストルメントパネル１５の意匠面をやや横長の矩形状に開口させる共に、その開口部に、赤外光を主に透過させるＩＲフィルタを配置して構成されている。図１に示すように、前記カメラユニット２は、前記モニタ用窓部１３の後方のやや離れた位置に、モニタ用窓部１３を通してドライバＤの顔を撮影できるように、やや斜め前方を向いて配設されている。

【0016】

これにて、カメラユニット２においては、ＬＥＤ５が点灯されて、赤外光が照明光として前方に出力され、モニタ用窓部１３を通して運転席のドライバＤの顔に向けて照射される。そして、その反射光がモニタ用窓部１３を通してカメラ６に入力される。カメラ６により撮影されたドライバＤの顔の撮像データが、前記画像処理ＥＣＵ３に入力され、ドライバＤの顔の認識処理がなされる。

【0017】

さて、本実施形態の乗員モニタシステム１では、前記カメラ６の撮像視野Ｖ又は前記撮像データから、ドライバＤの顔と誤認識する虞のある障害物の存在する領域を除外する除外構造を備えている。本実施形態では、図１、図２に示すように、前記除外構造は、前記カメラ６の撮像視野Ｖ（図４参照）の一部を物理的に塞ぐ遮蔽部材を含んでおり、より具体的には、遮蔽部材は、カメラ６の撮像視野Ｖのうち、ドライバＤの顔の存在範囲Ｖ０のみに光を透過させる窓部１４ａを有した遮光板１４から構成されている。また本実施形態では、遮蔽部材としての遮光板１４は、カメラユニット２に設けられている。

【0018】

前記遮光板１４は、光がほとんど反射しない黒色等に着色された薄板状あるいはシート状の部材から全体として例えば四角形に構成されると共に、その内側に例えば楕円形の穴からなる窓部１４ａを設けて構成されている。窓部１４ａは、楕円形以外にも円形や四角形など様々な平常に構成することが可能である。この遮光板１４は、カメラ６の前方に位置して配設され、これにて、図４に示すように、カメラ６の撮像視野Ｖのうち、ドライバＤの顔が映る中央部分に、窓部１４ａに対応して存在範囲Ｖ０を楕円形に残すように設けそれ以外の部位を遮蔽するように構成されている。尚、乗員の顔と誤認識する虞のある障害物としては、例えばステアリングホイール、ルームランプなどの内装部品、シートベルトの金具、乗員が設置した装飾品特に丸形のもの、後部座席から運転席側に乗り出す子どもの顔、等があげられる。

【0019】

次に、上記構成を備える本実施形態に係る乗員モニタシステム１の作用について、図５も参照して述べる。図５のフローチャートは、乗員モニタシステム１における、ドライバＤに対する画像認識処理の手順を概略的に示している。ステップＳ１では、画像処理ＥＣＵ３により、カメラユニット２のＬＥＤ５の照明制御及びカメラ６の撮像制御が行われ、ステップＳ２にて、ドライバＤの顔部分の撮像が行われる。ステップＳ３では、カメラ６の撮像データからドライバＤの顔が検出される。

【0020】

ドライバＤの顔検出が成功すると、ステップＳ４にて、顔の特徴点この場合両目や口の検出が行われる。そして、ステップＳ５では、ドライバのＤの顔の向きや、頭部の位置の検出が行われると共に、ステップＳ６では、ドライバのＤの視線の検出及び開眼の検出が行われる。上記処理は、車両の走行中は常時繰り返して実行され、乗員モニタシステム１の認識したドライバの顔認識のデータは、運転支援処理などに利用される。

【0021】

ここで、上記のように両目や口といった特徴点の検出に基づいて人の顔を判定する場合、顔以外の物を、人の顔であると判定してしまう虞がある。例えば、ドライバＤの顔の前部には、ステアリングホイール１２が存在し、ドライバＤがそのステアリングホイール１２を握った手の指の間隔や、関節の突起、隙間や拳の大きさが、人の顔に似た配置となり、顔であると判定してしまう虞が考えられる。

【0022】

ところが、本実施形態では、カメラ６の撮像視野Ｖから、ドライバＤの顔の周囲の人の顔と誤認識する虞のある障害物の存在する領域を除外するための除外構造が設けられている。この場合、図４に示すように、除外構造として、カメラ６の撮像視野Ｖのうち、その一部の乗員の顔と誤認識する虞のある障害物の存在する領域が、遮蔽部材としての遮光板１４により物理的に塞がれるようになり、遮光板１４の窓部１４ａに対応した楕円形の領域Ｖ０のみが、画像処理の対象となる。これにより、画像データのうちドライバＤの周囲部分のみを残して、その外側のステアリングホイール１２を含む部分がトリミングされた形態となり、ドライバＤの顔以外のものを顔と判定してしまう誤認識の虞がなくなる。

【0023】

このように本実施形態の乗員モニタシステム１によれば、乗員としてのドライバＤの顔をカメラ６で撮像し、その撮像データからドライバＤの顔を認識するものにあって、前記カメラ６の視野Ｖから、ドライバＤの顔と誤認識する虞のある障害物の存在する領域を除外する除外構造を備えるので、ドライバＤの顔以外のものを顔と判定してしまう誤認識を効果的に防止することができる。

【0024】

特に本実施形態では、除外構造として、前記カメラ６の撮像視野Ｖの一部を物理的に塞ぐ遮蔽部材としての遮光板１４をカメラユニット２に設け、カメラ６の撮像視野Ｖのうち、その一部の乗員の顔と誤認識する虞のある障害物の存在する領域を、遮光板１４により物理的に塞ぐことにより、誤認識を防止する構成とした。これにより、カメラユニット２に遮光板１４を設けるという比較的簡単な構成で、除外構造を実現することができ、効果的となる。

【0025】

（２）第２の実施形態
図８及び図９は、第２の実施形態を示すものである。この第２の実施形態では、図８に示すように、カメラユニット２１に設けられる遮蔽部材としての遮光板２２の形状が、上記第１の実施形態と異なっている。カメラユニット２１は、上記第１の実施形態と同様に、基板４の前面側に、左右に並んでＬＥＤ５及びカメラ６を実装すると共に、遮光壁７に沿うように遮光板２２を設けて構成される。遮蔽部材としての遮光板２２は、カメラ６の撮像視野Ｖの一部、この場合図９に示す撮像視野Ｖのうちの右側部分、即ちステアリングホイール１２の存在する領域Ｔ１を物理的に塞いで遮蔽する形状に構成され、これにて、除外構造が構成される。

【0026】

このような第２の実施形態においても、上記第１の実施形態と同様に、乗員としてのドライバＤの顔をカメラ６で撮像し、その撮像データからドライバＤの顔を認識するものにあって、ドライバＤの顔以外のものを顔と判定してしまう誤認識を効果的に防止することができる。また、カメラユニット２１に遮光板２２を設けるという比較的簡単な構成で、除外構造を実現することができ、効果的となる。

【0027】

（３）第３の実施形態
図１０及び図１１は、第３の実施形態を示すものである。この第３の実施形態では、図１０に示すように、カメラ６の撮像視野Ｖから、乗員としてのドライバＤの顔と誤認識する虞のある障害物の存在する領域Ｔ２を除外する除外構造として、遮蔽部材としての遮光板３１を、車室Ｒ内であるインストルメントパネル１５のモニタ用窓部１３の裏面側に設けるようにしている。この遮光板３１は、縦長矩形状の薄板状に構成され、図１１に示すように、カメラ６の撮像視野Ｖのうち、図で右側のステアリングホイール１２を含む領域Ｔ２を物理的に塞ぐように構成されている。

【0028】

この第３の実施形態によれば、乗員としてのドライバＤの顔をカメラ６で撮像し、その撮像データからドライバＤの顔を認識するものにあって、カメラ６の撮像視野Ｖのうち、その一部のドライバＤの顔と誤認識する虞のある障害物の存在する領域Ｔ２が、遮蔽部材としての遮光板３１により物理的に塞がれるようになり、ドライバＤの顔以外のものを顔と判定してしまう誤認識を効果的に防止することができる。従って、車室Ｒに遮光板３１を設けるという比較的簡単な構成で、除外構造を実現することができ、効果的となる。

【0029】

（４）第４の実施形態、その他の実施形態
図１２及び図１３は、第４の実施形態を示すものである。この第４の実施形態では、上記第１～第３の実施形態のような遮蔽部材を用いるものとは異なり、乗員としてのドライバＤの顔と誤認識する虞のある障害物の存在する領域を除外する除外構造として、前記カメラ６による撮像データから、画像処理ＥＣＵ３におけるソフトウエア的構成により、前記撮像データの一部を除外して画像認識を行う構成が採用されている。

【0030】

図１２のフローチャートは、乗員モニタシステム１における、ドライバＤに対する画像認識処理の手順を概略的に示している。ステップＳ１では、画像処理ＥＣＵ３により、カメラユニット２のＬＥＤ５の照明制御及びカメラ６の撮像制御が行われ、ステップＳ２にて、ドライバＤの顔部分の撮像が行われる。そして、次のステップＳ１１にて、カメラ６の画像に対して、ドライバＤの顔と誤認識する虞のある障害物の存在する領域に対するトリミングが行われる。この場合、例えば図１３に示すように、ステアリングホイール１２を含む図で右側の領域が除外され、図で太い破線で示す領域Ｖ１のみが画像処理の対象となる。

【0031】

この後、ステップＳ３では、カメラ６の撮像データからドライバＤの顔が検出される。ドライバＤの顔検出が成功すると、ステップＳ４にて、顔の特徴点この場合両目や口の検出が行われる。そして、ステップＳ５では、ドライバのＤの顔の向きや、頭部の位置の検出が行われると共に、ステップＳ６では、ドライバのＤの視線の検出及び開眼の検出が行われる。

【0032】

このような第４の実施形態によれば、乗員としてのドライバＤの顔をカメラ６で撮像し、その撮像データからドライバＤの顔を認識するものにあって、カメラ６の撮像データから、ドライバＤの顔と誤認識する虞のある障害物の存在する領域をソフトウエア的に除外する除外構造を設けたので、ドライバＤの顔以外のものを顔と判定してしまう誤認識を効果的に防止することができる。この場合、ソフトウエア的な構成で、除外構造を簡易に実現することができ、効果的となる。

【0033】

尚、上記各実施形態では、乗員としてドライバを検知する場合を例としたが、ドライバに限らず、助手席や後部座席の乗員を検知するものに適用しても良い。また、上記各実施形態では、カメラユニットを、インストルメントパネルの中央部に設ける構成としたが、インストルメントパネルの別の位置や運転席前方のメータ部等に設けるなど、車室内の適宜の位置に設けることができる。さらには、上記各実施形態では、カメラ及び光源をカメラユニットとして構成したが、カメラと光源とを別々に取付ける構成としても良い。

【0034】

本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

【0035】

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。又、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。

【符号の説明】

【0036】

図面中、１は乗員モニタシステム、２、２１はカメラユニット、３は画像処理ＥＣＵ（画像処理部）、４は基板、５はＬＥＤ、６はカメラ、７は遮光壁、１２はステアリングホイール、１３はモニタ用窓部、１４、２２、３１は遮光板（遮蔽部材）、１４ａは窓部、１５はインストルメントパネル、Ｄはドライバ（乗員）を示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】