特開 2022-163481 乗員モニタシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022163481

(43)【公開日】2022-10-26

(54)【発明の名称】乗員モニタシステム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20221019BHJP

   B60R 11/04 20060101ALI20221019BHJP

   G03B 15/00 20210101ALI20221019BHJP

   G03B 15/02 20210101ALI20221019BHJP

   G03B 17/02 20210101ALI20221019BHJP

【ＦＩ】

H04N5/225 100

B60R11/04

G03B15/00 V

G03B15/00 S

G03B15/02

G03B17/02

H04N5/225 400

H04N5/225 600

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021068432

(22)【出願日】2021-04-14

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000567

【氏名又は名称】弁理士法人サトー

(72)【発明者】

【氏名】田口 清貴

【テーマコード（参考）】

2H100

3D020

5C122

【Ｆターム（参考）】

2H100BB05

2H100CC01

2H100CC03

2H100CC04

2H100EE00

3D020BA20

3D020BC03

3D020BD05

5C122DA14

5C122EA15

5C122FB02

5C122FB17

5C122FH14

5C122GE11

5C122GG10

5C122GG17

5C122HB01

(57)【要約】

【課題】基板上にカメラ及び光源を備えるカメラユニットを車室内に備えるものにあって、乗員の撮像時におけるカメラへのノイズ光の入力を抑える。
【解決手段】乗員モニタシステム（１）は、車室に設けられ車両の乗員の顔を撮像対象として撮影するカメラユニット（２）を備え、前記カメラユニットは、基板（４）上にカメラ（６）及び光源（５）を備えると共に、前記光源からの光を意匠面を通して透過させて前記撮像対象に照射し、その反射光を前記意匠面を透過させて前記カメラに入力する行路（Ｌ）を形成するように構成され、前記行路以外の行路を通して前記カメラに光が入力することを防止するパス防止構造（７）を備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

車室に設けられ車両の乗員の顔を撮像対象として撮影するカメラユニット（２）を備え、
前記カメラユニットは、基板（４）上にカメラ（６）及び光源（５）を備えると共に、前記光源からの光を意匠面（１３、１５）を通して透過させて前記撮像対象に照射し、その反射光を前記意匠面を透過させて前記カメラに入力する行路（Ｌ）を形成するように構成され、
前記行路以外の行路を通して前記カメラに光が入力することを防止するパス防止構造（７、２１）を備える乗員モニタシステム。

【請求項2】

前記パス防止構造は、前記カメラと前記光源との間を区画する遮光壁（７）を含んでいる請求項１記載の乗員モニタシステム。

【請求項3】

前記遮光壁は、前記基板から前記意匠面まで延びて設けられている請求項２記載の乗員モニタシステム。

【請求項4】

前記パス防止構造は、前記カメラの周囲に配置された反射防止素材（２１）を含んでいる請求項１記載の乗員モニタシステム。

【請求項5】

前記反射防止素材は、黒色の無反射シートからなり、前記カメラの前方と前記意匠面との間に位置して設けられている請求項４記載の乗員モニタシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車室に設けられ車両の乗員の顔を撮像対象として撮影するカメラユニットを備える乗員モニタシステムに関する。

【背景技術】

【0002】

近年、自動車等の車両にあっては、乗員の顔をカメラで撮像し、その撮像データから乗員の顔を認識する乗員モニタシステムを搭載することが行われてきている。この乗員モニタシステムは、基板上にカメラ及び光源を並べて配設したカメラユニットを、例えば運転席前部のインストルメントパネル部分に設け、ドライバの顔を撮像するように構成されている（例えば特許文献１参照）。これにより、カメラの撮像データから画像認識処理を行うことに基づき、ドライバやドライバの状態を判定し、例えば運転支援等に利用することが行われる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－５２８２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上記カメラユニットを設ける位置としては、インストルメントパネルの中央部分とすることが望ましいが、その場合、光源及びカメラが運転席のドライバに向くように傾けて配設されるようになる。このようにカメラユニットを傾けて配置した場合、インストルメントパネルの前側の意匠面に対して、隙間を有した状態で角度をもって配置される。そのため、光源から出力された照明光が、意匠面の内面で反射し、その反射光がカメラに直接的に入力され、ノイズ光となって画像に筋が入ったり、いわゆる白飛びが発生したりすることがあり、画像認識に支障をきたす虞があった。

【0005】

本発明は上記した事情に鑑みてなされたものであり、その目的は、基板上にカメラ及び光源を備えるカメラユニットを車室内に備えるものにあって、乗員の撮像時におけるカメラへのノイズ光の入力を抑えることができる乗員モニタシステムを提供するにある。

【課題を解決するための手段】

【0006】

本発明の乗員モニタシステム（１）は、車室に設けられ車両の乗員の顔を撮像対象として撮影するカメラユニット（２）を備え、前記カメラユニットは、基板（４）上にカメラ（６）及び光源（５）を備えると共に、前記光源からの光を意匠面を通して透過させて前記撮像対象に照射し、その反射光を前記意匠面を透過させて前記カメラに入力する行路（Ｌ）を形成するように構成され、前記行路以外の行路を通して前記カメラに光が入力することを防止するパス防止構造（７、２１）を備えている。

【0007】

これによれば、カメラユニットにより、乗員の顔を撮像対象として撮影する際には、光源からの光が意匠面を透過して乗員の顔に照射され、その反射光が意匠面を透過してカメラに入力されるといった正規の行路が形成されることにより、撮像がなされる。ここで、例えば、光源からの光が、意匠面の内面で反射し、その反射光がカメラに直接的に入力されるといった、正規でない行路を通ったノイズ光がカメラに入力される虞がある。ところが、パス防止構造を備えることにより、行路以外の行路を通してカメラに光が入力することが防止される。従って、乗員の撮像時におけるカメラへのノイズ光の入力を抑えることができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態を示すもので、カメラユニットの配置を示す平面図

【図2】カメラユニット部分の拡大平面図

【図3】車室内のインストルメントパネル部分の正面図

【図4】システムの全体構成を概略的に示す斜視図

【図5】画像認識の手順を示すフローチャート

【図6】第２の実施形態を示すもので、カメラユニット部分の斜視図

【発明を実施するための形態】

【0009】

図１から図５を参照して、第１の実施形態について説明する。図４は、本実施形態に係る乗員モニタシステム１の全体構成を概略的に示している。この乗員モニタシステム１は、車両例えば自動車に搭載され、この場合乗員としての例えばドライバを検知し、そのドライバの状態、例えば顔の向きや開眼状態等を監視する装置として設けられている。ここで、乗員モニタシステム１は、カメラユニット２と、画像処理部としての画像処理ＥＣＵ３とを備えている。

【0010】

前記カメラユニット２は、図１、図２にも示すように、基板４に、光源としてのＬＥＤ５及びカメラ６を実装して構成されている。また、本実施形態では、カメラユニット２には、後述するパス防止構造としての遮光壁７が設けられる。前記ＬＥＤ５としては、例えば照明光として赤外光を出力するＩＲＬＥＤが採用され、カメラ６としては赤外線カメラが採用される。カメラユニット２は、ＬＥＤ５から乗員この場合ドライバＤ（図１参照）の顔に向けて赤外光を照射し、反射光をカメラ６で受光することによりドライバＤの顔を撮像するように構成されている。このカメラユニット２の詳細については、後述する。

【0011】

前記画像処理ＥＣＵ３は、詳しい説明は省略するが、ＣＰＵ及びその周辺機器を含むコンピュータを主体として構成され、前記ＬＥＤ５及びカメラ６の制御、前記カメラ６の撮像データの画像処理、画像認識を行う。画像認識の処理では、ドライバＤの顔の検出、特徴点からの顔の部位の検出、顔の向きや開眼状態の検出などが行われる。この画像処理ＥＣＵ３及び前記カメラユニット２は、車室Ｒの例えばインストルメントパネル１５（図１、図３参照）内に組込まれている。

【0012】

このとき、図４に示すように、この画像処理ＥＣＵ３は、ユニット化されて、フレキシブルケーブル及びコネクタを介して前記カメラユニット２に接続されている。また、画像処理ＥＣＵ３は、ケーブル及びコネクタなどを介して、他の車載ＥＣＵ８、例えば運転支援ＥＣＵに接続されている。これにて、乗員モニタシステム１の認識したドライバＤの顔認識のデータは、運転支援処理などに利用される。

【0013】

ここで、上記カメラユニット２について、図１～図３も参照して述べる。図１、図２に示すように、カメラユニット２は、基板４の前面側に、左右に並んでＬＥＤ５及びカメラ６を実装して構成されると共に、ＬＥＤ５側とカメラ６側とを区画するように遮光壁７が設けられている。このカメラユニット２は、前記インストルメントパネル１５内に設けられており、インストルメントパネル１５の意匠面と、ＬＥＤ５及びカメラ６との間には、一定の隙間が設けられている。このとき、図３に示すように、インストルメントパネル１５の前面の意匠面には、中央部に位置して、例えばナビゲーション画面等の各種画面が表示されるセンターディスプレイ１１が設けられている。また、この場合、車室Ｒ内の左側には運転席が設けられ、その運転席の前部には、ステアリングホイール１２が設けられている。

【0014】

そして、前記インストルメントパネル１５には、前記センターディスプレイ１１の上方部に位置して、モニタ用窓部１３が設けられている。このモニタ用窓部１３は、インストルメントパネル１５の意匠面をやや横長の矩形状に開口させる共に、その開口部に赤外光を主に透過させるＩＲフィルタを配置して構成されている。図１に示すように、前記カメラユニット２は、前記モニタ用窓部１３の後方のやや離れた位置に、モニタ用窓部１３を通してドライバＤの顔を撮影できるように、やや斜め前方を向いて配設されている。

【0015】

これにて、カメラユニット２においては、ＬＥＤ５が点灯されて、赤外光が照明光として前方に出力され、モニタ用窓部１３を透過して運転席のドライバＤの顔に向けて照射される。そして、ドライバＤの顔からの反射光がモニタ用窓部１３を透過してカメラ６に入力される。このときの光の行路Ｌを、正規の行路Ｌと称する。カメラ６により撮影されたドライバＤの顔の撮像データが、前記画像処理ＥＣＵ３に入力され、ドライバＤの顔の認識処理がなされる。

【0016】

さて、本実施形態の乗員モニタシステム１では、前記正規の行路Ｌ以外の行路を通して前記カメラ２に光が入力することを防止するパス防止構造が設けられる。本実施形態では、図１、図２に示すように、パス防止構造として、カメラユニット２に、光源としてのＬＥＤ５とカメラ６との間を区画する遮光壁７が設けられる。この遮光壁７は、前後方向に長い薄板状をなすと共に、例えば表面が光を反射しない黒色に塗装されている。

【0017】

この遮光壁は、基板２の前面のＬＥＤ５とカメラ６と間を縦に仕切り、基板２の前面から、前方即ちインストルメントパネル１５の意匠面に設けられるモニタ用窓部１３の裏面まで前後方向に延びて設けられている。これにて、ＬＥＤ５から出力された光が、正規の行路Ｌを通らずに、意匠面、例えばモニタ用窓部１３の内面やインストルメントパネル１５の内面で反射してカメラ６に入力されるといったことが、遮光壁７により阻止されるように構成されている。

【0018】

次に、上記構成を備える本実施形態に係る乗員モニタシステム１の作用について、図５も参照して述べる。図５のフローチャートは、乗員モニタシステム１において、画像処理ＥＣＵ３が実行する、ドライバＤに対する画像認識処理の手順を概略的に示している。即ち、ステップＳ１では、画像処理ＥＣＵ３により、カメラユニット２の撮像チューニング例えばＬＥＤ５の照明制御等が行われ、ステップＳ２にて、カメラ６によりドライバＤの顔部分の撮影画像が入力される。ステップＳ３では、カメラ６の撮像データからドライバＤの顔の認識処理が実行される。

【0019】

次のステップＳ４では、ドライバＤの顔検出が成功したかどうかが判断され、ドライバＤの顔検出ができなかった場合には（ステップＳ４にてＮｏ）、ステップＳ１に戻って処理が繰り返される。これに対し、ドライバＤの顔検出が成功した場合には（ステップＳ４にてＹｅｓ）、ステップＳ５にて、ドライバのＤの顔認識処理が行われてその結果が出力される。その後、ステップＳ１に戻って処理が繰り返される。上記処理は、車両の走行中は常時繰り返して実行され、乗員モニタシステム１の認識したドライバの顔認識結果のデータは、運転支援処理などに利用される。

【0020】

ここで、カメラユニット２は、インストルメントパネル１５内に、その意匠面に対して、隙間を有した状態で角度をもって配置される。そのため、ＬＥＤ５から出力された照明光が、意匠面即ちモニタ用窓部１３又はインストルメントパネル１５の内面で反射し、図２に示すように、正規の行路Ｌとは異なる行路Ｌ´で、カメラ６方向に向けて反射することが考えられる。仮に、その反射光がカメラ６に直接的に入力されるようなことがあると、ノイズ光となって画像に筋が入ったり、いわゆる白飛びが発生したりすることがあり、画像認識に支障をきたす虞がある。

【0021】

ところが、本実施形態では、パス防止構造として、ＬＥＤ５とカメラ６との間を区画する遮光壁７が設けられているので、反射光がカメラ６側に行こうとするといったことが、遮光壁７により阻止される。これにより、カメラ６へのノイズ光の入力を抑えることができる。この場合、遮光壁７は、基板４から意匠面まで延びて設けられているので、基板４から意匠面までの全域で光のカメラ６側への漏れが阻止され、効果的となる。

【0022】

このように本実施形態の乗員モニタシステム１によれば、乗員としてのドライバＤの顔をカメラ６で撮像し、その撮像データからドライバＤの顔を認識するものにあって、正規の行路Ｌ以外の行路Ｌ´を通してカメラ６に光が入力することを防止するパス防止構造
えることにより、正規の行路Ｌ以外の行路を通してカメラ６に光が入力することが防止される。従って、本実施形態によれば、ドライバＤの撮像時におけるカメラ６へのノイズ光の入力を抑えることができる。

【0023】

特に本実施形態では、パス防止構造として、ＬＥＤ５とカメラ６との間を区画する遮光壁７を設けるようにした。これにより、ＬＥＤ５から出力された光が、意匠面の内面で反射してカメラ６側に行こうとするといったことを、遮光壁７により阻止することができる。これにより、カメラ６へのノイズ光の入力を抑えることがで、また、遮光壁７を設けるだけの簡単な構成で済ませることができる。このとき、遮光壁７を基板２から意匠面まで延びて設ける構成としたので、基板２から意匠面までの全域でノイズ光のカメラ６側への進入を阻止でき、より効果的となる。

【0024】

図６は、第２の実施形態を示すものである。この第２の実施形態では、正規の行路Ｌ以外の行路を通してカメラ６に光が入力することを防止するパス防止構造として、上記した遮光壁７に加えて、カメラ６の周囲に、反射防止素材としての無反射シート２１を設けるようにしている。この無反射シート２１は、例えば黒色に着色された合成樹脂製フィルム等からなり、カメラ６の前方の周囲部空間のうち例えば下面側及び右側面側を覆うように、意匠面つまりインストルメントパネル１５との間に位置して設けられている。

【0025】

ここで、上記カメラユニット２の配置においては、ＬＥＤ５から出力された照明光がモニタ用窓部１３を透過して運転席のドライバＤの顔に向けて照射され、ドライバＤの顔からの反射光がモニタ用窓部１３を透過して入射されるが、その後、インストルメントパネル１５の内部において、正規の行路Ｌ以外の入射光Ｌ″が、カメラ６の周辺の物体に反射してカメラ６に入力されるといったことが考えらえる。ところが、本実施形態では、カメラ６の周囲部に無反射シート２１を設けたことにより、入射光Ｌ″の反射が抑えられ、ノイズ光がカメラ６に入力されることが未然に防止されるのである。

【0026】

このような第２の実施形態によれば、パス防止構造として、遮光壁７に加えて、カメラ６の周囲に反射防止素材としての無反射シート２１を設けた。これにより、上記第１の実施形態と同様に、乗員としてのドライバＤの顔をカメラ６で撮像し、その撮像データからドライバＤの顔を認識するものにあって、ドライバＤの撮像時におけるカメラ６へのノイズ光の入力を抑えることができるという優れた効果を得ることができる。

【0027】

このとき、本実施形態では、遮光壁７により、ＬＥＤ５から出力された照明光が、意匠面で反射し、正規の行路Ｌとは異なる行路Ｌ´で、カメラ６方向に向けて反射することが阻止されることに加えて、モニタ用窓部１３を透過して入射した正規の行路Ｌ以外の入射光Ｌ″が、カメラ６の周辺の物体に反射してカメラ６に入力されるといったことが無反射シート２１により防止される。これにより、カメラ６へのノイズ光の入力をより効果的に抑えることができる。しかも、反射防止素材としての無反射シート２１を採用したので、組付けが容易で、安価で簡単な構成で済ませることができる。

【0028】

尚、第２実施形態では、遮光壁７と無反射シート２１との双方を設けるように構成したが、無反射シート２１だけを設ける構成としても良く、入射光Ｌ″が、カメラ６の周辺の物体に反射してカメラ６に入力されることを防止することができる。また、上記各実施形態では、カメラユニッ２トを、インストルメントパネルの中央部に設ける構成としたが、インストルメントパネルの別の位置や運転席前方のメータ部等に設けるなど、車室Ｒ内の適宜の位置に設けることができる。この場合、必要に応じた位置に、遮光壁や防止シートなどのパス防止構造を設けることができる。反射防止素材の材質としても、様々なものを採用することが可能である。

【0029】

上記各実施形態では、乗員としてドライバＤを検知する場合を例としたが、ドライバＤに限らず、助手席や後部座席の乗員を検知するものに適用しても良い。本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

【0030】

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。又、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。

【符号の説明】

【0031】

図面中、１は乗員モニタシステム、２はカメラユニット、３は画像処理ＥＣＵ、４は基板、５はＬＥＤ、６はカメラ、７は遮光壁、１３はモニタ用窓部、１５はインストルメントパネル、２１は無反射シート（反射防止素材）、Ｄはドライバ（乗員）、Ｌは行路を示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】