特開 2023-83837 乗員モニタリングシステム用撮影装置及び乗員モニタリングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023083837

(43)【公開日】2023-06-16

(54)【発明の名称】乗員モニタリングシステム用撮影装置及び乗員モニタリングシステム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230609BHJP

   B60Q 3/283 20170101ALI20230609BHJP

   B60Q 3/20 20170101ALI20230609BHJP

   B60Q 3/76 20170101ALI20230609BHJP

   H04N 23/56 20230101ALI20230609BHJP

   G03B 15/00 20210101ALI20230609BHJP

【ＦＩ】

H04N5/232 290

B60Q3/283

B60Q3/20

B60Q3/76

H04N5/225 600

G03B15/00 S

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2021197775

(22)【出願日】2021-12-06

(71)【出願人】

【識別番号】000241463

【氏名又は名称】豊田合成株式会社

(74)【代理人】

【識別番号】110002583

【氏名又は名称】弁理士法人平田国際特許事務所

(72)【発明者】

【氏名】石川 天童

(72)【発明者】

【氏名】福井 峰雄

(72)【発明者】

【氏名】伊藤 修

(72)【発明者】

【氏名】中村 祥宜

【テーマコード（参考）】

3K040

5C122

【Ｆターム（参考）】

3K040CA05

3K040GA04

3K040GB00

3K040GC02

3K040GC11

5C122DA14

5C122DA30

5C122EA12

5C122EA15

5C122FG05

5C122FH18

5C122GG04

5C122GG26

5C122HB01

(57)【要約】

【課題】撮影時に乗員が動いた場合やカメラが揺れた場合であっても鮮明な検出用画像を作成するための画像データを取得できる乗員モニタリングシステム用撮影装置、及びその撮影装置を備えた乗員モニタリングシステムを提供することにある。
【解決手段】乗物内の乗員３３に第１の波長の光を照射する第１の光源１１と、乗員３３に、第１の光源１１と異なる位置から、第１の波長と異なる第２の波長の光を照射する第２の光源１２と、第１の波長の光と第２の波長の光が照射された乗員３３を撮影し、第１の波長を含む波長域の情報を有する第１の画像データ２１と第２の波長を含む波長域の情報を有する第２の画像データ２２を異なるデータとして取り出すことができるデータキューブ２０を取得する分光カメラ１３と、を備えた、乗員モニタリングシステム用撮影装置１を提供する。
【選択図】図３

【特許請求の範囲】

【請求項1】

乗物内の乗員に第１の波長の光を照射する第１の光源と、
前記乗員に、前記第１の光源と異なる位置から、前記第１の波長と異なる第２の波長の光を照射する第２の光源と、
前記第１の波長の光と前記第２の波長の光が照射された前記乗員を撮影し、前記第１の波長を含む波長域の情報を有する第１の画像データと前記第２の波長を含む波長域の情報を有する第２の画像データを異なるデータとして取り出すことができるデータキューブを取得する分光カメラと、
を備えた、
乗員モニタリングシステム用撮影装置。

【請求項2】

前記乗物が自動車である、
請求項１に記載の乗員モニタリングシステム用撮影装置。

【請求項3】

請求項１又は２に記載の乗員モニタリングシステム用撮影装置と、
前記第１の画像データと前記第２の画像データを用いて、前記第１の波長の光と前記第２の波長の光の映り込みが抑えられた、前記乗員の状態を判定するための情報の検出に用いられる検出用画像を作成する画像処理部と、
を備えた、
乗員モニタリングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、乗物室内で用いられる乗員モニタリングシステム用撮影装置及び乗員モニタリングシステムに関する。

【背景技術】

【0002】

従来、車両を運転する運転者を撮影した画像から、運転者の顔の向きや視線を検出する画像撮影装置であって、運転者が装着している眼鏡への光の映り込みを画像から除去することができる画像撮影装置が知られている（特許文献１を参照）。

【0003】

眼鏡のレンズ部分やフレーム部分に光が映り込むことにより高輝度となった部分が発生すると、運転者の眼の画像情報が得られなくなり、運転者の顔の向きや視線の検出精度が低下するおそれがある。特許文献１に記載の画像撮影装置は、異なる位置に配置された、運転者を照明するための２つの光照射機を備えており、一方の光照射機から光を照明したときに撮影する運転者の画像と、他方の光照射機から光を照明したときに撮影する運転者の画像とを取得することができる。そして、これらの画像を合成して運転者が装着している眼鏡への光の映り込みが除去された画像を形成し、運転者の顔の向きや視線の検出精度を向上させることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－１２４０４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の画像撮影装置によれば、一方の光照射機から光を照明したときに撮影する運転者の画像と、他方の光照射機から光を照明したときに撮影する運転者の画像とを異なるタイミングで撮影する必要があるため、これらの２枚の画像を撮影する間に運転者が動いた場合や、カメラが揺れた場合に、２枚の画像の間で運転者の像に差異が生じてしまう。そのため、これら２枚の画像の合成により得られる眼鏡への光の映り込みが除去された画像において、運転者の像が不鮮明になり、運転者の状態を判定するための顔の向きや視線などの情報を精度よく検出できなくなるおそれがある。

【0006】

本発明の目的は、乗物室内の乗員の顔の向き、視線、開眼度などの情報を検出するための検出用画像の作成に用いられる画像データを取得する乗員モニタリングシステム用撮影装置であって、撮影時に乗員が動いた場合やカメラが揺れた場合であっても鮮明な検出用画像を作成するための画像データを取得できる乗員モニタリングシステム用撮影装置、及びその撮影装置を備えた乗員モニタリングシステムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の一態様は、上記目的を達成するために、下記［１］、［２］の乗員モニタリングシステム用撮影装置、及び［３］の乗員モニタリングシステムを提供する。

【0008】

［１］乗物内の乗員に第１の波長の光を照射する第１の光源と、前記乗員に、前記第１の光源と異なる位置から、前記第１の波長と異なる第２の波長の光を照射する第２の光源と、前記第１の波長の光と前記第２の波長の光が照射された前記乗員を撮影し、前記第１の波長を含む波長域の情報を有する第１の画像データと前記第２の波長を含む波長域の情報を有する第２の画像データを異なるデータとして取り出すことができるデータキューブを取得する分光カメラと、を備えた、乗員モニタリングシステム用撮影装置。
［２］前記乗物が自動車である、上記［１］に記載の乗員モニタリングシステム用撮影装置。
［３］上記［１］又は［２］に記載の乗員モニタリングシステム用撮影装置と、前記第１の画像データと前記第２の画像データを用いて、前記第１の波長の光と前記第２の波長の光の映り込みが抑えられた、前記乗員の状態を判定するための情報の検出に用いられる検出用画像を作成する画像処理部と、を備えた、乗員モニタリングシステム。

【発明の効果】

【0009】

本発明によれば、乗物室内の乗員の顔の向き、視線、開眼度などの情報を検出するための検出用画像の作成に用いられる画像データを取得する乗員モニタリングシステム用撮影装置であって、撮影時に乗員が動いた場合やカメラが揺れた場合であっても鮮明な検出用画像を作成するための画像データを取得できる乗員モニタリングシステム用撮影装置、及びその撮影装置を備えた乗員モニタリングシステムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施の形態に係る撮影装置を構成する第１の光源、第２の光源、及び分光カメラの設置場所を示すための、自動車の車両室内の模式図である。

【図2】図２は、撮影装置により運転席に座った乗員の顔周辺を撮影する様子を示す模式図である。

【図3】図３は、乗物に搭載された、撮影装置を含む乗員モニタリングシステムの構成の一例を概略的に示すブロック図である。

【図4】図４は、乗員モニタリングシステムによる乗員のモニタリングの流れを概略的に示すフローチャートである。

【図5】図５は、分光カメラが取得するデータキューブの構造の模式図である。

【図6】図６（ａ）、（ｂ）は、それぞれ第１の画像データと第２の画像データの模式図である。

【図7】図７は、バス車内の乗員をモニタリングする様子を示す模式図である。

【発明を実施するための形態】

【0011】

本発明の実施の形態に係る乗員モニタリングシステム用の撮影装置１は、乗物室内の乗員の状態を検出するための検出用画像の作成に用いられる画像データを取得する乗員モニタリングシステム用撮影装置である。

【0012】

撮影装置１は、乗物内の乗員に第１の波長の光を照射する第１の光源１１と、その乗員に、第１の光源１１と異なる位置から、第１の波長と異なる第２の波長の光を照射する第２の光源１２と、第１の波長の光と第２の波長の光が照射された乗員を撮影し、第１の波長を含む波長域の情報を有する第１の画像データと第２の波長を含む波長域の情報を有する第２の画像データを異なるデータとして取り出すことができるデータキューブを取得する分光カメラ１３と、を備える。

【0013】

図１は、撮影装置１を構成する第１の光源１１、第２の光源１２、及び分光カメラ１３の設置場所を示すための、自動車の車両室内の模式図である。図１に示されるＰ_０は分光カメラ１３の設置場所の例を示し、Ｐ_１、Ｐ_２は、第１の光源１１と第２の光源１２の設置場所の例を示している。

【0014】

図１に示されるように、分光カメラ１３は、例えば、ステアリングホイール３１のパッド部分（Ｐ_０）に設置される。また、第１の光源１１と第２の光源１２は、例えば、ステアリングホイール３１のリム部分（Ｐ_１）や、Ａピラー（フロントピラー）３２（Ｐ_２）に設置される。例えば、分光カメラ１３は、撮影対象である乗員の顔から１ｍ以内の位置に配置され、第１の光源１１と第２の光源１２は、乗員の顔から２ｍ以内の位置に配置される。

【0015】

図２は、撮影装置１により運転席３０に座った乗員３３の顔周辺を撮影する様子を示す模式図である。図２に示される例では、第１の光源１１と第２の光源１２はステアリングホイール３１のリム部分に設置され、分光カメラ１３はステアリングホイール３１のパッド部分に設置されている。

【0016】

第１の光源１１から発せられた第１の波長の光と、第２の光源１２から発せられた第２の波長の光は、運転席３０に座った乗員３３の顔周辺を照明し、照明された状態の乗員３３の顔周辺を分光カメラ１３が撮影し、データキューブを取得する。

【0017】

分光カメラ１３は、マルチスペクトルカメラやハイパースペクトルカメラなどの、画素ごとの分光スペクトル（輝度対波長）を取得することができるカメラである。分光カメラ１３が撮影により取得する画像データは、二次元の平面データに加えて波長情報を含む三次元（又は四次元以上）のデータであり、データキューブと呼ばれる。

【0018】

第１の光源１１と第２の光源１２は、例えば、ＬＥＤなどの発光素子を備えた照明装置である。第１の光源１１の発光波長である第１の波長と、第２の光源１２の発光波長である第２の波長は、分光カメラ１３の分光性能により決定される。すなわち、分光カメラ１３の取得したデータキューブから、第１の波長を含む波長域の情報を有する第１の画像データと第２の波長を含む波長域の情報を有する第２の画像データを異なるデータとして取り出すことができる程度に、第１の波長と第２の波長が離れていればよい。

【0019】

典型的には、第１の光源１１と第２の光源１２は、それぞれ近赤外域の単波長域の光を発する。すなわち、第１の波長と第２の波長は、それぞれ近赤外域に含まれる。第１の画像データと第２の画像データを確実に異なるデータとして取得するため、例えば、第１の波長と第２の波長（のピーク波長）が５０ｎｍ以上離れていることが好ましい。

【0020】

図３は、乗物に搭載された、撮影装置１を含む乗員モニタリングシステム１００の構成の一例を概略的に示すブロック図である。乗員モニタリングシステム１００は、乗物内の乗員３３の顔周辺をモニタリングするシステムであり、例えば、モニタリングにより判定された運転者の状態に応じて警告を発することにより、わき見運転や居眠り運転を抑制することができる。

【0021】

乗員モニタリングシステム１００は、第１の光源１１、第２の光源１２、及び分光カメラ１３を有する撮影装置１と、分光カメラ１３の取得したデータキューブを記憶する記憶部１４と、記憶部１４に記憶されたデータキューブに含まれる第１の画像データと第２の画像を用いて、第１の波長の光と前記第２の波長の光の映り込みが抑えられた、乗員３３の状態を判定するための顔の向き、視線、開眼度などの情報（判定用情報と呼ぶ）の検出に用いられる検出用画像を作成する画像処理部１５と、画像処理部１５が作成した検出用画像を記憶する記憶部１６と、記憶部１６に記憶された検出用画像を解析して、判定用情報を検出する画像解析部１７と、画像解析部１７が検出した判定用情報に基づいて乗員３３の状態を判定する状態判定部１８と、状態判定部１８の判定した乗員３３の状態に応じて乗員３３に対する警告を発する警告部１９と、第１の光源１１、第２の光源１２、分光カメラ１３、画像処理部１５、画像解析部１７、状態判定部１８、警告部１９などの動作を制御する制御部１０とを備える。

【0022】

乗員モニタリングシステム１００を構成する制御部１０、記憶部１４、画像処理部１５、記憶部１６、画像解析部１７、及び状態判定部１８は、例えば、車両に搭載されたＥＣＵ（エレクトロニックコントロールユニット）に実装されたＭＣＵ（マイクロコントローラーユニット）に含まれる。また、警告部１９は、例えば、音や光により警告を発する車載装置である。なお、乗員モニタリングシステム１００は警告部１９を構成に含まないものであってもよい。この場合、警告部１９は外部機器として乗員モニタリングシステム１００に接続される。

【0023】

図４は、乗員モニタリングシステム１００による乗員３３のモニタリングの流れを概略的に示すフローチャートである。まず、第１の光源１１からの第１の波長の光と第２の光源１２からの第２の波長の光を同時に乗員３３の顔周辺に照射し、第１の光と第２の光が照射された状態の乗員３３の顔周辺を分光カメラ１３により撮影する（ステップＳ１）。撮影により分光カメラ１３が取得したデータキューブは、記憶部１４に記憶される。

【0024】

図５は、分光カメラ１３が取得するデータキューブの構造の模式図である。図５は、それぞれ異なる波長域の情報を含む複数の画像がデータキューブ２０に含まれている様子を示している。これらのデータキューブ２０を構成する複数の画像に、第１の光源１１の発光波長を含む波長域の情報を有する第１の画像データ２１と、第２の光源１２の発光波長を含む波長域の情報を有する第２の画像データ２２が含まれる。

【0025】

例えば、第１の画像データ２１の波長域がλ_１～λ_２であるとすると、第１の画像データ２１に含まれる各画素においてλ_１～λ_２の範囲外の波長の輝度がゼロである。そして、第２の光源１２の発光波長である第２の波長はλ_１～λ_２の範囲外にあるため、第２の光源１２から発せられた光は第１の画像データ２１に映り込まない。同様に、第１の光源１１の発光波長である第１の波長は第２の画像データ２２の波長域の範囲外にあるため、第１の光源１１から発せられた光は第２の画像データ２２に映り込まない。

【0026】

図６（ａ）、（ｂ）は、それぞれ第１の画像データ２１と第２の画像データ２２の模式図である。図６（ａ）、（ｂ）に示されるように、第１の画像データ２１には第１の光源１１から発せられて乗員３３の眼鏡に反射された第１の波長を有する光３５１が映り込み、第２の画像データ２２には第２の光源１２から発せられて乗員３３の眼鏡に反射された第２の波長を有する光３５２が映り込む。ここで、第１の光源１１と第２の光源１２は異なる位置に設置されているため、第１の画像データ２１の光３５１が映り込む位置と、第２の画像データ２２の光３５２が映り込む位置（画像上の座標）は異なる。

【0027】

次に、画像処理部１５が、記憶部１４に記憶されたデータキューブから第１の画像データと第２の画像データを取り出し、これら第１の画像データと第２の画像データを用いて検出用画像を作成する（ステップＳ２）。画像処理部１５により作成された検出用画像は、記憶部１６に記憶される。

【0028】

なお、分光カメラ１３がデータキューブを取得した後、データキューブから取り出された第１の画像データと第２の画像データが記憶部１４に記憶されてもよい。この場合、ステップＳ２において、記憶部１４に記憶された第１の画像データと第２の画像データが用いられる。

【0029】

ステップＳ２における検出用画像の作成は、第１の画像データ２１と第２の画像データ２２を用いた画像合成（加算合成、減算合成など）により行われる。具体的には、例えば、第１の画像データ２１と第２の画像データ２２の減算合成により差分を抽出し、光３５１と光３５２が抽出された（光３５１と光３５２の輝度が選択的に高められた）差分画像データを作成し、第１の画像データ２１と第２の画像データ２２の加算合成により、第１の画像データ２１と第２の画像データ２２の情報が加算された（光３５１と光３５２の両方を含む）加算画像データを作成し、さらに加算画像データに差分画像データを減算合成して、光３５１と光３５２が除去又はほとんど除去された検出用画像を取得する。なお、検出用画像の作成のための第１の画像データ２１と第２の画像データ２２の合成方法は特に限定されず、既知の種々の方法を用いることができる。

【0030】

ステップＳ２における検出用画像の作成に用いられる第１の画像データ２１と第２の画像データ２２は、分光カメラ１３により同時に取得されたものであるため、撮影時に乗員３３が動いていた場合や、分光カメラ１３が揺れていた場合であっても、タイムラグによる第１の画像データ２１と第２の画像データ２２の画像のずれは生じない。このため、撮影時に乗員３３が動いていた場合や、分光カメラ１３が揺れていた場合であっても、鮮明な検出用画像を作成することができる。

【0031】

次に、画像解析部１７が、記憶部１６に記憶された検出用画像を解析して、乗員３３の顔の向き、視線、開眼度などの判定用情報を検出する（ステップＳ３）。このとき、ステップＳ２において光３５１と光３５２が検出用画像から除去又はほとんど除去されているため、光３５１と光３５２が映り込んでいた部分の情報（乗員３３の目の状態など）を精度よく検出することができる。また、撮影時に乗員３３が動いていた場合や、分光カメラ１３が揺れていた場合であっても、鮮明な検出用画像から判定用情報を精度よく検出することができる。

【0032】

次に、状態判定部１８が、画像解析部１７が検出した判定用情報に基づいて乗員３３の状態を判定する（ステップＳ４）。例えば、乗員３３の顔の向きや視線が正面を向いていない場合にはわき見をしていると判定し、開眼度が低い場合は眠気を催していると判定する。

【0033】

次に、警告部１９が、状態判定部１８の判定した乗員３３の状態に応じて、乗員３３に対して警告を発する（ステップＳ５）。例えば、状態判定部１８により、わき見をしていると判定された場合は、わき見をせずに運転することを音声により警告し、眠気を催していると判定された場合は、音や光による覚醒を促すような警告を発する。

【0034】

上記では、撮影装置１を備えた乗員モニタリングシステム１００を用いて、自動車の車両室内の運転者のモニタリングを実施する場合について説明したが、モニタリングの対象は運転者以外の乗員であってもよく、また、自動車以外の乗物、例えば電車、飛行機などの乗員であってもよい。運転者以外の乗員をモニタリングする場合、例えば、乗員の体調異常などの状態を判定することができる。

【0035】

図７は、バス車内の乗員をモニタリングする様子を示す模式図である（第１の光源１１と第２の光源１２の図示は省略する）。図７に示される例では、バスの天井に設置された撮影装置１の分光カメラ１３により、座席４２に座った複数の乗員３３ａ～３３ｅをモニタリングする。

【0036】

このような場合、例えば、乗員の体調異常や異常行動などの状態を判定することができる。また、分光カメラ１３を用いているため、外光や車内照明による影響を低減し、朝や夜間での状態検知精度を向上させることができる。さらに、第１の光源１１と第２の光源１２として近赤外光源を用いることにより、窓ガラス４１への乗員３３ａ～３３ｅの映り込みを低減し、誤検知を抑えることができる。

【0037】

（実施の形態の効果）
上記本発明の実施の形態によれば、第１の画像データ２１と第２の画像データ２２を分光カメラ１３により同時に取得することにより、撮影時に乗員３３が動いていた場合や、分光カメラ１３が揺れていた場合であっても、鮮明な検出用画像を作成することができる。これにより、乗員３３の顔の向き、視線、開眼度などの判定用情報を精度よく検出し、乗員３３の状態を精度よく判定することができる。このため、例えば、運転者のわき見、居眠りなどを抑制や、自動運転レベル３～４の運転権限移譲における安定的な状態判定（例えば、運転者への権限移譲時に運転可能な状態であるかの判定）に非常に有用である。

【0038】

以上、本発明の実施の形態を説明したが、本発明は、上記の実施の形態に限定されず、発明の主旨を逸脱しない範囲内において種々変形実施が可能である。また、発明の主旨を逸脱しない範囲内において上記実施の形態の構成要素を任意に組み合わせることができる。

【0039】

また、上記の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない点に留意すべきである。

【符号の説明】

【0040】

１ 撮影装置
１０ 制御部
１１ 第１の光源
１２ 第２の光源
１３ 分光カメラ
１４、１６ 記憶部
１５ 画像処理部
１７ 画像解析部
１８ 状態判定部
１９ 警告部
１００ 乗員モニタリングシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】