(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-29
(45)【発行日】2023-12-07
(54)【発明の名称】ドライバ状態推定装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20231130BHJP
B60W 40/08 20120101ALI20231130BHJP
B60W 50/12 20120101ALI20231130BHJP
G06T 7/00 20170101ALI20231130BHJP
【FI】
G08G1/16 F
B60W40/08
B60W50/12
G06T7/00 660A
(21)【出願番号】P 2020044011
(22)【出願日】2020-03-13
【審査請求日】2022-09-21
(73)【特許権者】
【識別番号】000003137
【氏名又は名称】マツダ株式会社
(74)【代理人】
【識別番号】100080768
【氏名又は名称】村田 実
(74)【代理人】
【識別番号】100166327
【氏名又は名称】舟瀬 芳孝
(74)【代理人】
【識別番号】100106644
【氏名又は名称】戸塚 清貴
(72)【発明者】
【氏名】岩下 洋平
(72)【発明者】
【氏名】桑原 潤一郎
(72)【発明者】
【氏名】福井 亜希子
(72)【発明者】
【氏名】青木 壮椰
(72)【発明者】
【氏名】岩瀬 耕二
【審査官】北村 亮
(56)【参考文献】
【文献】特開2020-006780(JP,A)
【文献】特開2010-097379(JP,A)
【文献】特開2005-259049(JP,A)
【文献】特開2011-215942(JP,A)
【文献】特開2019-053655(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
B60W 10/00 - 10/30
B60W 30/00 - 60/00
G06T 7/00 - 7/90
G06V 10/00 - 20/90
B60R 25/00 - 99/00
(57)【特許請求の範囲】
【請求項1】
運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段と、
前記カメラによって取得された画像に基づいて、ドライバ顔面の特徴部位の変化量を決定する変化量決定手段と、
前記変化量決定手段により決定された変化量があらかじめ設定された所定の下限値よりも小さいときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
を備え、
前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
ことを特徴とするドライバ状態推定装置。
【請求項2】
請求項1において、
前記禁止手段は、前記変化量決定手段により決定された変化量があらかじめ設定された所定の上限値よりも大きいときに、前記推定手段によるドライバ状態の推定を禁止する、ことを特徴とするドライバ状態推定装置。
【請求項3】
請求項2において、
前記下限値と前記上限値とをデータベースとして記憶している記憶手段をさらに備えている、ことを特徴とするドライバ状態推定装置。
【請求項4】
請求項1ないし
請求項3のいずれか1項において、
前記特徴部位として、眉、眼、鼻、口のうち任意の複数箇所が設定され、
前記カメラによって取得された画像において、前記複数箇所の前記特徴部位が全て検出できないときは、前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止される、
ことを特徴とするドライバ状態推定装置。
【請求項5】
請求項1ないし
請求項4のいずれか1項において、
前記カメラが赤外線式カメラとされている、ことを特徴とするドライバ状態推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ドライバ状態推定装置に関するものである。
【背景技術】
【0002】
車両においては、カメラによってドライバの顔面を含む車室内の画像を取得して、取得された画像に基づいてドライバの状態を推定するものがある。そして、推定されたドライバ状態に応じた運転支援を行うこともある。特に、推定されたドライバ状態が安全運転を阻害するような異常状態であると推定されたときに、安全確保のための運転支援を行うことが考えられている。例えば、ドライバが脇見をしていると推定されたときには警報を行ったり、ドライバが居眠りしていると推定されたときには、車両を自動車的に停止させたり、所定の目標地点に向けて自動運転する等のことが考えられている。
【0003】
一方、ドライバの中には、精巧なお面(あるいは顔面を示す写真)で顔面を覆って、本
人とは異なる他人に見せかけるなりすましを行うことが考えられる。なりすましが行われた状態では、本人(ドライバ)の状態を正しく推定することが困難である。特許文献2、特許文献2には、人間の皮膚特有の周波数の反射光を検出することにより、上記なりすましを見破る技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2019-139433号公報
【文献】特許第6213663号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
前記特許文献1、特許文献2のものでは、人間の皮膚特有の周波数の反射光を利用することから、高額なカメラが必要になってしまい、大量生産を行う車両に用いることがコスト的に難しいものとなる。また、車室内の光の変化は大きいが、上記特許文献に記載の技術のものでは光の変化に弱いことから、この点においても車両用として採択することが難しいものとなる。
【0006】
ところで、お面をかぶって他人になりすます以外に、お面を利用していたずらやシステムの限界を試す等のことが考えられる。具体的には、異常状態を示すような表情をしたお面をかぶって運転することが考えられる。この場合、お面が示す表情に基づいてドライバ状態が異常状態であると判断されて、不必要に運転支援を行ってしまうことおそれが生じる。
【0007】
一方、ドライバが異常であると推定されたことによって実行される運転支援の内容によっては、やむを得ず実行するものの、極力実行を避けたいものもある。例えば、車両を自動的に停止させる運転支援を実行する場合、そのまま走行を継続させるよりは安全ではあるが、停止位置が高速道路であるときは、たとえ路肩に停止させたとしても危険性が高いものとなる。また、悪意のある者にあっては、実行された運転支援では支援不十分であるとか不具合がある等のクレームをつけるために、不必要に(故意に)運転支援を実行させる可能性も考えられる。
【0008】
上述のように、カメラによって取得されるドライバの画像に基づいてドライバ状態を推定する場合、カメラで取得された画像が、ドライバ本人の顔面状態を示す真性な顔面なのか、あるいはお面の表情が示す人工的な顔面なのかを判定することが強く望まれるものである。特に、安価なシステムとしつつ、しかも光の変化が大きい車室内の画像の取得であることを考慮したものとすることが望まれるものである。
【0009】
本発明は以上のような事情を勘案してなされたもので、その目的は、安価なシステムでもって、お面の表情が示す人工的な顔面であるのか否かを容易に判定できるようにしたドライバ状態推定装置を提供することにある。
【課題を解決するための手段】
【0010】
前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、請求項1に記載のように、
運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段と、
前記カメラによって取得された画像に基づいて、ドライバ顔面の特徴部位の変化量を決定する変化量決定手段と、
前記変化量決定手段により決定された変化量があらかじめ設定された所定の下限値よりも小さいときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
を備え、
前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
ようにしてある。
【0011】
上記解決手法によれば、特徴部位の変化量をみることによって、お面によって作られた人工的な表情であるか否かを判断することができる。すなわち、お面は、通常は無表情の場合が一般的なことから、特徴部位の動きの変化量が実質的に0あるいは殆ど生じないものであり、したがって特徴部位の変化量が下限値よりも小さいときは、人工的な表情であると判定して、この人工的な表情に基づいてドライバ状態を推定してしまう事態が防止される。また、カメラとしては、車両用として広く使用されている一般的なカメラを用いることができ、全体として安価にシステムを構築することができる。そして、人工的に作られた表情に起因して、不必要に運転支援を行ってしまう事態を防止することができる。
【0012】
上記解決手法を前提とした好ましい態様は、請求項2以下に記載のとおりである。すなわち、
前記禁止手段は、前記変化量決定手段により決定された変化量があらかじめ設定された所定の上限値よりも大きいときに、前記推定手段によるドライバ状態の推定を禁止する、ようにしてある(請求項2対応)。この場合、特徴部位の一部に人工的な動きをもたせるようにしたお面をかぶっている場合に、このお面が示す表情に基づいてドライバ状態を推定してしまう事態を防止することができる。すなわち、人工的に作られる動きは自然な動きに比して強調された大きな動きとなりやすいことから、特徴部位の変化量が上限値よりも大きいときは人工的に作られて動きであると判断することができる。
【0013】
前記下限値と前記上限値とをデータベースとして記憶している記憶手段をさらに備えている、ようにしてある(請求項3対応)。この場合、顔面における特徴部位の自然な動きに基づいて作成されたデータベースを利用して、下限値と上限値とを適切な値として設定することができる。
【0014】
【0015】
前記特徴部位として、眉、眼、鼻、口のうち任意の複数箇所が設定され、
前記カメラによって取得された画像において、前記複数箇所の前記特徴部位が全て検出できないときは、前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止される、
ようにしてある(請求項4対応)。この場合、顔面の特徴部位として好ましい部位が提供される。そして、複数の特徴部位の全てが検出できないということは、各特徴部位を検出できないようなお面をかぶっていると判断でき、この場合もドライバ状態の推定が禁止される。
【0016】
前記カメラが赤外線式カメラとされている、ようにしてある(請求項5対応)。この場合、昼夜を問わず鮮明な画像を取得することができることから、画像に基づいてドライバ状態を精度よく推定する上で好ましいものとなる。
【発明の効果】
【0017】
本発明によれば、安価なシステムでもって、お面の表情が示す人工的な顔面であるのか否かを容易に判定することができる。
【図面の簡単な説明】
【0018】
【
図1】本発明が適用された車両のインストルメントパネル付近を後方から見た図。
【
図2】運転を行っているドライバを側方から見た図。
【
図3】カメラ側から運転を行っているドライバを見た図。
【
図5】アイマスクによってドライバ顔面のうち眉と眼が隠された状態を示す図。
【
図6】口元マスクによってドライバ顔面のうち鼻の下部から下方部分が隠された状態を示す図。
【
図7】フェイスマスクによって、ドライバ顔面のほぼ全体が隠された状態を示す図。
【発明を実施するための形態】
【0019】
図1は、本発明が適用された車両Vにおける車室内前部の構造を示している。図中、1はインストルメントパネル、2はフロントウインドガラス、3はステアリングハンドル、4は運転席シート、5は助手席シート、6はシフトノブ、7はコマンダスイッチ、8はAピラー、9サイドウインドガラスである。
【0020】
インストルメントパネル1の上面には、車幅方向略中央部において、ディスプレイ10が固定設置されている。このディスプレイ10は、タッチ操作式とされて、各種情報が選択的に表示される。ディスプレイ10での表示内容の変更は、コマンダスイッチ7を操作することによっても行うことが可能となっている。ディスプレイ10への表示内容としては、例えば、ナビゲーション装置用の地図表示、テレビ画面表示、車両Vに搭載されている各種機器類の設定用の表示等がある。
【0021】
ディスプレイ10の外周縁部を構成する枠体が、符号10aで示される。この枠体10aの上部位置に、カメラS1が設置されている。カメラS1は、実施形態では赤外線式とされて、昼夜を問わず鮮明な画像を取得する(撮像する)ことが可能となっている。
【0022】
カメラ10による撮影範囲は、運転席シート4に着座されたドライバの顔面を含む所定範囲となるように設定されている。
図2には、運転席4に着座されたドライバDが示される。カメラS1の上下方向の撮影角度が、
図2中符号θで示される。この
図2において、運転席シート4のうち、シートクッションが符号4Aで示され、シートバックが符号4Bで示され、ヘッドレストが符号4Cで示される。
【0023】
図3は、運転席シート4にドライバDが着座している状況を前方から見た状況が示される。ドライバDは、Bピラー11から延びるシートベルト12を装着した状態となっている。前記カメラS1による撮影範囲Kが、図中一点鎖線で囲んだ方形の範囲とされている。撮影範囲Kには、ドライバDの顔面全体、運転席シート4のうちシートバック4Bの上部から上方部分、ステアリングハンドル3の上部、Bピラー11、シートベルト12等が含まれる。
【0024】
図3においては、ドライバDは、お面(マスク)をかぶっていない状態であり、その顔面全体が露出している。この場合、カメラS1による取得される画像は、ドライバDの自然な顔面全体を撮像した真性なものとなる。
【0025】
ドライバ状態の推定に際して用いられる顔面の特徴部位として、実施形態では、眉(その付近を含む)、眼(特に瞳で、その付近を含む)、鼻(その付近を含む)、および口(その付近を含む)としてある。そして、上記複数の特徴部位のうち、少なくとも1カ所の状態(現在の状態やその変化量)に基づいて、ドライバ状態を推定するようにしてある。
【0026】
図5~
図7に、ドライバDの顔面の一部あるいは全部がお面(マスク)によって隠された状態が示される。
図5は、アイマスクM1によって、ドライバ顔面のうち眉(その付近を含む)と眼(その付近を含む)が覆われた状態が示される。この場合、眉や眼の状態に基づくドライバ状態の推定は困難であるが、露出している鼻や口の状態(現在の状態およびその変化量)に基づいてドライバ状態を推定することが可能である。
【0027】
図6は、口元マスクM2によって、ドライバ顔面のうち鼻の下部から下方部分が覆われた状態が示される。この場合、露出している眉や眼、鼻の上部の状態(現在の状態およびその変化量)に基づいてドライバ状態を推定することが可能である。なお、口元マスクM2をすることは、いたずらではなく、一般的に行われていることである。
【0028】
図7は、フェイスマスク(お面)M3によって、ドライバ顔面のほぼ全体を覆った状態が示される。運転の際に、顔面全体を覆うフェイスマスクM3を用いるのは通常では考えられず、いたずらや悪意をもった状態と考えられる。この場合、複数の特徴部位が全てフェイスマスクM3によって隠されていることから、ドライバ状態の推定は禁止される。
【0029】
一方、フェイスマスクM3が、例えば立体的であり、しかも異常状態を示すような表情を有するものが用いられることが考えられる。この場合、カメラS1によって取得された画像において、特徴部位が存在すると判断されて、この特徴部位の状態からドライバ状態が異常状態であると誤って判断されてしまう可能性が高いものとなる。このため、本発明では、このようなフェイスマスクM3を用いているのか否かを判断して、フェイスマスクM3が示す表情に基づいてドライバ状態を推定することを禁止するようにしてある。
【0030】
図4は、ドライバ状態の推定と、推定されたドライバ状態に応じて運転支援を行うための制御系統例が示される。図中、Uは、マイクロコンピュータを利用して構成されたコントローラ(制御ユニット)で、制御手段としてのCPUの他、記憶手段としてのROM、RAMや、インターフェイス等を備えている。このコントローラUには、カメラS1の他、各種機器類S2~S4からの信号が入力される。S2は、車外を撮影するためのカメラであり、特に自動運転等を行うために車両Vの前方を撮影するものとなっている。S3は、車両前方の障害物までの距離を検出するレーダである。S4は、ナビゲーション装置であり、ディスプレイ10への地図表示や、GPSによって車両Vの現在位置を取得する。
【0031】
コントローラUによって、各種機器類S11~S16が制御される。S11は、ブレーキ装置であり、自動ブレーキを行うためのものである。S12はエンジンのスロットルであり、車速を制御するためのものである(燃料噴射弁を制御してもよい)。S13はステアリングハンドル4であり、現在走行している車線を維持させたり、車線変更を含む自動運転を行うためのものである。 S14は、スピーカであり、ドライバDに所定の警報を音声によって行うためのものである。S15は、ハザードランプであり、ドライバDが実質的に運転不可能であると推定されたときに、周囲の他車両等に対して注意を促すためのものである。S16は、無線通信器であり、ドライバDが実質的に運転不可能であると推定されたときに、無線によって運転管理を行う管理センタや病院あるいは警察へ緊急連絡するためのものである。連絡内容としては、ドライバDに重大な異常が生じているという情報、車両Vの現在位置情報等がある。
【0032】
コントローラUは、カメラS1によって取得された画像が示す顔面の表情状態が、お面が示す人工的な表情なのか、あるいはお面をしていない真性な表情なのかを判断する。このため、前述した各特徴部位について、その変化量についてのデータベースをあらかじめ作成して記憶している(ROMへの記憶)。すなわち、お面をしていないときのドライバDの各特徴部位での変化量(所定の単位時間において取得される変化量)は、所定範囲の大きさとなる(顔面の自然な動きから導き出される変化量の範囲)。なお、データベースは、各特徴部位毎に設定されているものである(各特徴部位毎に、個別に所定範囲が記憶されている)。
【0033】
上記所定範囲から外れた変化量であるときは、お面によって作り出された人工的な表情であると判断される。すなわち、特徴部位の変化量が、上記所定範囲の下限値よりも小さいときや、該所定範囲の上限値よりも大きいときは、お面によって作り出された人工的な顔面であると判断される。
【0034】
動きのないお面(フェイスマスクM3)を用いたときは、特徴部位の変化量が実質的に生じないものである。このため、特徴部位の変化量が下限値よりも小さいときは、お面が作り出している人工的な表情であると判断される。一方、特徴部位の一部(例えば口の部位)に人工的な動きをとり得るようにしたお面の場合には、特徴部位の変化量が不自然に(相当に)大きなものとなる場合が多い。このため、特徴部位の変化量が前記上限値よりも大きいときは、お面が作り出している人工的な表情であると判断される。
【0035】
次に、
図8のフローチャートを参照しつつ、コントローラUによる制御内容について説明する。なお、以下の説明でQはステップを示す。
【0036】
まず、
図8のQ1において、カメラS1によって画像が取得される。カメラS1が赤外線式であることから、昼夜を問わず鮮明が画像を取得することが可能である。次いで、Q2において、取得された画像中から、顔面の特徴部位が検出(抽出)される。
【0037】
Q3においては、画像から、全ての特徴部位が未検出であるか否かが判別される。このQ3の判別でYESのときは、動きのないお面をかぶっているというように判断されて、Q4に移行される。Q4では、ドライバ状態の推定が禁止されて、これに伴ってドライバ状態に応じた運転支援(警告等)も禁止される。
【0038】
前記Q3の判別でNOのときは、Q5において、検出された特徴部位の動きが、所定時間についてモニタリングされる(複数画像から特徴部位の動きを示す変化量を算出)。この後、Q6において、Q5で取得された特徴部位の変化量(動き状態)が、前述したデータベースと照合される。
【0039】
Q6の後、Q7において、特徴部位の変化量が、データベースに記憶されている所定範囲内であるか否かが判別される。上記Q7の判別でNOのとき、つまり特徴部位の変化量が、データベースに記憶されている上記所定範囲の下限値よりも小さいか、あるいは該所定範囲の上限値よりも大きいときは、Q8に移行される。Q8は、Q4に対応するもので、ドライバ状態の推定が禁止されて、これに伴ってドライバ状態に応じた運転支援(警告等)も禁止される。
【0040】
前記Q7の判別でYESのときは、そのまま終了される。このQ7の判別でYESのときは、カメラS1によって取得された画像が、ドライバDの真性な表情を示すものであると判断されたときであり、このときは、特徴部位の動きに応じてドライバ状態が推定される。推定されたドライバ状態になんらかの異常があると判断されたときは、異常状態に応じた運転支援が適宜行われる。
【0041】
図8の制御において、Q7からQ8へ移行されるのは、特徴部位の全てが所定範囲外のときである。つまり、複数の特徴部位のうち少なくとも1カ所(好ましくは2カ所以上)についてQ7の判別でYESのときは、Q8へ移行されることなく、Q7の判別でYESとなった特徴部位に基づいてドライバ状態が推定される。
【0042】
上述した
図8に示す制御は、実施形態では、イグニッションスイッチがONとされる毎に実行され、またイグニッションスイッチがONとされた後は定期的に(所定時間経過毎に)実行され、さらに、カメラS1で取得される画像に乱れが生じた毎に実行される。なお、制御の実行条件は、適宜設定できる。
【0043】
ドライバ状態に応じた運転支援の例について、簡単に説明する。まず、コントローラU(の記憶手段)には、あらかじめ、ドライバの多くの表情とそのときのドライバ状態とが関連付けられたデータベースが記憶されている。例えば、顔の向き、視線方向、瞳の状態、眉の動き、唇やその周辺の動き、鼻の動き等について、例えば「漫然としている」、「脇見をしている」、「眠気をもよおしている」、「居眠りしている」、「急病状態である」等のドライバ状態と関連づけられて記憶されている。
【0044】
異常状態として、例えば、軽度、中度、重度の3段回に分けて判定される。軽度の異常状態は、例えば、注意散漫であるとか、眠気をもよおしているとか、脇見時間が長いとかで、この場合は、スピーカS14からの音声によって注意警報が行われる。
【0045】
異常状態が中度であるときは、例えば居眠りの可能性があるときである。このときは、各種機器類S11~S13を制御して、徐々に所定速度まで減速を行うと共に車線維持を行い、さらにスピーカS14から大きな音で注意を行う(覚醒させる)。
【0046】
異常状態が重度であるときは、もはや運転続行は不可能なときと判断される状態であり、例えば、ドライバDが、完全に居眠り状態になっているときの他、前倒れあるいは横倒れになってしまうとかの急病発生状態のときである。このときは、ハザードランプS15を作動させた状態で、路肩に向けて自動走行させつつ、車両Vをすみやかに停止させる。そして、無線通信によって、管理センタや病院あるいは警察に向けて、ドライバDに重大な異常が生じていることと、車両Vの現在位置を報知する。この場合、車両のすみやかな停止に代えて、自動運転によって最寄りの病院へ走行させることもできる。
【0047】
前述したドライバ状態(異常状態)とそれに応じて運転支援の内容とは、あくまで一例あり、ドライバ状態に応じた運転支援の内容は適宜のものを選択できる。
【0048】
以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。顔面の特徴部位としては、頬や額等適宜の部位を含めることもできる。ドライバ状態の推定に際しては、例えば眉、眼、鼻、口の複数箇所のうち任意の1カ所に基づいて行うことも可能ではあるが、任意の2カ所以上の特徴部位に基づいて行うのが、精度よくドライバ状態を推定する上で好ましいものとなる。
【0049】
カメラ20によって所得される画像は静止画でも動画でもよい。静止画の場合は、連続した複数の画像からドライバ状態を判定するのが好ましい。カメラS1としては、赤外線式に限らず、可視光で撮像するデジタルカメラ等、適宜のものを用いることができる。
【0050】
推定されたドライバ状態に応じた運転支援は、安全運転を行うものに限らず、例えば運転技量に関するものに設定する等、適宜の内容を採択することができる。例えば、ドライバ状態が「退屈」であるときに、ステアリングハンドルの応答特性を高めたり、エンジンの出力特性を敏感にする等の運転支援によって、「楽しい」と感じる方向の運転支援を行うことができる。逆に、駐車時にドライバ状態が、「不安」であるときは、例えばディスプレイ10に駐車支援用の周囲状況を示す画像を提供したり、ステアリングハンドルを自動的に操作する運転支援を行う等のこともできる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗
黙的に含むものである。
【産業上の利用可能性】
【0051】
本発明は、カメラによって取得される画像に基づいてドライバ状態を推定するようにした車両に適用して好適である。
【符号の説明】
【0052】
V:車両
D:ドライバ
S1:カメラ
K:撮影範囲
1:インストルメントパネル
2:フロントウインドガラス
3:ステアリングハンドル
4:運転席シート
4A:シートクッション
4B:シートバック
4C:ヘッドレスト
10:ディスプレイ
10a:枠体
11:Bピラー
12:シートベルト