特許 7441417 ドライバ状態推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-21

(45)【発行日】2024-03-01

(54)【発明の名称】ドライバ状態推定装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240222BHJP

   B60W 40/08 20120101ALI20240222BHJP

   B60W 50/12 20120101ALI20240222BHJP

   G06T 7/00 20170101ALI20240222BHJP

【ＦＩ】

G08G1/16 F

B60W40/08

B60W50/12

G06T7/00 660A

【請求項の数】 5

(21)【出願番号】P 2020044010

(22)【出願日】2020-03-13

(65)【公開番号】P2021144578

(43)【公開日】2021-09-24

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100080768

【弁理士】

【氏名又は名称】村田 実

(74)【代理人】

【識別番号】100166327

【弁理士】

【氏名又は名称】舟瀬 芳孝

(74)【代理人】

【識別番号】100106644

【弁理士】

【氏名又は名称】戸塚 清貴

(72)【発明者】

【氏名】岩下 洋平

(72)【発明者】

【氏名】桑原 潤一郎

(72)【発明者】

【氏名】福井 亜希子

(72)【発明者】

【氏名】青木 壮椰

(72)【発明者】

【氏名】岩瀬 耕二

(72)【発明者】

【氏名】丸子 敬生

【審査官】北村 亮

(56)【参考文献】

【文献】特開２０２０－００６７８０（ＪＰ，Ａ）

【文献】特開２０１０－０９７３７９（ＪＰ，Ａ）

【文献】特開２００５－２５９０４９（ＪＰ，Ａ）

【文献】特開平１１－３３９０４８（ＪＰ，Ａ）

【文献】特開２００６－０９９６１４（ＪＰ，Ａ）

【文献】特開２０２０－０８１７５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ４０／１６

Ｂ６０Ｒ ２５／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
車室内のうち前記カメラの撮影範囲でかつ運転席シート、車室内壁面、ステアリングハンドル及びシートベルトの少なくとも１つに設けられ、真性な画像であることを示すための識別タグと、
前記カメラによって取得された画像中における前記識別タグの画像の有無に応じて、該取得された画像が真性な画像か非真性な画像であるかを判定する判定手段と、
前記判定手段によって画像が非真性であると判定されたときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段と、
を備え、
前記禁止手段によってドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
ことを特徴とするドライバ状態推定装置。

【請求項2】

請求項１において、
前記識別タグが互いに離間した位置において複数個設けられている、ことを特徴とするとドライバ状態推定装置。

【請求項3】

請求項２において、
前記複数の識別タグが、運転席に着座しているドライバの顔面を挟んで左右方向に隔置されている、ことを特徴とするドライバ状態推定装置。

【請求項4】

請求項２または請求項３において、
前記判定手段は、前記カメラによって取得された画像中に前記識別タグの画像が少なくとも２以上含まれていないときに、該取得された画像が非真性な画像であると判定する、ことを特徴とするドライバ状態推定装置。

【請求項5】

請求項１ないし請求項４のいずれか１項において、
前記カメラが赤外線式カメラとされ、
前記識別タグが、赤外線を反射する反射部材によって形成されている、
ことを特徴とするドライバ状態推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ドライバ状態推定装置に関するものである。

【背景技術】

【0002】

車両においては、カメラによってドライバの顔面を含む車室内の画像を取得して、取得された画像に基づいてドライバの状態を推定するものがある。そして、推定されたドライバ状態に応じた運転支援を行うこともある。特に、推定されたドライバ状態が安全運転を阻害するような異常状態であると推定されたときに、安全確保のための運転支援を行うことが考えられている。例えば、ドライバが脇見をしていると推定されたときには警報を行ったり、ドライバが居眠りしていると推定されたときには、車両を自動車的に停止させたり、所定の目標地点に向けて自動運転する等のことが考えられている。

【0003】

一方、ドライバの中には、精巧なお面（あるいは顔面を示す写真）で顔面を覆って、本人とは異なる他人に見せかけるなりすましを行うことが考えられる。なりすましが行われた状態では、本人（ドライバ）の状態を正しく推定することが困難である。特許文献２、特許文献２には、人間の皮膚特有の周波数の反射光を検出することにより、上記なりすましを見破る技術が開示されている。

【0004】

上記特許文献１、特許文献２のものでは、人間の皮膚特有の周波数の反射光を利用することから、高額なカメラが必要になってしまい、大量生産を行う車両に用いることがコスト的に難しいものとなる。また、車室内の光の変化は大きいが、上記特許文献に記載の技術のものでは光の変化に弱いことから、この点においても車両用として採択することが難しいものとなる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１３９４３３号公報

【文献】特許第６２１３６６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、いたずらやシステムの限界を試す等のために、カメラとドライバとの間に偽画像を撮像させるための部材を配設するという手法でもって、運転席に着座しているドライバとは別人の顔面や人工的な顔面をカメラに撮像させることが考えられる。具体的には、カメラとドライバとの間に、カメラに向けて反射させる第１の鏡を配設して、異常状態の表情をした助手席乗員や後席乗員の顔面を他の鏡を用いて上記第１の鏡に映し出すことにより、カメラに助手席乗員や後席乗員の顔面を撮像させることが考えられる。また、異常表情とされた顔面を表示したボードを、ドライバの前方に設置する等のことが考えられる。

【0007】

一方、ドライバが異常であると推定されたことによって実行される運転支援の内容によっては、やむを得ず実行するものの、極力実行を避けたいものもある。例えば、車両を自動的に停止させる運転支援を実行する場合、そのまま走行を継続させるよりは安全ではあるが、停止位置が高速道路であるときは、たとえ路肩に停止させたとしても危険性が高いものとなる。また、悪意のある者にあっては、実行された運転支援では支援不十分であるとか不具合がある等のクレームをつけるために、不必要に（故意に）運転支援を実行させる可能性も考えられる。

【0008】

上述のように、カメラによって取得されるドライバの画像に基づいてドライバ状態を推定する場合、カメラで取得された画像が、実際に運転を行っているドライバ本人を示す真性な画像なのか、別人あるいは人工的な偽の画像なのかを判定することが強く望まれるものである。特に、安価なシステムとしつつ、しかも光の変化が大きい車室内の画像の取得であることを考慮したものとすることが望まれるものである。

【0009】

本発明は以上のような事情を勘案してなされたもので、その目的は、カメラとドライバとの間に偽画像を撮影させるための部材が配設された場合に、安価なシステムでもって、カメラによって取得された画像が実際に運転を行っている本人が撮影されている真性なものであるか否かを容易に判定できるようにしたドライバ状態推定装置を提供することにある。

【課題を解決するための手段】

【0010】

前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、請求項１に記載のように、
運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
車室内のうち前記カメラの撮影範囲でかつ運転席シート、車室内壁面、ステアリングハンドル及びシートベルトの少なくとも１つに設けられ、真性な画像であることを示すための識別タグと、
前記カメラによって取得された画像中における前記識別タグの画像の有無に応じて、該取得された画像が真性な画像か非真性な画像であるかを判定する判定手段と、
前記判定手段によって画像が非真性であると判定されたときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段と、
を備え、
前記禁止手段によってドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
ようにしてある。

【0011】

上記解決手法によれば、カメラとドライバとの間に、偽画像を撮像させるための偽画像取得用部材が配設されたときは、偽画像取得用部材によって識別タグが隠されて、カメラによって識別タグが撮像されないことになる。したがって、カメラによって取得された画像中において、識別タグに相当する画像（画素）の存在有無に応じて、ドライバ本人を撮像した真性な画像であるのか否かを容易に判定することができる。そして、非真性な画像（偽画像）であると判定されたときは、推定手段によるドライバ状態の推定が禁止されるので、偽画像に基づいてドライバ状態を誤って推定してしまう事態が防止される。以上に加えて、カメラとしては、車両用として広く使用されている一般的なカメラを用いることができ、全体として安価にシステムを構築することができる。また、識別タグの撮像を行うことは、車室内の光の大きな変化にも十分に対応して容易かつ確実に行うことができる。

【0012】

以上に加えて、本発明にあっては、偽画像に基づいて不必要に運転支援を行ってしまう事態を防止することができる。

【0013】

特に、前記識別タグが運転席シートの表面に設けられている場合、運転席シートはドライバの直近に位置することから、偽画像取得用部材がカメラとドライバとの間に配設されたときは、この偽画像取得用部材によって識別タグが隠される可能性が極めて高くなり、取得された画像が真性であるか否かを精度よく判定する上で極めて好ましいものとなる。

【0014】

また、前記識別タグが車室内壁面に設けられている場合、車室内壁面の位置は不変なので、これに設けられた識別タグの位置も不変となる。したがって、取得された画像中における識別タグに相当する画像（画素）の位置が一定位置となって、画像中での識別タグの検出を容易かつ精度よく行えるようにする上で好ましいものとなる。

【0015】

前記解決手法を前提とした好ましい態様は、請求項２以下に記載のとおりである。すなわち、
前記識別タグが互いに離間した位置において複数個設けられている、ようにしてある（請求項２対応）。この場合、ドライバの姿勢状態いかんによっては、ドライバ自身によって識別タグの一部が隠れてしまう場合もあるが、残りの識別タグを利用して、取得された画像が真性であるか否かの判定用として用いることができ、判定機会を十分に確保する等の上で好ましいものとなる。

【0016】

前記複数の識別タグが、運転席に着座しているドライバの顔面を挟んで左右方向に隔置されている、ようにしてある（請求項３対応）。この場合、ドライバによっては、上半身を左右いずれか一方に傾けた状態で運転することもあるが、このような場合にも請求項５に対応した効果を得ることができる。

【0017】

前記判定手段は、前記カメラによって取得された画像中に前記識別タグの画像が少なくとも２以上含まれていないときに、該取得された画像が非真性な画像であると判定する、ようにしてある（請求項４対応）。この場合、取得された画像が非真性な偽画像であることをより精度よく検出する上で好ましいものとなる。

【0018】

前記カメラが赤外線式カメラとされ、
前記識別タグが、赤外線を反射する反射部材によって形成されている、
ようにしてある（請求項５対応）。この場合、カメラが赤外線式であることから、昼夜を問わず鮮明が画像を取得することができる。また、識別タグが反射部材によって形成されていることから、取得された画像中において、識別タグに相当する位置の輝度がその周囲よりも高くなっていることから、取得された画像中における識別タグ（に相当する画像）の有無を精度よく検出する等の上で好ましいものとなる。

【発明の効果】

【0019】

本発明によれば、カメラとドライバとの間に偽画像を撮影させるための部材が配設された場合に、安価なシステムでもって、カメラによって取得された画像が実際に運転を行っている本人が撮影されている真性なものであるか否かを容易に判定できる。

【図面の簡単な説明】

【0020】

【図1】本発明が適用された車両のインストルメントパネル付近を後方から見た図。

【図2】運転を行っているドライバを側方から見た図。

【図3】カメラ側から運転を行っているドライバを見た図。

【図4】本発明の制御系統例を示す図。

【図5】本発明の制御例を示すフローチャート。

【発明を実施するための形態】

【0021】

図１は、本発明が適用された車両Ｖにおける車室内前部の構造を示している。図中、１はインストルメントパネル、２はフロントウインドガラス、３はステアリングハンドル、４は運転席シート、５は助手席シート、６はシフトノブ、７はコマンダスイッチ、８はＡピラー、９サイドウインドガラスである。

【0022】

インストルメントパネル１の上面には、車幅方向略中央部において、ディスプレイ１０が固定設置されている。このディスプレイ１０は、タッチ操作式とされて、各種情報が選択的に表示される。ディスプレイ１０での表示内容の変更は、コマンダスイッチ７を操作することによっても行うことが可能となっている。ディスプレイ１０への表示内容としては、例えば、ナビゲーション装置用の地図表示、テレビ画面表示、車両Ｖに搭載されている各種機器類の設定用の表示等がある。

【0023】

ディスプレイ１０の外周縁部を構成する枠体が、符号１０ａで示される。この枠体１０ａの上部位置に、カメラＳ１が設置されている。カメラＳ１は、実施形態では赤外線式とされて、昼夜を問わず鮮明な画像を取得する（撮像する）ことが可能となっている。

【0024】

カメラ１０による撮影範囲は、運転席シート４に着座されたドライバの顔面を含む所定範囲となるように設定されている。図２には、運転席４に着座されたドライバＤが示される。カメラＳ１の上下方向の撮影角度が、図２中符号θで示される。この図２において、運転席シート４のうち、シートクッションが符号４Ａで示され、シートバックが符号４Ｂで示され、ヘッドレストが符号４Ｃで示される。

【0025】

図３は、運転席シート４にドライバＤが着座している状況を前方から見た状況が示される。ドライバＤは、Ｂピラー１１から延びるシートベルト１２を装着した状態となっている。前記カメラＳ１による撮影範囲Ｋが、図中一点鎖線で囲んだ方形の範囲とされている。撮影範囲Ｋには、ドライバＤの顔面全体、運転席シート４のうちシートバック４Ｂの上部から上方部分、ステアリングハンドル３の上部、Ｂピラー１１、シートベルト１２等が含まれる。

【0026】

車両Ｖに装備された内装品のうち、カメラＳ１で撮影可能な撮影範囲Ｋ内には、識別タグα１～α５が複数箇所に分散して設置されている。図３では、識別タグα１～α５の設置箇所として数多く示してあるが、設置箇所としては１箇所のみ（例えばα１が設置された箇所のみ）あるいは任意の２以上の箇所（例えばα１が設置された箇所とα２が設置された箇所）を選択することができる。各箇所において設置される識別タグの個数は１個あるいは２個以上とすることができる。識別タグα１～α５は、カメラＳ１によって取得された画像が、真性なものであるのか、あるいは偽装されたものであるのかを識別するためのものである。

【0027】

各識別タグα１～α５の具体的な設置位置は、次のようになっている。まず、識別タグα１は、Ｂピラー１１の内面（インナパネル）に設置されていて、上下２カ所に設けられている。Ｂピラー１１の位置は不変なので、カメラＳ１で取得された画像中における識別タグα１の位置も不変となる（画像中における識別タグα１に相当する位置が一定）。

【0028】

識別タグα２は、シートバック４Ｂの前面のうち、左右上部の２カ所に設けられている。シートバック４Ｂの幅は、一般的にドライバＤの肩幅よりも大きいことから、シートバック４Ｂの左右上部位置はカメラＳ１によって撮影可能な範囲となる。ただし、ドライバＤによっては、左右方向に傾いた姿勢で運転して、左右一方の識別タグα２がドライバＤによって隠れてしまう事態を考慮して、識別タグα２は左右一対設けておくのが好ましい。

【0029】

識別タグα３は、ヘッドレスト４Ｃの前面のうち、左右下部の２箇所に設けられている。識別タグα３も、識別タグα２と同様に、左右一対設けておくのが好ましい。

【0030】

識別タグα４は、ステアリングハンドル３の前面のうち、周方向に間隔をあけて複数個設けられている（例えば３０度間隔で合計１２個）。撮影範囲Ｋに含まれるステアリングハンドル４は上部のみとなる一方、回転操作に応じて撮影範囲Ｋに含まれるステアリングハンドル４の周方向位置が変化される。ステアリングハンドル４の回転操作位置にかわらず、少なくとも１つの識別タグα４が撮影範囲Ｋに含まれるようにする設定とされる。識別タグα４を、ステアリングハンドル４の周方向全長に渡って延びる円環状に形成することもできる。

【0031】

識別タグα５は、シートベルト１２のうちドライバＤへの装着時に前面となる面に対して、ベルト部分の長手方向に間隔を開けて複数個設けられている。特に、運転席シート４の前後位置の変化やドライバＤの体格の相違に応じて、識別タグα５の位置が変化されやすいことから、識別タグα５は、シートベルト１２の長手方向に間隔をあけて複数個設けておくのが好ましい。また、識別タグα５を、シートベルト１２の長手方向に連続するやや長い一本の線状として形成することもできる。

【0032】

識別タグα１～α５は、適宜の形状とすることができるが、識別性を高めるための特定形状とすることができる。例えば、識別タグα１～α５を、星形、丸形、三角形、五角形等の多角形等の形状とすることができる。

【0033】

識別タグα１～α５は、カメラＳ１が赤外線式とされていることから、少なくとも表面が赤外線を反射する面として構成するのが好ましい。赤外線を反射する部材は、シート状のものを含めて種々市販されているので、市販品を適宜利用することができる。カメラＳ１によって識別タグα１～α５が撮像されたときは、得られた画像においては、識別タグα１～α５に相当する位置にある画素の輝度が高くなることから、識別タグα１～α５が撮影されているか否か（画像中に識別タグα１～α５に相当する画素が存在するか否か）を明確（精度よく）に判断する上で好ましいものとなる。

【0034】

各識別タグα１～α５の表面は、周囲部材の表面と面一（略面一を含む）としてもよく、あるいは周囲部材の表面に対して凹または凸となるように設定することもできる。識別タグα１～α５は、シート状でもよく、またブロック材等の厚さを有するものであってもよい。識別タグα１～α５は、設置箇所に接着等によって一体化してもよく、また設置箇所の部材に対して取付凹部を形成してこの取付凹部に設置することもできる。特に、識別タグであることを乗員に認識させないために、例えば車両内装品に設けられて車室内に露出している適宜の装備品（例えば係止クリップ等）と同様の形状、大きさに設定することもできる。また、識別タグα１～α５をあたかも装飾品のように偽装することもできる。

【0035】

ドライバＤが運転席シート４に着座している図３の状態において、いたずら等が行われていない正常状態のときは、カメラＳ１によって撮像された画像中には、ドライバＤの顔面やその付近の画像と共に、識別タグα１～α５に対応した画像が取得される。つまり、識別タグα１～α５がカメラＳ１によって取得された画像中に含まれているときは、取得された画像は偽装されたものではない真性なものであると判断することができる。そして、ドライバ状態の推定は、この真性と判断された画像に基づいて行われることになる。

【0036】

一方、いたずらや悪意の観点から、運転席シート４上でカメラＳ１とドライバＤとの間に鏡を置いて、この鏡に対して例えば助手席乗員の顔面が映り込むような設定を行って、カメラＳ１で撮影された顔面が助手席乗員のものとすることが考えられる。この場合、運転席シート４上に設定した鏡によって、識別タグα１～α５の全部あるいは殆どがカメラＳ１の撮影範囲から隠れてしまうことになる。

【0037】

カメラＳ１によって取得された画像中に識別タグα１～α５の全部あるいは殆どが撮影されていないということは、取得された画像は偽装された画像であると判断することができる。

【0038】

画像が偽装されたものであると判断されたときは、この偽装された画像に基づいてドライバ状態を推定することが禁止される。すなわち、偽装された画像が、例えばドライバが前倒れ状態となって、運転を行うことが事実上不可能な急病であるかのようなものであるときに、これに対応した運転支援が不必要に行われてしまうことになる。しかしながら、カメラＳ１によって撮影された画像中に識別タグα１～α５の全部あるいは殆どが含まれていないときは、取得された画像は偽画像であるとして、不必要に運転支援が実行されてしまう事態が防止される。

【0039】

ドライバＤの状態が異常であるかのように偽装する場合に、上述した鏡を利用するのに代えて、図３においてドライバーＤの顔面に相当する位置の直前方にドライバの異常状態を示す表情を描いたボード板を設置することも考えられる。この場合も、カメラＳ１によって取得された画像中には、識別タグα１～α５の全部あるいは殆どに相当するものが存在しないことから、偽画像であると判断することができる。

【0040】

図４は、ドライバ状態の推定と、推定されたドライバ状態に応じて運転支援を行うための制御系統例が示される。図中、Ｕは、マイクロコンピュータを利用して構成されたコントローラ（制御ユニット）で、制御手段としてのＣＰＵの他、記憶手段としてのＲＯＭ、ＲＡＭや、インターフェイス等を備えている。このコントローラＵには、カメラＳ１の他、各種機器類Ｓ２～Ｓ４からの信号が入力される。Ｓ２は、車外を撮影するためのカメラであり、特に自動運転等を行うために車両Ｖの前方を撮影するものとなっている。Ｓ３は、車両前方の障害物までの距離を検出するレーダである。Ｓ４は、ナビゲーション装置であり、ディスプレイ１０への地図表示や、ＧＰＳによって車両Ｖの現在位置を取得する。

【0041】

コントローラＵによって、各種機器類Ｓ１１～Ｓ１６が制御される。Ｓ１１は、ブレーキ装置であり、自動ブレーキを行うためのものである。Ｓ１２はエンジンのスロットルであり、車速を制御するためのものである（燃料噴射弁を制御してもよい）。Ｓ１３はステアリングハンドル４であり、現在走行している車線を維持させたり、車線変更を含む自動運転を行うためのものである。 Ｓ１４は、スピーカであり、ドライバＤに所定の警報を音声によって行うためのものである。Ｓ１５は、ハザードランプであり、ドライバＤが実質的に運転不可能であると推定されたときに、周囲の他車両等に対して注意を促すためのものである。Ｓ１６は、無線通信器であり、ドライバＤが実質的に運転不可能であると推定されたときに、無線によって運転管理を行う管理センタや病院あるいは警察へ緊急連絡するためのものである。連絡内容としては、ドライバＤに重大な異常が生じているという情報、車両Ｖの現在位置情報等がある。

【0042】

次にコントローラＵによって行われる制御内容について、図５に示すフローチャートを参照しつつ説明する。なお、以下の説明では、識別タグとしては、シートバック４Ｂに設けた左右一対の識別タグα２のみが設けられて、他の識別タグα１、α３～α５は存在しないものを前提としている。そして、カメラＳ１によって取得された画像中に、少なくとも１つの識別タグα２に相当する画像（画素）が含まれているときに、真性な画像であると判定される。逆に、カメラＳ１によって取得された画像中に、識別タグα２に相当する画像（画素）が全く含まれていないときに、偽装された画像であると判定される。また、以下の説明でＱはステップを示す。

【0043】

まず、図５のＱ１において、カメラＳ１によって画像が取得される。次いで、Ｑ２において、取得された画像中のうち、左右一対の識別タグα２に相当する位置を含む可能性のある所定範囲が検証部として切り出される。この後Ｑ３において、切り出された検証部において、識別タグα２に相当する画像（画素）が検出される。

【0044】

Ｑ３の後、Ｑ４において、Ｑ３において識別タグＡＦ２に相当する画像（画素）が検出できたか否かが判別される。このＱ４の判別でＹＥＳのときは、Ｑ５において、検出された識別タグが真性なものであるか否かが判別される。すなわち、画像中から検出された識別タグに相当するものと考えられる画像が、識別タグα２の形状と大きさに合致するか否かが判別される。この判別は、識別タグα２に相当する位置の画像中に、ノイズ等によってあたかも識別タグα２に相当する画像が存在すると誤って判定しまう事態を避けるためである。

【0045】

なお、カメラＳ１が赤外線式であることから、識別タグα２を赤外線反射部材によって形成しておくことにより、取得された画像中において、識別タグα２に相当する位置の輝度がその周囲よりも高くなっていることから、識別タグα２であるか否かの判別は容易である。

【0046】

このＱ５の判別でＹＥＳのときは、Ｑ６において、取得された画像中におけるドライバＤの表情や姿勢等に基づいて、ドライバ状態が推定される。この後、Ｑ７において、推定されたドライバ状態が、異常状態であるか否かが判別される。このＱ７の判別でＹＥＳのときは、Ｑ７において、ドライバの異常状態に対応した運転支援が実行される。

【0047】

前記Ｑ４の判別でＮＯのとき、Ｑ５の判別でＮＯのとき、あるいはＱ７の判別でＮＯのときは、それぞれＱ９に移行されて、運転支援の実行が行われない状態とされる。

【0048】

上述した図５に示す制御は,実施形態では、イグニッションスイッチがＯＮとされる毎に実行され、またイグニッションスイッチがＯＮとされた後は定期的に（所定時間経過毎に）実行され、さらに、カメラＳ１で取得される画像に乱れが生じた毎に実行される。なお、制御の実行条件は、適宜設定できる。

【0049】

ドライバ状態に応じた運転支援の例について、簡単に説明する。まず、コントローラＵ（の記憶手段）には、あらかじめ、ドライバの多くの表情とそのときのドライバ状態とが関連付けられたデータベースが記憶されている。例えば、顔の向き、視線方向、瞳の状態、眉の動き、唇やその周辺の動き、鼻の動き等の組み合わせが、例えば「漫然としている」、「脇見をしている」、「眠気をもよおしている」、「居眠りしている」、「急病状態である」等のドライバ状態と関連づけられて記憶されている。

【0050】

異常状態として、例えば、軽度、中度、重度の３段回に分けて判定される。軽度の異常状態は、例えば、注意散漫であるとか、眠気をもよおしているとか、脇見時間が長いとかで、この場合は、スピーカＳ１４からの音声によって注意警報が行われる。

【0051】

異常状態が中度であるときは、例えば居眠りの可能性があるときである。このときは、各種機器類Ｓ１１～Ｓ１３を制御して、徐々に所定速度まで減速を行うと共に車線維持を行い、さらにスピーカＳ１４から大きな音で注意を行う（覚醒させる）。

【0052】

異常状態が重度であるときは、もはや運転続行は不可能なときと判断される状態であり、例えば、ドライバＤが、完全に居眠り状態になっているときの他、前倒れあるいは横倒れになってしまうとかの急病発生状態のときである。このときは、ハザードランプＳ１５を作動させた状態で、路肩に向けて自動走行させつつ、車両Ｖをすみやかに停止させる。そして、無線通信によって、管理センタや病院あるいは警察に向けて、ドライバＤに重大な異常が生じていることと、車両Ｖの現在位置を報知する。この場合、車両のすみやかな停止に代えて、自動運転によって最寄りの病院へ走行させることもできる。

【0053】

前述したドライバ状態（異常状態）とそれに応じて運転支援の内容とは、あくまで一例あり、ドライバ状態に応じた運転支援の内容は適宜のものを選択できる。

【0054】

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。識別タグは、１つのみ設けてもよい。識別タグは、少なくともドライバＤの顔面の直近に設置するのが好ましく、またドライバＤの顔面を挟んで左右一対設けておくのが好ましい。

【0055】

取得された画像が真性なものであるか否かの当初の判断を簡単に行うために、識別タグの位置が不変となる固定部位（例えばＢピラーで、特に撮影範囲Ｋのうち外周縁部に相当する位置）に設ける他、ドライバＤの顔面直近に別の識別タグを設けておくのが好ましい。この場合、取得された画像中に上記固定部位に設けた識別タグが存在しないことが確認されたときは、上記別の識別タグについての確認を行うことなく、即座に偽画像（非真性画像）と判定することができる。

【0056】

カメラ２０によって所得された画像は静止画でも動画でもよい。静止画の場合は、連続した複数の画像から、ドライバ状態を判定するのが好ましい。カメラＳ１としては、赤外線式に限らず、可視光で撮像するデジタルカメラ等、適宜のものを用いることができる。

【0057】

推定されたドライバ状態に応じた運転支援は、安全運転を行うものに限らず、例えば運転技量に関するものに設定する等、適宜の内容を採択することができる。例えば、ドライバ状態が「退屈」であるときに、ステアリングハンドルの応答特性を高めたり、エンジンの出力特性を敏感にする等の運転支援によって、「楽しい」と感じる方向の運転支援を行うことができる。逆に、駐車時にドライバ状態が、「不安」であるときは、例えばディスプレイ１０に駐車支援用の周囲状況を示す画像を提供したり、ステアリングハンドルを自動的に操作する運転支援を行う等のこともできる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。

【産業上の利用可能性】

【0058】

本発明は、カメラによって取得される画像に基づいてドライバ状態を推定するようにした車両に適用して好適である。

【符号の説明】

【0059】

Ｖ：車両
Ｄ：ドライバ
Ｓ１：カメラ
Ｋ：撮影範囲
１：インストルメントパネル
２：フロントウインドガラス
３：ステアリングハンドル
４：運転席シート
４Ａ：シートクッション
４Ｂ：シートバック
４Ｃ：ヘッドレスト
１０：ディスプレイ
１０ａ：枠体
１１：Ｂピラー
１２：シートベルト
α１：識別タグ（Ｂピラー設置）
α２：識別タグ（シートバック設置）
α３：識別タグ（ヘッドレスト設置）
α４：識別タグ（ステアリングハンドル設置）
α５：識別タグ（シートベルト設置）

【図1】

【図2】

【図3】

【図4】

【図5】