特許 7346969 運転支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-11

(45)【発行日】2023-09-20

(54)【発明の名称】運転支援装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230912BHJP

   A61B 5/18 20060101ALI20230912BHJP

【ＦＩ】

G08G1/16 F

A61B5/18

【請求項の数】 2

(21)【出願番号】P 2019134739

(22)【出願日】2019-07-22

(65)【公開番号】P2021018665

(43)【公開日】2021-02-15

【審査請求日】2022-02-17

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】吉田 成寿

(72)【発明者】

【氏名】友末 和寛

(72)【発明者】

【氏名】原 健一郎

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】特開２０１８－１４９８２１（ＪＰ，Ａ）

【文献】特開２０１６－０３８７６８（ＪＰ，Ａ）

【文献】特開２００９－２０１７５６（ＪＰ，Ａ）

【文献】特開２０１８－１２８８３４（ＪＰ，Ａ）

【文献】特開２０１８－１２７０８４（ＪＰ，Ａ）

【文献】特開２０１６－０５７８３９（ＪＰ，Ａ）

【文献】特開２０１８－１１４８０４（ＪＰ，Ａ）

【文献】特開２０００－１７２９６６（ＪＰ，Ａ）

【文献】特開２０１８－２０２９１８（ＪＰ，Ａ）

【文献】特開２０１８－１１６４２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

Ｂ６０Ｔ ７／１２ － ８／１７６９

Ｂ６０Ｔ ８／３２ － ８／９６

Ｂ６０Ｒ １／００ － １／０４

Ｂ６０Ｒ １／０８ － １／３１

Ｂ６０Ｋ ２５／００ － ２８／１６

Ａ６１Ｂ ５／１８

(57)【特許請求の範囲】

【請求項1】

車両に設けられたドライバモニタカメラをステアリングが遮って前記ドライバモニタカメラが前記車両のドライバを撮影不能となるか否か判定する撮影可否判定部と、
前記ドライバの状態を表すセンサ情報に基づいて、前記ドライバが前記車両の運転操作に不適な状態となっているか否かを判定する状態判定部と、
前記ドライバモニタカメラが前記ドライバを撮影できなくなったと判定された撮影不能時点において、前記ドライバが前記車両の前記運転操作に適した状態である場合、前記撮影不能時点から所定の第１の遅延時間が経過すると前記ステアリングを保持する保持要求を通知部を介して前記ドライバに対して通知し、一方、前記撮影不能時点において、前記ドライバが前記車両の前記運転操作に不適な状態である場合、その不適な状態の開始時点から所定の第２の遅延時間が経過すると前記保持要求を前記通知部を介して前記ドライバに対して通知し、前記第１の遅延時間内又は前記第２の遅延時間内に前記ドライバモニタカメラが前記ドライバを撮影可能な状態に復帰すると前記保持要求を通知しない通知制御部と、
を有する運転支援装置。

【請求項2】

前記ドライバの前記運転操作に不適なレベルを示す運転操作不適レベルを判定する運転操作不適レベル判定部を更に有し、
前記第１の遅延時間又は前記第２の遅延時間は、前記撮影不能時点よりも以前における前記運転操作不適レベルに基づいて、前記ドライバが運転操作に不適なほど短い時間に設定される、請求項１に記載の運転支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転者の運転を支援する運転支援装置に関する。

【背景技術】

【0002】

車両のドライバの監視システムにおいて、顔検出カメラを備えるシステムが知られている。このようなシステムにおいて、顔検出カメラの前に障害物が置かれており、運転者を検出することができない状態が所定時間以上継続した場合に、検出異常状態と判定し、顔検出カメラ以外の検出手段を用いて運転者の姿勢を検出する技術がある（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－２０４８４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ドライバモニタカメラを用いたドライバの監視システムにおいて、カーブ走行時あるいは右左折時に、舵角に応じてステアリングがドライバを隠すことで、ドライバモニタカメラがドライバを撮影できなくなることがある。

【0005】

特に、カーブが連続する道路を車両が走行する場合のように、ステアリングの操舵角がある程度以上大きくなることが頻発する場合、ステアリングが頻繁にドライバを隠すことになる。

【0006】

しかしながら、特許文献１に記載された技術は、操舵に伴ってステアリング自体がドライバモニタカメラを隠すことによる弊害を何ら想定していない。

【0007】

そこで、本発明は、ステアリングがドライバを隠すことに起因する利便性の低下を抑えることが可能な運転支援装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

一つの実施形態によれば、運転支援装置が提供される。この運転支援装置は、車両に設けられたドライバモニタカメラをステアリングが遮って前記ドライバモニタカメラが前記車両のドライバを撮影不能となるか否か判定する撮影可否判定部と、前記ドライバの状態を表すセンサ情報に基づいて、前記ドライバが前記車両の運転操作に不適な状態となっているか否かを判定する状態判定部と、前記ドライバモニタカメラが前記ドライバを撮影できなくなったと判定された撮影不能時点において、前記ドライバが前記車両の前記運転操作に適した状態である場合、前記撮影不能時点から所定の第１の遅延時間が経過すると前記ステアリングを保持する保持要求を通知部を介して前記ドライバに対して通知し、一方、前記撮影不能時点において、前記ドライバが前記車両の前記運転操作に不適な状態である場合、その不適な状態の開始時点から所定の第２の遅延時間が経過すると前記保持要求を前記通知部を介して前記ドライバに対して通知する通知制御部と、を有する。

【0009】

この運転支援装置において、前記ドライバの前記運転操作に不適なレベルを示す運転操作不適レベルを判定する運転操作不適レベル判定部を更に有し、前記第１の遅延時間又は前記第２の遅延時間は、前記撮影不能時点よりも以前における前記運転操作不適レベルに基づいて、前記ドライバが運転操作に不適なほど短い時間に設定されることが好ましい。

【発明の効果】

【0010】

本発明に係る運転支援装置は、ステアリングがドライバを隠すことに起因する利便性の低下を抑えることができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】一つの実施形態による運転支援装置の概略構成図である。

【図2】ドライバモニタカメラの設置状態の一例を示す模式図であって、ドライバモニタカメラが設置された状態をドライバ側から見た正面図である。

【図3】図２に示す状態から、ステアリング５が反時計回りに９０度回転した状態を示す模式図である。

【図4】制御部のプロセッサの機能ブロックを示す模式図である。

【図5】ドライバを撮影不能な場合に、ドライバが車両の運転操作に適した状態であるか否かに応じてステアリング保持要求を通知するタイミングを変更する処理の流れを示すフローチャートである。

【図6】図５の処理において、撮影不能時点、ステアリング保持要求の通知、運転不適状態判定時点の時系列的な関係を示す模式図である。

【図7】ステアリング保持期間と免除期間に応じて、ステアリング保持要求を行う処理の流れを示すフローチャートである。

【図8】図７の処理において、撮影不能時点、ステアリング保持要求の通知、保持期間、免除期間の時系列的な関係を示す模式図である。

【図9】ドライバが運転操作に不適切な状態となっているかどうかを判定する処理の例を示すフローチャートである。

【図10】図９のステップＳ３０２において、映像中に顔らしいものがあるか否かを判定する手法を示す模式図である。

【図11】図９のステップＳ３０３、ステップＳ３０４において、顔特徴点間の距離から顔向き角度を算出する手法を示す模式図である。

【図12】顔向き角度の定義を示す模式図である。

【発明を実施するための形態】

【0012】

１．第１の実施形態
以下、図を参照しつつ、運転支援システム４０について説明する。この運転支援システム４０は、例えば、ドライバがステアリングの手放しをした状態での走行（ハンズオフ走行）が可能な車両に搭載される。運転支援システム４０は、このような走行として、例えば、米国自動車技術会（ＳＡＥ）が定めるレベル２またはレベル３程度の走行を想定する。

【0013】

車両走行中に、ドライバが車両を運転するのに不適切な状態となる場合がある。このような不適切な状態として、例えば、ドライバが居眠りをしている状態、ドライバが前方を注視せずに脇見をしている状態などが挙げられる。このため、運転支援システム４０は、ドライバモニタカメラによってドライバの状態をモニタリングし、ドライバが運転に不適切な状態となっていることを検知すると、ドライバがステアリングを保持（保舵）するようにステアリング保持要求を行う。ステアリング保持要求は、ドライバモニタカメラによりドライバの状態が検出できない場合においても、安全上の観点から行われる。

【0014】

運転支援システム４０が行う上述のようなドライバのモニタリングにおいて、カーブ走行時あるいは右左折時等において、ステアリングがドライバモニタカメラの撮影方向を遮るためにドライバモニタカメラがドライバを撮影できなくなることがある。このような場合にステアリング保持要求を行うと、カーブが連続する道路を車両が走行する場合のようにステアリングの操舵角がある程度以上大きくなることが頻発する場合、ステアリング保持要求が多発してドライバの利便性を損なう可能性がある。

【0015】

本実施形態の運転支援システム４０は、ドライバの状態を検知できない状態が、ステアリングがドライバモニタカメラの撮影方向を遮ることに起因する場合は、その旨を検知し、ステアリング保持要求が頻発しないようにドライバへの通知を制御する。このような制御を行うことにより、ステアリング保持要求が多発することによるドライバの利便性の低下が抑えられる。

【0016】

図１は、一つの実施形態による運転支援システム４０の概略構成図である。運転支援システム４０は、ドライバモニタカメラ１、タッチセンサ２、スピーカ３、ＧＵＩ（Graphical User Interface）４、ステアリング５、ステアリングトルクセンサ６、舵角センサ７、制御部（Electronic Control Unit (ECU)）１００、を有する。ドライバモニタカメラ１、タッチセンサ２、スピーカ３、ＧＵＩ４、ステアリング５、ステアリングトルクセンサ６、舵角センサ７、制御部１００のそれぞれは、コントローラエリアネットワーク（Controller Area Network (CAN)）といった規格に準拠した車内ネットワークを介して通信可能に接続される。

【0017】

なお、制御部１００は、自動運転ＥＣＵを含む複数のＥＣＵから構成されていてもよい。例えばステアリングトルクセンサ６は、操舵のアシストトルクを制御するＥＰＳ ＥＣＵ(Electric Power Steering ECU)に含まれていてもよい。また、舵角センサ７は舵取り装置の入出力を制御するＳＴＲ ＥＣＵ(Steering ECU)に含まれていてもよい。また、タッチセンサ２は、ステアリングタッチＥＣＵ(Steering Touch ECU)に含まれていてもよい。この場合、ステアリングトルクセンサ６が検出したトルク、舵角センサ７が検出したステアリング５の舵角、タッチセンサ２によるステアリング５へのドライバの接触の判定結果は、各ＥＣＵから自動運転ＥＣＵに送られる。

【0018】

ドライバモニタカメラ１は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ１は、車両内部のダッシュボード、またはフロントガラスの近辺等に設けられ、ドライバの顔を撮影する。ドライバモニタカメラ１は、所定の撮影周期（例えば１／３０秒～１／１０秒）ごとにドライバを撮影し、ドライバが写った画像を生成する。なお、ドライバモニタカメラ１により得られた画像は、カラー画像であることが好ましい。ドライバモニタカメラ１は、画像を生成する度に、その生成した画像を、車内ネットワークを介して制御部１００へ出力する。

【0019】

タッチセンサ２は、静電容量式、感圧式等のセンサから構成され、ステアリング５に設けられている。タッチセンサ２は、ドライバがステアリング５を触れているか否かを検出する。

【0020】

スピーカ３は、通知部の一例であり、ダッシュボードの近辺等に設けられ、ドライバに対してステアリング保持要求を通知するため、音声を出力する。ＧＵＩ４は、通知部の他の一例であり、メーターパネル、またはダッシュボードの近辺等に設けられ、ドライバに対してステアリング保持要求を通知するため、表示を出力する。ＧＵＩ４は、例えば液晶表示装置（ＬＣＤ）等から構成される。

【0021】

ステアリングトルクセンサ６は、ステアリング５のトルクを検出するセンサである。ステアリング５をドライバが握って操作している場合は、その操作に応じて、ステアリング５のトルク（反力）が変化する。したがって、制御部１００は、ステアリング５のトルクの検出値に基づいて、ドライバがステアリング５を操作しているか否かを判定することができる。

【0022】

制御部１００は、運転支援システム４０の全体を制御する構成要素であり、運転支援装置の一態様である。制御部１００は、プロセッサ１０と、メモリ２０と、通信インターフェース３０とを有する。プロセッサ１０は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１０は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。メモリ２０は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。通信インターフェース３０は、通信部の一例であり、制御部１００を車内ネットワークに接続するためのインターフェース回路を有する。

【0023】

以上のように構成された運転支援システム４０は、ドライバモニタカメラ１から得られるドライバの状態を表す情報に基づいて、ドライバが運転操作に不適切な状態となっているか否かを検知する。そして、運転支援システム４０は、ドライバが運転操作に不適切な状態となっていることが検知された場合は、所定の遅延時間の経過後にドライバに対して運転操作に適した状態を取るよう通知する。具体的には、運転支援システム４０は、ドライバが運転操作に不適切な状態となっていることが検知された場合に、ドライバにステアリング５を保持させるためにステアリング保持要求を通知する。なお、運転操作に不適切な状態としては、例えば、ドライバの脇見状態、居眠りの状態（閉眼状態）、覚醒度低下状態、離席状態、姿勢崩れ状態、漫然運転状態、顔ロスト状態（顔が検出できない状態）、その他の異常状態が挙げられる。

【0024】

運転操作に不適切な状態の検出は、顔検出、顔向き角度推定、開閉眼推定、視線情報推定等により行われる。顔検出で未検出が継続した場合、または、顔向き角度がある閾値を超えたかどうかを判定し、開閉眼が閉眼状態であるということを判定、または、視線方向が正面の範囲内に含まれるかどうかを判定して、不適切かどうかの度合いを算出する。これらのいずれかの判定により、運転操作に不適切である時間を測定し、例えば３秒経過後にステアリング保持要求を通知する。なお、脇見状態の検出の詳細については後述する。

【0025】

ステアリング保持要求の通知は、スピーカ３からの音声出力、またはＧＵＩ４への表示により行われる。ステアリング保持要求の通知は、例えば「ステアリングを保持してください！」などの通知をメーターパネルに表示し、また音声で同様の通知を発することによって行われる。

【0026】

ステアリング保持要求を通知することで、ドライバがステアリング５を保持するようになり、運転操作に適した状態を取るようになる。したがって、ドライバが脇見を止めて車両前方を直視する、居眠りから覚醒する、運転席に戻る、姿勢を正すなど、ドライバが運転操作に適した状態となる。ドライバがステアリング５を一定時間保持すると、ステアリング保持要求の通知は解除される。

【0027】

一方、ドライバが運転操作に適切な状態であり、ドライバが安全な状態であることを確認できれば、ステアリング保持要求を通知する必要はない。換言すれば、ドライバが安全であることを確認できない状態では、安全面を考慮すると、ステアリング保持要求を通知することが好ましい。

【0028】

例えば、カーブ走行時あるいは右左折時等において、ステアリング５が回転すると、ステアリング５がドライバを遮る場合がある。このような場合、ドライバモニタカメラ１がドライバを撮影できなくなるため、ドライバが安全であることを確認できなくなる。

【0029】

しかし、このような場合にドライバに対してステアリング保持要求を通知すると、ステアリング５がドライバモニタカメラ１の撮影方向を遮る度にステアリング保持要求が出されてしまう。このため、カーブが連続する道路を車両が走行する場合などにおいては、ステアリング保持要求が頻発する可能性があり、ドライバの利便性が損なわれてしまう。

【0030】

図２は、ドライバモニタカメラ１の設置状態の一例を示す模式図であって、ドライバモニタカメラ１が設置された状態をドライバ側から見た正面図である。図２に示すように、車両の進行方向が直進の場合、ステアリング５の上側の半円領域を通してドライバモニタカメラ１とメータ（ＧＵＩ４）がドライバの視界に存在する。ドライバモニタカメラ１は、ステアリング５の上側の半円領域の空洞部分を通して、遮蔽物に遮られること無くドライバの顔を撮影できる位置に設けられている。好適には、ドライバモニタカメラ１は、例えばステアリングコラムカバーの上面等、運転者の顔を正面から撮像できる位置に設けられる。

【0031】

また、ドライバからは、ＧＵＩ４により表示されるメータを視認することができ、ステアリング保持要求がＧＵＩ４のいずれかの位置に表示されれば、ドライバがステアリング保持要求を認識可能であることが分かる。

【0032】

図３は、図２に示す状態から、ステアリング５が反時計回りに９０度回転した状態を示す模式図である。図３に示す状態では、ステアリング５によってドライバが遮られ、ドライバの視界にドライバモニタカメラ１が入っていない。このため、図３に示す状態では、ドライバモニタカメラ１がドライバを撮影することはできない。カーブが連続する道路を走行するような場合に、ステアリング５が図３に示す状態となる度にステアリング保持要求が通知されると、上述のようにドライバの利便性が低下する。

【0033】

本実施形態では、図３のようにステアリング５がドライバモニタカメラ１を遮ったタイミングと、ドライバが車両の運転操作に不適な状態と判定されたタイミングとに基づいて、ステアリング保持要求を出すタイミングを設定する。なお、以下では、図３のようにステアリング５がドライバモニタカメラ１の撮影方向を遮ったタイミングを撮影不能時点と称することとする。また、ドライバが車両の運転操作に不適な状態と判定された時点を運転不適状態判定時点と称することとする。

【0034】

先ず、ドライバが車両の運転操作に不適な状態と判定されておらず、ステアリング保持要求を通知することが予定されていない場合は、撮影不能時点から所定の遅延時間の経過後にステアリング保持要求がドライバへ通知される。これにより、遅延時間の間にステアリング５が図３の状態から図２の状態に戻れば、ステアリング保持要求が通知されないため、ステアリング保持要求が頻発することを抑えることができ、ドライバの利便性を向上することができる。

【0035】

一方、ドライバが車両の運転操作に不適な状態と判定された場合は、運転不適状態判定時点から所定の遅延時間の経過後にステアリング保持要求がドライバへ通知される。撮影不能時点が遅延時間の経過前に到来する場合も、遅延時間の経過後にステアリング保持要求がドライバへ通知される。つまり、運転不適状態判定時点から撮影不能時点までの時間を遅延時間から差し引いて得られる時間が撮影不能時点から経過した後にステアリング保持要求がドライバへ通知される。

【0036】

図４は、制御部１００のプロセッサ１０の機能ブロックを示す模式図である。制御部１００のプロセッサ１０は、撮影可否判定部１２、状態判定部１４、通知制御部１６、保持期間測定部１８、運転操作不適レベル判定部１９を有している。プロセッサ１０が有するこれらの各部は、例えば、プロセッサ１０上で動作するコンピュータプログラムにより実現される機能モジュールである。つまり、プロセッサ１０の機能ブロックは、プロセッサ１０とこれを機能させるためのプログラム（ソフトウェア）から構成される。また、そのプログラムは、制御部１００が備えるメモリ２０または外部から接続される記録媒体に記録されていてもよい。あるいは、プロセッサ１０が有するこれらの各部は、プロセッサ１０に設けられる専用の演算回路であってもよい。

【0037】

撮影可否判定部１２は、車両に設けられたドライバモニタカメラ１の撮影方向をステアリング５が遮ってドライバモニタカメラ１が車両のドライバを撮影不能となるか否か判定する。状態判定部１４は、ドライバの状態を表すセンサ情報に基づいて、ドライバが車両の運転操作に不適な状態となっているか否かを判定する。

【0038】

通知制御部１６は、ドライバモニタカメラ１がドライバを撮影できなくなったと判定された撮影不能時点において、ドライバが車両の運転操作に適した状態である場合、撮影不能時点から所定の遅延時間が経過するとステアリング保持要求をドライバに対して通知する。また、撮影不能時点において、ドライバが車両の運転操作に不適な状態である場合、通知制御部１６は、その不適な状態の開始時点（運転不適状態判定時点）から所定の遅延時間が経過するとステアリング保持要求をドライバに対して通知する。運転操作不適レベル判定部１９は、ドライバの運転操作不適レベルを判定する。

【0039】

図５は、ドライバを撮影不能な場合に、ドライバが車両の運転操作に適した状態であるか否かに応じてステアリング保持要求を通知するタイミングを変更する処理の流れを示すフローチャートである。図５の処理は、制御部１００のプロセッサ１０により所定の制御周期毎に実行される。先ず、撮影可否判定部１２が、ドライバモニタカメラ１がドライバを撮影可能であるか否かを判定する（ステップＳ１０１）。

【0040】

ステップＳ１０１の判定は、ステアリング５の舵角と、ドライバモニタカメラ１により得られた画像からドライバの顔を検知できるか否かの組み合わせに基づいて実施される。例えば、撮影可否判定部１２は、ステアリング５の舵角に基づくドライバ撮影の可否と、画像認識によるドライバの顔検知状態とのアンド条件をとり、双方の条件が成立する場合にドライバモニタカメラ１がドライバを撮影可能であると判定してもよい。

【0041】

具体的には、撮影可否判定部１２は、ドライバモニタカメラ１が撮影した画像と顔のテンプレート画像（後述する顔辞書５１に相当）とのテンプレートマッチングを行い、その画像中に、顔のテンプレート画像に対応する顔画像が存在するか否かによってドライバの顔が検出されるか否かを判定する。撮影可否判定部１２は、撮影画像中にテンプレート画像に対応する顔画像が存在する場合は、ドライバの顔を検知できると判定する。

【0042】

また、撮影可否判定部１２は、ドライバモニタカメラ１の設置位置と、ステアリング５の形状と、ステアリング５の舵角とから、ドライバモニタカメラ１の撮影方向をステアリング５が遮るか否かを判定する。このため、ドライバモニタカメラ１がドライバを撮影可能なステアリング５の舵角の角度範囲が予めメモリ２０に記憶されている。撮影可否判定部１２は、ステアリング５の舵角がその角度範囲に含まれていると、ドライバを撮影可能と判定する。図２及び図３に示す例では、ステアリング５の舵角が９０°のときにドライバモニタカメラ１がドライバを撮影できなくなるため、舵角が９０°のときはドライバが撮影不能と判定される。なお、ステアリング５の舵角は、舵角センサ７の検出値より得られる。以上のようにして、撮影可否判定部１２は、ステアリング５の舵角に基づくドライバ撮影の可否判定と、画像認識によるドライバの顔検知状態の双方の条件が成立する場合に、ドライバモニタカメラ１がドライバを撮影可能であると判定することができる。

【0043】

ステップＳ１０１において、ドライバモニタカメラ１がドライバを撮影可能でないと判定された場合は、判定された時点が撮影不能時点とされる。そして、状態判定部１４が、ドライバモニタカメラ１から得られる画像情報に基づいて、ドライバが運転操作に不適切な状態となっているか否かについての情報を取得し、ドライバが運転操作に不適切な状態となっているかどうかを判定する（ステップＳ１０２）。ドライバが運転操作に不適切な状態となっているか否かは、例えば後述する図９の処理により常時判定されており、ドライバが運転操作に不適切な状態となっているか否かについての情報は常時得られている。ステップＳ１０２では、撮影不能時点の直前におけるこの情報を取得し、ドライバが運転操作に不適切な状態となっているか判定する。状態判定部１４は、ドライバモニタカメラ１から得られる画像に基づいて、ドライバが脇見状態、居眠りの状態、離席の状態、姿勢崩れ状態等であるか否かを判定する。一方、ステップＳ１０１において、ドライバモニタカメラ１がドライバを撮影可能な場合は、処理を終了する。

【0044】

次に、通知制御部１４が、ステップＳ１０２の判定の結果に基づき、ドライバが運転操作に適切な状態であれば、撮影不能時点から所定の遅延時間が経過するとドライバへステアリング保持要求を通知する（ステップＳ１０３）。ステップＳ１０３の後は処理を終了する。

【0045】

また、通知制御部１４は、ドライバが運転操作に不適切な状態であれば、過去のステップＳ１０２の判定を遡って確認し、不適切な状態が開始した時点（運転不適状態判定時点）から所定の遅延時間が経過するとステアリング保持要求を通知する（ステップＳ１０４）。ステップＳ１０４の後は処理を終了する。

【0046】

図６は、図５のステップＳ１０２からステップＳ１０３へ進んだ場合と、ステップＳ１０２からステップＳ１０４へ進んだ場合のそれぞれについて、撮影不能時点、ステアリング保持要求の通知、運転不適状態判定時点の時系列的な関係を示す模式図である。図６に示すように、ステップＳ１０２からステップＳ１０３へ進んだ場合は、撮影不能時点から所定の遅延時間の経過後にステアリング保持要求が通知される。また、ステップＳ１０２からステップＳ１０４へ進んだ場合は、運転不適状態判定時点から所定の遅延時間の経過後にステアリング保持要求が通知される。なお、図６において、ステップＳ１０２からステップＳ１０３へ進んだ場合と、ステップＳ１０２からステップＳ１０４へ進んだ場合とで、遅延時間が異なるようにしてもよい。但し、ステップＳ１０２からステップＳ１０３へ進んだ場合と、ステップＳ１０２からステップＳ１０４へ進んだ場合とで、遅延時間を同一にすると、処理をより簡素にすることができる。

【0047】

以上のように、図５の処理によれば、ドライバモニタカメラ１がドライバを撮影不能の場合、ドライバが運転操作に適切な状態であるか否かに応じてステアリング保持要求を通知するタイミングが設定される。ドライバが運転操作に適切な状態であれば、撮影不能時点から所定の遅延時間の経過後に保持要求が通知される。したがって、撮影不能時点で保持要求が出されることがなく、また、遅延時間内にドライバを撮影可能な状態に復帰すればステアリング保持要求が通知されることはない。したがって、カーブが連続する道路を走行するような場合に、ステアリング保持要求が頻発することによるドライバの利便性の低下を確実に抑えることができる。

【0048】

また、ドライバが運転操作に不適切な状態であれば、運転操作に不適切な状態となってから所定の遅延時間が経過するとステアリング保持要求が通知される。したがって、撮影不能時点よりも以前にドライバが運転操作に不適切な状態となった場合に、運転操作に不適切となった時点から起算してステアリング保持要求を通知することができる。

【0049】

ステップＳ１０３、ステップＳ１０４における遅延時間は、撮影不能時点以前における、ドライバが運転に不適な状態のレベルに基づいて設定してもよい。例えば、運転に不適なレベルが高いほど遅延時間が短く設定される。このため、運転操作不適レベル判定部１９がドライバの運転操作不適レベル（ドライバの安全度合い）を判定し、通知制御部１４は、運転操作不適レベルに基づいてステアリング保持要求の通知タイミングを変更する。

【0050】

運転操作不適レベルは、ドライバの過去の運転における脇見の頻度、覚醒度が低下する頻度、ハンズオン要求などの警告の回数、等に応じて判定される。脇見の頻度が高いほど、覚醒度が低下する頻度が高いほど、または警告の回数が多いほど、運転操作不適レベルは高くなる。例えば、ドライバの過去の運転の所定期間内において、脇見と判定された回数、覚醒度が低下したと判定された回数、または警告の回数に応じて、運転操作レベルが判定される。これらの回数について閾値処理を行い、運転操作レベルを判定してもよい。脇見の頻度、覚醒度が低下する頻度、警告の回数等の情報は、メモリ２０に記憶されている。これにより、運転操作不適レベルが高いほど頻繁にステアリング保持要求が通知されるため、ドライバを早期に正常な状態に戻すことが可能となる。

【0051】

以上のように、ドライバモニタカメラ１の撮影方向がステアリング５によって遮られた場合に、ドライバが運転に適した状態であると、ステアリング保持要求の通知がなされる頻度を減らすことができるので、安全性を確保しつつドライバの利便性を向上することができる。

【0052】

２．第２の実施形態
次に、撮影不能時点の直前のドライバのステアリング保持期間に応じて、ステアリング保持要求を通知する実施形態について説明する。なお、第２の実施形態に係る運転支援システム４０の基本的な構成は、第１の実施形態と同様である。以下では、撮影不能時点でステアリング保持要求を通知する場合において、所定の条件が成立する場合は、撮影不能時点でのステアリング保持要求の通知を免除する例について説明する。

【0053】

ステアリング保持要求を通知し、これに応じてドライバがステアリング５を一定時間保持すると、ステアリング保持要求の通知は解除される。撮影不能時点でステアリング保持要求を通知する例では、その後、ドライバモニタカメラ１の撮影方向をステアリング５が遮ると、再度ステアリング保持要求が通知される。この際、直前にドライバがステアリング５を長く保持していたにも関わらず、ステアリング保持要求が再度通知されると、ドライバにとっては煩わしく、利便性が低下する。

【0054】

このため、撮影不能時点より前のステアリング保持要求に対するドライバのステアリング保持期間を測定し、保持期間が比較的長い場合は、保持を終了してから所定の免除期間の間は、撮影不能時点に達したとしてもステアリング保持要求が通知されないようにする。これにより、ステアリング５を比較的長く保持しており、安全運転を行っていたドライバに対してステアリング保持要求が頻繁に出されることがなく、ドライバの利便性を高めることができる。なお、免除期間は、例えば１分程度とする。

【0055】

一方、撮影不能時点より前の直前のステアリング保持要求に対するドライバのステアリング保持期間が比較的短い場合は、撮影不能時点でドライバにステアリング保持要求が通知される。これにより、ステアリング５の保持期間が短いドライバに対して、安全性を確保することができる。

【0056】

以上のような制御を行うため、制御部１００のプロセッサ１０は、保持期間測定部１８を有している。保持期間測定部１８は、ステアリング保持要求をドライバに対して通知してからドライバがステアリング５を継続して保持した保持期間を測定する。撮影可否判定部１２は、車両に設けられたドライバモニタカメラ１をステアリング５が遮ってドライバモニタカメラ１がドライバを撮影不能となるか否か判定する。

【0057】

通知制御部１６は、ドライバモニタカメラ１がドライバを撮影できなくなったと判定された撮影不能時点において、直前の保持期間が所定期間未満であるか、または、撮影不能時点が直前の保持期間が終了してから所定の免除期間を経過した後である場合、ステアリング保持要求を通知部を介してドライバに対して再通知する。

【0058】

また、通知制御部１６は、撮影不能時点において、直前の保持期間が所定期間以上であり、かつ、撮影不能時点が直前の保持期間が終了してから所定の免除期間を経過する前である場合、保持要求を再通知しない。

【0059】

図７は、ステアリング保持期間と免除期間に応じて、ステアリング保持要求を行う処理の流れを示すフローチャートである。図７の処理は、制御部１００のプロセッサ１０により所定の制御周期毎に実行される。先ず、保持期間測定部１８が、直前に行われたステアリング保持要求に対するステアリング５の保持期間を測定する（ステップＳ２０１）。なお、ステップＳ２０１よりも以前には、ドライバモニタカメラ１がドライバを撮影できないことに起因してステアリング保持要求が通知され、通知に応じてドライバがステアリング５を一定時間保持しているものとする。保持期間測定部１８は、タッチセンサ２の検出信号に基づき、ドライバがステアリング５を保持している保持期間を測定する。保持期間測定部１８は、ステアリングトルクセンサ６の検出信号に基づいてドライバがステアリング５を保持している保持期間を測定してもよい。

【0060】

次に、撮影可否判定部１２が、ドライバモニタカメラ１がドライバを撮影可能であるか否かを判定する（ステップＳ２０２）。

【0061】

ステップＳ２０２において、ドライバモニタカメラ１がドライバを撮影可能でないと判定された場合は、ステップＳ２０１で測定したステアリング５の保持期間が所定期間以上であるか否かが判定される（ステップＳ２０３）。そして、ステアリング５の保持期間が所定期間以上でない場合、通知制御部１６は、ステアリング保持要求をドライバへ通知する（ステップＳ２０５）。ステップＳ２０５の後は処理を終了する。

【0062】

また、ステップＳ２０３において、ステアリング５の保持期間が所定期間以上の場合はステップＳ２０４へ進み、直前の保持期間が満了してから撮影不能時点までの時間が免除期間内であるか否かが判定される（ステップＳ２０４）。そして、直前の保持期間が満了してから撮影不能時点までの時間が免除期間内である場合、通知制御部１６は、ステアリング保持要求の通知を免除する（ステップＳ２０６）。この場合、ステアリング保持要求はドライバに通知されない。ステップＳ２０６の後は処理を終了する。

【0063】

また、ステップＳ２０４において、直前の保持期間が満了してから撮影不能時点までの時間が免除期間を超えている場合、通知制御部１６は、ステアリング保持要求を通知する（ステップＳ２０５）。ステップＳ２０５の後は処理を終了する。

【0064】

図８は、図７のステップＳ２０４からステップＳ２０６へ進んだ場合と、ステップＳ２０４からステップＳ２０５へ進んだ場合と、ステップＳ２０３からステップＳ２０５へ進んだ場合のそれぞれについて、撮影不能時点、ステアリング保持要求の通知、保持期間、免除期間の時系列的な関係を示す模式図である。図８に示すように、ステップＳ２０４からステップＳ２０６へ進んだ場合は、保持期間が所定期間以上であり、直前の保持期間が満了してから撮影不能時点までの時間が免除期間内であるため、撮影不能時点でのステアリング保持要求は免除される。また、ステップＳ２０４からステップＳ２０５へ進んだ場合は、保持期間が所定期間以上であり、直前の保持期間が満了してから撮影不能時点までの時間が免除期間を超えているため、撮影不能時点でステアリング保持要求が通知される。また、ステップＳ２０３からステップＳ２０５へ進んだ場合は、保持期間が所定期間未満であるため、撮影不能時点でステアリング保持要求が通知される。

【0065】

以上のように、図７の処理によれば、ドライバモニタカメラ１がドライバを撮影不能であり、ステアリング５の保持期間が所定期間以上の場合は、直前の保持期間が満了してから撮影不能時点までの時間が免除期間内であれば、ステアリング保持要求が免除される。したがって、ステアリング５の保持期間が長く、安全運転を心がけているドライバに対しては、過度なステアリング保持要求を抑え、ステアリング保持要求が頻発することによる利便性の低下を抑えることができる。

【0066】

なお、ステップＳ２０４において、直前の保持期間が満了してから撮影不能時点までの時間が免除期間内であっても、特定の条件が満たされる場合に免除期間を中断して、ステアリング保持要求をドライバに通知してもよい。特定の条件が満たされる場合として、例えば、ドライバが運転に不適な状態と判定された場合、車両に速度超過または横Ｇ超過などが発生した場合、車両周辺に故障車が存在する場合または車両周辺に車線規制が生じている場合など車両周辺の状況が通常と異なる場合、車両に不具合が生じた場合（自動運転に関連するセンサの不調が生じた場合等）、などを挙げることができる。

【0067】

以上説明したように、ステアリング５を保持する期間が長く、安全運転をするドライバに対しては、ステアリング保持要求に対してドライバがステアリング５を保持する回数、およびステアリング５の保持時間を減らすことができる。また、ステアリングを保持する期間が短いドライバに対しては、通常のステアリング保持要求を通知することができる。したがって、ドライバの利便性を向上することができ、運転支援システムの商品性を向上することが可能となる。

【0068】

次に、図９のフローチャート、および図１０～図１２に基づいて、上述した各実施形態において、ドライバが運転操作に不適切な状態となっているかどうかを判定する処理の例として、ドライバの脇見状態を判定する処理について説明する。

【0069】

図９は、ドライバの脇見状態を判定する処理を示すフローチャートである。先ず、ドライバモニタカメラ１から、着目するフレームの映像が取得される（ステップＳ３０１）。次に、取得した映像の中に顔らしいものがあるか否かが判定される（ステップＳ３０２）。図１０は、ステップＳ３０２において、映像中に顔らしいものがあるか否かを判定する手法を示す模式図である。図１０に示すように、ドライバモニタカメラ１が取得したフレームの映像５０と顔辞書５１の画像との比較が行われ、映像５０中に顔らしいものがあるか否かが判定される。なお、比較は公知のテンプレートマッチング等の手法により行うことができる。

【0070】

映像５０中に顔らしいものがある場合は、映像５０の中から目尻、口角、鼻などの顔特徴点が、例えばこれらのテンプレート画像に基づいて抽出され（ステップＳ３０３）、特徴点間の距離から顔向き角度が算出される（ステップＳ３０４）。図１１は、ステップＳ３０３、ステップＳ３０４において、顔特徴点間の距離から顔向き角度を算出する手法を示す模式図である。図１１に示すように、顔特徴点ｐ１～ｐ９が抽出されると、特徴点間の距離に応じて顔向き角度が算出される。

【0071】

一例として、顔向き角度の算出は、ドライバが正面を向いている場合の特徴点間の距離を基準として行われる。図１２は、顔向き角度の定義を示す模式図である。ドライバの水平方向の顔向き角度をヨー（Ｙａｗ）角、上下方向の顔向き角度をピッチ（Ｐｉｔｃｈ）角と定義する。ドライバが正面を向いている場合の特徴点間の距離として、制御部１００のメモリ２０に予め記憶した値を用いることができる。例えば、ドライバが正面を向いている場合のｐ１－ｐ２間の距離を基準として、ドライバが任意の方向を向いた場合にｐ１－ｐ２間の距離が基準よりも短くなった場合は、ヨー角が変化したことを判定できる。ヨー角の変化量はｐ１－ｐ２間の距離の変化量から求めることができる。

【0072】

同様に、ドライバが正面を向いている場合のｐ１－ｐ５間の距離を基準として、ドライバが任意の方向を向いた場合にｐ１－ｐ５間の距離が基準よりも短くなった場合は、ピッチ角が変化したことを判定できる。そして、ピッチ角の変化量はｐ１－ｐ５間の距離の変化量から求めることができる。なお、ロール（Ｒｏｌｌ）角の変化は、脇見の判定に直接的には使用されないが、各特徴点の移動軌跡からドライバの顔（頭部）のモデルの回転中心を求め、回転中心に対する各特徴点の回転角から求めることができる。

【0073】

次に、顔向き角度が脇見角度閾値を超えているか否かが判定される（ステップＳ３０５）。顔向き角度が脇見角度閾値を超えている場合は、脇見継続時間がｔ秒を経過したか否かが判定される（ステップＳ３０６）。そして、脇見継続時間がｔ秒を経過した場合は、脇見であることが判定される（ステップＳ３０７）。ステップＳ３０５で顔向き角度が脇見角度閾値を超えていない場合、またはステップＳ３０６で脇見継続時間がｔ秒を経過していない場合は、ステップＳ３０１へ戻る。

【0074】

例えば、ヨー角の変化量が脇見角度閾値を超えており、脇見継続時間がｔ秒を経過した場合は、ドライバが水平方向に顔を回転させて脇見をしていることが判定される。また、ピッチ角の変化量が所定の閾値を超えており、脇見継続時間がｔ秒を経過した場合は、ドライバが上下方向に顔を回転させて脇見をしていることが判定される。このように、ステップＳ３０７へ進んだ場合は、ドライバが脇見状態であり、運転操作に不適切な状態であることが判定される。ステップＳ３０７の後は、処理を終了する。

【0075】

以上のように図９の処理によれば、映像中の顔の特徴点間の距離に基づいて、ドライバが脇見状態であるか否かを判定することができる。

【0076】

図９では、ドライバが運転操作に不適切な状態であるか否かを判定する処理として、ドライバが脇見状態であるか否かを判定する処理を例示したが、運転操作に不適切な他の状態についても、ドライバモニタカメラ１が撮影した画像に基づいて判定することができる。例えば、ドライバが居眠り状態であるか否かは、ドライバの眼の閉眼率に基づいて求めることができる。閉眼率は、ドライバの顔画像から眼の開閉を捉えて、所定時間内で目を閉じている時間の割合を算出することで求まる。この際、例えばテンプレートマッチングまたは眼検出用の識別器に画像を入力することにより、ドライバの眼を検出し、眼の縦横比に閾値を設けて眼の開閉を判定し、閉眼率を算出する。閉眼率が所定値以上の場合は、ドライバが居眠り状態（覚醒度低下状態）であると判定し、ドライバが運転操作に不適切な状態であると判定する。

【0077】

また、ドライバの離席の状態、姿勢崩れ状態等についても、ドライバモニタカメラ１から得られるドライバの画像情報と、基準となるテンプレート画像とを比較することによって検出することができる。ドライバの離席の状態については、ドライバモニタカメラ１で撮影した画像中にドライバの顔が存在しない場合に、離席と判断することもできる。

【0078】

更に、図９では、ドライバが運転操作に不適切な状態であるか否かを判定する処理として、ドライバの顔の向きに基づいてドライバが脇見状態であるか否かを判定する処理を例示したが、公知の手法によりドライバの視線の方向を検知するようにしてもよい。そして、視線の方向に基づいてドライバが運転操作に不適切な状態であるか否かを判定してもよい。

【0079】

また、ドライバモニタカメラ１が撮影した画像以外のセンサ情報に基づいてドライバが運転操作に不適切な状態であるか否かを判定してもよい。例えば、シートに設けられた着座センサから得られる情報に基づいて、ドライバが着座していない（離席している）と判定される場合は、ドライバが運転操作に不適切な状態であることが判定される。また、シートベルトに設けたセンサにより、シートベルトの引き出し量またはシートベルトのトルクが所定値を超えている場合は、ドライバがうつ伏せになっていることが想定されるため、ドライバが運転操作に不適切な状態であることが判定される。

【0080】

また、心拍センサ等から得られるドライバの生体情報に基づいて、ドライバが運転操作に不適切な状態であること判定してもよい。例えば、ドライバの心拍数が所定値を超えている場合は、ドライバが運転操作に不適切な状態であることが判定される。

【0081】

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことが可能である。

【符号の説明】

【0082】

１ ドライバモニタカメラ
２ タッチセンサ
３ スピーカ
４ ＧＵＩ
５ ステアリング
６ ステアリングトルクセンサ
７ 舵角センサ
１０ プロセッサ
１２ 撮影可否判定部
１４ 状態判定部
１６ 通知制御部
１８ 保持期間測定部
１９ 運転操作不適レベル判定部
２０ メモリ
３０ 通信インターフェース
４０ 運転支援システム
５０ 映像
５１ 顔辞書
１００ 制御部（ＥＣＵ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】