特許 6948210 運転支援装置及び運転支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6948210

(24)【登録日】2021年9月22日

(45)【発行日】2021年10月13日

(54)【発明の名称】運転支援装置及び運転支援方法

(51)【国際特許分類】

   B62D 6/00 20060101AFI20210930BHJP

   B62D 1/04 20060101ALI20210930BHJP

   B60R 11/02 20060101ALI20210930BHJP

   B60K 35/00 20060101ALI20210930BHJP

   B60K 37/00 20060101ALI20210930BHJP

   B62D 101/00 20060101ALN20210930BHJP

   B62D 113/00 20060101ALN20210930BHJP

【ＦＩ】

   B62D6/00

   B62D1/04

   B60R11/02 C

   B60K35/00 A

   B60K35/00 Z

   B60K37/00 E

   B62D101:00

   B62D113:00

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2017-190858(P2017-190858)

(22)【出願日】2017年9月29日

(65)【公開番号】特開2019-64407(P2019-64407A)

(43)【公開日】2019年4月25日

【審査請求日】2020年8月11日

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】特許業務法人青海特許事務所

(72)【発明者】

【氏名】鳥居 武史

(72)【発明者】

【氏名】佐藤 能英瑠

【審査官】 鈴木 貴晴

(56)【参考文献】

【文献】 特開２００７−００８２６８（ＪＰ，Ａ）

【文献】 特開２０１０−０２０６１８（ＪＰ，Ａ）

【文献】 特開２００８−２７３３７６（ＪＰ，Ａ）

【文献】 特開２００２−０２５０００（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６２Ｄ １／００− １／１１，

１／１２− １／１４，

６／００− ６／１０

Ｇ０８Ｇ １／００− ９／０２

Ｂ６０Ｒ １１／００，１１／０２，

１１／０４，１１／０６

Ｂ６０Ｋ ３５／００−３７／０６

(57)【特許請求の範囲】

【請求項1】

運転者の疲労度を推定する疲労度推定部と、
ステアリングホイールの操作に応じて移動する表示物の表示を制御し、前記疲労度に応じて、前記ステアリングホイールの動きに対する前記表示物の動きを制御する表示制御部と、
を備え、
前記表示制御部は、前記疲労度が所定のしきい値以上の場合は、前記ステアリングホイールの動きに対して前記表示物の動きが速くなるように前記表示物の表示を制御することを特徴とする、運転支援装置。

【請求項2】

運転者の疲労度を推定する疲労度推定部と、
ステアリングホイールの操作に応じて移動する表示物の表示を制御し、前記疲労度に応じて、前記ステアリングホイールの動きに対する前記表示物の動きを制御する表示制御部と、
前記ステアリングホイールの操舵角速度を算出する操舵角速度算出部と、
を備え、
前記表示制御部は、前記疲労度に応じて、前記操舵角速度に対する前記表示物の角速度を制御することを特徴とする、運転支援装置。

【請求項3】

前記疲労度推定部は、心拍センサが検出した前記運転者の心拍に基づいて前記疲労度を推定することを特徴とする、請求項１又は２に記載の運転支援装置。

【請求項4】

前記疲労度推定部は、前記運転者を撮像して得られる画像情報に基づいて前記疲労度を推定することを特徴とする、請求項１又は２に記載の運転支援装置。

【請求項5】

前記疲労度推定部は、車外から得られる情報に基づいて前記疲労度を推定することを特徴とする、請求項１又は２に記載の運転支援装置。

【請求項6】

前記疲労度推定部は、渋滞情報に基づいて前記疲労度を推定することを特徴とする、請求項５に記載の運転支援装置。

【請求項7】

前記疲労度推定部は、道路状況を示す前記情報に基づいて前記疲労度を推定することを特徴とする、請求項５に記載の運転支援装置。

【請求項8】

前記疲労度推定部は、操舵に関するパラメータに基づいて前記疲労度を推定することを特徴とする、請求項１又は２に記載の運転支援装置。

【請求項9】

前記表示物は、前記ステアリングホイールに表示され、前記ステアリングホイールの円周に沿って移動することを特徴とする、請求項１〜８のいずれかに記載の運転支援装置。

【請求項10】

前記表示物は、車両の運転者の前方のダッシュパネル又はフロントガラスに表示されることを特徴とする、請求項１〜８のいずれかに記載の運転支援装置。

【請求項11】

運転者の疲労度を推定する第１ステップと、
ステアリングホイールの操作に応じて移動する表示物の表示を制御し、前記疲労度に応じて、前記ステアリングホイールの動きに対する前記表示物の動きを制御する第２ステップと、
を備え、
前記第２ステップにおいて、前記疲労度が所定のしきい値以上の場合は、前記ステアリングホイールの動きに対して前記表示物の動きが速くなるように前記表示物の表示を制御することを特徴とする、運転支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援装置及び運転支援方法に関する。

【背景技術】

【0002】

従来、下記の特許文献１には、算出された必要操舵量と検出されたステアリングホイール１の現在の操舵量とに基づいて、ステアリングホイールの操作と独立して動く視覚パターンＰ２を、車両のステアリングホイールの操作に連動して動く視覚パターンＰ１に対して動かすことが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６−２９８１９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術は、走行車線の車線中央に対する現在の自車両の横変位量から、自車両が車線中央上を走行するのに要求される必要操舵量を算出し、必要操舵量から現在の操舵量を減算した値に基づいて視覚パターンを動かしている。しかし、このような手法では、自車両が車線中央を走行するように運転者に視覚的な錯覚を与えることはできるものの、運転者の状態に応じて最適な操舵感を与えることは困難である。

【0005】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、運転者の状態に応じて最適な操舵感を与えることが可能な、新規かつ改良された運転支援装置及び運転支援方法を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある観点によれば、転者の疲労度を推定する疲労度推定部と、ステアリングホイールの操作に応じて移動する表示物の表示を制御し、前記疲労度に応じて、前記ステアリングホイールの動きに対する前記表示物の動きを制御する表示制御部と、を備え、前記表示制御部は、前記疲労度が所定のしきい値以上の場合は、前記ステアリングホイールの動きに対して前記表示物の動きが速くなるように前記表示物の表示を制御する、運転支援装置が提供される。また、上記課題を解決するために、本発明の別の観点によれば、運転者の疲労度を推定する疲労度推定部と、ステアリングホイールの操作に応じて移動する表示物の表示を制御し、前記疲労度に応じて、前記ステアリングホイールの動きに対する前記表示物の動きを制御する表示制御部と、前記ステアリングホイールの操舵角速度を算出する操舵角速度算出部と、を備え、前記表示制御部は、前記疲労度に応じて、前記操舵角速度に対する前記表示物の角速度を制御する、運転支援装置が提供される。

【0007】

また、前記表示物は、前記ステアリングホイールに表示され、前記ステアリングホイールの円周に沿って移動するものであっても良い。

【0010】

また、前記疲労度推定部は、心拍センサが検出した前記運転者の心拍に基づいて前記疲労度を推定するものであっても良い。

【0011】

また、前記疲労度推定部は、前記運転者を撮像して得られる画像情報に基づいて前記疲労度を推定するものであっても良い。

【0012】

また、前記疲労度推定部は、車外から得られる情報に基づいて前記疲労度を推定するものであっても良い。

【0013】

また、前記疲労度推定部は、渋滞情報に基づいて前記疲労度を推定するものであっても良い。

【0014】

また、前記疲労度推定部は、道路状況を示す前記情報に基づいて前記疲労度を推定するものであっても良い。

【0015】

また、前記疲労度推定部は、操舵に関するパラメータに基づいて前記疲労度を推定するものであっても良い。

【0016】

また、前記表示物は、車両の運転者の前方のダッシュパネル又はフロントガラスに表示されるものであっても良い。

【0017】

また、上記課題を解決するために、本発明の別の観点によれば、運転者の疲労度を推定する第１ステップと、ステアリングホイールの操作に応じて移動する表示物の表示を制御し、前記疲労度に応じて、前記ステアリングホイールの動きに対する前記表示物の動きを制御する第２ステップと、を備え、前記第２ステップにおいて、前記疲労度が所定のしきい値以上の場合は、前記ステアリングホイールの動きに対して前記表示物の動きが速くなるように前記表示物の表示を制御する、運転支援方法が提供される。

【発明の効果】

【0018】

以上説明したように本発明によれば、運転者の状態に応じて最適な操舵感を与えることが可能となる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態に係る運転支援システムの構成を示す模式図である。

【図2】表示装置によりステアリングホイール上に模様を表示した状態を示す模式図である。

【図3】表示装置によりステアリングホイール上に模様を表示した状態を示す模式図である。

【図4】表示装置をプロジェクターから構成した場合に、プロジェクターの配置位置を示す模式図である。

【図5】表示装置がステアリングホイールに設けられた例を示す模式図である。

【図6】ドライバによるステアリングホイールの実際の操作量に対して、ステアリングホイール上の模様の動き（反応量）を変化させた場合に、ドライバの操舵感が変化する様子を実験で求めた特性図である。

【図7】ドライバセンサがドライバを撮影している状態を示す模式図である。

【図8】ドライバの口が開いているか否かを判定する開口検知を示す模式図である。

【図9】ドライバ目が閉じているか否かを判定する様子を示す模式図である。

【図10】ドライバ状態判定部によりドライバの顔の表情を判定する手法を示す模式図である。

【図11】本実施形態の運転支援システムで行われる処理を示すフローチャートである。

【図12】ＨＵＤ装置によりフロントガラス上に模様を表示した例を示す模式図である。

【図13】ＨＵＤ装置によりフロントガラス上に模様を表示した例を示す模式図である。

【発明を実施するための形態】

【0020】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0021】

図１は、本発明の一実施形態に係る運転支援システム１０００の構成を示す模式図である。運転支援システム１０００は、基本的には自動車などの車両に構成されるシステムである。図１に示すように、運転支援システム１０００は、心拍センサ１００、車両センサ１５０、操舵角センサ２００、車外センサ３００、ドライバセンサ３５０、制御装置４００、表示装置５００、ＨＵＤ装置６００、パワーステアリング装置７００、通信装置８００、ナビゲーション装置９００を有して構成されている。

【0022】

心拍センサ１００は、例えばドライバが操作するステアリングホイール、ドライバが着座するシート等に設けられ、ドライバの心拍を検出する。心拍センサ１００が検出したドライバ２０の心拍は、制御装置４００に送られる。心拍センサ１００は、時計型デバイスなどのウェアラブルデバイスであっても良い。この場合、心拍センサ１００は、検出した心拍を制御装置４００へ無線で送信する。

【0023】

車両センサ１５０は、車両の速度、車両の加速度、車軸（ドライブシャフトなど）の角速度などの車両情報を検出する各種センサを含む。なお、これらの車両情報は一般的に車両内のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）で通信されるため、車両センサ１００は、ＣＡＮからこれらの車両情報を取得するものであっても良い。操舵角センサ２００は、ドライバ（運転者）によるステアリングホイールの操作を検出する。

【0024】

車外センサ３００は、ステレオカメラ、単眼カメラ、ミリ波レーダ、赤外線センサ等から構成され、自車両周辺の人や車両などの位置、速度を測定する。車外センサ３００がステレオカメラから構成される場合、ステレオカメラは、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を有する左右１対のカメラを有して構成され、車両外の外部環境を撮像し、撮像した画像情報を制御装置４００へ送る。一例として、ステレオカメラは、色情報を取得可能なカラーカメラから構成され、車両のフロントガラスの上部に設置される。

【0025】

ドライバセンサ３５０は、カメラ、視線センサ、モーションセンサ等から構成され、ドライバ（運転者）の顔を検出する。また、ドライバセンサ３５０は、ドライバの頭や腕の動き、視線方向などを測定する。ドライバセンサ３５０がカメラから構成される場合、カメラが撮像した画像を画像処理することで、ドライバの顔、ドライバの頭や腕の動き、視線方向などが取得される。また、ドライバセンサ３５０が視線センサから構成される場合、角膜反射法などの方法により視線検出を行う。

【0026】

制御装置４００は、運転支援システム１０００の全体を制御する構成要素であって、本実施形態に係る運転支援装置として機能する。表示装置５００は、ステアリングホイール上に模様を映し出す装置である。一例として、表示装置５００は、プロジェクターから構成され、ステアリングホイールに模様を投影する。また、表示装置５００は、液晶表示装置（ＬＣＤ）等から構成され、ステアリングホイールに設けられるものであっても良い。

【0027】

ＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）装置６００は、人間の視野に直接情報を映し出す表示装置であって、自動車のフロントガラスやリヤガラスなどのガラス上に実像を表示する。パワーステアリング装置７００は、ドライバ（運転者）によるステアリングホイールの操舵に応じて操舵をアシストする駆動力（アシスト力）を発生し、車両の前輪を転舵する装置である。

【0028】

通信装置８００は、車両外部と通信を行い、渋滞情報、道路情報などの各種情報を受信する。ナビゲーション装置９００は、地図情報に基づいて、現在地から目的地までの経路を検索する。このため、ナビゲーション装置９００は、グローバル・ポジショニング・システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等により車両の現在位置を取得することができる。また、ナビゲーション装置９００は現在地まで車両が走行してきた経路を記憶している。

【0029】

図２及び図３は、表示装置５００によりステアリングホイール１０上に模様（表示物）１２を表示した状態を示す模式図である。ここで、図２は、ステアリングホイール１０の円周に沿って縞状（帯状）の模様１２を表示した例を示している。また、図３は、ステアリングホイール１０の円周に沿って矢印形状の模様１２を表示した例を示している。一例として、図２及び図３では、黒色のステアリングホイール１０に対し、白色の模様１２を表示した状態を示している。白色のステアリングホイール１０に対して黒色の模様１２を表示するなど、ステアリングホイール１０と模様１２の色は任意に選択できる。

【0030】

図４は、表示装置５００をプロジェクター５０２から構成した場合に、プロジェクター５０２の配置位置を示す模式図である。図４は、助手席側からドライバ２０を見た状態を示している。図４に示すように、プロジェクター５０２は、例えば車両の天井に装着されており、ステアリングホイール１０に向けて光を照射し、ステアリングホイール１０に模様１２を表示する。

【0031】

図５は、表示装置５００がステアリングホイール１０に設けられた例を示す模式図である。この場合、表示装置５００は、ステアリングホイール１０の形状に倣った曲面の表示面を有する液晶表示装置５０４から構成される。

【0032】

模様１２は、ドライバ２０によるステアリングホイール１０の操作に対応して、操作と同じ方向に移動するように表示される。つまり、模様１２は、ステアリングホイール１０の円周方向に沿って、ステアリング操作と同じ方向に移動する。具体的に、本実施形態では、ドライバ２０の操作によるステアリングホイール１０の実際の操舵速度に対して、ステアリングホイール１０上での模様１２の動く速さを変更することで、ステアリングホイール１０の操舵力感を変化させる。

【0033】

ステアリングホイール１０の実際の操舵速度に対して、ステアリングホイール１０上で模様１２が動く速度の方が大きければ、ドライバ２０によるステアリングホイール１０の操舵力感は軽く感じられる。一方、ステアリングホイール１０の実際の操舵速度に対して、ステアリングホイール１０上で模様１２が動く速度の方が小さければ、ドライバ２０によるステアリングホイール１０の操舵力感は重く感じられる。

【0034】

図６は、ドライバ２０によるステアリングホイール１０の実際の操作量に対して、ステアリングホイール１０上の模様１２の動き（反応量）を変化させた場合に、ドライバ２０の操舵感が変化する様子を実験で求めた特性図である。図６では、ドライバ２０によるステアリングホイール１０の実際の操作量に対する、ステアリングホイール１０上の模様の動き（反応量）の比を横軸とし、ドライバ２０の操舵に関する評価によって得られた間隔尺度値を縦軸として示している。

【0035】

この実験では、模擬装置を用いて、ステアリングホイール１０の操作量を反映して変化する映像を実験参加者の前方のスクリーン上に表示した。具体的には、ステアリングホイール１０上に一定間隔の黒い縞状の模様１２を表示し、ステアリングホイール１０の操作量に応じて模様１２が追従して動くように、模様１２をステアリングホイール１０上に表示した。模様１２は、幅約０．３ｃｍの黒色の線が約２．０ｃｍ間隔でステアリングホイール１０に沿って円周上に配置されたものとした。

【0036】

図６の横軸において、ステアリングホイール１０の実際の操作量に対する、ステアリングホイール１０上の模様１２の動き（反応量）の比が１００％の場合は、ステアリングホイール１０の実際の操作量と模様１２の動きが一致している状態を示している。このように、操作量と反応量が一対一の関係にある場合は、ステアリングホイール１０と模様１２が全く同じ動きをしているように観察されることになる。図６の縦軸に示す感覚尺度は、実験参加者が、操作量と反応量が一対一の関係にある場合の操舵力感を０とし、それよりも操舵力感が重いと感じられる場合は重いほどプラス側の数値が大きくなるように数値を選択し、操舵力感が軽いと感じられる場合は軽いほどマイナス側の数値が大きくなるように数値を選択して得られた値である。

【0037】

実験条件として、この操作量と反応量の比に基づいて、１００％を基準として、２５％、５０％、２００％、４００％の合計５つの水準を設定した。具体的には、操作量に対する反応量の比が２５％、５０％、２００％、４００％のそれぞれの場合について、ステアリングホイール１０を９０度回転させた際に、模様１２がステアリングホイール１０と同じ方向に２２．５度、４５度、１８０度、３６０度回転することになる。また、実験参加者の前方に左右に振幅運動する指標を提示するとともに、ステアリングホイール１０の往復運動によって左右に動くカーソルを表示し、カーソルでその指標を追従させる課題を実験参加者へのタスクとして設定した。ステアリングホイール１０の移動量は３種類設定し、ランダムに呈示した。なお、総移動量は統一した。指標の動きとして２つの条件を連続して提示し、１５名の実験参加者によって一対比較法による反力の評価を行なった。

【0038】

その結果、図６に示すように、模様１２の動きが増加してステアリングホイール１０の実際の操作量に対する模様１２の動き（反応量）の比が増加するに伴い、反力感が低下すること、つまり反応量の増加に伴い操舵が軽く感じられることが分かった。図６に示すように、模様の動き（反応量）が増加して、ステアリングホイール１０の実際の操作量に対する反応量の比が大きくなるほど、操舵に関する感覚の尺度が低下していることが分かる。つまり、反応量の増加に伴い操舵力感が軽く感じられ、反応量の減少に伴い操舵力感が重く感じられることが分かる。

【0039】

従って、ドライバ２０の操作によるステアリングホイール１０の実際の操舵速度に対して、ステアリングホイール１０上での模様１２が動く速度を変更することで、ステアリングホイール１０の操舵力感を変化させることが可能である。これにより、複雑な構造を必要とせずにステアリングホイール１０の操舵力感を変化させることができるため、ドライバ２０がステアリング操作を最適に行うことが可能となる。

【0040】

特に、本実施形態では、ドライバ２０の疲労度に応じて、ステアリングホイール１０の実際の操舵速度に対する模様１２の動く速度を変更する。このため、制御装置４００は、環境情報取得部４０２、環境状態判定部４０４、ドライバの状態を判定するドライバ状態判定部４０５、ドライバ２０の疲労度を推定する疲労度推定部４０６、操舵角センサ２００の検出値からドライバ２０がステアリングホイール１０を操作した際の操舵角速度を算出する操舵角速度算出部４０８、ドライバ２０の疲労度に基づいて模様１２の動きを制御する表示制御部４１０、を有して構成されている。なお、図１に示す制御装置４００の各構成要素は回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。

【0041】

環境情報取得部４０２は、車外センサ３００を構成するステレオカメラの左右１組のカメラによって撮像した左右１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって対象物までの距離情報を生成して取得することができる。同時に、環境情報取得部４０２は、画像情報から被写体の位置情報を取得することができる。また、環境情報取得部４０２は、三角測量の原理によって生成した距離情報に対して、周知のグルーピング処理を行い、グルーピング処理した距離情報を予め設定しておいた三次元的な立体物データ等と比較することにより、立体物データや白線データ等を検出する。これにより、制御装置４００は、人物、他車両、一時停止の標識、停止線、ＥＴＣゲートなどを認識することもできる。

【0042】

また、環境情報取得部４０２は、三角測量の原理によって生成した人物、他車両との距離情報を用いて、人物や他車両との距離の変化量、相対速度を算出することができる。距離の変化量は、単位時間ごとに検知されるフレーム画像間の距離を積算することにより求めることができる。また、相対速度は、単位時間ごとに検知される距離を当該単位時間で割ることにより求めることができる。

【0043】

このように、環境情報取得部４０２は、車外センサ３００から得られる車両外の画像情報を取得して画像分析処理を行い、画像情報の分析結果から車両外の環境情報を取得する。

【0044】

環境状態判定部４０４は、環境情報取得部４０２が取得した環境情報に基づいて、車両外の環境情報を判定する。特に、環境状態判定部４０４は、車両周辺に人、車両、その他の物体などの障害物が存在するか否か、および、車両周辺に存在する人、車両、その他の物体などの障害物の数を判定する。

【0045】

疲労度推定部４０６は、心拍センサ１００、車外センサ３００、ドライバセンサ３５０が検知した情報に基づいてドライバ２０の疲労度を推定する。また、疲労度推定部４０６は、通信装置８００が外部から受信した情報に基づいて、ドライバ２０の疲労度を推定する。以下では、疲労度推定部４０６がドライバ２０の疲労度を推定する方法について説明する。

【0046】

心拍センサ１００が検知した情報に基づいてドライバ２０の疲労度を推定する場合、心拍変動の時系列データの高周波成分（ＬＨ）と低周波成分（ＬＦ）の割合（ＬＦ／ＬＨ）から疲労度を推定する。具体的に、交感神経と副交感神経の緊張状態のバランスによって、心拍変動への高周波成分（ＬＨ）の変動波と低周波成分（ＬＦ）の変動波の現れる大きさが変わってくることが知られている。従って、これを利用して心拍変動から自律神経のバランスを推定することができる。なお、高周波成分（ＬＨ）は交換神経系成分に対応し、低周波成分（ＬＦ）は副交感神経系成分に対応する。疲労度は、交感神経と副交感神経の緊張の程度、バランスから求めることができ、交感神経が緊張状態にあれば「ストレス状態」で疲労していると推定でき、反対に、副交感神経が緊張状態にあれば「リラックス状態」と推定することができる。つまり、高周波成分（ＬＨ）と低周波成分（ＬＦ）の割合（ＬＦ／ＬＨ）は、疲労度が増すほど低下する。

【0047】

従って、疲労度推定部４０２は、心拍変動の時系列データの高周波成分（ＬＨ）と低周波成分（ＬＦ）の割合（ＬＨ／ＦＨ）に基づいて、ドライバ２０の疲労度を推定することができる。

【0048】

車外センサ３００が検知した情報に基づいてドライバ２０の疲労度を推定する場合、疲労度推定部４０６は、環境情報取得部４０２が取得した情報に基づいて環境状態判定部４０４が判定した車両周辺の人、車両、その他の物体などの障害物の数を取得する。車両周辺に存在する障害物の数が多いほど、ドライバ２０は障害物に気を使いながら運転を行うことになる。従って、疲労度推定部４０６は、障害物の数が多いほど、ドライバ２０の疲労度が高いものと推定する。

【0049】

図７は、ドライバセンサ３５０が検知した情報に基づいてドライバ２０の疲労度を推定する場合であって、ドライバセンサ３５０がカメラから構成される場合に、ドライバセンサ３５０がドライバ２０を撮影している状態を示す模式図である。図７に示すように、ドライバセンサ３５０は、一例としてステアリングコラム３５２の上部に設置される。

【0050】

ドライバセンサ３５０がカメラから構成される場合、ドライバセンサ３５０によって撮影された画像は、制御装置４００に入力される。疲労度推定部４０６は、入力画像から目、鼻、口など顔の各部位の特徴点の位置情報を検知し、位置情報に基づいて眠気、居眠りなど前方不注意の可能性などドライバの状態を判定する。

【0051】

図８は、ドライバの口が開いているか否かを判定する開口検知を示す模式図である。図８に示すように、口の上下の特徴点間の距離Ｄ１から口の開閉状態を判定し、特徴点間の距離Ｄ１が所定値を超える場合（図８に示す開口状態）では、ドライバの口が開いている可能性があり、あくびの可能性があると判定することができる。また、例えば開口状態のまま一定時間が経過する状況が複数回検知される場合は、居眠りの危険性が増大していると判断できる。

【0052】

図９は、ドライバ目が閉じているか否かを判定する様子を示す模式図である。図９に示すように、目の上下の特徴点間の距離Ｄ２から目が閉じていることを検知し、特徴点間の距離Ｄ２が所定値以下の場合（図９に示す目閉じ状態）では、居眠りの可能性があると判定することができる。居眠りをしているか否かの判定は、例えば基準時間に対して目が閉じている時間の比率（閉眼率）が所定のしきい値を超えたか否かによって判定することができる。また、目閉じ検知が複数回検知されると居眠りの危険性が増大していると判断できる。また、画像処理により瞬きを検出し、瞬きの回数に基づいて居眠りをしているか否かの判定を行っても良い。図８、図９に関連するこれらの判定は、ドライバ状態判定部４０５によって行われる。疲労度推定部４０６は、ドライバ状態判定部４０５による判定結果に基づいてドライバ２０の疲労度を推定する。

【0053】

ドライバセンサ３５０が検知した情報に基づいてドライバ２０の疲労度を推定する場合に、顔の表情に基づいて疲労度を判定することもできる。この場合、ドライバ状態判定部４０５によりドライバ２０の顔の表情を判定する。予め疲労状態を定義した顔画像と、現状の顔画像とを比較し、比較の結果に応じて疲労度を推定する。主観評価によって数段階の疲労度を定義した人物の複数の顔画像を教師データとして学習させ、ドライバの現在の顔画像を入力して対比し、疲労度を判定する。

【0054】

図１０は、予め疲労状態を定義した顔画像に基づいて疲労度推定部４０６が疲労度を推定する手法を示す模式図である。図１０に示すように、顔の表情の画像情報と、各画像情報に対応する疲労度（疲労度１〜４）とが対応付けられて制御装置４００内のメモリ等に予め保持されている。ドライバ状態判定部４０５は、ドライバセンサ３５０から取得したドライバ２０の顔の画像情報と、予め保持している図１０に示す画像情報とをブロックマッチング等の方法により対比し、図１０に示す画像情報の中からドライバ２０の画像情報との類似度が高いものを抽出し、抽出した画像情報に対応する疲労度に基づいてドライバ２０の疲労度を判定する。

【0055】

また、通信装置８００が外部から受信した情報に基づいて、ドライバ２０の疲労度を推定する場合、疲労度推定部４０６は、通信装置８００が受信した車両周辺の交通量、渋滞情報に基づいてドライバの疲労度を推定する。例えば、車両周辺の交通量が多いほど、ドライバ２０の疲労度が高いことが推定できる。また、車両周辺の道路に渋滞が発生している場合は、渋滞の度合いに応じてドライバ２０の疲労度を推定することができる。この場合、渋滞している距離が長いほど、ドライバの疲労度が高いことが推定できる。

【0056】

また、疲労度推定部２０６は、通信装置８００が受信した車両周辺の道路情報等に基づいてドライバの疲労度を推定する。例えば、車両周辺の道路情報に基づいて、道路が狭かったり、カーブが連続している場合は、ドライバ２０の疲労度が高いことが推定できる。

【0057】

また、疲労度推定部２０６は、ナビゲーション装置９００から得られる情報に基づいて、現在位置まで走行した経路の道路情報、または、これから目的地に向けて走行する経路の道路情報に基づいて、ドライバの疲労度を推定することもできる。例えば、現在位置まで走行した経路または目的地に向けて走行する経路において、所定区間内におけるカーブ区間の割合が高いほど、ドライバ２０の疲労度が高いことが推定できる。

【0058】

また、疲労度推定部２０６は、操舵角速度から操舵角加速度を算出し、一定時間内に操舵角加速度が所定のしきい値を超えた回数に基づいてドライバ２０の疲労度を推定することもできる。操舵角加速度が所定のしきい値を超えた回数が多いほど、急激なステアリング操作が行われている度合いが高くなる。つまり、一定時間内に操舵角加速度が所定のしきい値を超えた回数に基づいて操舵の滑らかさを判定することができ、これに基づいてドライバ２０の疲労度を推定することが可能である。

【0059】

以上のようにして疲労度推定部２０６によりドライバ２０の疲労度が推定されると、表示制御部４１０は、ドライバ２０の疲労度に応じて、実際の操舵速度に対する模様１２の動く速度を変更する。

【0060】

ドライバ２０の操作によるステアリングホイール１０の実際の操舵速度は、操舵角センサ２００の検出値から求めることができる。操舵角速度算出部４０８は、操舵角センサ２００による操舵角の検出値に基づいて、所定の周期毎にステアリングホイール１０の操舵角速度を求める。例えば、所定の周期を５００［ｍｓ］とした場合、５００［ｍｓ］の間にθ［ｒａｄ］だけ操舵角が変化した場合は、操舵角速度はθ／０．５＝２θ［ｒａｄ／ｓ］となる。

【0061】

表示制御部４１０は、操舵角速度算出部４０８が算出した操舵角速度に対し、ステアリングホイール１０上で模様１２が動く速さを制御し、模様１２をステアリングホイール１０上に表示するように表示装置５００を制御する。模様１２が動く速さは、表示制御部４１０により、上述した所定の周期毎に制御される。ステアリングホイール１０の実際の操舵速度に対して模様１２の動きを速くする場合は、操舵角速度算出部１０が算出した操舵角速度よりもステアリングホイール１０上で動く模様１２の角速度が速くなるように模様１２の表示が制御される。また、ステアリングホイール１０の実際の操舵速度に対して模様１２の動きを遅くする場合は、操舵角速度算出部４１０が算出した操舵角速度よりもステアリングホイール１０上で動く模様１２の角速度が遅くなるように模様１２の表示が制御される。これにより、実際のステアリングホイール１０の操舵角速度に対して、模様１２の動きを速くしたり遅くしたりすることが可能となる。

【0062】

また、制御装置４００は、ドライバ２０の疲労度に応じて、パワーステアリング装置７００による転舵のアシスト力を制御しても良い。この場合、制御部４００は、疲労度が大きい場合は疲労度が小さい場合に比べてアシスト力が大きくなるように制御を行う。

【0063】

図１１は、本実施形態の運転支援システム１０００で行われる処理を示すフローチャートである。図１１の処理は、主に制御装置４００において所定の周期毎に行われる。図１１の処理では、疲労度推定部４０６が推定したドライバの疲労度に基づいて、模様１２の動きを変化させる。具体的に、ドライバ２０の疲労度が高い場合は、模様１２の動きを速くして操舵感を軽く感じさせる。また、ドライバ２０の疲労度が低い場合は、模様１２の動きを遅くし、操舵感を重く感じさせ、操舵感を向上させても良い。

【0064】

先ず、ステップＳ１０では、疲労度推定部４０６がドライバの疲労度を推定する。次のステップＳ１２では、ドライバ２０がステアリングホイール１０を操作した際の速度（操舵角速度）が取得される。

【0065】

次のステップＳ１４では、ドライバ２０の疲労度が一定値以上であるかを判定する。具体的に、疲労度推定部４０６は、推定した疲労度を数値化（規格化）して疲労度レベルを求め、疲労度レベルが所定のしきい値ｘよりも大きいか否かを判定する。

【0066】

ステップＳ１４で疲労度が一定値以上の場合は、ステップＳ１６へ進み、ステアリングホイール１０上に模様１２を表示させる。一方、ステップＳ１４で疲労度が一定値以上でない場合は、処理を終了する。

【0067】

ステップＳ１６の後はステップＳ１８へ進み、ドライバ２０のステアリングホイール１０の操作による操舵角が一定値以上であるか否かを判定する。具体的に、ステップＳ１８では、操舵角センサ２００から得られる操舵角の情報に基づいて、操舵角が所定のしきい値θｔｈを超えているか否かを判定する。

【0068】

ステップＳ１８で操舵角が所定のしきい値θｔｈを超えている場合は、ステップＳ２０へ進む。ステップＳ２０へ進んだ場合は、操舵角が所定のしきい値θｔｈを超えているため、ドライバ２０によりステアリングホイール１０が操作されていると判断できる。このため、ステップＳ２０では、ドライバ２０の操作によるステアリングホイール１０の実際の操舵角速度に対して、ステアリングホイール１０上で模様１２が動く際の角速度が速くなるように模様１２の動きが制御される。ステップＳ２０の後は処理を終了する。また、ステップＳ１８で操舵角が所定のしきい値θｔｈを超えていない場合は、処理を終了する。

【0069】

以上のように、ドライバ２０の疲労度が一定値以上の場合、ステアリングホイール１０の操舵感を軽くしてステアリング操作をし易くすることが望ましい。このため、ステップＳ１４では、ドライバ２０の疲労度が一定値以上であるかを判定する。制御装置４００の疲労度推定部２０６は、疲労度レベルが所定のしきい値ｘよりも大きいか否かを判定する。そして、制御装置４００の表示制御部４１０は、疲労度レベルが所定のしきい値ｘよりも大きい場合は、ステアリングホイール１０の実際の操舵速度に対して、ステアリングホイール１０上での模様１２が動く速度を速くするように制御を行う。これにより、ドライバ２０がステアリングホイール１０を操作した際に、ドライバ２０が体感する操舵感が軽くなり、ドライバ２０が疲労状態であってもステアリング操作を軽快に行うことが可能となる。これにより、ドライバ２０の疲労時においても安定して車両を運転することが可能となる。

【0070】

なお、上述した実施形態では、模様１２をステアリングホイール１０上に表示する例を示したが、模様１２をステアリングホイール１０以外の場所に表示しても良い。例えば、ダッシュパネルや、フロントガラスに模様１２を表示しても良い。図１２は、ＨＵＤ装置６００によりフロントガラス６０２上に模様１２を表示した例を示す模式図である。ＨＵＤ装置６００は、表示制御部４１０の制御により、ドライバ２０の操作によるステアリングホイール１０の実際の操舵速度に対して、フロントガラス６０２上での模様１２の動く速さを変更することで、ステアリングホイール１０の操舵力感を変化させる。

【0071】

具体的に、図１２に示す模様１２は、ステアリングホイール１０と同心円上に配置されており、ステアリングホイール１０の実際の操舵角速度に対してステアリングホイール１０の回転中心軸を中心とする模様１２の角速度が制御される。これにより、模様１２をステアリングホイール１０上に表示した場合と同様に、フロントガラス６０２上で模様１２の動きを制御することで、ドライバ２０の操舵力感を最適にすることが可能となる。

【0072】

また、図１３に示すように、ＨＵＤ装置６００によりフロントガラス６０２上に水平方向に移動する模様１２を表示しても良い。この場合、ステアリングホイール１０の操舵角速度と対応する模様１２の基準の速度を設定し、ドライバ２０の操作によるステアリングホイール１０の実際の操舵角速度に対して、フロントガラス６０２上で模様１２が動く速度を基準の速度に対して変更する。これにより、模様１２を円周方向に移動させる場合と同様に、操舵力感を調整することが可能である。

【0073】

以上説明したように本実施形態によれば、ドライバ２０の疲労度を推定し、疲労度が所定のしきい値を超える場合は、ステアリングホイール１０に模様１２を表示し、実際のステアリングホイール１０の操舵角速度よりも模様１２の動きが速くなるように制御を行う。これにより、ドライバ２０の操舵力感を低下することができ、ドライバ２０が疲労している場合であってもステアリング操作を促進することが可能となる。

【0074】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0075】

１０ ステアリングホイール
１２ 模様
４００ 制御装置
４０６ 疲労度推定部
４０８ 操舵角度算出部
４１０ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】