特許 7149749 運転支援装置、及び運転支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】運転支援装置、及び運転支援方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220930BHJP

【ＦＩ】

G08G1/16 F

【請求項の数】 7

(21)【出願番号】P 2018132956

(22)【出願日】2018-07-13

(65)【公開番号】P2020013182

(43)【公開日】2020-01-23

【審査請求日】2021-02-08

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110000198

【氏名又は名称】弁理士法人湘洋特許事務所

(72)【発明者】

【氏名】古郡 弘滋

【審査官】貞光 大樹

(56)【参考文献】

【文献】特開２００７－２８０３５２（ＪＰ，Ａ）

【文献】中国特許出願公開第１０１０８９９０６（ＣＮ，Ａ）

【文献】特開２０１１－１４８３６９（ＪＰ，Ａ）

【文献】特開２００２－２５４９５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

ステアリングホイールを介して運転者の方向にＩＲ光を照射するＩＲ投光部と、
前記ＩＲ光が所定位置で反射した反射光を受光し、受光量に応じたＩＲ信号を生成するＩＲ受光部と、
前記ＩＲ信号に基づいて前記ステアリングホイールに対する操舵を検知する操舵検知部と、
前記運転者を撮像して画像を生成する撮像部と、
前記画像に基づいて前記運転者の顔の向きを認識する画像認識部と、
前記操舵の検知結果と、認識された前記運転者の顔の向きとに基づいて前記運転者の脇見運転の有無を判定する判定部と、
前記運転者の前記脇見運転の有無の判定結果に従い、前記脇見運転に対する警告を出力する出力部と、
を備え、
前記ＩＲ受光部は、ステアリングコラムに配置され、前記ＩＲ光が前記ステアリングホイールのスポークで反射した反射光を受光し、受光量に応じた前記ＩＲ信号を生成する
ことを特徴とする運転支援装置。

【請求項2】

請求項１に記載の運転支援装置であって、
前記ＩＲ受光部は、左右に分離して前記ステアリングコラムに配置され、前記ＩＲ光が前記ステアリングホイールのスポークで反射した反射光を受光し、受光量に応じた前記左右に対応する２ＣＨ分の前記ＩＲ信号を生成し、
前記操舵検知部は、前記２ＣＨ分の前記ＩＲ信号に基づいて前記ステアリングホイールに対する操舵の方向を検知する
ことを特徴とする運転支援装置。

【請求項3】

請求項１に記載の運転支援装置であって、
前記出力部は、前記運転者の前記脇見運転の有無の判定結果に従い、前記脇見運転に対する警告として、アラート出力、及び振動発生のうちの少なくとも１つを実行させる
ことを特徴とする運転支援装置。

【請求項4】

請求項１に記載の運転支援装置であって、
前記出力部は、前記脇見運転に対する警告として、ヘッドレストに配置したスピーカからアラート出力を行い、座席に配置したバイブレータを振動させる
ことを特徴とする運転支援装置。

【請求項5】

請求項１に記載の運転支援装置であって、
前記判定部は、前記操舵の検知結果と、認識された前記運転者の顔の向きとの組み合わせに対して前記脇見運転の有無が対応付けられている判定テーブルを参照することにより、前記運転者の前記脇見運転の有無を判定する
ことを特徴とする運転支援装置。

【請求項6】

請求項１に記載の運転支援装置であって、
前記ＩＲ投光部は、所定の制御信号に対応して変調した前記ＩＲ光を照射する
ことを特徴とする運転支援装置。

【請求項7】

運転支援装置による運転支援方法であって、
ステアリングホイールを介して運転者の方向にＩＲ光を照射するＩＲ投光ステップと、
前記ＩＲ光が所定位置で反射した反射光を受光し、受光量に応じたＩＲ信号を生成するＩＲ受光ステップと、
前記ＩＲ信号に基づいて前記ステアリングホイールに対する操舵を検知する操舵検知ステップと、
前記運転者を撮像して画像を生成する撮像ステップと、
前記画像に基づいて前記運転者の顔の向きを認識する画像認識ステップと、
前記操舵の検知結果と、認識された前記運転者の顔の向きとに基づいて前記運転者の脇見運転の有無を判定する判定ステップと、
前記運転者の前記脇見運転の有無の判定結果に従い、前記脇見運転に対する警告を出力する出力ステップと、を含み、
前記ＩＲ受光ステップは、ステアリングコラムに配置されたＩＲ受光部により、前記ＩＲ光が前記ステアリングホイールのスポークで反射した反射光を受光し、受光量に応じた前記ＩＲ信号を生成する
ことを特徴とする運転支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援装置、及び運転支援方法に関する。

【背景技術】

【0002】

従来、自動車の運転者に対して脇見運転の警告を行う様々な提案がなされている。例えば特許文献1には「運転者の顔を撮影して得られた顔の画像から、運転者状態判定部２１にて運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出し、運転者状態を判定する。その一方、画像処理部３１は、撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算する。そして、報知禁止部３２は、運転者状態の判定結果及びオプティカルフローの計算結果に基づいて、運転者への報知を行うか否かを決定する」運転者状態検出装置１が開示されている。

【0003】

また特許文献1には、撮影された顔の画像にステアリングハンドルが写り込んで運転者の顔を隠すようになった場合、顔の画像に基づく運転者状態の判定を停止することにより誤警告（誤報知）を防ぐ運転者状態検出装置１が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－１８６５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、例えば、道路の交差点等を曲がろうとする運転者が曲がろうしている方向を確認するために顔や視線を進行方向に向けたことに対し、脇見と判断して誤って警告を行ってしまうことがある。このような誤警告を防ぐためには、運転者によるステアリングハンドルの操舵を検知することが重要となる。

【0006】

なお、ステアリングホイールの操舵を検知するには、自動車に備えられているＣＡＮ(Controller Area Network)から操舵角を取得する方法がある。しかしながら、この方法は、コスト高となり易い。

【0007】

一方、特許文献1に記載された運転者状態検出装置１のように、撮影された顔の画像を用いてステアリングホイールの操舵を検知する方法では、運転者による操舵の初動を検知することができない。

【0008】

本発明は、このような状況に鑑みてなされたものであり、脇見運転に対する誤警告を抑止できるようにすることを目的とする。

【課題を解決するための手段】

【0009】

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る運転支援装置は、ステアリングホイールを介して運転者の方向にＩＲ光を照射するＩＲ投光部と、前記ＩＲ光が所定位置で反射した反射光を受光し、受光量に応じたＩＲ信号を生成するＩＲ受光部と、前記ＩＲ信号に基づいて前記ステアリングホイールに対する操舵を検知する操舵検知部と、前記運転者を撮像して画像を生成する撮像部と、前記画像に基づいて前記運転者の顔の向きを認識する画像認識部と、前記操舵の検知結果と、認識された前記運転者の顔の向きとに基づいて前記運転者の脇見運転の有無を判定する判定部と、前記運転者の前記脇見運転の有無の判定結果に従い、前記脇見運転に対する警告を出力する出力部と、を備えることを特徴とする。

【発明の効果】

【0010】

本発明によれば、脇見運転に対する誤警告を抑止することが可能となる。

【0011】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施の形態に係る運転支援装置の構成例を示すブロック図である。

【図2】センシング部の外観の一例を示す正面図である。

【図3】センシング部の配置の例を示す側面図である。

【図4】センシング部の配置の例を示す正面図である。

【図5】ステアリングホイールの操舵角とＩＲ反射量との関係の一例を示す図である。

【図6】脇見運転警告処理の一例を説明するフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明に係る一実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

【0014】

＜本発明の一実施の形態に係る運転支援装置の構成例＞
図１は、本発明の一実施の形態に係る運転支援装置の構成例を示している。該運転支援装置１０は、自動車に設置され、該自動車を運転中の運転者が進行方向以外を見ている状態、いわゆる脇見運転を検知した場合、運転者に対して、例えば、音声やアラーム音等（以下、音声やアラーム音等を一括してアラートと称する）、振動等によって脇見運転警告を実行するものである。

【0015】

運転支援装置１０は、センシング部２０、信号処理部３０、及び警告部４０を備える。

【0016】

センシング部２０は、運転者１（図３）によるステアリングホイール５２（図３）の操作（操舵）と、運転者１の顔の向きを検出するための情報を取得する。センシング部２０は、例えば、自動車のステアリングコラム５１（図３）に配置される。

【0017】

センシング部２０は、ＩＲ投光部２１、ＩＲ受光部２２、ＩＲ制御部２３、撮像部２４、及び撮像制御部２５を有する。ただし、センシング部２０が有する撮像部２４、及び撮像制御部２５については、運転者１の挙動（脇見、余所見、居眠り等を含む）をモニタリングするために自動車に予め設置されているカメラ等を流用してもよい。

【0018】

ＩＲ投光部２１は、ＩＲ制御部２３から入力されるオン・オフ信号に従い、非可視光帯域のＩＲ(infrared)光を運転者１（図３）に向けて照射する。

【0019】

ＩＲ受光部２２は、ＩＲ光に対して感度を有するフォトダイオード等の受光素子から成る。したがって、ＩＲ受光部２２は、ＩＲ投光部２１から照射されたＩＲ光が所定の位置で反射した反射光を受光することができ、受光したＩＲ光の強度を表すＩＲ信号をＩＲ制御部２３に出力することができる。ＩＲ光の反射位置がＩＲ投光部２１から近い場合、反射光の強度は高くなる。反対に、ＩＲ光の反射位置がＩＲ投光部２１から遠い場合、反射光の強度は低くなる。したがって、例えば、ＩＲ投光部２１からのＩＲ光が、運転者１の顔等で反射した場合、反射光の強度は低くなり、ステアリングホイール５２（図３）が操舵（回転）されてスポーク５３（図４）で反射した場合、反射光の強度は高くなる。

【0020】

ＩＲ制御部２３は、ＩＲ投光部２１に対して、ＩＲ光の明滅を制御するためのオン・オフ信号を出力する。なお、通常、該オン・オフ信号は、常時オンの状態でよい。

【0021】

また、ＩＲ制御部２３は、出力部３６から警告部４０を制御するための制御信号が通知された場合、該制御信号に基づいてオン・オフ信号を変調してＩＲ投光部２１に出力する。これにより、ＩＲ投光部２１は、警告部４０に対する制御信号に基づいて明滅するＩＲ光を照射することができる。

【0022】

また、ＩＲ制御部２３は、ＩＲ受光部２２から入力されるＩＲ信号に基づいてＩＲ反射量として、例えば、ＩＲ信号の移動平均を周期的に算出し、算出したＩＲ反射量を信号処理部３０の操舵検知部３２に順次出力する。

【0023】

なお、ＩＲ受光部２２は、ＩＲ受光部２２ＬとＩＲ受光部２２Ｒ（図２）との２ＣＨ（チャンネル）に分離して配置されている。ＩＲ受光部２２Ｌ、２２Ｒそれぞれは、個別にＩＲ信号をＩＲ制御部２３に出力するようになっており、ＩＲ制御部２３は、２ＣＨそれぞれのＩＲ反射量を算出して操舵検知部３２に出力することができる。

【0024】

撮像部２４は、例えば、レンズ、ＩＲ光のみを通過させるＩＲフィルタ、ＣＭＯＳ(Complementary metal-oxide-semiconductor)イメージセンサ等から成る。撮像部２４は、撮像制御部２５からの制御に従い、ＩＲ光が照射された運転者１を所定のフレームレートで撮像し、その結果得られる画素信号を撮像制御部２５に順次出力する。

【0025】

なお、上述したように、ＩＲ投光部２１が警告部４０に対する制御信号として明滅するＩＲ光を照射することを考慮した場合、撮像部２４は、全画素のシャッタタイミングが統一されているグローバルシャッタ方式で撮像を行い、ＩＲ投光部２１は、全画素のシャッタが閉じている期間に、制御信号として明滅するＩＲ光を照射することが望ましい。

【0026】

撮像制御部２５は、撮像部２４を制御する。また、撮像制御部２５は、撮像部２４から入力される画素信号に基づき、運転者１の頭部と胸部を含む半身画像を生成し、信号処理部３０の画像認識部３１に出力する。なお、撮像部２４が撮像する範囲は上述した例に限らない。例えば、撮像部２４は、胸部を含まない頭部のみを撮像し、その結果得られる頭部画像を撮像制御部２５に順次出力するようにしてもよい。

【0027】

信号処理部３０は、センシング部２０からのＩＲ反射量と半身画像とに基づき、運転者１の脇見を検出して脇見運転警告を行う。信号処理部３０は、自動車内の任意の場所に配置される。信号処理部３０は、例えば、ＣＰＵ(Central Processing Unit)、ＲＯＭ（Read Only Memory）、ＲＡＭ(Random Access Memory)、ストレージ等から構成されたコンピュータによって実現できる。

【0028】

信号処理部３０は、画像認識部３１、操舵検知部３２、判定部３３、メモリ部３４、車両情報取得部３５、及び出力部３６を有する。

【0029】

画像認識部３１は、センシング部２０の撮像制御部２５から順次入力される半身画像から、運転者１の顔の向きを認識し、認識結果を判定部３３に出力する。なお、画像認識部３１は、半身画像から運転者１の視線の向き、瞼の開閉具合等を認識することもできる。

【0030】

さらに、画像認識部３１は、半身画像から運転者１が予め登録されている人のうちの誰であるかを特定することができる。特定された運転者１を表す情報は、自動車の各部（例えば、運転席２、ステアリングホイール５２、ドアミラー、ルームミラー、エアコン、ラジオ、音楽プレイヤ等）を特定された運転者１の嗜好に合わせて調整するために用いることができる。

【0031】

操舵検知部３２は、センシング部２０のＩＲ制御部２３から順次入力される２ＣＨ分のＩＲ反射量と、メモリ部３４に保持されているＩＲ反射量閾値とを比較し、その比較結果から、運転者１によるステアリングホイールに対する操舵の初動とその方向（左または右）を検知し、検知結果を判定部３３に出力する。

【0032】

判定部３３は、画像認識部３１による認識結果と、操舵検知部３２による検知結果と、車両情報取得部３５からの車両情報とに基づき、メモリ部３４に予め保持されている判定テーブル（不図示）を参照することによって、運転者１に対して脇見運転警告を実行するか否かを判定する。そして、判定部３３は、脇見運転警告を実行すると判定した場合、その旨を出力部３６に通知する。

【0033】

出力部３６は、判定部３３からの通知に基づき、運転者１に対して脇見運転を警告するためのアラート出力、及び振動発生のうちの少なくとも１つを実行させる。具体的には、出力部３６は、アラートを、例えば、自動車が備えるスピーカ（不図示）から出力する。また、出力部３６は、判定部３３からの通知に基づき、警告部４０に対して、脇見運転を警告するためのアラートを出力させたり、バイブレータ４４１（図３）を振動させたりするための制御信号をＩＲ制御部２３に出力する。

【0034】

メモリ部３４は、画像認識部３１による認識結果（運転者１の顔の向き等）と比較するための脇見閾値をパラメータとして保持している。また、メモリ部３４は、操舵検知部３２から参照されるＩＲ反射量閾値を保持している。さらに、メモリ部３４は、判定部３３から参照される判定テーブルを保持している。

【0035】

該判定テーブルには、操舵検知部３２による検知結果（操舵の初動無し、左方向への操舵の初動有り、右方向への操舵の初動有り）と、画像認識と脇見閾値との比較結果に基づく脇見運転の可能性の有無、車両情報（道路区分、曲がり具合等）との様々な条件組み合わせに、脇見運転であるか否かが対応付けられたものである。

【0036】

例えば、判定テーブルには、ごく単純な条件組み合わせとして、操舵の初動無し＋脇見の可能性有りに、脇見運転有りが対応付けられている。また、左方向への操舵の初動有り＋左方向への脇見の可能性有りに、脇見運転無しが対応付けられている。さらに、左方向への操舵の初動有り＋右方向への脇見の可能性有りに、脇見運転有りが対応付けられている。

【0037】

車両情報取得部３５は、車両情報として、車速、走行中の道路区分（一般道、高速道等）、道路情報（進行方向の曲がり角やカーブ等の情報）を、該自動車や該自動車に搭載されたナビゲーションシステム等から取得して判定部３３に供給する。

【0038】

警告部４０は、例えば、運転席２のヘッドレスト３（図３）に配置される。警告部４０は、運転者１に対して脇見運転を警告するためのアラートを出力したり、振動を発生させたりする。なお、警告部４０の配置は、ヘッドレスト３に限るものではない。

【0039】

警告部４０は、ＩＲ受光部４１、出力制御部４２、スピーカ４３、及び振動制御部４４を有する。

【0040】

ＩＲ受光部４１は、運転者１が運転席２に着座している状態において、ＩＲ投光部２１からのＩＲ光が運転者１の頭部によって遮られない位置に配置されている。ＩＲ受光部４１は、ＩＲ投光部２１から照射される、出力部３６からの制御信号に基づいて変調されたＩＲ光を受光し、その結果得られるＩＲ信号から該制御信号を復調して出力制御部４２及び振動制御部４４に出力する。

【0041】

出力制御部４２は、ＩＲ受光部４１によりＩＲ信号から復調された制御信号に従い、運転者１に対して脇見運転を警告するためのアラートをスピーカ４３から出力する。振動制御部４４は、ＩＲ受光部４１によりＩＲ信号から復調された制御信号に従い、例えば、運転席２の座面に設置されているバイブレータ４４１（図３）を振動させる。なお、バイブレータ４４１の設置位置は、運転席２の座面に限るものではない。例えば、運転席２の背もたれやヘッドレスト３に設置するようにしてもよい。

【0042】

なお、運転者１が運転席２に着座している状態において、ＩＲ投光部２１からのＩＲ光が運転者１の頭部によって遮られる位置に、ＩＲ受光部２２，４１とは異なるＩＲ受光部（不図示）を追加し、該ＩＲ受光部のＩＲ受光量に応じて運転者１が運転席２に着座しているか否かを判定できるようにしてもよい。この場合、半身画像を用いる場合に比較して、情報処理量や消費電力等の観点で低コスト、且つ、速やかに運転者１が運転席２に着座しているか否かを判定することができる。

【0043】

次に、図２は、センシング部２０の外観の一例を示す正面図である。センシング部２０は、その正面が運転者１に向けて配置される。センシング部２０の正面には、その中央に撮像部２４（のレンズ）が配置される。撮像部２４の左右には、ＩＲ投光部２１が配置されている。センシング部２０の正面の両端には、２ＣＨ分のＩＲ受光部２２Ｌ，２２Ｒが離れて配置されている。

【0044】

図３は、センシング部２０がステアリングコラム５１に配置された状態の一例を示す側面図である。図４は、センシング部２０がステアリングコラム５１に配置された状態の一例を示す正面図である。なお、ステアリングコラム５１は、ステアリングホイール５２が操舵されても回転せずに固定されている。よって、ステアリングコラム５１に配置されたセンシング部２０についても、ステアリングホイール５２が操舵されても回転せずに固定されたままとなる。

【0045】

図３に示されるように、センシング部２０から照射されるＩＲ光は、ステアリングホイール５２の隙間（スポーク５３が無い部分）を通過して運転者１の方向に照射される。したがって、ステアリングホイール５２が操舵されていない状態（操舵角が０の状態）では、センシング部２０からのＩＲ光は略全て運転者１に到達する。一方、ステアリングホイール５２が操舵された場合、その操舵角に応じて、ステアリングホイール５２のスポーク５３がセンシング部２０からのＩＲ光を徐々に遮ることになる。換言すれば、センシング部２０からのＩＲ光は、操舵角に応じて、スポーク５３での反射量が増してＩＲ受光部２２で受光されることになる。よって、ＩＲ受光部２２Ｌ，２２ＲそれぞれからのＩＲ信号に基づくＩＲ反射量の変化を監視すれば、操舵の初動を検知できる。ＩＲ受光部２２Ｌ，２２ＲそれぞれからのＩＲ信号に基づくＩＲ反射量を比較すれば、操舵の方向（左または右）を検知できる。

【0046】

次に、図５は、ステアリングホイール５２の操舵角とＩＲ反射量との関係の一例を示している。なお、同図の上段に示すグラフにおいて、横軸は右方向への操舵角を示しており、縦軸はセンシング部２０を運転席２側から見て左側端に設けられたＩＲ受光部２２ＬからのＩＲ信号に基づくＩＲ反射量を示している。同図の中段はステアリングホイール５２の操舵の変化の様子に示している。同図の下段はセンシング部２０の撮像部２４によって撮像された半身画像を示している。

【0047】

ステアリングホイール５２を操舵していない操舵角φ０＝０の場合、ＩＲ投光部２１から照射されたＩＲ光は、スポーク５３にて反射しないので、その反射光の強度を表すＩＲ反射量は最小値となる。このとき、撮像部２４によって撮影される運転者１の半身画像へのスポーク５３の写り込みはない。

【0048】

次に、運転者１がステアリングホイール５２の操舵を開始して操舵角φ１（＞φ０）にした場合、ＩＲ投光部２１から照射されたＩＲ光のスポーク５３における反射が生じ始めるので、その反射光の強度を表すＩＲ反射量が最小値から若干増加する。このとき、撮像部２４によって撮影される運転者１の半身画像へのスポーク５３の写り込みはまだない。

【0049】

次に、運転者１がステアリングホイール５２の操舵を増して操舵角φ２（＞φ１）にした場合、ＩＲ投光部２１から照射されたＩＲ光のスポーク５３における反射が増して、その反射光の強度を表すＩＲ反射量がさらに増加する。このとき、撮像部２４によって撮影される運転者１の半身画像にもスポーク５３が写り込み始める。

【0050】

次に、運転者１がステアリングホイール５２の操舵をさらに増して操舵角φ３（＞φ２）にした場合、ＩＲ投光部２１から照射されたＩＲ光のスポーク５３における反射がさらに増して、その反射光の強度を表すＩＲ反射量は最大値に漸近する。このとき、撮像部２４によって撮影される運転者１の半身画像にはスポーク５３が大きく写り込むことになる。

【0051】

例えば、同図の下段に示される運転者１の半身画像に基づいてステアリングホイール５２に対する操舵を検知するようにした場合、操舵角φ１（＞φ０）の段階では操舵を検知できず、操舵角φ２（＞φ１）の段階になって操舵を検知することができる。

【0052】

これに対し、本実施の形態では、スポーク５３におけるＩＲ光の反射の程度を表すＩＲ反射量に基づいてステアリングホイール５２に対する操舵を検知するようになされている。したがって、例えば、同図に示されたように、ＩＲ反射量閾値を設定し、ＩＲ反射量がＩＲ反射量閾値以上となってタイミングで操舵有りと判断するようにすれば、操舵角φ２よりも前の操舵角φ１の段階、すなわち、ステアリングホイール５２に対する操舵の初動を検知することができる。

【0053】

また、操舵の検知にＩＲ反射量を用いた場合は、半身画像を用いる場合に比較して、画像認識等の複雑な画像処理が不要となるので、この点からも操舵検知のタイミングを早めることができる。

【0054】

＜運転支援装置１０による脇見運転警告処理＞
次に、図６は、運転支援装置１０による脇見運転警告処理の一例を説明するフローチャートである。

【0055】

該脇見運転警告処理は、例えば、自動車の走行が開始されたときに開始され、自動車の走行が終了するまで繰り返される。

【0056】

はじめに、メモリ部３４に保持されている各種のパラメータ等を、対応する各部が読み出して設定する（ステップＳ１）。具体的には、判定部３３が、メモリ部３４から脇見閾値を読み出して自己に設定する。また、操舵検知部３２が、メモリ部３４からＩＲ反射量閾値を読み出して自己に設定する。さらに、判定部３３が、メモリ部３４から判定テーブルを読み出して自己に設定する。

【0057】

次に、車両情報取得部３５が車両情報の取得を開始して判定部３３に供給する（ステップＳ２）。

【0058】

次に、ＩＲ投光部２１が、ＩＲ制御部２３からの制御に従い、ＩＲ光の照射を開始し、ＩＲ受光部２２Ｌ，２２Ｒそれぞれが、受光したＩＲ光の強度を表すＩＲ信号をＩＲ制御部２３に出力し始める。ＩＲ制御部２３は、順次入力されるＩＲ信号に基づいてＩＲ反射量を算出し、信号処理部３０の操舵検知部３２に順次出力する（ステップＳ３）。

【0059】

次に、撮像部２４が、運転者１の撮像を開始し、その結果得られる画素信号を撮像制御部２５に順次出力する。撮像制御部２５は、撮像部２４から入力された画素信号に基づいて半身画像を生成し、その結果得られる半身画像を信号処理部３０の画像認識部３１に順次出力する（ステップＳ４）。

【0060】

次に、信号処理部３０では、操舵検知部３２が、ＩＲ制御部２３から順次入力されている２ＣＨ分のＩＲ反射量と、ＩＲ反射量閾値とを比較し、運転者１によるステアリングホイール５２に対する操舵の初動とその方向を検知し、検知結果を判定部３３に出力する（ステップＳ５）。

【0061】

次に、画像認識部３１が、撮像制御部２５から順次入力されている運転者１の半身画像から、運転者１の顔の向きを認識し、認識結果を判定部３３に出力する（ステップＳ６）。

【0062】

次に、判定部３３が、画像認識部３１による認識結果（顔の向き）と脇見閾値とを比較して、顔の向きが脇見閾値未満である場合、脇見可能性無しと判断する。反対に、顔の向きが脇見閾値以上である場合、脇見可能性有りと判断する。次に、判定部３３が、操舵検知部３２による検知結果と、脇見可能性の有無と、車両情報取得部３５からの車両情報とに基づき、判定テーブルを参照して、運転者１の脇見運転の有無を判定する（ステップＳ７）。

【0063】

次に、判定部３３が、ステップＳ７における脇見運転の有無の判定結果に基づき、脇見運転警告を実行するか否かを判定する（ステップＳ８）。具体的には、ステップＳ７の判定結果が脇見運転有りの場合、判定部３３が、脇見運転警告を実行すると判定して、処理をステップＳ９に進める（ステップＳ８でＹＥＳ）。

【0064】

次に、判定部３３が、脇見運転警告を実行する旨を出力部３６に通知する。この通知に応じ、出力部３６が脇見運転警告を実行する（ステップＳ９）。具体的には、出力部３６が、警告部４０に対する制御信号を生成してセンシング部２０に出力し、該制御信号に対応して明滅するＩＲ信号を出力させることにより、運転者１に対して、スピーカ４３から脇見運転を警告するためのアラートを出力させたり、バイブレータ４４１を振動させたりする。この後、処理はステップＳ５に戻されて、それ以降が繰り返される。

【0065】

なお、ステップＳ７の判定結果が脇見運転無しの場合、判定部３３が、脇見運転警告を実行しないと判定し、ステップＳ９をスキップする（ステップＳ８でＮＯ）。この後、処理はステップＳ５に戻されて、それ以降が繰り返される。以上で、脇見運転警告処理の説明を終了する。

【0066】

以上に説明した脇見運転警告処理によれば、操舵検知部３２が、ＩＲ光のスポーク５３における反射光に基づくＩＲ反射量によって操舵の初動を検知し、判定部３３が、操舵の初動の検知や画像認識結果に基づいて、脇見運転の有無を判定し、脇見運転警告の実行の有無を判定しているので、脇見運転に対する誤警告を抑止することが可能となる。

【0067】

なお、以上に説明した脇見運転警告処理では、半身画像を認識して得られる運転者１の顔の向きから脇見の可能性の有無を判断するようにしたが、半身画像を認識して得られる運転者１の視線の向きから脇見の可能性の有無を判断するようにしてもよい。

【0068】

また、運転支援装置１０は、脇見運転を警告する他、例えば、運転者１の居眠りを警告するようにしてもよい。

【0069】

本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0070】

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0071】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、判定テーブル、ファイル等の情報は、メモリや、ＨＤＤ、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【0072】

本発明は、運転支援装置、及び運転支援方法だけでなく、コンピュータ読み取り可能なプログラム等の様々な態様で提供することができる。

【符号の説明】

【0073】

１・・・運転者、２・・・運転席、３・・・ヘッドレスト、１０・・・運転支援装置、２０・・・センシング部、２１・・・ＩＲ投光部、２２・・・ＩＲ受光部、２３・・・ＩＲ制御部、２４・・・撮像部、２５・・・撮像制御部、３０・・・信号処理部、３１・・・画像認識部、３２・・・操舵検知部、３３・・・判定部、３４・・・メモリ部、３５・・・車両情報取得部、３６・・・出力部、４０・・・警告部、４１・・・ＩＲ受光部、４２・・・出力制御部、４３・・・スピーカ、４４・・・振動制御部、５１・・・ステアリングコラム、５２・・・ステアリングホイール、５３・・・スポーク、４４１・・・バイブレータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】