【実施例1】
【0014】
本実施例は、本発明を、走行中の車両の後側方を監視して、隣接走行車線の後側方の所定の距離範囲に接近車両があるとき、運転者がその接近車両の存在を認知していると推定される場合には、2次警報を抑制する機能を有する、後側方接近物警報装置に適用したものである。
【0015】
まず、
図1を用いて、2次警報を抑制しない、従来の後側方接近物警報装置の動作を簡単に説明する。車両5は道路2の走行車線Y2を図面の左向きに走行している。車両5の後端に後ろ向きに設置されたリアカメラ15a、および左ドアミラー近傍に後ろ向きに設置された左リアカメラ15b、右ドアミラー近傍に後ろ向きに設置された右リアカメラ15cは、車両5の後側方の左右隣接走行車線を含む撮像範囲ωの内部を撮像する。そして、撮像された画像の中から、画像処理によって、隣接走行車線Y1上の、車両5から後側方の所定の距離範囲にある検出領域X1の内部、および隣接走行車線Y3上の、車両5から後側方の所定の距離範囲にある検出領域X2の内部に存在する、車両5に接近している他車両6を検出する。
【0016】
後側方接近物警報装置は、例えば、車両5が所定の範囲の車速v(例えば30km/h以上)で走行しているときに起動する。また、専用の起動スイッチを設けて、運転者が起動スイッチを操作したときに起動するようにしてもよい。
【0017】
後側方接近物警報装置が起動した後で、車両5の後側方の所定の距離範囲に、車両5に接近している他車両6が検出されたときには、左右の車外後写鏡(ドアミラー)近傍に設置した、例えばLED等からなるインジケータを点灯させることによって、他車両6の存在を視覚情報により運転者に伝達し、車線変更を行う際の注意喚起を行う(1次警報)。
【0018】
さらに、運転者がこの1次警報に気づかずに、他車両6が存在する隣接走行車線Y1側、または隣接走行車線Y3側に方向指示器を出して車線変更を行おうとすると、インジケータを点滅させて強調された視覚情報を出力して、さらに、ブザー等による警報音の吹鳴によって聴覚情報を出力して、運転者に対して他車両6の存在をより明確に伝達し、車線変更動作の中断を促す(2次警報)。
(後側方接近物警報装置の構成の説明)
【0019】
次に、
図2を用いて、本発明の一実施形態である実施例1に係る後側方接近物警報装置10の構成を説明する。
図2は、本実施例に係る後側方接近物警報装置10を車両5(
図1参照)に実装したときの構成図を示す。
【0020】
実施例1に係る後側方接近物警報装置10は、
図2に示すように、車両5(
図1参照)の後側方の道路を撮像する後側方撮像部15と、後側方撮像部15で撮像された画像の中から、接近車両を検出する接近車両検出部20と、運転者8の顔面の含む範囲を随時撮像する運転者撮像部30と、運転者撮像部30で撮像した運転者8の顔面を含む画像の中から、運転者8の注視方向を検出する注視方向検出部40と、検出された注視方向に基づいて、運転者8が車両5の後側方の道路の状態を認知しているか否かを推定する車両周囲状況認知状態推定部45と、車両5が走行中の道路が渋滞しているか否かを検出する渋滞検出部50と、運転者8に対して、視覚情報や聴覚情報によって必要な警報を出力する警報出力部70と、車両周囲状況認知状態推定部45によって、運転者8が、車両5が車線変更する側の隣接走行車線の後側方の道路の状態を認知していると推定されたときに、接近車両検出部20で接近車両が検出された場合であっても、警報出力部70から、前記した強い視覚情報や聴覚情報からなる2次警報が出力されるのを抑制する警報抑制部60と、車両5の右左折を指示するウインカースイッチ80と、警報出力部70の指示によって点灯または点滅するLED85と、警報出力部70の指示によって鳴動するブザー90と、警報出力部70の指示に応じて必要な情報を表示するディスプレイ95と、を備えている。
【0021】
そして、接近車両検出部20と、注視方向検出部40と、車両周囲状況認知状態推定部45と、渋滞検出部50と、警報抑制部60と、警報出力部70は、カメラコントローラ150に内包されており、例えば、CAN(Controller Area Network)通信線130を介して、車速センサ100と、カーナビゲーションシステム110と接続されている。なお、CAN通信線130の代わりに、車内通信ネットワークとして使用されている他の通信規格、例えば、LIN(Local Interconnect Network),Flex Ray,イーサネット(登録商標)等に準拠した通信線を用いることもできる。
【0022】
後側方撮像部15は、後部ライセンスプレート付近に車両5の後方に向けて設置されたリアカメラ15aと、車両5の左ドアミラー近傍に車両5の左後側方に向けて設置された左リアカメラ15bと、車両5の右ドアミラー近傍に車両5の右後側方に向けて設置された右リアカメラ15cとからなる。そして、
図1に示した、車両5の後側方の撮像範囲ωの内部を監視する。なお、後側方撮像部15を構成する各カメラは、それぞれ、車両5の後側方の所定の撮像範囲の光を集光するレンズからなる光学系と、光信号を電気信号に光電変換する、例えばCMOS素子やCCD素子で構成された光電変換部を備えている。
【0023】
運転者撮像部30は、車両5のメータクラスタ近傍に備えられて、運転者8の顔面を含む範囲を撮像する。
【0024】
接近車両検出部20は、後側方撮像部15で撮像された画像の中から、隣接走行車線Y1または隣接走行車線Y3上の、車両5から所定の距離範囲内に存在して、
図1に示すように、車両5に接近している他車両6を検出する。具体的には、後側方撮像部15で撮像された車両5の後側方の画像の中から、時間的に連続して撮像された画像同士の差分(フレーム差分)や輝度分布の分析、またテンプレートマッチング等の画像処理手法を用いて他車両6の検出を行う。これらの画像処理手法は、広く一般に使用されているものであって、それらの画像処理手法を組み合わせることによって接近車両を検出する。なお、具体的な処理方法については後述する。
【0025】
注視方向検出部40は、車両5の運転者8が注視している方向を検出する。
【0026】
車両周囲状況認知状態推定部45は、運転者8が、車両5の後側方の領域に注意を払って、隣接走行車線Y1,Y3(
図1参照)の道路の状態、例えば、隣接走行車線Y1,Y3を走行している他車両6の存在を認知しているか否かを推定する。具体的には、運転者撮像部30で撮像された運転者8の顔面を含む画像の中から、運転者8の顔の向きや視線の向きを検出して、運転者8が、車両5の左右に設置された車外後写鏡(左右ドアミラー)の方向、すなわち、車両5の右後側方、または車両5の左後側方に目を向けている頻度を検出する。そして、運転者8が、予め設定された所定の時間間隔の間に、所定回数以上、ドアミラーの方向に顔を向けていることが検出されたときに、運転者8は、そのドアミラー側の後側方の状態を認知しているものと推定する。なお、具体的な推定方法については後述する。
【0027】
渋滞検出部50は、車両5が走行中の道路が渋滞しているか否かを検出する。走行中の道路が渋滞状況にあることは、様々な方法を用いて検出することができるが、例えば、ラジオ放送やVICS(登録商標)で提供される交通情報を受信することによって、渋滞の有無を検出することができる。あるいは、車両5の車速vを走行中の道路の制限速度と比較して、所定の時間に亘って車速vが低い状態が継続しているときには、走行中の道路は渋滞していると判断することができる。詳しくは後述する。
【0028】
警報抑制部60は、車両5が走行中の道路が渋滞していることを渋滞検出部50が検出して、なおかつ、車両周囲状況認知状態推定部45が、車両5の後側方の他車両6の状態を運転者8が認知していると推定したときに、2次警報を抑制する。
【0029】
警報出力部70は、車両5に設置されたLED85と、ブザー90と、ディスプレイ95に対して、必要な警報の出力を指示する。すなわち、接近車両検出部20が、車両5(
図1参照)から所定の距離範囲内に、車両5に接近している他車両6(
図1参照)を検出したときに、2次警報が抑制されていないときには、LED85の点滅とブザー90の鳴動、すなわち強調された視覚情報と、聴覚情報によって、運転者8に他車両6の接近を報知する2次警報を出力して注意喚起を行う。
【0030】
また、警報出力部70は、接近車両検出部20が車両5(
図1参照)から所定の距離範囲内に、車両5に接近している他車両6(
図1参照)を検出したときであっても、2次警報が抑制されているときには、LED85の点灯、すなわち視覚情報のみによって、運転者8に他車両6の接近を報知する1次警報を出力して注意喚起を行う。このとき、LED85の点滅、およびブザー90の鳴動による2次警報の出力は抑制される。
【0031】
ウインカースイッチ80は、左ウインカースイッチ80aと右ウインカースイッチ80bからなり、運転者8が操作する方向指示器(ウインカーレバー)と連動して、ウインカー操作が行われたことと、指示されたウインカーの方向を出力する。
【0032】
カーナビゲーションシステム110は、交通情報受信部120と接続されており、ラジオやVICS(登録商標)によって伝達される交通情報を受信する。
(後側方接近物警報装置の作用の説明)
【0033】
次に、実施例1に係る後側方接近物警報装置10で行われる一連の処理の内容について、
図3のフローチャート、および
図2のシステム構成図を用いて説明する。
【0034】
(ステップS100)車両周囲状況認知状態推定部45において、左方視認時間タイマTl、および右方視認時間タイマTrをセットする。これらのタイマは、運転者8が左右のドアミラーを注視して車両5の後側方の状態を認知しているか否かを推定するために、所定の時間間隔を設定するためのタイマである。詳しくは、後ほど、車両周囲状況認知状態推定部45で行う運転者の認知状態推定処理の説明の中で説明する。
【0035】
(ステップS101)渋滞検出部50において、車両5が走行中の道路が渋滞しているか否かを検出する渋滞検出処理を行う。詳しくは後述する。
【0036】
(ステップS102)接近車両検出部20において、後側方接近物警報装置10(以下、BSW10と呼ぶ)の起動条件を満たしているか否かを判断する。具体的には、車両5の車速vが、予め設定された所定車速(例えば30km/h)以上であるとき、自動的にBSW10が起動する構成になっている。
【0037】
(ステップS104)接近車両検出部20において、車両5の後側方から接近する他車両6を検出する接近車両検出処理を行う。詳しくは後述する。
【0038】
(ステップS106)車両周囲状況認知状態推定部45において、運転者8が後側方の道路の状態を認知しているか推定する運転者8の認知状態推定処理を行う。詳しくは後述する。
【0039】
(ステップS108)左ウインカースイッチ80aがONになったか否かを判定する。左ウインカースイッチ80aがONのときはステップS110に進み、左ウインカースイッチ80aがOFFのときはステップS114に進む。
【0040】
(ステップS110)渋滞フラグFjがONであるか否かを判定する。渋滞フラグFjがONであるときはステップS112に進み、渋滞フラグFjがOFFであるときはステップS122に進む。なお、渋滞フラグFjは、ステップS101で行われる渋滞検出処理において、車両5が走行している道路が渋滞していると判断されたときにONされて、渋滞していないと判断されたときにOFFされるフラグである。
【0041】
(ステップS112)左後側方認知フラグFlrがONであるか否かを判定する。左後側方認知フラグFlrがONであるときはステップS120に進み、左後側方認知フラグFlrがOFFであるときはステップS122に進む。なお、左後側方認知フラグFlrは、ステップS106で行われる運転者8の認知状態推定処理において、運転者8が車両5の左後側方の道路の状態を認知していると推定されたときにONされて、左後側方の道路の状態を認知していないと推定されたときにOFFされるフラグである。
【0042】
(ステップS114)右ウインカースイッチ80bがONになったか否かを判定する。右ウインカースイッチ80bがONのときはステップS116に進み、左ウインカースイッチ80aがOFFのときはステップS101に戻る。
【0043】
(ステップS116)渋滞フラグFjがONであるか否かを判定する。渋滞フラグFjがONであるときはステップS118に進み、渋滞フラグFjがOFFであるときはステップS122に進む。
【0044】
(ステップS118)右後側方認知フラグFrrがONであるか否かを判定する。右後側方認知フラグFrrがONであるときはステップS120に進み、右後側方認知フラグFrrがOFFであるときはステップS122に進む。なお、右後側方認知フラグFrrは、ステップS106で行われる運転者8の認知状態推定処理において、運転者8が車両5の右後側方の道路の状態を認知していると推定されたときにONされて、右後側方の道路の状態を認知していないと推定されたときにOFFされるフラグである。
【0045】
(ステップS120)警報抑制部60において、2次警報の抑制を行う。具体的には、
図11に示すように、視覚情報としてLED85を点灯する。なお、このとき、警報出力部70の指示によって、ディスプレイ95に、警報が抑制されている旨を文字情報等を用いて表示する。
【0046】
(ステップS122)警報抑制部60において、2次警報の非抑制を行う。具体的には、
図11に示すように、強調された視覚情報としてLED85を点滅させるとともに、聴覚情報としてブザー90を鳴動させる。
【0047】
(ステップS124)接近車両検出部20において、BSW10との終了条件を満たしているか否かを判断する。具体的には、車両5の車速vが、予め設定された所定の車速(例えば0km/h)になったとき、BSWは自動的に終了する構成になっている。
(渋滞検出処理の説明)
【0048】
次に、渋滞検出部50で行われる渋滞検出処理の流れについて、
図4のフローチャートを用いて説明する。
【0049】
(ステップS200)渋滞検出部50からの指示で、カーナビゲーションシステム110が、交通情報受信部120から交通情報を受信したか否かを判定する。交通情報を受信したときにはステップS202に進み、交通情報を受信していないときはステップS200を繰り返す。
【0050】
(ステップS202)渋滞検出部50からの指示で、カーナビゲーションシステム110が受信した交通情報を参照し、現在、車両5が走行中の道路が、走行中の方向に亘って渋滞しているか否かを判定する。渋滞していると判定されたときはステップS204に進み、渋滞していないと判定されたときはステップS206に進む。
【0051】
(ステップS204)渋滞検出部50において渋滞フラグFjをONにする。そして、メインルーチン(
図3)に戻る。なお、渋滞フラグFjは、現在、車両5が走行中の道路が、走行中の方向に亘って渋滞していると判断されたときに付与されるフラグである。
【0052】
(ステップS206)渋滞検出部50において渋滞フラグFjをOFFにする。そして、メインルーチン(
図3)に戻る。
【0053】
渋滞検出を行う方法には、
図4に示した方法の他にも、様々な方法が考えられる。
【0054】
例えば、車速センサ100から得た車両5の車速vが、時刻tに伴って変化する様子を示す車速データv(t)を、予め設定した所定時間に亘って計測して、計測された車速データv(t)を平均化して、平均車速ave(v(t))を算出する。そして、カーナビゲーションシステム110(
図2参照)から取得した、現在走行中の道路の制限速度v0から平均車速ave(v(t))を差し引いた差分値を算出する。この差分値が、予め設定した速度差しきい値vthよりも大きいときに、現在走行中の道路は渋滞していると判断する。なお、速度差しきい値vthは、評価実験等に基づいて設定した値である。
【0055】
図5は、この処理を行うフローチャートである。
【0056】
(ステップS210)渋滞検出部50からの指示で、カーナビゲーションシステム110に記憶されている、現在走行中の道路の制限速度v0を取得する。
【0057】
(ステップS212)渋滞検出部50において、所定の時間に亘って得た車速データv(t)を平均化して、車両5の平均車速ave(v(t))を算出する。
【0058】
(ステップS214)ステップS210で取得した制限速度v0から、ステップS212で算出した平均車速ave(v(t))を差し引いた差分値v0−ave(v(t))を算出して、算出した差分値が速度差しきい値vthよりも大きいか否かを判定する。差分値が速度差しきい値vthよりも大きいときはステップS216に進み、それ以外のときはステップS218に進む。
【0059】
(ステップS216)渋滞検出部50において渋滞フラグFjをONにする。そして、メインルーチン(
図3)に戻る。
【0060】
(ステップS218)渋滞検出部50において渋滞フラグFjをOFFにする。そして、メインルーチン(
図3)に戻る。
【0061】
渋滞検出部50では、
図4,
図5に示した処理のいずれかを実行して渋滞の検出を行う。なお、
図4に示す処理を行うためには、車両5の外部から交通情報を得る必要がある。そのため、交通情報を得るためのインフラが未整備である場所や、交通情報の受信が困難な場所では、渋滞検出を行うことが難しい。そのため、
図4,
図5に示した2つの処理を並行して行って、渋滞検出の確実性を向上させるようにしてもよい。
(接近車両検出処理の説明)
【0062】
次に、接近車両検出部20で行われる接近車両検出処理の流れについて、
図6のフローチャートを用いて説明する。
【0063】
(ステップS300)後側方撮像部15を構成するリアカメラ15a,左リアカメラ15b,右リアカメラ15cで撮像した画像を接近車両検出部20に入力する。
【0064】
(ステップS302)以下、ステップS302からステップS308の処理は、接近車両検出部20において行われる。まず、本ステップS302では、入力された画像の中から、隣接する画素の間で明るさが大きく異なる画素を輝度変化点として検出する。
【0065】
(ステップS304)次に、異なる時刻で撮像された画像同士を比較して、オプティカルフローを算出する。オプティカルフローとは、異なる時刻で観測された2枚の画像間の動きを表す情報であり、2枚の画像の間で、同じ点を表すものとして対応付けられた2点間を結ぶベクトル情報として表される。本ステップS304では、異なる時刻に同じカメラで撮像された2枚の画像同士を比較して、ステップS302で検出した輝度変化点の対応付けを行って、オプティカルフローを算出する。異なる時刻に撮像された画像間で対応する点を算出する方法はステレオカメラの対応点探索等で広く使われているため、詳細な説明は省略する。
【0066】
(ステップS306)ステップS304で算出したオプティカルフローの中から、車両5に向かうオプティカルフローのみを検出する。具体的には、ステップS304で算出したオプティカルフローの方向を分析して、車両5に接近するオプティカルフローのみを抽出する。ここで、リアカメラ15a,左リアカメラ15b,右リアカメラ15cの取付位置と取付方向は予めわかっているため、隣接走行車線Y1,Y3を走行している他車両6が車両5に接近しているときに観測されるオプティカルフローの方向は、予め予測しておくことができる。したがって、予測される方向を有するオプティカルフローのみを検出すればよい。
【0067】
(ステップS308)次に、車両5に向かうオプティカルフローの中から、互いに近接した位置で検出されて、互いにほぼ等しい大きさを有するオプティカルフロー群を検出する。このようにして検出されたオプティカルフロー群は、接近車両を構成する。
【0068】
(ステップS310)接近車両が検出されたか否かを判定する。接近車両が検出されたときはステップS312に進み、接近車両が検出されないときはメインルーチン(
図3)に戻る。
【0069】
(ステップS312)警報出力部70の作用によって1次警報を出力し、接近車両が検出されたことを報知する。具体的には、接近車両が検出された側のドアミラー近傍に設置したLED85を点灯させる。その後、メインルーチン(
図3)に戻る。
(運転者の注視方向検出原理の説明)
【0070】
次に、注視方向検出部40で行われる運転者8の注視方向検出処理について、
図7,
図8を用いて説明する。
【0071】
運転者撮像部30によって運転者8の顔面を含む範囲を撮像すると、
図7(a)〜
図7(d)に示す画像が得られる。
図7(a)は正面を向いた運転者8の顔面の画像の一例である。
図7(b)は、やや左側を向いた運転者8の顔面の画像の一例である。
図7(c)は、さらに左側を向いた運転者8の顔面の画像の一例である。
図7(d)は、やや右側を向いた運転者8の顔面の画像の一例である。
【0072】
図7(a)〜
図7(d)からわかるように、注視している方向に応じて、両眼の間隔が変化する。なお、顔の回転角度が大きくなると、
図7(c)のように、片眼が隠れてしまうため、両眼が観測されなくなる。このようなときには、観測された眼球と顔の縁との距離を両眼の間隔とみなすことにする。
【0073】
今、
図7(a)に示すように、運転者8が正面を向いているとき、すなわち顔の向きθ=0のときの両眼の間隔をDeyeとする。そして、その状態から徐々に顔の向きを左に移動すると、顔の向きθ=θ1(>0)である
図7(b)の状態を経て、顔の向きθ=θ2(>0)である
図7(c)の状態に至る。
【0074】
図7(b)の状態にあるときには、両眼の間隔はdeye(<Deye)となる。さらに、このとき、顔面の中心線m1と両眼の中心線m2との距離p(p>0)が一意に定まる。
【0075】
さらに、
図7(c)の状態にあるときには、両眼の間隔はdeye(<Deye)となる。さらに、
図7(b)と同様に、顔面の中心線m1と両眼の中心線m2との距離p(p>0)が一意に定まる。
【0076】
そして、運転者8の顔の向きθは、θ=cos
-1(deye/Deye)によって算出することができる。
【0077】
なお、運転者8が右方向に顔を向けたときには、顔の向きθ=θ3(<0)である
図7(d)の状態が観測される。このとき、
図7(d)に示すように、両眼の中心線m2が顔面の中心線m1よりも左側に観測される。この状態のとき、顔面の中心線m1と両眼の中心線m2との距離pは負になるものと考える。このように、顔面の中心線m1と、両眼の中心線m2との距離pの符号によって、右方向を向いているか、左方向を向いているかを判断することができる。
【0078】
ここで、両眼の距離には個人差があり、また、運転者8の着座位置にも個人差があるため、両眼の間隔Deyeは、運転者8によって異なることが想定される。
【0079】
したがって、この両眼の間隔Deyeは、運転開始前に、運転者8が着座したとき予め計測を行って、計測された値を記憶しておけばよい。
【0080】
そして、運転中には、随時、運転者8の両眼の間隔deyeの計測を行う。
【0081】
図8は、ある特定の運転者8が右ハンドルの車両に乗って、左右のドアミラーを注視したときに計測される両眼の間隔deyeから算出される顔の向きθをプロットした散布図である。
【0082】
運転者8は、眼球と顔面とをそれぞれ独立して動かすことができるため、左右のドアミラーを注視したときに、その注視方法には様々なバリエーションがある。すなわち、顔の動きを少なくして、横目使いでドアミラーを注視する場合や、顔を大きく動かして、眼球をドアミラーに対峙させて注視する場合等である。
【0083】
したがって、運転者8に何回か左右のドアミラーを注視させたときには、
図8に示すように、両眼の間隔deyeから算出される顔の向きθにばらつきが発生する。
【0084】
すなわち、左ドアミラーを注視したときに算出される顔の向きを表す標本点eli(i=1,2,…)は、
図8に示すようにクラスタS1を形成する。また、右ドアミラーを注視したときに算出される顔の向きを表す標本点eri(i=1,2,…)は、
図8に示すようにクラスタS2を形成する。ここで、クラスタS1は、標本点eli(i=1,2,…)の分布状態が正規分布をなすと推定したときに予測される、±2σ(σは標準偏差)の範囲を表している。また、クラスタS2は、標本点eri(i=1,2,…)の分布状態が正規分布をなすと推定したときに予測される、±2σ(σは標準偏差)の範囲を表している。
【0085】
すなわち、左ドアミラーを注視した際には、顔の向きθが、θlminからθlmaxの範囲でばらついて観測されると推定される。また、右ドアミラーを注視した際には、顔の向きθが、θrminからθrmaxの範囲でばらついて観測されると推定される。
【0086】
したがって、両眼の間隔deyeから算出された顔の向きθがθlminからθlmaxの範囲であるときには、運転者8は左ドアミラーを注視していると推定される。また、両眼の間隔deyeから算出された顔の向きθがθrminからθrmaxの範囲であるときには、運転者8は右ドアミラーを注視していると推定される。
【0087】
なお、実場面への適用時には、予め、運転者8に左右のドアミラーを順に何回か注視してもらい、その都度、顔の向きθを算出して、
図8に記載したθlmin,θlmax,θrmin,θrmaxに相当する範囲を算出するキャリブレーションを行うのが望ましい。
【0088】
また、
図8は右ハンドル車で計測した結果であるため、右ドアミラーの方が運転者8に近い位置にある。したがって、右ドアミラーを注視したときの顔の向きθの絶対値は、左ドアミラーを注視したときの顔の向きθの絶対値よりも小さく観測される。そして、左ハンドル車の場合は、逆の結果となる。
(運転者の注視方向検出原理の説明)
【0089】
運転者8の顔の向きθを計測するためには、運転者8の顔の位置と眼球の位置をそれぞれ特定する必要がある。これらの処理は、注視方向検出部40において行われる。
【0090】
具体的な処理の内容について、
図7を用いて説明する。なお、撮像された画像の中から顔面領域や眼球の位置を検出する画像処理は、カメラにおける顔検出等において、様々な方法が提案されている。したがって、そのいずれの方法を用いて行っても構わない。すなわち、以下に説明する方法は一例にすぎない。
【0091】
運転者8の顔の位置は、運転者撮像部30で撮像された画像の中から、顔面のモデルを用いたテンプレートマッチングによって検出する。そして、顔面領域が検出された後で、
図7に記載した顔面の中心線m1の位置を特定する。
【0092】
運転者8の眼球の位置は、運転者撮像部30で撮像された画像の中から、予め用意した眼球のモデルと合致した領域を探索する。このとき、眼球は顔面の中心線に対して左右対称にあることや、黒目(瞳)の領域は、白目(強膜)の領域に挟まれて存在していること、等の条件を用いて、眼球候補領域を絞り込むことによって検出を行う。そして、眼球位置が検出された後で、
図7に記載した両眼の間隔はdeyeと、両眼の中心線m2の位置を特定する。
(運転者の後側方認知状態推定方法の説明)
【0093】
次に、車両周囲状況認知状態推定部45で行われる運転者8が車両5の後側方の道路の状態を認知しているか否かを推定する処理の原理について説明する。
【0094】
一般に、運転者8は、車線変更を行う前に、車線変更を行う側の隣接走行車線に目をやって、接近車両がいないこと、あるいは、接近車両が存在しても車線変更可能なことを確認する。具体的には、ドアミラーを注視して接近車両の有無と状態を認知する。
【0095】
このとき、後側方の確認に注力すると、肝心な道路前方の情報を取得できなくなってしまうため、一般には、前方の道路状況を確認しつつ、何回かに分けてドアミラーを注視して、後側方の状態の確認を行っている。
【0096】
そこで、車両周囲状況認知状態推定部45では、予め設定した所定時間の間にドアミラーを注視した回数をカウントして、ドアミラーを所定回数以上注視したことが検出されたときに、運転者8は、そのドアミラー側の後側方の道路の状態を認知していると推定する。
【0097】
前記所定時間としては、例えば3秒間程度の時間が設定される。そして、その所定時間の間に、例えば3回以上ドアミラーを注視したとき、運転者8は、そのドアミラー側の後側方の道路の状態を認知していると推定する。このドアミラーの注視回数は、所定時間が経過する毎にリセットされて、常に、最新の所定時間の間にドアミラーを何回注視したかの情報が保持される。
【0098】
なお、前記所定時間やドアミラーの注視回数として記載した値は、一例であって、実際は、そのときの車両5の走行状態等に応じて、適切な値が設定される。例えば、車速が高いときには、車速が低いときと比べて、前方から眼をそらしにくくなるため、より短い所定時間、より少ない注視回数で後側方の道路の状態を認知できたと推定するようにしてもよい。
(運転者の後側方認知状態推定処理の説明)
【0099】
次に、車両周囲状況認知状態推定部45で行われる運転者の認知状態推定処理の流れについて、
図9のフローチャートを用いて説明する。
【0100】
(ステップS400)注視方向検出部40において運転者8の顔の向きを検出する。詳しくは後述する。
【0101】
(ステップS402)ステップS100(
図3参照)でセットした、所定の時間間隔の間に左ドアミラーを何回注視したかを判定するための、所定時間計測用の左方視認時間タイマTlと、所定の時間間隔の間に右ドアミラーを何回注視したかを判定するための、所定時間計測用の右方視認時間タイマTrを、それぞれデクリメントする。
【0102】
(ステップS404)左方視認時間タイマTlが0になったか否かを判定する。左方視認時間タイマTlが0であるときはステップS408に進み、それ以外のときはステップS406に進む。
【0103】
(ステップS406)右方視認時間タイマTrが0になったか否かを判定する。右方視認時間タイマTrが0であるときはステップS414に進み、それ以外のときはステップS420に進む。
【0104】
(ステップS408)左後側方注視カウンタClgをリセットする。
【0105】
(ステップS410)左後側方注視フラグFlgをOFFにする。
【0106】
(ステップS412)左方視認時間タイマTlをセットする。
【0107】
(ステップS414)右後側方注視カウンタCrgをリセットする。
【0108】
(ステップS416)右後側方注視フラグFrgをOFFにする。
【0109】
(ステップS418)右方視認時間タイマTrをセットする。
【0110】
(ステップS420)左後側方注視フラグFlgがONであるか否かを判定する。左後側方注視フラグFlgがONであるときはステップS422に進み、それ以外のときはステップS424に進む。
【0111】
(ステップS422)左後側方注視カウンタClgをインクリメントする。
【0112】
(ステップS424)右後側方注視フラグFrgがONであるか否かを判定する。右後側方注視フラグFrgがONであるときはステップS426に進み、それ以外のときはメインルーチン(
図3)に戻る。
【0113】
(ステップS426)右後側方注視カウンタCrgをインクリメントする。
【0114】
(ステップS428)左後側方注視カウンタClgの値が予め設定したしきい値Lthを超えたか否かを判定する。左後側方注視カウンタClgの値がしきい値Lthを超えたときはステップS430に進み、それ以外のときはメインルーチン(
図3)に戻る。
【0115】
(ステップS430)左後側方認知フラグFlrをONにしてメインルーチン(
図3)に戻る。
【0116】
(ステップS432)右後側方注視カウンタCrgの値が予め設定したしきい値Rthを超えたか否かを判定する。右後側方注視カウンタCrgの値がしきい値Rthを超えたときはステップS434に進み、それ以外のときはメインルーチン(
図3)に戻る。
【0117】
(ステップS434)右後側方認知フラグFrrをONにしてメインルーチン(
図3)に戻る。
(運転者の注視方向検出処理の説明)
【0118】
次に、注視方向検出部40で行われる運転者の注視方向検出処理の流れについて、
図10のフローチャートを用いて説明する。
【0119】
(ステップS500)運転者8の顔面を含む範囲を撮像する。
【0120】
(ステップS502)注視方向検出部40において、撮像された画像の中から運転者8の顔面を検出する。
【0121】
(ステップS504)運転者8の顔面を検出した結果に基づいて、さらに、運転者8の眼球の位置を検出する。
【0122】
(ステップS506)運転者8の眼球の検出結果に基づいて、両眼の間隔deyeを計測する。
【0123】
(ステップS508)運転者8の顔の向きである注視方向を算出する。
【0124】
(ステップS510)ステップS508で算出した注視方向に基づいて、運転者8は左ドアミラーを注視しているか否かを判定する。左ドアミラーを注視していると判定されたらステップS512に進み、それ以外のときはステップS514に進む。
【0125】
(ステップS512)左後側方注視フラグFlgをONにしてメインルーチン(
図3)に戻る。
【0126】
(ステップS514)ステップS508で算出した注視方向に基づいて、運転者8は右ドアミラーを注視しているか否かを判定する。右ドアミラーを注視していると判定されたらステップS516に進み、それ以外のときはステップS500に戻る。
【0127】
(ステップS516)右後側方注視フラグFrgをONにしてメインルーチン(
図3)に戻る。
【0128】
以上説明したように、このように構成された本発明に係る後側方接近物警報装置10によれば、渋滞検出部50が車両5の走行している道路が渋滞していることを検出して、なおかつ、車両周囲状況認知状態推定部45が、隣接走行車線Y1(Y3)の後側方を走行している他車両6の状態を運転者8が認知していると推定したときには、運転者8が車線変更を行おうとして方向指示器を操作した場合に、接近車両検出部20が、車両5が車線変更を行おうとしている隣接走行車線Y1(Y3)の後側方の所定の距離範囲に、車両5に接近する他車両6を検出した場合であっても、警報抑制部60が、警報出力部70からの警報の出力を抑制する。そのため、運転者8が車線変更する側の隣接走行車線Y1(Y3)の後側方の道路の状態を認知していると推定されたときには、不必要な警報が出力されることによる煩わしさをなくすことができる。
【0129】
また、このように構成された本発明に係る後側方接近物警報装置10によれば、警報出力部70は、光や表示からなる視覚情報と、音や声からなる聴覚情報と、を出力するものであって、警報抑制部60は、このうち、視覚情報以外の情報の出力を抑制するため、警報出力時の煩わしさを低減することができる。
【0130】
さらに、このように構成された本発明に係る後側方接近物警報装置10によれば、警報抑制部60によって警報出力部70から出力される警報が抑制されているときには、ディスプレイ95(警報抑制状態表示部)に、警報出力部70から出力される警報が抑制されていることが表示されるため、運転者8が、2次警報が出力されないことに気付いた場合であっても、その原因が、後側方接近物警報装置10の故障ではないことを理解できるため、安心感を与えることができる。
【0131】
そして、このように構成された本発明に係る後側方接近物警報装置10によれば、車両周囲状況認知状態推定部45は、車両5の運転者8の、所定の時間間隔内の後側方確認頻度を検出して、前記後側方確認頻度が所定頻度よりも高いときに、運転者8は隣接走行車線Y1(Y3)の後側方の道路の状態を認知していると推定するため、運転者8の認知状態を確実に推定することができる。
【0132】
また、このように構成された本発明に係る後側方接近物警報装置10によれば、所定の時間間隔内の後側方確認頻度は、運転者8の顔が、所定時間内に隣接走行車線Y1(Y3)側の車外後写鏡の方向を向いた頻度に基づいて算出されるため、簡便な画像処理によって運転者の後側方確認頻度を算出することができる。
【0133】
また、このように構成された本発明に係る後側方接近物警報装置10によれば、渋滞検出部50は、車両5の現在位置周辺が渋滞していることを示す渋滞情報が受信されたことを検出することによって、走行中の道路が渋滞していると判断するため、簡便な処理によって車両5の周囲の渋滞状況を検出することができる。
【0134】
さらに、このように構成された本発明に係る後側方接近物警報装置10によれば、渋滞検出部50は、車両5が走行している道路の制限速度v0から車両5の所定時間の平均車速ave(v(t))を差し引いた差分値を算出して、差分値が速度差しきい値vth(所定値)よりも大きいときに、道路は渋滞していると判断するため、交通情報が受信できない状況であっても、車両5の周囲の渋滞状況を検出することができる。
【0135】
なお、実施例1においては、後側方撮像部15で撮像された画像の中から他車両6を検出したが、他車両6の検出は、例えば、特許文献1に記載されているように、レーザレーダ等の測距センサを用いて行うこともできる。また、カメラで構成された後側方撮像部15とレーザレーダ等の測距センサとを併用して、検出精度を向上させることもできる。
【0136】
また、実施例1にあっては、リアカメラ15a,左リアカメラ15b,右リアカメラ15cの3台のカメラを用いて後側方撮像部15を構成し、他車両6の検出を行ったが、これは、カメラ3台の構成に限定されるものではない。すなわち、リアカメラ15aを1台のみ、あるいは左リアカメラ15bと右リアカメラ15cの2台のカメラを用いて後側方撮像部15を構成してもよい。
【0137】
また、実施例1にあっては、車両5の速度や運転者8のスイッチ操作によってBSW10を起動した。しかし、BSW10は本来片側2車線以上の道路を走行中に利用するシステムである。したがって、カーナビゲーションシステム110に格納された地図情報の中から、現在走行中の道路種別情報を参照して、現在走行中の道路が片側2車線以上の道路であるときにのみ起動するようにしてもよい。
【0138】
さらに、実施例1にあっては、視覚情報と聴覚情報によって警報を出力したが、聴覚情報の代わりに触角情報を用いることもできる。例えば、運転者8が着座しているシートに振動情報を出力するアクチュエータを設置して、2次警報を出力する際にLEDの点滅に合わせて、シートに設置したアクチェ―タを振動させて、運転者8の背中や脚に情報を伝達することもできる。そして、その場合にも、警報抑制部60の作用によって、2次警報を抑制することができる。
【0139】
また、実施例1にあっては、運転者8が車両5のドアミラーを注視していることを検出して後側方の道路の状態を認知していると推定したが、例えば、車両5の後側方の道路の状態をカメラで撮像して車内のモニタに表示する監視システムが搭載された車両にあっては、運転者8が、所定時間内にこのモニタを所定回数以上注視していることを検出して、車両5の後側方の道路の状態を認知していると推定することができる。
【0140】
さらに、ドアミラーの注視ではなく、運転者8が車両5の後側方を直視している行動を検出して、車両5の後側方の道路の状態を認知していると推定することもできる。この場合は、実施例で説明した注視方向の検出処理に代わって、より大きな顔の動きを検出する処理を行う。例えば、異なる時間に連続して撮像された運転者8の顔面を含む画像同士を対応付けて、顔面が大きく左右に回転した状態を検出する処理、あるいは、予め用意された左右後側方を直視しているテンプレート画像と、実際に撮像された画像とのテンプレートマッチングを行うことによって実行することができる。
【0141】
また、実施例1で説明した渋滞検出方法は、説明した方法に限定されるものではない。すなわち、後側方接近物警報装置10に設置された周辺監視用のカメラやレーダによって隣接車線の車両の数を検出して、検出された車両が、一定時間内に一定検知数を超えたときに、走行中の道路は渋滞していると判定することができる。また、車々間通信機能を用いて、周囲の車両の車速を検出し、周囲の車両の車速が車両5と同等に低い値のときに、走行中の道路は渋滞していると判定することもできる。
【0142】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。