(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下、図面を参照して、本発明の実施の形態を説明する。
【0015】
図1は、本発明の実施形態に係る運転支援装置の構成を示すブロック図である。
【0016】
運転支援装置1は、乗員撮影用カメラ10と、走行支援処理装置20と、進行方向制御装置30と、進行方向警報装置40と、横方向制御装置50と、横方向警報装置60と、を備える。
【0017】
乗員撮影用カメラ10は、車内に設置されたカメラである。乗員撮影用カメラ10は、運転者の頭、顔、眼、手の動きなど運転者の動作、状況が把握できる範囲と細かさとで、運転者を撮影する。
【0018】
進行方向制御装置30または進行方向警報装置40は、車両の減速についての運転支援を行う第2の支援ユニットである。
【0019】
進行方向制御装置30は、車両の進行方向、すなわち前後方向を制御する装置である。
【0020】
本実施例では、車両の前方物体との衝突を回避するブレーキ制御ユニットである、CMBS(Collision Mitigation Brake System)を採用する。CMBSは、レーダーを利用して先行車を監視し、追突の危険が生じた場合、運転者に対し警告音・シートベルト引きこみ・運転席に設けたパネル内表示等で知らせ、追突回避が不可能と判断した場合はブレーキ制御を行う。
【0021】
進行方向警報装置40は、車両の進行方向に関する警報を運転者に出力する装置である。
【0022】
本実施例では、車両の前方物体との衝突が予測される場合に警報を出力する前方警報ユニットである、FCW(Forward Collision Warning)を採用する。FCWは、車速がたとえば約15km/h以上で走行中に、自車前方の車両に接近した場合、表示や音で運転者に注意を促す。
【0023】
横方向制御装置50または横方向警報装置60は、車両の操舵についての運転支援を行う第1の支援ユニットである。
【0024】
横方向制御装置50は、車両の横方向、すなわち左右方向を制御する装置である。
【0025】
本実施例では、車両の車線範囲内の走行維持または車両の車線逸脱の防止を制御する操舵制御ユニットである、LKAS(Lane Keep Assistant System)を採用する。LKASは、操舵制御によりドライバの車線内走行を支援する機能である。車線を認識し、電動パワーステアリング(EPS;Electric Power Steering)に適切なトルクを発生させるなどの操舵制御を行い、車線維持をアシストする。これにより軽いステアリング操作で車線維持走行が可能となる。
【0026】
横方向警報装置60は、車両の横方向に関する警報を運転者に出力する装置である。
【0027】
本実施例では、車両の前記車線逸脱が予測される場合に、警報を出力する側方警報ユニットである、LDW(Lane Departure Warning)を採用する。LDWは、運転者が車線をうっかり逸脱してしまおうとするときに、音や振動などの触覚による信号を使用して運転者に警告をする。
【0028】
走行支援処理装置20は、CPU(Central Processing Unit)等のプロセッサ、プログラムが書き込まれたROM(Read Only Memory)、データの一時記憶のためのRAM(Random Access Memory)等のメモリを有するコンピュータである。
【0029】
走行支援処理装置20は、画像処理ユニット110と、脇見検出ユニット120と、非運転手操作検出ユニット130と、車両挙動予測ユニット140と、を備える。 車両挙動予測ユニット140は、進行方向予測ユニット150と横方向予測ユニット160を備える。走行支援処理装置20が備える上記各ユニットは、コンピュータである走行支援処理装置20がプログラムを実行することにより実現され、当該コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。
【0030】
なお、走行支援処理装置20が備える上記各ユニットは、プログラムの実行により実現されるほか、それぞれ一つ以上の電気部品を含む専用のハードウェアとして構成することもできる。
【0031】
走行支援処理装置20が備える上記各ユニットが実行する処理について、
図2を参照して説明する。
図2は、本発明の実施形態に係る走行支援処理装置の処理手順を示すシーケンス図である。
【0032】
まず画像処理ユニット110は、画像処理S110を実行する。画像処理ユニット110は、乗員撮影用カメラ10からの画像を入力し、運転者の脇見を検出する脇見検出に有用な情報と、運転者の運転以外の手操作を検出する非運転手操作検出に有用な情報を生成する。
【0033】
脇見検出ユニット120は、脇見検出処理S120を実行する。脇見検出ユニット120は、画像処理ユニット110からの脇見検出に有用な情報から運転者の脇見を検出する。
【0034】
図3は、本発明の実施形態に係る脇見検出処理を説明するためのタイミングチャートである。脇見検出処理S120を、
図3を参照して説明する。
【0035】
脇見検出ユニット120は、脇見検出処理S120を2段階で行う。
【0036】
第1段階の処理では、画像処理ユニット110から送られた情報から、運転者の視線に関して分析を行い、脇見をしているか否かを判断する。その手法は特開平6−262959号公報、特開2002−8020号公報に記載の技術など、公知の種々の手法を採用できる。その結果、脇見をしていない、すなわち前方注視していると判断された場合を0、脇見をしていると判断された場合を1とする。
【0037】
第1段階の処理結果、
図3で矢印tが示す時間の経過に沿って、前方注視状態の0と脇見状態の1が連続的に判断される。
【0038】
第2段階の処理では、第1段階で処理された結果から、脇見検出ユニット120は、
(1)単位時間あたりの総脇見時間を計算する。具体的には、
図3で示す時間(Ta+Tb+Tc)/Tdで計算する。
(2)単一の脇見の時間を計測する。具体的には、
図3で示す時間Ta、Tb、Tcである。
(3)脇見頻度(回/秒) を計算する。
【0039】
その結果、脇見検出ユニット120は、単位時間あたりの総脇見時間、単一の脇見の時間、または脇見頻度がそれぞれ所定閾値を超えたら、脇見ありと判定する。
【0040】
脇見検出ユニット120は、第2段階の処理結果である脇見ありか否かの判定結果と、単位時間あたりの総脇見時間と、単一の脇見の時間と、脇見頻度とを、車両挙動予測ユニット140へ出力する。
【0041】
このように脇見検出ユニット120は、連続的な脇見判断を可能にする。
【0042】
非運転手操作検出ユニット130は、非運転手操作検出処理S130を実行する。非運転手操作検出ユニット130は、画像処理ユニット110から運転者による運転以外の手操作の検出に有用な情報から、運転者による運転以外の手操作である非運転手操作を検出する。
【0043】
非運転手操作検出ユニット130も、脇見検出ユニット120と同様に、非運転手操作検出処理S130を2段階で行う。
【0044】
第1段階の処理では、画像処理ユニット110から送られた情報から、運転者の手操作に関して分析を行い、非運転手操作をしているか否かを判断する。その手法は公知の種々の手法を採用できる。その結果、非運転手操作をしていない、すなわち運転集中していると判断された場合を0、非運転手操作をしていると判断された場合を1とする。
【0045】
第1段階の処理結果、時間の経過に沿って、運転集中状態の0と非運転手操作状態の1が連続的に判断される。
【0046】
第2段階の処理では、第1段階で処理された結果から、非運転手操作検出ユニット130は、
(1)単位時間あたりの総非運転手操作時間を計算する。具体的には、脇見検出処理と同様である。
(2)単一の非運転手操作の時間を計測する。具体的には、脇見検出処理と同様である。
(3)非運転手操作頻度(回/秒) を計算する。
【0047】
その結果、非運転手操作検出ユニット130は、単位時間あたりの総非運転手操作時間、単一の非運転手操作の時間、または非運転手操作頻度がそれぞれ所定閾値を超えたら、非運転手操作ありと判定する。
【0048】
非運転手操作検出ユニット130は、第2段階の処理結果である非運転手操作ありか否かの判定結果と、単位時間あたりの総非運転手操作時間と、単一の非運転手操作の時間と、非運転手操作頻度とを、車両挙動予測ユニット140へ出力する。
【0049】
このように非運転手操作検出ユニット130は、連続的な総非運転手操作判断を可能にする。
【0050】
なお、脇見検出処理S120と非運転手操作検出処理S130とは、実行する順序を入れ替えてもよい。
【0051】
車両挙動予測ユニット140は、車両挙動予測処理S140を実行する。車両挙動予測処理S140には進行方向予測処理S150と横方向予測処理S160とがある。進行方向予測ユニット150は進行方向予測処理S150を実行する。横方向予測ユニット160は横方向予測処理S160を実行する。
本発明は、非運転手操作と脇見という2つの動作が、(A)進行方向の変動と(B)車両横方向の変動の、それぞれに対し異なる影響を与えるという出願人らの研究に基づいている。
【0052】
たとえば、車両進行方向へは非運転手操作がN1%寄与し、脇見がN2(N2=100−N1)%寄与する。一方、車両横方向に関しては非運転手操作がN3%寄与し、脇見がN4(N4=100−N3)%寄与する、といった予測モデルである。
【0053】
ここで、N3>N1であるという出願人の研究結果が得られた。すなわち、脇見検出に対する非運転手操作検出に関して、車両進行方向への影響より車両横方向の影響が大きいということである。
【0054】
そのため、車両挙動予測ユニット140は、車両進行方向への制御を行う進行方向制御装置30または進行方向警報装置40における脇見検出に対する非運転手操作検出の影響の度合いと比較して、車両横方向への制御を行う横方向制御装置50または横方向警報装置60における脇見検出に対する非運転手操作検出の影響の度合いを大きく設定する。これにより、非運転動作が検出された場合、車両横方向へ、より安全となる制御をすることができる。
【0055】
また、N1>N2であり、N3>N4であるという出願人の研究結果が得られた。すなわち、車両進行方向への影響も車両横方向の影響も、脇見検出より非運転手操作検出の影響が大きいということである。
【0056】
そのため、車両挙動予測ユニット140は、脇見検出における各支援ユニットの影響の度合と比較して、非運転手操作検出における各支援ユニット、すなわち進行方向制御装置30、進行方向警報装置40、横方向制御装置50、横方向警報装置60、の影響の度合を大きく設定する。これにより、車両進行方向および車両横方向へ、より安全となる制御をすることができる。
【0057】
車両挙動予測ユニット140は、より安全となる制御をするために、安全へのゲインという概念を導入し、ゲインを高めることによって、車両がより安全な走行となるように進行方向制御装置30、進行方向警報装置40、横方向制御装置50、横方向警報装置60を制御する。
【0058】
本実施例でCMBSを採用する進行方向制御装置30に対しては、進行方向予測ユニット150は、先行車に衝突するまでの時間(Time To collision:TTC) を変える。すなわち進行方向予測ユニット150は、ゲインを大きくすることによって、衝突予測時間のしきい値を大きくし、自動ブレーキを早めに出すように制御信号を出力する。このように進行方向予測ユニット150は、ブレーキ制御ユニットによるブレーキ制御のタイミングが早くなるように変化させる。
【0059】
本実施例でFCWを採用する進行方向警報装置40に対しては、進行方向予測ユニット150は、TTCを変える。すなわち進行方向予測ユニット150は、ゲインを大きくすることによって、衝突予測時間のしきい値を大きくし、警報を早だしするように制御信号を出力する。このように進行方向予測ユニット150は、前方警報のタイミングが早くなるように変化させる。
【0060】
本実施例でLKASを採用する横方向制御装置50に対しては、横方向予測ユニット160は、レーンから逸脱するまでの時間を変える。すなわち横方向予測ユニット160は、ゲインを大きくすることによって、逸脱予測時間のしきい値を大きくし、ステアトルク反力を早だしするように制御信号を出力する。このように横方向予測ユニット160は、操舵制御のタイミングが早くなるように変化させる。
【0061】
本実施例でLDWを採用する横方向警報装置60に対しては、横方向予測ユニット160は、レーンから逸脱するまでの予測時間を変える。すなわち横方向予測ユニット160は、ゲインを大きくすることによって、逸脱予測時間のしきい値を大きくし、警報を早だしするように制御信号を出力する。このように横方向予測ユニット160は、側方警報のタイミングが早くなるように変化させる。
【0062】
また車両挙動予測ユニット140は、上記に加え、単位時間あたりの総脇見時間の長さ、単一の脇見の時間の長さ、脇見頻度の多さ、単位時間あたりの総非運転手操作時間の長さ、単一の非運転手操作の時間の長さ、非運転手操作頻度の多さにより、ゲインを変化させてもよい。
【0063】
たとえば、車両挙動予測ユニット140は、単位時間あたりの総脇見時間が長くなるほどゲインを車両走行として安全側に変化させる。また車両挙動予測ユニット140は、単一の脇見の時間が長くなるほどゲインを車両走行として安全側に変化させる。また車両挙動予測ユニット140は、脇見頻度が多くなるほどゲインを車両走行として安全側に変化させる。
【0064】
また車両挙動予測ユニット140は、単位時間あたりの総非運転手操作時間が長くなるほどゲインを車両走行として安全側に変化させる。また車両挙動予測ユニット140は、単一の非運転手操作の時間が長くなるほどゲインを車両走行として安全側に変化させる。また車両挙動予測ユニット140は、非運転手操作頻度が多くなるほどゲインを車両走行として安全側に変化させる。
【0065】
なお、本実施形態では、進行方向制御装置30としてCMBSを採用した例で説明したが、CMBSに限らず他の進行方向を制御する装置であってもよい。進行方向予測ユニット150は、他の進行方向を制御する装置に対して、車両走行として安全側に変化させるように、制御介入の支援量など制御信号を出力する。
【0066】
同様に、本実施形態では、進行方向警報装置40としてFCWを採用した例で説明したが、FCWに限らず他の進行方向の警報装置であってもよい。進行方向予測ユニット150は、他の進行方向の警報装置に対して、車両走行として安全側に変化させるように、警報のしきい値を変更するなど警報信号を出力する。
【0067】
同様に、本実施形態では、横方向制御装置50としてLKASを採用した例で説明したが、LKASに限らず他の横方向を制御する装置であってもよい。横方向予測ユニット160は、他の横方向を制御する装置に対して、車両走行として安全側に変化させるように、制御介入の支援量など制御信号を出力する。
【0068】
同様に、本実施形態では、横方向警報装置60としてLDWを採用した例で説明したが、LDWに限らず他の横方向の警報装置であってもよい。横方向予測ユニット160は、他の横方向の警報装置に対して、車両走行として安全側に変化させるように、警報のしきい値を変更するなど警報信号を出力する。
【0069】
なお、本実施形態では、脇見検出処理S120と非運転手操作検出処理S130とで、乗員撮影用カメラ10からの画像を用いたが、運転者の動作が検出できる他の情報を用いた手法であってもよい。ナビゲーション機器、オーディオ機器、エアコン機器などの機器操作の情報を用いた検出処理でもよいが、機器操作は運転者ではなく同乗者が操作することも考えられるので、同乗者が不在であるなど、運転者が機器操作をしている情報が必要である。本実施形態のように乗員撮影用カメラ10で運転者の動作、状況が把握できる範囲と細かさとで運転者を撮影した画像を用いれば、脇見検出処理S120と非運転手操作検出処理S130の検出精度が上がるという効果がある。
【0070】
また、乗員撮影用カメラ10を2台以上用いてもよい。脇見検出処理S120と非運転手操作検出処理S130は、2台以上の乗員撮影用カメラ10からの画像を用いて各検出をすることによって、より多彩な検出や検出精度を上げることができる。
【0071】
以上説明したように、本実施形態に係る装置では、走行支援処理装置20は、運転者の脇見を検出し(S120)、運転者の運転以外の手操作である非運転手操作を検出し(S130)、脇見の検出結果と非運転手操作の検出結果とに基づいて、第2支援ユニットである車両進行方向への進行方向制御装置30または進行方向警報装置40における、脇見の検出に対する非運転手操作の検出の影響の度合いと比較して、第1支援ユニットである車両横方向への横方向制御装置50または横方向警報装置60における、脇見の検出に対する非運転手操作の検出の影響の度合いを、大きく設定する(S140)。
【0072】
すなわち、本実施形態に係る装置では、運転者の非運転手操作と脇見を検出し、検出結果に応じて車両の操舵と減速についての運転支援を行う。減速支援における脇見検出に対する非運転手操作検出の影響の度合いと比較して、操舵支援における脇見検出に対する非運転手操作検出の影響の度合いを大きく設定する。
【0073】
本実施形態によれば、運転者による非運転手操作と脇見が、車両進行方向への影響と横方向への影響で異なるという知見に基づき、車両進行方向・車両横方向の各々に適切な支援制御を行える。
【0074】
また本実施形態によれば、運転中に携帯電話やカーナビを使用すると運転に必要な注意力が分散してしまい、安全性が低下するというディストラクション(distraction)の危険については、(1)車両進行方向に対し運転者の対応ができなくなる(前突)危険、(2)車両横方向に対する同じ危険(路外逸脱)の、大きく2つに分けられるが、これらに対してディストラクションの種類(視覚、非運転手操作)によって(1)、(2)に対し異なる影響を与えて、車両をより安全側へ制御することができる。
【0075】
また本実施形態によれば、車載機器以外、例えばスマートホンの操作、助手席の物をとるといったものが入ってきた場合にも、車両進行方向と車両横方向それぞれへの適切な指示が可能になる
また本実施形態によれば、非運転手操作(身体負荷)のみの車両挙動への影響も予測可能である。
【0076】
また本実施形態によれば、従来技術であった「ナビ操作をしている」等の離散的な判断ではなく、連続的な判断を可能にする危険予測アルゴリズムを備える。これによって、単純な「ナビを操作しているから危ない」「ラジオを操作しているから大丈夫」といった信頼性の低いものから、より高度に車両の挙動を予測した結果、それに対応できる進行方向制御装置30や横方向制御装置50などの運転補助装置、進行方向警報装置40や横方向警報装置60などの危険警報装置を実現可能にする。
【0077】
また本実施形態によれば、進行方向の車両の挙動予測と横方向の挙動予測のそれぞれを可能にするため、それらに対応する進行方向の補助をする進行方向制御装置30、横方向の補助をする横方向制御装置50それぞれに対し異なるゲインの司令を出力することを可能にする。また、進行方向警報装置40、横方向警報装置60に対しても異なったゲインで警報を可能にする。
【0078】
これらによって、車両進行方向と車両横方向それぞれに対して、きめ細かい指示が可能になる。
【0079】
なお本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。