(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-15
(45)【発行日】2022-06-23
(54)【発明の名称】路面状態推定装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20220616BHJP
G08G 1/16 20060101ALI20220616BHJP
【FI】
G06T7/00 650A
G08G1/16 C
(21)【出願番号】P 2021071133
(22)【出願日】2021-04-20
(62)【分割の表示】P 2017043922の分割
【原出願日】2017-03-08
【審査請求日】2021-04-26
(73)【特許権者】
【識別番号】000002082
【氏名又は名称】スズキ株式会社
(74)【代理人】
【識別番号】100099623
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100107319
【氏名又は名称】松島 鉄男
(74)【代理人】
【識別番号】100125380
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100096769
【氏名又は名称】有原 幸一
(72)【発明者】
【氏名】久保田 整
【審査官】新井 則和
(56)【参考文献】
【文献】特開2009-065360(JP,A)
【文献】特開2005-201741(JP,A)
【文献】特表2018-509705(JP,A)
【文献】久野 徹也 外2名,車載カメラによる路面状態検出方式の検討,電子情報通信学会論文誌D-II,日本,電子情報通信学会,1998年10月25日,Vol. J81-D-II, No. 10 ('98/10),pp. 2301-2310
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00-7/90
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
車両前方を写した車両前方画像において、前走車両のランプ部の領域を基準画像として抽出する基準画像抽出部と、
車両前方の路面の濡れに起因する前記ランプ部の前記路面への反射により、前記ランプ部の映り込みが生じている可能性のある前記車両前方画像内の領域を探索領域として設定する探索領域設定部と、
前記車両前方画像における前記前走車両の前記ランプ部の前記路面への映り込み度合いにより前記路面の濡れ度合いを推定する推定部と
を備えた路面状態推定装置。
【請求項2】
前記推定部は、前記路面の濡れ度合いが大きいほど、映り込みの度合いも大きくなると推定する、請求項1に記載の路面状態推定装置。
【請求項3】
前記探索領域が、前記車両前方画像において前記ランプ部の領域の下方に設定される、請求項
2に記載の路面状態推定装置。
【請求項4】
前記探索領域が、前記前走車両の後輪と前記路面との2つの接触箇所を通る直線を基準として、前記ランプ部の領域と線対称な位置関係にある第1探索領域を含む、請求項
3に記載の路面状態推定装置。
【請求項5】
前記探索領域が、前記第1探索領域と前記直線との間の第2探索領域をさらに含む、請求項4に記載の路面状態推定装置。
【請求項6】
前記ランプ部がブレーキランプ部又はテールランプ部である、請求項1~
5のいずれか一項に記載の路面状態推定装置。
【請求項7】
前記路面の濡れ度合いに応じて、自車両に搭載された衝突被害軽減ブレーキの制御タイミングが変更される、請求項1~6のいずれか一項に記載の路面状態推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は路面状態推定装置に関する。
【背景技術】
【0002】
特許文献1には、車両等に固定設置されたカメラで撮像したカメラ画像を基に当該車両
等の周辺環境を推定する環境推定装置及びこの装置を用いた車両制御装置が記載されてい
る。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
路面の状態は、該路面を走行する車両に影響を与える。本発明はこのような実状に鑑み
てなされたものであって、車両前方の路面の状態を、該車両の前方を写した車両前方画像
に基づいて推定することを目的とする。
【課題を解決するための手段】
【0005】
上記の目的を達成するために、本発明に係る路面状態推定装置は、車両前方を写した車両前方画像において、前走車両のランプ部の領域を基準画像として抽出する基準画像抽出部と、車両前方の路面の濡れに起因する前記ランプ部の前記路面への反射により、前記ランプ部の映り込みが生じている可能性のある前記車両前方画像内の領域を探索領域として設定する探索領域設定部と、前記車両前方画像における前記前走車両の前記ランプ部の前記路面への映り込み度合いにより前記路面の濡れ度合いを推定する推定部とを備えている。
【発明の効果】
【0006】
本発明によれば、車両前方の路面の状態を、該車両の前方を写した車両前方画像に基づ
いて推定することができる。
【図面の簡単な説明】
【0007】
【
図1】路面状態推定装置を備えたシステムの説明図である。
【
図2】システムにより行われる処理のフローチャートである。
【
図7】濡れ度合いと映り込みの度合いとの関係を示すグラフである。
【発明を実施するための形態】
【0008】
以下に本発明の実施形態を説明する。ただし、本発明は、以下の実施形態によって限定
されるものではない。
【0009】
図1に、路面状態推定装置1を備えたシステムSを示す。システムSは車両に搭載され
、システムSが搭載された車両を自車両とも呼ぶ。システムSは、車両前方撮像装置2と
、車両情報取得装置3と、路面状態を自車両のドライバに知らせる警報装置4と、路面状
態を周囲の車両または道路管理者に知らせる通信装置5とを更に備えており、これらの装
置は路面状態推定装置1に接続される。
【0010】
自車両前方の路面が降雨等により濡れている場合、自車両の前方を走行する前走車両の
ランプ部が路面に反射し、自車両前方を写した車両前方画像において該ランプ部の映り込
みが生じる。路面の濡れ度合いが大きいほど、映り込みの度合いも大きくなると考えられ
る。路面状態推定装置1は、自車両前方の路面の濡れ度合いを、車両前方画像における前
走車両のランプ部の映り込みの度合いから推定する。路面状態推定装置1は、画像取得部
11と、前走車両検出部12と、基準画像抽出部13と、探索領域設定部14と、推定部
15と、信号出力部16とを備えている。
【0011】
路面状態推定装置1は、そのハードウェア構成として、各部の機能を実行するように動
作可能なプログラム及びデータを格納するメモリと、演算処理を行うプロセッサと、シス
テムS内の他の装置とのインタフェースとを備えている。
【0012】
車両前方撮像装置2は、自車両の前方を車両前方画像として撮影する。この車両前方画
像は、車両前方撮像装置2から路面状態推定装置1へ送られる。車両前方撮像装置2とし
て、近年、車両周囲の死角を低減する目的で普及が進んでいる全方位カメラを用いること
ができる。また、車両前方の障害物や白線を検出して追突や車線逸脱を防止する機能の普
及が進んでおり、これらの機能で使用されているステレオカメラ、単眼カメラを車両前方
撮像装置2として用いてもよい。
【0013】
図2に、システムSにより行われる処理のフローを示す。まず、ステップS101にお
いて、車両情報取得装置3は、走行中の自車両の車両情報を自車両から取得し、取得した
情報を路面状態推定装置1に入力する。車両情報の例として、車速、ハンドル舵角、ブレ
ーキスイッチの状態、アクセル開度、シフトポジション、ワイパー作動状況等が挙げられ
る。
【0014】
ステップS102において、路面状態推定装置1内の画像取得部11は、車両前方撮像
装置2から一定間隔(例えばビデオレート30Hz)で送られてくる、一定サイズ(例え
ばVGAサイズ横640×縦480ピクセル)の車両前方画像を取得する。車両前方画像
の一例を
図3に示す。車両前方画像6には、自車両の前方を走行する前走車両61と、自
車両及び前走車両が走行する路面62とが写っている。さらに、前走車両61並びに該前
走車両の左側のブレーキランプ部63
L及び右側のブレーキランプ部63
Rが、濡れた路
面62への反射により映り込んでいる。前走車両61並びにブレーキランプ部63
L及び
63
Rが映り込んだ領域をそれぞれ、符号61
1並びに63
L1及び63
R1として示す
。
【0015】
ステップS103において、前走車両検出部12は、車両前方画像6において前走車両
61を検出する。前走車両を検出する手法としては、一般的に知られている、テンプレー
トマッチング法、ニューラルネットワーク法等を用いることができる。ニューラルネット
ワーク法では、実際に撮影した数多くの画像群をデータベース化して教師データとして利
用し、事前にニューラルネットワークに学習させておく。
【0016】
車両前方撮像装置2としてステレオカメラを使用している場合は、距離情報から路面以
外の高さのある物体を前走車両の候補として抽出し、その候補について前走車両であるか
否かの推定を行うことで検出精度を向上させることができる。また、車両前方撮像装置2
から事前に白線情報を取得し、自車両の前方の白線領域内に検出範囲を絞り込んでもよい
。
【0017】
ステップS104において、前走車両検出部12は前走車両が検出されたかどうかを判
断する。前走車両が検出されたと判断された場合は後述するステップS105に進み、さ
もなければステップS101に戻る。
【0018】
ステップS105において、基準画像抽出部13は、前走車両61における車両左側の
ブレーキランプ部63Lの領域及び車両右側のブレーキランプ部63Rの領域をそれぞれ
左側基準画像及び右側基準画像として抽出する。左側基準画像及び右側基準画像はいずれ
も、正方形状又は矩形状である。具体的には、基準画像抽出部13は、車両前方画像6に
おいてブレーキランプ部の色情報に近い色情報を有するピクセルを抽出する。この色情報
として例えばRGB色情報を用いることができる。
【0019】
一般にRGB色情報は、赤色の成分を示すR値(0~255)、緑色の成分を示すG値
(0~255)、青色の成分を示すB値(0~255)から構成される。本実施形態にお
いては、ブレーキランプ部の色情報の範囲を、例えば、200≦R値≦255かつ0≦G
値≦50かつ0≦B値≦50とする。この範囲内のR値、G値及びB値を有する車両前方
画像6内のピクセルをブレーキランプ部の候補ピクセルとして抽出する。
【0020】
一般的に、ブレーキランプ部は車両後部の左右端に左右対称に取り付けられている。そ
のため、基準画像抽出部13は、抽出されたブレーキランプ部の候補ピクセルが車両の左
右両端に左右対称に位置している場合に、それら候補ピクセルを抽出し、基準画像とする
。
図4に基準画像の一例を示す。同図(a)は、前走車両6の左側のブレーキランプ部6
3
Lが写った左側基準画像7
Lである。同図(b)は、前走車両6の右側のブレーキラン
プ部63
Rが写った右側基準画像7
Rである。
【0021】
ステップS106において、基準画像抽出部13は、基準画像が抽出されたかどうかを
判断する。基準画像が抽出されたと判断された場合は後述するステップS107に進み、
さもなければステップS101に戻る。
【0022】
探索領域設定部14は、2段階の探索領域設定を行う。ステップS107では、探索領
域設定部14は探索領域設定の第1段階として、車両前方画像6内に第1探索領域を設定
する。
図5に、第1探索領域B
L及びB
Rの設定例を示す。第1探索領域B
L及びB
Rは
それぞれ、前走車両61の車両左側のブレーキランプ部63
L及び車両右側のブレーキラ
ンプ部63
Rに対応して設定される。第1探索領域B
L及びB
Rはそれぞれ、車両前方画
像6において前走車両61の左右のブレーキランプ部63
L及び63
Rの領域の下方に設
定される。
【0023】
具体的には、左側の第1探索領域BLは、前走車両61の後輪64L及び64Rと路面
62との2つの接触箇所を通る直線Aを基準として、ブレーキランプ部63Lの領域と線
対称な位置関係にある領域を含むものとなるように設定される。すなわち、左側のブレー
キランプ部63Lの中心と直線Aとの距離L1は、第1探索領域BLの中心と直線Aとの
距離L2に等しい。同様に、右側の第1探索領域BRは、直線Aを基準として、ブレーキ
ランプ部63Rの領域と線対称な位置関係にある領域を含むものとなるように設定される
。
【0024】
第1探索領域BL及びBRのサイズは、基準画像7L及び7Rの縦横サイズよりも大き
いサイズとすることができる。例えば、基準画像の縦横サイズの2倍に設定することがで
きる。
【0025】
ステップS108では、推定部15は、第1探索領域BL内のピクセルの色情報を基準
画像7L内のピクセルの色情報と比較し、第1探索領域BLにおいて基準画像7Lと一致
する箇所が存在するか否かを判断する。さらに、推定部15は、第1探索領域BR内のピ
クセルの色情報を基準画像7R内のピクセルの色情報と比較し、第1探索領域BRにおい
て基準画像7Rと一致する箇所が存在するか否かを判断する。探索手法としては、例えば
テンプレートマッチング法を使用することができる。さらには色情報の一致度をしきい値
判断してもよい。
【0026】
同ステップにて、第1探索領域BLにおいて基準画像7Lと一致する箇所が存在し、か
つ第1探索領域BRにおいて基準画像7Rと一致する箇所が存在すると判断された場合は
、ステップS109に進み、さもなければステップS110に進む。
【0027】
ステップS109では、路面に水が溜まっているとして推定部15により路面の濡れ度
合いWが1.0に設定され、この濡れ度合いWを推定部15が信号出力部16へ出力した
後に、後述するステップS112に進む。
【0028】
路面の濡れ度合いが比較的大きい場合、つまり路面に水が溜まっている場合、前走車両
のブレーキランプ部が鏡面反射して直線Aを基準として線対称な位置関係にある領域に映
り込んでいる可能性が高いという見地に基づいて、上記のようなステップS107~S1
09が行われる。
【0029】
路面の濡れ度合いWとは、路面の濡れの程度を数値的に表す指標である。濡れ度合いW
の数値が大きいほど濡れの程度も大きくなる。第1探索領域に基準画像と一致する箇所が
存在する場合は、上述したように濡れ度合いWが1.0に設定される。
【0030】
ステップS110では、探索領域設定部14は探索領域設定の第2段階として、車両前
方画像6内に正方形状又は矩形状の第2探索領域を設定する。
図6に、第2探索領域C
L
及びC
Rの設定例を示す。左側の第2探索領域C
Lは、第1探索領域B
Lと直線Aとの間
の領域として設定される。左側の第2探索領域C
Lの横幅は、ブレーキランプ部63
Lの
横幅よりも大きくなるように設定される。例えば、基準画像7
Lの横サイズと同じにする
ことができる。左側の第2探索領域C
Lの縦の長さは、第1探索領域B
Lの上辺から直線
Aまでの長さに等しい。
【0031】
右側の第2探索領域CRも同様に、第1探索領域BRと直線Aとの間の領域として設定
される。右側の第2探索領域CRの横幅は、ブレーキランプ部63Rの横幅よりも大きく
なるように設定される。例えば、基準画像7Rの横サイズと同じにすることができる。右
側の第2探索領域CRの縦の長さは、第1探索領域BRの上辺から直線Aまでの長さに等
しい。
【0032】
ステップS111において、推定部15は、第2探索領域において、基準画像内のピク
セルの色情報(一般的には赤色)に近い色情報を有するピクセルを探索する。具体的には
、まず、推定部15は、基準画像7L及び7RのRGB色情報を求める。赤色の情報BA
SERは、基準画像7L及び7Rにおける全ピクセルのR値の平均値、中央値、最大値等
を用いる。緑色の情報BASEG、青色の情報BASEBについても同様である。例えば
、BASER=200、BASEG=10、BASEB=20である。
【0033】
続いて、推定部15は、第2探索領域CL及びCRのRGB色情報を求める。赤色の情
報AREARは、第2探索領域CL及びCRにおける全ピクセルのR値の平均値、中央値
、最大値等を用いる。緑色の情報AREAG、青色の情報AREABについても同様であ
る。例えば、AREAR=100、AREAG=16、AREAB=12である。
【0034】
同ステップではさらに、推定部15は、基準画像のRGB色情報(BASER、BAS
EG、BASEB)と探索領域のRGB色情報(AREAR、AREAG、AREAB)
とを用いて濡れ度合いWを算出する。
【0035】
これは、路面の濡れ度合いWと、第2探索領域にブレーキランプ部が映り込んでいる度
合いとは相関があるという見地に基づいている。
図7に、路面の濡れ度合いWと映り込み
の度合いとの関係の一例を示す。路面の濡れ度合いWが大きくなるにつれて映り込みの度
合いも大きくなる。ただし、路面の濡れ度合いWが1.0以上の場合、路面に水が溜まっ
ているとして、映り込みの度合いは最大かつ一定であるとする。ステップS108の判断
結果が「否」となった時点で、路面の濡れ度合いWは1.0未満である。
図7に示した関
係から、路面の濡れ度合いWを次式により求める。
W=α×(AREA
R÷BASE
R) (1)
【0036】
ここで、映り込みの度合いは、AREAR÷BASERで表される。また、αは係数で
あり、例えば0.8とすることができる。例えば、路面の濡れ度合いと映り込みの度合い
との関係について、走行場所が一般道路か高速道路かの違いに応じて係数αの値を変えて
も良いし、直線(比例)の関係ではなく高次曲線の関係としても良い。
【0037】
同ステップではさらに、推定部15は、AREAG÷BASEGの値と、AREAB÷
BASEBの値とを算出し、各値が所定のしきい値以下であるかどうかを判断する。これ
らの2つの値がしきい値以下の場合は、式(1)による路面の濡れ度合いWの値を推定部
15が信号出力部16へ出力する。その他の場合はステップS101に戻る(不図示)。
【0038】
路面に水が溜まっているわけではないものの、路面が濡れている場合には、前走車両の
ブレーキランプ部が拡散反射して直線Aと第1探索領域B
L及びB
Rとの間の領域に映り
込んでいる可能性が高いと考えられる。この見地に基づいて、上記のようなステップS1
10及びS111が行われる。このように映り込んだ領域を
図6の符号63
L2及び63
R2として示す。
【0039】
ステップS112において、信号出力部16は、推定部15から出力された路面の濡れ
度合いWに応じた信号を警報装置4へ出力する。そして、警報装置4は、信号出力部16
から出力された信号に応じて、路面の状態を、音、振動、ランプ、表示等で自車両のドラ
イバに警報する。
【0040】
ステップS113において、信号出力部16は、推定部15から出力された路面の濡れ
度合いWに応じた信号を通信装置5へ出力する。そして、通信装置5は、信号出力部16
から出力された信号に応じて、路面の状態を自車両周辺の別の車両や道路管理者に知らせ
る。ステップS113を終えるとステップS101に戻る。
【0041】
上記の実施形態によれば、自車両が走行する路面の、降雨等による濡れ度合いを、自車
両の前方を写した車両前方画像に基づいて推定することができる。この推定は、自車両の
前方を走行する前走車両のブレーキランプ部が抽出された基準画像をテンプレートとして
行われる。そのため、処理の複雑度を抑えて、比較的簡易な構成で路面の濡れ度合いを推
定することができる。
【0042】
また、車両前方画像を用いて推定が行われるため、安価なハードウェア構成で、路面に
対して物理的に接触することなく、路面の濡れ度合いを推定することができる。
【0043】
一般的に、路面が乾いている場合に比べて、路面が濡れている場合は、自車両が前走車
両に追突する可能性が高くなると考えられる。上記実施形態により路面の濡れ度合いを推
定し、自車両のドライバに警報を発することで、自車両が前走車両に追突する可能性を低
減することができる。
【0044】
探索領域設定部は、車両前方画像においてブレーキランプ部領域の下方の領域を探索領
域として設定するため、推定を効率的に行うことができる。また、探索領域設定は2段階
に分けて行われるため、推定の効率がさらに高まる。
【0045】
路面は黒っぽい色であることが多いことから、赤色情報を基準として路面状態の推定を
行うことで、推定の誤差を抑えることができる。
【0046】
前走車両のブレーキランプ部に限らず、テールランプ部等の任意のランプ部を基準画像
として抽出することもできる。
【0047】
色情報を定量的に表すにあたり、RGB色空間に限らず、別の色空間あるいは表色系を
用いてもよい。
【0048】
ワイパー作動時のみ路面状態の推定を行うようにシステムSを構成することもできる。
【0049】
ステップS112において、信号出力部16は、推定部15から出力された路面の濡れ
度合いWに応じた信号を車両制御装置(不図示)へ出力することもできる。そして、この
車両制御装置により、自車両がスリップ、横滑り等にならないように、自車両のブレーキ
、アクセル、シフトポジション、エンジントルク等を制御することができる。
さらに、路面の濡れ度合いの信号に応じて、車間距離維持装置(ACC)、衝突被害軽
減ブレーキ(AEB)、横滑り防止装置(ESC)等における制御タイミングや制御時間
を変更させても良い。
【0050】
左側の第1探索領域BLを、直線Aを基準として、ブレーキランプ部63Lの領域と線
対称な位置関係にある領域そのものとして設定することもできる。このように設定された
左側の第1探索領域BLと直線Aとの間の領域を第2探索領域CLとして設定することが
できる。
同様に、右側の第1探索領域BRを、直線Aを基準として、ブレーキランプ部63Rの
領域と線対称な位置関係にある領域そのものとして設定することもできる。このように設
定された右側の第1探索領域BRと直線Aとの間の領域を第2探索領域CLとして設定す
ることができる。
【0051】
前述したシステムS及び路面状態推定装置1の機能的構成及び物理的構成は、前述の態
様に限られるものではなく、例えば、各機能や物理資源を統合して実装したり、逆に、さ
らに分散して実装したりすることも可能である。
【符号の説明】
【0052】
1 路面状態推定装置
11 画像取得部
12 前走車両検出部
13 基準画像抽出部
14 探索領域設定部
15 推定部
16 信号出力部
2 車両前方撮像装置
3 車両情報取得装置
4 警報装置
5 通信装置
6 車両前方画像
61 前走車両
62 路面
63L、63R ブレーキランプ部
7L、7R 基準画像
BL、BR 第1探索領域
CL、CR 第2探索領域