特許第6981433号(P6981433)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社デンソーの特許一覧

<>
  • 特許6981433-運転支援装置 図000002
  • 特許6981433-運転支援装置 図000003
  • 特許6981433-運転支援装置 図000004
  • 特許6981433-運転支援装置 図000005
  • 特許6981433-運転支援装置 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6981433
(24)【登録日】2021年11月22日
(45)【発行日】2021年12月15日
(54)【発明の名称】運転支援装置
(51)【国際特許分類】
   G08G 1/16 20060101AFI20211202BHJP
   B60W 30/08 20120101ALI20211202BHJP
   B60W 40/02 20060101ALI20211202BHJP
【FI】
   G08G1/16 C
   B60W30/08
   B60W40/02
【請求項の数】3
【全頁数】11
(21)【出願番号】特願2019-1927(P2019-1927)
(22)【出願日】2019年1月9日
(65)【公開番号】特開2020-112927(P2020-112927A)
(43)【公開日】2020年7月27日
【審査請求日】2021年1月5日
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際特許業務法人
(72)【発明者】
【氏名】井村 真悟
(72)【発明者】
【氏名】シン ウチェル
【審査官】 白石 剛史
(56)【参考文献】
【文献】 国際公開第2007/129382(WO,A1)
【文献】 特開2008−241276(JP,A)
【文献】 特開2007−317002(JP,A)
【文献】 特開2007−233430(JP,A)
【文献】 特開2011−134237(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
B60W 30/08
B60W 40/02
(57)【特許請求の範囲】
【請求項1】
車両の周辺画像を撮像するよう構成されたカメラ(11)と、
車両が現在走行中の道路と交差する交差路に接近したことを認識するよう構成された接近認識部(22,24,S120〜S140)と、
前記カメラにより撮像された前記周辺画像から路面を認識するよう構成された路面認識部(22,24,S160)と、
前記接近認識部にて前記交差路への接近が認識されると、前記路面認識部にて前記交差路の路面が認識されたか否かを判断し、前記路面認識部にて前記交差路の路面が認識されると、車両の走行案内を表示する表示装置の表示画像を、前記カメラにより撮像された前記交差路の画像に切り替えるよう構成された画像切替部(22,24,S150,S170,S180)と、
を備えた、車両の運転支援装置。
【請求項2】
請求項1に記載の車両の運転支援装置であって、
前記接近認識部は、前記カメラによる撮像画像に基づき、前記車両が前記交差路に接近したことを認識するよう構成されている、車両の運転支援装置。
【請求項3】
請求項1又は請求項2に記載の車両の運転支援装置であって、
車両の左右に存在する障害物を検出するよう構成された障害物センサ(36)を備え、
前記画像切替部は、前記障害物センサにて前記障害物が検出されているときに、前記表示画像を、前記カメラにより撮像された前記交差路の画像に切り替えるよう構成されている、車両の運転支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両が交差点に進入する際に、運転者に対する運転支援を行う運転支援装置に関する。
【背景技術】
【0002】
従来、特許文献1に記載のように、車両が見通しの悪い交差点に進入することを検知すると、ディスプレイへの表示画像を、道路案内画像から、左右のブラインドコーナーカメラにて撮像された側方画像に切り替えるように構成された運転支援装置が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−140992号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来の運転支援装置では、車両が見通しの悪い交差点に進入するか否かを、フロントカメラにて撮像された車両前方の画像に基づき判断し、車両前方の走行路の左右に障害物や建物が存在する場合に、表示画像を側方画像に切り替える。
【0005】
そして、フロントカメラは、車両の室内の中央に設けられたルームミラーのステイに取り付けられ、フロントガラスの中央上部から、車両の前方を左右所定の角度範囲で撮像するように構成されており、その視野角は狭角である。
【0006】
このため、表示画像を側方画像に切り替えるか否かの判断は、車両が交差点からある程度離れていて、フロントカメラにより交差点付近を撮像可能な位置で行われることになる。
従って、車両が見通しの悪い交差点に進入すると判断され、ディスプレイへの表示画像を側方画像に切り替えた際には、車両が交差点からある程度離れていたり、走行路の左右に障害物等が存在していて、ブラインドコーナーカメラでは、走行路に交差する交差路を撮像できないことがある。
【0007】
そして、このように表示画像が切り替えられると、表示装置には、障害物だけが映った側方画像が表示されることから、運転者に対する運転支援を良好に実施することができなくなってしまう、という問題がある。
【0008】
また、ブラインドコーナーカメラは、車両前端部の左右に取り付けられ、前端部の左右に広がる領域を撮像するように構成されていることから、フロントカメラのように車両前方の走行路を撮像することはできない。
【0009】
このため、上記従来の運転支援装置では、車両が見通しの悪い交差点に進入することを検知するために、交差路撮像用のブラインドコーナーカメラとは別に、表示画像切り替え判定用のフロントカメラを設けなければならない、という問題もある。
【0010】
本開示の1つの局面は、表示画像切り替え判定用のカメラを別途設けることなく、車両が交差点に進入する際に交差路の画像を表示して、運転者に対する運転支援を適正に行うことのできる、車両の運転支援装置を提供することにある。
【課題を解決するための手段】
【0011】
本開示の1つの態様による車両の運転支援装置は、車両の周辺画像を撮像するよう構成されたカメラ(11)と、車両が現在走行中の道路と交差する交差路に接近したことを認識するよう構成された接近認識部(22,24,S120〜S140)とを備える。
【0012】
そして、接近認識部にて交差路への接近が認識されると、路面認識部(22,24,S160)が、カメラにより撮像された周辺画像から路面を認識する。また、画像切替部(22,24,S150,S170,S180)が、路面認識部にて、交差路の路面が認識されたか否かを判断する。
【0013】
また、画像切替部は、路面認識部にて交差路の路面が認識されたと判断すると、車両の走行案内を表示する表示装置の表示画像を、前記カメラにより撮像された交差路の画像に切り替える。
【0014】
従って、本開示の運転支援装置によれば、車両が交差点に進入する手前で、カメラにより交差路の路面が撮像されたときに、表示装置の表示画像が、カメラにより撮像された交差路の画像に切り替えられることになる。
【0015】
このため、交差点周囲に障害物等があって、カメラにより交差路の路面を撮像できないときに、表示画像が、カメラによる撮像画像に切り替えられることがなく、表示画像を、カメラにより交差路の路面を撮像し得る適正なタイミングで切り替えることができる。
【0016】
よって、運転者は、その切り替えられた表示画像、つまり、交差路の撮像画像から、交差路の状況を把握し、車両を交差点内に安全に進入させることができるようになる。
また、本開示の運転支援装置によれば、運転支援のために切り替える表示画像に、路面認識に用いるカメラによる撮像画像を利用する。
【0017】
このため、上述した従来装置のように、交差路撮像用のカメラとは別に、表示画像切り替え判定用のカメラを設ける必要がなく、装置構成を簡素化することができる。また、本開示の運転支援装置は、表示画像切り替え判定用のカメラを搭載していない車両にも適用することができ、運転支援装置の用途を拡大することもできる。
【図面の簡単な説明】
【0018】
図1】実施形態の運転支援装置の構成を表すブロック図である。
図2】車両の前方を撮像する前方カメラの車両への取付位置を表す説明図である。
図3】CPUにて実行される画像切替処理を表すフローチャートである。
図4】走行路の停止線、停止表示、停止標識の一例を表す説明図である。
図5】画像切替処理による表示画像の切替手順を説明する説明図である。
【発明を実施するための形態】
【0019】
以下に、本開示の実施形態を図面と共に説明する。
[実施形態]
[構成]
図1に示すように、本実施形態の運転支援装置1は、図2に例示する車両2に搭載され、周辺カメラ10にて撮像された画像をナビゲーション装置30のディスプレイ32に表示させて、運転者に対する運転支援を行うものであり、画像処理用のECU20を備える。
【0020】
周辺カメラ10は、例えば、車両2の前方、後方、左側方、右側方をそれぞれ撮像できるように、車両2の前・後・左・右にそれぞれ取り付けられた4つのカメラ11、12、13、14にて構成されている。
【0021】
なお、各カメラ11〜14は、CCDイメージセンサやCMOSイメージセンサ等を用いて構成され得る。また、周辺カメラ10の数は、必要に応じて、適宜変更できるが、本開示の主要部となる周辺カメラは、図2に示すように、車両2の先端中央部分に設けられて、車両2の前方を撮像する前方カメラ11である。
【0022】
そして、この前方カメラ11には、車両2の前方を広範囲に撮像できるように、広角レンズを備えた広角カメラが利用される。また、表示装置としてのディスプレイ32は、液晶ディスプレイやヘッドアップディスプレイ等にて構成される。
【0023】
ECU20は、各カメラ11〜14にて撮像された撮像画像を処理する画像処理部22、画像処理部22を制御するCPU24、及び、ROM、RAM等のメモリ26、を備えた電子制御装置である。つまり、ECU20は、画像処理機能を有するマイクロコンピュータにて構成されている。
【0024】
また、ECU20には、車速センサ34や障害物センサ36等、車両2の走行状態や車両2の周辺状態を検出する各種センサからの検出信号を取り込み、CPU24に入力する車両入力I/F28も備えられている。なお、I/Fはインターフェイスを表す。
【0025】
ECU20において、CPU24は、メモリ26に記憶されたプログラムに従い所定の制御処理を実行することで、車両入力I/F28から入力される検出信号や他の車載装置から得られる情報に基づき車両状態を把握する。
【0026】
そして、CPU24は、把握した車両状態、若しくは、乗員からの指令に応じて、画像処理部22に画像処理を実行させることで、車両2の前方画像、後方画像、車両周囲を上方から見た俯瞰画像など、運転支援用の画像を生成させる。
【0027】
また、画像処理部22は、CPU24からの指令に従い、運転支援用の画像を生成し、ナビゲーション装置30に出力することで、ディスプレイ32への表示画像を、道路案内画像から、運転支援用の画像に切り替える。なお、道路案内画像は、ナビゲーション装置30にて地図データに基づき生成される走行案内用の画像である。
[交差点での画像切替処理]
このように、CPU24は、画像処理部22に運転支援用の画像を生成させて、ディスプレイ32の表示画像を運転支援用の画像に切り替える。そして、車両2が走行中に見通しの悪い交差点に進入する際には、現在走行中の走行路と交わる交差路の画像をディスプレイ32に表示させることで、運転者が交差路の状況を把握し易くなるように、運転者に対する運転支援を行う。
【0028】
以下、こうした交差点での運転支援のためにCPU24において実行される画像切替処理について、図3に示すフローチャートに沿って説明する。
図3に示す画像切替処理は、車速センサ34からの検出信号に基づき、車両2が走行していることが検出されているときに、CPU24において繰り返し実行される処理の1つである。
【0029】
図3に示すように、画像切替処理においては、まずS110にて、前方カメラ11による撮像を開始し、続くS120にて、画像処理部22に対し、前方カメラ11による撮像画像から停止表示を認識させる。
【0030】
この停止表示としては、図4Aに例示するように、走行路上に記載された停止線41や、図4Bに例示するように、走行路上に記載された「とまれ」を表す表示42を挙げることができる。また、停止表示には、図4Cに例示するように、走行路の路肩若しくは上方に設置された「とまれ」を表す標識43も含まれる。そして、画像処理部22は、撮像画像中にこれらの停止表示があるか否かを、パターン認識等で判定する。
【0031】
次に、S130では、画像処理部22による認識処理の結果、撮像画像の中から停止表示が検知されたか否かを判断し、停止表示が検知されていれば、S140に移行し、停止表示が検知されていなければ、当該画像切替処理を終了する。
【0032】
S140では、停止表示が検知されてから、車両2が停止表示に対応した停止位置まで移動したか否かを判断する。
つまり、図5の左側欄に示すように、前方カメラ11にて停止表示が撮像されて、停止表示が検知されたときには、車両2は、まだ停止位置に到達しておらず、停止位置から離れている。このため、S140では、その後車両2が移動して、図5の中央欄に示すように、車両2が停止表示に対応した停止位置に到達するのを待機する。
【0033】
なお、図5では、車両2が走行路上の停止線に到達したときに、車両2が停止位置に到達したと判断した状態を表している。そして、S140では、例えば、前方カメラ11にて停止表示が撮像されなくなったときに、車両2が停止位置に到達したと判断するようにしてもよい。また、S140では、停止表示を検知してから車両2が所定距離移動したときに、車両2が停止位置に到達したと判断するようにしてもよい。
【0034】
S140にて、車両2が停止位置まで移動したと判断されると、S150に移行し、障害物センサ36にて、車両2の左右に存在する障害物が検出されているか否かを判断する。つまり、S150では、車両2の停止位置の左右に、駐停車中の他の車両や建造物があるか否か、換言すれば、障害物により運転者が交差路を見難くなっているか否かを判断する。
【0035】
そして、障害物センサ36にて左右の障害物が検出されていなければ、車両2が進入しようとしている交差点は見通しがよいと判断して、当該画像切替処理を終了する。
一方、障害物センサ36にて左右の障害物が検出されている場合には、車両2は見通しの悪い交差点に進入しようとしていると判断して、S160に移行する。
【0036】
S160では、画像処理部22に対し、前方カメラ11による撮像画像を、例えば、セマンティック・セグメンテーション(Semantic Segmentation)により、路面領域と路面以外の非路面領域とに分類して、路面を認識させる、路面認識処理を実行する。
【0037】
なお、この処理により、画像処理部22は、本開示の路面認識部として機能し、図5に示すように、車両が停止位置に到達した後、前方カメラ11にて撮像される撮像画像から、ハッチングで示す路面領域が認識されることになる。
【0038】
セマンティック・セグメンテーションは、機械学習データ等を利用して、画像を構成する各ピクセルがどのクラスのオブジェクトに属しているのかをラベリングする技術であり、例えば、特許第6309663号公報に記載のように知られている。このため、本明細書では、セマンティック・セグメンテーションにて路面認識を行う手順については、説明を省略する。
【0039】
次に、S160にて路面認識処理が実行されると、S170に移行して、画像処理部22にて認識された路面に、走行路から左右方向に延びる交差路の路面が含まれているか否かを判断する。
【0040】
なお、この判断は、例えば、認識された路面の幅が車両2の進行方向に対し広がっているときに、交差路の路面が含まれていると判断するようにすればよい。そして、画像処理部22にて認識された路面に、交差路の路面が含まれていなければ、前方カメラ11では障害物により交差路を撮像できていないので、S160に戻り、路面認識を継続する。
【0041】
次に、図5の右側欄に示すように、車両2が停止位置から交差点方向に移動し、前方カメラ11にて交差路を撮像できるようになると、S170にて、画像処理部22にて認識された路面に交差路の路面が含まれていると判断されて、S180に移行する。
【0042】
そして、S180では、画像処理部22に対し、前方カメラ11による撮像画像から左右の交差路の撮像画像を抽出して、その左右の交差路の撮像画像を含む運転支援用の画像を生成させ、その生成した運転支援用の画像をナビゲーション装置30に出力させる。
【0043】
この結果、図5に示すように、ディスプレイ32への表示画像が、ナビゲーション装置30にて地図データに基づき生成された道路案内画像から、左右の交差路の撮像画像を含む運転支援用の画像に切り替えられる。
【0044】
なお、前方カメラ11による撮像画像には左右の交差路が映っているので、S180では、画像処理部22に対し、前方カメラ11による撮像画像を、そのまま、運転支援用の画像として、ナビゲーション装置30に出力させるようにしてもよい。
【0045】
次に、S180にて、ディスプレイ32への表示画像が、道路案内画像から、前方カメラ11による交差路の撮像画像に切り替えられると、S190に移行して、車両2が交差点へ進入したか否かを判断することにより、車両2が交差点へ進入するのを待つ。
【0046】
そして、S190にて、車両2が交差点へ進入したと判断されると、画像処理部22を介して、ディスプレイ32への表示画像を、前方カメラ11による交差路の撮像画像から、道路案内画像に戻し、当該画像切替処理を終了する。
[効果]
以上説明したように、本実施形態の車両の運転支援装置1においては、車両2の走行中に、前方カメラ11による撮像画像から車両進行方向前方の停止表示を検知すると、車両2が停止位置まで移動するのを待って、撮像画像を利用した路面認識を行う。
【0047】
そして、その路面認識により、交差点で走行路と交差する交差路の路面が認識されると、ディスプレイ32への表示画像を、ナビゲーション装置30にて生成された道路案内画像から、前方カメラ11により撮像された交差路の画像に切り替える。
【0048】
このため、本実施形態の運転支援装置1によれば、車両2が交差点に進入する手前で、前方カメラ11により交差路の路面が撮像されたときに、ディスプレイ32への表示画像が、交差路の画像に切り替えられることになる。
【0049】
従って、前方カメラ11により交差路の路面を撮像できないときに、ディスプレイ32への表示画像が、前方カメラ11による撮像画像に切り替えられるのを抑制できる。つまり、本実施形態の運転支援装置1によれば、前方カメラ11により交差路の路面を撮像し得る適正なタイミングで表示画像を切り替えることができる。
【0050】
よって、運転者は、その切り替えられた表示画像、つまり、交差路の撮像画像から、交差路の状況を把握し、車両を交差点内に安全に進入させることができるようになる。
また、本実施形態の運転支援装置1においては、前方カメラ11による撮像画像を利用して、表示画像の切り替え判定を行い、画像切り替えに伴い表示する交差路の画像を生成する。
【0051】
このため、従来装置のように、表示画像切り替え判定用のカメラを別途設ける必要がなく、装置構成を簡素化できる。また、本実施形態の運転支援装置1は、表示画像切り替え判定用のカメラを搭載していない車両に適用できることから、運転支援装置の用途を拡大することもできる。
【0052】
また、本実施形態では、車両が停止位置まで移動した際、障害物センサ36にて左右の障害物が検出されていないとき、つまり、車両が見通しのよい交差点に進入するときには、交差路の撮像画像を表示しないようにされている。
【0053】
このため、車両が見通しのよい交差点に進入する際、ディスプレイ32への表示画像が道路案内画像から、前方カメラ11にて撮像された左右の交差路の画像に切り替えられることはなく、表示画像が不必要に切り替えられるのを抑制することができる。
【0054】
なお、本実施形態において、ECU20は、本開示の接近認識部、路面認識部、画像切替部に相当する。より詳しくは、CPU24にて実行されるS120〜S140の処理は、画像処理部22と共に本開示の接近認識部として機能し、CPU24にて実行されるS160の処理は、画像処理部22と共に本開示の路面認識部として機能する。また、CPU24にて実行されるS150、S170及びS180の処理は、画像処理部22と共に本開示の画像切替部として機能する。
[他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【0055】
例えば、上記実施形態では、画像切替処理において、S130にて前方カメラ11による撮像画像から停止表示を検知したと判定すると、S140にて、車両2が停止位置まで移動するのを待って、S160の路面認識処理を実行するものとして説明した。
【0056】
これに対し、S130にて前方カメラ11による撮像画像から停止表示を検知したと判定すると、S140の判定処理を実施することなく、S160の路面認識処理を開始するようにしてもよい。
【0057】
また、上記実施形態では、前方カメラ11によって交差路の路面が撮像されているか否かを判断するために、セマンティック・セグメンテーションによる路面認識を行うものとして説明した。
【0058】
これに対し、S120での停止表示の認識にも、セマンティック・セグメンテーションを利用するようにしてもよい。つまり、セマンティック・セグメンテーションでは、撮像画像を、停止表示を含む各種領域に分類することができることから、S120において、セマンティック・セグメンテーションにて停止線等の停止表示や路面を同時に認識するようにしてもよい。
【0059】
一方、セマンティック・セグメンテーションによる路面認識は、周囲が暗くなる夜間や雨が降っていて天候が悪いときには、精度よく実施することができず、交差路の路面が撮像されているか否かを正常に判断できないことがある。
【0060】
このため、夜間や天候が悪いときには、路面認識を行うことなく、ディスプレイ32への表示画像を、道路案内画像から前方カメラ11にて撮像された左右の交差路の画像に切り替えるようにしてもよい。
【0061】
つまり、夜間や天候が悪いときには、S130にて停止表示を検知したと判定したとき、或いは、S140にて車両2が停止位置まで移動したと判断したときに、ディスプレイ32への表示画像を、交差路の画像に切り替えるようにしてもよい。
【0062】
次に、上記実施形態では、S130にて停止表示を検知したか否かを判断する際には、画像処理部22による停止表示の認識結果を利用するものとして説明した。しかし、運転支援のために交差路の画像表示を行う交差点は、ナビゲーション装置30の地図データ等から特定できる。
【0063】
このため、接近認識部としてのS120〜S140の処理においては、交差点への接近を、地図データと車両の現在位置とに基づき検知するようにしてもよい。このようにしても、車両2が交差点に進入する際に、交差路の画像をディスプレイ32に表示させて、運転者に対する運転支援を行うことができる。
【0064】
また次に、上記実施形態では、ディスプレイ32の表示画像を交差路の画像に切り替える際には、ディスプレイ32には、ナビゲーション装置30にて地図データに基づき生成された道路案内画像が表示されているものとして説明した。
【0065】
しかし、ディスプレイ32には、道路案内画像ではなく、例えば、エアコンの作動状態等の車両状態を表す情報提供画像や、テレビ・ビデオ出力や音楽再生画面等のオーディオ画像が表示されることもある。
【0066】
そして、このように、道路案内画像とは異なる画像がディスプレイ32に表示されている場合であっても、車両2が交差点に進入する際には、上述した画像切替処理によって、ディスプレイ32の表示画像を交差路の画像に切り替えるようにしてもよい。
【0067】
また、上記実施形態では、本開示の接近認識部、路面認識部、及び、画像切替部としての機能は、CPU24が、画像切替処理としてのプログラムを実行することで、実現されるものとして説明した。
【0068】
しかし、これら各部の機能は、ソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現するようにしてもよい。
【0069】
また、上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
【0070】
また、本開示は、車両の運転支援装置の他、コンピュータを運転支援装置として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、運転支援方法など、種々の形態で本開示を実現することもできる。
【符号の説明】
【0071】
1…運転支援装置、2…車両、11…前方カメラ、20…ECU、22…画像処理部、24…CPU、32…ディスプレイ、36…障害物センサ。
図1
図2
図3
図4
図5