知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-16
(45)【発行日】2022-08-24
(54)【発明の名称】車両用運転支援装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20220817BHJP
G06V 20/58 20220101ALI20220817BHJP
G08G 1/09 20060101ALI20220817BHJP
G08G 1/0962 20060101ALI20220817BHJP
G08G 1/16 20060101ALI20220817BHJP
H04N 7/18 20060101ALI20220817BHJP
【ＦＩ】
G06T7/00 650A
G06V20/58
G08G1/09 D
G08G1/0962
G08G1/16 C
H04N7/18 J
【請求項の数】
3
(21)【出願番号】P 2018110074
(22)【出願日】2018-06-08
(65)【公開番号】P2019212189
(43)【公開日】2019-12-12
【審査請求日】2021-04-09
【前置審査】
(73)【特許権者】
【識別番号】000002082
【氏名又は名称】スズキ株式会社
(74)【代理人】
【識別番号】110001520
【氏名又は名称】弁理士法人日誠国際特許事務所
(72)【発明者】
【氏名】長嶋 太良
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１３－００８０７０（ＪＰ，Ａ）
【文献】特開２０１４－１５３１６７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－ ７／９０
Ｇ０８Ｇ １／００－ １／１６
Ｈ０４Ｎ ７／１８
Ｇ０６Ｖ ２０／５０－２０／５８
(57)【特許請求の範囲】
【請求項1】
車両の前方の画像を撮像する撮像部と、対象物を運転者に報知する報知部と、
前記画像から前記対象物を認識し、前記報知部により運転者に報知させる制御部と、を備えた車両用運転支援装置であって、
前記制御部は、前記画像を少なくとも２つの領域に分割し、分割された前記領域のそれぞれに重みを付け、
少なくとも２つの前記領域において同種類の前記対象物を認識した第一条件と、
同種類の前記対象物の内容が異なる第二条件と、を有し、
前記第一条件と前記第二条件が共に成立した場合に、重みの高い前記領域の前記対象物の内容を有効とする車両用運転支援装置。
【請求項2】
前記制御部は、前記画像を分割するときの境界閾値を有し、前記境界閾値を前記車両の運転状態に応じて変更する請求項１に記載の車両用運転支援装置。
【請求項3】
前記制御部は、前記車両の現在位置に基づいて、前記領域の重み付けを変更する請求項１または請求項２に記載の車両用運転支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用運転支援装置に関する。
【背景技術】
【0002】
特許文献１には、前方画像から認識した道路標識の情報を識別情報表示装置に表示させるか否かを、自車両と同一方向に進行する前方車の走行状態に基づいて切り替えることが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６０８４５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載のものでは、前方車が存在しないと正確に判定することができず、不要な道路標識の情報を識別情報表示装置に表示させてしまう。
【0005】
そこで、本発明は、必要な対象物のみを運転者に報知することができる車両用運転支援装置を提供することを目的としている。
【課題を解決するための手段】
【0006】
上記課題を解決するため本発明は、車両の前方の画像を撮像する撮像部と、対象物を運転者に報知する報知部と、前記画像から前記対象物を認識し、前記報知部により運転者に報知させる制御部と、を備えた車両用運転支援装置であって、前記制御部は、前記画像を少なくとも２つの領域に分割し、分割された前記領域のそれぞれに重みを付け、少なくとも２つの前記領域において同種類の前記対象物を認識した第一条件と、同種類の前記対象物の内容が異なる第二条件と、を有し、前記第一条件と前記第二条件が共に成立した場合に、重みの高い前記領域の前記対象物の内容を有効とするものである。
【発明の効果】
【0007】
このように、本発明によれば、必要な対象物のみを運転者に報知することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
本発明の一実施の形態に係る車両用運転支援装置は、車両の前方の画像を撮像する撮像部と、対象物を運転者に報知する報知部と、画像から対象物を認識し、報知部により運転者に報知させる制御部と、を備えた車両用運転支援装置であって、制御部は、画像を少なくとも２つの領域に分割し、それぞれの領域において、認識する対象物、または対象物を認識する方法の少なくとも１つを異ならせるよう構成されている。
【0010】
これにより、本発明の一実施の形態に係る車両用運転支援装置は、必要な対象物のみを運転者に報知することができる。
【実施例】
【0011】
以下、図面を参照して、本発明の実施例に係る車両用運転支援装置について詳細に説明する。
【0012】
図１において、本発明の一実施例に係る車両用運転支援装置を搭載した車両１は、撮像部２と、報知部３と、通信部４と、地図情報管理部５と、制御部６とを含んで構成される。
【0013】
撮像部２は、例えば、カメラなどにより構成され、車両１の前方を撮像する。撮像部２は、撮像した画像を制御部６に出力する。
【0014】
報知部３は、例えば、モニタ装置、スピーカ、ランプ、メータ、ブザーなどで構成され、視覚、聴覚などを通じて各種情報を運転者に報知する。
【0015】
通信部４は、車両外部のサーバ装置や道路近辺に設置された路側通信装置などと通信して、情報を送受信する。
【0016】
地図情報管理部５は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）と、フラッシュメモリと、ハードディスク装置と、入力ポートと、出力ポートとを備えたコンピュータユニットによって構成されている。
【0017】
地図情報管理部５のＲＯＭには、各種制御定数や各種マップ等とともに、当該コンピュータユニットを地図情報管理部５として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵがＲＯＭに記憶されたプログラムを実行することにより、当該コンピュータユニットは、地図情報管理部５として機能する。
【0018】
地図情報管理部５の入力ポートには、ＧＮＳＳ（Global Navigation Satellite System）受信装置５３、不図示の加速度センサを含む各種センサ類が接続されている。
【0019】
ＧＮＳＳ受信装置５３は、不図示のＧＮＳＳアンテナを介してＧＮＳＳ衛星からの電波を受信し、受信した電波に含まれる情報から、現在位置の緯度・経度等を取得する。加速度センサは、車両１の加速度を検出する。
【0020】
地図情報管理部５と制御部６は、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ＬＡＮ（Local Area Network）を介して制御信号等の信号の送受信を相互に行なう。
【0021】
地図情報管理部５は、例えばハードディスク装置に記憶された、道路標識の情報、信号機の情報、道路の車線の情報などを含む静的な地図情報を管理する静的情報記憶部５１として機能する。
【0022】
地図情報管理部５は、通信部４を介して、サーバ装置や路側通信装置などから道路交通情報、道路規制情報、道路工事情報、渋滞情報、事故情報、ＩＴＳ（Intelligent Transport Systems）情報、天候情報などの動的な情報を取得する動的情報取得部５２として機能する。
【0023】
地図情報管理部５は、上述したＧＮＳＳ受信装置５３や加速度センサなどにより自車両の現在位置を検出することができ、自車両の現在位置周辺の、道路標識の情報や信号機の情報などの地図情報、渋滞情報や事故情報などの交通情報、天候情報などを制御部６に送信する。
【0024】
制御部６は、ＣＰＵと、ＲＡＭと、ＲＯＭと、フラッシュメモリと、入力ポートと、出力ポートとを備えたコンピュータユニットによって構成されている。
【0025】
制御部６のＲＯＭには、各種制御定数や各種マップ等とともに、当該コンピュータユニットを制御部６として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵがＲＯＭに記憶されたプログラムを実行することにより、当該コンピュータユニットは、制御部６として機能する。
【0026】
制御部６の入力ポートには、撮像部２、操舵角センサ１０１、アクセル開度センサ１０２、車速センサ１０３を含む各種センサ類が接続されている。制御部６の出力ポートには、報知部３を含む各種制御対象類が接続されている。
【0027】
操舵角センサ１０１は、運転者によって操作される不図示のハンドルの操舵角を検出する。アクセル開度センサ１０２は、運転者によって操作される不図示のアクセルペダルの開度であるアクセル開度を検出する。車速センサ１０３は、車両１の速度を検出する。
【0028】
制御部６は、撮像部２が撮像した画像データを読み込む画像読込部６１として機能する。制御部６は、画像読込部６１が読み込んだ画像データに、所定の画像処理を行なう画像処理部６２として機能する。
【0029】
制御部６は、画像処理部６２により画像処理を行なわれた画像データから所定の認識処理を行なう場合の、認識する対象物の設定などを行なう検出処理部６３として機能する。
【0030】
制御部６は、検出処理部６３の設定に基づいて、画像データから道路標識、文字、看板、人、自動車、自動車用信号機、歩行者用信号機、料金所のゲート、道路の車線などを認識する認識処理部６４として機能する。
【0031】
制御部６は、認識処理部６４の認識結果に基づいて、認識した対象物を報知部３により運転者に報知する出力処理部６５として機能する。
【0032】
制御部６は、画像処理部６２が画像処理した画像データの表示画像を少なくとも二つの領域に分割し、それぞれの領域に重みを設定する。
【0033】
制御部６は、設定されている重みの値が高い領域で認識された情報のみを利用して処理を行なう。
【0034】
制御部６は、例えば、分割された領域の、少なくとも２つの領域において同種類の対象物、例えば速度制限標識を認識し、同種類の対象物の内容が異なる、例えば速度制限標識の規制速度が異なる場合に、重みの値が高い領域の内容を有効とする。
【0035】
同種類とは、速度制限標識同士や車両進入禁止標識同士といった規制標識種類単位が同等であることである。また、内容が異なるとは、速度制限標識では規制速度が異なること、車両進入禁止標識では補助標識が付いているかいないか、などである。
【0036】
制御部６は、設定されている重みの値に応じて、それぞれの領域で認識する対象物や対象物の認識方法、認識した場合の処理などを異ならせるようにしてもよい。
【0037】
制御部６は、例えば、画像データの表示画像を左右の二つの領域に分割し、左側の領域の重みの値を高くし、右側の領域の重みの値を低くする。
【0038】
制御部６は、例えば、重みの値の高い、左側の領域において認識された道路標識のみを利用して処理を行なう。
【0039】
制御部６は、例えば、重みの値の高い、左側の領域では道路標識を認識するが、重みの値の低い、右側の領域では道路標識の認識を行なわない。
【0040】
国によって道路標識の設置基準は異なるが、基本的には側道側に道路標識を設置するのが原則である。
【0041】
このため、このようにすることで、左側の側道側に設置された道路標識を認識することができ、必要な道路標識を運転者に報知することができる。
【0042】
また、自車両に関係ない道路標識が設置されている右側の道路標識を認識することを抑制して、不必要な道路標識を運転者に報知することを抑制することができる。
【0043】
右側の道路標識を認識することを抑制しているため、制御部６の認識処理の負荷を軽減させることができる。
【0044】
制御部６は、例えば、ＧＮＳＳ受信装置５３による位置情報に基づいて、現在位置での車両１の走行車線（右側通行か左側通行か）を判定し、走行車線により分割した領域の重みの値を変更する。
【0045】
このようにすることで、国によって変更される走行車線（右側通行か左側通行か）に応じて重みの値を変更して、必要な道路標識を運転者に報知することができる。また、不必要な道路標識を運転者に報知することを抑制することができる。
【0046】
領域の分割は、左右の中央で分割する必要はなく、予め設定された割合で分割すればよい。左右でなく上下に分割してもよい。
【0047】
制御部６は、例えば、表示画像を左右の二つの領域に分割する場合、表示画像を分割する位置の画素の左端からの画素数を境界閾値として記憶しておく。制御部６は、車両１の運転状態に応じて境界閾値を変更するようにしてもよい。
【0048】
制御部６は、例えば、図２に示すように、表示画像を左右の二つの領域に分割する横境界閾値を、操舵角センサ１０１により検出された操舵角に応じて変更する。
【0049】
図２に示すように、制御部６は、操舵角が左方向に操舵されていることを示す場合、横境界閾値を左側の領域が広くなるように、図中「左」と書かれた矢印の方向に変更する。制御部６は、操舵角が右方向に操舵されていることを示す場合、横境界閾値を右側の領域が広くなるように、図中「右」と書かれた矢印の方向に変更する。
【0050】
このようにすることで、車両１の進行方向が変更される場合、進行方向の道路標識を良好に認識することができる。なお、操舵角が右方向に操舵されていることを示す場合、左側の領域での道路標識の認識を止め、右側の領域でのみ道路標識の認識を行なうようにしてもよい。
【0051】
制御部６は、例えば、図２に示すように、表示画像を上下の二つの領域に分割する縦境界閾値を、車速センサ１０３により検出された車速に応じて変更する。
【0052】
図２に示すように、制御部６は、車速が低くなっていく場合、縦境界閾値を下側の領域が広くなるように、図中「低車速」と書かれた矢印の方向に変更する。制御部６は、車速が高くなっていく場合、縦境界閾値を上側の領域が広くなるように、図中「高車速」と書かれた矢印の方向に変更する。
【0053】
このようにすることで、車速が変更される場合、進行方向の道路標識を良好に認識することができる。
【0054】
高車速ほど上側の領域が広くなるようにしているため、上側の領域の重みの値を低くすることで、道路上方に設置されている電光掲示板で表示される道路標識を認識しないようにすることができる。このようにすることで、広域情報といった交通情報を現在地の情報として報知することを防止することができる。
【0055】
以上のように構成された本実施例に係る車両用運転支援装置による車両進入禁止標識報知処理について、図３を参照して説明する。なお、以下に説明する車両進入禁止標識報知処理は、制御部６が処理を開始すると開始される。
【0056】
ステップＳ１において、制御部６は、撮像部２から車両１の前方の画像を読み込み、車両進入禁止標識の認識処理を行なう。
【0057】
ステップＳ２において、制御部６は、撮像部２により撮像された車両１の前方の画像の分割領域の重みを参照する。
【0058】
ステップＳ３において、制御部６は、認識結果に基づいて、車両進入禁止標識を通過したか否かを判定する。ここで、車両進入禁止標識が認識されなかった場合は、車両進入禁止標識を通過していないと判定する。
【0059】
車両進入禁止標識を通過したと判定した場合、ステップＳ４において、制御部６は、画像の分割領域の重みに基づいて、通過した車両進入禁止標識が自車両に有効な標識か否かを判定する。すなわち、通過した車両進入禁止標識が重みの値の高い領域で認識されていたか否かを判定する。
【0060】
通過した車両進入禁止標識が自車両に有効な標識であると判定した場合、ステップＳ５において、制御部６は、報知部３に警告表示を行なわせる。
【0061】
ステップＳ６において、制御部６は、所定の終了条件を満たしたか否かを判定する。終了条件は、運転者の操作により警告表示の停止が選択されたこと、車両１が停止したこと、などが含まれる。
【0062】
ステップＳ６において所定の終了条件を満たしていないと判定した場合、制御部６は、ステップＳ５に処理を戻して処理を繰り返す。
【0063】
ステップＳ４において通過した車両進入禁止標識が自車両に有効な標識ではないと判定した場合、または、ステップＳ６において所定の終了条件を満たしていると判定した場合、ステップＳ７において、制御部６は、報知部３による警告表示を終了させ、処理を終了する。
【0064】
ステップＳ３において車両進入禁止標識を通過していないと判定した場合、ステップＳ８において、制御部６は、所定の終了条件を満たしたか否かを判定する。終了条件は、車両進入禁止標識を認識できなかったこと、車両１が停止したこと、などが含まれる。
【0065】
ステップＳ８において所定の終了条件を満たしていないと判定した場合、制御部６は、ステップＳ１に処理を戻して処理を繰り返す。
【0066】
ステップＳ８において所定の終了条件を満たしていると判定した場合、ステップＳ７において、制御部６は、報知部３による警告表示を終了させ、処理を終了する。
【0067】
本実施例に係る車両用運転支援装置による速度制限標識報知処理について、図４を参照して説明する。なお、以下に説明する速度制限標識報知処理は、制御部６の認識処理により、左右に二分割された画像の領域の両方で速度制限標識が認識された場合に実行される。
【0068】
ステップＳ１１において、制御部６は、撮像部２により撮像された車両１の前方の画像の分割領域の重みを参照する。
【0069】
ステップＳ１２において、制御部６は、車両１の前方の画像から認識された速度制限標識の規制速度が左右の領域で同一か否かを判定する。規制速度が左右の領域で同一であると判定した場合、ステップＳ１３において、制御部６は、認識している速度制限標識を報知部３により表示させる。
【0070】
ステップＳ１２において規制速度が左右の領域で同一でないと判定した場合、ステップＳ１４において、制御部６は、重みの値の高い領域の、速度制限標識のみを報知部３により表示させる。
【0071】
ステップＳ１５において、制御部６は、所定の終了条件を満たすようになると報知部３による表示を終了させ、処理を終了する。終了条件は、速度制限標識を認識できなかったこと、車両１が停止したこと、などが含まれる。
【0072】
【0073】
【0074】
図６において、右側に映っている車両進入禁止標識は、右側の対向車線への進入を禁止するためのものであり、この車両進入禁止標識を認識して処理を行なうと、不必要な道路標識を運転者に報知することになる。
【0075】
本実施例では、図６において、一点鎖線で車両１の前方の画像を左右に分割し、左側の領域の重みの値を高くしている。このため、左側の領域で認識された車両進入禁止標識のみにより処理を行なうので、このような場合に不必要な道路標識を運転者に報知することを抑制することができる。
【0076】
また、制御部６は、操舵角センサ１０１により検出された操舵角が右方向に操舵されていることを示す場合、右側の重みの値を高くするようにする。このようにすれば、右側の対向車線へ進入しようとしてハンドルを右に操作した場合に、車両進入禁止標識を運転者に報知することができ、必要な道路標識を運転者に報知することができる。
【0077】
【0078】
【0079】
図８において、右側に映っている速度制限標識は、右側の道路のものであり、この速度制限標識を認識して処理を行なうと、不必要な道路標識を運転者に報知することになる。
【0080】
本実施例では、図８において、一点鎖線で車両１の前方の画像を左右に分割し、左側の領域の重みの値を高くしている。このため、同種類の規制情報である対象物を認識した場合でも、左側の領域で認識された速度制限標識のみにより処理を行なうので、このような場合に、左側の領域の必要な道路標識を運転者に報知するとともに、右側の領域の不必要な道路標識を運転者に報知することを抑制することができる。
【0081】
本実施例では、道路標識を認識して報知する場合を示したが、看板、人、自動車、自動車用信号機、歩行者用信号機などを対象物として認識し、運転者に報知する場合にも適用できる。
【0082】
本実施例では、各種センサ情報に基づき制御部６が各種の判定や算出を行なう例について説明したが、これに限らず、通信部４から送信された各種センサの検出情報に基づき車外装置によって各種の判定や算出が行なわれ、その判定結果や算出結果を通信部４で受信して、その受信した判定結果や算出結果を用いて各種制御を行なってもよい。
【0083】
本発明の実施例を開示したが、当業者によっては本発明の範囲を逸脱することなく変更が加えられうることは明白である。すべてのこのような修正及び等価物が次の請求項に含まれることが意図されている。
【符号の説明】
【0084】
１ 車両
２ 撮像部
３ 報知部
６ 制御部
５３ ＧＮＳＳ受信装置
６４ 認識処理部
６５ 出力処理部
１０１ 操舵角センサ
１０２ アクセル開度センサ
１０３ 車速センサ
２ 撮像部
３ 報知部
６ 制御部
５３ ＧＮＳＳ受信装置
６４ 認識処理部
６５ 出力処理部
１０１ 操舵角センサ
１０２ アクセル開度センサ
１０３ 車速センサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】