(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-22
(45)【発行日】2024-12-02
(54)【発明の名称】運転支援装置、車両、運転支援方法、およびプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20241125BHJP
G06T 7/00 20170101ALI20241125BHJP
【FI】
G08G1/16 D
G06T7/00 650A
(21)【出願番号】P 2022014404
(22)【出願日】2022-02-01
【審査請求日】2023-08-31
(73)【特許権者】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(73)【特許権者】
【識別番号】509186579
【氏名又は名称】日立Astemo株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】中塚 正之
(72)【発明者】
【氏名】木林 傑
(72)【発明者】
【氏名】長塚 敬一郎
(72)【発明者】
【氏名】生駒 裕文
【審査官】▲高▼木 真顕
(56)【参考文献】
【文献】特開2016-143324(JP,A)
【文献】特開2010-009235(JP,A)
【文献】特開2012-053749(JP,A)
【文献】特開2021-018737(JP,A)
【文献】特開2020-086986(JP,A)
【文献】特開2018-005629(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
G06T 1/00 - 1/40
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
(57)【特許請求の範囲】
【請求項1】
車両の運転を支援する運転支援装置であって、
前記車両の前方を撮影する撮影手段と、
前記撮影手段で得られた画像内の信号機を特定する特定手段と、
前記特定手段で特定された前記信号機
について、設置高さ
、前記車両からの横方向距離、および前記車両からの進行方向距離を前記画像から検出する検出手段と、
前記検出手段で
の検出結果に基づいて、前記特定手段で特定された前記信号機が、前記車両の進行可否を示す対象信号機か否かを判断する判断手段と、
運転者への警報の出力を制御する警報制御手段と、
を備え、
前記特定手段により前記画像内から
複数の信号機が特定され
た場合、
前記検出手段は、前記複数の信号機の各々について、前記設置高さ、前記横方向距離、および前記進行方向距離を前記画像から検出し、
前記判断手段は、前記検出手段での検出結果に基づいて、前記複数の信号機のうち、前記設置高さが所定条件を満たし且つ前記横方向距離が最も短い信号機を前記対象信号機の第1候補として判断するとともに、前記設置高さが前記所定条件を満たし且つ前記進行方向距離が最も短い信号機を前記対象信号機の第2候補として判断し、
前記警報制御手段は、前記
第1候補の信号機
の点灯状況
と前記第2候補の信号機の点灯状況との組み合わせに応じて前記警報を出力する、ことを特徴とする運転支援装置。
【請求項2】
前記判断手段は、前記車両が走行している地域に応じて前記所定条件を変更する、ことを特徴とする請求項
1に記載の運転支援装置。
【請求項3】
前記検出手段は、前記信号機が設置されている路面を基準とした前記信号機の高さを前記設置高さとして検出する、ことを特徴とする請求項1
又は2に記載の運転支援装置。
【請求項4】
前記検出手段は、前記車両を基準とした前記信号機の高さを前記画像から算出するとともに、前記車両が位置する路面と前記信号機が設置されている路面との高低差を示す情報に基づいて、前記画像から算出された前記信号機の高さを補正することにより前記設置高さを検出する、ことを特徴とする請求項
3に記載の運転支援装置。
【請求項5】
前記検出手段は、前記特定手段で特定された前記信号機と前記車両の走行車線に設けられた停止線との距離を前記画像から検出し、
前記判断手段は、前記特定手段で特定された前記信号機と前記停止線との距離に更に基づいて、前記特定手段で特定された前記信号機が前記対象信号機か否かを判断する、ことを特徴とする請求項1乃至
4のいずれか1項に記載の運転支援装置。
【請求項6】
前記警報制御手段は、前記特定手段により前記画像内から特定されて前記判断手段により前記対象信号機と判断された信号機が1つである場合、前記対象信号機の点灯状況に応じて前記警報を出力する、ことを特徴とする請求項1乃至
5のいずれか1項に記載の運転支援装置。
【請求項7】
前記警報制御手段は、前記対象信号機の点灯状況が赤点灯または黄点灯であり、且つ、前記車両の速度が閾値を超えている場合に、前記警報を出力する、ことを特徴とする請求項
6に記載の運転支援装置。
【請求項8】
請求項1乃至
7のいずれか1項に記載の運転支援装置を備えることを特徴とする車両。
【請求項9】
車両の運転を支援する運転支援方法であって、
前記車両の前方を撮影する撮影工程と、
前記撮影工程で得られた画像内の信号機を特定する特定工程と、
前記特定工程で特定された前記信号機
について、設置高さ
、前記車両からの横方向距離、および前記車両からの進行方向距離を前記画像から検出する検出工程と、
前記検出工程で
の検出結果に基づいて、前記特定工程で特定された前記信号機が、前記車両の進行可否を示す対象信号機か否かを判断する判断工程と、
運転者への警報を出力する警報出力工程と、
を含み、
前記特定工程で前記画像内から
複数の信号機が特定され
た場合、
前記検出工程では、前記複数の信号機の各々について、前記設置高さ、前記横方向距離、および前記進行方向距離を前記画像から検出し、
前記判断工程では、前記検出工程での検出結果に基づいて、前記複数の信号機のうち、前記設置高さが所定条件を満たし且つ前記横方向距離が最も短い信号機を前記対象信号機の第1候補として判断するとともに、前記設置高さが前記所定条件を満たし且つ前記進行方向距離が最も短い信号機を前記対象信号機の第2候補として判断し、
前記警報出力工程では、前記
第1候補の信号機
の点灯状況
と前記第2候補の信号機の点灯状況との組み合わせに応じて前記警報を出力する、ことを特徴とする運転支援方法。
【請求項10】
請求項
9に記載の運転支援方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転支援装置、車両、運転支援方法、およびプログラムに関する。
【背景技術】
【0002】
特許文献1には、撮像装置で得られた画像において1または複数の信号機が特定された場合、自車両の進行軌跡を推定するとともに、当該進行軌跡に対する各信号機の横位置(進行横位置)と自車両の前方直線に対する各信号機の横位置(前方横位置)とに基づいて、当該1または複数の信号機の中から制御入力とする信号機を特定する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載されたように、各信号機の横位置に基づいて制御入力とする信号機を特定するだけでは、歩行者用信号機やブリンカーライトなど、信号機の横位置の条件を満たしているが自車両とは関係性の小さい信号機を、制御入力とする信号機(即ち、自車両の進行可否を示す信号機)として誤って特定されることがある。
【0005】
そこで、本発明は、自車両の進行可否を示す信号機を適切に特定することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の一側面としての運転支援装置は、車両の運転を支援する運転支援装置であって、前記車両の前方を撮影する撮影手段と、前記撮影手段で得られた画像内の信号機を特定する特定手段と、前記特定手段で特定された前記信号機について、設置高さ、前記車両からの横方向距離、および前記車両からの進行方向距離を前記画像から検出する検出手段と、前記検出手段での検出結果に基づいて、前記特定手段で特定された前記信号機が、前記車両の進行可否を示す対象信号機か否かを判断する判断手段と、運転者への警報の出力を制御する警報制御手段と、を備え、前記特定手段により前記画像内から複数の信号機が特定された場合、前記検出手段は、前記複数の信号機の各々について、前記設置高さ、前記横方向距離、および前記進行方向距離を前記画像から検出し、前記判断手段は、前記検出手段での検出結果に基づいて、前記複数の信号機のうち、前記設置高さが所定条件を満たし且つ前記横方向距離が最も短い信号機を前記対象信号機の第1候補として判断するとともに、前記設置高さが前記所定条件を満たし且つ前記進行方向距離が最も短い信号機を前記対象信号機の第2候補として判断し、前記警報制御手段は、前記第1候補の信号機の点灯状況と前記第2候補の信号機の点灯状況との組み合わせに応じて前記警報を出力する、ことを特徴とする。
【発明の効果】
【0007】
本発明によれば、例えば、自車両の進行可否を示す信号機を適切に特定して車両の安全性を向上させることが可能な技術を提供することができる。
【図面の簡単な説明】
【0008】
【
図5】対象信号機か否かの判断処理を示すフローチャート
【
図6】車両用信号機の設置場所、設置高さ、横方向距離、および停止線からの距離に関する地域ごとの違いを示す図
【
図7】警報が必要か否かの判断処理を示すフローチャート
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
【0010】
本発明に係る一実施形態について説明する。
図1は、本実施形態に係る車両Vおよびその制御装置1のブロック図である。
図1では、車両Vの概略が平面図と側面図とで示されている。本実施形態の車両Vは、一例として、セダンタイプの四輪の乗用車であり、例えばパラレル方式のハイブリッド車両でありうる。この場合、車両Vの駆動輪を回転させる駆動力を出力する走行駆動部であるパワープラント50は、内燃機関、モータおよび自動変速機を含むことができる。モータは、車両Vを加速させる駆動源として利用可能であるとともに、減速時等において発電機としても利用可能である(回生制動)。なお、車両Vは、四輪乗用車に限られるものではなく、鞍乗型車両(自動二輪車、自動三輪車)であってもよいし、トラックやバスなどの大型車両であってもよい。
【0011】
[車両の制御装置の構成]
図1を参照して、車両Vの車載装置である制御装置1の構成について説明する。制御装置1は、互いに通信可能な複数のECU(Electronic Control Unit)20~28で構成された情報処理部2を含みうる。各ECUは、CPU(Central Processing Unit)に代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスには、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ECUは、プロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。なお、ECUの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合したりしてもよい。例えば、ECU20~28を1つのECUで構成してもよい。なお、
図1では、ECU20~28の代表的な機能の名称を付している。例えば、ECU20には「運転制御ECU」と記載している。
【0012】
ECU20は、車両Vの運転支援を含む車両Vの運転制御に関わる制御を実行する。本実施形態の場合、ECU20は、車両Vの駆動(パワープラント50による車両Vの加速等)、操舵および制動を制御する。また、ECU20は、手動運転において、例えば、車両Vの進行可否を示す対象信号機の点灯状況が赤点灯(赤信号)または黄点灯(黄信号)である場合に当該点灯状況を運転者に知らせる警報、あるいは、車両Vのブレーキアシストを実行可能である。当該警報は、後述する情報出力装置43Aの表示装置に情報を表示したり、音声や振動で情報を報知したりすることで行われうる。また、当該ブレーキアシストは、ブレーキ装置51を制御することで行われうる。
【0013】
ECU21は、車両Vの周囲状況を検知する検知ユニット31A、31B、32A、32Bの検知結果に基づいて、車両Vの走行環境を認識する環境認識ユニットである。本実施形態の場合、ECU21は、検知ユニット31A、31B、32A、32Bの少なくとも1つでの検知結果に基づいて、車両Vの周囲における物標(例えば障害物や他車両)の位置を検出することができる。
【0014】
検知ユニット31A、31B、32A、32Bは、車両V(自車両)の周囲における物標を検知可能なセンサである。検知ユニット31A、31Bは、車両Vの前方を撮影するカメラであり(以下、カメラ31A、カメラ31Bと表記する場合がある。)、車両Vのルーフ前部で、フロントウィンドウの車室内側に取付けられる。カメラ31A、カメラ31Bが撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線(白線等)を抽出可能である。なお、本実施形態では、2つのカメラ31A~31Bが車両Vに設けられているが、1つのカメラのみが設けられる構成であってもよい。
【0015】
検知ユニット32Aは、ライダ(LIDAR:Light Detection and Ranging)であり(以下、ライダ32Aと表記する場合がある)、車両Vの周囲の物標を検知し、物標までの距離や物標の方向(方位)を検知(計測)する。
図1に示す例では、ライダ32Aは5つ設けられており、車両Vの前部の各隅部に1つずつ、後部中央に1つ、後部各側方に1つずつ設けられている。なお、ライダ32Aは、車両Vに設けられていなくてもよい。また、検知ユニット32Bは、ミリ波レーダであり(以下、レーダ32Bと表記する場合がある)、電波を用いて車両Vの周囲の物標を検知し、物標までの距離や物標の方向(方位)を検知(計測)する。
図1に示す例では、レーダ32Bは5つ設けられており、車両Vの前部中央に1つ、前部各隅部に1つずつ、後部各隅部に1つずつ設けられている。
【0016】
ECU22は、電動パワーステアリング装置41を制御する操舵制御ユニットである。電動パワーステアリング装置41は、ステアリングホイールSTに対する運転者の運転操作(操舵操作)に応じて前輪を操舵する機構を含む。電動パワーステアリング装置41は、操舵操作のアシストあるいは前輪を自動操舵するための駆動力(操舵アシストトルクと表記することがある)を発揮するモータを含む駆動ユニット41a、操舵角センサ41b、運転者が負担する操舵トルク(操舵負担トルクと呼び、操舵アシストトルクと区別する。)を検知するトルクセンサ41c等を含む。
【0017】
ECU23は、油圧装置42を制御する制動制御ユニットである。ブレーキペダルBPに対する運転者の制動操作はブレーキマスタシリンダBMにおいて液圧に変換されて油圧装置42に伝達される。油圧装置42は、ブレーキマスタシリンダBMから伝達された液圧に基づいて、四輪にそれぞれ設けられたブレーキ装置(例えばディスクブレーキ装置)51に供給する作動油の液圧を制御可能なアクチュエータであり、ECU23は油圧装置42が備える電磁弁等の駆動制御を行う。また、制動時にECU23はブレーキランプ43Bを点灯可能である。これにより後続車に対して車両Vへの注意力を高めることができる。
【0018】
ECU23および油圧装置42は電動サーボブレーキを構成することができる。ECU23は、例えば、4つのブレーキ装置51による制動力と、パワープラント50が備えるモータの回生制動による制動力との配分を制御することができる。ECU23は、また、四輪それぞれに設けられた車輪速センサ38、ヨーレートセンサ(不図示)、ブレーキマスタシリンダBM内の圧力を検知する圧力センサ35の検知結果に基づき、ABS機能、トラクションコントロールおよび車両Vの姿勢制御機能を実現することも可能である。
【0019】
ECU24は、後輪に設けられている電動パーキングブレーキ装置52を制御する停止維持制御ユニットである。電動パーキングブレーキ装置52は後輪をロックする機構を備える。ECU24は電動パーキングブレーキ装置52による後輪のロックおよびロック解除を制御可能である。
【0020】
ECU25は、車内に情報を報知する情報出力装置43Aを制御する車内報知制御ユニットである。情報出力装置43Aは例えばヘッドアップディスプレイやインストルメントパネルに設けられる表示装置、或いは、音声出力装置を含む。更に、振動装置を含んでもよい。ECU25は、例えば、車速や外気温等の各種情報や、経路案内等の情報、車両Vの状態に関する情報を情報出力装置43Aに出力させる。
【0021】
ECU26は、無線通信を行う通信装置26aを備える。通信装置26aは、通信機能を有する物標との無線通信により情報交換が可能である。通信機能を有する物標としては、例えば、車両(車車間通信)、信号機や交通監視装置等の固定設備(路車間通信)、スマートフォンなどの携帯端末を携帯する人間(歩行者、自転車)を挙げることができる。また、ECU26は、通信装置26aによりインターネット上のサーバ等にアクセスして、道路の情報等の各種情報を取得可能である。
【0022】
ECU27は、パワープラント50を制御する駆動制御ユニットである。本実施形態では、パワープラント50にECU27を1つ割り当てているが、内燃機関、モータおよび自動変速機のそれぞれにECUを1つずつ割り当ててもよい。ECU27は、例えば、アクセルペダルAPに設けられた操作検知センサ34aやブレーキペダルBPに設けられた操作検知センサ34bにより検知した運転者の運転操作や車速等に対応して、内燃機関やモータの出力を制御したり、自動変速機の変速段を切り替えたりする。なお、自動変速機には車両Vの走行状態を検知するセンサとして、自動変速機の出力軸の回転数を検知する回転数センサ39が設けられている。車両Vの車速は、回転数センサ39の検知結果から演算可能である。
【0023】
ECU28は、車両Vの現在位置や進路を認識する位置認識ユニットである。ECU28は、ジャイロセンサ33、GPS(Global Positioning System)センサ28b、通信装置28cの制御、および、検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ33は車両Vの回転運動(ヨーレート)を検知する。ジャイロセンサ33の検知結果等により車両Vの進路を判定することができる。GPSセンサ28bは、車両Vの現在位置を検知する。通信装置28cは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。データベース28aには、高精度の地図情報を格納することができ、ECU28はこの地図情報等に基づいて、車線上の車両Vの位置を特定可能である。また、車両Vは、車両Vの速度を検知する速度センサ、車両Vの加速度を検知する加速度センサ、車両Vの横加速度を検知する横加速度センサ(横Gセンサ)が設けられてもよい。
【0024】
[運転支援装置の構成]
図2は、本実施形態の運転支援装置100の構成例を示すブロック図である。運転支援装置100は、運転者による車両Vの運転を支援するための装置であり、例えば、撮影部110と、位置検知部120と、警報出力部130と、処理部140とを備えうる。撮影部110、位置検知部120、警報出力部130および処理部140は、システムバスを介して相互に通信可能に接続されている。
【0025】
撮影部110は、例えば
図1に示すカメラ31A~31Bであり、車両Vの前方を撮影する。位置検知部120は、例えば
図1に示すGPSセンサ28bであり、車両Vの現在位置および進行方向を検知する。位置検知部120は、GPSセンサ28bに加えて、ジャイロセンサ33を含んでもよい。また、警報出力部130は、例えば
図1に示す情報出力装置43Aであり、ディスプレイへの表示や音声出力などにより車両の乗員(例えば運転者)に各種情報を報知する。本実施形態の場合、警報出力部130は、車両Vの進行可否を示す対象信号機の点灯状況が赤点灯(赤信号)または黄点灯(黄信号)である場合に、当該点灯状況を運転者に知らせる警報を出力するために用いられうる。
【0026】
処理部140は、CPU(Central Processing Unit)に代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含むコンピュータによって構成され、
図1に示す情報処理部2のECUの一部として機能しうる。記憶デバイスには、車両Vの運転支援を行うためプログラム(運転支援プログラム)が記憶されており、処理部140は、記憶デバイスに記憶された運転支援プログラムを読み出して実行しうる。本実施形態の処理部140には、取得部141と、特定部142と、検出部143と、判断部144と、警報制御部145とが設けられうる。
【0027】
取得部141は、車両に設けられたセンサ等から各種情報を取得する。本実施形態の場合、取得部141は、撮影部110で得られた画像、および、位置検知部120で得られた車両Vの位置情報(現在位置情報)を取得する。特定部142は、撮影部110で得られた画像に対して画像処理を行うことにより、当該画像内に含まれる信号機を特定する。検出部143は、撮影部110で得られた画像に対して画像処理を行うことにより、特定部142で特定された信号機の設置高さ等を当該画像から検出(算出)する。本実施形態において、信号機の設置高さは、信号機が設置されている路面を基準とした当該信号機の高さ、即ち、信号機が設置されている場所の路面(信号機の支柱の根本)から当該信号機までの高さとして定義されうる。
【0028】
判断部144は、検出部143で検出された設置高さに基づいて、特定部142で特定された信号機が、車両Vの走行道路に対して設けられて車両Vの進行可否を示す信号機(以下では、対象信号機と表記することがある)であるか否かを判断する。警報制御部145は、特定部142で特定された信号機が対象信号機であると判断部144で判断された場合に、当該対象信号機の点灯状況に基づいて、車両Vの運転者に警報が必要か否かを判断する。そして、警報が必要であると判断した場合に、車両Vの運転者に対して警報を出力するように警報出力部130を制御する。
【0029】
ところで、撮影部110で得られた画像には、車両Vの進行可否を示す信号機(対象信号機)に加えて、車両Vの走行道路と交差する交差道路に対して設けられた交差道路用信号機、あるいは、歩行者用信号機やブリンカーライトなどが含まれることがある。
図3は、撮影部110で得られた画像の一例(前方画像60)を示している。
図3に示される前方画像60は、車両Vが交差点に差し掛かるときに撮影部110で得られた画像であり、当該前方画像60には、対象信号機61に加えて、交差道路用信号機62、歩行者用信号機63、ブリンカーライト64が含まれている。また、前方画像60には、車両Vが停止すべき停止線65が含まれている。このような交差道路用信号機62、歩行者用信号機63、ブリンカーライト64などは、対象信号機61と類似した構造を有するため、対象信号機61として誤って判断される可能性がある。したがって、交差道路用信号機62、歩行者用信号機63、ブリンカーライト64等に対し、対象信号機61を適切に区別して認識する必要があり、そのような技術が求められている。特に、歩行者用信号機63およびブリンカーライト64に対し、対象信号機61と適切に区別して認識する技術が求められている。
【0030】
そこで、本実施形態の運転支援装置100(処理部140)には、前述したように、特定部142で特定された信号機の設置高さを検出する検出部143と、検出部143で検出された設置高さに基づいて、特定部142で特定された信号機が対象信号機か否かを判断する判断部144とが設けられる。歩行者用信号機63およびブリンカーライト64は、車両用の信号機に比べて設置高さが低いため、本実施形態の運転支援装置100によれば、歩行者用信号機63およびブリンカーライト64に対し、対象信号機61を適切に区別して認識することが可能となる。
【0031】
[運転支援処理]
以下、本実施形態の運転支援処理について説明する。
図4は、本実施形態の運転支援処理を示すフローチャートである。
図4のフローチャートで示される運転支援処理は、運転支援装置100において運転支援プログラムが実行されたときに処理部140によって実施される処理である。
【0032】
ステップS101において、処理部140(取得部141)は、撮影部110で車両Vの前方を撮影することにより得られた画像(前方画像)を撮影部110から取得する。次いで、ステップS102において、処理部140(特定部142)は、ステップS101で得られた前方画像に対して画像処理を行うことにより、前方画像内に含まれる信号機を特定する。例えば、特定部142は、前方画像内において青色(緑色)、黄色、または赤色に発光している部分を抽出することにより、前方画像内に含まれる全ての信号機を特定することができる。ここで、特定部142で行われる画像処理としては、公知の画像処理が用いられてもよい。また、特定部142により特定される信号機には、車両用信号機に加えて、歩行者用信号機およびブリンカーライトも含まれる。
図3の例では、特定部142により、前方画像60内の車両用信号機61~62、歩行者用信号機63、およびブリンカーライト64が特定される。
【0033】
ステップS103において、処理部140は、ステップS102で前方画像内に信号機が特定されたか否かを判定する。前方画像内に信号機が特定されなかった場合にはステップS108に進み、前方画像内に信号機が特定された場合にはステップS104に進む。ステップS104において、処理部140(検出部143、判断部144)は、ステップS102で特定された信号機が、車両V(自車両)の進行可否を示す対象信号機か否かを判断する。本ステップS104で行われる具体的な処理内容については後述する。次いで、ステップS105において、処理部140は、ステップS104において対象信号機と判断されたか否かを判定する。対象信号機と判断されなかった場合にはステップS108に進み、対象信号機と判断された場合にはステップS106に進む。
【0034】
ステップS106において、処理部140(判断部144、警報制御部145)は、対象信号機の点灯状況に基づいて、運転者への警報が必要か否かを判断する。本ステップS106で行われる具体的な処理内容については後述する。警報が必要ではないと判断した場合にはステップS108に進み、警報が必要であると判断した場合にはステップS107に進む。ステップS107において、処理部(警報制御部145)は、警報出力部130を制御することにより、運転者に対して警報を出力する。なお、本実施形態では、運転者に対して警報を出力する例を示しているが、警報に加えて、または警報の代わりに、ブレーキアシストを実行してもよい。
【0035】
ステップS108において、処理部140は、車両Vの運転支援を終了するか否かを判断する。例えば、処理部140は、運転者により車両Vの運転支援がオフされた場合、または、車両Vのイグニッションがオフされた場合に、車両Vの運転支援を終了すると判断することができる。車両Vの運転支援を終了しない場合にはステップS101に戻る。
【0036】
[対象信号機か否かの判断処理(S104)]
次に、
図4のステップS104で行われる「対象信号機か否かの判断処理」の具体的な処理内容について、
図5を参照しながら説明する。
図5は、
図4のステップS104において処理部140(検出部143、判断部144)が行う処理内容を示すフローチャートである。
【0037】
ステップS201において、処理部140(検出部143)は、ステップS102で特定された信号機の設置高さを前方画像から検出(算出)する。設置高さは、前述したように、信号機が設置されている路面を基準とした当該信号機の高さとして定義され、
図3では「h」と表記されている。検出部143は、前方画像に対して公知の画像処理を行うことにより、ステップS102で特定された各信号機の設置高さを検出することができる。
【0038】
ここで、例えば、車両Vが位置する路面と信号機が設置されている路面との間に勾配(坂)があり、信号機が設置されている路面(信号機の支柱の根本)が前方画像に含まれていない場合などがある。この場合、前方画像から信号機の設置高さを精度よく検出(算出)することが困難になりうる。そのため、検出部143は、車両Vを基準とした信号機の高さを前方画像から算出するとともに、車両Vが位置する路面と信号機が設置されている路面との高低差を示す高低差情報に基づいて、前方画像から算出した車両基準の信号機の高さを補正することによって当該信号機の設置高さを求めてもよい。高低差情報は、例えば、データベース28aに格納された地図情報に含まれており、取得部141を介して当該データベース28aから取得されうる。検出部143は、位置検知部120(GPSセンサ28b)で検知された車両Vの現在位置に基づいて、取得部141で取得された地図情報から高低差情報を得ることができる。なお、高低差情報は、位置検知部120で検知された車両Vの現在位置に基づいて、取得部141および通信装置28cを介して外部サーバから取得されてもよい。
【0039】
ステップS202において、処理部140(判断部144)は、ステップS201で検出された設置高さが、車両用信号機(対象信号機)の設置高さに関する所定条件(高さ条件)を満たすか否かを判断する。例えば、判断部144は、ステップS201で検出された設置高さが所定範囲内に収まっているか否かにより、高さ条件を満たすか否かを判断することができる。設置高さが高さ条件を満たさない場合にはステップS210に進み、ステップS102で特定された信号機は対象信号機ではないと判断する。一方、設置高さが高さ条件を満たす場合にはステップS203に進む。このステップS202により、ステップS102で特定された信号機が、車両用信号機であるのか、あるいは、歩行者用信号機やブリンカーライトであるのかを適切に区別して認識することができる。
【0040】
ここで、車両用信号機の設置高さは地域ごと(例えば国ごと)に異なる。
図6は、車両用信号機の設置場所、設置高さ、横方向距離、および停止線からの距離に関する地域ごとの違いを示している。
図6では地域A~Dが例示されており、地域ごとに車両用信号機の設置高さが異なることが分かる。そのため、判断部144は、車両Vが走行している地域に応じて、高さ条件(即ち、対象信号機と判断するための設置高さの範囲)を変更してもよい。具体的には、判断部144は、位置検知部120で検知された車両Vの現在位置に基づいて、車両Vが走行している地域(例えば国)を特定し、特定した地域に応じて高さ条件を変更する。地域ごとの高さ条件を示す情報は、例えば、データベース28aや処理部140のメモリに記憶されていてもよいし、取得部141および通信装置28cを介して外部サーバから取得されてもよい。
【0041】
ステップS203において、処理部140(検出部143)は、ステップS102で特定された信号機と車両Vとの横方向距離を前方画像から検出(算出)する。横方向距離は、信号機の代表位置(例えば中心位置)と車両Vの代表位置(例えば中心位置)との横方向の距離として定義され、
図3では「L
1」と表記されている。横方向は、車両Vの車幅方向として理解されてもよい。検出部143は、前方画像に対して公知の画像処理を行うことにより、ステップS102で特定された各信号機の横方向距離を検出することができる。
【0042】
ステップS204において、処理部140(判断部144)は、ステップS203で検出された横方向距離が、対象信号機の横方向距離に関する所定条件(第1距離条件)を満たすか否かを判断する。例えば、判断部144は、ステップS203で検出された横方向距離が所定範囲内に収まっているか否かにより、第1距離条件を満たすか否かを判断することができる。横方向距離が第1距離条件を満たさない場合にはステップS210に進み、ステップS102で特定された信号機は対象信号機ではないと判断する。一方、横方向距離が第1距離条件を満たす場合にはステップS205に進む。このステップS204により、ステップS102で特定された信号機が、車両Vの進行可否を示す対象信号機であるのか、あるいは、交差道路用信号機であるのかを適切に区別して認識することができる。
【0043】
ここで、対象信号機の横方向距離は、
図6に示されるように、地域ごと(例えば国ごと)に異なる。そのため、判断部144は、車両Vが走行している地域に応じて、第1距離条件(即ち、対象信号機と判断するための横方向距離の範囲)を変更してもよい。具体的には、高さ条件と同様に、判断部144は、位置検知部120で検知された車両Vの現在位置に基づいて、車両Vが走行している地域(例えば国)を特定し、特定した地域に応じて第1距離条件を変更する。地域ごとの第1距離条件を示す情報は、例えば、データベース28aや処理部140のメモリに記憶されていてもよいし、取得部141および通信装置28cを介して外部サーバから取得されてもよい。
【0044】
ステップS205において、処理部140(検出部143)は、ステップS102で特定された信号機と車両Vとの進行方向距離を前方画像から検出(算出)する。進行方向距離は、信号機の代表位置(例えば中心位置)と車両Vの代表位置(例えば中心位置)との進行方向の距離として定義され、
図3では「L
2」と表記されている。進行方向は、車両Vの前後方向として理解されてもよい。検出部143は、前方画像に対して公知の画像処理を行うことにより、ステップS102で特定された各信号機の進行方向距離を検出することができる。
【0045】
ステップS206において、処理部140(判断部144)は、ステップS205で検出された進行方向距離が、対象信号機の進行方向距離に関する所定条件(第2距離条件)を満たすか否かを判断する。例えば、判断部144は、ステップS205で検出された進行方向距離が所定範囲内に収まっているか否かにより、第2距離条件を満たすか否かを判断することができる。進行方向距離が第2距離条件を満たさない場合にはステップS210に進み、ステップS102で特定された信号機は対象信号機ではないと判断する。一方、進行方向距離が第2距離条件を満たす場合にはステップS207に進む。このステップS206により、ステップS102で特定された信号機が、車両Vが位置する交差点に設置された信号機であるのか、あるいは、車両Vが位置する交差点より先の交差点に設置された信号機であるのかを適切に区別して認識することができる。
【0046】
ステップS207において、処理部140(検出部143)は、車両Vの走行車線に設けられた停止線を前方画像から検出するとともに、ステップS102で特定された信号機と当該信号機との距離(以下では、停止線基準距離と表記することがある)を検出する。停止線基準距離は、信号機の代表位置(例えば中心位置)と停止線の代表位置(例えば中心位置)との進行方向の距離として定義されうる。
図3では、車両Vの走行車線に設けられた停止線65が示されており、停止線基準距離が「L
3」と表記されている。検出部143は、前方画像に対して公知の画像処理を行うことにより、停止線と、ステップS102で特定された各信号機の停止線基準距離とを検出することができる。
【0047】
ステップS208において、処理部140(判断部144)は、ステップS207で検出された停止線基準距離が、対象信号機の停止線基準距離に関する所定条件(第3距離条件)を満たすか否かを判断する。例えば、判断部144は、ステップS207で検出された停止線基準距離が所定範囲内に収まっているか否かにより、第3距離条件を満たすか否かを判断することができる。停止線基準距離が第3距離条件を満たさない場合にはステップS210に進み、ステップS102で特定された信号機は対象信号機ではないと判断する。一方、停止線基準距離が第3距離条件を満たす場合にはステップS209に進み、ステップS102で特定された信号機は対象信号機であると判断する。このステップS208により、ステップS102で特定された信号機が、車両Vの進行可否を示す対象信号機であるのか、あるいは、交差道路用信号機であるのかを更に適切に区別して認識することができる。
【0048】
ここで、対象信号機の停止線基準距離は、
図6に示されるように、地域ごと(例えば国ごと)に異なる。そのため、判断部144は、車両Vが走行している地域に応じて、第3距離条件(即ち、対象信号機と判断するための停止線基準距離の範囲)を変更してもよい。具体的には、高さ条件や第1距離条件と同様に、判断部144は、位置検知部120で検知された車両Vの現在位置に基づいて、車両Vが走行している地域(例えば国)を特定し、特定した地域に応じて第3距離条件を変更する。地域ごとの第3距離条件を示す情報は、例えば、データベース28aや処理部140のメモリに記憶されていてもよいし、取得部141および通信装置28cを介して外部サーバから取得されてもよい。
【0049】
上記では、前方画像内の信号機の設置高さ、横方向距離、進行方向距離および停止線基準距離に基づいて、当該信号機が対象信号機であるか否かの判断を行う例を説明した。しかしながら、当該判断は、上記に限られず、信号機の設置高さのみに基づいて行われてもよいし、設置高さに加えて、横方向距離、進行方向距離および停止線基準距離の少なくとも1つに更に基づいて行われてもよい。
【0050】
[警報が必要か否かの判断処理(S106)]
次に、
図4のステップS106で行われる「警報が必要か否かの判断処理」の具体的な処理内容について、
図7を参照しながら説明する。
図7は、
図4のステップS106において処理部140(判断部144,警報制御部145)が行う処理内容を示すフローチャートである。
【0051】
ステップS301において、処理部140(判断部144)は、対象信号機が複数あるか否かを判断する。つまり、警報制御部145は、ステップS102で複数の信号機が特定された場合において、当該複数の信号機のうち、ステップS104で対象信号機として判断された信号機が複数あるか否かを判断する。対象信号機が複数ある場合にはステップS302に進む。一方、対象信号機が複数ない場合(即ち、ステップS104で対象信号機として判断された信号機が1つである場合)にはステップS304に進む。
【0052】
まず、ステップS301において対象信号機が複数あると判断された場合について説明する。この場合、ステップS302~S303、S305が実行される。
【0053】
ステップS302において、処理部140(判断部144)は、ステップS104で対象信号機として判断された複数の信号機の中から、対象信号機の第1候補および第2候補を設定する。例えば、判断部144は、検出部143での検出結果に基づいて、ステップS104で対象信号機として判断された複数の信号機のうち、設置高さが高さ条件を満たし且つ横方向距離が最も短い信号機を、対象信号機の第1候補として設定(判断)する。また、判断部144は、検出部143での検出結果に基づいて、ステップS104で対象信号機として判断された複数の信号機のうち、設置高さが高さ条件を満たし且つ進行方向距離が最も短い信号機を、対象信号機の第2候補として設定(判断)する。
図3の例では、信号機61が、設置高さhが高さ条件を満たし且つ横方向距離L
1が最も短い信号機であるため、対象信号機の第1候補として設定されうる。また、信号機62が、設置高さhが高さ条件を満たし且つ進行方向距離L
2が最も短い信号機であるため、対象信号機の第2候補として設定されうる。なお、本ステップS302で使用される「検出部143の検出結果」は、ステップS104で検出(算出)された結果であり、設置高さ、横方向距離および進行方向距離を少なくとも含む。
【0054】
ステップS303において、処理部140(警報制御部145)は、第1候補の信号機(
図3の例では信号機61)と第2候補の信号機(
図3の例では信号機62)との点灯状況の組合せを検出する。例えば、警報制御部145は、ステップS101で取得された前方画像に対して公知の画像処理を行い、前方画像における第1候補の信号機および第2候補の信号機の各々について、点灯状況が青点灯(青信号)、黄点灯(黄信号)または赤点灯(赤信号)なのかを検出する。これにより、第1候補の信号機と第2候補の信号機との点灯状況の組合せを得ることができる。
【0055】
ステップS305において、処理部140(警報制御部145)は、ステップS303で検出された点灯状況の組合せが停止条件を満たすか否かを判断する。停止条件とは、車両Vの前方の交差点において車両Vを停止させるべき条件のことである。点灯状況の組合せが停止条件を満たす場合にはステップS306に進み、停止条件を満たさない場合にはステップS308に進む。
【0056】
例えば、警報制御部145は、
図8に示される組合せ情報に基づいて、ステップS303で検出された点灯状況の組合せが停止条件を満たすか否かを判断することができる。
図8に示される組合せ情報は、第1候補の信号機と第2候補の信号機との点灯状況の組合せに応じて、第1候補の信号機および第2候補の信号機のうちどちらの信号機を対象信号機として適用するか否かを決定するための情報である。一例として、第1候補の信号機が赤点灯で且つ第2候補の信号機の点灯状況が不明である場合([*1]の場合)には、第1候補の信号機が対象信号機として適用される。また、第1候補の信号機が赤点灯で且つ第2候補の信号機が赤点灯である場合([*2]の場合)にも、第1候補の信号機が対象信号機として適用される。一方、第1候補の信号機の点灯状況が不明で且つ第2候補の信号機が赤点灯である場合([*3]の場合)には、第2候補の信号機が対象信号機として適用される。そして、上記の場合([*1]~[*3]の場合)が、停止条件を満たす点灯状況の組合せであり、運転者に対して警報が必要となる可能性が高い状況(警報対象状況)である。即ち、ステップS303で検出された点灯状況の組合せが[*1]~[*3]のいずれかに該当する場合に、停止条件を満たすこととなる。
【0057】
次に、ステップS301において対象信号機が複数ない(即ち、対象信号機が1つである)と判断された場合について説明する。この場合、ステップS304~S305が実行される。
【0058】
ステップS304において、処理部140(警報制御部145)は、ステップS104で対象信号機として判断された信号機の点灯状況を検出する。例えば、警報制御部145は、ステップS101で取得された前方画像に対して公知の画像処理を行い、前方画像における対象信号機の点灯状況が青点灯(青信号)、黄点灯(黄信号)または赤点灯(赤信号)なのかを検出する。次いで、ステップS305において、処理部140(警報制御部145)は、ステップS304で検出された対象信号機の点灯状況が停止条件を満たすか否かを判断する。例えば、警報制御部145は、ステップS304で検出された対象信号機の点灯状況が赤点灯または黄点灯である場合に、停止条件を満たすと判断する。対象信号機の点灯状況が停止条件を満たす場合にはステップS306に進み、停止条件を満たさない場合にはステップS308に進む。
【0059】
ステップS306において、処理部140(警報制御部145)は、取得部141を介して速度センサから車両Vの速度(車速)を取得し、車速が閾値を超えているか否かを判断する。車速が閾値を超えている場合には、運転者が対象信号機の点灯状況(赤点灯または黄点灯)に気付いていない可能性が高い。そのため、警報制御部145は、ステップS307において、運転者に対する警報が必要であると判断し、その後、
図4のステップS107に進む。一方、車速が閾値を超えていない場合には、運転者が対象信号機の点灯状況に気付いており車両Vを停止しようとしている可能性が高い。そのため、警報制御部145は、ステップS308において、運転者に対する警報が不要であると判断し、その後、
図4のステップS108に進む。なお、車速の閾値は、任意に設定することができ、例えば、運転者の停止意図として判断可能な速度(一例として5~20km/h)に設定されうる。
【0060】
上述したように、本実施形態の運転支援装置100は、撮影部110で得られた前方画像から特定された信号機の設置高さを検出し、当該設置高さに基づいて、当該信号機が、車両Vの進行可否を示す対象信号機か否かを判断する。これにより、前方画像に歩行者用信号機およびブリンカーライト等が含まれる場合であっても、これらの歩行者用信号機およびブリンカーライト等に対し、対象信号機を適切に区別して認識(判断)することが可能となる。
【0061】
<その他の実施形態>
上記実施形態で説明された1以上の機能を実現するプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、該システム又は装置のコンピュータにおける1以上のプロセッサは、このプログラムを読み出して実行することができる。このような態様によっても本発明は実現可能である。
【0062】
<実施形態のまとめ>
1.上記実施形態の運転支援装置は、
車両(例えばV)の運転を支援する運転支援装置(例えば100)であって、
前記車両の前方を撮影する撮影手段(例えば110)と、
前記撮影手段で得られた画像(例えば60)内の信号機(例えば61~64)を特定する特定手段(例えば142)と、
前記特定手段で特定された前記信号機の設置高さ(例えばh)を前記画像から検出する検出手段(例えば143)と、
前記検出手段で検出された前記設置高さに基づいて、前記特定手段で特定された前記信号機が、前記車両の進行可否を示す対象信号機か否かを判断する判断手段(例えば144)と、を備える。
この実施形態によれば、撮影手段で得られた画像に歩行者用信号機およびブリンカーライト等が含まれる場合であっても、これらの歩行者用信号機およびブリンカーライト等に対し、車両の進行可否を示す対象信号機を適切に区別して認識(判断)することができる。
【0063】
2.上記実施形態において、
前記判断手段は、前記検出手段で検出された前記設置高さが所定条件を満たした場合に、前記特定手段で特定された前記信号機が前記対象信号機であると判断する。
この実施形態によれば、撮影手段で得られた画像から対象信号機を適切に認識することができる。
【0064】
3.上記実施形態において、
前記判断手段は、前記車両が走行している地域に応じて前記所定条件を変更する。
この実施形態によれば、車両用信号機の設置高さが異なる地域ごとに、当該設置高さに関する所定条件を変更することができるため、地域に応じて、撮影手段で得られた画像から対象信号機を適切に認識することができる。
【0065】
4.上記実施形態において、
前記検出手段は、前記信号機が設置されている路面を基準とした前記信号機の高さを前記設置高さとして検出する。
この実施形態によれば、撮影手段で得られた画像から特定された各信号機の設置高さを同じ基準を用いて検出することができるため、当該画像から対象信号機を適切に認識することができる。
【0066】
5.上記実施形態において、
前記検出手段は、前記車両を基準とした前記信号機の高さを前記画像から算出するとともに、前記車両が位置する路面と前記信号機が設置されている路面との高低差を示す情報に基づいて、前記画像から算出された前記信号機の高さを補正することにより前記設置高さを検出する。
この実施形態によれば、車両が位置する路面と信号機が設置されている路面との間に勾配(坂)があり、信号機が設置されている路面(信号機の支柱の根本)が画像に含まれていない場合などにおいても、信号機の設置高さを精度よく検出(算出)することができる。
【0067】
6.上記実施形態において、
前記検出手段は、前記特定手段で特定された前記信号機と前記車両の走行車線に設けられた停止線(例えば65)との距離(例えばL3)を前記画像から検出し、
前記判断手段は、前記特定手段で特定された前記信号機と前記停止線との距離に更に基づいて、前記特定手段で特定された前記信号機が前記対象信号機か否かを判断する。
この実施形態によれば、画像から特定された信号機が、車両の進行可否を示す対象信号機であるのか、あるいは、交差道路用信号機であるのかを適切に区別して認識することができる。
【0068】
7.上記実施形態において、
前記検出手段は、前記特定手段で特定された前記信号機と前記車両との横方向距離(例えばL1)を前記画像から検出し、
前記判断手段は、前記検出手段で検出された前記横方向距離に更に基づいて、前記特定手段で特定された前記信号機が前記対象信号機か否かを判断する。
この実施形態によれば、画像から特定された信号機が、車両の進行可否を示す対象信号機であるのか、あるいは、交差道路用信号機であるのかを適切に区別して認識することができる。
【0069】
8.上記実施形態において、
前記検出手段は、前記特定手段で特定された前記信号機と前記車両との進行方向距離(例えばL2)を前記画像から検出し、
前記判断手段は、前記検出手段で検出された前記進行方向距離に更に基づいて、前記特定手段で特定された前記信号機が前記対象信号機か否かを判断する。
この実施形態によれば、画像から特定された信号機が、車両が位置する交差点に設置された信号機であるのか、あるいは、車両が位置する交差点より先の交差点に設置された信号機であるのかを適切に区別して認識することができる。
【0070】
9.上記実施形態において、
前記特定手段で特定された前記信号機が前記対象信号機であると前記判断手段で判断された場合、前記対象信号機の点灯状況に応じて運転者に警報を出力する警報制御手段(例えば130、145)を更に備える。
この実施形態によれば、対象信号機の点灯状態を運転者に適切に通知することができるため、車両の安全性を向上させることができる。
【0071】
10.上記実施形態において、
前記警報制御手段は、前記対象信号機の点灯状況が赤点灯または黄点灯であり、且つ、前記車両の速度が閾値を超えている場合に、前記警報を出力すると判断する。
この実施形態によれば、車両の速度が閾値を超えている場合には、運転者が対象信号機の点灯状況(赤点灯または黄点灯)に気付いていない可能性が高いため、当該点灯状態を運転者に適切に通知することができ、車両の安全性を向上させることができる。
【0072】
11.上記実施形態において、
前記特定手段で複数の信号機が特定された場合、
前記検出手段は、前記複数の信号機の各々について、前記設置高さ(例えばh)、前記車両からの横方向距離(例えばL1)、および、前記車両からの進行方向距離(例えばL2)を前記画像から検出し、
前記判断手段は、前記検出手段での検出結果に基づいて、前記複数の信号機のうち、前記設置高さが所定条件を満たし且つ前記横方向距離が最も短い信号機を前記対象信号機の第1候補として判断するとともに、前記設置高さが前記所定条件を満たし且つ前記進行方向距離が最も短い信号機を前記対象信号機の第2候補として判断し、
前記警報制御手段は、前記第1候補の信号機の点灯状況と前記第2候補の信号機の点灯状況との組合せに応じて前記警報を出力するか否かを判断する。
この実施形態によれば、画像から複数の信号機が特定された場合に、対象信号機に関する候補を複数設定し、当該複数の候補の点灯状況の組合せで警報の出力の有無を判断することにより、車両の進行可否を精度よく判断し、警報を運転者に対して適切に通知することができる。つまり、車両の安全性を向上させることができる。
【0073】
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。
【符号の説明】
【0074】
100:運転支援装置、110:撮影部、120:位置検知部、130:警報出力部、140:処理部、141:取得部、142:特定部、143:検出部、144:判断部、145:警報制御部