(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】対象車両認識装置及び対象車両認識装置の処理方法
(51)【国際特許分類】
B60W 30/095 20120101AFI20241119BHJP
B60W 40/02 20060101ALI20241119BHJP
G08G 1/16 20060101ALI20241119BHJP
G06T 7/00 20170101ALI20241119BHJP
【FI】
B60W30/095
B60W40/02
G08G1/16 C
G06T7/00 650B
(21)【出願番号】P 2021158260
(22)【出願日】2021-09-28
【審査請求日】2023-10-26
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100187311
【氏名又は名称】小飛山 悟史
(74)【代理人】
【識別番号】100161425
【氏名又は名称】大森 鉄平
(72)【発明者】
【氏名】西嶋 征和
(72)【発明者】
【氏名】笹川 渉
(72)【発明者】
【氏名】藤田 和幸
(72)【発明者】
【氏名】佐藤 みなみ
【審査官】鶴江 陽介
(56)【参考文献】
【文献】特開2016-018354(JP,A)
【文献】特開2011-048420(JP,A)
【文献】特開2021-068316(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 30/00-60/00
G08G 1/00- 1/16
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
自車両の操舵制御の回避対象となる対象車両を認識するための対象車両認識装置であって、
前記自車両の前方カメラの撮像画像及び前記自車両の前方レーダセンサの検出結果のうち少なくとも一方に基づいて、前記自車両の前方に位置する停止車両を検出する停止車両検出部と、
前記自車両の前方カメラの撮像画像に基づいて、前記停止車両が前記自車両に前面を向けた前向き状態であるか前記自車両に背面を向けた後向き状態であるかを判定する向き判定部と、
前記自車両の前方カメラの撮像画像に基づいて、前記停止車両が前記自車両の走行レーンの右側の境界線を跨いだ右境界線逸脱状態であるか、前記停止車両が前記走行レーンの左側の境界線を跨いだ左境界線逸脱状態であるか、前記停止車両が前記右境界線逸脱状態及び前記左境界線逸脱状態の何れでもないかを判定する境界線逸脱状態判定部と、
前記自車両の前方カメラの撮像画像と前記向き判定部の判定結果と前記境界線逸脱状態判定部の判定結果とに基づいて、前記操舵制御の前記対象車両の認識を行う対象車両認識部と、
を備え、
前記対象車両認識部は、前記境界線逸脱状態判定部により前記停止車両が前記右境界線逸脱状態及び前記左境界線逸脱状態の何れでもないと判定された場合に前記停止車両を前記操舵制御の前記対象車両として認識せず、
前記向き判定部により前記停止車両が前記後向き状態であると判定され、且つ、前記境界線逸脱状態判定部により前記停止車両が前記左境界線逸脱状態であると判定された場合に、前記停止車両の前方左端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識し、前記停止車両の前方左端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識せず、
前記向き判定部により前記停止車両が前記後向き状態であると判定され、且つ、前記境界線逸脱状態判定部により前記停止車両が前記右境界線逸脱状態であると判定された場合に、前記停止車両の前方右端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識し、前記停止車両の前方右端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識せず、
前記向き判定部により前記停止車両が前記前向き状態であると判定され、且つ、前記境界線逸脱状態判定部により前記停止車両が前記左境界線逸脱状態であると判定された場合に、前記停止車両の後方右端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識し、前記停止車両の後方右端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識せず、
前記向き判定部により前記停止車両が前記前向き状態であると判定され、且つ、前記境界線逸脱状態判定部により前記停止車両が前記右境界線逸脱状態であると判定された場合に、前記停止車両の後方左端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識し、前記停止車両の後方左端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識しない、対象車両認識装置。
【請求項2】
自車両の操舵制御の回避対象となる対象車両を認識するための対象車両認識装置であって、
前記自車両の前方カメラの撮像画像及び前記自車両の前方レーダセンサの検出結果のうち少なくとも一方に基づいて、前記自車両の前方に位置する停止車両を検出する停止車両検出部と、
前記自車両の前方カメラの撮像画像に基づいて、前記停止車両が前記自車両に前面を向けた前向き状態であるか前記自車両に背面を向けた後向き状態であるかを判定する向き判定部と、
前記自車両の前方カメラの撮像画像に基づいて、前記停止車両が前記自車両の走行レーンの右側の境界線を跨いだ右境界線逸脱状態であるか、前記停止車両が前記走行レーンの左側の境界線を跨いだ左境界線逸脱状態であるか、前記停止車両が前記右境界線逸脱状態及び前記左境界線逸脱状態の何れでもないかを判定する境界線逸脱状態判定部と、
前記自車両の前方カメラの撮像画像と前記向き判定部の判定結果と前記境界線逸脱状態判定部の判定結果とに基づいて、前記操舵制御の前記対象車両の認識を行う対象車両認識部と、
を備え、
前記対象車両認識部は、前記境界線逸脱状態判定部により前記停止車両が前記右境界線逸脱状態及び前記左境界線逸脱状態の何れでもないと判定された場合に前記停止車両を前記操舵制御の前記対象車両として認識せず、
前記向き判定部により前記停止車両が前記後向き状態であると判定され、且つ、前記境界線逸脱状態判定部により前記停止車両が前記左境界線逸脱状態であると判定された場合に、前記停止車両の前方右端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識せず、前記停止車両の前方右端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識し、
前記向き判定部により前記停止車両が前記後向き状態であると判定され、且つ、前記境界線逸脱状態判定部により前記停止車両が前記右境界線逸脱状態であると判定された場合に、前記停止車両の前方左端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識せず、前記停止車両の前方左端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識し、
前記向き判定部により前記停止車両が前記前向き状態であると判定され、且つ、前記境界線逸脱状態判定部により前記停止車両が前記左境界線逸脱状態であると判定された場合に、前記停止車両の後方左端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識せず、前記停止車両の後方左端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識し、
前記向き判定部により前記停止車両が前記前向き状態であると判定され、且つ、前記境界線逸脱状態判定部により前記停止車両が前記右境界線逸脱状態であると判定された場合に、前記停止車両の後方右端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識せず、前記停止車両の後方右端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両
として認識する、対象車両認識装置。
【請求項3】
自車両の操舵制御の回避対象となる対象車両を認識するための対象車両認識装置の処理方法であって、
前記自車両の前方カメラの撮像画像及び前記自車両の前方レーダセンサの検出結果のうち少なくとも一方に基づいて、前記自車両の前方に位置する停止車両を検出する停止車両検出ステップと、
前記自車両の前方カメラの撮像画像に基づいて、前記停止車両が前記自車両に前面を向けた前向き状態であるか前記自車両に背面を向けた後向き状態であるかを判定する向き判定ステップと、
前記自車両の前方カメラの撮像画像に基づいて、前記停止車両が前記自車両の走行レーンの右側の境界線を跨いだ右境界線逸脱状態であるか、前記停止車両が前記走行レーンの左側の境界線を跨いだ左境界線逸脱状態であるか、前記停止車両が前記右境界線逸脱状態及び前記左境界線逸脱状態の何れでもないかを判定する境界線逸脱状態判定ステップと、
前記自車両の前方カメラの撮像画像と前記向き判定ステップの判定結果と前記境界線逸脱状態判定ステップの判定結果とに基づいて、前記操舵制御の前記対象車両の認識を行う対象車両認識ステップと、
を含み、
前記対象車両認識ステップでは、前記境界線逸脱状態判定ステップにおいて前記停止車両が前記右境界線逸脱状態及び前記左境界線逸脱状態の何れでもないと判定された場合に前記停止車両を前記操舵制御の前記対象車両として認識せず、
前記向き判定ステップにおいて前記停止車両が前記後向き状態であると判定され、且つ、前記境界線逸脱状態判定ステップにおいて前記停止車両が前記左境界線逸脱状態であると判定された場合に、前記停止車両の前方左端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識し、前記停止車両の前方左端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識せず、
前記向き判定ステップにおいて前記停止車両が前記後向き状態であると判定され、且つ、前記境界線逸脱状態判定ステップにおいて前記停止車両が前記右境界線逸脱状態であると判定された場合に、前記停止車両の前方右端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識し、前記停止車両の前方右端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識せず、
前記向き判定ステップにおいて前記停止車両が前記前向き状態であると判定され、且つ、前記境界線逸脱状態判定ステップにおいて前記停止車両が前記左境界線逸脱状態であると判定された場合に、前記停止車両の後方右端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識し、前記停止車両の後方右端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識せず、
前記向き判定ステップにおいて前記停止車両が前記前向き状態であると判定され、且つ、前記境界線逸脱状態判定ステップにおいて前記停止車両が前記右境界線逸脱状態であると判定された場合に、前記停止車両の後方左端が前記撮像画像に含まれないとき、前記停止車両を前記操舵制御の前記対象車両として認識し、前記停止車両の後方左端が前記撮像画像に含まれたとき、前記停止車両を前記操舵制御の前記対象車両として認識しない、対象車両認識装置の処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象車両認識装置及び対象車両認識装置の処理方法に関する。
【背景技術】
【0002】
従来、車両の操舵制御による回避対象となる対象車両を認識するための対象車両認識装置に関する技術文献として、特表2019―524525号公報が知られている。この公報には、自車両の走行レーンにはみ出して駐車している駐車車両の影から歩行者が飛び出してくる可能性を考慮して、距離を取って駐車車両の側方を通過するように自車両の操舵制御を行うことが示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、操舵制御の回避対象となる対象車両を認識するために、自車両の前方カメラによる撮像画像を用いることが考えられている。上述した公報には、操舵制御の回避対象である対象車両(路肩などから自車両の走行レーンにはみ出して停止している停止車両)を精度良く認識する方法について示されていない。特に、自車両の走行レーン上の先行車がカーブに入ると、自車両から撮像した画像上では先行車が走行レーンの境界線を跨いで位置するように見える場合がある。また、先行車との距離が離れるほど先行車の速度の検出制度が低下し、先行車を停止車両と誤って認識する可能性がある。このような場合に、先行車を誤って操舵制御の対象車両と認識すると、自車両が不要な操舵制御を行うことになるため、操舵制御の対象車両を精度良く認識する手法が求められている。
【課題を解決するための手段】
【0005】
本発明の一態様は、自車両の操舵制御の回避対象となる対象車両を認識するための対象車両認識装置であって、自車両の前方カメラの撮像画像及び自車両の前方レーダセンサの検出結果のうち少なくとも一方に基づいて、自車両の前方に位置する停止車両を検出する停止車両検出部と、自車両の前方カメラの撮像画像に基づいて、停止車両が自車両に前面を向けた前向き状態であるか自車両に背面を向けた後向き状態であるかを判定する向き判定部と、自車両の前方カメラの撮像画像に基づいて、停止車両が自車両の走行レーンの右側の境界線を跨いだ右境界線逸脱状態であるか、停止車両が走行レーンの左側の境界線を跨いだ左境界線逸脱状態であるか、停止車両が右境界線逸脱状態及び左境界線逸脱状態の何れでもないかを判定する境界線逸脱状態判定部と、自車両の前方カメラの撮像画像と向き判定部の判定結果と境界線逸脱状態判定部の判定結果とに基づいて、操舵制御の対象車両の認識を行う対象車両認識部と、を備え、対象車両認識部は、境界線逸脱状態判定部により停止車両が右境界線逸脱状態及び左境界線逸脱状態の何れでもないと判定された場合に停止車両を操舵制御の対象車両として認識せず、向き判定部により停止車両が後向き状態であると判定され、且つ、境界線逸脱状態判定部により停止車両が左境界線逸脱状態であると判定された場合に、停止車両の前方左端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識し、停止車両の前方左端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識せず、向き判定部により停止車両が後向き状態であると判定され、且つ、境界線逸脱状態判定部により停止車両が右境界線逸脱状態であると判定された場合に、停止車両の前方右端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識し、停止車両の前方右端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識せず、向き判定部により停止車両が前向き状態であると判定され、且つ、境界線逸脱状態判定部により停止車両が左境界線逸脱状態であると判定された場合に、停止車両の後方右端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識し、停止車両の後方右端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識せず、向き判定部により停止車両が前向き状態であると判定され、且つ、境界線逸脱状態判定部により停止車両が右境界線逸脱状態であると判定された場合に、停止車両の後方左端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識し、停止車両の後方左端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識しない。
【0006】
本発明の一態様に係る対象車両認識装置によれば、自車両の先行車や対向車がカーブを走行している場合において、誤って停止車両と判定すると共に自車両の前方カメラの撮像画像上で先行車や対向車が左境界線逸脱状態又は右境界線逸脱状態と判定されてしまったとしても、カーブを走行している先行車や対向車の四つ隅の端部のうち撮像画像に写らない端部が撮像画像に含まれるか否かを判定することで、カーブを走行している先行車や対向車を誤って操舵制御の対象車両として認識することを避け、操舵制御の回避対象となる対象車両を撮像画像から適切に認識することができる。
【0007】
本発明の他の態様は、自車両の操舵制御の回避対象となる対象車両を認識するための対象車両認識装置であって、自車両の前方カメラの撮像画像及び自車両の前方レーダセンサの検出結果のうち少なくとも一方に基づいて、自車両の前方に位置する停止車両を検出する停止車両検出部と、自車両の前方カメラの撮像画像に基づいて、停止車両が自車両に前面を向けた前向き状態であるか自車両に背面を向けた後向き状態であるかを判定する向き判定部と、自車両の前方カメラの撮像画像に基づいて、停止車両が自車両の走行レーンの右側の境界線を跨いだ右境界線逸脱状態であるか、停止車両が走行レーンの左側の境界線を跨いだ左境界線逸脱状態であるか、停止車両が右境界線逸脱状態及び左境界線逸脱状態の何れでもないかを判定する境界線逸脱状態判定部と、自車両の前方カメラの撮像画像と向き判定部の判定結果と境界線逸脱状態判定部の判定結果とに基づいて、操舵制御の対象車両の認識を行う対象車両認識部と、を備え、対象車両認識部は、境界線逸脱状態判定部により停止車両が右境界線逸脱状態及び左境界線逸脱状態の何れでもないと判定された場合に停止車両を操舵制御の対象車両として認識せず、向き判定部により停止車両が後向き状態であると判定され、且つ、境界線逸脱状態判定部により停止車両が左境界線逸脱状態であると判定された場合に、停止車両の前方右端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識せず、停止車両の前方右端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識し、向き判定部により停止車両が後向き状態であると判定され、且つ、境界線逸脱状態判定部により停止車両が右境界線逸脱状態であると判定された場合に、停止車両の前方左端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識せず、停止車両の前方左端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識し、向き判定部により停止車両が前向き状態であると判定され、且つ、境界線逸脱状態判定部により停止車両が左境界線逸脱状態であると判定された場合に、停止車両の後方左端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識せず、停止車両の後方左端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識し、向き判定部により停止車両が前向き状態であると判定され、且つ、境界線逸脱状態判定部により停止車両が右境界線逸脱状態であると判定された場合に、停止車両の後方右端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識せず、停止車両の後方右端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識する。
【0008】
本発明の他の態様に係る対象車両認識装置によれば、自車両の先行車や対向車がカーブを走行している場合において、誤って停止車両と判定すると共に自車両の前方カメラの撮像画像上で先行車や対向車が左境界線逸脱状態又は右境界線逸脱状態と判定されてしまったとしても、カーブを走行している先行車や対向車の四つ隅の端部のうち撮像画像に写らない端部が撮像画像に含まれるか否かを判定することで、カーブを走行している先行車や対向車を誤って操舵制御の対象車両として認識することを避け、操舵制御の回避対象となる対象車両を撮像画像から適切に認識することができる。
【0009】
本発明の更に他の態様は、自車両の操舵制御の回避対象となる対象車両を認識するための対象車両認識装置の処理方法であって、自車両の前方カメラの撮像画像及び自車両の前方レーダセンサの検出結果のうち少なくとも一方に基づいて、自車両の前方に位置する停止車両を検出する停止車両検出ステップと、自車両の前方カメラの撮像画像に基づいて、停止車両が自車両に前面を向けた前向き状態であるか自車両に背面を向けた後向き状態であるかを判定する向き判定ステップと、自車両の前方カメラの撮像画像に基づいて、停止車両が自車両の走行レーンの右側の境界線を跨いだ右境界線逸脱状態であるか、停止車両が走行レーンの左側の境界線を跨いだ左境界線逸脱状態であるか、停止車両が右境界線逸脱状態及び左境界線逸脱状態の何れでもないかを判定する境界線逸脱状態判定ステップと、自車両の前方カメラの撮像画像と向き判定ステップの判定結果と境界線逸脱状態判定ステップの判定結果とに基づいて、操舵制御の対象車両の認識を行う対象車両認識ステップと、を含み、対象車両認識ステップでは、境界線逸脱状態判定ステップにおいて停止車両が右境界線逸脱状態及び左境界線逸脱状態の何れでもないと判定された場合に停止車両を操舵制御の対象車両として認識せず、向き判定ステップにおいて停止車両が後向き状態であると判定され、且つ、境界線逸脱状態判定ステップにおいて停止車両が左境界線逸脱状態であると判定された場合に、停止車両の前方左端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識し、停止車両の前方左端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識せず、向き判定ステップにおいて停止車両が後向き状態であると判定され、且つ、境界線逸脱状態判定ステップにおいて停止車両が右境界線逸脱状態であると判定された場合に、停止車両の前方右端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識し、停止車両の前方右端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識せず、向き判定ステップにおいて停止車両が前向き状態であると判定され、且つ、境界線逸脱状態判定ステップにおいて停止車両が左境界線逸脱状態であると判定された場合に、停止車両の後方右端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識し、停止車両の後方右端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識せず、向き判定ステップにおいて停止車両が前向き状態であると判定され、且つ、境界線逸脱状態判定ステップにおいて停止車両が右境界線逸脱状態であると判定された場合に、停止車両の後方左端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識し、停止車両の後方左端が撮像画像に含まれたとき、停止車両を操舵制御の対象車両として認識しない。
【0010】
本発明の更に他の態様に係る対象車両認識装置の処理方法によれば、自車両の先行車や対向車がカーブを走行している場合において、誤って停止車両と判定すると共に自車両の前方カメラの撮像画像上で先行車や対向車が左境界線逸脱状態又は右境界線逸脱状態と判定されてしまったとしても、カーブを走行している先行車や対向車の四つ隅の端部のうち撮像画像に写らない端部が撮像画像に含まれるか否かを判定することで、カーブを走行している先行車や対向車を誤って操舵制御の対象車両として認識することを避け、操舵制御の回避対象となる対象車両を撮像画像から適切に認識することができる。
【発明の効果】
【0011】
本発明の各態様によれば、操舵制御の回避対象となる対象車両を撮像画像から適切に認識することができる。
【図面の簡単な説明】
【0012】
【
図1】第一実施形態に係る操舵制御装置を示すブロック図である。
【
図2】(a)対象車両として認識する場合の第一の例を示す図である。(b)対象車両として認識しない場合の第一の例を示す図である。
【
図3】
図2(a)に対応する撮像画像の一例を示す図である。
【
図4】(a)対象車両として認識する場合の第二の例を示す図である。(b)対象車両として認識しない場合の第二の例を示す図である。
【
図5】(a)対象車両として認識する場合の第三の例を示す図である。(b)対象車両として認識しない場合の第三の例を示す図である。
【
図6】(a)対象車両として認識する場合の第四の例を示す図である。(b)対象車両として認識しない場合の第四の例を示す図である。
【
図7】対象車両認識処理の一例を示すフローチャートである。
【
図8】対象車両認識処理の続きを示すフローチャートである。
【
図9】第二実施形態に係る操舵制御装置を示すブロック図である。
【
図10】(a)第二実施形態において対象車両として認識する場合の第一の例を示す図である。(b)第二実施形態において対象車両として認識しない場合の第一の例を示す図である。
【
図11】(a)第二実施形態において対象車両として認識する場合の第二の例を示す図である。(b)第二実施形態において対象車両として認識しない場合の第二の例を示す図である。
【
図12】(a)第二実施形態において対象車両として認識する場合の第三の例を示す図である。(b)第二実施形態において対象車両として認識しない場合の第三の例を示す図である。
【
図13】(a)第二実施形態において対象車両として認識する場合の第四の例を示す図である。(b)第二実施形態において対象車両として認識しない場合の第四の例を示す図である。
【
図14】第二実施形態における対象車両認識処理の一例を示すフローチャートである。
【
図15】第二実施形態における対象車両認識処理の続きを示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について図面を参照して説明する。
【0014】
[第一実施形態]
図1に示されるように、第一実施形態に係る操舵制御装置(対象車両認識装置)100は、乗用車等の車両に搭載され、車両の操舵制御を実行する装置である。以下、操舵制御装置100が搭載された車両を自車両と呼ぶ。
【0015】
操舵制御は、一例として、PDA[Proactive Driving Assist]における操舵の制御を意味する。操舵制御は、自車両の操舵により回避対象を回避する制御が含まれる。操舵制御は、自車両の走行レーンにはみ出して停車又は駐車している車両を回避対象として、当該車両と距離を取りつつ、当該車両の側方を通過するように自車両の操舵を制御する。
【0016】
操舵制御装置100は、操舵制御の回避対象である対象車両の認識を行う。ここで、
図2(a)は、対象車両として認識する場合の第一の例を示す図である。
図2に、自車両M、自車両Mが走行する走行レーンR1、走行レーンR1を形成する二本の境界線BL、BR、他車両N1を示す。また、他車両N1の四つの隅(平面視における四つの角部分)のうち、他車両N1の前方の左側の端部である前方左端Nfl1を示す。走行レーンR1は直線路である。
【0017】
図2(a)の他車両N1は、走行レーンR1にはみ出して停車(又は駐車)している車両である。他車両N1は、例えば走行レーンR1の境界線BLを跨いで脇の歩道に乗り上げて停車している。このような他車両N1においては、自車両Mから死角となる停止車両N1の前から歩行者Pが飛び出してくるおそれがある。操舵制御装置100は、自車両Mの前方カメラにより撮像された撮像画像(
図3参照)を用いて、境界線BLを跨ぐ他車両N1を操舵制御の回避対象である対象車両として認識する。
図3及び対象車両の認識について詳しくは後述する。
【0018】
図2(b)は、対象車両として認識しない場合の第一の例を示す図である。
図2(b)において、自車両Mが走行する走行レーンR2、他車両N2、境界線BLの仮想投影線BLg、及び境界線BRの仮想投影線BRgを示す。また、他車両N2の四つの隅(平面視における四つの角部分)のうち、他車両N2の前方の左側の端部である前方左端Nfl2を示す。
【0019】
走行レーンR2は、自車両Mの進行方向で左に曲がるカーブとなっている。他車両N2は、カーブを走行中の車両である。他車両N2は走行中の車両であるが、自車両Mから離れるほど速度検出の精度が低下するため誤って停止車両と判定される場合がある。
【0020】
仮想投影線BLgとは、自車両Mの前方カメラにより撮像された撮像画像上における境界線BLを実際の路面に投影した線である。同様に、仮想投影線BRgとは、自車両Mの前方カメラにより撮像された撮像画像上における境界線BRを実際の路面に投影した線である。すなわち、
図2(b)に示す状況では、自車両Mの前方カメラにより撮像された撮像画像上において、走行レーンR2のカーブを曲がっている他車両N2が境界線BLを跨いでいるように見えてしまう。この場合において、操舵制御装置100は、カーブ走行中の他車両N2の前方左端Nfl2が撮像画像上に含まれないことを利用して、他車両N2を操舵制御の回避対象である対象車両として誤認しないようにする。
【0021】
〈第一実施形態に係る操舵制御装置の構成〉
操舵制御装置100は、装置を統括的に管理するECU[Electronic Control Unit]10を備えている。ECU10は、CPU[CentralProcessing Unit]とROM[Read Only Memory]又はRAM[Random Access Memory]などの記憶部を有する電子制御ユニットである。ECU10では、例えば、記憶部に記憶されているプログラムをCPUで実行することにより各種の機能を実現する。ECU10は、複数の電子ユニットから構成されていてもよい。また、以下に説明するECU10の機能の一部は、自車両と通信可能なサーバにおいて実行される態様であってもよい。
【0022】
ECU10には、前方カメラ1、前方レーダセンサ2、車速センサ3、加速度センサ4、ヨーレートセンサ5、及びアクチュエータ6が接続されている。前方カメラ1は、自車両の前方を撮像するためのカメラである。前方カメラ1は、例えば自車両のフロントガラスの裏側に設けられ、自車両の前方の撮像画像をECU10へ送信する。前方カメラ1は、単眼カメラであってもよく、ステレオカメラであってもよい。
【0023】
前方レーダセンサ2は、電波(例えばミリ波)又は光を利用して自車両の前方の物体を検出する検出機器である。前方レーダセンサ2には、例えば、ミリ波レーダ又はライダー[LIDAR:Light Detection and Ranging]が含まれる。前方レーダセンサ2は、電波又は光を自車両の周囲に送信し、物体で反射された電波又は光を受信することで物体を検出する。前方レーダセンサ2は、検出した先行車等の物体の情報をECU10へ送信する。前方レーダセンサ2の検出結果には物体の速度情報(例えば自車両との相対速度)も含まれる。
【0024】
車速センサ3は、自車両の速度を検出する検出器である。車速センサ3としては、例えば、自車両の車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサ3は、検出した車速情報(車輪速情報)をECU10に送信する。
【0025】
加速度センサ4は、自車両の加速度を検出する検出器である。加速度センサ4は、例えば、自車両の前後方向の加速度を検出する前後加速度センサと、自車両の横加速度を検出する横加速度センサとを含んでいる。加速度センサ4は、例えば、自車両の加速度情報をECU10に送信する。
【0026】
ヨーレートセンサ5は、自車両の重心の鉛直軸周りのヨーレート(回転角速度)を検出する検出器である。ヨーレートセンサ5としては、例えばジャイロセンサを用いることができる。ヨーレートセンサ5は、検出した自車両のヨーレート情報をECU10へ送信する。
【0027】
アクチュエータ6は、自車両の制御に用いられる機器である。アクチュエータ6は、駆動アクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。駆動アクチュエータは、ECU10からの制御信号に応じてエンジンに対する空気の供給量(スロットル開度)を制御し、自車両の駆動力を制御する。なお、自車両がハイブリッド車(HEV:Hybrid Electric Vehicle)である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータにECU10からの制御信号が入力されて当該駆動力が制御される。自車両が電気自動車(BEV:Battery Electric Vehicle)である場合には、動力源としてのモータにECU10からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ6を構成する。
【0028】
ブレーキアクチュエータは、ECU10からの制御信号に応じてブレーキシステムを制御し、自車両の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を、ECU10からの制御信号に応じて制御する。これにより、操舵アクチュエータは、自車両の操舵トルクを制御する。
【0029】
次に、ECU10の機能的構成について説明する。
図1に示すようにECU10は、停止車両検出部11、向き判定部12、境界線逸脱状態判定部13、対象車両認識部14、及び操舵制御部15を有している。なお、以下に説明するECU10の機能の一部は、自車両と通信可能なサーバにおいて実行される態様であってもよい。
【0030】
停止車両検出部11は、前方カメラ1の撮像画像及び前方レーダセンサ2の検出結果のうち少なくとも一方に基づいて、自車両の前方に位置する停止車両を検出する。停止車両とは速度がゼロの車両である。車両は四輪車に限られず、二輪車であってもよい。停止車両の検出方法は特に限定されず、周知の手法を採用することができる。停止車両検出部11は、例えば自車両の前方の他車両と自車両の前方のガードレールその他の構造物との速度差から停止車両であることを検出してもよい。停止車両検出部11は、自車両の車速センサ3の検出した車速を踏まえて停止車両を検出してもよい。なお、停止車両検出部11は、遠方の他車両に対してセンサ精度などに起因する速度情報の誤差により走行中の他車両を誤って停止車両と検出する場合がある。
【0031】
向き判定部12は、停止車両検出部11により停止車両が検出された場合に、自車両の前方カメラ1の撮像画像に基づいて、停止車両の向きを判定する。向き判定部12は、停止車両が自車両に前面を向けた前向き状態であるか自車両に背面を向けた後向き状態であるかを判定する。
【0032】
向き判定部12は、例えばパターンマッチングやディープラーニングなどの画像認識により撮像画像から停止車両の向きを判定する。向き判定部12は、周知の画像処理手法により撮像画像から停止車両の向きを判定してもよい。
【0033】
境界線逸脱状態判定部13は、停止車両検出部11により停止車両が検出された場合に、自車両の前方カメラの撮像画像に基づいて、停止車両が右境界線逸脱状態であるか、停止車両が左境界線逸脱状態であるか、停止車両が右境界線逸脱状態及び左境界線逸脱状態の何れでもないかを判定する。右境界線逸脱状態とは、停止車両が自車両の走行レーンの右側の境界線を跨いだ状態である。左境界線逸脱状態とは、停止車両が走行レーンの左側の境界線を跨いだ状態である。
【0034】
境界線逸脱状態判定部13は、一例として、撮像画像上において停止車両及び境界線に関する各種の位置を検出することで上記判定を実行する。境界線逸脱状態判定部13は、撮像画像上で停止車両の下端から画像水平方向に延びる軸線である基準軸線と、撮像画像上で停止車両の左端を基準軸線上に投影した車両左端位置と、撮像画像上で停止車両の右端を基準軸線上に投影した車両右端位置と、撮像画像上で自車両の走行レーンR1を形成する二本の境界線のうち少なくとも一方と基準軸線とが交差する位置である基準境界線位置と、を検出する。
【0035】
境界線逸脱状態判定部13は、例えばディープラーニングやパターンマッチングにより撮像画像上の停止車両や走行レーンの境界線などを認識することで、各種の位置を検出する。境界線逸脱状態判定部13は、その他の周知の画像処理手法を採用してもよい。
【0036】
ここで、
図3は、
図2(a)に対応する撮像画像の一例を示す図である。
図3に、自車両Mの前方の撮像画像G、撮像画像G中の走行レーンR1、走行レーンR1を形成する二本の境界線BL,BR、撮像画像G中の停止車両N1、基準軸線CL、車両左端位置NL、車両右端位置NR、第一基準境界線位置C1、第二基準境界線位置C2、第一距離DA、及び第二距離DBを示す。
【0037】
図3に示すように、基準軸線CLは、撮像画像G上で停止車両N1の下端から画像水平方向に延びる軸線である。画像水平方向とは、撮像画像Gにおける水平方向である。停止車両N1の下端は、例えば撮像画像G上における停止車両N1のタイヤの下端となる。
【0038】
車両左端位置NLは、撮像画像G上で停止車両N1の左端を基準軸線CL上に投影した位置である。車両右端位置NRは、撮像画像G上で停止車両N1の右端を基準軸線CL上に投影した位置である。停止車両N1の左端とは、停止車両N1のうち最も左端に位置する部位である。停止車両N1の車体のうち最も左に突出している部位であってもよく、停止車両N1が貨物車である場合には荷台のうち最も左に突出している部位であってもよい。停止車両N1の左ミラーが最も左に突出している場合には、左ミラーの先端を左端としてもよい。停止車両N1の左端を基準軸線CLに対して垂直に投影した位置が車両左端位置NLとなる。車両右端位置NRは車両左端位置NLと同様であるため、説明を省略する。
【0039】
第一基準境界線位置C1は、撮像画像G上で自車両の走行レーンR1を形成する二本の境界線BL,BRのうち境界線BLと基準軸線CLとが交差する位置である。第二基準境界線位置C2は、境界線BRと基準軸線CLとが交差する位置である。第一基準境界線位置C1は、画像水平方向で境界線BLが複数の画素から構成されている場合(撮像画像G上で境界線BLがある程度の幅を有している場合)には、境界線BLの画像水平方向中央の位置としてもよく、境界線BLの画像水平方向で自車両側の端の位置又は自車両と反対側の端の位置としてもよい。
【0040】
第一距離DAは、基準軸線CL上で車両左端位置NL及び車両右端位置NRのうち自車両側の位置から第一基準境界線位置C1までの距離である。
図3における第一距離DAは、第一基準境界線位置C1と車両右端位置NRとの間の距離となる。第二距離DBは、基準軸線CL上で車両左端位置NL及び車両右端位置NRのうち自車両側の位置から第一基準境界線位置C1までの距離である。
図3における第二距離DBは、車両左端位置NLと第一基準境界線位置C1との間の距離となる。境界線逸脱状態判定部13は、第二基準境界線位置C2に対応する第一距離及び第二距離を算出してもよい。
【0041】
なお、境界線逸脱状態判定部13は、は、境界線BLの第一基準境界線位置C1と境界線BRの第一基準境界線位置C2を必ずしも検出する必要はない。境界線逸脱状態判定部13は、2は、境界線BL,BRのうち、停止車両N1に近い境界線BLに対応する基準境界線位置C1のみを検出する態様であってもよい。
【0042】
境界線逸脱状態判定部13は、検出した各種の位置を用いて、停止車両N1の車両左端位置NL及び車両右端位置NRに挟まれた基準境界線位置(第一基準境界線位置C1又は第二基準境界線位置C2)が存在するか否かを判定する。
【0043】
境界線逸脱状態判定部13は、撮像画像Gにおいて、セマンティックセグメンテーション(Semantic Segmentation)により画素レベルで各位置の水平座標(画像水平方向の座標)を求め、その差分を用いて判定してもよい。例えば第一基準境界線位置C1の画素座標から車両左端位置NLの画素座標を減算すると、車両左端位置NLが第一基準境界線位置C1の左側に位置するときは差分が負の値となり、車両左端位置NLが第一基準境界線位置C1の右側に位置するときは差分が正の値となる。
【0044】
同様に、第一基準境界線位置C1の画素座標から車両右端位置NRの画素座標を減算すると、車両右端位置NRが第一基準境界線位置C1の左側に位置するときは差分が負の値となり、車両右端位置NRが第一基準境界線位置C1の右側に位置するときは差分が正の値となる。対象車両認識部14は、車両左端位置NLの差分と車両右端位置NRの差分との正負の符号が異なるとき、停止車両N1の車両左端位置NL及び車両右端位置NRに挟まれた第一基準境界線位置C1が存在すると判定する。
【0045】
第二基準境界線位置C2についても同様に判定することができる。
図3に示す状況において、対象車両認識部14は、第二基準境界線位置C2及び車両左端位置NLの差分の正負の符号と第二基準境界線位置C2及び車両右端位置NRの差分の正負の符号とが同じとなることから、第二基準境界線位置C2は車両左端位置NL及び車両右端位置NRに挟まれていないと判定する。なお、各位置の画像座標の求め方は、セマンティックセグメンテーションに限定されず、周知の手法を採用することができる。
【0046】
境界線逸脱状態判定部13は、停止車両N1の車両左端位置NL及び車両右端位置NRに挟まれた第一基準境界線位置C1が存在すると判定した場合、停止車両N1が左境界線逸脱状態であると判定する。同様に、境界線逸脱状態判定部13は、停止車両N1の車両左端位置NL及び車両右端位置NRに挟まれた第二基準境界線位置C2が存在すると判定した場合、停止車両N1が右境界線逸脱状態であると判定する。境界線逸脱状態判定部13は、停止車両N1の車両左端位置NL及び車両右端位置NRに挟まれた基準境界線位置が存在しない場合、停止車両N1が左境界線逸脱状態及び左境界線逸脱状態の何れでもないと判定する。
【0047】
なお、境界線逸脱状態判定部13は、
図2(b)に示すように、境界線BLの仮想投影線BLg(撮像画像上における境界線BLを実際の路面に投影した線)上にカーブ内の他車両N2が位置する場合、他車両N2を左境界線逸脱状態であると判定する場合がある。
【0048】
対象車両認識部14は、停止車両検出部11により停止車両が検出された場合、自車両の前方カメラ1の撮像画像と向き判定部12の判定結果と境界線逸脱状態判定部13の判定結果とに基づいて、操舵制御の対象車両の認識を行う。
【0049】
なお、対象車両認識部14は、境界線逸脱状態判定部13により停止車両が右境界線逸脱状態及び左境界線逸脱状態の何れでもないと判定された場合には、停止車両を操舵制御の対象車両として認識しない。すなわち、対象車両認識部14は、境界線BL又は境界線BRを跨いで停止していない車両を対象車両として認識しない。
【0050】
対象車両認識部14は、向き判定部12により停止車両が後向き状態であると判定され、且つ、境界線逸脱状態判定部13により停止車両が左境界線逸脱状態であると判定された場合に、停止車両の前方左端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識する。
【0051】
前方左端とは、停止車両のうち四つの隅(平面視における四つの角部分)のうち前方の左側の端部である。残りは、前方右端、後方左端、後方右端である。対象車両認識部14は、向き判定部12の判定した停止車両の向きを踏まえ、パターンマッチングやディープラーニングなどによる撮像画像の画像認識によって、停止車両の前方左端が撮像画像に含まれるか否かを判定する。前方右端、後方左端、後方右端を判定する場合も同様である。
【0052】
具体的に、
図2(a)に示す状況において、停止車両N1は後向き状態且つ左境界線逸脱状態であると判定される。この場合、対象車両認識部14は、停止車両N1の前方左端Nfl1が撮像画像Gに含まれるか否かを判定する。対象車両認識部14は、
図2(a)に示す状況において、停止車両N1の前方左端Nfl1が自車両Mから見た撮像画像Gに含まれないため、停止車両N1を対象車両として認識する。
【0053】
一方、対象車両認識部14は、停止車両の前方左端が撮像画像に含まれるとき、停止車両を操舵制御の対象車両として認識しない。具体的に、
図2(b)に示す状況において、他車両N2は速度情報誤差により停止車両検出部11によって停止車両と判定されたものとする。以下、カーブ走行中の他車両N2を停止車両N2として説明する。
【0054】
図2(b)に示す状況では、境界線BLの仮想投影線BLg(撮像画像上における境界線BLを実際の路面に投影した線)上にカーブ内の停止車両N2が位置するため、停止車両N2は後向き状態且つ左境界線逸脱状態であると判定される。この場合、対象車両認識部14は、停止車両N2の前方左端Nfl2が撮像画像Gに含まれるか否かを判定する。対象車両認識部14は、
図2(b)に示す状況において停止車両N2の前方左端Nfl2が自車両Mから見た撮像画像Gに含まれないため、停止車両N2を対象車両として認識しない。
【0055】
図4(a)は、対象車両として認識する場合の第二の例を示す図である。
図4(a)において、停止車両N1は自車両Mに前面を向けた前向き状態である点が
図2(a)と比べて異なっている。
図4(a)に停止車両N1の後方右端Nrr1を示す。
【0056】
図4(a)に示す状況において、停止車両N1は前向き状態且つ左境界線逸脱状態であると判定される。この場合、対象車両認識部14は、停止車両N1の後方右端Nrr1が撮像画像Gに含まれるか否かを判定する。対象車両認識部14は、
図4(a)に示す状況において停止車両N1の後方右端Nrr1が自車両Mから見た撮像画像Gに含まれるため、停止車両N1を対象車両として認識する。
【0057】
図4(b)は、対象車両として認識しない場合の第二の例を示す図である。
図4(b)において、停止車両N2は走行レーンR2の外側(例えば対向レーン)を走行しており、自車両Mに前面を向けた前向き状態である点が
図2(b)と比べて異なっている。
図4(b)に停止車両N2の後方右端Nrr2を示す。
【0058】
図4(b)に示す状況において、境界線BLの仮想投影線BLg(撮像画像上における境界線BLを実際の路面に投影した線)上に停止車両N2が位置するため、停止車両N2は前向き状態且つ左境界線逸脱状態であると判定される。この場合、対象車両認識部14は、停止車両N2の後方右端Nrr2が撮像画像Gに含まれるか否かを判定する。対象車両認識部14は、
図4(b)に示す状況において停止車両N2の後方右端Nrr2が自車両Mから見た撮像画像Gに含まれるため、停止車両N2を対象車両として認識しない。
【0059】
図5(a)は、対象車両として認識する場合の第三の例を示す図である。
図5(a)において、停止車両N1は自車両Mの右側に位置する右境界線逸脱状態である点が
図2(a)と比べて異なっている。
図5(a)に停止車両N1の前方右端Nfr1を示す。
【0060】
図5(a)に示す状況において、停止車両N1は後向き状態且つ右境界線逸脱状態であると判定される。この場合、対象車両認識部14は、停止車両N1の前方右端Nfr1が撮像画像Gに含まれるか否かを判定する。対象車両認識部14は、
図5(a)に示す状況において停止車両N1の前方右端Nfr1が自車両Mから見た撮像画像Gに含まれないため、停止車両N1を対象車両として認識する。
【0061】
図5(b)は、対象車両として認識しない場合の第三の例を示す図である。
図5(b)において、自車両M及び停止車両N2は右側に曲がる走行レーンR3を走行している点が
図2(b)と比べて異なっている。
図5(b)に停止車両N2の前方右端Nfr2を示す。
【0062】
図5(b)に示す状況において、境界線BRの仮想投影線BRg(撮像画像上における境界線BRを実際の路面に投影した線)上にカーブ内の停止車両N2が位置するため、停止車両N2は後向き状態且つ右境界線逸脱状態であると判定される。この場合、対象車両認識部14は、停止車両N2の前方右端Nfr2が撮像画像Gに含まれるか否かを判定する。対象車両認識部14は、
図5(b)に示す状況において停止車両N2の前方右端Nfr2が自車両Mから見た撮像画像Gに含まれるため、停止車両N2を対象車両として認識しない。
【0063】
図6(a)は、対象車両として認識する場合の第四の例を示す図である。
図6(a)において、停止車両N1は自車両Mに前面を向けた前向き状態であり自車両Mの右側に位置する右境界線逸脱状態である点が
図2(a)と比べて異なっている。
図6(a)に停止車両N1の後方左端Nfl1を示す。
【0064】
図6(a)に示す状況において、停止車両N1は前向き状態且つ右境界線逸脱状態であると判定される。この場合、対象車両認識部14は、停止車両N1の後方左端Nfl1が撮像画像Gに含まれるか否かを判定する。対象車両認識部14は、
図6(a)に示す状況において停止車両N1の後方左端Nfl1が自車両Mから見た撮像画像Gに含まれないため、停止車両N1を対象車両として認識する。
【0065】
図6(b)は、対象車両として認識しない場合の第四の例を示す図である。
図6(b)において、自車両Mは右側に曲がる走行レーンR3を走行しており、停止車両N2は走行レーンR2の外側(別な道路など)を走行して自車両Mに前面を向けた前向き状態である点が
図2(b)と比べて異なっている。
図6(b)に停止車両N2の後方左端Nrl2を示す。
【0066】
図6(b)に示す状況において、境界線BRの仮想投影線BRg(撮像画像上における境界線BRを実際の路面に投影した線)上に停止車両N2が位置するため、停止車両N2は前向き状態且つ右境界線逸脱状態であると判定される。この場合、対象車両認識部14は、停止車両N2の後方左端Nrl2が撮像画像Gに含まれるか否かを判定する。対象車両認識部14は、
図6(b)に示す状況において停止車両N2の後方左端Nrl2が自車両Mから見た撮像画像Gに含まれるため、停止車両N2を対象車両として認識しない。
【0067】
なお、対象車両認識部14は、上記判定に用いられる停止車両N1の端部が撮像画像Gに含まれない場合においても、
図3に示す第一距離DAが第二距離DBより大きいときには、停止車両N1を対象車両として認識しなくてもよい。すなわち、対象車両認識部14は、停止車両N1の大部分が自車両の走行レーンR1上に位置するときには自車両の先行車が一時停止している可能性が高いため、基準軸線CL上で自車両側の第一距離DAが第二距離DBより大きいときには停止車両N1を操舵制御の対象車両として認識しないことにより、一時停止している自車両の先行車を誤って操舵制御の回避対象とすることを避けることができる。
【0068】
操舵制御部15は、対象車両認識部14により操舵制御の回避対象である対象車両が認識された場合、対象車両を回避して対象車両の側方を通過するための操舵制御を実行する。操舵制御部15は、前方カメラ1の撮像画像及び/又は前方レーダセンサ2の検出結果に基づいて、自車両の車速、加速度、ヨーレートを踏まえて操舵制御を実行する。なお、操舵制御部15は、対象車両が認識された場合であっても必ずしも操舵制御を実行する必要はない。
【0069】
〈第一実施形態に係る操舵制御装置の処理方法〉
次に、本実施形態に係る操舵制御装置(対象車両認識装置)100の処理方法について説明する。
図7は、対象車両認識処理の一例を示すフローチャートである。
図8は、対象車両認識処理の続きを示すフローチャートである。対象車両認識処理は、例えば運転者による自車両の操舵制御の実行要否の設定が要に設定されている場合に行われる。
【0070】
図7に示すように、操舵制御装置100のECU10は、S10として、停止車両検出部11により自車両の前方に位置する停止車両N1を検出する(停止車両検出ステップ)。停止車両検出部11は、前方カメラ1の撮像画像及び前方レーダセンサ2の検出結果のうち少なくとも一方に基づいて、停止車両N1を検出する。
【0071】
S11において、ECU10は、向き判定部12及び境界線逸脱状態判定部13により撮像画像の画像認識を行う(画像認識ステップ)。向き判定部12は、例えばディープラーニングやパターンマッチングにより撮像画像の画像認識を行う。境界線逸脱状態判定部13も同様にして画像認識により撮像画像上の停止車両及び境界線に関する各種の位置を検出する。
【0072】
S12において、ECU10は、向き判定部12により停止車両が前向き状態であるか後向き状態であるかを判定する(向き判定ステップ)。ECU10は、停止車両が後向き状態であると判定された場合(S12:YES)、S13に移行する。ECU10は、停止車両が後向き状態ではない(前向き状態である)と判定された場合(S12:NO)、
図8のフローチャートのS20へ移行する。
【0073】
S13において、ECU10は、境界線逸脱状態判定部13により停止車両が左境界線逸脱状態であるか否かを判定する(第一の境界線逸脱状態判定ステップ)。ECU10は、停止車両が左境界線逸脱状態であると判定された場合(S13:YES)、S14に移行する。ECU10は、停止車両が左境界線逸脱状態であると判定されなかった場合(S13:NO)、S15に移行する。
【0074】
S14において、ECU10は、対象車両認識部14により停止車両の前方左端が撮像画像に含まれるか否かを判定する(前方左端判定ステップ)。ECU10は、停止車両の前方左端が撮像画像に含まれると判定された場合(S14:YES)、S17に移行する。ECU10は、停止車両の前方左端が撮像画像に含まれると判定されなかった場合(S14:NO)、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0075】
S15において、ECU10は、境界線逸脱状態判定部13により停止車両が右境界線逸脱状態であるか否かを判定する(第二の境界線逸脱状態判定ステップ)。ECU10は、停止車両が右境界線逸脱状態であると判定された場合(S15:YES)、S16に移行する。ECU10は、停止車両が右境界線逸脱状態であると判定されなかった場合(S15:NO)、停止車両は左境界線逸脱状態及び右境界線逸脱状態の何れでもないとして、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0076】
S16において、ECU10は、対象車両認識部14により停止車両の前方右端が撮像画像に含まれるか否かを判定する(前方右端判定ステップ)。ECU10は、停止車両の前方右端が撮像画像に含まれると判定された場合(S16:YES)、S17に移行する。ECU10は、停止車両の前方右端が撮像画像に含まれると判定されなかった場合(S16:NO)、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0077】
S17において、ECU10は、対象車両認識部14により停止車両を操舵制御の回避対象である対象車両として認識する(対象車両認識ステップ)。その後、ECU10は、対象車両認識処理を終了する。
【0078】
図8に示すように、ECU10は、S20として、境界線逸脱状態判定部13により停止車両が左境界線逸脱状態であるか否かを判定する(第三の境界線逸脱状態判定ステップ)。ECU10は、停止車両が左境界線逸脱状態であると判定された場合(S20:YES)、S21に移行する。ECU10は、停止車両が左境界線逸脱状態であると判定されなかった場合(S20:NO)、S22に移行する。
【0079】
S21において、ECU10は、対象車両認識部14により停止車両の後方右端が撮像画像に含まれるか否かを判定する(後方右端判定ステップ)。ECU10は、停止車両の後方右端が撮像画像に含まれると判定された場合(S21:YES)、S24に移行する。ECU10は、停止車両の後方右端が撮像画像に含まれると判定されなかった場合(S21:NO)、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0080】
S22において、ECU10は、境界線逸脱状態判定部13により停止車両が右境界線逸脱状態であるか否かを判定する(第四の境界線逸脱状態判定ステップ)。ECU10は、停止車両が右境界線逸脱状態であると判定された場合(S22:YES)、S23に移行する。ECU10は、停止車両が右境界線逸脱状態であると判定されなかった場合(S22:NO)、停止車両は左境界線逸脱状態及び右境界線逸脱状態の何れでもないとして、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0081】
S23において、ECU10は、対象車両認識部14により停止車両の後方左端が撮像画像に含まれるか否かを判定する(後方左端判定ステップ)。ECU10は、停止車両の後方左端が撮像画像に含まれると判定された場合(S23:YES)、S24に移行する。ECU10は、停止車両の後方左端が撮像画像に含まれると判定されなかった場合(S23:NO)、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0082】
S24において、ECU10は、対象車両認識部14により停止車両を操舵制御の回避対象である対象車両として認識する。その後、ECU10は、対象車両認識処理を終了する。
【0083】
以上説明した第一実施形態に係る操舵制御装置100によれば、自車両の先行車や対向車がカーブを走行している場合において、誤って停止車両と判定すると共に自車両の前方カメラの撮像画像上で先行車や対向車が左境界線逸脱状態又は右境界線逸脱状態と判定されてしまったとしても、カーブを走行している先行車や対向車の四つ隅の端部のうち撮像画像に写らない端部が撮像画像に含まれるか否かを判定することで、カーブを走行している先行車や対向車を誤って操舵制御の対象車両として認識することを避け、操舵制御の回避対象となる対象車両を撮像画像から適切に認識することができる。
【0084】
[第二実施形態]
続いて、第二実施形態に係る操舵制御装置(対象車両認識装置)について図面を参照して説明する。
図9は、第二実施形態に係る操舵制御装置を示すブロック図である。
【0085】
〈第二実施形態に係る操舵制御装置の構成〉
図9に示す第二実施形態に係る操舵制御装置200は、第一実施形態と比べて、ECU20における対象車両認識部21の機能だけが異なっている。第二実施形態に係る対象車両認識部21は、停止車両の四つの隅のうち対象車両であれば撮像画像に含まれない端部ではなく対象車両であれば撮像画像に含まれる端部に着目して対象車両の認識を行う。
【0086】
すなわち、対象車両認識部21は、向き判定部12により停止車両が後向き状態であると判定され、且つ、境界線逸脱状態判定部13により停止車両が左境界線逸脱状態であると判定された場合に、停止車両の前方右端が撮像画像に含まれるとき、停止車両を操舵制御の対象車両として認識する。
【0087】
図10(a)は、第二実施形態において対象車両として認識する場合の第一の例を示す図である。
図10(a)に示す状況において、停止車両N1は後向き状態且つ左境界線逸脱状態であると判定される。この場合、対象車両認識部21は、停止車両N1の前方右端Nfr1が撮像画像Gに含まれるか否かを判定する。対象車両認識部21は、
図10(a)に示す状況において、停止車両N1の前方右端Nfr1が自車両Mから見た撮像画像Gに含まれるため、停止車両N1を対象車両として認識する。
【0088】
一方、対象車両認識部21は、停止車両の前方右端が撮像画像に含まれないとき、停止車両を操舵制御の対象車両として認識しない。ここで、
図10(b)は、第二実施形態において対象車両として認識しない場合の第一の例を示す図である。
図10(b)に示す状況において、他車両N2は速度情報誤差により停止車両検出部11によって停止車両と判定されたものとする。
【0089】
図10(b)に示す状況では、境界線BLの仮想投影線BLg(撮像画像上における境界線BLを実際の路面に投影した線)上にカーブ内の停止車両N2が位置するため、停止車両N2は後向き状態且つ左境界線逸脱状態であると判定される。この場合、対象車両認識部21は、停止車両N2の前方右端Nfr2が撮像画像Gに含まれるか否かを判定する。対象車両認識部21は、
図10(b)に示す状況において停止車両N2の前方右端Nfr2が自車両Mから見た撮像画像Gに含まれないため、停止車両N2を対象車両として認識しない。
【0090】
図11(a)は、第二実施形態において対象車両として認識する場合の第二の例を示す図である。
図11(a)において、停止車両N1は自車両Mに前面を向けた前向き状態である点が
図10(a)と比べて異なっている。
【0091】
図11(a)に示す状況において、停止車両N1は前向き状態且つ左境界線逸脱状態であると判定される。この場合、対象車両認識部21は、停止車両N1の後方左端Nrl1が撮像画像Gに含まれるか否かを判定する。対象車両認識部21は、
図11(a)に示す状況において停止車両N1の後方左端Nrl1が自車両Mから見た撮像画像Gに含まれるため、停止車両N1を対象車両として認識する。
【0092】
図11(b)は、第二実施形態において対象車両として認識しない場合の第二の例を示す図である。
図11(b)において、停止車両N2は走行レーンR2の外側(例えば対向レーン)を走行しており、自車両Mに前面を向けた前向き状態である点が
図10(b)と比べて異なっている。
【0093】
図11(b)に示す状況において、境界線BLの仮想投影線BLg(撮像画像上における境界線BLを実際の路面に投影した線)上に停止車両N2が位置するため、停止車両N2は前向き状態且つ左境界線逸脱状態であると判定される。この場合、対象車両認識部21は、停止車両N2の後方左端Nrl2が撮像画像Gに含まれるか否かを判定する。対象車両認識部21は、
図11(b)に示す状況において停止車両N2の後方左端Nrl2が自車両Mから見た撮像画像Gに含まれないため、停止車両N2を対象車両として認識しない。
【0094】
図12(a)は、第二実施形態において対象車両として認識する場合の第三の例を示す図である。
図12(a)において、停止車両N1は自車両Mの右側に位置する右境界線逸脱状態である点が
図10(a)と比べて異なっている。
【0095】
図12(a)に示す状況において、停止車両N1は後向き状態且つ右境界線逸脱状態であると判定される。この場合、対象車両認識部21は、停止車両N1の前方左端Nfl1が撮像画像Gに含まれるか否かを判定する。対象車両認識部21は、
図12(a)に示す状況において停止車両N1の前方左端Nfl1が自車両Mから見た撮像画像Gに含まれるため、停止車両N1を対象車両として認識する。
【0096】
図12(b)は、第二実施形態において対象車両として認識しない場合の第三の例を示す図である。
図12(b)において、自車両M及び停止車両N2は右側に曲がる走行レーンR3を走行している点が
図10(b)と比べて異なっている。
【0097】
図12(b)に示す状況において、境界線BRの仮想投影線BRg(撮像画像上における境界線BRを実際の路面に投影した線)上にカーブ内の停止車両N2が位置するため、停止車両N2は後向き状態且つ右境界線逸脱状態であると判定される。この場合、対象車両認識部21は、停止車両N2の前方左端Nfl2が撮像画像Gに含まれるか否かを判定する。対象車両認識部21は、
図12(b)に示す状況において停止車両N2の前方左端Nfl2が自車両Mから見た撮像画像Gに含まれないため、停止車両N2を対象車両として認識しない。
【0098】
図13(a)は、第二実施形態において対象車両として認識する場合の第四の例を示す図である。
図13(a)において、停止車両N1は自車両Mに前面を向けた前向き状態であり自車両Mの右側に位置する右境界線逸脱状態である点が
図10(a)と比べて異なっている。
【0099】
図13(a)に示す状況において、停止車両N1は前向き状態且つ右境界線逸脱状態であると判定される。この場合、対象車両認識部21は、停止車両N1の後方右端Nrr1が撮像画像Gに含まれるか否かを判定する。対象車両認識部21は、
図13(a)に示す状況において停止車両N1の後方右端Nrr1が自車両Mから見た撮像画像Gに含まれるため、停止車両N1を対象車両として認識する。
【0100】
図13(b)は、第二実施形態において対象車両として認識しない場合の第四の例を示す図である。
図13(b)において、自車両Mは右側に曲がる走行レーンR3を走行しており、停止車両N2は走行レーンR2の外側(別な道路など)を走行して自車両Mに前面を向けた前向き状態である点が
図10(b)と比べて異なっている。
【0101】
図13(b)に示す状況において、境界線BRの仮想投影線BRg(撮像画像上における境界線BRを実際の路面に投影した線)上に停止車両N2が位置するため、停止車両N2は前向き状態且つ右境界線逸脱状態であると判定される。この場合、対象車両認識部21は、停止車両N2の後方右端Nrr2が撮像画像Gに含まれるか否かを判定する。対象車両認識部21は、
図13(b)に示す状況において停止車両N2の後方右端Nrr2が自車両Mから見た撮像画像Gに含まれないため、停止車両N2を対象車両として認識しない。
【0102】
〈第二実施形態に係る操舵制御装置の処理方法〉
次に、第二実施形態に係る操舵制御装置(対象車両認識装置)200の処理方法について説明する。
図14は、第二実施形態における対象車両認識処理の一例を示すフローチャートである。
図15は、第二実施形態における対象車両認識処理の続きを示すフローチャートである。対象車両認識処理は、例えば運転者による自車両の操舵制御が実行する設定されている場合に行われる。
【0103】
図14に示すように、操舵制御装置200のECU20は、S30として、停止車両検出部11により自車両の前方に位置する停止車両N1を検出する(停止車両検出ステップ)。停止車両検出部11は、前方カメラ1の撮像画像及び前方レーダセンサ2の検出結果のうち少なくとも一方に基づいて、停止車両N1を検出する。
【0104】
S31において、ECU20は、向き判定部12及び境界線逸脱状態判定部13により撮像画像の画像認識を行う(画像認識ステップ)。向き判定部12は、例えばディープラーニングやパターンマッチングにより撮像画像の画像認識を行う。境界線逸脱状態判定部13も同様にして画像認識により撮像画像上の停止車両及び境界線に関する各種の位置を検出する。
【0105】
S32において、ECU20は、向き判定部12により停止車両が前向き状態であるか後向き状態であるかを判定する(向き判定ステップ)。ECU20は、停止車両が後向き状態であると判定された場合(S32:YES)、S33に移行する。ECU20は、停止車両が後向き状態ではない(前向き状態である)と判定された場合(S32:NO)、
図15のフローチャートのS40へ移行する。
【0106】
S33において、ECU20は、境界線逸脱状態判定部13により停止車両が左境界線逸脱状態であるか否かを判定する(第一の境界線逸脱状態判定ステップ)。ECU20は、停止車両が左境界線逸脱状態であると判定された場合(S33:YES)、S34に移行する。ECU20は、停止車両が左境界線逸脱状態であると判定されなかった場合(S33:NO)、S35に移行する。
【0107】
S34において、ECU20は、対象車両認識部21により停止車両の前方右端が撮像画像に含まれるか否かを判定する(前方右端判定ステップ)。ECU20は、停止車両の前方右端が撮像画像に含まれると判定された場合(S34:YES)、S37に移行する。ECU20は、停止車両の前方右端が撮像画像に含まれると判定されなかった場合(S34:NO)、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0108】
S35において、ECU20は、境界線逸脱状態判定部13により停止車両が右境界線逸脱状態であるか否かを判定する(第二の境界線逸脱状態判定ステップ)。ECU20は、停止車両が右境界線逸脱状態であると判定された場合(S35:YES)、S36に移行する。ECU20は、停止車両が右境界線逸脱状態であると判定されなかった場合(S35:NO)、停止車両は左境界線逸脱状態及び右境界線逸脱状態の何れでもないとして、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0109】
S36において、ECU20は、対象車両認識部21により停止車両の前方左端が撮像画像に含まれるか否かを判定する(前方左端判定ステップ)。ECU20は、停止車両の前方左端が撮像画像に含まれると判定された場合(S36:YES)、S37に移行する。ECU20は、停止車両の前方左端が撮像画像に含まれると判定されなかった場合(S36:NO)、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0110】
S37において、ECU20は、対象車両認識部21により停止車両を操舵制御の回避対象である対象車両として認識する(対象車両認識ステップ)。その後、ECU20は、対象車両認識処理を終了する。
【0111】
図8に示すように、ECU20は、S40として、境界線逸脱状態判定部13により停止車両が左境界線逸脱状態であるか否かを判定する(第三の境界線逸脱状態判定ステップ)。ECU20は、停止車両が左境界線逸脱状態であると判定された場合(S40:YES)、S41に移行する。ECU20は、停止車両が左境界線逸脱状態であると判定されなかった場合(S40:NO)、S42に移行する。
【0112】
S41において、ECU20は、対象車両認識部21により停止車両の後方左端が撮像画像に含まれるか否かを判定する(後方左端判定ステップ)。ECU20は、停止車両の後方左端が撮像画像に含まれると判定された場合(S41:YES)、S44に移行する。ECU20は、停止車両の後方左端が撮像画像に含まれると判定されなかった場合(S41:NO)、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0113】
S42において、ECU20は、境界線逸脱状態判定部13により停止車両が右境界線逸脱状態であるか否かを判定する(第四の境界線逸脱状態判定ステップ)。ECU20は、停止車両が右境界線逸脱状態であると判定された場合(S42:YES)、S43に移行する。ECU20は、停止車両が右境界線逸脱状態であると判定されなかった場合(S42:NO)、停止車両は左境界線逸脱状態及び右境界線逸脱状態の何れでもないとして、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0114】
S43において、ECU20は、対象車両認識部21により停止車両の後方右端が撮像画像に含まれるか否かを判定する(後方右端判定ステップ)。ECU20は、停止車両の後方右端が撮像画像に含まれると判定された場合(S43:YES)、S44に移行する。ECU20は、停止車両の後方右端が撮像画像に含まれると判定されなかった場合(S43:NO)、停止車両を対象車両と認識せずに対象車両認識処理を終了する。
【0115】
S44において、ECU20は、対象車両認識部21により停止車両を操舵制御の回避対象である対象車両として認識する。その後、ECU20は、対象車両認識処理を終了する。
【0116】
以上説明した第二実施形態に係る操舵制御装置200においても、自車両の先行車や対向車がカーブを走行している場合において、誤って停止車両と判定すると共に自車両の前方カメラの撮像画像上で先行車や対向車が左境界線逸脱状態又は右境界線逸脱状態と判定されてしまったとしても、カーブを走行している先行車や対向車の四つ隅の端部のうち撮像画像に写らない端部が撮像画像に含まれるか否かを判定することで、カーブを走行している先行車や対向車を誤って操舵制御の対象車両として認識することを避け、操舵制御の回避対象となる対象車両を撮像画像から適切に認識することができる。
【0117】
以上、本開示の実施形態について説明したが、本開示は上述した実施形態に限定されるものではない。本開示は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
【0118】
本開示に係る対象車両認識装置は、必ずしも操舵制御装置と一体である必要はない。対象車両認識装置は、操舵制御装置と別体であってもよく、その機能の一部は自車両と通信可能なサーバにて実行されてもよい。この場合の自車両は、対象車両認識装置の全ての構成が搭載された車両である必要はなく、操舵制御を実行する車両を意味する。
【0119】
境界線逸脱状態判定部位13は、必ずしも撮像画像の各画素座標を用いて境界線逸脱状態の判定を行う必要はない。境界線逸脱状態判定部位13は、周知の様々な手法を用いて境界線逸脱状態の判定を行うことができる。境界線逸脱状態判定部位13は、前方レーダセンサ2の検出結果を利用して判定を行ってもよい。この場合、境界線逸脱状態判定部位13は、前方レーダセンサ2の検出結果から他車両だけではなく境界線認識(白線認識)を行ってもよい。
【0120】
第二実施形態における対象車両認識部21は、第一実施形態における対象車両認識部14と同様に、第一距離DA及び第二距離DBを考慮して対象車両の認識を行ってもよい。
【符号の説明】
【0121】
1…前方カメラ、2…前方レーダセンサ、10,20…ECU、11…停止車両検出部、12…向き判定部、13…境界線逸脱状態判定部、14,21…対象車両認識部、100,200…操舵制御装置(対象車両認識装置)、BL,BR…境界線、G…撮像画像、M…自車両、N1,N2…停止車両。