(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】逆走判定装置、逆走判定方法、および逆走判定プログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20241126BHJP
G08G 1/09 20060101ALI20241126BHJP
G06T 7/00 20170101ALI20241126BHJP
【FI】
G08G1/16 C
G08G1/09 D
G06T7/00 650B
(21)【出願番号】P 2023559614
(86)(22)【出願日】2022-11-07
(86)【国際出願番号】 JP2022041348
(87)【国際公開番号】W WO2023085226
(87)【国際公開日】2023-05-19
【審査請求日】2024-04-17
(31)【優先権主張番号】P 2021184762
(32)【優先日】2021-11-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】519373914
【氏名又は名称】株式会社J-QuAD DYNAMICS
(74)【代理人】
【識別番号】100105957
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】山本 勇気
(72)【発明者】
【氏名】サトル 佑香
【審査官】吉村 俊厚
(56)【参考文献】
【文献】特開2018-084873(JP,A)
【文献】特開2017-073073(JP,A)
【文献】特開2015-121952(JP,A)
【文献】特開2018-195117(JP,A)
【文献】特開2017-134441(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
G08G 1/09
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
車両の前方に向けられたカメラ(10)の出力に応じた画像データが示す所定のオブジェクト(52)に基づき、前記車両が逆走するか否かを判定する逆走判定処理(S20,S22)を実行するように構成され、
前記所定のオブジェクトは、前記車両が走行している道路と合流する合流路に沿って周期的に配置されている物体であり、
前記逆走判定処理は、
前記画像データが示す水平方向における左側の領域および右側の領域の2つの領域のそれぞれに前記所定のオブジェクトが撮像されて
且つ、前記所定のオブジェクトが前記画像データが示す領域を上下方向に分割する上下判定ライン(56)よりも下側に位置する場合に前記車両が逆走すると判定する処理と、
前記画像データが示す水平方向における左側の領域および右側の領域の2つの領域のそれぞれに前記所定のオブジェクトが撮像されて
且つ、撮像された前記所定のオブジェクト同士の大きさの相違が所定値以下である場合に前記車両が逆走すると判定する処理と、
前記画像データが示す領域の左右両端部のうちの所定の一方から他方へと前記所定のオブジェクトが変位する場合に前記車両が逆走すると判定する処理と、の
3つの処理のうちの少なくとも1つの処理を含む逆走判定装置。
【請求項2】
前記合流路に合流するか否かを判定する合流判定処理(S14)を実行するように構成され、
前記逆走判定処理による逆走する旨の判定は、前記合流判定処理によって合流すると判定されていることを条件になされる請求項1記載の逆走判定装置。
【請求項3】
前記逆走判定処理(S20,S22)は、前記2つの領域のそれぞれに前記所定のオブジェクトが撮像されて且つ、前記所定の一方から他方へと前記所定のオブジェクトが変位する場合に、前記車両が逆走すると判定する処理を含む請求項
1記載の逆走判定装置。
【請求項4】
前記逆走判定処理によって逆走すると判定される場合、前記車両の走行を停止させる停止処理(S24)を実行するように構成されている請求項1記載の逆走判定装置。
【請求項5】
請求項
1記載の逆走判定装置(30)における各処理を実行するステップを有する逆走判定方法。
【請求項6】
請求項
1記載の逆走判定装置における各処理をコンピュータによって実行させる逆走判定プログラム。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、2021年11月12日に出願された日本出願番号2021-184762号に基づくもので、ここにその記載内容を援用する。
【技術分野】
【0002】
本開示は、逆走判定装置、逆走判定方法、および逆走判定プログラムに関する。
【背景技術】
【0003】
たとえば、下記特許文献1には、カメラの撮像画像に基づいて道路上のマークを認識し、自車両が逆走しているか否かを判定する装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【0005】
上記装置は、自車両が実際に逆走しているときに逆走を判定するものである。そのため、逆走となりそうな段階でいち早くこれを検知することができない。
以下、本開示の一態様にかかる手段およびその作用効果について記載する。
【0006】
逆走判定装置は、車両の前方に向けられたカメラの出力に応じた画像データが示す所定のオブジェクトに基づき、前記車両が逆走するか否かを判定する逆走判定処理を実行するように構成され、前記所定のオブジェクトは、前記車両が走行している道路と合流する合流路に沿って周期的に配置されている物体であり、前記逆走判定処理は、前記画像データが示す水平方向における左側の領域および右側の領域の2つの領域のそれぞれに前記所定のオブジェクトが撮像されている場合に前記車両が逆走すると判定する処理と、前記画像データが示す領域の左右両端部のうちの所定の一方から他方へと前記所定のオブジェクトが変位する場合に前記車両が逆走すると判定する処理と、の2つの処理のうちの少なくとも1つの処理を含む。
【0007】
車両が正常に合流路へ入ろうとする場合には、画像データが示す水平方向における左側の領域および右側の領域の2つの領域のいずれか1つの領域のみに所定のオブジェクトが入る傾向がある。一方、車両が逆走しようとする場合、画像データが示す水平方向における左側の領域および右側の領域の2つの領域のそれぞれに所定のオブジェクトが入る傾向がある。そのため、2つの領域のそれぞれに前記所定のオブジェクトが撮像されている場合に車両が逆走すると判定する処理によれば、車両が実際に逆走を開始する前に、逆走しようとしていることを判定できる。
【0008】
また、車両が正常に合流路へ入ろうとする場合と車両が逆走しようとする場合とでは、画像データが示す領域において所定のオブジェクトが変位する方向が逆となる傾向がある。そのため、上記所定の一方から他方へと所定のオブジェクトが変位する場合に車両が逆走すると判定する処理によれば、車両が実際に逆走を開始する前に、逆走しようとしていることを判定できる。
【0009】
したがって、上記構成によれば、車両が逆走しようとしていることを迅速に判定できる。
本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参酌しながら下記の詳細な記述により、より明確になる。その図面は、
【図面の簡単な説明】
【0010】
【
図1】
図1は、第1の実施形態にかかる車両の一部構成を示すブロック図であり、
【
図2】
図2は、同実施形態にかかるカメラの視野を例示する図であり、
【
図3】
図3は、同実施形態にかかる制御装置が実行する処理の手順を示す流れ図であり、
【
図4】
図4は、同実施形態にかかる逆走リスクシーン判定に利用する看板を例示する図であり、
【
図5】
図5は、同実施形態にかかる逆走時の画像を例示する図であり、
【
図6】
図6(a)および
図6(b)は、同実施形態にかかる合流時の画像の変位を例示する図であり、
【
図7】
図7は、同実施形態の効果を説明するための画像を例示する図である。
【
図8】
図8は、第2の実施形態にかかる制御装置が実行する処理の手順を示す流れ図である。
【
図9】
図9は、第3の実施形態にかかる逆走判定の手法を例示する図である。
【発明を実施するための形態】
【0011】
<第1の実施形態>
以下、第1の実施形態について図面を参照しつつ説明する。
図1に示すカメラ10は、車両VCの外部を撮像したデータである画像データDpを出力する。
【0012】
図2に示すように、カメラ10の視野FVは、車両VCの前方領域となっている。本実施形態において、視野FVは、車両の前後方向を中心に左右対称な領域となっている。ここで、視野FVの水平方向の角度は、180°以下となっている。
【0013】
図1に戻り、画像ECU20は、画像データDpに基づき、車両の周囲の物体の認識処理を実行する。詳しくは、画像ECU20は、PU22および記憶装置24を備えている。PU22は、CPU,GPU,およびTPUの少なくとも1つからなるソフトウェア処理装置である。記憶装置24には、物体認識プログラム24aと、物体認識写像データ24bとが記憶されている。物体認識写像データ24bは、画像データDpを入力として物体の認識結果に関する変数の値を出力する物体認識写像を規定する。物体認識写像は、識別モデル、および回帰モデルの双方を含む。識別モデルは、予め定められた物体であるか否かを示す変数を出力変数とする。回帰モデルは、予め定められた物体の輪郭の所定の位置にかかる座標の値を出力変数とする。PU22が物体認識プログラム24aを実行すると、物体認識写像に画像データDpが入力されることによって、物体の認識処理が実行される。
【0014】
ADASECU30は、車両VCの走行を制御する処理を実行する。ADASECU30は、走行を制御する処理を実行する際、ローカルネットワーク28を介して、画像ECU20による認識結果を受信する。また、ADASECU30は、駆動系40、および制動系42を操作する。
【0015】
駆動系40は、車両の推力生成装置としての、内燃機関および回転電機の2つのうちの少なくとも1つを含む。なお、駆動系40に、内燃機関および回転電機を制御対象とする駆動制御装置を含めてもよい。その場合、「ADASECU30が駆動系40を操作する」とは、ADASECU30が駆動制御装置に指令信号を出力することを意味する。
【0016】
制動系42は、摩擦力によって車輪の回転を減速させる装置と、車輪の動力を電気エネルギに変換することによって車輪の回転を減速させる装置との2つのうちの少なくとも1つを含む。なお、電気エネルギに変換することによって車輪の回転を減速させる装置は、駆動系の回転電機と共有されていてもよい。なお、制動系に、車輪の回転を減速させる装置を制御対象とする制動制御装置を含めてもよい。その場合、「ADASECU30が制動系42を操作する」とは、ADASECU30が制動制御装置に指令信号を出力することを意味する。
【0017】
ADASECU30は、PU32および記憶装置34を備えている。PU32は、CPU,GPU,およびTPUの少なくとも1つからなるソフトウェア処理装置である。記憶装置34には、走行支援プログラム34aが記憶されている。走行支援プログラム34aには、特に、車両VCの逆走を抑制するための支援処理をPU32に実行させるための指令データが含まれている。
【0018】
図3に、車両VCの逆走を抑制するための支援処理の手順を示す。
図3に示す処理は、記憶装置34に記憶された走行支援プログラム34aをPU32がたとえば所定周期でくり返し実行することにより実現される。なお、以下では、先頭に「S」が付与された数字によって各処理のステップ番号を表現する。
【0019】
図3に示す一連の処理において、PU32は、まず、画像ECU20による物体の認識結果を取得する(S10)。次に、PU32は、フラグFが「1」であるか否かを判定する(S12)。フラグFは、逆走リスクシーンである場合に「1」となる一方、そうではない場合に「0」となる。逆走リスクシーンは、逆走リスクが生じる走行シーンである。PU32は、フラグFが「0」であると判定する場合(S12:NO)、S10の処理によって取得した認識結果に基づき、合流地点であることを示すオブジェクトが検出されたか否かを判定する(S14)。
【0020】
合流地点であることを示すオブジェクトは、たとえば
図4に示す看板等である。
図4には、本線に合流する旨を示す看板を例示した。本実施形態では、車両VCが走行している車線が他の車線に合流する場合に、逆走リスクシーンであると判定する。ここで、車両VCが走行している車線の進行方向と、他の車線の進行方向とは鋭角をなす。
【0021】
上記認識結果は、物体認識写像のうちの識別モデルを用いて取得することができる。すなわち、識別モデルの出力変数に、上記看板であるか否かを示す変数を含めることにより取得できる。なお、識別モデルは、上記看板が撮像された画像データDpと看板が含まれない画像データDpとのそれぞれを訓練データとして学習された学習済みモデルである。
【0022】
図3に戻り、PU32は、合流地点のオブジェクトが検出されたと判定する場合(S14:YES)、フラグFに「1」を代入する(S16)。
一方、PU32は、フラグFが「1」であると判定する場合(S12:YES)、S10の処理によって取得した認識結果に基づき、矢印看板が検出されたか否かを判定する(S18)。
【0023】
図5に、矢印看板52を例示する。矢印看板52は、車両VCが走行している車線が合流した先の車線に関する進行方向を示す。矢印看板52は、合流先の車線に沿って所定間隔で複数個が配置されている。「合流先の車線に沿って所定間隔で複数個が」配置されるとは、次のことを意味する。すなわち、合流先の車線に隣接する車線に走行方向が逆となる車線が存在しない場合には、合流先の車線に隣接する領域において、走行方向に沿って配置されることを意味する。また、合流先の車線に隣接する車線に走行方向が逆となる車線が存在する場合には、逆となる車線に隣接する領域において、走行方向に沿って配置されることを意味する。
【0024】
S18の処理において用いる認識結果は、物体認識写像のうちの識別モデルを用いて取得することができる。すなわち、識別モデルの出力変数に、矢印看板52であるか否かを示す変数を含めることにより取得できる。なお、識別モデルは、矢印看板52が撮像された画像データDpと矢印看板52が含まれない画像データDpとのそれぞれを訓練データとして学習された学習済みモデルである。
【0025】
図3に戻り、PU32は、矢印看板52が検出されたと判定する場合(S18:YES)、下記条件(i)および条件(ii)の論理積が真であるか否かを判定する(S20)。
【0026】
条件(i):矢印看板52が画像データDpが示す画像における車両VCの前方の左右両側且つ下方に存在する旨の条件である。
図5に、条件(i)を満たす場合を例示する。
図5には、左右判定ライン54の両側に矢印看板52が存在する例が示されている。
図5には、左右判定ライン54を、画像データDpが示す画像50の水平方向の中央において、領域を左右に2分する線とする例を示した。また、
図5には、上下判定ライン56の下側に矢印看板52が存在する例が示されている。
図5には、上下判定ライン56を、画像データDpが示す画像50の上下方向の中央において、領域を2分する線とする例を示した。
【0027】
条件(ii):矢印看板52の変位方向が左側である旨の条件である。換言すれば、矢印看板52の変位方向が、運転席から助手席へと進む方向である旨の条件である。
図6に、逆走する場合における画像50内の矢印看板52の変位を例示する。
図6(a)には、車両VCが走行している車線60が合流先の車線62と合流する地点に到達した時点を示す。その場合、矢印看板52は、画像50のうちの右側に位置する。換言すれば、矢印看板52は、運転席側に位置する。
図6(b)には、車両VCが車線62を逆走しようとする時点を示す。その場合、矢印看板52は、画像50のうちの左側に位置する。換言すれば、矢印看板52は、助手席側に位置する。
【0028】
このように、車両VCが逆走しようとする場合には、矢印看板52が画像50内を運転席から助手席へと進む方向に変位する。
S10の処理によって取得した認識結果のうち条件(i)および条件(ii)を満たすか否かを判定するうえでPU32が利用する認識結果は、物体認識写像のうちの回帰モデルを用いて取得することができる。すなわち、物体認識写像の出力変数に、たとえば矢印看板52の4つの頂点の座標を含めるなどして実現できる。なお、回帰モデルは、矢印看板52が撮像された画像データDpおよび画像データDpにおける矢印看板52の頂点座標を訓練データとして学習された学習済みモデルである。
【0029】
図3に戻り、PU32は、論理積が真であると判定する場合(S20:YES)、逆走判定をする(S22)。そして、駆動系40および制動系42を強制的に操作することによって、車両VCを強制的に停止させる(S24)。ここで、強制的な停止とは、ユーザによるアクセル操作等にかかわらず、車両VCを停止させる制御を実行することを意味する。
【0030】
PU32は、S24の処理を完了する場合と、S20の処理において否定判定する場合と、には、フラグFに「0」を代入する(S26)。
なお、PU32は、S16,S26の処理を完了する場合と、S14,S18の処理において否定判定する場合と、には、
図2に示す一連の処理を一旦終了する。
【0031】
ここで、本実施形態の作用および効果について説明する。
PU32は、車両VCが走行する車線が他の車線に合流する場合、合流先の進行方向を示す矢印看板52の配置および変位方向に基づき、逆走判定をした。これにより、実際に合流先の車線を逆走している段階となる前に逆走を判定することができる。
【0032】
以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
(1)PU32は、条件(i)および条件(ii)の論理積が真である場合に、逆走していると判定した。そのため、条件(i)のみから逆走判定をする場合と比較して、逆走しているとの誤判定を抑制できる。
【0033】
図7に、合流先の車線がカーブしている場合を示す。その場合、車両VCが合流先の車線を走行し始めた段階で、左右判定ライン54の左右両側に矢印看板52が検出されうる。したがって、カーブの曲率半径等によっては、上下判定ライン56の下側且つ、左右判定ライン54の左右両側に矢印看板52が検出されうる。しかし、その場合、矢印看板52の変位方向は、条件(ii)を満たさない。
【0034】
(2)条件(i)を、矢印看板52が左右判定ライン54の左右両側に位置する旨の条件と、上下判定ライン56の下方に位置する旨の条件との論理積が真である旨の条件とした。これにより、矢印看板52が左右判定ライン54の左右両側に位置する旨の条件を条件(i)とする場合と比較して、
図7に例示するような状況において、条件(i)が満たされる事態が生じることを抑制できる。
【0035】
(3)PU32は、逆走リスクシーン判定がなされていることを条件に、S20の処理を実行した。これにより、たとえば前方を走行する車両の後部に、矢印看板52と誤認識するようなオブジェクトが存在する場合などに、S20の処理において肯定判定することを抑制できる。
【0036】
(4)PU32は、逆走判定をする場合、車両VCを強制的に停止させた。これにより、合流先の車線に位置する車両の走行に干渉する事態が生じることを抑制できる。
<第2の実施形態>
以下、第2の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
【0037】
図8に、本実施形態にかかる車両VCの逆走を抑制するための支援処理の手順を示す。
図8に示す処理は、記憶装置34に記憶された走行支援プログラム34aをPU32がたとえば所定周期でくり返し実行することにより実現される。なお、
図8において、
図3に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
【0038】
図8に示す一連の処理において、PU32は、S18の処理において肯定判定する場合、条件(i)および以下の条件(iii)の論理積が真であるか否かを判定する(S20a)。
【0039】
条件(iii):矢印看板52同士の大きさの相違が所定値以下である旨の条件である。これは、
図7に例示した状況において条件(i)を満たす場合に逆走判定をしないための条件である。
【0040】
なお、大きさの相違が所定値以下であるか否かは、たとえば、矢印看板52の4つの頂点の座標から画像50における矢印看板52の面積を算出することによって実現できる。
PU32は、論理積が真であると判定する場合(S20a:YES)、S22の処理に移行する一方、論理積が偽であると判定する場合(S20a:NO)、S26の処理に移行する。
【0041】
<第3の実施形態>
以下、第3の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
【0042】
本実施形態では、条件(i)を
図9に例示する条件に変更する。
図9に示すように、本実施形態では、一対の左右判定ライン54l,54rを設ける。左右判定ライン54l,54rは、
図5に例示した左右判定ライン54に対して対称に配置されるものである。これにより、左右判定ライン54lは、画像50において、水平方向中央よりも左側に位置する。左右判定ライン54rは、画像50において、水平方向中央よりも右側に位置する。
【0043】
本実施形態では、条件(i)に代えて、画像50における上下判定ライン56よりも下側において、左右判定ライン54lの左側および左右判定ライン54rの右側に矢印看板52が存在する旨の条件を採用する。
【0044】
<その他の実施形態>
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
【0045】
「合流判定処理について」
・S12,S14,S16,S26の処理を設けることは必須ではない。これを設けなくても、たとえば上記条件(ii)または条件(iii)を逆走判定の条件に加えることにより、条件(i)のみを用いる場合に生じうる誤判定のリスクを軽減できる。
【0046】
「逆走判定処理について」
・逆走判定するための条件としては、上記条件(i)および条件(ii)の論理積が真である旨の条件と、上記条件(i)および条件(iii)の論理積が真である旨の条件とのいずれかに限らない。たとえば、上記条件(i)、条件(ii)、および条件(iii)の論理積が真である旨の条件であってもよい。またたとえば、上記条件(i)および条件(ii)の論理積が真である旨の条件と、上記条件(i)および条件(iii)の論理積が真である旨の条件との論理和が真である旨の条件であってもよい。またたとえば、上記条件(i)および条件(ii)の論理和が真である旨の条件であってもよい。
【0047】
・上記実施形態およびそれらの変更例において、条件(i)に代えて、上記条件(i)から矢印看板52が上下判定ライン56の下方に位置する旨の条件を削除した条件を用いてもよい。
【0048】
「所定のオブジェクトについて」
・上記実施形態では、逆走判定に利用する所定のオブジェクトとして、矢印が描かれた看板を例示したがこれに限らない。たとえば、所定間隔に配置されたラバーポールであってもよい。
【0049】
「逆走への対処処理について」
・上記実施形態では、逆走への対処処理として、車両VCを停止させる処理を例示したが、これに限らない。たとえば、ユーザに逆走しようとしている旨を警告する処理であってもよい。これは、たとえば所定の警報音の発生によって実現できる。ただし、その際、視覚情報を加えてもよい。
【0050】
「走行制御装置について」
・上記実施形態では、走行制御装置としてのADASECU30が、画像ECU20によって画像データDpに画像認識処理等が施された物体の認識結果を受信することとしたが、これに限らない。たとえば、ADASECU30が、上記実施形態において画像ECU20が実行した処理を実行することとしてもよい。
【0051】
・走行制御装置としては、PU32と記憶装置34とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばASIC等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の(a)~(c)のいずれかの構成であればよい。(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するプログラム格納装置とを備える。(b)上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。(c)上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
【0052】
「コンピュータについて」
・コンピュータとしては、
図1に例示したように、単一のPU32に限らない。また、
図1に例示したように、車両に備え付けられたコンピュータに限らない。たとえば、
図3の処理のうちS24の処理以外の処理については、ドライバの携帯端末に搭載されたPUが実行することとしてもよい。その場合、車両に備え付けられたコンピュータと備え付けられていないコンピュータとが通信をしつつ協働で走行支援プログラム34aが実行されることとなる。
【0053】
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
【0054】
本明細書における記述「A及びBの少なくとも1つ」は、「Aのみ、または、Bのみ、または、AとBの両方」を意味するものとして理解されたい。