IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通テン株式会社の特許一覧

特開2023-180309車載装置、制御方法、およびプログラム
<>
  • 特開-車載装置、制御方法、およびプログラム 図1
  • 特開-車載装置、制御方法、およびプログラム 図2
  • 特開-車載装置、制御方法、およびプログラム 図3
  • 特開-車載装置、制御方法、およびプログラム 図4
  • 特開-車載装置、制御方法、およびプログラム 図5
  • 特開-車載装置、制御方法、およびプログラム 図6
  • 特開-車載装置、制御方法、およびプログラム 図7
  • 特開-車載装置、制御方法、およびプログラム 図8
  • 特開-車載装置、制御方法、およびプログラム 図9
  • 特開-車載装置、制御方法、およびプログラム 図10
  • 特開-車載装置、制御方法、およびプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180309
(43)【公開日】2023-12-21
(54)【発明の名称】車載装置、制御方法、およびプログラム
(51)【国際特許分類】
   G08G 1/00 20060101AFI20231214BHJP
   G08G 1/16 20060101ALI20231214BHJP
【FI】
G08G1/00 D
G08G1/16 D
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022093486
(22)【出願日】2022-06-09
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】洲脇 凌
(72)【発明者】
【氏名】伏見 文孝
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181BB20
5H181CC04
5H181CC30
5H181DD07
5H181FF10
5H181FF13
5H181FF25
5H181FF27
5H181FF33
5H181FF35
5H181LL07
5H181LL08
5H181LL15
5H181MC19
(57)【要約】
【課題】予告信号機の通過を信号無視として誤検出することを抑制すること。
【解決手段】実施形態に係る車載装置は、制御装置を備える。制御装置は、カメラによって撮影される画像から赤信号の信号機を検出し、車両の信号無視を判定する。制御装置は、画像から赤信号の信号機を検出しなくなり、かつ、車両が停止線、または、横断歩道を超えていない場合、赤信号の信号機を信号無視の判定対象から除外する。
【選択図】図8
【特許請求の範囲】
【請求項1】
カメラによって撮影される画像から赤信号の信号機を検出し、車両の信号無視を判定する制御装置を備え、
前記制御装置は、前記画像から赤信号の信号機を検出しなくなり、かつ、前記車両が停止線、または、横断歩道を超えていない場合、前記赤信号の信号機を信号無視の判定対象から除外する、車載装置。
【請求項2】
カメラによって撮影される画像から赤信号の信号機を検出し、車両の信号無視を判定する制御装置を備え、
前記制御装置は、前記画像から赤信号の信号機を検出しなくなり、かつ、前記車両が交差点を通過していない場合、前記赤信号の信号機を信号無視の判定対象から除外する、車載装置。
【請求項3】
カメラによって撮影される画像から赤信号の信号機を検出し、車両の信号無視を判定する制御装置を備え、
前記制御装置は、前記画像から第1の赤信号の信号機を検出してから予め設定された時間内に、前記画像から第2の信号機が検出された場合、前記第1の赤信号の信号機を信号無視の判定対象から除外する、車載装置。
【請求項4】
前記制御装置は、前記第2の信号機が赤信号であり、かつ、前記車両が進行方向に対して前記第2の信号機の手前で停止した場合、前記第1の赤信号の信号機を信号無視の判定対象から除外する、請求項3に記載の車載装置。
【請求項5】
前記制御装置は、前記赤信号の信号機を、信号無視の対象とする車両用道路交通信号機ではないとみなして信号無視の判定対象から除外する、請求項1~4のいずれか一つに記載の車載装置。
【請求項6】
前記制御装置は、前記画像における信号機の検出サイズに基づいて、前記画像における信号機の検出対象領域を設定し、前記画像における信号機の検出位置が前記検出対象領域外である場合、前記検出対象領域外の信号機を信号無視の検出対象から除外する、請求項1~4のいずれか1つに記載の車載装置。
【請求項7】
前記制御装置は、前記画像における信号機の検出サイズ、および、予告信号機とは異なる本信号機の高さに基づいて、前記画像における信号機の検出対象領域を設定する、請求項6に記載の車載装置。
【請求項8】
車両の信号無視を判定する制御方法であって、
カメラによって撮影された画像を取得する工程と、
前記画像から赤信号の信号機を検出する工程と、
前記画像から赤信号の信号機を検出しなくなり、かつ、前記車両が停止線、または、横断歩道を超えていない場合、前記赤信号の信号機を信号無視の判定対象から除外する工程と
を有する制御方法。
【請求項9】
車両の信号無視を判定する制御方法であって、
カメラによって撮影された画像を取得する工程と、
前記画像から赤信号の信号機を検出する工程と、
前記画像から赤信号の信号機を検出しなくなり、かつ、前記車両が交差点を通過していない場合、前記赤信号の信号機を信号無視の判定対象から除外する工程と
を有する制御方法。
【請求項10】
車両の信号無視を判定する制御方法であって、
カメラによって撮影された画像を取得する工程と、
前記画像から赤信号の信号機を検出する工程と、
前記画像から第1の赤信号の信号機を検出してから予め設定された時間内に、前記画像から第2の信号機が検出された場合、前記第1の赤信号の信号機を信号無視の判定対象から除外する工程と
を有する制御方法。
【請求項11】
車両の信号無視を判定するプログラムであって、
カメラによって撮影された画像を取得する手順と、
前記画像から赤信号の信号機を検出する手順と、
前記画像から赤信号の信号機を検出しなくなり、かつ、前記車両が停止線、または、横断歩道を超えていない場合、前記赤信号の信号機を信号無視の判定対象から除外する手順と
をコンピュータに実行させるプログラム。
【請求項12】
車両の信号無視を判定するプログラムであって、
カメラによって撮影された画像を取得する手順と、
前記画像から赤信号の信号機を検出する手順と、
前記画像から赤信号の信号機を検出しなくなり、かつ、前記車両が交差点を通過していない場合、前記赤信号の信号機を信号無視の判定対象から除外する手順と
をコンピュータに実行させるプログラム。
【請求項13】
車両の信号無視を判定するプログラムであって、
カメラによって撮影された画像を取得する手順と、
前記画像から赤信号の信号機を検出する手順と、
前記画像から第1の赤信号の信号機を検出してから予め設定された時間内に、前記画像から第2の信号機が検出された場合、前記第1の赤信号の信号機を信号無視の判定対象から除外する手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、信号無視の検出技術に関する。
【背景技術】
【0002】
従来、予告信号機と、予告信号機に対応する信号機(以下、「本信号機」と称する場合がある。)とを同じ停止線に対応づける技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-125388号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来の技術は、信号無視を検出する場合に、予告信号機の取り扱いについて考慮されていない。
【0005】
本発明は、上記に鑑みてなされたものであって、予告信号機の通過を信号無視として誤検出することを抑制する車載装置、制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態の一態様に係る車載装置は、制御装置を備える。制御装置は、カメラによって撮影される画像から赤信号の信号機を検出し、車両の信号無視を判定する。制御装置は、画像から赤信号の信号機を検出しなくなり、かつ、車両が停止線、または、横断歩道を超えていない場合、赤信号の信号機を信号無視の判定対象から除外する。
【発明の効果】
【0007】
実施形態の一態様によれば、予告信号機の通過を信号無視として誤検出することを抑制することができる。
【図面の簡単な説明】
【0008】
図1図1は、実施形態に係るドライブレコーダが設けられる車室内を示す図である。
図2図2は、実施形態に係るドライブレコーダの構成例を示すブロック図である。
図3図3は、車両と信号機との距離が長く、信号機のサイズが小さい画像の一例を示す図である。
図4図4は、車両と信号機との距離が短く、信号機のサイズが大きい画像の一例を示す図である。
図5図5は、カメラによって撮影された画像の一例を示す図である。
図6図6は、図5に示す画像の撮影後に撮影された画像の一例を示す図である。
図7図7は、図4に示す画像の撮影後に撮影され画像の一例を示す図である。
図8図8は、実施形態に係る信号無視の検出の概略を説明する図である。
図9図9は、実施形態に係る信号無視の仮判定処理を説明するフローチャートである。
図10図10は、実施形態に係る信号無視の検出処理を説明するフローチャートである。
図11図11は、実施形態に係る信号無視の検出処理を説明するフローチャートである。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、実施形態に係る車載装置、制御方法、およびプログラムについて詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。
【0010】
車載装置は、図1に示すように、ドライブレコーダ1である。図1は、実施形態に係るドライブレコーダ1が設けられる車室内を示す図である。ドライブレコーダ1は、車両Cの車室内に設けられる。ドライブレコーダ1は、カメラ2(図2参照)によって撮影された画像などのデータを記憶する。
【0011】
ドライブレコーダ1は、車両Cの信号無視を検出する。ドライブレコーダ1は、カメラによって撮影した画像から車両Cの信号無視を検出する。ドライブレコーダ1は、所定の画像処理を実行することで、車両Cの信号無視を検出する。なお、カメラによって撮影された画像から車両Cの信号無視を検出する車載装置は、ドライブレコーダ1に限られるものではない。カメラによって撮影された画像から車両Cの信号無視を検出する車載装置は、ドライブレコーダ1とは別の装置であってもよい。
【0012】
信号機は、車両用道路交通信号機である本信号機と、予告信号機とが含まれる。予告信号機は、本信号機をドライバが認識しづらい場合に、車両Cの進行方向において、本信号機よりも手前側に設けられる。
【0013】
たとえば、予告信号機は、図1に示すように、道路Rがアンダーパスとなっており、アンダーパスを通過後に本信号機があり、ドライバが本信号機を認識しづらい場合に設けられる。予告信号機は、たとえば、本信号機よりも低い位置に設けられることがある。また、予告信号機は、たとえば、本信号機よりも道路から逸れた位置に設けられることがある。
【0014】
予告信号機が赤信号である場合、予告信号機を車両Cが通過した場合であっても、信号無視とはならない。
【0015】
しかしながら、信号機が予告信号機であるか否かを判定できない場合、信号無視が誤検出されるおそれがある。
【0016】
そこで、ドライブレコーダ1は、予告信号機を信号無視の検出対象から除外する。ドライブレコーダ1は、撮影された画像から信号機を検出する(S1)。ドライブレコーダ1は、画像における信号機の検出サイズ、および、画像における信号機の検出位置が所定の条件を満たさない信号機を、信号無視の検出対象から除外する。
【0017】
たとえば、ドライブレコーダ1は、画像における信号機の検出サイズに基づいて、画像における信号機の検出対象領域Aを設定する(S2-1)。ドライブレコーダ1は、画像における信号機の検出位置が検出対象領域A外である場合、検出対象領域A外の信号機を信号無視の検出対象から除外する(S2-2)。
【0018】
これにより、ドライブレコーダ1は、予告信号機を信号無視の対象となる信号機から除外することができ、信号無視の誤検出を抑制することができる。
【0019】
なお、ドライブレコーダ1は、画像における信号機の検出サイズが所定サイズよりも小さい信号機を信号無視の検出対象から除外してもよい。ドライブレコーダ1は、画像における信号機の検出サイズにかかわらず検出対象領域Aを設定してもよい。
【0020】
実施形態に係るドライブレコーダ1は、図2を参照し説明される。図2は、実施形態に係るドライブレコーダ1の構成例を示すブロック図である。
【0021】
ドライブレコーダ1は、カメラ2と、記憶部3と、制御装置4とを備える。
【0022】
カメラ2は、車両Cの周囲を撮影する。カメラ2は、車両Cの前方を撮影する。カメラ2は、主撮像素子と、魚眼レンズなどのレンズを含む。
【0023】
記憶部3は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子などの記憶媒体によって実現される。記憶部3は、制御装置4によって実行される各種のプログラムを記憶する。記憶部3は、カメラ2によって取得された画像のデータを記憶する。
【0024】
制御装置4は、取得部5と、検出部6と、設定部7と、判定部8とを備える。制御装置4は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM、入出力ポートなどを有するコンピュータや各種の回路を含む。
【0025】
コンピュータのCPUは、例えば、ROM等の記憶媒体に記憶されたプログラムを読み出して実行することによって、制御装置4の取得部5、検出部6、設定部7、および、判定部8として機能する。
【0026】
また、制御装置4の取得部5、検出部6、設定部7、および、判定部8の少なくともいずれか一部または全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。また、取得部5、検出部6、設定部7、および、判定部8は、統合されてもよく、さらに複数に分けられてもよい。
【0027】
取得部5は、カメラ2によって取得された画像のデータをカメラ2から取得する。
【0028】
検出部6は、取得された画像に対して、所定の画像処理を行うことで各種検出を行う。所定の画像処理は、複数の画像処理を含む。所定の画像処理は、たとえば、検出モデルを用いることで実行される。検出モデルは、例えば、ディープニューラルネットワーク(DNN:Deep Neural Network)等の機械学習のアルゴリズムにより学習を行うことで得られる。検出モデルは、例えば、教師あり学習により得られてよい。検出モデルは、HOG(Histogram Of Gradient)特徴量を利用したSVM(Support Vector Machine)等の機械学習のアルゴリズムを用いる構成であってもよい。また、検出部6は、機械学習を行った検出モデルを用いることなく、たとえば、テンプレートマッチング等を用いて各種検出を実行する構成であってもよい。
【0029】
検出部6は、取得された画像から信号機を検出する。検出部6は、画像における信号機の検出サイズを検出する。画像における信号機の検出サイズは、ドライブレコーダ1に対して信号機の距離が遠いほど、小さくなる。検出部6は、画像における信号機の検出位置を検出する。検出部6は、検出対象領域A内の信号機の色を検出する。
【0030】
検出部6は、取得された画像から停止線を検出する。検出部6は、取得された画像から横断歩道を検出する。検出部6は、道路に描かれたひし形のマークを検出することによって、横断歩道を検出してもよい。
【0031】
検出部6は、取得された画像から交差点を検出する。検出部6は、たとえば、車両Cの進行方向に対して交差する方向の信号機を検出することによって、交差点を検出する。検出部6は、たとえば、交差点の道路に描かれる十字のマーク、または、交差点の道路に描かれるT字のマークなどを検出することによって、交差点を検出してもよい。
【0032】
設定部7は、検出された信号機の検出サイズに基づいて、画像における信号機の検出対象領域Aを設定する。設定部7は、画像における上方側の領域に検出対象領域Aを設定する。設定部7は、信号機の検出サイズが大きくなるほど、検出対象領域Aを狭くする。設定部7は、図3に示すように、画像における信号機の検出サイズが小さい場合、検出対象領域Aを広く設定する。設定部7は、図4に示すように画像における信号機の検出サイズが大きい場合、検出対象領域Aを狭く設定する。図3は、車両Cと信号機との距離が長く、信号機のサイズが小さい画像の一例を示す図である。図4は、車両Cと信号機との距離が短く、信号機のサイズが大きい画像の一例を示す図である。
【0033】
なお、検出される信号機、および、設定される検出対象領域Aなどの情報は、画像に紐付けて、記憶部3に記憶される。
【0034】
判定部8は、取得された画像において検出された信号機の検出位置が、検出対象領域A内であるか否かを判定する。判定部8は、取得された画像における信号機の検出位置が検出対象領域A内である場合、信号機を信号無視の検出対象とする。
【0035】
判定部8は、画像における信号機の検出サイズ、および、画像における信号機の検出位置が所定の条件を満たさない信号機を信号無視の検出対象から除外する。判定部8は、取得された画像における信号機の検出位置が検出対象領域A外である場合、信号機を信号無視の検出対象から除外する。判定部8は、画像における信号機の一部が検出対象領域A外である場合、信号機を信号無視の検出対象から除外する。
【0036】
判定部8は、信号機が赤信号であるか否かを判定する。判定部8は、取得される画像から、対応する同一の信号機を検出する。
【0037】
判定部8は、車両Cの信号無視の有無を判定し、車両Cの信号無視を検出する。判定部8は、検出対象領域A内の信号機に対して、車両Cの信号無視を検出する。
【0038】
判定部8は、車両Cが赤信号の信号機を通過したか否かを判定する。判定部8は、取得された画像から赤信号の信号機が検出されなくなった場合、車両Cの信号無視を仮判定する。なお、赤信号の信号機が検出されないとは、赤信号の信号機が画像からフレームアウトすることを意味する。そのため、信号機が青信号、または、黄信号である場合、および、信号機が赤信号から青信号に変わった場合、判定部8は、車両Cの信号無視を仮判定しない。また、青信号の信号機、および、黄信号の信号機が画像からフレームアウトした場合、判定部8は、車両Cの信号無視を仮判定しない。
【0039】
判定部8は、車両Cの信号無視を仮判定した場合、第1条件、第2条件、および、第3条件を満たすか否か判定する。判定部8は、車両Cの信号無視を仮判定し、かつ、第1条件、第2条件、および、第3条件の少なくともいずれか1つを満たす場合、信号無視を検出する。
【0040】
判定部8は、第1条件として、車両Cが停止線、または、横断歩道を越えたか否か判定する。判定部8は、車両Cが停止線、または、横断歩道を越えた場合、第1条件を満たすと判定する。判定部8は、車両Cの信号無視が仮判定された時間の画像を含む第1所定時間内の画像を用いて、車両Cが停止線、または、横断歩道を越えたか否かを判定する。
【0041】
第1所定時間は、予め設定された時間であり、フレームアウトした信号機に対応して設置される停止線、および、横断歩道の少なくとも一方を車両Cが越えたと判定できる時間である。第1所定時間は、実験結果、または、シミュレーション結果などに基づいて設定される。たとえば、第1所定時間は、赤信号の信号機が検出されなくなった後にカメラ2によって数フレームが撮影される時間である。
【0042】
第1所定時間は、赤信号の信号機が検出されなくなる前の時間を含んでもよい。すなわち、判定部8は、赤信号の信号機が検出されなくなる前の画像を用いて、車両Cが停止線、または、横断歩道を越えたか否か判定してもよい。判定部8は、赤信号の信号機が検出されなくなる前後の画像を用いて、車両Cが停止線、または、横断歩道を越えたか否か判定してもよい。
【0043】
判定部8は、車両Cの信号無視を仮判定し、かつ、車両Cが停止線を越えた場合、車両Cの信号無視を確定させる。すなわち、判定部8は、赤信号の信号機が検出されなくなり、かつ、車両Cが停止線を越えた場合、車両Cの信号無視を検出する。
【0044】
判定部8は、車両Cの信号無視を仮判定し、かつ、車両が横断歩道を越えた場合、車両Cの信号無視を確定させる。すなわち、判定部8は、赤信号の信号機が検出されなくなり、かつ、横断歩道を越えた場合、車両Cの信号無視を検出する。
【0045】
判定部8は、車両Cの信号無視を仮判定し、かつ、車両Cが停止線、または、横断歩道を越えていない場合、第1条件における車両Cの信号無視を検出しない。すなわち、判定部8は、取得される画像から赤信号の信号機(本信号機、および、予告信号機を含む。)がフレームアウトし、かつ、車両Cが停止線、または、横断歩道を越えていない場合、第1条件における車両Cの信号無視を検出しない。
【0046】
たとえば、信号機が赤信号であり、信号機が画像からフレームアウトした場合であっても、車両Cが停止線、または、横断歩道を越えていない場合には、判定部8は、第1条件における車両Cの信号無視を検出しない。
【0047】
予告信号機に対しては、停止線、および、横断歩道は設置されない。そのため、予告信号機が赤信号であり、予告信号機がフレームアウトした場合であっても、車両Cは、停止線、または、横断歩道を越えない。従って、車両Cが停止線、または、横断歩道を越えない場合、判定部8は、赤信号の予告信号機に対する、車両Cの通過を信号無視として検出しない。
【0048】
判定部8は、第2条件として、車両Cが交差点を通過したか否かを判定する。判定部8は、車両Cが交差点を通過した場合、第2条件を満たすと判定する。判定部8は、車両Cが交差点を通過していない場合、第2条件を満たさないと判定する。判定部8は、車両Cの信号無視が仮判定された時間の画像を含む第2所定時間内の画像から、車両Cが交差点を通過したか否かを判定する。
【0049】
第2所定時間は、予め設定された時間であり、フレームアウトした信号機が設置される交差点を車両Cが通過したと判定できる時間である。第2所定時間は、実験結果、または、シミュレーション結果などに基づいて設定される。たとえば、第2所定時間は、赤信号の信号機が検出されなくなった後にカメラ2によって数フレームが撮影される時間である。
【0050】
第2所定時間は、赤信号の信号機が検出されなくなる前の時間を含んでもよい。すなわち、判定部8は、赤信号の信号機が検出されなくなる前の画像を用いて、車両Cが交差点を通過したか否か判定してもよい。判定部8は、赤信号の信号機が検出されなくなる前後の画像を用いて、車両Cが交差点を通過したか否か判定してもよい。
【0051】
判定部8は、車両Cの信号無視を仮判定し、かつ、車両Cが交差点を通過した場合、車両Cの信号無視を確定させる。すなわち、判定部8は、カメラ2によって撮影された画像から赤信号の信号機が検出されなくなり、かつ、車両Cが交差点を通過した場合、信号無視を検出する。
【0052】
判定部8は、車両Cの信号無視を仮判定し、かつ、車両Cが交差点を通過していない場合、第2条件における車両Cの信号無視を検出しない。すなわち、判定部8は、取得される画像から赤信号の信号機(本信号機、および、予告信号機を含む。)がフレームアウトし、かつ、車両Cが交差点を通過していない場合、第2条件における車両Cの信号無視を検出しない。
【0053】
たとえば、信号機が赤信号であり、信号機が画像からフレームアウトした場合であっても、車両Cが交差点を通過していない場合には、判定部8は、第2条件における車両Cの信号無視を検出しない。
【0054】
たとえば、本信号機が交差点に設置され、予告信号機が設けられる場合、予告信号機は、交差点よりも車両Cの進行方向に対して、交差点よりも手前側に設置される。そのため、予告信号機が赤信号であり、予告信号機がフレームアウトした場合、車両Cは、交差点を越えない。従って、車両Cが交差点を越えない場合、判定部8は、赤信号の予告信号機に対する、車両Cの通過を信号無視として検出しない。
【0055】
判定部8は、第3条件として、赤信号の信号機(第1の赤信号の信号機)を検出してから、第3所定時間内に、新たな信号機(第2の信号機)が検出されたか否かを判定する。判定部8は、赤信号の信号機を検出してから、第3所定時間内に、新たな信号機を検出しない場合、第3条件を満たすと判定する。判定部8は、赤信号の信号機を検出してから、第3所定時間内に、新たな信号機を検出した場合、第3条件を満たさないと判定する。
【0056】
第3所定時間は、予め設定された時間であり、第1所定時間、および、第2所定時間よりも長い。第3所定時間は、車両Cが予告信号機から本信号機まで移動する時間に基づいて設定される。第3所定時間は、実験結果、または、シミュレーション結果に基づいて設定される。
【0057】
判定部8は、車両Cの信号無視が仮判定されてから第3所定時間内の画像から、信号機が新たに検出されない場合に、第3条件を満たすと判定する。判定部8は、車両Cの信号無視が仮判定されてから第3所定時間が経過し、かつ、新たな信号機が検出された場合、第3条件を満たさないと判定する。
【0058】
判定部8は、判定部8は、車両Cの信号無視を仮判定し、かつ、赤信号の信号機がフレームアウトした後、第3所定時間経過したか否かを判定する。判定部8は、車両Cの信号無視を仮判定し、かつ、赤信号の信号機がフレームアウトした後、第3所定時間経過しても、新たな信号機が検出されない場合、フレームアウトし赤信号の信号機に対する車両Cの信号無視を確定させる。すなわち、判定部8は、車両Cの信号無視を仮判定し、かつ、赤信号の信号機がフレームアウトした後、第3所定時間経過しても、新たな信号機が検出されない場合、車両Cの信号無視を検出する。
【0059】
判定部8は、車両Cの信号無視を仮判定し、かつ、赤信号の信号機がフレームアウトした後、第3所定時間内に新たに信号機が検出された場合、第3条件における車両Cの信号無視を検出しない。
【0060】
判定部8は、車両Cの信号無視を仮判定し、かつ、赤信号の信号機がフレームアウトした後、第3所定時間経過しても、信号無視が確定しない場合、フレームアウトした赤信号の信号機に対する信号無視の仮判定を取り消す。判定部8は、車両Cの信号無視を仮判定し、かつ、赤信号の信号機がフレームアウトした後、第3所定時間経過しても、第1条件から第3条件の少なくともいずれか1つを満たさない場合、フレームアウトした赤信号の信号機に対する信号無視の仮判定を取り消す。判定部8は、赤信号の信号機を、信号無視の対象とする本信号機ではないとみなして、信号無視の対象から除外する。
【0061】
予告信号機は、本信号機よりも車両Cの進行方向に対して手前側に設置される。そのため、車両Cが予告信号機を通過した後に、第3所定時間内に、車両Cは本信号機を通過する。
【0062】
従って、判定部8は、赤信号の信号機がフレームアウトした後、第3所定時間内に第1条件から第3条件の少なくともいずれか1つの条件を満たさない場合、フレームアウトした信号機が予告信号機であると判定する。そして、判定部8は、赤信号の予告信号機に対する、車両Cの通過を信号無視として検出しない。
【0063】
たとえば、図5に示すように、検出対象領域A内で赤信号の予告信号機が検出された後に、図6に示すように赤信号の予告信号機が検出されなくなった場合、車両Cの信号無視が仮判定される。図5は、カメラ2によって撮影された画像の一例を示す図である。図6は、図5に示す画像の撮影後に撮影された画像の一例を示す図である。
【0064】
しかし、予告信号機を車両Cが通過した場合、車両Cは停止線を越えず、また、車両Cは横断歩道を越えない。そのため、第1条件における車両Cの信号無視は検出されない。さらに、車両Cは交差点を通過しない。そのため、第2条件における車両Cの信号無視は検出されない。さらに、赤信号の信号機がフレームアウトした後、第3所定時間内に新たな画像から信号機が検出されない。そのため、第3条件における車両Cの信号無視は検出されない。
【0065】
そのため、赤信号の予告信号機を車両Cが通過した場合、判定部8は、車両Cが信号無視をしていないと判定し、車両Cの信号無視を検出しない。判定部8は、車両Cの信号無視の仮判定を取り消し、車両Cの信号無視を検出しない。
【0066】
たとえば、図4に示すように、検出対象領域A内で赤信号の信号機が検出された後に、図7に示すように赤信号の信号機、および、停止線L(図4参照)が検出されない場合、判定部8は、信号無視を検出する。図7は、図4に示す画像の撮影後に撮影され画像の一例を示す図である。
【0067】
ドライブレコーダ1は、車両Cの信号無視を検出した場合、信号無視の検出をドライバに報知する。たとえば、ドライブレコーダ1は、信号無視の検出を音声によってドライバに報知する。また、ドライブレコーダ1は、信号無視の検出を画像と共に記憶部3に記憶してもよい。また、ドライブレコーダ1は、信号無視の検出、および、信号無視に関連する画像を、通信装置を介して管理装置(サーバ装置)に送信してもよい。
【0068】
実施形態に係る信号無視の検出の概略について、図8を参照し説明する。図8は、実施形態に係る信号無視の検出の概略を説明する図である。
【0069】
カメラ2によって撮影された画像における信号機の位置が検出され(S10)、画像における検出対象領域Aが設定される(S11)。画像における位置が、検出対象領域A外の信号機は、信号無視の対象から除外される(S12)。検出対象領域A内の信号機の色が判定され(S13)、赤信号の信号機を車両Cが通過すると車両Cの信号無視が仮判定される(S14)。
【0070】
信号無視が仮判定された場合、第1条件の判定(S15)、第2条件の判定(S16)、および、第3条件の判定(S17)が行われ、第1条件から第3条件のいずれかによって信号無視が判定されると、車両Cの信号無視が検出される(S18)。
【0071】
実施形態に係る信号無視の仮判定処理について、図9を参照し説明する。図9は、実施形態に係る信号無視の仮判定処理を説明するフローチャートである。
【0072】
制御装置4は、カメラ2によって撮影された画像を取得する(S100)。制御装置4は、取得された画像から各種検出を行う(S101)。制御装置4は、信号機、停止線、交差点、および、横断歩道を検出する。
【0073】
制御装置4は、検出対象領域Aを設定する(S102)。制御装置4は、画像における信号機の検出サイズに基づいて検出対象領域Aを設定する。
【0074】
制御装置4は、検出対象領域A外の信号機を、信号無視の対象とする信号機から除外する(S103)。
【0075】
制御装置4は、検出対象領域A内の信号機の色を検出する(S104)。制御装置4は、車両Cが赤信号の信号機を通過したか否かを判定する(S105)。具体的には、制御装置4は、赤信号の信号機がフレームアウトしたか否かを判定する。制御装置4は、車両Cが赤信号を通過していない場合(S105:No)、今回の処理を終了する。たとえば、信号機が青信号、または、黄信号である場合、制御装置4は、車両Cが赤信号の信号機を通過していないと判定する。また、赤信号の信号機が検出されている場合、制御装置4は、車両Cが赤信号の信号機を通過していないと判定する。
【0076】
制御装置4は、車両Cが赤信号の信号機を通過した場合(S105:Yes)、車両Cの信号無視を仮判定する(S106)。
【0077】
実施形態に係る信号無視の検出処理について図10、および、図11を参照し説明する。図10、および、図11は、実施形態に係る信号無視の検出処理を説明するフローチャートである。
【0078】
制御装置4は、信号無視の仮判定がされているか否かを判定する(S200)。制御装置4は、信号無視の仮判定がされていない場合(S200:No)、今回の処理を終了する。
【0079】
制御装置4は、信号無視の仮判定がされている場合(S200:Yes)、第1条件を満たすか否かを判定する(S201)。制御装置4は、車両Cが停止線、または、横断歩道を越えたか否かを判定する。制御装置4は、車両Cが停止線、または、横断歩道を越えた場合、第1条件を満たすと判定する。制御装置4は、車両Cが停止線、または、横断歩道を越えていない場合、第1条件を満たさないと判定する。
【0080】
制御装置4は、第1条件を満たす場合(S201:Yes)、車両Cの信号無視を検出する(S202)。すなわち、制御装置4は、第1条件を満たす場合、車両Cの信号無視の仮判定を確定させて、車両Cの信号無視を検出する。
【0081】
制御装置4は、第1条件を満たさない場合(S201:No)、第2条件を満たすか否かを判定する(S203)。制御装置4は、車両Cが交差点を通過したか否かを判定する。制御装置4は、車両Cが交差点を通過した場合、第2条件を満たすと判定する。制御装置4は、車両Cが交差点を通過していない場合、第2条件を満たさないと判定する。
【0082】
制御装置4は、第2条件を満たす場合(S203:Yes)、車両Cの信号無視を検出する(S202)。すなわち、制御装置4は、第2条件を満たす場合、車両Cの信号無視の仮判定を確定させて、車両Cの信号無視を検出する。
【0083】
制御装置4は、第2条件を満たさない場合(S203:No)、第3条件を満たすか否かを判定する(S204)。制御装置4は、赤信号の信号機がフレームアウトした後、第3所定時間内に、新たな信号機が検出されたか否かを判定する。制御装置4は、赤信号の信号機がフレームアウトした後、第3所定時間内に、新たな信号機が検出されない場合、第3条件を満たすと判定する。
【0084】
制御装置4は、第3条件を満たす場合(S204:Yes)、車両Cの信号無視の仮判定を確定させて、車両Cの信号無視を検出する(S202)。
【0085】
制御装置4は、第3条件を満たさない場合(S204:No)、赤信号の信号機がフレームアウトした後、第3所定時間が経過したか否かを判定する(S205)。制御装置4は、赤信号の信号機がフレームアウトした後、第3所定時間が経過した場合(S205:Yes)、車両Cの信号無視を検出しない。具体的には、制御装置4は、信号無視の仮判定を取り消す(S206)。
【0086】
制御装置4は、赤信号の信号機がフレームアウトした後、第3所定時間が経過していない場合(S205:No)、今回の処理を終了する。
【0087】
ドライブレコーダ1は、第1条件から第3条件の1つを用いて車両Cの信号無視を検出してもよい。
【0088】
たとえば、ドライブレコーダ1は、第1条件に基づいて、車両Cの信号無視を検出し、また、信号無視の仮判定を取り消す。ドライブレコーダ1は、赤信号の信号機(本信号機、および、予告信号機を含む。)がフレームアウトし、かつ、車両Cが停止線、または、横断歩道を越えていない場合、車両Cの信号無視を検出しない。すなわち、ドライブレコーダ1は、赤信号の信号機を検出しなくなり、かつ、車両Cが停止線、または、横断歩道を越えていない場合、赤信号の信号機を、信号無視の判定対象から除外する。たとえば、ドライブレコーダ1は、赤信号の信号機がフレームアウトし、かつ、第3所定時間が経過しても、車両Cが停止線、または、横断歩道を越えていない場合、赤信号の信号機を、信号無視の判定対象から除外する。
【0089】
また、たとえば、ドライブレコーダ1は、第2条件に基づいて、車両Cの信号無視を検出し、また、信号無視の仮判定を取り消す。ドライブレコーダ1は、赤信号の信号機(本信号機、および、予告信号機を含む。)がフレームアウトし、かつ、車両Cが交差点を通過していない場合、車両Cの信号無視を検出しない。すなわち、ドライブレコーダ1は、赤信号の信号機を検出しなくなり、かつ、車両Cが交差点を通過していない場合、赤信号の信号機を、信号無視の判定対象から除外する。たとえば、ドライブレコーダ1は、赤信号の信号機がフレームアウトし、かつ、第3所定時間が経過しても、車両Cが交差点を通過しない場合、赤信号の信号機を、信号無視の判定対象から除外する。
【0090】
また、たとえば、ドライブレコーダ1は、第3条件に基づいて、車両Cの信号無視を検出し、また、信号無視の仮判定を取り消す。ドライブレコーダ1は、赤信号の信号機(本信号機、および、予告信号機を含む。)がフレームアウトし、かつ、第3所定時間内に、新たな信号機を検出した場合、車両Cの信号無視を検出しない。すなわち、ドライブレコーダ1は、赤信号の信号機を検出してから第3所定時間内に、新たな信号機が検出された場合、赤信号の信号機を信号無視の判定対象から除外する。
【0091】
ドライブレコーダ1は、第1条件から第3条件の2つを用いて車両Cの信号無視を検出してもよい。たとえば、ドライブレコーダ1は、第1条件、および、第2条件を用いて車両Cの信号無視を検出してもよい。
【0092】
ドライブレコーダ1は、第3条件として、赤信号の信号機がフレームアウトした後、第3所定時間内に、新たな赤信号の信号機が検出され、かつ、車両Cが停止したか否かを判定してもよい。具体的には、ドライブレコーダ1は、赤信号の信号機がフレームアウトした後、第3所定時間内に、新たな赤信号の信号機が検出され、かつ、車両Cの進行方向において、新たな赤信号の信号機の手前で車両Cが停止したか否かを判定する。
【0093】
ドライブレコーダ1は、赤信号の信号機がフレームアウトした後、第3所定時間内に、新たな赤信号の信号機が検出されるか否か判定する。さらに、ドライブレコーダ1は、新たに検出される赤信号の信号機に対して、車両Cが停止したか否か判定する。たとえば、ドライブレコーダ1は、新たに検出される赤信号の信号機に対して車両Cが停止せず、さらに、新たに検出される赤信号の信号機がフレームアウトしたか否かを判定する。
【0094】
ドライブレコーダ1は、車両Cの信号無視が仮判定されてから第3所定時間内の画像から、赤信号の信号機が新たに検出され、さらに、車両Cが停止せずに新たに検出された赤信号の信号機がフレームアウトした場合に、第3条件を満たすと判定する。
【0095】
ドライブレコーダ1は、車両Cの信号無視が仮判定されてから第3所定時間内の画像から、赤信号の信号機が新たに検出され、かつ、車両Cが停止した場合、第3条件を満たさないと判定する。ドライブレコーダ1は、赤信号の信号機がフレームアウトした後、第3所定時間内に、新たな赤信号の信号機が検出され、かつ、車両Cが停止した場合、フレームアウトした信号機を予告信号機であると判定する。そして、ドライブレコーダ1は、赤信号の予告信号機に対する、車両Cの通過を信号無視として検出しない。
【0096】
ドライブレコーダ1は、車両Cの信号無視が仮判定されてから第3所定時間内の画像から、青信号の信号機が新たに検出された場合、第3条件を満たさないと判定する。ドライブレコーダ1は、赤信号の信号機がフレームアウトした後、第3所定時間内に、新たな青信号の信号機が検出された場合、フレームアウトした信号機が予告信号機であり、本信号機が青信号に変わったと判定する。そして、ドライブレコーダ1は、赤信号の予告信号機に対する、車両Cの通過を信号無視として検出しない。
【0097】
ドライブレコーダ1は、制御装置4を備える。制御装置4は、カメラ2によって撮影される画像から赤信号の信号機を検出し、車両Cの信号無視を判定する。制御装置4は、制御装置4は、画像から赤信号の信号機を検出しなくなり、かつ、車両Cが停止線、または、横断歩道を超えていない場合、赤信号の信号機を信号無視の判定対象から除外する。
【0098】
これにより、ドライブレコーダ1は、赤信号の予告信号機に対する車両Cの通過を、信号無視として誤検出することを抑制することができる。
【0099】
制御装置4は、画像から赤信号の信号機を検出しなくなり、かつ、車両Cが交差点を通過していない場合、赤信号の信号機を信号無視の判定対象から除外する。
【0100】
これにより、ドライブレコーダ1は、赤信号の予告信号機に対する車両Cの通過を、信号無視として誤検出することを抑制することができる。
【0101】
制御装置4は、画像から赤信号の信号機を検出してから予め設定された時間内に、画像から新たな信号機が検出された場合、赤信号の信号機を信号無視の判定対象から除外する。
【0102】
これにより、ドライブレコーダ1は、赤信号の予告信号機に対する車両Cの通過を、信号無視として誤検出することを抑制することができる。
【0103】
制御装置4は、新たな信号機が赤信号であり、かつ、車両Cが進行方向に対して新たな信号機の手前で停止した場合、先に検出した赤信号の信号機を信号無視の判定対象から除外する。
【0104】
これにより、ドライブレコーダ1は、赤信号の予告信号機に対する車両Cの通過を、信号無視として誤検出することを抑制することができる。
【0105】
制御装置4は、予告信号機を、信号無視の対象とする車両用道路交通信号機ではないとみなして信号無視の判定対象から除外する。
【0106】
これにより、ドライブレコーダ1は、赤信号の予告信号機に対する車両Cの通過を、信号無視として誤検出することを抑制することができる。
【0107】
制御装置4は、画像における信号機の検出サイズに基づいて、画像における信号機の検出対象領域Aを設定し、画像における信号機の検出位置が検出対象領域A外である場合、検出対象領域A外の信号機を信号無視の検出対象から除外する。
【0108】
これにより、ドライブレコーダ1は、画像に含まれる信号機から、信号無視の対象となる信号機を限定することができ、信号無視の検出精度を向上させることができる。たとえば、信号無視が検出された画像が管理装置に送信され、信号無視の検出が確認される場合、ドライブレコーダ1は、車両Cの信号無視に対する管理者の負荷を低減することができる。
【0109】
制御装置4は、画像における信号機の検出サイズ、および、予告信号機とは異なる本信号機の高さに基づいて、画像における信号機の検出対象領域Aを設定する。
【0110】
これにより、ドライブレコーダ1は、本信号機とは異なる高さに設置された予告信号機を、信号無視の検出対象から除外することができる。そのため、ドライブレコーダ1は、信号無視の検出精度を向上させることができる。
【0111】
ドライブレコーダ1は、ドライブレコーダ1の取付状態に応じて検出対象領域Aを設定してもよい。たとえば、検出対象領域Aは、ドライブレコーダ1の高さ、および、ドライブレコーダ1のカメラ2の角度に応じて設定される。
【0112】
画像から検出される赤信号の信号機は、予告信号機の他に、たとえば、道路と平行に設けられる線路を走行する電車のための信号機、歩行者用の信号機などを含んでもよい。すなわち、画像から検出される赤信号の信号機は、画像に映り込んだ赤信号の信号機を含んでもよい。ドライブレコーダ1は、上記した第1条件~第3条件によって、これらの赤信号の信号機を信号無視の判定対象から除外する。
【0113】
上記信号無視の検出は、たとえば、サーバ装置などによって行われてもよい。たとえば、ドライブレコーダ1によって取得された画像が、無線の通信装置を介してサーバ装置に送信されて、サーバ装置によって、上記信号無視の検出が行われてもよい。サーバ装置は、たとえば、信号無視などの検出を行うセンターに設けられる。
【0114】
ドライブレコーダ1に実行させるプログラムは、インストール可能な形式、または、実行可能なファイルデータによってCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、ドライブレコーダ1に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
【0115】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0116】
1 ドライブレコーダ
2 カメラ
3 記憶部
4 制御装置
5 取得部
6 検出部
7 設定部
8 判定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11