IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 矢崎エナジーシステム株式会社の特許一覧

<>
  • 特開-運転評価システム 図1
  • 特開-運転評価システム 図2
  • 特開-運転評価システム 図3
  • 特開-運転評価システム 図4
  • 特開-運転評価システム 図5
  • 特開-運転評価システム 図6
  • 特開-運転評価システム 図7
  • 特開-運転評価システム 図8
  • 特開-運転評価システム 図9
  • 特開-運転評価システム 図10
  • 特開-運転評価システム 図11
  • 特開-運転評価システム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024001920
(43)【公開日】2024-01-11
(54)【発明の名称】運転評価システム
(51)【国際特許分類】
   G08G 1/00 20060101AFI20231228BHJP
   G08G 1/09 20060101ALI20231228BHJP
   G07C 5/08 20060101ALI20231228BHJP
【FI】
G08G1/00 D
G08G1/09 D
G07C5/08
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022100789
(22)【出願日】2022-06-23
(71)【出願人】
【識別番号】501418498
【氏名又は名称】矢崎エナジーシステム株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】南 良樹
(72)【発明者】
【氏名】大石 啓之
【テーマコード(参考)】
3E138
5H181
【Fターム(参考)】
3E138AA07
3E138MA02
3E138MB02
3E138MB08
3E138MB12
3E138MC12
5H181AA01
5H181AA21
5H181CC04
5H181FF05
5H181FF10
5H181LL07
5H181LL08
(57)【要約】
【課題】運転者が車両用信号機に関する交通規則を遵守しているか否かを容易な方法で判定することができる運転評価システムを提供する。
【解決手段】運転評価システム1は、前方カメラ2により撮像された動画像を構成する複数のフレームのうち、第1時刻t1前のフレーム50Cに映る第1灯火部41Aの点灯色を第1点灯色42Aとし、第2時刻t2前のフレーム50Dに映る第2灯火部41Bの点灯色を第2点灯色42Bとして記録する点灯色記録部23と、第1点灯色42Aと第2点灯色42Bの組み合わせを判定する組み合わせ判定部12と、第1点灯色42Aと第2点灯色42Bの組み合わせ、及び、車速記録部25に記録された車速vに基づいて、車両100が第2灯火部41Bの第2点灯色42Bにより規定される交通規則を遵守したか否かを判定する遵守判定部13とを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
車両に搭載され、前記車両前方の動画像を撮像する撮像部と、
前記撮像部により撮像された前記動画像に含まれる車両用信号機の灯火部を検出する信号灯検出部と、
前記信号灯検出部により検出された2つの前記灯火部のうち、一方の第1灯火部が前記動画像から検出できなくなった時点を第1時刻とし、他方の第2灯火部が前記動画像から検出できなくなった時点を第2時刻として記録する時刻記録部と、
前記動画像を構成する複数のフレームのうち、前記第1時刻前のフレームに映る前記第1灯火部の点灯色を第1点灯色とし、前記第2時刻前のフレームに映る前記第2灯火部の点灯色を第2点灯色として記録する点灯色記録部と、
前記点灯色記録部により記録された前記第1点灯色と前記第2点灯色の組み合わせを判定する組み合わせ判定部と、
前記車両の車速を取得する車速取得部と、
前記組み合わせ判定部により判定された前記第1点灯色と前記第2点灯色の組み合わせ、及び、前記車速取得部により取得された車速に基づいて、前記車両が前記第2灯火部の第2点灯色により規定される交通規則を遵守したか否かを判定する遵守判定部と、
前記遵守判定部による判定結果を記録する判定結果記録部と、を備える、
ことを特徴とする運転評価システム。
【請求項2】
前記遵守判定部は、
前記第1点灯色が赤色、前記第2点灯色が黄色もしくは赤色の組み合わせであり、かつ前記第1時刻から前記第2時刻までの間で前記車両の車速が0となる期間がない場合、前記車両の運転者が前記交通規則を遵守していないと判定し、
前記第1点灯色が赤色、前記第2点灯色が黄色もしくは赤色の組み合わせであり、かつ前記第1時刻から前記第2時刻までの間で前記車両の車速が0となる期間がある場合、前記車両の運転者が前記交通規則を遵守していると判定する、
請求項1に記載の運転評価システム。
【請求項3】
前記遵守判定部は、
前記第1点灯色が青色、前記第2点灯色が黄色もしくは赤色の組み合わせであり、かつ前記第1時刻から前記第2時刻までの間で前記車両の車速が0となる期間がない場合、前記車両の運転者が前記交通規則を遵守していると判定する、
請求項1に記載の運転評価システム。
【請求項4】
前記遵守判定部は、
前記第1点灯色が黄色、前記第2点灯色が青色の組み合わせであり、かつ前記第1時刻から前記第2時刻までの間で前記車両の車速が0となる期間がない場合、前記第1点灯色及び前記第2点灯色の誤検出であると判定し、
前記第1点灯色が黄色、前記第2点灯色が青色の組み合わせであり、かつ前記第1時刻から前記第2時刻までの間で前記車両の車速が0となる期間がある場合、前記第1点灯色及び前記第2点灯色の誤検出でないと判定する、
請求項1から3のいずれか1項に記載の運転評価システム。
【請求項5】
前記遵守判定部による判定結果に応じて前記車両の運転者に警告を行う警告部と、
前記判定結果記録部に記録された判定結果に基づいて、前記車両の運転者の運転評価を行う運転評価部と、をさらに備える、
請求項1から3のいずれか1項に記載の運転評価システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転評価システムに関する。
【背景技術】
【0002】
従来、車載カメラにより撮影された映像に基づいて車両用信号機の赤信号を検出することにより、車両の運転者が信号無視をしたか否かを判断する解析装置がある(例えば、特許文献1参照)。また、特許文献2-6では、車両前方の画像データから交通用表示器や信号機の点灯色を精度よく検出する各種システムや装置が提案されている。
【0003】
ところで、従来の運転評価システムは、車載カメラにより映像を撮影しつつ、当該映像に対して画像認識処理を行って運転者が交通規則を遵守しているかを判定している。この場合、車載器が、画像認識処理により信号機の点灯色を検出し、さらに信号機前の停止線を検出している(例えば、特許文献7参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2014-238779号公報
【特許文献2】特開2007-241469号公報
【特許文献3】特開2009-129290号公報
【特許文献4】特開2008-293277号公報
【特許文献5】特開2016-42226号公報
【特許文献6】特開2018-63680号公報
【特許文献7】特開2021-33772号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このように、運転評価システムは、運転者が車両運転時に信号機を遵守しているか否かを判定することで、運転者の安全運転意識の向上に寄与することから、より容易な判定方法が望まれている。
【0006】
本発明は、運転者が車両用信号機に関する交通規則を遵守しているか否かを容易な方法で判定することができる運転評価システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明に係る運転評価システムは、車両に搭載され、前記車両前方の動画像を撮像する撮像部と、前記撮像部により撮像された前記動画像に含まれる車両用信号機の灯火部を検出する信号灯検出部と、前記信号灯検出部により検出された2つの前記灯火部のうち、一方の第1灯火部が前記動画像から検出できなくなった時点を第1時刻とし、他方の第2灯火部が前記動画像から検出できなくなった時点を第2時刻として記録する時刻記録部と、前記動画像を構成する複数のフレームのうち、前記第1時刻前のフレームに映る前記第1灯火部の点灯色を第1点灯色とし、前記第2時刻前のフレームに映る前記第2灯火部の点灯色を第2点灯色として記録する点灯色記録部と、前記点灯色記録部により記録された前記第1点灯色と前記第2点灯色の組み合わせを判定する組み合わせ判定部と、前記車両の車速を取得する車速取得部と、前記組み合わせ判定部により判定された前記第1点灯色と前記第2点灯色の組み合わせ、及び、前記車速取得部により取得された車速に基づいて、前記車両が前記第2灯火部の第2点灯色により規定される交通規則を遵守したか否かを判定する遵守判定部と、前記遵守判定部による判定結果を記録する判定結果記録部と、を備える、ことを特徴とする。
【発明の効果】
【0008】
本発明に係る運転評価システムによれば、運転者が車両用信号機に関する交通規則を遵守しているか否かを容易な方法で判定することができる、という効果を奏する。
【図面の簡単な説明】
【0009】
図1図1は、実施形態に係る運転評価システムの概略構成を示すブロック図である。
図2図2は、実施形態に係る運転評価システムによる評価処理の一例を示すフローチャートである。
図3図3は、実施形態に係る運転評価システムによる評価処理の一例を示すフローチャートである。
図4図4は、実施形態に係る運転評価システムによる評価処理の一例を示すフローチャートである。
図5図5は、実施形態に係る運転評価システムによる評価処理の一例を示すフローチャートである。
図6図6は、実施形態における時刻t0時の走行車両と信号機との位置関係を示す模式図である。
図7図7は、実施形態における時刻t1時の走行車両と信号機との位置関係を示す模式図である。
図8図8は、実施形態における時刻t2時の走行車両と信号機との位置関係を示す模式図である。
図9図9は、実施形態における時刻t0時、時刻t0からTr時間経過後、時刻t1時、時刻t2時の各フレームの一例を示す図である。
図10図10は、実施形態における点灯色の組み合わせの一例を示す図である。
図11図11は、実施形態における2車線道路上の信号機付き横断歩道の一例を示す模式図である。
図12図12は、実施形態の変形例に係る運転評価システムの概略構成を示すブロック図である。
【発明を実施するための形態】
【0010】
以下に、本発明に係る実施形態について図面を参照しつつ詳細に説明する。なお、下記実施形態により本発明が限定されるものではない。すなわち、下記実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれ、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
【0011】
[実施形態]
図1に示す本実施形態に係る運転評価システム1は、例えば、自動車等の車両100に搭載され、車両100の周囲環境及び走行状態を監視して評価するシステムである。運転評価システム1は、例えば、貨物自動車運送事業、旅客自動車運送事業等の事業者の設備として導入される。運転評価システム1は、例えば、車両用の運行管理プログラム等に従って動作する。本実施形態の運転評価システム1は、車両100の周囲環境及び走行状態を記録し、車両100の運転者(乗務員)の運転評価を行う機能を有する。
【0012】
ここで、運転評価システム1が適用される車両100は、原則として人や荷物等を輸送する機能、構造を有し、例えば、トラック、バスが含まれる。
【0013】
運転評価システム1は、図1に示すように、前方カメラ2と、車速センサ3と、本体装置4とを含んで構成される。なお、運転評価システム1は、車両100の後方を撮像する後方カメラを有していてもよい。
【0014】
前方カメラ2は、撮像部の一例であり、車両100前方の動画像を撮像して動画像のデータを生成するものである。前方カメラ2は、例えば、車両100の正面に設置され、撮影対象として車両前方の風景を撮影する。この撮影対象には、道路に沿って配置された1つ以上の車両用信号機が含まれる。前方カメラ2は、車両100の前方に設定される撮影範囲(例えば画角θ)を撮像する。
【0015】
前方カメラ2は、少なくとも車両用信号機に設けられた灯火部、及び、灯火部の点灯色を検出することが可能となるように、カラーの動画像のデータを生成する。前方カメラ2は、本体装置4に対して、車両100に配索された電線やケーブル等の配索材により電気的に接続されている。前方カメラ2は、生成した動画像のデータを、配索材を介して本体装置4に出力する。
【0016】
ここで、前方カメラ2の撮影対象となる車両用信号機は、例えば、図6図8に示す2車線の道路110における交差点111に配置されたり、図11に示す信号機付きの横断歩道113に配置される車両用信号機40A,40Bである。車両用信号機40A,40Bは、平面交差を行う車両や歩行者に対して、青色、黄色、赤色の灯火を表示する一般的な信号機である。車両用信号機40A,40Bは、いわゆる時差式信号機ではなく、2つの灯火の表示が同じタイミングで行われる。車両用信号機40A,40Bは、それぞれが表向けと裏向けをそれぞれ点灯させる両面信号機であり、一対の灯火部を有する。車両用信号機40A,40Bは、灯火部以外に、例えば、信号制御機、信号柱等を含んで構成され、信号制御機で予め設定されたパラメータに基づいて灯火部の点灯色が自動的に変わる。なお、車両用信号機40A,40Bは、感応式(感知式)であってもよい。
【0017】
車両用信号機40Aは、例えば、交差点111において、第1車線110A側の交差点出口112Aに設置される。第1車線110Aは、車両100が走行している第2車線110Bと反対側の車線である。また、車両用信号機40Aは、例えば、横断歩道113において、第1車線110A側の横断歩道出口113Aに設置される。本実施形態の車両用信号機40Aは、第2車線110Bを走行する車両100の進行方向において車両用信号機40Bの手前側に位置する。車両用信号機40Aは、第2車線110Bを交差点111に向けて走行する車両100に対して対向する面に第1灯火部41Aを有する。第1灯火部41Aは、裏面側に当該第1灯火部41Aと同じものが設けられている。
【0018】
車両用信号機40Bは、例えば、交差点111において、第2車線110B側の交差点出口112Bに設置される。車両用信号機40Bは、例えば、横断歩道113において、第2車線110B側の横断歩道出口113Bに設置される。本実施形態の車両用信号機40Bは、第2車線110Bを走行する車両100の進行方向において車両用信号機40Aの奥側に位置する。車両用信号機40Bは、第2車線110Bを交差点111に向けて走行する車両100に対して対向する面に第2灯火部41Bを有する。第2灯火部41Bは、裏面側に当該第2灯火部41Bと同じものが設けられている。このように、第1灯火部41A及び第2灯火部41Bは、いずれも交差点111または信号機付きの横断歩道113に近づく車両100の運転者が視認可能である。
【0019】
第1灯火部41A及び第2灯火部41Bは、それぞれが青色光を発光する青色信号灯、黄色光を発光する黄色信号灯、赤色光を発光する赤色信号灯を有する。本実施形態における第1灯火部41A及び第2灯火部41Bは、いずれも横型のものであり、道路交通法施行令に従って、向かって左から青色、黄色、赤色の順に信号灯が配列されている。
【0020】
車速センサ3は、車速取得部の一例であり、車両100に搭載され、車両100の車速vを取得するものである。車速センサ3は、例えば、所定の時間間隔で車速vを検出する。車速センサ3は、本体装置4に対して、車両100に配索された電線やケーブル等の配索材により電気的に接続されている。車速センサ3は、取得した車速vのデータ、及び車速vの取得時刻を本体装置4に出力する。
【0021】
本体装置4は、制御部10と、メモリ20と、警告部30とを含んで構成される。本体装置4は、例えば、車両100の走行状態を記録するデジタルタコグラフ、ドライブレコーダ、タクシーメータ等である。本体装置4は、車両100の走行中に、前方カメラ2により取得された動画像のデータ、車速センサ3により取得された車速v等を含む車両100の運転や走行に関わる種々の情報を記録する。なお、本体装置4は、制御部10、メモリ20以外に、デジタルタコグラフの構成として、速度インターフェース、エンジンインタフェース、GPS受信部、アナログインタフェース、外部入力インターフェース、広域通信部、カードインタフェース、スイッチ類、及び表示部を有するが、それらについては図示及び説明を省略する。
【0022】
本体装置4は、前方カメラ2から取得した動画像、及び、車速センサ3により取得した車両100の車速vに基づいて、車両100の運転者が信号機により規定される交通規則を遵守したか否か判定し、判定結果を記録する。さらに、本体装置4は、判定結果に基づいて、車両100の運転者へ警告、運転者の運転評価を行う。
【0023】
制御部10は、運転評価システム1の各部を統括的に制御する中央演算処理装置(CPU:Central Processing Unit)である。制御部10は、例えば、周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御部10は、前方カメラ2、車速センサ3、メモリ20、警告部30等が種々のインターフェースを介して電気的に接続され、これらとの間で種々の電気信号の入出力を行う。制御部10は、メモリ20に記録されている所定のプログラムを実行し、運転評価システム1の機能を実現するために必要な様々な処理を行う。制御部10は、例えば、車両100が備えるイグニションスイッチから出力されるIGNオン信号を停止状態において受け付けると、起動して運転評価システム1を起動状態にする。一方、制御部10は、イグニションスイッチから出力されるIGNオフ信号を起動状態において受け付けると、動作を停止して運転評価システム1を停止状態にする。制御部10は、機能概念的に、信号灯検出部11、組み合わせ判定部12、遵守判定部13、及び運転評価部14等を含んで構成される。
【0024】
信号灯検出部11は、前方カメラ2により撮像された動画像に含まれる車両用信号機40A,40Bの第1灯火部41A及び第2灯火部41Bを検出するものである。信号灯検出部11は、公知の画像認識を利用して、動画像を構成する各フレームから対象物である車両用信号機の灯火部を検出する。信号灯検出部11は、灯火部を検出した時点の時刻、検出した灯火部が検出できなくなった時点の時刻を時刻記録部21に記録する。信号灯検出部11は、灯火部を検出した場合、灯火部の点灯色を検出し、検出した灯火部が検出できなくなった時点の時刻前のフレームに映る灯火部の点灯色を点灯色記録部23に記録する。言い換えると、信号灯検出部11は、検出した灯火部が検出できなくなった時点の時刻から1フレーム分戻って当該フレームに映る灯火部の点灯色を点灯色記録部23に記録する。
【0025】
信号灯検出部11は、時系列上連続する複数のフレームのうち、1つのフレームから灯火部を1つ検出した場合、検出した灯火部を第1灯火部41Aとする。信号灯検出部11は、第1灯火部41Aを検出した後のフレームから第1灯火部41Aが検出できなくなるまで、フレーム上の当該第1灯火部41Aの位置を追う。この場合、信号灯検出部11は、フレームから第1灯火部41Aを検出した時点の時刻t0、その後のフレームから第1灯火部41Aが検出できなくなった時点の第1時刻t1を時刻記録部21に記録する。そして、信号灯検出部11は、検出した第1灯火部41Aが検出できなくなった時点の時刻から1フレーム分戻って当該フレームに映る第1灯火部41Aの点灯色を点灯色記録部23に記録する。
【0026】
信号灯検出部11は、第1時刻t1の時点から車両100が一定距離x1~x2[m]走行した範囲内でフレームから灯火部を検出したか否かを判定する。ここでx1~x2[m]には、例えば、交差点での2つの車両用信号機40A,40B間の距離として適切な値が設定される。信号灯検出部11は、距離x1~x2[m]、及び、第1時刻t1の時点の車両100の車速vに基づいて、第1時刻t1後の経過時間を求め、当該経過時間内に時系列上連続する複数のフレームから灯火部を検出したか否かを判定する。その判定の結果、信号灯検出部11は、灯火部を検出した場合、検出した灯火部を第2灯火部41Bとする。信号灯検出部11は、第2灯火部41Bを検出した後のフレームから第2灯火部41Bが検出できなくなるまで、フレーム上の当該第2灯火部41Bの位置を追う。この場合、信号灯検出部11は、第2灯火部41Bを検出した後、第2灯火部41Bが検出できなくなった時点の第2時刻t2を時刻記録部21に記録する。そして、信号灯検出部11は、検出した第2灯火部41Bが検出できなくなった時点の時刻から1フレーム分戻って当該フレームに映る第2灯火部41Bの点灯色を点灯色記録部23に記録する。
【0027】
一方、信号灯検出部11は、灯火部を検出できなかった場合、車両100が交差点111や信号機付きの横断歩道113等と通過しない可能性が高いことから、信号灯検出部11は、検出処理をリセットし、新たなフレームから車両用信号機の灯火部を検出する。
【0028】
信号灯検出部11は、時系列上連続する複数のフレームのうち、1つのフレームから灯火部を2つ検出した場合、車両100に最も近いものを第1灯火部41Aとし、他方を第2灯火部41Bとする。ここで、車両100に最も近いとは、例えば、図9に示すフレーム50A,50Bにおいて、第2灯火部41Bに対して相対的に下側に位置し、かつサイズが大きいことを意味する。この場合、信号灯検出部11は、第1灯火部41Aを検出した後のフレームから第1灯火部41Aが検出できなくなるまで、フレーム上の当該第1灯火部41Aの位置を追う共に、第2灯火部41Bが検出できなくなるまで、フレーム上の当該第2灯火部41Bの位置を追う。
【0029】
そして、信号灯検出部11は、フレームから第1灯火部41Aを検出した時点の時刻t0、その後のフレームから第1灯火部41Aが検出できなくなった時点の第1時刻t1、その後にフレームから第2灯火部41Bが検出できなくなった時点の第2時刻t2を時刻記録部21に記録する。さらに、信号灯検出部11は、検出した第1灯火部41Aが検出できなくなった時点の第1時刻t1から1フレーム分戻って当該フレームに映る第1灯火部41Aの点灯色、及び、検出した第2灯火部41Bが検出できなくなった時点の第2時刻t2から1フレーム分戻って当該フレームに映る第2灯火部41Bの点灯色をそれぞれ点灯色記録部23に記録する。
【0030】
組み合わせ判定部12は、点灯色記録部23に記録された第1点灯色42Aと第2点灯色42Bの組み合わせを判定するものである。組み合わせ判定部12は、例えば、図10に示すテーブル情報を参照して、点灯色の誤検出、及び、車両用信号機40A,40Bの点灯色を判定する。組み合わせ判定部12は、第1点灯色42Aが「青」、第2点灯色42Bが「青」または「黄」または「赤」の組み合わせである場合、車両用信号機40A,40Bが青信号と判定する。一方、組み合わせ判定部12は、第1点灯色42Aが「黄」、第2点灯色42Bが「黄」または「赤」の組み合わせである場合、車両用信号機40A,40Bが黄信号と判定する。他方、組み合わせ判定部12は、第1点灯色42Aが「赤」、第2点灯色42Bが「青」または「黄」または「赤」の組み合わせである場合、車両用信号機40A,40Bが赤信号と判定する。本実施形態では、組み合わせ判定部12は、第1点灯色42Aが「黄」、第2点灯色42Bが「青」の組み合わせである場合、点灯色の誤検出の可能性あり、と判定する。
【0031】
遵守判定部13は、組み合わせ判定部12により判定された第1点灯色42Aと第2点灯色42Bの組み合わせ、及び、車速センサ3により取得された車速vに基づいて、車両100が第2灯火部41Bの第2点灯色42Bにより規定される交通規則を遵守したか否かを判定するものである。遵守判定部13は、判定した結果を後述する判定結果記録部24に記録する。例えば、遵守判定部13は、第1点灯色42Aが「赤」、第2点灯色42Bが「黄」もしくは「赤」の組み合わせであり、かつ第1時刻t1から第2時刻t2までの間で車両100の車速vが0となる期間がない場合、車両100の運転者が交通規則を遵守していないと判定する。この場合、第1点灯色42Aと第2点灯色42Bの組み合わせが赤信号と判定され、車両100の車速vが0にならないことから、遵守判定部13は、車両100の運転者が、交差点111または信号付き横断歩道113等を通過する際に信号無視運転を行ったものと判定する。
【0032】
一方、遵守判定部13は、第1点灯色42Aが「赤」、第2点灯色42Bが「黄」もしくは「赤」の組み合わせであり、かつ第1時刻t1から前記第2時刻t2までの間で車両100の車速vが0となる期間がある場合、車両100の運転者が交通規則を遵守していると判定する。この場合、第1点灯色42Aと第2点灯色42Bの組み合わせが赤信号と判定され、車両100の車速vが0になることから、遵守判定部13は、車両100の運転者が、交差点111または信号付き横断歩道113等を通過する際に信号無視運転を行っていないものと判定する。
【0033】
また、遵守判定部13は、第1点灯色42Aが「青」、第2点灯色42Bが「黄」もしくは「赤」の組み合わせであり、かつ第1時刻t1から第2時刻t2までの間で車両100の車速vが0となる期間がない場合、車両100の運転者が交通規則を遵守していると判定する。この場合、第1点灯色42Aと第2点灯色42Bの組み合わせが青信号と判定されることから、車両100の車速vが0にならなくとも、遵守判定部13は、車両100の運転者が、交差点111または信号付き横断歩道113等を通過する際に信号無視運転を行っていないものと判定する。
【0034】
遵守判定部13は、第1点灯色42Aが「黄」、第2点灯色42Bが「青」の組み合わせであり、かつ第1時刻t1から第2時刻t2までの間で車両100の車速vが0となる期間がない場合、第1点灯色42A及び第2点灯色42Bの誤検出であると判定する。この場合、第1点灯色42Aと第2点灯色42Bの組み合わせが非常にレアケースであることから、車両100の車速vが0にならなくとも、遵守判定部13は、点灯色の誤検出の可能性あり、と判定する。
【0035】
遵守判定部13は、第1点灯色42Aが「黄」、第2点灯色42Bが「青」の組み合わせであり、かつ第1時刻t1から第2時刻t2までの間で車両100の車速vが0となる期間がある場合、第1点灯色42A及び第2点灯色42Bの誤検出でないと判定する。この場合、車両100の車速vが0となる期間があることから、運転者が車両100を交差点111または横断歩道113の手前で停止させた可能性が高い。そこで、遵守判定部13は、時刻t0から第1時刻t1までの時間が、時間Tyより短いか否かを判定する。ここで、時間Tyは、車両100の運転者が灯火部の点灯色を認識してから車両100が交差点111等を通過するまでに必要となる時間である。遵守判定部13は、時刻t0から第1時刻t1までの時間<時間Tyと判定した場合、車両100の運転者が灯火部の点灯色を認識してから車両100が交差点111等を通過するまでに十分な時間がなかった、すなわち、停止すると急ブレーキとなることから、交差点111等を通過可能と判定する。
【0036】
一方、遵守判定部13は、時刻t0から第1時刻t1までの時間≧時間Tyと判定した場合、車両100の運転者が灯火部の点灯色を認識してから車両100が交差点111等を通過するまでに十分な時間があった、すなわち、ブレーキを踏んでも停止位置を越える可能性が低いとし、第1時刻t1から時間Tr経過後の車速vを後述する車速記録部22で参照する。この場合、遵守判定部13は、第1時刻t1から時間Tr経過後の車速vに応じて、運転者が交差点111等の手前で車両100を停止したか否かを判定する。遵守判定部13は、第1時刻t1から時間Tr経過後の車速vが0であった場合、運転者が交差点手前で車両100を停止させたと判定し、当該車速vが0でなかった場合、運転者が交差点手前で車両100を停止しなかった判定する。
【0037】
運転評価部14は、後述する判定結果記録部24に記録された判定結果に基づいて、車両100の運転者の運転評価を行うものである。運転評価部14は、遵守判定部13により車両100の運転者が、交差点111等を通過する際に信号無視運転を行っていないものと判定された場合、運転評価を下げることはない。一方、運転評価部14は、遵守判定部13により信号無視運転を行っていると判定された場合、例えば、運転評価を下げる。
【0038】
メモリ20は、不揮発性メモリ、揮発性メモリ、記録媒体等で構成される。不揮発性メモリは、制御部10によって実行される処理プログラムや各種データを記録している。揮発性メモリは、例えば、制御部10による演算結果等を記録する。記録媒体は、運転評価システム1で取得される情報を記録する。記録媒体は、例えば、種々のインターフェースを介して本体装置4に脱着可能に構成される。記録媒体は、例えば、様々な形式のメモリカードを用いることができる。記録媒体は、前方カメラ2により撮像された動画像のデータや、車速センサ3により取得された車速vのデータ、及び、車速vの取得時刻を記録する。メモリ20は、機能概念的に、時刻記録部21、車速記録部22、点灯色記録部23、及び判定結果記録部24等を含んで構成される。
【0039】
時刻記録部21は、信号灯検出部11により、フレームから第1灯火部41Aを検出した時点の時刻t0を記録する。また、時刻記録部21は、信号灯検出部11により検出された第1灯火部41Aが動画像から検出できなくなった時点を第1時刻t1とし、他方の第2灯火部41Bが動画像から検出できなくなった時点を第2時刻t2として記録する。
【0040】
車速記録部22は、車速センサ3により取得された車速vのデータ、及び、車速vの取得時刻を記録する。
【0041】
点灯色記録部23は、動画像を構成する複数のフレームのうち、第1時刻t1前のフレーム50Cに映る第1灯火部41Aの点灯色を第1点灯色42Aとし、第2時刻t2前のフレーム50Dに映る第2灯火部41Bの点灯色を第2点灯色42Bとして記録する。この場合、図9に示すように、第1時刻t1前のフレーム50Cに映る第1灯火部41AはA位置にある。一方、第1時刻t1における第1灯火部41Aの位置は、フレームから外れてB位置にある。また、第2時刻t2前のフレーム50Dに映る第2灯火部41BはC位置にある。一方、第2時刻t2における第2灯火部41Bの位置は、フレームから外れてD位置にある。
【0042】
判定結果記録部24は、遵守判定部13による判定結果を記録する。判定結果記録部24は、車両100の運転者が交通規則を遵守しているとする判定結果、または、車両100の運転者が交通規則を遵守していないとする判定結果を記録する。また、判定結果記録部24は、点灯色の誤検出であると判定結果、誤検出でないとする判定結果を記録する。
【0043】
警告部30は、車両100の運転者に対して警告を行うものである。警告部30は、遵守判定部13による判定結果に応じて車両100の運転者に警告を行う。警告部30は、例えば警告音を発したり、運転者の座席を振動させたりして当該運転者に注意を促す。なお、警告部30による警告方法は、これらに限定されるものではなく、運転者に対して注意を促すものであれば、例えば臭いを発するものであってもよいし、電気的または物理的な衝撃を与えるものであってもよい。
【0044】
次に、運転評価システム1において実行される運転評価処理を図2図5に示すフローチャートを参照して説明する。運転評価システム1は、例えば、車両100のACC電源等がONされたときに起動し、当該電源等がOFFされるまで以下に説明する処理を繰り返す。
【0045】
図2において、ステップS1では、制御部10は、動画像を構成する複数のフレームそれぞれに対して画像認識処理を行い、信号灯検出部11により各フレームから車両用信号機の灯火部の検出を行う。
【0046】
ステップS2では、制御部10は、信号灯検出部11により、灯火部を1つ以上検出したか否かを判定する。この判定の結果、灯火部を1つ以上検出した場合は、ステップS3へ進む。一方、信号灯検出部11により、灯火部を3つ以上検出した場合、及び、灯火部が1つも検出できなかった場合は、ステップS1に戻って処理を繰り返す。
【0047】
ステップS3では、制御部10は、信号灯検出部11により検出した灯火部を第1灯火部41Aとする。
【0048】
ステップS4では、制御部10は、信号灯検出部11により第1灯火部41Aを検出した時点の時刻t0を時刻記録部21に記録し、第1灯火部41Aを検出した後のフレームから第1灯火部41Aが検出できなくなるまで、フレーム上の当該第1灯火部41Aの位置を追う。
【0049】
ステップS5では、制御部10は、信号灯検出部11により第1灯火部41A以外の灯火部を検出したか否かを判定する。この判定の結果、第1灯火部41A以外の灯火部が検出された場合は、ステップS6へ進む。一方、第1灯火部41A以外の灯火部が検出されていない場合は、ステップS8へ進む。
【0050】
ステップS6では、制御部10は、信号灯検出部11により検出した灯火部を第2灯火部41Bとする。
【0051】
ステップS7では、制御部10は、信号灯検出部11により第2灯火部41Bを検出した後のフレームから第2灯火部41Bが検出できなくなるまで、フレーム上の当該第2灯火部41Bの位置を追う。
【0052】
ステップS8では、制御部10は、信号灯検出部11により第1灯火部41Aが検出できなくなったか否かを判定する。この判定の結果、第1灯火部41Aの検出ができなくなった場合、ステップS9へ進む。一方、第1灯火部41Aの検出ができる場合には、ステップS8を繰り返す。
【0053】
ステップS9では、制御部10は、信号灯検出部11により第1灯火部41Aが検出できなくなった時点の時刻を第1時刻t1として時刻記録部21に記録する。
【0054】
ステップS10では、制御部10は、信号灯検出部11により第1時刻t1から1フレーム分戻り、当該フレームから第1灯火部41Aの点灯色を点灯色記録部23に記録する。
【0055】
図3において、ステップS11では、制御部10は、信号灯検出部11により第2灯火部41Bが検出済か否かを判定する。この判定の結果、信号灯検出部11により第2灯火部41Bが検出済でない場合は、ステップS15へ進む。一方、信号灯検出部11により第2灯火部41Bが検出済である場合は、ステップS12へ進む。
【0056】
ステップS12では、制御部10は、信号灯検出部11により第2灯火部41Bが検出できなくなったか否かを判定する。この判定の結果、第2灯火部41Bの検出ができなくなった場合、ステップS13へ進む。一方、第2灯火部41Bの検出ができる場合には、ステップS12を繰り返す。
【0057】
ステップS13では、制御部10は、信号灯検出部11により第2灯火部41Bが検出できなくなった時点の時刻を第2時刻t2として時刻記録部21に記録する。
【0058】
ステップS14では、制御部10は、信号灯検出部11により第2時刻t2から1フレーム分戻り、当該フレームから第2灯火部41Bの点灯色を点灯色記録部23に記録して、図4のステップS20へ進む。
【0059】
図3のステップS15では、制御部10は、信号灯検出部11により時刻t1から一定距離x1~x2[m]内に第1灯火部41A以外の灯火部を検出したか否かを判定する。この判定の結果、信号灯検出部11により時刻t1から一定距離x1~x2[m]内に第1灯火部41A以外の灯火部を検出した場合は、ステップS16へ進む。一方、信号灯検出部11により時刻t1から一定距離x1~x2[m]内に第1灯火部41A以外の灯火部を検出できない場合は、本処理を終了する。
【0060】
ステップS16では、制御部10は、信号灯検出部11により検出した灯火部を第2灯火部41Bとする。
【0061】
ステップS17では、制御部10は、信号灯検出部11により第2灯火部41Bを検出した後のフレームから第2灯火部41Bが検出できなくなるまで、フレーム上の当該第2灯火部41Bの位置を追い、ステップS12へ戻る。
【0062】
図4のステップS20では、制御部10は、組み合わせ判定部12により、上述した灯火色の組み合わせ判定を行う。
【0063】
ステップS21では、制御部10は、組み合わせ判定部12により誤検出の可能性ありか否かを判定する。この判定の結果、誤検出の可能性がある場合は、ステップS22へ進む。一方、誤検出の可能性がない場合は、ステップS24へ進む。
【0064】
ステップS22では、制御部10は、組み合わせ判定部12により第1時刻t1から第2時刻t2までの間で車両100の車速vが0となる期間があるか否かを判定する。この判定の結果、第1時刻t1から第2時刻t2までの間で車両100の車速vが0となる期間がある場合は、ステップS27へ進む。一方、第1時刻t1から第2時刻t2までの間で車両100の車速vが0となる期間がない場合、ステップS23へ進む。
【0065】
ステップS23では、制御部10は、信号灯検出部11による点灯色の誤検出があると判定して、本処理を終了する。
【0066】
ステップS24では、制御部10は、ステップS20の灯火色の組み合わせ判定に基づいて、点灯色が青色か、黄色か、赤色かを判定する。点灯色が青色の場合、ステップS25へ進む。点灯色が黄色の場合、ステップS27へ進む。点灯色が赤色の場合、図5のステップS30へ進む。
【0067】
ステップS25では、制御部10は、遵守判定部13により車両100が交差点111等を通過可能と判定する。
【0068】
ステップS26では、制御部10は、運転評価部14により車両100の運転者の評価を下げず、かつ警告部30による運転者への警告を行わない。
【0069】
ステップS27では、制御部10は、遵守判定部13により時刻t0から第1時刻t1までの時間が時間Tyより短いか否かを判定する。この判定の結果、時刻t0から第1時刻t1までの時間が時間Tyより短い場合は、ステップS28へ進む。一方、時刻t0から第1時刻t1までの時間が時間Tyより短くない場合は、ステップS29へ進む。
【0070】
ステップS28では、制御部10は、上述したように、車両100の運転者が灯火部の点灯色を認識してから車両100が交差点111等を通過するまでに十分な時間がなかったことから、交差点111等を通過可能と判定し、ステップS25へ進む。
【0071】
ステップS29では、制御部10は、上述したように、車両100の運転者が灯火部の点灯色を認識してから車両100が交差点111等を通過するまでに十分な時間があり、ブレーキを踏んでも停止位置を越える可能性が低いと判定して、図5のステップS30へ進む。
【0072】
ステップS30では、制御部10は、第1時刻t1から時間Tr経過後の車速vを後述する車速記録部22で参照する。
【0073】
ステップS31では、制御部10は、遵守判定部13により第1時刻t1から時間Tr経過後の車速vが0であったか否かを判定する。この判定の結果、第1時刻t1から時間Tr経過後の車速vが0であった場合は、ステップS32へ進む。一方、第1時刻t1から時間Tr経過後の車速vが0でなかった場合は、ステップS33へ進む。
【0074】
ステップS32では、制御部10は、遵守判定部13により、運転者が交差点手前で車両100を停止させたものと判定して、図4のステップS26へ進む。
【0075】
ステップS33では、制御部10は、遵守判定部13により、運転者が交差点手前で車両100を停止しなかった判定する。
【0076】
ステップS34では、制御部10は、運転評価部14により車両100の運転者の評価を下げて、かつ警告部30による運転者への警告を行い、本処理を終了する。
【0077】
以上で説明した本実施形態に係る運転評価システム1は、信号灯検出部11により、前方カメラ2で撮像された動画像に含まれる車両用信号機の灯火部を検出する。運転評価システム1は、検出された2つの灯火部のうち、一方の第1灯火部41Aが動画像から検出できなくなった時点を第1時刻t1とし、他方の第2灯火部41Bが動画像から検出できなくなった時点を第2時刻t2として時刻記録部21に記録する。運転評価システム1は、動画像を構成する複数のフレームのうち、第1時刻t1前のフレーム50Cに映る第1灯火部41Aの点灯色を第1点灯色42Aとし、第2時刻t2前のフレーム50Dに映る第2灯火部41Bの点灯色を第2点灯色42Bとして点灯色記録部23に記録する。
【0078】
本実施形態に係る運転評価システム1は、記録された第1点灯色42Aと第2点灯色42Bの組み合わせを判定し、判定された第1点灯色42Aと第2点灯色42Bの組み合わせ、及び、車速vに基づいて、第1点灯色42Aと第2点灯色42Bの組み合わせに対応する点灯色により規定される交通規則を遵守したか否かを判定し、その判定結果を判定結果記録部24に記録する。
【0079】
上記構成により、運転評価システム1は、例えば、車両100が交差点111等を通過する際に、交差点111等に設置された車両用信号機40A,40Bに関する交通規則を遵守しているか否かを容易な方法で判定することができる。この結果、運転評価システム1は、例えば、従来の運転評価システムのように、車両前方の動画像から画像認識により検出した停止線等を利用することなく、当該運転評価システム1上で必要となる画像処理量を削減することが可能となる。
【0080】
また、本実施形態に係る運転評価システム1は、遵守判定部13が、第1点灯色42Aが赤色、第2点灯色42Bが黄色もしくは赤色の組み合わせであり、かつ第1時刻t1から第2時刻t2までの間で車速vが0となる期間がない場合、車両100の運転者が交通規則を遵守していないと判定する。また、遵守判定部13は、第1点灯色42Aが赤色、第2点灯色42Bが黄色もしくは赤色の組み合わせであり、かつ第1時刻t1から第2時刻t2までの間で車速vが0となる期間がある場合、車両100の運転者が交通規則を遵守していると判定する。これにより、運転評価システム1は、交差点111等に設置された車両用信号機40A,40Bに関する交通規則を遵守しているか否かを容易な方法で判定することができる。
【0081】
また、本実施形態に係る運転評価システム1は、遵守判定部13は、第1点灯色42Aが青色、第2点灯色42Bが黄色もしくは赤色の組み合わせであり、かつ第1時刻t1から第2時刻t2までの間で車速vが0となる期間がない場合、車両100の運転者が交通規則を遵守していると判定する。このように、道路110上の1つの信号機を撮像することで得た点灯画像だけで信号無視を判定する方法では、通常、信号無視にはあたらない通過パターン(信号が青から黄色または赤に変わるギリギリで車両100が通過した場合)も信号無視とカウントしてしまっていたところ、上記判定方法により、このような通過パターンも交通規則を遵守していると判定することができる。
【0082】
また、本実施形態に係る運転評価システム1は、遵守判定部13が、第1点灯色42Aが黄色、第2点灯色42Bが青色の組み合わせであり、かつ第1時刻t1から第2時刻t2までの間で車両100の車速vが0となる期間がある場合、第1点灯色42A及び第2点灯色42Bの誤検出でないと判定する。また、遵守判定部13は、第1点灯色42Aが黄色、第2点灯色42Bが青色の組み合わせであり、かつ第1時刻t1から第2時刻t2までの間で車速vが0となる期間がある場合、第1点灯色42A及び第2点灯色42Bの誤検出でないと判定する。これにより、運転評価システム1は、車両用信号機40A,40Bの点灯色の画像認識精度の低下を抑制することができる。
【0083】
また、本実施形態に係る運転評価システム1は、車両100の運転者に警告を行う警告部30と、判定結果に基づいて運転者の運転評価を行う運転評価部14とをさらに備える。これにより、運転評価システム1は、信号機を守らない運転者に対してリアルタイムでの警告が可能となる。また、運転評価システム1は、例えば車両100の運行管理者が運転者の信号機に対する交通規則の遵守を容易に評価することができる。
【0084】
なお、上記実施形態における運転評価システム1は、車両100側の本体装置4が運転評価部15を有するが、これに限定されるものではない。図12は、本実施形態の変形例に係る運転評価システムの概略構成を示すブロック図である。本実施形態の変形例に係る運転評価システム1Aは、図12に示すように、車両100の外部に設けられた運転評価装置5が運転評価部15を有する点で上記運転評価システム1とは異なる。
【0085】
運転評価装置5は、例えば、車両100や当該車両100の運転者を管理する事業所等に設置され、本体装置4との間でデータのやり取りが可能なPC(Personal Computer)である。運転評価装置5は、本体装置4に対して、SDカード等の記録媒体を介してデータのやり取りを行うことができる。なお、本体装置4及び運転評価装置5は、例えば、USBケーブル等を介した直接通信、または、Wi-Fi等の無線通信等によりデータのやり取りを行ってもよい。
【0086】
運転評価装置5は、上述した運転評価部14を有する。運転評価装置5は、判定結果記録部24に記録された判定結果を含むデータを受け取り、当該データを受け取った運転評価部14が車両100を運転する運転者の運転評価を行う。
【0087】
また、上記実施形態では、第1灯火部41A及び第2灯火部41Bは、共に横型であるが、これに限定されるものではなく、縦型であってもよいし、いずれか一方が横型、他方が縦型であってもよい。
【0088】
また、上記実施形態では、運転評価システム1,1Aは、例えば、運行管理責任者が、本体装置4等に記録された評価結果に基づいて運転者の安全運転指導を行うとしているが、これに限定されるものではない。例えば、運転評価システム1,1Aは、複数の車両100から得られるデータを蓄積し、分析することにより、車両100の運転者の信号無視が起こりやすい路線を抽出するものであってもよし。この場合、運行管理者が、当該事象が起こりやすい路線を走行する車両の運転者に対して注意喚起を行うことが可能となる。また、運行管理責任者は、例えば、本体装置4等に記録された評価結果を、解析評価ソフト等を利用して解析し、信号無視の発生回数により運転者に対して点数を付与するものであってもよい。
【0089】
また、上記実施形態では、信号灯検出部11は、時系列上連続する複数のフレームのうち、1つのフレームから2つ以下の灯火部を検出した場合について説明した。一方、信号灯検出部11は、時系列上連続する複数のフレームのうち、1つのフレームから灯火部を3つ以上検出した場合、車両100に最も近いものを第1灯火部41Aとし、他方を第2灯火部41Bとしてもよいし、点灯色の誤検出と判定して処理をリセットしてもよい。
【0090】
また、上記実施形態の変形例では、運転評価装置5が運転評価部14を有する構成について説明したが、これに限定されるものではない。この場合、運転評価装置5は、運転評価部14に加えて、信号灯検出部11、組み合わせ判定部12、遵守判定部13、時刻記録部21、車速記録部22、点灯色記録部23、及び判定結果記録部24を有する構成であってもよい。
【符号の説明】
【0091】
1 運転評価システム
2 前方カメラ
3 車速センサ
4 本体装置
5 運転評価装置
10 制御部
11 信号灯検出部
12 組み合わせ判定部
13 遵守判定部
14 運転評価部
20 メモリ
21 時刻記録部
22 車速記録部
23 点灯色記録部
24 判定結果記録部
30 警告部
40A,40B 車両用信号機
41A 第1灯火部
41B 第2灯火部
42A 第1点灯色
42B 第2点灯色
50A,50B,50C,50D フレーム
100 車両
110 道路
111 交差点
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12