IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友電気工業株式会社の特許一覧

特開2024-37278情報処理装置、情報処理方法、及びコンピュータプログラム
<>
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図1
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図2
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図3
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図4
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図5
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図6
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図7
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図8
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図9
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図10
  • 特開-情報処理装置、情報処理方法、及びコンピュータプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024037278
(43)【公開日】2024-03-19
(54)【発明の名称】情報処理装置、情報処理方法、及びコンピュータプログラム
(51)【国際特許分類】
   H04N 23/60 20230101AFI20240312BHJP
   G06T 7/00 20170101ALI20240312BHJP
   H04N 23/54 20230101ALI20240312BHJP
【FI】
H04N5/232 290
G06T7/00 650A
H04N5/225 300
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022142000
(22)【出願日】2022-09-07
(71)【出願人】
【識別番号】000002130
【氏名又は名称】住友電気工業株式会社
(74)【代理人】
【識別番号】110000280
【氏名又は名称】弁理士法人サンクレスト国際特許事務所
(72)【発明者】
【氏名】小河 昇平
【テーマコード(参考)】
5C122
5L096
【Fターム(参考)】
5C122DA11
5C122EA67
5C122FH11
5C122FH14
5C122GC52
5C122HA13
5C122HA35
5C122HA88
5C122HA89
5C122HB01
5C122HB02
5C122HB06
5C122HB10
5L096AA02
5L096CA02
5L096DA02
5L096EA35
5L096GA40
5L096HA02
5L096HA09
5L096KA04
(57)【要約】
【課題】 信号灯器の光源のタイプを自律的に判定できるようにする。
【解決手段】 本開示の一態様に係る装置は、路側カメラが生成する動画の画像データを取得する取得部と、前記画像データから複数の信号灯を含む信号灯器の現在灯色を判定し、判定した前記現在灯色を用いて所定の処理を実行する制御部と、を備える情報処理装置であって、前記所定の処理は、前記信号灯に対応する画素における輝度変動の周期性の有無に基づいて、前記信号灯器の光源のタイプを判定するタイプ判定を含む。
【選択図】 図3
【特許請求の範囲】
【請求項1】
路側カメラが生成する動画の画像データを取得する取得部と、
前記画像データから複数の信号灯を含む信号灯器の現在灯色を判定し、判定した前記現在灯色を用いて所定の処理を実行する制御部と、を備える情報処理装置であって、
前記所定の処理は、
前記信号灯に対応する画素における輝度変動の周期性の有無に基づいて、前記信号灯器の光源のタイプを判定するタイプ判定を含む、情報処理装置。
【請求項2】
前記タイプ判定により判定された前記タイプがLEDである場合には、
前記所定の処理は、
前記路側カメラの露光時刻を、前記信号灯に対応する画素の輝度が所定値以上となるタイミングに同期させるタイミング調整を含む、請求項1に記載の情報処理装置。
【請求項3】
前記タイミング調整は、
前記露光時刻の発生周期を、交流電源で点灯中である前記LEDの輝度変動の周期の整数倍に設定する処理を含む、請求項2に記載の情報処理装置。
【請求項4】
前記タイプ判定により判定された前記タイプが電球である場合には、
前記所定の処理は、
通常よりも低い輝度の検出時刻を前記信号灯器の灯色切り替わり時刻とする時刻検出を含む、請求項1に記載の情報処理装置。
【請求項5】
前記所定の処理は、
前記検出時刻に基づいて、流入路ごとの灯色の遷移順序と各灯色の継続時間を含む時限表を更新する処理を含む、請求項4に記載の情報処理装置。
【請求項6】
前記所定の処理は、
判定した前記現在灯色に基づいて、前記信号灯器の動作状態を表す信号情報を生成する処理を含む、請求項1から請求項5のいずれか1項に記載の情報処理装置。
【請求項7】
情報処理装置が実行するステップとして、
路側カメラが生成する動画の画像データを取得するステップと、
前記画像データから複数の信号灯を含む信号灯器の現在灯色を判定し、判定した前記現在灯色を用いて所定の処理を実行するステップと、を含む情報処理方法であって、
前記所定の処理は、
前記信号灯に対応する画素における輝度変動の周期性の有無に基づいて、前記信号灯器の光源のタイプを判定するタイプ判定を含む、情報処理方法。
【請求項8】
路側カメラが生成する動画の画像データを取得する取得部、及び、
前記画像データから複数の信号灯を含む信号灯器の現在灯色を判定し、判定した前記現在灯色を用いて所定の処理を実行する制御部、を備える情報処理装置として、コンピュータを機能させるコンピュータプログラムであって、
前記所定の処理は、
前記信号灯に対応する画素における輝度変動の周期性の有無に基づいて、前記信号灯器の光源のタイプを判定するタイプ判定を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及びコンピュータプログラムに関する。
【背景技術】
【0002】
特許文献1には、LED信号機の点滅周期を路車間通信により取得し、取得した点滅周期と同期するフレームレートに設定することにより、LED信号機を消灯と誤認するのを防止できる、車載カメラが記載されている。
特許文献2には、予め複数用意されている点灯パターンの画像処理に基づいて、信号機を確実に判別できる、信号機判別装置が記載されている。
【0003】
特許文献3には、関心領域(ROI)における対象信号機の点灯部分を点灯領域として特定し、特定された点灯領域の色に基づいて、対象信号機の点灯色を認識する、交通信号認識方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009-65586号公報
【特許文献2】特開2014-193627号公報
【特許文献3】特開2014-193627号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
我が国の道路網において現在運用されている信号灯器には LED信号機と電球信号機が混在する。LED信号機と電球信号機は、点灯中における動作が異なるため、信号灯器の灯色を正確に判定するには、予め両者を識別することが好ましい。
しかし、上述の特許文献では、撮影された信号灯器がLED信号機及び電球信号機のいずれであるかを判定する手法については、想定されていない。
【0006】
本開示は、かかる従来の問題点に鑑み、信号灯器の光源のタイプを自律的に判定できる情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の一態様に係る装置は、路側カメラが生成する動画の画像データを取得する取得部と、前記画像データから複数の信号灯を含む信号灯器の現在灯色を判定し、判定した前記現在灯色を用いて所定の処理を実行する制御部と、を備える情報処理装置であって、前記所定の処理は、前記信号灯に対応する画素における輝度変動の周期性の有無に基づいて、前記信号灯器の光源のタイプを判定するタイプ判定を含む。
【0008】
本開示の一態様に係るコンピュータプログラムは、情報処理装置が実行するステップとして、路側カメラが生成する動画の画像データを取得するステップと、前記画像データから複数の信号灯を含む信号灯器の現在灯色を判定し、判定した前記現在灯色を用いて所定の処理を実行するステップと、を含む情報処理方法であって、前記所定の処理は、前記信号灯に対応する画素における輝度変動の周期性の有無に基づいて、前記信号灯器の光源のタイプを判定するタイプ判定を含む。
【0009】
本開示の一態様に係る方法は、路側カメラが生成する動画の画像データを取得する取得部、及び、前記画像データから複数の信号灯を含む信号灯器の現在灯色を判定し、判定した前記現在灯色を用いて所定の処理を実行する制御部、を備える情報処理装置として、コンピュータを機能させるコンピュータプログラムであって、前記所定の処理は、前記信号灯に対応する画素における輝度変動の周期性の有無に基づいて、前記信号灯器の光源のタイプを判定するタイプ判定を含む。
【0010】
本開示は、上記のような特徴的な構成を備えるシステム及び装置として実現できるだけでなく、かかる特徴的な構成をコンピュータに実行させるためのプログラムとして実現することができる。また、本開示は、システム及び装置の一部又は全部を実現する半導体集積回路として実現することができる。
【発明の効果】
【0011】
本開示によれば、信号灯器の光源のタイプを自律的に判定することができる。
【図面の簡単な説明】
【0012】
図1図1は、情報提供システムの構成例を示す道路平面図である。
図2図2は、エッジコンピュータのハードウェア構成例を示すブロック図である。
図3図3は、エッジコンピュータの機能構成例を示すブロック図である。
図4図4は、灯器エリアの基準点の設定方法例を示す説明図である。
図5図5は、第1灯器の輝度変化と露光時刻の関係を示すタイムチャートである。
図6図6は、第2灯器の輝度変化と露光時刻の関係を示すタイムチャートである。
図7図7は、第3灯器の灯色検出パターンのバリエーションを示す説明図である。
図8図8は、タイプ判定の一例を示すフローチャートである。
図9図9は、タイミング調整の一例を示すフローチャートである。
図10図10は、時刻検出の一例を示すフローチャートである。
図11図11は、時限表の更新の一例を示すフローチャートである。
【発明を実施するための形態】
【0013】
<本発明の実施形態の概要>
以下、本発明の実施形態の概要を列記して説明する。
(1) 本実施形態の一態様に係る装置は、路側カメラが生成する動画の画像データを取得する取得部と、前記画像データから複数の信号灯を含む信号灯器の現在灯色を判定し、判定した前記現在灯色を用いて所定の処理を実行する制御部と、を備える情報処理装置であって、前記所定の処理は、前記信号灯に対応する画素における輝度変動の周期性の有無に基づいて、前記信号灯器の光源のタイプを判定するタイプ判定を含む。
【0014】
本実施形態の情報処理装置によれば、上述の所定の処理に、信号灯に対応する画素における輝度変動の周期性の有無に基づいて、信号灯器の光源のタイプを判定するタイプ判定が含まれるので、信号灯器の光源のタイプを自律的に判定することができる。
【0015】
(2) 本実施形態の情報処理装置において、前記タイプ判定により判定された前記タイプがLEDである場合には、前記所定の処理は、前記路側カメラの露光時刻を、前記信号灯に対応する画素の輝度が所定値以上となるタイミングに同期させるタイミング調整を含んでもよい。
この場合、路側カメラの露光時刻が、信号灯に対応する画素の輝度が所定値以上となるタイミングに同期するので、非同期の場合に比べて現在灯色の判定精度が向上する。
【0016】
(3) 本実施形態の情報処理装置において、前記タイミング調整は、前記露光時刻の発生周期を、交流電源で点灯中である前記LEDの輝度変動の周期の整数倍に設定する処理を含んでいてもよい。
その理由は、露光時刻の発生周期がLEDの輝度変動の周期の整数倍でない場合は、信号灯に対応する画素の輝度に周期的なゆらぎ(フリッカー現象)が発生し、灯色の判定精度が低下するからである。
【0017】
(4) 本実施形態の情報処理装置において、前記タイプ判定により判定された前記タイプが電球である場合には、前記所定の処理は、通常よりも低い輝度の検出時刻を前記信号灯器の灯色切り替わり時刻とする時刻検出を含んでもよい。
この場合、灯色切り替わり時刻の検出誤差を、フレームレートの逆数(例えばfpsが30の場合は33ms)よりも小さい誤差にすることができる。
【0018】
(5) 本実施形態の情報処理装置において、前記所定の処理は、前記検出時刻に基づいて、流入路ごとの灯色の遷移順序と各灯色の継続時間を含む時限表を更新する処理を含んでもよい。
この場合、誤差の小さい検出時刻により時限表が更新されるので、更新前に比べて時限表の精度が向上する。
【0019】
(6) 本実施形態の情報処理装置において、前記所定の処理は、判定した前記現在灯色に基づいて、前記信号灯器の動作状態を表す信号情報を生成する処理を含んでもよい。
この場合、車両の運転支援などに役立つ信号情報を生成することができる。
【0020】
(7) 本実施形態の一態様に係る方法は、上述の(1)~(6)の情報処理装置が実行する情報処理方法である。
従って、本実施形態の情報処理方法は、上述の(1)~(6)の情報処理装置と同様の作用効果を奏する。
【0021】
(8) 本実施形態の一態様に係るコンピュータプログラムは、上述の(1)~(6)の情報処理装置として、コンピュータを機能させるコンピュータプログラムである。
従って、本実施形態のコンピュータプログラムは、上述の(1)~(6)の情報処理装置と同様の作用効果を奏する。
【0022】
<本発明の実施形態の詳細>
以下、図面を参照して、本発明の実施形態の詳細を説明する。なお、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
【0023】
〔システムの全体構成〕
図1は、本実施形態の情報提供システム1の構成例を示す道路平面図である。図2は、エッジコンピュータ3のハードウェア構成例を示すブロック図である。
図1及び図2に示すように、情報提供システム1は、交差点Jの適所に設置された路側カメラ2とエッジコンピュータ(情報処理装置)3、エッジコンピュータ3との無線通信が可能な端末装置4,5などを備える。
【0024】
交差点Jには、信号灯器6が設置される。信号灯器6は、交差点Jの道路脇に位置する支柱に設置される。信号灯器6は、車両7などの移動体に通行権の有無を点灯時の灯色で表示するための複数の信号灯を含む表示装置である。
図1に例示する信号灯器6は、少なくとも青色灯、黄色灯及び赤色灯を含む車両用灯器である。車両用灯器は、右折矢灯などの矢印灯を有していてもよい。図1では図示省略しているが、交差点Jには歩行者用灯器が含まれてもよい。
【0025】
路側カメラ2は、交差点Jの近傍の支柱などに設置される。路側カメラ2は、イメージセンサを有する動画撮影が可能なデジタルカメラである。路側カメラ2は、画角の拡大及び縮小調整が可能であり、画角内に信号灯器6が収まるようにセッティングされる。
従って、路側カメラ2が出力する画像データは、交差点Jに設置された少なくとも1つの信号灯器6が映り込んだ風景画像となる。
【0026】
路側カメラ2は、1台の路側カメラ2の画角内に1つの信号灯器6が収まるようにセッティングしてもよいし、1台の路側カメラ2の画角内に2つ以上の信号灯器6が収まるようにセッティングしてもよい。
図1及び図2では、路側カメラ2が2台設置されているが、路側カメラ2の設置台数は1台でもよいし3台以上でもよい。
【0027】
路側カメラ2は、外部からの制御信号C1(図3参照)により、動画撮影のフレームレート(単位:fps)と露光時刻を調整可能なデジタルカメラである。
フレームレートの調整範囲は、例えば25~60fpsである。本実施形態では、路側カメラ3のフレームレートのデフォルト値を30fpsとする。
【0028】
エッジコンピュータ3は、路側カメラ2と通信可能に接続される情報処理装置であり、交差点Jの近傍の支柱などに設置される。路側カメラ2とエッジコンピュータ3の接続方式は、有線でも無線でもよい。
エッジコンピュータ3は、路側カメラ2に対する設定機能、路側カメラ2から入力される動画の画像データから所定のダウンリンク情報を生成する機能、及び、生成したダウンリンク情報を端末装置4,5に配信する機能を有する。
【0029】
端末装置4は、車両7に恒久的又は一時的に搭載された車載端末である。車両7は、道路を通行する車両全般を意味する。従って、自動車、軽車両及びトロリーバスのほか、自動二輪車も車両に該当する。
車両7の駆動方式は、内燃機関に限らず、電気自動車及びハイブリットカーも車両に含まれる。車両7は、搭乗者自身が運転する通常の車両であってもよし、レベル3以上の自動運転車両であってもよい。
【0030】
端末装置5は、歩行者8(図2参照)が携帯するユーザ端末である。ユーザ端末は、例えば、スマートフォン、タブレット型パソコン、又はノート型パソコンなどである。
端末装置4,5は、無線基地局9(例えば携帯基地局)との無線通信が可能である。無線基地局9は、移動体通信のコアネットワーク及びインターネットなどを含む公衆通信網10を介してエッジコンピュータ3と通信可能である。
【0031】
エッジコンピュータ3は、ダウンリンク情報を含む端末装置4,5宛ての通信パケットを公衆通信網10に送信する。従って、ダウンリンク情報を含む通信パケットは、無線基地局9を経由して端末装置4,5などに配信される。
通信パケットを配信するための通信装置は、公衆通信網10によらず、DSRC(Dedicated Short Range Communication)方式の通信装置(図示せず)であってもよい。DSRC方式は狭域通信方式ともいう。
【0032】
ダウンリンク情報には、交差点Jの信号情報S1が含まれる。信号情報S1は、信号灯器6の灯色状態を表す情報である。
本実施形態の信号情報S1は、例えば、現時点の灯色状態に加えて近未来の所定期間(例えば2サイクル)の灯色状態を表す情報である。具体的には、交差点Jの信号情報S1には、以下の情報1から情報5が含まれる。
【0033】
情報1:提供対象の交差点Jの位置及び名称
情報2:提供対象の信号灯器6が通行権を付与する流入路の位置及び名称
情報3:現時点で点灯中の信号灯の種別(どの灯器灯が点灯しているか)
情報4:現時点以後の信号灯の点灯順序と点灯時に通行可能な方向
情報5:現時点以後に各信号灯を点灯又は消灯させるタイミング(絶対時刻又は基準時刻からの残り秒数のいずれでもよい)
【0034】
端末装置4,5に提供する交差点Jの信号情報S1は、現時点における信号灯器6の灯色状態のみを表す情報であってもよい。この場合の信号情報S1は、上記の情報1から情報3を含む情報である。
【0035】
〔エッジコンピュータのハードウェア構成〕
図2に示すように、エッジコンピュータ3は、制御部31、記憶部32、通信部33、同期処理部34、及び複数種類のデータベース35,36を備える。
データベース35,36は、記憶部32に所定のデータ配列で構築される電子データである。もっとも、データベース35,36の一部又は全部をエッジコンピュータ3に接続された外部記憶装置(図示せず)に構築してもよい。
【0036】
制御部31は、CPU(Central Processing Unit)及びRAM(Random Access Memory)などを含む演算処理装置である。制御部31には、FPGA(Field-Programmable Gate Array)などの集積回路が含まれていてもよい。
制御部31は、記憶部32に格納されたコンピュータプログラム38をメインメモリ(RAM)に読み出し、当該プログラム38に従って各種の情報処理を実行する。情報処理には、路側カメラ2の画像データから信号情報S1を生成する処理などが含まれる。
【0037】
記憶部32は、HDD(Hard Disk Drive)及びSSD(Solid State Drive)などの不揮発性メモリを含む補助記憶装置である。
記憶部32は、フラッシュROM(Read Only Memory)、USB(Universal Serial Bus)メモリ、又はSDカードなどが含まれていてもよい。
【0038】
通信部33は、公衆通信網10を介した公衆通信と、路側カメラ2との専用通信を実行する通信モジュールである。通信部33は、通信規格ごとに異なる複数の通信ボードで構成されていてもよい。
通信部33は、路側カメラ2から画像データを受信すると、受信した画像データを制御部31に出力する。従って、通信部33は、情報源が路側カメラ2である動画の画像データを、エッジコンピュータ3に取り込む取得部として機能する。
【0039】
制御部31は、入力された画像データに基づいて、現時点で点灯中の信号灯器6の灯色を判定する。制御部31は、判定した灯色の継続時間を計測し、計測した継続時間から交差点Jで適用中の「時限表」を作成する。
時限表は、サイクル開始時刻と、1サイクル分の流入路ごとの灯色の遷移順序と、各灯色の継続時間とを含むテーブル形式のデータである。制御部31は、複数の信号灯器6に関する所定期間(例えば1時間)分の灯色の継続時間に基づいて時限表を作成する。
【0040】
制御部31は、時限表に基づいて信号情報S1を生成する。具体的には、制御部31は、サイクル開始時刻からの現在時刻の経過時間から前述の情報1から情報3を判定し、現在時刻における各灯色の残り秒数から前述の情報4及び情報5を算出する。
なお、現時点における信号灯器6の灯色状態のみを配信する場合には、制御部31は、情報4及び情報5の算出を行わない。
【0041】
制御部31は、生成した信号情報S1を通信部33に出力する。通信部33は、入力された信号情報S1を含む端末装置4,5宛て通信パケットを生成し、生成した通信パケットを無線基地局9に送信する。
従って、通信部33は、信号情報S1を端末装置4,5などの外部装置に配信する配信部として機能する。なお、配信先の外部装置は、端末装置4,5だけでなくサーバ(例えば事故調査を行う保険会社のサーバなど)であってもよい。
【0042】
同期処理部34は、所定の同期方式により、路側カメラ2及び端末装置4,5などの他の通信ノードと時刻同期を図るための処理部である。
同期処理部34の同期方式は、例えば、GNSS(Global Navigation Satellite System)受信機の出力に基づく同期方式や、NTP(Network Time Protocol)及びPTP(Precision Time Protocol)などの通信フレームを用いた同期方式などを採用し得る。
【0043】
複数種類のデータベース35,36には、会員データベース(DB)35、及び時限表データベース(DB)36が含まれる。
会員データベース35には、信号情報S1の提供サービスを受ける登録会員(例えば車両7の所有者)の個人情報、及び登録会員の通信端末の識別情報(例えばMACアドレスなど)などが記録される。時限表データベース36には、前述の時限表が記録される。
【0044】
〔エッジコンピュータの機能構成〕
図3は、エッジコンピュータ3の機能構成例を表すブロック図である。
図3に示すように、エッジコンピュータ3の制御部31は、データ入力部41、エリア設定部42、灯器抽出部43、灯色判定部44、情報生成部45、トレーニング部46、及びカメラ制御部47を備える。これらの機能部41~47は、制御部31によるコンピュータプログラム38の実行により実現される機能部である。
【0045】
データ入力部41には、通信部33が路側カメラ2から受信した画像データが入力される。データ入力部41は、入力された画像データを、灯器抽出部43に出力する。
エリア設定部42は、画像データを構成するすべての画素のうち信号灯器6が存在するエリア(以下、「灯器エリア」という。)の基準点を設定する処理を行う。この処理は、例えば、ユーザによるエッジコンピュータ3に対する初期設定により実行される。
【0046】
図4は、灯器エリアの基準点の設定方法例を示す説明図である。図4に示すように、基準点の設定方法としては、以下の方法1から方法4のうちのいずれかを採用し得る。
方法1:信号灯器6の中心点(黄色灯の中心点)P1を指定する。
方法2:黄色灯/青色灯/赤色灯の中心点P1~P3を指定する。
方法3:信号灯器6を矩形近似したときの4頂点Pa~Pdを指定する。
方法4:信号灯器6を矩形近似したときの対角2頂点Pa,Pdを指定する。
【0047】
方法2において、矢印灯を有する信号灯器6の場合は、当該矢印灯の中心点を指定してもよい。また、方法4において、対角2頂点は、PbとPcであってもよい。
なお、灯器エリアの基準点の入力方法は特に限定されないが、例えば、画像データの各画素に付与された平面座標の座標値を、エッジコンピュータ3に接続したキーボードなどの入力装置から送信することにより実現できる。
【0048】
灯器抽出部43は、指定された灯器エリアの基準点に基づいて、信号灯器6に含まれる信号灯(車両用灯器の場合は赤色灯、青色灯、黄色灯など)を抽出する画素範囲(以下、「抽出範囲」という。)を決定し、決定した抽出範囲内で各信号灯を抽出する。
例えば、灯器抽出部43は、1つの中心点P1のみが指定された場合、中心点P1を中心とする所定長の矩形範囲を抽出範囲とし、3つの中心点P1~P3が指定された場合、各中心点P1~P3を中心とする所定半径の円形範囲を抽出範囲とする。
【0049】
また、灯器抽出部43は、4頂点Pa~Pdが指定された場合、4つの頂点Pa~Pdで囲まれる矩形範囲を抽出範囲とし、2頂点Pa,Pcが指定された場合、2つの頂点Pa,Pdを対角線とする矩形範囲を抽出範囲とする。
灯器抽出部43は、上記のように決定した抽出範囲において、信号灯を表す特徴量などに基づいて、信号灯器6に含まれる信号灯に対応する画素の座標値(以下、「灯座標」という。)を抽出し、抽出した灯座標を灯色判定部44とトレーニング部46に出力する。
【0050】
なお、灯器抽出部43は、前回フレームにおける灯座標と今回フレームにおける灯座標との差分が所定範囲内であれば、同じ信号灯とみなす。
これにより、例えば強風などで信号灯器6が振動した場合でも、いったん抽出した信号灯を追尾することができる。従って、灯座標の抽出を繰り返すことによる処理負荷の増大を抑えることができる。
【0051】
灯色判定部44は、灯器抽出部43から入力された灯座標に基づいて、信号灯器6の灯色を判定する。
具体的には、灯色判定部44は、灯座標に対応する画素データに含まれるRGB値から、現時点で点灯中の信号灯の灯色を決定する。灯色判定部44は、決定した現時点の灯色(以下、「現在灯色」という。)を情報生成部45に出力する。
【0052】
情報生成部45は、現在灯色の継続時間から前述の時限表を作成し、作成した時限表を時限表データベース36に記録する。
情報生成部45は、時限表データベース36に記録された時限表から信号情報S1すると、生成した信号情報S1を通信部33に出力する。
【0053】
トレーニング部46も、灯座標に対応する画素データに含まれるRGB値から、現時点で点灯中の信号灯の灯色を決定する。
トレーニング部46は、信号灯の灯色を利用したトレーニング処理を実行可能である。このトレーニング処理には、以下の処理1から処理4が含まれる。
【0054】
処理1:信号灯に対応する画素における輝度変動の周期性の有無に基づいて、信号灯器6の光源のタイプ(LED又は電球)を判定する処理(以下、「タイプ判定」という。)
処理2:信号灯器6の光源がLEDである場合に、路側カメラ2の露光時刻を、信号灯に対応する画素の輝度が所定値以上となるタイミングに同期させる処理(以下、「タイミング調整」という。)
【0055】
処理3:信号灯器6の光源が電球である場合に、通常よりも低い輝度の検出時刻を信号灯器6の灯色切り替わり時刻とする処理(以下、「時刻検出」という。)
処理4:処理3で得られた検出時刻に基づいて、信号情報S1の元データとなる時限表を更新する処理(以下、「時限表の更新」という。)
【0056】
処理1及び処理2は、信号情報S1の配信前(運用前)のトレーニング期間(例えば10分)に行われる。処理3及び処理4は、信号情報S1の配信後に行われる。
トレーニング部46は、タイプ判定(処理1)の判定結果に応じて処理2から処理4のいずれを行うかを決定する。具体的には、判定結果が「LED」の場合は、タイミング調整(処理2)を実行し、判定結果が「電球」の場合は、時刻検出(処理3)と時限表の更新(処理4)を実行する。
【0057】
トレーニング部46は、タイミング調整(処理2)を実行する場合、カメラ制御部47を介して路側センサ2と制御通信を行う。制御通信用の制御信号C1のコマンドには、校正モードの開始通知、校正モードの終了通知、フレームレートの変更指示、及び露光時刻の変更指示などが含まれる。
トレーニング部46は、タイミング調整(処理2)が完了すると、出力許可の制御信号C2を灯色判定部44に出力する。灯色判定部44は、制御信号C2の入力を条件として現在灯色を情報生成部45に出力する。
【0058】
〔信号灯器のタイプのバリエーション〕
我が国の道路網において現在運用されている信号灯器6には、以下のタイプ1からタイプ3が混在する。
タイプ1:複数のLED(Light-Emitting Diode)を光源とする信号灯を有し、60Hzの交流電源で駆動するタイプ。関西地方に設置されるLED信号機がタイプ1に該当する。以下、タイプ1の信号灯器6を「第1灯器6A」という。
【0059】
タイプ2:複数のLEDを光源とする信号灯を有し、50Hzの交流電源で駆動するタイプ。関東地方に設置されるLED信号機がタイプ1に該当する。以下、タイプ2の信号灯器6を「第2灯器6B」という。
タイプ3:白熱電球を光源とする信号灯を採用するタイプ。タイプ3は、LED化が未だ進行していない郊外などの地域に設置されている。以下、タイプ3の信号灯器6を「第3灯器6C」という。
【0060】
〔第1灯器の課題と解決方法〕
図5は、第1灯器6Aの輝度変化と露光時刻の関係を示すタイムチャートである。
ここでは、露光開始時刻をtsとし露光終了時刻をteとすると、「露光時刻」は(ts+te)/2で定義される時刻とする。もっとも、露光時間(シャッタースピード)がフレームレートの逆数に比べて十分に小さい高速撮影の場合は、露光時刻はts又はteに設定してもよい。この点は、図6の場合も同様である。
【0061】
図5の第1灯器6Aにおいて、「G」は青色灯であり、「Y」は黄色灯であり、「R」は赤色灯である。路側カメラ2のフレームレートは、デフォルト値(30fps)に設定中であるとする。図5に記載の変数の意味は、次の通りである。
Ta:点灯中の信号灯の輝度の変化周期(=1/60≒17ms)
Tf:露光時刻の発生周期(=1/30≒33ms)
bi(i=1,2……):最大輝度を検出する場合の露光時刻のデータ列
di(i=1,2……):biからTa/4だけ遅れた露光時刻のデータ列
【0062】
図5に示すように、第1灯器6Aの場合は、発生周期Tfが変化周期Taの2倍であるから、例えば露光時刻biが最大輝度のタイミングと同期する場合は、信号灯の点灯を適切に判定できる。
しかし、露光時刻diが最小輝度のタイミングと同期する場合は、点灯中の信号灯を消灯と誤認する可能性が高くなる。従って、第1灯器6Aの場合は、露光時刻biを所定値以上の輝度が検出される時刻に合わせればよい。
【0063】
〔第2灯器の課題と解決方法〕
図6は、第2灯器6Bの輝度変化と露光時刻の関係を示すタイムチャートである。
図6の第2灯器6Bにおいて、「G」は青色灯であり、「Y」は黄色灯であり、「R」は赤色灯である。路側カメラ2のフレームレートは、デフォルト値(30fps)に設定中であるとする。図6に記載の変数の意味は、次の通りである。
【0064】
Tb:点灯中の信号灯の輝度の変化周期(=1/50=20ms)
Tf:露光時刻の発生周期(=1/30≒33ms)
bi(i=1,2……):初回に最大輝度を検出する場合の露光時刻のデータ列
【0065】
図6に示すように、第2灯器6Bの場合は、発生周期Tfが変化周期Tbの整数倍ではないので、例えば露光時刻biのように、初回に最大輝度を検出しても、2回目に輝度が低下したり3回目に輝度がゼロになったりする。このように、信号灯に対応する画素の輝度に周期的なゆらぎ(フリッカー現象)が発生するため、灯色の判定精度が低下する。
そこで、第2灯器6Bの場合は、発生周期Tfを変化周期Tbの整数倍(例えば2倍)に設定した上で、露光時刻biを所定値以上の輝度が検出される時刻に合わせればよい。
【0066】
〔第3灯器の課題と解決方法〕
図7は、第3灯器6Cの灯色検出パターンのバリエーションを示す説明図である。
図7において、検出パターン1は、時刻x1とその1フレーム後(33ms後)の時刻x2に、次の事象を検出した場合を表す。
x1:青色灯を通常輝度で検出
x2:黄色灯を通常輝度で検出
【0067】
検出パターン2は、時刻y1とその1フレーム後(33ms後)の時刻y2に、次の事象を検出した場合を表す。
y1:青色灯を通常輝度で検出
y2:青色灯を低輝度(薄い青)又は滅灯で検出、或いは、黄色灯を滅灯又は低輝度(薄い黄)で検出
【0068】
検出パターン1のように、時刻x1に通常輝度の青色灯を検出し、時刻x2に通常輝度の黄色灯を検出した場合、時刻x1から時刻x2までのどのタイミングで青色から黄色の切り替わったのかを特定できない。従って、青色から黄色の灯色切り替り時刻の検出値には、最大で33msの誤差が生じ得る。
【0069】
一方、白熱電球は、点灯中の明るさの変動は非常に小さいが、フィラメントの過渡現象などにより、所定の立ち下がり時間Δdを経て消灯を完了し、所定の立ち上がり時間Δuを経て点灯を完了する。
従って、検出パターン2の時刻y2のように、通常よりも低輝度で青色又は黄色を検出できた場合、この検出時刻y2は、青色から黄色への実際の灯色切り替わり時刻とほぼ一致しており、少なくとも33ms未満の誤差であると考えられる。
【0070】
そこで、上記の時刻y2を検出できた場合には、当該時刻y2を灯色切り替わり時刻に設定すればよい。
具体的には、高い方の第1閾値TH1(例えば通常輝度の30%)以下でかつ低い方の第2閾値TH2(例えばゼロ)以上で、所定の灯色を検出できた場合には、判定した時刻y2を灯色切り替わり時刻と判定すればよい。
【0071】
〔タイプ判定の具体例〕
図8は、エッジコンピュータ3の制御部31(トレーニング部46)が実行する、タイプ判定の一例を示すフローチャートである。
図8に示すように、制御部31は、制御信号C1により路側カメラ2のフレームレートを30fpsに設定したあと(ステップST11)、灯器抽出部43が抽出した信号灯に対応する灯座標の輝度変動を検出する(ステップST12)。
【0072】
次に、制御部31は、輝度変動が周期的か否かを判定する(ステップST13)。
ステップST13の判定結果が肯定的である場合は、制御部31は、信号灯器6が第2灯器6Bであると判定し(ステップST14)、処理を終了する。
ステップST13の判定結果が否定的である場合は、制御部31は、信号灯器6が第1灯器6A又は第3灯器6Cであると判定する(ステップST15)。
【0073】
次に、制御部31は、制御信号C1により路側カメラ2のフレームレートを25fpsに設定したあと(ステップST16)、灯器抽出部43が抽出した信号灯に対応する灯座標の輝度変動を検出する(ステップST17)。
【0074】
次に、制御部31は、輝度変動が周期的か否かを判定する(ステップST18)。
ステップST18の判定結果が肯定的である場合は、制御部31は、信号灯器6が第1灯器6Aであると判定し(ステップST19)、処理を終了する。
ステップST18の判定結果が否定的である場合は、制御部31は、信号灯器6が第3灯器6Cであると判定し(ステップST20)、処理を終了する。
【0075】
〔タイミング調整の具体例〕
図9は、エッジコンピュータ3の制御部31(トレーニング部46)が実行する、タイミング調整の一例を示すフローチャートである。
図9に示すように、制御部31は、制御信号C1により校正モードの開始を路側カメラ2に通知したあと(ステップST21)、信号灯器6(この場合はLED信号機のみ)のタイプを判定する(ステップST22)。
【0076】
ステップST22の判定結果が「タイプ1」(第1灯器6A)である場合は、制御部31は、制御信号C1を路側センサ2に送信してフレームレートを30fpsに設定する(ステップST23)。
これにより、露光時刻biの発生周期が、60Hzの交流電源で駆動されるLEDの輝度の変化周期の整数倍(具体的には2倍)に設定される。
【0077】
ステップST21の判定結果が「タイプ2」(第2灯器6B)である場合は、制御部31は、制御信号C1を路側センサ2に送信してフレームレートを25fpsに設定する(ステップST24)。
これにより、露光時刻biの発生周期が、50Hzの交流電源で駆動されるLEDの輝度の変化周期の整数倍(具体的には2倍)に設定される。
【0078】
次に、制御部31は、信号灯の輝度Lが所定の閾値TH以上であるか否かを判定する(ステップST25)。
輝度Lは、灯器抽出部43が抽出した信号灯に対応する灯座標の輝度である。閾値THは、例えば、灯色判定を正確に実行するための最小限必要な輝度値として、予め決定された設定値である。
【0079】
ステップST25の判定結果が否定的である場合は、制御部31は、制御信号C1により露光時刻の変更を路側カメラ2に指示する(ステップST26)。
露光時刻の変更指示は、例えば、露光時刻を現状よりも所定時間Δt(例えば2ms)だけ遅らせる指示、或いは、逆に露光時刻を現状よりも所定時間Δtだけ早める指示などを採用し得る。
【0080】
制御部31は、ステップST25の判定結果が肯定的となるまで、露光時刻の変更指示(ステップST26)を繰り返す。
ステップST25の判定結果が肯定的である場合は、制御部31は、制御信号C1により校正モードの終了を路側カメラ2に通知する(ステップST27)。
【0081】
〔時刻検出の具体例〕
図10は、エッジコンピュータ3の制御部31(トレーニング部46)が実行する、時刻検出の一例を示すフローチャートである。
図10に示すように、制御部31は、常に輝度Lをモニタリングする(ステップST31)。輝度Lは、灯器抽出部43が抽出した信号灯に対応する灯座標の輝度である。
【0082】
次に、制御部31は、輝度Lが高い方の第1閾値TH1以下でかつ低い方の第2閾値TH2以上であるか否かを判定する(ステップST32)。
第1閾値TH1は、例えば、常時モニタリングされる輝度の統計値(平均値又は中央値など)の30%に設定される。第2閾値TH2は、例えばゼロに設定される。
【0083】
ステップST32の判定結果が肯定的である場合は、制御部31は、次の検出情報1から検出情報3をメモリに記録する(ステップST33)。
検出情報1:ステップST32を充足する輝度Lの検出時刻t1(図7の時刻y2)
検出情報2:検出時刻t1の直前の灯色(以下、「前色」という。)
検出情報3:検出時刻t1の直後の灯色(以下、「後色」という。)
【0084】
〔時限表の更新の具体例〕
図11は、エッジコンピュータ3の制御部31(トレーニング部46)が実行する、時限表の更新の一例を示すフローチャートである。
図11に示すように、制御部31は、時刻検出(図10)によって検出した検出時刻t1、前色及び後色に対応する灯色切り替わり時刻t2を、現時点で運用中の時限表から抽出する(ステップST41)。
【0085】
例えば、前色が赤色でかつ後色が青色である場合、検出時刻t1は、赤信号から青信号への切り替わり時刻である。
この場合、制御部31は、時限表から赤終了時刻(或いは青開始時刻)を算出し、算出した時刻を、検出時刻t1に対応する灯色切り替わり時刻t2とする。
【0086】
次に、制御部31は、時刻t1と時刻t2の差分(t1-t2)の絶対値が所定値ε(例えば3ms)以下であるか否かを判定する(ステップST42)。
ステップST42の判定結果が否定的である場合は、制御部31は、時限表の補正を実行する(ステップST43)。この補正は、例えば、時限表に含まれる各灯色の継続時間を増加又は減少させることにより実行される。
【0087】
具体的には、差分(t1-t2)が正数である場合は、制御部31は、差分(t1-t2)の絶対値分だけ、時限表における各灯色の継続時間を減らす。
逆に、差分(t1-t2)が負数である場合は、制御部31は、差分(t1-t2)の絶対値分だけ、時限表における各灯色の継続時間を増やす。
ステップST42の判定結果が肯定的である場合は、制御部31は、ステップST43の補正をスキップして処理を終了する。
【0088】
〔第1の変形例〕
上述の実施形態において、タイプ判定(図8)を実行しないエッジコンピュータ3を採用してもよい。具体的には、人為的に判断した信号灯器6の光源のタイプに応じて、以下の第1コンピュータ3A及び第2コンピュータ3Bのいずれかを採用してもよい。
【0089】
第1コンピュータ3A:LED信号機専用のエッジコンピュータ3である。
第1コンピュータ3Aは、タイミング調整(図9)を実行するが、タイプ判定(図8)、時刻検出(図10)及び時限表の更新(図11)を実行しない。
第2コンピュータ3B:電球信号機専用のエッジコンピュータ3である。
第2コンピュータ3Bは、時刻検出(図10)及び時限表の更新(図11)を実行するが、タイプ判定(図8)及びタイミング調整(図9)を実行しない。
【0090】
〔その他の変形例〕
上述の実施形態は、すべての点で例示であって制限的なものではない。本発明の権利範囲は、特許請求の範囲に記載された構成と均等の範囲内でのすべての変更が含まれる。
例えば、上述の実施形態では、路側カメラ2とエッジコンピュータ(情報処理装置)3が別装置である場合を例示したが、両装置を1つの筐体に収容した一体型の情報処理装置としてもよい。
【符号の説明】
【0091】
1 情報提供システム
2 路側カメラ
3 エッジコンピュータ(情報処理装置)
4 端末装置(車載端末)
5 端末装置(ユーザ端末)
6 信号灯器
6A 第1灯器(LED:60Hz電源)
6B 第2灯器(LED:50Hz電源)
6C 第3灯器(電球)
7 車両
8 歩行者
9 無線基地局
10 公衆通信網
31 制御部
32 記憶部
33 通信部(取得部、配信部)
34 同期処理部
35 会員データベース
36 時限表データベース
38 コンピュータプログラム
41 データ入力部
42 エリア設定部
43 灯器抽出部
44 灯色判定部
45 情報生成部
46 トレーニング部
47 カメラ制御部
J 交差点
S1 信号情報
C1 制御信号
C2 制御信号
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11