(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-28
(45)【発行日】2024-06-05
(54)【発明の名称】渋滞検知装置、渋滞検知システム、および、渋滞検知方法
(51)【国際特許分類】
G08G 1/01 20060101AFI20240529BHJP
【FI】
G08G1/01 E
(21)【出願番号】P 2020127144
(22)【出願日】2020-07-28
【審査請求日】2023-05-22
【国等の委託研究の成果に係る記載事項】(出願人による申告)2020年度、国立研究開発法人新エネルギー・産業技術総合開発機構「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発/革新的AIエッジコンピューティング技術の開発/ソフトテンソルプロセッサによる超広範囲センシングAIエッジ技術の研究開発」に係る委託研究、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000202361
【氏名又は名称】綜合警備保障株式会社
(73)【特許権者】
【識別番号】513106886
【氏名又は名称】株式会社PKSHA Technology
(74)【代理人】
【識別番号】100105957
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】江下 尚彦
(72)【発明者】
【氏名】森口 拓雄
(72)【発明者】
【氏名】徳梅 慎也
(72)【発明者】
【氏名】加藤 俊幸
【審査官】増子 真
(56)【参考文献】
【文献】特開平06-004795(JP,A)
【文献】特開2017-076399(JP,A)
【文献】特開2006-330942(JP,A)
【文献】特開2000-081339(JP,A)
【文献】特開2007-026301(JP,A)
【文献】特表2018-521392(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
G09B 23/00 - 29/14
G01C 21/00 - 21/36
G01C 23/00 - 25/00
(57)【特許請求の範囲】
【請求項1】
映像のなかで移動体の渋滞を検知するピクセル領域が判定窓であり、
映像のなかで特定された移動体の位置を示す時系列データから前記判定窓を生成するように学習および条件設定の少なくとも一方を行った学習器を用いて新たな映像から当該映像の前記判定窓を生成する判定窓生成部と、
前記判定窓生成部が生成した前記判定窓における前記移動体の混雑状況を示す指数を算出して前記判定窓生成部が生成した前記判定窓での前記移動体の渋滞を推定する渋滞推定部と、を備え
、
前記判定窓生成部は、前記時系列データに含まれる第1画像と第2画像とであって、時系列的に並ぶ前記第1画像と前記第2画像とにおいて、前記第1画像に含まれる前記移動体の位置と、前記第2画像に含まれる前記移動体の位置とに基づいて算出される2次元ベクトルである動線に基づいて前記判定窓を生成する
渋滞検知装置。
【請求項2】
映像のなかで移動体の渋滞を検知するピクセル領域が判定窓であり、
映像のなかで特定された移動体の位置を示す時系列データから前記判定窓を生成するように学習および条件設定の少なくとも一方を行った学習器を用いて新たな映像から当該映像の前記判定窓を生成する判定窓生成部と、
前記判定窓生成部が生成した前記判定窓における前記移動体の混雑状況を示す指数を算出して前記判定窓生成部が生成した前記判定窓での前記移動体の渋滞を推定する渋滞推定部と、を備え、
前記渋滞推定部は、前記判定窓において、前記移動体の前記指数が閾値以下である状態が前記判定窓の再設定時間以上継続した場合に、前記判定窓生成部に新たな前記判定窓を生成させる
渋滞検知装置。
【請求項3】
前記渋滞推定部は、前記判定窓において、前記移動体の前記指数が閾値以下である状態が前記判定窓の再設定時間以上継続した場合に、前記判定窓生成部に新たな前記判定窓を生成させる
請求項1に記載の渋滞検知装置。
【請求項4】
前記渋滞推定部は、前記判定窓について、単位時間ごとに算出された前記移動体の前記指数における算出時間での平均値から前記判定窓での前記移動体の前記渋滞を推定する
請求項1
から3のいずれか1項に記載の渋滞検知装置。
【請求項5】
前記渋滞推定部は、前記渋滞を推定する条件に、前記平均値が閾値以上であることが渋滞判定時間以上継続することを含み、
前記渋滞推定部は、前記渋滞判定時間以上継続することが成立した場合に、前記判定窓において渋滞が生じていると推定する
請求項
4に記載の渋滞検知装置。
【請求項6】
前記混雑状況を示す前記指数は、前記移動体の密度、前記移動体の移動速度、および、前記移動体の通過数の少なくとも1つである
請求項1から
5のいずれか一項に記載の渋滞検知装置。
【請求項7】
請求項1から
6のいずれか一項に記載の渋滞検知装置と、
前記渋滞検知装置が前記渋滞を推定した結果を表示する表示部と、を備え、
前記渋滞検知装置は、前記判定窓における前記渋滞を推定した結果に応じて前記判定窓の表示状態を変更するように、前記表示部に前記渋滞を推定した結果を表示させる
渋滞検知システム。
【請求項8】
映像のなかで移動体の渋滞を検知するピクセル領域が判定窓であり、
映像のなかで特定された移動体の位置を示す時系列データから前記判定窓を生成するように学習および条件設定の少なくとも一方を行った学習器を用いて新たな映像から当該映像の前記判定窓を生成することと、
生成された前記判定窓における前記移動体の混雑状況を示す指数を算出して当該生成された前記判定窓での前記移動体の渋滞を推定することと、を含
み、
前記判定窓を生成することは、前記時系列データに含まれる第1画像と第2画像とであって、時系列的に並ぶ前記第1画像と前記第2画像とにおいて、前記第1画像に含まれる前記移動体の位置と、前記第2画像に含まれる前記移動体の位置とに基づいて算出される2次元ベクトルである動線に基づいて前記判定窓を生成することを含む
渋滞検知方法。
【請求項9】
映像のなかで移動体の渋滞を検知するピクセル領域が判定窓であり、
映像のなかで特定された移動体の位置を示す時系列データから前記判定窓を生成するように学習および条件設定の少なくとも一方を行った学習器を用いて新たな映像から当該映像の前記判定窓を生成することと、
生成された前記判定窓における前記移動体の混雑状況を示す指数を算出して当該生成された前記判定窓での前記移動体の渋滞を推定することと、
前記判定窓において、前記移動体の前記指数が閾値以下である状態が前記判定窓の再設定時間以上継続した場合に、新たな前記判定窓を生成することと、を含む
渋滞検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路上における車両やベルトコンベア上における運搬物などの移動体に生じ得る渋滞を検知する渋滞検知装置、渋滞検知システム、および、渋滞検知方法に関する。
【背景技術】
【0002】
道路における車両の交通流を監視する交通流監視システムとして、画像中の道路を認識することが可能なオペレーターが、ビデオカメラでの撮影によって得られた画像に対して画像中の道路を設定する技術が知られている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の監視方法では、例えばオペレーターのように車両などの移動体が移動する経路を認識可能であること、すなわち、移動体の経路に関する情報を予め有していることを前提として経路上における交通流の監視を可能としている。そのため、画像から得られる情報から移動体の経路を認識することが可能な人間、あるいは、当該人間が行う作業の代替が可能な情報およびシステムなどの資源が必要である。こうした資源は、調達や構築に手間、時間、および、費用を要することから、また、画像における経路の変化に対する追従性が低いことから、移動体の経路に関する情報に依存しない渋滞の検知技術が求められている。
【0005】
本発明は、撮影結果の変化に対する追従性を向上可能とした渋滞検知装置、渋滞検知システム、および、渋滞検知方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するための渋滞検知装置は、映像のなかで移動体の渋滞を検知するピクセル領域が判定窓であり、映像のなかで特定された移動体の位置を示す時系列データから前記判定窓を生成するように学習および条件設定の少なくとも一方を行った学習器を用いて新たな映像から当該映像の前記判定窓を生成する判定窓生成部と、前記判定窓生成部が生成した前記判定窓における前記移動体の混雑状況を示す指数を算出して前記判定窓生成部が生成した前記判定窓での前記移動体の渋滞を推定する渋滞推定部と、を備える。
【0007】
上記課題を解決するための渋滞検知方法は、映像のなかで移動体の渋滞を検知するピクセル領域が判定窓であり、映像のなかで特定された移動体の位置を示す時系列データから前記判定窓を生成するように学習および条件設定の少なくとも一方を行った学習器を用いて新たな映像から当該映像の前記判定窓を生成することと、生成された前記判定窓における前記移動体の混雑状況を示す指数を算出して当該生成された前記判定窓での前記移動体の渋滞を推定することと、を含む。上記各構成によれば、移動体の位置を示す時系列データから検知の対象である判定窓が生成されるため、撮影結果の変化に対する追従性を向上することが可能である。
【0008】
上記渋滞検知装置において、前記渋滞推定部は、前記判定窓において、前記移動体の前記指数が閾値以下である状態が前記判定窓の再設定時間以上継続した場合に、前記判定窓生成部に新たな前記判定窓を生成させてもよい。この構成によれば、判定窓生成部が生成した判定窓には、移動体が存在可能な判定窓が含まれやすくなるから、渋滞検知装置による渋滞の推定における効率が高くなる。
【0009】
上記渋滞検知装置において、前記渋滞推定部は、前記判定窓について、単位時間ごとに算出された前記移動体の前記指数における算出時間での平均値から前記判定窓での前記移動体の前記渋滞を推定してもよい。
【0010】
上記構成によれば、渋滞推定部による渋滞の推定に算出時間にわたる移動体の混雑状況を示す指数が反映されるから、特定の時点における移動体の混雑状況を示す指数から渋滞を推定する場合に比べて、推定の精度を高めることが可能である。
【0011】
上記渋滞検知装置において、前記渋滞推定部は、前記渋滞を推定する条件に、前記平均値が閾値以上であることが渋滞判定時間以上継続することを含み、前記渋滞推定部は、前記渋滞判定時間以上継続することが成立した場合に、前記判定窓において渋滞が生じていると推定してもよい。
【0012】
上記構成によれば、指数の平均値が閾値以上の状態が継続された場合に判定窓において渋滞が生じていると推定されるから、指数の平均値が特定の時点において一時的に閾値を超えたときに渋滞が生じていると推定される場合に比べて、渋滞の推定における精度が高められる。
【0013】
上記渋滞検知装置において、前記混雑状況を示す前記指数は、前記移動体の密度、前記移動体の移動速度、および、前記移動体の通過数の少なくとも1つであってよい。この構成によれば、車両の密度、車両の移動速度、および、車両の追加台数の少なくとも1つを用いることによって、判定窓における渋滞を推定することが可能である。
【0014】
上記課題を解決するための渋滞検知システムは、上記渋滞検知装置と、前記渋滞検知装置が前記渋滞を推定した結果を表示する表示部と、を備える。前記渋滞検知装置は、前記判定窓における前記渋滞を推定した結果に応じて前記判定窓の表示状態を変更するように、前記表示部に前記渋滞を推定した結果を表示させる。この構成によれば、判定窓の渋滞を推定した結果に応じて判定窓の表示状態が変更されるため、表示部が表示する内容から判定窓の渋滞を推定した結果が把握されやすい。
【発明の効果】
【0015】
本発明によれば、撮影結果の変化に対する追従性を向上することができる。
【図面の簡単な説明】
【0016】
【
図6】渋滞検知装置が行う処理の一例を示すフローチャート。
【
図7】渋滞検知装置が行う処理の一例を示すフローチャート。
【
図8】渋滞検知装置が行う処理の一例を示すフローチャート。
【発明を実施するための形態】
【0017】
図1から
図13を参照して、渋滞検知装置、渋滞検知方法、および、渋滞検知システムの一実施形態を説明する。以下では、渋滞検知システム、渋滞検知装置、渋滞検知方法、および、作用を順に説明する。
【0018】
[渋滞検知システム]
図1を参照して渋滞検知システムを説明する。
図1が示すように、渋滞検知システム10は、1以上の渋滞検知装置11と監視センター12とを備えている。渋滞検知システム10は、移動体の一例である車両Cの流れを時系列画像群である映像から検知する。渋滞検知システム10は、車両Cの流れに渋滞が生じていることを検知する。渋滞検知システム10は、渋滞検知システム10に接続された利用者端末13に渋滞マップを提供する。渋滞マップは、渋滞が生じている道路と、渋滞が生じていない道路とを示す地図である。
【0019】
渋滞検知装置11は、例えば、高層ビルBの屋上および鉄塔Tの上部などの高所に配置されている。渋滞検知装置11は、撮影部11A、車両検知モジュール、動作推定部、渋滞推定部、および、記憶部を備えている。渋滞検知装置11は、例えば、撮影部11Aを構成するビデオカメラと、車両検知モジュール、動作推定部、渋滞推定部、および、記憶部を構成するコンピューターとを備えている。
【0020】
撮影部11Aは、撮影部11Aが撮影する映像のなかに多数の車両Cが含まれるように、車両Cの走行環境を撮影する。車両Cの走行環境は、都道府県道、一般国道、および、高速自動車国道などの道路と、建築物、建造物、および、自然環境などの道路周辺環境とを含む。撮影部11Aが撮影する車両Cの走行環境は、車両Cの流れを検知される対象である。
【0021】
渋滞検知装置11は、撮影部11Aが撮影した映像から車両Cの流れを検知するとともに、車両Cの流れに渋滞が生じていること検知する。渋滞検知装置11は、ネットワークNを通じて監視センター12に接続されている。渋滞検知装置11は、当該渋滞検知装置11が担う検知の対象に渋滞が生じているか否かを監視センター12に送信する。
【0022】
監視センター12は、情報処理部12Aと表示部12Bとを備えている。情報処理部12Aは、各種の情報を処理するためのコンピューターを備えている。情報処理部12Aは、ネットワークNを通じて複数の渋滞検知装置11に接続されている。情報処理部12Aは、渋滞検知装置11が送信した検知の結果を受信して、当該検知に用いられた映像中の道路と、実際の地図上における道路とを整合させる。情報処理部12Aは、渋滞検知装置11から受信した検知の結果を用いて、実際の道路において渋滞が生じているか否かを示す渋滞マップを生成する。情報処理部12Aは、当該情報処理部12Aが生成した渋滞マップを利用者端末13に送信する。
【0023】
表示部12Bは、渋滞検知装置11が渋滞を推定した結果を表示する。詳細には、表示部12Bは、情報処理部12Aにおける処理の状況と、情報処理部12Aが生成した渋滞マップとを表示する。
【0024】
各利用者端末13は、ネットワークNを通じて監視センター12の情報処理部12Aに接続されている。利用者端末13は、例えばスマートフォンおよびタブレットなどである。利用者端末13は、監視センター12から受信した渋滞マップを利用者に提供する。
【0025】
[渋滞検知装置]
図2から
図5を参照して渋滞検知装置11をより詳細に説明する。
図2が示すように、渋滞検知装置11は、車両検知モジュール21、動作推定部22、渋滞推定部23、および、記憶部24を備えている。
【0026】
渋滞検知装置11は、撮影部11Aによって時系列画像群GPを取得し、渋滞検知装置11が取得した映像から判定結果情報DRおよび判定可視化ファイルFを生成する。渋滞検知装置11は、当該渋滞検知装置11が生成した判定結果情報DRおよび判定可視化ファイルFを監視センター12に送信する。なお、監視センター12は、判定結果情報DRおよび判定可視化ファイルFに基づいて、上述した渋滞マップを生成する。
【0027】
記憶部24は、設定値D1、中間情報D2、判定結果情報DR、および、判定可視化ファイルFを記憶する。設定値D1は、車両閾値、判定窓位置情報、判定窓再設定時間、平均車両密度算出時間、車両密度閾値、および、渋滞判定時間を含む。車両閾値は、車両検知モジュール21が車両Cを検知した結果の確信度に対して設定される閾値である。確信度が車両閾値以上である場合に、車両検知モジュール21が検知した物体が車両Cであると判定される。
【0028】
判定窓位置情報は、映像に設定される各判定窓のピクセル座標を含む。なお、判定窓位置情報は、渋滞検知装置11による判定窓の生成が行われない場合に、渋滞検知装置11によって用いられる設定値である。判定窓再設定時間は、判定窓を新たに設定する際に考慮される時間である。平均車両密度算出時間は、判定窓における平均車両密度を算出する際に考慮される時間である。
【0029】
中間情報D2は、車両情報、判定窓情報、および、車両密度情報を含む。車両情報は、車両検知モジュール21によって検知された各車両に紐付けられた情報である。車両情報は、例えば、車両のサイズ、ピクセル座標上における車両の位置、および、確信度を含む。判定窓情報は、判定窓のピクセル座標を含む。車両密度情報は、撮影部11Aが撮影した各画像での密度、および、時系列画像群GPでの平均密度を含む。
【0030】
判定結果情報DRは、判定窓における渋滞の有無、および、当該渋滞の有無が判定された時刻を含む。判定可視化ファイルFは、撮影部11Aが撮影した画像に対して判定窓を重ねた映像ファイルである。
【0031】
図3は、渋滞検知装置11が設定する判定窓を模式的に示している。なお、
図3には2つの判定窓が示され、かつ、図示の便宜上、各判定窓が略四角形状を有するように示されている。
【0032】
図3が示すように、車両群が時系列画像群GPにおいて移動したと推定される画像空間でのピクセル領域が、1つの判定窓Wに定義される。判定窓Wは、映像のなかで車両Cの渋滞を検知するピクセル領域である。時系列画像群GPから得られる各車両Cの動線群は、時系列画像群GPにおける車両群の動きの遷移として扱われる。1つの判定窓Wには、同一方向に進むと推定された車線群が含まれる。同一方向に進む車線群は、例えば走行車線と走行車線に隣り合う追い越し車線とを含むことができる。
【0033】
図3に示される各判定窓Wは、以下に記載の方法によって設定される。まず、時系列画像群GPから得られる各車両Cに当該車両Cのトラッキングを通じて車両IDが付される。
図3が示す例では、3台の車両Cの各々に対して、車両ID1、車両ID2、および、車両ID3のいずれかが付されることによって、3台の車両Cには互いに異なる車両IDが付される。
【0034】
次に、同一の車両IDが付された車両Cについて、時系列画像群GPに含まれる先の画像である第1画像での車両Cの位置と、その次の画像である第2画像での車両Cの位置とが特定される。各車両Cの位置は、2次元座標(x,y)によって示される。なお、
図3には、各車両Cについて、時系列的に並ぶ第1タイミング、第2タイミング、および、第3タイミングでの位置が示されている。
【0035】
第1タイミングにおいて得られた画像を第1画像に設定し、第2タイミングにおいて得られた画像を第2画像に設定することができる。この場合には、車両ID1が付された車両Cについて、第1画像での位置が(x11,y11)であり、第2画像での位置が(x12,y12)である。また、車両ID2が付された車両Cにおいて、第1画像での位置が(x21,y21)であり、第2画像での位置が(x22,y22)である。また、車両ID3が付された車両Cにおいて、第1画像での位置が(x31,y31)であり、第2画像での位置が(x32,y32)である。
【0036】
なお、第2タイミングにおいて得られた画像を第1画像に設置し、第3タイミングにおいて得られた画像を第2画像に設定することも可能である。この場合には、車両ID1が付された車両Cについて、第1画像での位置が(x12,y12)であり、第2画像での位置が(x13,y13)である。また、車両ID2が付された車両Cにおいて、第1画像での位置が(x22,y22)である一方で、第3画像では車両ID2が付された車両Cがトラッキングされていない。また、車両ID3が付された車両Cにおいて、第1画像での位置が(x32,y32)であり、第2画像での位置が(x33,y33)である。なお、上述した時系列的に並ぶ車両Cの位置を示すデータが、時系列データの一例である。
【0037】
時系列画像群GPにおいて特定された車両Cの位置を車両Cごとの入力として、各車両Cの動線LF、および、動線LF同士の関連性を考慮して、学習器が判定窓Wを生成する。このように、判定窓Wに動線LFに関する情報が用いられるから、判定窓Wには、車両Cの進行方向に関する情報が含まれる。なお、各車両Cの動線LFは、当該車両Cにおける第1画像での位置と第2画像での位置とに基づいて算出される2次元ベクトルである。そのため、各車両Cの動線LFは、車両Cの進行方向を示している。生成された各判定窓Wには、判定窓IDが付される。
【0038】
なお、判定窓Wの生成時には、各車両Cについて、第1画像における車両Cの中央位置CPと第2画像における車両Cの中央位置CPとの中点MPが考慮される。車両Cの中央位置CPは、車両Cのフェレ径によって特定した四角形における中央の二次元座標である。
【0039】
図4は、渋滞検知装置11が備える動作推定部22、および、渋滞推定部23を示す機能ブロック図である。
図4が示すように、動作推定部22は、車両情報生成部22Aと判定窓生成部22Bとを備えている。渋滞推定部23は、車両密度算出部23A、渋滞判定部23B、および、判定結果可視化部23Cを備えている。渋滞推定部23は、判定窓生成部22Bが生成した判定窓Wにおける車両Cの混雑状況を示す指数を算出して判定窓生成部22Bが生成した判定窓Wでの車両Cの渋滞を推定する。本実施形態では、車両Cの混雑状況を示す指数として、車両Cの密度が用いられている。
【0040】
車両検知モジュール21は、時系列画像群GPを入力し、各画像に含まれる車両Cを検知する。
車両情報生成部22Aは、車両検知モジュール21が検知した車両Cに関する情報を入力し、かつ、車両閾値THCを記憶部24から読み出して、車両Cのサイズ、位置、および、確信度を含む車両情報DCを生成する。車両情報生成部22Aが生成した車両情報DCは、判定窓生成部22Bおよび車両密度算出部23Aに入力される。
【0041】
判定窓生成部22Bは、映像のなかで特定された車両Cの位置を示す時系列データから判定窓Wを生成するように学習した学習器を用いて新たな映像から当該映像の判定窓Wを生成する。詳細には、判定窓生成部22Bは、車両情報DCに基づいて複数の動線LFを生成し、生成した動線群から車両群が移動したピクセル領域を推定して、判定窓情報DWを生成する。判定窓生成部22Bが生成した判定窓情報DWは、車両密度算出部23Aに入力される。判定窓生成部22Bは判定窓設定時間TSを記憶部24から読み出し、時系列画像群GPの入力を開始してから判定窓設定時間TSが経過した場合に、判定窓Wを生成する。なお、判定窓生成部22Bには、判定窓Wにおいて車両Cが認められない状態が判定窓再設定時間TR以上継続した場合に、車両密度算出部23Aから再設定指令CRが入力される。これによって、判定窓生成部22Bは、判定窓Wの最適化、すなわち再設定を行う。また、判定窓生成部22Bは、車両情報DCに基づく判定窓Wの生成が行われない場合に、判定窓位置情報DWPを記憶部24から読み出す。そして、判定窓生成部22Bは、判定窓位置情報DWPに基づいて判定窓情報DWを生成する。
【0042】
車両密度算出部23Aは、車両情報DCおよび判定窓情報DWを入力し、かつ、平均車両密度算出時間TDおよび判定窓再設定時間TRを記憶部24から読み出す。車両密度算出部23Aは、単位時間ごとに算出された車両Cの密度における平均車両密度算出時間TDでの平均値を算出する。詳細には、車両密度算出部23Aは、各画像において各判定窓での車両Cの密度を算出する。そして、平均車両密度算出時間TDに応じた期間における車両密度の平均値を算出する。車両密度の平均値を含む車両密度情報DDは、渋滞判定部23Bに入力される。
【0043】
なお、車両密度算出部23Aは、少なくとも1つの判定窓Wにおいて、車両Cの密度がゼロである状態、すなわち、判定窓W内に車両Cが存在しない状態が判定窓再設定時間TR以上継続した場合には、再設定指令CRを生成して、判定窓生成部22Bに出力する。これにより、車両密度算出部23Aは、判定窓生成部22Bに新たな判定窓Wを生成させる。
【0044】
渋滞判定部23Bは、車両密度情報DDを入力し、車両密度閾値THDおよび渋滞判定時間TJを記憶部24から読み出す。渋滞判定部23Bは、判定窓Wにおいて、車両密度の平均値が車両密度閾値THD以上である状態が渋滞判定時間TJ以上継続した場合に、その判定窓Wにおいて渋滞が生じていると推定する。このように、渋滞判定部23Bが渋滞を推定する条件には、車両密度の平均値が車両密度閾値THD以上である状態が渋滞判定時間TJ以上継続することが含まれる。そして、渋滞判定部23Bは、渋滞判定時間TJ以上継続することが成立した場合に、判定窓Wにおいて渋滞が生じていると推定する。渋滞判定部23Bによる判定結果情報DRは、判定結果可視化部23Cに入力される。
【0045】
判定結果可視化部23Cは、判定結果情報DR、および、時系列画像群GPを入力する。判定結果可視化部23Cは、判定結果情報DRと時系列画像群GPのうちの最新の画像とを用いて、判定結果を画像中において可視化した判定可視化ファイルFを生成する。判定可視化ファイルFは、例えば、判定対象である各判定窓W、および、各判定窓Wにおける渋滞の有無を可視化する。
【0046】
判定結果可視化部23Cは、判定窓Wにおける渋滞を推定した結果に応じて判定窓Wの表示状態を変更するように、表示部12Bに渋滞を推定した結果を表示させる。詳細には、判定結果可視化部23Cは、例えば、判定結果可視化部23Cが生成する判定可視化ファイルFには、判定窓Wを可視化するための情報が含まれる。また、判定可視化ファイルFには、渋滞が生じている判定窓Wと、渋滞が生じていない判定窓Wとの表示状態が互いに異なるように表示するための情報が含まれる。具体的には、判定可視化ファイルFには、判定窓Wの外形を表示するための情報が含まれる。また、判定可視化ファイルFには、渋滞が生じている判定窓Wの外形が呈する色と、渋滞が生じていない判定窓Wの外形が呈する色とが互いに異なる色であるように表示するための情報が含まれる。
【0047】
図5は、判定窓生成部22BのAI構成を示している。
図5には、学習器がニューラルネットワーク(NN: Neural Network)である場合におけるAI構成の一例を示している。
【0048】
図5が示すように、判定窓生成部22Bは、学習器30を備えている。学習器30は、入力層31、複数の中間層(隠れ層)32,33、および、出力層34を含んでいる。入力層31は、複数の入力ノードN31によって形成される。各中間層32,33は、複数の中間ノードN32,N33によって形成される。出力層34は、複数の出力ノードN34によって形成される。
【0049】
ニューラルネットワークは、所定の演算を入力値に適用して出力値を演算するモデルである。
図5が示す例では、学習器30が2つの中間層32,33を備えているが、学習器30は、1以上の中間層を備えることが可能である。すなわち、中間層32と出力層34との間には、学習器30が備える中間層の数に応じたノードが介在してよい。
【0050】
入力ノードN31を中間ノードN32に接続するエッジE、中間ノードN32を中間ノードN33に接続するエッジE、および、中間ノードN33を出力ノードN34に接続するエッジEは、それぞれ独立に定められた重みを有する。各エッジEが有する重みは、当該エッジEの入力端であるノードの入力値に掛け合わせられ、これらが掛け合わせられた結果は、当該エッジEの出力端であるノードに引き渡される。
【0051】
各中間ノードN32,N33は、当該中間ノードN32,N33に引き渡された値を足し合わせる。各出力ノードN34は、中間ノードN32,N33と同様に、当該出力ノードN34に引き渡された値を足し合わせる。各中間ノードN32,N33は、当該中間ノードN32,N33において足し合わせられた値を、当該中間ノードN32,N33が有する活性化関数に適用することによって、当該中間ノードN32,N33の出力値を算出する。各出力ノードN34は、当該出力ノードN34において足し合わせられた値を、当該出力ノードN34が有する活性化関数に適用することによって、当該出力ノードN34の出力値を出力する。
【0052】
各ノードN32,N33,N34が有する活性化関数は、例えば、softmax関数、logistic関数、hyperbolic tangent関数、および、Rectifier Linear Unitなどである。各エッジEが有する重みは、ニューラルネットワークの学習によって最適化される。
【0053】
なお、学習器30は、畳み込みニューラルネットワークを備えてもよい。畳み込みニューラルネットワークは、畳み込み層、プーリング層、および、全結合層を中間層として備える。畳み込み層は、入力に対して畳み込み処理を行う。プーリング層は、入力に対してプーリング処理を行う。全結合層は、全結合層を形成する各ノードと、全結合層の1つ前の層を形成する全てのノードとを結合する。
【0054】
畳み込み処理は、二次元の入力全体にフィルタを適用する。フィルタは、所定サイズの二次元領域において、入力の特徴を凝縮する。フィルタは、畳み込みニューラルネットワークの学習によって更新される。すなわち、畳み込み処理は、二次元の入力全体において、入力の特徴を凝縮させて次の層に出力する。
【0055】
プーリング処理は、畳み込み処理の次に行われる。プーリング処理は、所定サイズの二次元領域ごとに重要な要素を抽出することを、二次元の入力に適用する。重要な要素は、所定サイズの二次元領域における最大値、あるいは、所定サイズの二次元領域における平均値などである。
【0056】
上述のように構成された判定窓生成部22Bの学習器30は、各車両IDに関連付けられた車両Cの動線LFを学習器30に入力する。上述したように、動線LFは、第1画像における車両Cの位置と、第2画像における車両Cの位置とから算出される二次元ベクトルである。さらに、学習器30は、車両IDが付された車両Cの台数分だけ、第1画像での車両Cの中央位置CPと、第2画像での車両の中央位置CPとの中点MPを入力する。各車両Cの中央位置CPは、各車両Cをフェレ径によって特定した四角形における中央位置である。これらの入力を用いて、学習器30は、渋滞検知の対象である判定窓Wを生成する。
【0057】
この際に、学習器30は、各車両Cの動線LFについて、自車両の各動線LFと他車両の各動線LFとの相互作用を各車両Cの中点MPとともに考慮する。これによって、「同一方向に進む道路上での走行による動線LF」と推定される複数の動線LFを共通する1つの経路に分類する。一方で、「同一方向に進まない道路上での走行による動線LF」と推定される動線LF同士を相互に異なる経路に分類する。すなわち、学習器30は、動線LFの分類器として機能する。
【0058】
なお、例えば、大型車両の走行では、車線の変更が少ないこと、および、大型車両は通常車線を走行する頻度が高いことが、動線LFの分類において考慮される。例えば、普通車両の走行では、車線の変更が多いこと、および、普通車両は追い越し車線を走行する頻度が高いことが、動線LFの分類において考慮される。
【0059】
また、学習器30は、同一の経路に分類された動線群を1つの動線に統合し、相互に異なる経路に分類された動線群に含まれる各動線LFを別々の動線として取り扱う。これによって、学習器30は、画像空間における道路を推定する。すなわち、学習器30は、動線LFの分類に基づいて同一の分類に属する複数の動線LFを統合する統合器として機能する。
【0060】
また、学習器30は、動線LFを形成した車両Cの中点MPを考慮し、統合された動線、および、別々に取り扱われた動線について、車両Cの中点MPが中央位置に一致するように当該車両Cのフェレ径によって特定される四角形を当てはめ、かつ、統合された動線に含まれる全てのフェレ径によって特定される四角形の論理和を車両群が画像空間のなかで移動したと推定されるピクセル領域として定める。すなわち、学習器30は、判定窓Wを生成する生成器として機能する。
【0061】
なお、学習器30は、上述したニューラルネットワーク以外であってよく、例えば、SMR(Support Vector Regression)であってもよい。学習器30は、教師あり学習、教師なし学習、ディープラーニング、および、強化学習のいずれかであってもよい。
【0062】
[渋滞検知方法]
図6から
図8を参照して渋滞検知方法を説明する。
図6は、渋滞検知処理の手順を示している。
【0063】
図6が示すように、渋滞検知装置11は、撮影部11Aが撮影した画像Pを取得し(ステップS11)、車両閾値THCを用いて画像P内に含まれる車両Cを検知し、検知した各車両Cに車両IDを付与する(ステップS12)。渋滞検知装置11は、車両IDが付与された車両Cをトラッキングする(ステップS13)。次いで、渋滞検知装置11は、時系列画像GPの取得を開始してから判定窓設定時間TSが経過したか否かを判断する(ステップS14)。判定窓設定時間TSが経過していない場合には(ステップS14:NO)、渋滞検知装置11は、画像取得(ステップS11)、車両検知(ステップS12)、および、トラッキング(ステップS13)の処理を判定窓設定時間TSが経過するまで継続する。
【0064】
渋滞検知装置11が、判定窓設定時間TSが経過したと判断した場合には(ステップS14:YES)、渋滞検知装置11は、トラッキングによって得られた複数の位置から動線LFを生成し(ステップS15)、生成した動線LF分類する(ステップS16)。そして、渋滞検知装置11は、分類した動線LFを同一の分類ごとに統合し(ステップS17)、統合した動線に対して1つ以上の判定窓Wを設定する(ステップS18)。次いで、渋滞検知装置11は、判定窓Wごとの渋滞検知を行うことによって(ステップS19)、当該処理を一旦終了する。なお、2つ以上の判定窓Wが設定された場合には、各判定窓WについてステップS19の処理が行われる。
【0065】
図7は、
図6が示すフローチャートのステップS19において行われる処理を示している。
図7が示すように、渋滞検知装置11は、撮影部11Aが撮影した画像Pを取得し(ステップS21)、車両閾値THCを用いて画像P内に含まれる車両Cを検知する(ステップS22)。なお、検知した車両Cの進行方向が判定窓Wを通過すべき車両Cの進行方向と異なる場合は、当該車両Cは検知すべき車両Cとはしない。渋滞検知装置11は、平均車両密度算出時間TDが経過したか否かを判断し(ステップS23)、平均車両密度算出時間TDが経過していない場合には(ステップS23:NO)、渋滞検知装置11、平均車両密度算出時間TDが経過するまで、画像取得(ステップS21)および車両検知(ステップS22)を継続する。
【0066】
渋滞検知装置11が、平均車両密度算出時間TDが経過したと判断した場合には(ステップS23:YES)、渋滞検知装置11は、各判定窓Wについて、平均車両密度算出時間TDにおける車両密度の平均値を算出する(ステップS24)。
【0067】
次いで、渋滞検知装置11は、算出した車両密度の平均値が車両密度閾値THD以上であるか否かを判断する(ステップS25)。車両密度の平均値が車両密度閾値THD以上である場合には(ステップS25:YES)、渋滞検知装置11は、車両密度の平均値が車両密度閾値THD以上になった時点から渋滞判定時間TJが経過したか否かを判断する(ステップS26)。渋滞判定時間TJが経過した場合には(ステップS26:YES)、渋滞検知装置11は、その判定窓Wについて渋滞が生じていることを示す判定結果情報DRを生成する(ステップS27)。次いで、渋滞検知装置11は、渋滞検知処理を終了するか否かを判断し(ステップS28)、渋滞検知処理を終了する場合には(ステップS28:YES)、渋滞検知処理を終了する一方で、渋滞検知処理を終了しない場合には(ステップS28:NO)、渋滞検知装置11は、渋滞検知処理を画像取得の処理(ステップS21)から繰り返す。
【0068】
一方で、渋滞判定時間TJが経過していない場合には(ステップS26:NO)、渋滞検知装置11は、その判定窓Wについて渋滞が生じていないことを示す判定結果情報DRを生成する(ステップS32)。次いで、渋滞検知装置11は、渋滞検知処理を終了するか否かを判断し、渋滞検知処理を終了する場合には(ステップS28:YES)、渋滞検知処理を終了する一方で、渋滞検知処理を終了しない場合には(ステップS28:NO)、渋滞検知装置11は、渋滞検知処理を画像取得の処理(ステップS21)から繰り返す。
【0069】
これに対して、車両密度の平均値が車両密度閾値THD未満である場合には(ステップS25:NO)、渋滞検知装置11は、車両密度の平均値が車両密度閾値THD以上である期間の計時をリセットする(ステップS31)。そして、渋滞検知装置11は、その判定窓Wについて渋滞が生じていないことを示す判定結果情報DRを生成する(ステップS32)。次いで、渋滞検知装置11は、渋滞検知処理を終了するか否かを判断し(ステップS28)、渋滞検知処理を終了する場合には(ステップS28:YES)、渋滞検知装置11は渋滞検知処理を終了する一方で、渋滞検知処理を終了しない場合には(ステップS28:NO)、渋滞検知装置11は渋滞検知処理を画像取得の処理(ステップS21)から繰り返す。
【0070】
なお、車両密度算出部23Aは、上述した渋滞検知処理とは別に、
図8が示す再設定処理を行う。
図8が示すように、車両密度算出部23Aは、車両情報生成部22Aが生成した車両情報DCを車両Cの検知結果として取得し(ステップS41)、各判定窓W内に車両Cが存在するか否かを判断する(ステップS42)。少なくとも1つの判定窓W内に車両Cが存在しない場合には(ステップS42:NO)、車両密度算出部23Aは、少なくとも1つの判定窓W内に車両が存在しないと判断された時点から、判定窓再設定時間TRが経過したか否かを判断する(ステップS44)。判定窓再設定時間TRが経過した場合には(ステップS44:YES)、車両密度算出部23Aは再設定指令CRを生成する(ステップS45)。車両密度算出部23Aが再設定指令CRを生成すると、
図6が示す画像取得処理(ステップS11)から渋滞検知処理が再度行われる。これに対して、判定窓再設定時間TRが経過していない場合には(ステップS44:NO)、検知結果を取得する処理(ステップS41)以降の処理が再び行われる。
【0071】
一方で、全ての判定窓W内に車両C存在する場合には(ステップS42:YES)、車両密度算出部23Aは、少なくとも1つの判定窓W内に車両Cが存在しない期間の計時をリセットする(ステップS43)。そして、検知結果を取得する処理(ステップS41)以降の処理が再び行われる。
【0072】
[作用]
図9から
図13を参照して作用を説明する。なお、
図9から
図13は、判定可視化ファイルFに基づき監視センター12の情報処理部12Aが生成した渋滞マップを表示部12Bが表示した画像の一例を示している。また、
図9から
図13に示される黒丸、白丸、および、黒四角は、車両Cをフェレ径によって特定した四角形における中央位置を示している。また、
図9から
図13では、図示の便宜上、信号の図示が省略されている。
【0073】
図9は、上下方向に延びる道路において、信号が交差点への進入禁止を示す一方で、左右方向に沿って延びる道路において、信号が交差点への進入許可を示している場合を示している。
【0074】
図9が示すように、車両Cの進行が許可された左右方向に延びる道路Rでは、車両Cの検知結果に基づいて、判定窓Wが設定される。また、上下方向に延びる道路Rのうち、各車線では、交差点ISよりも前の領域において車両Cが検知されるため、交差点ISよりも前の領域に重なる判定窓Wが設定される。これに対して、各車線では、交差点ISよりも後の領域において車両Cが検知されないため、交差点ISよりも後の領域に重なる判定窓Wは設定されない。すなわち、
図9が示す例は、
図9において破線で示される車両Cが位置する領域には、実線で示される車両Cが位置する領域と同一のタイミングでは、判定窓Wが設定されないことを示している。
【0075】
図10は、推定対象の領域が交差点ISを含む場合を示している。
図10が示すように、上下方向に延びる片側1車線から構成される2車線の道路Rと、左右方向に延びる片側1車線から構成される2車線の道路Rとが交差点ISを形成している。
図10が示す例では、左右方向に延びる2車線において、信号が交差点ISへの進入禁止を示している。この場合には、例えば、上下方向に延びる一方の車線に重なる判定窓Wにおいて、渋滞が生じていることが推定される。一方で、それ以外の判定窓Wでは、渋滞が生じていないと推定される。
【0076】
この際に、渋滞が生じていると推定された判定窓Wは、渋滞が生じていないと推定された判定窓Wとは異なる状態で表示される。例えば
図10では、渋滞が生じていると推定された判定窓Wは、太破線を用いて示される一方で、渋滞が生じていないと推定された判定窓Wは、二点鎖線を用いて示されている。
【0077】
図11は、撮影部11Aの撮影範囲が、
図9が示す第1範囲から第2範囲にずれた場合を示している。
図11において、細破線を用いて示される判定窓WBが、撮影部11Aの撮影範囲が第1範囲であるときに設定された判定窓である。撮影範囲が第1範囲である場合には、細破線を用いて示される各判定窓WBは、左右方向に延びる道路Rに重なる領域であったため、各判定窓WBには少なくとも1つの車両Cが含まれていた。
【0078】
これに対して、撮影範囲が第1範囲から第2範囲にずれた後においては、細破線を用いて示される各判定窓WBは、道路R以外の領域に重なるため、全ての判定窓WBにおいて車両Cが検知されないから、判定窓Wの再設定処理が行われる。これにより、二点鎖線を用いて示される判定窓Wであって、第2範囲を撮影した場合に適した判定窓Wが設定される。
【0079】
図12は、
図9において上下方向に延びる道路Rが、片側1車線から構成される2車線の道路Rから片側2車線から構成される4車線の道路Rに路線拡張された場合を示している。なお、
図12は、上下方向に延びる道路Rが、4車線道路に路線拡張された直後において当該道路Rに対して設定されている判定窓Wを示している。
【0080】
図12が示すように、上下方向に延びる道路Rが片側2車線に路線拡張された場合には、拡張路線EWではない道路Rにおいて、白丸が付された車両Cの進行方向と、判定窓Wを通過すべき車両Cの進行方向とが反対であるため、当該判定窓Wにおいて車両Cが検知されない。結果として、判定窓Wの再設定が必要であると判断される。なお、拡張路線EW上を走行する車両Cであって、黒四角が付された車両Cは、判定窓W以外の領域を走行しているため、黒四角が付された車両Cは渋滞検知の対象に含まれていない。
【0081】
図13は、
図12が示す路線拡張された道路Rに対して、新たな判定窓Wが設定された状態を示している。
図13が示すように、判定窓Wが再設定されることによって、上下方向に延びる道路Rにおいて、片側2車線を含むような判定窓Wが設定される。これにより、拡張後の道路Rに適した判定窓Wが設定される。
【0082】
以上説明したように、渋滞検知装置、渋滞検知システム、および、渋滞検知方法の一実施形態によれば、以下に記載の効果を得ることができる。
(1)車両Cの位置を示す時系列データから検知の対象である判定窓Wが生成されるため、撮影結果の変化に対する追従性を向上することが可能である。
【0083】
(2)再設定指令CRに基づいて判定窓Wが再設定されることによって、判定窓生成部22Bが生成した判定窓Wには、車両Cが存在可能な判定窓Wが含まれやすくなるから、渋滞検知装置11による渋滞の推定における効率が高くなる。
【0084】
(3)渋滞推定部23による渋滞の推定に平均車両密度算出時間TDにわたる車両Cの密度が反映されるから、特定の時点における車両Cの密度から渋滞を推定する場合に比べて、推定の精度を高めることが可能である。
【0085】
(4)車両密度閾値THD以上の平均車両密度が渋滞判定時間TJにわたって継続された場合に判定窓Wにおいて渋滞が生じていると推定されるから、車両Cの密度が特定の時点において閾値を超えたときに渋滞が生じていると推定される場合に比べて、渋滞の推定における精度が高められる。
【0086】
(5)車両Cの密度を用いることによって、判定窓Wにおける渋滞を推定することが可能である。
(6)判定窓Wの渋滞を推定した結果に応じて判定窓Wの表示状態が変更されるため、表示部12Bが表示する内容から判定窓Wの渋滞を推定した結果が把握されやすい。
【0087】
なお、上述した実施形態は、以下のように変更して実施することができる。
[混雑状況を示す指数]
・混雑状況を示す指数は、車両Cの密度に限らず、車両Cの移動速度、および、車両Cの通過台数であってもよい。これらを用いた場合であっても、車両Cの密度を用いた場合と同様に、判定窓Wにおける渋滞を推定することが可能である。また、混雑状況を示す指数には、車両Cの密度、車両Cの移動速度、および、車両Cの通過台数における2つ以上を用いてもよい。
【0088】
[渋滞推定判定部]
・渋滞推定部23は、平均車両密度算出時間TDにおいて算出された車両密度が閾値以上である場合に、判定窓Wにおいて渋滞が生じていると判定してもよい。この場合であっても、上述した(3)に準じた効果を得ることはできる。
【0089】
・渋滞推定部23は、判定窓Wにおける渋滞の有無に限らず、例えば、各判定窓Wにおける渋滞の度合いを推定してもよい。この場合には、例えば、渋滞推定部23は、平均車両密度の値に応じて渋滞の度合いを推定してよい。あるいは、渋滞推定部23は、各判定窓Wにおいて渋滞が生じている確率を推定してもよい。この場合には、例えば、渋滞推定部23は、平均車両密度の値に応じて渋滞が生じている確率を推定してもよい。これらのいずれの場合であっても、上述した(1)に準じた効果を得ることはできる。
【0090】
[車両密度算出部]
・車両密度算出部23Aは、判定窓Wにおける車両Cの密度が、ゼロ以上の所定の閾値以下である場合に、再設定指令CRを生成してもよい。この場合であっても、上述した(2)に準じた効果を得ることはできる。
【0091】
・車両密度算出部23Aは、判定窓Wにおける車両Cの密度が閾値以下であることを条件として再設定指令CRを生成しなくてもよい。この場合であっても、判定窓生成部22Bが、時系列データから判定窓Wを生成することによって、上述した(1)に準じた効果を得ることはできる。
【0092】
[判定結果可視化部]
・判定結果可視化部23Cは、判定可視化ファイルFに対して、渋滞を推定した結果を以下のように反映させてもよい。例えば、判定結果可視化部23Cは、判定窓Wのうちで、渋滞が生じている判定窓Wに対して、渋滞を示す文字、数字、および、記号の少なくとも1つを付すことが可能な判定可視化ファイルFを生成してもよい。あるいは、判定結果可視化部23Cは、判定窓Wのうちで渋滞が生じている判定窓Wを可視化する一方で、渋滞が生じていない判定窓Wを可視化しないことが可能な判定可視化ファイルFを生成してもよい。これらのいずれの場合であっても、表示部12Bが渋滞の推定結果に応じて判定窓Wの表示状態を変えるから、上述した(6)に準じた効果を得ることはできる。
【0093】
[渋滞検知装置]
・渋滞検知装置11は撮影部11Aを備えなくてもよい。この場合には、渋滞検知装置11は、渋滞検知装置11に対して映像を提供することが可能な提供部から映像を入力することが可能であればよい。提供部は、例えば撮像装置であってよい。
【0094】
[学習器]
・学習器30は、判定窓Wを生成するように学習した学習器に限らず、判定窓Wを生成するように条件設定した学習器であってもよい。判定窓Wを生成するように条件設定した学習器は、例えばヒューリスティック手法を用いた条件設定を行う学習器であってよい。またあるいは、学習器は、判定窓Wを生成するように学習および条件設定の両方を行ってもよい。
【0095】
[移動体]
・渋滞の推定対象である移動体は、上述した道路上を移動する車両Cに限らず、例えば、ベルトコンベア上を移動する運搬物でもよい。
【符号の説明】
【0096】
10…渋滞検知システム
11…渋滞検知装置
11A…撮影部
12…監視センター
12A…情報処理部
12B…表示部
21…車両検知モジュール
22…動作推定部
22A…車両情報生成部
22B…判定窓生成部
23…渋滞推定部
23A…車両密度算出部
23B…渋滞判定部
23C…判定結果可視化部
24…記憶部
30…学習器
C…車両
W…判定窓