IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特開2024-48215道路監視システム、情報処理装置、道路監視方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024048215
(43)【公開日】2024-04-08
(54)【発明の名称】道路監視システム、情報処理装置、道路監視方法及びプログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20240401BHJP
   G06V 10/74 20220101ALI20240401BHJP
   G06V 20/54 20220101ALI20240401BHJP
   G08G 1/04 20060101ALI20240401BHJP
   G08G 1/00 20060101ALI20240401BHJP
【FI】
H04N7/18 D
G06V10/74
G06V20/54
G08G1/04 C
G08G1/00 D
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022154133
(22)【出願日】2022-09-27
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】冨永 慎
(72)【発明者】
【氏名】今井 悠介
(72)【発明者】
【氏名】鷺 和俊
(72)【発明者】
【氏名】仙田 裕三
【テーマコード(参考)】
5C054
5H181
5L096
【Fターム(参考)】
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054EA07
5C054FC01
5C054FC07
5C054FC12
5C054FC14
5C054FE17
5C054FE18
5C054GB01
5C054GB05
5C054HA19
5H181AA01
5H181AA05
5H181AA12
5H181CC04
5H181DD02
5H181DD03
5H181FF33
5L096BA02
5L096BA04
5L096CA04
5L096CA05
5L096DA01
5L096DA02
5L096FA02
5L096FA52
5L096FA64
5L096FA69
5L096GA51
5L096HA02
5L096JA03
5L096JA11
(57)【要約】
【課題】効率的な道路監視を支援する。
【解決手段】道路監視システム100は、映像取得部121、対象判断部122及び表示制御部133を備える。映像取得部121は、道路を撮影した映像を取得する。対象判断部122は、映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、少なくとも1つのフレーム画像が分析対象であるか否かを判断する。表示制御部133は、判断の結果に基づく情報を表示部に表示させる。表示制御部133は、第1制御部133b及び第2制御部133cを含む。第1制御部133bは、分析対象であると判断された少なくとも1つのフレーム画像の分析結果を表示部に表示させる。第2制御部133cは、分析対象ではないフレーム画像が検出されたことを示す検出情報を表示部に表示させる。
【選択図】図1
【特許請求の範囲】
【請求項1】
道路を撮影した映像を取得する映像取得手段と、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断する対象判断手段と、
前記判断の結果に基づく情報を表示手段に表示させる表示制御手段と、を備え、
前記表示制御手段は、
前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を前記表示手段に表示させる第1制御手段と、
分析対象ではないフレーム画像が検出されたことを示す検出情報を前記表示手段に表示させる第2制御手段と、を含む
道路監視システム。
【請求項2】
前記対象判断手段は、前記少なくとも1つのフレーム画像の画像特徴量と前記参照画像の画像特徴量とを比較した結果と、前記第1基準とに基づいて、前記少なくとも1つのフレーム画像が前記分析対象であるか否かを判断する
請求項1に記載の道路監視システム。
【請求項3】
前記参照画像を選定するための条件を規定する選定条件に従って、複数の候補画像の中から前記参照画像を選定する選定手段をさらに備える
請求項1又は2に記載の道路監視システム。
【請求項4】
前記選定条件は、(1)撮影環境に関する条件、(2)前記参照画像を切り替える時期に関する条件、の少なくとも1つを含む
請求項3に記載の道路監視システム。
【請求項5】
前記選定条件は、前記参照画像を切り替える時期に関する条件を含み、
前記選定手段は、前記参照画像を切り替える時期に、前記複数の候補画像の中から前記参照画像を選定する
請求項3に記載の道路監視システム。
【請求項6】
前記映像は、前記少なくとも1つのフレーム画像を含む時系列のフレーム画像から構成され、
前記対象判断手段は、
前記時系列のフレーム画像の各々と前記参照画像とを比較した結果が前記第1基準を満たすか否かを判断する第1判断手段と、
前記時系列のフレーム画像の各々が前記第1基準を満たすか否かの判断結果と、第2基準と、に基づいて、前記フレーム画像の各々が前記分析対象であるか否かを判断する第2判断手段と、を含む
請求項1又は2に記載の道路監視システム。
【請求項7】
前記道路を撮影して映像を生成する複数の撮影手段をさらに備え、
前記映像取得手段は、前記複数の撮影手段のそれぞれが前記道路を撮影した複数の前記映像を取得し、
前記対象判断手段は、前記複数の映像の各々を構成する複数のフレーム画像の各々と参照画像とを比較した結果と、前記第1基準と、に基づいて、前記複数のフレーム画像の各々が前記分析対象であるか否かを判断する
請求項1又は2に記載の道路監視システム。
【請求項8】
道路を撮影した映像を取得する映像取得手段と、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断する対象判断手段と、
前記判断の結果に基づく情報を送信する送信手段と、を備え、
前記送信手段は、
前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を送信する第1送信手段と、
分析対象ではないフレーム画像が検出されたことを示す検出情報を送信する第2送信手段と、を含む
情報処理装置。
【請求項9】
1つ以上のコンピュータが、
道路を撮影した映像を取得し、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断し、
前記判断の結果に基づく情報を表示手段に表示させることを含み、
前記表示させることは、前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を前記表示手段に表示させることと、分析対象ではないフレーム画像が検出されたことを示す検出情報を前記表示手段に表示させることと、を含む
道路監視方法。
【請求項10】
1つ以上のコンピュータに、
道路を撮影した映像を取得し、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断し、
前記判断の結果に基づく情報を表示手段に表示させることを実行させるためのものであり、
前記表示させることは、
前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を前記表示手段に表示させることと、分析対象ではないフレーム画像が検出されたことを示す検出情報を前記表示手段に表示させることと、を含む
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路監視システム、情報処理装置、道路監視方法及びプログラムに関する。
【背景技術】
【0002】
道路を監視するためのシステムにおいて、道路を撮影するカメラの異常を検出するシステムが提案されている。
【0003】
例えば特許文献1に開示の技術は、カメラから取得した入力画像と、予め取得した基準画像との輝度値の差分に基づいてカメラ異常を検出し、異常の種類などを通知する。特許文献1に開示のカメラ異常は、部分的な遮蔽、全体的な遮蔽,画角ずれ(カメラ方向のずれ),ぼけ,ノイズ,ハレーションなどである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2012-034147号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、より効率的な道路監視の支援が求められている。例えば、特許文献1に開示の技術では、カメラ異常がない場合にカメラから入力画像をどのように利用するかを開示していない。
【0006】
本発明の目的の一例は、上述した課題を鑑み、効率的な道路監視を支援することを解決する道路監視システム、情報処理装置、道路監視方法、プログラムなどを提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、
道路を撮影した映像を取得する映像取得手段と、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断する対象判断手段と、
前記判断の結果に基づく情報を表示手段に表示させる表示制御手段と、を備え、
前記表示制御手段は、
前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を前記表示手段に表示させる第1制御手段と、
分析対象ではないフレーム画像が検出されたことを示す検出情報を前記表示手段に表示させる第2制御手段と、を含む
道路監視システムが提供される。
【0008】
本発明の一態様によれば、
道路を撮影した映像を取得する映像取得手段と、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断する対象判断手段と、
前記判断の結果に基づく情報を送信する送信手段と、を備え、
前記送信手段は、
前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を送信する第1送信手段と、
分析対象ではないフレーム画像が検出されたことを示す検出情報を送信する第2送信手段と、を含む
情報処理装置が提供される。
【0009】
本発明の一態様によれば、
1つ以上のコンピュータが、
道路を撮影した映像を取得し、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断し、
前記判断の結果に基づく情報を表示手段に表示させることを含み、
前記表示させることは、前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を前記表示手段に表示させることと、分析対象ではないフレーム画像が検出されたことを示す検出情報を前記表示手段に表示させることと、を含む
道路監視方法が提供される。
【0010】
本発明の一態様によれば、
1つ以上のコンピュータに、
道路を撮影した映像を取得し、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断し、
前記判断の結果に基づく情報を表示手段に表示させることを実行させるためのものであり、
前記表示させることは、
前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を前記表示手段に表示させることと、分析対象ではないフレーム画像が検出されたことを示す検出情報を前記表示手段に表示させることと、を含む
プログラムが提供される。
【発明の効果】
【0011】
本発明の一態様によれば、効率的な道路監視を支援することが可能になる。
【図面の簡単な説明】
【0012】
図1】実施形態1に係る道路監視システムの概要を示す図である。
図2】実施形態1に係る情報処理装置の概要を示す図である。
図3】実施形態1に係る道路監視方法の概要を示すフローチャートである。
図4】実施形態1に係る道路監視システムの構成例を示す図である。
図5】実施形態1に係る画像情報の構成例を示す図である。
図6】実施形態1に係る第1情報処理装置の機能的な構成例を示す図である。
図7】実施形態1に係る分析情報の構成例を示す図である。
図8】実施形態1に係る第2情報処理装置の機能的な構成例を示す図である。
図9】実施形態1に係る撮影装置の物理的な構成例を示す図である。
図10】実施形態1に係る第1情報処理装置の物理的な構成例を示す図である。
図11】実施形態1に係る撮影処理の一例を示すフローチャートである。
図12】撮影される道路Rの一例を示す図である。
図13図12に例示する道路Rを撮影したフレーム画像IM1を含む画像情報IMDの一例を示す図である。
図14】実施形態1に係る第1情報処理の一例を示すフローチャートである。
図15】比較されるフレーム画像IM1と参照画像との一例を示す図である。
図16】比較されるフレーム画像IM2と参照画像との他の例を示す図である。
図17】実施形態1に係る第2情報処理の一例を示すフローチャートである。
図18】分析結果を表示する画面の例を示す図である。
図19】検出情報を表示する画面の例を示す図である。
図20】実施形態2に係る対象判断部の機能的な構成例を示す図である。
図21】実施形態2に係る第1情報処理の一例を示すフローチャートである。
図22】実施形態2に係る選定処理の一例を示すフローチャートである。
図23】実施形態3に係る対象判断部の機能的な構成例を示す図である。
図24】実施形態3に係る第1情報処理の一例を示すフローチャートである。
図25】実施形態4に係る道路監視システムの構成例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0014】
<実施形態1>
(概要)
図1は、実施形態1に係る道路監視システム100の概要を示す図である。道路監視システム100は、映像取得部121、対象判断部122及び表示制御部133を備える。
【0015】
映像取得部121は、道路を撮影した映像を取得する。
【0016】
対象判断部122は、映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、少なくとも1つのフレーム画像が分析対象であるか否かを判断する。
【0017】
表示制御部133は、判断の結果に基づく情報を表示部に表示させる。
【0018】
表示制御部133は、第1制御部133b及び第2制御部133cを含む。第1制御部133bは、分析対象であると判断された少なくとも1つのフレーム画像の分析結果を表示部に表示させる。第2制御部133cは、分析対象ではないフレーム画像が検出されたことを示す検出情報を表示部に表示させる。
【0019】
この道路監視システム100によれば、効率的な道路監視を支援することが可能になる。
【0020】
図2は、実施形態1に係る情報処理装置102の概要を示す図である。情報処理装置102は、映像取得部121、対象判断部122及び送信部124を備える。
【0021】
映像取得部121は、道路を撮影した映像を取得する。
【0022】
対象判断部122は、映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、少なくとも1つのフレーム画像が分析対象であるか否かを判断する。
【0023】
送信部124は、判断の結果に基づく情報を送信する。
【0024】
送信部124は、第1送信部124a及び第2送信部124bを含む。第1送信部124aは、分析対象であると判断された少なくとも1つのフレーム画像の分析結果を送信する。第2送信部124bは、分析対象ではないフレーム画像が検出されたことを示す検出情報を送信する。
【0025】
この情報処理装置102によれば、効率的な道路監視を支援することが可能になる。
【0026】
図3は、実施形態1に係る道路監視方法の概要を示すフローチャートである。
【0027】
映像取得部121は、道路を撮影した映像を取得する(ステップS201)。
【0028】
対象判断部122は、映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、少なくとも1つのフレーム画像が分析対象であるか否かを判断する(ステップS202)。
【0029】
表示制御部133は、判断の結果に基づく情報を表示部に表示させる(ステップS302)。
【0030】
表示させることは、分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を表示部に表示させることと、分析対象ではないフレーム画像が検出されたことを示す検出情報を表示部に表示させることと、を含む。
【0031】
この道路監視方法によれば、効率的な道路監視を支援することが可能になる。
【0032】
以下、実施形態1に係る道路監視システム100の詳細例について説明する。
【0033】
(詳細)
図4は、実施形態1に係る道路監視システム100の構成例を示す図である。道路監視システム100は、ユーザによる道路の監視を支援するためのシステムである。道路監視システム100は、撮影装置101と、第1情報処理装置102(上述の「情報処理装置102」に相当)と、第2情報処理装置103とを備える。
【0034】
撮影装置101と第1情報処理装置102と第2情報処理装置103とは、例えば、有線、無線又はこれらを組み合わせて構成されたネットワークNを介して互いに接続されており、ネットワークNを介して互いに情報を送受信することができる。
【0035】
(撮影装置101の機能的な構成例)
撮影装置101は、道路を撮影して映像を生成する。映像は、撮影装置101が撮影した時系列のフレーム画像、すなわち複数の画像から構成される。
【0036】
詳細には例えば、撮影装置101は、道路上の所定の場所を所定の頻度(フレームレート)で撮影し、撮影ごとにフレーム画像を生成する。本実施形態では、撮影装置101の撮影領域、すなわちフレーム画像に映る領域は、撮影装置101に対して予め設定される。
【0037】
撮影装置101は、当該生成したフレーム画像を含む画像情報を生成して第1情報処理装置102へ送信する。詳細には例えば、撮影装置101は、フレーム画像を生成すると、リアルタイムで、画像情報を生成して第1情報処理装置102へ送信するとよい。これにより、撮影装置101は、リアルタイムで映像を送信することができる。
【0038】
なお、フレーム画像は、カラーとモノクロのいずれであってもよく、その画素数は適宜選定されるとよい。
【0039】
図5は、実施形態1に係る画像情報の構成例を示す図である。画像情報は、撮影装置101が生成したフレーム画像に、画像付随情報が関連付けられた情報である。画像付随情報は、例えば、画像識別情報、撮影装置識別情報、撮影時期、撮影場所を含む。
【0040】
画像識別情報は、画像情報を識別するための情報である。画像情報は、フレーム画像ごとに生成されるので、画像識別情報は、フレーム画像を識別するための情報でもある。画像識別情報は、以下、「画像ID(Identification)」とも称する。
【0041】
撮影装置識別情報は、撮影装置101を識別するための情報である。撮影装置識別情報は、以下、「撮影ID」とも称する。
【0042】
撮影時期は、撮影した時期を示す情報である。撮影時期は、例えば、年月日及び時刻から構成される。時刻は、1/10秒、1/100秒などの所定の刻みで表されてよい。
【0043】
撮影場所は、撮影した場所を示す情報である。撮影場所は、例えば、撮影装置101が設置されている場所を示す情報であり、当該場所を示す緯度及び経度から構成される。撮影場所は、撮影装置101が位置検知機能を備えている場合には当該位置検知機能を用いて取得されてもよく、設置者などによって予め設定されてもよい。位置検知機能は、GPS(Global Positioning System)などを用いて、撮影装置101の位置を検知する機能である。
【0044】
なお、画像情報は、道路を撮影したフレーム画像を少なくとも含めばよく、画像付随情報を含まなくてもよい。画像付随情報は、上述の例に限られず、例えば画像ID、撮影ID、撮影時期、撮影場所などの1つ以上を含めばよい。
【0045】
(第1情報処理装置102の機能的な構成例)
図6は、実施形態1に係る第1情報処理装置102の機能的な構成例を示す図である。第1情報処理装置102は、道路を撮影した映像を分析する装置である。第1情報処理装置102は、映像取得部121と、対象判断部122と、分析部123と、送信部124とを含む。
【0046】
映像取得部121は、道路を撮影した映像を取得する。例えば、映像取得部121は、リアルタイムで、撮影装置101から画像情報を取得する。これにより、映像取得部121は、道路を撮影した映像をリアルタイムで取得する。
【0047】
対象判断部122は、映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、当該少なくとも1つのフレーム画像が分析対象であるか否かを判断する。
【0048】
第1基準は、分析対象となるフレーム画像が満たすべき基準である。分析対象とは、例えば、詳細後述する分析部123による分析の対象である。
【0049】
少なくとも1つのフレーム画像と参照画像との比較には、各画像の画像特徴量が用いられるとよい。画像特徴量は、例えば、フレーム画像に映る領域(撮影領域)を示す特徴量である。
【0050】
詳細には例えば、対象判断部122は、図6に示すように、参照画像記憶部122aと、比較部122bと、第1判断部122cとを含む。
【0051】
参照画像記憶部122aは、参照画像が予め格納される記憶部である。参照画像は、撮影装置101に対して予め設定された撮影領域を映す画像である。言い換えると、参照画像は、撮影装置101の適正な撮影領域を映す画像である。なお、参照画像記憶部122aには、参照画像とともに、又は参照画像の代わりに、参照画像の画像特徴量が予め格納されてもよい。
【0052】
比較部122bは、フレーム画像の各々の画像特徴量と、参照画像の画像特徴量と、を比較する。本実施形態では、比較した結果が、フレーム画像の各々の画像特徴量と参照画像の画像特徴量との類似度である例を用いて説明する。すなわち、本実施形態に係る比較部122bは、フレーム画像の各々の画像特徴量と参照画像の画像特徴量との類似度を求める。
【0053】
第1判断部122cは、フレーム画像の各々について、比較部122bが比較した結果と、第1基準と、に基づいて、フレーム画像が分析対象であるか否かを判断する。
【0054】
詳細には例えば、第1判断部122cは、フレーム画像の各々について、比較部122bが比較した結果が第1基準を満たすか否かを判断する。そして、第1判断部122cは、比較した結果が第1基準を満たす場合に、フレーム画像が分析対象であると判断する。第1判断部122cは、比較した結果が第1基準を満たさない場合に、フレーム画像が分析対象ではないと判断する。
【0055】
上述のように類似度が「比較した結果」として採用される場合、第1基準は、例えば、類似度と閾値との関係を定めるとよい。本実施形態では、第1基準が、比較部122bが求める類似度が閾値以上であること、である例を用いて説明する。
【0056】
分析部123は、少なくとも1つのフレーム画像が分析対象であると判断された場合に、当該少なくとも1つのフレーム画像を分析する。そして、分析部123は、その分析の結果(すなわち、分析結果)を含む分析情報を生成する。
【0057】
複数のフレーム画像が分析対象であると判断された場合、本実施形態に係る分析部123は、分析対象であると判断されたフレーム画像のすべてを分析する。そして、本実施形態に係る分析部123は、分析対象であると判断されたフレーム画像の各々の分析し、分析結果を含む分析情報をフレーム画像ごとに生成する。
【0058】
なお、分析部123は、例えば分析対象であると判断されたフレーム画像のうち、予め定められた時間間隔のフレーム画像などの一部のフレーム画像を分析してもよい。また、分析部123は、分析対象でないと判断されたフレーム画像を分析しなくてもよい。
【0059】
(分析部123による分析の例)
分析部123が行う分析は、適宜選択されてよい。例えば、分析部123は、分析対象であると判断されたフレーム画像を処理することにより、道路監視のための分析を行うとよい。そして、分析部123は、分析結果を含む分析情報を生成するとよい。
【0060】
ここでは、分析が、道路状態及び事象の検知である場合を例に説明する。
【0061】
分析部123は、分析対象であると判断されたフレーム画像を処理することにより、道路状態を検知する。
【0062】
道路状態は、道路上の物体の状態である。道路上の物体は、例えば、車両、落下物などの1つ又は複数である。車両は、例えば、乗用車、トラック、トレーラ、工事用車両、緊急車両、バイク、自転車などの1つ又は複数である。落下物は、車両などから道路に落ちた物、風などで道路上に飛来した物などである。
【0063】
道路状態は、道路上の物体の有無を含んでもよい。道路上に物体がある場合、道路状態は、各物体の物体識別情報及び物体状態を含んでもよい。なお、道路上の物体の有無は、当該有無を示すフラグ、道路上の物体の数などで表されてもよく、物体識別情報が道路状態に含まれるか否かによって表されてもよい。
【0064】
物体識別情報は、道路上の物体を識別するための情報である。物体識別情報は、以下、「物体ID」とも称する。物体状態は、各物体の状態である。
【0065】
物体状態に含まれる項目は、物体の種類ごとに、一部又は全部が異なっていてもよい。例えば、車両についての物体状態(車両状態)は、車両の位置、車両の走行方向、車両の速度、車両の動線(移動した軌跡)、車両の属性などの1つ又は複数である。車両の属性は、例えば、車両の種類、車両のサイズ、車両の色、ナンバプレートに記載された車両ナンバなどの1つ又は複数である。車両の種類は、例えば、上述した乗用車、トラック、トレーラ、工事用車両、緊急車両、バイク、自転車などの1つ又は複数である。
【0066】
例えば、落下物についての物体状態(落下物状態)は、落下物の位置、移動方向、移動速度、動線、落下物の属性などの1つ又は複数である。落下物の属性は、例えば、落下物の種類、落下物のサイズ、落下物の色などの1つ又は複数である。落下物の種類は、例えば、木材、梱包物などの1つ又は複数である。
【0067】
このような道路状態を検知するための技術には、パターンマッチング、機械学習を行った学習済みの学習モデルなどの一般的な技術が用いられてよい。
【0068】
学習モデルが用いられる場合、分析部123は、例えば、道路状態を検知するための機械学習を行った学習済みの学習モデルに、映像取得部121が取得したフレーム画像を入力することで、道路状態を検知する。機械学習では、例えば、道路を撮影した画像にラベルを付した教師データをインプットデータとした教師あり学習が行われるとよい。
【0069】
また、分析部123は、検知した道路状態に基づいて、道路における予め定められた事象を検知する。事象は、(1)車両の渋滞、(2)車両の逆走、(3)車両の低速走行、(4)車両の停止、(5)落下物、(6)蛇行走行の1つ又は複数である。なお、事象は、これらに限られない。
【0070】
(1)渋滞は、例えば、低速走行をする車両又は停止発進を繰り返す車両から構成される車列が、所定距離以上の長さであり、かつ、所定の時間長さ以上継続していることであることを条件として検知される。ここでの低速走行は、所定速度以下での走行である。
【0071】
(2)車両の逆走は、例えば、以下の(2-A)及び(2-B)から構成される条件を用いて検知される。(2-A)は、対象となる道路又は当該道路を構成する各車線に走行方向が予め定められていることである。(2-B)は、車両の走行方向と、当該車両が走行している道路又は車線の走行方向と、が所定の角度(例えば、90度)を越えて異なることである。(2-A)及び(2-B)の両方が満たされる場合に車両の逆走が検知され、(2-A)及び(2-B)の少なくとも一方が満たされない場合に車両の逆走は検知されない。
【0072】
(3)車両の低速走行は、例えば、車両が所定速度以下で所定の時間長さ以上継続して走行していることを条件として検知される。ここでの所定速度は、(1)渋滞での低速走行を定める所定速度と同じであってもよく、異なっていてもよい。
【0073】
(4)車両の停止は、例えば、車両が所定の時間長さ以上継続して停止している(車両位置が所定範囲内である)ことを条件として検知される。
【0074】
(5)落下物は、例えば、(5-A)道路上に車両以外の物があること、(5-B)所定台数以上の車両が、共通の範囲に対して一時的な車線変更を行うこと、の一方又は両方を条件として検知される。(5-A)及び(5-B)のいずれか一方が満たされる場合に落下物が検知され、(5-A)及び(5-B)の両者が満たされない場合に落下物が検知されない。
【0075】
一時的な車線変更とは、車線を変更した後に、所定の距離内又は所定の時間内に元の車線に戻ることである。一般的に、車両は落下物を避けて走行するため、複数の車両が共通して避ける範囲に落下物があると推定される。そのため、(5-B)を用いて落下物を検知することができる。
【0076】
(6)蛇行走行は、例えば、車両が一時的な車線変更を所定の回数以上繰り返すことを条件として検知される。一時的な車線変更とは、上述したように、車線を変更した後に、所定の距離内又は所定の時間内に元の車線に戻ることである。
【0077】
分析部123は、道路状態と事象とを検知する場合、検知した道路状態と事象とを分析結果として含む分析情報を生成する。
【0078】
図7は、実施形態1に係る分析情報の構成例を示す図である。分析情報は、検知された道路状態に、事象と、状態付随情報とが関連付けられた情報である。事象は、関連付けられた道路状態に基づいて検知された事象を示す情報であり、例えば、「渋滞」、「逆走」などである。状態付随情報は、関連付けられた道路状態を検知するために用いられたフレーム画像と、画像情報において当該フレーム画像に関連付けられた画像付随情報と、を含む。
【0079】
なお、分析情報は、少なくとも分析結果を含めばよく、これに限られない。分析情報は、例えば、道路状態と事象との一方のみを含んでもよく、分析部123が行う分析の内容などに応じて適宜変更されてもよい。
【0080】
送信部124は、判断の結果に基づく情報を送信する。判断の結果に基づく情報は、例えば、分析情報、検出情報のいずれかである。検出情報は、分析対象ではないフレーム画像が検出されたことを示す情報である。
【0081】
詳細には例えば、送信部124は、図6に示すように、第1送信部124aと、第2送信部124bと含む。
【0082】
第1送信部124aは、分析対象であると判断されたフレーム画像に関する分析情報を送信する。すなわち、第1送信部124aは、分析対象であると判断された少なくとも1つのフレーム画像の分析結果を送信する手段の一例である。
【0083】
本実施形態に係る第1送信部124aは、分析対象であると判断されたフレーム画像に関するすべての分析情報を送信する。
【0084】
なお、第1送信部124aは、すべての分析情報のうち、予め定められた時間間隔のフレーム画像に関する分析情報などの一部の分析情報を送信してもよい。
【0085】
第2送信部124bは、少なくとも1つのフレーム画像が分析対象であると判断された場合に、当該少なくとも1つのフレーム画像についての検出情報を送信する。すなわち、第2送信部124bは、分析対象ではないフレーム画像が検出されたことを示す検出情報を送信する手段の一例である。
【0086】
本実施形態に係る第2送信部124bは、複数のフレーム画像が分析対象であると判断された場合に、当該複数のフレーム画像の各々についての検出情報を送信する。
【0087】
検出情報は、上述の通り、分析対象ではないフレーム画像が検出されたことを示す情報である。検出情報は、分析対象ではないとの判断に用いられたフレーム画像に関する情報を含んでもよい。
【0088】
フレーム画像に関する情報は、以下(1)~(3)の少なくとも1つを含んでもよい。
(1)当該フレーム画像を撮影した撮影装置を識別するための撮影装置識別情報。
(2)当該判断に用いられたフレーム画像及び前記参照画像の少なくとも一方
(3)当該フレーム画像に映る領域のズレに関するズレ情報
【0089】
ズレ情報は、例えば、参照画像に映る領域(参照領域)に対するフレーム画像に映る領域(撮影装置101の撮影領域)のズレの程度を示す情報である。詳細には例えば、ズレ情報は、比較部122bが求める類似度、当該類似度に段階別に対応付けられた記号などの指標などの少なくとも1つである。
【0090】
(第2情報処理装置103の機能的な構成例)
図8は、実施形態1に係る第2情報処理装置103の機能的な構成例を示す図である。第2情報処理装置103は、道路を監視するための画像を表示する装置である。第2情報処理装置103は、受信部131と、表示部132と、表示制御部133とを含む。
【0091】
受信部131は、送信部124から送信された情報を受信する。受信部131は、例えば、少なくとも1つのフレーム画像に関する分析情報又は検出情報を受信する。本実施形態に係る受信部131は、すべてのフレーム画像に関する分析情報又は検出情報を受信する。
【0092】
表示部132は、表示制御部133の制御の下で、各種情報を表示する。
【0093】
表示制御部133は、受信部131に受信された情報に応じて、判断の結果に基づく情報を表示部132に表示させる。すなわち、表示制御部133は、判断の結果に基づく情報を表示手段に表示させる手段の一例である。
【0094】
詳細には例えば、表示制御部133は、図8に示すように、内容判断部133aと、第1制御部133bと、第2制御部133cとを含む。
【0095】
内容判断部133aは、受信部131が情報を受信した場合に、当該情報の内容を判別する。内容判断部133aは、例えば、受信部131により受信された情報が、分析情報と検出情報とのいずれであるかを判断する。
【0096】
第1制御部133bは、内容判断部133aが分析情報を受信したと判断した場合に、分析情報を表示部132に表示させる。分析情報は、これまでの説明から分かるように、分析対象であると判断されたフレーム画像に関する情報であり、当該フレーム画像の分析結果を含む。すなわち、第1制御部133bは、分析対象であると判断された少なくとも1つのフレーム画像の分析結果を表示手段に表示させる手段の一例である。
【0097】
本実施形態に係る第1制御部133bは、分析対象であると判断されたフレーム画像に関するすべての分析情報を表示部132に表示させる。第1制御部133bは、分析情報を表示部132に表示させる場合に、当該分析情報に含まれる情報のうち、少なくとも、分析結果の一部又は全部を表示部132に表示させるとよい。
【0098】
なお、第1制御部133bは、すべての分析情報のうち、予め定められた時間間隔のフレーム画像に関する分析情報などの一部の分析情報を表示部132に表示させてもよい。
【0099】
第2制御部133cは、内容判断部133aが検出情報を受信したと判断した場合に、当該検出情報を表示部132に表示させる。すなわち、第2制御部133cは、分析対象ではないフレーム画像が検出されたことを示す検出情報を表示部132に表示させる手段の一例である。
【0100】
本実施形態に係る第2送信部124bは、複数のフレーム画像に関する検出情報を受信した場合に、当該検出情報のすべてを表示部132に表示させる。
【0101】
また、第2送信部124bは、検出情報がフレーム画像及び参照画像を含む場合に、当該フレーム画像及び当該参照画像を並べて表示部132に表示させてもよい。
【0102】
これまで、実施形態1に係る道路監視システム100の機能的な構成例について主に説明した。ここから、実施形態1に係る道路監視システム100の物理的な構成例について説明する。
【0103】
(道路監視システム100の物理的な構成例)
道路監視システム100は、物理的に例えば、撮影装置101と、第1情報処理装置102と、第2情報処理装置103とを備える。
【0104】
なお、道路監視システム100の物理的な構成は、これに限られない。例えば、本実施形態で説明した撮影装置101及び2つの情報処理装置102,103が備える機能は、物理的に、1つの装置に備えられてもよく、本実施形態とは異なる態様で複数の装置の各々に分割して備えられてもよい。本実施形態に係る装置101~103の間でネットワークNを介して情報を送信又は受信する機能は、物理的に共通の装置に組み込まれる場合、ネットワークNの代わりに、内部バスなどを介して情報を送信又は受信するとよい。
【0105】
(撮影装置101の物理的な構成例)
図9は、実施形態1に係る撮影装置101の物理的な構成例を示す図である。撮影装置101は物理的に、例えば、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、ネットワークインタフェース1050、ユーザインタフェース1060及びカメラ1070を有する。
【0106】
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、ネットワークインタフェース1050、ユーザインタフェース1060及びカメラ1070が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
【0107】
プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
【0108】
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
【0109】
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は、撮影装置101の各機能を実現するためのプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
【0110】
ネットワークインタフェース1050は、撮影装置101をネットワークNに接続するためのインタフェースである。
【0111】
ユーザインタフェース1060は、ユーザが情報を入力するためのインタフェースとしてのタッチパネル、キーボード、マウスなど、及び、ユーザに情報を提示するためのインタフェースとしての液晶パネル、有機EL(Electro-Luminescence)パネルなどである。
【0112】
カメラ1070は、道路などの被写体を撮影して、当該被写体の画像を生成する。撮影装置101は、例えば、カメラ1070が道路上の所定の場所を撮影できるように、道路脇、道路上方などに設置される。
【0113】
なお、撮影装置101は、ネットワークNに接続された外部の装置(例えば、第1情報処理装置102、第2情報処理装置103など)を介して、ユーザからの入力を受け付けてもよく、ユーザに情報を提示してもよい。この場合、撮影装置101は、ユーザインタフェース1060を備えなくてもよい。
【0114】
(第1情報処理装置102、第2情報処理装置103の物理的な構成例)
図10は、実施形態1に係る第1情報処理装置102の物理的な構成例を示す図である。第1情報処理装置102は物理的に、例えば、撮影装置101と同様のバス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040及びネットワークインタフェース1050を有する。第1情報処理装置102は物理的に、例えば、入力インタフェース2060及び出力インタフェース2070をさらに有する。
【0115】
ただし、第1情報処理装置102のストレージデバイス1040は、第1情報処理装置102の各機能を実現するためのプログラムモジュールを記憶している。また、第1情報処理装置102のネットワークインタフェース1050は、第1情報処理装置102をネットワークNに接続するためのインタフェースである。
【0116】
入力インタフェース2060は、ユーザが情報を入力するためのインタフェースであり、例えば、タッチパネル、キーボード、マウスなどを含む。出力インタフェース2070は、ユーザに情報を提示するためのインタフェースであり、例えばとしての液晶パネル、有機ELパネルなどを含む。
【0117】
実施形態1に係る第2情報処理装置103は物理的に、例えば、第1情報処理装置102と同様に構成されるとよい。ただし、第2情報処理装置103のストレージデバイス1040は、第2情報処理装置103の各機能を実現するためのプログラムモジュールを記憶している。また、第2情報処理装置103のネットワークインタフェース1050は、第2情報処理装置103をネットワークNに接続するためのインタフェースである。
【0118】
これまで、実施形態1に係る道路監視システム100の構成例について説明した。ここから、実施形態1に係る道路監視システム100の動作例について説明する。
【0119】
(道路監視システム100の動作例)
道路監視システム100は、道路を監視するための道路監視処理を実行する。道路監視処理は、例えば、撮影装置101が実行する撮影処理と、第1情報処理装置102が実行する第1情報処理と、第2情報処理装置103が実行する第2情報処理と、を含む。これらの処理について、図を参照して説明する。
【0120】
(実施形態1に係る撮影処理の例)
図11は、実施形態1に係る撮影処理の一例を示すフローチャートである。撮影処理は、道路を撮影するための処理である。撮影装置101は、例えば、第2情報処理装置103を介してユーザの開始指示を受け付けると、ユーザの終了指示を受け付けるまで、所定の頻度で撮影処理を繰り返し実行する。なお、撮影処理を開始又は終了する方法は、これらに限られない。
【0121】
撮影装置101は、道路を撮影し、画像情報を生成する(ステップS101)。
【0122】
詳細には例えば、撮影装置101は、カメラ1070が道路上の所定の場所を撮影すると、この撮影によって得られるフレーム画像を含む画像情報を生成する。
【0123】
図12は、撮影される道路Rの一例を示す図である。
【0124】
道路Rは、道路Rの両脇に沿って設けられた路側帯RS1及びRS2と、概ね中央に道路に沿って設けられた分離帯SZとを含む。道路Rは、さらに、路側帯RS1と分離帯SZとの間に設けられた車線L1及びL2と、路側帯RS2と分離帯SZとの間に設けられた車線L3及びL4と、を含む。道路Rの側部には、車線L1~L4のそれぞれを照らす道路灯M1~M4が設けられている。
【0125】
図12において点線で表された矢印は、各車線について定められた走行方向を示す。道路Rでは、車両C1,C2,C3及びC4が走行している。図12において実線の矢印は、車両の走行方向を示す。
【0126】
図13は、図12に例示する道路Rを撮影したフレーム画像IM1を含む画像情報IMDの一例を示す図である。図13に例示する画像情報IMDは、フレーム画像IM1に画像付随情報を関連付ける。図13に例示する画像付随情報は、画像ID「P1」、撮影ID「CM1」、撮影時期「T1」、撮影場所「L1」を関連付ける。
【0127】
「P1」は、フレーム画像IM1に付与された画像IDである。撮影装置101は、例えば、予め定められた規則に従って画像IM1の画像IDを付与し、当該画像IDを画像情報IMDに設定するとよい。
【0128】
「CM1」は、撮影装置101の撮影IDである。撮影装置101は、例えば、第2情報処理装置103を介してユーザが予め設定する撮影IDを保持し、当該撮影IDを画像情報IMDに設定するとよい。
【0129】
「T1」は、フレーム画像IM1の撮影時期を撮影した時期を示す。撮影装置101は、例えば、計時機能を備え、撮影時の時刻を撮影時期として画像情報IMDに設定するとよい。
【0130】
「L1」は、撮影装置101が撮影する場所を示す情報である。撮影装置101は、例えば、第2情報処理装置103を介してユーザが予め設定する撮影場所(例えば、撮影装置101の設置場所)を予め保持し、当該撮影場所を画像情報IMDに設定するとよい。
【0131】
再び図11を参照する。
撮影装置101は、ステップS101で生成した画像情報を第1情報処理装置102へ送信し(ステップS102)、ステップS101へ戻る。
【0132】
このような撮影処理によれば、映像(すなわち、所定のフレームレートで撮影されるフレーム画像の各々)を概ねリアルタイムで第1情報処理装置102へ送信することができる。なお、ステップS102は、撮影されたフレーム画像の一部について画像情報を送信するように予め設定された時間間隔で実行されてもよい。
【0133】
(実施形態1に係る第1情報処理の例)
図14は、実施形態1に係る第1情報処理の一例を示すフローチャートである。第1情報処理は、道路を撮影した映像を分析するための処理である。第1情報処理装置102は、例えば撮影装置101と同様に、第2情報処理装置103を介してユーザの開始指示を受け付けると、ユーザの終了指示を受け付けるまで、第1情報処理を繰り返し実行する。なお、第1情報処理を開始又は終了する方法は、これらに限られない。
【0134】
映像取得部121は、道路を撮影した映像を取得する(ステップS201)。
【0135】
詳細には例えば、映像取得部121は、リアルタイムで、撮影装置101から画像情報を取得する。これにより、映像取得部121は、道路を撮影したフレーム画像をリアルタイムで取得する。
【0136】
対象判断部122は、ステップS201にて取得された画像情報に含まれるフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、当該フレーム画像が分析対象であるか否かを判断する(ステップS202)。
【0137】
詳細には例えば、図14に示すように、比較部122bは、ステップS201にて取得されたフレーム画像と、参照画像記憶部122aに格納された参照画像と、を比較する(ステップS202a)。
【0138】
図15は、比較されるフレーム画像IM1と参照画像との一例を示す図である。図15(a)はフレーム画像IM1を示しており、図15(b)は参照画像を示している。参照画像は、例えば撮影装置101が過去に道路Rを撮影したフレーム画像である。
【0139】
比較部122bは、フレーム画像IM1と参照画像とのそれぞれの共通の範囲に設定される比較領域A1と比較領域ARとの画像特徴量を取得する。共通の範囲とは、フレーム画像IM1と参照画像とのそれぞれに対する比較領域A1と比較領域ARとの位置(画素位置)が共通であることを意味する。
【0140】
画像特徴量を取得するための技術には、一般的な技術が用いられてよく、例えば、機械学習を行った学習済みの学習モデルが用いられるとよい。この場合、比較部122bは、比較領域の画像特徴量(例えば、エッジ)を検出するための機械学習を行った学習済みの学習モデルに、比較領域A1を入力することで、比較領域A1の画像特徴量を求める。比較領域ARについても同様に、この学習モデルに、比較領域ARを入力することで、比較領域ARの画像特徴量を求めることができる。機械学習では、例えば、道路を撮影した画像にラベルを付した教師データをインプットデータとした教師あり学習が行われるとよい。
【0141】
そして、比較部122bは、比較領域A1と比較領域ARとの画像特徴量の類似度を求める。
【0142】
なお、フレーム画像IM1と参照画像との類似度を求めるための技術は、これに限られず、例えばパターンマッチングなどの一般的な技術が用いられてよい。
【0143】
ここで、比較領域ARは、参照画像の全体又は適宜の部分であってよいが、参照画像において、車両が通常、走行しない部分に設定されることが望ましい。車両が走行する領域を比較領域ARに採用すると、類似度が道路Rの交通状況の影響を受けることで、撮影装置101の現在の撮影領域と参照画像に映る領域との類似度の精度が低くなる可能性がある。車両が通常、走行しない部分を比較領域ARに設定し、共通の範囲にある比較領域AR及び比較領域A1を比較することで、道路Rの交通状況の影響をほぼ受けない類似度を得ることができる。
【0144】
図14を再び参照する。
第1判断部122cは、ステップS202aで比較した結果である類似度と、第1基準と、に基づいて、フレーム画像が分析対象であるか否かを判断する(ステップS202b)。
【0145】
例えば図15に示す比較領域A1と比較領域ARとは概ね同じである。そのため、比較領域A1と比較領域ARとの類似度は、例えば第1基準に含まれる閾値以上となる。この場合、本実施形態に係る第1基準を満たすため、第1判断部122cは、フレーム画像IM1が分析対象であると判断する。
【0146】
これに対して、本実施形態に係る第1基準を満たさない場合、第1判断部122cは、フレーム画像IM1が分析対象ではないと判断する。
【0147】
図16は、比較されるフレーム画像IM2と参照画像との他の例を示す図である。図16(a)はフレーム画像IM2を示しており、図16(b)は図15(b)と同じ参照画像を示している。フレーム画像IM2は、撮影装置101の撮影領域が図15(a)よりも左下の領域にズレた画像の例である。
【0148】
図16に示すフレーム画像IM2と参照画像とのそれぞれの共通の範囲に設定される比較領域A2と比較領域ARとは、異なっている。比較領域A2と比較領域ARとの類似度は、例えば第1基準に含まれる閾値未満になる。この場合、本実施形態に係る第1基準を満たさないため、第1判断部122cは、フレーム画像IM2が分析対象ではないと判断する。
【0149】
一般的に、撮影装置101のメンテナンスで撮影装置101に意図せずに触れたために撮影装置101の向きが変わり、その結果、撮影装置101の撮影領域が変わることがある。
【0150】
例えば、道路又は車線の位置がズレて認識されると、車両の逆走を誤って検知する可能性がある。例えば、走行方向が互いに逆方向である2車線の道路において、一方の車線が他方の車線であると認識されると、実施際には当該一方の車線を走行する車両が、当該他方の車線を走行していると認識される可能性がある。その結果、車両が、当該一方の道路又は車線を正しい方向に走行している場合であっても、逆走していると判断される可能性がある。
【0151】
また例えば、フレーム画像における画像中の所定部分の長さを実距離に変換するための値が設定され、車速などは、この設定値を用いて検知されることがある。このような場合に、撮影装置101の向きが変わると、画像中の所定部分が変化し、この所定部分の長さが設定された実距離に対応しなくなる可能性がある。その結果、誤った車速が検知される可能性がある。
【0152】
このように、フレーム画像に映る領域が予め設定された撮影領域からズレている場合、分析結果に誤りが生じる可能性がある。
【0153】
ステップS202aで比較した結果が第1基準を満たさない場合、フレーム画像に映る領域が予め設定された撮影領域からズレているので、分析結果に誤りが生じる可能性がある。そのため、第1基準を満たさない場合、第1判断部122cは、フレーム画像IM1が分析対象ではないと判断する。
【0154】
図14を再び参照する。
フレーム画像が分析対象であると判断された場合(ステップS202b;Yes)、分析部123は、当該フレーム画像を分析し、少なくとも分析結果を含む分析情報を生成する(ステップS203)。第1送信部124aは、ステップS203にて生成された分析情報を第2情報処理装置103へ送信し(ステップS204)、第1情報処理を終了する。
【0155】
フレーム画像が分析対象ではないと判断された場合(ステップS202b;No)、第2送信部124bは、当該フレーム画像に関する検出情報を生成する(ステップS205)。第2送信部124bは、ステップS205にて生成された検出情報を第2情報処理装置103へ送信し(ステップS206)、第1情報処理を終了する。
【0156】
このような第1情報処理によれば、適正な撮影領域が映ったフレーム画像を用いて分析することができる。また、適正な撮影領域が映ったフレーム画像を用いた分析結果を第2情報処理装置103へ送信することができる。さらに、適正な撮影領域がフレーム画像に映っていない場合には、検出情報を第2情報処理装置103へ送信することで、分析対象ではないフレーム画像が検出されたことを、第2情報処理装置103のユーザに知らせることができる。
【0157】
(実施形態1に係る第2情報処理の例)
図17は、実施形態1に係る第2情報処理の一例を示すフローチャートである。第2情報処理は、道路を監視するための画像を表示するための処理である。
【0158】
第2情報処理装置103は、例えば、ユーザの開始指示を受け付けると、撮影装置101及び第1情報処理装置102へ開始指示を送信するとともに、第2情報処理を開始する。そして、第2情報処理装置103は、例えば、ユーザの終了指示を受け付けると、撮影装置101及び第1情報処理装置102へ終了指示を送信するとともに、第2情報処理を終了する。すなわち、第2情報処理装置103は、例えば、ユーザの開始指示を受け付けると、ユーザの終了指示を受け付けるまで、第2情報処理を繰り返し実行する。なお、第2情報処理を開始又は終了する方法は、これらに限られない。
【0159】
受信部131は、送信部124から送信された情報を受信する(ステップS301)。
【0160】
詳細には例えば、受信部131は、ステップS204又はS205(図14参照)にて送信された分析情報又は検出情報を受信する。
【0161】
表示制御部133は、ステップS301にて受信された情報に応じて、判断の結果に基づく情報を表示部132に表示させる(ステップS302)。
【0162】
詳細には例えば、図17に示すように、内容判断部133aは、ステップS301にて受信された情報の内容が、分析情報と検出情報とのいずれであるかを判断する(ステップS302a)。
【0163】
分析情報であると判断された場合(ステップS302a;分析情報)、第1制御部133bは、ステップS301にて受信した分析情報を表示部132に表示させ(ステップS302b)、第2情報処理を終了する。
【0164】
図18は、分析結果を表示する画面の例を示す図である。
【0165】
図18に示す画面は、フレーム画像IM1と、フレーム画像IM1を撮影した撮影装置101の装置IDと、フレーム画像IM1の撮影時期及び撮影場所とを含む。また、図18に示す画面は、フレーム画像IM1に含まれる物体の各々を識別するための指標である枠Fを含む。枠Fは、フレーム画像IM1に含まれる物体である車両C1~C4の各々を囲むように、フレーム画像IM1に重ねて示されている。また、事象は検知されていないため、図18に示す画面では、事象に関する情報の例である物体ID及び事象の種類は、空欄である。
【0166】
表示制御部133は、図18に例示する画面を継続して表示部132に表示させる。そして、表示制御部133は、例えば当該画面中の「閉じる」ボタンにカーソルを当ててマウスのボタンを押下するなど所定の操作が行われると、当該画面の表示を終了させて、第2情報処理を終了する。
【0167】
なお、分析結果を表示する画面は、これに限られず、例えば当該画面に含まれる情報などは適宜変更されてよい。
【0168】
図17を再び参照する。
検出情報であると判断された場合(ステップS302a;検出情報)、第2制御部133cは、ステップS301にて受信した検出情報を表示部132に表示させ(ステップS302c)、第2情報処理を終了する。
【0169】
図19は、検出情報を表示する画面の例を示す図である。
【0170】
図19に示す画面は、フレーム画像IM2及び参照画像と、フレーム画像IM2に映る領域のズレの程度と、フレーム画像IM2を撮影した撮影装置101の装置IDと、フレーム画像IM2の撮影時期及び撮影場所とを含む。
【0171】
表示制御部133は、図19に例示する画面を継続して表示部132に表示させる。そして、表示制御部133は、例えば当該画面中の「閉じる」ボタンにカーソルを当ててマウスのボタンを押下するなど所定の操作が行われると、当該画面の表示を終了させて、第2情報処理を終了する。
【0172】
なお、検出情報を表示する画面は、これに限られず、例えば当該画面に含まれる情報などは適宜変更されてよい。
【0173】
このような第2情報処理によれば、適正な撮影領域が映ったフレーム画像を用いた分析結果を表示部132に表示して、ユーザに知らせることができる。また、適正な撮影領域がフレーム画像に映っていない場合には、検出情報を表示部132に表示して、分析対象ではないフレーム画像が検出されたことをユーザに知らせることができる。
【0174】
(作用・効果)
以上、実施形態1によれば、道路監視システム100は、映像取得部121と、対象判断部122と、表示制御部133とを備える。
【0175】
映像取得部121は、道路を撮影した映像を取得する。対象判断部122は、映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、少なくとも1つのフレーム画像が分析対象であるか否かを判断する。
【0176】
表示制御部133は、判断の結果に基づく情報を表示部に表示させる。表示制御部133は、第1制御部133bと、第2制御部133cとを含む。第1制御部133bは、分析対象であると判断された少なくとも1つのフレーム画像の分析結果を表示部132に表示させる。第2制御部133cは、分析対象ではないフレーム画像が検出されたことを示す検出情報を表示部132に表示させる。
【0177】
これにより、第1基準を用いて分析対象であるか否かを判断し、分析対象であるフレーム画像については、これを用いた分析結果を表示部132に表示して、ユーザに知らせることができる。そのため、ユーザは、分析対象となるフレーム画像に基づく適切な分析結果を参照して、道路を監視することができる。従って、効率的な道路監視を支援することが可能になる。
【0178】
また、分析対象ではないフレーム画像については、検出情報を表示部132に表示して、分析対象ではないフレーム画像が検出されたことをユーザに知らせることができる。これを知ったユーザは、検出情報に基づいて撮影装置101の向きを修正するなど、適切なフレーム画像が撮影されるように対処することができる。そして、対処後は、適切な分析結果に基づいて道路を監視することができる。従って、効率的な道路監視を支援することが可能になる。
【0179】
実施形態1によれば、対象判断部122は、少なくとも1つのフレーム画像の画像特徴量と参照画像の画像特徴量とを比較した結果と、第1基準とに基づいて、少なくとも1つのフレーム画像が分析対象であるか否かを判断する。
【0180】
画像特徴量は、一般的な技術を用いて容易に求めることができる。そのため、分析対象であるか否かについての判断も容易に行うことができる。従って、効率的な道路監視を容易に支援することが可能になる。
【0181】
実施形態1によれば、画像特徴量は、少なくとも1つのフレーム画像に映る領域を示す特徴量である。
【0182】
このような画像特徴量を用いることで、フレーム画像に映る領域が、分析対象とならない程度にズレているか否かを判断することができる。これにより、ユーザは、分析対象となるフレーム画像に基づく適切な分析結果を参照して道路を監視することができる。また、分析対象とならないフレーム画像については適宜対処することで、その後は、適切な分析結果に基づいて道路を監視することができる。従って、効率的な道路監視を支援することが可能になる。
【0183】
実施形態1によれば、検出情報は、分析対象ではないとの判断に用いられたフレーム画像に関する情報を含む。
【0184】
これにより、ユーザは、分析対象ではないフレーム画像に関する情報を知ることができるので、適切なフレーム画像が撮影されるように対処することが容易になる。従って、効率的な道路監視を支援することが可能になる。
【0185】
実施形態1によれば、フレーム画像に関する情報は、(1)当該フレーム画像を撮影した撮影装置を識別するための撮影装置識別情報、(2)当該判断に用いられたフレーム画像及び参照画像の少なくとも一方、(3)当該フレーム画像に映る領域のズレに関するズレ情報との少なくとも1つを含む。
【0186】
これにより、ユーザは、上記(1)~(3)の少なくとも1つを知ることができるので、適切なフレーム画像が撮影されるように対処することが容易になる。従って、効率的な道路監視を支援することが可能になる。
【0187】
実施形態1によれば、第2制御部133cは、検出情報がフレーム画像及び参照画像を含む場合に、フレーム画像及び参照画像を並べて表示部132に表示させる。
【0188】
これにより、ユーザは、分析対象ではないとの判断に用いられたフレーム画像及び参照画像を容易に比較して、分析対象ではないと判断された原因を容易に推測することができる。そのため、適切なフレーム画像が撮影されるように対処することが容易になる。従って、効率的な道路監視を支援することが可能になる。
【0189】
実施形態1によれば、情報処理装置102は、映像取得部121と、対象判断部122と、送信部124とを備える。
【0190】
映像取得部121は、道路を撮影した映像を取得する。対象判断部122は、映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、少なくとも1つのフレーム画像が分析対象であるか否かを判断する。
【0191】
送信部124は、判断の結果に基づく情報を送信する。送信部124は、第1送信部124a及び第2送信部124bを含む。第1送信部124aは、分析対象であると判断された少なくとも1つのフレーム画像の分析結果を送信する。第2送信部124bは、分析対象ではないフレーム画像が検出されたことを示す検出情報を送信する。
【0192】
これにより、第1基準を用いて分析対象であるか否かを判断し、分析対象であるフレーム画像については、これを用いた分析結果を送信して、ユーザに知らせることができる。そのため、ユーザは、分析対象となるフレーム画像に基づく適切な分析結果を参照して、道路を監視することができる。従って、効率的な道路監視を支援することが可能になる。
【0193】
また、分析対象ではないフレーム画像については、検出情報を送信して、分析対象ではないフレーム画像が検出されたことをユーザに知らせることができる。これを知ったユーザは、検出情報に基づいて撮影装置101の向きを修正するなど、適切なフレーム画像が撮影されるように対処することができる。そして、対処後は、適切な分析結果に基づいて道路を監視することができる。従って、効率的な道路監視を支援することが可能になる。
【0194】
<実施形態2>
一般的に、撮影環境(例えば、撮影時の時間帯、天候、季節など)に応じて、撮影装置101の撮影領域が適切であっても、撮影されたフレーム画像が大きく異なる可能性がある。このような場合、異なる撮影環境で共通の参照画像を用いて、フレーム画像が分析対象であるか否かを判断すると、誤った判断がなされる可能性がある。
【0195】
本実施形態では、複数の候補画像の中から参照画像を選定し、選定された参照画像を用いて、フレーム画像が分析対象であるか否かを判断する例を説明する。
【0196】
本実施形態では説明を簡潔にするため、実施形態1と同様の構成については、その説明を適宜省略する。
【0197】
(実施形態2に係る道路監視システムの構成例)
実施形態2に係る道路監視システムは、機能的に、実施形態1に係る対象判断部122に代わる対象判断部222を含む第1情報処理装置を備える。
【0198】
図20は、実施形態2に係る対象判断部222の機能的な構成例を示す図である。対象判断部222は、実施形態1と同様の参照画像記憶部122a及び比較部122bと、実施形態1に係る第1判断部122cに代わる第1判断部222cとを含む。さらに、対象判断部222は、候補記憶部222aと、選定部222bとを含む。
【0199】
第1判断部222cは、実施形態1に係る第1判断部122cと同様の機能を備える。これに加えて、第1判断部222cは、第1基準を満たすと判断したフレーム画像を候補画像として、候補記憶部222aに格納する。
【0200】
第1判断部222cは、第1基準を満たすと判断したフレーム画像に、当該フレーム画像の撮影環境を関連付けて候補記憶部222aに格納するとよい。
【0201】
フレーム画像の撮影環境は、当該フレーム画像を撮影した時の環境であり、例えば、当該フレーム画像の撮影時期の属性、当該フレーム画像を撮影した時の気象条件を含む。撮影時期の属性は、例えば、時間帯、季節などの少なくとも1つである。気象条件は、例えば、天気、天候などの少なくとも1つである。
【0202】
なお、撮影環境は、撮影時期の属性及び気象条件の少なくとも一方であってもよく、これに限られなくてもよい。
【0203】
候補画像として候補記憶部222aに格納されるフレーム画像は、第1基準を満たすと判断されたフレーム画像のすべてであってもよく、第1基準を満たすと判断されたフレーム画像の一部であってもよい。
【0204】
第1基準を満たすと判断されたフレーム画像の一部が候補記憶部222aに格納される場合、当該一部のフレーム画像は、予め定められる規則に従って、第1基準を満たすと判断されたフレーム画像の中から決定されるとよい。例えば、第1判断部222cは、第1基準を満たすと判断したフレーム画像のうち、予め定められた時間間隔のフレーム画像を候補記憶部222aに格納してもよい。
【0205】
候補記憶部222aは、複数の候補画像が予め格納される記憶部である。複数の参照画像には、それぞれが撮影された時の撮影環境が関連付けられるとよい。複数の候補画像は、異なる撮影環境に関連付けられる画像を含む。
【0206】
選定部222bは、予め定められた選定条件に従って、候補記憶部222aに格納された複数の候補画像の中から参照画像を選定する。
【0207】
選定条件は、参照画像を選定するための条件である。選定条件は、例えば、(1)撮影環境に関する条件(環境条件)、(2)前記参照画像を切り替える時期に関する条件(切替時期条件)、を含む。なお、選定条件は、(1)環境条件、(2)切替時期条件の少なくとも1つを含んでもよく、これに限られなくてもよい。
【0208】
(1)環境条件は、例えば、参照画像が現在(例えば、直近のフレーム画像が撮影された時)の撮影環境に適合する画像であることである。「適合する」とは、例えば、参照画像に関連付けられる撮影環境が、現在のフレーム画像の撮影環境と一部又は全部が同じであることである。
【0209】
例えば、選定部222bは、少なくとも1つのフレーム画像と共通の撮影環境に関連付けられる1つ又は複数の候補画像の中から、参照画像を選定する。
【0210】
(2)切替時期条件は、時間間隔、作業スケジュールの少なくとも1つを用いて規定される。作業スケジュールは、撮影装置101、第1情報処理装置102、第2情報処理装置103の少なくとも1つに関する作業のスケジュールであり、ユーザによって入力されてもよく、図示しない外部装置から取得されてもよい。
【0211】
例えば、選定部222bは、切替時期条件に定められる時期、すなわち参照画像を切り替える時期に、複数の候補画像の中から参照画像を選定する。
【0212】
これらを除いて、本実施形態に係る道路監視システムは、機能的に、実施形態1に係る道路監視システム100と概ね同様に構成されるとよい。また、物理的には、本実施形態に係る道路監視システムは、実施形態1に係る道路監視システム100と同様に構成されるとよい。
【0213】
(実施形態2に係る道路監視システムの動作例)
本実施形態に係る道路監視システムは、実施形態1に係る道路監視システムと同様に、道路監視処理を実行する。本実施形態に係る道路監視処理は、実施形態1と同様の撮影処理及び第2情報処理と、実施形態1とは異なる第1情報処理と、を含む。
【0214】
図21は、実施形態2に係る第1情報処理の一例を示すフローチャートである。本実施形態に係る監視処理は、実施形態1と同様のステップS201~S206を含む。本実施形態に係る監視処理は、さらに、ステップS201に続けて実行されるステップS301と、ステップS204に続けて実行されるステップS302とを含む。これらを除いて、本実施形態に係る監視処理は、実施形態1に係る監視処理と同様でよい。
【0215】
ステップS201に続けて、選定部222bは、予め定められた選定条件に従って、候補記憶部222aに格納された複数の候補画像の中から参照画像を選定する(ステップS301)。
【0216】
図22は、実施形態2に係る選定処理(ステップS301)の一例を示すフローチャートである。
【0217】
選定部222bは、参照画像とフレーム画像との環境条件が適合するか否かを判断する(ステップS301a)。
【0218】
詳細には例えば、本実施形態に係る参照画像記憶部122aに格納された参照画像には、当該参照画像の撮影時期、当該参照画像を撮影した時の気象条件(例えば、天気)が関連付けられる。また例えば、本実施形態に係る画像情報に含まれるフレーム画像には、当該フレーム画像を撮影した時の気象条件(例えば、天気)がさらに関連付けられる。
【0219】
選定部222bは、参照画像記憶部122aにおいて参照画像に関連付けられた環境条件と、ステップS201にて取得した画像情報においてフレーム画像に関連付けられた環境条件と、が適合するか否かを判断する。
【0220】
例えば、参照画像とフレーム画像とについて、撮影時期が共通の時間帯に属し、かつ、関連付けられた天気が共通である場合に、選定部222bは、環境条件が適合すると判断する。この時間帯は、例えば、昼、夜などに対応して予め定められるとよい。また例えば、参照画像とフレーム画像とについて、撮影時期が異なる時間帯に属する場合、又は、関連付けられた天気が異なる場合に、選定部222bは、環境条件が適合しないと判断する。
【0221】
環境条件が適合すると判断した場合(ステップS301a;Yes)、選定部222bは切替時期条件を満たすか否かを判断する(ステップS301b)。
【0222】
詳細には例えば、切替時期条件が時刻を用いて規定されている場合、選定部222bは、現在時刻が切替時期条件に含まれる時刻であるか否かを判断するとよい。例えば、現在時刻が切替時期条件に含まれる時刻である場合に、選定部222bは切替時期条件を満たすと判断するとよい。現在時刻が切替時期条件に含まれる時刻ではない場合に、選定部222bは切替時期条件を満たさないと判断するとよい。
【0223】
なお、切替時期条件に含まれる時刻は、時間幅をもって規定されていてもよい。また、選定部222bは、現在時刻が、切替時期条件に含まれる時刻を基準に所定時間内であるか否かに基づいて、切替時期条件に含まれる時刻であるか否かを判断してもよい。
【0224】
また例えば、切替時期条件が時間間隔を用いて規定されている場合、選定部222bは、現在の参照画像が参照画像記憶部122aに格納された時刻(格納時刻)からの経過時間に基づいて、切替時期条件を満たすか否かを判断するとよい。例えば、経過時間が時間間隔以上である場合、選定部222bは切替時期条件を満たすと判断するとよい。経過時間が時間間隔未満である場合、選定部222bは切替時期条件を満たさないと判断するとよい。なお、格納時刻は、例えば参照画像記憶部122aに格納されるとよい。
【0225】
さらに例えば、切替時期条件が作業スケジュールを用いて規定されている場合、選定部222bは、現在時刻が、作業スケジュールに示される作業開始時刻より所定時間前であるか否かに基づいて、切替時期条件を満たすか否かを判断するとよい。例えば、作業開始時刻より所定時間前である場合、選定部222bは切替時期条件を満たすと判断するとよい。作業開始時刻より所定時間前でない場合、選定部222bは切替時期条件を満たさないと判断するとよい。
【0226】
切替時期条件を満たさないと判断した場合(ステップS301b;No)、選定部222bは、第1情報処理に戻る(図21参照)。
【0227】
環境条件が適合しないと判断した場合(ステップS301a;No)、又は、切替時期条件を満たすと判断した場合(ステップS301b;Yes)、選定部222bは、参照画像を選定する(ステップS301c)。
【0228】
詳細には例えば、選定部222bは、候補記憶部222aに格納された複数の候補画像の中から参照画像を選定する。このとき、選定部222bは、複数の候補画像の中から、それぞれに関連付けられた環境条件が現在のフレーム画像の環境条件と適合する候補画像を、参照画像として選定する。また、環境条件が現在のフレーム画像の環境条件と適合する候補画像が複数ある場合、選定部222bは、例えば、撮影時期が最も現在に近い(直近の)候補画像を参照画像として選定する。
【0229】
選定部222bは、ステップS301cにて選定した参照画像を参照画像記憶部122aに格納し(ステップS301d)、第1情報処理に戻る(図21参照)。
【0230】
図21を再び参照する。
ステップS204に続けて、第1判断部222cは、第1基準を満たすと判断したフレーム画像を候補画像として、候補記憶部222aに格納し(ステップS302)、第1情報処理を終了する。
【0231】
(作用・効果)
以上、実施形態2によれば、道路監視システムは、参照画像を選定するための条件を規定する選定条件に従って、複数の候補画像の中から参照画像を選定する選定部222bをさらに備える。
【0232】
これにより、複数の候補画像の中から適切な画像を選定画像に選定することができるので、フレーム画像が分析対象であるか否かをより適切に判断することができる。従って、効率的な道路監視をより一層支援することが可能になる。
【0233】
実施形態2によれば、選定条件は、(1)撮影環境に関する条件、(2)参照画像を切り替える時期に関する条件、の少なくとも1つを含む。
【0234】
これにより、(1)環境条件、(2)切替時期条件の少なくとも1つに従って、複数の候補画像の中から適切な画像を参照画像に選定することができるので、フレーム画像が分析対象であるか否かをより適切に判断することができる。従って、効率的な道路監視をより一層支援することが可能になる。
【0235】
実施形態2によれば、選定条件は、撮影環境に関する条件を含む。また、複数の候補画像は、異なる撮影環境に関連付けられる画像を含む。選定部222bは、少なくとも1つのフレーム画像と共通の撮影環境に関連付けられる1つ又は複数の候補画像の中から、参照画像を選定する。
【0236】
これにより、撮影環境に応じた適切な画像を参照画像に選定することができるので、フレーム画像が分析対象であるか否かをより適切に判断することができる。従って、効率的な道路監視をより一層支援することが可能になる。
【0237】
実施形態2によれば、撮影環境は、撮影時期の属性、気象条件の少なくとも1つを含む。
【0238】
一般的に、撮影時期の属性に応じて、フレーム画像が異なることがあり得る。例えば、時間帯によって明るさが異なるため、フレーム画像が異なることがある。また例えば、季節によって草木の茂り方が異なるため、フレーム画像が異なることがある。気象条件でも同様である。
【0239】
撮影環境が撮影時期の属性、気象条件の少なくとも1つを含むことで、撮影時期の属性、気象条件の少なくとも一方に応じた適切な画像を参照画像に選定することができる。そのため、フレーム画像が分析対象であるか否かをより適切に判断することができる。従って、効率的な道路監視をより一層支援することが可能になる。
【0240】
実施形態2によれば、選定条件は、参照画像を切り替える時期に関する条件を含む。選定部222bは、参照画像を切り替える時期に、複数の候補画像の中から参照画像を選定する。
【0241】
これにより、所定の時期に適切な画像を参照画像に選定することができる。そのため、フレーム画像が分析対象であるか否かをより適切に判断することができる。従って、効率的な道路監視をより一層支援することが可能になる。
【0242】
実施形態2によれば、参照画像を切り替える時期に関する条件は、時間間隔、作業スケジュールの少なくとも1つを用いて規定される。
【0243】
これにより、所定の時間間隔で、又は、作業スケジュールに応じた時間に、適切な画像を参照画像に選定することができる。そのため、フレーム画像が分析対象であるか否かをより適切に判断することができる。従って、効率的な道路監視をより一層支援することが可能になる。
【0244】
<実施形態3>
実施形態1では、第1基準を満たさないと一度でも判断されると、検知情報が表示される。しかしながら、例えばレンズに鳥や虫がフレーム画像に映り込んだり、通信障害などのためにフレーム画像の画像が一時的に乱れたりすることがある。このような場合、撮影装置101の撮影領域が適性であっても、参照画像との類似度が小さくなり、分析対象外であると判断されることになる。このように、フレーム画像が一時的に分析対象外と判断される場合に、検出情報が表示されると、道路監視の効率を低下させるおそれがある。
【0245】
本実施形態では、このような検出情報の表示を抑制するために、
フレーム画像が一時的に分析対象外と判断される可能性を低減させるための構成について説明する。
【0246】
本実施形態では説明を簡潔にするため、実施形態1と同様の構成については、その説明を適宜省略する。
【0247】
(実施形態3に係る道路監視システムの構成例)
実施形態3に係る道路監視システムは、機能的に、実施形態1に係る対象判断部122に代わる対象判断部322を含む第1情報処理装置を備える。
【0248】
図23は、実施形態3に係る対象判断部222の機能的な構成例を示す図である。対象判断部322は、実施形態1と同様の参照画像記憶部122a及び比較部122bと、実施形態1に係る第1判断部122cに代わる第1判断部322cとを含む。さらに、対象判断部322は、第2判断部322dを含む。
【0249】
第1判断部322cは、実施形態1に係る第1判断部122cと同様に、時系列のフレーム画像の各々について、比較部122bが比較した結果が第1基準を満たすか否かを判断する。ただし、第1判断部322cは、この判断結果に基づいて、フレーム画像の各々が分析対象であるか否かの判断までは行わない点で、実施形態1に係る第1判断部122cと異なる。
【0250】
第2判断部322dは、第1判断部322cの判断結果と、第2基準と、に基づいて、フレーム画像の各々が分析対象であるか否かを判断する。すなわち、第2判断部322dは、時系列のフレーム画像の各々が第1基準を満たすか否かの判断結果と、第2基準と、に基づいて、フレーム画像の各々が分析対象であるか否かを判断する。
【0251】
第2基準は、時系列のフレーム画像について第1基準を満たさないと判断される回数、頻度、割合の少なくとも1つを用いて規定される。
【0252】
これらを除いて、本実施形態に係る道路監視システムは、機能的に、実施形態1に係る道路監視システム100と概ね同様に構成されるとよい。また、物理的には、本実施形態に係る道路監視システムは、実施形態1に係る道路監視システム100と同様に構成されるとよい。
【0253】
(実施形態3に係る道路監視システムの動作例)
本実施形態に係る道路監視システムは、実施形態1に係る道路監視システムと同様に、道路監視処理を実行する。本実施形態に係る道路監視処理は、実施形態1と同様の撮影処理及び第2情報処理と、実施形態1とは異なる第1情報処理と、を含む。
【0254】
図24は、実施形態3に係る第1情報処理の一例を示すフローチャートである。本実施形態に係る第1情報処理は、実施形態1に係る分析対象判断処理(ステップS202)に代わる分析対象判断処理(ステップS402)を含む。この点を除いて、本実施形態に係る道路監視処理は、実施形態1と同様でよい。なお、図24は、本実施形態に係る分析対象判断処理(ステップS402)のフローチャートのうち、実施形態1に係る分析対象判断処理(ステップS202)と異なる部分を抜き出した図である。
【0255】
分析対象判断処理(ステップS402)は、実施形態1と同様のステップS202aを含む。続けて、第1判断部322cは、ステップS202aで比較した結果である類似度が第1基準を満たすか否かを判断する(ステップS402b)。
【0256】
第1基準を満たすと判断された場合(ステップS402b;Yes)、実施形態1と同様のステップS203以降の処理が実行される。
【0257】
第1基準を満たさないと判断された場合(ステップS402b;No)、第2判断部322dは、ステップS402bでの判断結果が第2基準を満たすか否かを判断する(ステップS402c)。
【0258】
例えば、第2基準は、所定の期間内に第1基準を満たさないと判断される回数が閾値以下であること、当該頻度が閾値以下であること、当該割合のいずれか1つである。
【0259】
第2判断部322dは、ステップS402bでの判断結果が第2基準を満たさない場合に、フレーム画像が分析対象ではないと判断する。第2判断部322dは、ステップS402bでの判断結果が第2基準を満たす場合に、フレーム画像が分析対象ではないと判断する。
【0260】
第2基準を満たさないと判断した場合(ステップS402c;No)、実施形態1と同様のステップS205~S206が実行される。第2基準を満たすと判断した場合(ステップS402c;Yes)、第2判断部322dは、第1情報処理を終了する。
【0261】
このように、本実施形態に係る第1情報処理では、所定の期間内に第1基準を満たさないと判断される回数、頻度、割合のいずれかが予め定められる閾値以下である場合に、検出情報の生成及び送信が行われないようにすることができる。
【0262】
(作用・効果)
本実施形態によれば、映像は、少なくとも1つのフレーム画像を含む時系列のフレーム画像から構成される。対象判断部322は、第1判断部322cと、第2判断部322dとを含む。
【0263】
第1判断部322cは、時系列のフレーム画像の各々と参照画像とを比較した結果が第1基準を満たすか否かを判断する。第2判断部322dは、時系列のフレーム画像の各々が第1基準を満たすか否かの判断結果と、第2基準と、に基づいて、フレーム画像の各々が分析対象であるか否かを判断する。
【0264】
これにより、時系列のフレーム画像の各々が第1基準を満たすか否かの判断結果が第2基準を満たすか否かに基づいて、フレーム画像の各々が分析対象であるか否かを判断することができる。そして、フレーム画像の各々が分析対象ではない場合に、検出情報が表示部132に表示されないようにすることができる。
【0265】
ここで、一般的に、通信障害が発生した場合、フレーム画像に虫や鳥が大きく映り込んだ場合などに、第1基準を満たさないフレーム画像が一時的に生成されることがある。このような場合、撮影装置101の撮影領域は実際には第1基準を満たさない程に変わっていないことがあり、検出情報をユーザに知らせることは、検出情報を確認するための手間をユーザに掛けることになる。
【0266】
本実施形態では上述のように、検出情報が表示部132に表示されないようにすることができるので、ユーザの手間を軽減することができる。従って、効率的な道路監視をより一層支援することが可能になる。
【0267】
本実施形態によれば、第2基準は、時系列のフレーム画像について第1基準を満たさないと判断される回数、頻度、割合の少なくとも1つを用いて規定される。
【0268】
第1基準を満たさないと判断される回数、頻度、割合が小さい場合、上述のように、第1基準を満たさないフレーム画像が一時的に生成された可能性が高い。そのため、第1基準を満たさないフレーム画像の検出精度の低下を抑えつつ、上述のようなユーザの手間を軽減することができる。従って、効率的な道路監視をより一層支援することが可能になる。
【0269】
<実施形態4>
実施形態1では、道路監視システムが、撮影装置101と第1情報処理装置102と第2情報処理装置103とを1つずつ備える例を説明した。しかし、道路監視システムは、道路上の異なる場所を撮影するように設置される複数の撮影装置101を備えてもよい。この場合の道路は、X高速道路のような特定道路であってもよく、X高速道路、Y高速道路などの複数の特定道路を含んでもよい。なお、道路は、人の通路を含んでもよい。
【0270】
また、道路監視システムは、複数の第1情報処理装置102を備えてもよい。この場合、第1情報処理装置102の各々は、1つ又は複数の撮影装置101に互いに情報を送受信できるようにネットワークNを介して接続されるとよい。これにより、第1情報処理装置102の各々は、1つ又は複数の撮影装置101が道路を撮影した画像を処理することにより、道路上の物体の状態である道路状態を検知することができる。
【0271】
なお、このような変更は、実施形態1だけでなく、実施形態2~3にも適用することができる。
【0272】
図25は、実施形態4に係る道路監視システム400の構成例を示す図である。道路監視システム400は、複数の撮影装置101_1_1~101_1_M1,101_X_1~101_X_MXと、1つ又は複数の第1情報処理装置102_1~102_Xと、第2情報処理装置103とを備える。M1,MX,Xのそれぞれは、1以上の整数である。
【0273】
複数の撮影装置101_1_1~101_1_M1,101_X_1~101_X_MXは、道路上の異なる場所を撮影するように設置される。複数の撮影装置101_1_1~101_1_M1,101_X_1~101_X_MXの各々が、例えば、実施形態1に係る撮影装置101に相当する。そのため、複数の撮影装置101_1_1~101_1_M1,101_X_1~101_X_MXの各々は、道路を撮影して映像を生成する。なお、映像は、上述の通り、時系列のフレーム画像、すなわち複数のフレーム画像から構成される。
【0274】
Xが2以上である場合、第1情報処理装置102_1~102_Xの各々が、実施形態1に係る第1情報処理装置102に相当する。例えば、本実施形態に係る第1情報処理装置102_1~102_Xの各々では、映像取得部121は、複数の撮影装置101_1_1~101_1_M1,101_X_1~101_X_MXのそれぞれが道路を撮影した複数の映像を取得する。
【0275】
対象判断部122は、例えば、映像取得部121が取得した複数の映像の各々を構成する複数のフレーム画像の各々と参照画像とを比較した結果と、第1基準と、に基づいて、複数のフレーム画像の各々が分析対象であるか否かを判断する。
【0276】
(作用・効果)
以上、実施形態4によれば、道路監視システム400は、道路を撮影して映像を生成する複数の撮影装置101_1_1~101_1_M1,101_X_1~101_X_MXをさらに備える。
【0277】
映像取得部121は、複数の撮影装置101_1_1~101_1_M1,101_X_1~101_X_MXのそれぞれが道路を撮影した複数の映像を取得する。対象判断部122は、複数の映像の各々を構成する複数のフレーム画像の各々と参照画像とを比較した結果と、第1基準と、に基づいて、複数のフレーム画像の各々が分析対象であるか否かを判断する。
【0278】
これにより、複数の撮影装置101_1_1~101_1_M1,101_X_1~101_X_MXが生成する映像について、第1基準を用いて分析対象であるか否かを判断することができる。そして、分析対象であるフレーム画像については、これを用いた分析結果を表示部132に表示して、ユーザに知らせることができる。そのため、ユーザは、分析対象となるフレーム画像に基づく適切な分析結果を参照して、広範囲の道路を監視することができる。従って、効率的な道路監視を支援することが可能になる。
【0279】
また、分析対象ではないフレーム画像については、検出情報を表示部132に表示して、分析対象ではないフレーム画像が検出されたことをユーザに知らせることができる。これを知ったユーザは、検出情報に基づいて撮影装置101の向きを修正するなど、広範囲のフレーム画像が適切に撮影されるように対処することができる。そして、対処後は、適切な分析結果に基づいて広範囲の道路を監視することができる。従って、効率的な道路監視を支援することが可能になる。
【0280】
以上、図面を参照して本発明の実施形態及び変形例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0281】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、実施形態の各々で実行される工程の実行順序は、その記載の順番に制限されない。実施形態の各々では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の実施形態及び変形例は、内容が相反しない範囲で組み合わせることができる。
【0282】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
【0283】
1. 道路を撮影した映像を取得する映像取得手段と、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断する対象判断手段と、
前記判断の結果に基づく情報を表示手段に表示させる表示制御手段と、を備え、
前記表示制御手段は、
前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を前記表示手段に表示させる第1制御手段と、
分析対象ではないフレーム画像が検出されたことを示す検出情報を前記表示手段に表示させる第2制御手段と、を含む
道路監視システム。
2. 前記対象判断手段は、前記少なくとも1つのフレーム画像の画像特徴量と前記参照画像の画像特徴量とを比較した結果と、前記第1基準とに基づいて、前記少なくとも1つのフレーム画像が前記分析対象であるか否かを判断する
1.に記載の道路監視システム。
3. 前記画像特徴量は、前記少なくとも1つのフレーム画像に映る領域を示す特徴量である
2.に記載の道路監視システム。
4. 前記参照画像を選定するための条件を規定する選定条件に従って、複数の候補画像の中から前記参照画像を選定する選定手段をさらに備える
1.から3.のいずれか1つに記載の道路監視システム。
5. 前記選定条件は、(1)撮影環境に関する条件、(2)前記参照画像を切り替える時期に関する条件、の少なくとも1つを含む
4.に記載の道路監視システム。
6. 前記選定条件は、前記撮影環境に関する条件を含み、
前記複数の候補画像は、異なる撮影環境に関連付けられる画像を含み、
前記選定手段は、前記少なくとも1つのフレーム画像と共通の撮影環境に関連付けられる1つ又は複数の候補画像の中から、前記参照画像を選定する
5.に記載の道路監視システム。
7. 前記撮影環境は、撮影時期の属性、気象条件の少なくとも1つを含む
6.に記載の道路監視システム。
8. 前記選定条件は、前記参照画像を切り替える時期に関する条件を含み、
前記選定手段は、前記参照画像を切り替える時期に、前記複数の候補画像の中から前記参照画像を選定する
5.から7.のいずれか1つに記載の道路監視システム。
9. 前記参照画像を切り替える時期に関する条件は、時間間隔、作業スケジュールの少なくとも1つを用いて規定される
8.に記載の道路監視システム。
10. 前記映像は、前記少なくとも1つのフレーム画像を含む時系列のフレーム画像から構成され、
前記対象判断手段は、
前記時系列のフレーム画像の各々と前記参照画像とを比較した結果が前記第1基準を満たすか否かを判断する第1判断手段と、
前記時系列のフレーム画像の各々が前記第1基準を満たすか否かの判断結果と、第2基準と、に基づいて、前記フレーム画像の各々が前記分析対象であるか否かを判断する第2判断手段と、を含む
1.から9.のいずれか1つに記載の道路監視システム。
11. 前記第2基準は、前記時系列のフレーム画像について前記第1基準を満たさないと判断される回数、頻度、割合の少なくとも1つを用いて規定される
10.に記載の道路監視システム。
12. 前記道路を撮影して映像を生成する複数の撮影手段をさらに備え、
前記映像取得手段は、前記複数の撮影手段のそれぞれが前記道路を撮影した複数の前記映像を取得し、
前記対象判断手段は、前記複数の映像の各々を構成する複数のフレーム画像の各々と参照画像とを比較した結果と、前記第1基準と、に基づいて、前記複数のフレーム画像の各々が前記分析対象であるか否かを判断する
1.から11.のいずれか1つに記載の道路監視システム。
13. 前記検出情報は、分析対象ではないとの判断に用いられた前記フレーム画像に関する情報を含む
1.から12.のいずれか1つに記載の道路監視システム。
14. 前記フレーム画像に関する情報は、(1)当該フレーム画像を撮影した撮影装置を識別するための撮影装置識別情報、(2)当該判断に用いられたフレーム画像及び前記参照画像の少なくとも一方、(3)当該フレーム画像に映る領域のズレに関するズレ情報との少なくとも1つを含む
13.に記載の道路監視システム。
15. 前記第2制御手段は、前記検出情報が前記フレーム画像及び前記参照画像を含む場合に、前記フレーム画像及び前記参照画像を並べて前記表示手段に表示させる
14.に記載の道路監視システム。
16. 道路を撮影した映像を取得する映像取得手段と、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断する対象判断手段と、
前記判断の結果に基づく情報を送信する送信手段と、を備え、
前記送信手段は、
前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を送信する第1送信手段と、
分析対象ではないフレーム画像が検出されたことを示す検出情報を送信する第2送信手段と、を含む
情報処理装置。
17. 1つ以上のコンピュータが、
道路を撮影した映像を取得し、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断し、
前記判断の結果に基づく情報を表示手段に表示させることを含み、
前記表示させることは、前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を前記表示手段に表示させることと、分析対象ではないフレーム画像が検出されたことを示す検出情報を前記表示手段に表示させることと、を含む
道路監視方法。
18. 1つ以上のコンピュータに、
道路を撮影した映像を取得し、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断し、
前記判断の結果に基づく情報を表示手段に表示させることを実行させるためのものであり、
前記表示させることは、
前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を前記表示手段に表示させることと、分析対象ではないフレーム画像が検出されたことを示す検出情報を前記表示手段に表示させることと、を含む
プログラム。
19. 1つ以上のコンピュータに、
道路を撮影した映像を取得し、
前記映像を構成する少なくとも1つのフレーム画像と参照画像とを比較した結果と、第1基準と、に基づいて、前記少なくとも1つのフレーム画像が分析対象であるか否かを判断し、
前記判断の結果に基づく情報を表示手段に表示させることを実行させるためのものであり、
前記表示させることは、
前記分析対象であると判断された前記少なくとも1つのフレーム画像の分析結果を前記表示手段に表示させることと、分析対象ではないフレーム画像が検出されたことを示す検出情報を前記表示手段に表示させることと、を含む
プログラムを記録した記録媒体。
【符号の説明】
【0284】
100,400 道路監視システム
101 撮影装置
102 第1情報処理装置
103 第2情報処理装置
121 映像取得部
122 対象判断部
122a 参照画像記憶部
122b 比較部
122c 第1判断部
123 分析部
124 送信部
124a 第1送信部
124b 第2送信部
131 受信部
132 表示部
133 表示制御部
133a 内容判断部
133b 第1制御部
133c 第2制御部
222,322 対象判断部
222a 候補記憶部
222b 選定部
222c,322c 第1判断部
322d 第2判断部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25