ホーム > 特許ランキング > 東芝情報システム株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-09
(45)【発行日】2023-06-19
(54)【発明の名称】道路周辺物監視装置、道路周辺物監視プログラム
(51)【国際特許分類】
G08G 1/01 20060101AFI20230612BHJP
【ＦＩ】
G08G1/01 A
【請求項の数】
8
(21)【出願番号】P 2020150504
(22)【出願日】2020-09-08
(65)【公開番号】P2022045032
(43)【公開日】2022-03-18
【審査請求日】2021-08-06
(73)【特許権者】
【識別番号】391016358
【氏名又は名称】東芝情報システム株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】明井 正治
【審査官】増子 真
(56)【参考文献】
【文献】特開２０１８－１２０４０９（ＪＰ，Ａ）
【文献】特開２０１８－０１８４６１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － ９９／００
Ｇ０１Ｃ ２１／００ － ２１／３６
Ｇ０１Ｃ ２３／００ － ２５／００
Ｂ６０Ｗ １０／００ － １０／３０
Ｂ６０Ｗ ３０／００ － ６０／００
Ｇ０５Ｄ １／００ － １／１２
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ５／５０
Ｇ０６Ｔ ９／００ － ９／４０
Ｇ０６Ｎ ３／００ － ３／１２
Ｇ０６Ｎ ７／０８ － ９９／００
Ｅ０１Ｃ ２１／００ － ２３／２４
Ｇ０７Ｃ １／００ － １５／００
(57)【特許請求の範囲】
【請求項1】
複数の車両のそれぞれに搭載された複数のカメラによって、それぞれ異なる位置と時刻で撮影された道路周辺物の複数の画像を入力する画像入力手段と、前記画像入力手段によって入力された複数の画像の各々が撮影された位置と時刻とに基づいて該複数の画像を相互に関連付ける関連付け手段と、
前記関連付け手段により関連付けられた複数の画像に基づいて、前記画像に撮影された道路周辺物の異常状態のレベルを示す状況レベルと前記状況レベルの確度を判定する状態判定手段と、
前記関連付け手段により関連付けられた同じ位置で撮影された複数の画像を合成して、画像が撮影された位置における時間経過に伴って変化する動画を生成する動画生成手段と、
前記状態判定手段により判定された前記状況レベルと前記確度に基づいて、前記関連付け手段によって関連づけられた複数の画像を、前記状況レベルが示す異常状態が高いと判定された画像を優先的に表示させ、次に前記状況レベルの確度の確度が高い画像を重要度が高いとして優先的に表示させ、また、前記動画生成手段により生成された動画を表示させる出力手段とを有する道路周辺物監視装置。
【請求項2】
前記状態判定手段は、位置に基づいて関連付けられた複数の画像をもとに、道路周辺物の時間経過に伴って変化した状態を判定する請求項１記載の道路周辺物監視装置。
【請求項3】
前記関連付け手段は、画像が撮影された位置に基づいて、道路毎に道路上で撮影された画像を関連付け、前記状態判定手段は、前記道路毎に関連付けられた複数の画像をもとに、前記道路周辺物の状態を判定する請求項１または請求項２記載の道路周辺物監視装置。
【請求項4】
前記出力手段は、前記状態判定手段により判定された道路周辺物の状態を表示装置において表示させる請求項１～３の何れかに記載の道路周辺物監視装置。
【請求項5】
前記出力手段は、前記関連付け手段によって関連づけられた複数の画像を、撮影された位置と時刻に基づいて配置して表示させる請求項１～４の何れかに記載の道路周辺物監視装置。
【請求項6】
前記状態判定手段は、予め記憶された学習モデルをもとに、道路周辺物の異常状態の前記状況レベルと前記確度を判定し、前記出力手段によって表示された画像に対する確認結果を入力する確認結果入力手段と、
前記確認結果入力手段により入力された確認結果に対応する画像をもとに前記学習モデルに反映させるための学習用データを生成し、前記学習モデルに反映させる学習手段とをさらに有する請求項１または請求項５記載の道路周辺物監視装置。
【請求項7】
前記動画生成手段は、前記関連付け手段により関連付けられた複数の画像を合成して、道路に沿って変化する動画を生成し、
前記出力手段は、前記動画生成手段により生成された道路に沿って変化する動画を表示装置において表示させる請求項１記載の道路周辺物監視装置。
【請求項8】
コンピュータを、複数の車両のそれぞれに搭載された複数のカメラによってそれぞれ異なる位置と時刻で撮影された道路周辺物の複数の画像を入力する画像入力手段と、
前記画像入力手段によって入力された複数の画像の各々が撮影された位置と時刻とに基づいて該複数の画像を相互に関連付ける関連付け手段と、
前記関連付け手段により関連付けられた複数の画像に基づいて、前記画像に撮影された道路周辺物の異常状態のレベルを示す状況レベルと前記状況レベルの確度を判定する状態判定手段と、
前記関連付け手段により関連付けられた同じ位置で撮影された複数の画像を合成して、画像が撮影された位置における時間経過に伴って変化する動画を生成する動画生成手段と、
前記状態判定手段により判定された前記状況レベルと前記確度に基づいて、前記関連付け手段によって関連づけられた複数の画像を、前記状況レベルが示す異常状態が高いと判定された画像を優先的に表示させ、次に前記状況レベルの確度の確度が高い画像を重要度が高いとして優先的に表示させ、また、前記動画生成手段により生成された動画を表示させる出力手段として機能させるための道路周辺物監視プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路周辺物監視装置、道路周辺物監視プログラムに関する。
【背景技術】
【0002】
交通インフラの維持を目的に、インフラの点検を行うシステムとしては、専用車両を用いて、インフラの状況を収集するものがある（特許文献１参照）。例えば、点検対象とする道路を車両により走行しながら、車両の前方と左右の側方をカメラによって動画を撮影すると共に、異常が生じていると判断した点検者による入力操作に応じて、動画情報と位置情報と関連づけられたインデックス情報を記録する。これにより、地図中にインデックス情報に応じた撮影位置を表示し、また異常が疑われた構造部の画像を表示させて確認することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】実用新案登録第３１９５７１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このように従来の技術においては、車両のカメラによって動画を撮影して、道路の異常箇所の記録をしている。すなわち、従来のシステムでは、インフラ点検用のカメラと専用の機材が搭載された専用車両を使用し、異常箇所の判定をする専門知識を有する点検者が点検のための巡視（検査対象とする道路の走行）を実行する必要があった。
【0005】
しかしながら、点検対象とする交通インフラ（道路）が多いにも関わらず、専用車両と専門の点検者による巡視では、限られた予算内で専用車両と専門の点検者を多数用意することができないため、頻繁に巡視することが困難となっていた。このため、異常箇所の検出が遅れてしまうおそれがあった。特に、頻度が少ない巡視時に、異常箇所が他の車両によって隠れてしまうなどの道路状況などにより異常箇所の画像を撮影できない場合には、さらに異常箇所の検出が遅れてしまう可能性がある。
【0006】
さらに、インフラとしての道路には、安全な運航を実現するために、路面だけでなく、ガードレール、雑草等の道路の周辺物を含めた監視が必要であり、道路面を含む道路周辺を対象とする広範囲の画像を取得して異常を判定する必要がある。
【0007】
本発明が解決しようとする課題は、道路周辺物について異常箇所を効率的に判定することが可能な道路周辺物監視装置、道路周辺物監視プログラムを提供することである。
【課題を解決するための手段】
【0008】
実施形態によれば、道路周辺物監視システムは、画像入力手段、関連付け手段、状態判定手段、動画生成手段、出力手段を有する。画像入力手段は、複数の車両のそれぞれに搭載された複数のカメラによってそれぞれ異なる位置と時刻で撮影された道路周辺物の複数の画像を入力する。関連付け手段は、前記画像入力手段によって入力された複数の画像の各々が撮影された位置と時刻に基づいて該複数の画像を相互に関連付ける。状態判定手段は、前記関連付け手段により関連付けられた複数の画像に基づいて、前記画像に撮影された道路周辺物の異常状態のレベルを示す状況レベルと前記状況レベルの確度を判定する。動画生成手段は、前記関連付け手段により関連付けられた同じ位置で撮影された複数の画像を合成して、画像が撮影された位置における時間経過に伴って変化する動画を生成する。出力手段は、前記状態判定手段により判定された前記状況レベルと前記確度に基づいて、前記関連付け手段によって関連づけられた複数の画像を、前記状況レベルが示す異常状態が高いと判定された画像を優先的に表示させ、次に前記状況レベルの確度の確度が高い画像を重要度が高いとして優先的に表示させ、また、前記動画生成手段により生成された動画を表示させる。
【図面の簡単な説明】
【0009】
【図1】本実施形態における道路周辺物監視システムの構成を示すブロック図。
【図2】本実施形態におけるサーバの構成を示すブロック図。
【図3】本実施形態におけるサーバにおける機能構成を示すブロック図。
【図4】本実施形態における車載機器の構成を示すブロック図。
【図5】本実施形態における道路周辺物監視システムの概要について説明するための図。
【図6】本実施形態における車載機器の動作を説明するためのフローチャート。
【図7】本実施形態におけるサーバ（道路周辺物監視装置）の動作を説明するためのフローチャート。
【図8】本実施形態における画像データの一例を示す図。
【図9】本実施形態におけるサーバによる画像の蓄積を説明するための図。
【図10】本実施形態における車両ＩＤ／画像ＩＤＤＢに記憶されるデータの一例を示す図。
【図11】本実施形態における画像ＤＢに記憶されるデータの一例を示す図。
【図12】本実施形態における判定結果リストに記憶されるデータの一例を示す図。
【図13】本実施形態における判定結果出力部により作成される操作画面の一例を示す図。
【図14】本実施形態における判定結果出力部により作成される一覧操作画面の一例を示す図。
【図15】本実施形態における判定結果出力部により作成される詳細操作画面の一例を示す図。
【図16】本実施形態における判定結果出力部２７により作成される一覧操作画面の一例を示す図。
【図17】本実施形態における動画の作成を説明するための図。
【発明を実施するための形態】
【0010】
以下、実施形態について図面を参照して説明する。
【0011】
図１は、本実施形態における道路周辺物監視システムの構成を示すブロック図である。道路周辺物監視システムは、道路（トンネル、橋などを含む）と道路の周辺を含む道路周辺物の道路インフラの点検に用いられるシステムである。本実施形態の道路周辺物監視システムでは、道路監視用の専用の機材が搭載された車両を用いることなく、道路監視を目的としていない一般車両（バス、タクシーなどの業務用の車両を含む）に搭載されたカメラにより撮影された画像を入力して道路周辺物監視をする。すなわち、多数の一般車両のカメラによって撮影された画像を収集することで、道路周辺を撮影した画像の取得頻度を上げ、また道路状況や撮影環境によってある車両では撮影ができなかった箇所があっても他の車両によって撮影された画像によって補完することができる。
【0012】
多数の一般車両のカメラによって撮影された画像は、例えばＡＩ（Artificial Intelligence）技術により学習モデルに基づいて状態（異常状況有り（重要度）、状況指数（確度）、異常種類を示すインフラ状況種別など）を判定し、この判定結果に基づく情報を出力することで、インフラ管理者等（道路管理会社担当者、自治体担当者など）の操作員による異常箇所の判定確認作業を容易にする。インフラ管理者による確認結果は、学習モデルに反映させることで判定精度を向上させる。
【0013】
本実施形態における道路周辺物監視システムは、図１に示すように、サーバ１２と、ネットワーク１９を介して、複数の車載機器１０（１０－１，…，１０－ｍ）、複数のカメラ付き電子機器１４（１４－１，…，１４－ｐ）、電子機器１６、映像サーバ１８が接続されて構成される。本実施形態におけるサーバ１２は、道路周辺物監視プログラムにより実現される機能により道路周辺物監視装置として動作する。
【0014】
サーバ１２（道路周辺物監視装置）は、車載機器１０、カメラ付き電子機器１４及び映像サーバ１８において収集された画像を入力して、道路周辺物についての状態をＡＩ技術により判定し、判定結果を出力する。サーバ１２は、判定結果に対する操作員（インフラ管理者等）による確認結果の入力に応じて、判定対象とされた画像をもとに学習用データを生成して学習モデルに反映させる。
【0015】
車載機器１０は、一般車両に搭載された、カメラによる画像撮影をする機能が設けられた機器である。車載機器１０は、サーバ１２における道路周辺物監視のために設けられた機器ではなく、他の目的のために実装された機器である。例えば、車載機器１０は、車両の自動運転や運転支援のために車両の周辺状況を周辺監視カメラにより撮影する機器、車両走行中の道路を含む周囲の画像を記録するためのドライブレコーダなどがある。車載機器１０には、複数のカメラが搭載され、車両が走行する前方／後方の道路の画像だけでなく、車両の側方の画像を撮影するカメラが設けられる。本実施形態におけるサーバ１２は、車両に搭載された既存の車載機器１０のカメラにより撮影された画像を入力して、道路周辺物監視のための処理に利用する。
【0016】
カメラ付き電子機器１４は、例えばスマートフォン、タブレットコンピュータ、デジタルカメラ、カメラ付きドローンなど、画像撮影機能及び通信機能が搭載された一般的な機器である。サーバ１２は、車載機器１０によって撮影された画像だけでなく、いわゆるモバイル機器と称されるカメラ付き電子機器１４によって撮影された道路または道路周辺の画像を入力して、車載機器１０のカメラにより撮影された画像と同様にして道路周辺物監視のための処理に利用する。
【0017】
映像サーバ１８は、例えば映像データベース（ＤＢ）１８Ａを有し、映像（動画）や画像（静止画）を外部の機器から収集して蓄積し、要求に応じて映像／画像を提供するサービスを実現するための機器である。映像サーバ１８は、例えばバスやタクシーなどに搭載されたドライブレコーダによって記録された道路または道路周辺の映像（画像）、その他の各種映像（画像）を収集する。サーバ１２は、車載機器１０によって撮影された画像だけでなく、他の目的で映像ＤＢ１８Ａに蓄積された道路または道路周辺の画像を入力して、車載機器１０のカメラにより撮影された画像と同様にして道路周辺物監視のための処理に利用する。
【0018】
本実施形態における道路周辺物監視システムにおいて使用される車載機器１０、カメラ付き電子機器１４、映像サーバ１８には、サーバ１２（道路周辺物監視装置）に画像（あるいは映像）を送信するための処理を実行するための画像送信プログラムがインストールされる。画像送信プログラムは、カメラにより撮影された映像から画像を周期的に切り出し、それぞれの画像に対して撮影に関する各種の撮影情報（少なくとも撮影位置、撮影時刻を含む）を付加して、サーバ１２へ送信する送信処理を実行させる。なお、サーバ１２に対して画像を送信するのではなく映像を送信して、サーバ１２において画像を切り出す処理を実行させても良い。
【0019】
電子機器１６は、例えばパーソナルコンピュータ、タブレットコンピュータ、スマートフォンなどの機器であり、サーバ１２にアクセスして道路周辺物監視のための処理結果を出力するために使用される。電子機器１６は、例えばインフラ管理者（道路管理会社担当者、自治体担当者など）などの操作員により使用される。サーバ１２は、道路周辺物監視のための処理結果を、自機に設けられた表示装置において出力する他、ネットワーク１９を通じて電子機器１６において出力させる。
【0020】
ネットワーク１９は、無線通信網、有線通信網、インターネットなどの各種の通信網を含む。
【0021】
なお、サーバ１２は、例えばクラウドコンピューティングにより実現されるものとし、ネットワーク１９（インターネット）を介して接続された１台のサーバ、あるいは複数のサーバが協働して動作することで実現されても良い。以下の説明では、サーバ１２は、１台のサーバにより実現されるものとして説明する。
【0022】
図２は、本実施形態におけるサーバ１２（道路周辺物監視装置）の構成を示すブロック図である。サーバ１２は、プロセッサ１２ａ、メモリ１２ｂ、記憶装置１２ｃ、表示装置１２ｅ、入力装置１２ｆ、通信装置１２ｈを有する。
【0023】
プロセッサ１２ａは、メモリ１２ｂに記憶された基本プログラム（ＯＳ）やアプリケーションプログラムを実行して、各種の機能を実現するための回路である。例えば、プロセッサ１２ａは、プログラムを実行することで、後述する各機能を実現する（図３参照）。
【0024】
メモリ１２ｂは、プロセッサ１２ａにより実行されるプログラムや一時的なデータ等を記憶する。
【0025】
記憶装置１２ｃは、各種のプログラムや各種データが記憶される。記憶装置１２ｃに記憶されるデータには、車載機器１０、カメラ付き電子機器１４、映像サーバ１８から受信される画像（あるいは映像）データと画像に付加された撮影情報を登録するための画像データベース（ＤＢ）と車両ＩＤ／画像ＩＤデータベース（ＤＢ）、地図データベース（ＤＢ）、判定結果が記録される判定結果リスト、ＡＩによる判定をするための学習モデル、画像をもとに生成される学習用データなどを含む。
【0026】
表示装置１２ｅは、ＬＣＤ（Liquid Crystal Display）などであり、プロセッサ１２ａの処理に応じた画面を表示させる。入力装置１２ｆは、キーボードやポインティングデバイスなどである。
【0027】
通信装置１２ｈは、ネットワーク１９を通じた外部装置、例えば車載機器１０、カメラ付き電子機器１４、映像サーバ１８、他の情報処理装置との通信を制御する。
【0028】
図３は、本実施形態におけるサーバ１２のプロセッサ１２ａによりプログラムを実行することにより実現される機能構成２０を示すブロック図である。
【0029】
図３に示すように、サーバ１２の機能構成２０は、画像入力部２１、画像データベース（ＤＢ）２２、車両ＩＤ／画像ＩＤデータベース２３、地図データベース（ＤＢ）２４、判定処理部２５、学習モデル記憶部２６、判定結果出力部２７、判定結果リスト２８、確認結果入力部３１、画像収集部３２、学習用データ生成部３３、学習処理部３４を含む。
【0030】
画像入力部２１は、車載機器１０（あるいはカメラ付き電子機器１４、映像サーバ１８）からネットワーク１９を通じて道路周辺物を撮影した画像を入力する。画像入力部２１は、例えば映像から周期的に切り出された複数枚の画像、あるいは映像と共に、撮影情報を受信する。映像を受信する場合には、映像から例えば周期的に画像を切り出す。画像ＤＢ２２は、画像入力部２１によって受信された画像と撮影情報を記憶装置１２ｃにおいて記憶する。なお、画像入力部２１は、ネットワーク１９を通じて画像及び撮影情報を受信するだけでなく、各種の記録媒体に記録された画像及び撮影情報を入力することもできる。
【0031】
車両ＩＤ／画像ＩＤＤＢ２３は、画像ＤＢ２２に記憶される画像のインデックス情報として、車載カメラによって撮影された画像に付加された撮影情報に含まれる車両に固有の識別子である車両ＩＤ、画像に対して付された一意の番号を示す画像ＩＤ、インデックス情報の記録日時が記憶される。
【0032】
地図ＤＢ２４は、地図データが記憶されたデータベースであり、道路毎の経路を示す位置データを含む。画像に付加された撮影情報の撮影位置と道路の位置データとを照合することで、車載機器１０等から受信された画像が何れの道路上の位置で撮影されたかを特定することができる。
【0033】
判定処理部２５は、画像ＤＢ２２に記憶された、それぞれ異なる位置と時刻で撮影された道路周辺物の画像について、道路周辺物の状態を判定するための学習モデル記憶部２６に予め記憶された学習モデルをもとにＡＩ技術により道路周辺物の状態を判定する。判定処理部２５は、複数の画像が撮影された位置と時刻に基づいて関連付け、関連付けられた複数の画像に基づいて道路周辺物の状態を判定する。判定処理部２５は、地図ＤＢ２４の道路の位置データをもとに、同じ道路上の異なる場所において、複数の車両に搭載されたカメラによって撮影された複数の画像を関連づける。また、判定処理部２５は、道路上の位置毎に、複数の車両に搭載されたカメラによって異なるタイミングで撮影された複数の画像を関連づける。
【0034】
学習モデル記憶部２６は、判定処理部２５による道路周辺物の状態を判定するためのもので、道路周辺物に生じる状態の特徴を表す学習モデルを記憶する。学習モデル記憶部２６により記憶される学習モデルは、車載機器１０が道路周辺物を撮影する撮影環境の変動等により画像が一定でない、あるいは検出対象とする道路周辺物の異常箇所が様々な状態である状況に対応できるように、車載機器１０により撮影された画像から学習に適した画像を収集して、この画像をもとに生成された学習用データが反映される。例えば、判定結果に対する操作員（インフラ管理者等）による確認結果の入力に応じて、判定対象とされた画像をもとに生成された学習用データが反映される。
【0035】
判定結果出力部２７は、判定結果リスト２８に記憶された判定処理部２５による判定結果（道路周辺物の状態を通知するための情報）を出力する。判定結果出力部２７は、自機の表示装置１２ｅ、あるいはネットワーク１９を介して接続された電子機器１６などに対して判定結果を出力する。判定結果とする表示画面には、例えば異常箇所と判定された道路周辺物の画像が撮影された位置を示す地図、異常箇所と判定された道路周辺物が撮影された画像、画像判定結果とする対象物、状況種別、状況指数（確度）などの情報、撮影情報（撮影位置、撮影日時、カメラに関する情報など）等を表示させる。また、判定結果出力部２７は、判定結果に対する操作員（インフラ管理者等）による異常箇所確認の作業を用にするため、判定処理部２５による判定処理のために関連づけられた画像の一覧表示、あるいは関連づけられた画像を合成した動画あるいはパノラマ画像の表示画面を出力する。
【0036】
判定結果リスト２８は、判定処理部２５による判定結果が記憶される。
【0037】
確認結果入力部３１は、判定結果出力部２７からの判定結果の出力に対して、入力装置１２ｆに対する操作員（インフラ管理者等）の入力操作、あるいは電子機器１６における操作員による入力操作に応じて確認結果を入力する。例えば、確認結果入力部３１は、異常箇所検出の正誤判定、重要度の指定、異常箇所が撮影された画像の選択などの指定を入力する。
【0038】
画像収集部３２は、確認結果入力部３１から入力された確認結果に基づいて、画像ＤＢ２２に記憶された画像から、学習モデルに反映させる学習用データを生成するための画像を収集する。画像収集部３２は、確認結果に対応する少なくとも１枚の画像を収集する。例えば、異常箇所が撮影されていると操作員により確認された画像だけでなく、同じ位置で別の車両のカメラで撮影された画像、撮像時刻が異なる画像など複数枚の画像を収集する。学習対象とする画像を複数収集することで、学習モデルへ反映させる学習用データを増加させることができる。
【0039】
学習用データ生成部３３は、画像収集部３２により収集された画像をもとに、学習モデルに反映されるための学習用データを生成する。
【0040】
学習処理部３４は、画像収集部３２により収集された画像をもとに、学習用データ生成部３３により生成された学習用データを、学習モデル記憶部２６に記憶された学習モデルに反映させる。学習処理部３４は、判定結果毎に収集された画像をもとに、判定結果毎に道路周辺物の状態を判定するための学習用データを学習モデルに反映させる。
【0041】
図４は、本実施形態における車載機器１０の構成を示すブロック図である。車載機器１０は、プロセッサ１０ａ、メモリ１０ｂ、記憶装置１０ｃ、入出力インタフェース（Ｉ／Ｆ）１０ｄ、表示装置１０ｅ、入力装置１０ｆ、無線通信装置１０ｇ、ＧＰＳユニット１０ｈ、カメラユニット１０ｊ（１０ｊ１，…，１０ｊｎ）、センサ群１０ｍを有する。
【0042】
プロセッサ１０ａは、メモリ１０ｂに記憶された基本プログラム（ＯＳ）やアプリケーションプログラムを実行して、各種の機能を実現するための回路である。例えば、プロセッサ１０ａは、プログラムを実行することで、車載機器１０として機能（自動運転、運転支援、ドライブレコーダ等）を実現し、カメラユニット１０ｊにより撮像された画像（静止画、動画）を記憶する。また、プロセッサ１０ａは、道路周辺物監視システム用のアプリケーションプログラムがインストールされることにより、このプログラムに基づいて、記憶された画像（静止画、動画）に撮影情報（詳細については後述する）を付加してサーバ１０に送信する送信処理を実行する。
【0043】
メモリ１０ｂは、プロセッサ１０ａにより実行されるプログラムや一時的なデータ等を記憶する。
【0044】
記憶装置１０ｃは、各種のプログラムや各種データが記憶される。記憶装置１０ｃに記憶されるデータには、カメラユニット１０ｊにより道路周辺物を撮影することにより得られた画像（静止画、動画）などのデータが記憶される。
【0045】
入出力Ｉ／Ｆ１０ｄは、外部機器とデータを送受信するためのインタフェースである。入出力Ｉ／Ｆ１０ｄは、例えば可搬型のメモリ媒体を介してデータを入出力することができる。
【0046】
表示装置１０ｅは、ＬＣＤ（Liquid Crystal Display）などであり、プロセッサ１０ａの処理に応じた画面を表示させる。入力装置１０ｆは、キーボードやポインティングデバイスなどであり、操作員等により操作される。
【0047】
無線通信装置１０ｇは、無線通信を制御するもので、他の情報処理装置、無線公衆網に収容された基地局との間の無線通信を制御する。
【0048】
ＧＰＳユニット１０ｈは、ＧＰＳ（Global Positioning System）を利用して、現在位置（緯度経度）を示す位置データ、及び時刻データを取得する。ＧＰＳユニット１０ｈにより取得される位置データ及び時刻データは、カメラユニット１０ｊにより撮影される画像に付加される撮影情報として使用される。なお、位置データ及び時刻データは、ＧＰＳユニット１０ｈではなく、ＧＰＳを利用するユニット以外のユニットを使用しても良い。
【0049】
カメラユニット１０ｊ（１０ｊ１，…，１０ｊｎ）は、静止画あるいは動画の撮影モードにより画像撮影を実行して画像を記憶する。カメラユニット１０ｊは、車載機器１０が実行する機能（自動運転、運転支援、ドライブレコーダなど）に応じて、例えば車両が走行する前方／後方、車両の側方の画像を撮影する複数のカメラが実装される。車両に実装されるカメラユニット１０ｊのそれぞれについて、例えばカメラ画角情報（カメラ指向角度、カメラ設置高さ）、カメラ属性（カメラ種別、撮影条件（絞り等））の情報が設定されており、撮影情報として使用される。
【0050】
センサ群１０ｍは、例えば磁気センサ、加速度センサ、ジャイロセンサ、環境光センサなどを含む。センサ群１０ｍでは、例えば車載機器１０の姿勢、向き、周囲の明るさなどを検出することができる。従って、プロセッサ１０ａは、カメラユニット１０ｊによる道路周辺物の撮影時において、撮影位置、撮影方向、周囲の明るさなどを示すデータを取得できる。センサ群１０ｍにより検出されるデータは、カメラユニット１０ｊにより撮影される画像に付加される撮影情報として使用される。
【0051】
なお、図４は、車載機器１０として説明しているが、カメラ付き電子機器１４も同等の構成を有するものとして説明を省略する。また、映像サーバ１８は、カメラユニット１０ｊ、ＧＰＳユニット１０ｈ、センサ群１０ｍ等の構成を有していないが、少なくとも撮影位置と撮影時刻を含む、撮影情報としてサーバ１２に送信する情報が付加された画像を外部の機器から収集して映像ＤＢ１８Ａに記憶しているものとする。
【0052】
次に、本実施形態における道路周辺物監視システムの動作について説明する。
【0053】
図５は、本実施形態における道路周辺物監視システムの概要について説明するための図である。以下の説明では、サーバ１２（道路周辺物監視装置）は、車両に搭載されたカメラによって撮影された画像をもとに道路周辺物監視をするものとする。
【0054】
図５の画像記録状況２に示すように、車両が道路を走行している間、運転支援または自動運転制御を目的とした車載機器１０のカメラによって、道路及び道路周辺を撮影した映像（画像）が記録される。図５の画像記録状況２では、車両の側方に向けたカメラによって撮影された画像の一例を示している。この場合、道路の端部（路側）やガードレールなどの画像が撮影されている。車載機器１０（カメラ）によって撮影された画像は、サーバ１２において収集される。
【0055】
サーバ１２は、多数の車両の車載機器１０から画像を収集することで、多くの道路において、高頻度で撮影された画像を収集して、例えば障害物等による非撮影箇所をなくすことができる。サーバ１２では、多数の車載機器１０から収集された画像をもとに異常箇所を検出することで、多くの道路を多頻度で巡回した場合と同様の道路周辺物監視を実行することができる。
【0056】
図５に示す確認状況４に示すように、インフラ管理者等（道路管理会社担当者、自治体担当者など）の操作員は、電子機器１６を通じて、サーバ１２による処理結果を確認することができる。電子機器１６では、サーバ１２において異常箇所として判定された位置が地図上で明示され、異常箇所の画像を選択的に確認できるため、道路周辺物の状況確認を容易にすることができる。
【0057】
【0058】
まず、車両側の車載機器１０の動作について説明する。
【0059】
車両の車載機器１０のプロセッサ１０ａは、車両の走行に伴って運転支援または自動運転制御を目的として処理を開始すると共に、画像送信プログラムに基づいて道路周辺物監視のための取得制御処理を開始する（図６、ステップＡ１）。カメラユニット１０ｊは、車両の走行に伴い、道路及び道路周辺の映像（画像）を撮影する（ステップＡ２）。プロセッサ１０ａは、カメラユニット１０ｊにより撮影された画像に対する画像処理を実行し、サーバ１２に対して送信する画像データの生成／記録を実行する（ステップＡ３）。画像データには、例えば、カメラユニット１０ｊにより撮影された映像から周期的に切り出した画像（画像本体）と各画像に対応する撮影情報を含む。
【0060】
図８には、本実施形態における画像データの一例を示している。
【0061】
画像処理では、画像を識別するための画像ＩＤを生成し、ＧＰＳユニット１０ｈから得られる位置情報、日時分秒までを含む時刻情報（詳細）を取得する。また、時刻情報（詳細）から時間帯で示す概略の撮影時刻を生成する。概略の撮影時刻は、例えば一日の中の４時間単位の時間帯、月などを含む。また、ＧＰＳユニット１０ｈから取得される撮影位置情報（緯度経度、道路及び車線情報）の他、予め設定された車両ＩＤ、カメラ画角情報（カメラ指向角度、カメラ設置高）、カメラ設置車種（車種情報、カメラ画角情報を推定可能な情報）、カメラ属性（カメラ種別、撮影条件（絞り等））などのデータを取得する。
【0062】
なお、画像処理は、直前に生成した画像データの撮影位置情報を保持しておき、この保持された撮影位置情報が示す位置から予め設定された距離未満の撮影位置の画像データの生成を行わない。これにより、実質、同一の不要となる情報の取得を防止する。
【0063】
プロセッサ１０ａは、像処理により生成される画像データを、送信処理によりサーバ１２に対して送信する（ステップＡ４）。送信する最適なタイミングは、必要な周期で監視対象とする領域の情報が網羅的に収集できるように、本システムに対応した車両の台数と、各車両の走行パターン（走行対象とする道路）により決定される。例えば、車両数と走行パターンが十分にあるとして、各車が送信画像のサイズと送信に利用する通信回線容量から決めるものとする。例えば送信画像のサイズが１ＭＢ、通信回線容量が１ＭＢｓならば、８秒周期で送信する。
【0064】
なお、通信途絶時などは可能な範囲で再送信を試みるが、必ずしも再送信は必須ではない。これは、道路インフラの情報としては、例えば１か月の期間中に情報を取得できればよく、多数の車両の内で、何れかの車両が同じ位置で撮影した画像を送信可能となればよいためである。サーバ１２に画像を送信する車両の延べ台数が多ければ、道路各所の画像入手が可能と期待してよい。
【0065】
また、車両の走行中における画像の撮影タイミングによっては、他車両による遮蔽や、天候の影響などの撮影環境により、良質な画像の撮影できない場合があり得るが、複数の車両による一定期間内での撮影を条件とすることで、判定処理に適した画像の入手が可能となる。この複数の車両による画像の撮影は、専用車を使用した撮影に比べて、前述した撮影環境の影響に対して有利となる。
【0066】
なお、画像処理において、ガードレール、路面等の対象物を予め設定し、画像中の当該部位を切り出し、送信する画像データのサイズを削減してもよい。
【0067】
プロセッサ１０ａは、車両が走行されている間（ステップＡ５、Ｎｏ）、カメラ制御を実行して、前述した処理を継続して実行する（ステップＡ２～Ａ４）。プロセッサ１０ａは、車両の走行が停止されるなどしてカメラ制御が終了されると、画像データをサーバ１２に送信する処理を終了する。
【0068】
次に、サーバ１２の処理について説明する。
【0069】
サーバ１２の画像入力部２１は、ネットワーク１９を通じて、車載機器１０から画像データを受信して蓄積する（図７、ステップＢ１）。サーバ１２は、複数の車両（車載機器１０）から画像データを受信するため、図９に示すように、１つの車両ＩＤに対して、それぞれ異なる画像ＩＤが対応づけられた複数の画像本体のデータを蓄積することができる。
【0070】
画像受信部２１（プロセッサ１２ａ）は、車載機器１０から受信された画像データに含まれる画像ＩＤと車両ＩＤを、車両ＩＤ／画像ＩＤＤＢ２３に記憶させる。また、プロセッサ１２ａは、画像ＩＤ及び車両ＩＤと対応づけて記録日時を記憶させる。図１０は、本実施形態における車両ＩＤ／画像ＩＤＤＢ２３に記憶されるデータの一例を示している。
【0071】
また、画像受信部２１は、画像データの車両ＩＤと撮影時刻（詳細）を除く、その他のデータを画像ＤＢ２２に記憶させる。図１１は、本実施形態における画像ＤＢ２２に記憶されるデータの一例を示している。すなわち、画像ＤＢ２２には、画像ＩＤ、撮影時刻（時間帯で示す概略の時刻）、撮影位置情報（緯度経度、道路及び車線情報）、カメラ画角情報（カメラ指向角度、カメラ設置高）、カメラ属性（カメラ種別、撮影条件（絞り等））、画像本体のデータが記憶される。なお、図１１に示す画像判定結果は、後述する判定処理部２５の処理結果に応じて記憶され、操作員判定結果は、後述する確認結果入力部３１が入力した判定結果に応じて入力される。
【0072】
ここで、車両ＩＤと画像ＩＤの分離、及び撮影時刻（詳細）の除去は、インフラの状況確認に用いるデータと車両保有者又は車両運用者の個人情報を分離し、個人情報保護を行うための処置である。
【0073】
こうして、画像ＤＢ２２及び車両ＩＤ／画像ＩＤＤＢ２３には、多数の車両（車載機器１０）が様々な道路を走行しながら、それぞれ異なるタイミングで撮影された画像が蓄積される。
【0074】
判定処理部２５は、予め設定された条件に応じて、画像ＤＢ２２に記憶された画像に対する異常箇所検出等に関係する判定処理を実行する。予め設定された条件としては、道路毎に決められた一定期間毎に実行する、操作員の操作に応じて指定された道路を対象として実行するなどがある。その他の条件が設定されていても良い。
【0075】
判定処理部２５は、判定処理を実行する場合（ステップＢ３、Ｙｅｓ）、画像ＤＢ２２から画像を読み込み、また地図ＤＢ２４から地図データを読み込み、画像ＤＢ２２に記憶された画像に対する処理を実行する（ステップＢ４）。
【0076】
例えば、判定処理部２５は、ある道路についての異常箇所検出のための処理を実行する場合、対象とする道路の位置データに応じて、この位置データに該当する撮影位置が付された画像を画像ＤＢ２２から読み出して関連付けをする。これにより、道路の経路に沿った、複数の画像の関連付けができる。また、判定処理部２５は、道路上の位置毎に、撮影時刻が異なる複数の画像を関連づける。これにより、道路上の位置毎に、撮影タイミングが異なる複数の画像の関連付けができる。
【0077】
この際、関連付けの対象とする画像は、例えば画像品質が良好な画像を選択する、対象物が障害物に遮られることなく撮影されている画像を選択するなど、ＡＩによる判定処理に好適な画像を優先的に使用する。これにより、正確な判定結果が得られやすくできる。
【0078】
また、画像の関連付けでは、カメラ画角情報をもとに、車両の前方を撮影した画像、右あるいは左方向を撮影した画像を分類し、それぞれの分類毎に画像の関連付けをする。
【0079】
さらに、判定処理部２５は、操作員の操作により入力された、判定対象とする画像の撮影条件に基づいて、撮影条件に該当する画像に限定した画像の関連付けをしても良い。例えば、天候（雨天時など）、撮影月や季節などを撮影条件とすることができる。天候の指定がある場合には、例えばＡＩ技術により画像について撮影時の天候を推定して制限することができる。また、撮影月や季節の指定がある場合には、画像に対応づけられた撮影時刻のデータをもとに制限することができる。
【0080】
判定処理部２５は、関連付けられた複数の画像について、学習モデル記憶部２６に記憶された学習モデルをもとにＡＩ技術により道路周辺物の状態を判定するための画像判定を実行する（ステップＢ５）。すなわち、異常状態にあると判定される対象物（例えば、路面、ガードレール、歩道橋、標識、信号、植生）の検出、対象物の状況（破損、錆び、雑草等の浸食）などを判定する。また、判定処理部２５は、検出された対象物と状況についてのＡＩによる判定の確度（確からしさ）を決定する。
【0081】
判定処理部２５は、ＡＩによる画像単位で画像判定をするだけでなく、撮影位置あるいは撮影時刻に基づいて関連づけられた複数の画像をもとに、ＡＩによる画像判定をすることで正確な判定結果を得ることができる。例えば、判定処理部２５は、撮影位置に基づいて関連付けられた複数の画像、すなわち同じ位置で異なる日時で撮影された複数の画像をもとに、道路周辺物の時間経過に伴う状態の変化を判定することができる。
【0082】
判定処理部２５は、判定結果を、画像ＤＢ２２の該当する画像の画像判定結果として記憶させると共に、判定結果リスト２８に記憶させる。
【0083】
図１２は、本実施形態における判定結果リスト２８に記憶されるデータの一例を示す図である。図１２に示す判定結果リスト２８では、異常箇所と判定された対象物が撮影された画像の画像ＩＤを示す対象ＩＤ、該当対象物が撮影された画像の撮影位置を示す位置情報、対象物（路面、ガードレール、歩道橋、標識、信号、植生など）、インフラ状況種別（対象物の状況）、状況指数（判定の確度）などが対応づけて記憶される。対象物には、例えば路面（路側）、壁面、ガードレール、歩道橋、標識、信号、植生などのデータが記憶される。インフラ状況種別（対象物の状況）には、例えば破損、錆び、雑草浸食等と、それぞれの状況レベル（異常状態が高い～低いを示す数値）のデータが記憶される。
【0084】
判定結果出力部２７は、例えば電子機器１６から判定結果の閲覧要求を受信した場合（ステップＢ６、Ｙｅｓ）、判定結果リスト２８に記憶された判定結果及び地図ＤＢ２４の地図データに基づいて操作画面を作成し、ネットワーク１９を通じて電子機器１６の表示装置において表示させる。
【0085】
図１３は、本実施形態における判定結果出力部２７により作成される操作画面Ｄ１の一例を示す図である。
【0086】
図１３に示す操作画面Ｄ１には、例えば表示対象選択エリアＤ１１、対象位置表示エリアＤ１２が設けられる。表示対象選択エリアＤ１１は、対象位置表示エリアＤ１２において表示の対象とする対象物（路面、ガードレール、歩道橋、標識、信号、植生など）を指定するためのエリアである。対象位置表示エリアＤ１２は、異常箇所として判定された、表示対象選択エリアＤ１１において指定された対象物の位置を地図上において表示するためのエリアである。例えば、表示対象選択エリアＤ１１において「植生」を指定することで、「植生」について異常状態と判定された位置が、対象位置表示エリアＤ１２において表示される。
【0087】
対象位置表示エリアＤ１２において表示対象とする対象物は、例えば、状況レベル（異常状態）あるいは状況指数が、しきい値以上と判定されたものを対象とする。なお、しきい値は、予め固定敵に設定されていても良いし、操作員の指定操作に応じて変更できるようにしても良い。
【0088】
図１３では、例えば、状況レベル（異常状態）がしきい値以上と判定された対象物が撮影された場所が、地図上においてマーカＤ１３，Ｄ１４，Ｄ１５によって示されている。マーカＤ１３，Ｄ１４，Ｄ１５は、それぞれ状況レベル（異常状態）あるいは状況指数に応じて異なる色（例えば、赤黄青）によって色分け表示される。これにより、操作員は、マーカの表示色を参考にして、優先して確認が必要な対象物（例えば、異常レベルが高い赤色表示のマーカＤ１３）を容易に判別することができる。
【0089】
なお、図１３に示す操作画面Ｄ１では、地図上にマーカによって異常箇所を明示しているが、テキストによるリスト表示など、別の表示形態を用いることも可能である。
【0090】
判定結果出力部２７は、対象位置表示エリアＤ１２において、何れかのマーカ（位置指定）を選択する操作、例えばカーソルによるクリックがされると（ステップＢ８、Ｙｅｓ）、マーカに対応する画像を含む、マーカ位置の周辺において撮影された複数の画像を一覧表示する一覧操作画面を作成して、電子機器１６において表示させる（ステップＢ９）。
【0091】
図１４は、本実施形態における判定結果出力部２７により作成される一覧操作画面Ｄ２の一例を示す図である。例えば、操作画面Ｄ１においてマーカＤ１３が選択された場合、図１３に示すマーカＤ１３に対して設定される円形の破線で囲まれる範囲で撮影された画像を画像ＤＢ２２から読み出して表示対象とする。なお、円形の破線で囲まれる画像の表示対象とする範囲は、別途、操作画面から設定可能とすることができる。
【0092】
図１４に示す一覧操作画面Ｄ２は、関連づけられた複数の画像を、撮影された位置と時刻に基づいて二次元配置して表示させた例を示している。すなわち、画像が撮影された時刻（日時）を縦軸（上下）、道路の経路上（進行方向）における位置を横軸（左右）として配置している。
【0093】
図１４では、例えば４枚の画像の画像情報Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４が配置されている。表示対象とする複数の画像が１画面に表示できない場合には、画面スクロールなどによって全体を確認できるようにする。
【0094】
画像情報Ｄ２１には、画像Ｄ２５、撮影日時Ｄ２６、状況レベル表示Ｄ２７、選択ボタンＤ２８が含まれる。その他の画像情報Ｄ２２，Ｄ２３，Ｄ２４も同様に表示される。状況レベル表示Ｄ２７は、例えば画像に対応するインフラ状況種別の状況レベルに応じて、例えば異常状態が高い順に、赤黄青の何れかの色が明示される。
【0095】
図１４において、画像情報Ｄ２２は、操作画面Ｄ１において選択されたマーカＤ１３に対応するもので、異常状態として判定された画像を示している。画像情報Ｄ２２の画像では、路面に植生が成長している状態（雑草浸食）が発生していることが撮影されている。
【0096】
画像情報Ｄ２３は、画像情報Ｄ２２と縦方向に配置されており、同じ撮影位置において、画像情報Ｄ２２の画像より過去に撮影された画像であること示している。これにより、画像情報Ｄ２２，Ｄ２３の画像を比較することで、時間経過に伴う異常状態の変化（ここでは植生の成長変化）を容易に確認することができる。
【0097】
また、画像情報Ｄ２３の画像が撮影された位置の周辺の状態についても、画像情報Ｄ２１，Ｄ２４の画像により同時に確認することができる。
【0098】
なお、図１４では、画像に対する判定結果として状況レベル表示Ｄ２７を表示しているが、その他の情報、例えば異常検出位置の情報（地名、起点からの距離など）、インフラ状況の説明（植生、陥没等）など）を画像に付加するようにしても良い。
【0099】
判定結果出力部２７は、一覧操作画面Ｄ２において選択ボタンＤ２８に帯する操作によって画像が選択されると（ステップＢ１０、Ｙｅｓ）、選択された画像に対応する詳細操作画面を作成して表示させる。
【0100】
図１５は、本実施形態における判定結果出力部２７により作成される詳細操作画面Ｄ３の一例を示す図である。
【0101】
図１５では、判定結果Ｄ３１、詳細画像Ｄ３２、確認結果指定アイコンＤ３３が設けられている。判定結果Ｄ３１では、例えば、判定結果リスト２８に記憶された画像に対する対象物（路面）、インフラ状況種別（雑草浸食）、状況レベル（０．７）が表示されている。詳細画像Ｄ３２では、一覧操作画面Ｄ２に表示された画像を拡大表示して、視認性を向上させている。確認結果指定アイコンＤ３３は、操作員による詳細画像Ｄ３２を確認した結果（確認結果）を入力するためのものであり、例えば赤黄青のアイコンが設けられている。
【0102】
操作員は、詳細操作画面Ｄ３に表示された内容から、保守維持作業の観点での重要性を判定し、確認結果指定アイコンＤ３３の何れかのアイコンにカーソルＰを移動させてクリックする。確認結果入力部３１は、詳細操作画面Ｄ３において操作員の操作に応じて確認結果が入力されると（ステップＢ１２、Ｙｅｓ）、画像ＤＢ２２の該当する画像の操作員判定結果として記憶させると共に、入力された確認結果を判定結果リスト２８の詳細画像Ｄ３２に対応するインフラ状況種別の状況レベル及び状況指数に反映させる（ステップＢ１３）。
【0103】
状況指数については、操作員による確認済みであるので、例えば確度を最上値にする。また、ＡＩにより判定された状況レベルと、操作員による判断が同じであれば、確認結果指定アイコンＤ３３に対する操作をしなくても良い。
【0104】
さらに、詳細操作画面Ｄ３では、操作員により状況レベルの確認をするだけでなく、異常状態と判定された対象物及びインフラ状況種別を確認して、ＡＩによる判定結果が誤りであれば操作員が変更するようにしても良い。操作員により入力された確認結果は、判定結果リスト２８に反映させる。
【0105】
判定結果リスト２８に記憶された結果は、例えば、地図上表示及びリスト表示により出力され、インフラ管理者等（道路管理会社担当者、自治体担当者など）による交通インフラの保守計画策定などに用いて、効率的な作業を実現することができる。
【0106】
また、操作員により入力された確認結果は、学習モデルに反映させることができる。すなわち、画像収集部３２は、確定結果入力部３１により入力された確認結果の対象とされた画像を画像ＤＢ２２から取得して学習用データ生成部３３に提供する。ここでは、詳細操作画面Ｄ３に表示された１枚の詳細画像Ｄ３２だけでなく、関連づけられた複数枚の画像を反映の対象として取得しても良い。学習用データ生成部３３は、画像収集部３２により取得された画像をもとに学習用データを生成する（ステップＢ１４）。学習処理部３４は、学習用データ生成部３３により生成された学習用データを学習モデル記憶部２６に記憶された学習モデルに反映（学習）させる。これにより、学習モデルをもとにしたＡＩによる画像判定の精度の向上を図ることができる。
【0107】
なお、前述した説明では、詳細操作画面Ｄ３として、関連づけられた複数の画像を、撮影された位置と時刻に基づいて二次元配置して表示させた例を示しているが別の表示形態を用いることができる。
【0108】
図１６は、本実施形態における判定結果出力部２７により作成される一覧操作画面Ｄ４の一例を示す図である。図１６に示す一覧操作画面Ｄ４では、関連づけられた複数の画像を、予め設定された判定結果に対する条件に基づいて１列に配置して表示させる。図１６では、例えば４枚の画像の画像情報Ｄ４１，Ｄ４２，Ｄ４３，Ｄ４４が１列に配置されている。また、表示対象とする画像情報の範囲を変更するためのスライダＤ４５が設けられている。
【0109】
例えば、判定結果出力部２７は、予め設定された判定結果に対する条件として、例えばインフラ状況種別の状況レベルを第１の条件、状況指数の確度を第２の条件、画像の作成日時を第３の条件を用いる。
【0110】
この場合、判定結果出力部２７は、第１の条件に従って、状況レベルが高い画像を重要度が高いとして優先的に表示し、次に、第２の条件に従って、状況指数の確度が高い画像を重要度が高いとして優先的に表示する。第１及び第２の条件によって重要度が付けられない画像については、撮影日時が新しい画像を優先して表示させる。
【0111】
図１６に示す一覧操作画面Ｄ４では、重要度が高い、操作員が優先して確認すべき画像から順に表示されるので、操作員による確認作業を容易にすることができる。
【0112】
また、前述した説明では、判定結果に対する条件として、インフラ状況種別の状況レベルと状況指数の確度を使用しているが、その他の条件（例えば、対象物に付けた優先度）を用いることも可能である。
【0113】
なお、一覧操作画面Ｄ２，Ｄ４、詳細操作画面Ｄ３において、画像内に人物が映り込んでいる場合に、人物の顔をぼかす等の個人情報保護の処理を行ってもよい。
【0114】
また、前述した説明では、一覧操作画面Ｄ２，Ｄ４、詳細操作画面Ｄ３において、車載機器１０等から受信した画像を表示させるとしているが、判定処理部２５において、関連づけられた複数の画像を合成して、保守員によって確認できるようにしても良い。
【0115】
例えば、判定結果出力部２７は、判定処理部２５によって関連づけられた複数の画像を使用して、例えば道路のある位置における時間経過に伴って変化する動画、あるいは道路上の位置の変更に沿って変化する動画（パノラマ化）を生成する。
【0116】
道路のある位置における時間経過に伴って変化する動画は、例えば図１７に示すように作成される。
【0117】
例えば、画像ＤＢ２２には、複数の車両１～Ｘが、それぞれ異なる日時において、ある道路の走行中に撮影された画像Ｐ１～ＰＸが記憶されている。判定処理部２５は、道路上のある撮影位置において撮影された複数の画像Ｔを関連づけている。
【0118】
判定結果出力部２７は、複数の画像Ｔを時間経過（日時）に沿って連続させることで動画を作成する。これにより、道路上のある撮影位置における、時間経過に伴って変化する動画を生成することができる。
【0119】
判定結果出力部２７は、例えば、電子機器１６からの要求に応じて、作成した動画を電子機器１６の表示装置において表示させる。これにより、操作員は、動画によって道路周辺物の状況を容易に確認することができる。
【0120】
このようにして、本実施形態におけるサーバ１２（道路周辺物監視装置）では、専用車両を用いるのではなく、一般車両に搭載されたカメラにより撮影された画像を収集し、撮影された画像についてＡＩ技術を利用して異常箇所を判定させて、判定結果を出力させることができる。従って、道路周辺物について異常箇所を効率的に判定することが可能となる。本システムでは、例えば道路上のある地点に注目した場合、交通量に比例して収集される画像が増加し、多量の情報として蓄積される。全ての画像を操作員が確認することは、コスト的にも運用的にも現実的ではないが、判定処理における状況判定により操作員が確認すべき画像を自動的に整理して出力することで、操作員の付加を軽減させることができる。
【0121】
なお、上記の各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。また、記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。
【0122】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。
【0123】
さらに、各実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【0124】
また、記憶媒体は１つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
【0125】
なお、各実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記の各実施形態における各処理を実行するものであって、パーソナルコンピュータ等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。
【0126】
また、各実施形態におけるコンピュータとは、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
【0127】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0128】
１０（１０－１，…，１０－ｍ）…車載機器、１０ａ，１２ａ…プロセッサ、１０ｂ，１２ｂ…メモリ、１０ｃ，１２ｃ…記憶装置、１０ｄ…入出力Ｉ／Ｆ、１０ｅ…表示装置、１０ｆ…入力装置、１０ｇ…無線通信装置、１０ｈ…ＧＰＳユニット、１ｏｊ１，…，１ｏｊｎ…カメラユニット、１０ｍ…センサ群、１２…サーバ、１４（１４－１，…，１４－ｐ）…カメラ付き電子機器。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
