知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-09
(45)【発行日】2025-01-20
(54)【発明の名称】道路監視装置、道路監視方法、および道路監視プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250110BHJP
H04N 7/18 20060101ALI20250110BHJP
【ＦＩ】
G06T7/00 650A
G06T7/00 300F
G06T7/00 350B
H04N7/18 E
【請求項の数】
6
(21)【出願番号】P 2021049226
(22)【出願日】2021-03-23
(65)【公開番号】P2022147812
(43)【公開日】2022-10-06
【審査請求日】2023-12-15
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100118762
【弁理士】
【氏名又は名称】高村 順
(72)【発明者】
【氏名】清水 利英
【審査官】松永 隆志
(56)【参考文献】
【文献】特開２０２０－０８７０３７（ＪＰ，Ａ）
【文献】特開２０１９－１２４９８６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００－１９／２０
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
道路を含む領域を撮像する撮像装置によって異なる環境条件で撮像された複数の過去画像に共通の特徴を示す情報と前記撮像装置によって新たに撮像された入力画像の情報とに基づいて、前記道路の異常を判定する異常判定部と、
前記複数の過去画像に基づいて、前記共通の特徴を１以上の画素単位で表す共通特徴量を前記共通の特徴を示す情報として演算する共通特徴量演算部と、
前記入力画像における１以上の画素単位の特徴量である判定対象特徴量を前記入力画像の情報として演算する判定対象特徴量演算部と、を備え、
前記共通特徴量は、
前記複数の過去画像における前記領域の１以上の画素単位の特徴量を示す第１共通特徴量と、前記複数の過去画像間における１以上の画素単位の関連度を示す第２共通特徴量とを含み、
前記異常判定部は、
前記共通特徴量演算部によって演算された前記共通特徴量と前記判定対象特徴量演算部によって演算された前記判定対象特徴量とに基づいて前記道路の異常を判定する際に、前記判定対象特徴量と前記第１共通特徴量との１以上の画素単位の差分を１以上の画素単位の前記第２共通特徴量で調整した結果に基づいて前記道路の異常を判定する
ことを特徴とする道路監視装置。
【請求項2】
前記共通の特徴は、１以上の画素単位の特徴であることを特徴とする請求項１に記載の道路監視装置。
【請求項3】
前記共通特徴量演算部は、機械学習によって前記共通特徴量を算出する
ことを特徴とする請求項１または２に記載の道路監視装置。
【請求項4】
前記共通特徴量演算部は、複数の前記過去画像の各々における１以上の画素単位の特徴量を抽出する抽出部と、
前記抽出部で抽出された複数の前記過去画像の各々における１以上の画素単位の特徴量に基づいて、前記共通特徴量を算出する算出部と、を備える
ことを特徴とする請求項１から３のいずれか１つに記載の道路監視装置。
【請求項5】
コンピュータが実行する道路監視方法であって、道路を含む領域を撮像する撮像装置によって異なる環境条件で撮像された複数の過去画像に共通の特徴を示す情報と前記撮像装置によって新たに撮像された入力画像の情報とに基づいて、前記道路の異常を判定する異常判定ステップと、
前記複数の過去画像に基づいて、前記共通の特徴を１以上の画素単位で表す共通特徴量を前記共通の特徴を示す情報として演算する共通特徴量演算ステップと、
前記入力画像における１以上の画素単位の特徴量である判定対象特徴量を前記入力画像の情報として演算する判定対象特徴量演算ステップと、を含み、
前記共通特徴量は、
前記複数の過去画像における前記領域の１以上の画素単位の特徴量を示す第１共通特徴量と、前記複数の過去画像間における１以上の画素単位の関連度を示す第２共通特徴量とを含み、
前記異常判定ステップでは、
前記共通特徴量演算ステップで演算された前記共通特徴量と前記判定対象特徴量演算ステップで演算された前記判定対象特徴量とに基づいて前記道路の異常を判定する際に、前記判定対象特徴量と前記第１共通特徴量との１以上の画素単位の差分を１以上の画素単位の前記第２共通特徴量で調整した結果に基づいて前記道路の異常を判定する
ことを特徴とする道路監視方法。
【請求項6】
道路を含む領域を撮像する撮像装置によって異なる環境条件で撮像された複数の過去画像に共通の特徴を示す情報と前記撮像装置によって新たに撮像された入力画像の情報とに基づいて、前記道路の異常を判定する異常判定ステップと、
前記複数の過去画像に基づいて、前記共通の特徴を１以上の画素単位で表す共通特徴量を前記共通の特徴を示す情報として演算する共通特徴量演算ステップと、
前記入力画像における１以上の画素単位の特徴量である判定対象特徴量を前記入力画像の情報として演算する判定対象特徴量演算ステップと、を含み、
前記共通特徴量は、
前記複数の過去画像における前記領域の１以上の画素単位の特徴量を示す第１共通特徴量と、前記複数の過去画像間における１以上の画素単位の関連度を示す第２共通特徴量とを含み、
前記異常判定ステップでは、
前記共通特徴量演算ステップで演算された前記共通特徴量と前記判定対象特徴量演算ステップで演算された前記判定対象特徴量とに基づいて前記道路の異常を判定する際に、前記判定対象特徴量と前記第１共通特徴量との１以上の画素単位の差分を１以上の画素単位の前記第２共通特徴量で調整した結果に基づいて前記道路の異常を判定することをコンピュータに実行させる
ことを特徴とする道路監視プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、道路の異常を判定する道路監視装置、道路監視方法、および道路監視プログラムに関する。
【背景技術】
【0002】
従来、高速道路などの道路には監視カメラが多数設置されており、各監視カメラの撮像画像は、道路管理会社または自治体などの監視員によって監視されており、監視員は、監視カメラの撮像画像から道路に異常があるか否かを判断している。そのため、監視カメラの数が多くなるほど、監視員の負担が増える。
【0003】
そこで、撮像装置によって画像が撮像された領域の異常を判定する技術を道路の監視に用いることが考えられる。例えば、特許文献１には、道路を含む領域を撮像する撮像装置によって過去に撮像された画像である各背景画像と新たに撮像装置によって撮像された入力画像との差分画像を生成し、かかる差分画像に基づいて、入力画像の異常領域を検出する技術が開示されている。
【0004】
特許文献１に記載の技術では、各背景画像が撮像された際の環境条件と入力画像が撮像された際の環境条件との類似度に応じた重み係数を差分画像の画素毎に積算して重み差分画像を複数生成する。そして、特許文献１に記載の技術では、複数の重み差分画像間で同じ画素位置の差分値を積算することで重み差分結果画像を生成し、重み差分結果画像の画素毎に、積算した差分値が閾値以上である位置を異常位置であると判定する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００９－２２５０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献１に記載の技術では、各背景画像が撮像された際の環境条件との類似度が低い環境条件で撮像された入力画像に対して異常領域を精度よく検出することが難しい。
【0007】
本開示は、上記に鑑みてなされたものであって、道路を含む領域が撮像された画像から道路の異常を精度よく検出することができる道路監視装置を得ることを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本開示の道路監視装置は、道路を含む領域を撮像する撮像装置によって異なる環境条件で撮像された複数の過去画像に共通の特徴を示す情報と撮像装置によって新たに撮像された入力画像の情報とに基づいて、道路の異常を判定する異常判定部と、複数の過去画像に基づいて、共通の特徴を１以上の画素単位で表す共通特徴量を共通の特徴を示す情報として演算する共通特徴量演算部と、入力画像における１以上の画素単位の特徴量である判定対象特徴量を入力画像の情報として演算する判定対象特徴量演算部と、を備える。共通特徴量は、複数の過去画像における領域の１以上の画素単位の特徴量を示す第１共通特徴量と、複数の過去画像間における１以上の画素単位の関連度を示す第２共通特徴量とを含む。異常判定部は、共通特徴量演算部によって演算された共通特徴量と判定対象特徴量演算部によって演算された判定対象特徴量とに基づいて道路の異常を判定する際に、判定対象特徴量と第１共通特徴量との１以上の画素単位の差分を１以上の画素単位の第２共通特徴量で調整した結果に基づいて道路の異常を判定する。
【発明の効果】
【0009】
本開示によれば、道路を含む領域が撮像された画像から道路の異常を精度よく検出することができる、という効果を奏する。
【図面の簡単な説明】
【0010】
【図1】実施の形態１にかかる道路監視装置を含む監視システムの構成の一例を示す図
【図2】実施の形態１にかかる撮像装置によって撮像される領域の一例を示す図
【図3】実施の形態１にかかる道路監視装置が実行する共通特徴量演算処理の一例を説明するための図
【図4】実施の形態１にかかる道路監視装置が実行する判定対象特徴量演算処理の一例を説明するための図
【図5】実施の形態１にかかる道路監視装置の構成の一例を示す図
【図6】実施の形態１にかかる共通特徴量演算部によって演算される共通特徴量を説明するための図
【図7】実施の形態１にかかる道路監視装置の異常判定部による異常判定処理の一例を説明するための図
【図8】実施の形態１にかかる道路監視装置の異常判定部による差分算出処理の一例を説明するための図
【図9】実施の形態１にかかる道路監視装置による共通特徴量演算処理の一例を示すフローチャート
【図10】実施の形態１にかかる道路監視装置による異常判定処理を含む処理の一例を示すフローチャート
【図11】実施の形態１にかかる道路監視装置のハードウェア構成の一例を示す図
【発明を実施するための形態】
【0011】
以下に、実施の形態にかかる道路監視装置、道路監視方法、および道路監視プログラムを図面に基づいて詳細に説明する。
【0012】
実施の形態１．
図１は、実施の形態１にかかる道路監視装置を含む監視システムの構成の一例を示す図である。図１に示すように、実施の形態１にかかる監視システム１００は、道路監視装置１と、撮像装置２１，２２，・・・，２ｎとを備える。
図１は、実施の形態１にかかる道路監視装置を含む監視システムの構成の一例を示す図である。図１に示すように、実施の形態１にかかる監視システム１００は、道路監視装置１と、撮像装置２１，２２，・・・，２ｎとを備える。
【0013】
道路監視装置１と撮像装置２１，２２，・・・，２ｎとはネットワーク３に接続されている。ネットワーク３は、例えば、インターネットなどのＷＡＮ（Wide Area Network）またはＬＡＮ（Local Area Network）などである。なお、ネットワーク３は、移動体通信網を含んでいてもよい。
【0014】
撮像装置２１，２２，・・・，２ｎは、互いに異なる位置に固定されて配置され、互いに異なる領域を撮像する。撮像装置２１は、領域Ｒ１を撮像し、撮像装置２２は、領域Ｒ２を撮像し、撮像装置２ｎは、領域Ｒｎを撮像する。領域Ｒ１，Ｒ２，・・・，Ｒｎの各々は道路を含む領域である。以下において、撮像装置２１，２２，・・・，２ｎの各々を個別に区別せずに示す場合、撮像装置２と記載し、領域Ｒ１，Ｒ２，・・・，Ｒｎの各々を個別に区別せずに示す場合、領域Ｒと記載する場合がある。
【0015】
【0016】
各撮像装置２は、領域Ｒを撮像して得られた画像の画像情報を道路監視装置１へネットワーク３を介して送信する。領域Ｒを撮像して得られる画像は、動画像であるが静止画であってもよい。道路監視装置１は、各撮像装置２からネットワーク３を介して送信される画像情報を受信し、受信した画像情報に基づいて、各領域Ｒに含まれる道路６０の異常を判定する。画像情報は、領域Ｒを撮像して得られた画像の各画素の情報を含む情報である。
【0017】
道路監視装置１は、各撮像装置２によって異なる環境条件で撮像された領域Ｒの画像である過去画像を複数含む過去画像群の画像情報に基づいて、複数の過去画像に共通の特徴を示す情報を演算する。環境条件は、例えば、天候および時間帯などの条件である。天候は、例えば、晴れ、曇り、雨、または雪などであり、時間帯は、例えば、朝、昼、または夜などの時間帯である。道路監視装置１は、各撮像装置２によって新たに撮像された領域Ｒの画像である入力画像の画像情報と複数の過去画像に共通の特徴を示す情報とに基づいて、道路６０の異常を領域Ｒ毎にリアルタイムに判定する。
【0018】
道路監視装置１は、例えば、共通の特徴を示す情報として、撮像装置２によって異なる環境条件で撮像された複数の過去画像に共通の特徴を画素単位で表す共通特徴量を演算する共通特徴量演算処理を実行する。以下において、撮像装置２によって異なる環境条件で撮像された複数の過去画像を単に複数の過去画像と記載する場合がある。
【0019】
共通特徴量は、例えば、複数の過去画像間の画素単位の特徴量の平均値または中央値を示す第１共通特徴量と画素単位の特徴量の関連度を示す第２共通特徴量とを含む。関連度は、例えば、複数の過去画像間での画素単位の特徴量のばらつき度合いであり、ばらつき度合いが小さいほど関連度が高くなり、複数の過去画像間での特徴量の類似度とも言える。なお、共通特徴量は、過去画像を構成する複数の画素のうち関連度が閾値以上の画素における複数の過去画像における領域Ｒの画素単位の特徴量の平均値または中央値などで規定されてもよい。
【0020】
図３は、実施の形態１にかかる道路監視装置が実行する共通特徴量演算処理の一例を説明するための図である。図３に示すように、道路監視装置１は、領域Ｒの過去画像４１，４２，・・・，４ｋを含む過去画像群５の画像情報に基づいて、領域Ｒの画像における画素単位の共通特徴量を演算する。ｋは、整数を示す符号である。以下において、過去画像４１，４２，・・・，４ｋの各々を個別に区別せずに示す場合、過去画像４と記載する場合がある。
【0021】
道路監視装置１は、各撮像装置２によって新たに撮像された領域Ｒの画像である入力画像を取得する度に、かかる入力画像の情報に基づいて、入力画像における画素単位の特徴量を判定対象特徴量として領域Ｒ毎にリアルタイムに演算する判定対象特徴量演算処理を実行する。
【0022】
図４は、実施の形態１にかかる道路監視装置が実行する判定対象特徴量演算処理の一例を説明するための図である。図４に示すように、道路監視装置１は、撮像装置２によって新たに撮像された領域Ｒの画像である入力画像６の情報に基づいて、入力画像６における画素単位の特徴量である判定対象特徴量を演算する。
【0023】
そして、道路監視装置１は、共通特徴量と判定対象特徴量とに基づいて、道路６０の異常を領域Ｒ毎にリアルタイムに判定する。これにより、道路監視装置１は、領域Ｒを撮像した画像から道路６０の異常を精度よく検出することができる。
【0024】
例えば、道路監視装置１は、第１共通特徴量と判定対象特徴量との差分に第２共通特徴量を乗算して得られる値に基づいて、道路６０を示す複数の画素のうち道路６０に異常がある画素をリアルタイムに判定することができる。また、道路監視装置１は、過去画像を構成する複数の画素のうち関連度が閾値以上の画素の特徴量の平均値または中央値などで第１共通特徴量が規定される場合、第１共通特徴量と判定対象特徴量との差分に基づいて、道路６０の異常を領域Ｒ毎にリアルタイムに判定することができる。
【0025】
以下、道路監視装置１についてさらに詳細に説明する。なお、以下においては、説明の便宜上、１つの領域Ｒにおける道路６０の異常を検出する処理について説明するが、かかる処理は、他の領域Ｒについても同様に行われる。
【0026】
図５は、実施の形態１にかかる道路監視装置の構成の一例を示す図である。図５に示すように、道路監視装置１は、過去画像情報取得部１０と、共通特徴量演算部１１と、共通特徴量記憶部１２と、入力画像情報取得部１３と、判定対象特徴量演算部１４と、異常判定部１５と、領域強調部１６と、異常種別判定部１７と、出力処理部１８とを備える。
【0027】
過去画像情報取得部１０は、撮像装置２によって異なる環境条件で過去に撮像された領域Ｒの画像である過去画像４を複数含む過去画像群５の画像情報を取得し、取得した過去画像群５の画像情報を共通特徴量演算部１１へ出力する。過去画像群５には、撮像装置２によって異なる環境条件で撮像された複数の過去画像４が含まれる。過去画像４は、領域Ｒの通常時の画像である。通常とは、道路監視装置１によって検出対象となる道路６０の異常が領域Ｒに発生していない状態である。道路６０の異常は、例えば、道路６０上への道路設備の落下、道路６０の陥没、道路６０への落石、または山６１の土砂崩れによる道路６０への土砂の流入などである。また、道路６０の異常には、例えば、トンネルの内壁の剥がれ、道路標識の損傷、または道路法面の崩落など、領域Ｒ内における道路設備または道路周辺の異常も含まれる。トンネルの内壁の剥がれは、例えば、剥がれた部分が道路６０上に落下せずにぶら下がっている状態である。また、道路標識の損傷は、例えば、道路標識が折れ曲がっていたりしているものの、道路６０上に落下していない状態である。なお、道路設備は、例えば、看板またはトンネルの天井などである。
【0028】
過去画像情報取得部１０は、例えば、ネットワーク３を介して不図示の外部装置または不図示の記憶媒体から過去画像群５の画像情報を取得する。過去画像４は、例えば、撮像装置２によって撮像される画像のうち、人が見て通常時の画像と判断した画像であり、これにより、道路監視装置１による領域Ｒの道路６０の異常を人が見て判断した結果に近づけることができる。なお、過去画像４は、人が見て通常時の画像と判断した画像に限定されず、例えば、過去の特定期間で撮像装置２によって撮像された領域Ｒの画像であってもよい。特定期間は、例えば、領域Ｒの異常が報告されていない期間などである。
【0029】
共通特徴量演算部１１は、過去画像情報取得部１０によって取得された過去画像群５の画像情報に基づいて、異なる環境条件で撮像された複数の過去画像４に共通の特徴を示す情報として画素単位の特徴量である共通特徴量を演算する。共通特徴量演算部１１は、例えば、過去画像群５を正解画像群として機械学習によって共通特徴量を算出する。共通特徴量演算部１１は、算出した共通特徴量の情報を共通特徴量記憶部１２に記憶させる。以下、過去画像４を正解画像とし、過去画像群５を正解画像群と記載する場合がある。
【0030】
機械学習は、異なる環境条件で繰り返し撮像された通常時の画像である過去画像４を学習用データとして用いる教師あり学習であり、異なる環境条件で撮像された過去画像４を解析し、これらの過去画像４に共通の特徴を示す情報を学習により取得するものである。教師あり学習では、例えば、ニューラルネットワークを利用することができる。なお、ニューラルネットワークに代えて、線形回帰またはロジスティック回帰といった学習アルゴリズムによる機械学習を用いてもよい。
【0031】
共通特徴量演算部１１は、過去画像情報取得部１０によって取得された正解画像群の情報に基づいて、各正解画像の特徴量を抽出する抽出部２０と、抽出部２０によって抽出された各正解画像の特徴量に基づいて、共通特徴量を算出する算出部２１とを備える。
【0032】
抽出部２０は、各正解画像の特徴量として、例えば、隣接画素との関連性および色などを画素単位で抽出する。隣接画素との関連性は、例えば、色の連続性であり、エッジとも呼ばれる。色は、正解画像の画像情報に含まれる画素単位の色情報で示される色であり、例えば、ＲＧＢ（Red、Green、Blue）値またはＨＳＶ（Hue Saturation Value）値で表される。
【0033】
算出部２１は、抽出部２０によって抽出された各正解画像の特徴量に基づいて共通特徴量を算出し、算出した共通特徴量の情報を共通特徴量記憶部１２に記憶させる。算出部２１によって算出される共通特徴量は、道路６０に異常が発生していない状態の領域Ｒの画像における画素単位の特徴量であり、複数の正解画像における領域Ｒの画素単位の特徴量を示す第１共通特徴量と、正解画像間における画素単位の特徴量の関連度を示す第２共通特徴量とを含む。
【0034】
第１共通特徴量は、例えば、ＲＧＢ値またはＨＳＶ値などの色を示す特徴量、および隣接画素との関連度を示す特徴量などで表される。以下において、色の特徴を示す特徴量を第１特徴量と記載し、隣接画素との関連性を示す特徴量を第２特徴量と記載する場合がある。色を示す特徴量は、例えば、ＲＧＢ値またはＨＳＶ値に代えて、輝度、色相、および色彩の少なくとも１つを示す特徴量であってもよい。
【0035】
図６は、実施の形態１にかかる共通特徴量演算部によって演算される共通特徴量を説明するための図である。図６において、縦軸は、第１特徴量を示し、横軸は、第２特徴量を示す。第１特徴量は、例えば、色であり、第２特徴量は、例えば、隣接画素との関連性である。
【0036】
第１共通特徴量は、正解画像群における画素単位の第１特徴量と第２特徴量とで規定される直交座標系における特徴量座標の重心、平均値、または中央値であり、図６では、共通特徴量座標として示されている。なお、第１共通特徴量が３つ以上の特徴量で示される場合、３軸以上の座標系における特徴量座標の重心、平均値、または中央値が第１共通特徴量として算出される。
【0037】
以下においては、第１共通特徴量が第１特徴量および第２特徴量で示されるものとして説明するが、第１共通特徴量は、第１特徴量および第２特徴量以外の特徴量を含んでいてもよく、第１特徴量および第２特徴量以外の特徴量であってもよい。
【0038】
また、共通特徴量演算部１１は、例えば、正解画像の特徴量座標のうち第１共通特徴量である共通特徴量座標から最も遠い特徴量座標と共通特徴量座標との距離を演算する。以下において、共通特徴量座標から最も遠い特徴量座標と共通特徴量座標との距離を閾値距離と記載する場合がある。閾値距離は、例えば、ユークリッド距離、マハラノビス距離、チェビシェフ距離、またはマンハッタン距離などである。閾値距離は、上述した共通特徴量に含まれる情報であり、第３共通特徴量である。
【0039】
共通特徴量演算部１１は、例えば、閾値距離を距離学習などによって算出することができる。例えば、共通特徴量演算部１１は、ニューラルネットワークを用いたディープラーニングによって距離学習を行う。なお、共通特徴量演算部１１は、線形回帰またはロジスティック回帰といった学習アルゴリズムによって距離学習を行うこともできる。
【0040】
第２共通特徴量は、正解画像間における画素単位の関連度を示す特徴量である。正解画像間における画素単位の関連度は、例えば、抽出部２０によって抽出された画素単位の特徴量の正解画像間でのばらつき度合いを示す。例えば、正解画像間における画素単位の関連度は、色および隣接画素との関連性の正解画像間でのばらつき度合いを示す。正解画像間での特徴量のばらつき度合いが低いほど、正解画像間における画素単位の関連度が高くなる。例えば、関連度を０から１の間の値とし、ばらつき度合いが低いほど１に近い値、高いほど０に近い値としてもよい。なお、関連度はこの値に限定されるものではなく、後述する、道路６０の異常を示す画素を判定する方法に応じて適宜設定すればよい。
【0041】
正解画像のうち空６３に相当する画素の色は、領域Ｒに含まれる空６３に雲、太陽、または月などの物体が含まれるか否かによって、大きく変動する。また、正解画像のうち空６３に相当する画素の色は、領域Ｒに含まれる空６３に物体が含まれない場合でも、天候によって、青くなったり赤くなったり黒くなったりする。
【0042】
そのため、正解画像のうち空６３に相当する画素の色は、画素単位の特徴量の正解画像間でのばらつき度合いが高い。この場合、算出部２１は、正解画像のうち空６３に相当する画素が正解画像間における画素単位の関連度が低いと判定する。
【0043】
また、自動車およびバイクなどの車両が道路６０の路面を走行するが、ある瞬間に撮像された画像のある画素が車両の一部を示す画素である確率は低い。また、道路６０の路面は、時間帯によらず無彩色または無彩色に近い色である場合が多い。
【0044】
そのため、正解画像のうち道路６０の路面に相当する画素の色は、画素単位の特徴量の正解画像間でのばらつき度合いが低い。この場合、算出部２１は、正解画像のうち道路６０の路面に相当する画素が正解画像間における画素単位の関連度が高いと判定する。
【0045】
入力画像情報取得部１３は、撮像装置２によって新たに撮像された領域Ｒの画像である入力画像６の情報を取得する。入力画像情報取得部１３は、例えば、撮像装置２から出力される入力画像６の情報をネットワーク３経由でリアルタイムに取得する。
【0046】
判定対象特徴量演算部１４は、入力画像情報取得部１３によって入力画像６の画像情報が取得される毎に、取得した入力画像６の画像情報に基づいて、入力画像６における画素単位の特徴量である判定対象特徴量を演算し、演算した判定対象特徴量の情報を異常判定部１５へ出力する。
【0047】
判定対象特徴量演算部１４から異常判定部１５へ出力される判定対象特徴量は、抽出部２０によって抽出される正解画像の特徴量の種別と同じ種別の特徴量である。判定対象特徴量は、例えば、隣接画素との関連性および色などである。
【0048】
異常判定部１５は、第１共通特徴量と第２共通特徴量と第３共通特徴量とを含む共通特徴量の情報を共通特徴量記憶部１２から取得する。異常判定部１５は、共通特徴量記憶部１２から取得した共通特徴量と、判定対象特徴量演算部１４から出力された判定対象特徴量とに基づいて、領域Ｒにおいて道路６０の異常を判定する。異常判定部１５は、判定対象特徴量演算部１４から判定対象特徴量が出力される毎に、道路６０の異常を判定する。
【0049】
異常判定部１５は、例えば、共通特徴量のうち第１共通特徴量と判定対象特徴量との画素単位の差分を画素単位の第２共通特徴量で調整した結果に基づいて、道路６０の異常を判定する。
【0050】
異常判定部１５は、差分算出部３０と、判定部３１とを備える。差分算出部３０は、共通特徴量のうち第１共通特徴量と判定対象特徴量との画素単位の差分を算出する。判定部３１は、差分算出部３０によって算出された画素単位の差分を共通特徴量のうち画素単位の第２共通特徴量で調整し、調整した結果に基づいて、入力画像６の各画素が道路６０の異常を示す画素であるか否かを判定する。
【0051】
例えば、判定部３１は、差分算出部３０によって算出された画素単位の差分に共通特徴量のうち画素単位の第２共通特徴量を乗算し、かかる乗算結果を画素単位の相違度として算出する。判定部３１は、画素単位の相違度に基づいて、道路６０の異常を示す画素を判定する。例えば、判定部３１は、相違度が閾値距離以上である画素を道路６０の異常を示す画素であると判定する。閾値距離は、上述した第３共通特徴量である。
【0052】
図７は、実施の形態１にかかる道路監視装置の異常判定部による異常判定処理の一例を説明するための図である。図７に示すように、異常判定部１５の差分算出部３０は、第１共通特徴量と判定対象特徴量との差分を画素単位で算出する差分算出処理を行う。図７に示す例では、領域Ｒの画像を構成する画素として、画素Ｐ１，Ｐ２，Ｐ３，・・・，Ｐｍが含まれている。ｍは、領域Ｒの画像を構成する画素の数を示す整数である。
【0053】
ここで、差分算出処理の一例について説明する。図８は、実施の形態１にかかる道路監視装置の異常判定部による差分算出処理の一例を説明するための図である。図８において、縦軸は、第１特徴量を示し、横軸は、第２特徴量を示す。第１特徴量は、例えば、色であり、第２特徴量は、例えば、隣接画素との関連性である。
【0054】
ここで、判定部３１は、第１共通特徴量に含まれる第１特徴量と第２特徴量とから規定される座標である共通特徴量座標と、判定対象特徴量に含まれる第１特徴量と第２特徴量とから規定される座標である判定対象特徴量座標との間の距離を、第１共通特徴量と判定対象特徴量との差分として算出する。共通特徴量座標と判定対象特徴量座標との距離は、例えば、ユークリッド距離、マハラノビス距離、チェビシェフ距離、またはマンハッタン距離などである。
【0055】
図７に戻って、異常判定部１５の説明を続ける。異常判定部１５の判定部３１は、差分算出処理で算出された差分に第２共通特徴量を乗算し、乗算した結果を入力画像６と過去画像群５との相違度として画素単位で算出する相違度算出処理を行う。
【0056】
そして、判定部３１は、相違度算出処理で算出した相違度と閾値距離とに基づいて、道路６０の異常の判定を行う異常判定処理を行う。例えば、判定部３１は、相違度が閾値距離以上である画素を道路６０の異常を示す画素であると判定し、相違度が閾値距離未満である画素を場合には、道路６０の異常を示す画素ではないと判定する。
【0057】
なお、判定部３１は、複数の同一画素の第１共通特徴量と判定対象特徴量との差分に基づいて、道路６０の異常を示す画素の判定を行う異常判定処理を行うこともできる。例えば、判定部３１は、予め設定された頻度で同一画素の相違度が閾値距離以上になる場合に、道路６０の異常を示す画素であると判定し、そうでない場合には、道路６０の異常を示す画素ではないと判定することもできる。また、判定部３１は、相違度算出処理で算出される同一画素の相違度が連続して閾値距離以上になる回数が予め設定された閾値以上である場合に、道路６０の異常を示す画素であると判定し、そうでない場合には、道路６０の異常を示す画素ではないと判定することもできる。
【0058】
また、判定部３１による処理は、上述した処理に限定されない。例えば、判定部３１は、入力画像６を構成する複数の画素のうち、画素単位の第２共通特徴量が閾値距離以上の画素を判定対象画素として判定し、判定対象画素における判定対象特徴量と第１共通特徴量との差分に基づいて、道路６０の異常を判定する構成であってもよい。
【0059】
この場合、判定部３１は、差分算出部３０によって算出された複数の画素単位の差分のうち判定対象画素の差分を判定対象画素として扱う。判定部３１は、判定対象画素における判定対象特徴量と第１共通特徴量との差分が閾値距離以上である画素を道路６０の異常を示す画素であると判定し、判定対象画素における差分が閾値距離未満である画素を道路６０の異常を示す画素ではないと判定する。
【0060】
この場合も、判定部３１は、同一判定対象画素の複数の差分に基づいて、道路６０の異常の判定を行う異常判定処理を行うこともできる。例えば、判定部３１は、判定対象画素における差分が閾値距離以上になる場合に、判定対象画素が道路６０の異常を示す画素であると判定し、そうでない場合には、判定対象画素が道路６０の異常を示す画素ではないと判定することもできる。また、判定部３１は、差分算出部３０によって算出される同一判定対象画素における差分が予め設定された頻度で閾値距離以上になる場合に、判定対象画素が道路６０の異常を示す画素であると判定し、そうでない場合には、判定対象画素が道路６０の異常を示す画素ではないと判定することもできる。また、判定部３１は、差分算出部３０によって算出される同一判定対象画素における差分が連続して閾値距離以上になる回数が予め設定された閾値以上である場合に、判定対象画素が道路６０の異常を示す画素であると判定し、そうでない場合には、判定対象画素が道路６０の異常を示す画素ではないと判定することもできる。
【0061】
図５に戻って、道路監視装置１についての説明を続ける。道路監視装置１の領域強調部１６は、入力画像６のうち異常判定部１５によって判定された道路６０の異常を示す画素を強調する。領域強調部１６は、例えば、道路６０の異常を示す画素を特定色にしたり、道路６０の異常を示す１以上の画素の領域を太線で囲ったりすることによって、道路６０の異常を示す画素を強調する。特定色は、例えば、入力画像６の画素の色のうち同一または類似する色が最も少ない色であるが、予め定められた色であってもよい。予め定められた色は、例えば赤である。
【0062】
なお、領域強調部１６は、相違度と距離閾値との差が大きくなるほどまたは距離閾値との差が大きくなるほど差分と第１色から第２色に近づくように道路６０の異常を示す画素を強調することができる。第１色は、例えば青であり、第２色は、例えば赤である。
【0063】
道路監視装置１の異常種別判定部１７は、異常判定部１５によって判定された道路６０の異常を示す画素を含む画像の画像情報に基づいて、道路６０の異常の種別を判定する。道路６０の異常の種別は、例えば、道路６０の路面への落石、道路６０の路面の陥没、道路６０の路面への土砂の流入、または道路６０上への道路設備の落下などである。
【0064】
異常種別判定部１７は、例えば、画像情報を入力とし、道路６０の異常の種別の情報を出力とする計算モデルを有しており、入力画像６のうち道路６０の異常を示す画素を含む画像の画像情報を計算モデルへ入力し、計算モデルから出力される道路６０の異常の種別の情報に基づいて、道路６０の異常の種別を判定する。
【0065】
道路６０の異常の種別の情報は、例えば、道路６０の異常の種別毎のスコアであり、異常種別判定部１７は、道路６０の異常の複数の種別のうちスコアが閾値以上の種別の道路６０の異常を道路６０の異常の種別として判定する。計算モデルは、例えば、ディープラーニングによって生成される計算モデルであるが、線形回帰またはロジスティック回帰といった学習アルゴリズムによって生成される計算モデルであってもよい。
【0066】
出力処理部１８は、領域強調部１６によって道路６０の異常を示す画素が強調表示された入力画像６の情報と、異常種別判定部１７によって判定された道路６０の異常の種別の情報とを含む判定結果情報を出力する。
【0067】
つづいて、フローチャートを用いて道路監視装置１による共通特徴量演算処理を説明する。図９は、実施の形態１にかかる道路監視装置による共通特徴量演算処理の一例を示すフローチャートである。
【0068】
図９に示すように、道路監視装置１の過去画像情報取得部１０は、過去画像群５の画像情報を取得する（ステップＳ１０）。そして、道路監視装置１の共通特徴量演算部１１は、ステップＳ１０で取得された過去画像群５の画像情報に基づいて、各過去画像４の画素単位の特徴量を抽出する（ステップＳ１１）。
【0069】
次に、共通特徴量演算部１１は、各過去画像４の画素単位の特徴量に基づいて、領域Ｒの画素単位の共通特徴量を算出し（ステップＳ１２）、算出した画素単位の共通特徴量の情報を共通特徴量記憶部１２に記憶させる（ステップＳ１３）。道路監視装置１は、ステップＳ１３の処理が終了した場合、図９に示す処理を終了する。
【0070】
つづいて、フローチャートを用いて道路監視装置１による異常判定処理を含む処理を説明する。図１０は、実施の形態１にかかる道路監視装置による異常判定処理を含む処理の一例を示すフローチャートである。
【0071】
図１０に示すように、道路監視装置１の入力画像情報取得部１３は、撮像装置２から入力画像６の情報を取得する（ステップＳ２０）。道路監視装置１の判定対象特徴量演算部１４は、入力画像情報取得部１３によって取得された入力画像６の情報に基づいて、入力画像６の画素単位の特徴量を画素単位の判定対象特徴量として抽出する（ステップＳ２１）。
【0072】
次に、道路監視装置１の異常判定部１５は、共通特徴量記憶部１２から画素単位の共通特徴量の情報を取得する（ステップＳ２２）。そして、異常判定部１５は、判定対象特徴量と第１共通特徴量との画素単位の差分を算出する（ステップＳ２３）。
【0073】
次に、異常判定部１５は、ステップＳ２３で算出した差分に第２共通特徴量を乗算して画素単位の相違度を算出する（ステップＳ２４）。そして、異常判定部１５は、ステップＳ２４で算出した画素単位の相違度と閾値距離とに基づいて、道路６０の異常を判定する（ステップＳ２５）。
【0074】
次に、道路監視装置１の領域強調部１６は、道路６０の異常を示す画素の領域を強調した入力画像６を生成する（ステップＳ２６）。また、道路監視装置１の異常種別判定部１７は、道路６０の異常を示す画素を含む画像に基づいて、道路６０の異常の種別を判定する（ステップＳ２７）。
【0075】
次に、道路監視装置１の出力処理部１８は、ステップＳ２６で道路６０の異常を示す画素が強調された入力画像６の情報と、ステップＳ２７で判定された道路６０の異常の種別の情報とを含む判定結果情報を出力する（ステップＳ２８）。
【0076】
次に、道路監視装置１は、ステップＳ２８の処理が終了した場合、動作処理を終了するか否かを判定する（ステップＳ２９）。道路監視装置１は、例えば、道路監視装置１の電源がオフになった場合、または不図示の操作部への操作が動作終了操作である場合、動作処理を終了すると判定する。
【0077】
道路監視装置１は、動作処理を終了しないと判定した場合（ステップＳ２９：Ｎｏ）、処理をステップＳ２０へ移行し、動作終了操作があると判定した場合（ステップＳ２９：Ｙｅｓ）、図１０に示す処理を終了する。
【0078】
図１１は、実施の形態１にかかる道路監視装置のハードウェア構成の一例を示す図である。図１１に示すように、道路監視装置１は、プロセッサ１０１と、メモリ１０２と、通信装置１０３と、インタフェース回路１０４とを備えるコンピュータを含む。
【0079】
プロセッサ１０１、メモリ１０２、通信装置１０３、およびインタフェース回路１０４は、例えば、バス１０５によって互いに情報の送受信が可能である。共通特徴量記憶部１２は、メモリ１０２によって実現される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、過去画像情報取得部１０、共通特徴量演算部１１、入力画像情報取得部１３、判定対象特徴量演算部１４、異常判定部１５、領域強調部１６、異常種別判定部１７、および出力処理部１８などの機能を実行する。プロセッサ１０１は、例えば、処理回路の一例であり、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、およびシステムＬＳＩ（Large Scale Integration）のうち一つ以上を含む。
【0080】
メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、およびＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）のうち一つ以上を含む。また、メモリ１０２は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびＤＶＤ（Digital Versatile Disc）のうち一つ以上を含む。なお、道路監視装置１は、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field Programmable Gate Array）などの集積回路を含んでいてもよい。
【0081】
道路監視装置１は、端末装置で構成されてもよく、サーバで構成されてもよく、端末装置とサーバとで構成されてもよい。道路監視装置１が２つ以上の装置で構成される場合、２つ以上の装置の各々は、例えば、図１１に示すハードウェア構成を有する。なお、２つ以上の装置間の通信は、通信装置１０３を介して行われる。また、道路監視装置１は、２つ以上のサーバで構成されてもよい。例えば、道路監視装置１は、処理サーバと、データサーバとで構成されてもよい。
【0082】
また、撮像装置２と端末装置が現地に設置され、端末装置で検出した結果がサーバに送信される構成としてもよい。この場合、入力画像情報取得部１３、判定対象特徴量演算部１４、および異常判定部１５の機能が端末装置により実行される。
【0083】
また、上述した例では、道路監視装置１は、画素単位で共通特徴量と判定対象特徴量とを演算するが、複数の画素単位で共通特徴量と判定対象特徴量を演算することもできる。例えば、道路監視装置１は、２×２の４画素単位で共通特徴量と判定対象特徴量とを演算することができる。この場合、道路監視装置１は、４画素単位の共通特徴量と４画素単位の判定対象特徴量とに基づいて、道路６０の異常を判定する。
【0084】
以上のように、実施の形態１にかかる道路監視装置１は、異常判定部１５を備える。異常判定部１５は、道路６０を含む領域Ｒを撮像する撮像装置２によって異なる環境条件で撮像された複数の過去画像４に共通の特徴を示す情報と撮像装置２によって新たに撮像された入力画像６の情報とに基づいて、道路６０の異常を判定する。これにより、道路監視装置１は、道路６０を含む領域Ｒが撮像された画像から道路６０の異常を精度よく検出することができる。
【0085】
また、共通の特徴は、１以上の画素単位の特徴である。これにより、道路監視装置１は、道路６０を含む領域Ｒが撮像された画像から道路６０の異常を１以上の画素単位で精度よく検出することができる。
【0086】
また、道路監視装置１は、共通特徴量演算部１１と、判定対象特徴量演算部１４とを備える。共通特徴量演算部１１は、複数の過去画像４に基づいて、共通の特徴を１以上の画素単位で表す共通特徴量を共通の特徴を示す情報として演算する。判定対象特徴量演算部１４は、入力画像６における１以上の画素単位の特徴量である判定対象特徴量を入力画像６の情報として演算する。異常判定部１５は、共通特徴量演算部１１によって演算された共通特徴量と判定対象特徴量演算部１４によって演算された判定対象特徴量とに基づいて、道路６０の異常を判定する。これにより、道路監視装置１は、道路６０を含む領域Ｒが撮像された画像から道路６０の異常を精度よく検出することができる。
【0087】
また、共通特徴量は、複数の過去画像４における領域Ｒの１以上の画素単位の特徴量を示す第１共通特徴量と、複数の過去画像４間における１以上の画素単位の関連度を示す第２共通特徴量とを含む。異常判定部１５は、判定対象特徴量と第１共通特徴量との１以上の画素単位の差分を１以上の画素単位の第２共通特徴量で調整した結果に基づいて、道路６０の異常を判定する。これにより、道路監視装置１は、道路６０を含む領域Ｒが撮像された画像から道路６０の異常をより精度よく検出することができる。
【0088】
また、共通特徴量演算部１１は、機械学習によって共通特徴量を算出する。これにより、道路監視装置１は、道路６０を含む領域Ｒが撮像された画像から道路６０の異常をより精度よく検出することができる。
【0089】
また、共通特徴量演算部１１は、抽出部２０と、算出部２１とを備える。抽出部２０は複数の過去画像４の各々における１以上の画素単位の特徴量を抽出する。算出部２１は、抽出部２０で抽出された複数の過去画像４の各々における１以上の画素単位の特徴量に基づいて、共通特徴量を算出する。これにより、道路監視装置１は、道路６０を含む領域Ｒが撮像された画像から道路６０の異常を精度よく検出することができる。
【0090】
また、道路監視装置１は、入力画像６のうち異常判定部１５によって判定された道路６０の異常を示す領域を強調する領域強調部１６を備える。これにより、道路監視装置１は、例えば、入力画像６を監視する監視員に対して道路６０の異常をより把握可能に提示することができる。
【0091】
また、道路監視装置１は、異常判定部１５によって判定された道路６０の異常を示す領域の画像の画像情報に基づいて、道路６０の異常の種別を判定する異常種別判定部１７を備える。これにより、道路監視装置１は、例えば、入力画像６を監視する監視員に対して道路６０の異常の種別を提示することができる。
【0092】
以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
【符号の説明】
【0093】
１ 道路監視装置、２，２１，２２，・・・，２ｎ 撮像装置、３ ネットワーク、４，４１，４２，・・・，４ｋ 過去画像、５ 過去画像群、６ 入力画像、１０ 過去画像情報取得部、１１ 共通特徴量演算部、１２ 共通特徴量記憶部、１３ 入力画像情報取得部、１４ 判定対象特徴量演算部、１５ 異常判定部、１６ 領域強調部、１７ 異常種別判定部、１８ 出力処理部、２０ 抽出部、２１ 算出部、３０ 差分算出部、３１ 判定部、６０ 道路、６１ 山、６２ 樹木、６３ 空、１００ 監視システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】