(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-02-20
(45)【発行日】2024-02-29
(54)【発明の名称】点検支援システム、撮影位置同定システム、及び、プログラム
(51)【国際特許分類】
G01N 21/88 20060101AFI20240221BHJP
E01C 23/01 20060101ALI20240221BHJP
H04N 23/60 20230101ALI20240221BHJP
【FI】
G01N21/88 Z
E01C23/01
H04N23/60 300
H04N23/60 500
(21)【出願番号】P 2023010219
(22)【出願日】2023-01-26
【審査請求日】2023-02-03
【早期審査対象出願】
(73)【特許権者】
【識別番号】501198084
【氏名又は名称】ナカシャ クリエイテブ株式会社
(73)【特許権者】
【識別番号】510155450
【氏名又は名称】株式会社コネクティボ
(74)【代理人】
【識別番号】100087778
【氏名又は名称】丸山 明夫
(72)【発明者】
【氏名】松井 良行
(72)【発明者】
【氏名】平野 智裕
(72)【発明者】
【氏名】野原 佐知世
(72)【発明者】
【氏名】西川 和宏
(72)【発明者】
【氏名】渡邉 裕樹
【審査官】小野寺 麻美子
(56)【参考文献】
【文献】特開2018-017102(JP,A)
【文献】特開2021-060656(JP,A)
【文献】国際公開第2017/110278(WO,A1)
【文献】韓国登録特許第10-2011713(KR,B1)
【文献】国際公開第2017/014288(WO,A1)
【文献】特開2022-021209(JP,A)
【文献】特開2016-211955(JP,A)
【文献】特開2022-045032(JP,A)
【文献】特開2022-014432(JP,A)
【文献】特開2016-218626(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
H04N 23/60
E01C 23/01
G06F 16/587
G06T 1/00 - G06T 1/40
G06T 3/00 - G06T 9/40
(57)【特許請求の範囲】
【請求項1】
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画
像の損傷レベル
をそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前
記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置
に各々前記演算した損傷レベルの差分に応じ
たヒートマップを表示する表示制御手段と、
を有し、
前記記憶装置は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段は、前記損傷レベルの差分の演算に際して前記同一撮影位置として前記第1と第2の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。
【請求項2】
請求項
1に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標間を緯度線方向又は経度線方向と平行に延びる分割線で等分割した各分割線間の領域である、
ことを特徴とする点検支援システム。
【請求項3】
請求項
2に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は1[m]である、
ことを特徴とする点検支援システム。
【請求項4】
請求項
1に於いて、
前記位置領域は、緯度線方向と平行に及び経度線方向と平行に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。
【請求項5】
請求項
4に於いて、
前記メッシュ状の区分領域は、小数第5位までで丸めた緯度線及び経度線の格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。
【請求項6】
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画
像の損傷レベル
をそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前
記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置
に各々前記演算した損傷レベルの差分に応じ
たヒートマップ
を表示する表示制御手段と、
を有し、
前記損傷特定手段は、前記操作入力で指示された前記第1と第2の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る範囲を規定する位置領域情報を各々生成し、前記第1と第2の撮影日で前記位置領域情報が同一となる撮影位置を各々前記同一撮影位置として前記演算に用いる、
ことを特徴とする点検支援システム。
【請求項7】
請求項
6に於いて、
前記記憶装置は、前記位置データとして前記各撮影位置にてGNSS受信機から取得した小数第7位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段は、前記小数第7位まで有効な緯度・経度情報を小数第5位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。
【請求項8】
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の一方の撮影日且つ指示された撮影位置の画像データを前記記憶装置から取得するとともに、前記取得した一方の撮影日の撮影位置と同一撮影位置の他方の撮影日の画像データを前記記憶装置から取得して、点検対象に損傷が有る画像の場合は当該損傷の当該画像内位置及び損傷の種類を特定する損傷特定手段と、
前記損傷特定手段が取得した両画像データの画像を表示装置に表示して損傷が有る画像では当該表示画像上に当該損傷の画像内位置及び損傷の種類を表示する表示制御手段と、
を有し、
前記記憶装置は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段は、前記一方の撮影日の撮影位置と同一位置の他方の撮影日の撮影位置を特定するに際して前記同一撮影位置として前記第1と第2の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。
【請求項9】
請求項
8に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標間を緯度線方向又は経度線方向と平行に延びる分割線で等分割した各分割線間の領域である、
ことを特徴とする点検支援システム。
【請求項10】
請求項
9に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は1[m]である、
ことを特徴とする点検支援システム。
【請求項11】
請求項
8に於いて、
前記位置領域は、緯度線方向及び経度線方向に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。
【請求項12】
請求項
11に於いて、
前記メッシュ状の区分領域は、小数第5位までで丸めた緯度線及び経度線の格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。
【請求項13】
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の一方の撮影日且つ指示された撮影位置の画像データを前記記憶装置から取得するとともに、前記取得した一方の撮影日の撮影位置と同一撮影位置の他方の撮影日の画像データを前記記憶装置から取得して、点検対象に損傷が有る画像の場合は当該損傷の当該画像内位置及び損傷の種類を特定する損傷特定手段と、
前記損傷特定手段が取得した両画像データの画像を表示装置に表示して損傷が有る画像では当該表示画像上に当該損傷の画像内位置及び損傷の種類を表示する表示制御手段と、
を有し、
前記損傷特定手段は、前記操作入力で指示された前記第1と第2の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を各々生成し、前記第1と第2の撮影日で前記位置領域情報が同一となる撮影位置を前記同一撮影位置
とする、
ことを特徴とする点検支援システム。
【請求項14】
請求項
13に於いて、
前記記憶装置は、前記位置データとして前記各撮影位置にてGNSS受信機から取得した小数第7位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段は、前記小数第7位まで有効な緯度・経度情報を小数第5位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。
【請求項15】
コンピュータを、請求項1~請求項
14の何れかの点検支援システムとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路や鉄道等のインフラ設備もしくは構造物の経時変化や損傷の進み具合を長期間に渡って管理するための点検支援システムとプログラムに関する。また、上記経時変化等の把握の前提として、時を隔てて撮影した2画像群から、同一位置と見做して処理し得る2画像を同定する撮影位置同定システムとプログラムに関する。
【背景技術】
【0002】
道路や鉄道等のインフラの長期間に渡るメンテナンスのため、定期的に道路等を点検して写真や点検者の気付き等の記録を保存しておき、適宜、検討対象位置の記録を取り出して、損傷の度合いや経時変化等を調べる業務が行われている。
道路や線路等のインフラは長大な構造物であるため、その全域を点検して記録を保存する作業には多大な手間隙を要する。また、点検作業には損傷の度合い等を的確に判断する熟練を要するのであるが、熟練技術者が高齢化等で不足しがちである。
このため、近年、移動体で道路や線路等を走行しつつ、搭載したカメラで各方向を動画撮影し、その動画で道路や線路の対象位置を目視点検することが始まっている。
【0003】
本願の出願人は、先に、「カメラを搭載した移動体で道路等を走行しつつ各方向(両側方、前方、後方、上方、下方)を動画撮影し、抜き出した各フレーム画像に各々関連する情報(撮影日時刻、撮影位置等)を対応付けて保存する技術」を出願して、特許を取得している(特許文献1,特許第7100863号)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
移動体搭載のカメラで撮影した動画から抜き出した各フレーム画像に撮影日時刻や撮影位置等を対応付けたデータ(例:特許文献1のデータ)を用いて、被撮影道路等の状態を目視点検する場合、被撮影道路等が長大であるため、点検すべき範囲を的確に絞り込んで指定できることが重要となる。このため、
*点検対象とすべき範囲(損傷の分布範囲)を、容易に把握できることが望まれる。また、損傷の度合いが大きい範囲を、容易に把握できることが望まれる。さらに、経年変化の大きい範囲(重点的に注目すべき範囲)を、容易に把握できることが望まれる。
*点検対象として特定した撮影位置の画像内の損傷の位置を、容易に把握できることが望まれる。また、その損傷の詳細を併せて把握できることが望まれる。
*点検対象として特定した撮影位置の画像内の損傷の変化を把握するため、同一位置の異なる時点(過去と現在)の画像を比較対照できることが望まれる。また、容易且つ詳細に比較対照できることが望まれる。
*上記の把握を、熟練を要することなく行い得ることが望まれる。
*損傷分布範囲の経年変化の把握や、同一位置の画像の比較対照のためには、異なる時点(過去と現在)の同一位置を、的確に同定できることが望まれる。
【0006】
本発明は、上述の要請に鑑みたものである。即ち、
本発明は、道路や線路等の長大なインフラの各部の中から、点検対象として注目すべき範囲(損傷の分布範囲)を視覚的に把握できるようにすることを目的とする。また、損傷の度合いに鑑み点検対象として特に注目すべき範囲を視覚的に把握できるようにすることを目的とする。さらに、損傷の経年変化に鑑み点検対象として重点的に注目すべき範囲を視覚的に把握できるようにすることを目的とする。
本発明は、道路や線路等の長大なインフラの各部の中から注目対象として指定した特定位置の状況を、視覚的に把握できるようにすることを目的とする。また、その特定位置の状況の詳細を視覚的に把握できるようにすることを目的とする。
本発明は、道路や線路等の長大なインフラの各部の中から注目対象として指定した特定位置の状況の変化を、視覚的に比較対照して把握できるようにすることを目的とする。また、その特定位置の状況の詳細な変化を視覚的に比較対照して把握できるようにすることを目的とする。
本発明は、上記のような視覚的な把握を、経験の差による判断の相違なく、誰でも行い得るようにすることを目的とする。
本発明は、例えば、道路や線路等の長大なインフラの各部の中から、比較対照したい特定位置や特定範囲を指定して、その状況変化を的確に把握可能とするべく、期間を空けて複数回に渡り各部を撮影した画像の中から、比較対照等のための同一の撮影位置を的確に指定できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
本発明の例を、下記[4]~[10]、[16]~[22]に記すとともに[30]の一部に本発明の例を記す。下記[1]~[3]、[11]~[15]、[23]~[29]、[31]は、参考発明である。なお、この項([課題を解決するための手段])と次項([発明の効果])に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。
[1]発明1(損傷有無のヒートマップ)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置2からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置4から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段32と、
前記入力装置2からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置2からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置5に表示し、当該表示地図上に前記損傷特定手段32が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段33と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「各画像内の点検対象の損傷の有無を特定」する処理は、「各画像内の点検対象の損傷を調べて損傷の有無を特定」してもよく、また、「上記記憶装置4が各画像に対応付けて当該画像内の点検対象の損傷情報(損傷の有無)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、レベル区分検出器(画像サイズと同サイズのレベル別の多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)322を用いて実現することができる。なお、レベルは、ここでは「無」「有」である。
上記「ヒートマップで識別可能に表示する」処理は、「色相/明度/彩度の少なくとも1つで識別可能に表示する」と言い換えてもよい。
[2]発明2(損傷レベルのヒートマップ)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置4から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定する損傷特定手段と、
前記入力装置2からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置5に表示し、当該表示地図上に前記損傷特定手段が損傷の有無及び損傷有りの場合の損傷レベルを特定した各画像の撮影位置を当該撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルに応じてヒートマップで識別可能に表示する表示制御手段33と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の有無及び損傷有りの場合の損傷レベルを特定」してもよく、また、「上記記憶装置4が各画像に対応付けて当該画像内の点検対象の損傷情報(損傷の有無,損傷レベル)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、レベル区分検出器(画像サイズと同サイズのレベル別の多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)322を用いて実現することができる。なお、レベルは、例えば「0(無)」「1」「2」・・・である。
上記「ヒートマップで識別可能に表示する」処理は、「色相/明度/彩度の少なくとも1つで識別可能に表示する」と言い換えてもよい。
【0008】
[3]発明3(損傷レベル差分のヒートマップ)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置2からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上に前記損傷特定手段が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段と、
を有することを特徴とする点検支援システム。
第1と第2という異なる撮影日に、同一経路(道路,線路等)を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
[4]発明4(同一撮影位置←位置領域)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像の損傷レベルをそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置に各々前記演算した損傷レベルの差分に応じたヒートマップを表示する表示制御手段と、
を有し、
前記記憶装置は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段は、前記損傷レベルの差分の演算に際して前記同一撮影位置として前記第1と第2の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。
前記「当該の撮影位置と同一位置と見做し得る位置の範囲」は、前記画像データが移動体搭載のカメラで撮影した動画の各フレームの画像データである場合、「例えば第1と第2の撮影日の2画像が目視による比較対照や差分の演算に利用できる程度に合致する位置の範囲にて撮影した画像」であり、そのような位置の範囲は、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等を考慮して定めることができる。
[5]発明5(位置領域←距離標)
発明4に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標間を緯度線方向又は経度線方向と平行に延びる分割線で等分割した各分割線間の領域である、
ことを特徴とする点検支援システム。
例えば、撮影経路(道路,線路等)が略東西方向に延びる場合、分割線は経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路の幅方向の長さ(例:道路幅,線路帯幅,程度)に基づかせることができる。なお、各距離標には、緯度・経度が対応付けられている。この緯度・経度に基づいて上記各分割線にも緯度・経度を対応付けて記憶させておいてもよい。
[6]発明6(距離標=キロポスト)
発明5に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は1[m]である、
ことを特徴とする点検支援システム。
例えば、高速道路では、100[m]、又は、1000[m]間隔でキロポストが設けられている。
[7]発明7(位置領域←メッシュ)
発明4に於いて、
前記位置領域は、緯度線方向と平行に及び経度線方向と平行に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。
例えば、小数第5位までで第6位以下が0の緯度線と、小数第5位までで第6位以下が0の経度線で区切られるメッシュである。一例として、北緯35.18140~35.18141、東経136.90635~136.90636で区分されるメッシュを挙げることができる。撮影時にGNSS受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
[8]発明8(区分領域)
発明7に於いて、
前記メッシュ状の区分領域は、小数第5位までで丸めた緯度線LA及び経度線LOの格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。
[9]発明9(位置領域情報生成)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像の損傷レベルをそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置に各々前記演算した損傷レベルの差分に応じたヒートマップを表示する表示制御手段と、
を有し、
前記損傷特定手段は、前記操作入力で指示された前記第1と第2の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る範囲を規定する位置領域情報を各々生成し、前記第1と第2の撮影日で前記位置領域情報が同一となる撮影位置を各々前記同一撮影位置として前記演算に用いる、
ことを特徴とする点検支援システム。
[10]発明10(小数第5位)
発明9に於いて、
前記記憶装置4は、前記位置データとして前記各撮影位置にてGNSS受信機から取得した小数第7位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段32は、前記小数第7位まで有効な緯度・経度情報を小数第5位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。
【0009】
[11]発明11(損傷レベルのヒートマップ/損傷の画像内位置)
発明2に於いて、
前記損傷特定手段32は、前記入力装置2からの操作入力で指示された撮影日且つ指示された撮影位置範囲内の各撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを各々特定するとともに、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置を特定し、
前記表示制御手段33は、前記入力装置2からヒートマップ表示が指示された場合は表示装置に前記表示地図を表示して前記損傷有りの各撮影位置の損傷レベルをヒートマップで表示し、前記入力装置2から撮影位置を指定して画像内の損傷表示が指示された場合は当該撮影位置の画像を表示装置に表示して当該表示画像上に前記損傷特定手段が特定した損傷の画像内位置を表示する、
ことを特徴とする点検支援システム。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(画像内に損傷を有する多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
損傷の画像内位置は、例えば、バウンディングボックスで表示できる。
入力装置2からの撮影位置を指定しての画像内の損傷表示の指示は、例えば、「前記表示地図上の或る位置にカーソルを置く」ようにして行われてもよい。
下記の構成も可能である。即ち、
発明11に於いて、
前記損傷特定手段32は、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置及び損傷の種類を特定し、
前記表示制御手段33は、前記入力装置2から撮影位置を指定して画像内の損傷表示が指示された場合は当該撮影位置の画像を表示装置に表示し且つ損傷が有る画像では当該表示画像上に前記損傷特定手段が特定した損傷の画像内位置及び損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
上記損傷特定手段が「当該損傷の画像内位置及び種類を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置及び種類を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置,種類)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(損傷の種類別の多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
【0010】
[12]発明12(損傷の画像内位置)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された撮影日且つ指示された撮影位置の画像データを前記記憶装置4から取得し、当該画像内の点検対象に損傷が有る場合は当該損傷の画像内位置を特定する損傷特定手段32と、
前記入力装置2からの操作入力で指示された撮影日且つ指示された撮影位置の画像を表示装置に表示し、前記損傷が有る場合は当該表示画像上に損傷の画像内位置を表示する表示制御手段33と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(画像内に損傷を有する多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
下記の構成も可能である。即ち、
発明12に於いて、
前記損傷特定手段32は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段33は、前記損傷が有る場合は前記表示画像上に損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
上記損傷特定手段が「当該損傷の画像内位置及び種類を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置及び種類を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置,種類)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(損傷の種類別の多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
【0011】
[13]発明13(損傷レベル差分のヒートマップ/損傷の2画像内位置)
発明3に於いて、
前記損傷特定手段は、前記第1と第2の撮影日の前記各撮影位置の前記損傷の有無及び損傷レベルを特定して前記各同一撮影位置での損傷レベルの差分を演算するとともに、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置を特定し、
前記表示制御手段は、前記入力装置から損傷レベルの差分表示が指示された場合は前記損傷特定手段が演算した前記損傷レベルの差分をヒートマップで表示し、前記入力装置から前記第1と第2の一方の撮影日の撮影位置を指定して画像内の損傷表示が指示された場合は当該一方の撮影日の当該撮影位置の画像を表示装置に表示するとともに前記第1と第2の他方の撮影日の同一撮影位置の画像を併せて表示装置に表示して損傷が有る画像では表示画像上に前記損傷特定手段が特定した損傷の画像内位置を表示する、
ことを特徴とする点検支援システム。
第1と第2という異なる撮影日に、同一経路(道路,線路等)を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(画像内に損傷を有する多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
下記の構成も可能である。即ち、
発明13に於いて、
前記損傷特定手段は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段は、前記損傷が有る画像の場合は前記表示画像上に損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
【0012】
[14]発明14(損傷の2画像内位置)
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された第1と第2の一方の撮影日且つ指示された撮影位置の画像データを前記記憶装置4から取得するとともに、前記取得した一方の撮影日の撮影位置と同一撮影位置の他方の撮影日の画像データを前記記憶装置4から取得して、点検対象に損傷が有る画像の場合は当該損傷の当該画像内位置を特定する損傷特定手段32と、
前記損傷特定手段32が取得した両画像データの画像を表示装置に表示して損傷が有る画像では当該表示画像上に当該損傷の画像内位置を表示する表示制御手段33と、
を有することを特徴とする点検支援システム。
第1と第2という異なる撮影日に、同一経路(道路,線路等)を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報(画像内位置)を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器(画像内に損傷を有する多数の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワーク)321を用いて実現することができる。
[15]発明15(損傷の2画像内位置・種類)
発明14に於いて、
前記損傷特定手段32は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段33は、前記損傷が有る画像の場合は損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
[16]発明16(同一撮影位置←位置領域)
発明15に於いて、
前記記憶装置4は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段32は、前記一方の撮影日の撮影位置と同一位置の他方の撮影日の撮影位置を特定するに際して前記同一撮影位置として前記第1と第2の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。
前記「当該の撮影位置と同一位置と見做し得る範囲」は、前記画像データが移動体搭載のカメラで撮影した動画の各フレームの画像データである場合、「第1と第2の撮影日の2画像が目視による比較対照や差分の演算に利用できる程度に合致する画像」となるように、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等に基づいて定めることができる。
[17]発明17(位置領域←距離標)
発明16に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標KP間を緯度線方向又は経度線方向と平行に延びる分割線DLで等分割した各分割線間DL-DLの領域である、
ことを特徴とする点検支援システム。
例えば、撮影経路(道路,線路等)が略東西方向に延びる場合、分割線は経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路の幅方向の長さ(例:道路幅,線路帯幅,程度)に基づかせることができる。なお、各距離標には、緯度・経度が対応付けられている。この緯度・経度に基づいて上記各分割線にも緯度・経度を対応付けて記憶させておいてもよい。
[18]発明18(距離標=キロポスト)
発明17に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は1[m]である、
ことを特徴とする点検支援システム。
例えば、高速道路では、100[m]、又は、1000[m]間隔でキロポストが設けられている。
[19]発明19(位置領域←メッシュ)
発明16に於いて、
前記位置領域は、緯度線方向と平行に及び経度線方向と平行に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。
例えば、小数第5位までで第6位以下が0の緯度線と、小数第5位までで第6位以下が0の経度線で区切られるメッシュである。一例として、北緯35.18140~35.18141、東経136.90635~136.90636で区分されるメッシュを挙げることができる。撮影時にGNSS受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
[20]発明20(区分領域)
発明19に於いて、
前記メッシュ状の区分領域は、小数第5位までで丸めた緯度線LA及び経度線LOの格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。
[21]発明21(同一撮影位置←位置領域情報生成)
発明15に於いて、
前記損傷特定手段32は、前記操作入力で指示された前記第1と第2の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を各々生成し、前記第1と第2の撮影日で前記位置領域情報が同一となる撮影位置を前記同一撮影位置として前記演算に用いる、
ことを特徴とする点検支援システム。
[22]発明22(少数第5位)
発明21に於いて、
前記記憶装置4は、前記位置データとして前記各撮影位置にてGNSS受信機から取得した小数第7位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段32は、前記小数第7位まで有効な緯度・経度情報を小数第5位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。
【0013】
[23]発明23(同一撮影位置←位置領域データ)
動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持し、及び、前記各フレームの位置データと同一位置と見做し得る位置の範囲を画定する位置領域データを各々対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された第1の撮影日且つ指示された撮影位置の第1の画像データを前記記憶装置4から取得し、及び、前記入力装置2からの操作入力で指示された第2の撮影日且つ前記第1の画像データと同一の位置領域データに対応付けられている第2の画像データを前記記憶装置4から取得するデータ取得手段と、
前記データ取得手段が取得した第1の画像データと第2の画像データに対して前記入力装置2からの操作入力で指示された処理を実行するデータ処理手段と、
を有することを特徴とする撮影位置同定システム。
前記「緯度・経度が当該位置データと同一位置と見做し得る位置の範囲」は、「第1と第2という異なる撮影日の2画像が目視による比較対照や差分の演算に利用できる程度に合致する画像が撮影される位置の範囲」である。これは、画像データが動画の構成要素である各フレームの画像データの場合、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等に基づいて定めることができる。
前記「入力装置からの操作入力で指示された処理」としては、例えば、第1と第2の画像を比較対照するべく表示させる処理、第1と第2の画像の差分を演算して表示させる処理、前記「入力装置から指示される撮影位置が或る範囲の場合(撮影位置が連続する複数の位置の場合)に当該範囲内の各画像データの損傷レベルを比較対照するべく表示させる処理、該損傷レベルの差分を演算して表示させる処理、等を例示できる。
[24]発明24(位置領域←距離標)
発明23に於いて、
前記位置領域データは、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標KP間を緯度線方向又は経度線方向に延びる分割線DLで等分割した各分割線間DL-DLの領域を規定するデータである、
ことを特徴とする撮影位置同定システム。
例えば、撮影経路(道路,線路等)EWが略東西方向に延びる場合、分割線DLは経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路EWの幅方向の長さ(例:道路幅,線路帯幅,程度)に基づかせることができる。なお、各距離標KPには、緯度LA・経度LOが対応付けられている。この緯度LA・経度LOに基づいて上記各分割線DLにも緯度・経度を対応付けて記憶させておいてもよい。
[25]発明25(距離標=キロポスト)
発明24に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は1[m]である、
ことを特徴とする撮影位置同定システム。
例えば、高速道路では、100[m]、又は、1000[m]間隔でキロポストが設けられている。
[26]発明26(位置領域←メッシュ)
発明23に於いて、
前記位置領域データは、緯度線LA方向及び経度線LO方向に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域を規定する、
ことを特徴とする撮影位置同定システム。
例えば、小数第5位までで第6位以下が0の緯度線と、小数第5位までで第6位以下が0の経度線で区切られるメッシュである。一例として、北緯35.18140~35.18141、東経136.90635~136.90636で区分されるメッシュを挙げることができる。撮影時にGNSS受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
[27]発明27(区分領域)
発明26に於いて、
前記メッシュ状の区分領域は、小数第5位に丸めた緯度線及び経度線の格子配列により区分される方形領域である、
ことを特徴とする撮影位置同定システム。
[28]発明28(同一撮影位置←位置領域情報生成)
動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置4と、
入力装置2と、
前記入力装置2からの操作入力で指示された第1と第2の各撮影日の各撮影位置の位置データに基づいて各々当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を生成し、当該の撮影位置に対応付けて保持する領域情報生成手段325と、
前記第1と第2の撮影日の一方に対応付けて操作入力で指示された撮影位置に対応する位置領域情報を前記領域情報生成手段から取得し、当該の位置領域情報と同一の位置領域情報を有する撮影位置を前記領域情報生成手段から前記第1又は第2の他方の撮影日の同一の撮影位置として抽出する撮影位置同定手段326と、
を有することを特徴とする撮影位置同定システム。
[29]発明29(小数第5位)
発明28に於いて、
前記記憶装置2は、前記各位置データとしてGNSS受信機から取得した小数第7位まで有効な緯度・経度データを有し、
前記領域情報生成手段は、前記位置領域情報として前記小数第7位まで有効な緯度・経度データを小数第5位に丸めたデータを生成する、
ことを特徴とする撮影位置同定システム。
[30]発明30
コンピュータを、発明1~発明22の何れかの点検支援システムとして機能させるためのプログラム。
[31]発明31
コンピュータを、発明23~発明29の何れかの撮影位置同定システムとして機能させるためのプログラム。
【発明の効果】
【0014】
発明1は、点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、入力装置2と、前記入力装置2からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置2からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置4から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段32と、前記入力装置2からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置2からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置5に表示し、当該表示地図上に前記損傷特定手段32が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段33と、を有することを特徴とする点検支援システムであるため、点検対象として注目すべき損傷の分布範囲を視覚的に把握することができる。
発明2は、点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、入力装置2と、前記入力装置2からの操作入力で指示された撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置4から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定する損傷特定手段と、前記入力装置2からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置5に表示し、当該表示地図上に前記損傷特定手段が損傷の有無及び損傷有りの場合の損傷レベルを特定した各画像の撮影位置を当該撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルに応じてヒートマップで識別可能に表示する表示制御手段33と、を有することを特徴とする点検支援システムであるため、損傷の度合いに鑑み点検対象として特に注目すべき範囲を視覚的に把握することができる。
発明3は、点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置4と、入力装置2と、前記入力装置2からの操作入力で指示された第1と第2の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第1と第2の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、前記入力装置2からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上に前記損傷特定手段が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段と、を有することを特徴とする点検支援システムであるため、損傷の経年変化に鑑み点検対象として重点的に注目すべき範囲を視覚的に把握することができる。
【0015】
発明12は、点検対象の撮影により得た画像データと前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置4と、入力装置2と、前記入力装置2からの操作入力で指示された撮影日且つ指示された撮影位置の画像データ及び損傷情報を前記記憶装置4から取得し、当該画像内の点検対象に損傷が有る場合は当該損傷の画像内位置を特定する損傷特定手段32と、前記入力装置2からの操作入力で指示された撮影日且つ指示された撮影位置の画像を表示装置に表示し、前記損傷が有る場合は当該表示画像上に損傷の画像内位置を表示する表示制御手段33と、を有することを特徴とする点検支援システムであるため、注目対象として指定した特定位置の状況を視覚的に把握することができる。
【0016】
発明14は、点検対象の撮影により得た画像データと前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置4と、入力装置2と、前記入力装置2からの操作入力で指示された第1と第2の一方の撮影日の撮影位置の画像データ及び損傷データを前記記憶装置4から取得するとともに前記取得した一方の撮影日の撮影位置と同一撮影位置の他方の撮影日の画像データ及び損傷データを前記記憶装置4から取得して点検対象に損傷が有る画像の場合は当該損傷の当該画像内位置を特定する損傷特定手段32と、前記損傷特定手段32が取得した両画像データの画像を表示装置に表示して損傷が有る画像では当該表示画像上に当該損傷の画像内位置を表示する表示制御手段と、を有することを特徴とする点検支援システムであるため、注目対象として指定した特定位置の状況の変化を視覚的に比較対照して把握することができる。
発明15は、発明14に於いて、前記損傷特定手段32は点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、前記表示制御手段33は前記損傷が有る画像の場合は損傷の画像内位置とともに損傷の種類を表示する、ことを特徴とする点検支援システムであるため、注目対象として指定した特定位置の状況の詳細な変化を視覚的に比較対照して把握することができる。
また、上記の各発明は、上記のような視覚的な把握を、経験の差による判断の相違なく、誰でも行うことができる効果がある。
【0017】
発明23は、動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持し、及び、前記各フレームの位置データと同一位置と見做し得る位置の範囲を画定する位置領域データを各々対応付けて保持する記憶装置4と、入力装置2と、前記入力装置2からの操作入力で指示された第1の撮影日且つ指示された撮影位置の第1の画像データを前記記憶装置4から取得し、及び、前記入力装置2からの操作入力で指示された第2の撮影日且つ前記第1の画像データと同一の位置領域データに対応付けられている第2の画像データを前記記憶装置4から取得するデータ取得手段と、前記データ取得手段が取得した第1の画像データと第2の画像データに対して前記入力装置からの操作入力で指示された処理を実行するデータ処理手段と、を有することを特徴とする撮影位置同定システムであるため、例えば、道路や線路等の長大なインフラの各部の中から、比較対照したい特定位置や特定範囲を指定して、その状況変化を的確に把握可能とするべく、期間を空けて複数回に渡り各部を撮影した画像の中から、比較対照等のための同一の撮影位置を的確に指定することができる。
発明28は、動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置4と、入力装置2と、前記入力装置2からの操作入力で指示された第1と第2の各撮影日の各撮影位置の位置データに基づいて各々当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を生成し、当該の撮影位置に対応付けて保持する領域情報生成手段と、前記第1と第2の撮影日の一方に対応付けて操作入力で指示された撮影位置に対応する位置領域情報を前記領域情報生成手段から取得し、当該の位置領域情報と同一の位置領域情報を有する撮影位置を前記領域情報生成手段から前記第1又は第2の他方の撮影日の同一の撮影位置として抽出する撮影位置同定手段と、を有することを特徴とする撮影位置同定システムであるため、発明26と同様の効果を奏することができる。
【図面の簡単な説明】
【0018】
【
図2】本発明の表示処理の手順を説明するフローチャート。(a)は単一の撮影日を指定した場合、(b)は新旧二つの撮影日を指定した場合を示す。
【
図3】画面表示した地図上にてカーソルで撮影位置を選択する(a)と、当該選択した撮影位置の写真画像と当該選択に使用した地図とを並べて表示する様子(b)を示す説明図。
【
図4】第1と第2の撮影日の道路の各同一撮影位置の損傷レベルの差分を、画面表示の地図上にヒートマップ表示するための機能・手順を説明するブロック図。
【
図5】キロポストKP(距離標)を用いて第1と第2の撮影日の各同一の撮影位置を求める手法を説明するための図(a)と、メッシュを用いて位置領域を規定して第1と第2の撮影日の各同一の撮影位置を求める手法を説明するための図(b)。
【
図6】本発明の構成及び機能の概要を示すブロック図。
【
図7】第1又は第2の撮影日の指定された撮影位置の画像と、第2又は第1の撮影日の同じ撮影位置の画像を並べて表示し、各画像に損傷と種類を表示するための機能・手順を説明するブロック図。
【
図8】実施の形態の点検支援システムや撮影位置同定システムを備えた損傷履歴管理システムの全体構成を示す説明図。
【
図9】
図8の損傷履歴管理システムで扱うデータテーブルのER図。
【
図11】
図8のシステムの表示処理の手順を説明するフローチャート。
【
図12】画面表示の地図上に道路(路面)の損傷レベルの差分をヒートマップ表示した様子を示す説明図。
【
図13】画面表示の写真上に
図12のヒートマップを表示した様子を示す説明図。
【
図14】指定された撮影位置範囲の画面表示の写真上に第1の撮影日での道路の損傷レベルをヒートマップ表示した様子を示す説明図。
【
図15】
図14と同一の撮影位置範囲の画面表示写真上に第2の撮影日での道路の損傷レベルをヒートマップ表示した様子を示す説明図。
【
図16】指定された撮影位置の前方下側の画面表示写真(路面写真)上に損傷とその種類を表示した様子を示す説明図。
【
図17】
図16とは別の撮影位置の前方下側の画面表示写真(路面写真)上に損傷とその種類を表示した様子を示す説明図。
【
図18】
図16や
図17とは別の撮影位置の前方側の画面表示写真(道路画像)上に損傷とその種類を表示した様子を示す説明図。
【
図19】指定された撮影位置のガードレールの画面表示写真上に第1と第2の撮影日の損傷の差分を表示する過程を示す説明図。
【
図20】指定された撮影位置の高架道路下側について第1と第2の撮影日の写真画像を並べて画面表示する様子を示す説明図。
【
図21】指定された撮影位置の高架道路の路面の桁の継ぎ目付近について第1と第2の撮影日の写真画像を並べて画面表示する様子を示す説明図。
【発明を実施するための形態】
【0019】
以下、図面を参照して、本発明の実施の形態を説明する。
図1は、本発明の概要を示す。図示のように、本発明では、データベース4に、点検対象の撮影により得た静止画像データ、該静止画像データの撮影位置(緯度・経度)を示す撮影位置データ、同じく撮影日時刻を示す撮影日時刻データ(時間データ)、撮影時に撮影者が入力した気付きコメント等を、対応付けて保持している。
【0020】
上記静止画像データは、カメラ搭載の自動車で点検対象の道路を走行しつつ撮影した動画の各フレームから生成したものである。また、撮影位置データ(緯度・経度)や、撮影日時刻データ(時間データ)は、当該フレームの撮影時にGNSS衛星からGNSS受信機(不図示)が取得して生成したデータに基づいている。動画の各フレームに撮影位置データや撮影日時刻データを対応付けて登録する手法としては、例えば、特許第7100863号に記載の手法を用いることができる。
【0021】
これらのデータを用いて、本発明では、例えば、操作入力で指定した地域(位置の範囲)の各撮影位置の道路やその周辺構造物の損傷レベルをヒートマップ表示したり、或いは、操作入力で指定した撮影位置の点検対象の損傷を調べて当該撮影位置の写真画像に当該損傷の画像内位置や種類を表示したり、等の処理を行う。
なお、
図1では、カメラ搭載の自動車で道路の路面や周辺の構造物を撮影する場合を示しているが、カメラ搭載の列車で線路や周辺の構造物を撮影したり、或いは、カメラ搭載のドローンで河川や川岸を撮影したり、等であってもよい。要は、長大な構造物の動画撮影に基づいて静止画像データを生成するとともに位置データや時間データを対応付けて登録しておき、後日、点検等に用いる場合について、本発明を適用できる。
【0022】
次に、データベース4に保持している前述のデータを用いて、道路や線路或いは河川等の長大な構造物の点検業務を行うための処理を、順に、説明する。
[1]道路損傷レベルのヒートマップ
図6に、画面に表示した地図上に道路の損傷レベルをヒートマップ表示する機能を実現可能な構成を示し、
図2(a)前段に、該機能を実現する処理手順を示す。また、
図14と
図15に、表示装置にヒートマップ表示した写真画像の一例を示す。
図6に於いて、入力装置2は、各種の操作入力を行うための機器であり、例えば、キーボードやマウス等で構成され得る。操作入力は、表示装置5との協働でも行われ得る。記憶装置4は、ハードディスク、SSD、RAM等で構成され得る。制御装置3はCPUやGPU等で構成され、入力装置2、表示装置5、記憶装置4を制御するとともに、後述の損傷特定部32としての機能をも奏する。
【0023】
操作入力により撮影日(或る単一の撮影日)と撮影範囲(撮影位置の範囲)を指定すると(S11)、当該指定にかかる撮影範囲の地図(道路)が表示装置5の画面上に表示され、当該地図上に道路各位置の損傷レベルがヒートマップ表示される(S13)。
即ち、撮影日と撮影範囲が指定されると(S11)、損傷特定部32が、記憶装置4から当該の撮影日で且つ当該の撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データ(緯度・経度)を取得して、各撮影位置の損傷レベルを特定し、表示制御部33が、当該の撮影位置範囲を表示可能な地図を表示装置5に表示して、当該表示地図上に損傷特定部32が特定した各撮影位置の損傷レベルをヒートマップで識別可能に表示する(S13)。言い換えれば、各撮影位置の損傷レベルに応じて色相/明度/彩度を決めて識別可能に表示する。なお、地図に代えて、
図14や
図15のように、写真画像上にヒートマップを表示してもよい。また、損傷レベルに応じて表示サイズ(例:幅)を変えることで識別可能なヒートマップ表示としてもよい。
【0024】
上記に於いて、損傷特定部32が「損傷レベルを特定する」処理は、例えば、「各画像内の点検対象(例:路面)の損傷をレベル区分検出器322で調べて損傷の有無と損傷有りの場合の損傷レベルを特定する」ことで実現できる。このレベル区分検出器322としては、画像サイズと同サイズで損傷レベル別に予め用意した多数(例:
図4・レベル0~3の各レベル100画像程度)の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワークを用いることができる。例えば、YOLOv3(損傷のレベルを検出するAIモデル)を用いることができる。このようにレベル区分検出器322を用いて「損傷レベルを特定する」と、各レベルの教師画像を適切なタイミングで更新して適時に深層学習(ディープラーニング)を行っておくことにより、最新で高精度のレベル区分検出器322を利用することができる。なお、レベル0は「損傷無し」を意味する。
【0025】
また、上記に於いて、損傷特定部32が「損傷レベルを特定する」処理を、記憶装置4が各画像データに対応付けて保持する損傷情報(損傷の有無,損傷レベル)を取得することで実現してもよい。この場合、損傷情報は、画像データ等の登録時に上記と同様のレベル区分検出器322を用いて生成して対応付けて保持させておくこととなる。
なお、点検対象が路面のように損傷の種類が少ない場合や、路面以外でも損傷の種類が特定されている場合等には、損傷レベルの区分を、画像内の損傷箇所の数で区分するように簡易化してもよい。
【0026】
[2]路面の損傷の画像内位置と種類
図6に、画面に表示した地図上で撮影位置を操作入力で指定する機能を実現可能な構成を示し、
図2(a)後段に、該機能を実現する処理手順を示す。また、
図3に、画面表示地図上で指定した撮影位置の写真画像を画面表示する手順を示し、
図16と
図17に画面表示した写真画像上に損傷位置と種類を画面表示する様子を示す。
【0027】
図3(a)の如く、地図上に路面損傷レベルのヒートマップが表示された状態で、カーソルで所望の撮影位置を選択すると(S15)、当該選択した撮影位置の写真画像が表示される(S17)。
即ち、入力装置2からの操作入力で地図上にて指定したカーソル位置(
図3(a))の画像データが記憶装置4から読み出されて、表示装置5に表示される。このとき、地図表示から写真画像単独の表示に切り換えてもよいが、地図と写真画像とを
図3(b)の如く並べて表示してもよい。また、写真画像単独表示又は地図と写真画像の並べ表示の何れの方式で表示するかを操作入力で選択可能としてもよい。
【0028】
写真画像には、さらに、当該写真画像内の各損傷位置がバウンディングボックスBBで表示され、且つ、損傷の種類が付記表示(アノテーション表示)される(S17)。写真画像内の各損傷位置とその種類は、ここでは、損傷検出器321にて検出される。
損傷検出器321としては、画像サイズと同サイズで損傷とその種類別に予め用意した多数(例:
図7・損傷A0~損傷C2の各種類・各レベルの損傷について各々100画像程度)の教師画像を用いて深層学習(ディープラーニング)済みのニューラルネットワークを用いることができる。例えば、YOLOv3(損傷の位置と種類(及びレベル)を同時に検出するAIモデル)を用いることができる。
図16と
図17に、写真画像内に各損傷位置をバウンディングボックスBBで表示し且つ損傷の種類を付記表示した様子を示す。
このように損傷検出器321を用いて「損傷の画像内位置と種類等を検出する」と、教師画像を適切なタイミングで更新して深層学習(ディープラーニング)を行っておくことにより、最新且つ高精度で各損傷の画像内位置とその種類等を検出することができる。
【0029】
なお、損傷検出器321により損傷とその種類等を検出する処理に代えて、記憶装置4が各画像データに対応付けて保持する損傷情報(損傷とその種類等,画像内位置)を取得するように構成してもよい。その場合、損傷情報は、画像データの登録時に上記と同様の損傷検出器321を用いて生成して対応付けて保持させておくこととなる。
【0030】
[3]損傷レベル差分のヒートマップ表示/新旧の同一撮影位置
図4に、地図上に路面損傷レベルの新旧の差分を表示装置5にヒートマップ表示する機能を実現するブロック図を示し、
図2(b)前段に、該機能を実現する手順を示す。
図2(b)S23「道路各撮影位置の損傷レベルの差分」とは、異なる撮影日(例:新旧,昨年と今年,第1と第2の撮影日)に同一の撮影範囲(地域)を撮影した2つの動画各々のフレームからそれぞれ静止画を生成した場合に於いて、それらの静止画から、第1と第2の撮影日で「同一の位置を撮影した静止画の組」を、当該撮影範囲内の各撮影位置について各々決めて求めた損傷レベルの差分をいう。
【0031】
上記同一の撮影範囲の新旧各撮影位置の路面の損傷レベルは、前掲の「[1]道路損傷レベルのヒートマップ」の手法と同様にして特定することができる。例えば、前記レベル区分検出器322を用いて特定することができる。
特定した各撮影位置の損傷レベルから、第1と第2の撮影日で同一の撮影位置の損傷レベルの差分を各々求めるのであるが、そのためには、まず、新旧で「同一の位置を撮影した静止画の組」を、当該撮影範囲内の各撮影位置について各々決める必要がある。
【0032】
しかるに、新旧異なる撮影日に同一経路(道路,線路等)を移動体で走行しつつ搭載したカメラで撮影した各動画から各々静止画像を生成して記録しておき、後日、同一撮影位置の静止画像を抜き出して比較等しようとしても、移動体の速度やカメラのフレームレート或いはカメラから被写体までの距離の相違等の影響のため、位置データをそのまま用いたのでは被撮影範囲が完全同一の画像を得ることは事実上不可能である。便宜上、異なる撮影日の動画に基づく「二つの静止画像が目視による比較対照や差分の演算に利用できる程度に合致する」場合に、同一の位置を撮影した静止画像の組とする。
【0033】
以下、上記「同一の位置を撮影した静止画像の組」を決める手法を述べる。言い換えれば、撮影位置同定部326の機能を説明する。
<メッシュ状の区分領域(
図5(b))>
GNSS衛星からGNSS受信機が取得して生成する位置データは、現状、小数第7位までで表わされた緯度・経度である。道路EWを走行する前記移動体の速度を100[km/h]、フレームレートを30[fps] と仮定し、この仮定に基づき、小数第5位までで第6位以下を「0」とした緯度線LA・経度線LOにて、
図5(b)のメッシュを規定する。
各撮影位置が持つ位置データ(小数第7位までの緯度・経度)に、当該の撮影位置が存するメッシュ、即ち、当該撮影位置を囲むメッシュ(位置領域)を、当該の位置データに対応付けて記憶装置4にて保持する。例えば、「北緯35.1814025、東経136.9063563 」の撮影位置は、北緯35.18140~35.18141、東経136.90635~136.90636で規定されるメッシュ内に在る。この対応関係を、記憶装置4にて保持する(
図6・位置領域,
図10・撮影地点マスタ,参照)。
位置データに対応付けられているメッシュ(位置領域)が同じである新旧二つの撮影位置での撮影画像の組を、「同一の位置を撮影した静止画の組」とする。
この静止画像の組を記憶装置4から取得する手順は、
(1)入力装置2からの操作入力で指定された第1の撮影日(S21)、且つ、指定された撮影範囲(S21)の撮影位置群から所定の規則で指定された撮影位置の第1の画像データを記憶装置4から取得し、
(2)入力装置2からの操作入力で指定された第2の撮影日(S21)、且つ、(1)で取得した第1の画像データと同一の位置領域データに対応付けられている第2の画像データを記憶装置4から取得する、
という手順となる。
【0034】
<キロポストKP/距離標(
図5(a))>
或る道路や線路では、所定の起点位置からの距離を100m毎又は1000m毎に示す距離標(例:キロポストKP)が設けられており、その緯度・経度は既知であるか、少なくとも予め正確に特定できる(
図10・KPデータ,参照)。このため、隣接する距離標間を
図5(a)の如く100分割又は1000分割して、隣接する各分割線DL間の距離を、例えば、1mに設定することができる。さらに、各分割線DLに緯度・経度を予め設定しておくこともできる。
前掲の各撮影位置が持つ位置データ(小数第7位までの緯度・経度)と、各分割線DLに設定した緯度・経度とに基づいて、各撮影位置について、各々最寄りの分割線を決定して、各撮影位置の位置データに対応付けて記憶装置4にて保持しておく。
最寄りとして対応付けられている分割線DLが同じである撮影位置を、「同一の位置を撮影した静止画の組」とする。
この静止画像の組を入力装置2からの操作入力に応じて記憶装置4から取得する手順は、前掲の「<メッシュ状の区分領域>」の(1)(2)に準ずる。
【0035】
<位置領域情報の生成>
前述のように、GNSS衛星からGNSS受信機が取得して生成する位置データは、現状、小数第7位までで表わされる緯度・経度である。この緯度・経度を小数第5位までで丸めて、その値(小数第5位までで丸めた緯度・経度)が同じである新旧の撮影位置を求めると、「同一の位置を撮影した静止画の組」を得ることができる。
この静止画像の組を記憶装置4から取得する手順は、
(1)入力装置2からの操作入力で指定された第1の撮影日、且つ、指定された撮影範囲の各撮影位置の画像データ及び位置データ(小数第7位までの緯度・経度)を各々記憶装置4から取得して、各々位置データを小数第5位までに丸める。
(2)入力装置2からの操作入力で指定された第2の撮影日、且つ、指定された撮影範囲の各撮影位置の画像データ及び位置データ(小数第7位までの緯度・経度)を各々記憶装置4から取得して、各々位置データを小数第5位までに丸める。
(3)上記(1)と(2)で求めた小数第5位までの位置データを比較して、同一の組を「同一の位置を撮影した静止画の組」とする。
という手順となる。
【0036】
上記何れかの手法により撮影位置同定部326にて、操作入力で指定された撮影範囲内の各撮影位置の新旧異なる撮影日の各同一撮影位置を各々求め、さらに、その損傷レベルの差分を求めて(S23)、地図上にヒートマップ表示する(S23)。その様子を、
図12に示す。また、地図に代えて、写真上に表示した様子を、
図13に示す。
【0037】
[4]写真画像内の損傷の差分の表示/新旧の2画像の表示
図7に、新旧で同一の撮影位置の写真画像上に損傷の位置及び差分を表示する機能を実現するブロック図を示し、
図2(b)後段に、該機能を実現する手順を示す。
また、
図19に新旧で同一の撮影位置のガードレールの損傷の差分を表示するまでを示し、
図20と
図21に新旧で同一の撮影位置の写真画像を並べて表示する様子を示す。
新旧で同一の撮影位置については、前記「[3]損傷レベル差分のヒートマップ表示/新旧の同一撮影位置」で述べた手法により特定することができる。
【0038】
図12又は
図13の如く画面表示の地図又は写真上に損傷レベルの新旧の差分のヒートマップが表示された状態で、カーソルで撮影位置を選択すると(S25)、入力装置2からの操作入力で指示された表示態様が、
(1)2画面を並べて表示する場合であるか、
又は、
(2)画像内の損傷箇所の差分を表示する場合であるか、
がチェックされる(S27)。
その結果、2画面を並べて表示するように指示されていた場合は(S27でNO)、カーソルで選択された撮影位置の新旧の画像を並べて表示する(S31)。その例を、
図20と
図21に示す。
並べて表示した各画像内に、損傷の画像内位置と種類を各々表示してもよい。その手法としては、前掲の「[2]路面の損傷の画像内位置と種類」で述べた手法を用いることができる。
【0039】
前記S27でのチェックの結果、画像内の損傷の差分を表示するように指示されていた場合は(S27でYES)、カーソルで選択された撮影位置の新旧二つの画像の重複部分を表示して、当該重複部分画像内に、各位置の損傷の差分を表示する。例えば、新旧の画像内で変化した部分を可視化して表示する。その様子を
図19の右部に示す。新旧2画像のみの比較では明るさや色合いの影響を受けるため、損傷検出部321のモデル(教師画像)自体を、画像的な特徴や形状変化に対して汎用性の高い(汎化性の高い)モデルとすることで、性能を向上できる。また、損傷箇所の形状を重層表示する、或いは、損傷箇所のバウンディングボックスBBの重なり部分のみの差分を求める、等でもよい。
この画像差分の生成は、画像差分生成システム327(
図8内)が担う。
【0040】
なお、カーソルで選択された撮影位置の新旧二つの画像の重複部分の表示に代えて、第1又は第2の撮影日の一方の画像を表示し、第2又は第1の撮影日の画像の対応する損傷位置の差分を表示してもよい。
【0041】
[5]その他
図11のS51は、
図2のS11の「撮影範囲を操作入力で指定」に相当する。
図11のS53は、
図2のS23の「損傷レベルの差分表示(ヒートマップの差分表示)」のためのデータを取得する処理である。
図11のS61は、
図2のS15又はS25の「撮影位置を選択」に相当する。
図11のS61の後段部分は、画像表示態様を選択する処理である。例えば、
図18の如く前方と左側方を分離して表示するか、一体の画像として表示するか、等を選択する処理である。なお、この処理自体は、本発明の範囲ではない。
図11のS61の最後~S63は、
図2のS21からS31に相当する。
図11のS71は、
図2のS33の「画像内の損傷の差分」を表示するためのデータを取得する処理である。
【符号の説明】
【0042】
2 入力装置
3 制御装置
31 検索システム
32 損傷特定部
321 損傷検出器
321A 損傷検出システム
321B 損傷診断システム
322 レベル区分検出器
323 レベル差分演算部
325 領域情報生成部
326 撮影位置同定部
327 画像差分演算部
33 表示制御部
33A ビューアシステム
35 登録システム
36 編集システム
4 記憶装置
41 管理テーブル
43 画像データ
45 地図データ
47 キロポストデータ
5 表示装置
KP キロポスト
DL 分割線
LA 緯度線
LO 経度線
EW 高速道路
【要約】
【課題】 道路、線路、河川等の長大な点検対象を、省人化しつつ良質に行う。
【解決手段】 点検対象の撮影で得た画像データ、その撮影日時刻の時間データ・撮影位置の位置データを保持する記憶装置4、入力装置2、操作入力で指示された撮影日且つ指示された撮影位置範囲内の各撮影位置の画像データ及び対応する位置データを取得して各画像内の点検対象の損傷レベルを特定する手段32と、撮影位置範囲を表示し、その表示地図上に各撮影位置の損傷レベルをヒートマップで表示する手段33と、を有する点検支援システム。
【選択図】
図1