▶ ナカシャ クリエイテブ株式会社の特許一覧 ▶ 株式会社コネクティボの特許一覧
特開2024-106344点検支援システム、撮影位置同定システム、及び、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024106344
(43)【公開日】2024-08-07
(54)【発明の名称】点検支援システム、撮影位置同定システム、及び、プログラム
(51)【国際特許分類】
H04N 5/92 20060101AFI20240731BHJP
H04N 23/60 20230101ALI20240731BHJP
【ＦＩ】
H04N5/92 010
H04N23/60 300
H04N23/60 500
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2024016083
(22)【出願日】2024-02-06
(62)【分割の表示】P 2023010219の分割
【原出願日】2023-01-26
(11)【特許番号】
(45)【特許公報発行日】2024-07-16
(71)【出願人】
【識別番号】501198084
【氏名又は名称】ナカシャ クリエイテブ株式会社
(71)【出願人】
【識別番号】510155450
【氏名又は名称】株式会社コネクティボ
(74)【代理人】
【識別番号】100087778
【弁理士】
【氏名又は名称】丸山 明夫
(72)【発明者】
【氏名】松井 良行
(72)【発明者】
【氏名】平野 智裕
(72)【発明者】
【氏名】野原 佐知世
(72)【発明者】
【氏名】西川 和宏
(72)【発明者】
【氏名】渡邉 裕樹
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122EA42
5C122FH09
5C122GA01
5C122GA23
5C122HA03
5C122HA13
5C122HA35
5C122HA90
5C122HB01
5C122HB05
5C122HB09
(57)【要約】
【課題】 道路、線路、河川等の新旧の点検対象の同一位置を特定する。
【解決手段】 点検対象の撮影で得た画像データ、その撮影日時刻の時間データ・撮影位置の位置データを保持する記憶装置４、入力装置２、操作入力で指示された撮影日且つ指示された撮影位置範囲内の各撮影位置の画像データ及び対応する位置データを取得して各画像内の点検対象の損傷レベルを特定する手段３２と、撮影位置範囲を表示し、その表示地図上に各撮影位置の損傷レベルをヒートマップで表示する手段３３と、を有する点検支援システム等で新旧の同一位置を特定する。
【選択図】 図１
【解決手段】 点検対象の撮影で得た画像データ、その撮影日時刻の時間データ・撮影位置の位置データを保持する記憶装置４、入力装置２、操作入力で指示された撮影日且つ指示された撮影位置範囲内の各撮影位置の画像データ及び対応する位置データを取得して各画像内の点検対象の損傷レベルを特定する手段３２と、撮影位置範囲を表示し、その表示地図上に各撮影位置の損傷レベルをヒートマップで表示する手段３３と、を有する点検支援システム等で新旧の同一位置を特定する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置の緯度・経度を示す位置データとを対応付けて保持し、及び、前記各フレームの位置データに緯度・経度が当該位置データと同一位置と見做し得る位置の範囲を画定する位置領域データを各々対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第１の撮影日且つ指示された撮影位置の第１の画像データを前記記憶装置から取得し、及び、前記入力装置からの操作入力で指示された第２の撮影日且つ前記第１の画像データと同一の位置領域データに対応付けられている第２の画像データを前記記憶装置から取得するデータ取得手段と、
前記データ取得手段が取得した第１の画像データと第２の画像データに対して前記入力装置から操作入力で指示された処理を実行するデータ処理手段と、
を有することを特徴とする撮影位置同定システム。
入力装置と、
前記入力装置からの操作入力で指示された第１の撮影日且つ指示された撮影位置の第１の画像データを前記記憶装置から取得し、及び、前記入力装置からの操作入力で指示された第２の撮影日且つ前記第１の画像データと同一の位置領域データに対応付けられている第２の画像データを前記記憶装置から取得するデータ取得手段と、
前記データ取得手段が取得した第１の画像データと第２の画像データに対して前記入力装置から操作入力で指示された処理を実行するデータ処理手段と、
を有することを特徴とする撮影位置同定システム。
【請求項2】
請求項１に於いて、
前記位置領域データは、緯度線方向及び経度線方向に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域を規定するデータである、
ことを特徴とする撮影位置同定システム。
前記位置領域データは、緯度線方向及び経度線方向に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域を規定するデータである、
ことを特徴とする撮影位置同定システム。
【請求項3】
請求項２に於いて、
前記メッシュ状の区分領域を規定するデータは、小数点以下５桁の緯度線及び経度線の配列により区分した方形領域を規定するデータである、
ことを特徴とする撮影位置同定システム。
前記メッシュ状の区分領域を規定するデータは、小数点以下５桁の緯度線及び経度線の配列により区分した方形領域を規定するデータである、
ことを特徴とする撮影位置同定システム。
【請求項4】
動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第１と第２の各撮影日の各撮影位置の位置データに基づいて各々当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を生成し、当該の撮影位置に対応付けて保持する領域情報生成手段と、
前記第１と第２の撮影日の一方に対応付けて操作入力で指示された撮影位置に対応する位置領域情報を前記領域情報生成手段から取得し、当該の位置領域情報と同一の位置領域情報を有する撮影位置を前記領域情報生成手段から前記第１又は第２の他方の撮影日の同一の撮影位置として抽出する撮影位置同定手段と、
を有することを特徴とする撮影位置同定システム。
入力装置と、
前記入力装置からの操作入力で指示された第１と第２の各撮影日の各撮影位置の位置データに基づいて各々当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を生成し、当該の撮影位置に対応付けて保持する領域情報生成手段と、
前記第１と第２の撮影日の一方に対応付けて操作入力で指示された撮影位置に対応する位置領域情報を前記領域情報生成手段から取得し、当該の位置領域情報と同一の位置領域情報を有する撮影位置を前記領域情報生成手段から前記第１又は第２の他方の撮影日の同一の撮影位置として抽出する撮影位置同定手段と、
を有することを特徴とする撮影位置同定システム。
【請求項5】
請求項４に於いて、
前記記憶装置は、前記各位置データとしてＧＮＳＳ受信機から取得した小数第７位まで有効な緯度・経度データを有し、
前記領域情報生成手段は、前記位置領域情報として前記小数第７位まで有効な緯度・経度データを小数第５位までで丸めたデータを生成する、
ことを特徴とする撮影位置同定システム。
前記記憶装置は、前記各位置データとしてＧＮＳＳ受信機から取得した小数第７位まで有効な緯度・経度データを有し、
前記領域情報生成手段は、前記位置領域情報として前記小数第７位まで有効な緯度・経度データを小数第５位までで丸めたデータを生成する、
ことを特徴とする撮影位置同定システム。
【請求項6】
コンピュータを、請求項１～請求項５の何れかの撮影位置同定システムとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路や鉄道等のインフラ設備もしくは構造物の経時変化や損傷の進み具合を長期間に渡って管理するための点検支援システムとプログラムに関する。また、上記経時変化等の把握の前提として、時を隔てて撮影した２画像群から、同一位置と見做して処理し得る２画像を同定する撮影位置同定システムとプログラムに関する。
【背景技術】
【0002】
道路や鉄道等のインフラの長期間に渡るメンテナンスのため、定期的に道路等を点検して写真や点検者の気付き等の記録を保存しておき、適宜、検討対象位置の記録を取り出して、損傷の度合いや経時変化等を調べる業務が行われている。
道路や線路等のインフラは長大な構造物であるため、その全域を点検して記録を保存する作業には多大な手間隙を要する。また、点検作業には損傷の度合い等を的確に判断する熟練を要するのであるが、熟練技術者が高齢化等で不足しがちである。
このため、近年、移動体で道路や線路等を走行しつつ、搭載したカメラで各方向を動画撮影し、その動画で道路や線路の対象位置を目視点検することが始まっている。
道路や線路等のインフラは長大な構造物であるため、その全域を点検して記録を保存する作業には多大な手間隙を要する。また、点検作業には損傷の度合い等を的確に判断する熟練を要するのであるが、熟練技術者が高齢化等で不足しがちである。
このため、近年、移動体で道路や線路等を走行しつつ、搭載したカメラで各方向を動画撮影し、その動画で道路や線路の対象位置を目視点検することが始まっている。
【0003】
本願の出願人は、先に、「カメラを搭載した移動体で道路等を走行しつつ各方向（両側方、前方、後方、上方、下方）を動画撮影し、抜き出した各フレーム画像に各々関連する情報（撮影日時刻、撮影位置等）を対応付けて保存する技術」を出願して、特許を取得している（特許文献１，特許第７１００８６３号）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第７１００８６３号
【発明の概要】
【発明が解決しようとする課題】
【0005】
移動体搭載のカメラで撮影した動画から抜き出した各フレーム画像に撮影日時刻や撮影位置等を対応付けたデータ（例：特許文献１のデータ）を用いて、被撮影道路等の状態を目視点検する場合、被撮影道路等が長大であるため、点検すべき範囲を的確に絞り込んで指定できることが重要となる。このため、
＊点検対象とすべき範囲（損傷の分布範囲）を、容易に把握できることが望まれる。また、損傷の度合いが大きい範囲を、容易に把握できることが望まれる。さらに、経年変化の大きい範囲（重点的に注目すべき範囲）を、容易に把握できることが望まれる。
＊点検対象として特定した撮影位置の画像内の損傷の位置を、容易に把握できることが望まれる。また、その損傷の詳細を併せて把握できることが望まれる。
＊点検対象として特定した撮影位置の画像内の損傷の変化を把握するため、同一位置の異なる時点（過去と現在）の画像を比較対照できることが望まれる。また、容易且つ詳細に比較対照できることが望まれる。
＊上記の把握を、熟練を要することなく行い得ることが望まれる。
＊損傷分布範囲の経年変化の把握や、同一位置の画像の比較対照のためには、異なる時点（過去と現在）の同一位置を、的確に同定できることが望まれる。
＊点検対象とすべき範囲（損傷の分布範囲）を、容易に把握できることが望まれる。また、損傷の度合いが大きい範囲を、容易に把握できることが望まれる。さらに、経年変化の大きい範囲（重点的に注目すべき範囲）を、容易に把握できることが望まれる。
＊点検対象として特定した撮影位置の画像内の損傷の位置を、容易に把握できることが望まれる。また、その損傷の詳細を併せて把握できることが望まれる。
＊点検対象として特定した撮影位置の画像内の損傷の変化を把握するため、同一位置の異なる時点（過去と現在）の画像を比較対照できることが望まれる。また、容易且つ詳細に比較対照できることが望まれる。
＊上記の把握を、熟練を要することなく行い得ることが望まれる。
＊損傷分布範囲の経年変化の把握や、同一位置の画像の比較対照のためには、異なる時点（過去と現在）の同一位置を、的確に同定できることが望まれる。
【0006】
本発明は、上述の要請に鑑みたものである。即ち、
本発明は、道路や線路等の長大なインフラの各部の中から、点検対象として注目すべき範囲（損傷の分布範囲）を視覚的に把握できるようにすることを目的とする。また、損傷の度合いに鑑み点検対象として特に注目すべき範囲を視覚的に把握できるようにすることを目的とする。さらに、損傷の経年変化に鑑み点検対象として重点的に注目すべき範囲を視覚的に把握できるようにすることを目的とする。
本発明は、道路や線路等の長大なインフラの各部の中から注目対象として指定した特定位置の状況を、視覚的に把握できるようにすることを目的とする。また、その特定位置の状況の詳細を視覚的に把握できるようにすることを目的とする。
本発明は、道路や線路等の長大なインフラの各部の中から注目対象として指定した特定位置の状況の変化を、視覚的に比較対照して把握できるようにすることを目的とする。また、その特定位置の状況の詳細な変化を視覚的に比較対照して把握できるようにすることを目的とする。
本発明は、上記のような視覚的な把握を、経験の差による判断の相違なく、誰でも行い得るようにすることを目的とする。
本発明は、例えば、道路や線路等の長大なインフラの各部の中から、比較対照したい特定位置や特定範囲を指定して、その状況変化を的確に把握可能とするべく、期間を空けて複数回に渡り各部を撮影した画像の中から、比較対照等のための同一の撮影位置を的確に指定できるようにすることを目的とする。
本発明は、道路や線路等の長大なインフラの各部の中から、点検対象として注目すべき範囲（損傷の分布範囲）を視覚的に把握できるようにすることを目的とする。また、損傷の度合いに鑑み点検対象として特に注目すべき範囲を視覚的に把握できるようにすることを目的とする。さらに、損傷の経年変化に鑑み点検対象として重点的に注目すべき範囲を視覚的に把握できるようにすることを目的とする。
本発明は、道路や線路等の長大なインフラの各部の中から注目対象として指定した特定位置の状況を、視覚的に把握できるようにすることを目的とする。また、その特定位置の状況の詳細を視覚的に把握できるようにすることを目的とする。
本発明は、道路や線路等の長大なインフラの各部の中から注目対象として指定した特定位置の状況の変化を、視覚的に比較対照して把握できるようにすることを目的とする。また、その特定位置の状況の詳細な変化を視覚的に比較対照して把握できるようにすることを目的とする。
本発明は、上記のような視覚的な把握を、経験の差による判断の相違なく、誰でも行い得るようにすることを目的とする。
本発明は、例えば、道路や線路等の長大なインフラの各部の中から、比較対照したい特定位置や特定範囲を指定して、その状況変化を的確に把握可能とするべく、期間を空けて複数回に渡り各部を撮影した画像の中から、比較対照等のための同一の撮影位置を的確に指定できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
本発明の例を、下記［２３］、［２６］～［２９］、［３１］に記す。また、本発明の参考発明を、下記［１］～［２２］、［２４］～［２６］、［３０］に記す。なお、この項（［課題を解決するための手段］）と次項（［発明の効果］）に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。
［１］発明１（損傷有無のヒートマップ）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置２からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置４から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段３２と、
前記入力装置２からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置２からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置５に表示し、当該表示地図上に前記損傷特定手段３２が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段３３と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「各画像内の点検対象の損傷の有無を特定」する処理は、「各画像内の点検対象の損傷を調べて損傷の有無を特定」してもよく、また、「上記記憶装置４が各画像に対応付けて当該画像内の点検対象の損傷情報（損傷の有無）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、レベル区分検出器（画像サイズと同サイズのレベル別の多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２２を用いて実現することができる。なお、レベルは、ここでは「無」「有」である。
上記「ヒートマップで識別可能に表示する」処理は、「色相／明度／彩度の少なくとも１つで識別可能に表示する」と言い換えてもよい。
［２］発明２（損傷レベルのヒートマップ）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置４から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定する損傷特定手段と、
前記入力装置２からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置５に表示し、当該表示地図上に前記損傷特定手段が損傷の有無及び損傷有りの場合の損傷レベルを特定した各画像の撮影位置を当該撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルに応じてヒートマップで識別可能に表示する表示制御手段３３と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の有無及び損傷有りの場合の損傷レベルを特定」してもよく、また、「上記記憶装置４が各画像に対応付けて当該画像内の点検対象の損傷情報（損傷の有無，損傷レベル）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、レベル区分検出器（画像サイズと同サイズのレベル別の多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２２を用いて実現することができる。なお、レベルは、例えば「０（無）」「１」「２」・・・である。
上記「ヒートマップで識別可能に表示する」処理は、「色相／明度／彩度の少なくとも１つで識別可能に表示する」と言い換えてもよい。
［１］発明１（損傷有無のヒートマップ）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置２からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置４から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段３２と、
前記入力装置２からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置２からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置５に表示し、当該表示地図上に前記損傷特定手段３２が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段３３と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「各画像内の点検対象の損傷の有無を特定」する処理は、「各画像内の点検対象の損傷を調べて損傷の有無を特定」してもよく、また、「上記記憶装置４が各画像に対応付けて当該画像内の点検対象の損傷情報（損傷の有無）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、レベル区分検出器（画像サイズと同サイズのレベル別の多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２２を用いて実現することができる。なお、レベルは、ここでは「無」「有」である。
上記「ヒートマップで識別可能に表示する」処理は、「色相／明度／彩度の少なくとも１つで識別可能に表示する」と言い換えてもよい。
［２］発明２（損傷レベルのヒートマップ）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置４から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定する損傷特定手段と、
前記入力装置２からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置５に表示し、当該表示地図上に前記損傷特定手段が損傷の有無及び損傷有りの場合の損傷レベルを特定した各画像の撮影位置を当該撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルに応じてヒートマップで識別可能に表示する表示制御手段３３と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の有無及び損傷有りの場合の損傷レベルを特定」してもよく、また、「上記記憶装置４が各画像に対応付けて当該画像内の点検対象の損傷情報（損傷の有無，損傷レベル）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、レベル区分検出器（画像サイズと同サイズのレベル別の多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２２を用いて実現することができる。なお、レベルは、例えば「０（無）」「１」「２」・・・である。
上記「ヒートマップで識別可能に表示する」処理は、「色相／明度／彩度の少なくとも１つで識別可能に表示する」と言い換えてもよい。
【0008】
［３］発明３（損傷レベル差分のヒートマップ）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置２からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上に前記損傷特定手段が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段と、
を有することを特徴とする点検支援システム。
第１と第２という異なる撮影日に、同一経路（道路，線路等）を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
［４］発明４（同一撮影位置←位置領域）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像の損傷レベルをそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置に各々前記演算した損傷レベルの差分に応じたヒートマップを表示する表示制御手段と、
を有し、
前記記憶装置は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段は、前記損傷レベルの差分の演算に際して前記同一撮影位置として前記第１と第２の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。
前記「当該の撮影位置と同一位置と見做し得る位置の範囲」は、前記画像データが移動体搭載のカメラで撮影した動画の各フレームの画像データである場合、「例えば第１と第２の撮影日の２画像が目視による比較対照や差分の演算に利用できる程度に合致する位置の範囲にて撮影した画像」であり、そのような位置の範囲は、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等を考慮して定めることができる。
［５］発明５（位置領域←距離標）
発明４に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標間を緯度線方向又は経度線方向と平行に延びる分割線で等分割した各分割線間の領域である、
ことを特徴とする点検支援システム。
例えば、撮影経路（道路，線路等）が略東西方向に延びる場合、分割線は経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路の幅方向の長さ（例：道路幅，線路帯幅，程度）に基づかせることができる。なお、各距離標には、緯度・経度が対応付けられている。この緯度・経度に基づいて上記各分割線にも緯度・経度を対応付けて記憶させておいてもよい。
［６］発明６（距離標＝キロポスト）
発明５に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は１［ｍ］である、
ことを特徴とする点検支援システム。
例えば、高速道路では、１００［ｍ］、又は、１０００［ｍ］間隔でキロポストが設けられている。
［７］発明７（位置領域←メッシュ）
発明４に於いて、
前記位置領域は、緯度線方向と平行に及び経度線方向と平行に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。
例えば、小数第５位までで第６位以下が０の緯度線と、小数第５位までで第６位以下が０の経度線で区切られるメッシュである。一例として、北緯35.18140～35.18141、東経136.90635～136.90636で区分されるメッシュを挙げることができる。撮影時にＧＮＳＳ受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
［８］発明８（区分領域）
発明７に於いて、
前記メッシュ状の区分領域は、小数第５位までで丸めた緯度線ＬＡ及び経度線ＬＯの格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。
［９］発明９（位置領域情報生成）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像の損傷レベルをそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置に各々前記演算した損傷レベルの差分に応じたヒートマップを表示する表示制御手段と、
を有し、
前記損傷特定手段は、前記操作入力で指示された前記第１と第２の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る範囲を規定する位置領域情報を各々生成し、前記第１と第２の撮影日で前記位置領域情報が同一となる撮影位置を各々前記同一撮影位置として前記演算に用いる、
ことを特徴とする点検支援システム。
［１０］発明１０（小数第５位）
発明９に於いて、
前記記憶装置４は、前記位置データとして前記各撮影位置にてＧＮＳＳ受信機から取得した小数第７位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段３２は、前記小数第７位まで有効な緯度・経度情報を小数第５位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置２からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上に前記損傷特定手段が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段と、
を有することを特徴とする点検支援システム。
第１と第２という異なる撮影日に、同一経路（道路，線路等）を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
［４］発明４（同一撮影位置←位置領域）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像の損傷レベルをそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置に各々前記演算した損傷レベルの差分に応じたヒートマップを表示する表示制御手段と、
を有し、
前記記憶装置は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段は、前記損傷レベルの差分の演算に際して前記同一撮影位置として前記第１と第２の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。
前記「当該の撮影位置と同一位置と見做し得る位置の範囲」は、前記画像データが移動体搭載のカメラで撮影した動画の各フレームの画像データである場合、「例えば第１と第２の撮影日の２画像が目視による比較対照や差分の演算に利用できる程度に合致する位置の範囲にて撮影した画像」であり、そのような位置の範囲は、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等を考慮して定めることができる。
［５］発明５（位置領域←距離標）
発明４に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標間を緯度線方向又は経度線方向と平行に延びる分割線で等分割した各分割線間の領域である、
ことを特徴とする点検支援システム。
例えば、撮影経路（道路，線路等）が略東西方向に延びる場合、分割線は経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路の幅方向の長さ（例：道路幅，線路帯幅，程度）に基づかせることができる。なお、各距離標には、緯度・経度が対応付けられている。この緯度・経度に基づいて上記各分割線にも緯度・経度を対応付けて記憶させておいてもよい。
［６］発明６（距離標＝キロポスト）
発明５に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は１［ｍ］である、
ことを特徴とする点検支援システム。
例えば、高速道路では、１００［ｍ］、又は、１０００［ｍ］間隔でキロポストが設けられている。
［７］発明７（位置領域←メッシュ）
発明４に於いて、
前記位置領域は、緯度線方向と平行に及び経度線方向と平行に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。
例えば、小数第５位までで第６位以下が０の緯度線と、小数第５位までで第６位以下が０の経度線で区切られるメッシュである。一例として、北緯35.18140～35.18141、東経136.90635～136.90636で区分されるメッシュを挙げることができる。撮影時にＧＮＳＳ受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
［８］発明８（区分領域）
発明７に於いて、
前記メッシュ状の区分領域は、小数第５位までで丸めた緯度線ＬＡ及び経度線ＬＯの格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。
［９］発明９（位置領域情報生成）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置と、
入力装置と、
前記入力装置からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像の損傷レベルをそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、
前記入力装置からの操作入力で損傷レベルの差分表示が指示された場合は、前記撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上の撮影位置に各々前記演算した損傷レベルの差分に応じたヒートマップを表示する表示制御手段と、
を有し、
前記損傷特定手段は、前記操作入力で指示された前記第１と第２の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る範囲を規定する位置領域情報を各々生成し、前記第１と第２の撮影日で前記位置領域情報が同一となる撮影位置を各々前記同一撮影位置として前記演算に用いる、
ことを特徴とする点検支援システム。
［１０］発明１０（小数第５位）
発明９に於いて、
前記記憶装置４は、前記位置データとして前記各撮影位置にてＧＮＳＳ受信機から取得した小数第７位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段３２は、前記小数第７位まで有効な緯度・経度情報を小数第５位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。
【0009】
［１１］発明１１（損傷レベルのヒートマップ／損傷の画像内位置）
発明２に於いて、
前記損傷特定手段３２は、前記入力装置２からの操作入力で指示された撮影日且つ指示された撮影位置範囲内の各撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを各々特定するとともに、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置を特定し、
前記表示制御手段３３は、前記入力装置２からヒートマップ表示が指示された場合は表示装置に前記表示地図を表示して前記損傷有りの各撮影位置の損傷レベルをヒートマップで表示し、前記入力装置２から撮影位置を指定して画像内の損傷表示が指示された場合は当該撮影位置の画像を表示装置に表示して当該表示画像上に前記損傷特定手段が特定した損傷の画像内位置を表示する、
ことを特徴とする点検支援システム。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（画像内に損傷を有する多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
損傷の画像内位置は、例えば、バウンディングボックスで表示できる。
入力装置２からの撮影位置を指定しての画像内の損傷表示の指示は、例えば、「前記表示地図上の或る位置にカーソルを置く」ようにして行われてもよい。
下記の構成も可能である。即ち、
発明１１に於いて、
前記損傷特定手段３２は、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置及び損傷の種類を特定し、
前記表示制御手段３３は、前記入力装置２から撮影位置を指定して画像内の損傷表示が指示された場合は当該撮影位置の画像を表示装置に表示し且つ損傷が有る画像では当該表示画像上に前記損傷特定手段が特定した損傷の画像内位置及び損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
上記損傷特定手段が「当該損傷の画像内位置及び種類を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置及び種類を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置，種類）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（損傷の種類別の多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
発明２に於いて、
前記損傷特定手段３２は、前記入力装置２からの操作入力で指示された撮影日且つ指示された撮影位置範囲内の各撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを各々特定するとともに、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置を特定し、
前記表示制御手段３３は、前記入力装置２からヒートマップ表示が指示された場合は表示装置に前記表示地図を表示して前記損傷有りの各撮影位置の損傷レベルをヒートマップで表示し、前記入力装置２から撮影位置を指定して画像内の損傷表示が指示された場合は当該撮影位置の画像を表示装置に表示して当該表示画像上に前記損傷特定手段が特定した損傷の画像内位置を表示する、
ことを特徴とする点検支援システム。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（画像内に損傷を有する多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
損傷の画像内位置は、例えば、バウンディングボックスで表示できる。
入力装置２からの撮影位置を指定しての画像内の損傷表示の指示は、例えば、「前記表示地図上の或る位置にカーソルを置く」ようにして行われてもよい。
下記の構成も可能である。即ち、
発明１１に於いて、
前記損傷特定手段３２は、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置及び損傷の種類を特定し、
前記表示制御手段３３は、前記入力装置２から撮影位置を指定して画像内の損傷表示が指示された場合は当該撮影位置の画像を表示装置に表示し且つ損傷が有る画像では当該表示画像上に前記損傷特定手段が特定した損傷の画像内位置及び損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
上記損傷特定手段が「当該損傷の画像内位置及び種類を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置及び種類を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置，種類）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（損傷の種類別の多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
【0010】
［１２］発明１２（損傷の画像内位置）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された撮影日且つ指示された撮影位置の画像データを前記記憶装置４から取得し、当該画像内の点検対象に損傷が有る場合は当該損傷の画像内位置を特定する損傷特定手段３２と、
前記入力装置２からの操作入力で指示された撮影日且つ指示された撮影位置の画像を表示装置に表示し、前記損傷が有る場合は当該表示画像上に損傷の画像内位置を表示する表示制御手段３３と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（画像内に損傷を有する多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
下記の構成も可能である。即ち、
発明１２に於いて、
前記損傷特定手段３２は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段３３は、前記損傷が有る場合は前記表示画像上に損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
上記損傷特定手段が「当該損傷の画像内位置及び種類を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置及び種類を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置，種類）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（損傷の種類別の多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された撮影日且つ指示された撮影位置の画像データを前記記憶装置４から取得し、当該画像内の点検対象に損傷が有る場合は当該損傷の画像内位置を特定する損傷特定手段３２と、
前記入力装置２からの操作入力で指示された撮影日且つ指示された撮影位置の画像を表示装置に表示し、前記損傷が有る場合は当該表示画像上に損傷の画像内位置を表示する表示制御手段３３と、
を有することを特徴とする点検支援システム。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（画像内に損傷を有する多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
下記の構成も可能である。即ち、
発明１２に於いて、
前記損傷特定手段３２は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段３３は、前記損傷が有る場合は前記表示画像上に損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
上記損傷特定手段が「当該損傷の画像内位置及び種類を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置及び種類を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置，種類）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（損傷の種類別の多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
【0011】
［１３］発明１３（損傷レベル差分のヒートマップ／損傷の２画像内位置）
発明３に於いて、
前記損傷特定手段は、前記第１と第２の撮影日の前記各撮影位置の前記損傷の有無及び損傷レベルを特定して前記各同一撮影位置での損傷レベルの差分を演算するとともに、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置を特定し、
前記表示制御手段は、前記入力装置から損傷レベルの差分表示が指示された場合は前記損傷特定手段が演算した前記損傷レベルの差分をヒートマップで表示し、前記入力装置から前記第１と第２の一方の撮影日の撮影位置を指定して画像内の損傷表示が指示された場合は当該一方の撮影日の当該撮影位置の画像を表示装置に表示するとともに前記第１と第２の他方の撮影日の同一撮影位置の画像を併せて表示装置に表示して損傷が有る画像では表示画像上に前記損傷特定手段が特定した損傷の画像内位置を表示する、
ことを特徴とする点検支援システム。
第１と第２という異なる撮影日に、同一経路（道路，線路等）を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（画像内に損傷を有する多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
下記の構成も可能である。即ち、
発明１３に於いて、
前記損傷特定手段は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段は、前記損傷が有る画像の場合は前記表示画像上に損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
発明３に於いて、
前記損傷特定手段は、前記第１と第２の撮影日の前記各撮影位置の前記損傷の有無及び損傷レベルを特定して前記各同一撮影位置での損傷レベルの差分を演算するとともに、さらに、点検対象に損傷が有る画像では当該損傷の画像内位置を特定し、
前記表示制御手段は、前記入力装置から損傷レベルの差分表示が指示された場合は前記損傷特定手段が演算した前記損傷レベルの差分をヒートマップで表示し、前記入力装置から前記第１と第２の一方の撮影日の撮影位置を指定して画像内の損傷表示が指示された場合は当該一方の撮影日の当該撮影位置の画像を表示装置に表示するとともに前記第１と第２の他方の撮影日の同一撮影位置の画像を併せて表示装置に表示して損傷が有る画像では表示画像上に前記損傷特定手段が特定した損傷の画像内位置を表示する、
ことを特徴とする点検支援システム。
第１と第２という異なる撮影日に、同一経路（道路，線路等）を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（画像内に損傷を有する多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
下記の構成も可能である。即ち、
発明１３に於いて、
前記損傷特定手段は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段は、前記損傷が有る画像の場合は前記表示画像上に損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
という構成である。
【0012】
［１４］発明１４（損傷の２画像内位置）
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された第１と第２の一方の撮影日且つ指示された撮影位置の画像データを前記記憶装置４から取得するとともに、前記取得した一方の撮影日の撮影位置と同一撮影位置の他方の撮影日の画像データを前記記憶装置４から取得して、点検対象に損傷が有る画像の場合は当該損傷の当該画像内位置を特定する損傷特定手段３２と、
前記損傷特定手段３２が取得した両画像データの画像を表示装置に表示して損傷が有る画像では当該表示画像上に当該損傷の画像内位置を表示する表示制御手段３３と、
を有することを特徴とする点検支援システム。
第１と第２という異なる撮影日に、同一経路（道路，線路等）を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（画像内に損傷を有する多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
［１５］発明１５（損傷の２画像内位置・種類）
発明１４に於いて、
前記損傷特定手段３２は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段３３は、前記損傷が有る画像の場合は損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
［１６］発明１６（同一撮影位置←位置領域）
発明１５に於いて、
前記記憶装置４は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段３２は、前記一方の撮影日の撮影位置と同一位置の他方の撮影日の撮影位置を特定するに際して前記同一撮影位置として前記第１と第２の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。
前記「当該の撮影位置と同一位置と見做し得る範囲」は、前記画像データが移動体搭載のカメラで撮影した動画の各フレームの画像データである場合、「第１と第２の撮影日の２画像が目視による比較対照や差分の演算に利用できる程度に合致する画像」となるように、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等に基づいて定めることができる。
［１７］発明１７（位置領域←距離標）
発明１６に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標ＫＰ間を緯度線方向又は経度線方向と平行に延びる分割線ＤＬで等分割した各分割線間ＤＬ－ＤＬの領域である、
ことを特徴とする点検支援システム。
例えば、撮影経路（道路，線路等）が略東西方向に延びる場合、分割線は経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路の幅方向の長さ（例：道路幅，線路帯幅，程度）に基づかせることができる。なお、各距離標には、緯度・経度が対応付けられている。この緯度・経度に基づいて上記各分割線にも緯度・経度を対応付けて記憶させておいてもよい。
［１８］発明１８（距離標＝キロポスト）
発明１７に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は１［ｍ］である、
ことを特徴とする点検支援システム。
例えば、高速道路では、１００［ｍ］、又は、１０００［ｍ］間隔でキロポストが設けられている。
［１９］発明１９（位置領域←メッシュ）
発明１６に於いて、
前記位置領域は、緯度線方向と平行に及び経度線方向と平行に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。
例えば、小数第５位までで第６位以下が０の緯度線と、小数第５位までで第６位以下が０の経度線で区切られるメッシュである。一例として、北緯35.18140～35.18141、東経136.90635～136.90636で区分されるメッシュを挙げることができる。撮影時にＧＮＳＳ受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
［２０］発明２０（区分領域）
発明１９に於いて、
前記メッシュ状の区分領域は、小数第５位までで丸めた緯度線ＬＡ及び経度線ＬＯの格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。
［２１］発明２１（同一撮影位置←位置領域情報生成）
発明１５に於いて、
前記損傷特定手段３２は、前記操作入力で指示された前記第１と第２の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を各々生成し、前記第１と第２の撮影日で前記位置領域情報が同一となる撮影位置を前記同一撮影位置として前記演算に用いる、
ことを特徴とする点検支援システム。
［２２］発明２２（少数第５位）
発明２１に於いて、
前記記憶装置４は、前記位置データとして前記各撮影位置にてＧＮＳＳ受信機から取得した小数第７位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段３２は、前記小数第７位まで有効な緯度・経度情報を小数第５位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。
点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された第１と第２の一方の撮影日且つ指示された撮影位置の画像データを前記記憶装置４から取得するとともに、前記取得した一方の撮影日の撮影位置と同一撮影位置の他方の撮影日の画像データを前記記憶装置４から取得して、点検対象に損傷が有る画像の場合は当該損傷の当該画像内位置を特定する損傷特定手段３２と、
前記損傷特定手段３２が取得した両画像データの画像を表示装置に表示して損傷が有る画像では当該表示画像上に当該損傷の画像内位置を表示する表示制御手段３３と、
を有することを特徴とする点検支援システム。
第１と第２という異なる撮影日に、同一経路（道路，線路等）を走行する移動体搭載のカメラで動画撮影して各フレームから静止画像を得て記録しておき、後日、同一撮影位置の画像を抜き出して比較等しようとしても、被撮影範囲が完全同一の画像を抜き出すことは事実上不可能である。上記「同一撮影位置」とは、二つの画像が、目視による比較対照や差分の演算に利用できる程度に合致する「撮影位置」を言うものとする。
上記損傷特定手段が「当該損傷の画像内位置を特定する」処理は、「各画像内の点検対象の損傷を調べて損傷の画像内位置を特定」してもよく、また、「上記記憶装置が各画像に対応付けて当該画像内の点検対象の損傷情報（画像内位置）を有する場合には当該の情報を取得することにより特定」してもよい。前者の場合の「損傷を調べて」の処理は、例えば、損傷検出器（画像内に損傷を有する多数の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワーク）３２１を用いて実現することができる。
［１５］発明１５（損傷の２画像内位置・種類）
発明１４に於いて、
前記損傷特定手段３２は、点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、
前記表示制御手段３３は、前記損傷が有る画像の場合は損傷の画像内位置とともに損傷の種類を表示する、
ことを特徴とする点検支援システム。
［１６］発明１６（同一撮影位置←位置領域）
発明１５に於いて、
前記記憶装置４は、前記画像データの各撮影位置について当該の撮影位置と同一位置と見做し得る位置の範囲として画定した位置領域を各々対応付けて保持しており、
前記損傷特定手段３２は、前記一方の撮影日の撮影位置と同一位置の他方の撮影日の撮影位置を特定するに際して前記同一撮影位置として前記第１と第２の撮影日で前記位置領域が同一である撮影位置を用いる、
ことを特徴とする点検支援システム。
前記「当該の撮影位置と同一位置と見做し得る範囲」は、前記画像データが移動体搭載のカメラで撮影した動画の各フレームの画像データである場合、「第１と第２の撮影日の２画像が目視による比較対照や差分の演算に利用できる程度に合致する画像」となるように、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等に基づいて定めることができる。
［１７］発明１７（位置領域←距離標）
発明１６に於いて、
前記位置領域は、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標ＫＰ間を緯度線方向又は経度線方向と平行に延びる分割線ＤＬで等分割した各分割線間ＤＬ－ＤＬの領域である、
ことを特徴とする点検支援システム。
例えば、撮影経路（道路，線路等）が略東西方向に延びる場合、分割線は経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路の幅方向の長さ（例：道路幅，線路帯幅，程度）に基づかせることができる。なお、各距離標には、緯度・経度が対応付けられている。この緯度・経度に基づいて上記各分割線にも緯度・経度を対応付けて記憶させておいてもよい。
［１８］発明１８（距離標＝キロポスト）
発明１７に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は１［ｍ］である、
ことを特徴とする点検支援システム。
例えば、高速道路では、１００［ｍ］、又は、１０００［ｍ］間隔でキロポストが設けられている。
［１９］発明１９（位置領域←メッシュ）
発明１６に於いて、
前記位置領域は、緯度線方向と平行に及び経度線方向と平行に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域である、
ことを特徴とする点検支援システム。
例えば、小数第５位までで第６位以下が０の緯度線と、小数第５位までで第６位以下が０の経度線で区切られるメッシュである。一例として、北緯35.18140～35.18141、東経136.90635～136.90636で区分されるメッシュを挙げることができる。撮影時にＧＮＳＳ受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
［２０］発明２０（区分領域）
発明１９に於いて、
前記メッシュ状の区分領域は、小数第５位までで丸めた緯度線ＬＡ及び経度線ＬＯの格子配列により区分して成る方形領域である、
ことを特徴とする点検支援システム。
［２１］発明２１（同一撮影位置←位置領域情報生成）
発明１５に於いて、
前記損傷特定手段３２は、前記操作入力で指示された前記第１と第２の撮影日の前記各撮影位置を示す位置データに基づいて当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を各々生成し、前記第１と第２の撮影日で前記位置領域情報が同一となる撮影位置を前記同一撮影位置として前記演算に用いる、
ことを特徴とする点検支援システム。
［２２］発明２２（少数第５位）
発明２１に於いて、
前記記憶装置４は、前記位置データとして前記各撮影位置にてＧＮＳＳ受信機から取得した小数第７位まで有効な緯度・経度情報を保持しており、
前記損傷特定手段３２は、前記小数第７位まで有効な緯度・経度情報を小数第５位に丸めることにより前記位置領域情報を生成する、
ことを特徴とする点検支援システム。
【0013】
［２３］発明２３（同一撮影位置←位置領域データ）
動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持し、及び、前記各フレームの位置データと同一位置と見做し得る位置の範囲を画定する位置領域データを各々対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された第１の撮影日且つ指示された撮影位置の第１の画像データを前記記憶装置４から取得し、及び、前記入力装置２からの操作入力で指示された第２の撮影日且つ前記第１の画像データと同一の位置領域データに対応付けられている第２の画像データを前記記憶装置４から取得するデータ取得手段と、
前記データ取得手段が取得した第１の画像データと第２の画像データに対して前記入力装置２からの操作入力で指示された処理を実行するデータ処理手段と、
を有することを特徴とする撮影位置同定システム。
前記「緯度・経度が当該位置データと同一位置と見做し得る位置の範囲」は、「第１と第２という異なる撮影日の２画像が目視による比較対照や差分の演算に利用できる程度に合致する画像が撮影される位置の範囲」である。これは、画像データが動画の構成要素である各フレームの画像データの場合、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等に基づいて定めることができる。
前記「入力装置からの操作入力で指示された処理」としては、例えば、第１と第２の画像を比較対照するべく表示させる処理、第１と第２の画像の差分を演算して表示させる処理、前記「入力装置から指示される撮影位置が或る範囲の場合（撮影位置が連続する複数の位置の場合）に当該範囲内の各画像データの損傷レベルを比較対照するべく表示させる処理、該損傷レベルの差分を演算して表示させる処理、等を例示できる。
［２４］発明２４（位置領域←距離標）
発明２３に於いて、
前記位置領域データは、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標ＫＰ間を緯度線方向又は経度線方向に延びる分割線ＤＬで等分割した各分割線間ＤＬ－ＤＬの領域を規定するデータである、
ことを特徴とする撮影位置同定システム。
例えば、撮影経路（道路，線路等）ＥＷが略東西方向に延びる場合、分割線ＤＬは経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路ＥＷの幅方向の長さ（例：道路幅，線路帯幅，程度）に基づかせることができる。なお、各距離標ＫＰには、緯度ＬＡ・経度ＬＯが対応付けられている。この緯度ＬＡ・経度ＬＯに基づいて上記各分割線ＤＬにも緯度・経度を対応付けて記憶させておいてもよい。
［２５］発明２５（距離標＝キロポスト）
発明２４に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は１［ｍ］である、
ことを特徴とする撮影位置同定システム。
例えば、高速道路では、１００［ｍ］、又は、１０００［ｍ］間隔でキロポストが設けられている。
［２６］発明２６（位置領域←メッシュ）
発明２３に於いて、
前記位置領域データは、緯度線ＬＡ方向及び経度線ＬＯ方向に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域を規定する、
ことを特徴とする撮影位置同定システム。
例えば、小数第５位までで第６位以下が０の緯度線と、小数第５位までで第６位以下が０の経度線で区切られるメッシュである。一例として、北緯35.18140～35.18141、東経136.90635～136.90636で区分されるメッシュを挙げることができる。撮影時にＧＮＳＳ受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
［２７］発明２７（区分領域）
発明２６に於いて、
前記メッシュ状の区分領域は、小数第５位に丸めた緯度線及び経度線の格子配列により区分される方形領域である、
ことを特徴とする撮影位置同定システム。
［２８］発明２８（同一撮影位置←位置領域情報生成）
動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された第１と第２の各撮影日の各撮影位置の位置データに基づいて各々当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を生成し、当該の撮影位置に対応付けて保持する領域情報生成手段３２５と、
前記第１と第２の撮影日の一方に対応付けて操作入力で指示された撮影位置に対応する位置領域情報を前記領域情報生成手段から取得し、当該の位置領域情報と同一の位置領域情報を有する撮影位置を前記領域情報生成手段から前記第１又は第２の他方の撮影日の同一の撮影位置として抽出する撮影位置同定手段３２６と、
を有することを特徴とする撮影位置同定システム。
［２９］発明２９（小数第５位）
発明２８に於いて、
前記記憶装置２は、前記各位置データとしてＧＮＳＳ受信機から取得した小数第７位まで有効な緯度・経度データを有し、
前記領域情報生成手段は、前記位置領域情報として前記小数第７位まで有効な緯度・経度データを小数第５位に丸めたデータを生成する、
ことを特徴とする撮影位置同定システム。
［３０］発明３０
コンピュータを、発明１～発明２２の何れかの点検支援システムとして機能させるためのプログラム。
［３１］発明３１
コンピュータを、発明２３～発明２９の何れかの撮影位置同定システムとして機能させるためのプログラム。
動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持し、及び、前記各フレームの位置データと同一位置と見做し得る位置の範囲を画定する位置領域データを各々対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された第１の撮影日且つ指示された撮影位置の第１の画像データを前記記憶装置４から取得し、及び、前記入力装置２からの操作入力で指示された第２の撮影日且つ前記第１の画像データと同一の位置領域データに対応付けられている第２の画像データを前記記憶装置４から取得するデータ取得手段と、
前記データ取得手段が取得した第１の画像データと第２の画像データに対して前記入力装置２からの操作入力で指示された処理を実行するデータ処理手段と、
を有することを特徴とする撮影位置同定システム。
前記「緯度・経度が当該位置データと同一位置と見做し得る位置の範囲」は、「第１と第２という異なる撮影日の２画像が目視による比較対照や差分の演算に利用できる程度に合致する画像が撮影される位置の範囲」である。これは、画像データが動画の構成要素である各フレームの画像データの場合、カメラの画角、被撮影物までの距離、移動体の速度、動画のフレームレート等に基づいて定めることができる。
前記「入力装置からの操作入力で指示された処理」としては、例えば、第１と第２の画像を比較対照するべく表示させる処理、第１と第２の画像の差分を演算して表示させる処理、前記「入力装置から指示される撮影位置が或る範囲の場合（撮影位置が連続する複数の位置の場合）に当該範囲内の各画像データの損傷レベルを比較対照するべく表示させる処理、該損傷レベルの差分を演算して表示させる処理、等を例示できる。
［２４］発明２４（位置領域←距離標）
発明２３に於いて、
前記位置領域データは、前記同一位置と見做し得る位置の範囲に基づく一定距離の間隔を成して、撮影経路上で隣接する各距離標ＫＰ間を緯度線方向又は経度線方向に延びる分割線ＤＬで等分割した各分割線間ＤＬ－ＤＬの領域を規定するデータである、
ことを特徴とする撮影位置同定システム。
例えば、撮影経路（道路，線路等）ＥＷが略東西方向に延びる場合、分割線ＤＬは経度線方向と平行に延びるように設定できる。同様に略南北方向に延びる場合は緯度線方向と平行に延びるように設定できる。分割線が延びる方向に於いて位置の範囲を画定するべく当該分割線を当該分割線との交差方向で区切る位置は、例えば、撮影経路ＥＷの幅方向の長さ（例：道路幅，線路帯幅，程度）に基づかせることができる。なお、各距離標ＫＰには、緯度ＬＡ・経度ＬＯが対応付けられている。この緯度ＬＡ・経度ＬＯに基づいて上記各分割線ＤＬにも緯度・経度を対応付けて記憶させておいてもよい。
［２５］発明２５（距離標＝キロポスト）
発明２４に於いて、
前記距離標は、前記撮影経路上に所定間隔で設けられたキロポストであり、前記一定距離は１［ｍ］である、
ことを特徴とする撮影位置同定システム。
例えば、高速道路では、１００［ｍ］、又は、１０００［ｍ］間隔でキロポストが設けられている。
［２６］発明２６（位置領域←メッシュ）
発明２３に於いて、
前記位置領域データは、緯度線ＬＡ方向及び経度線ＬＯ方向に延びる等間隔線で区分され各区画の面積が前記位置の範囲に基づく一定面積を成すメッシュ状の区分領域を規定する、
ことを特徴とする撮影位置同定システム。
例えば、小数第５位までで第６位以下が０の緯度線と、小数第５位までで第６位以下が０の経度線で区切られるメッシュである。一例として、北緯35.18140～35.18141、東経136.90635～136.90636で区分されるメッシュを挙げることができる。撮影時にＧＮＳＳ受信機から入力された緯度・経度が「北緯35.1814025、東経136.9063563」であれば、上記のメッシュを、この撮影位置の位置領域として対応付けることができる。
［２７］発明２７（区分領域）
発明２６に於いて、
前記メッシュ状の区分領域は、小数第５位に丸めた緯度線及び経度線の格子配列により区分される方形領域である、
ことを特徴とする撮影位置同定システム。
［２８］発明２８（同一撮影位置←位置領域情報生成）
動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置４と、
入力装置２と、
前記入力装置２からの操作入力で指示された第１と第２の各撮影日の各撮影位置の位置データに基づいて各々当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を生成し、当該の撮影位置に対応付けて保持する領域情報生成手段３２５と、
前記第１と第２の撮影日の一方に対応付けて操作入力で指示された撮影位置に対応する位置領域情報を前記領域情報生成手段から取得し、当該の位置領域情報と同一の位置領域情報を有する撮影位置を前記領域情報生成手段から前記第１又は第２の他方の撮影日の同一の撮影位置として抽出する撮影位置同定手段３２６と、
を有することを特徴とする撮影位置同定システム。
［２９］発明２９（小数第５位）
発明２８に於いて、
前記記憶装置２は、前記各位置データとしてＧＮＳＳ受信機から取得した小数第７位まで有効な緯度・経度データを有し、
前記領域情報生成手段は、前記位置領域情報として前記小数第７位まで有効な緯度・経度データを小数第５位に丸めたデータを生成する、
ことを特徴とする撮影位置同定システム。
［３０］発明３０
コンピュータを、発明１～発明２２の何れかの点検支援システムとして機能させるためのプログラム。
［３１］発明３１
コンピュータを、発明２３～発明２９の何れかの撮影位置同定システムとして機能させるためのプログラム。
【発明の効果】
【0014】
発明１は、点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、入力装置２と、前記入力装置２からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置２からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置４から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段３２と、前記入力装置２からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置２からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置５に表示し、当該表示地図上に前記損傷特定手段３２が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段３３と、を有することを特徴とする点検支援システムであるため、点検対象として注目すべき損傷の分布範囲を視覚的に把握することができる。
発明２は、点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、入力装置２と、前記入力装置２からの操作入力で指示された撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置４から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定する損傷特定手段と、前記入力装置２からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置５に表示し、当該表示地図上に前記損傷特定手段が損傷の有無及び損傷有りの場合の損傷レベルを特定した各画像の撮影位置を当該撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルに応じてヒートマップで識別可能に表示する表示制御手段３３と、を有することを特徴とする点検支援システムであるため、損傷の度合いに鑑み点検対象として特に注目すべき範囲を視覚的に把握することができる。
発明３は、点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、入力装置２と、前記入力装置２からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、前記入力装置２からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上に前記損傷特定手段が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段と、を有することを特徴とする点検支援システムであるため、損傷の経年変化に鑑み点検対象として重点的に注目すべき範囲を視覚的に把握することができる。
発明２は、点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、入力装置２と、前記入力装置２からの操作入力で指示された撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置４から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定する損傷特定手段と、前記入力装置２からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置５に表示し、当該表示地図上に前記損傷特定手段が損傷の有無及び損傷有りの場合の損傷レベルを特定した各画像の撮影位置を当該撮影位置の画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルに応じてヒートマップで識別可能に表示する表示制御手段３３と、を有することを特徴とする点検支援システムであるため、損傷の度合いに鑑み点検対象として特に注目すべき範囲を視覚的に把握することができる。
発明３は、点検対象の撮影により得た画像データと、前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを、対応付けて保持する記憶装置４と、入力装置２と、前記入力装置２からの操作入力で指示された第１と第２の各撮影日且つ前記入力装置からの操作入力で指示された撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データを各々前記記憶装置から取得して各画像内の点検対象の損傷の有無及び損傷有りの場合の損傷レベルを前記各撮影位置の画像毎にそれぞれ特定するとともに、前記第１と第２の撮影日の各同一撮影位置の二つの画像の損傷レベルの差分を各々演算する損傷特定手段と、前記入力装置２からの操作入力で損傷レベルの差分表示が指示された場合は、前記入力装置からの操作入力で指示された撮影位置範囲を表示可能な地図を表示装置に表示し、当該表示地図上に前記損傷特定手段が損傷レベルの差分を演算した各画像の撮影位置を当該撮影位置の二つの画像内の点検対象の損傷レベルの差分に応じてヒートマップで識別可能に表示する表示制御手段と、を有することを特徴とする点検支援システムであるため、損傷の経年変化に鑑み点検対象として重点的に注目すべき範囲を視覚的に把握することができる。
【0015】
発明１２は、点検対象の撮影により得た画像データと前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置４と、入力装置２と、前記入力装置２からの操作入力で指示された撮影日且つ指示された撮影位置の画像データ及び損傷情報を前記記憶装置４から取得し、当該画像内の点検対象に損傷が有る場合は当該損傷の画像内位置を特定する損傷特定手段３２と、前記入力装置２からの操作入力で指示された撮影日且つ指示された撮影位置の画像を表示装置に表示し、前記損傷が有る場合は当該表示画像上に損傷の画像内位置を表示する表示制御手段３３と、を有することを特徴とする点検支援システムであるため、注目対象として指定した特定位置の状況を視覚的に把握することができる。
【0016】
発明１４は、点検対象の撮影により得た画像データと前記画像データの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置４と、入力装置２と、前記入力装置２からの操作入力で指示された第１と第２の一方の撮影日の撮影位置の画像データ及び損傷データを前記記憶装置４から取得するとともに前記取得した一方の撮影日の撮影位置と同一撮影位置の他方の撮影日の画像データ及び損傷データを前記記憶装置４から取得して点検対象に損傷が有る画像の場合は当該損傷の当該画像内位置を特定する損傷特定手段３２と、前記損傷特定手段３２が取得した両画像データの画像を表示装置に表示して損傷が有る画像では当該表示画像上に当該損傷の画像内位置を表示する表示制御手段と、を有することを特徴とする点検支援システムであるため、注目対象として指定した特定位置の状況の変化を視覚的に比較対照して把握することができる。
発明１５は、発明１４に於いて、前記損傷特定手段３２は点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、前記表示制御手段３３は前記損傷が有る画像の場合は損傷の画像内位置とともに損傷の種類を表示する、ことを特徴とする点検支援システムであるため、注目対象として指定した特定位置の状況の詳細な変化を視覚的に比較対照して把握することができる。
また、上記の各発明は、上記のような視覚的な把握を、経験の差による判断の相違なく、誰でも行うことができる効果がある。
発明１５は、発明１４に於いて、前記損傷特定手段３２は点検対象に損傷が有る画像の場合は当該損傷の画像内位置とともに当該損傷の種類を特定し、前記表示制御手段３３は前記損傷が有る画像の場合は損傷の画像内位置とともに損傷の種類を表示する、ことを特徴とする点検支援システムであるため、注目対象として指定した特定位置の状況の詳細な変化を視覚的に比較対照して把握することができる。
また、上記の各発明は、上記のような視覚的な把握を、経験の差による判断の相違なく、誰でも行うことができる効果がある。
【0017】
発明２３は、動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持し、及び、前記各フレームの位置データと同一位置と見做し得る位置の範囲を画定する位置領域データを各々対応付けて保持する記憶装置４と、入力装置２と、前記入力装置２からの操作入力で指示された第１の撮影日且つ指示された撮影位置の第１の画像データを前記記憶装置４から取得し、及び、前記入力装置２からの操作入力で指示された第２の撮影日且つ前記第１の画像データと同一の位置領域データに対応付けられている第２の画像データを前記記憶装置４から取得するデータ取得手段と、前記データ取得手段が取得した第１の画像データと第２の画像データに対して前記入力装置からの操作入力で指示された処理を実行するデータ処理手段と、を有することを特徴とする撮影位置同定システムであるため、例えば、道路や線路等の長大なインフラの各部の中から、比較対照したい特定位置や特定範囲を指定して、その状況変化を的確に把握可能とするべく、期間を空けて複数回に渡り各部を撮影した画像の中から、比較対照等のための同一の撮影位置を的確に指定することができる。
発明２８は、動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置４と、入力装置２と、前記入力装置２からの操作入力で指示された第１と第２の各撮影日の各撮影位置の位置データに基づいて各々当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を生成し、当該の撮影位置に対応付けて保持する領域情報生成手段と、前記第１と第２の撮影日の一方に対応付けて操作入力で指示された撮影位置に対応する位置領域情報を前記領域情報生成手段から取得し、当該の位置領域情報と同一の位置領域情報を有する撮影位置を前記領域情報生成手段から前記第１又は第２の他方の撮影日の同一の撮影位置として抽出する撮影位置同定手段と、を有することを特徴とする撮影位置同定システムであるため、発明２６と同様の効果を奏することができる。
発明２８は、動画の構成要素である各フレームの画像データと前記各フレームの撮影日時刻を示す時間データ及び撮影位置を示す位置データとを対応付けて保持する記憶装置４と、入力装置２と、前記入力装置２からの操作入力で指示された第１と第２の各撮影日の各撮影位置の位置データに基づいて各々当該の撮影位置と同一位置と見做し得る位置の範囲を規定する位置領域情報を生成し、当該の撮影位置に対応付けて保持する領域情報生成手段と、前記第１と第２の撮影日の一方に対応付けて操作入力で指示された撮影位置に対応する位置領域情報を前記領域情報生成手段から取得し、当該の位置領域情報と同一の位置領域情報を有する撮影位置を前記領域情報生成手段から前記第１又は第２の他方の撮影日の同一の撮影位置として抽出する撮影位置同定手段と、を有することを特徴とする撮影位置同定システムであるため、発明２６と同様の効果を奏することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の概要を示す説明図。
【図2】本発明の表示処理の手順を説明するフローチャート。（ａ）は単一の撮影日を指定した場合、（ｂ）は新旧二つの撮影日を指定した場合を示す。
【図3】画面表示した地図上にてカーソルで撮影位置を選択する（ａ）と、当該選択した撮影位置の写真画像と当該選択に使用した地図とを並べて表示する様子（ｂ）を示す説明図。
【図4】第１と第２の撮影日の道路の各同一撮影位置の損傷レベルの差分を、画面表示の地図上にヒートマップ表示するための機能・手順を説明するブロック図。
【図5】キロポストＫＰ（距離標）を用いて第１と第２の撮影日の各同一の撮影位置を求める手法を説明するための図（ａ）と、メッシュを用いて位置領域を規定して第１と第２の撮影日の各同一の撮影位置を求める手法を説明するための図（ｂ）。
【図6】本発明の構成及び機能の概要を示すブロック図。
【図7】第１又は第２の撮影日の指定された撮影位置の画像と、第２又は第１の撮影日の同じ撮影位置の画像を並べて表示し、各画像に損傷と種類を表示するための機能・手順を説明するブロック図。
【図8】実施の形態の点検支援システムや撮影位置同定システムを備えた損傷履歴管理システムの全体構成を示す説明図。
【図12】画面表示の地図上に道路（路面）の損傷レベルの差分をヒートマップ表示した様子を示す説明図。
【図14】指定された撮影位置範囲の画面表示の写真上に第１の撮影日での道路の損傷レベルをヒートマップ表示した様子を示す説明図。
【図16】指定された撮影位置の前方下側の画面表示写真（路面写真）上に損傷とその種類を表示した様子を示す説明図。
【図19】指定された撮影位置のガードレールの画面表示写真上に第１と第２の撮影日の損傷の差分を表示する過程を示す説明図。
【図20】指定された撮影位置の高架道路下側について第１と第２の撮影日の写真画像を並べて画面表示する様子を示す説明図。
【図21】指定された撮影位置の高架道路の路面の桁の継ぎ目付近について第１と第２の撮影日の写真画像を並べて画面表示する様子を示す説明図。
【発明を実施するための形態】
【0019】
以下、図面を参照して、本発明の実施の形態を説明する。
図１は、本発明の概要を示す。図示のように、本発明では、データベース４に、点検対象の撮影により得た静止画像データ、該静止画像データの撮影位置（緯度・経度）を示す撮影位置データ、同じく撮影日時刻を示す撮影日時刻データ（時間データ）、撮影時に撮影者が入力した気付きコメント等を、対応付けて保持している。
図１は、本発明の概要を示す。図示のように、本発明では、データベース４に、点検対象の撮影により得た静止画像データ、該静止画像データの撮影位置（緯度・経度）を示す撮影位置データ、同じく撮影日時刻を示す撮影日時刻データ（時間データ）、撮影時に撮影者が入力した気付きコメント等を、対応付けて保持している。
【0020】
上記静止画像データは、カメラ搭載の自動車で点検対象の道路を走行しつつ撮影した動画の各フレームから生成したものである。また、撮影位置データ（緯度・経度）や、撮影日時刻データ（時間データ）は、当該フレームの撮影時にＧＮＳＳ衛星からＧＮＳＳ受信機（不図示）が取得して生成したデータに基づいている。動画の各フレームに撮影位置データや撮影日時刻データを対応付けて登録する手法としては、例えば、特許第７１００８６３号に記載の手法を用いることができる。
【0021】
これらのデータを用いて、本発明では、例えば、操作入力で指定した地域（位置の範囲）の各撮影位置の道路やその周辺構造物の損傷レベルをヒートマップ表示したり、或いは、操作入力で指定した撮影位置の点検対象の損傷を調べて当該撮影位置の写真画像に当該損傷の画像内位置や種類を表示したり、等の処理を行う。
なお、図１では、カメラ搭載の自動車で道路の路面や周辺の構造物を撮影する場合を示しているが、カメラ搭載の列車で線路や周辺の構造物を撮影したり、或いは、カメラ搭載のドローンで河川や川岸を撮影したり、等であってもよい。要は、長大な構造物の動画撮影に基づいて静止画像データを生成するとともに位置データや時間データを対応付けて登録しておき、後日、点検等に用いる場合について、本発明を適用できる。
なお、図１では、カメラ搭載の自動車で道路の路面や周辺の構造物を撮影する場合を示しているが、カメラ搭載の列車で線路や周辺の構造物を撮影したり、或いは、カメラ搭載のドローンで河川や川岸を撮影したり、等であってもよい。要は、長大な構造物の動画撮影に基づいて静止画像データを生成するとともに位置データや時間データを対応付けて登録しておき、後日、点検等に用いる場合について、本発明を適用できる。
【0022】
次に、データベース４に保持している前述のデータを用いて、道路や線路或いは河川等の長大な構造物の点検業務を行うための処理を、順に、説明する。
［１］道路損傷レベルのヒートマップ
図６に、画面に表示した地図上に道路の損傷レベルをヒートマップ表示する機能を実現可能な構成を示し、図２（ａ）前段に、該機能を実現する処理手順を示す。また、図１４と図１５に、表示装置にヒートマップ表示した写真画像の一例を示す。
図６に於いて、入力装置２は、各種の操作入力を行うための機器であり、例えば、キーボードやマウス等で構成され得る。操作入力は、表示装置５との協働でも行われ得る。記憶装置４は、ハードディスク、ＳＳＤ、ＲＡＭ等で構成され得る。制御装置３はＣＰＵやＧＰＵ等で構成され、入力装置２、表示装置５、記憶装置４を制御するとともに、後述の損傷特定部３２としての機能をも奏する。
［１］道路損傷レベルのヒートマップ
図６に、画面に表示した地図上に道路の損傷レベルをヒートマップ表示する機能を実現可能な構成を示し、図２（ａ）前段に、該機能を実現する処理手順を示す。また、図１４と図１５に、表示装置にヒートマップ表示した写真画像の一例を示す。
図６に於いて、入力装置２は、各種の操作入力を行うための機器であり、例えば、キーボードやマウス等で構成され得る。操作入力は、表示装置５との協働でも行われ得る。記憶装置４は、ハードディスク、ＳＳＤ、ＲＡＭ等で構成され得る。制御装置３はＣＰＵやＧＰＵ等で構成され、入力装置２、表示装置５、記憶装置４を制御するとともに、後述の損傷特定部３２としての機能をも奏する。
【0023】
操作入力により撮影日（或る単一の撮影日）と撮影範囲（撮影位置の範囲）を指定すると（Ｓ１１）、当該指定にかかる撮影範囲の地図（道路）が表示装置５の画面上に表示され、当該地図上に道路各位置の損傷レベルがヒートマップ表示される（Ｓ１３）。
即ち、撮影日と撮影範囲が指定されると（Ｓ１１）、損傷特定部３２が、記憶装置４から当該の撮影日で且つ当該の撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データ（緯度・経度）を取得して、各撮影位置の損傷レベルを特定し、表示制御部３３が、当該の撮影位置範囲を表示可能な地図を表示装置５に表示して、当該表示地図上に損傷特定部３２が特定した各撮影位置の損傷レベルをヒートマップで識別可能に表示する（Ｓ１３）。言い換えれば、各撮影位置の損傷レベルに応じて色相／明度／彩度を決めて識別可能に表示する。なお、地図に代えて、図１４や図１５のように、写真画像上にヒートマップを表示してもよい。また、損傷レベルに応じて表示サイズ（例：幅）を変えることで識別可能なヒートマップ表示としてもよい。
即ち、撮影日と撮影範囲が指定されると（Ｓ１１）、損傷特定部３２が、記憶装置４から当該の撮影日で且つ当該の撮影位置範囲内の各撮影位置の画像データ及び各画像データに対応する位置データ（緯度・経度）を取得して、各撮影位置の損傷レベルを特定し、表示制御部３３が、当該の撮影位置範囲を表示可能な地図を表示装置５に表示して、当該表示地図上に損傷特定部３２が特定した各撮影位置の損傷レベルをヒートマップで識別可能に表示する（Ｓ１３）。言い換えれば、各撮影位置の損傷レベルに応じて色相／明度／彩度を決めて識別可能に表示する。なお、地図に代えて、図１４や図１５のように、写真画像上にヒートマップを表示してもよい。また、損傷レベルに応じて表示サイズ（例：幅）を変えることで識別可能なヒートマップ表示としてもよい。
【0024】
上記に於いて、損傷特定部３２が「損傷レベルを特定する」処理は、例えば、「各画像内の点検対象（例：路面）の損傷をレベル区分検出器３２２で調べて損傷の有無と損傷有りの場合の損傷レベルを特定する」ことで実現できる。このレベル区分検出器３２２としては、画像サイズと同サイズで損傷レベル別に予め用意した多数（例：図４・レベル０～３の各レベル１００画像程度）の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワークを用いることができる。例えば、ＹＯＬＯｖ３（損傷のレベルを検出するＡＩモデル）を用いることができる。このようにレベル区分検出器３２２を用いて「損傷レベルを特定する」と、各レベルの教師画像を適切なタイミングで更新して適時に深層学習（ディープラーニング）を行っておくことにより、最新で高精度のレベル区分検出器３２２を利用することができる。なお、レベル０は「損傷無し」を意味する。
【0025】
また、上記に於いて、損傷特定部３２が「損傷レベルを特定する」処理を、記憶装置４が各画像データに対応付けて保持する損傷情報（損傷の有無，損傷レベル）を取得することで実現してもよい。この場合、損傷情報は、画像データ等の登録時に上記と同様のレベル区分検出器３２２を用いて生成して対応付けて保持させておくこととなる。
なお、点検対象が路面のように損傷の種類が少ない場合や、路面以外でも損傷の種類が特定されている場合等には、損傷レベルの区分を、画像内の損傷箇所の数で区分するように簡易化してもよい。
なお、点検対象が路面のように損傷の種類が少ない場合や、路面以外でも損傷の種類が特定されている場合等には、損傷レベルの区分を、画像内の損傷箇所の数で区分するように簡易化してもよい。
【0026】
［２］路面の損傷の画像内位置と種類
図６に、画面に表示した地図上で撮影位置を操作入力で指定する機能を実現可能な構成を示し、図２（ａ）後段に、該機能を実現する処理手順を示す。また、図３に、画面表示地図上で指定した撮影位置の写真画像を画面表示する手順を示し、図１６と図１７に画面表示した写真画像上に損傷位置と種類を画面表示する様子を示す。
図６に、画面に表示した地図上で撮影位置を操作入力で指定する機能を実現可能な構成を示し、図２（ａ）後段に、該機能を実現する処理手順を示す。また、図３に、画面表示地図上で指定した撮影位置の写真画像を画面表示する手順を示し、図１６と図１７に画面表示した写真画像上に損傷位置と種類を画面表示する様子を示す。
【0027】
図３（ａ）の如く、地図上に路面損傷レベルのヒートマップが表示された状態で、カーソルで所望の撮影位置を選択すると（Ｓ１５）、当該選択した撮影位置の写真画像が表示される（Ｓ１７）。
即ち、入力装置２からの操作入力で地図上にて指定したカーソル位置（図３（ａ））の画像データが記憶装置４から読み出されて、表示装置５に表示される。このとき、地図表示から写真画像単独の表示に切り換えてもよいが、地図と写真画像とを図３（ｂ）の如く並べて表示してもよい。また、写真画像単独表示又は地図と写真画像の並べ表示の何れの方式で表示するかを操作入力で選択可能としてもよい。
即ち、入力装置２からの操作入力で地図上にて指定したカーソル位置（図３（ａ））の画像データが記憶装置４から読み出されて、表示装置５に表示される。このとき、地図表示から写真画像単独の表示に切り換えてもよいが、地図と写真画像とを図３（ｂ）の如く並べて表示してもよい。また、写真画像単独表示又は地図と写真画像の並べ表示の何れの方式で表示するかを操作入力で選択可能としてもよい。
【0028】
写真画像には、さらに、当該写真画像内の各損傷位置がバウンディングボックスＢＢで表示され、且つ、損傷の種類が付記表示（アノテーション表示）される（Ｓ１７）。写真画像内の各損傷位置とその種類は、ここでは、損傷検出器３２１にて検出される。
損傷検出器３２１としては、画像サイズと同サイズで損傷とその種類別に予め用意した多数（例：図７・損傷Ａ０～損傷Ｃ２の各種類・各レベルの損傷について各々１００画像程度）の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワークを用いることができる。例えば、ＹＯＬＯｖ３（損傷の位置と種類（及びレベル）を同時に検出するＡＩモデル）を用いることができる。
図１６と図１７に、写真画像内に各損傷位置をバウンディングボックスＢＢで表示し且つ損傷の種類を付記表示した様子を示す。
このように損傷検出器３２１を用いて「損傷の画像内位置と種類等を検出する」と、教師画像を適切なタイミングで更新して深層学習（ディープラーニング）を行っておくことにより、最新且つ高精度で各損傷の画像内位置とその種類等を検出することができる。
損傷検出器３２１としては、画像サイズと同サイズで損傷とその種類別に予め用意した多数（例：図７・損傷Ａ０～損傷Ｃ２の各種類・各レベルの損傷について各々１００画像程度）の教師画像を用いて深層学習（ディープラーニング）済みのニューラルネットワークを用いることができる。例えば、ＹＯＬＯｖ３（損傷の位置と種類（及びレベル）を同時に検出するＡＩモデル）を用いることができる。
図１６と図１７に、写真画像内に各損傷位置をバウンディングボックスＢＢで表示し且つ損傷の種類を付記表示した様子を示す。
このように損傷検出器３２１を用いて「損傷の画像内位置と種類等を検出する」と、教師画像を適切なタイミングで更新して深層学習（ディープラーニング）を行っておくことにより、最新且つ高精度で各損傷の画像内位置とその種類等を検出することができる。
【0029】
なお、損傷検出器３２１により損傷とその種類等を検出する処理に代えて、記憶装置４が各画像データに対応付けて保持する損傷情報（損傷とその種類等，画像内位置）を取得するように構成してもよい。その場合、損傷情報は、画像データの登録時に上記と同様の損傷検出器３２１を用いて生成して対応付けて保持させておくこととなる。
【0030】
［３］損傷レベル差分のヒートマップ表示／新旧の同一撮影位置
図４に、地図上に路面損傷レベルの新旧の差分を表示装置５にヒートマップ表示する機能を実現するブロック図を示し、図２（ｂ）前段に、該機能を実現する手順を示す。
図２（ｂ）Ｓ２３「道路各撮影位置の損傷レベルの差分」とは、異なる撮影日（例：新旧，昨年と今年，第１と第２の撮影日）に同一の撮影範囲（地域）を撮影した２つの動画各々のフレームからそれぞれ静止画を生成した場合に於いて、それらの静止画から、第１と第２の撮影日で「同一の位置を撮影した静止画の組」を、当該撮影範囲内の各撮影位置について各々決めて求めた損傷レベルの差分をいう。
図４に、地図上に路面損傷レベルの新旧の差分を表示装置５にヒートマップ表示する機能を実現するブロック図を示し、図２（ｂ）前段に、該機能を実現する手順を示す。
図２（ｂ）Ｓ２３「道路各撮影位置の損傷レベルの差分」とは、異なる撮影日（例：新旧，昨年と今年，第１と第２の撮影日）に同一の撮影範囲（地域）を撮影した２つの動画各々のフレームからそれぞれ静止画を生成した場合に於いて、それらの静止画から、第１と第２の撮影日で「同一の位置を撮影した静止画の組」を、当該撮影範囲内の各撮影位置について各々決めて求めた損傷レベルの差分をいう。
【0031】
上記同一の撮影範囲の新旧各撮影位置の路面の損傷レベルは、前掲の「［１］道路損傷レベルのヒートマップ」の手法と同様にして特定することができる。例えば、前記レベル区分検出器３２２を用いて特定することができる。
特定した各撮影位置の損傷レベルから、第１と第２の撮影日で同一の撮影位置の損傷レベルの差分を各々求めるのであるが、そのためには、まず、新旧で「同一の位置を撮影した静止画の組」を、当該撮影範囲内の各撮影位置について各々決める必要がある。
特定した各撮影位置の損傷レベルから、第１と第２の撮影日で同一の撮影位置の損傷レベルの差分を各々求めるのであるが、そのためには、まず、新旧で「同一の位置を撮影した静止画の組」を、当該撮影範囲内の各撮影位置について各々決める必要がある。
【0032】
しかるに、新旧異なる撮影日に同一経路（道路，線路等）を移動体で走行しつつ搭載したカメラで撮影した各動画から各々静止画像を生成して記録しておき、後日、同一撮影位置の静止画像を抜き出して比較等しようとしても、移動体の速度やカメラのフレームレート或いはカメラから被写体までの距離の相違等の影響のため、位置データをそのまま用いたのでは被撮影範囲が完全同一の画像を得ることは事実上不可能である。便宜上、異なる撮影日の動画に基づく「二つの静止画像が目視による比較対照や差分の演算に利用できる程度に合致する」場合に、同一の位置を撮影した静止画像の組とする。
【0033】
以下、上記「同一の位置を撮影した静止画像の組」を決める手法を述べる。言い換えれば、撮影位置同定部３２６の機能を説明する。
＜メッシュ状の区分領域（図５（ｂ））＞
ＧＮＳＳ衛星からＧＮＳＳ受信機が取得して生成する位置データは、現状、小数第７位までで表わされた緯度・経度である。道路ＥＷを走行する前記移動体の速度を１００[km/h]、フレームレートを３０[fps] と仮定し、この仮定に基づき、小数第５位までで第６位以下を「０」とした緯度線ＬＡ・経度線ＬＯにて、図５（ｂ）のメッシュを規定する。
各撮影位置が持つ位置データ（小数第７位までの緯度・経度）に、当該の撮影位置が存するメッシュ、即ち、当該撮影位置を囲むメッシュ（位置領域）を、当該の位置データに対応付けて記憶装置４にて保持する。例えば、「北緯35.1814025、東経136.9063563 」の撮影位置は、北緯35.18140～35.18141、東経136.90635～136.90636で規定されるメッシュ内に在る。この対応関係を、記憶装置４にて保持する（図６・位置領域，図１０・撮影地点マスタ，参照）。
位置データに対応付けられているメッシュ（位置領域）が同じである新旧二つの撮影位置での撮影画像の組を、「同一の位置を撮影した静止画の組」とする。
この静止画像の組を記憶装置４から取得する手順は、
（１）入力装置２からの操作入力で指定された第１の撮影日（Ｓ２１）、且つ、指定された撮影範囲（Ｓ２１）の撮影位置群から所定の規則で指定された撮影位置の第１の画像データを記憶装置４から取得し、
（２）入力装置２からの操作入力で指定された第２の撮影日（Ｓ２１）、且つ、（１）で取得した第１の画像データと同一の位置領域データに対応付けられている第２の画像データを記憶装置４から取得する、
という手順となる。
＜メッシュ状の区分領域（図５（ｂ））＞
ＧＮＳＳ衛星からＧＮＳＳ受信機が取得して生成する位置データは、現状、小数第７位までで表わされた緯度・経度である。道路ＥＷを走行する前記移動体の速度を１００[km/h]、フレームレートを３０[fps] と仮定し、この仮定に基づき、小数第５位までで第６位以下を「０」とした緯度線ＬＡ・経度線ＬＯにて、図５（ｂ）のメッシュを規定する。
各撮影位置が持つ位置データ（小数第７位までの緯度・経度）に、当該の撮影位置が存するメッシュ、即ち、当該撮影位置を囲むメッシュ（位置領域）を、当該の位置データに対応付けて記憶装置４にて保持する。例えば、「北緯35.1814025、東経136.9063563 」の撮影位置は、北緯35.18140～35.18141、東経136.90635～136.90636で規定されるメッシュ内に在る。この対応関係を、記憶装置４にて保持する（図６・位置領域，図１０・撮影地点マスタ，参照）。
位置データに対応付けられているメッシュ（位置領域）が同じである新旧二つの撮影位置での撮影画像の組を、「同一の位置を撮影した静止画の組」とする。
この静止画像の組を記憶装置４から取得する手順は、
（１）入力装置２からの操作入力で指定された第１の撮影日（Ｓ２１）、且つ、指定された撮影範囲（Ｓ２１）の撮影位置群から所定の規則で指定された撮影位置の第１の画像データを記憶装置４から取得し、
（２）入力装置２からの操作入力で指定された第２の撮影日（Ｓ２１）、且つ、（１）で取得した第１の画像データと同一の位置領域データに対応付けられている第２の画像データを記憶装置４から取得する、
という手順となる。
【0034】
＜キロポストＫＰ／距離標（図５（ａ））＞
或る道路や線路では、所定の起点位置からの距離を１００ｍ毎又は１０００ｍ毎に示す距離標（例：キロポストＫＰ）が設けられており、その緯度・経度は既知であるか、少なくとも予め正確に特定できる（図１０・ＫＰデータ，参照）。このため、隣接する距離標間を図５（ａ）の如く１００分割又は１０００分割して、隣接する各分割線ＤＬ間の距離を、例えば、１ｍに設定することができる。さらに、各分割線ＤＬに緯度・経度を予め設定しておくこともできる。
前掲の各撮影位置が持つ位置データ（小数第７位までの緯度・経度）と、各分割線ＤＬに設定した緯度・経度とに基づいて、各撮影位置について、各々最寄りの分割線を決定して、各撮影位置の位置データに対応付けて記憶装置４にて保持しておく。
最寄りとして対応付けられている分割線ＤＬが同じである撮影位置を、「同一の位置を撮影した静止画の組」とする。
この静止画像の組を入力装置２からの操作入力に応じて記憶装置４から取得する手順は、前掲の「＜メッシュ状の区分領域＞」の（１）（２）に準ずる。
或る道路や線路では、所定の起点位置からの距離を１００ｍ毎又は１０００ｍ毎に示す距離標（例：キロポストＫＰ）が設けられており、その緯度・経度は既知であるか、少なくとも予め正確に特定できる（図１０・ＫＰデータ，参照）。このため、隣接する距離標間を図５（ａ）の如く１００分割又は１０００分割して、隣接する各分割線ＤＬ間の距離を、例えば、１ｍに設定することができる。さらに、各分割線ＤＬに緯度・経度を予め設定しておくこともできる。
前掲の各撮影位置が持つ位置データ（小数第７位までの緯度・経度）と、各分割線ＤＬに設定した緯度・経度とに基づいて、各撮影位置について、各々最寄りの分割線を決定して、各撮影位置の位置データに対応付けて記憶装置４にて保持しておく。
最寄りとして対応付けられている分割線ＤＬが同じである撮影位置を、「同一の位置を撮影した静止画の組」とする。
この静止画像の組を入力装置２からの操作入力に応じて記憶装置４から取得する手順は、前掲の「＜メッシュ状の区分領域＞」の（１）（２）に準ずる。
【0035】
＜位置領域情報の生成＞
前述のように、ＧＮＳＳ衛星からＧＮＳＳ受信機が取得して生成する位置データは、現状、小数第７位までで表わされる緯度・経度である。この緯度・経度を小数第５位までで丸めて、その値（小数第５位までで丸めた緯度・経度）が同じである新旧の撮影位置を求めると、「同一の位置を撮影した静止画の組」を得ることができる。
この静止画像の組を記憶装置４から取得する手順は、
（１）入力装置２からの操作入力で指定された第１の撮影日、且つ、指定された撮影範囲の各撮影位置の画像データ及び位置データ（小数第７位までの緯度・経度）を各々記憶装置４から取得して、各々位置データを小数第５位までに丸める。
（２）入力装置２からの操作入力で指定された第２の撮影日、且つ、指定された撮影範囲の各撮影位置の画像データ及び位置データ（小数第７位までの緯度・経度）を各々記憶装置４から取得して、各々位置データを小数第５位までに丸める。
（３）上記（１）と（２）で求めた小数第５位までの位置データを比較して、同一の組を「同一の位置を撮影した静止画の組」とする。
という手順となる。
前述のように、ＧＮＳＳ衛星からＧＮＳＳ受信機が取得して生成する位置データは、現状、小数第７位までで表わされる緯度・経度である。この緯度・経度を小数第５位までで丸めて、その値（小数第５位までで丸めた緯度・経度）が同じである新旧の撮影位置を求めると、「同一の位置を撮影した静止画の組」を得ることができる。
この静止画像の組を記憶装置４から取得する手順は、
（１）入力装置２からの操作入力で指定された第１の撮影日、且つ、指定された撮影範囲の各撮影位置の画像データ及び位置データ（小数第７位までの緯度・経度）を各々記憶装置４から取得して、各々位置データを小数第５位までに丸める。
（２）入力装置２からの操作入力で指定された第２の撮影日、且つ、指定された撮影範囲の各撮影位置の画像データ及び位置データ（小数第７位までの緯度・経度）を各々記憶装置４から取得して、各々位置データを小数第５位までに丸める。
（３）上記（１）と（２）で求めた小数第５位までの位置データを比較して、同一の組を「同一の位置を撮影した静止画の組」とする。
という手順となる。
【0036】
上記何れかの手法により撮影位置同定部３２６にて、操作入力で指定された撮影範囲内の各撮影位置の新旧異なる撮影日の各同一撮影位置を各々求め、さらに、その損傷レベルの差分を求めて（Ｓ２３）、地図上にヒートマップ表示する（Ｓ２３）。その様子を、図１２に示す。また、地図に代えて、写真上に表示した様子を、図１３に示す。
【0037】
［４］写真画像内の損傷の差分の表示／新旧の２画像の表示
図７に、新旧で同一の撮影位置の写真画像上に損傷の位置及び差分を表示する機能を実現するブロック図を示し、図２（ｂ）後段に、該機能を実現する手順を示す。
また、図１９に新旧で同一の撮影位置のガードレールの損傷の差分を表示するまでを示し、図２０と図２１に新旧で同一の撮影位置の写真画像を並べて表示する様子を示す。
新旧で同一の撮影位置については、前記「［３］損傷レベル差分のヒートマップ表示／新旧の同一撮影位置」で述べた手法により特定することができる。
図７に、新旧で同一の撮影位置の写真画像上に損傷の位置及び差分を表示する機能を実現するブロック図を示し、図２（ｂ）後段に、該機能を実現する手順を示す。
また、図１９に新旧で同一の撮影位置のガードレールの損傷の差分を表示するまでを示し、図２０と図２１に新旧で同一の撮影位置の写真画像を並べて表示する様子を示す。
新旧で同一の撮影位置については、前記「［３］損傷レベル差分のヒートマップ表示／新旧の同一撮影位置」で述べた手法により特定することができる。
【0038】
図１２又は図１３の如く画面表示の地図又は写真上に損傷レベルの新旧の差分のヒートマップが表示された状態で、カーソルで撮影位置を選択すると（Ｓ２５）、入力装置２からの操作入力で指示された表示態様が、
（１）２画面を並べて表示する場合であるか、
又は、
（２）画像内の損傷箇所の差分を表示する場合であるか、
がチェックされる（Ｓ２７）。
その結果、２画面を並べて表示するように指示されていた場合は（Ｓ２７でＮＯ）、カーソルで選択された撮影位置の新旧の画像を並べて表示する（Ｓ３１）。その例を、図２０と図２１に示す。
並べて表示した各画像内に、損傷の画像内位置と種類を各々表示してもよい。その手法としては、前掲の「［２］路面の損傷の画像内位置と種類」で述べた手法を用いることができる。
（１）２画面を並べて表示する場合であるか、
又は、
（２）画像内の損傷箇所の差分を表示する場合であるか、
がチェックされる（Ｓ２７）。
その結果、２画面を並べて表示するように指示されていた場合は（Ｓ２７でＮＯ）、カーソルで選択された撮影位置の新旧の画像を並べて表示する（Ｓ３１）。その例を、図２０と図２１に示す。
並べて表示した各画像内に、損傷の画像内位置と種類を各々表示してもよい。その手法としては、前掲の「［２］路面の損傷の画像内位置と種類」で述べた手法を用いることができる。
【0039】
前記Ｓ２７でのチェックの結果、画像内の損傷の差分を表示するように指示されていた場合は（Ｓ２７でＹＥＳ）、カーソルで選択された撮影位置の新旧二つの画像の重複部分を表示して、当該重複部分画像内に、各位置の損傷の差分を表示する。例えば、新旧の画像内で変化した部分を可視化して表示する。その様子を図１９の右部に示す。新旧２画像のみの比較では明るさや色合いの影響を受けるため、損傷検出部３２１のモデル（教師画像）自体を、画像的な特徴や形状変化に対して汎用性の高い（汎化性の高い）モデルとすることで、性能を向上できる。また、損傷箇所の形状を重層表示する、或いは、損傷箇所のバウンディングボックスＢＢの重なり部分のみの差分を求める、等でもよい。
この画像差分の生成は、画像差分生成システム３２７（図８内）が担う。
この画像差分の生成は、画像差分生成システム３２７（図８内）が担う。
【0040】
なお、カーソルで選択された撮影位置の新旧二つの画像の重複部分の表示に代えて、第１又は第２の撮影日の一方の画像を表示し、第２又は第１の撮影日の画像の対応する損傷位置の差分を表示してもよい。
【0041】
［５］その他
図１１のＳ５１は、図２のＳ１１の「撮影範囲を操作入力で指定」に相当する。図１１のＳ５３は、図２のＳ２３の「損傷レベルの差分表示（ヒートマップの差分表示）」のためのデータを取得する処理である。図１１のＳ６１は、図２のＳ１５又はＳ２５の「撮影位置を選択」に相当する。
図１１のＳ６１の後段部分は、画像表示態様を選択する処理である。例えば、図１８の如く前方と左側方を分離して表示するか、一体の画像として表示するか、等を選択する処理である。なお、この処理自体は、本発明の範囲ではない。
図１１のＳ６１の最後～Ｓ６３は、図２のＳ２１からＳ３１に相当する。
図１１のＳ７１は、図２のＳ３３の「画像内の損傷の差分」を表示するためのデータを取得する処理である。
図１１のＳ５１は、図２のＳ１１の「撮影範囲を操作入力で指定」に相当する。図１１のＳ５３は、図２のＳ２３の「損傷レベルの差分表示（ヒートマップの差分表示）」のためのデータを取得する処理である。図１１のＳ６１は、図２のＳ１５又はＳ２５の「撮影位置を選択」に相当する。
図１１のＳ６１の後段部分は、画像表示態様を選択する処理である。例えば、図１８の如く前方と左側方を分離して表示するか、一体の画像として表示するか、等を選択する処理である。なお、この処理自体は、本発明の範囲ではない。
図１１のＳ６１の最後～Ｓ６３は、図２のＳ２１からＳ３１に相当する。
図１１のＳ７１は、図２のＳ３３の「画像内の損傷の差分」を表示するためのデータを取得する処理である。
【符号の説明】
【0042】
２ 入力装置
３ 制御装置
３１ 検索システム
３２ 損傷特定部
３２１ 損傷検出器
３２１Ａ 損傷検出システム
３２１Ｂ 損傷診断システム
３２２ レベル区分検出器
３２３ レベル差分演算部
３２５ 領域情報生成部
３２６ 撮影位置同定部
３２７ 画像差分演算部
３３ 表示制御部
３３Ａ ビューアシステム
３５ 登録システム
３６ 編集システム
４ 記憶装置
４１ 管理テーブル
４３ 画像データ
４５ 地図データ
４７ キロポストデータ
５ 表示装置
ＫＰ キロポスト
ＤＬ 分割線
ＬＡ 緯度線
ＬＯ 経度線
ＥＷ 高速道路
３ 制御装置
３１ 検索システム
３２ 損傷特定部
３２１ 損傷検出器
３２１Ａ 損傷検出システム
３２１Ｂ 損傷診断システム
３２２ レベル区分検出器
３２３ レベル差分演算部
３２５ 領域情報生成部
３２６ 撮影位置同定部
３２７ 画像差分演算部
３３ 表示制御部
３３Ａ ビューアシステム
３５ 登録システム
３６ 編集システム
４ 記憶装置
４１ 管理テーブル
４３ 画像データ
４５ 地図データ
４７ キロポストデータ
５ 表示装置
ＫＰ キロポスト
ＤＬ 分割線
ＬＡ 緯度線
ＬＯ 経度線
ＥＷ 高速道路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
