IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特開2024-173421情報処理装置、システム、方法、及びプログラム
<>
  • 特開-情報処理装置、システム、方法、及びプログラム 図1
  • 特開-情報処理装置、システム、方法、及びプログラム 図2
  • 特開-情報処理装置、システム、方法、及びプログラム 図3
  • 特開-情報処理装置、システム、方法、及びプログラム 図4
  • 特開-情報処理装置、システム、方法、及びプログラム 図5
  • 特開-情報処理装置、システム、方法、及びプログラム 図6
  • 特開-情報処理装置、システム、方法、及びプログラム 図7
  • 特開-情報処理装置、システム、方法、及びプログラム 図8
  • 特開-情報処理装置、システム、方法、及びプログラム 図9
  • 特開-情報処理装置、システム、方法、及びプログラム 図10
  • 特開-情報処理装置、システム、方法、及びプログラム 図11
  • 特開-情報処理装置、システム、方法、及びプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173421
(43)【公開日】2024-12-12
(54)【発明の名称】情報処理装置、システム、方法、及びプログラム
(51)【国際特許分類】
   G01N 21/88 20060101AFI20241205BHJP
【FI】
G01N21/88 J
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023091833
(22)【出願日】2023-06-02
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】清水 誠
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA90
2G051AB01
2G051AB02
2G051AC21
2G051EB05
(57)【要約】
【課題】本発明は、経年劣化判定において、変状領域が適切に経年劣化しているかを判定する技術を提供することを目的とする。
【解決手段】
第1の撮影時刻に被写体を撮影した第1の画像において検出された第1の変状領域と、前記第1の撮影時刻よりも後の第2の撮影時刻に前記被写体を撮影した第2の画像において検出された第2の変状領域とを取得する取得手段と、前記第1の変状領域と、前記第2の変状領域とに基づいて、変状領域の経年劣化が適切であるかを判定する判定手段と、を備える。

【選択図】図4
【特許請求の範囲】
【請求項1】
第1の撮影時刻に被写体を撮影した第1の画像において検出された第1の変状領域と、前記第1の撮影時刻よりも後の第2の撮影時刻に前記被写体を撮影した第2の画像において検出された第2の変状領域とを取得する取得手段と、
前記第1の変状領域と、前記第2の変状領域とに基づいて、変状領域の経年劣化が適切であるかを判定する判定手段と、を備える、
ことを特徴とする情報処理装置。
【請求項2】
前記判定手段は、前記第2の変状領域が第1の変状領域よりも小さいことを示し、かつ前記第2の変状領域と他の領域とが重複する場合、前記変状領域の経年劣化が適切であると判定し、
前記他の領域は、前記第1の撮影時刻から前記第2の撮影時刻までに発生した前記第2の変状領域に関連する領域である、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記判定手段は、前記第2の変状領域が第1の変状領域よりも小さいことを示し、かつ前記第2の変状領域と前記他の領域とが重複しない場合、前記変状領域の経年劣化が適切ではないと判定する、
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記他の領域を予め登録する登録手段をさらに備え、
前記判定手段は、前記登録手段によって登録された前記他の領域に基づいて、前記変状領域の経年劣化が適切であるかを判定する、
ことを特徴とする請求項2に記載の情報処理装置。
【請求項5】
前記第1の変状領域と前記第2の変状領域とに基づいて、前記変状領域の経年劣化の進展度を算出する比較手段をさらに備える、
ことを特徴とする請求項2に記載の情報処理装置。
【請求項6】
前記第2の画像において前記他の領域を検出する検出手段をさらに備え、
前記他の領域は、前記第2の変状領域の少なくとも一部に対する補修領域と、前記第2の変状領域の種類とは異なる種類に属する第3の変状領域との少なくともいずれかを含む、
ことを特徴とする請求項2に記載の情報処理装置。
【請求項7】
前記検出手段は、前記第2の画像におけるチョーク痕と画素値の差分との少なくともいずれかに基づいて、前記他の領域を検出する、
ことを特徴とする請求項6に記載の情報処理装置。
【請求項8】
前記判定手段の判定結果に基づいて、前記変状領域の経年劣化が適切ではない原因を推定する推定手段と
前記判定手段の判定結果と前記推定手段の推定結果との少なくとも一方を通知する通知手段と、をさらに備える、
ことを特徴とする請求項2に記載の情報処理装置。
【請求項9】
前記推定手段は、前記第2の画像における前記他の領域の分布に基づいて、前記原因が画像のゆがみに関連する撮影条件であると判定する、
ことを特徴とする請求項8に記載の情報処理装置。
【請求項10】
前記推定手段は、前記第1の画像と前記第2の画像のそれぞれの特徴と撮影条件に基づいて、前記原因が明暗に関連する撮影条件、撮影時刻、及び撮影時の天気の少なくともいずれかであると判定する、
ことを特徴とする請求項8に記載の情報処理装置。
【請求項11】
前記第1の変状領域と前記第2の変状領域は、ひび割れ、浮き、剥落、エフロレッセンス、鉄筋露出、錆、漏水、水垂れ、腐食、損傷、コールドジョイント、析出物、及びジャンカの少なくともいずれか示す領域を含む、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項12】
前記被写体は構造物である、
ことを特徴とする請求項1から11のいずれか一項に記載の情報処理装置。
【請求項13】
被写体を撮影する撮像装置と、
請求項1から11のいずれか一項に記載の情報処理装置と、を備える、
ことを特徴とするシステム。
【請求項14】
第1の撮影時刻に被写体を撮影した第1の画像において検出された第1の変状領域と、前記第1の撮影時刻よりも後の第2の撮影時刻に前記被写体を撮影した第2の画像において検出された第2の変状領域とを取得する取得工程と、
前記第1の変状領域と、前記第2の変状領域とに基づいて、変状領域の経年劣化が適切であるかを判定する判定工程と、を備える、
ことを特徴とする方法。
【請求項15】
コンピュータを請求項1から11のいずれか一項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、システム、方法、及びプログラムに関する。
【背景技術】
【0002】
高速道路の橋梁及びトンネルの壁面などのインフラは、数十年単位で補修しながら利用されるため、数年おきに構造物の部材の健全度を把握する必要がある。具体的には、構造物壁面に生じるひび割れ及び鉄筋露出等の変状がどれだけ進展したか(経年変化)を把握することが求められている。しかし、近年のインフラの老朽化とインフラ点検を行う人員不足のため、業務の省力化が求められている。そのため、映像解析による変状検知のシステムが実用化され始めている。
【0003】
画像を用いたインフラ構造物の点検では、異なる時期に構造物の壁面を撮影した画像から変状を検出し、検出した変状同士の差分を求めることにより、個々の変状の進展度を算出する。例えば、特許文献1は、過去と現在の画像の変状同士の対応付けと補正を行い、過去から現在までの変状の進展度を求める方法を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2022-56085号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ただし、撮影のたびに時刻、天候、及び撮影装置の設定などの撮影条件が変化するため、同一構造物の同一壁面を撮影した画像であっても、前回と同じようにひび及び変状の進展度を求められるとは限らない。例えば、雲による影、カメラの露出設定、及び前日と当日の天気による濡れた壁面等を原因として、前回の撮影画像と比較して輝度の差、撮影角度、及び画角によるゆがみなどが現在の撮影画像に発生する。このように撮影条件が異なると、現在の撮影画像が経年劣化を比較するのに妥当ではない画像である可能性がある。現在の撮影画像が経年劣化判定に不適な画像である場合、検査者が再撮影する必要がある。しかし、検査者が撮影時に目視で画像を確認した時点では、前回画像と今回画像の撮影条件の差に気が付かない可能性があるという課題がある。なお、特許文献1の技術ではこの課題を解消することができない。
【0006】
そこで、本発明は、経年劣化判定において、変状領域が適切に経年劣化しているかを判定する技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の目的を達成するために、本発明の一実施形態に係る情報処理装置は、第1の撮影時刻に被写体を撮影した第1の画像において検出された第1の変状領域と、前記第1の撮影時刻よりも後の第2の撮影時刻に前記被写体を撮影した第2の画像において検出された第2の変状領域とを取得する取得手段と、前記第1の変状領域と、前記第2の変状領域とに基づいて、変状領域の経年劣化が適切であるかを判定する判定手段と、を備える、ことを特徴とする。
【発明の効果】
【0008】
本発明によれば、経年劣化判定において、変状領域が適切に経年劣化しているかを判定する技術を提供することができる。
【図面の簡単な説明】
【0009】
図1】第1実施形態に係るインフラ構造物の点検結果を示す図。
図2】第1実施形態に係る画像解析システム200の構成を示すブロック図。
図3】第1実施形態に係る画像解析サーバ205のハードウェア構成を示す図。
図4】第1実施形態に係る画像解析サーバ205の機能構成を示すブロック図。
図5】第1実施形態に係る画像と変状データの関係、および構造情報を説明する図。
図6】第1実施形態に係る情報処理装置の経年劣化判定処理を説明するフローチャート。
図7】第1実施形態に係る変状データ間の正の差分と負の差分を説明する図。
図8】第1実施形態に係る図6のS604の判定処理の詳細を示すフローチャート。
図9】第1実施形態に係る負の差分候補を負の差分領域としてカウントしない場合を説明する図。
図10】第1実施形態に係る経年劣化判定機能の画面の一例を示す図。
図11】第2実施形態に係る画像解析サーバ205の機能構成を示すブロック図。
図12】第2実施形態に係る補修領域の登録ファイルの内容を示す図。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る開示を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが開示に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0011】
(第1実施形態)
第1実施形態では、異なる時期に撮影された2つの画像を用いて、検査対象の本来不可逆な変状の進展を検知し、ユーザに通知する方法の一例を説明する。特に、第1実施形態では、橋梁等の構造物の健全度を判定するようないわゆるインフラ点検を行うための情報処理装置(画像解析サーバ205)を一例として説明する。
【0012】
本実施形態の説明において利用される用語は以下のように定義する。
【0013】
「検査対象」とは、インフラ点検を行う画像解析システムを説明する場合には、コンクリート構造物等を指す。本実施形態の画像解析処理システムのユーザは、検査対象を撮像した画像を基に、表面にひび割れなどの変状がないかを検査する目的を有する。
【0014】
「変状」とは、例えば、コンクリート構造物の場合、コンクリートのひび割れや浮き、剥落、エフロレッセンス、鉄筋露出、錆、漏水、水垂れ、腐食、損傷(欠損)、コールドジョイント、析出物、及びジャンカなどを指す。
【0015】
「第1の画像」及び「第2の画像」とは、同一構造物の同一壁面を異なる時期に撮影した画像である。本実施形態において、第1の画像を撮影した時期は、第2の画像を撮影した時期よりも過去の時期を指すものとする。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。
【0016】
第1実施形態の概要について、ひび割れの進展度を算出する例を用いて説明する。図1は、第1実施形態に係るインフラ構造物の点検結果を示す図である。図1(a)と図1(b)は、インフラ構造物の一例である橋梁の同一壁面をそれぞれ異なる時期に撮影した画像101と画像102を示す。
【0017】
画像101は、画像102の撮影時期よりも数年前(例えば、5年前)に撮影した画像である。インフラ構造物の壁面には、経年変化により新たなひび割れ、ひび幅の拡大、エフロレッセンス、漏水、及び鉄筋露出などの変状領域の拡大が発生する。画像101と画像102にはそれぞれ、ひび割れ及び漏水領域が存在している。
【0018】
画像102のひび割れ105は、画像101のひび割れ103が進展した結果である。画像102のひび割れ106は、新たに発生したひび割れである。ひび割れ103、ひび割れ105、及びひび割れ106はそれぞれ、ひび割れ幅の情報に関連付けられる。
【0019】
図1(c)は、各ひび割れについての最大ひび割れ幅をまとめた変状データ108を示す。例えば、調査技術者が、画像においてひび割れ及び鉄筋露出等の変状の座標位置、形状、及び幅などを入力する。つまり、変状データ108は、調査技術者の入力情報、画像101、及び画像102を対応付けたデータである。変状データ108を取得する他の方法は以下の方法がある。例えば、機械学習により予め学習させたモデルを用いて、画像101と画像102からひび割れを検出することにより変状データ108を取得することができる。
【0020】
ひび割れの進展度を算出するためには、異なる撮影時期に撮影されたひび割れ同士を比較して、ひび割れ長さ、ひび割れ幅、及び変状領域等の差分を求める。この時、異なる撮影時期のひび割れデータの間には、撮影条件の違い及び検知条件の違い等に起因する位置ずれ及び形状ずれが存在する。ひび割れの進展度を適切に算出するために、これらのずれと差分を考慮しながらひび割れの対応関係と差分を求める必要がある。
【0021】
<全体概要>
図2は、第1実施形態に係る画像解析システム200の構成を示すブロック図である。
【0022】
画像解析システム200は、橋梁、トンネル、及び道路といったインフラを検査対象として、定期的にあるいは瞬間的に撮像された画像において構造物の変状を推定する。そして、画像解析システム200は、2つの撮像時点の変状の状態に基づいて変状の進展度を推測するシステムである。
【0023】
画像解析システム200は、カメラ201、クライアントPC202、携帯端末203、画像保管サーバ204、画像解析サーバ205、及び解析結果保管サーバ206を備える。また、クライアントPC202、携帯端末203、画像保管サーバ204、画像解析サーバ205、及び解析結果保管サーバ206は、同一のネットワーク207で接続されている。ネットワーク207は、インターネットでもよく、ローカルネットワークであっても良い。
【0024】
カメラ201は、検査者が任意のタイミングで撮影した変状の画像を、USB及びネットワークなどを経由して、クライアントPC202に転送する。
【0025】
クライアントPC202は、カメラ201から転送された画像を、画像保管サーバ204又は画像解析サーバ205に送信する。また、クライアントPC202は、画像解析サーバ205に変状の検知及び経年劣化解析の指示を送信する。また、クライアントPC202は、画像解析サーバ205が管理する解析処理結果の取得指示を送信する。また、クライアントPC202は、取得した解析結果の表示を行う。
【0026】
携帯端末203は、検査者が任意のタイミングで撮影した変状の画像を、画像保管サーバ204又は画像解析サーバ205に送信する。また、携帯端末203は、クライアントPC202と同様に、変状の検知、経年劣化解析の指示、解析処理結果の取得指示、及び取得した解析結果の表示を行う。
【0027】
画像保管サーバ204は、クライアントPC202及び携帯端末203から送信された解析対象の画像を受信し、保管する。
【0028】
画像解析サーバ205は、クライアントPC202及び携帯端末203から送信された画像を受信する。また、画像解析サーバ205は、クライアントPC202及び携帯端末203からの経年劣化解析の指示を受ける。そして、画像解析サーバ205は、画像保管サーバ204から指定された同一インフラの同一壁面を撮影した第1の画像及び第2の画像を取得する。また、画像解析サーバ205は、取得した画像を用いて、壁面の変状を推測し、第1の画像と第2の画像の変状の差分を抽出する解析処理を行い、解析結果を解析結果保管サーバ206に送信する。また、画像解析サーバ205は、クライアントPC202及び携帯端末203に代わって、解析結果の表示を行っても良い。
【0029】
解析結果保管サーバ206は、画像解析サーバ205から送信された変状の位置情報、変状を重畳した画像、第1の画像と第2の画像の変状の差分情報などの解析結果を受信し、それらを保管する。
【0030】
なお、本実施形態ではクライアントPC202が情報処理装置であるものとして説明するが、携帯端末203のような撮像装置が情報処理装置として用いられても良い。また、本実施形態では撮像装置が、カメラ201と携帯端末203であるものとして説明するが、ネットワークに接続された定点カメラなど別の撮像装置でも良い。
【0031】
<ハードウェア構成>
図3は、第1実施形態に係る画像解析サーバ205のハードウェア構成を示す図である。
【0032】
画像解析サーバ205は、バス306に接続されたCPU300、RAM301、ROM302、ネットワークI/F303、ストレージI/F304、及びストレージ305を備える。
【0033】
CPU300は、バス306を介して接続される各機能部を統括的に制御する。
【0034】
RAM301は、高速にアクセス可能なCPU300の主メモリ、およびワークメモリなどの一時記憶領域として用いられる。
【0035】
ROM302は、後述するフローチャートに示す処理プログラム、およびデバイスドライバなどを格納している。
【0036】
ネットワークI/F303は、他の装置と通信を行う際に用いられる。
【0037】
ストレージI/F304は、ストレージ305との間でデータの入出力を行う。
【0038】
ストレージ305は、クライアントPC202及び携帯端末203から受信した画像、画像保管サーバ204から受信した画像、画像を解析した解析結果、並びに画像解析サーバ205の内部で稼働するプログラムおよびOSを格納する。電源投入時に、必要な情報がRAM301に読み込まれる。ストレージ305と同様の役割を果たす構成として外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア(記録媒体)と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク(FD)、CD-ROM、DVD、USBメモリ、MO、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置等であってもよい。
【0039】
なお、画像保管サーバ204及び解析結果保管サーバ206は、画像解析サーバ205と同等の構成を持つ。なお、以上の各構成要素と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【0040】
<機能ブロック図>
図4は、第1実施形態に係る画像解析サーバ205の機能構成を示すブロック図である。
【0041】
画像解析サーバ205は、記憶部400、管理部401、通信部402、変状検出部403、補修領域検出部404、変状比較部405、判定部406、及び原因推定部407を有する。各機能部は、CPU300が、ROM302に格納されたプログラムをRAM301に展開し、後述する各フローチャートに従った処理を実行することで実現されている。そして、各処理の実行結果をRAM301に保持する。例えば、CPU300を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部及び回路を構成すればよい。
【0042】
記憶部400は、経年劣化判定に用いる画像、メタデータ、及び図面座標情報を記憶する。
【0043】
管理部401は、通信部402を通じて取得した画像を記憶部400に格納する。また、管理部401は、記憶部400に格納された、異なる撮影時期に撮影された画像、各画像に対応する変状データ、及び構造物に係る構造情報を管理する。
【0044】
通信部402は、ネットワークI/F303を介して、クライアントPC202、携帯端末203、及び画像保管サーバ204から通信可能な形式の画像とメタデータを受け取り、それらを管理部401に出力する。
【0045】
また、後述の変状比較処理において、妥当なひび及び変状の経年劣化が見られる場合、画像毎の検知結果と変状の進展度の情報を、解析結果保管サーバ206に格納する。経年劣化ではない差分が見られる場合、画像毎の検知結果と進展度、並びに推測された原因の情報を、解析結果保管サーバ206に格納し、クライアントPC202又は携帯端末203に表示する。
【0046】
変状検出部403は、機械学習により、第1の画像と第2の画像からひび及び変状を抽出し、ひびに関しての幅を推定する。
【0047】
補修領域検出部404は、機械学習により、第2の画像から第1の画像と比べて周囲の構造体とのRGB差及びチョーク痕に基づいて補修したと考えられる領域を抽出する。
【0048】
変状比較部405は、変状検出部403が検出した第1の画像の変状領域と第2の画像の変状領域の対応付け及び補正等を行う。変状比較部405は、補修領域検出部404が検出した補修領域を考慮して、第1の画像の変状領域と第2の画像の変状領域との差分を抽出する。
【0049】
判定部406は、変状比較部405が検出した差分に基づいて、時系列的に起こり得ないひび及び変状領域の減少が一定以上発生しているかを判定する。
【0050】
原因推定部407は、判定部406で経年劣化として妥当ではないと判定された場合に、第1の画像と第2の画像を比較して、撮影条件等の違いを推定する。
【0051】
<画像と変状データの関係と構造情報の説明>
図5は、第1実施形態に係る画像と変状データの関係、および構造情報を説明する図である。画像点検において、構造物の壁面を撮影した画像は、図面と対応付けて管理することが好ましい。
【0052】
図5(a)は、インフラ構造物の1つの例として、図面へ張り付けた橋梁の壁面を撮影した画像500を示している。図面は、点501を原点とした図面座標502を持つ。画像500の図面上の位置は、画像500の左上の頂点座標で定義される。例えば、ある床板の図面に対して、分割した4枚の画像を撮影した場合、各画像の位置は、図面座標502における各画像左上の頂点の位置となる。画像500は、画像の位置を示す座標情報とともに、記憶部400に記憶されている。
【0053】
本実施形態において、インフラ構造物の画像点検で使用する画像のサイズは、微細なひび割れなどを確認できるよう高解像度(例えば、1画素あたり1mm)で撮影するため、大きい。例えば、図5(a)の図面に貼り付けた画像500は、サイズ20m×10mの橋梁の床板を撮影した画像である。画像解像度が1画素あたり1.0mm(1.0mm/pixel)の場合、画像サイズは20,000pixel×10,000pixelとなる。
【0054】
変状データは、コンクリート壁面に生じるひび割れ等の変状の自動検出結果及び人間による入力結果を記録した情報である。本実施形態では、変状データは図面に対応付けて管理しているものとする。図5(b)は、図面に貼り付けた画像500に対応する変状データを、画像500と同じ位置で図面に張り付けた状態510を示す。各変状データの図面上の位置は、変状データを構成する画素の図面座標で定義される。変状データの表現は、複数点から構成されるポリライン及び曲線等のベクターデータで表現されてもよい。変状データをベクターデータで表現する場合、データ容量が減少し、より簡略的な表現となる。ひび割れ以外の変状データの例として、鉄筋露出がある。鉄筋露出をポリラインで表現する場合、ポリラインで囲まれた領域を持つ変状となる。変状データの持つ属性情報は、座標、幅、長さ、面積などの数値情報に限定されるものではなく、その他の属性情報を保持してもよい。
【0055】
構造情報とは、検査対象の構造に係る情報であり、構造物の種別と基本構造、構造物の各種寸法、部材情報、竣工年度をはじめとする諸元を含む情報である。さらに、補修実績として、補修年度、補修箇所、補修方式といった保守メンテナンスに係る情報を含んでもよい。本実施形態では、部材情報及び補修情報といった構造物の特定位置に関する構造情報は、図面上における位置情報である図面座標とともに記憶されているものとする。すなわち、各部材の図面上の位置及び補修箇所の図面上の位置が構造情報の一部として記憶される。したがって、図面を介して、構造情報、画像、及び変状データとの対応関係を求めることができる。構造情報は、画像及び変状データとともに記憶部400に格納され、管理部401により取得することができる。なお、構造情報は、上記の情報を含むことに限定されるものではなく、その他の情報を保持してもよい。また、構造物の種別に応じて、種別ごとに限定された情報を保持してもよい。
【0056】
<第1実施形態の処理の流れ>
図6は、第1実施形態に係る情報処理装置の経年劣化判定処理を説明するフローチャートである。以下、各工程(ステップ)は、それら符号の先頭にはSを付与して説明することとする。本実施形態では、構造物の壁面に生じる変状の進展度を算出するために、2つの異なる撮影時期に撮影した画像を用いる。第1の画像と第2の画像はともに、同一構造物の同一壁面に生じる変状を撮影した画像である。第1の画像を撮影した時期は、第2の画像を撮影した時期よりも過去(例えば5年前)の時期とする。第1の画像から変状を検出したデータを第一の変状データとし、第2の画像から変状を検出したデータを第二の変状データとする。本実施形態では、クライアントPC202から、処理開始の入力を受け付けて、図6のフローチャートの処理を開始する。そして、経年劣化の判定処理が完了したら、判定結果を示す表示データをクライアントPC202に送信して、処理が終了する。以下、図6のフローチャートに従って本実施形態の処理を説明する。
【0057】
<変状の検出と差分の抽出>
S600で変状検出部403は、管理部401が通信部402あるいは記憶部400から取得した第1の画像に対して、変状及びひびの検知処理を行い、第一の変状データを抽出する。
【0058】
S601で変状検出部403は、管理部401が通信部402あるいは記憶部400から取得した第2の画像に対して、変状及びひびの検知処理を行い、第二の変状データを抽出する。
【0059】
S602で変状比較部405は、第一の変状データのそれぞれのひび及び変状に対して、近似した図面座標に存在する第一の変状データと同一種別の第二の変状データを抽出する。これにより、第1の画像のひびに対して、第2の画像の近似座標のひびを対応付け、第1の画像の鉄筋露出には、第2の画像の近似座標の鉄筋露出を対応付ける。ある第一の変状に対して、複数の近似座標の第二の変状が存在する場合、変状の形状及びベクターの方向によって、類似度を算出して第一の変状データと第二の変状データとを対応付けても良い。画像の位置合わせ及び第一の変状データと第二の変状データの対応付けに関しては、既存の技術で示されているため、詳細な説明を省略する。
【0060】
S603で変状比較部405が、S602で抽出した第一の変状データと第二の変状データのペアに基づいて、変状領域の差分を算出する。この際、第一の変状データに比べて、第一の変状データに対応する第二の変状データの面積が拡大しているか、又は、ひびの幅が太くなっているなどの場合は、正の差分があるとする。一方で、第一の変状データに比べて、第一の変状データに対応する第二の変状データの面積が縮小しているか、又は、ひびの幅が細くなっているなどの場合は、負の差分があるとする。ここで、図7は、第1実施形態に係る変状データ間の正の差分と負の差分を説明する図である。
【0061】
図7(a)は、第1の画像701と第2の画像702との正の差分を示す図である。
【0062】
第1の画像701は、変状703と変状704を含む。また、第2の画像702は、変状705、変状706、変状707を含む。変状703と変状705のペア、及び、変状704と変状707のペアはそれぞれ、図6のS602において、互いに異なる撮影時点における変状のペアとして検出される。差分画像708は、第1の画像701と第2の画像702との差分を示す画像であり、変状差分709、変状差分710、変状差分711を含む。変状差分709及び変状差分711は、経年劣化により変状が拡大したことを示す。変状差分710は、新規変状の発生を示す。このように、変状差分709~変状差分711はいずれも正の差分として検出される。
【0063】
図7(b)は、第1の画像721と第2の画像722との負の差分を示す図である。
【0064】
差分画像723は、第1の画像721と第2の画像722との差分を示す画像であり、変状差分724、変状差分725、変状差分726を含む。変状差分724~変状差分726はいずれも変状の減少(例えば、ひび割れ長さの縮小又はひび割れの消失)を示しているため、「負の差分候補」として検出される。負の差分は、構造物における通常の時系列変化(経年劣化)では発生し得えない。通常の経年劣化とは、例えば、ひび割れの長さが長くなること、及び、ひび割れの幅が太くなることを指す。ここで、図6の説明に戻る。
【0065】
S604で判定部406は、S603において抽出された第1の画像と第2の画像との負の差分候補に基づいて、第2の画像が第1の画像との比較に適しているか否かを判定する。例えば、差分画像723が示すように負の差分候補が多数を占めるなど、通常の時系列変化(経年劣化)では起こりえない差分が見られる場合、第2の画像が第1の画像との比較に適さないと判定する。判定部406は、第2の画像が第1の画像との比較に適すると判定した場合(S604でYes)、処理をS605へ進める。一方で、判定部406は、第2の画像が第1の画像との比較に適さないと判定した場合(S604でNo)、処理をS606へ進める。
【0066】
<変状差分が時系列的に妥当かどうかの判定方法>
図8は、第1実施形態に係る図6のS604の判定処理の詳細を示すフローチャートである。以下、図8のフローチャートに従って、不適切な変状差分の判定方法を説明する。
【0067】
S800で補修領域検出部404が、第1の画像からの経過期間の間に補修した領域を第2の画像において検出する。例えば、セマンティックセグメンテーションなどの機械学習により、予め補修履歴を示すチョーク痕及び周囲の構造物との色と陰影の差を学習データとして学習させたモデルを用いて、第2の画像から「補修領域」を検出できる。
【0068】
S801で変状比較部405が、S603において検出された第一の変状データ(第1の画像721)と第二の変状データ(第2の画像722)との負の差分候補の内、変状面積の減少領域とひび長の短縮領域ごとに、S802からS804の処理を実施する。本繰り返し処理は、負の差分候補の中で第2の画像自体に起因しない現象を判定し、不適切な変状領域の減少のみを抽出する事を目的とする。具体的には、負の差分候補と補修領域との重複と、負の差分候補と他種別の変状領域との重複を判定することを目的とする。
【0069】
S802で変状比較部405は、負の差分候補がS800で判定された補修領域と後述の時系列的に妥当な別種別の変状領域(他の変状領域とも呼ぶ)との少なくとも一方と重複するかを判定する。変状比較部405は、負の差分候補が補修領域と他の変状領域の少なくとも一方と重複すると判定した場合(S802でYes)、処理をS805へ進める。一方で、変状比較部405は、負の差分候補が補修領域と他の変状領域の少なくとも一方と重複しないと判定した場合(S802でNo)、処理をS804へ進める。なお、補修領域と他の変状領域を総称して「他の領域」と呼ぶ。ここで、図9は、第1実施形態に係る負の差分候補を負の差分領域としてカウントしない場合を説明する図である。
【0070】
図9(a)において第1の画像901の撮影時期と第2の画像902の撮影時期との間に、例えば、保守管理者が第1の画像901の変状データ903を確認して、構造物の補修を行う可能性がある。変状データ904は、第2の画像902の変状領域を示す。補修領域905(破線の矩形領域で図示)は、例えば、保守管理者によって補修された領域を示す。補修領域905は、第1の画像901において変状データ903の一部として検出される。しかし、補修領域905は、第2の画像902において変状領域として検出されないか、あるいは補修後の経年劣化による部分的な変状データ904として検出される。ここで、変状データ904では、補修領域905との重複により、変状データ903に比べて変状領域の減少(具体的には、ひび長の減少)が生じている。そのため、第2の画像902は第1の画像901との比較に不適な画像ではない。よって、変状比較部405は、変状データ904を負の差分領域としてカウントしない。ここで、図8の説明に戻る。
【0071】
図9(b)の第1の画像911のはく落変状データ913と第2の画像912のはく落変状データ914との差分抽出で、第2の画像912において負の差分候補となる変状データ915が抽出されている。また、第2の画像912の鉄筋露出の変状データとして、変状データ915が検出されているものとする。この場合、第1の画像911の撮影時期にはく落の状態にあった箇所が、第2の画像912の撮影時期に更にはく落を起こし、構造物内部の鉄筋が露出しているというのは、時系列上発生しうる。これを時系列的に妥当な別種別への変化と呼ぶ。このような例は他にも存在する。例えば、ひびであった箇所がコンクリートのはく落を引き起こすこと、ひびの箇所が漏水に変化すること、漏水であった箇所が内部の鉄筋に到達し錆汁となることなどが挙げられる。どのような変状の変化を時系列的に妥当とするかは、検知する変状の種別に因るが、事前にアルゴリズムとして規定しても良いし、よく検出される変状の変化に基づく機械学習を繰り返し行って自動で判定しても良い。
【0072】
第1の画像911と第2の画像912との比較により検出された負の差分候補が時系列的に妥当な別種別の領域(他の変状領域)と重複している場合は、変状データ915を起こり得る変状の減少とみなす。そのため、第2の画像912は、第1の画像911との比較に不適な画像ではない。よって、変状比較部405は、変状データ915を負の差分領域としてカウントしない。ここで、図8の説明に戻る。
【0073】
S804で変状比較部405は、S802の判定結果に基づいて、負の差分候補の中から負の差分領域を決定する。
【0074】
S805で変状比較部405は、S603において検出された第一の変状データ(第1の画像721)と第二の変状データ(第2の画像722)の負の差分の内、ひび幅の減少ごとに、S806とS807の処理を実施する。ひび幅は補修によって細くなることはあるが、別変状への変化によってひび幅は細くなることがないため、S801とは異なり、負の差分候補と補修領域との重複のみを判定する。
【0075】
S806で変状比較部405が、S802と同様に、S800で判定された補修領域が、負の差分候補と重複しているかを判定する。ここで、本処理を、図9(c)を用いて説明する。
【0076】
図9(c)の第1の画像921の撮影時期と第2の画像922の撮影時期の間に、保守管理者は、第1の画像921の点検結果を確認し、構造物の補修を行う可能性がある。第1の画像921は、第一のひびデータ923を示す。第2の画像922は、第二のひびデータ924及び補修領域925を示す。第2の画像922の補修領域925において、第一のひびデータ923の幅よりも第二のひびデータ924の幅が細くなることは、補修後の経年劣化によって発生し得る。そのため、変状比較部405は、第二のひびデータ924を負の差分領域としてカウントしない。
【0077】
S807で変状比較部405は、S806の判定結果に基づいて、ひび幅に関連する負の差分候補の中から負の差分領域を決定する。
【0078】
S808で判定部406は、S804とS807での判定結果に基づいて、第二の変状データ(第2の画像722)の全体に対して負の差分領域の占める割合を計算する。例えば、ひび長、変状面積、及びひび幅の第二の変状データの全体量ごとに、それぞれ負の差分の割合を計算しても良い。計算した割合が事前に設定した一定値を超える場合、第2の画像は、第1の画像との比較に適した画像ではないと判定して、処理を終了する。
【0079】
S809で判定部406が、S804とS807の判定結果に基づいて、負の差分の変状面積、ひび長、及びひび幅の絶対量を計算する。また、ひび長、変状面積、ひび幅ごとに、絶対量の計算をしても良い。計算した絶対量が事前に設定した一定値を超え、かつS808で計算された全体に占める割合が一定値以下である場合、第2の画像の一部分において第1の画像と同様に変状を検知できていない可能性がある。そのため、第2の画像は、第1の画像との比較に適した画像ではないと判定して、処理を終了する。
【0080】
S808とS809のいずれでも、負の差分が一定値以下であると判定された場合、第2の画像は、第1の画像との比較に適した画像であると判定して、処理を終了する。ここで、図6の説明に戻る。
【0081】
<条件の違いの推定と経年劣化判定結果の表示>
S605で管理部401は、S604で第2の画像が第1の画像との比較に適していると判定した場合、通信部402を通して、第1の画像と第2の画像とに基づく経年劣化の進展度を、クライアントPC202または携帯端末203に表示する。例えば、経年劣化の進展度は、ひびの長さが何mm増加したなどの情報であるが、これに限られない。
【0082】
S606で原因推定部407は、S604で第2の画像が第1の画像との比較に適していないと判定した場合、第1の画像の撮影条件と第2の画像の撮影条件との違いを推定する。撮影条件の違いとして、例えば、画像のゆがみ、明暗、時刻、天気が挙げられる。
【0083】
原因推定部407は、第2の画像のゆがみを判定するために、第2の画像の負の差分領域の左右端への偏りを算出する。第2の画像の左右端に負の差分領域が集中して存在する場合、撮影角度の違いにより、第1の画像と比較して第2の画像で正しく変状を検出できていない可能性がある。偏りの算出には、図面座標上の負の差分位置を、k-meansに代表されるクラスタリングによって分類して、左右端の領域に一定割合以上の要素を含むクラスタが存在するかで判定する。また、第2の画像を複数領域に分割し、第2の画像の左右端の領域と中央部の領域とで負の差分領域が占める画素数の比率が一定以上になっているかで判定しても良い。
【0084】
また、原因推定部407は、明暗差を判定するために、第1の画像と第2の画像の画素ごとの輝度の平均を算出する。第1の画像と比べて第2の画像が明るいまたは暗い場合、第2の画像は第1の画像との比較に適していない画像である。輝度の平均差は、第1の画像の画素ごとの輝度と第2の画像の画素ごとの輝度を集団とし、ウェルチのt検定など統計的手法により、集団の平均の差が有意に存在するかを判定する。1画像内でそもそも輝度にばらつきがある場合は、正規分布を前提としない別の統計検定を用いても良い。また、第1の画像と第2の画像を複数領域に分割し、領域ごとに検定を行って、部分的な輝度の差を推定しても良い。
【0085】
また、原因推定部407は、撮影時刻の違いの判定方法として、第1の画像の撮影時刻と第2の画像の撮影時刻とが一定時間以上離れているかを判定する。撮影時刻の差が大きい場合には、構造物にかかる影等が異なることがある。この場合に撮影された第2の画像は、第1の画像との比較に適した画像ではない。
【0086】
また、原因推定部407は、撮影時の天気の違いを判定するために、第1の画像と第2の画像の撮影日時とGPS座標情報、外部のオープンデータに基づいて、撮影前日と撮影当日の天気及び降水量を取得し、それらの情報に違いがあるかを判定する。天気の差がある場合(晴れと雨の場合など)には、構造物にかかる雲の影と降水による表面色の変化から、変状の検出結果が異なることがある。この場合に撮影された第2の画像は、第1の画像との比較に適した画像ではない。
【0087】
S607で管理部401は、通信部402を通して、第1の画像、第2の画像、第2の画像の負の差分領域のリスト、及びS606で推定された原因を、クライアントPC202又は携帯端末203に表示する。
【0088】
図10は、第1実施形態に係る経年劣化判定機能の画面の一例を示す図である。図10の画面はクライアントPC202または携帯端末203に表示される。
【0089】
図10(a)は、第1の画像と第2の画像を登録した後の、経年劣化判定機能を実施する画面1000を示す。表示1001は、第1の画像の撮影日と画像名を示す。表示1002は、第2の画像の撮影日と画像名を示す。表示1003は第1の画像を示す。表示1004は第2の画像を示す。ボタン1005は、経年劣化判定機能を実施するためのボタンであり、ユーザが押下することにより、画像解析サーバ205で図6の処理が行われる。アラート1006は、画面1000の初期表示時には表示されない。図6の判定処理が完了した後に、第2の画像が第1の画像との比較に適していないと判定された場合に、アラート1006は表示される。アラート1006の文言は、S606の推定結果に基づき変更する。図10(a)のアラート1006には、「撮影条件が同一でない可能性があります。影や撮影時刻が同一でない可能性があるため、再撮影をしてください。」が表示されている。なお、ユーザに再撮影を促す手段は、アラート1006の表示に限られず、例えば、警告音、光の点滅、及び振動などを用いてユーザに再撮影を促しても良い。また、ユーザがアラート1006を押下すると、図10(b)の画面1010に遷移する。
【0090】
図10(b)は、異常検知差分領域の一覧を表示する画面1010を示す。表示1011は、第2の画像における異常検知差分領域(負の差分領域)のサムネイルの一覧を示す。表示1012は、一覧の個別の負の差分領域のサムネイルを示す。ユーザが表示1012を押下することで、画面1013と画面1014を、画面1010の中央部に表示する。画面1013は、表示1011で選択されたサムネイルの第1の画像の第一の変状データを示す。画面1014は、表示1011で選択されたサムネイルの第2の画像の第二の変状データを示す。ユーザは、画面1013と画面1014を介して、第1の画像と比較して第2の画像のどの変状領域が減少しているかを確認することができる。
【0091】
以上のように、第1実施形態によれば、第1の画像と第2の画像の変状データを比較し、現在の撮影条件が前回の撮影条件と同一ではない場合に推定される原因と負の差分領域をユーザに通知できる。これにより、ユーザが目視で前回の撮影画像との撮影条件の差異に気づかないケースを防止できる。また、ユーザが撮影現場にて経年劣化判定結果をチェックすることにより、再撮影が必要な場合の運用ロスを低減することができる。
【0092】
(第2実施形態)
以下、第2実施形態について図面を参照して詳細に説明する。なお、第1実施形態で説明した内容と共通するものについては同番号を付与し、説明を省略する。第2実施形態では、第1実施形態のように補修領域を自動で判定しない。また、第2実施形態では、サービスユーザが座標情報を記入したファイル等をアップロードすることにより、経年劣化判定前に補修情報を登録する機能を提供する例について説明する。
【0093】
図11は、第2実施形態に係る画像解析サーバ205の機能構成を示すブロック図である。画像解析サーバ205は、記憶部400、管理部401、通信部402、変状検出部403、変状比較部405、判定部406、原因推定部407、及び補修領域登録部408を有する。
【0094】
第2実施形態の記憶部400、通信部402、変状比較部405で実現する機能は、第1実施形態のそれらの機能とは異なる。また、第2実施形態では補修領域検出部404が削除され、補修領域登録部408が追加される。その他の機能ブロックは、第1実施形態と同じであるため説明を省略する。
【0095】
本実施形態における、経年劣化判定処理の時系列に沿って、機能ブロックの詳細を説明する。
【0096】
補修領域登録部408は、経年劣化判定処理の前処理として、通信部402を通じて取得した補修領域情報を記憶部400に登録する。ここで、図12は、第2実施形態に係る補修領域の登録ファイルの内容を示す図である。
【0097】
図12(a)は、第一の変状データに基づいて、第1の変状を補修した例を示す。図12(a)は、第1の変状データ1201と、補修材を用いてひびを埋めた補修領域1202とを示す。この例では、実際の変状とひびに対して、補修を行ったポリラインの領域を補修領域1202としているが、広範な矩形領域としても良い。
【0098】
図12(b)は、図12(a)の補修領域を図面座標上で表現した補修領域登録情報の例である。本ファイル(補修領域登録情報)を登録することで、補修領域のIDと面積、ポリラインの頂点数、及び各頂点の図面座標を、経年劣化判定前に補修履歴として保管することができる。
【0099】
記憶部400は、第1実施形態の機能に追加して、経年劣化判定用の補修領域情報を記憶する。
【0100】
通信部402は、第1実施形態の機能に追加して、ネットワークI/F303を介して、クライアントPC202又は携帯端末203から補修領域情報を受け取り、補修領域登録部408に出力する。
【0101】
変状検出部403は、第1の実施形態と同様であるため、説明を省略する。
【0102】
変状比較部405は、管理部401を通じて記憶部400に保管された補修領域情報を取得して、S603の処理を実施する。この際、変状比較部405は、図面座標を元にして、第一の変状データ、第二の変状データ、及び補修領域情報の位置合わせを行って、重複を判定する。
【0103】
判定部406と原因推定部407は、第1実施形態と同様であるため、説明を省略する。
【0104】
以上の通り、第2実施形態によれば、経年劣化判定前に補修実績に基づいて図面座標に対応したファイル(補修領域)を登録することで、より正確に補修領域を考慮した負の差分領域の判定を行うことができる。
【0105】
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0106】
本明細書の開示は、以下の情報処理装置、システム、方法、及びプログラムを含む。
(項目1)
第1の撮影時刻に被写体を撮影した第1の画像において検出された第1の変状領域と、前記第1の撮影時刻よりも後の第2の撮影時刻に前記被写体を撮影した第2の画像において検出された第2の変状領域とを取得する取得手段と、
前記第1の変状領域と、前記第2の変状領域とに基づいて、変状領域の経年劣化が適切であるかを判定する判定手段と、を備える、
ことを特徴とする情報処理装置。
(項目2)
前記判定手段は、前記第2の変状領域が第1の変状領域よりも小さいことを示し、かつ前記第2の変状領域と他の領域とが重複する場合、前記変状領域の経年劣化が適切であると判定し、
前記他の領域は、前記第1の撮影時刻から前記第2の撮影時刻までに発生した前記第2の変状領域に関連する領域である、
ことを特徴とする項目1に記載の情報処理装置。
(項目3)
前記判定手段は、前記第2の変状領域が第1の変状領域よりも小さいことを示し、かつ前記第2の変状領域と前記他の領域とが重複しない場合、前記変状領域の経年劣化が適切ではないと判定する、
ことを特徴とする項目2に記載の情報処理装置。
(項目4)
前記他の領域を予め登録する登録手段をさらに備え、
前記判定手段は、前記登録手段によって登録された前記他の領域に基づいて、前記変状領域の経年劣化が適切であるかを判定する、
ことを特徴とする項目2又は3に記載の情報処理装置。
(項目5)
前記第1の変状領域と前記第2の変状領域とに基づいて、前記変状領域の経年劣化の進展度を算出する比較手段をさらに備える、
ことを特徴とする項目2から4のいずれか一項目に記載の情報処理装置。
(項目6)
前記第2の画像において前記他の領域を検出する検出手段をさらに備え、
前記他の領域は、前記第2の変状領域の少なくとも一部に対する補修領域と、前記第2の変状領域の種類とは異なる種類に属する第3の変状領域との少なくともいずれかを含む、
ことを特徴とする項目2から5のいずれか一項目に記載の情報処理装置。
(項目7)
前記検出手段は、前記第2の画像におけるチョーク痕と画素値の差分との少なくともいずれかに基づいて、前記他の領域を検出する、
ことを特徴とする項目6に記載の情報処理装置。
(項目8)
前記判定手段の判定結果に基づいて、前記変状領域の経年劣化が適切ではない原因を推定する推定手段と
前記判定手段の判定結果と前記推定手段の推定結果との少なくとも一方を通知する通知手段と、をさらに備える、
ことを特徴とする項目2から7のいずれか一項目に記載の情報処理装置。
(項目9)
前記推定手段は、前記第2の画像における前記他の領域の分布に基づいて、前記原因が画像のゆがみに関連する撮影条件であると判定する、
ことを特徴とする項目8に記載の情報処理装置。
(項目10)
前記推定手段は、前記第1の画像と前記第2の画像のそれぞれの特徴と撮影条件に基づいて、前記原因が明暗に関連する撮影条件、撮影時刻、及び撮影時の天気の少なくともいずれかであると判定する、
ことを特徴とする項目8又は9に記載の情報処理装置。
(項目11)
前記第1の変状領域と前記第2の変状領域は、ひび割れ、浮き、剥落、エフロレッセンス、鉄筋露出、錆、漏水、水垂れ、腐食、損傷、コールドジョイント、析出物、及びジャンカの少なくともいずれか示す領域を含む、
ことを特徴とする項目1から10のいずれか一項目に記載の情報処理装置。
(項目12)
前記被写体は構造物である、
ことを特徴とする項目1から11のいずれか一項目に記載の情報処理装置。
(項目13)
被写体を撮影する撮像装置と、
項目1から11のいずれか一項目に記載の情報処理装置と、を備える、
ことを特徴とするシステム。
(項目14)
第1の撮影時刻に被写体を撮影した第1の画像において検出された第1の変状領域と、前記第1の撮影時刻よりも後の第2の撮影時刻に前記被写体を撮影した第2の画像において検出された第2の変状領域とを取得する取得工程と、
前記第1の変状領域と、前記第2の変状領域とに基づいて、変状領域の経年劣化が適切であるかを判定する判定工程と、を備える、
ことを特徴とする方法。
(項目15)
コンピュータを項目1から11のいずれか一項目に記載の情報処理装置として機能させるためのプログラム。
【0107】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0108】
200 画像解析システム
201 カメラ
202 クライアントPC
203 携帯端末
204 画像保管サーバ
205 画像解析サーバ
206 解析結果保管サーバ
207 ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12