特開 2024-92588 構造物判定装置、構造物判定方法、構造物判定プログラム、飛行撮影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024092588

(43)【公開日】2024-07-08

(54)【発明の名称】構造物判定装置、構造物判定方法、構造物判定プログラム、飛行撮影システム

(51)【国際特許分類】

   G06V 10/74 20220101AFI20240701BHJP

   F22B 37/02 20060101ALI20240701BHJP

   G06T 7/00 20170101ALI20240701BHJP

   G06N 20/10 20190101ALI20240701BHJP

【ＦＩ】

G06V10/74

F22B37/02 E

G06T7/00 300F

G06T7/00 610

G06N20/10

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022208632

(22)【出願日】2022-12-26

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100116274

【弁理士】

【氏名又は名称】富所 輝観夫

(72)【発明者】

【氏名】福井 基文

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096GA08

5L096GA41

5L096JA03

5L096JA11

(57)【要約】

【課題】画像に写る構造物を効果的に判定できる構造物判定装置等を提供する。
【解決手段】構造物判定装置３００は、カメラ３０によって撮影された構造物の撮影画像を取得する撮影画像取得部３１０と、画像格納部３０１に格納されている構造物の格納画像を取得する格納画像取得部３２０と、撮影画像および格納画像に写る構造物の類否を判定する類否判定部３４０と、を備える。撮影画像に写る構造物が未知であり、格納画像に写る構造物が既知である場合、類否判定部３４０は、類否判定結果に基づいて、未知の構造物を、それが類似する既知の構造物であると特定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮影装置によって撮影された構造物の撮影画像を取得する撮影画像取得部と、
画像格納部に格納されている構造物の格納画像を取得する格納画像取得部と、
前記撮影画像および前記格納画像に写る構造物の類否を判定する類否判定部と、
を備える構造物判定装置。

【請求項2】

前記撮影画像に写る構造物が未知であり、前記格納画像に写る構造物が既知である場合、
前記類否判定部は、類否判定結果に基づいて、前記未知の構造物を、それが類似する前記既知の構造物であると特定する、
請求項１に記載の構造物判定装置。

【請求項3】

前記類否判定部が前記未知の構造物と類似する前記既知の構造物を特定できなかった場合、前記撮影装置による前記未知の構造物の撮影を制限する撮影制限部を備える、請求項２に記載の構造物判定装置。

【請求項4】

前記撮影装置は、飛行体に設けられ、
前記撮影制限部は、前記類否判定部が前記未知の構造物と類似する前記既知の構造物を特定できなかった場合、前記撮影装置による前記未知の構造物の撮影のための前記飛行体の飛行を制限する、
請求項３に記載の構造物判定装置。

【請求項5】

前記撮影画像に写る構造物が既知であり、前記格納画像に写る構造物が未知である場合、
前記類否判定部は、類否判定結果に基づいて、前記未知の構造物を、それが類似する前記既知の構造物であると特定する、
請求項１に記載の構造物判定装置。

【請求項6】

前記撮影画像および前記格納画像に写る構造物の損傷を特定する損傷特定部を備え、
前記類否判定部は、前記損傷の類否判定結果に基づいて、前記撮影画像および前記格納画像に写る構造物の類否を判定する、
請求項１から５のいずれかに記載の構造物判定装置。

【請求項7】

前記類否判定部は、類否判定結果として、前記撮影画像および前記格納画像に写る構造物の類似スコアを算出する、請求項１から５のいずれかに記載の構造物判定装置。

【請求項8】

前記類否判定部による類否判定結果を表示する類否表示部を備える、請求項１から５のいずれかに記載の構造物判定装置。

【請求項9】

撮影装置によって撮影された構造物の撮影画像を取得する撮影画像取得ステップと、
画像格納部に格納されている構造物の格納画像を取得する格納画像取得ステップと、
前記撮影画像および前記格納画像に写る構造物の類否を判定する類否判定ステップと、
を備える構造物判定方法。

【請求項10】

撮影装置によって撮影された構造物の撮影画像を取得する撮影画像取得ステップと、
画像格納部に格納されている構造物の格納画像を取得する格納画像取得ステップと、
前記撮影画像および前記格納画像に写る構造物の類否を判定する類否判定ステップと、
をコンピュータに実行させる構造物判定プログラム。

【請求項11】

撮影装置が設けられる飛行体と、
前記撮影装置によって撮影された構造物の撮影画像を取得する撮影画像取得部と、
画像格納部に格納されている構造物の格納画像を取得する格納画像取得部と、
前記撮影画像および前記格納画像に写る構造物の類否を判定する類否判定部と、
を備える飛行撮影システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は構造物判定装置等に関する。

【背景技術】

【0002】

検査対象物を検査する際、検査対象物を撮影した検査画像を利用する技術が知られている。例えば、特許文献１は、土木構造物を検査対象物として、その検査画像に基づいて損傷を検査する技術を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－２１７２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ドローン等によって一または複数の検査対象物の各部が連続的に撮影される場合等には、撮影された各部または各構造物が適切に記録されない恐れがある。

【0005】

本発明はこうした状況に鑑みてなされたものであり、画像に写る構造物を効果的に判定できる構造物判定装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の構造物判定装置は、撮影装置によって撮影された構造物の撮影画像を取得する撮影画像取得部と、画像格納部に格納されている構造物の格納画像を取得する格納画像取得部と、撮影画像および格納画像に写る構造物の類否を判定する類否判定部と、を備える。

【0007】

この態様によれば、撮影装置によって撮影された撮影画像と、画像格納部に格納されている格納画像の比較に基づいて、両画像に写る構造物の類否を効果的に判定できる。

【0008】

本発明の別の態様は、構造物判定方法である。この方法は、撮影装置によって撮影された構造物の撮影画像を取得する撮影画像取得ステップと、画像格納部に格納されている構造物の格納画像を取得する格納画像取得ステップと、撮影画像および格納画像に写る構造物の類否を判定する類否判定ステップと、を備える。

【0009】

本発明の更に別の態様は、飛行撮影システムである。このシステムは、撮影装置が設けられる飛行体と、撮影装置によって撮影された構造物の撮影画像を取得する撮影画像取得部と、画像格納部に格納されている構造物の格納画像を取得する格納画像取得部と、撮影画像および格納画像に写る構造物の類否を判定する類否判定部と、を備える。

【0010】

なお、以上の構成要素の任意の組合せや、これらの表現を方法、装置、システム、記録媒体、コンピュータプログラム等に変換したものも、本発明に包含される。

【発明の効果】

【0011】

本発明によれば、画像に写る構造物を効果的に判定できる。

【図面の簡単な説明】

【0012】

【図1】ＣＦＢボイラを備える発電設備の全体的な構成を示す。

【図2】ボイラの火炉における水管壁を示す一部破断斜視図である。

【図3】構造物判定装置の機能ブロック図である。

【図4】表示装置の画面例を示す。

【発明を実施するための形態】

【0013】

以下では、図面を参照しながら、本発明を実施するための形態（以下では実施形態とも表される）について詳細に説明する。説明および／または図面においては、同一または同等の構成要素、部材、処理等に同一の符号を付して重複する説明を省略する。図示される各部の縮尺や形状は、説明の簡易化のために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施形態は例示であり、本発明の範囲を何ら限定するものではない。実施形態に記載される全ての特徴やそれらの組合せは、必ずしも本発明の本質的なものであるとは限らない。

【0014】

本発明の構造物判定装置等は、任意の構造物の判定に利用できる。本実施形態では、比較的大型の構造物を対象とする。このような大型構造物としては、ボイラや建設機械等の各種の産業機械または産業設備、道路、トンネル、橋梁、ダム、堤防等の社会インフラ、環境プラントや水処理施設等の各種の産業構造物、高層ビル、駅、港湾、工場等の建造物が例示される。本実施形態では、大型構造物または産業設備としてのボイラの火炉の水管壁を対象とする例を中心に説明する。本実施形態における「構造物」は、以上のような大型構造物の全体を表すこともあるが、多くの場合、撮影装置としてのドローン等によって撮影される大型構造物の各部を表す。換言すれば、本実施形態における「構造物」は、主に撮影装置によって撮影された各画像に写る物を表す。

【0015】

図１は、ＣＦＢ（Circulating Fluidized Bed：循環流動層）ボイラを備える発電設備の全体的な構成を示す。なお、ＣＦＢボイラの代わりにＢＦＢ（Bubbling Fluidized Bed：気泡型流動床）ボイラやロータリーキルン等の他の任意の燃焼設備を発電設備に設けてもよい。

【0016】

ＣＦＢボイラは、珪砂等の流動材が流動する火炉１１内に石炭等の化石燃料等の燃料を供給して燃焼させる燃焼部１と、燃焼部１で発生した熱によって水から蒸気を発生させる蒸気発生部２と、火炉１１外に出た流動材を捕集して火炉１１内に戻す循環部としての流動材循環部３と、蒸気発生部２に供給される水、蒸気発生部２で発生する蒸気を燃焼部１の高温の排気によって加熱する伝熱部４と、伝熱部４からの排気中の煤や粉塵を分離して捕集する排気処理装置５と、排気処理装置５によって清浄化された排気を大気に放出する煙突６を備える。

【0017】

燃焼部１は燃焼室としての火炉１１を備える。火炉１１は鉛直方向に長尺の筒状であり、石炭等の固形燃料や流動材の密度を高めて効率的な燃焼を可能とするため底部が先細り形状となっている。火炉１１の底部の「Ａ」で示される領域は、高密度の流動材によって形成される流動層（流動床や砂層とも呼ばれる）を示す。流動層Ａでは、珪砂等の粉末状、粒子状、塊状の流動材が、火炉１１の底部から供給される流動流体によって流動している。流動層Ａに投入された石炭等の固形燃料は、流動層Ａ内で撹拌されるように高温の流動材と繰り返し接触することで効率的に燃焼される。

【0018】

火炉１１の底部には、ガスを透過させる多孔質材料で構成された流体透過部としての多孔板（分散板とも呼ばれる）１２１が設けられる。多孔板１２１の直下の空間である風箱１２２は、送風機としての第１ブロワ７１から第１流量制御バルブ７１Ａを介して供給される流動流体を、多孔板１２１を介して火炉１１内に供給する流動流体供給部を構成する。風箱１２２によって火炉１１の底部に供給されたガスは、流動材を流動させて流動層Ａを形成すると共に、流動層ＡまたはフリーボードＢにおける燃料の燃焼に使われる。

【0019】

第１ブロワ７１に加えて設けられる第２ブロワ７２は、フリーボードＢにおける燃料の燃焼を促進して不完全燃焼によるダイオキシンや一酸化炭素等の有害物質の発生を抑制するために、空気等を第２流量制御バルブ７２Ａを介してフリーボードＢ内に供給する。第１ブロワ７１および第２ブロワ７２は、火炉１１における燃焼によって発生した二酸化炭素を含む排気の少なくとも一部を排気処理装置５から火炉１１に環流させてもよい。

【0020】

流動層Ａにおける流動材を循環させるために、火炉１１外の循環経路を有する外部循環機構１３が設けられる。外部循環機構１３は、火炉１１の底部に連通して流動層Ａにおける流動材の一部を抜き出し可能な抜出管１３１と、抜出管１３１を開閉制御して流動材の流量すなわち抜出管１３１による流動材の抜き出し量を調節可能な開閉弁１３２と、抜出管１３１で抜き出された流動材を上方に搬送するバケットコンベア等の流動材コンベア１３３と、流動層Ａの上部に対応する火炉１１の外周に設けられ流動材コンベア１３３によって搬送された流動材を受け入れる流動材サイロ１３４と、流動材サイロ１３４に貯蔵された流動材を火炉１１内に再投入する流動材再投入部１３５を備える。

【0021】

火炉１１の側壁である炉壁には、燃料その他の材料を火炉１１内に供給する材料供給部１４と、流動層Ａを形成するための流動材を火炉１１内に供給する流動材供給部１５と、ＣＦＢボイラを起動する起動部１６が設けられる。材料供給部１４は、材料を貯留する漏斗状のホッパ１４１と、ホッパ１４１の底部から排出された材料を粒状に粉砕する粉砕部１４２と、粉砕部１４２で粉砕された材料を火炉１１内に供給するフィーダ１４３を備える。

【0022】

材料供給部１４は、炭素を含有する炭素含有燃料を火炉１１内に供給する。炭素含有燃料は特に限定されるものではないが、例えば、無煙炭、瀝青炭、褐炭等の各種の石炭、バイオマス燃料、スラッジ、廃材が挙げられる。これらの炭素含有燃料は火炉１１での燃焼時に二酸化炭素を発生させる。但し、バイオマス燃料は正味の二酸化炭素排出量が少ないまたは零のカーボンニュートラルな燃料である。材料供給部１４における粉砕部１４２は、火炉１１に供給される前の材料を粒状に粉砕する。粉砕部１４２で粉砕された粒状の材料は、回転数を制御可能なフィーダ１４３によって必要量が火炉１１内に投入される。

【0023】

流動層Ａを形成するための流動材を供給する流動材供給部１５は、流動材を貯留する漏斗状の流動材ホッパ１５１と、流動材ホッパ１５１の底部から排出される流動材を火炉１１内に供給する流動材フィーダ１５２を備える。流動材フィーダ１５２の回転数を制御することで、必要量の流動材が火炉１１内に投入される。

【0024】

ＣＦＢボイラを起動する起動部１６は、起動燃料貯留部１６１と、起動燃料制御バルブ１６２と、起動バーナ１６３を備える。起動燃料貯留部１６１は、炭素含有燃料としての重油を貯留する。起動燃料制御バルブ１６２は、起動燃料貯留部１６１から起動バーナ１６３への重油の供給量を制御する。具体的には、起動燃料制御バルブ１６２はＣＦＢボイラの起動時に開状態となり、起動燃料貯留部１６１に貯留された重油を起動バーナ１６３に供給する。起動バーナ１６３は、起動燃料制御バルブ１６２から供給された重油の燃焼による炎で流動層Ａにおける流動材を加熱する。起動バーナ１６３は下方に傾斜して設けられるため、流動材によって形成される流動層Ａの表面が直接加熱され、流動層Ａおよび火炉１１内が効率的に昇温する。このように起動バーナ１６３は砂状の流動層Ａを上方から加熱するため砂上バーナとも呼ばれる。

【0025】

流動層Ａおよび火炉１１内が十分に昇温したＣＦＢボイラの起動後、具体的には流動層Ａにおいて材料供給部１４から供給された燃料または材料の燃焼が可能となった後、起動燃料制御バルブ１６２は閉状態となって起動バーナ１６３への重油の供給を停止する。以降の通常運転状態では、材料供給部１４から供給される燃料が高温の火炉１１内で燃焼される。

【0026】

以上、ＣＦＢボイラの燃焼部１について詳細に説明した。続いて、ＣＦＢボイラの燃焼部１以外の構成を説明する。蒸気発生部２は、蒸気を発生させる水を貯留するドラム２１と、ドラム２１に水を供給する給水管２２と、ドラム２１内の水を高温の火炉１１内に導いて加熱する水管２３と、水管２３で加熱された水から発生した蒸気をＣＦＢボイラの出力としてドラム２１から排出する蒸気管２４を備える。蒸気管２４から出力された蒸気によって発電機２５の蒸気タービンが回転することで発電設備が発電する。給水管２２は燃焼部１の高温の排気が通る伝熱部４内を蛇行することで給水を予熱する節炭器を構成し、蒸気管２４は燃焼部１の高温の排気が通る伝熱部４内を蛇行することで蒸気を過熱する過熱器を構成する。

【0027】

流動材循環部３は、火炉１１の上部から排出された排気から粒状の流動材を分離して捕集するサイクロン３１と、サイクロン３１で捕集された流動材を火炉１１内に戻すシールポット３２を備える。サイクロン３１は、上部が略円筒状および下部が略円錐状に形成されたサイクロン式粉体分離器であり、内壁に沿って螺旋状に降下する気流を発生させる。火炉１１からの排気に含まれる粒状の流動材は、気流に沿って螺旋状に降下する際にサイクロン３１の内壁に接触して落下することで捕集される。

【0028】

サイクロン３１の下方に設けられるシールポット３２は流動材で充填されており、火炉１１からサイクロン３１への未燃ガス等の逆流を防止する。シールポット３２に充填された粒状の流動材は、サイクロン３１が新たに捕集する流動材の重みによって押し出される形で、徐々に火炉１１内に戻される。排気処理装置５は、伝熱部４からの排気中の煤や粉塵を分離して捕集する。

【0029】

図２は、本実施形態に係る構造物判定装置３００による判定対象物の一例であるＣＦＢボイラやＢＦＢボイラ等の火炉１１における内壁を構成する水管壁８０を示す一部破断斜視図である。火炉１１の水管壁８０は、鉛直方向に延びる複数のパイプ８２と、隣接する各パイプ８２の間を連結するフィン８４によって構成される。各パイプ８２には、水その他の液体や、それらの蒸気が通っている。水管壁８０は高温の火炉１１に面しているため、熱によって損傷を受ける可能性がある。また、火炉１１内で燃焼された石炭等の燃料や灰等が、水管壁８０に衝突または付着することで損傷に繋がる可能性もある。更に、高温環境下で高圧になったパイプ８２内の水や水蒸気が、パイプ８２内から水管壁８０を損傷させる可能性もある。後述するように、本実施形態に係る構造物判定装置３００によれば、このような水管壁８０における損傷に基づいて、画像に写る構造物を効果的に判定できる。

【0030】

火炉１１の水管壁８０を撮影する撮影装置としてのカメラ３０（図２では不図示）は、カメラ３０を移動させる移動体、例えば、水管壁８０に沿って移動可能なドローン、ロボット、昇降機等に取り付けられる。カメラ３０は、移動体と共に火炉１１内を水管壁８０に沿って移動しながら連続的に水管壁８０を撮影する。カメラ３０は、静止画を連続的に撮影するスチルカメラでもよいし、動画を撮影するビデオカメラでもよい。

【0031】

図３は、本実施形態に係る構造物判定装置３００の機能ブロック図である。構造物判定装置３００は、撮影画像取得部３１０と、格納画像取得部３２０と、損傷特定部３３０と、類否判定部３４０と、機械学習部３５０と、類否表示部３６０と、撮影制限部３７０を備える。構造物判定装置３００が以下で説明する作用および／または効果の少なくとも一部を実現できる限り、これらの機能ブロックの一部は省略できる。これらの機能ブロックは、コンピュータの中央演算処理装置、メモリ、入力装置、出力装置、コンピュータに接続される周辺機器等のハードウェア資源と、それらを用いて実行されるソフトウェアの協働により実現される。コンピュータの種類や設置場所は問わず、上記の各機能ブロックは、単一のコンピュータのハードウェア資源で実現してもよいし、複数のコンピュータに分散したハードウェア資源を組み合わせて実現してもよい。

【0032】

カメラ３０および画像格納部３０１は、構造物判定装置３００による判定対象の構造物を含む火炉１１の水管壁８０等を撮影した画像を構造物判定装置３００に入力する画像入力部を構成する。表示装置４０は、構造物判定装置３００の処理内容等を表示する。操作部５０は、表示装置４０と一体のタッチパネルや表示装置４０と別体のキーボードやマウス等の入力デバイスで構成され、ユーザの操作に応じて構造物判定装置３００に対する各種の制御情報を生成する。操作部５０による操作の一部または全部をコンピュータが自律的に行うようにプログラミングしてもよい。

【0033】

画像格納部３０１は、カメラ３０が撮影した水管壁８０等の撮影画像群を保存する。画像格納部３０１は、カメラ３０の内蔵メモリでもよいし、メモリーカード等の汎用のリムーバブルメディアでもよい。また、有線または無線でカメラ３０と通信可能なボイラ外のストレージでもよい。

【0034】

撮影画像取得部３１０は、カメラ３０によって撮影された構造物（水管壁８０等の各部）の撮影画像を取得する。格納画像取得部３２０は、画像格納部３０１に格納されている構造物（水管壁８０等の各部）の格納画像を取得する。前述のように、カメラ３０によって撮影される「撮影画像」の少なくとも一部は、最終的には画像格納部３０１に格納されて「格納画像」となる。従って、「撮影画像」と「格納画像」には本質的な違いがないともいえる。

【0035】

本実施形態では、便宜的に、後述する類否判定部３４０による類否判定の対象となる一の画像を「撮影画像」と称し、当該一の画像との類否判定の対象となる他の画像であって当該類否判定の際に予め画像格納部３０１に格納されているものを「格納画像」と称する。この場合の「撮影画像」は、撮影画像取得部３１０がカメラ３０から直接的に取得したものに限らず、図３における点線で示されるように、カメラ３０から画像格納部３０１に格納された画像を撮影画像取得部３１０が読み出したものでもよい。従って、後述する類否判定部３４０や損傷特定部３３０による処理は、共に画像格納部３０１に格納されている「撮影画像」（一の画像）と「格納画像」（他の画像）の間で行われてもよい。なお、典型的な場合では、「撮影画像」の撮影時刻が「格納画像」の撮影時刻より後である。

【0036】

なお、撮影画像および格納画像を後段の損傷特定部３３０や類否判定部３４０に送る前に、これらの機能部における処理に適したフォーマットに変換または加工する前処理部が設けられてもよい。このような前処理としては、動画のフレーム分割、焦点が合っていない画像や興味のある構造物が写っていない画像の除去、興味のある構造物以外の構造物の除去、撮影間隔が短すぎる場合の画像の間引き、所定サイズへの画像のリサイズ、カメラ３０と撮影対象（構造物）の間の距離や角度を均一にする補正、等が例示される。

【0037】

損傷特定部３３０は、撮影画像取得部３１０によって取得された撮影画像および格納画像取得部３２０によって取得された格納画像に写る構造物（水管壁８０等の各部）の損傷を特定する。損傷特定部３３０は、公知の画像検査技術を利用して、各画像中の損傷を特定できる。ボイラの火炉１１における水管壁８０に生じる損傷、欠陥、異常としては、前述したように、高温の火炉１１の熱による損傷、火炉１１内で燃焼された石炭等の燃料や灰等が衝突または付着することによる損傷、高温環境下で高圧になった水や水蒸気によるパイプ８２内からの損傷が例示される。また、損傷には、凹み、傷、肉厚減少、損耗、補修跡等の各種の態様が含まれる。なお、画像格納部３０１に格納されている画像（主に「格納画像」）は、損傷特定部３３０によって過去に特定された損傷に関するメタデータを含んでもよい。この場合の損傷特定部３３０は、過去に損傷特定処理を受けていない画像（主に「撮影画像」）についてのみ、損傷特定処理を実行すればよい。また、後段の類否判定部３４０における類否判定精度を向上させ、処理負荷も低減するため、類否判定に利用できる損傷が特定されている撮影画像および格納画像のみを類否判定部３４０に提供してもよい。

【0038】

類否判定部３４０は、撮影画像取得部３１０によって取得された撮影画像および格納画像取得部３２０によって取得された格納画像に写る構造物（水管壁８０等の各部）の類否を判定する。特に、類否判定部３４０は、損傷特定部３３０によって特定された各画像中の損傷の類否判定結果に基づいて、撮影画像および格納画像に写る構造物の類否を判定するのが好ましい。図２に示されるように、類否判定対象の構造物である水管壁８０等は、一様で特徴の少ない外観を有する場合が多い。そのため、単純に画像（外観）を対照するだけでは、各画像に写る構造物を適切に識別できない（「類似」との誤判定が多発する）恐れがある。そこで、一見すると一様な画像から特徴部分としての損傷を抽出することで、その類否判定結果に基づいて各画像に写る構造物の類否を高精度に判定できる（「類似」との誤判定を低減できる）。

【0039】

類否判定部３４０は、損傷等の類否判定結果として、撮影画像取得部３１０によって取得された撮影画像および格納画像取得部３２０によって取得された格納画像に写る構造物の類似スコアを算出してもよい。例えば、撮影画像取得部３１０によって取得された撮影画像に写る構造物が「未知」の場合であって、格納画像取得部３２０によって取得された格納画像に写る構造物が「既知」の場合、類否判定部３４０は、当該「未知」の構造物が当該「既知」の構造物である可能性または確率を類似スコアとして算出する。

【0040】

具体的には、「既知」の構造物としての「炉Ａ」「炉Ｂ」「炉Ｃ」が写る典型的には多数の格納画像が画像格納部３０１に格納されている場合、類否判定部３４０は、当該「既知」の各格納画像を「未知」の撮影画像と順次対照し、当該「未知」の構造物が「既知」の「炉Ａ」「炉Ｂ」「炉Ｃ」のそれぞれに該当する可能性を総合的に表す類似スコアを算出する。例えば、総和が１に正規化された類似スコアとして、「炉Ａ」について「0.65」（「未知」の構造物が「炉Ａ」である可能性が65%）、「炉Ｂ」について「0.10」（「未知」の構造物が「炉Ｂ」である可能性が10%）、「炉Ｃ」について「0.25」（「未知」の構造物が「炉Ｃ」である可能性が25%）等が、類否判定部３４０によって算出される。

【0041】

類否判定部３４０は、類似スコア等の類否判定結果に基づいて、「未知」の構造物を、それが類似する「既知」の構造物であると特定または推定してもよい。具体的には、類否判定部３４０は、複数の「既知」の構造物候補のうち最大の類似スコアであって、所定の特定閾値以上の類似スコアが算出された「既知」の構造物候補が、「未知」の構造物であると特定または推定する。例えば、特定閾値が「0.55」である場合、上記の例では、「炉Ａ」「炉Ｂ」「炉Ｃ」のうち「炉Ａ」についての類似スコア「0.65」が最大かつ特定閾値「0.55」以上であるため、類否判定部３４０は、撮影画像に写っている「未知」の構造物が格納画像に写っている「炉Ａ」であると特定または推定する。

【0042】

以上の例では、撮影画像取得部３１０によって取得された撮影画像に写る構造物が「未知」かつ格納画像取得部３２０によって取得された格納画像に写る構造物が「既知」であったが、「未知」と「既知」は逆でもよい。すなわち、撮影画像取得部３１０によって取得された撮影画像に写る構造物が「既知」かつ格納画像取得部３２０によって取得された格納画像に写る構造物が「未知」でもよい。この場合の類否判定部３４０は、当該「未知」の構造物が当該「既知」の構造物である可能性または確率を類似スコアとして算出する。

【0043】

具体的には、撮影画像に写る構造物が「炉Ａ」と既知であった場合、類否判定部３４０は、当該「既知」の撮影画像を画像格納部３０１に格納されている一または複数の「未知」の格納画像と順次対照し、当該「未知」の各構造物が「既知」の「炉Ａ」に該当する可能性を総合的に表す類似スコアを算出する。例えば、最大値が１に正規化された類似スコアとして、「格納画像Ａ」について「0.65」（「格納画像Ａ」に写る「未知」の構造物が「炉Ａ」である可能性が65%）、「格納画像Ｂ」について「0.10」（「格納画像Ｂ」に写る「未知」の構造物が「炉Ａ」である可能性が10%）、「格納画像Ｃ」について「0.80」（「格納画像Ｃ」に写る「未知」の構造物が「炉Ａ」である可能性が80%）等が、類否判定部３４０によって算出される。

【0044】

類否判定部３４０は、類似スコア等の類否判定結果に基づいて、「未知」の構造物を、それが類似する「既知」の構造物であると特定または推定してもよい。具体的には、類否判定部３４０は、所定の特定閾値以上の類似スコアが算出された「未知」の構造物が、撮影画像に写る「既知」の構造物であると特定または推定する。例えば、特定閾値が「0.55」である場合、上記の例では、「格納画像Ａ」「格納画像Ｂ」「格納画像Ｃ」のうち「格納画像Ａ」についての類似スコア「0.65」および「格納画像Ｃ」についての類似スコア「0.80」が特定閾値「0.55」以上であるため、類否判定部３４０は、「格納画像Ａ」および「格納画像Ｃ」に写っている「未知」の構造物が撮影画像に写っている「炉Ａ」であると特定または推定する。

【0045】

なお、以上のような例において、撮影画像および／または格納画像に写る構造物が「既知」であるとは、当該構造物を具体的に特定する任意の情報がメタデータ等として当該各画像に付加されていることを意味する。このようなメタデータは、カメラ３０による画像の撮影時刻や撮影位置を含んでもよい。撮影位置に関するデータは、カメラ３０自体やカメラ３０を移動させる移動体に搭載されているGPS（Global Positioning System）等に基づく測位センサや位置センサ、および／または、カメラ３０を外部から測定または検知する別のカメラその他の測位センサから取得されてもよい。また、画像に写る構造物を具体的に特定するメタデータ（例えば、当該構造物の名称やＩＤ）は、操作部５０を通じてユーザがマニュアルで入力して、画像格納部３０１に格納されている画像（主に「格納画像」）に付加したものでもよい。更に、上記の例において「未知」から「既知」へと変わった画像については、類否判定部３４０による類否判定結果または構造物の特定／推定結果が、当該画像に写る構造物を具体的に特定するメタデータとして付加され、画像格納部３０１に格納されてもよい。

【0046】

類否判定部３４０は、機械学習部３５０によって生成された類否判定モデル３５１に基づいて、撮影画像および格納画像に写る構造物の類否を判定してもよい。機械学習部３５０は、一方が撮影画像に相当して他方が格納画像に相当する画像の組と、当該画像の組について人為的に、または、ラベリングツールやアノテーションツールを通じて付与された（ラベリングされた）類似スコア等の類否判定結果の組を含む網羅的な訓練データによるニューラルネットワーク等における機械学習によって類否判定モデル３５１を生成する。

【0047】

類否表示部３６０は、類否判定部３４０による類似スコア等の類否判定結果を表示装置４０に表示する。図４は、表示装置４０の画面例を示す。この画面例では、「未知」の撮影画像が多数の不図示の「既知」の格納画像と対照されて、撮影画像に写る構造物が具体的に特定される。

【0048】

撮影画像表示領域４１には、類否判定対象または構造物特定対象としての撮影画像が表示される。構造物特定情報表示領域４２には、撮影画像表示領域４１に表示されている撮影画像に写る構造物の名称等の構造物特定情報が表示される。図４に示されるように、初期状態では撮影画像に写る構造物が未知であるため、構造物特定情報表示領域４２には「未知」と表示されている。

【0049】

対照手法指定領域４３には、撮影画像表示領域４１に表示されている「未知」の撮影画像と、画像格納部３０１に格納されている多数の「既知」の格納画像（不図示）を対照する手法が表示される。この対照手法は、操作部５０を通じてユーザが入力または選択できる。選択可能な対照手法としては、差分、深層学習モデル（類否判定モデル３５１等）、色ヒストグラム法等が例示される。操作部５０を通じてユーザが実行ボタン４４を押下すると、類否判定部３４０が、対照手法指定領域４３に入力された対照手法を使用して、撮影画像表示領域４１に表示されている撮影画像を、画像格納部３０１に格納されている多数の格納画像と順次対照する。

【0050】

類否判定結果表示領域４５には、実行ボタン４４の押下に応じて実行された一の撮影画像と多数の格納画像の対照結果に基づく総合的な類否判定結果が表示される。図４の例では、総和が１に正規化された類似スコアとして、「炉Ａ」について「0.6」（撮影画像（４１）に写る「未知」の構造物が「炉Ａ」である可能性が60%）、「炉Ｂ」について「0.25」（撮影画像（４１）に写る「未知」の構造物が「炉Ｂ」である可能性が25%）、「炉Ｃ」について「0.1」（撮影画像（４１）に写る「未知」の構造物が「炉Ｃ」である可能性が10%）等が類否判定結果表示領域４５に表示されている。なお、操作部５０を通じてユーザが類否判定結果表示領域４５の類否判定結果（各類似スコア等）をマニュアルで修正できるようにしてもよい。

【0051】

構造物特定領域４６には、類否判定結果表示領域４５に表示されている類否判定結果に基づいて、類否判定部３４０によって特定された撮影画像（４１）中の構造物が表示される。例えば、前述のように特定閾値が「0.55」である場合、類否判定部３４０は、類否判定結果表示領域４５における類似スコアが「0.6」である「炉Ａ」が撮影画像（４１）に写る構造物であると特定する。この結果、構造物特定領域４６には「炉Ａ」と表示される。このように、構造物特定領域４６には類否判定部３４０による判定結果が表示されるが、ユーザは必要に応じて操作部５０を通じて当該判定結果をマニュアルで修正できる。

【0052】

関連画像群表示領域４７には、撮影画像表示領域４１に表示されている撮影画像の複数の関連画像が表示される。関連画像とは、撮影画像（４１）と同じ構造物が写っている可能性が高い他の画像を意味する。例えば、撮影画像（４１）と撮影時刻および／または撮影位置が近い画像は、当該撮影画像（４１）と同じ構造物が写っている可能性が高い関連画像である。関連画像群表示領域４７では、各関連画像について、類否判定結果表示領域４５と同様の簡易的な類否判定結果が表示される。このような関連画像群についての簡易的な類否判定結果を参照することで、ユーザは類否判定結果表示領域４５に表示されている類否判定結果の是非を判断できる。また、このような関連画像群についての簡易的な類否判定結果（各類似スコア等）が、類否判定結果表示領域４５における撮影画像（４１）についての類否判定結果（各類似スコア等）の算定において考慮されてもよい。この場合、操作部５０を通じてユーザが関連画像群表示領域４７の簡易的な類否判定結果（各類似スコア等）をマニュアルで修正すると、類否判定結果表示領域４５における類否判定結果も更新される。

【0053】

以上のように、図４の画面例では、類否判定の一方の対象である「撮影画像」が撮影画像表示領域４１に表示され、その関連画像群が関連画像群表示領域４７に表示される。しかし、類否判定の他方の対象である「格納画像」は表示されていない。そこで、例えば、操作部５０を通じてユーザが撮影画像表示領域４１上および／または類否判定結果表示領域４５における最大の類似スコア（図４の例では「0.6」）上にカーソルを移動させると、その撮影画像と最も類似度が高いと類否判定部３４０によって判定された一または複数の格納画像を、そこに写る「既知」の構造物名等と共にポップアップ表示させてもよい。同様に、操作部５０を通じてユーザが関連画像群表示領域４７における各関連画像上および／または最大の類似スコア（例えば、図４において丸で囲まれた「0.5」）上にカーソルを移動させると、その関連画像と最も類似度が高いと類否判定部３４０によって判定された一または複数の格納画像を、そこに写る「既知」の構造物名等と共にポップアップ表示させてもよい。

【0054】

操作部５０を通じてユーザが保存ボタン４８を押下すると、類否判定結果表示領域４５における類否判定結果および／または構造物特定領域４６における構造物特定結果が、撮影画像表示領域４１における撮影画像のメタデータとして画像格納部３０１に保存される。このように、構造物特定領域４６における構造物特定結果と共に画像格納部３０１に格納された撮影画像は、以後は「既知」の格納画像として、後続の「未知」の撮影画像との類否判定に利用される。操作部５０を通じてユーザがキャンセルボタン４９を押下すると、画面が初期状態にリセットされる。

【0055】

撮影制限部３７０は、類否判定部３４０が、ドローン等のカメラ３０によるリアルタイムの撮影画像に写る「未知」の構造物と類似する格納画像中の「既知」の構造物を特定できなかった場合、カメラ３０による「未知」の構造物の撮影を制限してもよい。例えば、カメラ３０がドローン等の飛行体に設けられる場合、撮影制限部３７０は、「未知」の構造物の撮影のための飛行体の飛行を制限してもよい。このままの状態でカメラ３０による撮影を継続しても、構造物が「未知」の撮影画像が得られるだけなので、例えば、当該「未知」の構造物の撮影を停止して、オペレータによる指示や構造物特定情報の入力を促す。また、当該「未知」の構造物以外に撮影すべき他の構造物が近傍にある場合は、ドローン等のカメラ３０をそこに移動または飛行させて当該他の構造物を撮影させてもよい。

【0056】

続いて、類否判定部３４０による類否判定の実施例を示す。本実施例では、撮影画像群が「未知」であり、格納画像群が「既知」であるものとする。「未知」の撮影画像群は、典型的には同じ時間帯で同じカメラ３０によって連続的または間欠的に撮影された複数の撮影画像からなり、そのうち「ｉ」番目の撮影画像がＩ_ｉと表される。インデックス「ｉ」は撮影時刻の前後関係も表し、撮影画像Ｉ_ｉ－１は撮影画像Ｉ_ｉの直前に撮影されたものであり、撮影画像Ｉ_ｉ＋１は撮影画像Ｉ_ｉの直後に撮影されたものである。但し、これらの撮影画像Ｉ_ｉ－１、Ｉ_ｉ、Ｉ_ｉ＋１は、同じ「未知」の構造物を撮影したものとする。

【0057】

「既知」の格納画像群は、画像格納部３０１に格納されている複数の格納画像からなり、そのうち「ｊ」番目の格納画像がＨ_ｊと表される。インデックス「ｊ」は撮影時刻の前後関係も表し、格納画像Ｈ_ｊ－１は格納画像Ｈ_ｊの直前に撮影されたものであり、格納画像Ｈ_ｊ＋１は格納画像Ｈ_ｊの直後に撮影されたものである。但し、これらの格納画像Ｈ_ｊ－１、Ｈ_ｊ、Ｈ_ｊ＋１は、同じ「既知」の構造物を撮影したものとする。なお、異なる「既知」の構造物を撮影した格納画像Ｈ_ｍ、Ｈ_ｎの類似度Ｓ_ｍｎを、以下で説明する類似度Ｓ_ｉｊと同様に演算した結果、「1」に近い高い値が得られた場合、これらの格納画像Ｈ_ｍ、Ｈ_ｎは類否判定対象の格納画像群Ｈ_ｊから除外してもよい。これらの格納画像Ｈ_ｍ、Ｈ_ｎに写る特徴は、異なる構造物に共通に見られるものと考えられ、「未知」の構造物を一つに特定するための類否判定には適さないと考えられるためである。

【0058】

類否判定部３４０は、各撮影画像Ｉ_ｉと各格納画像Ｈ_ｊを一対一で対照し、それらの類似度Ｓ_ｉｊを算出する。類似度Ｓ_ｉｊは、例えば、「S_ij=1-(1/hw)Σ_xΣ_y|(I_i(x,y)-H_j(x,y))/255|」と演算される。ここで、ｈは画像の高さであり、ｗは画像の幅であり、Ｉ_ｉ（ｘ，ｙ）は撮影画像Ｉ_ｉの位置（ｘ，ｙ）における画素値であり、Ｈ_ｊ（ｘ，ｙ）は格納画像Ｈ_ｊの位置（ｘ，ｙ）における画素値であり、「255」は8ビットの画素値に対応する除数（255=2⁸-1）である。撮影画像Ｉ_ｉと格納画像Ｈ_ｊが完全に等しい場合は、Ｉ_ｉ（ｘ，ｙ）とＨ_ｊ（ｘ，ｙ）が全ての位置（ｘ，ｙ）において等しいため、類似度Ｓ_ｉｊは最大値の「1」となる。また、類似度Ｓ_ｉｊの最小値は「0」である。すなわち、類似度Ｓ_ｉｊは「0」と「1」の間の値を取り、「1」に近いほど（大きいほど）撮影画像Ｉ_ｉと各格納画像Ｈ_ｊは類似する。

【0059】

時間的に連続して撮影された撮影画像群Ｉ_ｉおよび格納画像群Ｈ_ｊの類似度Ｓ_ｉｊのうち、時間的に連続する類似度Ｓ_ｉｊ、Ｓ_{ｉ＋１，ｊ}、Ｓ_{ｉ，ｊ＋１}等は近似していることが期待される。逆に、これらの類似度Ｓ_ｉｊ、Ｓ_{ｉ＋１，ｊ}、Ｓ_{ｉ，ｊ＋１}等の間に所定の異常閾値以上の乖離がある場合は、これらの類似度Ｓ_ｉｊ、Ｓ_{ｉ＋１，ｊ}、Ｓ_{ｉ，ｊ＋１}等のいずれかに異常があると推定される。そこで、類似度Ｓ_{ｉ＋１，ｊ}、Ｓ_{ｉ，ｊ＋１}に異常があると推定された場合は、例えば、「S_i+1,j’=αS_i+1,j+(1-α)S_ij」「S_i,j+1’=βS_i,j+1+(1-β)S_ij」のように、異常があると推定された類似度Ｓ_{ｉ＋１，ｊ}、Ｓ_{ｉ，ｊ＋１}を、補正類似度Ｓ_{ｉ＋１，ｊ}’、Ｓ_{ｉ，ｊ＋１}’に置換してもよい。なお、αおよびβは「0」と「1」の間で任意に設定可能な補正係数である。

【0060】

類否判定部３４０は、各撮影画像Ｉ_ｉと各格納画像Ｈ_ｊの全ての組合せについて算出した類似度Ｓ_ｉｊに基づいて、撮影画像群Ｉ_ｉに写る「未知」の構造物と格納画像群Ｈ_ｊに写る「既知」の構造物の類似スコアを算出する。例えば、算出された類似度Ｓ_ｉｊのうち上位Ｋ個を算出し、それらに対応するＫ個の格納画像Ｈ_ｊに写る「既知」の構造物を集計する。例えば、Ｋが「100」である場合、抽出された100個の格納画像Ｈ_ｊのうち、65個に「炉Ａ」が写っており、10個に「炉Ｂ」が写っており、25個に「炉Ｃ」が写っていた場合、総和が１に正規化された類似スコアとして、「炉Ａ」について「0.65」（「未知」の構造物が「炉Ａ」である可能性が65%）、「炉Ｂ」について「0.10」（「未知」の構造物が「炉Ｂ」である可能性が10%）、「炉Ｃ」について「0.25」（「未知」の構造物が「炉Ｃ」である可能性が25%）等が、類否判定部３４０によって算出される。

【0061】

以上のような実施例によれば、一つの撮影画像Ｉ_ｉではなく、同じ「未知」の構造物を撮影したと推定される例えば同一時間帯における撮影画像群Ｉ_ｉを対象として、総合的かつ網羅的な類否判定を高精度に行える。このため、少数の撮影画像Ｉ_ｉに異常や特異な点があったとしても、最終的な類否判定結果に及ぶ影響が低減される。

【0062】

以上、本発明を実施形態に基づいて説明した。例示としての実施形態における各構成要素や各処理の組合せには様々な変形例が可能であり、そのような変形例が本発明の範囲に含まれることは当業者にとって自明である。

【0063】

なお、実施形態で説明した各装置や各方法の構成、作用、機能は、ハードウェア資源またはソフトウェア資源によって、あるいは、ハードウェア資源とソフトウェア資源の協働によって実現できる。ハードウェア資源としては、例えば、プロセッサ、ＲＯＭ、ＲＡＭ、各種の集積回路を利用できる。ソフトウェア資源としては、例えば、オペレーティングシステム、アプリケーション等のプログラムを利用できる。

【符号の説明】

【0064】

１１ 火炉、３０ カメラ、４０ 表示装置、８０ 水管壁、３００ 構造物判定装置、３０１ 画像格納部、３１０ 撮影画像取得部、３２０ 格納画像取得部、３３０ 損傷特定部、３４０ 類否判定部、３５０ 機械学習部、３６０ 類否表示部、３７０ 撮影制限部。

【図1】

【図2】

【図3】

【図4】