IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通株式会社の特許一覧

特開2024-53351劣化診断プログラム、劣化診断方法、および情報処理装置
<>
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図1
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図2
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図3
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図4
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図5
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図6
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図7
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図8
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図9
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図10
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図11
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図12
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図13
  • 特開-劣化診断プログラム、劣化診断方法、および情報処理装置 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024053351
(43)【公開日】2024-04-15
(54)【発明の名称】劣化診断プログラム、劣化診断方法、および情報処理装置
(51)【国際特許分類】
   G01N 21/88 20060101AFI20240408BHJP
【FI】
G01N21/88 J
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022159561
(22)【出願日】2022-10-03
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】金野 佑治
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA90
2G051AB03
2G051AB07
2G051AC15
2G051CA04
2G051EB05
2G051EC02
2G051ED04
(57)【要約】
【課題】画像に基づく設備の劣化状態の判定精度を向上させる。
【解決手段】情報処理装置10は、検査対象の設備1の画像4を示す画像データ3を取得する。次に情報処理装置10は、画像4内の設備1の腐食領域5を特定する。さらに情報処理装置10は、腐食領域5内の複数の画素それぞれの輝度を算出する。そして情報処理装置10は、輝度の値ごとの画素数を示す頻度分布に基づいて、腐食による設備1の劣化の度合いを判定する。
【選択図】図1
【特許請求の範囲】
【請求項1】
検査対象の設備の画像を示す画像データを取得し、
前記画像内の前記設備の腐食領域を特定し、
前記腐食領域内の複数の画素それぞれの輝度を算出し、
前記輝度の値ごとの画素数を示す頻度分布に基づいて、腐食による前記設備の劣化の度合いを判定する、
処理をコンピュータに実行させる劣化診断プログラム。
【請求項2】
腐食による前記設備の劣化の度合いを判定する処理では、前記頻度分布において最も画素数の多い輝度値に基づいて、劣化の度合いを判定する、
請求項1記載の劣化診断プログラム。
【請求項3】
腐食による前記設備の劣化の度合いを判定する処理では、前記頻度分布において前記輝度が所定値以下の画素の割合に基づいて、劣化の度合いを判定する、
請求項1記載の劣化診断プログラム。
【請求項4】
腐食による前記設備の劣化の度合いを判定する処理では、前記頻度分布において最も画素数の多い輝度値が第1の閾値以下であり、かつ前記頻度分布において輝度値が第2の閾値以下の画素が所定の割合以上の場合、補修を要する劣化度合いであると判定する、
請求項1記載の劣化診断プログラム。
【請求項5】
前記画像データに示される前記画像から、所定の部品とひびとを特定し、
前記部品を囲む周辺領域を特定し、
前記周辺領域内に前記ひびが含まれるか否かにより、前記ひびによる前記設備の劣化の度合いを判定する、
処理を前記コンピュータにさらに実行させる請求項1から4までのいずれかに記載の劣化診断プログラム。
【請求項6】
検査対象の設備の画像を示す画像データを取得し、
前記画像内の前記設備の腐食領域を特定し、
前記腐食領域内の複数の画素それぞれの輝度を算出し、
前記輝度の値ごとの画素数を示す頻度分布に基づいて、腐食による前記設備の劣化の度合いを判定する、
処理をコンピュータが実行する劣化診断方法。
【請求項7】
検査対象の設備の画像を示す画像データを取得し、前記画像内の前記設備の腐食領域を特定し、前記腐食領域内の複数の画素それぞれの輝度を算出し、前記輝度の値ごとの画素数を示す頻度分布に基づいて、腐食による前記設備の劣化の度合いを判定する処理部、
を有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、劣化診断プログラム、劣化診断方法、および情報処理装置に関する。
【背景技術】
【0002】
生活基盤を支えるインフラストラクチャに関する設備は、常時正常に機能していることが求められる。このような設備として、例えば、発電所で発電した電力を使用者の施設まで送電するための配電設備がある。このような設備は時間の経過とともに劣化が進行する。そこで、設備の補修を行う適切な時期を判断するために、定期的に点検が行われる。定期点検では、例えば作業員が設備を目視で観察し、作業員が劣化の状況を判断する。
【0003】
インフラストラクチャに関する設備は広範囲に設置されており、すべての点検範囲を作業員が目視で観察していたのでは、設備の劣化状態の点検に膨大な時間を要する。そこでカメラなどで撮影した画像を作業員が目視確認する点検手法も考えられる。画像の撮影は例えばドローンなどを利用して行うことも可能であり、撮影した画像に基づいて劣化の状況を判断することで、作業を効率的に行うことができる。
【0004】
ただし、劣化の度合いを作業員が判断していたのでは、腐食などの劣化状態を定量的に判定することができない。そこで、例えば3次元構造物の画像をもとに3次元構造物に対する錆などの劣化状態の評価を迅速かつ高精度に行うことができる劣化状態検出装置が提案されている。
【0005】
なお、画像を用いた処理では、画像を事前に加工する場合がある。画像を加工する技術としては、例えば、精度の高いコントラスト補正を行うことが可能な画像補正装置が提案されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2021-32650号公報
【特許文献2】国際公開第2009/072207号
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来技術を用いれば、例えば腐食の範囲を画像から特定して、劣化の状態を判断できるが、判定精度が十分ではない。
1つの側面では、本件は、画像に基づく設備の劣化状態の判定精度を向上させることを目的とする。
【課題を解決するための手段】
【0008】
1つの案では、以下の処理をコンピュータに実行させる劣化診断プログラムが提供される。
コンピュータは、検査対象の設備の画像を示す画像データを取得する。コンピュータは、画像内の設備の腐食領域を特定する。コンピュータは、腐食領域内の複数の画素それぞれの輝度を算出する。そしてコンピュータは、輝度の値ごとの画素数を示す頻度分布に基づいて、腐食による設備の劣化の度合いを判定する。
【発明の効果】
【0009】
1態様によれば、画像に基づく設備の劣化状態の判定精度を向上させる。
【図面の簡単な説明】
【0010】
図1】第1の実施の形態に係る劣化診断方法の一例を示す図である。
図2】第2の実施の形態のシステム構成の一例を示す図である。
図3】劣化診断サーバのハードウェアの一例を示す図である。
図4】劣化診断サーバの機能の一例を示すブロック図である。
図5】劣化診断処理の手順の一例を示すフローチャートである。
図6】コントラスト調整の一例を示す図である。
図7】腐食領域の画像解析の一例を示す図である。
図8】腐食領域の劣化度判定の一例を示す図である。
図9】劣化度判定基準の一例を示す図である。
図10】腐食劣化度判定処理の手順の一例を示すフローチャートである。
図11】診断結果の一例を示す図である。
図12】ひびによる配電設備の劣化度の判定方法の一例を示す図である。
図13】ひび劣化度判定処理の手順の一例を示すフローチャートである。
図14】ひび検出画像の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第1の実施の形態〕
第1の実施の形態は、画像を用いた設備の劣化状態を高精度に判定することができる劣化診断方法である。
【0012】
図1は、第1の実施の形態に係る劣化診断方法の一例を示す図である。図1には、劣化診断方法を実施する情報処理装置10が示されている。情報処理装置10は、例えば劣化診断プログラムを実行することにより、劣化診断方法を実施することができる。
【0013】
情報処理装置10は、記憶部11と処理部12とを有する。記憶部11は、例えば情報処理装置10が有するメモリまたはストレージ装置である。処理部12は、例えば情報処理装置10が有するプロセッサまたは演算回路である。
【0014】
記憶部11は、検査対象の設備1の画像4を示す画像データ3を記憶する。例えばカメラ2で設備1を撮影することで得られた画像データ3が情報処理装置10に入力されると、その画像データ3が記憶部11に格納される。
【0015】
処理部12は、画像データ3に基づいて、設備1の劣化の度合いを判定する。例えば処理部12は、記憶部11から画像データ3を取得する。次に処理部12は、画像4内の設備1の腐食領域5を特定する。例えば処理部12は、ニューラルネットワークを用いた深層学習技術の1つであるセマンティックセグメンテーションを用いて、画像4に写っているものの種別を特定する。セマンティックセグメンテーションにおける学習時には、腐食領域を特定可能なモデルを学習させることで、画像4内の腐食領域5の特定が可能となる。
【0016】
処理部12は、腐食領域5内の複数の画素それぞれの輝度を算出する。例えば処理部12は、画像4をグレースケールに変換し、各画素のグレースケールでの明るさを輝度とする。なお処理部12は、予め画像4に対してコントラスト調整処理を行ってもよい。コントラスト調整処理により、腐食領域5内での明暗の差を明確にすることができる。
【0017】
処理部12は、輝度の値ごとの画素数を示す頻度分布に基づいて、腐食による設備1の劣化の度合いを判定する。例えば処理部12は、腐食領域5内の複数の画素それぞれの輝度に基づいて、頻度分布図6を生成する。頻度分布図6は、横軸に輝度値が設定され、縦軸に輝度値ごとの、該当輝度値を有する画素数(頻度)が設定される。
【0018】
腐食領域5では、腐食の進行度合いが高い部分ほど暗い画像となる。暗い画像では、輝度値が低くなる。従って輝度値に基づいて腐食の進行度合いを識別できる。すなわち輝度の値ごとの画素数を示す頻度分布に基づいて設備1の劣化度合いを判断することで、腐食の範囲だけでなく、腐食の進行度合いに応じた劣化度合いを判断することができる。その結果、設備1の劣化状態を高精度に判定可能となる。
【0019】
例えば処理部12は、頻度分布において最も画素数の多い輝度値が所定値以下か否かに基づいて、劣化の度合いを判定する。すなわち頻度分布図6における画素数がピークとなる輝度値(最頻値)に基づいて、腐食の進行度合いを判断できる。そこで処理部12は、例えば最も画素数が多い輝度値が所定値以下となるほど暗い(腐食が進行している)場合、設備1の劣化度が高いと判断する。これにより、劣化状態を正しく判定することができる。
【0020】
また処理部12は、頻度分布において輝度が所定値以下の画素の割合に基づいて、劣化の度合いを判定することもできる。すなわち腐食領域5における、腐食がある程度以上進行した領域の割合に応じて、劣化の度合いが判定される。これにより、腐食の進行度合いが高い範囲の割合を反映させて、劣化状態を正しく判定することができる。
【0021】
具体的には、処理部12は、例えば頻度分布において最も画素数の多い輝度値が第1の閾値以下であり、かつ頻度分布において輝度が第2の閾値以下の画素が所定の割合以上の場合、補修を要する劣化度合いであると判定する。第1の閾値と第2の閾値とは、同じ値であってもよいし、異なる値であってもよい。これにより、劣化度合いを正しく判断し、無駄な補修作業が発生することを抑止できる。
【0022】
なお設備1の劣化状態としては、腐食の発生以外に、ひびの発生も考えられる。そこで処理部12は、画像データ3に基づいて、ひびによる設備1の劣化の度合いを判定することもできる。例えば処理部12は、画像データ3に示される画像4から、所定の部品とひびとを特定する。所定の部品は、劣化で破損した場合に特に危険な部品である。例えば所定の部品は、電柱に設置された配電設備の碍子である。処理部12は、部品を囲む周辺領域を特定する。さらに処理部12は、周辺領域内にひびが含まれるか否かにより、ひびによる設備1の劣化の度合いを判定する。例えば処理部12は、周辺領域内にひびが含まれていれば、補修を要するほどに劣化度が高いと判定する。このようにして、ひびによる劣化状態についても正確に判定することができる。
【0023】
〔第2の実施の形態〕
第2の実施の形態は、配電設備を撮影した画像に基づいて、その配電設備の劣化状態を容易に判断することができるコンピュータシステムである。
【0024】
図2は、第2の実施の形態のシステム構成の一例を示す図である。例えば配電設備の劣化状態を調査する作業員30は、デジタル式のカメラ31、カメラ内蔵の無人航空機32などを用いて、配電設備の写真を撮影する。撮影対象の配電設備は、例えば電柱41,42上のアーム43,44とアーム間に張られた電線45などである。なお無人航空機32には、無線操縦される無線操縦機、プログラムに従って自律飛行するドローンなどが含まれる。
【0025】
作業員30は、ネットワーク20を介して劣化診断サーバ100と通信可能な端末33を所持する。そして作業員30は、撮影した画像を示す画像データを、端末33を用いて劣化診断サーバ100に送信する。劣化診断サーバ100は、画像データに基づいて配電設備の劣化状態を診断するコンピュータである。劣化診断サーバ100は、劣化診断の結果を端末33に送信する。すると端末33の画面に、配電設備の劣化状態の診断結果が表示される。
【0026】
このようにして、作業員30の主観的な判断ではなく、劣化診断サーバ100による客観的な劣化状態の診断結果を得ることができる。そして作業員30は、端末に表示された診断結果に基づいて、配電設備の補修の要否を迅速に判断することができる。
【0027】
図3は、劣化診断サーバのハードウェアの一例を示す図である。劣化診断サーバ100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス109を介してメモリ102と複数の周辺機器が接続されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、またはDSP(Digital Signal Processor)である。プロセッサ101がプログラムを実行することで実現する機能の少なくとも一部を、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現してもよい。
【0028】
メモリ102は、劣化診断サーバ100の主記憶装置として使用される。メモリ102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ102には、プロセッサ101による処理に利用する各種データが格納される。メモリ102としては、例えばRAM(Random Access Memory)などの揮発性の半導体記憶装置が使用される。
【0029】
バス109に接続されている周辺機器としては、ストレージ装置103、GPU(Graphics Processing Unit)104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107およびネットワークインタフェース108がある。
【0030】
ストレージ装置103は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置103は、劣化診断サーバ100の補助記憶装置として使用される。ストレージ装置103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置103としては、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)を使用することができる。
【0031】
GPU104は画像処理を行う演算装置であり、グラフィックコントローラとも呼ばれる。GPU104には、モニタ21が接続されている。GPU104は、プロセッサ101からの命令に従って、画像をモニタ21の画面に表示させる。モニタ21としては、有機EL(Electro Luminescence)を用いた表示装置や液晶表示装置などがある。
【0032】
入力インタフェース105には、キーボード22とマウス23とが接続されている。入力インタフェース105は、キーボード22やマウス23から送られてくる信号をプロセッサ101に送信する。なお、マウス23は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【0033】
光学ドライブ装置106は、レーザ光などを利用して、光ディスク24に記録されたデータの読み取り、または光ディスク24へのデータの書き込みを行う。光ディスク24は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク24には、DVD(Digital Versatile Disc)、DVD-RAM、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable)/RW(ReWritable)などがある。
【0034】
機器接続インタフェース107は、劣化診断サーバ100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース107には、メモリ装置25やメモリリーダライタ26を接続することができる。メモリ装置25は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ26は、メモリカード27へのデータの書き込み、またはメモリカード27からのデータの読み出しを行う装置である。メモリカード27は、カード型の記録媒体である。
【0035】
ネットワークインタフェース108は、ネットワーク20に接続されている。ネットワークインタフェース108は、ネットワーク20を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。ネットワークインタフェース108は、例えばスイッチやルータなどの有線通信装置にケーブルで接続される有線通信インタフェースである。またネットワークインタフェース108は、基地局やアクセスポイントなどの無線通信装置に電波によって通信接続される無線通信インタフェースであってもよい。
【0036】
劣化診断サーバ100は、以上のようなハードウェアによって、第2の実施の形態の処理機能を実現することができる。なお、第1の実施の形態に示した情報処理装置10も、図3に示した劣化診断サーバ100と同様のハードウェアにより実現することができる。
【0037】
劣化診断サーバ100は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。劣化診断サーバ100に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、劣化診断サーバ100に実行させるプログラムをストレージ装置103に格納しておくことができる。プロセッサ101は、ストレージ装置103内のプログラムの少なくとも一部をメモリ102にロードし、プログラムを実行する。また劣化診断サーバ100に実行させるプログラムを、光ディスク24、メモリ装置25、メモリカード27などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ101からの制御により、ストレージ装置103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
【0038】
このような劣化診断サーバ100は、画像データに基づいて、配電設備における腐食領域の広さだけでなく、腐食状態のレベルを適切に判断し、腐食状態のレベルと腐食領域の広さとに基づいて、劣化状態を適切に診断する。例えば劣化診断サーバ100は、画像データから、配電設備の腐食領域の濃淡の情報を取得する。このとき劣化診断サーバ100は、撮影時の明度のバラつきを吸収するため原画像に対しコントラスト調整を行った後、腐食領域をグレースケールに変換する。一般的に腐食が進行している領域は色が濃くなる。そこで劣化診断サーバ100は、濃度の濃い領域は腐食が進行していると判定する。
【0039】
なお腐食の色で劣化判定すると照明条件により実際の劣化度合いと異なる判定結果になる可能性がある。そのため劣化診断サーバ100は、コントラスト調整により明度の平滑化を行い、コントラスト調整後の画像に基づいて腐食領域の濃淡の情報を取得する。
【0040】
図4は、劣化診断サーバの機能の一例を示すブロック図である。劣化診断サーバ100は、画像データ受信部110、記憶部120、コントラスト調整部130、領域抽出部140、画像解析部150、劣化度判定部160、および診断結果送信部170を有する。
【0041】
画像データ受信部110は、端末33から、配電設備の画像を示す画像データを取得する。画像データ受信部110は、取得した画像データを記憶部120に格納する。記憶部120は、画像データを記憶する。
【0042】
コントラスト調整部130は、画像データに示される配電設備の画像のコントラストを調整する。例えばコントラスト調整部130は、部分領域ごとに適切なコントラストとなるようにコントラストを調整する。
【0043】
領域抽出部140は、配電設備に画像から腐食、ひび、部材領域などの領域抽出を行う。領域抽出は、例えば画像セグメンテーションによって行うことができる。画像セグメンテーションの具体的手法の一例として、ディープラーニングのアルゴリズムであるセマンティックセグメンテーションがある。セマンティックセグメンテーションとは、画像のピクセル(画素)一つ一つに対して、何が写っているかといった、ラベルやカテゴリを関連付ける技術である。セマンティックセグメンテーションには、例えばFCN(Fully Convolutional Networks)を用いることができる。
【0044】
画像解析部150は、腐食領域をグレースケール画像に変換する。そして画像解析部150は、腐食領域内において、濃淡の値ごとの画素数を算出する。
劣化度判定部160は、腐食領域をレベル分けして、所定のレベル以上に腐食が進んだ領域が占める割合に基づいて、劣化度を判定する。劣化度判定部160は、劣化度の判定結果を診断結果送信部170に通知する。
【0045】
診断結果送信部170は、劣化度の判定結果に基づく診断結果を端末33に送信する。例えば診断結果送信部170は、補修を要する程に劣化が進んでいる場合、該当箇所の画像を含む診断結果を端末33に送信する。
【0046】
なお、図4に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図4に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。
【0047】
図5は、劣化診断処理の手順の一例を示すフローチャートである。以下、図5に示す処理をステップ番号に沿って説明する。
[ステップS101]画像データ受信部110は、端末33から画像データを受信する。画像データ受信部110は、受信した画像データを記憶部120に格納する。
【0048】
[ステップS102]コントラスト調整部130は、記憶部120から画像データを取得し、取得した画像データに示される配電設備の画像のコントラストを調整する。例えばコントラスト調整部130は、腐食領域の明暗の差がより広がるようにコントラストの調整を行う。
【0049】
[ステップS103]領域抽出部140は、セマンティックセグメンテーションにより、コントラスト調整後の画像のセグメンテーションを行う。セグメンテーションにより、画素ごとに、その画素に写っているものが何なのかが特定される。例えばセグメンテーションにより、腐食領域、ひびなどが特定される。
【0050】
[ステップS104]画像解析部150は、画素ごとに、その画素の輝度を取得し、輝度ごとの画素数を計数する。そして画像解析部150は、輝度ごとの頻度を示す頻度分布図を生成する。
【0051】
[ステップS105]劣化度判定部160は、輝度ごとの頻度を示す頻度分布図に基づいて、腐食領域における劣化度を判定する。腐食劣化度判定処理の詳細は後述する(図10参照)。
【0052】
[ステップS106]劣化度判定部160は、ひびの劣化度を判定する。ひび劣化度判定処理の詳細は後述する(図13参照)。
[ステップS107]診断結果送信部170は、診断結果を端末33に送信する。診断結果送信部170は、例えば診断結果に、腐食部分を強調した画像、またはひび領域を強調した画像を含める。送信された診断結果は、端末33の画面に表示される。
【0053】
このような処理により、腐食などによる劣化の度合いを正確に判断した診断結果を得ることができる。
図6は、コントラスト調整の一例を示す図である。図6の上段には比較例として、画像全体について統一した基準で階調調整を行う例を示している。例えば原画像51には、森林の先に遺跡が写っている。森林は全体的に暗い色調であり、遺跡は明るい色調である。このような原画像51に対して、全体を統一した基準で階調調整するようなコントラスト調整によって暗部を明るくすると、処理結果画像52では、元々明るかった遺跡部分の階調が欠落する場合がある。
【0054】
そこでコントラスト調整部130は、部位ごとに階調の最適化が可能なコントラスト調整技術によって、原画像の51のコントラストを調整する。図6の下段には、コントラスト調整部130によって実施される部位ごとの階調調整技術の例が示されている。
【0055】
コントラスト調整部130は、例えば、上記特許文献2に示したコントラスト調整技術を実施する。このコントラスト調整技術では、入力画像における各画素の画素値から当該入力画像の平均的な明るさを示す特徴値が算出される。そして算出された入力画像の特徴値に基づいて、入力画像のコントラストが調整される。例えば特徴値を境界となる画素値とし、その画素値より暗い領域が明るく調整され、その画素値より明るい領域が暗く調整される。
【0056】
図6に示した原画像51の例であれば、遺跡の領域は全体的に明るい画像であるため、暗く調整される。また森林の領域は全体的に暗い画像であるため、明るく調整される。これにより、部位ごとに階調を最適化したコントラスト調整が行われる。その結果、処理結果画像53では、森林と遺跡とのコントラストが明瞭となっている。
【0057】
配電設備の画像に対して適切なコントラスト調整を行うことにより、配電設備の腐食部分における濃淡の違いが明瞭となる。すなわち、腐食の進行度合いの違いが、腐食部分の輝度の違いとして明確に現れる。
【0058】
そこで腐食領域などの劣化箇所の領域抽出後に、その部分の画像解析が行われる。
図7は、腐食領域の画像解析の一例を示す図である。原画像61には、電柱上のアームと電線が写っている。アームが腐食している場合、アームの色が濃くなる。原画像61のコントラストを調整することで、コントラスト調整画像62が得られる。コントラスト調整画像62では、腐食領域の画素の輝度の値の範囲が広がっている。
【0059】
コントラスト調整画像62についてセマンティックセグメンテーションを実施することで、ひび領域と腐食領域などが特定される。さらにコントラスト調整画像62をグレースケール化すると、グレースケール画像63が得られる。グレースケール画像63における腐食領域内の各画素の輝度の値ごとの画素数を計数することで、腐食の濃淡(輝度値)の頻度分布図64を得ることができる。
【0060】
頻度分布図64に基づいて、腐食による劣化の程度を定量的に判定することができる。
図8は、腐食領域の劣化度判定の一例を示す図である。頻度分布図64は、横軸が腐食領域の画素の濃淡(輝度)を示し、縦軸が腐食の濃淡ごとの画素数を示している。濃淡は、0%~100%で表されている。グレースケールにおける濃淡は「0~255」の256階調の輝度の数値データで表される。最も濃度の濃い画素の輝度は「0」、最も濃度が薄い画素の輝度は「255」になる。グレースケール画像63の画素ごとの濃淡に基づき、濃度ごと腐食領域内の画素数を示す頻度分布図64は得られる。図8の例では、横軸の濃淡を「0~100」の割合で表示するため、最も濃淡の濃い数値(グレースケールで「0」)が「100」、最も濃淡が薄い数値(グレースケールで「255」)が「0」となっている。
【0061】
劣化度判定部160は、画像解析部150が生成した頻度分布図64に基づき劣化度を判定する。例えば劣化度判定部160は、濃淡に基づいて、腐食の進行度合いを示すレベル分けをする。
【0062】
図8の例では、腐食の進行度合いが5段階にレベル分けされている。腐食の濃淡「0~19」の範囲が「レベル1」である。腐食の濃淡「0~19」の画素は、グレースケールにおける輝度が「255~205」の画素である。腐食の濃淡「20~39」の範囲が「レベル2」である。腐食の濃淡「20~39」の画素は、グレースケールにおける輝度が「204~154」の画素である。腐食の濃淡「40~59」の範囲が「レベル3」である。腐食の濃淡「40~59」の画素は、グレースケールにおける輝度が「153~103」の画素である。腐食の濃淡「60~79」の範囲が「レベル4」である。腐食の濃淡「60~79」の画素は、グレースケールにおける輝度が「102~52」の画素である。腐食の濃淡「80~100」の範囲が「レベル5」である。腐食の濃淡「8~100」の画素は、グレースケールにおける輝度が「51~0」の画素である。なお、腐食の濃淡と腐食レベルとの対応関係はユーザが任意に設定を変更可能である。
【0063】
劣化度判定部160は、腐食の濃度ごとの画素数のピーク(最頻値)を求める。画素数がピークとなる濃度の腐食のレベルが、腐食による劣化度となる。図8の例では腐食濃度ごとの画素数のピークが腐食の濃淡の「78」付近にある。そのため腐食による腐食レベルは「レベル4」と判定される。
【0064】
なお、腐食レベルが高くても、腐食レベルが高い範囲が狭ければ、補修の緊急性は低い。そこで劣化度判定部160は、一定の腐食レベル以上の範囲の広さに基づいて、劣化度を判定する。
【0065】
図9は、劣化度判定基準の一例を示す図である。例えば劣化度判定部160は、配電設備の錆による劣化度を、腐食レベル判定結果と腐食レベル4以上の領域の割合に基づき判定する。劣化度判定表71は、横軸に腐食レベル判定結果を示し、縦軸に腐食レベル4以上の領域の割合を示している。劣化度判定表71において、斜線で塗りつぶされている領域が、劣化度「高」の域である。それ以外の領域は、劣化度「低」の領域である。
【0066】
図9の例では、頻度分布図64でのピーク位置の腐食レベル(レベル1~レベル5の5段階)がレベル4以上であり、腐食領域全体に対する腐食レベル4以上の割合が50%以上の場合、劣化度「高」と判定される。
【0067】
図10は、腐食劣化度判定処理の手順の一例を示すフローチャートである。以下、図10に示す処理をステップ番号に沿って説明する。
[ステップS121]劣化度判定部160は、ピークの腐食レベルを判定する。例えば劣化度判定部160は、腐食の濃淡の頻度分布図64において、画素数が最も多い濃淡の値を求める。そして劣化度判定部160は、その濃淡の値を含む腐食レベルを判断する。
【0068】
[ステップS122]劣化度判定部160は、ピークの腐食レベルが「レベル4」以上か否かを判断する。劣化度判定部160は、「レベル4」以上であれば、処理をステップS123に進める。また劣化度判定部160は、「レベル4」未満であれば、処理をステップS125に進める。
【0069】
[ステップS123]劣化度判定部160は、腐食レベルが「レベル4」以上の腐食領域の割合を算出する。例えば劣化度判定部160は、腐食領域全体の画素数を計数する。また劣化度判定部160は、腐食レベルが「レベル4」以上(輝度値が「102」以下)の画素数を計数する。そして劣化度判定部160は、腐食レベルが「レベル4」以上の画素数を腐食領域全体の画素数で除算し、除算結果を腐食領域の割合とする。
【0070】
[ステップS124]劣化度判定部160は、腐食レベル「レベル4」以上の領域の割合が50%を超えているか否かを判断する。劣化度判定部160は、50%を超えていれば、処理をステップS126に進める。劣化度判定部160は、50%を超えていなければ、処理をステップS125に進める。
【0071】
[ステップS125]劣化度判定部160は、劣化度の判定結果を「低」として、腐食劣化度判定処理を終了する。
[ステップS126]劣化度判定部160は、劣化度の判定結果を「高」とする。
【0072】
[ステップS127]劣化度判定部160は、腐食領域のカラーマップ画像を生成する。例えば劣化度判定部160は、腐食領域の腐食レベルの違いを、色の違いに置き換えたカラーマップ画像を生成する。
【0073】
[ステップS128]劣化度判定部160は、カラーマップ画像を、配電設備を撮影した原画像と合成する。劣化度判定部160は、合成した画像を診断結果に含める。
このようにカラーマップ画像を合成することで、作業員は腐食領域および腐食の度合いを、容易に認識することができる。
【0074】
図11は、診断結果の一例を示す図である。図11には、劣化度「高」の腐食が検出された場合の例が示されている。この場合、グレースケール画像63における濃淡が、カラーマップで定義された色に置き換えられる。
【0075】
図11の例では、jetと呼ばれるカラーマップが使用されている。このカラーマップでは、腐食レベル「レベル1」の領域の色は「赤」、腐食レベル「レベル2」の領域の色は「黄」、腐食レベル「レベル3」の領域の色は「緑」、腐食レベル「レベル4」の領域の色は「青」、腐食レベル「レベル5」の領域の色は「紫」である。
【0076】
グレースケール画像63における腐食領域の各画素に対してカラーマップによって色を設定することで、カラーマップ適用画像65が生成される。原画像61に対してカラーマップ適用画像65を合成することで、腐食部表示画像81が得られる。腐食部表示画像81は、配電設備における腐食部分における腐食の度合いを色で表した画像である。
【0077】
例えば腐食部表示画像81を含む診断結果画面80が、作業員30の所持する端末33に送信される。作業員30は、診断結果画面80を参照することで、配電設備の劣化の度合いを容易に認識することができる。
【0078】
このように、「腐食レベル判定」と「腐食レベル4以上の腐食の割合」の両方が大きい場合は劣化度が高くそれ以外は劣化度が低いと判定される。判定の閾値は運用に合わせて変更可能である。適切な閾値を設定して劣化度を判定することで、不必要な補修作業の発生を抑止できる。すなわち、部材の交換が多発するとコスト増となるので、多少劣化が進んでいても安全上問題のない配電設備はそのまま使い続けることができる。例えば配電設備の部材は錆の量が多ければ劣化度が高いとは必ずしもいえず、腐食領域が広範囲でも腐食の程度が低ければ劣化判定は低い値にするのが適切である。
【0079】
腐食がレベル4以上の腐食領域の割合を算出することにより、例えば腐食がアーム全体に存在している場合でも腐食レベルがレベル3以下の領域の割合が多い場合は、劣化度は「低」となる。このような判定手法を用いることで交換部材の適正化を図ることができる。なお図9の例では、レベル4以上を腐食レベルが高いと定義したが、運用に合わせてレベルの閾値を変更してもよい。
【0080】
このように画像解析部150で腐食領域を抽出して解析対象を絞り、またコントラスト調整部130で明度の平滑化を行い、グレースケールの濃淡で劣化判定を行うことで、画像解析と実物の目視確認との乖離を低減して腐食の劣化判定を行うことができる。しかも錆による腐食領域をグレースケールに変換して256階調の数値データで錆の濃淡を判別することができる。グレースケールに変換することで、RGB(赤:Red、緑:Green、青:Blue)やHSV(色相:Hue、彩度:Saturation・Chroma、明度:Value・Brightness)による数値化に比べて扱う数値情報が少なくて済む。そのため劣化判定処理を効率的に行うことができる。
【0081】
次に、ひびによる配電設備の劣化度の判定方法について説明する。ひびによる配電設備の劣化度は、例えば特に危険度の高い部品の周囲で発生したひびか否かによって判定される。
【0082】
図12は、ひびによる配電設備の劣化度の判定方法の一例を示す図である。電柱90に設けられた配電設備はアーム91や碍子92,93などの部材で構成される。碍子92,93が劣化すると感電の危険性があるため点検では特に重点的に確認することが求められる。またアーム91は腐食が進行するとひび95,96や穴になる場合がある。このとき碍子92,93の周辺にひび95,96や穴があると危険である。そのため碍子周辺内にひびや穴がある配電設備は部材交換の優先度が高い。そこで劣化度判定部160は、画像から碍子92の周辺の碍子周辺領域94を特定して、碍子周辺領域94内にひび95,96や穴が検出された場合、劣化判定度として高い値を出力する。
【0083】
図13は、ひび劣化度判定処理の手順の一例を示すフローチャートである。以下、図13に示す処理をステップ番号に沿って説明する。
[ステップS141]劣化度判定部160は、セマンティックセグメンテーションの結果に基づいて、碍子領域を特定する。
【0084】
[ステップS142]劣化度判定部160は、碍子検出画像を二値化し、二値画像を取得する。
[ステップS143]劣化度判定部160は、碍子周辺領域を特定する。例えば劣化度判定部160は、碍子領域を、上下それぞれに碍子の縦方向の幅の分だけ領域を拡げ、左右それぞれに碍子の横方向の幅の分だけ領域を広げる。劣化度判定部160は、拡げられた領域を、碍子周辺領域とする。
【0085】
[ステップS144]劣化度判定部160は、ひび領域を特定する。劣化度判定部160は、例えばセマンティックセグメンテーションの結果に基づいてひび領域を特定する。
[ステップS145]劣化度判定部160は、碍子周辺領域を示す画像にひび領域を示す画像を重ねる。
【0086】
[ステップS146]劣化度判定部160は、ひび領域が碍子周辺領域内にあるか否かを判断する。劣化度判定部160は、ひび領域が碍子周辺領域内にある場合、処理をステップS147に進める。また劣化度判定部160は、ひび領域が碍子周辺領域内にない場合、処理をステップS148に進める。
【0087】
[ステップS147]劣化度判定部160は、ひびの劣化度を「高」と判定し、ひび劣化度判定処理を終了する。
[ステップS148]劣化度判定部160は、ひびの劣化度を「低」と判定し、ひび劣化度判定処理を終了する。
【0088】
図14は、ひび検出画像の一例を示す図である。原画像61に基づいて、碍子92の周囲の碍子周辺領域94が特定される。図14の例では、碍子周辺領域94内にひび95が検出されている。そこで、劣化度「高」のひびの存在を示すひび検出画像66が生成される。ひび検出画像66では、ひび95が所定の色(例えば緑)でマーキングされている。碍子周辺領域94は、半透明の白色でマーキングされている。ひび検出画像66におけるアーム左端にあるひび95は碍子周辺領域94に重なっているので、劣化判定度は高い値(補修を要する)となる。
【0089】
このように、碍子周辺領域内にひびが存在する場合は、ひびの劣化度が高く判定される。なお、腐食の劣化状態の判定においても、碍子周辺領域内の腐食については腐食レベルを何ランクか高く判断するようにしてもよい。
【0090】
〔その他の実施の形態〕
第2の実施の形態では配電設備の劣化状態の診断を行っているが、同様の処理により、他の設備の劣化状態の診断を行うことができる。
【0091】
また第2の実施の形態では端末33とネットワーク20で接続された劣化診断サーバ100によって劣化状態を診断しているが、例えば端末33において劣化状態の診断を行ってもよい。
【0092】
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
【符号の説明】
【0093】
1 設備
2 カメラ
3 画像データ
4 画像
5 腐食領域
6 頻度分布図
10 情報処理装置
11 記憶部
12 処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14