特開 2021-57957 巡視点検システムおよび巡視点検方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-57957(P2021-57957A)

(43)【公開日】2021年4月8日

(54)【発明の名称】巡視点検システムおよび巡視点検方法

(51)【国際特許分類】

   H02G 1/02 20060101AFI20210312BHJP

   G01N 21/88 20060101ALI20210312BHJP

   G06T 7/00 20170101ALI20210312BHJP

   B64D 47/08 20060101ALI20210312BHJP

【ＦＩ】

   H02G1/02

   G01N21/88 J

   G06T7/00 640

   B64D47/08

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【全頁数】18

(21)【出願番号】特願2019-177670(P2019-177670)

(22)【出願日】2019年9月27日

(71)【出願人】

【識別番号】000213909

【氏名又は名称】朝日航洋株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】横田 宏行

【テーマコード（参考）】

2G051

5G352

5L096

【Ｆターム（参考）】

2G051AA44

2G051AB02

2G051AC15

2G051AC21

2G051CA04

2G051CB01

2G051EA16

2G051EA21

2G051EB09

2G051ED08

5G352AA01

5G352AM02

5L096BA02

5L096CA04

5L096DA01

5L096FA53

5L096FA54

5L096FA64

5L096GA51

5L096HA08

(57)【要約】

【課題】送電設備に生じた異常箇所を画像処理によって簡易な方式で検出可能な巡視点検システムを提供する。
【解決手段】
ある局面に従う航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検システムであって、画像データから被点検物に異常が生じた可能性のある異常箇所を特定する異常箇所検出部と、画像データ内の異常箇所検出部で特定された異常箇所の異常画素が第１の所定数以上であるか否かを判断し、異常箇所が第１の所定数以上である場合には、異常状態と判別する異常判別部とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検システムであって、
前記画像データから前記被点検物に異常が生じた可能性のある異常箇所を特定する異常箇所検出部と、
前記画像データ内の前記異常箇所検出部で特定された前記異常箇所の異常画素が第１の所定数以上であるか否かを判断し、前記異常箇所が前記第１の所定数以上である場合には、異常状態と判別する異常判別部とを備える、巡視点検システム。

【請求項2】

前記異常判別部は、
前記画像データ内の前記異常箇所の異常画素が前記第１の所定数未満の場合に、第２の所定数以上の集合群の異常画素があるか否かを判断し、
前記画像データ内の前記異常箇所の異常画素が前記第１の所定数未満の場合に、前記第２の所定数以上の集合群の異常画素がある場合には異常状態と判断する、請求項１記載の巡視点検システム。

【請求項3】

前記異常判別部は、
前記画像データ内の前記異常箇所の異常画素が前記第１の所定数未満の場合に、第２の所定数以上の集合群の異常画素が無い場合に、前記被点検物の外周領域に隣接している異常画素があるか否かを判断し、
前記画像データ内の前記異常箇所の異常画素が前記第１の所定数未満の場合に、第２の所定数以上の集合群の異常画素が無い場合に、前記被点検物の外周領域に隣接している異常画素がある場合には異常状態と判断する、請求項２記載の巡視点検システム。

【請求項4】

航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検システムであって、
前記被点検物について連続的に撮影された複数の第１の画像データを記録する記録部と、
前記複数の第１の画像データから前記被点検物を特定する特定部と、
前記複数の第１の画像データのそれぞれの第１の画像データの前記被点検物の撮影状態の良否を判定する判定部と、
前記複数の第１の画像データのうち前記判定部の判定結果に基づいて撮影状態が不良の画像データを不良画像データとして前記記録部に記録する設定部とを備える、巡視点検システム。

【請求項5】

前記判定部は、
前記複数の第１の画像データのそれぞれの第１の画像データの前記被点検物の幅を算出し、
前記複数の第１の画像データのうち前記被点検物の幅が所定値以下であると判断された第１の画像データは、前記被点検物の撮影状態が不良と判定する、請求項４記載の巡視点検システム。

【請求項6】

前記判定部は、
前記複数の第１の画像データのそれぞれの第１の画像データの前記被点検物の外周領域が有るか否かを判断し、
前記複数の第１の画像データのうち前記被点検物の外周領域が無いと判断された第１の画像データは、前記被点検物の撮影状態が不良と判定する、請求項５記載の巡視点検システム。

【請求項7】

前記記録部は、前記被点検物について連続的に再撮影した複数の第２の画像データを記録し、
前記特定部は、前記複数の第２の画像データから前記被点検物を特定し、
前記判定部は、前記複数の第２の画像データのそれぞれの第２の画像データの前記被点検物の撮影状態の良否を判定し、
前記複数の第２の画像データのうち、前記被点検物について前記記録部に記録された前記不良画像データに対応する位置の撮影状態が良好と判定された再撮影画像データを特定する特定部と、
前記不良画像データを前記特定部により特定された再撮影画像データに変更して前記複数の第１の画像データとして編集する編集部とを備える、請求項４記載の巡視点検システム。

【請求項8】

航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検方法であって、
前記画像データから前記被点検物に異常が生じた可能性のある異常箇所を特定するステップと、
前記画像データ内の特定された前記異常箇所の異常画素が第１の所定数以上であるか否かを判断するステップと、
前記異常箇所が前記第１の所定数以上である場合には、異常状態と判別するステップとを備える、巡視点検方法。

【請求項9】

航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検方法であって、
記録部に記録された、前記被点検物について連続的に撮影された複数の第１の画像データから前記被点検物を特定するステップと、
前記複数の第１の画像データのそれぞれの第１の画像データの前記被点検物の撮影状態の良否を判定するステップと、
前記複数の第１の画像データのうち判定結果に基づいて撮影状態が不良の画像データを不良画像データとして前記記録部に記録するステップとを備える、巡視点検方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、飛行体などを用いた巡視点検システムおよび巡視点検方法に関する。

【背景技術】

【0002】

従来、架空送電線（以下、送電線と称する）などの送電設備に対する定期点検や事故発生時の巡視は、巡視員がヘリコプターに同乗して送電線に沿って飛行して双眼鏡で送電線を見ながら異常個所の有無を確認したり、送電設備を徒歩で移動しながら確認したりしていた。

【0003】

しかしながら、巡視員による双眼鏡を持っての点検／巡視は、巡視員の負担となっており、また、異常個所を見過ごすおそれがあった。

【0004】

また、ヘリコプターを使用した送電設備の点検／巡視は、ヘリコプターを利用するための費用の他、ヘリコプターの操縦士の他に複数の巡視員を搭乗させるため、点検／巡視のための費用が高くなるほか、急に点検／巡視が必要になった場合に簡易かつ迅速に対応することができない。また、ヘリコプターから送電線の画像撮影を行って、撮影した画像を巡視員が見て送電線の素線切れやアーク痕（雷痕）の有無の点検などをすることもなされている。

【0005】

また、画像撮影による送電線の点検作業も、撮影された全ての画像を巡視員が見ながら異常個所を検出しているため、迅速な点検が行えないという問題がある。

【0006】

この点で、画像処理の技術を利用して素線切れやアーク痕を検出する方式等が提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１８−７４７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本開示は、送電設備に生じた異常箇所を画像処理によって簡易な方式で検出可能な巡視点検システムおよび巡視点検方法を提供することである。

【課題を解決するための手段】

【0009】

ある局面に従う航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検システムであって、画像データから被点検物に異常が生じた可能性のある異常箇所を特定する異常箇所検出部と、画像データ内の異常箇所検出部で特定された異常箇所の異常画素が第１の所定数以上であるか否かを判断し、異常箇所が第１の所定数以上である場合には、異常状態と判別する異常判別部とを備える。

【0010】

好ましくは、異常判別部は、画像データ内の異常箇所の異常画素が第１の所定数未満の場合に、第２の所定数以上の集合群の異常画素があるか否かを判断し、画像データ内の異常箇所の異常画素が第１の所定数未満の場合に、第２の所定数以上の集合群の異常画素がある場合には異常状態と判断する。

【0011】

好ましくは、異常判別部は、画像データ内の異常箇所の異常画素が第１の所定数未満の場合に、第２の所定数以上の集合群の異常画素が無い場合に、被点検物の外周領域に隣接している異常画素があるか否かを判断し、画像データ内の異常箇所の異常画素が第１の所定数未満の場合に、第２の所定数以上の集合群の異常画素が無い場合に、被点検物の外周領域に隣接している異常画素がある場合には異常状態と判断する。

【0012】

別の局面に従う航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検システムであって、被点検物について連続的に撮影された複数の第１の画像データを記録する記録部と、複数の第１の画像データから被点検物を特定する特定部と、複数の第１の画像データのそれぞれの第１の画像データの被点検物の撮影状態の良否を判定する判定部と、複数の第１の画像データのうち判定部の判定結果に基づいて撮影状態が不良の画像データを不良画像データとして記録部に記録する設定部とを備える。

【0013】

好ましくは、判定部は、複数の第１の画像データのそれぞれの第１の画像データの被点検物の幅を算出し、複数の第１の画像データのうち被点検物の幅が所定値以下であると判断された第１の画像データは、被点検物の撮影状態が不良と判定する。

【0014】

好ましくは、判定部は、複数の第１の画像データのそれぞれの第１の画像データの被点検物の外周領域が有るか否かを判断し、複数の第１の画像データのうち被点検物の外周領域が無いと判断された第１の画像データは、被点検物の撮影状態が不良と判定する。

【0015】

好ましくは、記録部は、被点検物について連続的に再撮影した複数の第２の画像データを記録し、特定部は、複数の第２の画像データから被点検物を特定し、判定部は、複数の第２の画像データのそれぞれの第２の画像データの被点検物の撮影状態の良否を判定し、複数の第２の画像データのうち、被点検物について記録部に記録された不良画像データに対応する位置の撮影状態が良いと判定された再撮影画像データを特定する特定部と、不良画像データを特定部により特定された再撮影画像データに変更して複数の第１の画像データとして編集する編集部とを備える。

【0016】

ある局面に従う航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検方法であって、画像データから被点検物に異常が生じた可能性のある異常箇所を特定するステップと、画像データ内の特定された異常箇所の異常画素が第１の所定数以上であるか否かを判断するステップと、異常箇所が第１の所定数以上である場合には、異常状態と判別するステップとを備える。

【0017】

別の局面に従う航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検方法であって、記録部に記録された、被点検物について連続的に撮影された複数の第１の画像データから被点検物を特定するステップと、複数の第１の画像データのそれぞれの第１の画像データの被点検物の撮影状態の良否を判定するステップと、複数の第１の画像データのうち判定結果に基づいて撮影状態が不良の画像データを不良画像データとして記録部に記録するステップとを備える。

【発明の効果】

【0018】

本開示の巡視点検システムおよび巡視点検方法は、送電設備に生じた異常箇所を画像処理によって簡易な方式で検出可能である。

【図面の簡単な説明】

【0019】

【図1】実施形態１に従う巡視点検について説明する図である。

【図2】実施形態１に従う巡視点検システム１の構成を説明する図である。

【図3】実施形態１に従う巡視点検システム１において、プロセッサ２により巡視点検制御プログラムを実行することにより実現される機能構成を示すブロック図である。

【図4】実施形態１に従う学習モデルを説明する図である。

【図5】実施形態１に従う異常判定部２６における異常候補画像データの異常判定処理について説明する図である。

【図6】実施形態１に従う巡視点検システム１における異常判定処理のフローについて説明する図である。

【図7】実施形態１に従う異常判定部２６の異常判定処理のサブルーチンフローを説明する図である。

【図8】実施形態２に従う巡視点検システム１において、プロセッサ２により巡視点検制御プログラムを実行することにより実現される機能構成を示すブロック図である。

【図9】実施形態２に従うデータ検証部２９の構成について説明する図である。

【図10】実施形態２に従う良否判定部３２における画像データの良否判定処理について説明する図である。

【図11】実施形態２に従う巡視点検システム１におけるデータ検証処理のフローについて説明する図である。

【図12】実施形態２に従う良否判定部３２の良否判定処理のサブルーチンフローを説明する図である。

【図13】実施形態２に従う編集部３６の編集処理について説明するフロー図である。

【図14】実施形態２に従う編集部３６の編集処理について説明する図である。

【発明を実施するための形態】

【0020】

実施形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。

【0021】

（実施形態１）
図１は、実施形態１に従う巡視点検について説明する図である。

【0022】

図１に示されるように、巡視点検システム１は、例えば発電所や変電所から送電するための送電設備（送電線、鉄塔）２００について、通常時あるいは事故発生時において航空機、例えばヘリコプター１００を利用して、巡視点検するためのシステムである。

【0023】

なお、本例においては、ヘリコプター１００を利用する場合について説明するが、特に有人飛行体に限られず無人飛行体（UAV（Unmanned aerial vehicle））を用いることも可能である。

【0024】

巡視点検システム１は、ヘリコプター１００に搭載されたカメラにより撮影された画像データをもとに、送電設備２００に含まれる複数の異なる被点検物（例えば、架空地線、送電線等）に生じた異常箇所を検出する。

【0025】

実施形態１に従う巡視点検システム１は、例えば情報処理装置を用いて構成される。なお、ネットワークを介して複数の装置として実現することも可能である。例えば、クラウドコンピューティングにより実現されるものとし、ネットワーク（インターネット）を介して接続された１台のサーバ、あるいは複数のサーバが協働して動作することで実現されても良い。

【0026】

図２は、実施形態１に従う巡視点検システム１の構成を説明する図である。
図２を参照して、巡視点検システム１は、プロセッサ２と、メモリ４と、記憶装置６と、入出力Ｉ／Ｆ８と、表示装置１０と、入力装置１２と、通信装置１４とを含む。

【0027】

各部は互いに内部バスで接続されており、相互にデータの授受が可能に設けられている。

【0028】

プロセッサ２は、メモリ４に記憶された基本プログラム（ＯＳ）やアプリケーションプログラムを実行して、各種の機能を実現する。例えば、プロセッサ２は、巡視点検制御プログラムを実行することでヘリコプター１００に搭載されたカメラにより撮影された画像をもとに、送電施設の被点検物に生じた異常箇所を検出し、その検出結果をもとに巡視点検結果を出力する処理を実行する。

【0029】

メモリ４は、プロセッサ２により実行されるプログラムや一時的なデータ等を記憶する。

【0030】

記憶装置６は、各種のプログラムや各種データが記憶される。記憶装置６に記憶されるデータには、ヘリコプター１００から受信される取得データ（画像データ、位置データ）、画像データから被点検物に生じた異常箇所を検出するための画像処理に用いる学習モデルデータ、異常箇所の画像データ等を含む。

【0031】

入出力Ｉ／Ｆ８は、外部機器とデータを送受信するためのインタフェースである。入出力Ｉ／Ｆ８は、例えば可搬型のメモリ媒体を介してデータを入出力することができる。

【0032】

表示装置１０は、ＬＣＤ（Liquid Crystal Display）などであり、プロセッサ２の処理に応じた画面を表示させる。

【0033】

入力装置１２は、キーボードやポインティングデバイスなどであり、作業者等により操作される。

【0034】

通信装置１４は、無線通信あるいは有線通信を制御するもので、ヘリコプター１００との間、あるいは無線公衆網に収容された基地局との間の無線通信あるいは有線通信を制御する。通信装置１４は、ネットワークを通じた外部装置、例えば他の情報処理装置等との通信を制御する。ネットワークは、無線あるいは有線によるＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等を含む。

【0035】

巡視点検システム１は、ヘリコプター１００に搭載されたカメラにより撮影された画像データをもとにした被点検物に生じた異常箇所の検出、異常箇所の画像の確認処理などが実行される。

【0036】

ヘリコプター１００は、ＧＮＳＳ（Global Navigation Satellite System））を利用して生成される位置データ等、例えばＧＰＳ（Global Positioning System）衛星から受信されるＧＰＳ信号から生成する位置データ等を記憶しながら巡視点検対象とする送電設備２００を撮影して画像データを記憶する。

【0037】

なお、巡視点検システム１は、ヘリコプター１００に搭載されたカメラにより撮影された画像データを通信装置１４を用いてリアルタイムに受信して、被点検物に生じた異常箇所を検出することも可能であるが、カメラにより撮影された画像データをディスク等の情報記憶媒体に一旦記録後、当該データを記憶装置６に格納した後に被点検物に生じた異常箇所を検出するようにしてもよい。

【0038】

なお、本例においては、巡視点検システム１は、ヘリコプター１００の外部に設けられた構成について説明するが、ヘリコプター１００内に搭載していてもよい。

【0039】

図３は、実施形態１に従う巡視点検システム１において、プロセッサ２により巡視点検制御プログラムを実行することにより実現される機能構成を示すブロック図である。

【0040】

図３に示されるように、プロセッサ２は、巡視点検制御プログラムに基づいて、例えば学習モデル記憶部２０と、異常箇所検出部２２と、取得データ記憶部２４と、異常判定部２６と、確認データ記憶部２８との機能を実現する。

【0041】

学習モデル記憶部２０は、巡視点検システム１で用いる学習モデルを記憶する。学習モデルは、ヘリコプター１００に搭載されたカメラによって取得された画像データから電線領域と異常箇所とを画像中から検出するためのもので、被点検物に生じる異常状態の特徴を表す。被点検物に生じた異常としては、例えば送電線の場合にはアーク痕がある。

【0042】

図４は、実施形態１に従う学習モデルを説明する図である。
図４に示されるように、実際に生じた異常箇所の画像データとともに、当該画像データに関する情報を付加したラベル画像データを組み合わせて学習済みモデルとして記憶する。

【0043】

具体的には、背景画像（ラベル「０」）と、電線画像（ラベル「１」）と、異常画像（ラベル「２」）とに分類されたラベル画像データを記憶する。なお、本例においては３つに分類されたラベル画像データを記憶する場合について説明するが、電線画像（ラベル「１」）と、異常画像（ラベル「２」）とに分類されたラベル画像データを記憶するようにしても良い。

【0044】

巡視点検システム１は、学習モデル記憶部２０に記憶された学習モデルを用いて画像データから異常箇所を探索することで、確実に被点検物に生じた異常箇所を検出できるようにすることができる。

【0045】

なお、実際に生じた異常箇所の画像データだけでなく、被点検物に生じる異常／劣化の状態を表す擬似的な画像（類似画像）をニューラルネットワークを活用したディープラーニング（深層学習）の技術を利用して学習済みモデルを生成するようにしてもよい。ディープラーニング（深層学習）の技術を利用して、異常箇所の画像（異常画像）と異常箇所の周辺にある正常画像の組み合わせと、正常画像と異常画像とを組み合わせる比を変更しながら類似画像を生成することで、大量の類似画像に基づいた学習モデルを学習（生成）することも可能である。

【0046】

取得データ記憶部２４は、ヘリコプター１００から取得された取得データを記憶する。取得データには、例えば、被点検物を撮影した動画像データ（静止画像データでも良い）、画像撮影時のヘリコプター１００の位置を示す位置データ（緯度、経度、高度）等が含まれる。

【0047】

異常箇所検出部２２は、取得データ記憶部２４に記憶された取得データから、学習モデル記憶部２０に記憶された学習モデル（被点検物の異常箇所の特徴）をもとにした画像処理により電線領域および異常箇所を検出する。具体的には、異常箇所検出部２２は、取得された画像データに関して学習モデルを用いて、当該画像データに対応する図４で説明したラベル画像データを生成する。例えば取得された画像データのうち背景として判断された画素はラベル「０」に設定する。また、取得された画像データのうち電線として判断された画素はラベル「１」に設定する。取得された画像データのうち異常として判断された画素はラベル「２」に設定する。ラベル画像データにラベル「２」が含まれている場合に当該取得された画像データは異常候補画像と判断される。異常箇所検出部２２は、取得データ記憶部２４に記憶された画像データとともに、生成したラベル画像データを異常候補画像データとして異常判定部２６に出力する。

【0048】

異常判定部２６は、異常箇所検出部２２で検出された異常の候補画像（異常候補画像とも称する）について実際に異常が有るか否かを判定する。

【0049】

確認データ記憶部２８は、異常判定部２６で異常候補画像が異常であることが確認された異常画像データ、検出位置、検出日時などを示す各データを確認データとして記憶する。これにより簡易に異常箇所を確認することが可能である。

【0050】

図５は、実施形態１に従う異常判定部２６における異常候補画像データの異常判定処理について説明する図である。

【0051】

本例においては、異常判定部２６は、異常候補画像データに含まれるラベル画像データに基づいて異常が有るか否かを判定する。

【0052】

図５（Ａ）に示されるように、異常候補画像データ（ラベル画像データ）に関して、異常箇所の候補画素（ラベル「２」）の個数が第１の所定数以上である場合には、当該異常候補画像データは異常と判定する。傷や経年劣化に従って多数の異常と判定される画素が多い画像の場合には異常有りと判断する。

【0053】

図５（Ｂ）に示されるように、異常候補画像データ（ラベル画像データ）に関して、異常箇所の候補画素（ラベル「２」）の個数が第１の所定数以上で無い場合であっても、集合群の異常箇所の候補画素（ラベル「２」）が第２の所定数以上である場合には、当該異常候補画像データは異常と判定する。アーク痕のような局所的に集合群の異常と判定される画素がある画像の場合には異常有りと判断する。

【0054】

図５（Ｃ）に示されるように、異常候補画像データ（ラベル画像データ）に関して、異常箇所の候補画素（ラベル「２」）の個数が第１の所定数以上で無く、かつ集合群の異常箇所の候補画素（ラベル「２」）の個数が第２の所定数以上でない場合であっても、電線の外周領域に隣接する異常箇所の候補画素（ラベル「２」）が有る場合には、異常と判定する。素線切れのような外周領域に異常と判定される画素がある画像の場合には異常有りと判断する。

【0055】

図５（Ｄ）に示されるように、異常候補画像データ（ラベル画像データ）に関して、異常箇所の候補画素が複数ある場合であっても第１の所定数未満であり、かつ集合群の異常箇所の候補画素が第２の所定数未満である場合には、当該異常候補画像データは異常でないと判定する。異常と判定される画素がある場合であってもその個数が少ない場合には異常無しと判断する。

【0056】

図５（Ｅ）に示されるように、異常候補画像データ（ラベル画像データ）に関して、異常箇所の候補画像が電線の外周領域の外にある場合には、当該異常候補画像データは異常ではないと判定する。電線の外周領域の外であるためノイズの可能性が高いため異常と判定される画素がある場合であっても異常無しと判断する。

【0057】

図６は、実施形態１に従う巡視点検システム１における異常判定処理のフローについて説明する図である。

【0058】

図６を参照して、巡視点検システム１は、画像データを取得する（ステップＳ２）。
具体的には、ヘリコプター１００に搭載されたカメラによって撮像された画像データが記憶装置６に格納される。取得データ記憶部２４は、ヘリコプター１００から取得された取得データを記憶する。異常箇所検出部２２は、取得データ記憶部２４に記憶された画像データを取得する。

【0059】

次に、巡視点検システム１は、電線領域と異常箇所とを検出する（ステップＳ４）。異常箇所検出部２２は、取得データ記憶部２４に記憶された画像データと、学習モデル記憶部２０に格納されている学習モデルとに基づいて異常箇所を検出する。異常箇所検出部２２は、学習モデルを用いてラベル画像データを生成し、取得データ記憶部２４に記憶された画像データに関して異常箇所が有ると判定された場合には異常候補画像データとして異常判定部２６に出力する。

【0060】

次に、巡視点検システム１は、異常を判定する（ステップＳ６）。異常判定部２６は、異常候補画像について実際に異常で有るか否かを判定する。異常判定処理の詳細については後述する。

【0061】

そして、処理を終了する（エンド）。
図７は、実施形態１に従う異常判定部２６の異常判定処理のサブルーチンフローを説明する図である。

【0062】

図７に示されるように、巡視点検システム１は、異常画素が第１の所定数以上であるか否かを判定する（ステップＳ１０）。異常判定部２６は、取得した異常候補画像データに含まれる異常箇所と判定された異常画素が第１の所定数以上であるか否かを判定する。本例においては、異常判定部２６は、ラベル画像データに含まれるラベル「２」の個数をカウントして、当該カウントした個数が第１の所定数以上であるか否かを判定する。第１の所定数は任意の数に設定することが可能である。

【0063】

ステップＳ１０において、巡視点検システム１は、異常画素が第１の所定数以上であると判定した場合（ステップＳ１０においてＹＥＳ）には、異常有りと判定する（ステップＳ１８）。異常判定部２６は、ラベル画像データに含まれるラベル「２」の個数が第１の所定数以上であると判定した場合には、図５（Ａ）で説明したように傷や経年劣化に従って異常の可能性が高い画像データを異常有りと判定する。

【0064】

そして、処理を終了する（リターン）。
次に、巡視点検システム１は、異常画素が第１の所定数以上で無いと判定した場合（ステップＳ１０においてＮＯ）には、集合群の異常画素が第２の所定数以上であるか否かを判定する（ステップＳ１２）。異常判定部２６は、取得した異常候補画像データに含まれる異常箇所と判定された異常画素が第１の所定数以上で無い場合には、集合群の異常画素が第２の所定数以上であるか否かを判定する。本例においては、異常判定部２６は、ラベル画像データに含まれる互いに隣接するラベル「２」の個数をカウントして、当該カウントした個数が第２の所定数以上であるか否かを判定する。第２の所定数は任意の数に設定することが可能である。

【0065】

ステップＳ１２において、巡視点検システム１は、集合群の異常画素が第２の所定数以上有ると判定した場合（ステップＳ１２においてＹＥＳ）には、異常有りと判定する（ステップＳ１８）。異常判定部２６は、ラベル画像データに含まれる互いに隣接するラベル「２」の個数が第２の所定数以上であると判定した場合には、図５（Ｂ）で説明したようにアーク痕のような異常の可能性が高い画像データを異常有りと判定する。

【0066】

そして、処理を終了する（リターン）。
次に、巡視点検システム１は、集合群の異常画素が第２の所定数以上で無いと判定した場合（ステップＳ１２においてＮＯ）には、電線の外周領域に隣接する異常画素が有るか否かを判定する（ステップＳ１４）。異常判定部２６は、取得した異常候補画像データに含まれる異常箇所と判定された異常画素が第１の所定数以上で無く、集合群の異常画素が第２の所定数以上で無い場合には、電線の外周領域に隣接する異常画素があるか否かを判定する。本例においては、異常判定部２６は、ラベル画像データに含まれるラベル「１」に基づいて電線の外周領域を特定する。異常判定部２６は、特定された電線の外周領域に隣接するラベル「２」の異常画素があるか否かを判定する。

【0067】

ステップＳ１４において、巡視点検システム１は、電線の外周領域に隣接する異常画素が有ると判定した場合（ステップＳ１４においてＹＥＳ）には、異常有りと判定する（ステップＳ１８）。異常判定部２６は、特定された電線の外周領域に隣接するラベル「２」の異常画素がある場合には、図５（Ｃ）で説明したような素線切れのような異常の可能性が高い画像データを異常有りと判定する。

【0068】

そして、処理を終了する（リターン）。
一方、ステップＳ１４において、巡視点検システム１は、電線の外周領域に隣接する異常画素が無いと判定した場合（ステップＳ１４においてＮＯ）には、異常無しと判定する（ステップＳ１６）。異常判定部２６は、図５（Ｄ）あるいは図５（Ｅ）で説明したようにノイズのような異常の可能性が低い画像データを異常無しと判定する。

【0069】

そして、処理を終了する（リターン）。
なお、ステップＳ１０，Ｓ１２，Ｓ１４の判定処理を実行する場合について説明したが、これに限られずいずれか１つとしても良いし、任意の組み合わせで２つの判定処理を実行することも可能である。

【0070】

実施形態１に従う巡視点検システム１は、上記に従って被点検物（例えば、架空地線、送電線等）に生じた異常箇所を画像処理によって簡易な方式で検出することが可能である。また、実施形態１に従う巡視点検システム１は、被点検物（例えば、架空地線、送電線等）の傷や経年劣化による異常のみならず、アーク痕や素線切れ等の異常に対しても精度の高い異常検出が可能である。

【0071】

（実施形態２）
上記の実施形態１においては、画像データの異常の判定方式について説明した。一方で、ヘリコプター１００に搭載されたカメラで取得した画像データに関して撮影対象の被点検物（例えば、架空地線、送電線等）が正常に撮影されていない可能性もある。

【0072】

図８は、実施形態２に従う巡視点検システム１において、プロセッサ２により巡視点検制御プログラムを実行することにより実現される機能構成を示すブロック図である。

【0073】

図８に示されるように、図３で説明した構成と比較して、データ検証部２９をさらに備えた点が異なる。その他の構成については同様であるのでその詳細な説明については繰り返さない。

【0074】

データ検証部２９は、取得データ記憶部２４に格納されている取得された画像データが正常な画像データか否かを検証する。すなわち、被点検物が正常に撮影されているか否かを検証する。本例においては、被点検物が正常に撮影されていないと判断された場合には当該被点検物を再撮影する。本例においては、被点検物の一例として電線を撮影する場合について説明する。

【0075】

図９は、実施形態２に従うデータ検証部２９の構成について説明する図である。
図９に示されるようにデータ検証部２９は、特定部３０と、良否判定部３２と、設定部３４と、編集部３６とを含む。

【0076】

特定部３０は、画像データから被点検物である電線を特定する。
良否判定部３２は、画像データの被点検物である電線の撮影状態の良否を判定する。

【0077】

設定部３４は、良否判定部３２の判定結果に基づいて撮影状態が良い画像データを良好画像データとして、撮影状態が良くない画像データを不良画像データとして記憶装置６に記録する。

【0078】

編集部３６は、記憶装置６に記録された不良画像データを良好な再撮影画像データに変更する。

【0079】

図１０は、実施形態２に従う良否判定部３２における画像データの良否判定処理について説明する図である。

【0080】

良否判定部２６は、画像データに基づいて撮影状態が不良か否かを判定する。
図１０（Ａ）に示されるように、被点検物である電線の一部が欠落しているような画像データの場合には撮影状態が不良であり、不良画像データと判定する。具体的には、画像データに含まれる被点検物の電線幅が所定値以下の箇所がある場合には不良画像データと判定する。

【0081】

図１０（Ｂ）に示されるように、被点検物である電線の一部が欠落していない画像であっても被点検物の大きさが小さい場合には撮影状態が不良であり、不良画像データと判定する。具体的には、画像データに含まれる被点検物の電線幅が所定値以下の箇所がある場合には不良画像データと判定する。

【0082】

図１０（Ｃ）に示されるように、画像データに含まれる被点検物である電線幅が所定値を超える場合であっても外周領域が欠落しているような画像データの場合には撮影状態が不良であり、不良画像データと判定する。具体的には、画像データに含まれる被点検物の電線の外周領域が存在するか否かを判定し、存在しない場合には不良画像データと判定する。例えば、画像データの電線を構成する画素の上下方向に電線以外の画素が存在するか否かにより外周領域が存在するか否かを判定するようにしてもよい。

【0083】

図１１は、実施形態２に従う巡視点検システム１におけるデータ検証処理のフローについて説明する図である。

【0084】

図１１を参照して、巡視点検システム１は、画像データを取得する（ステップＳ２０）。

【0085】

具体的には、ヘリコプター１００に搭載されたカメラによって撮像された画像データが記憶装置６に格納される。取得データ記憶部２４は、ヘリコプター１００から取得された取得データを記憶する。特定部３０は、取得データ記憶部２４に記憶された画像データを取得する。

【0086】

次に、巡視点検システム１は、電線領域を特定する（ステップＳ２２）。特定部３０は、取得データ記憶部２４に記憶された画像データから被点検物である電線領域を特定する。

【0087】

具体的には、上記で説明したように、学習モデル記憶部２０に記憶された学習モデルをもとにした画像処理により電線領域を特定する。あるいは、特定部３０は、形状により電線領域を特定してもよいし、画像データに含まれる色データに基づいて電線領域を特定しても良い。

【0088】

次に、巡視点検システム１は、撮影状態の良否を判定する（ステップＳ２４）。良否判定部３２は、画像データの特定された電線領域に基づいて撮影状態の良否を判定する。撮影状態の良否判定処理の詳細については後述する。

【0089】

図１２は、実施形態２に従う良否判定部３２の良否判定処理のサブルーチンフローを説明する図である。

【0090】

図１２に示されるように、巡視点検システム１は、電線幅を算出する（ステップＳ３０）。良否判定部３２は、特定した電線領域の電線幅を算出する。例えば、画像データの特定された電線領域の画素数（画素（ラベル「１」）の個数）により電線幅を算出するようにしても良い。電線幅は、電線領域の長さ方向に直交する方向の距離である。

【0091】

次に、巡視点検システム１は、電線幅が所定値以下であるか否かを判定する（ステップＳ３２）。良否判定部３２は、電線幅が所定値以下であるか否かを判定する。具体的には、良否判定部３２は、画像データの特定された電線領域の長さ方向に直交する方向の画素数が所定個数以下であるか否かを判定するようしてもよい。

【0092】

ステップＳ３２において、巡視点検システム１は、電線幅が所定値以下であると判定した場合（ステップＳ３２においてＹＥＳ）には、撮影状態は不良であると判定する（ステップＳ３８）。良否判定部３２は、電線幅が所定値以下であると判定した場合には、図１０（Ａ）、（Ｂ）で説明したように撮影状態は不良であり、不良画像データと判定する。

【0093】

そして、処理を終了する（リターン）。
一方、巡視点検システム１は、電線幅が所定値以下で無いと判定した場合（ステップＳ３２においてＮＯ）には、画像データの特定された電線領域の外周領域が有るか否かを判定する（ステップＳ３４）。良否判定部３２は、取得した画像データに含まれる電線領域の外周領域があるか否かを判定する。例えば、取得した画像データに含まれる電線領域を構成する画素の上下方向に電線領域以外の画素が存在するか否かにより外周領域が存在するか否かを判定するようにしてもよい。なお、少なくとも１つの画素が存在していれば電線領域の外周領域が存在すると判定しても良いし、マージンを設けて複数の画素が存在していれば電線領域の外周領域が存在すると判定するようにしても良い。

【0094】

ステップＳ３４において、巡視点検システム１は、特定された電線領域の外周領域がないと判定した場合（ステップＳ３４においてＮＯ）には、撮影状態は不良であると判定する（ステップＳ３８）。良否判定部３２は、特定された電線領域の外周領域が無いと判定した場合には、図１０（Ｃ）で説明したように、撮影状態は不良であり、不良画像データと判定する。

【0095】

そして、処理を終了する（リターン）。
一方、ステップＳ３４において、巡視点検システム１は、特定された電線領域の外周領域があると判定した場合（ステップＳ３４においてＹＥＳ）には、撮影状態は良好であると判定する（ステップＳ３６）。

【0096】

そして、処理を終了する（リターン）。
再び図１１を参照して、巡視点検システム１は、判定結果を撮像された画像データに設定する（ステップＳ２６）。

【0097】

具体的には、設定部３４は、良否判定部３２の良否判定の結果を画像データに設定する。例えば、設定部３４は、記憶装置６に格納されている複数の画像データに対して良好あるいは不良画像データとしてそれぞれ判定結果を関連付けて設定する。

【0098】

そして、処理を終了する（エンド）。
本例においては、被点検物が正常に撮影されていないと判断された場合には当該被点検物を再撮影する。この場合、再撮影画像データについても図１１で説明した処理が実行される。設定部３４は、良否判定部３２の良否判定の結果を再撮影画像データに設定する。設定部３４は、記憶装置６に格納されている複数の再撮影画像データに対して良好あるいは不良画像データとしてそれぞれ判定結果を関連付けて設定する。

【0099】

図１３は、実施形態２に従う編集部３６の編集処理について説明するフロー図である。
図１３に示されるように、巡視点検システム１は、記憶装置６に格納されている不良画像データを取得する（ステップＳ４０）。編集部３６は、取得データ記憶部２４に記憶されている不良に設定された不良画像データを取得する。

【0100】

次に、巡視点検システム１は、対応する再撮影画像データを特定する（ステップＳ４２）。具体的には、編集部３６は、不良画像データに関連付けられている位置情報に基づいて同一の位置情報に対応する再撮影画像データを特定する。位置情報は、特定された電線領域に関する位置情報でも良いし、カメラが設けられているヘリコプター１００の位置情報を用いることも可能である。

【0101】

次に、巡視点検システム１は、記憶装置６に格納されている画像データを編集する（ステップＳ４４）。編集部３６は、当該撮影状態が不良に設定された画像データの位置データを取得して、当該位置データに対応する再撮影画像データを特定して、入れ替える。

【0102】

次に、巡視点検システム１は、全ての不良に設定された画像データをチェックしたか否かを判断する（ステップＳ４６）。

【0103】

ステップＳ４６において、巡視点検システム１は、全ての不良に設定された画像データをチェックしていないと判断した場合（ステップＳ４６においてＮＯ）には、ステップＳ４０に戻り、他の不良に設定された画像データを取得して上記の処理を繰り返す。

【0104】

一方、ステップＳ４６において、巡視点検システム１は、全ての不良に設定された画像データをチェックしたと判断した場合（ステップＳ４６においてＹＥＳ）には、処理を終了する（エンド）。

【0105】

図１４は、実施形態２に従う編集部３６の編集処理について説明する図である。
図１４に示されているように、例えば動画像データの一部の画像データにおいて撮影状態が不良であるとして不良画像データとして設定された場合が示されている。

【0106】

編集部３６は、当該撮影状態が不良に設定された不良画像データの位置データを取得して、当該位置データに対応する再撮影画像データを特定する。本例においては、位置データＰＥにおける再撮影画像データが不良画像データと対応している場合が示されている。

【0107】

そして、編集部３６は、再撮影画像データを不良画像データと入れ替えて編集する。
これにより、不良画像データを再撮影画像データに入れ替えて適切な画像データを取得することが可能である。なお、再撮影画像データは、良好な画像データとして設定されているものとする。なお、再撮影画像データの入れ替えに関して、不良画像データと判定された位置データＰＥと同一の位置に対応する再撮影画像データだけでなく、その前後の位置関係に対応する撮影状態が良好と判定された複数の再撮影画像データを入れ替えるようにしてもよい。

【0108】

実施形態２に従う巡視点検システム１は、被点検物に生じた異常箇所の検出処理の前に被点検物を撮影した画像データが正常か否かを判定する。

【0109】

そして、不良な画像データである場合には、再撮影により取得した再撮影画像データを用いて不良画像データと入れ替えて適切な画像データのセットを作成することが可能である。

【0110】

例えば、距離の長い被点検物（例えば、架空地線、送電線等）を撮影する場合には、環境要因によって一部撮影が適切でなくなる可能性もある。当該方式により、不良と判定された不良画像データを良好な再撮影画像データに入れ替えることが可能であり、精度の高い巡視点検が可能である。

【0111】

なお、上記の各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（ハードディスクなど）、光ディスク（ＣＤＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。また、記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。

【0112】

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。

【0113】

さらに、各実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

【0114】

また、記憶媒体は１つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

【0115】

なお、各実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記の各実施形態における各処理を実行するものであって、パーソナルコンピュータ等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

【0116】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0117】

１ 巡視点検システム、２ プロセッサ、４ メモリ、６ 記憶装置、１０ 表示装置、１２ 入力装置、１４ 通信装置、２０ 学習モデル記憶部、２２ 異常箇所検出部、２４ 取得データ記憶部、２６ 異常判定部、２８ 確認データ記憶部、２９ データ検証部、３０ 特定部、３２ 良否判定部、３４ 設定部、３６ 編集部、１００ ヘリコプター、２００ 送電設備。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】