特開 2023-177995 変電所の点検支援システム、サーバ、変電所の点検支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177995

(43)【公開日】2023-12-14

(54)【発明の名称】変電所の点検支援システム、サーバ、変電所の点検支援方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20231207BHJP

   G06T 7/00 20170101ALI20231207BHJP

【ＦＩ】

G01N21/88 Z

G06T7/00 610Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022090999

(22)【出願日】2022-06-03

(71)【出願人】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】北山 匡史

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA88

2G051AB01

2G051AB20

2G051AC15

2G051CA04

2G051EB05

5L096AA02

5L096AA06

5L096CA04

5L096FA64

5L096FA67

5L096FA69

5L096GA34

5L096HA11

5L096KA04

(57)【要約】

【課題】変電所内の変電設備の点検において、保守員の負担を軽減しつつ必要な点検精度を確保する。
【解決手段】変電所の点検支援システム１００は、カメラ２６を用いて変電所内を撮影するドローン２と、ドローン２により撮影された画像に対して画像処理を実行するサーバ１（プロセッサ１１）とを備える。画像処理は、変電設備のうちの異物の発生を伴う異常が生じ得る特定部分の正常時における外観的特徴に基づいて、異常が実際に生じているか否かに拘わらず、ドローン２により撮影された画像から特定部分を抽出する処理を含む。
【選択図】図１３

【特許請求の範囲】

【請求項1】

保守員による変電所内の変電設備の点検業務を支援する、変電所の点検支援システムであって、
カメラを用いて前記変電所内を撮影する無人移動体と、
前記無人移動体により撮影された画像に対して画像処理を実行するプロセッサとを備え、
前記画像処理は、前記変電設備のうちの異物の発生を伴う異常が生じ得る特定部分の正常時における外観的特徴に基づいて、前記異常が実際に生じているか否かに拘わらず、前記無人移動体により撮影された画像から前記特定部分を抽出する処理を含み、
前記プロセッサは、前記画像処理により前記特定部分が抽出された画像を保守員の端末に提供する、変電所の点検支援システム。

【請求項2】

前記異常は、前記特定部分からの漏油を含む、請求項１に記載の変電所の点検支援システム。

【請求項3】

前記異常は、前記特定部分の発錆を含む、請求項１に記載の変電所の点検支援システム。

【請求項4】

前記異常は、前記特定部分への汚れの付着を含む、請求項１に記載の変電所の点検支援システム。

【請求項5】

前記プロセッサは、
前記画像処理において、前記異常が生じていない状態での前記外観的特徴をマーカとして学習した学習済みモデルを用いることによって前記特定部分を抽出し、前記特定部分が抽出された画像にタグを付与し、
前記無人移動体により撮影された画像のうち、前記タグが付与された画像を前記端末に提供する一方で、前記タグが付与されていない画像は前記端末に提供しない、請求項１～４のいずれか１項に記載の変電所の点検支援システム。

【請求項6】

前記変電設備の属性情報が格納されたメモリをさらに備え、
前記属性情報は、前記無人移動体により前記変電設備を撮影可能な領域を示す情報に関連付けられており、
前記無人移動体は、前記無人移動体により撮影された画像に前記無人移動体の位置情報を付加するように構成され、
前記プロセッサは、前記画像処理により前記特定部分が抽出された画像に、前記無人移動体の前記位置情報に基づいて、抽出された前記特定部分を有する前記変電設備の前記属性情報を付与する、請求項１～４のいずれか１項に記載の変電所の点検支援システム。

【請求項7】

前記プロセッサは、前記無人移動体により撮影された画像のうち、前記無人移動体が前記撮影可能な領域内であるときに撮影されたことを前記無人移動体の前記位置情報が示す画像に対して前記画像処理を実行する、請求項６に記載の変電所の点検支援システム。

【請求項8】

保守員による変電所内の変電設備の点検業務を支援するサーバであって、
カメラが搭載された無人移動体により撮影された前記変電所内の画像に対して画像処理を実行するプロセッサを備え、
前記画像処理は、前記変電設備のうちの異物の発生を伴う異常が生じ得る特定部分の正常時における外観的特徴に基づいて、前記異常が実際に生じているか否かに拘わらず、前記無人移動体により撮影された画像から前記特定部分を抽出する処理を含み、
前記プロセッサは、前記画像処理により前記特定部分が抽出された画像を前記保守員の端末に提供する、サーバ。

【請求項9】

保守員による変電所内の変電設備の点検業務を支援する、変電所の点検支援方法であって、
カメラが搭載された無人移動体により撮影された画像に対してプロセッサが画像処理を実行するステップを含み、
前記画像処理を実行するステップは、前記変電設備のうちの異物の発生を伴う異常が生じ得る特定部分の正常時における外観的特徴に基づいて、前記異常が実際に生じているか否かに拘わらず、前記無人移動体により撮影された画像から前記特定部分抽出するステップを含み、
前記点検支援方法は、前記抽出するステップにより前記特定部分が抽出された画像を前記保守員の端末に提供するステップをさらに含む、変電所の点検支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、変電所の点検支援システム、サーバ、変電所の点検支援方法に関する。

【背景技術】

【0002】

電力会社の変電所においては、変電設備の異常の早期発見のための点検が定期的に行われる。従来の点検では、変電所に派遣された保守員（作業員）が、変電設備に設置された指示計器を確認したり、変電設備の状態を目視で確認したりしている。

【0003】

近年、電力会社では、ドローン、ラジコンヘリコプターなどの無人移動体にカメラを搭載して変電所内を撮影し、撮影された画像を遠隔地において確認する点検手法が検討されている。これにより、保守員が変電所現地に行かなくとも点検が可能になるため、変電所への保守員の派遣人数または派遣頻度が低減される。よって、点検コストの削減および点検業務の効率化が期待される。

【0004】

特開２００６－２７４４８号公報（特許文献１）は、無人飛行体を利用した空撮方法を開示する。特開２０１９－２１９８７４号公報（特許文献２）は、カメラを搭載した自立移動体を制御する自立移動撮影制御システムを開示する。特開２００６－３１１４４号公報（特許文献３）に開示された自立走行監視装置は、監視区域内の場所ごとに最適な画像を撮影することによって監視または確認を確実なものにする。特開２０２１－９０３４８号公報（特許文献４）に開示された点検システムは、被点検物に生じた異常を画像データ中から検出するための画像モデルを生成する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６－２７４４８号公報

【特許文献2】特開２０１９－２１９８７４号公報

【特許文献3】特開２００６－３１１４４号公報

【特許文献4】特開２０２１－９０３４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

無人移動体を利用する場合、画像（動画）の撮影時間が長時間になったり、画像（静止画）の枚数が大量になったりすることが想定される。そのような画像の全てを確認するには保守員の時間的および労力的な負担が大きい。そこで、無人移動体により撮影された画像に対して画像処理技術を適用することが考えられる。画像処理技術により保守員の負担を軽減することが望ましい一方で、画像処理技術を適用する場合でも必要な点検精度を確保することが求められる。

【0007】

本開示は上記課題を解決するためになされたものであり、本開示の目的の１つは、変電所内の変電設備を点検する保守員の負担を軽減しつつ必要な点検精度を確保することである。

【課題を解決するための手段】

【0008】

本開示の一実施形態による変電所の点検支援システムは、保守員による変電所内の変電設備の点検業務を支援する。点検支援システムは、カメラを用いて変電所内を撮影する無人移動体と、無人移動体により撮影された画像に対して画像処理を実行するプロセッサとを備える。画像処理は、変電設備のうちの異物の発生を伴う異常が生じ得る特定部分の正常時における外観的特徴に基づいて、異常が実際に生じているか否かに拘わらず、無人移動体により撮影された画像から特定部分を抽出する処理を含む。プロセッサは、画像処理により特定部分が抽出された画像を保守員の端末に提供する。

【発明の効果】

【0009】

上記の実施形態によれば、異物の発生を伴う異常が生じ得る特定部分の正常時における外観的特徴に基づいて、異常が実際に生じているか否かに拘わらず、当該特定部分が抽出されるので、保守員の負担を軽減しつつ必要な点検精度を確保できる。

【図面の簡単な説明】

【0010】

【図1】本開示の実施の形態１に係る変電所の点検支援システムの全体構成を示す図である。

【図2】サーバの例示的な構成を示す図である。

【図3】ドローンの例示的な構成を示す図である。

【図4】点検端末の例示的な構成を示す図である。

【図5】油入機器のフランジにおける漏油の様子の一例を示す図である。

【図6】油入機器のフランジにおける漏油の様子の他の一例を示す図である。

【図7】油入機器のラジエータにおける漏油の様子の一例を示す図である。

【図8】タンクの端部における発錆の様子の一例を示す図である。

【図9】異物の発生を伴う異常が生じ得る特定部分の抽出手法の一例を説明するための概念図である。

【図10】マーカ検出処理に用いられる学習済みモデルの一例を説明するための図である。

【図11】ドローンにより撮影される画像が動画である場合の画像データベースのデータ構造図である。

【図12】ドローンにより撮影される画像が静止画である場合の画像データベースＢのデータ構造図である。

【図13】実施の形態１に係る変電所の点検支援方法の処理手順を示すシーケンス図である。

【図14】実施の形態２におけるドローンの位置情報の使用手法を説明するための概念図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施の形態１について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付して、その説明は繰り返さない。

【0012】

＜用語の説明＞
本開示およびその実施の形態１において、「変電所内の変電設備」とは、変電（その監視および制御を含む）行うための電気工作物の全般を意味する。変電所内の変電設備は、たとえば、変成器（変圧器、変流器など）、遮断器、開閉器、断路器、リアクトル、電力用コンデンサ、計測機器、保安装置（保護継電器、操作用電源装置など）を含む。一方、変電所内の変電設備は、送電線などの送電設備は含まない。

【0013】

変電所の「点検」とは、保守員が変電所現地に行き、変電所内の変電設備に生じ得る異常を発見する行為を含むが、これに限定されない。点検は、変電設備を正常な状態に維持したり、変電設備を異常な状態から正常な状態に復旧したりするための行為全般を含んでもよい。点検は、目視確認、計測記録、検査、調査、診断、整備などを含み得る。

【0014】

本開示およびその実施の形態１において、「画像」は、静止画および動画の両方を含み得る。すなわち、画像は、１枚の静止画であってもよいし、予め定められた期間またはフレーム数の動画（複数の静止画）であってもよい。

【0015】

実施の形態１．
＜システム構成＞
図１は、本開示の実施の形態１に係る変電所の点検支援システムの全体構成を示す図である。点検支援システム１００は、保守員による変電所内の変電設備の点検業務、より詳細には遠隔地からの点検業務を支援する。点検支援システム１００は、サーバ１と、複数のドローン２と、複数の点検端末３とを備える。

【0016】

サーバ１と複数のドローン２の各々とはネットワークＮＷを介して互いに双方向のデータ通信が可能に構成されている。また、サーバ１と複数の点検端末３の各々ともネットワークＮＷをして互いに双方向のデータ通信が可能に構成されている。なお、点検支援システム１００に含まれるドローン２および点検端末３の台数は任意である。図１では紙面の煩雑化を避けるため、ドローン２および点検端末３が１台ずつ図示されている。また、サーバ１が複数に分割（または冗長化）されていてもよい。

【0017】

サーバ１は、ドローン２により撮影された画像を受信する。そして、サーバ１は、ドローン２から受信した画像をメモリ１２（図２参照）に保存する。また、サーバ１は、ドローン２から受信した画像に対して画像処理（後述）を実行し、その実行結果も併せてメモリ１２に格納する。

【0018】

ドローン２は、飛行中の画像を撮影し、撮影された画像をサーバ１に送信する。ドローン２が送信する画像は、撮影された画像の全部であってもよいし一部であってもよい。ドローン２は、点検端末３からの指令に従って飛行してもよいし、自律的に飛行してもよい。

【0019】

なお、ドローン２は、本開示に係る「無人移動体」の一例である。「無人移動体」は、狭義のドローンに限られず、遠隔操作および／または自動操縦が可能な無人飛行体全般を含む。すなわち、「無人移動体」は、ラジコン機（ラジコン飛行機、ラジコンヘリコプター、ラジコン飛行船など）であってもよい。それに加えて、「無人移動体」は、飛行体に限られず、地上を走行する走行体（ラジコンカー、ロボット、自動運転車両など）であってもよい。

【0020】

点検端末３は、サーバ１に格納された画像を保守員が遠隔地において確認するための端末である。点検端末３は、たとえば、パーソナルコンピュータ、タブレット、スマートホンである。

【0021】

図２は、サーバ１の例示的な構成を示す図である。サーバ１は、プロセッサ１１と、メモリ１２と、通信インターフェース（ＩＦ）１３とを含む。メモリ１２は、たとえば、ＲＯＭ（Read Only Memory）１２１と、ＲＡＭ（Random Access Memory）１２２と、ＳＳＤ（Solid State Drive）１２３と、ＨＤＤ（Hard Disk Drive）１２４とを含む。サーバ１の構成部品は、バスにより互いに通信可能に接続されている。

【0022】

プロセッサ１１は、ＲＯＭ１２１に格納された各種プログラムをＲＡＭ１２２に展開して実行することでサーバ１の全体的な動作を制御する。特に、プロセッサ１１は、ドローン２から受信した画像に対して画像処理を実行する。

【0023】

ＳＳＤ１２３には、プロセッサ１１による画像処理に用いられる学習済みモデル４が格納されている。学習済みモデル４については図１０にて説明する。

【0024】

ＨＤＤ１２４は、画像データベース５と、属性情報データベース６とを含む。画像データベース５は、ドローン２から受信した画像（プロセッサ１１による画像処理前の画像）を保存する。画像データベース５には、プロセッサ１１による画像処理の結果（画像処理により得られたメタデータ）も格納される。画像データベース５については図１１および図１２にて説明する。属性情報データベース６には、変電所内の変電設備の属性情報（機種、メーカ、型式など）が格納されている。

【0025】

通信ＩＦ１３は、ドローン２および点検端末３とのネットワークＮＷ経由でのデータ通信が可能に構成されている。

【0026】

図３は、ドローン２の例示的な構成を示す図である。ドローン２は、プロセッサ２１と、メモリ２２と、慣性計測ユニット（ＩＭＵ：Inertial Measurement Unit）２３と、全地球測位システム（ＧＰＳ：Global Positioning System）２４と、気圧センサ２５と、カメラ２６と、モータ２７と、無線モジュール２８とを含む。

【0027】

プロセッサ２１は、メモリ２２に格納された各種プログラムを実行することでドローン２の全体的な動作を制御する。

【0028】

メモリ２２は、ＲＯＭおよびＲＡＭ（いずれも図示せず）を含み、プロセッサ２１により実行されるプログラムを記憶する。メモリ２２は、ドローン２の飛行および撮影に関する点検端末３からの各種指令を記憶してもよい。メモリ２２は、一時的なデータ（カメラ２６により撮影された、サーバ１への送信前の画像など）を記憶してもよい。

【0029】

ＩＭＵ２３は、ドローン２の姿勢および挙動を検出する。ＩＭＵ２３は、たとえば、ドローン２の前後方向、左右方向および上下方向の加速度と、ドローン２のロール方向、ピッチ方向およびヨー方向の角速度とを検出する。ＩＭＵ２３は、ドローン２の姿勢および挙動の検出結果をプロセッサ２１に出力する。

【0030】

ＧＰＳ２４は、地球の軌道上を周回する複数のＧＰＳ衛星から受信された情報を用いてドローン２の位置（緯度および経度）を特定し、その特定結果をプロセッサ２１に出力する。

【0031】

気圧センサ２５は、ドローン２の周囲の気圧を検出し、その検出結果をプロセッサ２１に出力する。プロセッサ２１は、気圧センサ２５により検出された気圧に基づいて、ドローン２の高度（標高）を推定できる。

【0032】

カメラ２６は、たとえばドローン２の側面または下面に配置され、ドローン２の周囲の画像を撮影する。カメラ２６は、プロセッサ２１からの指令に従って、撮影方向（パンおよびチルト）、撮影倍率（ズーム）等を調整可能に構成されていてもよい。

【0033】

モータ２７は、複数のロータ（図示せず）を含む。複数のロータは、プロセッサ２１からの指令に従って、バッテリ（図示せず）から供給される電力を用いて互いに独立に回転駆動するように構成されている。これにより、ドローン２を水平方向および／または垂直方向に移動させたり、ドローン２を傾斜させたりすることができる。

【0034】

無線モジュール２８は、サーバ１および点検端末３とのネットワークＮＷ経由での無線通信が可能に構成されている。無線モジュール２８は、ドローン２の飛行指令（飛行経路の情報、飛行の開始／停止の指令など）を点検端末３から受信する。また、無線モジュール２８は、カメラ２６により撮影された画像をサーバ１に送信する。

【0035】

図４は、点検端末３の例示的な構成を示す図である。点検端末３は、プロセッサ３１と、メモリ３２と、入力機器３３と、ディスプレイ３４と、通信ＩＦ３５とを含む。点検端末３の構成部品は、バスにより互いに通信可能に接続されている。

【0036】

プロセッサ３１は、メモリ３２に格納された各種プログラムを実行することで点検端末３の全体的な動作を制御する。入力機器３３は、たとえばキーボードおよびマウス（いずれも図示せず）を含み、保守員の操作を受け付ける。ディスプレイ３４は、各種情報を保守員に対して表示する。通信ＩＦ１３は、サーバ１およびドローン２とのネットワークＮＷ経由でのデータ通信が可能に構成されている。通信ＩＦ１３は、ドローン２の飛行指令をドローン２に送信する。また、通信ＩＦ１３は、サーバ１により画像処理された画像をサーバ１から受信する。

【0037】

プロセッサ３１は、サーバ１から受信した、サーバ１による画像処理後の画像をディスプレイ３４に表示させる。保守員は、ディスプレイ３４に表示された画像を確認し、たとえば、異常が発生している可能性が高い箇所（精密点検を要する箇所）が撮影された画像を選択する。これにより、変電所内の変電設備の遠隔地からの点検業務を実現できる。

【0038】

＜点検対象の異常＞
本実施の形態に係る点検支援システム１００は、変電設備の特定部分における異物の発生を伴う異常を好適に点検可能に構成されている。以下、本実施の形態において点検の対象とされる異常の種類について説明する。ただし、以下の異常は例示であり、限定的な意味で解釈されるべきではない。

【0039】

図５は、油入機器のフランジにおける漏油の様子の一例を示す図である。図６は、油入機器のフランジにおける漏油の様子の他の一例を示す図である。図７は、油入機器のラジエータにおける漏油の様子の一例を示す図である。図示しないが、変圧器と送電線との絶縁を保持する碍子ブッシングなどにおいても図５～図７と同様の漏油が起こり得る。

【0040】

図８は、タンクの端部（架台とタンクとを締結する部分）における発錆の様子の一例を示す図である。図８に示すような端部には塗装が定着しにくいため、錆が発生しやすい。そのような箇所の他の例としてはフランジの縁（図示せず）なども挙げられる。また、架台の基礎周りにも水はけ不良、日当たり不良により錆が発生しやすい。なお、変電設備の発錆は、変電設備の腐食の一種であり、減肉（厚さの減少）などを伴い得る。

【0041】

図示しないが、変電設備に付着する汚れの有無も点検対象であり得る。たとえば、台風の通過に伴って変電設備の表面に汚れが付着する場合がある。あるいは、海の近くでは、塩分を含む汚損物を起点として時間経過とともに局所的に撥水性が低下することで汚れが付着する場合がある。点検支援システム１００は、以上で説明した漏油、発錆、汚れの付着などのうちの少なくとも１つの点検に用いられる。

【0042】

＜画像処理＞
ドローン２により撮影された画像の全てを確認するには保守員の負担が大きいため、撮影された画像に対して画像処理技術を適用することが考えられる。たとえば特許文献１，２では、送電設備の点検に際し、画像処理により送電線が抽出される。送電線の異常（アーク痕、素線切れなど）が送電線のどこで発生するかを前もって知ることはできない。しかしながら、当該異常が送電線に沿って発生することは定かである。したがって、送電線の点検においては、送電線の線形状の外観的特徴を認識し、送電線に沿って無人移動体を飛行させながら連続的に撮影し、撮影された画像から送電線を抽出すればよい。これにより、送電線の異常の有無を漏れなく確実に点検できる。これに対し、本発明者は、変電所内の変電設備の点検においては以下のような課題が生じ得ることに着目した。

【0043】

一般に、変電所内には多種類の変電設備が点在している。そのため、変電所内を撮影する場合、点検対象である変電設備だけでなく、それ以外（建屋、点検対象外の設備など）が撮影される時間も長くなる。そうすると、撮影された画像から単に様々な設備を漏れなく抽出したのでは、保守員の負担が十分に軽減されない可能性がある。また、図５～図８にて説明したような油、錆、汚れなどの異物の発生態様（形状、範囲、色）は事例ごとに大きく異なり得る。そのため、異物を画像処理により抽出する技術的なハードルが高い。

【0044】

そこで、本実施の形態１においては、異物の発生を伴う異常が生じ得る特定部分（フランジ、ラジエータなど）の正常時における外観的特徴が抽出される。特定部分に着目することで、画像処理による抽出の対象が十分に限定されるので、画像を確認する保守員の負担を軽減できる。また、特定部分の外観的特徴（形状、色など）は既知である。かつ、当該外観的特徴のバリエーションは、異常の発生態様のばらつきと比べて、顕著に小さい。したがって、異物の発生を伴う異常が生じ得る特定部分を抽出することは、異物を直接的に抽出するのと比べて容易である。よって、画像処理による抽出を高精度に実現でき、必要な点検精度を確保することが可能になる。

【0045】

図９は、異物の発生を伴う異常が生じ得る特定部分の抽出手法の一例を説明するための概念図である。図９には特定部分がフランジである例が示されている。以下、フランジについて代表的に説明するが、フランジをラジエータ、碍子ブッシング、タンクの端部などの他の特定部分に適宜読み替えることができる。

【0046】

サーバ１は、たとえば、フランジの外観的特徴に基づいて予め準備されたマーカを使用することによって、ドローン２により撮影された画像からフランジを抽出できる。このマーカ検出処理は、たとえば、教師あり機械学習アルゴリズムを用いて構築された学習済みモデルに実現される。ただし、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量などの局所特徴量を用いた公知の特徴量抽出処理をフランジの抽出に採用してもよい。なお、サーバ１は、抽出されたフランジを、当該フランジを取り囲む枠（バウンディングボックス）により強調表示してもよい。

【0047】

図１０は、マーカ検出処理に用いられる学習済みモデルの一例を説明するための図である。学習前モデルである推定モデル７は、たとえば、ニューラルネットワーク７１と、パラメータ７２とを含む。ニューラルネットワーク７１は、たとえばディープラーニング（深層学習）による画像認識処理に用いられる公知のニューラルネットワークである。そのようなニューラルネットワークとしては、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）などが挙げられる。パラメータ７２は、ニューラルネットワーク７１による演算に用いられる重み付け係数などを含む。

【0048】

多数の教師データが開発者により予め準備される。教師データは、例題データと、正解データとを含む。例題データは、抽出対象であるフランジを含む画像データである。正解データは、例題データに対応する抽出結果を含む。具体的には、正解データは、例題データに含まれるフランジが抽出された画像データである。

【0049】

学習システム８は、例題データおよび正解データを用いて推定モデル７を学習させる。学習システム８は、入力部８１と、抽出部８２と、学習部８３とを含む。

【0050】

入力部８１は、開発者により準備された多数の例題データ（画像データ）を受け付けて抽出部８２に出力する。

【0051】

抽出部８２は、入力部８１からの例題データを推定モデル７に入力することによって、例題データに含まれるフランジを例題データ毎に抽出する。抽出部８２は、その抽出結果（推定モデル７からの出力）を学習部８３に出力する。

【0052】

学習部８３は、抽出部８２から受けた例題データからのフランジ（マーカ）の抽出結果と、その例題データに対応する正解データとに基づいて、推定モデル７を学習させる。具体的には、学習部８３は、抽出部８２によって得られたフランジの抽出結果が正解データに近づくように、パラメータ７２（たとえば重み付け係数）を調整する。学習部８３は、たとえば、マーカを含まない画像からマーカが検出されたとの正解が得られた正解率と、マーカを含まない画像からマーカが検出されなかったとの正解が得られた正解率とを算出する。そして、学習部８３は、両方の正答率が基準の比率（たとえば０．８）を超えるまで学習を継続してもよい。

【0053】

以上のように推定モデル７の学習が行われ、学習が完了した推定モデル７がフランジ抽出モデルとしてサーバ１のメモリ１２（ＳＳＤ１２３）内の学習済みモデル４に格納されている。フランジ抽出モデルは、ドローン２により撮影された画像（この例では動画）が入力されると、フランジが抽出された画像を出力する。ここではフランジの抽出を例に説明したが、他のマーカ（ラジエータ、碍子ブッシングなど）についてもマーカごとに同様の抽出モデルが準備されて学習済みモデル４に格納されている。サーバ１は、このような複数の抽出モデルを使用して抽出された情報を、ドローン２により撮影された画像に紐付けて画像データベース５（５Ａまたは５Ｂ）に格納する。

【0054】

図１１は、ドローン２により撮影される画像が動画である場合の画像データベース５Ａのデータ構造図である。画像データベース５Ａは、ドローン２により撮影された動画に加えて、当該動画に関するメタデータを保存している。メタデータは、たとえば撮影条件とタグ情報とを含む。

【0055】

撮影条件は、たとえば、動画の撮影場所（変電所の名称など）、撮影日時、撮影長（合計撮影時間）、保守員の識別番号（保守員ＩＤ）、ドローン２の識別番号（ドローンＩＤ）を含む。撮影条件は、撮影場所の気象条件（天気、風速など）等の他の条件を含んでもよい。また、画像データベース５Ａの格納データは、撮影条件に加えて、撮影（点検）の目的、ドローン２の飛行条件などに関して保守員が残す記録（備忘録）を含んでもよい。なお、撮影条件の格納は画像データベース５Ａのユーザビリティ向上のためであって必須ではない。

【0056】

タグ情報は、異物の発生を伴う異常が生じている可能性がある箇所、すなわち、保守員が点検すべき箇所の候補を示す情報である。サーバ１は、学習済みモデル４を用いてフランジ等のマーカが抽出されたフレームを、当該フレームの時刻情報と関連付けて画像データベース５Ａに格納する。より具体的には、サーバ１は、マーカが抽出されたフレームの前後のフレームにタグを付与する。

【0057】

図１１には３つのタグ１～３が例示されている。たとえばタグ１に関し、サーバ１は、動画の撮影開始時刻から１分４０秒が経過した時点でフランジを抽出すると、その前後の１０秒間のフレーム（１分３０秒から１分５０秒までの全フレーム）に同じタグを付与する。他のタグ２，３についても同様である。なお、ここではサーバ１が時間に基づいてタグを付与するフレームを決定する例を説明したが、タグを付与する範囲はフレーム数に基づいて決められてもよい。

【0058】

図１２は、ドローン２により撮影される画像が静止画である場合の画像データベース５Ｂのデータ構造図である。画像データベース５Ｂに格納されるメタデータも同様に、たとえば撮影条件とタグ情報とを含む。ここでの撮影条件は、撮影長を含まない以外は画像が動画である場合の条件と同様である。

【0059】

画像が静止画である場合、タグ情報は、撮影された静止画ごとに付与される。タグ情報は、各静止画にタグが付与されているかどうかを示す。図１２に示す例では、タグが付与された静止画には「Ｙ」と記載され、タグが付与されていない静止画には「Ｎ」と記載されている。

【0060】

サーバ１は、画像データベース５Ａ，５Ｂに格納されたタグ情報を参照することで、保守員が点検すべき特定部分（マーカ）が撮影された画像を、当該特定部分で異物の発生を伴う異常が実際に発生しているか否かに拘わらず絞り込む。これにより、保守員が点検する動画が短くなる（または静止画が少なくなる）ので、保守員の負担が軽減される。また、異常の有無は保守員が人間の目で確認して判断するので、異物の画像処理の技術的なハードルが高いことに起因する点検精度の低下も抑制される。よって、本実施の形態１によれば、保守員の負担を軽減しつつ必要な点検精度を確保できる。

【0061】

＜処理手順＞
図１３は、実施の形態１に係る変電所の点検支援方法の処理手順を示すシーケンス図である。図中、左側にドローン２による処理を示し、中央にサーバ１による処理を示し、右側に点検端末３による処理を示す。サーバ１による各処理は、プロセッサ１１によるソフトウェア処理により実現されるが、サーバ１内に配置されたハードウェア（電気回路）により実現されてもよい。ドローン２または点検端末３による処理についても同様である。

【0062】

ＳＱ１において、点検端末３は、ドローン２の撮影条件をサーバ１に登録する。ドローン２の撮影条件については図１１および図１２にて説明したため、説明は繰り返さない。

【0063】

ＳＱ２において、点検端末３は、ドローン２の飛行条件をドローン２に指令する。ドローン２の飛行条件は、飛行経路でもよいし、飛行範囲（経度、緯度、高度の範囲）でもよいし、飛行速度でもよいし、それらの組み合わせでもよい。

【0064】

ＳＱ３において、点検端末３は、飛行および撮影の開始をドローン２に指令する。ドローン２は、点検端末３からの指令に従って、指令された飛行条件を守りながら飛行しながら変電所内を撮影する（ＳＱ４）。ドローン２は、撮影された画像をサーバ１に送信する。この例では、ドローン２は、リアルタイムで画像をサーバ１に送信する。しかし、ドローン２は、全ての撮影が終了した後にまとめて画像を送信してもよい。

【0065】

ＳＱ５において、サーバ１は、ドローン２から受信した画像をメモリ１２（画像データベース５）に格納する。さらに、サーバ１は、異物の発生を伴う異常が生じ得る特定部分（マーカ）ごとに準備された抽出モデルを含む学習済みモデル４を用いた画像処理（マーカ検出処理）を実行することによって、特定部分を抽出する。そして、サーバ１は、特定部分が抽出された画像にタグを付し、そのタグ情報を画像データベース５に格納する（ＳＱ６）。この処理については図９および図１０にて詳細に説明したため、ここでの説明は繰り返さない。

【0066】

ＳＱ７において、ドローン２は、変電所の撮影が終了したことを点検端末３に通知して飛行を終了する。

【0067】

ＳＱ８において、点検端末３は、保守員による点検作業に使用するための画像の送信をサーバ１に要求する。この要求のタイミングは任意であり、ドローン２による撮影日とは別の日であってもよい。サーバ１は、点検端末３からの要求に応答して、タグ付けされた画像を選択的に点検端末３に送信する（ＳＱ９）。すなわち、サーバ１は、ドローン２により撮影された画像のうち、タグが付与された画像を送信する一方で、タグが付与されていない画像は送信しない。

【0068】

以上のように、本実施の形態１においては、サーバ１は、ドローン２により撮影された全ての画像を点検端末３に送信するのに代えて、その中から、異物の発生を伴う異常が生じ得る特定部分が撮影された画像を選択的に送信する。これにより、保守員が確認すべき画像の分量が削減されるので、保守員の負担が軽減される。また、異物の発生を伴う異常が生じ得る特定部分の抽出は異物の抽出と比べて容易であり、かつ、保守員自身が異常の有無を点検する。したがって、たとえ異物の画像処理の精度が低くても点検精度の低下は引き起こされない。よって、本実施の形態１によれば、保守員の負担を軽減しつつ必要な点検精度を確保できる。

【0069】

なお、サーバ１が学習済みモデル４を用いてマーカ検出処理を実行すると説明した。この場合、サーバ１のプロセッサ１１が本開示に係る「プロセッサ」に相当する。しかし、マーカ検出処理の実行主体はサーバ１に限定されない。

【0070】

たとえば、ドローン２がマーカ検出処理を実行してもよい。すなわち、ドローン２のプロセッサ２１がメモリ２２に格納された学習済みモデル４を用いてマーカ検出処理を実行して画像にタグを付与してもよい。また、ドローン２は、撮影した画像のうち、タグが付与された画像のみをサーバ１に送信してもよい。なお、ドローン２によりマーカ検出処理が実行された場合にも、最終的に点検端末３に提供されるのはマーカ検出処理により特定部分が抽出された画像に限定されるので、「前記プロセッサは、前記画像処理により前記特定部分が抽出された画像を保守員の端末に提供する」に該当する。

【0071】

実施の形態２．
実施の形態２では、ドローン２の位置情報を利用する構成について説明する。実施の形態２に係る点検支援システムのシステム構成は、図１～図４に示したシステム構成と同等であるため、説明は繰り返さない。

【0072】

図１４は、実施の形態２におけるドローン２の位置情報の使用手法を説明するための概念図である。縦軸は、ドローン２が飛行する高度を表す。横軸は、ドローン２が飛行する水平方向の位置を表す。

【0073】

図１４に示すように、点検対象である変電設備（この例では変圧器）を撮影可能な領域（好ましくは３次元領域）が事前に設定されている。この領域は、調査員が実際に変電所に出向き、調査用のドローンを飛ばして変電設備を撮影可能な領域を調査することより設定され得る。さらに、調査員は、ドローンから撮影可能な領域内に位置する変電設備の属性情報（機種、メーカ、型式など）も事前に調査することが望ましい。属性情報は、サーバ１のメモリ１２（属性情報データベース６）（図２参照）に格納される。

【0074】

ドローン２は、飛行中に撮影可能領域に入ると、その時刻（この例では動画の撮影開始時刻から４分２５秒）を記録する。また、ドローン２は、撮影可能領域から出ると、その時刻（この例では５分４５秒）を記録する。そして、ドローン２は、ドローン２が撮影可能領域内に入っていた時間情報（この例では４分２５秒から５分４５秒までとの情報）をドローン２の位置情報（経度、緯度、高度の情報）とともにサーバ１に送信する。

【0075】

サーバ１は、ドローン２の位置情報に基づいて、マーカ検出処理により抽出された特定部分を有する変電設備に当該変電設備の属性情報を関連付ける。これにより、たとえば、ドローン２により撮影された画像の中から、特に確認したい変電設備を検索する（たとえば機種を絞り込む）ことが容易になる。したがって、点検業務の業務効率を向上させることができる。

【0076】

また、実施の形態１では、ドローン２により撮影された全画像をサーバ１がマーカ検出処理の対象とすると説明した。しかし、撮影可能領域が適切に設定されていれば、ドローン２が撮影可能領域外である場合には点検対象の変電設備は撮影されない。したがって、実施の形態２においては、サーバ１は、ドローン２が撮影可能領域内であるときに撮影されたことをドローン２の位置情報が示す画像に対して選択的にマーカ検出処理を実行する。言い換えると、サーバ１は、マーカ検出処理の対象とする範囲をドローン２が撮影可能領域内を飛行した時間範囲に限定する。これにより、サーバ１の演算負荷を低減できる。

【0077】

なお、実施の形態１の最後で説明したようにドローン２がマーカ検出処理を実行する場合、ドローン２のプロセッサ２１は同様に、マーカ検出処理の対象とする範囲をドローン２が撮影可能領域内であった時間範囲に限定できる。ドローン２はサーバ１と比べて演算資源に乏しいため、このような限定が特に有効である。

【0078】

以上のように、実施の形態２においては、ドローン２が事前に設定された撮影可能領域内である場合に、ドローン２の位置情報に基づいて、撮影された変電設備に属性情報が付加される。これにより、点検業務の業務効率を向上させることができる。また、マーカ検出処理の対象をドローン２が撮影可能領域内である場合に限定することによって、サーバ１（ドローン２であってもよい）の演算負荷を低減できる。

【0079】

付記．
最後に本開示の諸態様を付記としてまとめて記載する。

【0080】

（付記１）
保守員による変電所内の変電設備の点検業務を支援する、変電所の点検支援システムであって、
カメラを用いて前記変電所内を撮影する無人移動体と、
前記無人移動体により撮影された画像に対して画像処理を実行するプロセッサとを備え、
前記画像処理は、前記変電設備のうちの異物の発生を伴う異常が生じ得る特定部分の正常時における外観的特徴に基づいて、前記異常が実際に生じているか否かに拘わらず、前記無人移動体により撮影された画像から前記特定部分を抽出する処理を含み、
前記プロセッサは、前記画像処理により前記特定部分が抽出された画像を保守員の端末に提供する、変電所の点検支援システム。

【0081】

（付記２）
前記異常は、前記特定部分からの漏油を含む、付記１に記載の変電所の点検支援システム。

【0082】

（付記３）
前記異常は、前記特定部分の発錆を含む、付記１または２に記載の変電所の点検支援システム。

【0083】

（付記４）
前記異常は、前記特定部分への汚れの付着を含む、付記１～３のいずれか１項に記載の変電所の点検支援システム。

【0084】

（付記５）
前記プロセッサは、
前記画像処理において、前記異常が生じていない状態での前記外観的特徴をマーカとして学習した学習済みモデルを用いることによって前記特定部分を抽出し、前記特定部分が抽出された画像にタグを付与し、
前記無人移動体により撮影された画像のうち、前記タグが付与された画像を前記端末に提供する一方で、前記タグが付与されていない画像は前記端末に提供しない、付記１～４のいずれか１項に記載の変電所の点検支援システム。

【0085】

（付記６）
前記変電設備の属性情報が格納されたメモリをさらに備え、
前記属性情報は、前記無人移動体により前記変電設備を撮影可能な領域を示す情報に関連付けられており、
前記無人移動体は、前記無人移動体により撮影された画像に前記無人移動体の位置情報を付加するように構成され、
前記プロセッサは、前記画像処理により前記特定部分が抽出された画像に、前記無人移動体の前記位置情報に基づいて、抽出された前記特定部分を有する前記変電設備の前記属性情報を付与する、付記１～５のいずれか１項に記載の変電所の点検支援システム。

【0086】

（付記７）
前記プロセッサは、前記無人移動体により撮影された画像のうち、前記無人移動体が前記撮影可能な領域内であるときに撮影されたことを前記無人移動体の前記位置情報が示す画像に対して前記画像処理を実行する、付記６に記載の変電所の点検支援システム。

【0087】

（付記８）
保守員による変電所内の変電設備の点検業務を支援するサーバであって、
カメラが搭載された無人移動体により撮影された前記変電所内の画像に対して画像処理を実行するプロセッサを備え、
前記画像処理は、前記変電設備のうちの異物の発生を伴う異常が生じ得る特定部分の正常時における外観的特徴に基づいて、前記異常が実際に生じているか否かに拘わらず、前記無人移動体により撮影された画像から前記特定部分を抽出する処理を含み、
前記プロセッサは、前記画像処理により前記特定部分が抽出された画像を前記保守員の端末に提供する、サーバ。

【0088】

（付記９）
保守員による変電所内の変電設備の点検業務を支援する、変電所の点検支援方法であって、
カメラが搭載された無人移動体により撮影された画像に対してプロセッサが画像処理を実行するステップを含み、
前記画像処理を実行するステップは、前記変電設備のうちの異物の発生を伴う異常が生じ得る特定部分の正常時における外観的特徴に基づいて、前記異常が実際に生じているか否かに拘わらず、前記無人移動体により撮影された画像から前記特定部分抽出するステップを含み、
前記点検支援方法は、前記抽出するステップにより前記特定部分が抽出された画像を前記保守員の端末に提供するステップをさらに含む、変電所の点検支援方法。

【0089】

今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態１の説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0090】

１ サーバ、１１ プロセッサ、１２ メモリ、１２１ ＲＯＭ、１２２ ＲＡＭ、１２３ ＳＳＤ、１２４ ＨＤＤ、１３ 通信ＩＦ、２ ドローン、２１ プロセッサ、２２ メモリ、２３ ＩＭＵ、２４ ＧＰＳ、２５ 気圧センサ、２６ カメラ、２７ モータ、２８ 無線モジュール、３ 点検端末、３１ プロセッサ、３２ メモリ、３３ 入力機器、３４ ディスプレイ、３５ 通信ＩＦ、４ 学習済みモデル、５，５Ａ，５Ｂ 画像データベース、６ 属性情報データベース、１００ 点検支援システム、ＮＷ ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】