特開 2023-39226 情報処理方法、コンピュータプログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023039226

(43)【公開日】2023-03-20

(54)【発明の名称】情報処理方法、コンピュータプログラム及び情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230313BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610B

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021146282

(22)【出願日】2021-09-08

(71)【出願人】

【識別番号】000003687

【氏名又は名称】東京電力ホールディングス株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】高橋 伸介

(72)【発明者】

【氏名】柄本 弘樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096FA69

5L096FA81

5L096GA30

5L096GA34

5L096GA53

5L096KA04

5L096MA07

(57)【要約】      （修正有）

【課題】電気設備等のインフラ設備に対し、その夫々にて発生する異常に対応した判定を効率的に行う情報処理方法、装置及びプログラムを提供する。
【解決手段】情報処理装置の制御部による処理手順であって、インフラ設備を含む画像を取得し、画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第１学習モデルに、取得した画像を入力して複数種類のインフラ設備の種類及び領域を出力し、インフラ設備毎に複数種類の第２学習モデルの種類を登録したテーブルを参照して、画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の第２学習モデルを特定し、特定した第２学習モデル夫々に、第１学習モデルが出力した領域の画像を入力して、領域に含まれるインフラ設備の異常に関する情報を出力する。各第２学習モデルは、インフラ設備の画像を入力した場合にインフラ設備の異常に関する情報を出力するよう学習されている。
【選択図】図８

【特許請求の範囲】

【請求項1】

インフラ設備を含む画像を取得し、
画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第１学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力し、
インフラ設備毎に複数種類の第２学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第２学習モデルを特定し、
複数種類の前記第２学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、
特定した前記第２学習モデルそれぞれに、前記第１学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する
処理をコンピュータに実行させる情報処理方法。

【請求項2】

前記インフラ設備は電気設備を含み、該電気設備を含む画像を取得し、
画像を入力した場合に画像中に含まれる複数種類の電気設備の種類及び領域を出力するよう学習された前記第１学習モデルに、取得した前記画像を入力して複数種類の電気設備の種類及び領域を出力し、
電気設備毎に複数種類の前記第２学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類の電気設備毎に、対応する単一又は複数の前記第２学習モデルを特定し、
複数種類の前記第２学習モデルそれぞれは、電気設備の画像を入力した場合に該電気設備の異常に関する情報を出力するよう学習されており、
特定した前記第２学習モデルそれぞれに、前記第１学習モデルから出力された領域の画像を入力して、前記領域に含まれる電気設備の異常に関する情報を出力する
請求項１に記載の情報処理方法。

【請求項3】

前記第１学習モデルが出力した領域の画像に含まれる電気設備の種類が、電柱の場合、前記テーブルを参照して、前記電柱のヒビを検出するヒビ学習モデルと、前記電柱の傾きを検出する傾き学習モデルと、前記電柱に作られた営巣を検出する営巣学習モデルとの少なくともいずれかを、前記第２学習モデルとして特定する
請求項２に記載の情報処理方法。

【請求項4】

前記第１学習モデルが出力した領域の画像に含まれる電気設備の種類が、変圧器の場合、前記テーブルを参照して、前記変圧器の錆を検出する錆学習モデルと、前記変圧器の液漏を検出する液漏学習モデルとの少なくともいずれかを、前記第２学習モデルとして特定する
請求項２又は請求項３に記載の情報処理方法。

【請求項5】

前記第１学習モデルが出力した領域の画像に含まれる電気設備の種類が、鉄塔の場合、前記テーブルを参照して、前記鉄塔の錆を検出する錆学習モデルと、前記鉄塔に作られた営巣を検出する営巣学習モデルとの少なくともいずれかを、前記第２学習モデルとして特定する
請求項２から請求項４のいずれか１項に記載の情報処理方法。

【請求項6】

前記電気設備は、電柱、電柱に接続される高圧線、電柱上に設けられる碍子、電柱上に設けられる変圧器、鉄塔、及び配電地上機器を含み、
前記第１学習モデルは、前記電柱、前記高圧線、前記碍子、前記変圧器、前記鉄塔、及び前記配電地上機器の領域を出力するよう学習されている
請求項２から請求項５のいずれか１項に記載の情報処理方法。

【請求項7】

複数種類の前記第２学習モデルのうち、いずれかの第２学習モデルは、複数の異なる種類のインフラ設備に対し共用される
請求項１から請求項６のいずれか１項に記載の情報処理方法。

【請求項8】

前記インフラ設備の位置情報を取得し、
前記位置情報と、前記インフラ設備を含む画像を取得した取得日時と、前記インフラ設備の異常に関する情報を関連付けて記憶し、
保守対象となるインフラ設備それぞれの位置情報が登録されている設備テーブルを参照して、取得した前記インフラ設備の位置情報に基づき、未検出のインフラ設備の有無を判定する
請求項１から請求項７のいずれか１項に記載の情報処理方法。

【請求項9】

前記未検出のインフラ設備が有ると判定された場合、前記未検出と判定されたインフラ設備に関する情報を出力する
請求項８に記載の情報処理方法。

【請求項10】

同一のインフラ設備に対する時系列から成る複数の異常に関する情報に基づき、該インフラ設備の劣化度合を導出し、
導出した前記劣化度合が所定の閾値以上である場合、該インフラ設備に関する情報を出力する
請求項１から請求項９のいずれか１項に記載の情報処理方法。

【請求項11】

コンピュータに、
インフラ設備を含む画像を取得し、
画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第１学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力し、
インフラ設備毎に複数種類の第２学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第２学習モデルを特定し、
複数種類の前記第２学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、
特定した前記第２学習モデルそれぞれに、前記第１学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する
処理を実行させるコンピュータプログラム。

【請求項12】

インフラ設備を含む画像を取得する取得部と、
画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第１学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力する領域出力部と、
インフラ設備毎に複数種類の第２学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第２学習モデルを特定する特定部と、
複数種類の前記第２学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、
特定した前記第２学習モデルそれぞれに、前記第１学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する情報出力部と
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、コンピュータプログラム及び情報処理装置に関する。

【背景技術】

【0002】

配電設備の異常を判定する種々の手法が提案されている。例えば特許文献１では、一台の赤外線カメラ及び複数の可視光カメラで電柱を撮像し、可視光カメラで撮像した画像からアーム（腕金）の画像領域を抽出し、赤外線カメラで撮像した熱画像におけるアームの画像領域から柱上機材の温度勾配を算出して、柱上機材が正常か異常かを判定する異常検出方法等が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－３６６９５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の異常検出方法は、複数種類の電気設備等のインフラ設備に対し、当該インフラ設備それぞれにて発生し得る異常に対応した判定を効率的に行う点について考慮されていない。

【0005】

本発明は、斯かる事情に鑑みてなされたものであって、例えば電気設備等のインフラ設備に対し、当該インフラ設備それぞれにて発生し得る異常に対応した判定を効率的に行うことができる情報処理装置等を提供する。

【課題を解決するための手段】

【0006】

一つの側面では、情報処理方法は、インフラ設備を含む画像を取得し、画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第１学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力し、インフラ設備毎に複数種類の第２学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第２学習モデルを特定し、複数種類の前記第２学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、特定した前記第２学習モデルそれぞれに、前記第１学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する処理をコンピュータに実行させる。

【0007】

一つの側面では、コンピュータプログラムは、コンピュータに、例えば電気設備等のインフラ設備を含む画像を取得し、画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第１学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力し、インフラ設備毎に複数種類の第２学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第２学習モデルを特定し、複数種類の前記第２学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、特定した前記第２学習モデルそれぞれに、前記第１学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する処理を実行させる。

【0008】

一つの側面では、情報処理装置は、例えば電気設備等のインフラ設備を含む画像を取得する取得部と、画像を入力した場合に画像中に含まれる複数種類のインフラ設備の種類及び領域を出力するよう学習された第１学習モデルに、取得した前記画像を入力して複数種類のインフラ設備の種類及び領域を出力する領域出力部と、インフラ設備毎に複数種類の第２学習モデルの種類を登録したテーブルを参照して、前記画像中に含まれる複数種類のインフラ設備毎に、対応する単一又は複数の前記第２学習モデルを特定する特定部と、複数種類の前記第２学習モデルそれぞれは、インフラ設備の画像を入力した場合に該インフラ設備の異常に関する情報を出力するよう学習されており、特定した前記第２学習モデルそれぞれに、前記第１学習モデルから出力された領域の画像を入力して、前記領域に含まれるインフラ設備の異常に関する情報を出力する情報出力部とを備える。

【発明の効果】

【0009】

本発明による場合は、複数種類の電気設備に対し、当該電気設備それぞれにて発生し得る異常に対応した判定を効率的に行う情報処理装置等を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係る異常判定システムの概要を説明するための模式図である。

【図2】情報処理装置（サーバ装置）の構成を示すブロック図である。

【図3】第１学習モデル（領域抽出モデル）の生成処理に関する説明図である。

【図4】第２学習モデル（異常判定モデル）の生成処理に関する説明図である。

【図5】第１学習モデル及び第２学習モデルの連関を例示する説明図である。

【図6】第２学習モデルを特定するためのテーブル（モデル特定テーブル）の一例を示す説明図である。

【図7】情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。

【図8】情報処理装置の制御部による処理手順を例示するフローチャートである。

【図9】実施形態２（位置情報との関連付け）に係る設備テーブルを例示する説明図である。

【図10】異常判定履歴テーブルを例示する説明図である。

【図11】情報処理装置の制御部による処理手順を例示するフローチャートである。

【図12】実施形態３（劣化度合）に係る電気設備に関する情報（劣化度合等）を示す表示画面を例示する説明図である。

【発明を実施するための形態】

【0011】

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施形態１）

【0012】

図１は、実施形態１に係る異常判定システムＳの概要を説明するための模式図である。図２は、情報処理装置１（サーバ装置）の構成を示すブロック図である。異常判定システムＳは、情報処理装置１及び、例えば車両２０２等に搭載されるカメラ２０１及び端末装置２を含み、カメラ２０１によって撮像された画像は、例えば端末装置２に取り込まれ（読み込まれ）、インターネット等の広域ネットワークを介して情報処理装置１に送信される。当該画像には、電気設備ＤＳが被写体として含まれている。情報処理装置１は、画像から電気設備ＤＳが含まれる領域を抽出する第１学習モデル１０１（領域抽出モデル）及び、第２学習モデル１０２（異常判定モデル）を用いて、画像に含まれる電気設備ＤＳそれぞれの異常の有無等を検出する。

【0013】

本実施例において、電気設備ＤＳをインフラ設備の一例として説明するが、これに限定されない。インフラ設備は、例えば、通信事業者設備、道路、信号機、橋、擁壁（土砂崩れ防止壁）、堤防等を含むものであってもよい。第１学習モデルは、当該インフラ設備を含む画像が入力された場合、これら各種のインフラ設備に関する情報（領域、インフラ設備種類）を出力する。これら各種のインフラ設備において、例えば、ひび、衝突痕等の共通する異常（異常種類）においては、当該異常に対応した第２学習モデルを共用的に適用することができる。すなわち、インフラ設備は、電気設備ＤＳに加え、通信事業者設備、道路、信号機、橋、擁壁（土砂崩れ防止壁）、堤防等を含むものであり、本実施例にて例示されている全ての事項に対し、当該インフラ設備を適用することができる。

【0014】

カメラ２０１は、例えばＣＭＯＳカメラ２０１であり、動画又は静止画の画像を撮像する。カメラ２０１は、端末装置２に搭載されるデバイスであってもよく、又は端末装置２とは別個の装置であり、当該端末装置２と有線又は無線によりデータの授受が可能に構成されているものであってもよい。カメラ２０１による撮像された画像は、端末装置２を介して情報処理装置１に転送される、又はカメラ２０１自体が通信機能及びＧＰＳ機能を備え、撮像した画像及びＧＰＳデータを直接、情報処理装置１に送信（出力）するものであってもよい。

【0015】

端末装置２及びカメラ２０１は電気設備ＤＳの保守担当者等の作業者によって所持され、例えば、当該作業者が車両２０２を用いて巡回する際に、巡回ルート上に位置する電気設備ＤＳの画像が、カメラ２０１によって撮像される。このように作業者が車両２０２を用いて巡回する場合、カメラ２０１は車両２０２に設けられたドライブレコーダであってもよい。ドライブレコーダによって撮像された画像（動画）は、例えばＳＤカード等の記憶メディアに保存され、情報処理装置１は、当該記憶メディアを読み取ることにより、カメラ２０１（ドライブレコーダ）によって撮像された画像を取得するものであってもよい。

【0016】

カメラ２０１による撮像された画像には、当該画像の撮像日時（画像の撮像時点を示す日時情報）が関連付けられているものであってもよい。更に、作業者が所有する端末装置２に内蔵されるＧＰＳモジュール、又は作業者が巡回に用いた車両２０２に設けられたＧＰＳモジュールによる取得したＧＰＳデータ（緯度、経度情報）の取得時点と、画像の撮像日時とを合わせ込むことにより、画像の撮像地点をＧＰＳデータによる特定するものであってもよい。このようにカメラ２０１により撮像された画像には、撮像日時から成る日時情報、ＧＰＳデータから成る位置情報（地理情報）が、関連付けられる（付随する）ものであってもよい。

【0017】

ＧＰＳデータによって特定される撮像地点は、撮像対象となる電気設備ＤＳに近接した地点あることにより、当該撮像地点に基づき、撮像された画像に含まれる単一又は複数の電気設備ＤＳの緯度及び経度等の所在地を示す位置情報（所在地情報）を確定することができる。後述する設備テーブル１０４には各電気設備ＤＳ毎の位置情報（緯度、経度）が登録されており、情報処理装置１は、当該設備テーブル１０４に登録されている各電気設備ＤＳ毎の所在地情報と、画像に関連付けられた位置情報とを対比（マッチング）することにより、当該画像に含まれる電気設備ＤＳを特定することができる。

【0018】

本実施形態においてカメラ２０１は車両２０２に搭載される等としたが、これに限定されず、カメラ２０１は、ＧＰＳモジュールを備えたドローンに搭載されるものであってもよい。当該ドローンは端末装置２と同様に通信機能を有し、カメラ２０１で撮像された画像は、撮像時点（日時情報）及び撮像地点（ＧＰＳデータ）が関連付けられ（付随され）、ドローンから情報処理装置１へ直接的又は間接的に送信されるものであってもよい。
又は、カメラ２０１及び端末装置２は作業員によって保持され、当該作業員が、例えば徒歩で巡回し、当該カメラ２０１にて電気設備ＤＳを撮像するものであってもよい。

【0019】

情報処理装置１は、制御部１１、記憶部１２、及び通信部１３を備える。制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、記憶部１２に記憶されたプログラムＰ（プログラム製品）を読み出して実行することにより、情報処理装置１に係る種々の情報処理、制御処理等を行う。

【0020】

記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。記憶部１２には、プログラムＰ（プログラム製品）及び処理時に参照するデータが予め記憶してある。記憶部１２に記憶されたプログラムＰは、情報処理装置１が読み取り可能な記録媒体１２１から読み出されたプログラムＰを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムＰをダウンロードし、記憶部１２に記憶させたものであってもよい。記憶部１２には、第１学習モデル１０１及び第２学習モデル１０２を構成する実体ファイルが保存されている。これら実体ファイルは、プログラムＰの一部位として構成されるものであってもよい。記憶部１２には、モデル特定テーブル１０３等、プログラムＰを実行するにあたり参照されるデータが記憶されている。

【0021】

通信部１３は、有線又は無線により、インターネット等を介し、端末装置２等と通信するための通信インターフェイスである。

【0022】

端末装置２は、例えばスマートホン、タブレットＰＣ又はパーソナルコンピュータ等である。端末装置２は、情報処理装置１と同様に制御部、記憶部、及び通信部を備え、当該通信部を介して情報処理装置１と通信可能に接続される。

【0023】

図３は、第１学習モデル１０１（領域抽出モデル）の生成処理に関する説明図である。
第１学習モデル１０１は、例えば、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ又はＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）等により構成され、物体（オブジェクト）検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うニューラルネットワーク（ＮＮ）である。

【0024】

第１学習モデル１０１は、入力された画像に基づき、当該画像に碍子又は電柱等の電気設備ＤＳ（抽出対象オブジェクト）が含まれているか否か（有無）、及び電気設備ＤＳが含まれている場合（有の場合）、当該電気設備ＤＳの種類（クラス）、入力された画像における領域、及び推定確度（確信度／スコア）を出力する。すなわち、第１学習モデル１０１は、入力された画像に含まれる電気設備ＤＳの種類及び領域を抽出する領域抽出モデルとして機能する。

【0025】

第１学習モデル１０１が、例えばＲＣＮＮ等、画像の特徴量を抽出するＣＮＮ（Convolutional Neural Network）を含むニューラルネットワークで構成される場合、第１学習モデル１０１に含まれる入力層は、画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、電気設備ＤＳ（抽出対象オブジェクト）の位置等を含む領域情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、電気設備ＤＳの種類、領域の位置（領域座標又は画素番号等）及び推定確度（確信度／スコア）を出力する。又は、第１学習モデル１０１は、中間層から出力された画像特徴量をＳＶＭ（support vector machine） に入力して物体認識を行うものであってもよい。訓練データを用いて学習されたニューラルネットワーク（第１学習モデル１０１）は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。第１学習モデル１０１は、上述のごとく制御部１１（ＣＰＵ等）及び記憶部１２を備える情報処理装置１にて用いられるものであり、このように演算処理能力を有する情報処理装置１にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置１の制御部１１が、記憶部１２に記憶された第１学習モデル１０１からの指令に従って、入力層に入力された画像の特徴量を抽出する演算を行い、出力層から、電気設備ＤＳの種類、領域の位置及び推定確度を出力する。

【0026】

第１学習モデル１０１は、碍子又は電柱等の複数の電気設備ＤＳを含む画像（問題データ）と、各電気設備ＤＳの位置（領域）及び種類を示すラベル（回答データ）とが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。訓練データは、例えば情報処理装置１の記憶部１２に記憶されており、各種の電気設備ＤＳに対する保守作業等の際に撮像された画像を集約することにより、生成することができる。このように学習及び構成された第１学習モデル１０１によれば、カメラ２０１で撮像した画像を第１学習モデル１０１に入力することによって、当該画像に含まれる電気設備ＤＳの位置（画像座標系における領域座標）及び種類を示す情報を得ることができる。本実施形態における例示としては、第１学習モデル１０１は、入力された画像に基づき、当該画像に含まれる電気設備ＤＳの種類として、例えば碍子、開閉器、送電線、鉄塔、変圧器、高圧線、電柱又は配電地上機器を出力する。

【0027】

図４は、第２学習モデル１０２（異常判定モデル）の生成処理に関する説明図である。
第２学習モデル１０２は、例えばＣＮＮ（Convolution Neural Network）等により構成され、入力された画像に含まれる電気設備ＤＳにおいて、異常の有無及び程度を出力するニューラルネットワーク（ＮＮ）であり、異常判定モデルとして機能する。第２学習モデル１０２は、例えば、錆学習モデル、傾き学習モデル、営巣学習モデル、樹木接触学習モデル、ヒビ学習モデル、及び衝突痕学習モデルを含み、これら複数の第２学習モデル１０２により構成される。本実施形態における図示においては、ヒビ学習モデルを一例として説明する。

【0028】

ヒビ学習モデル（第２学習モデル１０２）は、画像の入力を受け付ける入力層と、画像に含まれる電気設備ＤＳの異常の有無及び程度を出力する出力層と、画像の画像特徴量を抽出する中間層とを有する。入力層は、画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。例えばヒビ学習モデル（第２学習モデル１０２）がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層は、電気設備ＤＳの異常（ヒビ）の有無及び程度を判定した判定結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、電気設備ＤＳの異常（ヒビ）の有無及び程度を出力する。

【0029】

ヒビ学習モデル（第２学習モデル１０２）は、電柱又は碍子等、共通して発生し得る異常（ヒビ）が懸念される電気設備ＤＳに対し適用される。ヒビ学習モデルは、当該電気設備ＤＳを含む画像（問題データ）と、異常の有無及び程度を示すラベル（回答データ）とが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。このように学習及び構成されたヒビ学習モデル（第２学習モデル１０２）は、電気設備ＤＳ（碍子、電柱）が含まれる領域の画像（画像領域）が入力された場合、当該電気設備ＤＳにおけるヒビの有無及び、ヒビが有る場合は当該ヒビの程度（異常の程度）を出力する。電気設備ＤＳの種類と、第２学習モデル１０２の種類との対応関係の詳細については、後述する。錆学習モデル及び樹木接触学習モデル等、ヒビ学習モデル以外の他の第２学習モデル１０２についても、ヒビ学習モデルと同様に学習及び構成される。

【0030】

なお、本実施の形態では第２学習モデル１０２がＣＮＮであるものとして説明するが、第２学習モデル１０２はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、トランスフォーマー、ＲＮＮ、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された第２学習モデル１０２であってよい。第１学習モデル１０１等を学習するための訓練データに含まれる問題データ及び回答データのデータセットと、当該第１学習モデル１０１等を用いた際の入力データ及び出力データのデータセットとは同義であり、いずれかのデータセットにて定義されていれば、他方のデータセットにおいても、当然に適用される。

【0031】

図５は、第１学習モデル１０１及び第２学習モデル１０２の連関を例示する説明図である。上述のように生成された第１学習モデル１０１及び複数の第２学習モデル１０２は、処理対象となる画像（データ）の流れにおいて直列に接続され、第１学習モデル１０１が上流側に位置し、第２学習モデル１０２は下流側に位置する。更に、異常の種類それぞれに対応した複数の第２学習モデル１０２それぞれは、並列に接続される。このように第１学習モデル１０１及び複数の第２学習モデル１０２が接続されることにより、第１学習モデル１０１の出力データである画像の領域が、第２学習モデル１０２の入力データとなるデータフロー・トポロジーが形成される。

【0032】

第１学習モデル１０１に入力される画像は、カメラ２０１によって例えば街並み等を撮影した情景画像であり、当該情景画像には、複数の電気設備ＤＳが含まれている。第１学習モデル１０１は、上述のとおり、例えばセマンティックセグメンテーション又はインスタンスセグメンテーション機能を有する物体検出モデルであり、カメラ２０１よって撮像された画像（情景画像）に含まれる個々の電気設備ＤＳを抽出し、抽出した個々の電気設備ＤＳの領域、種類及び確度（確信度）を出力する。第１学習モデル１０１が出力した電気設備ＤＳの種類に応じて、適用される単一又は複数の第２学習モデル１０２が特定される。特定された第２学習モデル１０２には、第１学習モデル１０１が出力した電気設備ＤＳの領域に基づき生成される、領域の画像（画像領域）が、入力される。電気設備ＤＳの領域の画像（画像領域）が入力された第２学習モデル１０２は、自モデルにて対応する種類の異常において、当該電気設備ＤＳにおける異常の有無及び程度を出力する。

【0033】

本実施形態にて図５による例示される構成は、異常判定システムＳを用いて、各電気設備ＤＳ毎の異常を検出する検出者（利用者）の利用に供する操作画面として機能するものであってもよい。当該検出者の利用に供する操作画面は、例えば、適用する第２学習モデル１０２に関する機微な操作が行えるように構成されており、第２学習モデル選択画面として機能する。第２学習モデル選択画面は、図５にて例示するように、碍子又は電柱等の複数種類の電気設備ＤＳそれぞれを示すアイコンと、傾き学習モデル又は錆学習モデル等の異常種類毎の第２学習モデル１０２を示すアイコンとが、線図により接続されている。情報処理装置１は、例えば、当該線図に対するクリック操作を受け付けることにより、個々の第２学習モデル１０２に対する選択（適用又は不適用）を行う。これにより、モデル特定テーブル１０３による対応付けに加え、利用者によるインタラクティブな操作によって、適用する第２学習モデル１０２を選択することができる。

【0034】

情報処理装置１は、第２学習モデル選択画面において、例えば、異常種類毎の第２学習モデル１０２のアイコンそれぞれに対するクリック操作を受け付けることにより、液漏学習モデル等、特定の異常種類の第２学習モデル１０２のモデル名又はバージョンを選択することができる。例えば、液漏学習モデル等、特定の異常種類の第２学習モデル１０２において、複数のモデルを生成し、これら複数のモデル間における液漏の検出精度を比較したい場合が想定される。当該複数のモデルは、例えば、同一のレイヤー構成であって訓練データが異なることによりバージョンが異なる複数のモデル、レイヤー構成が異なる複数のモデル、又は作成したＡＩベンダーが異なることによる複数のモデル等を含む。情報処理装置１は、利用者による第２学習モデル１０２のアイコンのクリックを受付けることにより、これら複数のモデルをリスト表示したポップアップ画面を表示し、当該複数のモデルのリストにて、単一又は複数のモデルの選択を受付けるものであってもよい。当該選択されたモデル（モデル名及びバージョン）が、当該アイコンに対応する第２学習モデル１０２として機能する。

【0035】

図６は、第２学習モデル１０２を特定するためのテーブル（モデル特定テーブル１０３）の一例を示す説明図である。情報処理装置１の記憶部１２には、モデル特定テーブル１０３が記憶されている。モデル特定テーブル１０３は、管理項目（フィールド）として、設備種類の管理項目（フィールド）と、第２学習モデル１０２の管理項目（フィールド）とを含む。

【0036】

設備種類の管理項目（フィールド）には、例えば、電柱、高圧線、送電線、碍子（高圧クランプ碍子）、変圧器、開閉器、鉄塔、及び配電地上機器等、電気設備ＤＳの種類が格納される。当該設備種類の管理項目（フィールド）に格納される電気設備ＤＳの種類は、第１学習モデル１０１が出力する電気設備ＤＳの種類に対応している。

【0037】

第２学習モデル１０２の管理項目（フィールド）には、同一のレコードの設備種類の管理項目（フィールド）に格納される電気設備ＤＳの種類に対応する単一又は複数の第２学習モデル１０２のモデル名称が登録されている。当該第２学習モデル１０２は、例えば、錆学習モデル、傾き学習モデル、営巣学習モデル、樹木接触学習モデル、ヒビ学習モデル、及び衝突痕学習モデルを含む。このように複数種類の電気設備ＤＳそれぞれに対し適用できる第２学習モデル１０２を特定することにより、電気設備ＤＳそれぞれにて発生し得る共通的な異常に対応した第２学習モデル１０２を、異なる種類の電気設備ＤＳにて共用することができる。

【0038】

例えば、錆学習モデルは、開閉器、鉄塔、変圧器及び配電地上機器によって共用される。この場合、開閉器、鉄塔、変圧器及び配電地上機器にて発生し得る共通的な異常の種類は、錆である。営巣学習モデルは、鉄塔、電柱によって共用される。この場合、鉄塔及び電柱にて発生し得る共通的な異常の種類は、営巣である。樹木接触学習モデルは、送電線、高圧線によって共用される。この場合、送電線及び高圧線にて発生し得る共通的な異常の種類は、樹木接触である。ヒビ学習モデルは、碍子、電柱によって共用される。この場合、碍子及び電柱にて発生し得る共通的な異常の種類は、ヒビである。衝突痕学習モデルは、電柱、配電地上機器によって共用される。この場合、電柱及び配電地上機器にて発生し得る共通的な異常の種類は、衝突痕である。傾き学習モデルは、電柱によって用いられる。当該傾き学習モデルのように、第２学習モデル１０２は、特定の設備種類（例えば、電柱）に対してのみ用いられるモデルを含むものであってもよい。液漏学習モデルは、変圧器によって用いられる。なお、変圧器が、第１学習モデル１０１により、柱上変圧器と地上変圧器とに分類される場合、液漏学習モデルは、柱上変圧器と地上変圧器によって共用される。このように第２学習モデル１０２それぞれは、複数種類の電気設備ＤＳに対し共用されるものとなる。第２学習モデル１０２の種類は、本実施形態にて開示されるものに限定されず、電気設備ＤＳにて発生し得る他の異常に対応した各種の第２学習モデル１０２が適用されることは、言うまでもない。

【0039】

図７は、情報処理装置１の制御部１１に含まれる機能部を例示する機能ブロック図である。情報処理装置１の制御部１１は、記憶部１２に記憶されているプログラムを実行することにより、取得部１１１、モデル特定部１１２、出力部１１３として機能する。情報処理装置１の制御部１１は、記憶部１２に記憶されている第１学習モデル１０１及び第２学習モデル１０２の実体ファイル等を読み取ることにより、第１学習モデル１０１及び第２学習モデル１０２として機能する。

【0040】

取得部１１１は、車両２０２又はドローン等に搭載されたカメラ２０１が撮像した画像を取得する。当該画像には、電気設備ＤＳが被写体として含まれている。取得部１１１は、更に、当該画像が撮像された撮像日時及び、ＧＰＳデータ等による撮像地点を、カメラ２０１又は、カメラ２０１と通信可能に接続された端末装置２から取得する。上述のとおり、カメラ２０１がドライブレコーダである場合はドライブレコーダによるＧＰＳログ機能により、又はカメラ２０１と通信可能に接続された端末装置２のＧＰＳモジュールにより、画像と画像の撮像地点とは、関連付けられている。カメラ２０１が撮像した画像が動画である場合、当該動画を構成する各フレーム（静止画）に対し、撮像地点及び撮像時点が関連付けられているものであってもよい。

【0041】

取得部１１１は、取得した画像を、第１学習モデル１０１に入力する。カメラ２０１によって撮像された画像は、例えば、予め定められた巡回ルートに応じた巡回車又はドローンによる１回の巡回の際に撮像された動画として取得される。取得部１１１は、当該動画を構成するフレーム（静止画）それぞれを、順次に第１学習モデル１０１に入力するものであってもよい。カメラ２０１が撮像した画像が動画である場合、取得部１１１は、当該動画を構成する全フレームのうち、所定のサンプリング周期で抽出した一部のフレームを第１学習モデル１０１に入力ものであってもよい。

【0042】

第１学習モデル１０１は、入力された画像（１フレームの静止画）に基づき、当該画像に含まれる電気設備ＤＳの種類及び領域を推定し、推定した種類及び領域をモデル特定部１１２に出力する。上述のとおり、第１学習モデル１０１は物体検出モデルであり、画像が入力された場合、当該画像に含まれる電気設備ＤＳの種類、領域及び確度（確信度）を出力するように学習されている。電気設備ＤＳの種類は、例えば、碍子、開閉器、送電線、鉄塔、変圧器、高圧線、電柱又は配電地上機器であり、本実施形態においては、モデル特定テーブル１０３にて定義されている設備種類である。当該設備種類（電気設備ＤＳの種類）は例示であり、これに限定するものではなく、現時点及び将来における発電、送電、配電及び売電等に関する電気設備ＤＳ（電力設備）の全ての種類を含むことを意図する。電気設備ＤＳの領域とは、画像に含まれる電気設備ＤＳの領域座標（画像座標系の座標）であり、当該電気設備ＤＳを囲むバウンディボックス、又は電気設備ＤＳを表示する画素番号の範囲等を含む。

【0043】

モデル特定部１１２は、第１学習モデル１０１から取得した電気設備ＤＳの種類及び領域に基づき、以下の処理を行う。モデル特定部１１２は、第１学習モデル１０１から、複数の電気設備ＤＳの種類及び領域を取得した場合、個々の電気設備ＤＳに関する処理を順次に行うものであってもよい。モデル特定部１１２は、第１学習モデル１０１から、時系列に並ぶ複数のフレーム（静止画）における電気設備ＤＳの種類、領域及び確度を取得した場合、確度が最も高いフレーム（静止画）を用いて、個々の電気設備ＤＳに関する処理を行うものであってもよい。動画から、所定の周期にて抽出した（切り出した）複数のフレーム（静止画）には、同一の電気設備ＤＳが含まれることが想定され、この場合、電気設備ＤＳを抽出した際の確度が最も高いフレーム（静止画）を用いることにより、第２学習モデル１０２での検出精度を向上させることが期待できる。

【0044】

モデル特定部１１２は、第１学習モデル１０１から取得した電気設備ＤＳの種類に基づき、当該電気設備ＤＳの異常検知を行うための第２学習モデル１０２を特定する。モデル特定部１１２は、例えば、情報処理装置１の記憶部１２に記憶されているモデル特定テーブル１０３を参照し、第１学習モデル１０１から取得した電気設備ＤＳの種類（設備種類）に対応する単一又は複数の第２学習モデル１０２を特定する。

【0045】

例えば、第１学習モデル１０１から取得した電気設備ＤＳの種類が電柱の場合、モデル特定部１１２は、モデル特定テーブル１０３を参照して、営巣学習モデル、ヒビ学習モデル、傾き学習モデル及び衝突痕学習モデルを特定する。例えば、第１学習モデル１０１から取得した電気設備ＤＳの種類が碍子の場合、モデル特定部１１２は、モデル特定テーブル１０３を参照して、ヒビ学習モデルを特定する。このようにモデル特定テーブル１０３を参照することにより、電気設備ＤＳの種類に対応する第２学習モデル１０２、すなわち当該電気設備ＤＳにおいて発生し得る異常の判定を行う第２学習モデル１０２を効率的に特定することができる。

【0046】

モデル特定部１１２は、第１学習モデル１０１から取得した電気設備ＤＳの領域に基づき、取得部１１１から取得した画像（カメラ２０１が撮像した画像）から当該領域を抽出することにより、領域の画像を生成する。このように生成された領域の画像は、画像全体の情報量比率において、抽出元の画像（カメラ２０１が撮像した画像）よりも、対象となる電気設備ＤＳの情報量の比率が多くなるものとなる。当該電気設備ＤＳの情報量の比率の増加は、第２学習モデル１０２等のＣＮＮによって抽出される特徴量の増加に寄与するものとなり、第２学習モデル１０２による推定精度を向上させることができる。

【0047】

モデル特定部１１２は、電気設備ＤＳ毎の領域の画像を生成するにあたり、当該領域の画像を所定の大きさに調整するものであってもよい。抽出される領域の画像（画像領域）の大きさは、元の画像に写されていた電気設備ＤＳの大きさに依存するところ、モデル特定部１１２は、抽出した領域の画像（画像領域）を拡大又は縮小することによって、第２学習モデル１０２の入力に適した画像の大きさとなるよう調整するものであってもよい。この場合、大きさが調整された領域の画像（画像領域）が、第２学習モデル１０２に入力されるものとなる。

【0048】

このようにモデル特定部１１２は、第１学習モデル１０１（領域抽出モデル）から出力される個々の電気設備ＤＳの種類及び領域に応じて、当該電気設備ＤＳにて発生し得る異常の種類それぞれに対応した単一又は複数の第２学習モデル１０２（異常判定モデル）を特定する。更に、モデル特定部１１２は、当該第２学習モデル１０２に入力する領域の画像（画像領域）の生成（大きさの調整を含む）を行う領域の画像生成部（画像領域生成部）、及び大きさ調整部として機能する。

【0049】

モデル特定部１１２は、第１学習モデル１０１から取得した電気設備ＤＳの種類（設備種類）に基づき特定された第２学習モデル１０２に対し、生成した領域の画像（画像領域）を出力する。上述のとおり、第１学習モデル１０１から取得した電気設備ＤＳの種類が電柱の場合、モデル特定部１１２は、領域の画像（画像領域）を営巣学習モデル、ヒビ学習モデル、傾き学習モデル及び衝突痕学習モデルに出力する。第１学習モデル１０１から取得した電気設備ＤＳの種類が碍子の場合、モデル特定部１１２は、領域の画像（画像領域）をヒビ学習モデルに出力する。

【0050】

第２学習モデル１０２は、例えば、錆学習モデル、傾き学習モデル、営巣学習モデル、樹木接触学習モデル、ヒビ学習モデル及び衝突痕学習モデル等を含み、これら各種の異常それぞれに対応した複数の第２学習モデル１０２（第２学習モデル１０２群）により構成される。ヒビ学習モデル等の個々の第２学習モデル１０２は、モデル特定部１１２から出力された電気設備ＤＳが含まれる領域の画像（画像領域）に基づき、自モデルに対応する異常の有無及び程度を出力する。

【0051】

ヒビ学習モデルは、電気設備ＤＳ（碍子、電柱）が含まれる領域の画像（画像領域）が入力された場合、当該電気設備ＤＳにおけるヒビの有無及び、ヒビが有る場合は当該ヒビの程度（異常の程度）を出力する。

【0052】

錆学習モデルは、電気設備ＤＳ（開閉器）が含まれる領域の画像（画像領域）が入力された場合、当該電気設備ＤＳにおける錆の有無及び、錆が有る場合は当該錆の程度（異常の程度）を出力する。

【0053】

樹木接触学習モデルは、電気設備ＤＳ（送電線、高圧線）が含まれる領域の画像（画像領域）が入力された場合、当該電気設備ＤＳにおける樹木接触の有無及び、樹木接触が有る場合は当該樹木接触の程度（異常の程度）を出力する。

【0054】

営巣学習モデルは、電気設備ＤＳ（鉄塔、電柱）が含まれる領域の画像（画像領域）が入力された場合、当該電気設備ＤＳにおける営巣の有無及び、営巣が有る場合は当該営巣の程度（異常の程度）を出力する。

【0055】

傾き学習モデルは、電気設備ＤＳ（電柱）が含まれる領域の画像（画像領域）が入力された場合、当該電気設備ＤＳにおける傾きの有無及び、傾きが有る場合は当該傾きの程度（異常の程度）を出力する。

【0056】

衝突痕学習モデルは、電気設備ＤＳ（電柱、配電地上機器）が含まれる領域の画像（画像領域）が入力された場合、当該電気設備ＤＳにおける衝突痕の有無及び、衝突痕が有る場合は当該衝突痕の程度（異常の程度）を出力する。

【0057】

本実施形態において、錆学習モデル等の個々の第２学習モデル１０２（第２学習モデル１０２に含まれる異常種類毎の学習モデル）は一例であり、これらに限定されるものでなく、第２学習モデル１０２は、現時点及び将来において電気設備ＤＳ（電力設備）に発生し得る全ての異常種類それぞれに対応する学習モデルであることを意図する。

【0058】

ヒビ学習モデル等、個々の第２学習モデル１０２は、モデル特定部１１２から、電気設備ＤＳが含まれる領域の画像（画像領域）が入力されることにより、当該電気設備ＤＳにおけるヒビ等、各異常種類毎の異常の有無及び程度を出力部１１３に出力する。領域の画像（画像領域）が入力される第２学習モデル１０２はモデル特定部１１２によって特定された２学習モデルであり、すなわち当該特定された２学習モデルは、出力部１１３に対し、自モデルに対応した異常の有無及び程度を出力するものとなる。

【0059】

出力部１１３は、ヒビ学習モデル等の第２学習モデル１０２から出力された異常有無及び程度と、モデル特定部１１２から出力された電気設備ＤＳの種類及び領域の画像（画像領域）と、取得部１１１から出力された画像（カメラ２０１による撮像画像）、撮像日時及び撮像地点（ＧＰＳデータ）とを関連付けて、例えば、作業者の端末装置２に出力する。取得部１１１及び出力部１１３等、情報処理装置１の制御部１１に含まれる機能部は、自部にて取得又は出力する各種データを、例えば設備保守ＤＢに保存するものであってもよい。当該設備保守ＤＢは、情報処理装置１の記憶部１２に記憶されているものであってもよく、又は情報処理装置１と通信可能に接続されるＤＢサーバ等に記憶されているものであってもよい。当該設備保守ＤＢの詳細については、後述する。

【0060】

本実施形態において、第１学習モデル１０１及び複数の第２学習モデル１０２それぞれは、単一の情報処理装置１の制御部１１にて実行されると記載したが、これに限定されず、第１学習モデル１０１と、第２学習モデル１０２とは、別個の情報処理装置１にて、実行されるものであってもよい。又、複数の第２学習モデル１０２それぞれは、それぞれの第２学習モデル１０２に対応した複数の情報処理装置１によって、分散処理されるものであってもよい。

【0061】

図８は、情報処理装置１の制御部１１による処理手順を例示するフローチャートである。情報処理装置１の制御部１１は、複数種類の電気設備ＤＳを含む画像、画像の撮像日時、及び画像の撮像地点を取得する（Ｓ１０１）。情報処理装置１の制御部１１は、カメラ２０１が撮像した画像、及び当該画像に関連付けられた撮像日時及び撮像地点（ＧＰＳデータ）を取得する。

【0062】

情報処理装置１の制御部１１は、複数種類の電気設備ＤＳを含む画像を第１学習モデル１０１に入力することにより、複数種類それぞれの電気設備ＤＳの種類及び領域を出力する（Ｓ１０２）。情報処理装置１の制御部１１は、出力した電気設備ＤＳの種類に基づき、第２学習モデル１０２を特定する（Ｓ１０３）。情報処理装置１の制御部１１は、第１学習モデル１０１が出力した電気設備ＤＳの種類に基づき、例えばモデル特定テーブル１０３を参照することにより、当該電気設備ＤＳに対し適用される単一又は複数の第２学習モデル１０２を特定する。

【0063】

情報処理装置１の制御部１１は、出力した電気設備ＤＳの領域に基づき、当該電気設備ＤＳが含まれる領域の画像を生成する（Ｓ１０４）。情報処理装置１の制御部１１は、第１学習モデル１０１が出力した電気設備ＤＳの領域に基づき、当該電気設備ＤＳが含まれる領域の画像を生成する。領域の画像を生成する際、情報処理装置１の制御部１１は、当該領域の画像を所定の大きさに調整するものであってもよい。

【0064】

情報処理装置１の制御部１１は、生成した領域の画像を第２学習モデル１０２に入力することにより、当該領域の画像に含まれる電気設備ＤＳの異常に関する情報を出力する（Ｓ１０５）。情報処理装置１の制御部１１は、生成した領域の画像を、特定した第２学習モデル１０２それぞれに入力することにより、当該第２学習モデル１０２それぞれから、電気設備ＤＳにおける異常の有無及び程度（電気設備ＤＳの異常に関する情報）を取得する。情報処理装置１の制御部１１は、当該取得した情報を、例えば、保守担当者の携帯端末（端末装置２）に出力する。

【0065】

本実施形態によれば、複数種類の電気設備ＤＳにおける複数種類の異常に対し、電気設備ＤＳの種類及び領域を出力する第１学習モデル１０１（領域抽出モデル）と、電気設備ＤＳの異常に関する情報を出力する第２学習モデル１０２（異常判定モデル）とによる２階層の学習モデルを用いる。これにより、当該第２学習モデル１０２を、複数種類の電気設備ＤＳに対し共用化することができる。すなわち、第２学習モデル１０２は、電気設備ＤＳの種類に依拠することなく、電気設備ＤＳそれぞれにて発生し得る共通的な異常に対応している。これにより、複数種類の電気設備ＤＳに対し、当該電気設備ＤＳそれぞれにて発生し得る共通的な異常に対応した判定を効率的に行うことができる。

【0066】

本実施形態によれば、本実施形態によれば、情報処理装置１が参照するテーブルには、例えば、電柱、変圧器、又は鉄塔等の特定の電気設備ＤＳに対し、当該特定の電気設備ＤＳにて発生し得る異常の種類それぞれに対応した複数の第２学習モデル１０２が登録されている。すなわち、電気設備ＤＳの種類が電柱の場合、電柱のヒビを検出するヒビ学習モデル、電柱の傾きを検出する傾き学習モデル、及び電柱に作られた営巣を検出する営巣学習モデルが、テーブルに登録されている。電気設備ＤＳの種類が変圧器の場合、変圧器の錆を検出する錆学習モデル、及び液漏を検出する液漏学習モデルが、テーブルに登録されている。電気設備ＤＳの種類が鉄塔の場合、鉄塔の錆を検出する錆学習モデル、及び鉄塔に作られた営巣を検出する営巣学習モデルが、テーブルに登録されている。このように電気設備ＤＳの種類に応じて、異なる種類の異常それぞれに対応した複数の第２学習モデル１０２を特定することにより、複数種類の電気設備ＤＳそれぞれにて発生し得る異常に対応した判定を効率的に行うことができる。

【0067】

（実施形態２）
図９は、実施形態２（位置情報との関連付け）に係る設備テーブル１０４を例示する説明図である。図１０は、異常判定履歴テーブル１０５を例示する説明図である。情報処理装置１の記憶部１２には、設備テーブル１０４及び異常判定履歴テーブル１０５が記憶されており、当該設備テーブル１０４及び異常判定履歴テーブル１０５によって、電気設備ＤＳの保守全般に関する情報を保存及び管理する設備保守ＤＢ（データベース）が構成されるものであってもよい。

【0068】

設備テーブル１０４は、管理項目（フィールド）として、例えば、設備ＩＤ、設備種類、及び所在地を含む。設備ＩＤの管理項目（フィールド）には、保守対象となる各種の電気設備ＤＳを一意に識別するための管理番号又は識別番号等による設備ＩＤが格納される。設備種類の管理項目（フィールド）には、同一レコードに含まれる設備ＩＤの電気設備ＤＳの種類が、格納される。

【0069】

所在地の管理項目（フィールド）には、同一レコードに含まれる設備ＩＤの電気設備ＤＳの所在地が、格納される。当該所在地は、例えば、ＧＰＳデータ等による緯度及び経度であってもよい。複数の設備ＩＤに対応する所在地が同一となる場合、これら設備ＩＤの電気設備ＤＳは、同じ場所に位置していることを意味する。例えば、電気設備ＤＳとして、単一の電柱及び当該電柱に設けられた複数の碍子が存在する場合、これら電柱及び複数の所在地は、同一となる。

【0070】

異常判定履歴テーブル１０５は、設備ＩＤ、撮像日時、撮像地点、第２学習モデル１０２、異常の有無、異常の程度、領域の画像を含む。設備ＩＤの管理項目（フィールド）には、設備テーブル１０４にて定義されている設備ＩＤが格納され、これにより、設備テーブル１０４と異常判定履歴テーブル１０５との関連付け（リレーション）が設定される。

【0071】

撮像日時の管理項目（フィールド）には、同一レコードに含まれる設備ＩＤの電気設備ＤＳを含む画像（カメラ２０１による情景画像）が撮像された日時が格納される。当該撮像日時は、当該設備ＩＤの電気設備ＤＳの検出日時に相当する。撮像地点の管理項目（フィールド）には、当該設備ＩＤの設備を含む画像（情景画像）が撮像された地点（撮像地点）が、格納される。当該撮像地点は、例えば、ＧＰＳデータ等による緯度及び経度であってもよい。

【0072】

第２学習モデル１０２の管理項目（フィールド）には、モデル特定テーブル１０３に基づき用いられた第２学習モデル１０２のモデル名称が格納される。異常の有無の管理項目（フィールド）には、当該第２学習モデル１０２の判定結果として出力された異常の有無に関する情報が格納される。異常の程度の管理項目（フィールド）には、当該第２学習モデル１０２の判定結果として出力された異常の程度に関する情報が格納される。例えば、電気設備ＤＳの種類が電柱である場合、電柱に対応する第２学習モデル１０２の種類は、ヒビ学習モデル、傾き学習モデル、営巣学習モデル及び傾き学習モデルとなる。従って、領域の画像に含まれる電柱は、これら異常の種類に応じた複数の第２学習モデル１０２によって、異常の有無及び程度が判定（推定）されるものとなる。

【0073】

領域の画像の管理項目（フィールド）には、第１学習モデル１０１によって出力された領域に基づき抽出（生成）された領域の画像が、格納される。当該領域の画像には、同一レコードに含まれる設備ＩＤの電気設備ＤＳが含まれることは、言うまでもない。領域の画像をフィールドに格納するにあたり、オブジェクトデータとして格納するものであってもよく、又は当該領域の画像が保存されているファイルパス又はＵＲＬしてハイパーリンク等を設定するものであってもよい。

【0074】

異常判定履歴テーブル１０５に格納されている電気設備の各種データは、設備テーブル１０４に格納されている当該電気設備の所在地に基づき、例えば地図データ上にマッピングされるものであってもよい。この場合、当該地図データ上には、個々の電気設備を示すアイコンが表示され、アイコンをクリックすることにより、当該アイコンが示す電気設備の履歴情報が表示されるものであってもよい。

【0075】

図１１は、情報処理装置１の制御部１１による処理手順を例示するフローチャートである。情報処理装置１の制御部１１は、複数種類の電気設備ＤＳを含む画像、画像の撮像日時、及び画像の撮像地点を取得する（Ｓ２０１）。情報処理装置１の制御部１１は、複数種類の電気設備ＤＳを含む画像を第１学習モデル１０１に入力することにより、複数種類それぞれの電気設備ＤＳの種類及び領域を出力する（Ｓ２０２）。情報処理装置１の制御部１１は、実施形態１の処理Ｓ１０１及びＳ１０２と同様に、Ｓ２０１及びＳ２０２の処理を行う。

【0076】

情報処理装置１の制御部１１は、出力した電気設備ＤＳそれぞれの種類に基づき、種類毎の個数を導出する（Ｓ２０３）。情報処理装置１の制御部１１は、第１学習モデル１０１が抽出した電気設備ＤＳの種類に基づき、第１学習モデル１０１に入力された画像に含まれる電気設備ＤＳの種類、及び各種類毎の個数を導出する。

【0077】

情報処理装置１の制御部１１は、画像の撮像地点において、導出した種類毎の個数に過不足があるか否かを判定する（Ｓ２０４）。情報処理装置１の制御部１１は、設備テーブル１０４を参照することにより、画像の撮像地点に対応する全ての電気設備ＤＳの種類及び個数を特定する。情報処理装置１の制御部１１は、設備テーブル１０４に基づき特定した電気設備ＤＳの種類及び個数に対し、第１学習モデル１０１を用いて導出した電気設備ＤＳの種類及び個数に、過不足があるか否かを判定する。

【0078】

過不足がある場合（Ｓ２０４：ＹＥＳ）、情報処理装置１の制御部１１は、導出した種類毎の個数が不足しているか否かを判定する（Ｓ２０４１）。不足している場合（Ｓ２０４１：ＹＥＳ）、情報処理装置１の制御部１１は、画像の撮像地点において、電気設備ＤＳの検出漏れが発生したと判定する（Ｓ２０４２）。情報処理装置１の制御部１１は、設備テーブル１０４に基づき特定した電気設備ＤＳの種類及び個数と、第１学習モデル１０１を用いて導出した電気設備ＤＳの種類及び個数とを対比することにより、検出漏れとなった電気設備ＤＳの種類又は設備ＩＤを特定することができる。

【0079】

不足していない場合（Ｓ２０４１：ＮＯ）、すなわち導出した種類毎の個数が過剰である場合、情報処理装置１の制御部１１は、画像の撮像地点において、電気設備ＤＳの誤検出が発生したと判定する（Ｓ２０４３）。

【0080】

過不足がない場合（Ｓ２０４：ＮＯ）、情報処理装置１の制御部１１は、画像の撮像地点において、電気設備ＤＳの検出が正常に行われたと判定する（Ｓ２０５）。過不足がない場合、すなわち設備テーブル１０４に基づき特定した電気設備ＤＳの種類及び個数と、第１学習モデル１０１を用いて導出した電気設備ＤＳの種類及び個数とが、同一である（一致した）場合、情報処理装置１の制御部１１は、電気設備ＤＳの検出が正常に行われたと判定する。

【0081】

情報処理装置１の制御部１１は、判定結果を出力する（Ｓ２０６）。情報処理装置１の制御部１１は、設備テーブル１０４を参照することによる判定結果を、例えば電気設備ＤＳの保守担当者の携帯端末に出力することにより、当該保守担当者に対し報知することができる。上述おとおり、判定結果は、正常検出、検出漏れ、及び誤検出による３態様を含む。判定結果が検出漏れであった場合、情報処理装置１の制御部１１は、例えば、当該電気設備ＤＳに対する次回の巡回の際、当該巡回を担当する保守担当者の携帯端末に出力するものであってもよい。これにより、前回の巡回にて検出漏れとなった電気設備ＤＳに対するフォローアップを確実に行うことができる。

【0082】

本実施形態によれば、情報処理装置１は、保全対象となる電気設備ＤＳそれぞれの位置情報が登録されている設備テーブル１０４を参照し、取得した電気設備ＤＳの位置情報との対比を行うことにより、未検出の電気設備ＤＳの有無を判定する。これにより、設備テーブル１０４にて、いずれかの位置情報に対応する電気設備ＤＳが複数個、登録されている場合、当該位置情報に関連付けられた電気設備ＤＳが、設備テーブル１０４に登録された当該複数個の電気設備ＤＳとの間で差異があれば、当該差異に基づき、未検出の電気設備ＤＳの有無を判定することができる。すなわち、いずれかの位置情報において、設備テーブル１０４に登録された電気設備ＤＳに対し、位置情報に関連付けられた電気設備ＤＳ（第１学習モデル１０１により出力された電気設備ＤＳ）が少ない（不足）場合、第１学習モデル１０１が出力しなかった電気設備ＤＳ（未検出の電気設備ＤＳ）があると判定することができる。設備テーブル１０４に登録された電気設備ＤＳに対し、位置情報に関連付けられた電気設備ＤＳ（第１学習モデル１０１により出力された電気設備ＤＳ）が多い（過多）場合、第１学習モデル１０１が誤って出力した電気設備ＤＳ（誤検出の電気設備ＤＳ）があると判定することができる。このように未検出の電気設備ＤＳが有る判定された場合、当該未検出と判定された電気設備ＤＳに関する情報を、例えば電気設備ＤＳの保守担当者の携帯端末に出力することにより、当該保守担当者に対し報知することができる。未検出と判定された電気設備ＤＳに関する情報は、例えば、当該電気設備ＤＳに対する次回の巡回の際、当該巡回を担当する保守担当者の携帯端末に出力するものであってもよい。

【0083】

（実施形態３）
図１２は、実施形態３（劣化度合）に係る電気設備ＤＳに関する情報（劣化度合等）を示す表示画面を例示する説明図である。情報処理装置１の制御部１１は、情報処理装置１の記憶部１２に記憶されている設備テーブル１０４及び異常判定履歴テーブル１０５を参照し、電気設備ＤＳに関する情報を示す表示画面を構成する画面データを生成し、例えば、作業者の端末装置２に出力する。これにより、作業者の端末装置２が備える液晶ディスプレイ等の表示部に、電気設備ＤＳに関する情報を示す表示画面（設備情報表示画面）が表示される。

【0084】

設備情報表示画面は、対象となる電気設備ＤＳの種類等をリスト形式で示す種類等リスト表示エリア、当該電気設備ＤＳに対する異常検出の履歴等をリスト形式で示す履歴等リスト表示エリア、各異常の程度の推移をグラフ形式で表示する推移グラフ表示エリア、及び設備保守に関するアドバイスを表示する設備保守アドバイス表示エリアを含む。

【0085】

種類等リスト表示エリアには、対象となる電気設備ＤＳの設備ＩＤ、設備種類、及び所在地が表示される。情報処理装置１の制御部１１は、例えば、設備テーブル１０４を参照することにより、当該設備ＩＤ、設備種類、及び所在地を取得することができる。

【0086】

履歴等リスト表示エリアには、対象となる電気設備ＤＳに対応する第２学習モデル１０２を用いて判定した結果（異常の有無及び程度）が、履歴情報として表示される。情報処理装置１の制御部１１は、例えば、異常判定履歴テーブル１０５を参照することにより、当該履歴情報を取得することができる。

【0087】

同一の設備ＩＤの電気設備ＤＳに対し、複数回の保守巡回が行われることにより、複数回に亘って画像が撮像されるものとなる。これら複数回に亘って撮像された画像の撮像時点は、時系列に並ぶものとなり、本実施形態においては、例えば、最新の撮像時点から順（降順）に、各撮像時点での異常の有無等をリスト表示する。

【0088】

異常の有無等がリスト表示される第２学習モデル１０２は設備種類に対応するものであり、設備種類が電柱の場合、当該第２学習モデル１０２は、例えば、営巣学習モデル、ヒビ学習モデル、傾き学習モデル及び衝突痕学習モデルとなり、モデル特定テーブル１０３に基づき特定される。履歴等リスト表示エリアには、営巣学習モデル等、各第２学習モデル１０２毎での異常の有無及び程度が表示されるため、対象となる電気設備ＤＳにて発生し得る異常の種類それぞれにおいて、異常の有無等を時系列に把握することができる。履歴等リスト表示エリアは、更に、対象となる電気設備ＤＳの領域の画像を表示するアイコン等を含むものであってもよく、当該アイコンをクリックすることにより、当該領域の画像を子画面にてポップアップ表示するものであってもよい。

【0089】

推移グラフ表示エリアには、各異常の種類毎の程度の推移がグラフ形式にて表示される。当該グラフの縦軸は、異常の程度（劣化度）の値を示す。横軸は、画像を撮像した撮像日時を経時的に示すものであり、時間軸に相当する。

【0090】

当該グラフにおいて、過去から現在までに第２学習モデル１０２それぞれにて出力（推定）された異常の程度（劣化度）に基づき、実績線が表示される。当該実績線は、適用された第２学習モデル１０２毎（異常の種類毎）に生成されるものであり、本実施形態においては、電柱に対するヒビ、傾き、営巣、及び衝突痕それぞれにて、実績線が生成及び表示される。

【0091】

予想線は、実績線上の値に基づき、例えば回帰分析等を行うことにより導出される。又は、予想線は、過去から現在までの異常の程度（劣化度）の値に基づき、対数近似曲線、多項式近似曲線、累乗近似曲線又は指数近似曲線等の種々方法を用いて、予想線を導出するものであってもよい。又は、情報処理装置１の制御部１１は、過去から現在までの異常の程度（劣化度）の値を、例えばＲＮＮ等の自己回帰層を備えるニューラルネットワークに入力し、将来にて予測される異常の程度（劣化度）を導出することにより、予想線を生成するものであってもよい。情報処理装置１の記憶部１２には、各電気設備ＤＳにおける異常の種類毎に、異常の程度（劣化度）の許容範囲を定める閾値が記憶されており、当該閾値についても、グラフに表示される。これにより、現時点における異常の程度（劣化度）と閾値とを対比確認することにより、作業者に対する保守作業の支援を行うことができる。

【0092】

設備保守アドバイス表示エリアには、推移グラフ表示エリア及び履歴等リスト表示エリアにて表示された事項に基づき生成された設備保守アドバイスが表示される。情報処理装置１の制御部１１は、例えば記憶部１２に記憶されている状態（異常の程度及び推移）及び行動（アドバイス）が関連付けられたテーブルを参照することにより、現時点において電気設備ＤＳに発生している異常に対するアドバイスを生成するものであってもよい。

【0093】

本実施形態によれば、情報処理装置１は、同一の電気設備ＤＳに対する時系列から成る複数の異常に関する情報に基づき、当該電気設備ＤＳの劣化度合を導出することにより、電気設備ＤＳの劣化の進み具合を取得することができる。情報処理装置１は、劣化度合が所定の閾値以上となる電気設備ＤＳがある場合、例えば、当該電気設備ＤＳに対する巡回を担当する保守担当者の携帯端末に、当該電気設備ＤＳに関する情報を出力するものであってもよい。情報処理装置１は、当該保守担当者の携帯端末に劣化度合が所定の閾値以上の電気設備ＤＳに関する情報を出力するにあたり、例えば、携帯端末が備えるＧＰＳ機能を用いて、当該携帯端末（携帯端末を所有する保守担当者）の位置と、当該電気設備ＤＳの位置（位置情報）とが近接した際、電気設備ＤＳに関する情報を携帯端末に出力するものであってもよい。

【0094】

今回開示された実施の形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0095】

Ｓ 異常判定システム
ＤＳ 電気設備
１ 情報処理装置（サーバ装置）
１１ 制御部
１１１ 取得部
１１２ モデル特定部
１１３ 出力部
１２ 記憶部
１２１ 記録媒体
Ｐ プログラム
１３ 通信部
１０１ 第１学習モデル（領域抽出モデル）
１０２ 第２学習モデル（異常判定モデル）
１０３ モデル特定テーブル
１０４ 設備テーブル
１０５ 異常判定履歴テーブル
２ 端末装置
２０１ カメラ
２０２ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】