特開 2022-185364 点検支援システム、点検支援方法、および学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022185364

(43)【公開日】2022-12-14

(54)【発明の名称】点検支援システム、点検支援方法、および学習装置

(51)【国際特許分類】

   G05B 23/02 20060101AFI20221207BHJP

   G06Q 10/00 20120101ALI20221207BHJP

【ＦＩ】

G05B23/02 301Z

G06Q10/00 300

【審査請求】未請求

【請求項の数】28

【出願形態】ＯＬ

(21)【出願番号】P 2021093000

(22)【出願日】2021-06-02

(71)【出願人】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】北山 匡史

【テーマコード（参考）】

3C223

5L049

【Ｆターム（参考）】

3C223AA23

3C223BA03

3C223BB08

3C223CC02

3C223EA04

3C223EB01

3C223FF22

3C223FF26

3C223FF52

5L049CC15

(57)【要約】

【課題】指示計器の画像から指示計器の指示値を精度良く自動取得することが可能な点検支援システムを提供する。
【解決手段】点検支援システム１において、読取可否判定部３２は、監視カメラ２０が撮像した指示計器１１の画像を評価することにより、指示計器１１の指示値の自動読み取りが可能か否かを判定する。画像読取部４２は、読取可否判定部３２が読み取り可能と判定した場合に、指示計器１１の画像から指示計器１１の指示値を読み取る。撮像制御部３１は、監視カメラ２０によって第１の撮像条件で撮像された指示計器１１の画像に対して読取可否判定部３２が読み取り不可と判定した場合に、第１の撮像条件と異なる第２の撮像条件で監視カメラ２０に指示計器１１を撮像させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

指示計器を撮像する撮像部と、
前記撮像部が撮像した前記指示計器の画像を評価することにより、前記指示計器の指示値の自動読み取りが可能であるか否かを判定する読取可否判定部と、
前記読取可否判定部が読み取り可能と判定した場合に、前記指示計器の前記画像から前記指示計器の指示値を読み取る画像読取部と、
前記撮像部によって第１の撮像条件で撮像された前記指示計器の画像に対して前記読取可否判定部が読み取り不可と判定した場合に、前記第１の撮像条件と異なる第２の撮像条件で前記撮像部に前記指示計器を撮像させる撮像制御部とを備える、点検支援システム。

【請求項2】

前記画像読取部は、前記指示計器の前記画像の鮮明度によっては、前記指示計器の指示値を誤った値に読み取る場合があり、
前記読取可否判定部は、前記画像読取部が前記指示計器の指示値を誤った値に読み取るような前記指示計器の前記画像の鮮明度の場合に、前記指示計器の指示値を読み取り不可と判定するように構成される、請求項１に記載の点検支援システム。

【請求項3】

前記撮像部は、走行体または飛行体である移動体に搭載され、
前記点検支援システムは、さらに、
前記移動体に設けられ、前記移動体を駆動する駆動部と、
前記撮像部によって複数の指示計器を順に撮像するために、前記駆動部を制御することによって、前記移動体を前記複数の指示計器の各々に対応する撮像位置に移動させる移動体制御部とを備える、請求項１または２に記載の点検支援システム。

【請求項4】

前記撮像部、前記読取可否判定部、および前記撮像制御部は、前記移動体に設けられ、
前記画像読取部はサーバに設けられ、
前記撮像制御部は、前記撮像部が撮像した前記複数の指示計器の画像のうち前記読取可否判定部が読み取り可と判定した１つ以上の画像を、前記移動体に設けられた通信装置によって前記サーバに転送するか、または前記移動体に設けられた記憶装置に記憶させる、請求項３に記載の点検支援システム。

【請求項5】

前記複数の指示計器のうち第１の指示計器および第２の指示計器を順に前記撮像部によって撮像する場合に、前記移動体制御部は、前記画像読取部が前記第１の指示計器の画像から前記第１の指示計器の指示値を読み取る前に、前記移動体を前記第２の指示計器に対応する撮像位置に移動させる、請求項３または４に記載の点検支援システム。

【請求項6】

前記撮像部、前記読取可否判定部、前記撮像制御部、および前記画像読取部は、前記移動体に設けられる、請求項３に記載の点検支援システム。

【請求項7】

前記撮像部および前記撮像制御部は前記移動体に設けられ、
前記読取可否判定部および前記画像読取部はサーバに設けられる、請求項３に記載の点検支援システム。

【請求項8】

前記読取可否判定部が読み取り不可と判定した場合における前記撮像部の撮像条件を、その後の同じ前記指示計器の撮像時に参照するために記憶するための計測データベースをさらに備える、請求項１～７のいずれか１項に記載の点検支援システム。

【請求項9】

前記第１の撮像条件と前記第２の撮像条件とは、前記撮像部のレンズの方向または前記撮像部の前記レンズの光学的ズーム率の少なくとも１つが異なる、請求項１～８のいずれか１項に記載の点検支援システム。

【請求項10】

前記第１の撮像条件と前記第２の撮像条件とは、前記撮像部の位置が異なる請求項１～９のいずれか１項に記載の点検支援システム。

【請求項11】

前記読取可否判定部が読み取り不可と判定した場合に、前記移動体制御部は前記移動体を移動させることにより、前記第２の撮像条件として前記撮像部の位置または前記撮像部のレンズの方向の少なくとも１つを変更する、請求項３～７のいずれか１項に記載の点検支援システム。

【請求項12】

前記複数の指示計器のうち第３の指示計器の後に第４の指示計器を前記撮像部によって撮像する場合に、前記読取可否判定部が前記第３の指示計器の画像から前記第３の指示計器の指示値を読み取り不可と判定した場合に、前記移動体制御部は、前記移動体を前記第４の指示計器に対応する撮像位置に移動させて前記撮像部が前記第４の指示計器を撮像した後に、前記第３の指示計器に対応する撮像位置に前記移動体を移動させる、請求項３～７および１１のいずれか１項に記載の点検支援システム。

【請求項13】

前記読取可否判定部が前記指示計器の指示値を読み取り不可と判定した場合に、前記指示計器のレンズを清掃するレンズ清掃部をさらに備える、請求項１～１２のいずれか１項に記載の点検支援システム。

【請求項14】

前記読取可否判定部は、
前記撮像部が撮像した前記指示計器の画像を取得するデータ取得部と、
前記指示計器の画像から前記指示計器の指示値の自動読み取りが可能であるか否かを判定する学習済モデルを用いて、前記データ取得部によって取得された前記指示計器の画像から前記指示計器の指示値の読み取り可否を推論する推論部と備える、請求項１～１３のいずれか１項に記載の点検支援システム。

【請求項15】

前記学習済モデルの生成に用いられる学習用データは、前記撮像部によって撮像された前記指示計器の画像に基づいて自動読み取りが可能であるか否かを人間が判定したデータ、または前記撮像部と異なるカメラによって撮像された前記指示計器の画像に基づいて自動読み取り可能であるか否かを人間が判定したデータ、または、前記撮像部によって撮像された前記指示計器の画像から前記画像読取部が読み取った指示値に基づいて自動読み取り可能であるか否かを人間が判定したデータの少なくとも１つを含む、請求項１４に記載の点検支援システム。

【請求項16】

前記学習済モデルは、前記指示計器の画像に加えて前記指示計器の撮像時の環境から、前記指示計器の指示値の自動読み取りが可能であるか否かを判定するモデルであり、
前記データ取得部は、前記撮像時の環境をさらに取得する、請求項１４または１５に記載の点検支援システム。

【請求項17】

前記撮像時の前記環境は、前記撮像時における前記撮像部の位置、前記撮像時における前記撮像部の前記指示計器に対する相対的な３次元の位置関係、前記撮像時の時刻、前記撮像時の天候、および前記撮像時の気象条件の少なくとも１つを含む、請求項１４～１６のいずれか１項に記載の点検支援システム。

【請求項18】

前記学習済モデルは、前記指示計器の画像に加えて前記指示計器の種類または種別の少なくとも一方から、前記指示計器の指示値の自動読み取りが可能であるか否かを判定するモデルであり、
前記データ取得部は、前記指示計器の種類または種別の少なくとも一方をさらに取得する、請求項１４～１７のいずれか１項に記載の点検支援システム。

【請求項19】

前記指示計器の種類は、前記指示計器の形状、前記指示計器が指針式かデジタル表示式かの区分、または前記指示計器が前記デジタル表示式の場合に液晶表示式か自発光式かの区分のうち少なくとも１つを含み、
前記指示計器の種別は、温度計、電圧計、電流計、電力計、圧力計、または流量計のうち少なくとも１つを含む、請求項１８に記載の点検支援システム。

【請求項20】

前記指示計器は変電所に設けられ、
前記指示計器の種別は、遮断器のガス圧を測定する計器、前記変電所の環境温度を測定する計器、変圧器の巻線温度を測定する計器、前記変圧器のタップトルク値を測定する計器、前記変圧器の油温を測定する計器、前記変圧器の油面位置を測定する計器、または前記変圧器のタップの動作回数を測定する計器のうちの少なくとも１つを含む、請求項１８または１９のいずれか１項に記載の点検支援システム。

【請求項21】

前記画像読取部は、前記読取可否判定部が前記指示計器の指示値による自動読み取りの可否の判定結果とは独立して、前記指示計器の指示値を読み取り可能に構成されている、請求項１～２０のいずれか１項に記載の点検支援システム。

【請求項22】

前記撮像制御部は、前記撮像部に同一の前記指示計器を複数回撮像させ、
前記画像読取部は、前記撮像部によって撮像された同一の前記指示計器の複数の画像の各々から前記指示計器の指示値を読み取り、
前記点検支援システムは、前記画像読取部によって読み取られた同一の前記指示計器の複数の指示値の平均値を、前記指示計器の最終的な指示値として算出する計測値処理部をさらに備える、請求項１～２１のいずれか１項に記載の点検支援システム。

【請求項23】

前記計測値処理部は、前記画像読取部によって読み取られた同一の前記指示計器に対する複数の指示値のばらつきが閾値を超えている場合に、前記指示計器の指示値を読み取り不可と判定する、請求項２２に記載の点検支援システム。

【請求項24】

前記読取可否判定部は、同一の前記指示計器に対して、規定回数を超えて読み取り不可と判定した場合に、ユーザに警告を通知する、請求項１～２３のいずれか１項に記載の点検支援システム。

【請求項25】

前記移動体は変電所内を移動し、
前記撮像部によって撮像される複数の指示計器の種別は、遮断器のガス圧を測定する計器、前記変電所の環境温度を測定する計器、変圧器の巻線温度を測定する計器、前記変圧器のタップトルク値を測定する計器、前記変圧器の油温を測定する計器、前記変圧器の油面位置を測定する計器、または前記変圧器のタップの動作回数を測定する計器のうちの少なくとも２種別を含む請求項３～７、１１および１２のいずれか１項に記載の点検支援システム。

【請求項26】

前記複数の指示計器の各々の画像に基づいて前記読取可否判定部が判定した読み取り可否の結果、前記複数の指示計器の画像の撮像時刻、および前記複数の指示計器の各々の位置に基づいて、前記複数の指示計器を順に撮像するための前記移動体の移動経路を表す動作スケジュールを生成する、動作スケジュール生成部をさらに備える、請求項３～７、１１、１２、および２５のいずれか１項に記載の点検支援システム。

【請求項27】

請求項１４～２０のいずれか１項に記載の学習済モデルを生成するための学習装置であって、
前記指示計器の画像と、前記指示計器の画像に基づいて前記指示計器の指示値の自動読み取りが可能であるか否かの判定結果とを少なくとも含む学習用データを取得するデータ取得部と、
前記学習用データを用いて、前記指示計器の画像から前記指示計器の指示値の自動読み取りが可能であるか否かを推論するための前記学習済モデルを生成するモデル生成部とを備える、学習装置。

【請求項28】

撮像部が指示計器を撮像するステップと、
第１のプロセッサが、前記撮像部が撮像した前記指示計器の画像を評価することにより、前記指示計器の指示値の自動読み取りが可能であるか否かを判定するステップと、
前記第１のプロセッサが前記指示計器の指示値を読み取り可能と判定した場合に、前記第１のプロセッサと同じまたは異なる第２のプロセッサが、前記指示計器の前記画像から前記指示計器の指示値を読み取るステップと、
前記撮像部によって第１の撮像条件で撮像された前記指示計器の画像に対して前記第１のプロセッサが前記指示計器の指示値の読み取りを不可と判定した場合に、前記第１のプロセッサと同じまたは異なる第３のプロセッサが、前記第１の撮像条件と異なる第２の撮像条件で前記撮像部に前記指示計器を撮像させるステップとを備える、点検支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、点検支援システム、点検支援方法、および学習装置に関する。

【背景技術】

【0002】

たとえば、電力会社の変電所では、開閉器および変圧器などの変電設備の保全と経年劣化による異常等の早期発見のために巡視点検を行っている。巡視点検では、保守員が変電所現地へ行き、電力設備に設置されている指示計器を確認したり、設備の状態を目視で確認したりしている。

【0003】

電力会社では、コスト削減および保全業務の効率化の観点から、変電所構内に監視カメラを設置して、監視カメラで撮像された画像を遠隔地で確認することが検討されている。これにより、変電所現地へ派遣する保守員の人数もしくは派遣頻度を削減することが期待される。

【0004】

巡視項目の中で、電力機器に設置されたアナログ計器およびカウンタなどの指示値を確認して記録する監視項目がある。この場合、監視カメラで撮像した指示計器を保守員が読み取って確認してもよいが、撮像した計器画像を画像分析することにより指示値データを自動生成すれば、保守員の負担をより軽減できる。

【0005】

しかしながら、露光条件が悪い屋外変電所では、日射による指示計器のガラス面の反射が生じたり、他の構造物の影の映り込みが生じたりする。この結果、フォーカスおよび露光などの光学的条件が不適当になるので、指示計器の画像が鮮明に撮像できないことがある。また、室内に設けられた指示計器も照明による影響を受ける場合がある。鮮明でない計器画像では、画像解析を高精度にしても正しい指示値データを取得することは困難である。

【0006】

特開２０１８－４５３９８号公報（特許文献１）に開示された検針システムでは、指示計器を撮像する顧客が画像解析結果に誤りがあるかないかを確認する。具体的にこの文献の例では、撮像した指示計器の画像データは、検針用アプリケーションの画像処理部によってテキスト変換される。顧客は、テキストデータと画像データとを比較し、テキスト変換結果に誤りがある場合には、テキストデータを正しい値に修正する。

【0007】

特許第６７５１０６２号公報（特許文献２）に開示された自動点検システムでは、データ収集装置は、周囲環境に関する情報を含む露光調整情報を明示して各読み取り装置に対して計測データの取得を要求する。各読み取り装置は、複数の露光調整情報の各々に対して露光パラメータを予め記憶しており、明示された露光調整情報に対応する露光パラメータを用いて点検対象の画像データを取得する。これにより、適切な露光パラメータを設定するまでの時間を短縮できる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１８－４５３９８号公報

【特許文献2】特許第６７５１０６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

指示計器の画像に基づいて指示値を自動読み取りする製品およびサービスは数多く市販されている。しかしながら、これらの製品およびサービスでは、指示計器の画像が十分に大きくかつ鮮明に得られることが、正しい指示値を自動取得するための前提となっている。従来技術では、指示計器の画像が十分に大きく十分に鮮明でない場合に自動取得された指示値の信頼性は、結局のところ人間による判断に委ねざるを得ない。

【0010】

本開示は、上記の課題を考慮してなされたものであって、その目的の１つは、指示計器の画像から指示計器の指示値を精度良く自動取得することが可能な点検支援システムを提供することである。

【課題を解決するための手段】

【0011】

本開示の一実施形態による点検支援システムは、指示計器を撮像する撮像部と、読取可否判定部と、画像読取部と、撮像制御部とを備える。読取可否判定部は、撮像部が撮像した指示計器の画像を評価することにより、指示計器の指示値の自動読み取りが可能であるか否かを判定する。画像読取部は、読取可否判定部が読み取り可能と判定した場合に、指示計器の画像から指示計器の指示値を読み取る。撮像制御部は、撮像部によって第１の撮像条件で撮像された指示計器の画像に対して読取可否判定部が読み取り不可と判定した場合に、第１の撮像条件と異なる第２の撮像条件で撮像部に指示計器を撮像させる。

【発明の効果】

【0012】

上記の実施形態によれば、読取可否判定部が読み取り可能と判定した場合に、指示計器の画像から指示計器の指示値を読み取るので、指示計器の画像から指示計器の指示値を精度良く自動取得できる。

【図面の簡単な説明】

【0013】

【図1】実施の形態１による点検支援システムの全体構成の一例を示すブロック図である。

【図2】図１の監視カメラおよびカメラ制御部の部分の構成の変形例を示す図である。

【図3】図１のカメラ制御部および移動体制御部のハードウェア構成例を示すブロック図である。

【図4】図１の管理サーバのハードウェア構成例を示すブロック図である。

【図5】３層のニューラルネットワークのモデルの一例を示す図である。

【図6】推論装置としての読取可否判定部の構成例を示すブロック図である。

【図7】推論装置としての読取可否判定部の動作を示すフローチャートである。

【図8】図１の点検支援システムの動作を示すフローチャートである。

【図9】学習フェーズにおける点検支援システムの構成例を示すブロック図である。

【図10】図９の監視カメラおよびカメラ制御部の部分の構成の変形例を示す図である。

【図11】図９の監視カメラおよびカメラ制御部の部分の構成の他の変形例を示す図である。

【図12】図９の学習装置の構成を示すブロック図である。

【図13】図９の点検支援システムにおいて学習装置が学習モデルを生成する手順を示すフローチャートである。

【図14】実施の形態３の点検支援システムにおいて、カメラ制御部の動作の一例を示すフローチャートである。

【図15】検査対象の一例として丸形の指示計器の外観を示す正面図である。

【図16】動作スケジュール生成部の構成例を示すブロック図である。

【図17】図１６の地図データ記憶部に記憶される経路情報を例示する図である。

【図18】図１６のメータ位置情報記憶部に記憶される撮像作業位置情報を例示する図である。

【図19】経路決定部が決定した動作スケジュールを例示する図である。

【図20】読取実績記憶部が記憶する読取実績情報の一例を示す図である。

【発明を実施するための形態】

【0014】

以下、各実施の形態について図面を参照して詳しく説明する。以下では、変電所に設けられた電力機器の指示計器を例に挙げて説明するが、本開示は電力機器に限らず、種々の施設に設置された指示計器の自動読み取りに適用できる。なお、以下の説明において同一または相当する部分には同一または類似する参照符号を付して、その説明を繰り返さない場合がある。

【0015】

実施の形態１．
［点検支援システムの構成］
図１は、実施の形態１による点検支援システムの全体構成の一例を示すブロック図である。図１を参照して、点検支援システム１は、撮像部としての監視カメラ２０と、監視カメラ２０を搭載する移動体２２と、変電所の制御室４０に設けられた管理サーバ４１、無線アクセスポイント（ＡＰ）または４Ｇもしくは５Ｇ端末４４、および計測データベース（ＤＢ）４５とを備える。

【0016】

監視カメラ２０は、電力機器１０に設置されている指示計器１１の画像を撮像する。指示計器１１をメータとも称する。電力機器１０として、たとえば、変電所内の変圧器、遮断器および開閉器などの変電設備を挙げることができる。

【0017】

指示計器１１の種別は特に限定されず、温度計、電圧計、電流計、電力計、圧力計、流量計などのいずれであってもよい。特に変電所の場合には、指示計器１１の種別として、遮断器のガス圧を測定するメータ、変電所の環境温度を測定するメータ、変圧器の巻線温度を測定するメータ、変圧器のタップトルク値を測定するメータ（トルクセンサ）、変圧器の油温を測定するメータ、変圧器の油面位置を測定するメータ、および変圧器のタップの動作回数を測定するメータなどを挙げることができる。

【0018】

また、指示計器１１の形状および表示形式等の種類も、特に限定されない。たとえば、指示計器１１の形状区分は、丸形であっても角形であってもよい。また、指示計器１１の表示形式は、指針式であってもデジタル表示式であってもよいし、デジタル表示式の場合には、液晶表示型であってもよいし、蛍光表示管または発光ダイオードのような自発光型であってもよい。

【0019】

移動体２２は、走行体（たとえば、ロボット）または飛行体（たとえば、ドローン）である。移動体２２に設けられた可動アーム２１の先端部に監視カメラ２０が取り付けられる。移動体２２の移動および／または可動アーム２１の動作によって、監視カメラ２０による指示計器１１の撮像位置および撮像方向を変化させることができる。監視カメラ２０に付随して監視カメラ２０のレンズを清掃するためのレンズ清掃部２３が設けられていてもよい。レンズ清掃部２３は、たとえば、ブロワーまたはワイパーなどを含む。

【0020】

図１に示すように、移動体２２は、移動体２２の駆動部３５を制御する移動体制御部３４と、監視カメラ２０を制御するカメラ制御部３０と、レンズ清掃部２３とを備える。カメラ制御部３０は、撮像制御部３１と、読取可否判定部３２と、画像伝送部３３とを含む。

【0021】

移動体制御部３４は、駆動部３５を駆動することにより、可動アーム２１を動作させたり、移動体２２を移動させたりする。駆動部３５は、可動アーム２１の基部および関節などを回転駆動するモータ、駆動輪またはプロペラを回転駆動するモータ、およびこれらのモータを駆動する駆動回路などを含む。

【0022】

撮像制御部３１は、撮像条件の１つである監視カメラ２０のレンズのＰＴＺ（Pan/Tilt/Zoom）制御、すなわち、パン（レンズの左右方向の動作）およびチルト（レンズの上下方向の動作）のレンズの方向制御、ならびに光学的ズーム率（被写体の拡大および縮小）の制御を行う。撮像制御部３１は、さらに、フォーカス、露光時間、絞りなどの撮像条件を調整する。また、撮像制御部３１は、撮像した指示計器１１の画像を、後述する通信装置５５（画像伝送部３３）によって管理サーバ４１に転送させたり、不揮発性メモリ５３または通信装置５５に記憶させたりする。

【0023】

読取可否判定部３２は、後述する管理サーバ４１の画像読取部４２が、撮像された指示計器１１の画像から画像処理によって計器の指示値を自動読み取り可能か否かを、指示計器１１の画像を評価することにより判定する。

【0024】

前述のように屋外変電所では、露光条件やカメラ位置の変動の影響により、指示計器１１の画像を鮮明かつ画面内に大きく撮像できないことがある。指示計器１１の画像を画像処理によって指示値データに変換する処理を行うときに、指示計器１１の画像が適切でない場合、指示値データを得られないか、または誤った指示値データを得ることが起こりうる。計器画像が読み取りできるかどうかの判断は、計算機によるルールベースの処理よりも人間による判断の方が正確かつ迅速に行うことができる。

【0025】

そこで、本実施形態の点検支援システム１では、計器画像が読み取り可能かどうかを予め分類する判定ロジックをニューラルネットワークに基づく機械学習によって獲得する。読取可否判定部３２は、機械学習により獲得した判定ロジックを用いて、監視カメラ２０で撮像した指示計器１１の画像からその指示値を画像処理により読み取り可能かどうかを判断する。

【0026】

読取可否判定部３２によって読み取り不可と判定された場合には、撮像制御部３１は、監視カメラ２０のＰＴＺ機能を制御することによって画角を変更して、再度、監視対象の指示計器１１を監視カメラ２０によって撮像する。もしくは、移動体制御部３４は、可動アーム２１を動作させるかまたは移動体２２を移動させることにより、監視カメラ２０の位置を移動させて、再度、監視対象の指示計器１１を監視カメラ２０によって撮像する。もしくは、レンズ清掃部２３は、監視カメラ２０のレンズを清掃する。その後、読取可否判定部３２は、再度撮像された指示計器１１の画像に基づいて指示値の値を自動読み取り可能か否かを判定する。

【0027】

画像伝送部３３は、無線ＬＡＮ（Local Area Network）または４Ｇもしくは５Ｇの公衆網によって制御室４０の無線アクセスポイントまたは４Ｇもしくは５Ｇ端末４４と通信接続される。画像伝送部３３は、撮像制御部３１の指令に従って、読取可否判定部３２によって読み取り可能と判定された指示計器１１の画像、および関連する撮像条件（ＰＴＺの設定値）、撮像日時、指示計器１１の識別番号などを、制御室４０の管理サーバ４１に送信する。読取可否判定部３２は、規定回数連続して読み取り不可と判定した場合には、指示値の読み取り不可であることを、読み取り不可が発生した日時および読み取り不可となった指示計器１１の識別番号とともに、画像伝送部３３を介して管理サーバ４１に通知する。

【0028】

上記のように指示計器１１の画像などを画像伝送部３３によって管理サーバ４１に伝送することに代えて、移動体２２に設けられた後述するＳＳＤカードなどの記憶装置５４に指示計器１１の画像などを蓄積してもよい。この場合、監視対象の全ての指示計器１１の撮像および記憶が終了した後に、記憶装置５４に蓄積された複数の指示計器１１の画像が、制御室４０の管理サーバ４１に入力される。

【0029】

なお、読取可否判定部３２によって読み取り可と判定された場合の撮像条件は、その後に同じ指示計器１１を撮像する場合に参照するために、計測データベース４５に格納される。

【0030】

図２は、図１の監視カメラおよびカメラ制御部の部分の構成の変形例を示す図である。図２に示すように監視カメラ２０は、電力機器１０の近くに固定して設置されていてもよい。監視カメラ２０がカメラ制御部３０によって制御される点は、図１の場合と同様である。監視カメラ２０が固定されている場合、画像伝送部３３は、無線ＬＡＮまたは４Ｇもしくは５Ｇの公衆網に限らず、有線ＬＡＮなどのその他のネットワークを介して制御室４０の管理サーバ４１と通信接続されていてもよい。

【0031】

図１に戻って、制御室４０の管理サーバ４１は、有線ネットワーク４６を介して、無線アクセスポイントまたは４Ｇもしくは５Ｇ端末４４および計測データベース４５と接続される。管理サーバ４１は、画像読取部４２および計測値処理部４３として動作する。

【0032】

画像読取部４２は、カメラ制御部３０の画像伝送部３３から伝送された指示計器１１の画像データに基づいて、画像解析により指示計器１１の指示値を判定し、判定結果をテキストデータとして出力する。画像読取部４２は、読み取った指示値を、指示計器１１の画像データ、撮像条件（ＰＴＺ値など）、撮像日時、指示計器１１の識別番号などとともに計測データベース４５に保存する。画像読取部４２として、種々の指示計器に汎用的に用いることができる市販のプログラムを利用することができる。この場合、画像読取部４２は、読取可否判定部３２とは別個の独立したプログラムとして構成されている。

【0033】

なお、市販のプログラムによって構成された画像読取部４２は、指示計器１１の画像の鮮明度によっては、指示計器１１の指示値を誤った値に読み取る可能性がある。本実施形態の点検支援システム１では、読取可否判定部３２は、画像読取部４２が指示計器１１の指示値を誤った値に読み取るような鮮明度の場合には、指示計器１１の指示値の読み取り不可と判定するように構成されている。

【0034】

計測値処理部４３は、画像読取部４２によって読み取られた指示計器１１の指示値に対して演算処理を行う。たとえば、同一の指示計器１１に対して複数回の撮像が行われ、複数の画像データが管理サーバ４１に送信された場合には、計測値処理部４３は、指示計器１１ごとに読み取られた複数の指示値の平均およびバラツキ（分散など）を計算する。計測値処理部４３は、同一の指示計器１１に対して読み取られた指示値のバラツキが閾値を超えている場合に、読み取り不可と判定し、たとえば、ユーザに警告を通知する。

【0035】

読み取った指示値データを他の目的で利用する場合に読み取り不可と判定された場合には、計測値処理部４３は、指示値データの欠損フラグを計測データベース４５に格納する。もしくは、計測値処理部４３は、前回の撮像で得られた指示値データと同じ値を推定値として計測データベース４５に格納してもよいし、過去の複数回の指示値データの移動平均値を推定値として計測データベース４５に格納してもよい。

【0036】

［カメラ制御部および管理サーバのハードウェア構成例］
以下、図１のカメラ制御部３０および移動体制御部３４のハードウェア構成例と、管理サーバ４１のハードウェア構成例とについて説明する。

【0037】

図３は、図１のカメラ制御部および移動体制御部のハードウェア構成例を示すブロック図である。図３を参照して、カメラ制御部３０および移動体制御部３４は、少なくとも１つのＣＰＵ（Central Processing Unit）５１と、少なくとも１つのＲＡＭ（Random Access Memory）５２と、少なくとも１つの不揮発性メモリ５３と、少なくとも１つの記憶装置５４と、通信装置５５と、インターフェイス５６～５８とを含む。これらの要素は、バス５９を介して相互に接続される。

【0038】

ＣＰＵ５１は、不揮発性メモリ５３または記憶装置５４に格納されたプログラムを実行する。プログラムは、非一時的な記憶媒体に格納されて提供されてもよいし、ネットワークを介して提供されてもよい。ＣＰＵ５１は汎用のプロセッサであってもよいし、特定の目的に専用のプロセッサであってもよい。ＣＰＵ５１に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field Programmable Gate Array）を用いてもよいし、これらのうちのいずれかの組み合わせを用いてもよい。ＣＰＵ５１は、図１の撮像制御部３１、読取可否判定部３２、画像伝送部３３、および移動体制御部３４に対応する。

【0039】

ＲＡＭ５２は、ＣＰＵ５１のワークメモリとして用いられ、不揮発性メモリ５３および記憶装置５４は、プログラムおよびデータを格納する。ＲＡＭ５２として、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などが用いられる。不揮発性メモリ５３として、たとえば、マスクＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＮＯＲフラッシュメモリ、またはＮＡＮＤフラッシュメモリなどが用いられる。

【0040】

記憶装置５４として、たとえば、ハードディスクまたはＳＳＤ（Solid State Drive）またはＳＤメモリカードなどが用いられる。図１および図２の監視カメラ２０によって撮像された画像を記憶装置５４に格納してもよい。記憶装置５４に格納された複数の指示計器１１の画像は、まとめて管理サーバ４１に入力される。

【0041】

通信装置５５は、無線アクセスポイントまたは４Ｇもしくは５Ｇ端末４４と、無線ＬＡＮまたは４Ｇもしくは５Ｇの公衆網を介して通信接続する。ＣＰＵ５１は、通信装置５５を介して指示計器１１の画像データを管理サーバ４１に伝送する。通信装置５５は、図１の画像伝送部３３に対応する。

【0042】

インターフェイス５６～５８は、それぞれ監視カメラ２０、駆動部３５、および移動体２２とバス５９との間に設けられる。ＣＰＵ５１は、インターフェイス５６を介して監視カメラ２０を制御し、インターフェイス５６を介して監視カメラ２０から撮像データを取得する。また、ＣＰＵ５１は、インターフェイス５７，５８をそれぞれ介して、駆動部３５およびレンズ清掃部２３を制御する。

【0043】

図４は、図１の管理サーバのハードウェア構成例を示すブロック図である。図４を参照して、管理サーバ４１は、少なくとも１つのＣＰＵ７０と、少なくとも１つのＲＡＭ７１と、少なくとも１つの不揮発性メモリ７２と、ＤＭＡ（Direct Memory Access）コントローラ７３と、表示装置７４と、入力装置７５と、ネットワークインターフェイス７６とを含む。これらの要素は、バス７７を介して相互に接続される。

【0044】

ＣＰＵ７０、ＲＡＭ７１、および不揮発性メモリ７２は、それぞれ図３のＣＰＵ５１、ＲＡＭ５２、および不揮発性メモリ５３と同様であるので説明を繰り返さない。ＣＰＵ７０は、図１の画像読取部４２および計測値処理部４３に対応する。

【0045】

表示装置７４はオペレータに情報を表示し、入力装置７５はオペレータからの入力を受け付ける。表示装置７４は、たとえば、液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイなどのディスプレイを含む。入力装置７５は、たとえば、操作ボタン、切り替えスイッチ、キーボード、マウスなどを含む。表示装置７４および入力装置７５は、これらが一体化されたタッチスクリーンとして構成されていてもよい。

【0046】

インターフェイス７６は、有線ネットワーク４６と接続するためのインターフェイス回路である。ＣＰＵ７０は、インターフェイス７６を介して計測データベース４５を構成する記憶装置にアクセスする。

【0047】

［推論装置としての読取可否判定部の構成および動作］
以下、ニューラルネットワークモデルを用いた推論装置としての読取可否判定部３２の構成および動作についてさらに詳しく説明する。まず、ニューラルネットワークモデルについて簡単に説明する。

【0048】

図５は、３層のニューラルネットワークのモデルの一例を示す図である。図５に示すニューラルネットワークは、入力層Ｘ１～Ｘ３と、中間層Ｙ１，Ｙ２と、出力層Ｚ１～Ｚ３とを含む。複数の入力が入力層Ｘ１～Ｘ３に入力されると、その値に重みＷ１（Ｗ１１～Ｗ１６）が乗算され、乗算結果が中間層Ｙ１，Ｙ２に入力される。中間層Ｙ１，Ｙ２の各々では乗算結果が積算され、積算結果に活性化関数が施される。さらに、中間層Ｙ１，Ｙ２の演算結果に重みＷ２（Ｗ２１～Ｗ２６）が乗算され、乗算結果が出力層Ｚ１～Ｚ３に入力される。出力層Ｚ１～Ｚ３の各々では、乗算結果が積算され、積算結果に活性化関数が施される。したがって、出力層Ｚ１～Ｚ３の演算結果は、重みＷ１とＷ２の値によって変わる。重みＷ１，Ｗ２は機械学習によって適切な値に定められる。機械学習については、実施の形態２で説明する。

【0049】

実施の形態１の読取可否判定部３２の場合、入力層は、たとえば、指示計器１１の画像のピクセルを一列に並べたものである。出力層は、読み取り可Ｚ１および読み取り不可Ｚ２の２クラスに分類される。この場合、出力層Ｚ１，Ｚ２における活性化関数としてソフトマックス関数を用いてもよい。出力層Ｚｉ（ｉ＝１，２）におけるソフトマックス関数の値ｆｉは、
ｆｉ＝ｅｘｐ（ｚｉ）／［ｅｘｐ（ｚ１）＋ｅｘｐ（ｚ２）］
と表される。したがって、ｆ１＋ｆ２＝１となるので、ソフトマックス関数の出力を確率と解釈することができる。

【0050】

学習効率および判定精度を向上させるために、入力層にさらに他の条件を付加してもよい。たとえば、指示計器１１の撮像時の環境を付加してもよい。撮像環境として、たとえば、指示計器１１の撮像時における監視カメラ２０の配置（たとえば、監視カメラ２０の指示計器１１に対する相対的な３次元の位置関係）、撮像時の時刻、撮像時の天候（晴れ、曇り、雨などの分類）、および気象条件（温度および湿度など）を挙げることができる。また、撮像環境に代えてまたは撮像環境にさらに付加して、既に説明したメータの種類および種別を入力層に追加してもよい。

【0051】

図６は、推論装置としての読取可否判定部の構成例を示すブロック図である。図７は、推論装置としての読取可否判定部の動作を示すフローチャートである。図６を参照して、推論装置としての読取可否判定部３２は、データ取得部６０と、推論部６１とを含む。

【0052】

データ取得部６０は、学習済モデル６３を生成した際に入力層に入力した学習用データと同種類データを取得する。したがって、データ取得部６０は、少なくとも監視カメラ２０によって撮像された指示計器１１の画像データを取得する（図７のステップＳ３００）。データ取得部６０は、学習済モデル６３に応じて、画像データに加えて、撮像時の撮像環境、メータの種類および種別などをさらに取得してもよい。

【0053】

推論部６１は、データ取得部６０によって取得された画像データと、さらに必要な場合には、撮像環境ならびにメータの種類および種別とを、学習済モデル６３に入力することによって、指示計器１１の画像データから指示値が読み取り可能か否かを推論する（図７のステップＳ３１０）。出力層の活性化関数としてソフトマックス関数が用いられる場合には、推論結果は確率で表される。学習済モデル６３が予め格納される学習済モデル記憶部６２は、図３の不揮発性メモリ５３または記憶装置５４に対応する。

【0054】

推論部６１は、上記の推論結果を画像伝送部３３に出力する（ステップＳ３２０）。画像伝送部３３は、読み取り可能という推論結果が得られた場合には、指示計器１１の画像データを管理サーバ４１に伝送する。管理サーバ４１の画像読取部４２は、伝送された指示計器１１の画像データを、画像処理によって指示値データに変換する。

【0055】

［点検支援システムの制御動作］
以下、これまでの説明を総括して図１の点検支援システム１の動作について説明する。図８は、図１の点検支援システムの動作を示すフローチャートである。図８のフローチャートでは、カメラ制御部３０および移動体制御部３４の動作と、管理サーバ４１の画像読取部４２および計測値処理部４３の動作とが分けて示されている。

【0056】

図８のステップＳ１００において、移動体制御部３４は、移動体２２を撮像対象の指示計器１１の位置へ移動させる。なお、図２に示すように監視カメラ２０が固定されている場合には、撮像対象となる指示計器１１の近くに配置された監視カメラ２０が選択される。

【0057】

次のステップＳ１１０において、カメラ制御部３０は、監視カメラ２０によって撮像対象の指示計器１１を撮像する。

【0058】

その次のステップＳ１２０において、カメラ制御部３０の読取可否判定部３２は、撮像された指示計器１１の画像から指示値が読み取り可能か否かを判定する。具体的には、指示計器１１の画像データが学習済モデル６３に入力される。

【0059】

ステップＳ１２０で読み取り不可と判定された場合、カメラ制御部３０は、処理をステップＳ１５０に進める。ステップＳ１５０において、カメラ制御部３０は、撮像中止条件を満足したか否かを判定する。撮像中止条件は、たとえば、規定回数連続して読み取り不可と判定されるか、または規定の通算回数読み取り不可と判定されることである。

【0060】

撮像中止条件が満足されていない場合（ステップＳ１５０でＮＯ）、カメラ制御部３０は、次のステップＳ１６０において指示計器１１の撮像条件を変更する。たとえば、カメラ制御部３０が監視カメラ２０のレンズのＰＴＺを変更したり、移動体制御部３４が移動体２２の位置および監視カメラ２０のレンズの方向を変更したりする。もしくは、日射の方向または天候が変化するのを待つため、撮像時刻を変更してもよい。この場合、移動体２２を移動させることにより、他の指示計器の撮像を先に行ってもよい。

【0061】

また、ステップＳ１６０に付加してまたはステップＳ１６０に代えて、レンズ清掃部２３が監視カメラ２０のレンズを清掃してもよい（ステップＳ１７０）。その後、処理はステップＳ１１０に戻り、指示計器１１が再度撮像される。

【0062】

撮像中止条件が満足されている場合（ステップＳ１５０でＹＥＳ）、次のステップＳ１８０においてカメラ制御部３０の画像伝送部３３は、画像取得の失敗を管理サーバ４１に通知する。

【0063】

一方、ステップＳ１２０で読み取り可能と判定された場合、カメラ制御部３０は処理をステップＳ１３０に進める。ステップＳ１３０において、カメラ制御部３０は、撮像対象の指示計器１１の画像を規定枚数撮像したか否かを判定する。規定枚数撮像されていない場合には（ステップＳ１３０でＮＯ）、カメラ制御部３０は、処理をステップＳ１１０に戻し、同一の指示計器１１を再度撮像する。規定枚数撮像された場合には（ステップＳ１３０でＹＥＳ）、次のステップＳ１４０においてカメラ制御部３０の画像伝送部３３は、撮像した指示計器１１の画像データを、撮像条件（ＰＴＺ値、移動体２２の位置情報）、撮像日時、および指示計器１１の識別番号などとともに管理サーバ４１に転送する。

【0064】

なお、指示計器１１の画像データなどを管理サーバ４１に転送した後、移動体制御部３４は、管理サーバ４１の画像読取部４２が転送された画像データから指示計器１１の指示値を読み取る前に、次の読み取り対象の指示計器１１に対応する撮像位置に移動体２２を移動させてもよい。

【0065】

次のステップＳ２００において、管理サーバ４１の画像読取部４２は、指示計器１１の画像データを、画像処理によって指示計器１１の指示値を表すテキストデータに変換する。同一の指示計器１１について撮像回数が１回の場合には（ステップＳ２１０でＮＯ）、画像読取部４２は、指示計器１１の指示値を指示計器１１の識別番号、指示計器１１の画像データ、撮像日時、および撮像条件などとともに計測データベース４５に格納する。

【0066】

一方、同一の指示計器１１について撮像回数が複数回の場合には（ステップＳ２１０でＹＥＳ）、管理サーバ４１は処理をステップＳ２２０に進める。ステップＳ２２０において、計測値処理部４３は、複数の画像データに基づいて得られた複数の指示値の平均値およびバラツキ（分散など）を計算する。

【0067】

次のステップＳ２３０において、計測値処理部４３は、同一の指示計器１１に対する複数の指示値の読み取り結果のバラツキが閾値以上か否かを判定する。バラツキが閾値未満の場合には（ステップＳ２３０でＮＯ）、計測値処理部４３は、指示値の平均値とともに、指示計器１１の識別番号、指示計器１１の画像データ、撮像時日時、および撮像条件などを計測データベース４５に格納する（ステップＳ２４０）。

【0068】

一方、指示値のばらつきが閾値以上の場合には（ステップＳ２３０でＹＥＳ）、次のステップＳ２５０において、計測値処理部４３は撮像対象の指示計器１１を読み取り不可と判定する。この場合、計測値処理部４３は、たとえば、管理サーバ４１の表示装置７４にユーザへの警告を表示してもよい（ステップＳ２６０）。ユーザへの警告表示には、撮像日時および指示計器の識別番号などの情報が含まれる。なお、カメラ制御部３０から画像取得の失敗の通知（ステップＳ１８０）を受けた場合にも、計測値処理部４３は、ユーザに警告を通知してもよい（ステップＳ２６０）。以上により、点検支援システム１による撮像対象の監視カメラ２０の指示値の自動読み取り手順が終了する。

【0069】

［変形例］
図１において、読取可否判定部３２は、管理サーバ４１に設けられていてもよい。この場合、監視カメラ２０によって撮像された指示計器１１の画像は、画像伝送部３３によって管理サーバ４１に転送されるか、後で管理サーバ４１に入力するために記憶装置５４に蓄積される。

【0070】

もしくは、カメラ制御部３０のＣＰＵ５１が高性能の場合には、画像読取部４２がカメラ制御部３０に設けられていてもよい。この場合、カメラ制御部３０の不揮発性メモリ５３または記憶装置５４は、学習済モデル６３を格納する学習済モデル記憶部６２として用いられる。

【0071】

［実施の形態１の効果］
上記のとおり実施の形態１の点検支援システム１によれば、画像読取部４２による指示計器１１の指示値の自動読み取りを行う前に、読取可否判定部３２によって指示値の読み取り可否が判定される。これにより、画像読取部４２として市販の自動読み取りプログラムおよびシステムを用いたとしても誤った読み取り結果を得る可能性を減らすことができるので、指示計器１１の自動読み取りの精度を高めることができる。

【0072】

実施の形態２．
実施の形態２では、推論装置としての読取可否判定部３２で用いられるニューラルネットワークモデルの学習方法について説明する。

【0073】

［学習フェーズにおける点検支援システムの構成］
図９は、学習フェーズにおける点検支援システムの構成例を示すブロック図である。図９において、図１の活用フェーズと共通する構成については、同一の参照符号を付して説明を繰り返さない。

【0074】

図９を参照して、カメラ制御部３０は、撮像制御部３１および画像伝送部３３を備える。学習済モデル６３を用いる読取可否判定部３２は設けられていない。

【0075】

移動体制御部３４は、撮像対象の指示計器１１の近傍に移動体２２を移動させる。撮像制御部３１は、監視カメラ２０のＰＴＺ機能のうちパンおよびチルトについてそれぞれ複数段階に設定して、監視カメラ２０に指示計器１１を撮像させる。さらに、移動体制御部３４は、可動アーム２１の位置および移動体２２の位置をそれぞれ複数段階設定し、それぞれの設定条件でＰＴＺ機能の設定レベルと組み合わせて、撮像制御部３１は監視カメラ２０に指示計器１１を撮像させる。上記の指示計器１１の撮像は、日射条件および天候を異ならせるために、複数の撮像日時で実行される。

【0076】

撮像された画像データは、画像伝送部３３によって管理サーバ４１に転送して、制御室４０の画像データベース４９に格納される。もしくは、撮像された画像データは、一旦、ＳＤメモリカード（図３の記憶装置５４）に格納してもよい。

【0077】

管理サーバ４１のＣＰＵ７０は、撮像された画像データに基づいてニューラルネットワークモデルの学習を行うための学習装置４７として機能する。学習装置４７の構成の詳細は、図１２を参照して後述する。

【0078】

制御室４０は、さらに、学習済モデル６３を格納するための学習済モデル記憶部４８と、撮像した指示計器１１の画像データを格納するための画像データベース４９とを備える。学習済モデル記憶部４８および画像データベース４９は、有線ネットワーク４６を介して管理サーバ４１および無線アクセスポイントまたは４Ｇもしくは５Ｇ端末４４と接続される。

【0079】

図１０は、図９の監視カメラおよびカメラ制御部の部分の構成の変形例を示す図である。図１０に示すように監視カメラ２０は、電力機器１０の近くに固定して設置されていてもよい。カメラ制御部３０の撮像制御部３１が、監視カメラ２０のＰＴＺ機能のうちパンおよびチルトを複数段階に設定して指示計器１１を撮像する点は、図９の場合と同様である。さらに、日射条件および天候を異ならせるために、指示計器１１の撮像は複数の撮像日時で実行される。画像伝送部３３は、無線ＬＡＮまたは４Ｇもしくは５Ｇの公衆網に限らず、有線ＬＡＮなどのその他のネットワークを介して制御室４０の管理サーバ４１と通信接続されていてもよい。

【0080】

図１１は、図９の監視カメラおよびカメラ制御部の部分の構成の他の変形例を示す図である。図１１に示すように学習データを得るために、保守員がデジタルカメラもしくはカメラ８１付きのタブレット端末８０を用いて指示計器１１を撮像し、撮像した画像をメモリ８２に格納してもよい。

【0081】

保守員は、カメラ位置および方向ならびに自身の立ち位置を変更することによって、指示計器１１について異なる画角で複数の画像を撮像する。保守員は、日射で計器の指示値がよく見えない場合および指示計器１１が画面の中央に写っていない画像など、監視カメラ２０が自動撮像したときに撮像しうる画像を想定して複数の画像を撮像する。さらに、保守員は、表示部８４に表示された画像を見て読み取り可否を判断し、判断結果を入力部８３から入力し、画像に対応付けてメモリ８２に格納してもよい。

【0082】

さらに他の変形例として、図８のステップＳ１８０において画像取得を失敗した場合の指示計器１１の画像を、再学習用の学習用データとして用いてもよい。もしくは、ステップＳ１４０において管理サーバ４１に転送された画像データを、再学習用の学習用データとして用いてもよい。再学習によって読取可否判定部３２の判定精度をより高めることができる。

【0083】

［学習装置の構成および学習手順］
図１２は、図９の学習装置の構成を示すブロック図である。図１２を参照して、学習装置４７は、データ取得部９０とモデル生成部９１とを備える。

【0084】

モデル生成部９１が用いる学習アルゴリズムとして、教師有り学習の公知のアルゴリズムを用いることができる。教師あり学習とは、入力と結果（すなわち、ラベル）のデータの組を学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。

【0085】

データ取得部９０は、指示計器１１の画像データと、正解データとしての読み取り可否のデータとを、学習用データとして取得する。正解データは、画像データを見て人間が読み取り可否を判定したものである。計器画像が読み取りできるかどうかの判断は、計算機によるルールベースの処理よりも人間による判断の方が正確かつ迅速に行うことができる。正解データとして、さらに、監視カメラ２０によって撮像された画像から画像読取部４２が読み取った指示値に基づいて人間が読み取り可否を判定したものを含めてもよい。

【0086】

画像データに付随するデータとして、指示計器１１の種類および種別ならびに撮像環境を学習用データとして取得してもよい。これらのデータを付加することにより、学習効率を上げ、学習済モデルによる推論の精度を高めることができる。

【0087】

モデル生成部９１は、指示計器１１の画像データと読み取り可否（正解）とから作成される学習用データに基づいて、読み取り可否を学習する。すなわち、モデル生成部９１は、指示計器１１の画像データと読み取り可否（正解）とから、新たに取得した指示計器１１の画像データの読み取り可否の推論結果を出力するための学習済モデル６３を生成する。学習用データに、撮像対象の指示計器１１の種類および種別ならびに指示計器１１の撮像時の環境を追加してもよい。

【0088】

図１３は、図９の点検支援システムにおいて学習装置が学習モデルを生成する手順を示すフローチャートである。図１３のフローチャートでは、カメラ制御部３０および移動体制御部３４の動作と、管理サーバ４１の学習装置４７の動作とが分けて示されている。

【0089】

図１３のステップＳ４００において、移動体制御部３４は、移動体２２を撮像対象の指示計器１１の撮像位置へ移動させる。なお、図１０に示すように監視カメラ２０が固定されている場合には、撮像対象となる指示計器１１の近くに配置された監視カメラ２０が選択される。図１１に示すように、デジタルカメラまたはカメラ付きタブレット端末を利用する場合には、保守員が撮像対象の指示計器１１の位置へ移動する。

【0090】

次のステップＳ４１０において、撮像制御部３１および移動体制御部３４は監視カメラ２０の撮像条件（パン、チルト、カメラの位置など）を設定する。もしくは、保守員はカメラの方向および自身の立ち位置を決定する。

【0091】

次のステップＳ４２０において、撮像制御部３１は、監視カメラ２０に指示計器１１を撮像させる。もしくは、保守員は、デジタルカメラまたはカメラ付きタブレット端末８０を用いて指示計器１１を撮像する。

【0092】

上記の撮像条件の設定／変更（ステップＳ４１０）および指示計器１１の撮像（ステップＳ４２０）は、同一の指示計器１１について規定枚数の撮像が完了するまで（ステップＳ４３０でＹＥＳ）、繰り返される。

【0093】

規定枚数の撮像が完了すると、次のステップＳ４４０において画像伝送部３３は、撮像した画像データならびに撮像条件および撮像日時などの関連するデータを、管理サーバ４１に転送する。その次のステップＳ５００において、管理サーバ４１は、転送されたデータを画像データベース４９に格納する。もしくは、画像データなどをＳＤメモリカードなどの記憶装置に格納し、撮像した画像を一括して画像データベース４９に格納してもよい。

【0094】

その次のステップＳ５１０において、保守員は、画像データベース４９に蓄積された指示計器１１の画像ごとに指示値の読み取り可否を判定し、判定結果を画像に対応付けて画像データベース４９に格納する。

【0095】

その次のステップＳ５２０において、学習装置４７のデータ取得部９０は、画像データベース４９から、指示計器１１の画像データを入力データとして取得する。入力データに、指示計器１１の種類および種別ならびに画像の撮像時の環境の少なくとも１つを追加してもよい。さらに、データ取得部９０は、画像データベース４９から、指示計器１１の画像データに対応する人間による読み取り可否の判定結果を、教師データとして取得する。

【0096】

その次のステップＳ５３０において、学習装置４７のモデル生成部９１は、データ取得部９０によって取得された入力データと教師データとの組み合わせに基づいて生成される学習用データに従って、いわゆる教師あり学習により、指示計器の画像の読み取り可否を学習し、学習済モデル６３を生成する。

【0097】

その次のステップＳ５４０において、学習済モデル記憶部４８は、モデル生成部９１が生成した学習済モデル６３を記憶する。さらに、生成された学習済モデル６３は、カメラ制御部３０の学習済モデル記憶部６２に送信される。

【0098】

実施の形態３．
実施の形態３では、図１および図２の読取可否判定部３２がいわゆるルールベースのプログラムによって構成され、ニューラルネットワークモデルに基づかない場合について説明する。

【0099】

指示計器の画像データから指示値の自動読み取りが可能か否かを判定するための汎用のルールベースのプログラムを作成することは容易ではない。しかしながら、撮像対象の指示計器が予め決まっている場合には、撮像対象の指示計器を予め参照画像として撮像し、新たに撮像された画像を参照画像と比較することによって、指示値の自動読み取りの可否を判定することは比較的容易である。以下、このような手法に基づいて構成された読取可否判定部３２の動作の一例について説明する。

【0100】

図１４は、実施の形態３の点検支援システムにおいて、カメラ制御部の動作の一例を示すフローチャートである。図１５は、検査対象の一例として丸形の指示計器の外観を示す正面図である。以下では、図１５に示すような丸形の指針型の指示計器１００を例に挙げて説明するが、このような種類の計器に限定することを意図していない。

【0101】

ステップＳ６００において、カメラ制御部３０の撮像制御部３１は、監視対象の指示計器１００の画像を監視カメラ２０に撮像させる。

【0102】

次のステップＳ６１０において、読取可否判定部３２は、当該指示計器１１について予め撮像された参照画像を不揮発性メモリ５３または記憶装置５４から読み出す。参照画像は、指示計器１００の正面から撮像された十分に大きく鮮明な画像である。

【0103】

その次のステップＳ６２０において、ステップＳ６００で新たに撮像された画像を参照画像と比較するために、読取可否判定部３２は、新たに撮像された指示計器１００の画像を、参照画像の指示計器１００に重なるように変形する。新たに撮像された画像は必ずしも指示計器１００の正面から十分な大きさで撮像されたものとは限らない。

【0104】

その次のステップＳ６３０において、読取可否判定部３２は、指針１０１の表示領域（指針の指示範囲１０２の扇形部分）を検出できたか否かを判定する。たとえば、読取可否判定部３２は、参照画像の指針表示領域と新たに撮像した画像の対応部分との差分画像に基づいて、一致度合を判定する。読取可否判定部３２は、指針１０１の表示領域を検出できなかった場合には（ステップＳ６３０でＮＯ）、読み取り不可と判定して（ステップＳ６８０）処理を終了する。

【0105】

その次のステップＳ６４０において、読取可否判定部３２は、指針１０１の基部の回転中心１０３を検出できたか否かを判定する。たとえば、読取可否判定部３２は、新たに撮像された画像において、参照画像の指針１０１の回転中心１０３に対応する位置を特定できるか否かを判定する。読取可否判定部３２は、指針１０１の基部の回転中心を検出できなかった場合には（ステップＳ６４０でＮＯ）、読み取り不可と判定して（ステップＳ６８０）処理を終了する。

【0106】

その次のステップＳ６５０において、読取可否判定部３２は、参照画像と比較することにより、新たに撮像された画像のゼロ目盛り位置から最大値角度１０６までの定められた角度ごとに、指針の指示範囲の輝度を検出する。

【0107】

その次のステップＳ６６０において、読取可否判定部３２は、濃淡に基づいて指針１０１の位置を検出できたか否かを判定する。たとえば、指針１０１が目盛板よりも明るい場合には、指針１０１の指示値角度１０５付近で輝度が増加する。逆に、指針１０１が目盛板よりも暗い場合には、指針１０１の指示値角度１０５付近で輝度が減少する。このように、指針１０１の指示範囲での角度ごとの輝度の変化に基づいて、指針の位置を検出できたか否かを判定できる。読取可否判定部３２は、指針１０１の位置が検出できた場合には（ステップＳ６６０でＹＥＳ）、読み取り可と判定して（ステップＳ６７０）処理を終了する。一方、読取可否判定部３２は、指針１０１の位置が検出できなかった場合には（ステップＳ６６０でＮＯ）、読み取り不可と判定して（ステップＳ６８０）処理を終了する。

【0108】

実施の形態４．
実施の形態４では、移動体２２の搭載された監視カメラ２０および移動体２２動作を、動作スケジュールに従って制御する場合について説明する。動作スケジュールは、図１６に示す動作スケジュール生成部１１０が生成する。動作スケジュール生成部１１０は、管理サーバ４１および移動体２２のいずれに設けられてもよい。動作スケジュール生成部１１０の機能は、たとえば、管理サーバ４１のＣＰＵ７０などによって、または移動体２２のＣＰＵ５１などによって実現される。

【0109】

図１６は、動作スケジュール生成部１１０の構成例を示すブロック図である。図１６を参照して、動作スケジュール生成部１１０は、地図データ記憶部１１１と、メータ位置情報記憶部１１２と、経路決定部１１３と、決定経路送信部１１６と、読取実績受信部１１４と、読取実績記憶部１１５とを備える。

【0110】

地図データ記憶部１１１は、変電所敷地内において当該移動体２２が走行または飛行可能な各経路の互いの接続関係を経路情報として記憶する。経路情報は、当該経路上の複数の地点（ノード）と複数の地点間を結ぶ線（リンク）とを含む。さらに、当該経路情報の各リンクには、リンクを当該移動体２２が走行／飛行する場合のコスト（例えば、その経路の移動所要時間の期待値）が付与されている。

【0111】

図１７は、図１６の地図データ記憶部に記憶される経路情報を例示する図である。図１７において、始点および地点Ａ～地点Ｅのそれぞれがノードを表し、各地点間の線分がリンクを表し、各線分に付された数字がコストを表す。

【0112】

図１６に戻り、メータ位置情報記憶部１１２は、各指示計器１１を撮像する作業位置を撮像作業位置情報として記憶する。撮像作業位置情報は、各指示計器１１の識別子である読取対象識別子と図１７に示すノードとを対応づけた情報である。

【0113】

図１８は、図１６のメータ位置情報記憶部に記憶される撮像作業位置情報を例示する図である。図１８では、メータ１の撮像作業位置は地点Ｃであり、メータ２の撮像作業位置は地点Ｄであり、メータ３の撮像作業位置は地点Ｅである。

【0114】

図１６に戻り、経路決定部１１３は、地図データ記憶部１１１が記憶する経路情報と、メータ位置情報記憶部１１２が記憶する撮像作業位置情報とに基づいて、移動体２２が撮像対象である各指示計器１１を廻る移動経路を決定する。経路決定部１１３は、読取実績記憶部１１５に後述する読取実績情報が記憶されている場合には、さらに読取実績情報に基づいて移動体２２の移動経路を決定する。経路決定部１１３は、決定した移動体２２の移動経路を動作スケジュールとして移動体２２に送信する。

【0115】

まず、読取実績記憶部１１５に情報が記憶されない場合について説明する。経路決定部１１３は、地図データ記憶部１１１が記憶する経路情報と、メータ位置情報記憶部１１２が記憶する撮像作業位置情報とに基づいて、公知の経路探索アルゴリズムを用いて、上述のコストが最小となる経路を動作スケジュールとして決定する。

【0116】

図１９は、経路決定部１１３が決定した動作スケジュールを例示する図である。予想到達時刻は、たとえば上述のコストから計算される。移動体２２に搭載された監視カメラ２０は、撮像作業位置に到着すると、指示値の読み取り対象の指示計器１１を撮像する。当該撮像に長時間を要する場合には、予想到達時刻の計算には、当該撮像に必要な時間がさらに加算される。

【0117】

決定経路送信部１１６は、経路決定部１１３が決定した動作スケジュールを移動体２２に送信する。移動体２２は、当該動作スケジュールに基づいて移動を行う。移動体２２のカメラ制御部３０は、メータ識別子が付された地点に到達すると、監視カメラ２０に指示計器１１の撮像を指示する。当該撮像指示を受けて監視カメラ２０は予め記憶する撮像条件に従って、読み取り対象の指示計器１１を撮像する。当該撮像作業は移動体２２が移動しながら行われてもよい。

【0118】

移動体２２は、動作スケジュールに含まれる予想到達時刻に従って移動してもよいし、予想到達時刻に拘束されずに、動作スケジュールの移動順序のみに従って移動してもよい。移動体２２は、当該動作スケジュールに従って、公知のマップマッチング技術による自動移動を行ったり、予め敷設されたレール上を自動移動したりする。移動体２２は、指示計器１１の撮像に失敗した場合（たとえば、読み取り不可と判定された場合）、次の撮像対象の指示計器１１の撮像位置に移動して指示計器１１を撮像した後、撮像に失敗した指示計器１１の撮像位置に再び戻り、指示計器１１の撮像を再び行うようにしてもよい。

【0119】

読取実績記憶部１１５は、移動体２２が指示計器１１の撮像位置に実際に到着した時刻、およびその時点における読取対象のメータの読み取り可否の判定結果を、読取実績情報として記憶する。読取実績記憶部１１５は、読取実績受信部１１４を介して読取実績情報を受信する。読取実績受信部１１４は、読取可否判定部３２が移動体２２および管理サーバ４１のいずれに設けられるかに応じて、読取実績情報を移動体２２および管理サーバ４１のいずれから取得してもよい。

【0120】

図２０は、読取実績記憶部１１５が記憶する読取実績情報の一例を示す図である。読取実績記憶部１１５は、過去に生成された複数の動作スケジュールのそれぞれ対応付けて読取実績情報を保存する。

【0121】

経路決定部１１３は、読取実績記憶部１１５に読取実績情報が記憶される場合には、地図データ記憶部１１１が記憶する経路情報と、メータ位置情報記憶部１１２が記憶する撮像作業位置情報に加え、この読取実績情報に基づいて、上述の動作スケジュールを決定する。具体的には、経路決定部１１３は、たとえば、読取実績情報に基づいて、１６：００～１７：００の時間帯において、メータ１の読み取り失敗が多発している場合には、当該メータ１（即ち地点Ｃ）の予想到達時刻が１６：００～１７：００にならないような制約条件により、動作スケジュールを決定する。このような撮像時刻に相関する読取失敗は太陽光のメータ読取面における反射に起因することが多く、その場合、読み取り失敗が多発する時間帯は、季節により変化する。したがって、読み取り失敗が多発する時間帯は、季節ごとに判断するようにしてもよいし、当該時間帯を同じ太陽光の高度となる他の季節の時間帯に変換して用いるようにしてもよい。

【0122】

このような制約条件に基づく動作スケジュールの決定は、ノード順序の全てのパターンの総当たりなど、公知の手法で実行することができる。また、当該予想到達時刻の算出は、読取実績情報中の到達時刻実績から把握される各ノード間の実際に要した移動時間に基づいて演算または補正してもよい。

【0123】

今回開示された実施の形態はすべての点で例示であって制限的なものでないと考えられるべきである。この出願の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0124】

１ 点検支援システム、１０ 電力機器、１１，１００ 指示計器、２０ 監視カメラ、２１ 可動アーム、２２ 移動体、２３ レンズ清掃部、３０ カメラ制御部、３１ 撮像制御部、３２ 可否判定部、３３ 画像伝送部、３４ 移動体制御部、３５ 駆動部、４０ 制御室、４１ 管理サーバ、４２ 画像読取部、４３ 計測値処理部、４４ 無線アクセスポイントまたは４Ｇもしくは５Ｇ端末、４５ 計測データベース、４６ 有線ネットワーク、４７ 学習装置、４８，６２ 学習済モデル記憶部、４９ 画像データベース、５１，７０ ＣＰＵ、５２，７１ ＲＡＭ、５３，７２ 不揮発性メモリ、５４ 記憶装置、５５ 通信装置、５６，５７，５８，７６ インターフェイス、５９，７７ バス、６０，９０ データ取得部、６１ 推論部、６３ 学習済モデル、７４ 表示装置、７５ 入力装置、８０ カメラ付きタブレット端末、８１ カメラ、８２ メモリ、８３ 入力部、８４ 表示部、９１ モデル生成部、１０１ 指針、１０２ 指示範囲、１０３ 回転中心、１０５ 指示値角度、１０６ 最大値角度、１１０ 動作スケジュール生成部、１１１ 地図データ記憶部、１１２ メータ位置情報記憶部、１１３ 経路決定部、１１４ 実績受信部、１１５ 実績記憶部、１１６ 決定経路送信部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】