特開 2022-17914 運用保守システム、運用保守方法および運用保守プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022017914

(43)【公開日】2022-01-26

(54)【発明の名称】運用保守システム、運用保守方法および運用保守プログラム

(51)【国際特許分類】

   G06Q 10/00 20120101AFI20220119BHJP

   G05B 23/02 20060101ALI20220119BHJP

【ＦＩ】

G06Q10/00 300

G05B23/02 X

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020120761

(22)【出願日】2020-07-14

(11)【特許番号】

(45)【特許公報発行日】2021-06-09

(71)【出願人】

【識別番号】504283220

【氏名又は名称】九電ビジネスソリューションズ株式会社

(74)【代理人】

【識別番号】100197642

【弁理士】

【氏名又は名称】南瀬 透

(74)【代理人】

【識別番号】100219483

【弁理士】

【氏名又は名称】宇野 智也

(74)【代理人】

【識別番号】100099508

【弁理士】

【氏名又は名称】加藤 久

(74)【代理人】

【識別番号】100182567

【弁理士】

【氏名又は名称】遠坂 啓太

(72)【発明者】

【氏名】落石 考紀

(72)【発明者】

【氏名】高下 大輝

【テーマコード（参考）】

3C223

5L049

【Ｆターム（参考）】

3C223AA11

3C223AA23

3C223BB08

3C223BB09

3C223EA09

3C223FF22

3C223FF26

3C223FF43

3C223FF52

3C223HH02

3C223HH04

3C223HH22

5L049CC15

(57)【要約】

【課題】運用保守作業を効率化したり、作業者の人的ミスを減らす運用保守システムの提供。
【解決手段】運用保守システムは、表示部と、撮影部と、点検操作手順を示す操作手順マニュアル、点検対象機器への操作を指示する仮想操作指示オブジェクト、点検対象機器に対する操作映像である仮想操作映像オブジェクト、および行われた操作が正しい操作であるか否を判定する学習済みモデルを記憶する記憶手段１０２と、点検対象機器に付された識別体を認識して点検対象機器を特定する機器特定手段１０３と、特定された点検対象機器に対応する仮想操作指示オブジェクトを表示部に表示する操作指示手段１０４と、特定された点検対象機器に対応する仮想操作映像オブジェクトを表示部に表示する映像再生手段１０５と、学習済みモデルにより当該点検対象機器に対して行われた操作を判定する操作判定手段１０６とを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

点検対象機器の点検を行う作業者の眼前に装着される透過型ディスプレイからなる表示部と、
点検対象機器を撮影する撮影部と、
点検対象機器の点検操作手順を示す操作手順マニュアルと、前記操作手順マニュアルに基づいて生成される点検対象機器への操作を指示する仮想操作指示オブジェクトと、前記操作手順マニュアルに基づいて生成される点検対象機器に対する操作映像である仮想操作映像オブジェクトと、点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルと、を記憶する記憶手段と、
前記撮影部により撮影された点検対象機器に付された識別体を認識し、前記認識された識別体が付された点検対象機器を特定する機器特定手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作指示オブジェクトを前記記憶手段から取得して前記表示部に表示する操作指示手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作映像オブジェクトを前記記憶手段から取得して前記表示部に表示する映像再生手段と、
前記撮影部により撮影された点検対象機器の点検対象部品の画像に基づいて、前記機器特定手段により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定手段と、
を含む運用保守システム。

【請求項2】

前記仮想操作映像オブジェクトは、点検対象機器に対して、指導者が操作手順に従って操作した見本映像である請求項１に記載の運用保守システム。

【請求項3】

前記仮想操作指示オブジェクトは、点検対象機器に付された識別体の位置から二次元座標に基づいて相対的に求められる点検対象部品の位置に重畳して表示される請求項１または２に記載の運用保守システム。

【請求項4】

前記機器特定手段は、前記認識された識別体が前記操作手順マニュアルに含まれない点検対象機器に対応する識別体である場合、前記認識された識別体に対応する機器を特定しない請求項１～３のいずれか１項に記載の運用保守システム。

【請求項5】

作業者の音声を認識する音声認識部と、
作業者の動作を認識するセンサと、
前記記憶手段に記憶された、前記認識された音声または動作に紐付けられる要求を含むデータテーブルと、を備え、
前記認識された音声または動作に対応する要求を、前記データテーブルに基づいて判別する要求判別手段を含む請求項１～４のいずれか１項に記載の運用保守システム。

【請求項6】

前記操作判定手段は、前記撮影部により撮影された点検対象機器の点検対象部品に表示された文字を操作が行われる点検対象部品の名称として認識し、前記認識された点検対象部品の名称と前記操作手順マニュアルに示される点検対象部品の名称とに基づいて、操作が行われる点検対象部品が前記操作手順マニュアルに示される正しい点検対象部品であるか否かを判定する請求項１～５のいずれか１項に記載の運用保守システム。

【請求項7】

点検対象機器の点検操作手順を示す操作手順マニュアルと、前記操作手順マニュアルに基づいて生成される前記点検対象機器への操作を指示する仮想操作指示オブジェクトと、前記操作手順マニュアルに基づいて生成される前記点検対象機器に対する操作映像である仮想操作映像オブジェクトと、前記点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルと、を記憶する記憶工程と、
撮影部により撮影された識別体を認識し、前記識別体に対応する機器を認識し、前記認識された識別体が付された点検対象機器を特定する機器特定工程と、
前記機器特定工程により特定された点検対象機器に対応する仮想操作指示オブジェクトを前記記憶工程から取得して表示部に表示する操作指示工程と、
前記機器特定工程により特定された点検対象機器に対応する仮想操作映像オブジェクトを前記記憶工程から取得して前記表示部に表示する映像再生工程と、
前記撮影部により撮影された前記点検対象機器の点検対象部品の画像に基づいて、前記機器特定工程により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定工程と、
を含む運用保守方法。

【請求項8】

点検対象機器の点検操作手順を示す操作手順マニュアルと、前記操作手順マニュアルに基づいて生成される点検対象機器への操作を指示する仮想操作指示オブジェクトと、前記操作手順マニュアルに基づいて生成される点検対象機器に対する操作映像である仮想操作映像オブジェクトと、点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルと、を記憶する記憶手段と、
撮影部により撮影された点検対象機器に付された識別体を認識し、前記認識された識別体が付された点検対象機器を特定する機器特定手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作指示オブジェクトを前記記憶手段から取得して表示部に表示する操作指示手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作映像オブジェクトを前記記憶手段から取得して前記表示部に表示する映像再生手段と、
前記撮影部により撮影された点検対象機器の点検対象部品の画像に基づいて、前記機器特定手段により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定手段と、
を含む運用保守システムとしてコンピュータを機能させる運用保守プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者が発変電設備や工場設備の運用保守作業において、点検対象機器の点検を行う際に用いられる運用保守システム、運用保守方法および運用保守プログラムに関するものである。

【背景技術】

【0002】

従来より、発変電設備や工場設備の運用保守作業の効率化や、作業者の人的ミスの防止が求められている。そのため、運用保守作業において点検対象機器の点検作業を行う際に、作業者をサポートする技術が提案、公開されている。例えば、特許文献１には、ウェアラブル端末の視界の画像から検査対象を特定して、検査対象に応じて収集した検査項目をウェアラブル端末の表示板に拡張現実として表示するウェアラブル端末表示システムが開示されている。

【0003】

また、特許文献２には、３次元カメラによって撮影された作業空間の動画像と作業空間内の３次元モデルとに基づいて特定する位置特定処理と、作業対象に対する作業者の姿勢を作業空間の動画像から検出する姿勢検出処理と、姿勢検出処理によって検出された作業者の姿勢により、作業対象が有する操作対象に対して作業者が行った動作を作業空間の動画像から検出する動作検出処理と、動作検出処理によって検出された動作が特定の動作である場合、位置特定処理によって特定された３次元カメラの位置に基づいて、検出された動作が行われた作業領域を検出する領域検出処理と、操作対象を検出された動作により操作させ、かつ、領域検出処理によって検出された作業領域に基づいて作業空間の動画像上に表示可能な作業指示に関するコンテンツを生成する生成処理とを実行する、作業対象が存在する作業空間内の３次元カメラと通信可能な管理装置によるコンテンツ生成方法が開示されている。

【0004】

また、特許文献３には、形状情報記憶部と、属性情報記憶部と、マーカ認識部と、第１画像パターン生成部と、第２画像パターン生成部と、第３画像パターン生成部と、画像処理部と、作業位置照合部とを備えることで、作業対象物のどの位置が作業指示箇所かを正確に伝え、作業者の個別判断に依らない作業を可能とする作業支援装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開２０１８／１７９２３０号

【特許文献2】国際公開２０１５／１７３８８２号

【特許文献3】特開２０１７－１０３５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

このように、特許文献１～３には、運用保守作業を効率化したり、作業者の人的ミスを減らす技術が開示されている。しかしながら、近年の労働人口や熟練者の減少、様々な設備環境で運用保守作業することなどを考慮すると、さらに新たな手法による運用保守作業の支援技術も求められている。よって、本発明は、新たな手法により、運用保守作業を効率化したり、作業者の人的ミスを減らす運用保守システム、運用保守方法および運用保守プログラムを提供する。

【課題を解決するための手段】

【0007】

本発明の運用保守システムは、点検対象機器の点検を行う作業者の眼前に装着される透過型ディスプレイからなる表示部と、点検対象機器を撮影する撮影部と、点検対象機器の点検操作手順を示す操作手順マニュアルと、操作手順マニュアルに基づいて生成される点検対象機器への操作を指示する仮想操作指示オブジェクトと、操作手順マニュアルに基づいて生成される点検対象機器に対する操作映像である仮想操作映像オブジェクトと、点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルとを記憶する記憶手段と、撮影部により撮影された点検対象機器に付された識別体を認識し、認識された識別体が付された点検対象機器を特定する機器特定手段と、機器特定手段により特定された点検対象機器に対応する仮想操作指示オブジェクトを記憶手段から取得して表示部に表示する操作指示手段と、機器特定手段により特定された点検対象機器に対応する仮想操作映像オブジェクトを記憶手段から取得して表示部に表示する映像再生手段と、撮影部により撮影された点検対象機器の点検対象部品の画像に基づいて、機器特定手段により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定手段とを含む。

【0008】

また、本発明の運用保守方法は、点検対象機器の点検操作手順を示す操作手順マニュアルと、操作手順マニュアルに基づいて生成される点検対象機器への操作を指示する仮想操作指示オブジェクトと、操作手順マニュアルに基づいて生成される点検対象機器に対する操作映像である仮想操作映像オブジェクトと、点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルとを記憶する記憶工程と、撮影部により撮影された識別体を認識し、識別体に対応する機器を認識し、認識された識別体が付された点検対象機器を特定する機器特定工程と、機器特定工程により特定された点検対象機器に対応する仮想操作指示オブジェクトを記憶工程から取得して表示部に表示する操作指示工程と、機器特定工程により特定された点検対象機器に対応する仮想操作映像オブジェクトを記憶工程から取得して表示部に表示する映像再生工程と、撮影部により撮影された点検対象機器の点検対象部品の画像に基づいて、機器特定工程により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定工程とを含む。

【0009】

これらにより、記憶手段により記憶された操作手順マニュアルに基づく各種仮想オブジェクトを表示部に表示させることで、正しい操作順序で、適切で正確な操作内容や操作指示を作業者へ伝えることができる。また、撮影部により撮影された点検対象部品の画像と記憶手段により記憶された学習済みモデルとを利用することで、その場で作業者が行った操作が正しいか否かを判定することができる。

【0010】

また、仮想操作映像オブジェクトは、点検対象機器に対して、指導者が操作手順に従って操作した見本映像であることが望ましい。これにより、作業者が、作業内容をより正確に理解することができる。

【0011】

また、仮想操作指示オブジェクトは、点検対象機器に付された識別体の位置から二次元座標に基づいて相対的に求められる点検対象部品の位置に重畳して表示されることが望ましい。これにより、同じ形状をしたスイッチなど、似たような点検対象部品が並んでいる点検対象機器であっても、仮想操作指示オブジェクトが指している点検対象部品がどこなのか作業者が正確に理解することができる。

【0012】

また、機器特定手段は、認識された識別体が操作手順マニュアルに含まれない点検対象機器に対応する識別体である場合、認識された識別体に対応する機器を特定しないことが望ましい。これにより、作業者が間違えて点検対象機器以外の機器まで操作することを防ぐことができる。

【0013】

また、運用保守システムは、作業者の音声を認識する音声認識部と、作業者の動作を認識するセンサと、記憶手段に記憶された、認識された音声または動作に紐付けられる要求を含むデータテーブルとを備え、認識された音声または動作に対応する要求を、データテーブルに基づいて判別する要求判別手段を含むことが望ましい。これにより、作業者の手がふさがっている場合や、手が自由に動かせない場合においても、運用保守システムへ要求を伝えることができる。

【0014】

また、操作判定手段は、撮影部により撮影された点検対象機器の点検対象部品に表示された文字を操作が行われる点検対象部品の名称として認識し、認識された点検対象部品の名称と操作手順マニュアルに示される点検対象部品の名称とに基づいて、操作が行われる点検対象部品が操作手順マニュアルに示される正しい点検対象部品であるか否かを判定することが望ましい。これにより、従来は複数の作業者で点検を行っていた正しい点検対象部品への操作であるか否かの確認作業を、単独でも正確に行うことができる。

【発明の効果】

【0015】

（１）本発明の運用保守システムは、表示部と、撮影部と、記憶手段と、機器特定手段と、操作指示手段と、映像再生手段と、操作判定手段とを含む構成により、記憶手段により記憶された操作手順マニュアルに基づく各種仮想オブジェクトを表示部に表示させることで、適切で正確な操作内容や指示を作業者へ伝えることができるため、作業者が単独で正確な運用保守作業を行うことができる。また、撮影部により撮影された点検対象部品の画像と記憶手段により記憶された学習済みモデルとを利用することで、その場で作業者が行った操作が正しいか否かを判定することができ、第三者の確認を仰ぐことなく、作業者が単独でより正確な作業を行うことができる。そして、サーバや第三者など外部との通信が不要であるため、地下やセキュリティルームなど通信が届きにくいまたは通信不可の環境においても利用することができる。

【0016】

（２）仮想操作映像オブジェクトが見本映像である構成により、作業者が作業内容をより正確に理解することができるため、より人的ミスを減らすことができる。

【0017】

（３）仮想操作指示オブジェクトが、点検対象機器に付された識別体の位置から二次元座標に基づいて相対的に求められる点検対象部品の位置に重畳して表示される構成により、同じ形状をしたスイッチなど似たような点検対象部品が並んでいる点検対象機器であっても、仮想操作指示オブジェクトが指している点検対象部品がどこなのか作業者が正確に理解することができるため、さらに人的ミスを減らすことができる。

【0018】

（４）機器特定手段が、認識された識別体が操作手順マニュアルに含まれない点検対象機器に対応する識別体である場合、認識された識別体に対応する機器を特定しない構成により、作業者が間違えて点検対象機器以外の機器まで操作することを防ぐことができるため、さらに人的ミスを減らすことができる。

【0019】

（５）音声認識部と、センサと、データテーブルと、要求判別手段とを含む構成により、作業者の手がふさがっている場合や、手が自由に動かせない場合においても、運用保守システムへ要求を伝えることができるため、運用保守作業における作業者の労力が減り、作業効率が向上する。

【0020】

（６）操作判定手段が、撮影部により撮影された点検対象機器の点検対象部品に表示された文字を操作が行われる点検対象部品の名称として認識し、操作が行われる点検対象部品が操作手順マニュアルに示される正しい点検対象部品であるか否かを判定する構成により、従来は複数の作業者で点検を行っていた正しい点検対象部品への操作であるか否かの確認作業を単独でも正確に行うことができるため、作業効率の向上や人的ミスの軽減を図ることができる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施の形態に係る運用保守システムの斜視図である。

【図2】本発明の実施の形態に係る運用保守システムが含む各手段の概略構成図である。

【図3】本発明の実施の形態に係る運用保守方法のフローチャートである。

【図4】表示部に表示される仮想オブジェクトの説明図であり、（Ａ）は点検対象機器の選択画面の説明図、（Ｂ）は操作手順マニュアルの選択画面の説明図である。

【図5】表示部に表示される仮想オブジェクトの説明図であり、（Ａ）は仮想操作指示オブジェクトの説明図、（Ｂ）は別の例の仮想操作指示オブジェクトの説明図である。

【図6】表示部に表示される仮想オブジェクトの説明図であり、（Ａ）は点検対象部品の位置に重畳して表示される仮想操作指示オブジェクトの説明図、（Ｂ）は仮想操作映像オブジェクトの説明図である。

【図7】表示部に表示される仮想オブジェクトの説明図であり、（Ａ）操作を行った部品の状態を撮影する場合の説明図、（Ｂ）は判定結果を示す仮想オブジェクトの説明図である。

【図8】表示部に表示される仮想オブジェクトの説明図であり、作業が完了したことを示す仮想オブジェクトの説明図である。

【発明を実施するための形態】

【0022】

［運用保守システム］
図１は、本発明の実施の形態に係る運用保守システムの斜視図である。図１に示すように、本発明の実施の形態では、運用保守システム１はゴーグル型としている。運用保守システム１は、本体部１０と、点検対象機器の点検を行う作業者の眼前に装着される透過型ディスプレイからなる表示部１１と、点検対象機器を撮影するカメラなどの撮影部１２と、作業者の音声を認識するマイクなどの音声認識部（図示せず）と、作業者の動作を認識するセンサ１３を備える。本発明の実施の形態に係る運用保守システム１のセンサ１３は、図１に示す位置から眉間部分を対象にもう１つ備えられる。また、音声認識部はセンサ１３の内部に備えられる。

【0023】

図２は、本発明の実施の形態に係る運用保守システムが含む各手段の概略構成図である。本実施の形態において、運用保守システム１の本体部１０は、入出力手段１０１と、記憶手段１０２と、機器特定手段１０３と、操作指示手段１０４と、映像再生手段１０５と、操作判定手段１０６と、要求判別手段１０７を含む。

【0024】

入出力手段１０１は、外部との通信やデータの入出力を行う。例えば、撮影部１２や音声認識部（図示せず）で取得された画像や音声の入力を受け付けたり、表示部１１へ表示させる仮想オブジェクトＢを出力したりする。

【0025】

記憶手段１０２はフラッシュメモリやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などであり、操作手順マニュアルや仮想オブジェクトＢ、学習済みモデルなどを記憶する。

【0026】

操作手順マニュアルとは、各点検対象機器に対する具体的な点検操作の内容や順番などの運用保守手順が示されるマニュアルである。仮想オブジェクトＢとは、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術により表示部１１を透過して見える点検対象機器に重畳して表示される仮想的な物体である（図４等参照）。仮想オブジェクトＢは、点検対象機器への操作を指示する仮想操作指示オブジェクトＢ１（図５（Ａ）参照）や、点検対象機器に対する操作映像である仮想操作映像オブジェクトＢ２（図６（Ｂ）参照）などを含む。
仮想オブジェクトＢは、操作手順マニュアルに示されている文章が表示された仮想物体であってもよく、矢印や枠線などのアイコンであってもよい。

【0027】

学習済みモデルとは、点検対象機器のボタンやスイッチ、つまみなどの部分に対して行われた操作が正しい操作であるか否かを判定する、深層学習を用いて生成されたモデルである。正しい操作であるか否かとは、スイッチが正しくオンまたはオフになっているか、つまみが正しい位置まで回されているかなどである。学習済みモデルは、正しく操作されたボタンやスイッチ、つまみなどの点検対象機器の部品の撮影画像を教師データとして学習される。また、モデルは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など画像認識に有効なモデルを使用することが望ましい。

【0028】

機器特定手段１０３は、撮影部１２により撮影された点検対象機器に付されたＱＲコード（登録商標）などの識別体Ｃを認識し、当該識別体Ｃが付された点検対象機器を特定する（図４（Ｂ）参照）。特定は例えば、記憶手段１０２に記憶された、識別体Ｃと点検対象機器が紐付けられた変換テーブルに基づいて行われる。

【0029】

操作指示手段１０４は、機器特定手段１０３により特定された点検対象機器に対応する仮想操作指示オブジェクトＢ１を記憶手段１０２から取得して、表示部１１に表示する。映像再生手段１０５は、機器特定手段１０３により特定された点検対象機器に対応する仮想操作映像オブジェクトＢ２を記憶手段１０２から取得して表示部１１に表示する。

【0030】

操作判定手段１０６は、撮影部１２により撮影された点検対象機器の点検対象部品の画像に基づいて、機器特定手段１０３により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器に対して行われた操作を判定する。

【0031】

要求判別手段１０７は、音声認識部（図示せず）により認識された作業者の音声またはセンサ１３により認識された作業者の動作に対応する作業者からの要求を、記憶手段１０２に記憶されたデータテーブルに基づいて判別する。当該データテーブルは、認識された音声または動作に紐付けられる要求を含む。

【0032】

例えば、作業者が「次へ」と発声した場合、音声認識部により「次へ」というワードが認識される。その後、要求判別手段１０７は、「次へ」というワードと「操作手順マニュアルの次のページへ進む」要求が紐付いているデータテーブルを参照し、作業者の要求を判別する。そして、当該要求に従って処理が行われる（例えば、仮想オブジェクトに表示されている操作手順マニュアルの内容が、次のページに記載の内容に変わる）。

【0033】

また、作業者が奥行のあるＮｅｘｔと表示されたボタン型の仮想オブジェクトを「人差し指で押し込む」ハンドジェスチャーを行った場合、当該動作がセンサ１３により認識される。その後、要求判別手段１０７は、当該動作と「操作手順マニュアルの次のページへ進む」要求が紐付いているデータテーブルを参照し、作業者の要求を判別する。そして、当該要求に従って処理が行われる。

【0034】

このような作業者の音声や動作に紐付く要求は、データテーブルを更新することで適宜追加や変更が可能である。例えば、作業者の親指と人差し指をパチンと閉じるシャッターのような動作をセンサ１３が認識し、当該動作をデータテーブルで「撮影部１２で撮影する」要求と紐付けてもよい。

【0035】

［実施例］
図３は、本発明の実施の形態に係る運用保守方法のフローチャートである。以下、各図面を参照しつつ当該フローチャートに沿って、作業者が運用保守システム１を使用して発変電設備の運用保守作業を行う手順を説明する。

【0036】

［記憶工程］
作業者は事前処理として、運用保守作業前に、記憶手段１０２に操作手順マニュアルや仮想オブジェクトＢ、学習済みモデルなどを記憶する（ステップＳ１０２）。記憶は、入出力手段１０１に無線通信機能や有線通信機能を持たせて、外部のサーバからダウンロードすることにより行ってもよい。若しくは、記憶手段１０２の一部または全部をＭｉｃｒｏＳＤカードとして、当該ＭｉｃｒｏＳＤカードに記憶させることとしてもよい。
記憶される仮想オブジェクトＢは例えば、雛形（枠線や背景部分）とすることができる。また、操作手順マニュアルに示される操作内容や確認事項などの文字列が取得され、これに合成されて図５（Ａ），（Ｂ）に示すような仮想操作指示オブジェクトＢ１が形成される。

【0037】

記憶する操作手順マニュアルは、その日／その時間に行う分だけが示されたものであることが望ましい。例えば、その日／その時間に点検される点検対象機器数台に対する作業手順だけが示されたものであることが望ましい。操作手順マニュアルに含まれない点検対象機器、つまりその日／その時間に点検されない点検対象機器は、機器特定手段１０３により特定されない。そのため、点検対象機器以外の機器についてまで操作指示が行われ、人的ミスが発生することを防ぐことができる。同時に、記憶手段１０２に記憶される内容が最小限に抑えられ、記憶手段１０２の記憶容量を有効的に活用することができる。

【0038】

［機器特定工程］
作業者は事前処理後、作業場所にて運用保守システム１を装着する。そして、撮影部１２で、発変電設備のうち、点検対象機器に付されたＱＲコード（登録商標）などの識別体Ｃを撮影する（ステップＳ１０３）。撮影された識別体Ｃを入力データとして、記憶手段１０２に記憶された変換テーブルに基づいて、当該識別体Ｃが付された点検対象機器が認識される。そして、機器特定手段１０３は、当該認識された点検対象機器に対して運用保守作業（点検作業）を行うか否かの決定を促す選択画面を、表示部１１に表示させる。図４（Ａ）に示すように、当該選択画面は、表示部１１を透過して見える点検対象機器に重畳して表示される仮想オブジェクトＢである。作業者はこの選択に対して、「決定（運用保守作業を行う）」旨の発声やハンドジェスチャーを行い、点検対象機器を決定する。

【0039】

［操作指示工程］
点検対象機器が決定したら、操作指示手段１０４は、当該点検対象機器の識別コードに基づいて、当該識別コードに対応する操作手順マニュアルを選択する。そして、操作指示手段１０４は、認識された点検対象機器に対して運用保守作業を行うか否かの選択と同様に、選択された操作手順マニュアルに示された運用保守作業を行うか否かの選択画面を、表示部１１に表示させる（図４（Ｂ）参照）。作業者はこの選択に対して、「この操作指示マニュアルに示された運用保守作業を行う」旨の発声やハンドジェスチャーを行い、操作手順マニュアルを決定する。

【0040】

その後、操作指示手段１０４は、決定された操作手順マニュアルに沿って、図５（Ａ）に示すように、仮想操作指示オブジェクトＢ１を表示部１１に表示する（ステップＳ１０４）。注意が必要な操作である場合、操作指示手段１０４は、目立つように仮想操作指示オブジェクトＢ１のグラフィックに赤や黄などを配色したり、感嘆符を用いてもよい（図５（Ｂ）参照）。

【0041】

また、仮想操作指示オブジェクトＢ１は、点検対象機器に付された識別体Ｃの位置から、二次元座標に基づいて相対的に求められる点検対象機器のボタンやスイッチ、つまみなどの点検対象部品の位置に重畳して表示される場合もある（図６（Ａ）参照）。二次元座標に基づいて相対的に求められるとは例えば、点検対象部品であるスイッチが、識別体Ｃの位置から縦方向および横方向にどのくらい移動した位置にあり、その範囲はどのくらいか、という情報に基づいて求められることである。これらの情報は、データテーブルとして記憶手段１０２に記憶される。

【0042】

ここで、機器特定手段１０３は、認識された識別体が操作手順マニュアルに含まれない点検対象機器に対応する識別体である場合、認識された識別体に対応する機器を特定しないことが望ましい。特定しないとは、例えば図４（Ａ）に示すような選択画面の仮想オブジェクトＢは表示されるが、図４（Ｂ）に示すような選択画面の仮想オブジェクトＢは表示されないことである。

【0043】

［映像再生工程］
なお、作業者は、操作手順が複雑であったり操作内容を客観的に把握することができない場合、発声やジェスチャーにより作業内容に関する映像の再生を要求することができる（ステップＳ２０１）。当該要求があった場合、映像再生手段１０５は、図６（Ｂ）に示すように、仮想操作映像オブジェクトＢ２を表示部１１に表示する（ステップＳ１０５）。これにより、作業者は、文字だけでは作業内容を十分に理解することができない場合でも、映像を見ることにより作業内容を十分に理解することができる。そして、不十分な理解による誤操作などの人的ミスを防ぐことができる。
ここで、図６（Ｂ）に示すように、仮想操作映像オブジェクトＢ２は、点検対象機器に対して、指導者が操作手順に従って操作した見本映像であることが望ましい。作業者が客観的に作業内容を把握することができ、作業内容をより正確に理解することができるためである。指導者とは、運用保守作業に関する一定以上の技術水準を持つ者であればよく、特に先輩の作業者など熟練者であることが望ましい。操作が正確であり、かつ高齢の熟練者が退職した場合にノウハウが失われることを防ぐことができるためである。

【0044】

［操作判定工程］
作業者は、仮想操作指示オブジェクトＢ１に従って運用保守作業の操作を行った後、当該操作が正しいものかを確認する（ステップＳ１０６）。まず、作業者は撮影部１２で、操作を行った部品の状態を撮影する。例えば、図７（Ａ）に示すように、作業者は仮想オブジェクトＢで操作を行ったボタンの範囲を指定してから、撮影部１２で撮影する。部品の撮影画像が取得されると、操作判定手段１０６は、当該撮影画像に基づいて、学習済みモデルにより当該部品に対して行われた操作を推定し、当該操作が正しいか否かを判定してその推定結果や判定結果などを示す仮想オブジェクトＢを表示部１１に表示する（図７（Ｂ）参照）。

【0045】

判定結果がＮＧである場合、操作判定手段１０６は、その旨を示す仮想オブジェクトＢを表示部１１に表示する。また、作業者の要求により仮想操作指示オブジェクトＢ１を表示部１１に再度表示させたり、判定結果がＯＫとならない限り、次の作業に移れない（次の作業の仮想操作指示オブジェクトＢ１が表示されない）ことが望ましい。

【0046】

ここで、操作判定手段１０６にＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）機能を持たせて、撮影部１２により撮影されたボタンやパネルなど部品の名称を読み取ってもよい。それにより、読み取られたボタン名やパネル名も判定情報として含めて、正しい部品（ボタンやパネル）に対して正しい操作が行われるか否かを判定することができる。具体的には、作業者が点検作業を行う前、当該点検作業で操作を行う部品（例えば、ボタン）を撮影部１２で撮影する。そして、撮影されたボタンの画像から、操作判定手段１０６が当該ボタンの名称は「切替ボタンＡ」であると文字認識を行う。その後、操作手順マニュアルに示される当該点検作業で操作が行われるべき部品の名称と、当該文字認識された名称（切替ボタンＡ）を比較する。比較した結果、どちらも同じ名称で一致していれば、これから正しい部品に対して操作が行われると判定することができ、似たような形状や名称の部品が同じ場所に集約して配置されている場合でも、作業者の誤操作を防止することができる。
また、このように、人的ミスを回避するために従来は二人一組など複数の作業者が指差し点検をしながら行っていた正しい点検対象部品への操作であるか否かの確認作業を、単独でも正確に行うことができる。

【0047】

一つの作業が完了したら、操作手順マニュアルに沿って、次の作業（次の項番）へと移る（ステップＳ２０２）。全ての作業が完了したら、操作指示手段１０４はその旨を表示部１１に表示する（図８参照）。

【0048】

以上のように、作業者は運用保守システム１を使用し、操作手順マニュアルに沿って発変電設備の運用保守作業を行う。なお、説明した実施例はあくまで一例であり、仮想操作オブジェクトＢや仮想操作指示オブジェクトＢ１、仮想操作映像オブジェクトＢ２の形状に制限はない。

【0049】

なお、前述したように、仮想操作指示オブジェクトＢ１は、点検対象機器に付された識別体Ｃの位置から、二次元座標に基づいて相対的に求められる点検対象機器のボタンやスイッチ、つまみなどの点検対象部品の位置に重畳して表示することができるため、事前に仮設備で場所や時間を問わず運用保守作業の練習を行うことができる。例えば、仮設備が紙に印刷された単なる実設備の写真であっても、実設備と同じサイズで、同じ位置にボタンやスイッチ、つまみなどの点検対象部品が印刷されていれば、識別体Ｃの位置から二次元座標値に基づいて相対的に求められた仮想操作指示オブジェクトＢ１が、実設備と同じ位置に重畳して表示される。このように、事前に場所や時間を問わず運用保守作業の練習を行うことができるため、本番時の人的ミスの軽減や不安点や疑問点の事前解消、ひいては作業効率の向上を図ることができる。

【0050】

また、図１に示すように、本実施の形態に係る運用保守システム１はゴーグル型としたが、本発明の要旨を変更しない限り、適宜変形可能である。例えば、表示部１１が片方の目の前にだけ備えられていてもよい。その他、撮影部１２が手の部分や、本体部１０の側面などに設けられていてもよい。

【産業上の利用可能性】

【0051】

本発明は、運用保守作業の効率化や、作業者の人的ミスを減らすことができる運用保守システム、運用保守方法および運用保守プログラムとして有用であり、特に、作業者が単独でも運用保守作業を行うことができるものであるため、産業上有用である。

【符号の説明】

【0052】

１ 運用保守システム
１０ 本体部
１１ 表示部
１２ 撮影部
１３ センサ
１０１ 入出力手段
１０２ 記憶手段
１０３ 機器特定手段
１０４ 操作指示手段
１０５ 映像再生手段
１０６ 操作判定手段
１０７ 要求判別手段
Ｂ 仮想オブジェクト
Ｂ１ 仮想操作指示オブジェクト
Ｂ２ 仮想操作映像オブジェクト
Ｃ 識別体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2021-02-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

点検対象機器の点検を行う作業者の眼前に装着される透過型ディスプレイからなる表示部と、
点検対象機器を撮影する撮影部と、
点検対象機器の点検操作手順を示す操作手順マニュアルと、前記操作手順マニュアルに基づいて生成される点検対象機器への操作を指示する仮想操作指示オブジェクトと、前記操作手順マニュアルに基づいて生成される点検対象機器に対する操作映像である仮想操作映像オブジェクトと、点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルと、を記憶する記憶手段と、
前記撮影部により撮影された点検対象機器に付された識別体を認識し、前記認識された識別体が付された点検対象機器を特定する機器特定手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作指示オブジェクトを前記記憶手段から取得して前記表示部に表示する操作指示手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作映像オブジェクトを前記記憶手段から取得して前記表示部に表示する映像再生手段と、
前記撮影部により撮影された点検対象機器の点検対象部品の画像に基づいて、前記機器特定手段により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定手段と、
を含み、
前記操作指示手段は、点検対象部品の位置を、前記機器特定手段により認識された点検対象機器に付された識別体の位置からの二次元座標に基づいて相対的に求めることにより点検対象部品を特定し、
かつ、当該特定された点検対象部品に対して、前記撮影部により撮影された点検対象機器の点検対象部品に表示された文字を操作が行われる点検対象部品の名称として認識し、当該認識された点検対象部品の名称と前記操作手順マニュアルに示される点検対象部品の名称とに基づいて、操作が行われる点検対象部品が前記操作手順マニュアルに示される正しい点検対象部品であるか否かを判定する
運用保守システム。

【請求項2】

前記仮想操作指示オブジェクトは、前記記憶手段により記憶された前記操作手順マニュアルに基づいて、前記操作手順マニュアルに点検対象部品として示されている点検対象部品に対する操作内容または確認事項を示すものとして生成され、
前記機器特定手段は、前記記憶手段により記憶された前記操作手順マニュアルに点検対象機器として示されている点検対象機器に対応する識別体のみを特定する請求項１に記載の保守運用システム。

【請求項3】

前記仮想操作映像オブジェクトは、点検対象機器に対して、指導者が操作手順に従って操作した見本映像である請求項１または２に記載の運用保守システム。

【請求項4】

前記仮想操作指示オブジェクトは、点検対象機器に付された識別体の位置から二次元座標に基づいて相対的に求められる点検対象部品の位置に重畳して表示される請求項１～３のいずれか１項に記載の運用保守システム。

【請求項5】

作業者の音声を認識する音声認識部と、
作業者の動作を認識するセンサと、
前記記憶手段に記憶された、前記認識された音声または動作に紐付けられる要求を含むデータテーブルと、を備え、
前記認識された音声または動作に対応する要求を、前記データテーブルに基づいて判別する要求判別手段を含む請求項１～４のいずれか１項に記載の運用保守システム。

【請求項6】

点検対象機器の点検操作手順を示す操作手順マニュアルと、前記操作手順マニュアルに基づいて生成される前記点検対象機器への操作を指示する仮想操作指示オブジェクトと、前記操作手順マニュアルに基づいて生成される前記点検対象機器に対する操作映像である仮想操作映像オブジェクトと、前記点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルと、を記憶する記憶工程と、
撮影部により撮影された識別体を認識し、前記識別体に対応する機器を認識し、前記認識された識別体が付された点検対象機器を特定する機器特定工程と、
前記機器特定工程により特定された点検対象機器に対応する仮想操作指示オブジェクトを前記記憶工程から取得して表示部に表示する操作指示工程と、
前記機器特定工程により特定された点検対象機器に対応する仮想操作映像オブジェクトを前記記憶工程から取得して前記表示部に表示する映像再生工程と、
前記撮影部により撮影された前記点検対象機器の点検対象部品の画像に基づいて、前記機器特定工程により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定工程と、
を含み、
前記操作指示工程は、点検対象部品の位置を、前記機器特定工程により認識された点検対象機器に付された識別体の位置からの二次元座標に基づいて相対的に求めることにより点検対象部品を特定し、
かつ、当該特定された点検対象部品に対して、前記撮影部により撮影された点検対象機器の点検対象部品に表示された文字を操作が行われる点検対象部品の名称として認識し、当該認識された点検対象部品の名称と前記操作手順マニュアルに示される点検対象部品の名称とに基づいて、操作が行われる点検対象部品が前記操作手順マニュアルに示される正しい点検対象部品であるか否かを判定する
運用保守方法。

【請求項7】

点検対象機器の点検操作手順を示す操作手順マニュアルと、前記操作手順マニュアルに基づいて生成される点検対象機器への操作を指示する仮想操作指示オブジェクトと、前記操作手順マニュアルに基づいて生成される点検対象機器に対する操作映像である仮想操作映像オブジェクトと、点検対象機器に対して行われた操作が正しい操作であるか否を判定する、深層学習を用いて生成された学習済みモデルと、を記憶する記憶手段と、
撮影部により撮影された点検対象機器に付された識別体を認識し、前記認識された識別体が付された点検対象機器を特定する機器特定手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作指示オブジェクトを前記記憶手段から取得して表示部に表示する操作指示手段と、
前記機器特定手段により特定された点検対象機器に対応する仮想操作映像オブジェクトを前記記憶手段から取得して前記表示部に表示する映像再生手段と、
前記撮影部により撮影された点検対象機器の点検対象部品の画像に基づいて、前記機器特定手段により特定された点検対象機器に対応する学習済みモデルにより当該点検対象機器の当該点検対象部品に対して行われた操作を判定する操作判定手段と、
を含み、
前記操作指示手段は、点検対象部品の位置を、前記機器特定手段により認識された点検対象機器に付された識別体の位置からの二次元座標に基づいて相対的に求めることにより点検対象部品を特定し、
かつ、当該特定された点検対象部品に対して、前記撮影部により撮影された点検対象機器の点検対象部品に表示された文字を操作が行われる点検対象部品の名称として認識し、当該認識された点検対象部品の名称と前記操作手順マニュアルに示される点検対象部品の名称とに基づいて、操作が行われる点検対象部品が前記操作手順マニュアルに示される正しい点検対象部品であるか否かを判定する
運用保守システムとしてコンピュータを機能させる運用保守プログラム。