知財求人 - 知財ポータルサイト「IP Force」
▶ 東芝エネルギーシステムズ株式会社の特許一覧 ▶ 東北電力株式会社の特許一覧
特開2024-41175操作支援システム、操作支援方法、プログラム、情報処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024041175
(43)【公開日】2024-03-27
(54)【発明の名称】操作支援システム、操作支援方法、プログラム、情報処理装置
(51)【国際特許分類】
G06Q 50/06 20240101AFI20240319BHJP
【ＦＩ】
G06Q50/06
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022145835
(22)【出願日】2022-09-14
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２１年度東北電力グループ研究開発報告会 開催日 令和３年９月１６日 〔刊行物等〕 電気新聞 発行日 令和３年９月２９日 〔刊行物等〕 東北電力ネットワーク株式会社のウェブサイト ｈｔｔｐｓ：／／ｎｗ．ｔｏｈｏｋｕ－ｅｐｃｏ．ｃｏ．ｊｐ／ｉｎｆｏｒｍａｔｉｏｎ／１２２２７３３＿２３９０．ｈｔｍｌ 掲載日 令和３年１２月２０日
(71)【出願人】
【識別番号】317015294
【氏名又は名称】東芝エネルギーシステムズ株式会社
(71)【出願人】
【識別番号】000222037
【氏名又は名称】東北電力株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】川本 真也
(72)【発明者】
【氏名】岡 雅明
(72)【発明者】
【氏名】磯崎 泰弘
(72)【発明者】
【氏名】▲裴▼ 秉哲
(72)【発明者】
【氏名】澤根 慧
(72)【発明者】
【氏名】早坂 保
(72)【発明者】
【氏名】柳 拓也
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC06
(57)【要約】
【課題】操作対象物について現場で一人で操作を行ったとしても二人体制での操作時と同等の確実性を担保する。
【解決手段】本発明の操作支援システムでは、操作者によって操作が行われるときに、操作手順データに基づいて、当該操作に対応する操作対象物、操作箇所、操作内容を音声合成して、操作者が携帯する端末装置から音声出力させる。操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応するＡＲマーカが含まれていれば、ＡＲマーカからＡＲマーカ識別情報を読み取る。読み取られたＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、端末装置において撮影画像を表示するときに、当該操作箇所にＡＲ表示を重畳表示させる。入力音声から文字を認識して判定文言が含まれているか否かを判定する。音声認識部によって判定文言が含まれていると判定された場合に、次の操作手順に関する音声合成、音声出力を行う。
【選択図】図１
【解決手段】本発明の操作支援システムでは、操作者によって操作が行われるときに、操作手順データに基づいて、当該操作に対応する操作対象物、操作箇所、操作内容を音声合成して、操作者が携帯する端末装置から音声出力させる。操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応するＡＲマーカが含まれていれば、ＡＲマーカからＡＲマーカ識別情報を読み取る。読み取られたＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、端末装置において撮影画像を表示するときに、当該操作箇所にＡＲ表示を重畳表示させる。入力音声から文字を認識して判定文言が含まれているか否かを判定する。音声認識部によって判定文言が含まれていると判定された場合に、次の操作手順に関する音声合成、音声出力を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
操作対象場所に設置され操作箇所ごとに対応するＡＲマーカが取り付けられている操作対象物に対する操作手順データとして、操作手順ごとに、操作箇所、操作内容、ＡＲマーカ識別情報、判定文言を記憶する操作手順データ記憶部と、
操作者によって操作が行われるときに、前記操作手順データに基づいて、当該操作に対応する前記操作対象物、前記操作箇所、前記操作内容を音声合成して、前記操作者が携帯する端末装置から音声出力させる音声合成部と、
前記操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応する前記ＡＲマーカが含まれていれば、前記ＡＲマーカからＡＲマーカ識別情報を読み取るＡＲマーカ認識部と、
読み取られた前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させるＡＲ合成部と、
音声入力部によって入力した音声から文字を認識して前記判定文言が含まれているか否かを判定する音声認識部と、を備え、
前記音声認識部によって前記判定文言が含まれていると判定された場合に、前記音声合成部は、次の前記操作手順に関する音声合成、音声出力を行う、操作支援システム。
操作者によって操作が行われるときに、前記操作手順データに基づいて、当該操作に対応する前記操作対象物、前記操作箇所、前記操作内容を音声合成して、前記操作者が携帯する端末装置から音声出力させる音声合成部と、
前記操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応する前記ＡＲマーカが含まれていれば、前記ＡＲマーカからＡＲマーカ識別情報を読み取るＡＲマーカ認識部と、
読み取られた前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させるＡＲ合成部と、
音声入力部によって入力した音声から文字を認識して前記判定文言が含まれているか否かを判定する音声認識部と、を備え、
前記音声認識部によって前記判定文言が含まれていると判定された場合に、前記音声合成部は、次の前記操作手順に関する音声合成、音声出力を行う、操作支援システム。
【請求項2】
前記操作対象場所は、電気所であり、
前記操作対象物は、電力機器または制御盤である、請求項１に記載の操作支援システム。
前記操作対象物は、電力機器または制御盤である、請求項１に記載の操作支援システム。
【請求項3】
前記操作箇所ごとに、前記ＡＲマーカ識別情報、ＡＲマーカ表示位置座標、操作の種類に対応したＡＲ表示を含む操作箇所情報を記憶する操作箇所情報記憶部を、さらに備え、
前記ＡＲ合成部は、前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させる場合に、前記操作箇所情報を参照して、前記撮影画像における前記ＡＲマーカ表示位置座標に前記ＡＲ表示を重畳表示させる、請求項１に記載の操作支援システム。
前記ＡＲ合成部は、前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させる場合に、前記操作箇所情報を参照して、前記撮影画像における前記ＡＲマーカ表示位置座標に前記ＡＲ表示を重畳表示させる、請求項１に記載の操作支援システム。
【請求項4】
前記ＡＲ合成部は、前記撮影画像における当該操作に対応する前記操作箇所以外の操作箇所に、操作禁止マークをＡＲ表示させる、請求項３に記載の操作支援システム。
【請求項5】
前記操作対象場所以外の場所で前記操作者以外の者によって用いられ、前記端末装置における音声出力と画像表示が共有可能であるとともに、前記端末装置と双方向の音声通信が可能である情報処理装置を、さらに備える、請求項１に記載の操作支援システム。
【請求項6】
前記音声認識部によって前記判定文言が含まれていると判定された場合に、前記撮影画像における当該操作箇所の画像と、予め作成された操作結果確認用の学習モデルと、に基づいて、当該操作が正しく完了したか否かを判定する画像認識部を、さらに備える、請求項１に記載の操作支援システム。
【請求項7】
前記端末装置は、メガネ形状のウェアラブルデバイスであるスマートグラスである、請求項１に記載の操作支援システム。
【請求項8】
密集している複数の前記操作箇所に対応して、１つの前記ＡＲマーカが前記操作対象物に取り付けられている、請求項１に記載の操作支援システム。
【請求項9】
前記音声認識部は、音声合成内容の再出力を要求する文言の判定用の第２判定文言を記憶しており、前記音声入力部によって入力した音声から文字を認識して前記第２判定文言が含まれていると判定した場合に、
前記音声合成部は、直近の音声合成内容を前記端末装置から再び音声出力させる、請求項１に記載の操作支援システム。
前記音声合成部は、直近の音声合成内容を前記端末装置から再び音声出力させる、請求項１に記載の操作支援システム。
【請求項10】
操作対象場所に設置され操作箇所ごとに対応するＡＲマーカが取り付けられている操作対象物に対する操作手順データとして、操作手順ごとに、操作箇所、操作内容、ＡＲマーカ識別情報、判定文言を記憶する操作手順データ記憶部を備える操作支援システムによる操作支援方法であって、
音声合成部が、操作者によって操作が行われるときに、前記操作手順データに基づいて、当該操作に対応する前記操作対象物、前記操作箇所、前記操作内容を音声合成して、前記操作者が携帯する端末装置から音声出力させる音声合成ステップと、
ＡＲマーカ認識部が、前記操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応する前記ＡＲマーカが含まれていれば、前記ＡＲマーカからＡＲマーカ識別情報を読み取るＡＲマーカ認識ステップと、
ＡＲ合成部が、読み取られた前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させるＡＲ合成ステップと、
音声認識部が、音声入力部によって入力した音声から文字を認識して前記判定文言が含まれているか否かを判定する音声認識ステップと、を含み、
前記音声認識ステップによって前記判定文言が含まれていると判定された場合に、前記音声合成部は、次の音声合成ステップで、次の前記操作手順に関する音声合成、音声出力を行う、操作支援方法。
音声合成部が、操作者によって操作が行われるときに、前記操作手順データに基づいて、当該操作に対応する前記操作対象物、前記操作箇所、前記操作内容を音声合成して、前記操作者が携帯する端末装置から音声出力させる音声合成ステップと、
ＡＲマーカ認識部が、前記操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応する前記ＡＲマーカが含まれていれば、前記ＡＲマーカからＡＲマーカ識別情報を読み取るＡＲマーカ認識ステップと、
ＡＲ合成部が、読み取られた前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させるＡＲ合成ステップと、
音声認識部が、音声入力部によって入力した音声から文字を認識して前記判定文言が含まれているか否かを判定する音声認識ステップと、を含み、
前記音声認識ステップによって前記判定文言が含まれていると判定された場合に、前記音声合成部は、次の音声合成ステップで、次の前記操作手順に関する音声合成、音声出力を行う、操作支援方法。
【請求項11】
操作対象場所に設置され操作箇所ごとに対応するＡＲマーカが取り付けられている操作対象物に対する操作手順データとして、操作手順ごとに、操作箇所、操作内容、ＡＲマーカ識別情報、判定文言を記憶する操作手順データ記憶部を備えるコンピュータを、
操作者によって操作が行われるときに、前記操作手順データに基づいて、当該操作に対応する前記操作対象物、前記操作箇所、前記操作内容を音声合成して、前記操作者が携帯する端末装置から音声出力させる音声合成部と、
前記操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応する前記ＡＲマーカが含まれていれば、前記ＡＲマーカからＡＲマーカ識別情報を読み取るＡＲマーカ認識部と、
読み取られた前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させるＡＲ合成部と、
音声入力部によって入力した音声から文字を認識して前記判定文言が含まれているか否かを判定する音声認識部と、して機能させるためのプログラムであって、
前記音声認識部によって前記判定文言が含まれていると判定された場合に、前記音声合成部は、次の前記操作手順に関する音声合成、音声出力を行う、プログラム。
操作者によって操作が行われるときに、前記操作手順データに基づいて、当該操作に対応する前記操作対象物、前記操作箇所、前記操作内容を音声合成して、前記操作者が携帯する端末装置から音声出力させる音声合成部と、
前記操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応する前記ＡＲマーカが含まれていれば、前記ＡＲマーカからＡＲマーカ識別情報を読み取るＡＲマーカ認識部と、
読み取られた前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させるＡＲ合成部と、
音声入力部によって入力した音声から文字を認識して前記判定文言が含まれているか否かを判定する音声認識部と、して機能させるためのプログラムであって、
前記音声認識部によって前記判定文言が含まれていると判定された場合に、前記音声合成部は、次の前記操作手順に関する音声合成、音声出力を行う、プログラム。
【請求項12】
操作支援システムに含まれる情報処理装置であって、
前記操作支援システムは、
操作対象場所に設置され操作箇所ごとに対応するＡＲマーカが取り付けられている操作対象物に対する操作手順データとして、操作手順ごとに、操作箇所、操作内容、ＡＲマーカ識別情報、判定文言を記憶する操作手順データ記憶部と、
操作者によって操作が行われるときに、前記操作手順データに基づいて、当該操作に対応する前記操作対象物、前記操作箇所、前記操作内容を音声合成して、前記操作者が携帯する端末装置から音声出力させる音声合成部と、
前記操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応する前記ＡＲマーカが含まれていれば、前記ＡＲマーカからＡＲマーカ識別情報を読み取るＡＲマーカ認識部と、
読み取られた前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させるＡＲ合成部と、
音声入力部によって入力した音声から文字を認識して前記判定文言が含まれているか否かを判定する音声認識部と、を備え、
前記音声認識部によって前記判定文言が含まれていると判定された場合に、前記音声合成部は、次の前記操作手順に関する音声合成、音声出力を行い、
前記情報処理装置は、
前記操作対象場所以外の場所で前記操作者以外の者によって用いられ、前記端末装置における音声出力と画像表示が共有可能であるとともに、前記端末装置と双方向の音声通信が可能である、情報処理装置。
前記操作支援システムは、
操作対象場所に設置され操作箇所ごとに対応するＡＲマーカが取り付けられている操作対象物に対する操作手順データとして、操作手順ごとに、操作箇所、操作内容、ＡＲマーカ識別情報、判定文言を記憶する操作手順データ記憶部と、
操作者によって操作が行われるときに、前記操作手順データに基づいて、当該操作に対応する前記操作対象物、前記操作箇所、前記操作内容を音声合成して、前記操作者が携帯する端末装置から音声出力させる音声合成部と、
前記操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応する前記ＡＲマーカが含まれていれば、前記ＡＲマーカからＡＲマーカ識別情報を読み取るＡＲマーカ認識部と、
読み取られた前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させるＡＲ合成部と、
音声入力部によって入力した音声から文字を認識して前記判定文言が含まれているか否かを判定する音声認識部と、を備え、
前記音声認識部によって前記判定文言が含まれていると判定された場合に、前記音声合成部は、次の前記操作手順に関する音声合成、音声出力を行い、
前記情報処理装置は、
前記操作対象場所以外の場所で前記操作者以外の者によって用いられ、前記端末装置における音声出力と画像表示が共有可能であるとともに、前記端末装置と双方向の音声通信が可能である、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、操作支援システム、操作支援方法、プログラム、情報処理装置に関する。
【背景技術】
【0002】
例えば、電気所（変電所等）において電力機器や制御盤などに関する点検・取替等の工事を行う場合、対象設備を電力系統から切り離して安全に作業を実施するために、関係する電力機器を停止する必要がある。この停止操作方法としては、遠隔にある制御所から遠方操作して停止する方法と、現場に設置された制御盤等に備えてあるスイッチ類を直接操作して停止する方法がある。また、作業時の不要なトリップ（遮断器などの誤操作による電力供給停止）等を防ぐために、現場では制御盤等に対してロック操作を行う。これらの停止操作やロック操作を行った上で、対象設備に対する作業を開始する。
【0003】
現場で実施する停止操作やロック操作については、多数の操作箇所を、あらかじめ決めた手順に沿って誤認なく確実に操作するために、通常は二人体制で操作を実施する。一人は責任者であり、当該手順と注意事項の読み上げや、操作箇所の相互確認、操作結果の承認などを担当する。また、もう１人は操作者であり、責任者が読み上げた手順と注意事項に沿った操作箇所の確認、操作実施、操作後の指差呼称などを担当する。
【0004】
しかし、現場業務のコストダウンに向けて、二人体制と同等の確実性を担保しつつ、現場では一人で操作を実施することが求められている。例えば、従来技術として、ＲＦＩＤ（Radio Frequency Identification）タグやバーコードなどを用いて操作対象機器の誤認を防止しつつ、操作後の機器の状態を関連付け、電子的に管理する方法が示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第４０５７５８０号公報
【特許文献2】特開２０１７－４１１９３号公報
【特許文献3】特開２０１９－２１９９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述の従来技術では、各操作盤に多数ある個々の操作箇所とその操作方向を具体的に示すものではないため、誤操作を行う可能性がある。また、映像や音声による支援がなく、二人体制で責任者が担っていた役割が補完できていない。よって、この従来技術を用いて現場で一人で操作を行ったとしても、二人体制のときと同等の確実性が担保されているとはいえない。
【0007】
そこで、本発明は、現場で一人で操作を行ったとしても二人体制での操作時と同等の確実性を担保することを課題とする。
【課題を解決するための手段】
【0008】
本発明の操作支援システムは、操作対象場所に設置され操作箇所ごとに対応するＡＲマーカが取り付けられている操作対象物に対する操作手順データとして、操作手順ごとに、操作箇所、操作内容、ＡＲマーカ識別情報、判定文言を記憶する操作手順データ記憶部と、操作者によって操作が行われるときに、前記操作手順データに基づいて、当該操作に対応する前記操作対象物、前記操作箇所、前記操作内容を音声合成して、前記操作者が携帯する端末装置から音声出力させる音声合成部と、前記操作対象物を撮影する撮影部から出力された撮影画像に当該操作に対応する前記ＡＲマーカが含まれていれば、前記ＡＲマーカからＡＲマーカ識別情報を読み取るＡＲマーカ認識部と、読み取られた前記ＡＲマーカ識別情報に基づいて当該操作に対応するＡＲ表示を合成して、前記端末装置において前記撮影画像を表示するときに、当該操作箇所に前記ＡＲ表示を重畳表示させるＡＲ合成部と、音声入力部によって入力した音声から文字を認識して前記判定文言が含まれているか否かを判定する音声認識部と、を備える。前記音声認識部によって前記判定文言が含まれていると判定された場合に、前記音声合成部は、次の前記操作手順に関する音声合成、音声出力を行う。
【発明の効果】
【0009】
本発明によれば、現場で一人で操作を行ったとしても二人体制での操作時と同等の確実性を担保することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下に、本発明の操作支援システム、操作支援方法、プログラム、情報処理装置の実施形態（第１実施形態～第３実施形態）について、図面に基づいて詳細に説明する。
【0012】
（従来技術）
実施形態の理解を助けるために、まず、従来技術としての現行の現場操作業務についてあらためて説明する。図１７は、従来技術の例の概要を示す図である。図１８は、従来技術における現場操作のフローの例を示す図である。
実施形態の理解を助けるために、まず、従来技術としての現行の現場操作業務についてあらためて説明する。図１７は、従来技術の例の概要を示す図である。図１８は、従来技術における現場操作のフローの例を示す図である。
【0013】
ここでは、電気所における電力機器や制御盤などに関する点検・取替等の工事を行う場合に、対象設備を電力系統から切り離して安全に作業を実施するために、現場に設置された制御盤等に備えてあるスイッチ類を直接操作して停止する方法を例にとる。
【0014】
現場操作を実施する前には、あらかじめ直接の停止操作やロック操作のための操作手順表（図１７の右下）を作成する。一般的に、直接の停止操作については制御所が、ロック操作については事務所にいる変電課が、作成する。作成した操作手順表を紙に印刷し、現場操作者と現場責任者の二人が、現場の電気所に向かう。
【0015】
電気所に設置された電力機器や制御盤は複数のスイッチなどの操作箇所を有している。現場操作者が、現場責任者からの指示の元、一連の操作を実施することで、直接の停止操作とロック操作を行うことができる。
【0016】
次に、現場操作におけるフローを図１８に沿って説明する。現場操作者と現場責任者は操作実施に関する所掌を分担し、確実な操作を行う。
【0017】
まず、現場責任者は当該手順と注意事項を読み上げ、現場操作者に操作の指令を出す（Ｌ１）。具体的には、現場責任者は「盤２ ８スイッチを切（きり）にしてください」などと発話する。次に、現場操作者は電気所にある盤と操作箇所を探し、操作方向を確認する（Ｌ２）。このとき、現場操作者と現場責任者がお互いに、当該操作箇所に間違いないことを相互確認する。
【0018】
その後、現場操作者が指示された操作方向に対して操作を実施する（Ｌ３）。操作後、現場操作者は「盤２ ８スイッチ きりヨシ」などと指差呼称し、確実に操作されたことを自身が再確認する（Ｌ４）。次に、現場責任者は操作結果を目視等で確認し、操作実施がＯＫであれば、紙に操作時刻等を記載し、次の手順に移る（Ｌ５）。
【0019】
しかし、このような現場での二人体制には、高コストになってしまうという問題がある。そして、上述のように、例えばＲＦＩＤタグやバーコードなどによって現場での一人体制を支援する従来技術があるが、各操作盤に多数ある個々の操作箇所とその操作方向を具体的に示すものではないため誤操作を行う可能性がある。また、映像や音声による支援がなく、二人体制で責任者が担っていた役割が補完できていない。よって、この従来技術を用いて現場で一人で操作を行ったとしても、二人体制のときと同等の確実性が担保されているとはいえない。
【0020】
そこで、以下では、現場で一人で操作を行ったとしても二人体制での操作時と同等の確実性を担保できる技術について説明する。
【0021】
（第１実施形態）
以下、第１実施形態について説明する。図１は、第１実施形態の概要を示す図である。図２は、第１実施形態の操作支援システムＳの全体構成図である。まず、図１、図２を参照して概要について説明し、その後に、図３以降を参照して詳細について説明する。
以下、第１実施形態について説明する。図１は、第１実施形態の概要を示す図である。図２は、第１実施形態の操作支援システムＳの全体構成図である。まず、図１、図２を参照して概要について説明し、その後に、図３以降を参照して詳細について説明する。
【0022】
操作支援システムＳは、事務所１に設置されたサーバ１０と、電気所２（操作対象場所の例）で操作する現場操作者Ｍ（操作者）が装着するスマートグラス２１（メガネ形状のウェアラブルデバイス。現場操作者Ｍが携帯する端末装置の例）と、を備える。電気所２に設置されている制御盤２０（操作対象物の例）の操作箇所の近傍には、操作箇所ごとに対応するＡＲ（Augmented Reality）マーカ２４（二次元のコード）が取り付けられている。ＡＲマーカ２４は、例えば、シールやマグネットなどによって、制御盤２０に取り付けられる。
【0023】
現場の電気所２にいるのは現場操作者Ｍの一人だけである。現場操作者Ｍが装着するスマートグラス２１は、通信回線Ｎを介して、サーバ１０と接続されている。サーバ１０は操作手順を管理（記憶）しており、当該手順の操作箇所、操作内容、注意事項などを音声合成し（図１の符号（１））、通信回線Ｎ経由でスマートグラス２１から音声出力させることで、現場操作者Ｍに現在の操作手順を認識させる。
【0024】
また、サーバ１０はスマートグラス２１による映像入力に対し、ＡＲマーカを認識して対象操作箇所があるかどうか判断し、対象操作箇所があれば操作箇所と操作方向をＡＲ合成し、通信回線Ｎ経由でスマートグラス２１に映像出力させる（図１の符号（２））。具体的には、現場操作者Ｍがスマートグラス２１で見る映像２２では、対象操作箇所の近傍にＡＲマーカ２４ｂがあり、対象操作箇所に対して操作方向を含むＡＲ表示２３ｂが重畳表示される。また、対象操作箇所以外の操作箇所がある場合には操作禁止マークを示すＡＲ表示２３ａが重畳表示される。これにより、現場操作者Ｍは正しい操作箇所と操作内容を認識できる。
【0025】
さらに、サーバ１０は現場操作者Ｍが操作完了後に発する「８スイッチ 〇〇よし」というスマートグラス２１による音声入力を認識し（図１の符号（３））、当該手順の操作完了を示す判定文言が含まれていれば、当該手順の完了を判断し、次の手順に移行する。
【0026】
次に、操作支援システムＳについて詳細に説明する。図３は、第１実施形態における電気所２内の操作箇所とＡＲマーカの例を示す図である。図３における「盤」（盤１、盤２）とは、独立した制御盤や、電力機器本体やその付属となる制御盤等を意味する。電気所２内には多数の盤があり、各盤は１つまたは複数の操作箇所を有している。この操作箇所毎に、異なるパターンの模様を持つＡＲマーカを貼り付ける。
【0027】
サーバ１０などが保持するＡＲマーカ情報２４０は、ＡＲマーカＩＤ（Identifier）とＡＲマーカを対応付けた情報である。例えば、サーバ１０は、ＡＲマーカを画像認識すると、ＡＲマーカ情報２４０を参照して、対応するＡＲマーカＩＤを読み出すことができる。ＡＲマーカは、例えば図示のような二次元のバーコードが好ましいが、本発明はこれに限定されない。また、基本的には操作箇所とＡＲマーカは１対１で対応するが、例えば操作箇所が密集している場合は１対１対応で複数のＡＲマーカを貼り付けることが困難な場合があり、その場合は１つのＡＲマーカを複数の操作箇所に対応させてもよい。
【0028】
図４Ａは、第１実施形態の各装置の機能構成の第１の例を示す図である。スマートグラス２１は、映像入力部２１１と、映像表示部２１２と、音声入力部２１３と、音声出力部２１４と、通信部２１５と、記憶部２１６と、カメラ２１７（撮影部）と、ディスプレイ２１８と、マイク２１９と、スピーカ２１９１と、を備える。映像入力部２１１と、映像表示部２１２と、音声入力部２１３と、音声出力部２１４とは、ＣＰＵ（Central Processing Unit）等により実現される機能部である。
【0029】
映像入力部２１１は、カメラ２１７から映像を取り込む。
【0030】
映像表示部２１２は、ディスプレイ２１８により映像を表示する。
【0031】
音声入力部２１３は、マイク２１９から音声（現場操作者の音声など）を取り込む。
【0032】
音声出力部２１４は、スピーカ２１９１により音声（音声ガイダンスなど）を出力する。
【0033】
通信部２１５は、サーバ１０などの外部装置と通信を行う通信インタフェースである。
【0034】
記憶部２１６は、各種データ、各種プログラム、各種演算結果などを記憶する。
【0035】
なお、現場操作者Ｍは現場操作時に両手を使える状態であることが望ましいため、ハンズフリーとなるスマートグラス２１が適している。しかし、スマートグラス２１の代わりに、同様の機能構成をもつスマートフォンなどの携帯端末を用いてもよい。
【0036】
サーバ１０は、操作箇所管理部１０１と、操作手順表管理部１０２と、通信部１０３と、記憶部１０４と、音声合成部１０５と、ＡＲマーカ認識部１０６と、ＡＲ合成部１０７と、音声認識部１０８と、処理部１０９と、ディスプレイ１０９１と、マイク１０９２と、スピーカ１０９３と、を備える。
【0037】
ディスプレイ１０９１は、操作箇所管理部１０１による管理情報や、操作手順表などの各種情報を表示する。マイク１０９２は、音声入力手段であり、例えば、音声認識のテスト時などに用いられる。スピーカ１０９３は、音声出力手段であり、例えば、音声合成のテスト時などに用いられる。
【0038】
操作箇所管理部１０１と、操作手順表管理部１０２と、音声合成部１０５と、ＡＲマーカ認識部１０６と、ＡＲ合成部１０７と、音声認識部１０８と、処理部１０９とは、ＣＰＵ、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等により実現される機能部である。
【0039】
操作箇所管理部１０１について、図５を併せて参照して説明する。図５は、第１実施形態の操作箇所管理部１０１の機能の概要を示す図である。操作箇所管理部１０１（操作箇所情報記憶部）は、操作箇所ごとに、ＡＲマーカＩＤ（ＡＲマーカ識別情報。図５（ａ）の「ＡＲマーカ1-1」）、ＡＲマーカ表示位置座標（（ａ）に示す、ＡＲマーカの位置に対して実際にＡＲ表示を行いたい位置の差分を示すＸ座標とＹ座標）、操作の種類（（ｂ）（ｃ）のＡＲ種別）に対応したＡＲ表示（（ｃ））を含む操作箇所情報を管理（記憶、更新など）する。また、操作箇所情報には、（ｂ）に示す操作方向や判定文言も含まれる。判定文言は、対応する操作方向への操作を実施した直後に現場操作者Ｍが指差呼称するときに発すると想定される文字情報である。操作箇所情報における各項目は、後述する操作手順表を作成する前に、あらかじめサーバ１０等に登録されているものとする。なお、ＡＲマーカ情報２４０の箇所で説明したように、複数の操作箇所が密集している箇所については、複数の操作箇所に対して１つのＡＲマーカで対応させることができる。その場合は、各操作箇所は同一のＡＲマーカＩＤと対応することになるが、当然各操作箇所はＡＲマーカを起点とした位置が異なることから、それぞれ対応するＡＲマーカ表示位置座標を登録することで、操作箇所として区別し、ＡＲ表示することができる。
【0040】
次に、操作手順表管理部１０２について、図６を併せて参照して説明する。図６は、第１実施形態の操作手順表管理部１０２の機能の概要を示す図である。操作手順表管理部１０２（操作手順データ記憶部）は、制御盤２０に対する操作手順データとして、操作手順（操作）ごとに、手順の順番（No,）、盤名称、操作箇所、操作内容、実施時刻（日時）、注意確認事項を管理する。また、操作手順表管理部１０２は、操作箇所管理部１０１を参照し、各操作に対応するその管理項目として、ＡＲマーカＩＤ、Ｘ座標、Ｙ座標、操作方向／ＡＲ種別、判定文言を保持する。操作手順表における各項目は、現場操作の前に、あらかじめサーバ１０等に登録されているものとする。
【0041】
図４Ａに戻って、通信部１０３は、スマートグラス２１などの外部装置と通信を行う通信インタフェースである。
【0042】
記憶部１０４は、各種データ、各種プログラム、各種演算結果などを記憶する。
【0043】
音声合成部１０５は、現場操作者Ｍによって操作が行われるときに、操作手順表（操作手順データ）に基づいて、当該操作に対応する操作対象物、操作箇所、操作内容を組み合わせたテキストデータから音声合成データを作成して、通信部１０３及び通信部２１５を介してスマートグラス２１の音声出力部２１４に音声合成データを送り、スピーカ２１９１から音声出力させる。
【0044】
ＡＲマーカ認識部１０６は、カメラ２１７から映像入力部２１１に入力された撮影画像データを通信部２１５及び通信部１０３を経由して取得し、前記撮影画像データに１つまたは複数のＡＲマーカが含まれていることを認識した場合、各ＡＲマーカに対応するＡＲマーカＩＤを読み取る。
【0045】
ＡＲ合成部１０７は、操作手順表管理部１０２における当該操作の情報を参照し、当該操作に対応するＡＲマーカＩＤが存在することを検知した場合、前記撮影画像データに対し、当該操作箇所の位置とその操作方向等を示すＡＲを重畳表示した画像データを合成する。そして、ＡＲ合成部１０７は、通信部１０３及び通信部２１５を経由してスマートグラス２１の映像表示部２１２に前記画像データを送り、ディスプレイ２１８においてＡＲ合成画像を表示させる（図１の映像２２におけるＡＲ表示２３ｂ）。
【0046】
また、ＡＲ合成部１０７は、当該操作に対応しないＡＲマーカＩＤを検知した場合、操作箇所管理部１０１における前記ＡＲマーカＩＤに対応する座標の情報を参照し、その操作位置に操作禁止マークのＡＲ表示を重畳表示させる。（図１の映像２２におけるＡＲ表示２３ａ）。
【0047】
音声認識部１０８は、スマートグラス２１のマイク２１９から音声入力部２１３に入力された音声データを通信部２１５及び通信部１０３を経由して取得し、次に音声データを分析して音声データ内の文字をテキストや音声波形の形で認識し、当該操作に対応する判定文言が含まれているか否かを判定する。また、音声認識部１０８によって判定文言が含まれていると判定された場合、当該操作が完了したしたとみなし、操作手順表管理部１０２における当該操作の実施時刻に現在時刻を入力する。
【0048】
処理部１０９は、各種情報処理を実行する。例えば、処理部１０９は、音声合成部１０５、ＡＲマーカ認識部１０６、ＡＲ合成部１０７、音声認識部１０８などからの情報を元に操作手順を進める処理を実行する。
【0049】
なお、スマートグラス２１とサーバ１０の機能構成はこれに限定されない。図４Ｂは、第１実施形態の各装置の機能構成の第２の例を示す図である。図４Ａにおけるサーバ１０の音声合成部１０５、ＡＲマーカ認識部１０６、ＡＲ合成部１０７、音声認識部１０８、処理部１０９の各機能をスマートグラス２１側に持たせるために、スマートグラス２１に音声合成部２１０１、ＡＲマーカ認識部２１０２、ＡＲ合成部２１０３、音声認識部２１０４、処理部２１０５を設けた。このように、ソフトウエアの各機能構成は、スマートグラス２１とサーバ１０のいずれかに設けられればよい。
【0050】
次に、図７Ａと図７Ｂを参照して、操作手順が実行される場合について説明する。図７Ａは、第１実施形態の操作支援中の操作手順表を示す図である。図７Ｂは、第１実施形態の操作支援中の映像表示部２１２が表示する映像の例を示す図である。
【0051】
図７Ａでは、サーバ１０内の操作手順表管理部１０２に従って現場操作を実行している状況を示している。現在実行中の手順は、「No.3」である。手順「No.3」を開始する場合、まず、音声合成部１０５が、操作手順表に基づいて、当該操作に対応する操作対象物、操作箇所、操作内容、注意確認事項などのテキスト情報を元に音声合成して、スマートグラス２１から音声出力させる。具体的な音声合成内容は、例えば、「〇〇に注意 盤２ ８スイッチ 切（きり）」である。
【0052】
なお、図７Ｂに示すように、当該操作に対応する操作対象物、操作箇所、操作内容、注意確認事項などの文字情報も合わせて映像に表示してもよい。また、操作対象物が離れている場合は、音声合成による指示の後、現場操作者Ｍが操作対象物の箇所まで移動する間に指示内容を忘れることが想定される。そのため、音声認識部１０８（記憶部１０４）に例えば「もういっかい」などの音声合成内容の再出力を要求する文言の判定用の判定文言（第２判定文言）を登録しておき、操作対象物の前に移動した後、現場操作者Ｍが「もういっかい」などと発声することで音声認識部１０８に認識させ、それにより再度、前記音声合成内容を音声出力することで、改めて操作内容を確認できる。
【0053】
次に、ＡＲマーカ認識部１０６は、カメラ２１７から入力された撮影画像から複数のＡＲマーカを認識し、それぞれのＡＲマーカＩＤがＡＲマーカ２－１とＡＲマーカ２－２であることを読み取る。次に、ＡＲ合成部１０７は操作手順表管理部１０２を参照し、当該操作に対応するＡＲマーカＩＤがＡＲマーカ２－２であること、また当該操作箇所はそのＡＲマーカ２－２から相対的にＸ座標で40(mm)、Ｙ座標で28(mm)、離れた箇所にあること、そして操作方向(8スイッチ「切」)に対応するＡＲ種別がＡＲ１であることを確認する。それらの情報を元に、前記撮影画像における当該操作箇所（図７Ｂの操作箇所２－２）にＡＲ表示（図７Ｂの符号ＡＲ１）を重畳表示させ、スマートグラス２１のディスプレイ２１８に表示する。また、ＡＲ合成部１０７は、撮影画像における当該操作に関係しないＡＲマーカＩＤ（ここではＡＲマーカ２－１）に対応する操作箇所（図７Ｂの操作箇所２－１）に、操作禁止マークをＡＲ表示させる（図７Ｂの操作禁止ＡＲ表示Ｄ）。
【0054】
現場操作者Ｍは、当該箇所の「切」操作後に、例えば「～きりヨシ」と発声する。そして、音声認識部１０８は、スマートグラス２１の音声入力部２１３によって入力された音声データを分析し、その中に判定文言と一致する文言（または音声波形による比較・一致でもよい）があるか否かを判定する。音声認識部１０８によってそれらがあると判定されると、現場操作者Ｍによる当該操作が完了したと操作支援システムＳで認識したことになり、次の手順「No.4」の処理に移る。
【0055】
図８Ａは、第１実施形態における現場操作のフローの例を示す図である。まず、操作手順を開始すると、従来技術のように現場責任者によって当該手順や注意事項を読み上げるのではなく、音声合成部１０５による音声合成により当該手順、注意事項を読み上げて音声を出力し、「盤２ ８スイッチを切にしてください」などと操作の指令を出す（Ｌ１１）。
【0056】
次に、現場操作者Ｍは、前記音声による操作指令や映像内に文字表示した操作指令を確認の上、盤と操作箇所を探し、さらにＡＲ表示を参照し（図１の映像２２）、正しい操作箇所と操作方向を確認する（Ｌ１２）。そして、現場操作者Ｍが操作を実施する（Ｌ１３）。操作後、現場操作者Ｍは「盤２ ８スイッチ きりヨシ」と指差呼称する（Ｌ１４）。
【0057】
音声認識部１０８は指差呼称を音声認識し、当該手順に関係づけられた判定文言が含まれていることを確認すれば、現場での操作が完了したものと判定する。サーバ１０は、操作手順表（図６）における当該手順に対応する実施時刻欄に操作完了時刻を記録し、次の手順に移る（Ｌ１５）。
【0058】
図８Ｂは、第１実施形態における処理の流れを示すフローチャートである。操作を開始する場合、まず、サーバ１０の音声合成部１０５は、操作手順表に基づいて、当該操作に対応する操作対象物、操作箇所、操作内容、注意確認事項などを音声合成して（ステップＳ１）、スマートグラス２１から音声出力させる（ステップＳ２）。
【0059】
次に、スマートグラス２１のカメラ２１７は撮影した映像をサーバ１０に送信する（ステップＳ３）。そうすると、サーバ１０のＡＲマーカ認識部１０６は、映像からＡＲマーカを認識してＡＲマーカＩＤを読み取る（ステップＳ４）。
【0060】
次に、ＡＲ合成部１０７は、読み取られたＡＲマーカＩＤに基づいて当該操作に対応するＡＲ表示を合成して（ステップＳ５）、スマートグラス２１において撮影画像を表示するときに、操作手順表を参照して、撮影画像におけるＡＲマーカ表示位置座標（Ｘ座標、Ｙ座標）に当該操作方向を示すＡＲ表示を重畳表示させる（ステップＳ６。図１の映像２２）。
【0061】
次に、スマートグラス２１の音声入力部２１３は、現場操作者Ｍによって操作後に発声された音声を入力し、サーバ１０に送信する（ステップＳ７）。そして、サーバ１０の音声認識部１０８は、その音声から文字を認識して判定文言が含まれるか否かを判定する（ステップＳ８）。ステップＳ８で含まれると判定されると、サーバ１０は、操作手順表（図６）における当該手順に対応する実施時刻に操作完了時刻を記録し、次の操作がある場合は、次の操作に関してステップＳ１～Ｓ８を実行する。
【0062】
このように、第１実施形態によれば、操作支援システムＳによって音声合成技術（人間の音声を人工的に作り出し、出力する技術）、ＡＲ表示技術（現実世界の撮影画像にデジタルコンテンツを重ねて表示する技術）、音声認識技術（人間の声などをコンピュータに認識させる技術）などを用いた支援を行うことで、現場で一人で操作を行ったとしても二人体制での操作時と同等の確実性を担保できる。
【0063】
つまり、現場操作者Ｍは従来技術のときと大きく変わらないフローで、かつ、従来技術のときと同等の確実性を持って、現場操作を行うことができる。これにより、現場一人体制に変更することができ、結果的に業務効率化を図ることができる。
【0064】
また、当該操作箇所以外の操作箇所に操作禁止マークをＡＲ表示させることで、誤操作をより確実に防止できる。
【0065】
（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。図９は、第２実施形態の概要を示す図である。
次に、第２実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。図９は、第２実施形態の概要を示す図である。
【0066】
第２実施形態では、図９に示すように、事務所１に事務所責任者Ｒをおき、事務所ＰＣ１１（外部モニタ１２を含む。以下同様）によって現場での映像と音声を共有する（符号（４））。これにより、例えば、音声合成した手順の読み上げ内容を事務所責任者Ｒも確認でき、また、現場操作者Ｍと事務所責任者Ｒは音声会話も実施できる。さらに、事務所責任者Ｒは、ＡＲ合成を行った映像（現地映像１３）を事務所１の事務所ＰＣ１１でも見ることができる。また、事務所責任者Ｒは、事務所ＰＣ１１によって、操作手順表１４を見ることもできる。また、事務所責任者Ｒは、現地映像１３内の右下の「停止指令」を押下することで現場操作者Ｍが操作箇所を間違えているなど、危険な行動をしているときなどに注意喚起したり、「カメラ切替」を押下することでカメラ映像の拡大縮小を切り替えたりすることができる。
【0067】
事務所責任者Ｒがこれらの映像と音声を元に現場での操作結果に対して手順完了の最終承認を行うことで、操作の確実性をより担保できる。事務所ＰＣ１１は、操作対象場所以外の場所で操作者以外の者によって用いられ、スマートグラス２１における音声出力と画像表示が共有可能であるとともに、スマートグラス２１と双方向の音声通信が可能である情報処理装置の例である。
【0068】
【0069】
図１１は、第２実施形態の各装置の機能構成の例を示す図である。サーバ１０とスマートグラス２１は、第１実施形態の場合（図４Ａ）と同様である。事務所ＰＣ１１は、映像表示部１１１と、音声入力部１１２と、音声出力部１１３と、操作手順表表示部１１４と、操作結果承認部１１５と、通信部１１６と、記憶部１１７と、ディスプレイ１１８と、マイク１１９と、スピーカ１２０と、を備える。映像表示部１１１と、音声入力部１１２と、音声出力部１１３と、操作手順表表示部１１４と、操作結果承認部１１５とは、ＣＰＵ等により実現される機能部である。
【0070】
映像表示部１１１は、ディスプレイ１１８により映像（例えばスマートグラス２１と同じ映像）を表示する。
【0071】
音声入力部１１２は、マイク１１９から音声（事務所責任者Ｒの音声など）を取り込む。
【0072】
音声出力部１１３は、スピーカ１２０により音声を出力する。
【0073】
操作手順表表示部１１４は、操作手順表を表示する。その場合、例えば、実施中の操作手順がわかるように表示する。
【0074】
操作結果承認部１１５は、事務所責任者Ｒによる操作に基づいて、操作結果の承認処理を実行する。
【0075】
通信部１１６は、サーバ１０などの外部装置と通信を行う通信インタフェースである。
【0076】
記憶部１１７は、各種データ、各種プログラム、各種演算結果などを記憶する。
【0077】
図１２は、第２実施形態における現場操作のフローの例を示す図である。まず、事務所ＰＣ１１と現場のスマートグラス２１をサーバ１０に接続した状態で、事務所責任者Ｒは事務所ＰＣ１１を用いて現場操作開始を指示する。そうすると、従来技術のように事務所責任者Ｒなどによって当該手順や注意事項を読み上げるのではなく、音声合成部１０５による音声合成によって当該手順、注意事項を読み上げて音声を出力し、「盤２ ８スイッチを切にしてください」などと操作の指令を出す（Ｌ２１）。この指令は通信回線Ｎを介して事務所ＰＣ１１でも音声出力され、事務所責任者Ｒも聞くことができる。
【0078】
次に、現場操作者Ｍは前記音声による操作指令や映像内に文字表示した操作指令を確認の上、盤と操作箇所を探し、さらにＡＲ表示を参照し（図９の映像２２）、正しい操作箇所と操作方向を確認する（Ｌ２２）。また、現場操作者Ｍと事務所責任者Ｒがお互いに、当該操作箇所に間違いないことをＡＲ付き映像と音声会話により相互確認する。そして、現場操作者Ｍが操作を実施する（Ｌ２３）。操作後、現場操作者Ｍは「盤２ ８スイッチ きりヨシ」と指差呼称する（Ｌ２４）。
【0079】
音声認識部１０８は指差呼称を音声認識し、当該手順に関係づけられた判定文言が含まれていれば、現場での操作が完了したものと判定する。ただし、本実施形態での手順の最終承認者は事務所責任者Ｒであることから、事務所責任者Ｒは映像と音声から操作結果を確認し、問題なければ事務所ＰＣ１１を用いて承認操作を行い、操作結果承認部１１５は承認処理を実行する。操作結果承認部１１５による承認処理の完了後、サーバ１０は、操作手順表（図６）における当該手順に対応する実施時刻欄に操作完了時刻を記録し、次の手順に移る（Ｌ２５）。
【0080】
このように、第２実施形態によれば、第１実施形態の場合と同様に現場で一人で操作を行ったとしても二人体制での操作時と同等の確実性を担保できるとともに、事務所責任者Ｒの確認が入るため、誤認防止効果をより高めることができる。
【0081】
（第３実施形態）
次に、第３実施形態について説明する。第１実施形態、第２実施形態の少なくともいずれかと同様の事項については、説明を適宜省略する。
次に、第３実施形態について説明する。第１実施形態、第２実施形態の少なくともいずれかと同様の事項については、説明を適宜省略する。
【0082】
図１３は、第３実施形態の概要を示す図である。第３実施形態では、図１３に示すように、操作結果の承認について、操作前後のスイッチ等の状態を画像認識し、操作が確かに行われたことを確認する手段（映像２２ａ、２２ｂ、符号（４）参照）を取り入れ、操作結果完了の信頼性をより高める。
【0083】
第３実施形態の全体構成は、第１実施形態（図２）と同様である。
【0084】
図１４は、第３実施形態の各装置の機能構成の例を示す図である。第１実施形態の場合（図４Ａ）と比べて、サーバ１０に、画像認識部１０９４が追加されている。画像認識部１０９４は、現場操作者の指差呼称について音声認識部１０８によって当該手順の操作完了を示す判定文言が含まれており操作完了と判定された後、撮影画像における当該操作箇所の画像と、予め作成された操作結果確認用の学習モデルと、に基づいて、当該操作が正しく完了したか否かを追加で判定する。
【0085】
図１５は、第３実施形態の画像認識部１０９４の機能の概要を示す図である。画像認識部１０９４は、図１５に示すように、操作箇所ごとに、操作方向への操作後のスイッチ等状態を示す画像を登録しておく。そして、画像認識部１０９４は、ＡＲマーカにより示された操作箇所近傍の映像を取り込み、当該操作箇所の画像が図１５で定義される参照画像（操作結果画像）と一致すると判定すれば、その操作が行われたものと判定する。なお、スイッチによっては、スイッチの状態（位置）ではなくランプの点灯消灯で操作の有無を判断するものや、ＣＴ（Current Transformer：変流器）やＶＴ（Voltage Transformer：計器用変成器）のようにＴＴ（Test Terminal：試験用端子）の挿抜状態で判断するものもある。
【0086】
【0087】
Ｌ３４の後、音声認識部１０８は指差呼称を音声認識し、当該手順に関係づけられた判定文言が含まれていれば、現場での操作が完了したものと判定する。また、画像認識部１０９４による画像認識によって、操作結果が参照画像と一致していると判定した場合、最終的にその手順の完了を承認する。その後、サーバ１０は、操作手順表（図６）における当該手順に対応する実施時刻欄に操作完了時刻を記録し、次の手順に移る（Ｌ３５）。
【0088】
このように、第３実施形態によれば、第１実施形態の場合と同様に現場で一人で操作を行ったとしても二人体制での操作時と同等の確実性を担保できるとともに、画像認識による操作結果確認を併用することで、操作結果完了の確実性をより高めることができる。
【0089】
なお、本実施形態のサーバ１０、スマートグラス２１、事務所ＰＣ１１で実行されるプログラムは、例えば、ＲＯＭ等にあらかじめ組み込まれて提供される。また、これらのプログラムは、インストール可能な形式又は実行可能な形式のファイルでコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0090】
さらに、これらのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、これらのプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【0091】
本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【0092】
例えば、操作対象物は、電気所における電力機器や制御盤に限定されず、複数の操作箇所を有する設備であれば、その他の設備であってもよい。
【0093】
また、判定文言として、１つの操作に対して２つ以上が対応付けられてもよい。例えば、図６の操作（手順）「No.1」について、判定文言として「てどうよし」と「しゅどうよし」の２つを対応付けてもよい。
【0094】
また、現場操作者Ｍによる操作中はサーバ１０とスマートグラス２１の通信を無しにして、操作完了後に両者で通信して必要な情報の送受信（例えばスマートグラス２１からサーバ１０への操作結果情報の送信など）を行うようにしてもよい。
【符号の説明】
【0095】
１…事務所、２…電気所、１０…サーバ、１１…事務所ＰＣ、２０…制御盤、２１…スマートグラス、２２…映像、２３…ＡＲ表示、２４…ＡＲマーカ、１０１…操作箇所管理部、１０２…操作手順表管理部、１０３…通信部、１０４…記憶部、１０５…音声合成部、１０６…ＡＲマーカ認識部、１０７…ＡＲ合成部、１０８…音声認識部、１０９…処理部、１０９１…ディスプレイ、１０９２…マイク、１０９３…スピーカ、１０９４…画像認識部、１１１…映像表示部、１１２…音声入力部、１１３…音声出力部、１１４…操作手順表表示部、１１５…操作結果承認部、１１６…通信部、１１７…記憶部、１１８…ディスプレイ、１１９…マイク、１２０…スピーカ、２１１…映像入力部、２１２…映像表示部、２１３…音声入力部、２１４…音声出力部、２１５…通信部、２１６…記憶部、２１７…カメラ、２１８…ディスプレイ、２１９…マイク、２４０…ＡＲマーカ情報、２１０１…音声合成部、２１０２…ＡＲマーカ認識部、２１０３…ＡＲ合成部、２１０４…音声認識部、２１０５…処理部、Ｓ…操作支援システム、２１９１…スピーカ
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】