2024-162137 学習装置、状態読取システム、学習方法および学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162137

(43)【公開日】2024-11-21

(54)【発明の名称】学習装置、状態読取システム、学習方法および学習プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241114BHJP

   G06T 7/60 20170101ALI20241114BHJP

【ＦＩ】

G06T7/00 350B

G06T7/60 110

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023077390

(22)【出願日】2023-05-09

(71)【出願人】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100118762

【弁理士】

【氏名又は名称】高村 順

(72)【発明者】

【氏名】井上 景介

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096FA62

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

【課題】点検者により作成される盤と対象物の画像とを紐づけた定義情報を用いることなく盤の１つの撮影画像から複数の計器の状態を読み取ることを可能とする学習装置を得ること。
【解決手段】学習装置２５０は、点検対象の盤において複数の計器が実装された盤面が撮影された撮影画像と、撮影画像に含まれる複数の計器の各々の画像と、複数の計器の各々を識別して特定するための情報である識別用情報と、を含む学習用データを取得するデータ取得部２５１と、学習用データを用いて、撮影画像から、複数の計器の各々の画像と識別用情報とを推論するための学習済モデルを生成するモデル生成部２５２と、を備える。
【選択図】図１３

【特許請求の範囲】

【請求項1】

点検対象の盤において複数の計器が実装された盤面が撮影された撮影画像と、前記撮影画像に含まれる複数の前記計器の各々の画像と、複数の前記計器の各々を識別して特定するための情報である識別用情報と、を含む学習用データを取得するデータ取得部と、
前記学習用データを用いて、前記撮影画像から、複数の計器の各々の画像と前記識別用情報とを推論するための学習済モデルを生成するモデル生成部と、
を備えることを特徴とする学習装置。

【請求項2】

前記学習済モデルは、
前記撮影画像を入力することで前記撮影画像に含まれる複数の前記計器の各々の画像を出力する学習済モデルである画像検出用モデルと、
盤の撮影画像を入力することで前記撮影画像に含まれる文字情報を出力する学習済モデルである文字検出用モデルと、
を有することを特徴とする請求項１に記載の学習装置。

【請求項3】

モバイル端末と、前記モバイル端末と通信可能なサーバとを備え、点検対象の盤に実装された複数の計器の状態を読み取る状態読取システムであって、
前記モバイル端末は、前記盤において複数の前記計器が実装された盤面の画像である撮影画像を撮影する撮影部を備え、
前記サーバは、
前記撮影画像から、前記撮影画像に含まれる複数の前記計器の各々の画像と、複数の前記計器の各々を識別して特定するための情報である識別用情報と、を検出する検出部と、
複数の前記計器の各々の画像と、前記識別用情報とを用いて、複数の前記計器の各々の状態の情報を取得する状態読取部と、
を備え、
前記検出部は、前記撮影画像から、複数の計器の各々の画像と前記識別用情報とを推論するための学習済モデルを用いて、複数の計器の各々の画像と前記識別用情報とを検出すること、
を特徴とする状態読取システム。

【請求項4】

前記検出部は、前記撮影画像に含まれる前記計器の個数を検出し、
前記サーバは、前記盤に実装された前記計器の個数の情報と、前記検出部で検出された前記計器の個数の情報とを比較することにより、前記撮影画像に含まれる全ての前記計器が前記検出部において検出されたか否かを判定する検出結果判定部を備えること、
を特徴とする請求項３に記載の状態読取システム。

【請求項5】

前記モバイル端末は、
前記状態読取部において取得された複数の前記計器の各々の状態の情報である読取結果の情報を表示する表示部と、
前記読取結果に関する表現の情報を編集する読取結果編集部と、
を備えることを特徴とする請求項３または４に記載の状態読取システム。

【請求項6】

あらかじめ決められた電子文書である成績書に記載されている前記盤についての点検項目に対応する前記読取結果の情報を前記成績書に記載する成績書保存部を備えること、
を特徴とする請求項３に記載の状態読取システム。

【請求項7】

前記読取結果の情報に基づいて前記盤の稼働状態を取得する稼働状態判定部を備えること、
を特徴とする請求項３に記載の状態読取システム。

【請求項8】

点検対象の盤において複数の計器が実装された盤面が撮影された撮影画像と、前記撮影画像に含まれる複数の前記計器の各々の画像と、複数の前記計器の各々を識別して特定するための情報である識別用情報と、を含む学習用データを取得するステップと、
前記学習用データを用いて、前記撮影画像から、複数の計器の各々の画像と前記識別用情報とを推論するための学習済モデルを生成するステップと、
を含むことを特徴とする学習方法。

【請求項9】

点検対象の盤において複数の計器が実装された盤面が撮影された撮影画像と、前記撮影画像に含まれる複数の前記計器の各々の画像と、複数の前記計器の各々を識別して特定するための情報である識別用情報と、を含む学習用データを取得するステップと、
前記学習用データを用いて、前記撮影画像から、複数の計器の各々の画像と前記識別用情報とを推論するための学習済モデルを生成するステップと、
をコンピュータに実行させることを特徴とする学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、盤の計器の状態を読み取るための学習装置、状態読取システム、学習方法および学習プログラムに関する。

【背景技術】

【0002】

従来、設備の盤の種類および盤の型番等を特定して当該盤に設置されている計器の数値および状態を自動的に読み込む際には、読取対象となる盤の種類および盤の型番と対象物の画像とを紐づけた定義情報が利用されていた。定義情報が設定されていない盤を読取対象とする場合には、作業者は定義情報を新たに作成する必要があり、定義情報の管理が煩雑になっていた。

【0003】

特許文献１には、盤の画像からメータの領域および識別用情報の文字列を検出して、定義を使用せずに状態を読取るメータ読み取り作業装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１６６５８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１に記載のメータ読み取り作業装置では、定義情報を利用せずに盤の状態を撮影して状態を読み取り可能であるが、１回の撮影では１種類の対象しか読み込みできず、盤に複数種類の計器が搭載される場合には、何回も盤の画像を撮影する必要があり、手間がかかっていた。

【0006】

本開示は、上記に鑑みてなされたものであって、点検者により作成される盤と対象物の画像とを紐づけた定義情報を用いることなく盤の１つの撮影画像から複数の計器の状態を読み取ることを可能とする学習装置を得ることを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本開示にかかる学習装置は、点検対象の盤において複数の計器が実装された盤面が撮影された撮影画像と、撮影画像に含まれる複数の計器の各々の画像と、複数の計器の各々を識別して特定するための情報である識別用情報と、を含む学習用データを取得するデータ取得部と、学習用データを用いて、撮影画像から、複数の計器の各々の画像と識別用情報とを推論するための学習済モデルを生成するモデル生成部と、を備える。

【発明の効果】

【0008】

本開示によれば、点検者により作成される盤と対象物の画像とを紐づけた定義情報を用いることなく盤の１つの撮影画像から複数の計器の状態を読み取ることを可能とする学習装置が得られる、という効果を奏する。

【図面の簡単な説明】

【0009】

【図1】実施の形態１にかかる状態読取システムの構成を示す図

【図2】実施の形態１にかかる状態読取システムが備えるモバイル端末の構成を示す図

【図3】実施の形態１にかかる状態読取システムが備えるサーバの構成を示す図

【図4】実施の形態１にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図

【図5】実施の形態１にかかる状態読取システムが備えるサーバの設備データベースに記憶されている盤テーブルの一例を示す図

【図6】図５に示す盤テーブルに格納された画像の一例を示す図

【図7】実施の形態１にかかる状態読取システムが備えるサーバの点検データベースに記憶されている対象物テーブルの一例を示す図

【図8】実施の形態１にかかる状態読取システムが備えるサーバの状態読取部で状態を読み取る対象物の例を示す図

【図9】実施の形態１にかかる状態読取システムが備えるモバイル端末において撮影された撮影画像の例を示す第１の図

【図10】実施の形態１にかかる状態読取システムが備えるモバイル端末において撮影された撮影画像の例を示す第２の図

【図11】実施の形態１にかかる状態読取システムが備えるモバイル端末において撮影された撮影画像の例を示す第３の図

【図12】実施の形態１にかかる状態読取システムが備えるモバイル端末において撮影された撮影画像の例を示す第４の図

【図13】実施の形態１にかかる学習装置の構成を示す図

【図14】実施の形態１にかかる学習装置による学習処理の処理手順を示すフローチャート

【図15】実施の形態１にかかる学習装置が用いるニューラルネットワークの構成を示す図

【図16】実施の形態１にかかる学習装置が用いる学習用データの一例を示す図

【図17】実施の形態１にかかる学習装置における学習済モデルの出力の一例を示す図

【図18】実施の形態１にかかる学習装置のモデル生成部における盤の盤面についての学習内容の一例を示す図

【図19】実施の形態１にかかる学習装置のモデル生成部における盤の撮影画像に含まれるメータについての学習内容の一例を示す図

【図20】実施の形態１にかかる学習装置のモデル生成部における盤の撮影画像に含まれるランプについての学習内容の一例を示す図

【図21】実施の形態１にかかる推論装置の構成を示す図

【図22】実施の形態１にかかる推論装置による推論処理の処理手順を示すフローチャート

【図23】実施の形態１にかかる推論装置に入力される入力データの一例を示す図

【図24】実施の形態１にかかる推論装置から出力される出力データの一例を示す図

【図25】実施の形態１にかかる状態読取システムの動作の手順を示すフローチャート

【図26】実施の形態１にかかる状態読取システムが備えるサーバの状態読取部における対象物の状態の読取処理の手順の一例を示す第１のフローチャート

【図27】実施の形態１にかかる状態読取システムが備えるサーバの状態読取部における対象物の状態の読取処理の手順の一例を示す第２のフローチャート

【図28】実施の形態１にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果表示画面の一例を示す図

【図29】実施の形態１にかかる状態読取システムが備えるモバイル端末の表示部における対象物の読取結果のファイルの出力例を示す図

【図30】実施の形態２にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図

【図31】実施の形態２にかかる状態読取システムにおける学習装置が用いる学習用データの一例を示す図

【図32】実施の形態２にかかる学習装置の学習部における盤の盤面についての学習内容の一例を示す図

【図33】実施の形態２にかかる状態読取システムの動作の手順を示すフローチャート

【図34】実施の形態２にかかる状態読取システムの特徴的な動作の詳細な手順を示すフローチャート

【図35】実施の形態３にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図

【図36】実施の形態３にかかる状態読取システムの動作の手順を示すフローチャート

【図37】実施の形態３にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果表示画面の一例を示す図

【図38】実施の形態３にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果編集画面の一例を示す第１の図

【図39】実施の形態３にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果編集画面の一例を示す第２の図

【図40】実施の形態４にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図

【図41】実施の形態４にかかる状態読取システムの動作の手順を示すフローチャート

【図42】実施の形態４にかかる状態読取システムが備えるサーバの設備データベースに記憶されている盤テーブルの一例を示す図

【図43】実施の形態４にかかる状態読取システムが備えるサーバの点検データベースに記憶されている成績書様式テーブルの一例を示す図

【図44】実施の形態４にかかる状態読取システムの特徴的な動作の詳細な手順を示すフローチャート

【図45】実施の形態４にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果表示画面の一例を示す図

【図46】実施の形態４にかかる状態読取システムが備えるモバイル端末の表示部における成績書ファイルのファイルの出力例を示す図

【図47】実施の形態５にかかる状態読取システムが備えるサーバの構成を示す図

【図48】実施の形態５にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図

【図49】実施の形態５にかかる状態読取システムが備えるサーバの点検データベースに記憶されている点検結果テーブルの一例を示す図

【図50】実施の形態５にかかる稼働状態学習部による学習処理の処理手順を示すフローチャート

【図51】実施の形態５にかかる稼働状態学習部が用いる学習用データの一例を示す図

【図52】実施の形態５にかかる学習装置における稼働状態判定用パターンの出力の一例を示す図

【図53】実施の形態５にかかる状態読取システムの動作の手順を示すフローチャート

【図54】実施の形態５にかかる状態読取システムの特徴的な動作の詳細な手順を示すフローチャート

【図55】実施の形態５にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果表示画面の一例を示す図

【図56】実施の形態５にかかる状態読取システムが備えるモバイル端末の表示部における対象物の読取結果のファイルの出力例を示す図

【図57】実施の形態６にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図

【図58】実施の形態６にかかる学習装置が対象物の画像についての学習に用いる学習用データの一例を示す図

【図59】実施の形態６にかかる学習装置における学習済モデルの出力の一例を示す図

【図60】実施の形態６にかかる学習装置が識別用情報についての学習に用いる学習用データの一例を示す図

【図61】実施の形態６にかかる学習装置における学習済モデルの出力の一例を示す図

【図62】実施の形態６にかかる文字検出用モデルで出力される識別用情報である盤についての情報の一例を説明する図

【図63】実施の形態６にかかる文字検出用モデルで出力される識別用情報であるメータについての情報の一例を説明する図

【図64】実施の形態６にかかる文字検出用モデルで出力される識別用情報であるランプについての情報の一例を示す図

【図65】実施の形態６にかかる状態読取システムの動作の手順を示すフローチャート

【図66】実施の形態６にかかる状態読取システムが備えるサーバの対象物検出部における対象物に関連する識別用情報の確定処理の手順の一例を示すフローチャート

【図67】実施の形態６にかかる状態読取システムが備えるサーバの対象物検出部に入力される盤の撮影画像の一例を示す図

【図68】実施の形態６にかかる状態読取システムが備えるサーバの対象物検出部における計算処理の一例について説明する図

【図69】実施の形態１から６にかかる制御部のそれぞれの機能をハードウェアで実現した構成を示す図

【図70】実施の形態１から６にかかる制御部のそれぞれの機能をソフトウェアで実現した構成を示す図

【発明を実施するための形態】

【0010】

以下に、実施の形態にかかる学習装置、状態読取システム、学習方法および学習プログラムを図面に基づいて詳細に説明する。

【0011】

実施の形態１．
図１は、実施の形態１にかかる状態読取システムの構成を示す図である。図２は、実施の形態１にかかる状態読取システムが備えるモバイル端末の構成を示す図である。図３は、実施の形態１にかかる状態読取システムが備えるサーバの構成を示す図である。図４は、実施の形態１にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図である。図４では、状態読取システム１の動作の説明に用いられる構成部を抽出して示している。

【0012】

実施の形態１にかかる状態読取システム１は、モバイル端末１００と、サーバ２００と、を備える。状態読取システム１は、点検対象の設備３００に実装された複数の点検対象の対象物の状態を自動で読み取るシステムである。設備３００に実装された点検対象の対象物は、設備３００の外面に設けられた計器である。実施の形態１において設備３００は盤である。モバイル端末１００とサーバ２００とは、グローバルな情報通信網であるインターネット４００に接続し、互いに情報の送受信が可能とされている。すなわち、モバイル端末１００とサーバ２００とは、インターネット４００を介して情報の送受信が可能である。

【0013】

モバイル端末１００は、操作部１０１と、盤指定部１０２と、撮影部１０３と、表示部１０４と、出力部１０５と、端末記憶部１０６と、端末通信部１０７と、端末制御部１０８と、を備える。

【0014】

操作部１０１は、ユーザ操作、すなわちユーザからの設定操作を受け付ける操作受付部である。ユーザからの設定操作には、点検を行う盤を指定するための設定操作、すなわち対象物の状態を読み取る対象となる盤を指定するための設定操作が含まれる。操作部１０１は、ユーザ操作の入力を受け付けて、ユーザ操作に対応する情報を端末制御部１０８に送信する。操作部１０１は、キーボード、マウス、タッチパネル機能を備えたタッチパネルディスプレイなどの入力機器により構成され、モバイル端末１００に対する操作がユーザによって行われる。実施の形態１においては、操作部１０１は、表示部１０４とともにタッチパネルディスプレイによって構成される。

【0015】

盤指定部１０２は、サーバ２００の後述する盤データ取得部２０１から送信された設備３００の情報の中から、撮影対象の設備３００として指定する情報をサーバ２００の盤データ取得部２０１に送信する。すなわち、盤指定部１０２は、サーバ２００の後述する盤データ取得部２０１から送信された設備３００の情報である盤データの一覧の情報の中から、撮影対象の盤として指定する盤の情報である盤指定情報をサーバ２００の盤データ取得部２０１に送信する。盤指定部１０２は、ユーザからの設定操作によって入力される情報に基づいて、撮影対象の盤として指定する盤を特定する。撮影対象の盤は、点検対象の盤である。

【0016】

盤指定部１０２は、盤データ取得部２０１から送信された盤データの一覧の情報を受信すると、当該情報に基づいて盤データの一覧を表示部１０４に表示させて、撮影対象の盤の指定をユーザに促す。ユーザは、表示部１０４に表示された盤データの一覧において、撮影対象の盤として指定する盤を選択することで、撮影対象の盤として指定する盤の情報を盤指定部１０２に入力する。

【0017】

撮影部１０３は、不図示のカメラを備え、当該カメラの動作を制御して盤の画像を撮影し、撮影画像をサーバ２００の盤データ取得部２０１に送信する。なお、撮影部１０３は、モバイル端末１００に接続された外部カメラの動作を制御して盤の画像を撮影し、撮影画像を盤データ取得部２０１に送信してもよい。

【0018】

表示部１０４は、表示画面を備え、撮影部１０３で撮影された撮影画像、サーバ２００の後述する状態読取部２０３で読み取られた対象物の状態の情報、出力部１０５において取得された点検結果ファイルなどの情報を含む、モバイル端末１００の内部の各種情報を表示する。なお、表示部１０４における表示の制御は、端末制御部１０８によって行われてもよい。

【0019】

出力部１０５は、サーバ２００の後述する読取結果保存部２０４で作成された点検結果ファイルを取得し、モバイル端末１００の端末記憶部１０６に保存する。

【0020】

端末記憶部１０６は、モバイル端末１００の制御に用いられる情報を記憶する。端末記憶部１０６は、撮影部１０３で撮影された撮影画像、出力部１０５において取得された点検結果ファイルなどの情報を含む、状態読取システム１の機能に用いられる各種情報を記憶する。

【0021】

端末通信部１０７は、インターネット４００に接続し、モバイル端末１００の外部の機器との間で通信を行う。端末通信部１０７は、インターネット４００を介してサーバ２００との間で通信を行う。端末通信部１０７は、サーバ２００などの外部の機器から受信した情報を、端末制御部１０８などのモバイル端末１００の内部の構成部に送信する。端末通信部１０７は、盤指定情報および撮影画像などの各種情報をサーバ２００に送信する。

【0022】

端末制御部１０８は、モバイル端末１００全体の動作を制御する。端末制御部１０８は、端末通信部１０７から送信された各種情報を、端末記憶部１０６に記憶させる。

【0023】

サーバ２００は、学習プログラムがインストールされたコンピュータを有する。学習プログラムは、点検対象の盤において複数の対象物が実装された盤面が撮影された撮影画像と、撮影画像に含まれる複数の対象物の各々の画像と、複数の対象物の各々を識別して特定するための情報である識別用情報と、を含む学習用データを取得するステップと、学習用データを用いて、撮影画像から、複数の対象物の各々の画像と識別用情報とを推論するための学習済モデルを生成するステップと、を実現するためのプログラムである。

【0024】

サーバ２００は、盤データ取得部２０１と、対象物検出部２０２と、状態読取部２０３と、読取結果保存部２０４と、対象物学習部２０５と、サーバ通信部２０６と、サーバ制御部２０７と、サーバ記憶部２０８と、を備える。

【0025】

盤データ取得部２０１は、後述する設備データベース２０８１に記憶されている盤テーブルを取得し、盤テーブルに格納されている盤の情報をモバイル端末１００に送信する。また、盤データ取得部２０１は、モバイル端末１００の盤指定部１０２から送信された、撮影対象の盤として指定する盤の情報である盤指定情報を受信する。盤データ取得部２０１は、盤指定情報に示される盤を、撮影対象の盤として確定する。なお、データベースをＤＢと記載する場合がある。

【0026】

盤テーブルは、設備データベース２０８１に記憶され、盤を一意に識別するために必要な情報として、盤の名称の情報、盤の設置場所の情報、盤の画像を記憶する。すなわち、盤テーブルは、状態読取システム１に登録されている盤の情報の一覧を含むといえる。盤テーブルには、状態読取システム１の処理対象となる盤について、盤のＩＤ（Identification）、どのような名称の盤があるか、盤がどこに設置されているか、盤の盤面がどのような画像であるか、といった情報が格納されて定義されている。

【0027】

図５は、実施の形態１にかかる状態読取システムが備えるサーバの設備データベースに記憶されている盤テーブルの一例を示す図である。図６は、図５に示す盤テーブルに格納された画像の一例を示す図である。図５に示す盤テーブルには、盤ＩＤ、盤の名称、設置場所、画像といった、盤に関する情報の複数の項目が設けられており、対応する情報が格納されている。盤ＩＤは、盤に固有の識別情報である。設置場所は、盤が設置されている場所である。画像は、モバイル端末１００から送信された盤の撮影画像である。図６では、図５に示す盤テーブルにおける盤ＩＤがＭ００１の盤の撮影画像の例を示している。図６に示すように、盤の撮影画像は、盤においてメータおよびランプといった対象物が配置された盤面の画像である。

【0028】

対象物検出部２０２は、モバイル端末１００から送信された盤の撮影画像の情報を取得する撮影画像取得機能と、盤の撮影画像に含まれる対象物を検出する対象物検出機能と、を有する検出部である。

【0029】

対象物検出機能では、対象物検出部２０２は、対象物検出用モデル２０８３に盤の撮影画像の情報を入力して撮影画像に映っている盤における対象物を検出し、対象物の画像と、当該対象物を識別するための文字情報であって対象物の情報である識別用情報を取得する。対象物検出部２０２が検出する対象物の例は、メータ、ランプ、スイッチ、レバーが挙げられる。対象物の情報には、対象物の位置および種類とともに、型番、目盛りの値など対象物の内部に含まれる文字情報、対象物の位置情報が含まれる。

【0030】

また、対象物検出部２０２は、対象物検出用モデル２０８３に盤の撮影画像の情報を入力することにより、盤の情報を取得する。盤の情報には、例えばポンプ１号、ポンプ２号、といった対象物の動作に関与する装置の名称が含まれる。装置の名称は、状態読取部２０３において、対象物のグループ分けを行う際に使用される。

【0031】

対象物の識別用情報には、対象物の位置および対象物の種類の情報とともに、対象物の内部に含まれる文字情報が含まれる。対象物の内部に含まれる文字情報には、型番、目盛りの値、目盛りの値、文字の位置の情報が含まれる。

【0032】

対象物の位置の情報は、撮影画像に映っている盤の盤面における対象物の位置の情報であり、対象物が盤の盤面のどこにあるかを示す情報である。

【0033】

対象物検出部２０２は、推論装置２６０を備え、後述する学習済モデル２７３である対象物検出用モデル２０８３に盤の撮影画像の情報を入力して、撮影画像に映っている盤における対象物の画像および当該対象物についての識別用情報を取得する。対象物検出用モデル２０８３および推論装置２６０の詳細については後述する。

【0034】

対象物検出部２０２は、生成した対象物の画像の情報と、当該対象物についての識別用情報とを、対象物検出情報として状態読取部２０３に送信する。

【0035】

状態読取部２０３は、対象物検出部２０２から取得した、盤の情報と、対象物の画像の情報および識別用情報に基づいて、画像処理を用いて対象物の画像から対象物の状態である対象物状態を読み取り、対象物の状態の情報を取得する。状態読取部２０３は、取得した対象物の状態の情報をモバイル端末１００に送信する。

【0036】

すなわち、状態読取部２０３では、対象物の画像が入力とされて、対象物の状態の情報が出力とされる。状態読取部２０３が状態を読み取る対象物の例は、メータ、ランプ、スイッチ、レバーが挙げられる。対象物の状態の一例は、対象物がメータである場合におけるメータの針が指す値の情報、対象物がランプである場合におけるランプが点灯しているという情報あるいはランプが消灯しているという情報である。

【0037】

読取結果保存部２０４は、モバイル端末１００から状態読取結果を確定する旨の読取結果確定情報を受信した後に、盤の情報と、撮影画像と、対象物の読取結果を含む盤の読取結果の情報と、をまとめて１枚の点検結果のファイルに記録する機能を有する。

【0038】

また、読取結果保存部２０４は、盤の情報と撮影画像と盤の読取結果の情報とをまとめたファイルをモバイル端末１００の出力部１０５に送信する機能を有する。

【0039】

また、読取結果保存部２０４は、盤の情報と、撮影画像と、対象物の読取結果を含む盤の読取結果の情報とを点検データベース２０８２に格納する機能を有する。これにより対象物学習部２０５は、読取結果保存部２０４により点検データベース２０８２に格納された情報に基づいて対象物検出用モデル２０８３の学習を行うことができる。また、対象物学習部２０５は、点検データベース２０８２に随時格納される情報を用いて再学習が可能である。

【0040】

対象物学習部２０５は、学習装置２５０を備え、機械学習を用いた対象物の画像および識別用情報の学習を行い、学習済モデル２７３である対象物検出用モデル２０８３を生成し、サーバ記憶部２０８に格納する。学習装置２５０の詳細については後述する。

【0041】

サーバ記憶部２０８は、設備データベース２０８１と、点検データベース２０８２と、を備える。また、サーバ記憶部２０８は、対象物検出用モデル２０８３を記憶する。

【0042】

設備データベース２０８１は、点検対象の設備３００に関する情報、すなわち盤の情報である盤テーブルを格納するデータベースである。

【0043】

点検データベース２０８２は、点検対象の設備３００である盤に設けられた対象物に関する情報、すなわち、対象物の情報である対象物テーブルを格納する。また、点検データベース２０８２は、対象物を点検する際に使用される後述する成績書の情報を格納する。

【0044】

対象物テーブルは、点検対象物を一意に識別するために必要な情報として、対象物の種類、対象物の出力範囲などの情報を記憶する。すなわち、対象物テーブルは、状態読取システム１が状態を読み取る対象とする対象物に関する情報を格納し、状態を読み取る対象とする対象物について、対象物のＩＤ、どのような名称の対象物があるか、対象物の種類、対象物における情報の表示形態、対象物が設けられている盤の情報、対象物の画像、といった情報が格納されて定義されている。

【0045】

図７は、実施の形態１にかかる状態読取システムが備えるサーバの点検データベースに記憶されている対象物テーブルの一例を示す図である。図７に示す対象物テーブルには、対象物ＩＤ、名称、種類、出力範囲、表示、盤ＩＤ、対象物画像といった、対象物に関する情報の複数の項目が設けられており、対応する情報が格納されている。

【0046】

対象物ＩＤは、対象物に固有の識別情報である。また、対象物テーブルでは、１つの盤に複数の対象物が設置されている場合には、１つの盤ＩＤに対して複数の対象物ＩＤが連携する。種類は、対象物の種類であり、例えばメータ、ランプ、スイッチ、レバーなどであり、また円形メータといったさらに詳細な分類についても含まれる。出力範囲は、対象物の出力の範囲である。表示は、対象物の出力の表示形式であり、例えば％表示、稼働、停止で示される。盤ＩＤは、盤テーブルにも格納されている、盤に固有の識別情報であり、盤テーブルと共通の情報である。盤ＩＤにより、盤テーブルに格納された情報と、対象物テーブルに格納された情報とが紐づけられる。対象物画像は、対象物検出部２０２において取得された対象物の画像であり、撮影画像から切り取られ、あるいは撮影画像からコピーされた画像である。

【0047】

ここで、状態読取部２０３で状態を読み取る対象物の例について説明する。図８は、実施の形態１にかかる状態読取システムが備えるサーバの状態読取部で状態を読み取る対象物の例を示す図である。図８では、サンプル盤４１０に各種対象物が設置された状態を示している。図８に示すように、サーバ２００の状態読取部２０３で状態が読み取られる対象物としては、メータ、ランプ、スイッチおよびレバーがある。

【0048】

また、メータとしては、円形メータ、縦形メータ、角形メータ、カウント形メータが例示される。円形メータ、縦形メータおよび角形メータでは、状態読取部２０３で状態を読み取る際に、目盛りの位置および目盛りの値を認識後、針の位置と比較して針のとる値が読み取られる。カウント形メータでは、状態読取部２０３で状態を読み取る際に、数値が０－９にカウントされる部分の文字が読み取られる。

【0049】

ランプとしては、円形ランプおよび四角形ランプが例示される。ランプでは、状態読取部２０３で状態を読み取る際に、ランプ部分の明るさに基づいて、点灯状態と消灯状態とのうちのどちらかの状態が読み取られる。なお、ここでは、ランプの点滅状態の読み取りは対象外とする。

【0050】

スイッチとしては、スライド形スイッチおよびツマミ形スイッチが例示される。図８に示すスライド形スイッチでは、ハッチングが施されたツマミ部分が上下に動き、現在のスイッチの状態を示す表示であるＯＮあるいはＯＦＦの文字列が見える仕様とされている。図８に示すスライド形スイッチでは、状態読取部２０３で状態を読み取る際に、ＯＮあるいはＯＦＦの文字列が読み取られる。

【0051】

ツマミ形スイッチでは、状態読取部２０３で状態を読み取る際に、ツマミ部分の位置および回転方向におけるツマミ部分の傾きを認識後、ツマミ部分と当該ツマミ部分の周辺の文字列との対応関係を計算して、すなわちツマミ部分と当該ツマミ部分の周辺の文字列との距離を計算して、ツマミ形スイッチの状態が読み取られる。図８に示すツマミ形スイッチでは、状態読取部２０３で状態を読み取る際に、ツマミ形スイッチの状態として、「自動」あるいは「手動」の文字のうち、ツマミ部分に近い文字が読み取られる。

【0052】

レバーとしては、回転形レバーが例示される。図８に示すレバーでは、状態読取部２０３で状態を読み取る際に、ハッチングが施された持ち手部分の位置を認識後、持ち手部分と当該持ち手部分の周辺の文字列との対応関係を計算して、すなわち持ち手部分と当該持ち手部分の周辺の文字列との距離を計算して、レバーの状態が読み取られる。図８に示すレバーでは、状態読取部２０３で状態を読み取る際に、レバーの状態として、「１」、「２」あるいは「３」の文字が読み取られる。

【0053】

ここで、盤の撮影画像について説明する。点検時に撮影される盤の撮影画像では、天候および撮影場所などの撮影条件によって輝度が変化する。

【0054】

晴天の屋外環境下において撮影された撮影画像に映ったメータの画像では、映り込みが発生することで文字の一部が欠けて見えたり、文字自体が薄く見えたりする。晴天の屋外環境下において撮影された撮影画像に映ったランプの画像では、ランプの周辺部分が明るく見えるため、ランプが点灯していても暗く見える。

【0055】

図９は、実施の形態１にかかる状態読取システムが備えるモバイル端末において撮影された撮影画像の例を示す第１の図である。図９では、円形メータおよび円形ランプが設置されたサンプル盤４１０が晴天の屋外環境下において撮影された撮影画像を示している。図９では、盤の周囲が明るいため円形メータの文字が薄く見える様子を示している。また、図９では、盤の周囲が明るいため、点灯している円形ランプが暗く見える様子を示している。

【0056】

雨天下の屋外環境下において撮影された撮影画像に映ったメータおよびランプの画像では、周辺に水滴が付着した状態が見られる。

【0057】

図１０は、実施の形態１にかかる状態読取システムが備えるモバイル端末において撮影された撮影画像の例を示す第２の図である。図１０では、図９の場合と同じサンプル盤４１０が雨天下の屋外環境下において撮影された撮影画像を示している。図１０では、円形メータおよび円形ランプ共に、表面に水滴４１１が付着している様子を示している。

【0058】

明るい場所での屋内環境下において撮影された撮影画像に映ったメータおよびランプの画像では、撮影場所の明るさによっては、晴天時の屋外環境下において撮影された撮影画像と同様に映り込みが発生する。

【0059】

図１１は、実施の形態１にかかる状態読取システムが備えるモバイル端末において撮影された撮影画像の例を示す第３の図である。図１１では、図９の場合と同じサンプル盤４１０が明るい場所での屋内環境下において撮影された撮影画像を示している。図１１では、円形メータおよび円形ランプ共に、撮影場所の明るさによって若干暗く見える様子を示している。

【0060】

暗い場所での屋内環境下において撮影された撮影画像に映ったメータの画像では、周囲が暗いため、文字の輪郭が映りにくくなる。暗い場所での屋内環境下において撮影された撮影画像に映ったランプの画像では、周囲が暗いもののランプの明るさは明るい環境下と同じように見える。

【0061】

図１２は、実施の形態１にかかる状態読取システムが備えるモバイル端末において撮影された撮影画像の例を示す第４の図である。図１２では、盤の周囲が暗いため円形メータの文字の輪郭が映りにくくなっている様子を示している。

【0062】

対象物検出用モデル２０８３は、盤の撮影画像を入力することで、盤の撮影画像内に含まれる対象物の画像と、盤の情報と、盤の撮影画像内に含まれる文字情報であり当該対象物を識別するための情報である識別用情報を出力する学習済モデルである。対象物検出用モデル２０８３は、文字認識により、装置の情報として、「ポンプ１号」、「ポンプ２号」など、対象物の動作に関与する装置の名称を取得する。また、対象物検出用モデル２０８３は、文字認識と物体認識とを組み合わせて、対象物の情報として、対象物の位置および種類とともに、対象物の内部に含まれる文字情報を取得する。

【0063】

サーバ通信部２０６は、インターネット４００に接続してサーバ２００の外部の機器との間で通信を行う。すなわち、サーバ通信部２０６は、インターネット４００を介してモバイル端末１００との間で通信を行う。

【0064】

サーバ制御部２０７は、サーバ２００全体の動作を制御する。

【0065】

つぎに、対象物学習部２０５が備える学習装置２５０について説明する。図１３は、実施の形態１にかかる学習装置の構成を示す図である。学習装置２５０は、データ取得部２５１と、モデル生成部２５２と、学習済モデル記憶部２５３とを備えている。データ取得部２５１は、状態読取システム１における第１データ取得部である。なお、学習済モデル記憶部２５３は、学習装置２５０の外部にあってもよく、サーバ２００のサーバ記憶部２０８に設けられてもよい。

【0066】

学習装置２５０は、学習用データに基づいて、対象物の画像および識別用情報を学習する。すなわち、学習装置２５０は、設備データベース２０８１に記憶された盤テーブルに含まれる盤の撮影画像と、点検データベース２０８２に記憶された対象物テーブルに含まれる対象物の画像および対象物の情報である識別用情報とに基づいて、対象物の画像および識別用情報と、盤の撮影画像と、の関係を学習して、対象物検出用モデル２０８３である学習済モデル２７３を生成する。学習装置２５０は、当該学習装置２５０に入力される、複数の盤についての学習用データに基づいて、対象物の画像および識別用情報を学習する。これにより、学習装置２５０は、複数の盤についての学習用データを学習することができる。すなわち、学習装置２５０は、盤テーブルから盤の画像を取得し、対象物テーブルから対象物の情報を取得して、盤全体の画像における、対象物の位置の情報、対象物の種類の情報を学習する。

【0067】

データ取得部２５１は、入力情報２７１と、入力情報２７１に対応する状態の検出情報２７２とを、学習用データとして取得する。入力情報２７１は、対象物の撮影画像を含む。検出情報２７２は、入力情報２７１に示される状態に対応する対象物の画像および当該対象物の識別用情報である。ここで、学習用データは、入力情報２７１および検出情報２７２を互いに関連付けたデータである。データ取得部２５１は、学習用データを、サーバ２００のサーバ記憶部２０８から取得する。また、学習用データは、サーバ２００の外部の機器からデータ取得部２５１に入力されてもよい。データ取得部２５１は、入力情報２７１と検出情報２７２とを対応付けることによって学習用データを生成する。

【0068】

モデル生成部２５２は、データ取得部２５１から送られてくる、入力情報２７１と検出情報２７２との組合せに基づいて作成される学習用データに基づいて、入力情報２７１に対応する対象物の画像、盤の情報および識別用情報を学習する。モデル生成部２５２は、入力情報２７１および検出情報２７２から、入力情報２７１に対応する対象物の画像、盤の情報および識別用情報を推論するための学習済モデル２７３を生成する。すなわち、モデル生成部２５２は、学習用データに基づいて、盤全体の画像における、対象物の位置の情報、対象物の種類の情報を学習する。

【0069】

なお、上述したように、点検時に撮影される盤の撮影画像では、天候および撮影場所などの撮影条件によって輝度が変化する。このため、モデル生成部２５２は、図９から図１２に示したような異なる撮影環境において撮影された盤の撮影画像も使用して学習を行う。

【0070】

つぎに、図１４を用いて学習装置２５０による学習処理の処理手順について説明する。図１４は、実施の形態１にかかる学習装置による学習処理の処理手順を示すフローチャートである。

【0071】

ステップＳ１１０において、データ取得部２５１は、学習用データを取得する。具体的には、データ取得部２５１は、学習用データとして、入力情報２７１と検出情報２７２とを取得する。なお、データ取得部２５１は、入力情報２７１と検出情報２７２とを同じタイミングで取得してもよいし、別々のタイミングで取得してもよい。すなわち、データ取得部２５１は、入力情報２７１と検出情報２７２とを関連付けられれば、入力情報２７１と検出情報２７２とを何れのタイミングで取得してもよい。

【0072】

ステップＳ１２０において、モデル生成部２５２は、データ取得部２５１によって取得された、入力情報２７１と検出情報２７２との組合せである学習用データに従って、学習処理を実行する。モデル生成部２５２は、例えば、学習用データに従って、いわゆる教師あり学習により、学習済モデル２７３を生成する。モデル生成部２５２は、対象物の形状および対象物の内部に含まれる文字を認識する学習を行うため、教師あり学習に因り学習を行って学習済モデル２７３を生成する。

【0073】

ステップＳ１３０において、学習済モデル記憶部２５３が、学習済モデル２７３を記憶する。すなわち、モデル生成部２５２は、生成した学習済モデル２７３を学習済モデル記憶部２５３に記憶させる。

【0074】

モデル生成部２５２が用いる学習アルゴリズムは教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。一例として、モデル生成部２５２が、ニューラルネットワークを用いた教師あり学習を実行する場合について説明する。

【0075】

モデル生成部２５２は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、検出情報２７２を学習する。ここで、教師あり学習とは、入力と結果（ラベル）のデータの組を学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。

【0076】

ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、および複数のニューロンからなる出力層で構成される。中間層は、１層、または２層以上でもよい。

【0077】

図１５は、実施の形態１にかかる学習装置が用いるニューラルネットワークの構成を示す図である。例えば、図１５に示すような３層のニューラルネットワークであれば、複数のデータが入力層Ｘ１からＸ３に入力されると、その値に重みｗ１１からｗ１６を掛けて中間層Ｙ１からＹ２に入力され、その結果にさらに重みｗ２１からｗ２６を掛けて出力層Ｚ１からＺ３より出力される。この出力結果は、重みｗ１１からｗ１６および重みｗ２１からｗ２６の値によって変わる。

【0078】

実施の形態１において、ニューラルネットワークは、データ取得部２５１によって取得される入力情報２７１と、検出情報２７２との組合せに基づいて作成される学習用データ（データセット）に従って、いわゆる教師あり学習により、検出情報２７２を学習する。

【0079】

すなわち、ニューラルネットワークは、入力層Ｘ１からＸ３に入力情報２７１を入力して出力層Ｚ１からＺ３より出力された結果が、検出情報２７２に近づくように重みｗ１１からｗ１６，ｗ２１からｗ２６を調整することで学習する。

【0080】

モデル生成部２５２は、以上のような学習を実行することで学習済モデル２７３を生成し、出力する。

【0081】

学習済モデル記憶部２５３は、モデル生成部２５２から出力された学習済モデル２７３を記憶する。

【0082】

つぎに、上述したステップＳ１１０において取得される学習用データの具体例について説明する。図１６は、実施の形態１にかかる学習装置が用いる学習用データの一例を示す図である。図１６に示すように学習装置２５０が用いる学習用データの入力情報２７１には、盤の画像の情報、すなわち盤の撮影画像の情報が含まれる。また、学習装置２５０が用いる学習用データの検出情報２７２には、学習用データの入力情報２７１に対応する教師データである、盤に含まれる対象物の画像の情報および当該対象物の識別用情報が含まれる。盤に含まれる対象物は、盤の撮影画像に含まれる対象物である。

【0083】

図１７は、実施の形態１にかかる学習装置における学習済モデルの出力の一例を示す図である。学習済モデル２７３に学習用データとして図１６に示す盤の画像が入力されると、学習済モデル２７３からは出力データとして図１７に示すように当該盤の画像に含まれる対象物の画像および識別用情報が出力される。

【0084】

図１８は、実施の形態１にかかる学習装置のモデル生成部における盤の盤面についての学習内容の一例を示す図である。学習装置２５０は、盤の盤面について、盤の撮影画像に含まれる、例えば「ポンプ１号」、「ポンプ２号」といった装置の名称の情報、盤の撮影画像における各名称の位置の情報を、盤の情報として学習する。

【0085】

図１９は、実施の形態１にかかる学習装置のモデル生成部における盤の撮影画像に含まれるメータについての学習内容の一例を示す図である。モデル生成部２５２は、盤の撮影画像に含まれるメータについて、「盤上の位置」、「範囲」、「型番」、「単位」、「目盛りの値」、「目盛りの位置」などの情報を識別用情報として学習する。

【0086】

図２０は、実施の形態１にかかる学習装置のモデル生成部における盤の撮影画像に含まれるランプについての学習内容の一例を示す図である。モデル生成部２５２は、盤の撮影画像に含まれるランプについて、「盤上の位置」、「範囲」、「形状」、「点灯時の色」、「消灯時の色」などの情報を識別用情報として学習する。

【0087】

つぎに、対象物検出部２０２が備える推論装置２６０について説明する。図２１は、実施の形態１にかかる推論装置の構成を示す図である。推論装置２６０は、データ取得部２６１と、推論部２６２とを備えている。データ取得部２６１は、状態読取システム１における第２データ取得部である。推論部２６２は、学習済モデル記憶部２５３に接続されている。

【0088】

入力情報２７１のうちの盤の撮影画像の情報が、データ取得部２６１に入力される。すなわち、モバイル端末１００の撮影部１０３で撮影された盤の撮影画像の情報が、データ取得部２６１に入力される。推論部２６２は、学習装置２５０によって得られた学習済モデル２７３を用いて、入力情報２７１に示される状態に対応する対象物の画像の情報および識別用情報を検出情報２７２として出力する。

【0089】

データ取得部２６１は、盤の撮影画像の情報を推論用データとして取得する。推論用データは、モバイル端末１００から送信されてデータ取得部２６１に入力される。

【0090】

推論部２６２は、得られた学習済モデル２７３を用いて、検出情報２７２を出力する。推論部２６２は、学習済モデル記憶部２５３から学習済モデル２７３を読み出す。推論部２６２は、盤の撮影画像の情報を学習済モデル２７３に入力する。これにより、推論部２６２は、推論用データに示される状態に対応する対象物の画像の情報、盤の情報および識別用情報を検出情報２７２として推論する。すなわち、推論部２６２は、検出情報２７２を推論するための学習済モデル２７３に、データ取得部２６１で取得した、検出情報２７２を推論するための推論用データである盤の撮影画像の情報を入力することで、推論用データから推論される、検出情報２７２である対象物の画像の情報、盤の情報および識別用情報を出力することができる。

【0091】

つぎに、図２２を用いて、推論装置２６０による推論処理の処理手順について説明する。図２２は、実施の形態１にかかる推論装置による推論処理の処理手順を示すフローチャートである。

【0092】

ステップＳ２１０において、データ取得部２６１は、推論用データを取得する。すなわち、データ取得部２６１は、盤の撮影画像の情報を推論用データとして取得する。

【0093】

ステップＳ２２０において、推論部２６２は、学習済モデル記憶部２５３に記憶された学習済モデル２７３に、データ取得部２６１が取得した推論用データである盤の撮影画像の情報を入力し、学習済モデル２７３により得られた推論結果として、入力した情報に対応する対象物の画像の情報、盤の情報および識別用情報を得る。

【0094】

ステップＳ２３０において、学習済モデル２７３により得られた推論結果が、対象物検出部２０２に出力される。具体的に、推論部２６２が、学習済モデル２７３により得られた推論結果を対象物検出部２０２に出力する。対象物検出部２０２は、推論結果を対象物検出情報として状態読取部２０３に送信する。

【0095】

学習済モデル２７３により得られた推論結果は、データ取得部２６１が取得した推論用データに対応する対象物の画像の情報、盤の情報および識別用情報である。

【0096】

ステップＳ２４０において、状態読取部２０３は、対象物検出情報である対象物の画像の情報および識別用情報を用いて対象物の状態の読み取りを行う。

【0097】

図２３は、実施の形態１にかかる推論装置に入力される入力データの一例を示す図である。図２３では、データ取得部２６１に入力される盤の撮影画像の例を示している。図２４は、実施の形態１にかかる推論装置から出力される出力データの一例を示す図である。図２４では、図２３に示す盤の撮影画像に基づいて推論装置２６０から出力される推論結果のうち識別用情報について示している。図２４に示す例では、識別用情報として、「装置の情報」および「対象物の情報」が示されている。「装置の情報」には、「装置Ｎｏ．」、「装置名称」、「位置」などの情報が含まれる。「対象物の情報」には、「対象物Ｎｏ．」、「盤上の位置」、「範囲」、「種類」、「型番」、「目盛りの値」、「目盛りの位置」などの情報が含まれる。

【0098】

つぎに、実施の形態１にかかる状態読取システム１の動作について説明する。図２５は、実施の形態１にかかる状態読取システムの動作の手順を示すフローチャートである。

【0099】

まず、ステップＳ１００１では、モバイル端末１００において状態読取システム１が起動される。モバイル端末１００の端末制御部１０８は、起動情報をサーバ２００の盤データ取得部２０１に送信する。

【0100】

つぎに、ステップＳ２００１では、サーバ２００の盤データ取得部２０１が、ユーザが使用可能な盤の情報を検索する。すなわち、盤データ取得部２０１は、起動情報を受信すると、当該起動情報に基づいてサーバ２００のサーバ記憶部２０８の設備データベース２０８１にアクセスし、ユーザが使用可能な盤の情報を検索する。

【0101】

つぎに、ステップＳ２００２では、サーバ２００の盤データ取得部２０１が、ユーザが使用可能な盤のデータを取得する。すなわち、盤データ取得部２０１は、設備データベース２０８１に記憶されている盤テーブルを取得し、当該盤テーブルに格納されている複数の盤のデータをモバイル端末１００の盤指定部１０２に送信する。盤のデータは、例えば盤のＩＤである。盤テーブルに格納されている複数の盤のデータは、設備３００の情報である盤データの一覧の情報であり、例えば盤のＩＤの一覧の情報である。

【0102】

つぎに、ステップＳ１００２では、モバイル端末１００の表示部１０４が、盤のデータを表示する。すなわち、表示部１０４は、サーバ２００から送信された盤のデータを受信すると、当該盤のデータを表示する。

【0103】

つぎに、ステップＳ１００３では、モバイル端末１００の盤指定部１０２が、撮影対象の盤を指定する。すなわち、盤指定部１０２は、ユーザからの指示に基づいて、盤データ取得部２０１から取得した盤のデータの中から撮影対象の盤を選択し、撮影対象の盤として指定する盤の情報である盤指定情報をサーバ２００の盤データ取得部２０１に送信する。盤指定情報には、盤を一意に特定するための情報として盤ＩＤまたは盤の名称が含まれる。撮影対象の盤は、状態読取システム１を用いて点検が行われる点検対象の盤である。

【0104】

つぎに、ステップＳ２００３では、サーバ２００の盤データ取得部２０１が、撮影対象の盤を確定する。すなわち、盤データ取得部２０１は、盤指定部１０２から送信された盤指定情報を受信し、当該盤指定情報に示される盤を撮影対象の盤として決定する。

【0105】

つぎに、ステップＳ１００４では、モバイル端末１００の撮影部１０３が、盤を含む画像を撮影し、撮影した盤の撮影画像の情報と、当該盤の情報とを、サーバ２００の対象物検出部２０２に送信する。

【0106】

つぎに、ステップＳ２００４では、サーバ２００の対象物検出部２０２が、モバイル端末１００の撮影部１０３から送信された盤の撮影画像の情報を受信する。また、サーバ２００の対象物検出部２０２は、盤の情報も受信する。

【0107】

つぎに、ステップＳ２００５では、サーバ２００の対象物検出部２０２が、盤の撮影画像に映っている対象物を検出する。すなわち、対象物検出部２０２は、サーバ２００のサーバ記憶部２０８に記憶された対象物検出用モデル２０８３に盤の撮影画像の情報を入力する。対象物検出用モデル２０８３は、撮影画像に映っている盤に含まれる対象物を検出し、対象物の画像の情報と、識別用情報である当該対象物についての対象物の情報とを生成して、対象物検出部２０２に出力する。また、対象物検出部２０２は、指定された盤の情報を、対象物テーブルから取得する。対象物検出部２０２は、指定された盤の情報と、対象物の画像の情報と、当該対象物についての対象物の情報とを、対象物検出情報として状態読取部２０３に送信する。なお、一般的な盤では、撮影画像に映っている対象物の数量は複数となる。

【0108】

つぎに、ステップＳ２００６では、サーバ２００の状態読取部２０３が、対象物状態を読み取る。すなわち、状態読取部２０３は、対象物検出部２０２から取得した対象物の画像の情報および識別用情報に基づいて、画像処理を用いて対象物の画像の情報から対象物の状態である対象物状態を読み取り、対象物の状態の情報を取得する。

【0109】

状態読取部２０３は、対象物検出部２０２で検出された対象物ごとに、すなわち、対象物検出部２０２から取得した対象物の画像の情報ごとに、対象物の状態の情報を取得する。すなわち、状態読取部２０３は、対象物検出部２０２で検出された対象物の個数に対応する回数だけ、対象物状態の読取処理を、すなわち対象物の状態の情報の取得処理を、繰り返す。

【0110】

図２６は、実施の形態１にかかる状態読取システムが備えるサーバの状態読取部における対象物の状態の読取処理の手順の一例を示す第１のフローチャートである。図２６では、状態読取部２０３が対象物である円形メータの状態を読み取る場合について示している。

【0111】

まず、ステップＳ３１０では、状態読取部２０３が、対象物の画像の情報である円形メータの画像および当該円形メータの識別用情報を取得する。

【0112】

つぎに、ステップＳ３２０では、状態読取部２０３が、盤の情報と、識別用情報に含まれる円形メータの盤上の位置の情報から、装置である盤と円形メータとを対応付ける。すなわち、状態読取部２０３は、対象物の位置情報および装置の位置情報から、対象物のグループ分けを行う。例えば、状態読取部２０３は、対象物が「ポンプ１号」と「ポンプ２号」とのうちのどちらに含まれるかを分ける。

【0113】

つぎに、ステップＳ３３０では、状態読取部２０３が、円形メータの針の動く範囲内の画像を、対象物の画像の情報である円形メータの画像から抽出する。

【0114】

つぎに、ステップＳ３４０では、状態読取部２０３が、円形メータの針がとる値を、すなわち、円形メータの針が指し示す値を、対象物の画像の情報である円形メータの画像の情報から検出する。以上により、円形メータの状態が、読み取られる。

【0115】

例えばメータの場合、状態読取部２０３は、ステップＳ３１０で取得した識別用情報に含まれる目盛りの位置を利用して針の動く範囲を取得する。さらに、状態読取部２０３は、上記の範囲に含まれる画像を抽出する。そして、状態読取部２０３は、例えばメータの場合、上記のようにして取得した画像と目盛りの値を対応付けるとともに、ヒストグラムなどによって針の動く範囲の画素値の変化から針の位置を検出して、針のとる値を検出する。

【0116】

例えばランプの場合、状態読取部２０３は、ステップＳ３１０で取得した識別用情報に含まれるランプの画像の中心部分の輝度、すなわち画素値を取得する。そして、状態読取部２０３は、上記のようにして取得した輝度値と、予め状態読取部２０３に定義してある点灯の輝度値あるいは消灯の輝度値とを比較して、ランプの状態を検出する。

【0117】

図２７は、実施の形態１にかかる状態読取システムが備えるサーバの状態読取部における対象物の状態の読取処理の手順の一例を示す第２のフローチャートである。図２７では、状態読取部２０３が対象物であるランプの状態を読み取る場合について示している。

【0118】

まず、ステップＳ４１０では、状態読取部２０３が、対象物の画像の情報であるランプの画像および当該ランプの識別用情報を取得する。

【0119】

つぎに、ステップＳ４２０では、状態読取部２０３が、識別用情報に含まれるランプの位置の情報から、装置である盤とランプとを対応付ける。

【0120】

つぎに、ステップＳ４３０では、状態読取部２０３が、ランプの中心部の輝度の情報を、対象物の画像の情報であるランプの画像から取得する。

【0121】

つぎに、ステップＳ４４０では、状態読取部２０３が、ランプの中心部の輝度の情報をあらかじめ決められた輝度の基準値と比較してランプの状態を判定する。これにより、状態読取部２０３は、ランプの状態が点灯状態であるか、あるいはランプの状態が消灯状態であるかというランプの状態の情報を取得する。以上により、ランプの状態が、読み取られる。

【0122】

つぎに、ステップＳ２００７では、サーバ２００の状態読取部２０３が、対象物の読取結果の情報を集計する。すなわち、状態読取部２０３は、対象物の画像の情報と、盤の情報および当該対象物についての対象物の情報と、を紐づけて集計する。これにより、各対象物について、対象物の種類の情報と、ステップＳ２００６で読み取った対象物の状態の情報とが紐づけられる。状態読取部２０３は、盤の情報と、対象物の画像の情報と、当該対象物についての対象物の情報と、取得した対象物の状態の情報を集計した対象物の読取結果の情報である状態読取結果の情報と、をモバイル端末１００の表示部１０４に送信する。なお、以下では、状態読取結果を読取結果と呼ぶ場合がある。

【0123】

つぎに、ステップＳ１００５では、モバイル端末１００の表示部１０４が、盤全体の読取結果を表示する。すなわち、表示部１０４は、サーバ２００の状態読取部２０３から送信された情報を受信すると、対象物の画像の情報と、当該対象物についての対象物の情報と、盤全体の対象物の読取結果の情報とを表示する。

【0124】

図２８は、実施の形態１にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果表示画面の一例を示す図である。図２８では、対象物であるポンプ１号についての、対象物の読取結果の情報が表示された読取結果表示画面を示している。図２８に示す読取結果表示画面では、盤の撮影画像、盤の情報であるポンプ１号に関する情報、対象物の読取結果の情報である円形メータおよび円形ランプの読取結果の情報が、表示されている。

【0125】

図２８に示す読取結果表示画面では、撮影画像の上に、対象物検出部２０２で検出した対象物の位置が、番号および破線を重ねて表示される。また、図２８に示す読取結果表示画面では、盤指定部１０２で指定した撮影対象の盤の名称および設置場所が表示される。また、図２８に示す読取結果表示画面では、点検結果として、状態読取部２０３ので対応付けたグループごとの点検結果、すなわちポンプ１号およびポンプ２号ごとの点検結果を表示させる。

【0126】

つぎに、ステップＳ１００６では、モバイル端末１００の端末制御部１０８が、対象物の読取結果が確定されたか否かを判定する。すなわち、端末制御部１０８は、ユーザから対象物の読取結果を確定する旨の確定情報が端末制御部１０８に入力された場合に、対象物の読取結果が確定されたと判定する。端末制御部１０８は、ユーザから対象物の読取結果を破棄する旨の破棄情報が端末制御部１０８に入力された場合に、対象物の読取結果が確定されていないと判定する。

【0127】

図２８に示す読取結果表示画面では、「登録」のボタンが選択されると、対象物の読取結果を確定する旨の確定情報が端末制御部１０８に入力される。また、図２８に示す読取結果表示画面では、「撮り直し」のボタンが選択されると、対象物の読取結果を破棄する旨の破棄情報が端末制御部１０８に入力される。ユーザは、例えば対象物の状態が適切に読み取られていない場合、読取結果表示画面に示された対象物の状態の読取結果の情報がユーザが実際に見ている対象物の状態と整合していない場合などに「撮り直し」のボタンを選択する。図２８に示す読取結果表示画面では、「次へ」のボタンおよび「前へ」ボタンにより、グループの切替が可能とされている。図２８に示す読取結果表示画面では、「次へ」のボタンが選択されると、ポンプ２号についての、対象物の読取結果の情報が表示された読取結果表示画面が表示される。図２８に示す読取結果表示画面では、「取消」ボタンが選択されると状態読取システムが終了する。図２８に示す読取結果表示画面では、「確定」ボタンが選択されると、撮影画像、盤の情報、点検結果の情報がサーバ２００に送信される。

【0128】

対象物の読取結果が確定されたと判定された場合は、ステップＳ１００６においてＹｅｓとなり、読取結果表示画面に表示された情報を端末制御部１０８がサーバ２００の読取結果保存部２０４に送信して、ステップＳ２００８に進む。すなわち、端末制御部１０８は、盤の情報と、対象物の画像の情報と、当該対象物についての対象物の情報と、取得した対象物の状態の情報を集計した対象物の読取結果の情報である状態読取結果の情報と、をサーバ２００の読取結果保存部２０４に送信する。

【0129】

対象物の読取結果が確定されていないと判定と判定された場合は、ステップＳ１００６においてＮｏとなり、読取結果表示画面に表示された情報を端末制御部１０８が破棄して、ステップＳ１００４に戻る。

【0130】

ステップＳ２００８では、サーバ２００の読取結果保存部２０４が、モバイル端末１００から受信したデータを対象物の読取結果の１つのファイルにまとめ、サーバ２００のサーバ記憶部２０８の点検データベース２０８２に登録する。すなわち、読取結果保存部２０４は、盤の情報と、対象物の画像の情報と、当該対象物についての対象物の情報と、取得した対象物の状態の情報を集計した対象物の読取結果の情報である状態読取結果の情報とを対象物の読取結果の１つのファイルにまとめ、点検結果テーブルとして点検データベース２０８２に記憶させる。

【0131】

また、読取結果保存部２０４は、まとめた対象物の読取結果のファイルをモバイル端末１００の出力部１０５に送信する。

【0132】

つぎに、ステップＳ１００７では、モバイル端末１００の出力部１０５が、対象物の読取結果のファイルを、モバイル端末１００の端末記憶部１０６に記憶させる。

【0133】

図２９は、実施の形態１にかかる状態読取システムが備えるモバイル端末の表示部における対象物の読取結果のファイルの出力例を示す図である。図２９では、対象物の読取結果のファイルを用いて表示される、盤の読取結果の情報が表示された点検結果表示画面を示している。図２９に示す点検結果表示画面では、盤の撮影画像、盤の情報、対象物の読取結果の情報である状態読取結果の情報が、表示されている。

【0134】

なお、上記においては、状態読取システム１は、状態を読取る対象を盤に実装された計器としているが、点検対象はこれに限定されない。状態読取システム１は、例えば自動車などの機器に設けられている速度計のメータおよびガソリン残量表示等のランプといった計器の状態の読み取りにも適用可能である。

【0135】

上述した実施の形態１にかかる状態読取システム１では、点検対象の盤において複数の計器が実装された盤面が撮影された撮影画像と、撮影画像に含まれる複数の計器の各々の画像と、複数の計器の各々を識別して特定するための情報である識別用情報と、を含む学習用データを取得するデータ取得部と、学習用データを用いて、撮影画像から、複数の計器の各々の画像と識別用情報とを推論するための学習済モデルを生成するモデル生成部と、を備える学習装置が実現されている。

【0136】

状態読取システム１は、盤の撮影画像を入力することで、盤の撮影画像内に含まれる対象物の画像と、盤の撮影画像内に含まれる文字情報であり当該対象物を識別するための情報である識別用情報を出力する学習済モデルである対象物検出用モデル２０８３をサーバ記憶部２０８に記憶する。そして、サーバ２００の対象物検出部２０２は、対象物検出用モデル２０８３に盤の撮影画像の情報を入力することで、撮影画像に映っている盤に含まれる対象物を検出し、対象物の画像の情報と、当該対象物についての対象物の情報である識別用情報とを生成する。また、サーバ２００の状態読取部２０３は、対象物検出部２０２から取得した対象物の画像の情報および識別用情報に基づいて、画像処理を用いて対象物の画像の情報から対象物の状態である対象物状態を読み取り、対象物の状態の情報を取得する。

【0137】

これにより、状態読取システム１は、盤に実装されている複数種類および複数個の全ての対象物の状態を１枚の盤の撮影画像から読取り、全ての対象物の読取結果を同時に出力することができるため、点検作業が容易になり、点検作業の効率化を実現できる。

【0138】

これにより、状態読取システム１は、読取対象となる盤の種類および盤の型番と対象物の画像とを紐づけた識別用情報を予め点検者が定義して作成する作業、対象物の位置の指定といった作業が不要になり、点検作業が容易になり、点検作業の効率化を実現できる。

【0139】

したがって、実施の形態１にかかる状態読取システム１によれば、点検者により作成される定義情報を用いることなく盤の１つの撮影画像から複数の計器の状態を読み取ることを可能とする学習装置が得られる、という効果を奏する。

【0140】

実施の形態２．
図３０は、実施の形態２にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図である。図３０では、状態読取システム２の動作の説明に用いられる構成部を抽出して示している。実施の形態２にかかる状態読取システム２は基本的に、実施の形態１にかかる状態読取システム１と同様の構成および機能を有する。実施の形態２にかかる状態読取システム２は、モバイル端末１００と、サーバ２００ａと、を備える。サーバ２００ａは、実施の形態１にかかるサーバ２００に対して検出結果判定部２０９が追加されている。

【0141】

検出結果判定部２０９は、対象物テーブルにおいて定義されている盤ごとの対象物の個数である対象物の個数の定義個数と、対象物検出部２０２で検出された対象物の個数の情報とを比較することにより、対象物の画像に含まれる全ての対象物が対象物検出部２０２において検出されたか否かを判定する。

【0142】

状態読取システム２では、学習済モデル２７３は、対象物の個数、すなわち学習済モデル２７３に入力された対象物の画像には対象物がいくつ含まれているかの情報も出力する。すなわち、対象物検出用モデル２０８３は、対象物の個数、すなわち学習済モデル２７３に入力された対象物の画像には対象物がいくつ含まれているかの情報も出力する。したがって、実施の形態２においては、学習装置２５０は、対象物の個数を対象物の種類ごとに学習する。

【0143】

状態読取システム２における学習装置２５０は、基本的に実施の形態１にかかる状態読取システム１における学習装置２５０と同様の学習を行う。図３１は、実施の形態２にかかる状態読取システムにおける学習装置が用いる学習用データの一例を示す図である。図３１に示すように、状態読取システム２における学習装置２５０が用いる学習用データの入力情報２７１には、盤の画像の情報、すなわち盤の撮影画像の情報が含まれる。また、学習装置２５０が用いる学習用データの検出情報２７２には、学習用データの入力情報２７１に対応する教師データである、盤に含まれる対象物の画像の情報、盤に含まれる対象物の個数の情報、および当該対象物の識別用情報が含まれる。盤に含まれる対象物の個数は、対象物の種類ごとに区別される。

【0144】

図３２は、実施の形態２にかかる学習装置の学習部における盤の盤面についての学習内容の一例を示す図である。モデル生成部２５２は、盤の盤面について、盤の撮影画像に含まれる、例えば「ポンプ１号」、「ポンプ２号」といった装置の名称の情報、盤の撮影画像における各名称の位置の情報を、識別用情報として学習する。学習装置２５０は、対象物の個数を対象物の種類ごとに学習する。

【0145】

実施の形態２における学習装置２５０のモデル生成部２５２の学習内容は、実施の形態１の場合と同様であるが、モデル生成部２５２は、盤の撮影画像から検出した対象物の位置の情報の個数および対象物の種類の情報の個数が、対象物の個数と一致するように学習する。すなわち、図３２においては学習内容として対象物の個数について記載されているが、当該記載は、モデル生成部２５２が対象物の個数の自体を出力するように学習するわけではなく、盤の撮影画像から検出した対象物の位置の情報の個数および対象物の種類の情報の個数が、対象物の個数と一致するようにモデル生成部２５２が学習することを意味する。

【0146】

また、学習済モデル２７３からの出力は、実施の形態１の場合と同様である。すなわち、学習済モデル２７３に学習用データとして図３１に示す盤の画像の情報が入力された際の学習済モデル２７３からの出力データは、実施の形態１の場合と同様である。

【0147】

つぎに、実施の形態２にかかる状態読取システム２の動作について説明する。図３３は、実施の形態２にかかる状態読取システムの動作の手順を示すフローチャートである。以下では、図２５に示した実施の形態１にかかる状態読取システム１の動作と異なる点について説明する。

【0148】

実施の形態２において、ステップＳ２００２では、サーバ２００の盤データ取得部２０１が、上述したように、ユーザが使用可能な盤のデータを取得する。また、盤データ取得部２０１は、ユーザが使用可能な盤の盤ＩＤに紐づく対象物の個数の情報を取得し、当該対象物の個数の情報を検出結果判定部２０９に送信する。盤データ取得部２０１は、点検データベース２０８２に記憶されている対象物テーブルを取得し、ユーザが使用可能な盤の盤ＩＤに紐づく対象物の個数の情報を、当該対象物テーブルから取得する。盤データ取得部２０１は、ユーザが使用可能な全ての盤について、盤ごとに対象物の個数の情報を取得する。盤データ取得部２０１は、ユーザが使用可能な全ての盤について、対象物の個数の情報を検出結果判定部２０９に送信する。

【0149】

図７に示すように、対象物テーブルには、盤ごとに当該盤に設けられている対象物の情報が、盤ＩＤによって紐づけられて格納されている。すなわち、対象物テーブルには、盤ごとの対象物の個数の情報が定義されており、盤ごとの対象物の個数である対象物の個数の定義個数の情報が含まれている。

【0150】

実施の形態２において、ステップＳ２００５では、対象物検出部２０２は、盤の情報と、対象物の撮影画像の情報と、当該対象物についての対象物の情報と、対象物の撮影画像に含まれる対象物の個数の情報とを、対象物検出情報として検出結果判定部２０９に送信する。対象物検出部２０２が対象物検出用モデル２０８３から取得する対象物の個数の情報は、例えばランプ２個、メータ４個といった情報である。

【0151】

実施の形態２においては、ステップＳ２０１１では、検出結果判定部２０９が、全ての対象物が検出されたか否かを、判定する。検出結果判定部２０９は、対象物検出部２０２で検出された対象物の個数の情報を対象物検出部２０２から取得する。そして、検出結果判定部２０９は、定義個数の情報、すなわち盤データ取得部２０１から取得した対象物の個数の情報と、対象物検出部２０２で検出された対象物の個数の情報と、を比較する。定義個数の情報、すなわち盤データ取得部２０１から取得した対象物の個数の情報と、対象物検出部２０２で検出された対象物の個数の情報とは、盤ＩＤによって紐づけることができる。

【0152】

検出結果判定部２０９は、対象物検出部２０２で検出された対象物の個数と定義個数とが一致する場合に、全ての対象物が検出されたと判定する。検出結果判定部２０９は、対象物検出部２０２で検出された対象物の個数と定義個数とが一致しない場合に、全ての対象物が検出されていないと判定する。

【0153】

全ての対象物が検出されたと判定された場合は、ステップＳ２０１１においてＹｅｓとなり、検出結果判定部２０９が、対象物検出情報である対象物の画像の情報および当該対象物についての対象物の情報と、盤の情報とを状態読取部２０３に送信して、ステップＳ２００６に進む。全ての対象物が検出されていないと判定された場合は、ステップＳ２０１１においてＮｏとなり、ステップＳ１００４に戻る。

【0154】

図３４は、実施の形態２にかかる状態読取システムの特徴的な動作の詳細な手順を示すフローチャートである。図３４では、実施の形態２にかかる状態読取システム２における特徴的な処理について示している。

【0155】

ステップＳ５１０は上述したステップＳ２００２に対応しており、サーバ２００の盤データ取得部２０１が、設備データベース２０８１に記憶されている盤テーブルに格納されている複数の盤のデータを取得する。

【0156】

ステップＳ５２０は上述したステップＳ２００２に対応しており、サーバ２００の盤データ取得部２０１が、ユーザが使用可能な盤の盤ＩＤに紐づく対象物の個数の情報を取得し、当該対象物の個数の情報を検出結果判定部２０９に送信する。

【0157】

ステップＳ５３０は上述したステップＳ２００４に対応しており、サーバ２００の対象物検出部２０２が、モバイル端末１００の撮影部１０３から送信された盤の撮影画像の情報を受信する。

【0158】

ステップＳ５４０は上述したステップＳ２００５に対応しており、サーバ２００の対象物検出部２０２が、対象物の画像の情報と、当該対象物についての対象物の情報と、対象物の個数の情報と、を対象物検出用モデル２０８３から取得する。

【0159】

ステップＳ５５０は上述したステップＳ２０１１に対応しており、検出結果判定部２０９が、定義した個数である定義個数と、対象物検出部２０２で検出した対象物の個数とが一致するか否かを判定する。ステップＳ５５０においてＹｅｓの場合は、実施の形態２にかかる状態読取システム２における特徴的な処理が終了する。ステップＳ５５０においてＮｏの場合は、ステップＳ５３０に戻り、撮影画像の再取得が行われる。

【0160】

上述した実施の形態２にかかる状態読取システム２は、対象物テーブルにおいて定義されている盤ごとの対象物の個数である対象物の個数の定義個数と、対象物検出部２０２で検出された対象物の個数の情報とを比較することにより、対象物の画像に含まれる全ての対象物が対象物検出部２０２において検出されたか否かを判定する検出結果判定部２０９を備える。これにより、状態読取システム２は、対象物の画像に含まれる全ての対象物の状態を確実に読み取ることができる。

【0161】

実施の形態３．
図３５は、実施の形態３にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図である。図３５では、後述する状態読取システム３の動作の説明に用いられる構成部を抽出して示している。実施の形態３にかかる状態読取システム３は、基本的に実施の形態２にかかる状態読取システム２と同様の構成および機能を有する。実施の形態３にかかる状態読取システム３は、モバイル端末１００ａと、サーバ２００ａと、を備える。モバイル端末１００ａは、実施の形態２にかかるモバイル端末１００に対して読取結果編集部１０９が追加されている。

【0162】

読取結果編集部１０９は、サーバ２００ａから送信された読取結果に関する表現の情報を、ユーザから入力される指示に基づいて任意の文字列に編集する機能を有する。読取結果に関する表現には、ＯＮあるいはＯＦＦなど、対象物の状態に関する表現、単位などが含まれる。すなわち、読取結果編集部１０９は、上述したステップＳ１００５で表示部１０４に表示された盤全体の読取結果における表現について、ユーザから入力される指示に基づいて任意の文字列に編集する。したがって、状態読取システム３は、実施の形態２にかかる状態読取システム２に、点検員が読取結果を修正する機能が追加されている。

【0163】

つぎに、実施の形態３にかかる状態読取システム３の動作について説明する。図３６は、実施の形態３にかかる状態読取システムの動作の手順を示すフローチャートである。以下では、図３３に示した実施の形態２にかかる状態読取システム２の動作と異なる点について説明する。

【0164】

ステップＳ１００６において対象物の読取結果が確定されたと判定された場合は、ステップＳ１００６においてＹｅｓとなり、ステップＳ１０１１に進む。

【0165】

つぎに、ステップＳ１０１１では、モバイル端末１００ａの読取結果編集部１０９が、読取結果に関する表現を、ユーザから入力される指示に基づいて任意の文字列に編集する。

【0166】

読取結果編集部１０９は、端末制御部１０８が保持している読取結果の出力値の情報を取得する。すなわち、読取結果編集部１０９は、盤の情報と、対象物の画像の情報と、当該対象物についての対象物の情報と、取得した対象物の状態の情報を集計した対象物の読取結果の情報である状態読取結果の情報と、を端末制御部１０８から取得する。読取結果編集部１０９は、読取結果表示画面および読取結果編集画面を表示部１０４に表示させて、読取結果表示画面に表示された状態読取結果に関する表現の情報をユーザ操作に従って修正する。そして、読取結果編集部１０９は、修正した内容に対応させて読取結果編集画面の表示内容を更新する。

【0167】

図３７は、実施の形態３にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果表示画面の一例を示す図である。図３８は、実施の形態３にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果編集画面の一例を示す第１の図である。図３９は、実施の形態３にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果編集画面の一例を示す第２の図である。

【0168】

図３７に示す読取結果表示画面においては、図２８に示した読取結果表示画面において、「登録」のボタンが「確定」のボタンに変更されている。図３７に示す読取結果表示画面において「確定」のボタンが選択されると、対象物の読取結果を確定する旨の確定情報が読取結果編集部１０９に入力される。そして、読取結果編集部１０９は、図３８に示す読取結果編集画面を表示部１０４に表示させる。

【0169】

図３８に示す読取結果編集画面において「編集」のボタンが選択されると、読取結果編集画面が更新され、図３９に示す読取結果編集画面が表示部１０４に表示される。読取結果編集画面では、編集用のポップアップが表示され、読取結果を編集するための編集データの入力値を入力する編集フォームが表示される。点検者によって編集フォームに入力値が入力されて、「更新」ボタンが選択されると、読取結果編集部１０９は、入力値の内容に対応させて、保持している状態読取結果の情報を修正し、更新する。また、読取結果編集部１０９は、読取結果編集画面のポップアップを閉じて、読取結果編集画面に示す読取結果の表示内容を更新する。読取結果編集画面に示す読取結果の表示内容が更新された場合、更新部分は例えば赤色で表示されるなど、強調表示される。なお、読取結果編集画面においては、編集データをクリアするための「クリア」ボタンが用意されている。

【0170】

その後、読取結果編集部１０９は、更新された読取結果編集画面に表示された情報をサーバ２００ａの読取結果保存部２０４に送信して、ステップＳ２００８に進む。すなわち、読取結果編集部１０９は、盤の情報と、対象物の画像の情報と、当該対象物についての対象物の情報と、編集された状態読取結果の情報である編集後状態読取結果の情報と、をサーバ２００ａの読取結果保存部２０４に送信する。編集後状態読取結果の情報では、点検者による状態読取結果の編集が反映されている。なお、ステップＳ１０１１において状態読取結果の編集が行われない場合は、編集後状態読取結果の情報ではなく、状態読取結果の情報が読取結果保存部２０４に送信される。

【0171】

なお、上記のような状態読取システム３の機能は、上述した状態読取システム１および状態読取システム２にも適用可能である。

【0172】

上述した実施の形態３にかかる状態読取システム３は、サーバ２００ａから送信された読取結果に関する表現の情報を、ユーザから入力される指示に基づいて任意の文字列に編集する読取結果編集部１０９を有する。これにより、状態読取システム３は、読取結果に関する表現の情報をユーザによって適切な表現に修正することができ、より適切な点検結果が得られる。

【0173】

実施の形態４．
図４０は、実施の形態４にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図である。図４０では、後述する状態読取システム４の動作の説明に用いられる構成部を抽出して示している。実施の形態４にかかる状態読取システム４は、基本的に実施の形態３にかかる状態読取システム３と同様の構成および機能を有する。実施の形態４では、盤の情報と、対象物の読取結果と成績書に記載の点検項目との対応関係とを用いて、成績書における状態読取結果の記入箇所を取得し、成績書に読取結果を記入して出力する。

【0174】

実施の形態４にかかる状態読取システム４は、モバイル端末１００ａと、サーバ２００ｂと、を備える。サーバ２００ｂは、実施の形態３にかかるサーバ２００ａに対して、成績書様式取得部２１０と、成績書記入位置取得部２１１と、成績書保存部２１２と、が追加されている。

【0175】

成績書様式取得部２１０は、撮影対象の盤の確定後、撮影対象の盤の盤ＩＤに対応する成績書様式ＩＤを取得し、取得した成績書様式ＩＤに基づいて、点検データベース２０８２に記憶されている成績書様式テーブルを取得し、成績書様式ＩＤと一致する点検項目の情報を取得する。成績書様式取得部２１０が取得する点検項目の情報には、たとえば点検の項目、対象物ＩＤなどの情報が含まれる。

【0176】

成績書様式テーブルは、点検結果の成績書の様式ごとの点検項目を定義する情報である。成績書様式テーブルで定義される点検項目には、例えば点検の対象機器、点検の項目名、点検結果の入力方法などが挙げられる。成績書様式テーブルでは、個別の識別情報である点検項目ＩＤに、成績書様式ＩＤ、点検対象、項目名、入力方法、対象物ＩＤといった成績書様式の情報の項目が紐づけられている。

【0177】

成績書記入位置取得部２１１は、読取結果編集部１０９から状態読取結果の情報を取得し、状態読取結果に含まれる対象物の情報と、成績書様式取得部２１０で取得した点検項目の情報との対応関係から、成績書において読取結果を記入する点検項目を取得する。ここでの対象物の情報には、対象物の名称、対象物ＩＤなどの情報が含まれる。

【0178】

成績書保存部２１２は、成績書のフォーマットに従って、成績書様式テーブルで定義される点検項目名および状態読取結果を、成績書に記載する。ここでの成績書は、電子文書である。また、成績書保存部２１２は、記入済みの成績書の情報のファイルを作成し、当該ファイルをモバイル端末１００ａに送信する。また、成績書保存部２１２は、今回の点検結果を点検データベース２０８２に格納する。すなわち、成績書保存部２１２は、あらかじめ決められた電子文書である成績書に記載されている点検対象の盤についての点検項目に対応する読取結果の情報を成績書に記載する。

【0179】

つぎに、実施の形態４にかかる状態読取システム４の動作について説明する。図４１は、実施の形態４にかかる状態読取システムの動作の手順を示すフローチャートである。以下では、図３６に示した実施の形態３にかかる状態読取システム３の動作と異なる点について説明する。

【0180】

実施の形態４では、ステップＳ１０１１において、読取結果編集部１０９が、情報を成績書記入位置取得部２１１に送信して、ステップＳ２０２１に進む。

【0181】

図４２は、実施の形態４にかかる状態読取システムが備えるサーバの設備データベースに記憶されている盤テーブルの一例を示す図である。図４３は、実施の形態４にかかる状態読取システムが備えるサーバの点検データベースに記憶されている成績書様式テーブルの一例を示す図である。同じ成績書の様式で複数の盤を点検するケースがあることから、１つの成績書様式ＩＤに対して複数の盤ＩＤが対応する。

【0182】

図４２に示す盤テーブルは、図７に示す対象物テーブルと盤ＩＤにより紐づいている。図７に示す対象物テーブルは、図４３に示す成績書様式テーブルと対象物ＩＤにより紐づいている。したがって、図４２に示す盤テーブルは、盤ＩＤと対象物ＩＤとによって、図４３に示す成績書様式テーブルと紐づいている。例えば図７に示す対象物テーブルの「対象物ＩＤ：Ｔ００１」は、「名称：ポンプ１出力」を示す対象物である「種類：円形メータ」に対応している。図７に示す対象物テーブルの「対象物ＩＤ：Ｔ００１」は、図４３に示す成績書様式テーブル「項目名：出力」に紐づいている。

【0183】

図４２に示す盤テーブルにおいて成績書様式ＩＤが同じ「Ｆ００１」である「ポンプ機器０１」と「モータ０１」とは、図４３に示す成績書様式テーブルに列挙されている、点検する際の「項目」が同じものである。この「項目」は、図４３における「項目名」に対応する。成績書様式ＩＤが同じであるということは、盤の画像が同じであるということであり、点検する際の「項目」が同じであるということである。すなわち、成績書様式ＩＤが同じであるということは盤が同じであるということであり、成績書様式ＩＤが異なるということは盤が異なるということである。成績書様式ＩＤは、盤に対して個別に用意されている。すなわち、点検においては、点検する際の「項目」が盤に対して個別に設定されている。

【0184】

ステップＳ２０２１では、成績書様式取得部２１０が、盤の成績書様式を取得する。成績書様式取得部２１０は、サーバ２００ｂの盤データ取得部２０１から撮影対象の盤の盤ＩＤを取得する。成績書様式取得部２１０は、設備データベース２０８１に記憶されている図４２に示す盤テーブルを取得し、取得した盤ＩＤに対応する複数の成績書様式ＩＤを盤テーブルから取得する。成績書様式取得部２１０は、点検データベース２０８２に記憶されている図４３に示す成績書様式テーブルを取得し、成績書様式として、成績書様式ＩＤが一致する点検項目の情報を、取得した成績書様式ＩＤに基づいて成績書様式テーブルから取得する。成績書様式取得部２１０は、点検項目の情報として、項目名、対象物ＩＤなどの情報を取得する。

【0185】

つぎに、ステップＳ２０２２では、成績書記入位置取得部２１１が、読取結果を成績書に記入する箇所の情報を取得する。すなわち、成績書記入位置取得部２１１は、成績書様式テーブルから取得された成績書様式に含まれる点検項目の情報と、読取結果編集部１０９から取得した編集後状態読取結果の情報に含まれる対象物の情報とを紐づけて、点検項目と読取結果とを対応させる。成績書記入位置取得部２１１は、成績書における、点検項目と読取結果とが一致した項目についての記入箇所を、読取結果を成績書に記入する箇所の情報として取得する。

【0186】

つぎに、ステップＳ２０２３では、成績書保存部２１２が、編集後状態読取結果の情報を成績書の形式にまとめた成績書ファイルを生成し、当該成績書ファイルをサーバ２００ｂのサーバ記憶部２０８の点検データベース２０８２に登録する。成績書保存部２１２は、編集後状態読取結果の情報と、読取結果を成績書に記入する箇所の情報とを成績書記入位置取得部２１１から取得する。

【0187】

また、成績書保存部２１２は、成績書ファイルをモバイル端末１００ａの出力部１０５に送信する。

【0188】

つぎに、ステップＳ１０２１では、モバイル端末１００ａの出力部１０５が、成績書ファイルを、モバイル端末１００ａの端末記憶部１０６に記憶させる。

【0189】

図４４は、実施の形態４にかかる状態読取システムの特徴的な動作の詳細な手順を示すフローチャートである。図４４では、実施の形態４にかかる状態読取システム４における特徴的な処理について示している。

【0190】

ステップＳ６１０は上述したステップＳ２０２１に対応しており、サーバ２００ｂの成績書様式取得部２１０が、成績書様式テーブルより、読取対象の盤ＩＤに紐づく成績書の成績書様式として、点検項目の情報を取得する。

【0191】

ステップＳ６２０からステップＳ６６０は上述したステップＳ２０２２およびステップＳ２０２３に対応しており、編集後状態読取結果の情報に含まれる対象物ごとに、すなわち、対象物検出部２０２で検出された対象物の個数に対応する回数だけ、処理が繰り返される。

【0192】

ステップＳ６３０では、サーバ２００ｂの成績書記入位置取得部２１１が、状態読取部２０３で取得された対象物の情報を取得する。すなわち、成績書様式取得部２１０は、編集後状態読取結果の情報を読取結果編集部１０９から取得する。

【0193】

ステップＳ６４０では、成績書記入位置取得部２１１が、読取結果の記入欄が成績書に存在するか否かを判定する。

【0194】

ステップＳ６４０においてＹｅｓの場合は、成績書記入位置取得部２１１が点検項目と読取結果とを対応付けて、すなわち読取結果の記入欄と編集後状態読取結果の情報に含まれる読取結果とを対応付けて、ステップＳ６５０に進む。ステップＳ６４０においてＮｏの場合は、ステップＳ６６０に進み、ステップＳ２０２２の処理が終了する。

【0195】

ステップＳ６５０では、サーバ２００ｂの成績書保存部２１２が、編集後状態読取結果の情報を成績書のフォーマットに記入して成績書の形式にまとめた成績書ファイルを生成する。

【0196】

図４５は、実施の形態４にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果表示画面の一例を示す図である。図４５では、対象物であるポンプ１号についての、対象物の読取結果の情報が表示された読取結果表示画面を示している。図４５に示す読取結果表示画面では、図３８に示す実施の形態３における読取結果表示画面と同様の内容が表示される。

【0197】

図４６は、実施の形態４にかかる状態読取システムが備えるモバイル端末の表示部における成績書ファイルの出力例を示す図である。図４６では、成績書ファイルを用いて表示される、盤の読取結果の情報が表示された点検結果表示画面を示している。図４６に示す実施の形態４における点検結果表示画面が、図２９に示す実施の形態１における点検結果表示画面と異なる点について説明する。

【0198】

図２９に示す実施の形態１における点検結果表示画面では、円形メータごと、円形ランプごとといったように対象物の種類ごとに読取結果を出力している。一方、図４６に示す実施の形態４における点検結果表示画面では、ポンプ１号、ポンプ２号といったように対象機器のグループごとに読取結果を出力している。

【0199】

図２９に示す実施の形態１における点検結果表示画面では、（円形メータ＜１＞：５０％）といったように、対象物の種類、読取結果の順に出力している。一方、図４６に示す実施の形態４における点検結果表示画面では、（出力：５０％）といったように、点検項目、読取結果の順に出力している。

【0200】

図２９に示す実施の形態１における点検結果表示画面では、撮影画像の上に対象物の位置を示す破線および識別番号を出力している。一方、図４６に示す実施の形態４における点検結果表示画面では、対象物の位置を示す破線および識別番号を出力しない。

【0201】

なお、上記のような状態読取システム４の機能は、上述した状態読取システム１から状態読取システム３にも適用可能である。

【0202】

上述した実施の形態４にかかる状態読取システム４は、あらかじめ決められた電子文書である成績書に記載されている盤についての点検項目に対応する読取結果の情報を、自動で成績書に記載する成績書保存部２０２を備える。これにより、状態読取システム４は、１枚の盤の撮影画像から読取られた、盤に実装されている複数種類および複数個の全ての対象物の状態の読取結果の情報を、効率良く自動で成績書に記載することができ、現場での点検作業の効率化を実現できる。

【0203】

実施の形態５．
図４７は、実施の形態５にかかる状態読取システムが備えるサーバの構成を示す図である。図４８は、実施の形態５にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図である。図４８では、後述する状態読取システム５の動作の説明に用いられる構成部を抽出して示している。実施の形態５にかかる状態読取システム５は、基本的に実施の形態４にかかる状態読取システム４と同様の構成および機能を有する。実施の形態５では、対象物の状態から盤の稼働状態を出力するパターンに対象物の読取結果を入力し、稼働あるいは異常といった盤の状態を判定する。

【0204】

実施の形態５にかかる状態読取システム５は、モバイル端末１００ａと、サーバ２００ｃと、を備える。サーバ２００ｃは、実施の形態４にかかるサーバ２００ｂに対して、稼働状態判定部２１３と、稼働状態学習部２１４と、稼働状態判定用パターン２０８４と、が追加されている。

【0205】

稼働状態判定部２１３は、モバイル端末１００ａから受信する対象物の読取結果の情報を稼働状態判定用パターン２０８４に入力して、撮影対象の盤の稼働状態を取得する。

【0206】

稼働状態判定用パターン２０８４は、盤のＩＤを含む盤の情報と、対象物の読取結果とを入力することで、当該対象物が設置されている盤の稼働状態の情報を出力するパターンであり、サーバ記憶部２０８に記憶されている。盤の稼働状態の情報には、稼働、故障などの情報が含まれる。すなわち、稼働状態判定用パターン２０８４は、対象物の読取結果と、当該読取結果に対する盤の稼働状態との組合せを定義する。稼働状態判定用パターン２０８４は、機械学習による学習済モデルではなく、点検結果に基づいて作成されたパターンである。

【0207】

稼働状態学習部２１４は、稼働状態判定用パターン２０８４を教師あり学習により学習する。すなわち、稼働状態学習部２１４は、対象物の状態と、盤の稼働状態との関係を学習する。稼働状態学習部２１４は、点検データベース２０８２に記憶された点検結果テーブルに格納されている成績書テーブルに記憶されている盤の過去の点検結果の情報から、対象物の状態の情報および盤の稼働状態に関する項目の情報を取得する。稼働状態学習部２１４は、取得した点検結果の情報から、メータの値およびランプの状態といった対象物の状態の情報と、当該対象物の状態の情報に対応する盤の稼働状態の情報と、の組合せの情報を取得してパターンを作成し、作成したパターンを稼働状態判定用パターン２０８４に格納する。

【0208】

図４９は、実施の形態５にかかる状態読取システムが備えるサーバの点検データベースに記憶されている点検結果テーブルの一例を示す図である。点検結果テーブルには、図４９に示すように、点検結果ＩＤ、点検項目ＩＤ、点検日、点検結果といった点検結果に関する情報の複数の項目が設けられており、対応する情報が格納されている。点検結果ＩＤは、点検結果に固有の識別情報である。点検項目ＩＤは、点検項目に固有の識別情報である。

【0209】

稼働状態学習部２１４による稼働状態判定用パターン２０８４の学習処理の処理手順について説明する。図５０は、実施の形態５にかかる稼働状態学習部による学習処理の処理手順を示すフローチャートである。

【0210】

ステップＳ７１０において、稼働状態学習部２１４は、学習用データを取得する。具体的には、稼働状態学習部２１４は、学習用データとして、対象物テーブルから点検対象の対象物の情報を取得する。また、稼働状態学習部２１４は、点検結果テーブルに格納されている成績書テーブルに記憶されている盤の過去の点検結果の情報から、対象物の情報に基づいて対象物の状態の情報を取得する。すなわち、稼働状態学習部２１４は、学習用データとして、成績書テーブルから対象物の状態の情報である過去の盤の点検結果の情報を取得する。点検対象の対象物の情報は、メータ種類、対象物の出力範囲などの情報を含む。成績書テーブルは、成績書様式テーブルに、各点検項目の点検日と各点検項目の点検結果とが付加されたテーブルであり、点検データベース２０８２の点検結果テーブルに格納されている。

【0211】

図５１は、実施の形態５にかかる稼働状態学習部が用いる学習用データの一例を示す図である。図５１に示すように稼働状態学習部２１４が用いる学習用データには、対象物の情報として、ポンプ１号といった対象物の名称、メータの値およびランプの状態といった対象物の状態の情報と、状態：稼働、状態：停止、状態：稼働（ランプ故障）といった盤の点検結果の情報と、が含まれる。

【0212】

ステップＳ７２０において、稼働状態学習部２１４は、パターンを学習する。稼働状態学習部２１４は、ステップＳ７１０において取得した対象物の状態の情報において対象物が取る値と、当該対象物の状態の情報に対応する盤の状態である点検結果の情報と、の組み合わせを作成する。稼働状態学習部２１４は、例えば「入力：円形メータ１号は５０％、ランプ１号は点灯」の情報と、「出力：稼働状態」との学習データのセットを作成する。そして、稼働状態学習部２１４は、学習データのセットをパターンに与えて、パターンを学習する。

【0213】

ステップＳ７３０において、稼働状態学習部２１４は、学習済みのパターンを稼働状態判定用パターン２０８４に入力して、学習済みのパターンを稼働状態判定用パターン２０８４に記憶させる。

【0214】

図５２は、実施の形態５にかかる学習装置における稼働状態判定用パターンの出力の一例を示す図である。稼働状態判定用パターン２０８４に学習用データとして図５１に示す学習用データのうち対象物の状態の情報が入力されると、稼働状態判定用パターン２０８４からは出力データとして図５２に示すように盤の稼働状態の情報が出力される。

【0215】

以上の処理により、稼働状態学習部２１４は稼働状態判定用パターン２０８４を学習する。

【0216】

つぎに、実施の形態５にかかる状態読取システム５の動作について説明する。図５３は、実施の形態５にかかる状態読取システムの動作の手順を示すフローチャートである。以下では、図４１に示した実施の形態４にかかる状態読取システム４の動作と異なる点について説明する。

【0217】

実施の形態５では、ステップＳ１０１１において、モバイル端末１００ａの読取結果編集部１０９が、情報を稼働状態判定部２１３に送信して、ステップＳ２０３１に進む。読取結果編集部１０９は、盤のＩＤを含む盤の情報と、対象物の画像の情報と、当該対象物についての対象物の情報と、編集された状態読取結果の情報である編集後状態読取結果の情報と、をサーバ２００ｃの稼働状態判定部２１３に送信する。

【0218】

ステップＳ２０３１では、サーバ２００ｃの稼働状態判定部２１３が、撮影対象の盤の稼働状態を判定する。稼働状態判定部２１３は、読取結果編集部１０９から受信した、盤のＩＤを含む盤の情報と、編集後状態読取結果の情報に含まれる対象物の読取結果の情報とを稼働状態判定用パターン２０８４に入力して、撮影対象の盤の稼働状態の情報を取得する。稼働状態判定用パターン２０８４は、上述した学習時に、盤の情報の盤のＩＤに基づいて、対象物の稼働状態に関する複数のパターンを取得する。当該パターンは、対象物の状態の情報と、当該対象物の状態の情報に対応する盤の稼働状態の情報と、の組合せの情報である。そして、稼働状態判定用パターン２０８４は、ステップＳ２０３１において、編集後状態読取結果の情報に含まれる対象物の読取結果の情報と、保持している対象物の稼働状態に関する複数のパターンとを比較して、当該対象物の読取結果の情報と類似度の高い結果を撮影対象の盤の稼働状態の情報として出力する。すなわち、稼働状態判定用パターン２０８４は、当該稼働状態判定用パターン２０８４に保持している、対象物の状態の情報と当該対象物の状態の情報に対応する盤の稼働状態の情報との組合せの情報である複数のパターンのうち、編集後状態読取結果の情報に含まれる対象物の読取結果の情報と類似度の高いパターンに含まれる盤の稼働状態の情報を出力する。

【0219】

また、稼働状態判定部２１３は、盤の情報と、対象物の画像の情報と、当該対象物についての対象物の情報と、編集された状態読取結果の情報である編集後状態読取結果の情報と、撮影対象の盤の稼働状態の情報と、をサーバ２００ｃの成績書記入位置取得部２１１に送信する。ここで、稼働状態判定部２１３は、編集後状態読取結果の情報に、撮影対象の盤の稼働状態についての項目である「盤の状態」の項目を付加し、判定した盤の稼働状態の情報を「盤の状態」の項目に記入して、成績書記入位置取得部２１１に送信する。その後、ステップＳ２０２１に進む。

【0220】

なお、ステップＳ２０２２で成績書記入位置取得部２１１が成績書において読取結果を記入する点検項目を取得する際は、成績書様式テーブル内において「盤の状態」の項目列が「状態」であるものと対応付ける。

【0221】

図５４は、実施の形態５にかかる状態読取システムの特徴的な動作の詳細な手順を示すフローチャートである。図５４では、上述したステップＳ２０３１における詳細な処理について示している。

【0222】

ステップＳ８１０では、稼働状態判定部２１３が、点検対象の盤に設置される対象物の情報を対象物テーブルから取得する。

【0223】

ステップＳ８２０では、稼働状態判定部２１３が、盤の情報と、対象物の画像の情報と、当該対象物についての対象物の情報と、編集された状態読取結果の情報である編集後状態読取結果の情報とを、モバイル端末１００ａの読取結果編集部１０９から取得する。

【0224】

ステップＳ８３０では、稼働状態判定部２１３が、ステップＳ８２０で取得した編集後状態読取結果の情報に含まれる対象物の読取結果の情報を稼働状態判定用パターン２０８４に入力して、盤の稼働状態の判定結果を取得する。

【0225】

図５５は、実施の形態５にかかる状態読取システムが備えるモバイル端末の表示部に表示される読取結果表示画面の一例を示す図である。実施の形態５にかかる状態読取システム５におけるモバイル端末１００ａの表示部１０４に表示される、図５５に示す読取結果表示画面では、図４５に示す実施の形態４における読取結果表示画面と同様の内容が表示される。すなわち、稼働状態判定部２１３の機能は、モバイル端末１００ａから送信される編集後状態読取結果の情報あるいは編集せずに確定された状態読取結果の情報に基づいて実行されるため、モバイル端末１００ａの表示部１０４で表示される読取結果表示画面は実施の形態４の場合と同様となる。

【0226】

図５６は、実施の形態５にかかる状態読取システムが備えるモバイル端末の表示部における対象物の読取結果のファイルの出力例を示す図である。図５６では、成績書ファイルを用いて表示される、盤の読取結果の情報が表示された点検結果表示画面を示している。図５６に示す実施の形態５における点検結果表示画面が、図４６に示す実施の形態４における点検結果表示画面と異なる点について説明する。

【0227】

図４６に示す実施の形態４における点検結果表示画面では、盤の撮影画像からの読取結果に関する情報のみが出力されている。一方、図５６に示す実施の形態５における点検結果表示画面では、読取結果から盤の稼働状態のパターンを判別し、盤の稼働状態が「状態：稼働」として出力されている。

【0228】

上述した実施の形態５にかかる状態読取システム５は、対象物の読取結果の情報に基づいて盤の稼働状態を取得する稼働状態判定部２１３を備える。これにより、状態読取システム５によれば、状態読取システム５で読み取った対象物の読取結果に加えて、対象物の状態の読み取り時における盤の状態の情報を自動で取得することができ、盤の状態の情報を含めて対象物の読取結果を点検者に提示することができる。

【0229】

実施の形態６．
図５７は、実施の形態６にかかる状態読取システムが備えるモバイル端末とサーバとにおける情報の流れを示す図である。図５７では、後述する状態読取システム６の動作の説明に用いられる構成部を抽出して示している。実施の形態６にかかる状態読取システム６は、基本的に実施の形態５にかかる状態読取システム５と同様の構成および機能を有する。

【0230】

実施の形態６にかかる状態読取システム６は、モバイル端末１００ａと、サーバ２００ｄと、を備える。サーバ２００ｄのサーバ記憶部２０８は、対象物検出用モデル２０８３として、画像検出用モデル２０８５と、文字検出用モデル２０８６と、を記憶する。実施の形態６では、対象物検出用モデル２０８３は、１つの対象物検出用モデルを使用して「対象物の画像および識別用の文字情報を同時に出力」するのではなく、「画像検出用モデル２０８５による盤の撮影画像内の対象物の画像の検出」と、「文字検出用モデル２０８６による盤の撮影画像内の文字情報の検出」と、を行う。実施の形態６では、対象物検出部２０２は、画像検出用モデル２０８５と文字検出用モデル２０８６とに盤の撮影画像を入力することで、対象物の検出を行う。また、状態読取部２０３では、対象物の位置と文字の位置とを対応付けて識別用情報を特定する。

【0231】

画像検出用モデル２０８５は、盤の撮影画像を入力することで、盤の撮影画像内に含まれる対象物の画像および当該対象物の表示位置の情報を出力する学習済モデルである。

【0232】

文字検出用モデル２０８６は、盤の撮影画像を入力することで、盤の撮影画像内に含まれる文字情報および当該文字情報の表示位置の情報を出力する学習済モデルである。すなわち、文字検出用モデル２０８６は、対象物の型番、目盛りの値などの情報、および当該文字情報の表示位置の情報を出力する。

【0233】

実施の形態６では、状態読取部２０３は、画像検出用モデル２０８５で取得された盤の撮影画像内における対象物の表示位置の情報と、文字検出用モデル２０８６で取得された盤の撮影画像内に含まれる文字の位置の情報とに基づいた、対象物と対象物が有する文字情報との対応関係を取得し、状態読取時に使用する。

【0234】

実施の形態６において学習装置２５０は、設備データベース２０８１に記憶された盤テーブルに含まれる盤の撮影画像と、点検データベース２０８２に記憶された対象物テーブルに含まれる対象物の画像とに基づいて、盤の撮影画像と対象物の画像との関係を学習して、画像検出用モデル２０８５に対応する学習済モデル２７３を生成する。

【0235】

また、実施の形態６において学習装置２５０は、設備データベース２０８１に記憶された盤テーブルに含まれる盤の撮影画像と、点検データベース２０８２に記憶された対象物テーブルに含まれる対象物の情報である識別用情報とに基づいて、盤の撮影画像と識別用情報との関係を学習して、文字検出用モデル２０８６に対応する学習済モデル２７３を生成する。

【0236】

図５８は、実施の形態６にかかる学習装置が対象物の画像についての学習に用いる学習用データの一例を示す図である。図５８では、画像検出用モデル２０８５の学習用データ、すなわち学習装置２５０が画像検出用モデル２０８５を生成するための学習に用いるデータを示している。図５８に示すように学習装置２５０が対象物の画像についての学習に用いる学習用データの入力情報２７１には、盤の画像の情報、すなわち盤の撮影画像の情報が含まれる。また、学習装置２５０が用いる学習用データの検出情報２７２には、学習用データの入力情報２７１に対応する教師データである、盤に含まれる対象物の画像の情報が含まれる。

【0237】

図５９は、実施の形態６にかかる学習装置における学習済モデルの出力の一例を示す図である。画像検出用モデル２０８５の学習済モデル２７３に学習用データとして図５８に示す盤の画像が入力されると、学習済モデル２７３からは出力データとして図５９に示すように当該盤の画像に含まれる対象物の画像が出力される。

【0238】

図６０は、実施の形態６にかかる学習装置が識別用情報についての学習に用いる学習用データの一例を示す図である。図６０では、文字検出用モデル２０８６の学習用データ、すなわち学習装置２５０が文字検出用モデル２０８６を生成するための学習に用いるデータを示している。図６０に示すように学習装置２５０が盤の撮影画像内に含まれる文字情報であり盤の撮影画像内に含まれる対象物を識別するための情報である識別用情報についての学習に用いる学習用データの入力情報２７１には、盤の画像の情報、すなわち盤の撮影画像の情報が含まれる。また、学習装置２５０が用いる学習用データの検出情報２７２には、学習用データの入力情報２７１に対応する教師データである、盤の撮影画像内に含まれる対象物の識別用情報が含まれる。

【0239】

図６１は、実施の形態６にかかる学習装置における学習済モデルの出力の一例を示す図である。文字検出用モデル２０８６の学習済モデル２７３に学習用データとして図６０に示す盤の画像が入力されると、学習済モデル２７３からは出力データとして図６１に示すように盤の撮影画像内に含まれる文字情報である対象物の識別用情報が出力される。

【0240】

図６２は、実施の形態６にかかる文字検出用モデルで出力される識別用情報である盤についての情報の一例を説明する図である。文字検出用モデル２０８６は、図６２に示す盤の撮影画像に基づいて、盤についての情報として装置の名称である盤の名称を出力する。

【0241】

図６３は、実施の形態６にかかる文字検出用モデルで出力される識別用情報であるメータについての情報の一例を説明する図である。文字検出用モデル２０８６は、図６３に示す盤の撮影画像内のメータの画像に基づいて、メータについての情報として型番、単位、目盛りの値の情報を出力する。

【0242】

図６４は、実施の形態６にかかる文字検出用モデルで出力される識別用情報であるランプについての情報の一例を示す図である。文字検出用モデル２０８６は、図６４に示す盤の撮影画像内のランプの画像については、文字情報が存在しないため情報は出力しない。ただし、ランプ上に文字情報が表示されている場合には、当該文字情報を出力する。

【0243】

図６５は、実施の形態６にかかる状態読取システムの動作の手順を示すフローチャートである。以下では、図５３に示した実施の形態５にかかる状態読取システム５の動作と異なる点について説明する。

【0244】

実施の形態６では、ステップＳ２０４１において、対象物検出部２０２は、盤の撮影画像から、対象物の画像情報と文字情報とに分割して、撮影画像に映っている対象物を検出する。すなわち、対象物検出部２０２は、画像検出用モデル２０８５を用いて、盤の撮影画像内に含まれる対象物の画像および当該対象物の表示位置の情報を取得する。また、対象物検出部２０２は、文字検出用モデル２０８６を用いて、盤の撮影画像内に含まれる文字情報および当該文字情報の表示位置の情報を取得する。

【0245】

ステップＳ２０４２では、画像検出用モデル２０８５で取得した対象物の表示位置に対して、文字検出用モデル２０８６で取得した文字の表示位置の距離があらかじめ決められた閾値以下のものを取得し、「対象物に関連する識別用情報」として確定する。

【0246】

ステップＳ２００６では、ステップＳ２０４２で確定した対象物に関連する識別用情報を用いて、実施の形態１の場合と同様に状態読取処理を行い、対象物の状態を読取る。

【0247】

図６６は、実施の形態６にかかる状態読取システムが備えるサーバの対象物検出部における対象物に関連する識別用情報の確定処理の手順の一例を示すフローチャートである。図６６では、状態読取部２０３が対象物であるランプの状態を読み取る場合について示している。

【0248】

まず、ステップＳ９１０では、対象物検出部２０２が、画像検出用モデル２０８５が出力した情報から、画像検出用モデル２０８５が検出した対象物の、盤の撮影画像における座標位置、すなわち対象物の盤の撮影画像における表示位置の情報を取得する。

【0249】

つぎに、ステップＳ９２０では、対象物検出部２０２が、文字検出用モデル２０８６が出力した情報から、文字検出用モデル２０８６が検出した型番および目盛りの値といった文字の、盤の撮影画像における座標位置、すなわち対象物の盤の撮影画像における表示位置の情報を取得する。

【0250】

つぎに、ステップＳ９３０では、対象物検出部２０２が、盤の撮影画像における対象物の表示位置の情報と、盤の撮影画像における文字の表示位置の情報とを対応付けて、対象物の種類と、当該対象物の識別用情報を特定し、特定した識別用情報を「対象物に関連する識別用情報」として確定する。すなわち、対象物検出部２０２は、盤の撮影画像における対象物の座標位置と、盤の撮影画像における文字の座標位置との距離を計算する。そして、対象物検出部２０２は、計算結果の距離があらかじめ決められた閾値範囲以下である文字情報を「今回の読取対象の対象物の識別用情報」として関連付けて確定する。

【0251】

つぎに、ステップＳ９４０では、状態読取部２０３が、ステップＳ９３０で確定した対象物に関連する識別用情報を用いて、実施の形態１の場合と同様に状態読取処理を行い、対象物の状態を読取る。

【0252】

図６７は、実施の形態６にかかる状態読取システムが備えるサーバの対象物検出部に入力される盤の撮影画像の一例を示す図である。図６８は、実施の形態６にかかる状態読取システムが備えるサーバの対象物検出部における計算処理の一例について説明する図である。図６７に示される盤の撮影画像において例えばあらかじめ決められた閾値が５０ｐｘである場合、対象物検出部２０２は、「２０」、「０」、「％」、・・・、「１００」の文字が閾値以下であるため、「今回の読取対象の対象物の識別用情報」として確定する。

【0253】

上述した実施の形態６にかかる状態読取システム６は、実施の形態１にかかる状態読取システム１と同様に、盤に実装されている複数種類および複数個の全ての対象物の状態を１枚の盤の撮影画像から読取り、全ての対象物の読取結果を同時に出力することができるため、点検作業が容易になり、点検作業の効率化を実現できる。

【0254】

続いて、実施の形態１から６にかかる制御部８０のそれぞれのハードウェア構成について説明する。実施の形態１から６にかかる制御部８０は、モバイル端末１００，１００ａにおける盤指定部１０２、撮影部１０３、出力部１０５および端末制御部１０８と、モバイル端末１００ａにおける読取結果編集部１０９と、サーバ２００，２００ａ，２００ｂ，２００ｃ，２００ｄにおける盤データ取得部２０１、対象物検出部２０２、状態読取部２０３、読取結果保存部２０４、対象物学習部２０５およびサーバ制御部２０７と、サーバ２００ａにおける検出結果判定部２０９と、サーバ２００ｂにおける成績書記入位置取得部２１１、成績書様式取得部２１０および成績書保存部２１２と、サーバ２００ｃにおける稼働状態判定部２１３、稼働状態学習部２１４および稼働状態判定用パターン２０８４とのそれぞれに対応する。実施の形態１から６にかかる制御部８０のそれぞれの機能は、処理回路により実現される。処理回路は、専用のハードウェアであってもよく、記憶装置に格納されるプログラムを実行する処理装置であってもよい。

【0255】

処理回路が専用のハードウェアである場合、処理回路は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、またはこれらを組み合わせたものが該当する。図６９は、実施の形態１から６にかかる制御部のそれぞれの機能をハードウェアで実現した構成を示す図である。処理回路８１には、制御部８０の機能を実現する論理回路８１ａが組み込まれている。

【0256】

処理回路８１が処理装置の場合、制御部８０の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。

【0257】

図７０は、実施の形態１から６にかかる制御部のそれぞれの機能をソフトウェアで実現した構成を示す図である。処理回路８１は、プログラム８１ｂを実行するプロセッサ８１１と、プロセッサ８１１がワークエリアに用いるランダムアクセスメモリ８１２と、プログラム８１ｂを記憶する記憶装置８１３とを有する。記憶装置８１３に記憶されているプログラム８１ｂをプロセッサ８１１がランダムアクセスメモリ８１２上に展開し、実行することにより、制御部８０の機能が実現される。ソフトウェアまたはファームウェアは、プログラム言語で記述され、記憶装置８１３に格納される。プロセッサ８１１は、中央処理装置を例示できるがこれに限定はされない。記憶装置８１３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、またはＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）といった半導体メモリを適用できる。半導体メモリは、不揮発性メモリでもよいし揮発性メモリでもよい。また、記憶装置８１３は、半導体メモリ以外にも、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスクまたはＤＶＤ（Digital Versatile Disc）を適用できる。なお、プロセッサ８１１は、演算結果といったデータを記憶装置８１３に出力して記憶させてもよいし、ランダムアクセスメモリ８１２を介して不図示の補助記憶装置に当該データを記憶させてもよい。プロセッサ８１１、ランダムアクセスメモリ８１２および記憶装置８１３を１チップに集積することにより、制御部８０の機能をマイクロコンピュータにより実現することができる。

【0258】

処理回路８１は、記憶装置８１３に記憶されたプログラム８１ｂを読み出して実行することにより、制御部８０の機能を実現する。プログラム８１ｂは、制御部８０の機能を実現する手順および方法をコンピュータに実行させるものであるとも言える。

【0259】

なお、処理回路８１は、制御部８０の機能の一部を専用のハードウェアで実現し、制御部８０の機能の一部をソフトウェアまたはファームウェアで実現するようにしてもよい。

【0260】

このように、処理回路８１は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

【0261】

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

【0262】

以下、本開示の諸態様を付記としてまとめて記載する。

【0263】

（付記１）
点検対象の盤において複数の計器が実装された盤面が撮影された撮影画像と、前記撮影画像に含まれる複数の前記計器の各々の画像と、複数の前記計器の各々を識別して特定するための情報である識別用情報と、を含む学習用データを取得するデータ取得部と、
前記学習用データを用いて、前記撮影画像から、複数の計器の各々の画像と前記識別用情報とを推論するための学習済モデルを生成するモデル生成部と、
を備えることを特徴とする学習装置。
（付記２）
前記学習済モデルは、
前記撮影画像を入力することで前記撮影画像に含まれる複数の前記計器の各々の画像を出力する学習済モデルである画像検出用モデルと、
盤の撮影画像を入力することで前記撮影画像に含まれる文字情報を出力する学習済モデルである文字検出用モデルと、
を有することを特徴とする付記１に記載の学習装置。
（付記３）
モバイル端末と、前記モバイル端末と通信可能なサーバとを備え、点検対象の盤に実装された複数の計器の状態を読み取る状態読取システムであって、
前記モバイル端末は、前記盤において複数の前記計器が実装された盤面の画像である撮影画像を撮影する撮影部を備え、
前記サーバは、
前記撮影画像から、前記撮影画像に含まれる複数の前記計器の各々の画像と、複数の前記計器の各々を識別して特定するための情報である識別用情報と、を検出する検出部と、
複数の前記計器の各々の画像と、前記識別用情報とを用いて、複数の前記計器の各々の状態の情報を取得する状態読取部と、
を備え、
前記検出部は、前記撮影画像から、複数の計器の各々の画像と前記識別用情報とを推論するための学習済モデルを用いて、複数の計器の各々の画像と前記識別用情報とを検出すること、
を特徴とする状態読取システム。
（付記４）
前記検出部は、前記撮影画像に含まれる前記計器の個数を検出し、
前記サーバは、前記盤に実装された前記計器の個数の情報と、前記検出部で検出された前記計器の個数の情報とを比較することにより、前記撮影画像に含まれる全ての前記計器が前記検出部において検出されたか否かを判定する検出結果判定部を備えること、
を特徴とする付記３に記載の状態読取システム。
（付記５）
前記モバイル端末は、
前記状態読取部において取得された複数の前記計器の各々の状態の情報である読取結果の情報を表示する表示部と、
前記読取結果に関する表現の情報を編集する読取結果編集部と、
を備えることを特徴とする付記３または４に記載の状態読取システム。
（付記６）
あらかじめ決められた電子文書である成績書に記載されている前記盤についての点検項目に対応する前記読取結果の情報を前記成績書に記載する成績書保存部を備えること、
を特徴とする付記３から５のいずれか１つに記載の状態読取システム。
（付記７）
前記読取結果の情報に基づいて前記盤の稼働状態を取得する稼働状態判定部を備えること、
を特徴とする付記３から５のいずれか１つに記載の状態読取システム。
（付記８）
点検対象の盤において複数の計器が実装された盤面が撮影された撮影画像と、前記撮影画像に含まれる複数の前記計器の各々の画像と、複数の前記計器の各々を識別して特定するための情報である識別用情報と、を含む学習用データを取得するステップと、
前記学習用データを用いて、前記撮影画像から、複数の計器の各々の画像と前記識別用情報とを推論するための学習済モデルを生成するステップと、
を含むことを特徴とする学習方法。
（付記９）
点検対象の盤において複数の計器が実装された盤面が撮影された撮影画像と、前記撮影画像に含まれる複数の前記計器の各々の画像と、複数の前記計器の各々を識別して特定するための情報である識別用情報と、を含む学習用データを取得するステップと、
前記学習用データを用いて、前記撮影画像から、複数の計器の各々の画像と前記識別用情報とを推論するための学習済モデルを生成するステップと、
をコンピュータに実行させることを特徴とする学習プログラム。

【符号の説明】

【0264】

１，２，３，４，５，６ 状態読取システム、８０ 制御部、８１ 処理回路、８１ａ 論理回路、８１ｂ プログラム、１００，１００ａ モバイル端末、１０１ 操作部、１０２ 盤指定部、１０３ 撮影部、１０４ 表示部、１０５ 出力部、１０６ 端末記憶部、１０７ 端末通信部、１０８ 端末制御部、１０９ 読取結果編集部、２００，２００ａ，２００ｂ，２００ｃ，２００ｄ サーバ、２０１ 盤データ取得部、２０２ 対象物検出部、２０３ 状態読取部、２０４ 読取結果保存部、２０５ 対象物学習部、２０６ サーバ通信部、２０７ サーバ制御部、２０８ サーバ記憶部、２０９ 検出結果判定部、２１０ 成績書様式取得部、２１１ 成績書記入位置取得部、２１２ 成績書保存部、２１３ 稼働状態判定部、２１４ 稼働状態学習部、２５０ 学習装置、２５１ データ取得部、２５２ モデル生成部、２５３ 学習済モデル記憶部、２６０ 推論装置、２６１ データ取得部、２６２ 推論部、２７１ 入力情報、２７２ 検出情報、２７３ 学習済モデル、３００ 設備、４００ インターネット、４１０ サンプル盤、４１１ 水滴、８１１ プロセッサ、８１２ ランダムアクセスメモリ、８１３ 記憶装置、２０８１ 設備データベース、２０８２ 点検データベース、２０８３ 対象物検出用モデル、２０８４ 稼働状態判定用パターン、２０８５ 画像検出用モデル、２０８６ 文字検出用モデル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】

【図54】

【図55】

【図56】

【図57】

【図58】

【図59】

【図60】

【図61】

【図62】

【図63】

【図64】

【図65】

【図66】

【図67】

【図68】

【図69】

【図70】