(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-02
(45)【発行日】2022-12-12
(54)【発明の名称】指示値読取システムおよび方法並びにプログラム
(51)【国際特許分類】
G08C 19/36 20060101AFI20221205BHJP
G08C 17/00 20060101ALI20221205BHJP
G05B 23/02 20060101ALI20221205BHJP
G06T 7/00 20170101ALI20221205BHJP
【FI】
G08C19/36
G08C17/00 Z
G05B23/02 301T
G06T7/00 350C
(21)【出願番号】P 2019127964
(22)【出願日】2019-07-09
【審査請求日】2021-08-25
(73)【特許権者】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】福山 泰彦
(72)【発明者】
【氏名】笠原 直也
(72)【発明者】
【氏名】鉄谷 祐二
(72)【発明者】
【氏名】河合 佑紀
(72)【発明者】
【氏名】谷澤 洋史
(72)【発明者】
【氏名】中重 佑一
【審査官】菅藤 政明
(56)【参考文献】
【文献】特開2002-288780(JP,A)
【文献】特開2012-104032(JP,A)
【文献】特開2011-006067(JP,A)
【文献】国際公開第2018/167974(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08C 15/00-19/48
G05B 23/02
G06T 7/00- 7/90
(57)【特許請求の範囲】
【請求項1】
計測器の指示針を撮影可能なカメラと、
前記カメラに接続されて前記カメラが撮影した前記指示針の画像データを処理して前記指示針の指示値を求める画像処理装置と、
前記画像処理装置が求めた前記指示針の指示値のデータを送信する送信装置と、
を備
え、
前記画像処理装置が求めた前記指示針の指示値を保存する記憶部が設けられ、
前記画像処理装置は、前記指示針の画像データを処理して求めた前記指示針の指示値における尤度を求め、前記尤度が予め設定された閾値より低いときに、前記指示針の画像データを前記記憶部に保存する、
ことを特徴とする指示値読取システム。
【請求項2】
前記画像処理装置は、所定の処理周期ごとに前記指示針の指示値を求め、前記送信装置は、所定の送信周期ごとに前記指示針の指示値のデータを送信しており、前記尤度が前記閾値より低いときに、前記送信装置は、前記画像処理装置が前回求めた前記指示針の指示値のデータを送信することを特徴とする
請求項1に記載の指示値読取システム。
【請求項3】
計測器の指示針を撮影可能なカメラと、
前記カメラに接続されて前記カメラが撮影した前記指示針の画像データを処理して前記指示針の指示値を求める画像処理装置と、
前記画像処理装置が求めた前記指示針の指示値のデータを送信する送信装置と、
を備
え、
前記画像処理装置は、前記指示針の画像データを処理して求めた前記指示針の指示値における尤度を求めると共に、所定の処理周期ごとに前記指示針の指示値を求め、
前記送信装置は、所定の送信周期ごとに前記指示針の指示値のデータを送信しており、前記尤度が予め設定された閾値より低いときに、前記送信装置は、前記画像処理装置が前回求めた前記指示針の指示値のデータを送信する、
ことを特徴とする指示値読取システム。
【請求項4】
計測器の指示針を撮影可能なカメラと、
前記カメラに接続されて前記カメラが撮影した前記指示針の画像データを処理して前記指示針の指示値を求める画像処理装置と、
前記画像処理装置が求めた前記指示針の指示値のデータを送信する送信装置と、
を備
え、
前記画像処理装置は、前記指示針の画像データを処理して求めた前記指示針の指示値における尤度を求め、前記尤度が予め設定された第1閾値以上であると、前記指示針の指示値のデータを前記送信装置により送信する一方、前記尤度が前記第1閾値より低く且つ前記第1閾値より小さい第2閾値以上であると、前記指示針の指示値を画像照合の類似値または前回値により補正して前記送信装置により送信する、
ことを特徴とする指示値読取システム。
【請求項5】
前記画像処理装置は、前記尤度が前記第1閾値より低く且つ前記第2閾値以上であり、前記指示針の指示値と前記類似値との差の絶対値が予め設定された偏差閾値以下であると、前記指示針の指示値を前記類似値により補正して前記送信装置により送信することを特徴とする
請求項4に記載の指示値読取システム。
【請求項6】
前記画像処理装置は、前記指示針の指示値と前記類似値との差の絶対値が前記偏差閾値より高く、前記類似値の類似度が第3閾値以上であり、前記指示針の指示値と前記類似値との差の絶対値が前記前回値と前記類似値との差の絶対値以下であると、前記指示針の指示値を前記類似値により補正して前記送信装置により送信することを特徴とする
請求項5に記載の指示値読取システム。
【請求項7】
前記画像処理装置は、前記指示針の指示値と前記類似値との差の絶対値が前記偏差閾値より高く、前記類似値の類似度が第3閾値以上であり、前記指示針の指示値と前記類似値との差の絶対値が前記前回値と前記類似値との差の絶対値より高いと、前記指示針の指示値を前記前回値により補正して前記送信装置により送信することを特徴とする
請求項5または請求項6に記載の指示値読取システム。
【請求項8】
前記カメラと画像処理装置は、有線接続されることを特徴とする請求項1
から請求項7のいずれか一項に記載の指示値読取システム。
【請求項9】
前記画像処理装置は、前記指示針の画像データを処理して前記指示針の指示値を求めた後に前記指示針の画像データを削除することを特徴とする請求項1
から請求項8のいずれか一項に記載の指示値読取システム。
【請求項10】
前記計測器に対して前記指示針の作動範囲および単位を割り当てておき、前記画像処理装置は、前記指示針の画像データを処理して前記指示針の指示値としての数値を求めることを特徴とする請求項1から
請求項9のいずれか一項に記載の指示値読取システム。
【請求項11】
前記カメラは、複数の前記計測器の指示針を撮影可能であり、前記画像処理装置は、前記カメラが撮影した複数の前記指示針の画像データを順に処理して前記指示針の指示値を求めることを特徴とする請求項1から
請求項10のいずれか一項に記載の指示値読取システム。
【請求項12】
前記画像処理装置は、前記カメラが撮影した画像データを画像処理して前記計測器の画像データを作成し、前記計測器の画像データを深層学習により前記計測器における前記指示針の指示値を求めることを特徴とする請求項1から
請求項11のいずれか一項に記載の指示値読取システム。
【請求項13】
前記画像処理装置は、モニタが接続可能であり、前記カメラの画像データと、前記画像処理装置が処理する前記計測器の画像データとを前記モニタに表示可能であることを特徴とする請求項1から
請求項12のいずれか一項に記載の指示値読取システム。
【請求項14】
前記画像処理装置は、処理に必要な設定データと、前記画像処理装置により求められた前記指示針の指示値のデータとを前記モニタに表示可能であることを特徴とする
請求項13に記載の指示値読取システム。
【請求項15】
計測器の指示針を撮影する工程と、
撮影した前記指示針の画像データを処理して前記指示針の指示値を求める工程と、
前記指示針の画像データを削除すると共に求めた前記指示針の指示値のデータを送信する工程と、
を有
し、
前記指示針の画像データを処理して求めた前記指示針の指示値における尤度を求め、前記尤度が予め設定された閾値より低いときに、前記指示針の画像データを保存する、
ことを特徴とする指示値読取方法。
【請求項16】
計測器の指示針を撮影する工程と、
撮影した前記指示針の画像データを処理して前記指示針の指示値を求める工程と、
前記指示針の画像データを削除すると共に求めた前記指示針の指示値のデータを送信する工程と、
を有
し、
前記指示針の画像データを処理して求めた前記指示針の指示値における尤度を求め、前記尤度が予め設定された第1閾値以上であると、前記指示針の指示値のデータを送信する一方、前記尤度が前記第1閾値より低く且つ前記第1閾値より小さい第2閾値以上であると、前記指示針の指示値を画像照合の類似値または前回値により補正して送信する、
ことを特徴とする指示値読取方法。
【請求項17】
計測器の指示針を撮影する処理と、
撮影した前記指示針の画像データを処理して前記指示針の指示値を求める処理と、
前記指示針の画像データを削除すると共に求めた前記指示針の指示値のデータを送信する処理と、
前記指示針の画像データを処理して求めた前記指示針の指示値における尤度を求め、前記尤度が予め設定された閾値より低いときに、前記指示針の画像データを保存する処理と、
をコンピュータに実行させることを特徴とする指示値読取プログラム。
【請求項18】
計測器の指示針を撮影する処理と、
撮影した前記指示針の画像データを処理して前記指示針の指示値を求める処理と、
前記指示針の画像データを削除すると共に求めた前記指示針の指示値のデータを送信する処理と、
前記指示針の画像データを処理して求めた前記指示針の指示値における尤度を求め、前記尤度が予め設定された第1閾値以上であると、前記指示針の指示値のデータを送信する一方、前記尤度が前記第1閾値より低く且つ前記第1閾値より小さい第2閾値以上であると、前記指示針の指示値を画像照合の類似値または前回値により補正して送信する処理と、
をコンピュータに実行させることを特徴とする指示値読取プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、各種の計測器の指示値を読み取るための指示値読取システムおよび方法並びにプログラムに関するものである。
【背景技術】
【0002】
例えば、各種のプラントでは、各種機器の作動状態を計測器により計測し、計測した指示値に基づいた各種機器の作動状態を監視している。この場合、作業者は、機器が設置された場所に行き、その設置場所に設置された機器に設けられた計測器の指示値を読み取る。そして、作業者は、計測器から読み取った指示値に基づいて機器を監視したり、作動制御したりする。作業性を考慮し、遠隔により計測器の指示値を読み取ることが考えられている。このような指示値読取システムとしては、例えば、下記特許文献1に記載されたものがある。特許文献1に記載された機器状態監視システムは、カメラが被制御機器を撮影し、センサが被制御機器の情報を収集し、撮影した画像や収集した情報を遠方監視制御装置に送信し、遠方監視制御装置が被制御機器の状態を判断して警告を表示するものである。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の機器状態監視システムでは、カメラが撮影した被制御機器の画像やセンサが収集した被制御機器の情報を遠方監視制御装置に送信し、遠方監視制御装置が被制御機器の状態を判断する。この場合、被制御機器の画像や情報は、大容量データであり、大容量データである被制御機器の画像や情報を遠方監視制御装置に送信することとなり、大容量データを送信するための送信装置が必要となる。そのため、遠方監視システムが複雑で大型化し、システムを導入するために多数の機器や配線の追加が必要となり、導入コストが増加してしまうという課題がある。
【0005】
本発明は、上述した課題を解決するものであり、導入コストの増加を抑制すると共に計測器の指示値を容易に読み取ることができる指示値読取システムおよび方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するための本発明の指示値読取システムは、計測器の指示針を撮影可能なカメラと、前記カメラに接続されて前記カメラが撮影した前記指示針の画像データを処理して前記指示針の指示値を求める画像処理装置と、前記画像処理装置が求めた前記指示針の指示値のデータを送信する送信装置と、を備えることを特徴とする。
【0007】
そのため、カメラが計測器の指示針を撮影し、画像処理装置が指示針の画像データを処理して指示針の指示値を求め、送信装置が指示針の指示値のデータを送信する。ここで、送信装置が送信する指示針の指示値のデータは、デジタルデータとしての数値であることから低容量データとなり、大容量データを高速送信する送信装置が不要となる。その結果、導入コストの増加を抑制することができると共に計測器の指示値を容易に読み取ることができる。
【0008】
本発明の指示値読取システムでは、前記カメラと画像処理装置は、有線接続されることを特徴とする。
【0009】
そのため、カメラと画像処理装置を有線接続することから、無線装置を不要として装置の簡素化を図ることができる。
【0010】
本発明の指示値読取システムでは、前記画像処理装置は、前記指示針の画像データを処理して前記指示針の指示値を求めた後に前記指示針の画像データを削除することを特徴とする。
【0011】
そのため、画像処理装置が指示針の画像データを処理して指示値を求めた後、指示針の画像データを削除することから、大容量データである指示針の画像データを保存する必要がなくなり、大きな記憶装置を不要として装置の簡素化を図ることができる。
【0012】
本発明の指示値読取システムでは、前記計測器に対して前記指示針の作動範囲および単位を割り当てておき、前記画像処理装置は、前記指示針の画像データを処理して前記指示針の指示値としての数値を求めることを特徴とする。
【0013】
そのため、指示針の作動範囲および単位を割り当てておくことから、画像処理装置は、指示針の画像データを処理して指示針の指示値としての数値を容易に求めることができる。
【0014】
本発明の指示値読取システムでは、前記画像処理装置が求めた前記指示針の指示値を保存する記憶部が設けられることを特徴とする。
【0015】
そのため、画像処理装置が求めた指示針の指示値を記憶部に保存することから、送信装置によるデータの送信不良があっても、指示針の指示値のデータを継続して取得することができる。
【0016】
本発明の指示値読取システムでは、前記画像処理装置は、前記指示針の画像データを処理して求めた前記指示針の指示値における尤度を求め、前記尤度が予め設定された閾値より低いときに、前記指示針の画像データを前記記憶部に保存することを特徴とする。
【0017】
そのため、指示針の指示値の尤度が低いとき、尤度が低い指示値を求めた指示針の画像データを記憶部に保存することから、記憶部に保存した指示針の画像データに基づいて指示値の尤度が低くなった原因を特定することができる。
【0018】
本発明の指示値読取システムでは、前記画像処理装置は、所定の処理周期ごとに前記指示針の指示値を求め、前記送信装置は、所定の送信周期ごとに前記指示針の指示値のデータを送信しており、前記尤度が前記閾値より低いときに、前記送信装置は、前記画像処理装置が前回求めた前記指示針の指示値のデータを送信することを特徴とする。
【0019】
そのため、指示針の指示値の尤度が低いとき、送信装置が前回求めた指示針の指示値のデータを送信することから、指示針の指示値のデータを継続して取得することができる。
【0020】
本発明の指示値読取システムでは、前記画像処理装置は、前記指示針の画像データを処理して求めた前記指示針の指示値における尤度を求め、前記尤度が予め設定された第1閾値以上であると、前記指示針の指示値のデータを前記送信装置により送信する一方、前記尤度が前記第1閾値より低く且つ前記第1閾値より小さい第2閾値以上であると、前記指示針の指示値を画像照合の類似値または前回値により補正して前記送信装置により送信することを特徴とする。
【0021】
そのため、尤度が第1閾値より低く、且つ、第2閾値以上であると、指示針の指示値を類似値または前回値により補正して送信することから、送信する指示針の指示値の精度を向上することができる。
【0022】
本発明の指示値読取システムでは、前記画像処理装置は、前記尤度が前記第1閾値より低く且つ前記第2閾値以上であり、前記指示針の指示値と前記類似値との絶対値が予め設定された偏差閾値以下であると、前記指示針の指示値を前記類似値により補正して前記送信装置により送信することを特徴とする。
【0023】
そのため、指示針の指示値と類似値との絶対値が偏差閾値以下であると、指示針の指示値を類似値により補正して送信することから、送信する指示針の指示値の精度を向上することができる。
【0024】
本発明の指示値読取システムでは、前記画像処理装置は、前記指示針の指示値と前記類似値との絶対値が前記偏差閾値より高く、前記類似値の類似度が第3閾値以上であり、前記指示針の指示値と前記類似値との絶対値が前記前回値と前記類似値との絶対値以下であると、前記指示針の指示値を前記類似値により補正して前記送信装置により送信することを特徴とする。
【0025】
そのため、類似度が第3閾値以上であり、指示針の指示値と類似値との絶対値が前回値と類似値との絶対値以下であると、指示針の指示値を類似値により補正して送信することから、送信する指示針の指示値の精度を向上することができる。
【0026】
本発明の指示値読取システムでは、前記画像処理装置は、前記指示針の指示値と前記類似値との絶対値が前記偏差閾値より高く、前記類似値の類似度が第3閾値以上であり、前記指示針の指示値と前記類似値との絶対値が前記前回値と前記類似値との絶対値より高いと、前記指示針の指示値を前記前回値により補正して前記送信装置により送信することを特徴とする。
【0027】
そのため、類似度が第3閾値以上であり、指示針の指示値と類似値との絶対値が前回値と類似値との絶対値より高いと、指示針の指示値を前回値により補正して送信することから、送信する指示針の指示値の精度を向上することができる。
【0028】
本発明の指示値読取システムでは、前記カメラは、複数の前記計測器の指示針を撮影可能であり、前記画像処理装置は、前記カメラが撮影した複数の前記指示針の画像データを順に処理して前記指示針の指示値を求めることを特徴とする。
【0029】
そのため、画像処理装置が複数の指示針の画像データを順に処理して指示針の指示値を求めることから、複数のカメラを不要として装置の簡素化を図ることができる。
【0030】
本発明の指示値読取システムでは、前記画像処理装置は、前記カメラが撮影した画像データを画像処理して前記計測器の画像データを作成し、前記計測器の画像データを深層学習により前記計測器における前記指示針の指示値を求めることを特徴とする。
【0031】
そのため、指示針の画像データを深層学習して指示針の指示値を求めることから、高精度な指示針の指示値を迅速に求めることができる。
【0032】
本発明の指示値読取システムでは、前記画像処理装置は、モニタが接続可能であり、前記カメラの画像データと、前記画像処理装置が処理する前記計測器の画像データとを前記モニタに表示可能であることを特徴とする。
【0033】
そのため、カメラの画像データと画像処理装置が処理する計測器の画像データをモニタに表示することから、作業者は、カメラの視角や特定した計測器を確認することができる。
【0034】
本発明の指示値読取システムでは、前記画像処理装置は、処理に必要な設定データと、前記画像処理装置により求められた前記指示針の指示値のデータとを前記モニタに表示可能であることを特徴とする。
【0035】
そのため、処理に必要な設定データと画像処理装置により求められた指示針の指示値のデータをモニタに表示することから、作業者は、処理内容を確認することができ、処理の間違いを容易に確認することができる。
【0036】
本発明の指示値読取方法は、計測器の指示針を撮影する工程と、撮影した前記指示針の画像データを処理して前記指示針の指示値を求める工程と、前記指示針の画像データを削除すると共に求めた前記指示針の指示値のデータを送信する工程と、を有することを特徴とする。
【0037】
そのため、送信装置が送信する指示針の指示値のデータは、デジタルデータとしての数値であることから低容量データとなり、大容量データを高速送信する送信装置が不要となる。その結果、導入コストの増加を抑制することができると共に計測器の指示値を容易に読み取ることができる。
【0038】
本発明の指示値読取プログラムは、計測器の指示針を撮影する処理と、撮影した前記指示針の画像データを処理して前記指示針の指示値を求める処理と、前記指示針の画像データを削除すると共に求めた前記指示針の指示値のデータを送信する処理と、をコンピュータに実行させることを特徴とする。
【0039】
そのため、送信装置が送信する指示針の指示値のデータは、デジタルデータとしての数値であることから低容量データとなり、大容量データを送信する大型の送信装置が不要となる。その結果、導入コストの増加を抑制することができると共に計測器の指示値を容易に読み取ることができる。
【発明の効果】
【0040】
本発明の指示値読取システムおよび方法並びにプログラムによれば、導入コストの増加を抑制すると共に、計測器の指示値を容易に読み取ることができる。
【図面の簡単な説明】
【0041】
【
図1】
図1は、本実施形態の指示値読取システムを表す概略構成図である。
【
図2】
図2は、指示値読取システムにおけるモニタ画面を表す概略図である。
【
図3】
図3は、指示値読取方法を表すフローチャートである。
【
図4】
図4は、指示値推定方法を表すフローチャートである。
【
図5】
図5は、類似度を説明するためのグラフである。
【
図6】
図6は、指示値の補正方法を説明するための概略図である。
【発明を実施するための形態】
【0042】
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含むものである。
【0043】
図1は、本実施形態の指示値読取システムを表す概略構成図、
図2は、指示値読取システムにおけるモニタ画像を表す概略視図である。
【0044】
本実施形態において、
図1に示すように、指示値読取システム10は、各種機器(図示略)が設置される現場100に配置される。指示値読取システム10は、少なくともカメラ11と、画像処理装置12と、送信装置13とを備える。指示値読取システム10は、現場100に配置される各種機器の複数(本実施形態では、6個)の計測器51,52,53,54,55,56の各指示針61,62,63,64,65,66の指示値を読み取って管理センター200にある監視システム20に送信するものである。管理センター200は、現場100から離間し、監視システム20により現場100に配置された各種機器を監視する。なお、計測器の数は、6個に限定されない。
【0045】
ここで、計測器51,52,53,54,55,56とは、温度計、圧力計、流量計などである。計測器51,52,53,54,55,56は、計器盤が円形をなし、中心位置に指示針61,62,63,64,65,66が回動自在に支持され、周囲に目盛71,72,73,74,75,76が付設されて構成される。指示針61,62,63,64,65,66は、計測値に応じて回動し、先端部が目盛71,72,73,74,75,76を指すことで、指示値を表示する。
【0046】
指示値読取システム10は、現場100に配置され、具体的には、カメラ11と、画像処理装置12と、送信装置13と、記憶部14と、操作部15と、モニタ16と、電源部17とを備える。監視システム20は、管理センター200に荷配置され、制御装置21と、受信装置22と、モニタ23とを備える。
【0047】
カメラ11は、複数の計測器51,52,53,54,55,56の各指示針61,62,63,64,65,66を撮影可能である。カメラ11は、各計測器51,52,53,54,55,56を含む所定の領域を撮影可能である。そのため、カメラ11の撮影領域のうち、各計測器51,52,53,54,55,56が配置される領域を指定することで、計測器51,52,53,54,55,56を特定する。この場合、作業者が操作部15または記憶部14に記憶されたプログラムにより複数の計測器51,52,53,54,55,56のうちの特定の計測器だけを指定することができる。
【0048】
画像処理装置12は、カメラ11に有線接続されているが、画像処理装置12とカメラ11を無線接続してもよい。画像処理装置12は、画像処理部12aと、画像認識部12bと、表示作成部12cとを有する。ここで、画像処理装置12は、例えば、CPU(Central Processing Unit)およびメモリである。画像処理部12aは、カメラ11が撮影した各指示針61,62,63,64,65,66の画像データの前処理を行う。具体的に、画像処理部12aは、教師用のデータの作成処理および学習処理と、カメラ11が撮影した画像データのフィルタリング処理と、カメラ11が撮影した画像データの二値化処理を行う。
【0049】
画像処理部12aは、後述するように深層学習により画像認識して各指示針61,62,63,64,65,66の指示値を求める。例えば、事前に、処理対象となる複数の指示針61,62,63,64,65,66のサンプルデータを多数取得し、サンプルデータ学習させることで教師用のデータを作成しておく。画像認識部12bは、カメラ11が撮影して画像処理した指示針61,62,63,64,65,66の画像データと、教師用のデータとを照合する。
【0050】
また、カメラ11が撮影した画像データは、各計測器51,52,53,54,55,56を含む所定の領域の画像データである。画像処理部12aは、カメラ11が撮影した画像データから、各計測器51,52,53,54,55,56の画像データだけを取り出す処理を行う。更に、画像処理部12aは、カメラ11が撮影した各指示針61,62,63,64,65,66の画像データを二値化処理し、指示針61,62,63,64,65,66を黒色とし、計測器51,52,53,54,55,56の計器盤を白色とする。なお、各指示針61,62,63,64,65,66の画像処理は、二値化処理に限るものではなく、別の処理であっても、二値化処理を省略してもよい。
【0051】
画像認識部12bは、前述したように、カメラ11が撮影して画像処理部12aが画像処理した指示針61,62,63,64,65,66の画像データと、教師用のデータとを照合する。この画像データの照合により指示針61,62,63,64,65,66の形状を特定し、先端が指す位置を特定して指示値を求める。本実施形態では、深層学習により計測器51,52,53,54,55,56における指示針61,62,63,64,65,66の指示値を求める。
【0052】
格子状の数値データであるカーネル(フィルタ)Bを予め用意し、画像処理部12aが処理して二値化した各計測器51,52,53,54,55,56の画像データAとこのカーネルBを用いて画像処理する。まず、カーネルBと、このカーネルBと同サイズの画像データAにおける部分画像(ウインド)の数値データについて、ピクセル単位で要素同士を掛け合せた後に加算して合計する積和演算を行い、1つ目の数値を算出する。次に、画像データAにおける部分画像の範囲を数ピクセルずらし、前述と同様に、積和演算を行い、2つ目の数値を算出する。続いて、画像データAを網羅する範囲までこの処理を繰り返し行う折り畳みを行うことで、画像データAより小さい縮小された格子状のデータ、つまり、特徴マップCを得る。そして、特徴マップCを入力として深層学習(ニューラルネットワークによる学習)を行い、指示針61,62,63,64,65,66の指示値を推定すると共に、尤度を算出する。なお、ここでは、ニューラルネットワークに畳み込み操作を導入した深層学習を用いたが、例えば、ニューラルネットワークにプーリング操作を導入した深層学習を用いてもよい。また、画像処理装置12による画像処理は、深層学習に限るものではなく、他の機械学習やその他の解析方法を用いてもよい。
【0053】
なお、カメラ11は、複数の計測器51,52,53,54,55,56を動画で取得し、画像処理装置12は、カメラ11で取得した動画から所定のタイミングで静止画を取り込み、各指示針61,62,63,64,65,66の静止画を処理して各指示針61,62,63,64,65,66の指示値を求める。この場合、画像処理装置12は、計測器51,52,53,54,55,56において、初期設定値として、各指示針61,62,63,64,65,66の作動範囲(目盛71,72,73,74,75,76の付設範囲)と、目盛71,72,73,74,75,76の数値、計測値の単位を割り当てておくことが必要である。なお、画像処理装置12が静止画を取り込むタイミングは、画像処理装置12の処理能力に依存する。
【0054】
そのため、画像処理装置12は、カメラ11が撮影した各指示針61,62,63,64,65,66の画像データを処理することで、各指示針61,62,63,64,65,66の位置と初期設定値に基づいて各指示針61,62,63,64,65,66の指示値としての数値を求める。
【0055】
画像認識部12bは、深層学習により指示針61,62,63,64,65,66の指示値を推定すると共に尤度を算出するが、このとき、複数の指示値とその指示値に対する尤度が求まり、最も高い尤度の指示値が採用される。そして、画像認識部12bは、各指示針61,62,63,64,65,66の画像データを処理して求めた各指示針61,62,63,64,65,66の採用した指示値における尤度と予め設定された閾値とを比較する。ここで、画像認識部12bは、各指示針61,62,63,64,65,66の指示値の尤度が予め設定された閾値より低いとき、尤度が低い各指示針61,62,63,64,65,66の指示値を求めた画像データを記憶部14に保存する。ここで、指示値の尤度とは、深層学習による画像照合率であって、閾値とは、例えば、90%であるが、閾値の数値は適宜設定すればよいものである。
【0056】
また、画像処理装置12は、図示しない記憶部(内部ストレージ)を有し、例えば、RAM(Random Access Memory)である。画像処理装置12の記憶部には、画像処理装置12が各指示針61,62,63,64,65,66の画像データを処理して指示値を求めるための指示値読取プログラムが格納される。すなわち、画像処理装置12が画像データの深層学習を行うためのデータが格納される。指示値読取プログラムは、計測器51,52,53,54,55,56の指示針61,62,63,64,65,66を撮影する処理と、撮影した指示針61,62,63,64,65,66の画像データを処理して指示針の指示値を求める処理と、指示針61,62,63,64,65,66の画像データを削除すると共に、求めた指示針61,62,63,64,65,66の指示値のデータを送信する処理とを画像処理装置(コンピュータ)12に実行させるものである。
【0057】
画像処理装置12は、所定周期ごとに各指示針61,62,63,64,65,66の指示値を求め、送信装置13は、所定周期ごとに各指示針61,62,63,64,65,66の指示値のデータを送信する。送信装置13が送信する所定周期は、送信能力に依存する。ここで、画像処理装置12が画像処理する所定周期と、送信装置13が指示値のデータを送信する所定周期とを一致させる必要はない。そして、画像認識部12bが各指示針61,62,63,64,65,66の画像データの尤度が低いと判定したとき、送信装置13は、画像処理装置12が前回求めた指示針61,62,63,64,65,66の指示値のデータを再度送信する。
【0058】
表示作成部12cは、モニタ16に表示する画像を作成する。表示作成部12cが作成してモニタ16に表示する画像については後述する。
【0059】
なお、カメラ11が複数の計測器51,52,53,54,55,56の各指示針61,62,63,64,65,66を撮影した場合、画像処理装置12は、各指示針61,62,63,64,65,66の画像データを予め設定された順に処理して各指示針61,62,63,64,65,66の指示値を求める。
【0060】
送信装置13は、画像処理装置12が求めた各指示針61,62,63,64,65,66の指示値のデータを送信する。送信装置13が送信するデータは、日時、指示値(数値)、尤度である。このとき、画像処理装置12は、各指示針61,62,63,64,65,66の画像データを処理して各指示針61,62,63,64,65,66の指示値を求めると、次の各指示針61,62,63,64,65,66の画像データが取り込まれて更新される。すなわち、画像処理装置12は、各指示針61,62,63,64,65,66の画像データを保存することはなく、送信装置13は、画像処理装置12が処理する各指示針61,62,63,64,65,66の画像データは送信せず、求めた各指示針61,62,63,64,65,66の指示値のデータだけを送信する。ここで、各指示針61,62,63,64,65,66の指示値のデータとは、処理した日時、各計測器51,52,53,54,55,56の数値、各指示針61,62,63,64,65,66の指示値の尤度などのデータである。
【0061】
記憶部14は、画像処理装置12に接続される。記憶部14は、例えば、ROM(Read Only Memory)である。記憶部14は、画像処理装置12が各指示針61,62,63,64,65,66の指示値を求めると、送信装置13が送信する指示値のデータを保存する。また、記憶部14は、上述したように、画像認識部12bにより尤度が低い各指示針61,62,63,64,65,66の指示値を求めた画像データを記憶部14に保存する。
【0062】
操作部15は、作業者が画像処理装置12に対して各種の設定データを入力するものである。ここで、各種の設定データとは、日時、カメラ11における撮影領域、画像処理する計測器51,52,53,54,55,56、データの保存先などである。
【0063】
モニタ16は、
図2に示すように、複数(本実施形態では、4個)の表示部31,32,33,34が設けられる。第1表示部31は、カメラ11が撮影した領域の全ての画像データを表示する。第2表示部32は、複数の計測器51,52,53,54,55,56のうち、指示値を読み取りたい特定の指示針61,63,64の計測器51,53,54の画像を表示する。第3表示部33は、画像処理装置12が処理に必要な設定データなどを表示する。この設定データとは、上述した日時、カメラ11における撮影領域、画像処理する計測器51,52,53,54,55,56、データの保存先であり、その他に画像処理装置12による処理状態を表示する。第4表示部34は、画像処理装置12により求められた指示針61の計測器51の二値化画像と指示針61の指示値(数値)を表示する。
【0064】
電源部17は、画像処理装置12を介してカメラ11、送信装置13、記憶部14、操作部15、モニタ16などに電力を供給するものである。
【0065】
一方、監視システム20において、受信装置22は、指示値読取システム10の送信装置13と低容量データを送受信できる無線ネットワークで接続可能である。受信装置22は、指示値読取システム10の送信装置13が送信した指示針61,62,63,64,65,66の指示値を受信する。制御装置21は、受信装置22が受信した指示針61,62,63,64,65,66の指示値を受け取り、モニタ23に表示する。制御装置21は、例えば、図示しない監視装置に接続されており、指示針61,62,63,64,65,66の指示値に基づいて各種機器を監視する。
【0066】
ここで、本実施形態の指示値読取方法について具体的に説明する。
図3は、指示値読取方法を表すフローチャートである。
【0067】
本実施形態の指示値読取方法は、計測器51,52,53,54,55,56の指示針61,62,63,64,65,66を撮影する工程と、撮影した指示針61,62,63,64,65,66の画像データを処理して指示針61,62,63,64,65,66の指示値を求める工程と、指示針61,62,63,64,65,66の画像データを削除すると共に求めた指示針61,62,63,64,65,66の指示値のデータを送信する工程とを有する。
【0068】
具体的に説明すると、
図1および
図3に示すように、ステップS11にて、画像処理装置12は、カメラ11が撮影した複数の計測器51,52,53,54,55,56の各指示針61,62,63,64,65,66の画像データを取得する。この場合、複数の計測器51,52,53,54,55,56のうち、特定の計測器だけが指定しされていれば、指定されている指示針の画像データだけを取得する。ステップS12にて、画像処理装置12は、取得した複数の計測器51,52,53,54,55,56の各指示針61,62,63,64,65,66の画像データを画像処理する。
【0069】
ステップS13にて、画像処理装置12は、画像処理した計測器51,52,53,54,55,56の各指示針61,62,63,64,65,66の画像データの深層学習を実施する。ステップS14にて、指示針61,62,63,64,65,66の指示値と尤度を求める。そして、ステップS15にて、画像処理装置12は、深層学習を実施した後、求めた指示針61,62,63,64,65,66の指示値における尤度が閾値より高いかどうかを判定する。ここで、尤度が閾値より高い(Yes)と、ステップS16に移行する。
【0070】
そして、ステップS16にて、指示針61,62,63,64,65,66の指示値(数値)のデータを記憶部14に保存する。ステップS17にて、計測器51,52,53,54,55,56の各指示針61,62,63,64,65,66の画像データを更新して削除する。ステップS18にて、送信装置13は、指示針61,62,63,64,65,66の指示値(数値)のデータを監視システム20に送信する。一方、ステップS15にて、求めた指示針61,62,63,64,65,66の指示値における尤度が閾値より低い(No)と、ステップS19にて、尤度が低い各指示針61,62,63,64,65,66の指示値を求めた画像データを記憶部14に保存する。
【0071】
なお、上述の処理では、ステップS15にて、尤度が閾値より低いと判定されると、尤度が低い各指示針61,62,63,64,65,66の指示値を求めた画像データを記憶部14に保存したが、この処理に限定されるものではない。
図4は、指示値推定方法を表すフローチャート、
図5は、類似度を説明するためのグラフ、
図6は、指示値の補正方法を説明するための概略図である。
【0072】
図4に示すように、ステップS21にて、指示針61,62,63,64,65,66の指示値xにおける尤度sが第1閾値α1(例えば、0.8)以上かどうかを判定する。ここで、尤度sが第1閾値α1以上である(Yes)と、ステップS22にて、算出した指示針61,62,63,64,65,66の指示値xを出力する。一方、尤度sが第1閾値α1より低い(No)と、ステップS23にて、尤度sが第2閾値α2(例えば、0.5)以上かどうかを判定する。第2閾値α2は、第1閾値α1より低い値である。
【0073】
ここで、尤度sが第2閾値α2以上である(Yes)と、ステップS24にて、指示値xと類似値zとの偏差の絶対値が予め設定された偏差閾値β1以下であるかを判定する。ここで、類似値zとは、カメラ11が撮影して画像処理した指示針61,62,63,64,65,66の画像データと教師用のデータとの照合したとき、最も照合確率(類似度u)の高い値である。
図5に示すように、例えば、指示針61,62,63,64,65,66の画像データと教師用のデータとの照合した結果、指示値(類似値)z1のときの確率(類似度u)が最も高いため、これを類似値zとする。
【0074】
そして、指示値xと類似値zとの偏差の絶対値が偏差閾値β1以下(Yes)であると、ステップS25にて、算出した指示針61,62,63,64,65,66の指示値xを補正した補正値F(x,z,s,u)を出力する。ここで、指示値xの補正方法について説明する。
図6に示すように、2つの推定値a,b(例えば、指示値x、類似値z)が求められたとき、尤度sと定数t(類似度u)の大きさに応じて補正値F(a,b,s,t)が算出される。具体的には、下記数式により補正した指示値F(a,b,c,d)が算出される。
F(a,b,c,d)=a-{(a-b)*d/(c+d)}
ここで、a,bは、推定値であり、c,dは係数である。すなわち、ステップS25で求める補正値F(x,z,s,u)は、a,bに対して指示値x、類似値zが用いられ、c,dに対して尤度s、類似度uが用いられる。
【0075】
一方、ステップS25にて、指示値xと類似値zとの偏差の絶対値が偏差閾値β1より大きい(No)と、ステップS26にて、類似値zに対する類似度uが第3閾値α3(例えば、0.5)以上かどうかを判定する。第3閾値α3は、第2閾値α2と同じ値であることが好ましいが、異なる値でもよい。
【0076】
ここで、類似度uが第3閾値α3(例えば、0.5)以上(Yes)であると、ステップS27にて、指示値xと類似値zとの偏差が前回の指示値(以下、前回値)yと類似値zとの偏差以下であるかを判定する。ここで、指示値xと類似値zとの偏差が前回値yと類似値zとの偏差以下(Yes)であると、ステップS25にて、算出した指示針61,62,63,64,65,66の指示値xを補正した指示値F(x,z,s,u)を出力する。一方、指示値xと類似値zとの偏差が前回値yと類似値zとの偏差より大きい(No)であると、ステップS28にて、算出した指示針61,62,63,64,65,66の指示値xを補正した補正値F(y,z,t,u)を出力する。tは、定数(設定値)である。指示値F(y,z,t,u)は、上述した数式により算出され、a,bに対して前回値y、類似値zが用いられ、c,dに対して定数t、類似度uが用いられる。
【0077】
また、ステップS26にて、類似度uが第3閾値α3より低い(No)と、ステップS30にて、前回値yを指示値として出力する。また、ステップS23にて、尤度sが第2閾値α2より低い(No)とき、ステップS29にて、類似度uが第4閾値α4(例えば、0.5)以上かどうかを判定する。第4閾値α4は、第2閾値α2と同じ値であることが好ましいが、異なる値でもよい。ここで、類似度uが第4閾値α4以上(Yes)であると、ステップS28にて、算出した指示針61,62,63,64,65,66の指示値xを補正した補正値F(,z,t,u)を出力する。一方、類似度uが第4閾値α4より低い(No)と、ステップS30にて、前回値yを指示値として出力する。
【0078】
このように本実施形態の指示値読取システムは、計測器51,52,53,54,55,56の指示針61,62,63,64,65,66を撮影可能なカメラ11と、カメラ11に接続されてカメラ11が撮影した指示針61,62,63,64,65,66の画像データを処理して指示針61,62,63,64,65,66の指示値を求める画像処理装置12と、画像処理装置12が求めた指示針61,62,63,64,65,66の指示値のデータを送信する送信装置13とを備える。
【0079】
そのため、カメラ11が計測器51,52,53,54,55,56の指示針61,62,63,64,65,66を撮影し、画像処理装置12が指示針61,62,63,64,65,66の画像データを処理して指示針61,62,63,64,65,66の指示値を求め、送信装置13が指示針61,62,63,64,65,66の指示値のデータを送信する。ここで、送信装置13が送信する指示針61,62,63,64,65,66の指示値のデータは、デジタルデータとしての数値であることから低容量データとなり、大容量データを高速送信する送信装置が不要となる。その結果、導入コストの増加を抑制することができると共に、計測器の指示値を容易に読み取ることができる。
【0080】
本実施形態の指示値読取システムでは、カメラ11と画像処理装置12を有線接続する。そのため、無線装置を不要として装置の簡素化を図ることができる。
【0081】
本実施形態の指示値読取システムでは、画像処理装置12は、指示針61,62,63,64,65,66の画像データを処理して指示針61,62,63,64,65,66の指示値を求めた後に指示針61,62,63,64,65,66の画像データを削除する。そのため、大容量データである指示針61,62,63,64,65,66の画像データを保存する必要がなくなり、大きな記憶装置を不要として装置の簡素化を図ることができる。
【0082】
本実施形態の指示値読取システムでは、計測器51,52,53,54,55,56に対して指示針61,62,63,64,65,66の作動範囲および単位を割り当てておき、画像処理装置12は、指示針61,62,63,64,65,66の画像データを処理して指示針61,62,63,64,65,66の指示値としての数値を求める。そのため、画像処理装置12は、指示針61,62,63,64,65,66の画像データを処理して指示針61,62,63,64,65,66の指示値としての数値を容易に求めることができる。
【0083】
本実施形態の指示値読取システムでは、画像処理装置12が求めた指示針61,62,63,64,65,66の指示値を保存する記憶部14を設ける。そのため、画像処理装置12が求めた指示針61,62,63,64,65,66の指示値を記憶部14に保存することから、送信装置13によるデータの送信不良があっても、指示針61,62,63,64,65,66の指示値のデータを継続して取得することができる。
【0084】
本実施形態の指示値読取システムでは、画像処理装置12は、指示針61,62,63,64,65,66の画像データを処理して求めた指示針61,62,63,64,65,66の指示値における尤度を求め、尤度が予め設定された閾値より低いときに、尤度が低い指示針61,62,63,64,65,66の指示値を求めた指示針61,62,63,64,65,66の画像データを記憶部14に保存する。そのため、記憶部14に保存した指示針61,62,63,64,65,66の画像データに基づいて指示値の尤度が低くなった原因を特定することができる。
【0085】
本実施形態の指示値読取システムでは、画像処理装置12は、所定周期ごとに指示針61,62,63,64,65,66の指示値を求め、送信装置13は、所定周期ごとに指示針61,62,63,64,65,66の指示値のデータを送信しており、画像認識部12bが指示針61,62,63,64,65,66の指示値の尤度が閾値より低いときに、送信装置13は、画像処理装置12が前回求めた指示針61,62,63,64,65,66の指示値のデータを送信する。そのため、指示針61,62,63,64,65,66の指示値のデータを継続して取得することができる。
【0086】
本実施形態の指示値読取システムでは、画像処理装置12は、指示針61,62,63,64,65,66の指示値xにおける尤度sを求め、尤度sが予め設定された第1閾値α1以上であると、指示針61,62,63,64,65,66の指示値xのデータを送信する一方、尤度sが第1閾値α1より低く且つ第2閾値α2以上であると、指示針61,62,63,64,65,66の指示値xを類似値zまたは前回値yにより補正して送信する。そのため、送信する指示針61,62,63,64,65,66の指示値の精度を向上することができる。
【0087】
実施形態明の指示値読取システムでは、画像処理装置12は、尤度sが第1閾値α1より低く且つ第2閾値α2以上であり、指示針61,62,63,64,65,66の指示値xと類似値zとの絶対値が予め設定された偏差閾値β1以下であると、指示針61,62,63,64,65,66の指示値xを類似値zにより補正して送信する。そのため、送信する指示針の指示値の精度を向上することができる。
【0088】
本実施形態指示値読取システムでは、画像処理装置12は、指示針61,62,63,64,65,66の指示値xと類似値zとの絶対値が偏差閾値β1より高く、類似度uが第3閾値α3以上であり、指示針61,62,63,64,65,66の指示値xと類似値zとの絶対値が前回値yと類似値zとの絶対値以下であると、指示針61,62,63,64,65,66の指示値xを類似値zにより補正して送信する。そのため、送信する指示針の指示値の精度を向上することができる。
【0089】
本実施形態の指示値読取システムでは、画像処理装置12は、指示針61,62,63,64,65,66の指示値xと類似値zとの絶対値が偏差閾値β1より高く、類似度uが第3閾値α3以上であり、指示針61,62,63,64,65,66の指示値xと類似値zとの絶対値が前回値yと類似値zとの絶対値より高いと、指示針61,62,63,64,65,66の指示値xを前回値yにより補正して送信する。そのため、送信する指示針の指示値の精度を向上することができる。
【0090】
本実施形態の指示値読取システムでは、カメラ11は、複数の計測器51,52,53,54の指示針61,62,63,64,65,66を撮影可能であり、画像処理装置12は、カメラ11が撮影した複数の指示針61,62,63,64,65,66の画像データを順に処理して指示針61,62,63,64,65,66の指示値を求める。そのため、複数のカメラ11を不要として装置の簡素化を図ることができる。
【0091】
本実施形態の指示値読取システムでは、画像処理装置12は、カメラ11が撮影した画像データを画像処理して計測器51,52,53,54,55,56の画像データを作成し、計測器51,52,53,54,55,56の画像データを深層学習により計測器51,52,53,54,55,56における指示針61,62,63,64,65,66の指示値を求める。そのため、高精度な指示針61,62,63,64,65,66の指示値を迅速に求めることができる。
【0092】
本実施形態の指示値読取システムでは、画像処理装置12は、モニタ16が接続され、カメラ11の画像データと、画像処理装置12が処理する計測器51,52,53,54,55,56の画像データとをモニタ16に表示可能である。そのため、作業者は、カメラ11の視角や特定した計測器51,52,53,54,55,56を確認することができる。
【0093】
本実施形態の指示値読取システムでは、画像処理装置12は、処理に必要な設定データと、画像処理装置12により求められた指示針61,62,63,64,65,66の指示値のデータとをモニタ16に表示可能である。そのため、作業者は、処理内容を確認することができ、処理の間違いを容易に確認することができる。
【0094】
本実施形態の指示値読取方法は、計測器51,52,53,54,55,56の指示針61,62,63,64,65,66を撮影する工程と、撮影した指示針61,62,63,64,65,66の画像データを処理して指示針61,62,63,64,65,66の指示値を求める工程と、指示針61,62,63,64,65,66の画像データを削除すると共に求めた指示針61,62,63,64,65,66の指示値のデータを送信する工程とを有する。そのため、送信装置13が送信する指示針61,62,63,64,65,66の指示値のデータは、デジタルデータとしての数値であることから低容量データとなり、大容量データを高速送信する送信装置が不要となる。その結果、導入コストの増加を抑制することができると共に、計測器の指示値を容易に読み取ることができる。
【0095】
本実施形態の指示値読取プログラムは、計測器51,52,53,54,55,56の指示針61,62,63,64,65,66を撮影する処理と、撮影した指示針61,62,63,64,65,66の画像データを処理して指示針61,62,63,64,65,66の指示値を求める処理と、指示針61,62,63,64,65,66の画像データを削除すると共に求めた指示針61,62,63,64,65,66の指示値のデータを送信する処理とを画像処理装置(コンピュータ)12に実行させる。そのため、送信装置13が送信する指示針61,62,63,64,65,66の指示値のデータは、デジタルデータとしての数値であることから低容量データとなり、大容量データを高速送信する送信装置が不要となる。その結果、導入コストの増加を抑制することができると共に、計測器の指示値を容易に読み取ることができる。
【0096】
なお、上述した実施形態では、画像処理装置12が所定の周期でカメラ11が撮影した指示針61,62,63,64,65,66の画像データを処理して指示値を求め、送信装置13が指示値のデータを送信するように構成したが、この構成に限定されるものではない。例えば、作業者が画像処理装置12に対して作動指令を入力すると、指示値読取システム10が作動するように構成してもよい。
【0097】
また、上述した実施形態では、6個の計測器51,52,53,54,55,56の指示針61,62,63,64,65,66の指示値を求める構成としたが、計測器の数は、いくつであってもよい。また、計測器51,52,53,54,55,56を円形とし、中心位置に指示針61,62,63,64,65,66が回動自在に支持されたものとしたが、この構成に限定されるものではない。例えば、計測器を矩形とし、指示針が直線状または弧状にスライド自在に支持されたものとしてもよい。
【符号の説明】
【0098】
10 指示値読取システム
11 カメラ
12 画像処理装置
12a 画像処理部
12b 画像認識部
12c 表示作成部
13 送信装置
14 記憶部
15 操作部
16 モニタ
17 電源部
20 監視システム
21 制御装置
22 受信装置
23 モニタ
31 第1表示部
32 第2表示部
33 第3表示部
34 第4表示部
51,52,53,54,55,56 計測器
61,62,63,64,65,66 指示針
71,72,73,74,75,76 目盛
100 現場
200 管理センター