特開 2023-163002 読取方法、読取装置、読取システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023163002

(43)【公開日】2023-11-09

(54)【発明の名称】読取方法、読取装置、読取システム及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231101BHJP

   G08C 19/00 20060101ALI20231101BHJP

【ＦＩ】

G06T7/00 300D

G08C19/00 301G

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022073767

(22)【出願日】2022-04-27

(71)【出願人】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(74)【代理人】

【識別番号】100196689

【弁理士】

【氏名又は名称】鎌田 康一郎

(72)【発明者】

【氏名】中重 佑一

(72)【発明者】

【氏名】福毛 義法

(72)【発明者】

【氏名】大浅 殖央

(72)【発明者】

【氏名】北ケ市 智史

【テーマコード（参考）】

2F073

5L096

【Ｆターム（参考）】

2F073AA02

2F073AA03

2F073AA04

2F073AA11

2F073AA12

2F073AA19

2F073AA25

2F073AA40

2F073AB01

2F073AB04

2F073BB01

2F073BB04

2F073BB07

2F073BC01

2F073BC02

2F073CC01

2F073CC12

2F073CC14

2F073CD05

2F073CD11

2F073DE02

2F073DE06

2F073DE13

2F073EE01

2F073EF07

2F073EF10

2F073FF01

2F073FF12

2F073FG01

2F073FG02

2F073FG09

2F073FG11

2F073GG01

2F073GG04

2F073GG05

2F073GG08

5L096BA03

5L096CA02

5L096DA02

5L096EA05

5L096EA39

5L096GA08

5L096HA09

5L096JA09

(57)【要約】

【課題】指示器が示す指示値を精度よく読み取ることができる読取方法を提供する。
【解決手段】読取方法は、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップとを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、
前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、
前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、
特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップと、
を有する読取方法。

【請求項2】

前記撮影画像から外乱を除去するステップをさらに有する、
請求項１に記載の読取方法。

【請求項3】

前記指示部の移動量を特定するステップでは、前記撮影画像における前記指示部の特徴に重み係数を大きく付与して、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記移動量を算出する、
請求項１又は請求項２に記載の読取方法。

【請求項4】

前記移動に関し、単位移動量が変更可能である、
請求項１又は請求項２に記載の読取方法。

【請求項5】

前記移動の開始位置を所定の基準値にする、
請求項１又は請求項２に記載の読取方法。

【請求項6】

前記移動の開始位置、移動方向および移動範囲の何れかを設定できる、
請求項１又は請求項２に記載の読取方法。

【請求項7】

前記指示部は指示針、前記指示器は、前記指示針の位置で計測値を指示する計測器であって、
前記推定するステップでは、特定された前記指示針の移動量に基づいて前記計測値を推定する、
請求項１又は請求項２に記載の読取方法。

【請求項8】

前記指示器がスイッチ、前記指示部は前記スイッチの操作部であって、
前記推定するステップでは、特定された前記操作部の移動量に基づいて前記スイッチにおける設定値を推定する、
請求項１又は請求項２に記載の読取方法。

【請求項9】

指示部の位置で指示値を示す指示器を撮影した撮影画像を取得する手段と、
前記指示器を模擬した疑似画像における前記指示部の位置を移動する手段と、
前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定する手段と、
特定された前記移動量に基づいて前記指示器が示す指示値を推定する手段と、
を備える読取装置。

【請求項10】

指示部の位置で指示値を示す指示器と
前記指示器を撮影するカメラと、
前記指示値を送信する手段をさらに備える請求項９に記載の読取装置と、
を備える読取システム。

【請求項11】

コンピュータに、
指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、
前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、
前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、
特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、読取方法、読取装置、読取システム及びプログラムに関する。

【背景技術】

【0002】

指示針によって状態を示す指示器をカメラで撮像し、その撮像画像から指示針が示す指示値を読み取る方法が提案されている。例えば、特許文献１には、指示器を撮影した撮影画像と指示針が示す指示値が既知の状態で撮影された基準画像を比較して、撮影画像に写った指示針の回転角を求め、回転角と目盛情報から指示値を特定するメータ読取装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１６６３３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

撮像画像から指示器が示す指示値を読み取るためには、指示針が示す位置を精度よく特定する必要がある。

【0005】

本開示は、上記課題を解決することができる読取方法、読取装置、読取システム及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の読取方法は、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップと、を有する。

【0007】

本開示の読取装置は、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得する手段と、前記指示器を模擬した疑似画像における前記指示部の位置を移動する手段と、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定する手段と、特定された前記移動量に基づいて前記指示器が示す指示値を推定する手段と、を備える。

【0008】

本開示の読取システムは、指示部の位置で指示値を示す指示器と、前記指示器を撮影するカメラと、前記指示値を送信する手段をさらに備える上記の読取装置と、を備える。

【0009】

本開示のプログラムは、コンピュータに、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップと、を実行させる。

【発明の効果】

【0010】

上述の読取方法、読取装置、読取システム及びプログラムによれば、指示器が示す指示値を精度よく読み取ることができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る指示値取得システムの一例を示す図である。

【図2】実施形態に係る指示器（計測器）の一例を説明する図である。

【図3】実施形態に係る指示器（スイッチ）の一例を示す図である。

【図4】実施形態に係る指示器における指示部の移動と指示値の推定について説明する図である。

【図5】実施形態に係る重み係数について説明する図である。

【図6】実施形態に係る指示値の推定処理の一例を示すフローチャートである。

【図7】実施形態に係る指示値の推定処理を横型の計測器に適用した場合の処理の概要を説明する図である。

【図8】実施形態に係る指示値の推定処理をトグルスイッチに適用した場合の処理の概要を説明する図である。

【図9】指示値の推定処理の従来例について説明する図である。

【図10】実施形態に係る読取装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本開示の指示値取得システムについて、図１～図１０を参照して説明する。
＜実施形態＞
（システム構成）
図１は、実施形態に係る指示値取得システムの一例を示す図である。
指示値取得システム１００は、指示器１と、カメラ５と、読取装置１０と、端末装置２０と、他システム３０と、を含む。指示器１は、通信や伝送の手段を有さない計測器やスイッチである。指示器１の一例を図２（ａ）～（ｃ）に例示する。指示器１は、図２（ａ）に例示するような指示針が時計の針の移動方向に振れたり、左右両側に触れたりすることによって、監視対象の状態量（例えば、電流、電圧、温度、圧力、流量、回転数、振動数など）を示す丸型のアナログ計測器である。あるいは、指示器１は、図２（ｂ）に例示するような横型、図２（ｃ）に例示するような縦型のアナログ計測器である。これら計測器類の指示器１では、指示部２（指示針）によって計測値が指し示される。また、指示器１は、レバーやつまみ等の操作部によって操作するスイッチ類であってもよい。レバー式のスイッチ、つまみ式のスイッチ、スライド式のスイッチ、ダイヤル式のスイッチの例をそれぞれ図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）に例示する。これらスイッチ類の指示器１では、指示部２（操作部）の指し示す位置によって設定値（ＯＮ又はＯＦＦ、低中高、１～４、明度・暗度など）が示される。これらの計測器が計測した計測値やスイッチが示す設定値は、指示器１が設置された場所まで行かなければ確認できない。指示値取得システム１００は、工場、プラント、商業施設などに設置された指示器１が表示する指示値を読み取り、読み取った内容をデジタルデータへ変換し、端末装置２０や他システム３０へ送信する。

【0013】

カメラ５は、指示器１を撮影できる位置に設置され、指示器１が示す値を常時、又は、所定の時間間隔で継続的に撮影し続ける。カメラ５は、読取装置１０と通信可能に接続されており、撮影した画像を読取装置１０へ出力する。読取装置１０は、カメラ５の近傍に設置してもよいし、カメラ５から離れた場所に設置してもよい。読取装置１０は、カメラ５によって撮影された画像（撮影画像と称する。）を解析して、計測器類が示す計測値、スイッチ類が示す設定値などを読み取って、デジタルデータとして出力する。読取装置１０は、ネットワークＮＷを介して端末装置２０や他システム３０と通信可能に接続されており、計測値や設定値を含んだデジタルデータを端末装置２０や他システム３０へ送信する。端末装置２０は、例えば、ＰＣ（personal computer）２０ａ、スマートフォンやタブレット端末などの携帯端末２０ｂである。他システム３０とは、例えば、指示器１が示す計測値等を監視する監視システム、指示器１が示す計測値等を取得して動作するシステムである。指示値取得システム１００によれば、指示器１が表示する指示値を遠隔地にてオンラインで収集し、活用することができる。

【0014】

読取装置１０は、画像取得部１１と、画像処理部１２と、外乱除去部１３と、指示値推定部１４と、深層学習部１５と、設定受付部１６と、記憶部１７と、通信部１８と、を備える。
画像取得部１１は、カメラ５が撮影した撮影画像を取得する。
画像処理部１２は、撮影画像をリサイズしたり、指示値の読み取りに必要な領域だけ切出したりする画像処理を行う。
外乱除去部１３は、撮影画像から、影、ハレーションなどの外乱を除去する。外乱除去部１３は、ＤｎＣＮＮ（Denoising Convolutional Neural Network）を利用して構築された深層学習モデルを用いて、ノイズ等の外乱除去を行う。ＤｎＣＮＮは、公知の外乱除去用のＣＮＮであって、ＤｎＣＮＮに学習用画像を与えて学習させることで、精度よくノイズを除去する深層学習モデルを構築できる。

【0015】

指示値推定部１４は、指示器１を模擬した画像（疑似画像と称する。）上で、指示針やレバー等を模擬した指示部（疑似針と称する。）を、指示針やレバー等の可動範囲内で移動させ、撮影画像に写った指示部との重なり具合を評価する。図４（ａ）に、丸型の計測器（指示器１）の撮影画像５０の一例を示す。撮影画像５０では、指示部５１が、指示値αを指している。図４（ｂ）に、図４（ａ）の撮影画像５０の疑似画像６０を示す。疑似画像６０では、指示部５１に対応する疑似針６１が移動可能（画像処理による移動）に構成されている。図４（ｂ）に示すｍｉｎ～ｍａｘは指示器1が備える指示部２の可動範囲に対応している。指示値推定部１４は、疑似画像６０において、所定の開始位置（例えば、ｍｉｎの位置）から所定の分解能で疑似針６１を時計回りに移動（回転）させる。分解能とは最小の移動量であり、この移動量がそのまま読み取り精度における分解能となる。例えば、疑似針６１の先端が１画素ずつ移動するような移動量を分解能とすることができる。指示値推定部１４は、撮影画像５０と疑似画像６０を重畳させて、指示部５１と疑似針６１の重なり具合を評価する。指示値推定部１４は、移動の都度、撮影画像５０の指示部５１との重なり具合を計算する。例えば、疑似針６１と指示部５１の重なり具合を示す信号強度を畳み込み積分によって計算してもよい。指示値推定部１４は、疑似針６１と指示部５１の重なり具合を示す信号強度が最大となるときの移動量（移動角度）θを特定する。図４（ｃ）に、疑似針６１と指示部５１の重なり具合を示す信号強度が最大となるとき（指示部５１の位置に疑似針６１の位置が最も近づくとき）の疑似画像６０および移動角度θを示す。指示器１における指示部２の移動量と指示値との関係は予め解析されており、移動量と指示値の対応関係を定めたテーブルが記憶部１７に記録されている。指示値推定部１４は、特定した移動量θと、移動量と指示値の対応関係を定めたテーブルから指示値αを推定する。

【0016】

指示値推定部１４は、疑似針６１と指示部５１の重なり具合を示す信号強度を計算する際、指示部２の特徴に重み係数を大きく設定して、信号強度を計算してもよい。例えば、指示値推定部１４は、図５に例示する形状の指示部５１を領域５１ａ～５１ｃの３つの領域に分割し、各領域別に重なり具合の信号強度を計算する。そして、最も特徴的な形状をした領域５１ａに最も大きい重み係数を付与し、最も特徴が無い領域５１ｃに最も小さい重み係数を付与し、領域５１ｂには、中程度の重み係数を付与して疑似針６１と指示部５１の重なり具合を示す信号強度を計算する。例えば、領域５１ａ～５１ｃについて計算した信号強度をそれぞれＳａ～Ｓｃ、領域５１ａ～５１ｃの重み係数をそれぞれｋａ～ｋｃ（ｋａ＞ｋｂ＞ｋｃ）とすると、指示値推定部１４は、ｋａ・Ｓａ＋ｋｂ・Ｓｂ＋ｋｃ・Ｓｃによって、重なり具合を示す信号強度を計算する。なお、疑似針６１と指示部５１の重なり具合を示す信号強度の計算手法には、任意の手法を用いることができる。また、図５では撮影画像５０の指示部５１を用いて重み付けの説明を行ったが、疑似画像６０の疑似針６１について、重み付け係数を設定してもよい。

【0017】

深層学習部１５は、ＤｎＣＮＮによって、外乱除去を行う深層学習モデルを作成する。例えば、様々な種類の指示器１について、様々な外乱が加わった画像（指示器１全体は必ずしも必要なく、目盛り領域と指示部２にノイズが加わった画像）と外乱が無い状態の画像を深層学習部１５に与える。深層学習部１５は、ＤｎＣＮＮに、それらの画像から外乱を検出して除去する方法を学習させ、ノイズ除去用の深層学習モデルを作成する。

【0018】

設定受付部１６は、キーボード、マウス、タッチパネル、ボタン等の入力装置を用いて構成され、ユーザがこれらの入力装置を用いて入力した指示値の読み取り処理に関する各種の設定を受け付ける。例えば、設定受付部１６は、分解能の設定、指示部２の移動を開始する位置、移動範囲、移動方向の設定、重み係数およびその重み係数を付与する領域などの設定を受け付ける。例えば、指示器１が０～１００℃まで計測できる温度計であって、計測値が４５～５０℃の範囲に収まることが分かっていれば、例えば、ユーザは、移動開始位置を４５℃の位置、移動範囲を４５～５０℃の範囲、移動方向を温度が上昇する方向、分解能を最小の分解能（例えば、１画素分の分解能、あるいは元の計測器の最小分解能に合わせて０．１℃とする等）と設定することができる。１℃単位の温度しか必要が無い場合であれば、分解能を１℃に対応する移動量（画素数等）に設定してもよい。また、ユーザは、移動開始位置を５０℃とし、移動方向を温度が低下する方向に設定してもよいし、移動開始位置を４７℃とし、最初の移動方向を温度が低下する方向に設定し、４５℃に至った後は、４７℃から５０℃へ向けて移動するように設定してもよい。また、指示器１が計測する値に大きな変動が無い場合、移動の開始位置を前回推定した指示値に対応する位置とし、その開始位置から変動の可能性がある範囲を移動範囲として設定してもよい。設定受付部１６は、ユーザが入力した設定を取得し、記憶部１７に記録する。

【0019】

記憶部１７は、ＨＤＤ（hard disk drive）やフラッシュメモリ等の記憶装置を用いて構成され、撮影画像、疑似画像、設定受付部１６が受け付けた設定、ノイズ除去用の深層学習モデルの構築に用いる学習用画像、学習後の深層学習モデル、移動量と指示値の対応関係を定めたテーブルなどを記憶する。

【0020】

通信部１８は、他装置との通信を行う。例えば、通信部１８は、指示値推定部１４によって推定された指示値を端末装置２０や他システム３０へ送信する。通信部１８は、指示値が推定される度に指示値を送信してもよいし、端末装置２０や他システム３０からの要求に応じて、指示値を送信してもよい。

【0021】

（動作）
次に図６を参照して、指示値取得システム１００の動作について説明する。
前提として、構築済みの外乱除去用の深層学習モデルと、設定受付部１６が受け付けた各種設定と、疑似針６１を任意に動かすことができる疑似画像６０と、移動量と指示値の対応関係を定めたテーブルは記憶部１７に予め記録されているとする。
画像取得部１１が、カメラ５によって撮影された指示器１の撮影画像５０を取得する（ステップＳ１）。画像取得部１１は、撮影画像５０を記憶部１７に記録する。
次に画像処理部１２が、撮影画像５０を画像処理する（ステップＳ２）。画像処理部１２は、撮影画像５０を所定の解像度（例えば、指示値の読み取りに必要な最低限の解像度）の画像にリサイズしたり、指示値の読み取りに必要な部分の画像だけを切出したりする。これらの処理は、処理負荷を軽減するために行われる。画像処理部１２は、画像処理後の撮影画像５０を記憶部１７に記録する。画像処理部１２は、画像処理後の撮影画像５０から所定の画像処理を施すことにより疑似画像を作成して、作成した疑似画像６０を記憶部１７に記録してもよい。

【0022】

次に外乱除去部１３が、画像処理後の撮影画像５０を外乱除去用の深層学習モデルに与えて、撮影画像から影やハレーションなどの外乱を除去する（ステップＳ３）。外乱除去部１３は、外乱除去後の撮影画像５０を記憶部１７に記録する。

【0023】

なお、ステップＳ３とステップＳ２の順番は逆であってもよい。即ち、外乱除去部１３が、画像取得部１１によって取得された撮影画像５０から外乱を除去し（ステップＳ３）、その後、画像処理部１２が、外乱除去後の撮影画像５０を画像処理してもよい（ステップＳ２）。

【0024】

次に指示値推定部１４が、外乱除去後の撮影画像５０と疑似画像６０を使って指示器１の指示値を推定する。まず、指示値推定部１４は、図４（ａ）の撮影画像５０と図４（ｂ）の疑似画像６０が同じ大きさとなるように画像を調整する。そして、指示値推定部１４は、図４（ｂ）に例示する疑似画像６０において、疑似針６１を移動開始位置から所定の分解能ごとに移動（この例の場合、時計の針が動く方向に疑似針６１の先端を例えば１画素ごと動かす。）させ（ステップＳ４）、その都度、疑似針６１と図４（ｂ）に例示する指示部５１との重なり具合を示す信号強度を計算する。例えば、移動範囲が図４（ｂ）のｍｉｎ～ｍａｘまで設定されている場合、指示値推定部１４は、疑似針６１の先端がｍｉｎを指す位置から開始して、疑似針６１の先端がｍａｘを指す位置まで分解能の単位で移動させる。指示値推定部１４は、移動量（この例の場合、移動開始位置の疑似針６１と移動後の疑似針６１が成す角度）と信号強度を対応付けて記憶部１７に記録する。移動範囲の全域に亘って疑似針６１の移動が完了すると、指示値推定部１４は、撮影画像５０における指示部５１と、疑似画像６０における疑似針６１が最も近づいたとき（重なったとき）の移動量を特定する（ステップＳ５）。具体的には、指示値推定部１４は、移動のたびに計算した信号強度の中から値が最大のものを選び、選んだ信号強度と対応付けて記録された移動量を記憶部１７から読み出す。読み出された移動量が特定された移動量である。次に指示値推定部１４は、特定した移動量から指示値を推定する（ステップＳ６）。具体的には、指示値推定部１４は、記憶部１７が記憶する移動量と指示値の対応関係を定めたテーブルを参照して、信号強度が最大となる移動量に対応する指示値を読み出す。指示値推定部１４は、読み出した指示値を、指示器１の指示値として推定する。指示値推定部１４は、推定した指示値を記憶部１７に記録する。

【0025】

次に、通信部１８が、記憶部１７から推定された指示値を読み出して、端末装置２０や他システム３０へ送信する（ステップＳ７）。端末装置２０は、送信された指示値を表示する。端末装置２０のユーザは、指示器１が設けられた場所へ赴くことなく、指示器１が表示する指示値を確認することができる。他システム３０では、例えば、送信された指示値を閾値と比較して異常検知などを行う。これにより、通信手段を有しない計測器類（指示器１）が設けられた機器や設備についても、例えば、監視室などの遠隔地に居ながら、リアルタイムに計測値を取得し、監視を行うことができる。

【0026】

（適用例１）
次に図７を参照して、指示器１が横型のアナログ計測器の場合の指示値の推定処理について説明する。図７（ａ）に画像処理後（ステップＳ２）の撮影画像５０を例示する。撮影画像５０には、影などの外乱が写っている。外乱除去部１３は、撮影画像５０の外乱を除去し（ステップＳ３）、外乱を除去後の撮影画像５０´を出力する。（ステップＳ２とステップＳ３の処理順は逆でもよい。）撮影画像５０´を図７（ｂ）に示す。次に、指示値推定部１４が外乱除去後の撮影画像５０´と疑似画像６０（図示せず）を重畳させて、疑似針６１を移動させることにより、指示値推定を行う（ステップＳ６）。具体的には、疑似針６１を左右方向に移動させ、疑似針６１と指示部５１´の重なる面積が最も大きくなるときの移動量を特定して、その移動量に対応する位置を針位置として指示値を読み取る。この場合、左右方向の移動距離が移動量となる。また、図５で説明したように、指示部５１´や疑似針６１の先端部分に大きな重み付けを付与して重なり具合の信号強度を計算してもよい。図７で説明した処理と同様の処理を適用することによって、図２（ｃ）に例示する縦型のアナログ計測器から指示値を読み取ることができ、図３（ｃ）に例示するスライド式のスイッチから設定値１～４を読み取ることができる。また、図３（ｂ）に例示するつまみ式のスイッチや図３（ｄ）に例示するダイヤル式のスイッチに関しては、図４を用いて説明した丸型の計測器類と同様の処理によって、設定値（低中高や明度・暗度）を読み取ることができる。なお、疑似針６１の移動については、設定された分解能に応じて、スイープ（連続的に動かす。）させてもよいし、ステップ動作（離散的に動かす。）させてもよい。例えば、図３（ｂ）のスイッチの場合、指示値推定部１４は、疑似針６１を低、中、高の３ステップで移動させ、それぞれの位置における重なり具合を示す信号強度を算出し、その中から信号強度が最大となるときの移動量を特定してもよい。図３（ｃ）のスライド式のスイッチの場合にも同様である。

【0027】

（適用例２）
次に図８を参照して、指示器１がレバー式のスイッチ（トグルスイッチ）の場合の設定値の推定処理について説明する。図８（ａ）に斜め方向からトグルスイッチを撮影した撮影画像の一例を示す。撮影画像５０には、６個のトグルスイッチ（指示部５１）が写っている。図８（ａ）に例示する撮影画像５０を模擬した疑似画像を用意する。そして、指示値推定部１４は、疑似画像における疑似トグルスイッチ（疑似針６１に相当）の根元を固定したまま先端を移動させ、図８（ａ）の撮影画像５０と重畳させ、疑似トグルスイッチと指示部５１の重なり具合を評価して、各スイッチがＯＮを指示しているか、ＯＦＦを指示しているのかを推定する。

【0028】

図８（ｂ）に正面からトグルスイッチを撮影した撮影画像の一例を示す。この場合も同様にして、図８（ｂ）に例示する撮影画像５０を模擬した疑似画像を用意する。そして、指示値推定部１４は、疑似画像における疑似トグルスイッチを上下方向に移動させ、図８（ｂ）の撮影画像５０と重畳させ、疑似トグルスイッチと指示部５１の重なり具合を評価して、各スイッチがＯＮを指示しているか、ＯＦＦを指示しているのかを推定する。

【0029】

（従来方法との比較）
次に本実施形態との比較のため従来の読み取り方法の一例について説明する。この従来方法では以下のような処理を行う。まず、図９に例示するように指示器１の指示部２をｍｉｎ～ｍａｘの範囲で１°毎移動させつつ撮影した数百枚の画像を用意する。さらにそれぞれの画像に対して、影、ハレーションなどが発生した画像を用意する。そしてこれらの画像を用いて深層学習を行い、ＣＮＮモデルを構築する。評価対象の撮影画像をＣＮＮモデルにより評価すると、評価対象の撮影画像に最も近い画像が選択される。選択された画像における指示針の位置から指示値を推定する。

【0030】

この従来方法の場合、精度向上のためには膨大な学習用の画像が必要である。例えば、事前に用意する画像の移動間隔の１°が分解能となるが、この分解能では精度が不十分な場合、例えば０．１°単位で指示部２を動かしながら撮影した画像が必要になる等、処理コストが膨大になる。また、指示針の位置が一致する画像が選択できない場合、尤度が低下する。これに比べ、本実施形態では、画像処理によって疑似針６１を移動させるので、高い分解能であっても自由に設定することができ、分解能にかかわらず、比較的軽い負荷の処理で指示値を推定することができる。また、事前に多数の画像（教示データ）を用意する必要が無く、それらの画像を学習する処理が不要である。また、教示データに依存しない為、精度や尤度が低下することが無い。

【0031】

また、読み取り精度向上のためには、外乱除去を確実に行う必要があるが、従来方法の場合、外乱除去の精度向上のためには、画像中の影やハレーションに関係する光源位置等を考慮した複数パターンの画像を準備し学習させる必要がある。つまり、指示部２の位置のパターンを数多く用意するだけではなく、さらに光源位置のパターンとの組み合わせの数だけの画像が必要であり、さらに膨大な教示データが必要である。これに比べ、本実施形態では、外乱除去と指示値推定を分離し、外乱除去には、ＤｎＣＮＮを利用する為、ＤｎＣＮＮを学習させるための画像は必要になるものの、指示針位置のパターンと外乱のパターンを組み合わせた数の教示データを用意したり、学習したりといった処理は不要となり、大幅に処理コストを低減することができる。また、従来方法の場合、カメラ５の設置後、実際に撮影された撮影画像から教示データを生成し、学習を行わなければ、実環境に応じたノイズを十分に除去できない可能性があり、充分な精度で指示値を読み取ることができるようになるまで時間を要す可能性がある。これに対し、本実施形態では、ＤｎＣＮＮを利用することで、事前の学習だけでも様々な実環境で生じるノイズの多くを除去する汎用的な深層学習モデルを構築することができるので、精度の確保が容易であり、実運用開始後に深層学習モデルを再構築するような手間を省くことができる。

【0032】

（効果）
以上、説明したように、本実施形態によれば、現場でのみ確認可能なアナログ計測器類やスイッチなど指示器１が表示する指示値（測定値や設定値）の読み取りを精度よく行うことができる。また、指示値の読み取りのために教示データの用意、学習を行う必要が無く、比較的低い処理負荷で読み取りを実行することができる。また、分解能を細かくすることにより、読み取り精度を向上することができるので、（学習などを行う必要が無く）速やかに読み取り精度を向上することができる。また、分解能は、ユーザが、分解能の設定を行うだけで変更が可能である。

【0033】

また、読取装置１０によれば、推定した指示値を端末装置２０や他システム３０へ送信することができる。指示値（デジタルデータ）のデータサイズは小さいため、通信上の制約も少なく、原子力プラントのような通信量に対して制限を設けるプラントを含む、多くのプラント、工場、施設などに適用することができる。これにより、例えば、現場の作業員が指示器１の指示値の確認を目視で行っているような作業を自動化し、業務効率を向上することができる。

【0034】

図１０は、実施形態に係る読取装置のハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の読取装置１０は、コンピュータ９００に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。

【0035】

なお、読取装置１０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0036】

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0037】

＜付記＞
各実施形態に記載の読取方法、読取装置、読取システム及びプログラムは、例えば以下のように把握される。

【0038】

（１）第１の態様に係る読取方法は、指示部２の位置で指示値を示す指示器１（アナログ計測器やスイッチ）を撮影した撮影画像５０を取得するステップと（Ｓ１）、前記指示器１を模擬した疑似画像６０における前記指示部の位置を移動するステップと（Ｓ４）、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくとき（理想的には、完全に重なるとき）の前記疑似画像における前記指示部の移動量を特定するステップと（Ｓ５）、特定された前記移動量に基づいて前記機器が示す指示値を推定するステップと（Ｓ６）、を有する。
これにより、指示器の指示値を少ない処理負担で、精度よく、読み取ることができる。

【0039】

（２）第２の態様に係る読取方法は、（１）の読取方法であって、前記撮影画像から外乱を除去するステップをさらに有する。
外乱を除去することによよって、さらに精度よく、指示値を読み取ることができる。

【0040】

（３）第３の態様に係る読取方法は、（１）～（２）の読取方法であって、前記指示部の移動量を特定するステップでは、前記撮影画像における前記指示部の特徴に重み係数を大きく付与して、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記移動量を算出する。
これにより、例えば、撮影画像が不鮮明であったり、ノイズ除去で処理しきれなかったノイズが含まれていたりして、疑似画像の疑似針と撮影画像の指示部の形状が一致せず、重なり具合の信号強度の信頼性が乏しい場合でも、特徴的な部分の重み付けを大きくして信号強度を算出することにより、疑似画像の疑似針と撮影画像の指示部が最も近づく位置を精度よく検出し、高精度な指示値の読み取りを行うことができる。

【0041】

（４）第４の態様に係る読取方法は、（１）～（３）の読取方法であって、前記移動に関し、単位移動量が変更可能である。
設定により、単位移動量（分解能）を変更することができることにより、細かな単位移動量（分解能）を設定することで、例えば、細かな分解能を適用して撮影した指示器の画像を多数用意して学習するような時間や手間を要せず、画像処理における単位移動量の変更だけで読取精度を向上することができる。

【0042】

（５）第５の態様に係る読取方法は、（１）～（４）の読取方法であって、前記移動の開始位置を所定の基準値（例えば、計測値が４５～５０℃の範囲に収まることが分かっている場合の移動開始位置４５℃、４７℃、５０℃など）にする。
指示値のおおよその値が分かっている場合、移動の開始位置を基準値とすることで、移動の範囲を限定することができ、処理コストを低減することができる。

【0043】

（６）第６の態様に係る読取方法は、（１）～（５）の読取方法であって、前記移動の開始位置、移動方向および移動範囲の何れかを設定できる。
指示値の特性に応じて、前記移動の開始位置、移動方向および移動範囲の何れかを設定することにより、処理を効率化することができる。

【0044】

（７）第７の態様に係る読取方法は、（１）～（６）の読取方法であって、前記指示部は指示針、前記指示器は、前記指示針の位置で計測値を指示する計測器（図２（ａ）～図２（ｃ）に例示する計測器）であって、前記推定するステップでは、特定された前記指示針の移動量に基づいて前記計測値を推定する。
これにより、計測器が設けられた現場へ赴かなければ確認できない計測値を、撮影画像を取得することにより、遠隔でも確認することができる。

【0045】

（８）第８の態様に係る読取方法は、（１）～（７）の読取方法であって、前記指示器がスイッチ、前記指示部は前記スイッチの操作部であって、前記推定するステップでは、特定された前記操作部の移動量に基づいて前記スイッチにおける設定値を推定する。
これにより、スイッチが設けられた現場へ赴かなければ確認できないスイッチの設定値を、撮影画像を取得することにより、遠隔でも確認することができる。

【0046】

（９）第９の態様に係る読取装置１０は、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得する手段と、前記指示器を模擬した疑似画像における前記指示部の位置を移動する手段と、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定する手段と、特定された前記移動量に基づいて前記指示器が示す指示値を推定する手段とを備える。

【0047】

（１０）第１０の態様に係る読取システム（指示値取得システム１００）は、指示部の位置で指示値を示す指示器と、前記指示器を撮影するカメラと、前記指示値を送信する手段をさらに備える（９）に記載の読取装置と、を備える。
これにより、非接触にて、指示値を読み取り、他の装置へ送信することができる。非接触により指示値を読み取ることができるため、例えば、カメラ５および読取装置１０（読取装置１０をカメラ５から離れた場所に設置する場合、カメラ５だけでもよい。）の設置だけでプラント等への工事を行うことなく、遠隔に居ながら指示値を取得することができる。

【0048】

（１１）第１１の態様に係るプログラムは、コンピュータに、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップと、を実行させる。

【符号の説明】

【0049】

１・・・指示器
５・・・カメラ
１０・・・読取装置
１１・・・画像取得部
１２・・・画像処理部
１３・・・外乱除去部
１４・・・指示値推定部
１５・・・深層学習部
１６・・・設定受付部
１７・・・記憶部
１８・・・通信部
２０・・・端末装置
２０ａ・・・ＰＣ（personal computer）
２０ｂ・・・携帯端末
３０・・・他システム
１００・・・指示値取得システム
９００・・・コンピュータ
９０１・・・ＣＰＵ
９０２・・・主記憶装置
９０３・・・補助記憶装置
９０４・・・入出力インタフェース
９０５・・・通信インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】