特開 2024-162025 計測器自動読取システム、計測器自動読取方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162025

(43)【公開日】2024-11-21

(54)【発明の名称】計測器自動読取システム、計測器自動読取方法及びプログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20241114BHJP

【ＦＩ】

G01B11/00 H

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023077168

(22)【出願日】2023-05-09

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】519372663

【氏名又は名称】ＨＭＳ株式会社

(72)【発明者】

【氏名】コ シンテイ

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA51

2F065BB27

2F065FF04

2F065FF05

2F065JJ05

2F065JJ19

2F065JJ26

2F065QQ23

2F065QQ24

2F065QQ31

(57)【要約】

【課題】高い精度で効率的に計測器の測定値を自動的に認識する。
【解決手段】本開示における計測器自動読取システムは、計測器を撮影した画像データを取得する処理と、前記画像データから計測器に設けられたマーカを検出する処理と、検出した前記マーカに関連付けられる計測器情報を取得する処理と、前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、を実行する制御部を備え、前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

計測器を撮影した画像データを取得する処理と、
前記画像データから計測器に設けられたマーカを検出する処理と、
検出した前記マーカに関連付けられる計測器情報を取得する処理と、
前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、を実行する制御部を備え、
前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む、ことを特徴とする計測器自動読取システム。

【請求項2】

前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の姿勢情報を含む、請求項１に記載の計測器自動読取システム。

【請求項3】

前記計測器を撮影するカメラの前記マーカに対する位置情報及び姿勢情報に基づいて、前記画像データを、前記計測値読取領域を正面から見た画像データに補正する、請求項１又は２に記載の計測器自動読取システム。

【請求項4】

複数の前記計測器に関する情報が予め記憶された計測器情報記憶部を有し、
前記マーカに関連付けられる前記計測器の識別情報に基づいて、前記計測器情報記憶部に記憶される前記計測器の測定値読取領域の情報を取得する、請求項１又は２に記載の計測器自動読取システム。

【請求項5】

１つの計測器に複数のマーカが設けられ、
前記複数のマーカに対する測定値読取領域の位置情報に基づいて、前記測定値を検出して読み取る、請求項１又は２に記載の計測器自動読取システム。

【請求項6】

１つの計測器に複数のマーカが設けられ、
前記複数のマーカを組み合わせて前記１つの計測器の情報が示される、請求項１又は２に記載の計測器自動読取システム。

【請求項7】

前記複数のマーカは、前記測定値読取領域を挟んで両側に配置される、請求項４又は５に記載の計測器自動読取システム。

【請求項8】

前記マーカは、ＡＲマーカである、請求項１又は２に記載の計測器自動読取システム。

【請求項9】

前記計測器を異なる角度から撮影可能な複数のカメラを備える、請求項１又は２に記載の計測器自動読取システム。

【請求項10】

計測器を撮影した画像データを取得する処理と、
前記画像データから計測器に設けられたマーカを検出する処理と、
検出した前記マーカに関連付けられる計測器情報を取得する処理と、
前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、を制御部が実行し、
前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む、ことを特徴とする計測器自動読取方法。

【請求項11】

計測器を撮影した画像データを取得する処理と、
前記画像データから計測器に設けられたマーカを検出する処理と、
検出した前記マーカに関連付けられる計測器情報を取得する処理と、
前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、をコンピュータに実行させ、
前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む、ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、計測器自動読取システム、計測器自動読取方法及びプログラムに関する。

【背景技術】

【0002】

従来、電気、ガス、水道などの各種計測器（メーター）の目盛りや数値を撮像し、撮像された画像に基づいて測定値（目盛りや数値）として読み取る自動読取装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－８４４１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、撮影手段であるカメラが対象計測器との位置と姿勢が異なるし、針の目盛りで測定値を示すアナログ式、数字で測定値を示すアデジタル式など、計測器の種類によって読み取るべき測定値の形式、位置、方向、サイズ等が異なるため、様々な計測器に対応して正確に測定値を認識することは困難である。

【0005】

そこで、本開示は上記技術課題に鑑みてなされたものであり、その目的は、高い精度で効率的に計測器の測定値を自動的に読み取ることができる計測器自動読取システム、計測器自動読取方法及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

本開示における計測器自動読取システムは、
計測器を撮影した画像データを取得する処理と、
前記画像データから計測器に設けられたマーカを検出する処理と、
検出した前記マーカに関連付けられる計測器情報を取得する処理と、
前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、を実行する制御部を備え、
前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む、ことを特徴とする。また、マーカに基づいて、撮影手段であるカメラが対象計測器との位置と姿勢を求めて、計測値としての読取領域を正方向に補正する。

【0007】

本開示における計測器自動読取方法は、
計測器を撮影した画像データを取得する処理と、
前記画像データから計測器に設けられたマーカを検出する処理と、
検出した前記マーカに関連付けられる計測器情報を取得する処理と、
前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、を制御部が実行し、
前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む、ことを特徴とする。

【0008】

本開示におけるプログラムは、
計測器を撮影した画像データを取得する処理と、
前記画像データから計測器に設けられたマーカを検出する処理と、
検出した前記マーカに関連付けられる計測器情報を取得する処理と、
前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、をコンピュータに実行させ、
前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む、ことを特徴とする。

【発明の効果】

【0009】

本開示の計測器自動読取システム、計測器自動読取方法及びプログラムによれば、高い精度で効率的に計測器の測定値を自動的に読み取ることが可能となる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係る計測器自動読取システムの構成例を示す図である。

【図2】本実施形態における計測器へのマーカの配置例を示す図である。

【図3】本実施形態における計測器へのマーカの他の配置例を示す図である。

【図4】本実施形態における計測器へのマーカの他の配置例示す図である。

【図5】本実施形態における計測器へのマーカの他の配置例を示す図である。

【図6】本実施形態における情報処理装置及びカメラの構成例を示すブロック図である。

【図7】本実施形態における計測器自動読取方法の一例を示すフローチャート図である。

【図8】カメラでマーカを認識する様子を例示する図である。

【発明を実施するための形態】

【0011】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0012】

本発明の一実施形態に係る計測器自動読取システムは、計測器を撮影した画像データを取得する処理と、前記画像データから計測器に設けられたマーカを検出する処理と、検出した前記マーカに関連付けられる計測器情報を取得する処理と、前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、を実行する制御部を備え、前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む、ことを特徴とする。

【0013】

図１に示すように、計測器（メータ）１０をカメラ２０で撮影し、画像データを取得する。計測器１０には、マーカ３０が設けられており、画像データには、読み取るべき計測値を含む測定値読取領域１１（以下、単に読取領域とも称する。）と、マーカ３０とが含まれる。

【0014】

計測器１０は、計測値が数値で表示されるデジタル式（図２参照）でもよいし、針が支点を中心に回転（揺動）したり、一軸方向に移動（スライド）したりするアナログ式（図３参照）でもよい。また、計測器１０は、水道、ガス、電気、温度（気温、水温等）、湿度、速度、加速度、長さ、高さ、深さ、重さ等を測定して表示するメータとすることができるが、種類は特に限定されない。

【0015】

計測器１０において、計測値としての数値や目盛りを示す領域が、カメラの画像から読み取るべき読取領域１１である。読取領域１１は、画像処理における関心領域(ROI: Region of Interest)である。読取領域１１は、１つの計測器１０に１つのみでも複数あってもよい。

【0016】

計測器１０は、屋外または屋内に設置される。屋外であれば、計測器１０は計測対象物の近傍の地面、壁面、柱等に設置される。屋内の場合、計測器１０は計測対象物の近傍の床面、壁面、天井等に設置される。計測器１０は計測対象物から離れた位置にあってもよい。

【0017】

カメラ２０（撮像部）は、計測器１０の読取領域１１及びマーカ３０を含む画像データを取得できるものであれば、任意の撮像装置を用いることができる。カメラ２０は、ＩＰカメラやエッジＡＩカメラ、ＡＲグラス等の眼鏡型、ゴーグル型、頭部装着型の情報処理端末、スマートフォン、タブレット端末、メータ読取端末等の情報処理装置と一体に設けられるカメラであってもよいし、そうでなくてもよい。カメラ２０は、作業者が携帯して持ち歩く手動式のものでもよいし、計測器１０の読取領域１１及びマーカ３０を撮影可能な壁面等に固定されるものでもよい。図１のカメラ２０は計測器１０よりも上方の高さで、斜め下向きに撮影方向を向けて設置される。

【0018】

カメラ２０は、１又は複数の計測器１０を撮影可能な１台のカメラ２０が設置されていればよいが、１又は複数の計測器１０を異なる角度から撮影可能な複数のカメラ２０を設置してもよい。一方のカメラから撮影できない場合でも、他のカメラで撮影して画像データを取得することができる。これは例えば、計測器１０における透過カバー（ガラス、アクリル等のカバー）が反射して測定値の読取りが難しい場合に有効である。

【0019】

カメラ２０で撮影した画像データは、情報処理装置４０（情報管理装置）に送信される。カメラ２０と情報処理装置４０は一体に形成されていてもよいし、別の装置として形成されていてもよい。カメラ２０と情報処理装置４０は、通信ケーブルで有線接続されていてもよいし、近距離無線通信やインターネット等のネットワークによって無線接続されていてもよい。カメラ２０は、ネットワークカメラ（ＩＰカメラ）とすることができる。

【0020】

カメラ２０は、ユーザ（システム管理者、作業者等）の操作に応じて、あるいは予め設定された情報に基づいて、所定時間にわたって連続した画像を撮像することができる。例えば、予め設定された日時、時刻、時間（期間）のみ、カメラ２０が撮影を行うように設定してもよい。設定情報は、例えば情報処理装置４０の記憶部４２等に記憶される。また、カメラ２０は、静止画、動画の撮像が可能である。カメラ２０は、ユーザの操作に応じて、あるいは予め設定された情報に基づいて、撮影範囲（カメラの向き）を変更可能であってもよい。

【0021】

マーカ３０は、計測器１０における読取領域１１の近傍に設けられる。例えば、図１、図２のマーカ３０は、計測器１０の上面１２（読取領域１１と同一又は平行の面）に貼り付けられている。マーカ３０は、読取領域１１と同一の面または平行な面に配置されることが好ましいが、これに限られるものではない。マーカ３０は、読取領域１１とマーカ３０とがカメラ２０の撮影範囲に含まれる位置に配置される。

【0022】

マーカ３０は、例えば、ＡＲＵｃｏマーカー、ＡｐｒｉｌＴａｇとすることができるが、これに限られず、ＡＲＴａｇ、ＡＲＴｏｏｌｋｉｔ、ＡＲＴｏｏｌｋｉｔＰｌｕｓ、ＲＵＮＥ－Ｔａｇ、ｒｅａｃＴＩＶｉｓｏｎ等の、他のＡＲマーカ（ＡＲタグ）とすることができる。マーカ３０は、ＱＲコードやバーコード等であってもよい。マーカ３０は、例えば、全体として正方形である。マーカ３０は、複数の正方形をした画素が二次元に配列されたマトリクス構造を有するものであり、各画素が白または黒で表示される。マーカ３０の形状、描かれた図形はこれに限定されない。マーカ３０は、白、黒以外の色を有するカラーマーカであってもよいし、不可視インク（隠顕インク、ＩＲ透過インク、紫外線反応インク、赤外線吸収インク等を含む）を用いて印刷されてもよい。このような構成により、デザイン性の高い様々なインテリアに対応することができたり、マーカを目立ちにくくしたりすることができる。マーカ３０は、ＡＲマーカではない特定の図形であってもよい。図形とは、例えば円形、星形、楕円形、三角形、四角形、五角形等の多角形でもよいし、記号や文字を含んでもよい。

【0023】

マーカ３０は、図２、図３に示すように各計測器１０に少なくとも１つ配置されていればよいが、図４、５に示すように複数配置されていてもよい。マーカ３０を複数配置する場合、例えば、図４に示すように２つのマーカを隣接して配置してもよいし、図５に示すように、２つのマーカを隣接して配置してもよい。２つのマーカを隣接して配置する場合、読取領域１１を挟む位置（読取領域の左右両側および／または上下両側）に、２つのマーカを配置してもよい。

【0024】

マーカ３０は、１つの計測器１０の情報が、複数のマーカ３０を組み合わせて示されるようにしてもよい。つまり、複数のマーカ３０を１セットで使用してもよい。例えば、１つの計測器１０に複数のマーカを１セットして関連付けて記憶してもよい。これによれば、１つのマーカで表現できる情報量よりも、複数のマーカで表現できる情報量が大きくなる。

【0025】

マーカ３０は、固有の２次元画像が印刷された平面状のシール等で構成され、各マーカ３０は、各種情報に関連付けられている。それぞれのマーカ及び当該マーカに関連付けられる情報は、データベース（記憶部４２等）に記憶される。マーカ３０は、例えば、カメラ２０で撮影することにより、それぞれのマーカ３０固有の識別情報や、関連付けられた計測器１０の固有の識別情報等を取得することができる。なお、１台のカメラ２０で、例えば１００以上等の複数のマーカ３０を読み取るようにしてもよい。カメラとしてのエッジＡＩカメラなどを使用して、エッジまたはクラウドに実装された、複数のマーカを同時に読み取るアルゴリズムにより、認識したマーカをカウントすることができる。

【0026】

マーカ３０を設置する位置は、計測器１０の保護カバー（カバーガラス等）の外面でもよいし内側の面でもよい、目盛りと重ならない（隠さない）位置であればよく、目盛りの近傍であることが好ましい。また、マーカ３０と読取領域１１の面が平行であることが好ましく、計測器の左右方向が、マーカの何れか１辺（マーカの左右方向）に平行であることが好ましい。

【0027】

情報処理装置４０は、システム管理者等が各種サービス等を運営・管理する際に利用する情報処理装置であり、例えば、ワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティング技術によって論理的に実現されてもよい。情報処理装置４０はカメラ２０に内蔵されるものでもよい。

【0028】

図６に示すように、情報処理装置４０は、例えば、制御部４１、記憶部４２、出力部４３、通信部４４、入力部４５を備え、これらが互いにバス４６を介して接続される。情報処理装置４０は、通信部４４を介してカメラ２０と通信可能である。情報処理装置４０は、カメラ２０からの画像データを取得することができる。また、情報処理装置４０は、カメラ２０に対して起動、停止、撮影方向、撮影範囲の変更等を指示するための制御信号等を送ることができる。情報処理装置４０は、各種の要求信号を受信すると、または記憶部に記憶される情報に基づいて、制御部４１においてプログラムによる処理を実行し、処理結果（例えば、生成された画像や音声等の各種情報）を適宜出力部から出力したり、カメラ２０や、他の情報処理装置（作業員が持つスマートフォン、タブレット端末等）に送信したり、記憶部４２に記憶したりする。なお、上記プログラムの一部は、他の情報処理装置に送信されて他の情報処理装置上で実行されてもよい。

【0029】

制御部４１は、各部間のデータの受け渡しを行うとともに、情報処理装置４０全体の制御を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が所定のメモリ（記憶部）に格納されたプログラムを実行することによって実現される。

【0030】

記憶部４２は、システムプログラムが記憶された読取専用の記憶領域である不揮発性記憶装置と、制御部４１による演算処理のワーク領域として使用される書き換え可能な記憶領域である揮発性記憶装置とを有している。不揮発性記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスクなどによって実現され、揮発性記憶装置は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって実現される。

【0031】

記憶部４２は、計測器１０に関する情報、カメラ２０に関する情報、マーカ３０に関する情報等を記憶することができる。計測器１０に関する計測器情報は、それぞれの計測器に固有の識別情報（メータＩＤ）、型番、製造者情報、目盛りの数、目盛りの種類（デジタル、アナログ等）、目盛りの単位、計測対象（電気、ガス、水道、温度等）、地図測位情報、読取領域情報等を含むことができる。地図測位情報は、ＧＰＳ等を利用して取得可能な計測器１０の位置座標の情報とすることができる。読取領域情報は、マーカ３０に対する読取領域の相対的な位置、姿勢（傾き、角度）に関する情報、読取領域の数、位置、姿勢、サイズ（面積、縦横の長さ、半径等）等を含むことができる。

【0032】

マーカ３０に対する読取領域１１の相対的な位置は、マーカ３０の中心点または４つ角の何れかの点を原点とするマーカ座標系において、読取領域１１の中心点または４つ角の何れかもしくは全ての点（例えば左下の点）の座標情報（ｘ１，ｙ１）で示すことができる。マーカ座標系及び読取領域の位置、姿勢情報は、２次元でもよいし、３次元で表してもよい。

【0033】

マーカ３０に対する読取領域１１の相対的な姿勢の情報は、例えば、長方形の読取領域の一辺（例えば下辺）と、マーカ座標系におけるｘ軸との角度（平行である場合には０°）とすることができる。１つの計測器１０に複数の読取領域がある場合（例えば複数の目盛りがある場合）、マーカ３０に対する各読取領域の位置情報及び姿勢情報が記憶される。１つの計測器１０に複数のマーカ３０が設けられている場合には、それぞれのマーカ３０に対する読取領域の位置情報及び姿勢情報が記憶されることが好ましい。このような、マーカ３０に対する読取領域の位置情報及び姿勢情報は、ユーザが計測器１０にマーカ３０を設置する際に登録する（記憶部に記憶させる）ことができる。

【0034】

本実施形態にあっては、２次元コードであるマーカ３０の４つ角の画像位置を利用して、手動撮影時のカメラ２０のマーカ３０に対する位置と傾き（姿勢）を計算できる。そして、カメラ２０のマーカ３０に対する位置及び姿勢の情報に基づいて、画像データを正方向（正面、つまりマーカに対して垂直方向から見た画像）に補正することで、より正確に読取領域（ROI領域）の位置及び姿勢を認識できる。例えば、マーカ３０を真正面から撮影する場合に限られず、斜め方向からカメラ２０でマーカ３０を撮影しても、カメラ２０からの距離、傾きを算出して、真正面から撮影した場合の画像データに補正することができる。

【0035】

記憶部４２は、カメラ２０から受信した情報、及びその情報に基づいて生成した情報を記憶することができる。生成した情報は、例えば、計測器１０の種類等の各種情報、測定値に関する情報等である。

【0036】

記憶部４２は、出力データを送信する情報処理装置（スマートフォン、タブレット端末等）に関する情報を記憶するようにしてもよい。

【0037】

出力部４３は、音声を出力するスピーカ、画像を表示するディスプレイ、タッチパネル等で構成される。

【0038】

通信部４４は、情報処理装置４０を、カメラ２０のみならず、インターネットを含むネットワークに接続することができる。この通信部４４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。通信部４４を介して、出力データを他の情報処理装置に送信したり、他の情報処理装置からの信号を受信したりすることができる。

【0039】

入力部４５は、キーボードやマウス、タッチパネル、あるいは音声入力するためのマイク等とすることができる。

【0040】

情報処理装置４０は、画像データに含まれる複数のマーカ３０を同時に認識することができる。情報処理装置４０は、カメラ２０から画像データを取得すると、記憶部を参照し、そのマーカ３０に対応する情報を取得する。

【0041】

情報処理装置４０及びカメラ２０は、図の構成の一部のみを備えるものであってもよいし、他の構成を備えてもよい。また、ＡＲグラスとタブレット端末等の複数の装置（ハードウェア）の組み合わせによって、各機能部が構成されていてもよい。

【0042】

図７は、カメラ２０で撮影する画像データ（映像動画または静止画）を用いて計測器１０の測定値を自動的に読み取る方法を示す。まずは、予め計測器１０にマーカ３０を配置する（貼り付ける）とともに、それぞれのマーカ３０の情報と、計測器１０の情報とを関連付けて記憶部に記憶する。１または複数のマーカを１枚の紙またはシール台紙に印刷して、計測器１０に接着等により配置するようにしてもよい。マーカ３０に対する読取領域１１の位置情報及び姿勢情報を、記憶部に登録する。

【0043】

情報処理装置４０の制御部は、カメラ２０からの画像データを取得する（Ｓ１）。情報処理装置４０は例えば、連続的にカメラ２０が撮影した映像をリアルタイムで取得するようにしてもよいし、一定間隔（１０秒、１分、１０分、１時間、１日、１週間、１カ月、１年等の間隔）で繰返し画像データを取得するようにしてもよい。この場合、画像データを取得する間隔を時間帯（午前、午後、１時間ごと等）に応じて変更してもよい。

【0044】

情報処理装置４０の制御部は、取得した画像データに含まれるマーカ３０を全て検出する（Ｓ２）。すなわち、カメラ２０の撮影範囲にマーカ３０が映りこんでいるか否か、いくつ映りこんでいるかを画像認識処理で検出する。なお、１つの計測器１０に複数のマーカ３０が設けられている場合、少なくとも１つのマーカ３０が検出されればよい。

【0045】

次いで、情報処理装置４０の制御部は、検出したマーカ３０に基づいて、測定器情報を取得する（Ｓ３）。測定器情報は、例えば測定器の識別情報であり、識別情報に基づいて、測定器１０の種類や測定値の単位等を記憶部から取得することができる。

【0046】

また、情報処理装置４０の制御部は、マーカ３０に関連付けられた情報に基づいて、読取領域１１の位置情報及び姿勢情報を取得する（Ｓ４）。これにより、例えばマーカ３０の中心から見て、どの位置に、及びどの方向に読取領域１１があるのかを高い精度で認識することができる。

【0047】

そして、情報処理装置４０の制御部は、取得した情報に基づいて、画像データの読取領域１１から計測値を読み取る（Ｓ５）。この時、読取領域１１の位置、姿勢、計測値の種類等の情報があるので、計測値の読取誤差が小さくなり、高い精度で正確な計測値を読み取ることができる。

【0048】

ここで、図８は、マーカ３０をカメラ２０（ARグラスに搭載）で撮影して認識させることで、カメラ２０に対するマーカ３０の位置及び向きを推定する様子を示す。例えば、制御部（ＡＲグラスに搭載、又は通信部を介して通信する情報処理装置に搭載）は、必要に応じて現実空間上でのカメラの３次元位置及び向きの情報を取得し、カメラに対するマーカの相対的な３次元位置及び３次元角度の情報を取得し、現実空間上でのマーカの３次元位置及び姿勢を算出する。

【0049】

制御部は、撮影されたマーカの画像データに基づいて、カメラ座標系上でのマーカ３０の３次元の位置、姿勢を算出する。その際、正方形のマーカの何れかの角を構成する１点と、当該１点の角で直行する２辺（エッジ）を参照要素（参照点、参照線）として、マーカの位置と姿勢を決定する。制御部は、ユーザ端末座標系と、マーカ座標系との３次元の相対的な位置関係（座標変換マトリクス（Ｒ、Ｔ））を算出することもできる。これによれば、制御部は、斜めから撮影したマーカ３０の画像データを、正面（マーカ３０に対する垂直方向）から撮影した場合の画像データに補正することができる。斜めから撮影した画像データに基づいて、正面からのマーカの画像データを生成することができるので、マーカ３０の情報認識の正確性を高めることができる。

【0050】

また制御部は、撮影されたマーカの画像データに基づいて算出した現実空間座標系でのマーカの位置、姿勢の情報を記憶部に記憶するようにしてもよい。なお、制御部は、位置や形状が既知の物体の画像と、それを撮像したカメラの位置及び姿勢を求める、いわゆるＰｎＰ問題（Perspective n-Point）を解くことで、カメラ及びこれを含むユーザ端末の位置座標（撮像位置座標）及び姿勢を推定することもできる。

【0051】

以上の通り、本実施形態の計測器自動読取システム及び計測器自動読取方法は、計測器を撮影した画像データを取得する処理と、前記画像データから計測器に設けられたマーカを検出する処理と、検出した前記マーカに関連付けられる計測器情報を取得する処理と、前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理（読取処理）と、を実行する制御部を備え、前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む。このような構成により、高い精度で効率的に計測器の測定値を自動的に読み取ることができる。

【0052】

また、本実施形態において、前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の姿勢情報を含むようにしてもよい。この場合、例えば、マーカと読取領域との相対的な角度を踏まえて測定値を読み取ることができるので、測定値の読み取り精度を高めることができる。

【0053】

また、本実施形態において、前記計測器を撮影するカメラの前記マーカに対する位置情報及び姿勢情報に基づいて、前記画像データを、前記計測値読取領域を正面から見た画像データに補正するようにしてもよい。これによれば、斜めからマーカ及び計測器を撮影した場合であっても正面から見た測定領域の画像データに補正してから測定値を読み取ることができるので、測定値の読取精度を高めることが可能となる。

【0054】

また、本実施形態において、複数の前記計測器に関する情報が予め記憶された計測器情報記憶部を有し、前記マーカに関連付けられる前記計測器の識別情報に基づいて、前記計測器情報記憶部に記憶される前記計測器の測定値読取領域の情報を取得するようにしてもよい。これによれば、マーカから識別情報を取得することで、識別情報に関連付けられた計測器に関する各種情報を取得することができる。

【0055】

また、本実施形態において、１つの計測器に複数のマーカが設けられ、前記複数のマーカに対する測定値読取領域の位置情報に基づいて、前記測定値を検出して読み取るようにしてもよい。これによれば、１つのマーカのみを用いる場合よりも、測定値読取領域の位置の認識精度を高めることができる。

【0056】

また、本実施形態において、１つの計測器に複数のマーカが設けられ、前記複数のマーカを組み合わせて前記１つの計測器の情報が示されるようにしてもよい。これによれば、１つのマーカのみを用いる場合よりも、表現可能な情報量を増大させることができる。

【0057】

また、本実施形態において、前記複数のマーカは、前記測定値読取領域を挟んで両側に配置されるようにしてもよい。これによれば、測定値読取領域の位置の認識精度をさらに高めることができる。

【0058】

また、本実施形態において、前記マーカは、ＡＲマーカであるようにしてもよい。これによれば、簡易な構成で、情報量を大きくすることができるので、詳細に計測器に関する情報を管理することができる。

【0059】

また、本実施形態において、前記計測器を異なる角度から撮影可能な複数のカメラを備えるようにしてもよい。これによれば、一方向の角度からは反射等で画像データが不鮮明になる場合でも、他方向の角度からは鮮明な画像データを得られる可能性を高めることができる。

【0060】

また、本実施形態において、マーカは、白と黒以外の色で構成される有色部分を有し、前記制御部は、前記有色部分の色の違いに基づいて、計測器の情報を取得するようにしてもよい。これによれば、白と黒のみの場合に比べて、デザイン性の高い様々なインテリアに対応することができる。また、マーカの情報量も大きくなるので、より詳細に計測値に関する情報を管理することができる。

【0061】

また、本実施形態において、マーカは、不可視インクで構成されるようにしてもよい。これによれば、目視で視認されないので、計測器の外観が阻害されることを防ぐことができる。

【0062】

また、本実施形態において、制御部は、取得した各種情報を、画像、音声等で出力するための出力データを生成するようにしてもよい。例えば、ＡＲグラスのレンズ（表示部）やタブレット端末のタッチパネル等に、読み取った計測値や計測器に関する各種情報を表示するようにしてもよい。

【0063】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0064】

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、サーバの制御部および記憶部は、互いにネットワークで接続された異なるサーバにより実現されてもよい。また、上述の装置、サーバ等で行われる情報処理は、例えば一部でディープラーニングなどの所謂機械学習による処理を含んでもよい。また、装置はエッジデバイスと呼ばれている端末装置（情報処理装置）自体に、判断ができる人工知能・AIを搭載した機器であってもよい。

【0065】

また、赤外線、紫外線等の光を照射する外部照明を、管理対象領域のマーカ、特定色領域および特定模様領域の少なくとも何れかに向けて照射するようにしてもよい。その場合、検出すべきマーカ等を、当該照明の特別な波長の光を反射する素材で構成することにより、マーカ等を、効率的に、高い精度で検出することができる。このような照明装置は、上述のカメラの設置位置の近傍に設けてもよいし、カメラと一体化して撮影と照射を行うようにしてもよい。なお、外部照明は、カメラを直接照射しない位置に設けることが好ましい。外部照明の光が直接カメラに照射されないようにすることで、マーカ等の検出を阻害しないようにすることができる。

【0066】

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るユーザ端末、サーバの各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0067】

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0068】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0069】

なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
計測器を撮影した画像データを取得する処理と、
前記画像データから計測器に設けられたマーカを検出する処理と、
検出した前記マーカに関連付けられる計測器情報を取得する処理と、
前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、を実行する制御部を備え、
前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む、ことを特徴とする計測器自動読取システム。
（項目２）
前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の姿勢情報を含む、項目１に記載の計測器自動読取システム。
（項目３）
前記計測器を撮影するカメラの前記マーカに対する位置情報及び姿勢情報に基づいて、前記画像データを、前記計測値読取領域を正面から見た画像データに補正する、項目１又は２に記載の計測器自動読取システム。
（項目４）
複数の前記計測器に関する情報が予め記憶された計測器情報記憶部を有し、
前記マーカに関連付けられる前記計測器の識別情報に基づいて、前記計測器情報記憶部に記憶される前記計測器の測定値読取領域の情報を取得する、項目１又は２に記載の計測器自動読取システム。
（項目５）
１つの計測器に複数のマーカが設けられ、
前記複数のマーカに対する測定値読取領域の位置情報に基づいて、前記測定値を検出して読み取る、項目１又は２に記載の計測器自動読取システム。
（項目６）
１つの計測器に複数のマーカが設けられ、
前記複数のマーカを組み合わせて前記1つの計測器の情報が示される、項目１又は２に記載の計測器自動読取システム。
（項目７）
前記複数のマーカは、前記測定値読取領域を挟んで両側に配置される、項目４又は５に記載の計測器自動読取システム。
（項目８）
前記マーカは、ARマーカである、項目１又は２に記載の計測器自動読取システム。
（項目９）
前記計測器を異なる角度から撮影可能な複数のカメラを備える、項目１又は２に記載の計測器自動読取システム。
（項目１０）
計測器を撮影した画像データを取得する処理と、
前記画像データから計測器に設けられたマーカを検出する処理と、
検出した前記マーカに関連付けられる計測器情報を取得する処理と、
前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、を制御部が実行し、
前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む、ことを特徴とする計測器自動読取方法。
（項目１１）
計測器を撮影した画像データを取得する処理と、
前記画像データから計測器に設けられたマーカを検出する処理と、
検出した前記マーカに関連付けられる計測器情報を取得する処理と、
前記計測器情報に基づいて、前記計測器の前記画像データから測定値を検出して読み取る処理と、をコンピュータに実行させ、
前記計測器情報は、前記マーカに対する前記計測器の測定値読取領域の位置情報を含む、ことを特徴とするプログラム。

【符号の説明】

【0070】

１０ 計測器
１１ 読取領域
２０ カメラ
３０ マーカ
４０ 情報処理装置（情報管理装置）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】