知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東芝の特許一覧 ▶ 東芝電機サービス株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023111319
(43)【公開日】2023-08-10
(54)【発明の名称】プログラム、情報処理装置、および情報処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230803BHJP
G06V 30/412 20220101ALI20230803BHJP
G06V 30/00 20220101ALI20230803BHJP
G08C 19/00 20060101ALI20230803BHJP
【ＦＩ】
G06T7/00 300F
G06K9/20 340C
G06K9/00 L
G08C19/00 301G
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022013121
(22)【出願日】2022-01-31
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】櫻井 強一
(72)【発明者】
【氏名】峯邑 隆司
【テーマコード（参考）】
2F073
5B029
5B064
5L096
【Ｆターム（参考）】
2F073AA03
2F073AA04
2F073AA06
2F073AA12
2F073AA25
2F073AA31
2F073AA40
2F073AB01
2F073AB04
2F073AB05
2F073BB01
2F073BC02
2F073BC04
2F073CC03
2F073CC12
2F073CD05
2F073CD11
2F073DD01
2F073DE02
2F073DE07
2F073DE13
2F073EF05
2F073EF09
2F073EF10
2F073FF01
2F073FG01
2F073FG02
2F073FG09
2F073FG11
2F073GG01
2F073GG05
2F073GG08
5B029AA01
5B029BB02
5B029CC21
5B029CC27
5B029EE04
5B029EE08
5B064AA03
5B064AB02
5B064AB13
5B064BA01
5B064CA08
5L096AA06
5L096CA02
5L096DA02
5L096EA16
5L096FA62
5L096FA67
5L096FA69
5L096JA11
(57)【要約】
【課題】 アナログメータの検針における数値読み取りの精度を高めること。
【解決手段】 実施形態によれば、プログラムは、コンピュータを、記憶部と、傾き情報取得部と、補正部と、数字認識部と、指針検出部と、計測値検出部として機能させる。記憶部は、傾き認識モデルを記憶する。傾き情報取得部は、アナログメータを撮影した画像データより抽出した複数の数字画像データについて、傾き認識モデルより数字画像データの夫々の傾き情報を取得する。補正部は、数字画像データを傾き情報に基づいて回転補正する。数字認識部は、回転補正された数字画像データより数字の値を認識する。指針検出部は、アナログメータの指針の先端の位置を検出する。計測値検出部は、アナログメータの表示板上に表された複数の数字の位置と数字が示す値、および指針の先端の位置より、指針が示す計測値を検出する。
【選択図】 図３
【解決手段】 実施形態によれば、プログラムは、コンピュータを、記憶部と、傾き情報取得部と、補正部と、数字認識部と、指針検出部と、計測値検出部として機能させる。記憶部は、傾き認識モデルを記憶する。傾き情報取得部は、アナログメータを撮影した画像データより抽出した複数の数字画像データについて、傾き認識モデルより数字画像データの夫々の傾き情報を取得する。補正部は、数字画像データを傾き情報に基づいて回転補正する。数字認識部は、回転補正された数字画像データより数字の値を認識する。指針検出部は、アナログメータの指針の先端の位置を検出する。計測値検出部は、アナログメータの表示板上に表された複数の数字の位置と数字が示す値、および指針の先端の位置より、指針が示す計測値を検出する。
【選択図】 図３
【特許請求の範囲】
【請求項1】
コンピュータを、
アナログメータの数字の画像に係る数字画像データにおける前記数字の傾きに関する学習用データより生成された傾き認識モデルを記憶する記憶部と、
前記アナログメータを撮影した画像データより抽出した複数の前記数字画像データについて、前記傾き認識モデルより前記数字画像データの夫々の傾き情報を取得する傾き情報取得部と、
前記数字画像データを前記傾き情報に基づいて回転補正する補正部と、
前記回転補正された数字画像データより数字の値を認識する数字認識部と、
前記アナログメータの指針の先端の位置を検出する指針検出部と、
前記アナログメータの表示板上に表された複数の数字の位置と前記数字が示す値、および前記指針の先端の位置より、前記指針が示す計測値を検出する計測値検出部と
して機能させるためのプログラム。
アナログメータの数字の画像に係る数字画像データにおける前記数字の傾きに関する学習用データより生成された傾き認識モデルを記憶する記憶部と、
前記アナログメータを撮影した画像データより抽出した複数の前記数字画像データについて、前記傾き認識モデルより前記数字画像データの夫々の傾き情報を取得する傾き情報取得部と、
前記数字画像データを前記傾き情報に基づいて回転補正する補正部と、
前記回転補正された数字画像データより数字の値を認識する数字認識部と、
前記アナログメータの指針の先端の位置を検出する指針検出部と、
前記アナログメータの表示板上に表された複数の数字の位置と前記数字が示す値、および前記指針の先端の位置より、前記指針が示す計測値を検出する計測値検出部と
して機能させるためのプログラム。
【請求項2】
前記補正部は、前記数字画像データの中心点を抽出し、当該数字画像データを当該中心点で回転させて前記数字画像データの傾きを補正し、
さらに、前記コンピュータを、
前記数字画像データの表記数字の位置を通る擬似円と、当該擬似円の中心の位置とを検出する円検出部として機能させる、請求項１に記載のプログラム。
さらに、前記コンピュータを、
前記数字画像データの表記数字の位置を通る擬似円と、当該擬似円の中心の位置とを検出する円検出部として機能させる、請求項１に記載のプログラム。
【請求項3】
前記円検出部は、
前記アナログメータの指針に係る回転中心点と、複数の前記数字画像データの前記中心点とを検出し、
前記指針に係る回転中心点を中心とし、前記数字画像データの中心点が円弧上となる前記擬似円を求め、
前記計測値検出部は、
前記擬似円における、前記指針による前記擬似円の分割比より前記指針が示す計測値を算出することを特徴とする請求項２記載のプログラム。
前記アナログメータの指針に係る回転中心点と、複数の前記数字画像データの前記中心点とを検出し、
前記指針に係る回転中心点を中心とし、前記数字画像データの中心点が円弧上となる前記擬似円を求め、
前記計測値検出部は、
前記擬似円における、前記指針による前記擬似円の分割比より前記指針が示す計測値を算出することを特徴とする請求項２記載のプログラム。
【請求項4】
記憶部とプロセッサとを有する情報処理装置であって、
前記記憶部は、
アナログメータの数字の画像に係る数字画像データにおける前記数字の傾きに関する学習用データより生成された傾き認識モデルを記憶し、
前記プロセッサは、
前記アナログメータを撮影した画像データより抽出した複数の前記数字画像データについて、前記傾き認識モデルより前記数字画像データの夫々の傾き情報を取得する傾き情報取得部と、
前記数字画像データを前記傾き情報に基づいて回転補正する補正部と、
前記回転補正された数字画像データより数字の値を認識する数字認識部と、
前記アナログメータの指針の先端の位置を検出する指針検出部と、
前記アナログメータの表示板上に表された複数の数字の位置と前記数字が示す値、および前記指針の先端の位置より、前記指針が示す計測値を検出する計測値検出部と
を備える、情報処理装置。
前記記憶部は、
アナログメータの数字の画像に係る数字画像データにおける前記数字の傾きに関する学習用データより生成された傾き認識モデルを記憶し、
前記プロセッサは、
前記アナログメータを撮影した画像データより抽出した複数の前記数字画像データについて、前記傾き認識モデルより前記数字画像データの夫々の傾き情報を取得する傾き情報取得部と、
前記数字画像データを前記傾き情報に基づいて回転補正する補正部と、
前記回転補正された数字画像データより数字の値を認識する数字認識部と、
前記アナログメータの指針の先端の位置を検出する指針検出部と、
前記アナログメータの表示板上に表された複数の数字の位置と前記数字が示す値、および前記指針の先端の位置より、前記指針が示す計測値を検出する計測値検出部と
を備える、情報処理装置。
【請求項5】
コンピュータが、
アナログメータを撮影した画像データより抽出した数字の画像に係る複数の数字画像データについて、当該数字画像データにおける前記数字の傾きに関する学習用データより生成された傾き認識モデルより、前記数字画像データの夫々の傾き情報を取得する分類工程と、
前記数字画像データを前記傾き情報に基づいて回転補正する補正工程と、
前記回転補正された数字画像データより数字の値を認識する数字認識工程と、
前記アナログメータの指針の先端の位置を検出する指針検出工程と、
前記アナログメータの表示板上に表された複数の数字の位置と前記数字が示す値、および前記指針の先端の位置より、前記指針が示す計測値を検出する計測値検出工程と
を具備する、情報処理方法。
アナログメータを撮影した画像データより抽出した数字の画像に係る複数の数字画像データについて、当該数字画像データにおける前記数字の傾きに関する学習用データより生成された傾き認識モデルより、前記数字画像データの夫々の傾き情報を取得する分類工程と、
前記数字画像データを前記傾き情報に基づいて回転補正する補正工程と、
前記回転補正された数字画像データより数字の値を認識する数字認識工程と、
前記アナログメータの指針の先端の位置を検出する指針検出工程と、
前記アナログメータの表示板上に表された複数の数字の位置と前記数字が示す値、および前記指針の先端の位置より、前記指針が示す計測値を検出する計測値検出工程と
を具備する、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、プログラム、情報処理装置、および情報処理方法に関する。
【背景技術】
【0002】
近時、タブレットを利用して設備点検を支援するサービスが提供されている。例えば、設備の状態を示すメータの検針作業を支援するサービスが知られている。この種のサービスでは、メータを撮影して得られた画像データ処理して数値に変換するソフトウェアを利用して、メータ値が読み取られる。数値読み取りには例えばＡＩ（Artificial Intelligence）が活用される。一方、メータの種類は、メータ値が直接数値で計測値が示される数値メータと、指針の位置で計測値が示されるアナログメータとに大別される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００７－１１４８２８号公報
【特許文献2】特開２０１６－２１２０４４号公報
【特許文献3】特開２０１８－４５６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
アナログメータにも様々な種類があり、目盛り板の数値が略同心円状に印字されているものがある。このアナログメータは数値の一つ一つの傾きが異なることから、従来、画像認識による検針のための読み取りが難しく、読み取り精度を上げる技術が要望されていた。
そこで、目的は、アナログメータの検針における数値読み取りの精度を高めたプログラム、情報処理装置、および情報処理方法を提供することにある。
そこで、目的は、アナログメータの検針における数値読み取りの精度を高めたプログラム、情報処理装置、および情報処理方法を提供することにある。
【課題を解決するための手段】
【0005】
実施形態によれば、プログラムは、コンピュータを、記憶部と、傾き情報取得部と、補正部と、数字認識部と、指針検出部と、計測値検出部として機能させる。記憶部は、アナログメータの数字の画像に係る数字画像データにおける数字の傾きに関する学習用データより生成された傾き認識モデルを記憶する。傾き情報取得部は、アナログメータを撮影した画像データより抽出した複数の数字画像データについて、傾き認識モデルより数字画像データの夫々の傾き情報を取得する。補正部は、数字画像データを傾き情報に基づいて回転補正する。数字認識部は、回転補正された数字画像データより数字の値を認識する。指針検出部は、アナログメータの指針の先端の位置を検出する。計測値検出部は、アナログメータの表示板上に表された複数の数字の位置と数字が示す値、および指針の先端の位置より、指針が示す計測値を検出する。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、図面を参照して、一実施形態について説明する。
（構成）
図１は、実施形態に係わる設備点検支援サービスを提供するクラウドシステムの一例を示す図である。以下では、工場、事業所の設備、あるいは種々の計測器などで用いられるメータの検針作業への適用例について説明する。
（構成）
図１は、実施形態に係わる設備点検支援サービスを提供するクラウドシステムの一例を示す図である。以下では、工場、事業所の設備、あるいは種々の計測器などで用いられるメータの検針作業への適用例について説明する。
【0008】
図１において、クラウドシステムは、ネットワーク５００に接続されたサーバ４００を中核とする。クライアント端末３００が、ネットワーク５００経由でサーバ４００にアクセスすることができる。さらに、ネットワーク５００の基地局２００を介して、モバイル端末１００がサーバ４００にアクセスすることができる。
【0009】
モバイル端末１００は、スマートフォン、タブレット、あるいはノートパソコン等であって、メータの検針作業を行う検針員に携帯される、モバイル端末１００は、実施形態に係わる帳票作成支援アプリをインストールした状態で使用される。モバイル端末１００は、現場に設置されたメータＭＴ１～ＭＴｎの計測値を光学的に読み取り、帳票作成支援アプリにより帳票データを作成してサーバ４００に送信する。
【0010】
基地局２００は、モバイル端末１００とネットワーク５００とを通信可能に接続する。ネットワーク５００がＬＡＮ（Local Area Network）であれば、基地局２００は、無線ＬＡＮ（ＩＥＥＥ８０２．１１シリーズ）を実装するアクセスポイントである。ネットワーク５００が公共あるいはローカルの移動通信網であれば、基地局２００は、３Ｇ、ＬＴＥ（登録商標）、４Ｇ、５Ｇ等の無線基地局である。
【0011】
クライアント端末３００は、デスクトップ型あるいはラップトップ型のパーソナルコンピュータ等の情報処理装置である。クライアント端末３００は、例えば、検針サービスのベンダの管理部門に設置され、その部門のオペレータにより操作される。クライアント端末３００は、例えば、モバイル端末１００からサーバ４００にアップロードされたデータファイルを取得し、参照、閲覧、編集、集計、データ変換・ファイル作成、帳票の発行などを行う機能を備える。
【0012】
サーバ４００は、モバイル端末１００やクライアント端末３００からアップロードされるデータの保存、管理、データ処理、あるいは利用者間でのデータ共有等のサービスを提供する。
【0013】
メータＭＴ１～ＭＴｎは、各種の設備や計測器に関わり、例えば、電流、電圧、気体や液体の圧力や流量などの計測値や、設備や機器の稼働状態を示す値を表示する。メータＭＴ１～ＭＴｎには、数値メータと、アナログメータの２つのタイプがあり、検針員による検針の対象には、両タイプが混在し得る。
【0014】
数値メータは、回転式、またはデジタル式で、計測値などを視覚的に表示する。デジタル式の数値メータは、例えば、０～９までの数字が表示される７セグメントディスプレイを複数使用して、数値を示す。回転式の数値メータは、例えば、０～９までの算用数字が記載された数字車を複数連ねて並べた機構を備え、数字車を回転させて数値を示す。
【0015】
アナログメータは、算用数字や目盛りが記された表示盤上を移動する指針の位置により、数値を示す。つまり、数字や目盛りと指針との相対的な位置関係により、計測値などの数値がアナログ的に示される。
【0016】
図２は、角型メータの一例を示す外観図である。例えば交流電流計には、表示盤上の目盛りの数値が同心円状に描画されているものが多い。この種のメータは、目盛り板の数値が同心円状に表記されているものが多い。この場合、文字盤の数値は、水平のものとそうでないものが混在するだけでなく、一つ一つの数値の傾きが異なるので機械では読み取りにくい。また、目盛りの幅が途切れていたり、幅が不均等なものもある。実施形態ではこのような事態に対応することの可能な技術について説明する。なお、以下では、メータの読み値として表示盤上に表記された数字を表記数字と称して説明する。
【0017】
図３は、モバイル端末１００の一例を示す機能ブロック図である。情報処理装置の一例としてのモバイル端末１００は、通信部１０１、入力部１０２、表示部１０３、カメラ１０４、ＧＮＳＳ（Global Navigation Satellite System）受信部１０５、記憶部１０６、および、プロセッサ１１０を備える。すなわちモバイル端末は、プロセッサとメモリを備えるコンピュータである。
【0018】
通信部１０１は、無線通信インターフェースであり、基地局２００との間に無線通信リンクを確立しネットワーク５００経由でサーバ４００と通信する。
【0019】
入力部１０２は、表示部１０３のタッチパネルや、モバイル端末１００の外装に設けられたキースイッチなどの入力デバイスを備え、検針員による入力操作や指示を受け付ける。
表示部１０３は、タッチパネルなどの表示デバイスを備え、検針員に視覚的な情報を提供する。タッチパネルは、尖筆（スタイラス）や指などによる情報入力を受け付ける。静電容量方式や抵抗膜方式、投影型赤外線方式など種々の方式のタッチパネルがある。表示デバイスとしては、液晶パネルや有機ＥＬ（Electro Luminescence）パネル、電子ペーパーなどがある。
表示部１０３は、タッチパネルなどの表示デバイスを備え、検針員に視覚的な情報を提供する。タッチパネルは、尖筆（スタイラス）や指などによる情報入力を受け付ける。静電容量方式や抵抗膜方式、投影型赤外線方式など種々の方式のタッチパネルがある。表示デバイスとしては、液晶パネルや有機ＥＬ（Electro Luminescence）パネル、電子ペーパーなどがある。
【0020】
表示部１０３は、例えば、情報の入力欄やソフトキー、各種画像（写真、ＣＧ（コンピュータグラフィックス）画像）を表示デバイスに表示する。表示部１０３における情報の入力欄やソフトキーに関する表示は、入力部１０２に対する操作に対応するように、プロセッサ１１０により制御される。
【0021】
カメラ１０４は、デジタルの画像データを生成するデジタルカメラである。カメラ１０４は、例えばメータＭＴ１～ＭＴｎ（図１）を撮影して、表記数字の画像などのデータを含む画像データを取得する。すなわちカメラ１０４は、レンズを含む光学系、ＣＭＯＳ（Complementary MOS）などのイメージセンサを備えた撮像部、および、撮像部からの撮像信号から所定の形式（例えば、JPEG（Joint Photographic Experts Group））の画像データを生成する信号処理部を備える。撮影した日時や場所、撮影条件（シャッター速度や絞り値、画角、緯度や経度など）を示すメタデータ（例えば、Ｅｘｉｆ（Exchangeable image file format）データ）をプロセッサ１１０が画像データに付加しても良い。
【0022】
ＧＮＳＳ受信部１０５は、ＧＰＳ（Global Positioning System）衛星に代表される複数のＧＮＳＳ衛星や、地上の基準局などから送信される測位信号を受信し、モバイル端末１００の位置を測定する。測位信号は時刻情報も含み、これを利用して現在時刻を知ることもできる。
【0023】
記憶部１０６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などのフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの記録デバイスである。取り扱うデータの特性に合わせて、異種の記録デバイスが組み合わせて設けられてもよい。
【0024】
記憶部１０６は、例えば、プロセッサ１１０の動作に伴って生成されたデータ、各種パラメータ、検針員から入力されたデータ、カメラ１０４で取得された画像データ（例えばメータＭＴ１～ＭＴｎの計測値を撮影した画像データ）、サーバ４００から取得（ダウンロード）したデータ、あるいは、情報処理のための一時的なデータ等を記憶する。
実施形態において、記憶部１０６は、帳票データ１０６ａ、設定情報データ１０６ｂ、画像データ１０６ｃ、学習済みモデル６００、およびプログラム７００を記憶する。
実施形態において、記憶部１０６は、帳票データ１０６ａ、設定情報データ１０６ｂ、画像データ１０６ｃ、学習済みモデル６００、およびプログラム７００を記憶する。
【0025】
帳票データ１０６ａは、所定の検針期間毎に、各メータの指針値を集計して作成される。新たな帳票データ１０６ａが作成されると、ただちにサーバ４００にアップロードされる。帳票データ１０６ａは、例えば、検針現場ごとに作成されるデータで、「メータ情報」、「メータ画像」、「今回の検針値」、「前回との差」、「前回の検針値」、「前回に求めた差」などの情報を含む。検針現場に複数のメータが設置されている場合には、帳票データ１０６ａは、各メータについての上記情報を含む。
【0026】
ここで、「メータ情報」は、メータを識別するためのマスターコード、メータが計測する対象（例えば、テナント、駐車場、共有スペースなど）を示す識別情報、種別（例えば、ガス、電気、水道など）を含む。「メータ画像」は、検針値の根拠となる画像、すなわち、検針の際に撮影した画像である。
【0027】
「今回の検針値」は、今回の検針で読み取った値である。「前回との差」は、今回の検針値と前回の検針値の差分である。「前回の検針値」は、前回の検針で読み取った値である。「前回に求めた差」は、前回の検針値と前々回の検針値の差分である。
【0028】
設定情報データ１０６ｂは、各メータの検針値を集計するために必要な設定情報である。設定情報データ１０６ｂは、帳票データ１０６ａと同様に、各検針現場の各メータ毎に作成される。
【0029】
画像データ１０６ｃは、検針値を示すメータをカメラ１０４で撮影して生成された画像データであり、証拠用のメータ画像として上記帳票データ１０６ａに記録される。その際、撮影直後の画像から、数値を含む必要な部分だけを選択し切り出してもよい。
【0030】
学習済みモデル６００は、例えばＤＮＮ（Deep Neural Network）やＣＮＮ（Convolutional Neural Network）などのニューラルネットワークを機械学習させて生成される。実施形態では、数値の画像を含む数字画像データと、当該数字画像データに示される数値の傾きとを含む学習用データを上記ニューラルネットワークに繰り返し入力し、出力された傾きと正しい値との誤差を勾配降下法などで最小化する機械学習により、学習済みモデル６００が生成される。
【0031】
ここで、数字画像データとは、画像データから必要最小限の領域を切り出した画像データである。切り出し加工を行っていない画像データを数字画像データとして用いても良いが、学習効率は高まらないことが考えられる。
【0032】
図４は、学習済みモデル６００について説明するための図である。傾き認識モデルとしての学習済みモデル６００は、例えばサーバ４００において生成される。そして、モバイル端末１００にインストールされた帳票作成支援アプリが初回起動される際に、学習済みモデル６００はサーバ４００からダウンロードされて記憶部１０６に記憶される。
【0033】
図４（ａ）に示されるように、数値を含む数字画像データと、当該数値の傾きとをセットにした教師データを未学習のニューラルネットワークに繰り返し与え、誤差をフィードバックする手順を積み重ねることで、図４（ｂ）の学習済みモデル６００が生成される。例えば数値”３８７８”を含む画像と、４度、という傾きをセットにした教師データ、あるいは数値”１０”を含む画像と、１８度、という傾きをセットにした教師データなどを予め用意し、ＣＮＮやＤＮＮ等に繰り返し与えて学習させる。このような機械学習により得られた学習済みモデル６００に数値を含む画像データを別途与えると、その数値そのものではなく、画像数値の傾き（傾き情報）が出力される。ここで、教師データは、例えばサーバ４００や他のコンピュータで既存のフレームワークにより作成しても良いし、検針員が現場で収集した画像データを教師データとして利用しても良い。
【0034】
図３に戻って説明を続ける。記憶部１０６のプログラム７００は、ＯＳ（Operating System）、ファームウェア、アプリケーションソフトウェア等を含み、実施形態に係わる諸機能をモバイル端末１００に実行させる。
【0035】
プロセッサ１１０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサ、チップセット、ＲＡＭやＲＯＭなどを含み、モバイル端末１００の各部を制御する。ＲＯＭは、ファームウェアや設定値（各種パラメータ）などを記憶する。プロセッサ１１０は、記憶部１０６のプログラム７００をＲＡＭに読み込み、また、ＲＡＭをワークエリア（作業領域）として使用して各種の機能を実現する。
【0036】
プロセッサ１１０は、プログラム７００に含まれる命令を実行して、少なくとも以下の機能を実現する。すなわち、プロセッサ１１０は、通信制御部１１１、入力制御部１１２、表示制御部１１３、画像処理部１１４、位置情報処理部１１５、および、検針データ集計処理部１１６として機能する。ここで、プログラム７００は、コンピュータとしてのモバイル端末１００を、記憶部１０６、通信制御部１１１、入力制御部１１２、表示制御部１１３、画像処理部１１４、位置情報処理部１１５、および、検針データ集計処理部１１６として機能させるための命令を含む。
【0037】
通信制御部１１１は、既定の通信プロトコルに従ってモバイル端末１００と基地局２００、ネットワーク５００、およびサーバ４００との通信を制御する。通信制御部１１１は、例えば、サーバ４００からのファイルやデータのダウンロード、およびサーバ４００へのデータのアップロードを行う。
【0038】
入力制御部１１２は、入力部１０２への操作から検針員の要求を解釈したり、情報（文字列など）の入力や、データの取り込み、データ間の対応付けの変更などを受け付ける。また、入力制御部１１２は、カメラ１０４で生成された画像データを取得し、記憶部１０６に転送し、画像データ１０６ｃとして記憶させる。
【0039】
表示制御部１１３は、文字や画像を含む種々の情報や、各種アイコン、情報の入力欄やソフトキー等のＧＵＩ（Graphical User Interface）などを、表示部１０３に表示する。また、表示制御部１１３は、画像の取り込み位置を示したりするガイド表示を行う。
【0040】
画像処理部１１４は、カメラ１０４により撮像された画像データに対して画像処理を施す。画像処理部１１４は、例えば、認識エンジンとしての機能と、解析エンジンとしての機能を備える。
【0041】
認識エンジンは、カメラ１０４で取得された画像データに基づく画像から、例えばＡＩ（Artificial Intelligence）を適用したパターン認識により、種々の情報を認識する。認識エンジンは、例えば、ＱＲコード（登録商標）を検出したり、画像に写るメータを数値メータかアナログメータか区別（判定）したり、そのメータの表示盤上の計測値を表示している部分を検出したり、また表示盤内のオブジェクト（数値メータの計測値の数字列、アナログメータの指針や表記数字など）やその配置（座標）を検出する機能を備える。
【0042】
解析エンジンは、認識エンジンにより検出された情報を解析する処理を行うものである。解析エンジンは、例えば、メータ部分の画像について、ＱＲコード（登録商標）の解読や、光学的文字認識などの文字認識処理（ＯＣＲ：Optical Character Recognition）により数値メータの計測値をテキスト化したり、アナログメータのメータ部分に記されたオブジェクトの位置関係から指針が示す値を検出する。
【0043】
なお、文字認識処理については、複数種類の解析エンジンが予め準備される。それぞれの解析エンジンは、例えばメータの種類毎に対応し、それぞれ対応するメータの表記数字に合った解析アルゴリズムを用いて、表示される計測値をテキスト化する。つまり、メータにより算用数字の書体が異なっていたり、表記数字と背景色の組み合わせが異なるので、各メータの表示に合った解析アルゴリズムを有する解析エンジンが準備されている。
【0044】
位置情報処理部１１５は、加速度センサ、ジャイロセンサなどを備え、これらの検出結果と、ＧＮＳＳ受信部１０５による測位結果、および／または通信制御部１１１により基地局２００から得た測位情報に基づいて、モバイル端末１００の位置を測位する。
検針データ集計処理部１１６は、検針データの集計に関わる種々の処理を統括して制御する。
検針データ集計処理部１１６は、検針データの集計に関わる種々の処理を統括して制御する。
【0045】
図５は、画像処理部１１４に備わる機能を説明するための機能ブロック図である。画像処理部１１４は、分類部１１４ａ、補正部１１４ｂ、および、表記数字検出部１１４ｃを備える。すなわち、プログラム７００は、モバイル端末１００を、分類部１１４ａ、補正部１１４ｂ、および表記数字検出部１１４ｃとして機能させるための命令を含む。
【0046】
分類部１１４ａは、表記数字のデータを含む画像データ１０６ｃを学習済みモデル６００に与えて、当該画像データ１０６ｃの傾き情報を取得する。
補正部１１４ｂは、画像データ１０６ｃを、傾き情報に基づいて回転補正する。
表記数字検出部１１４ｃは、回転補正された画像データ１０６ｃに基づいて、表記数字の値および位置を検出する。
補正部１１４ｂは、画像データ１０６ｃを、傾き情報に基づいて回転補正する。
表記数字検出部１１４ｃは、回転補正された画像データ１０６ｃに基づいて、表記数字の値および位置を検出する。
【0047】
図６は、分類部１１４ａ、補正部１１４ｂ、および、表記数字検出部１１４ｃの作用について説明するための図である。分類部１１４ａは、学習済みモデル６００に画像データ１０６ｃを与え、それぞれの画像データについての傾き情報を取得する。例えば表記数字”０．０４”を含む画像データの傾きは０度、例えば”４５”を含む画像データの傾きは５２度、”０”を含む画像データの傾きは－４５度といった傾き情報が取得される。この傾き情報は、各画像データとセットにして補正部１１４ｂに入力される。
【0048】
補正部１１４ｂは、それぞれの画像データ１０６ｃを、傾き情報を打ち消して正立するように、つまり角度が０になるように回転補正する。画像の回転補正は、例えばオープンソースソフトウェアやライブラリなどを用いて、既存の技術により実施することができる。
【0049】
表記数字検出部１１４ｃは、回転補正された画像データ１０６ｃに基づいて、表記数字の値および位置を検出する。図６においては、それぞれ”０．０４”、”４５”、”０”という値が得られている。
【0050】
図７は、検針データ集計処理部１１６に備わる機能を説明するための機能ブロック図である。検針データ集計処理部１１６は、帳票作成部１１６ａ、数値メータ検針部１１６ｂ、アナログメータ検針部１１６ｃ、修正処理部１１６ｄを備える。
【0051】
帳票作成部１１６ａは、数値メータ検針部１１６ｂ、あるいはアナログメータ検針部１１６ｃにより読み取られた検針値、あるいは、修正処理部１１６ｄにより修正された指針値に基づいて、帳票データを作成する。
【0052】
数値メータ検針部１１６ｂは、画像処理部１１４の認識エンジンと解析エンジンを必要に応じて利用し、数値メータを撮影した画像に基づいて、数値メータに表示される計測値の数字列を指針値として読み取る。
【0053】
アナログメータ検針部１１６ｃは、画像処理部１１４の認識エンジンと解析エンジンを必要に応じて利用し、アナログメータを撮影した画像に基づいて、アナログメータに指針で示される値を指針値として読み取る。
【0054】
修正処理部１１６ｄは、入力部１０２を介した検針員の操作に応じ、指針値を修正する指示を受け付けて、数値メータ検針部１１６ｂやアナログメータ検針部１１６ｃが読み取った指針値を修正する。
【0055】
図８は、アナログメータ検針部１１６ｃに備わる機能を説明するための機能ブロック図である。アナログメータ検針部１１６ｃは、指針検出部６ａ、円検出部６ｂ、交点検出部６ｃ、交点数字検出部６ｄ、および、計測値検出部６ｅを備える。すなわち、プログラム７００は、モバイル端末１００を、指針検出部６ａ、円検出部６ｂ、交点検出部６ｃ、交点数字検出部６ｄ、および計測値検出部６ｅとして機能させるための命令を含む。
【0056】
指針検出部６ａは、アナログメータを撮影して得られた画像データ１０６ｃに基づいて、指針の先端の位置を検出する。
円検出部６ｂは、表記数字検出部１１４ｃが検出した表記数字の位置を通る円と、この円の中心の位置を検出する。
円検出部６ｂは、表記数字検出部１１４ｃが検出した表記数字の位置を通る円と、この円の中心の位置を検出する。
【0057】
交点検出部６ｃは、指針検出部６ａが検出した指針の先端と、円検出部６ｂが検出した円の中心を結ぶ線分と、円検出部６ｂが検出した円の円周との交点の位置を求める。
交点数字検出部６ｄは、表記数字検出部１１４ｃが検出した表記数字のうち、交点の一方の円周上に位置する第１の表記数字と、交点の他方の円周上に位置する第２の表記数字をそれぞれ検出する。
計測値検出部６ｅは、第１の表記数字の位置、第２の表記数字の位置、円の中心の位置、交点の位置、第１の表記数字の値、および第２の表記数字の値に基づいて、指針が示す計測値を検出する。
交点数字検出部６ｄは、表記数字検出部１１４ｃが検出した表記数字のうち、交点の一方の円周上に位置する第１の表記数字と、交点の他方の円周上に位置する第２の表記数字をそれぞれ検出する。
計測値検出部６ｅは、第１の表記数字の位置、第２の表記数字の位置、円の中心の位置、交点の位置、第１の表記数字の値、および第２の表記数字の値に基づいて、指針が示す計測値を検出する。
【0058】
（作用）
次に、上記構成のクラウドシステムにおける作用について説明する。
図９、および図１０は、実施形態に係わるモバイル端末１００の処理手順の一例を示すフローチャートである。図９、図１０を参照して、アナログメータから検針値を読み取るための、アナログメータ検針処理について説明する。
次に、上記構成のクラウドシステムにおける作用について説明する。
図９、および図１０は、実施形態に係わるモバイル端末１００の処理手順の一例を示すフローチャートである。図９、図１０を参照して、アナログメータから検針値を読み取るための、アナログメータ検針処理について説明する。
【0059】
図９のステップＳ３０１において、モバイル端末１００のアナログメータ検針部１１６ｃは、記憶部１０６から設定情報データ１０６ｂを読み出し、ステップＳ３０２に移行する。読み出された設定情報データ１０６ｂは、以後の処理において、初期設定のパラメータ（初期設定値）として用いられる。
【0060】
設定情報データ１０６ｂの一例としては、種々のアナログメータについて、メータの識別情報に対応づけて、表示盤上に表示されている数値の最小値と最大値などを記録した情報、あるいは、メータを識別するためにＡＩ（Artificial Intelligence）学習させた学習データなどが含まれる。
【0061】
学習データは、アナログメータを撮影した画像において、メータの中心点、指針の可動範囲の開始点と終了点、表示盤の最も下側の底点、指針の範囲（最小値、最大値）、しきい値など設定した情報に基づいて、機械学習によって生成される。
【0062】
ステップＳ３０２において、アナログメータ検針部１１６ｃは、カメラ１０４を起動して、アナログメータＭＴ（例えば、メータＭＴ１～ＭＴｎのいずれか）を撮像して画像データを取得し、処理手順はステップＳ３０３に移行する。
【0063】
具体的には、ステップＳ３０２において、カメラ１０４が起動され、カメラ１０４により撮像された映像が表示部１０３に表示される。検針員は、この表示を確認して撮影構図を調整し、アナログメータＭＴ全体が写る状態でシャッタ操作を行う。これにより、アナログメータＭＴ全体が写る画像データを得られ、表示部１０３には、撮影されたアナログメータＭＴが表示される。
【0064】
ステップＳ３０３において、アナログメータ検針部１１６ｃは、ステップＳ３０２で得た画像データに基づいて、撮影したアナログメータＭＴを表示部１０３に表示するとともに、画像データに写るアナログメータＭＴの表示盤上の表記数字と指針を検出する。なお、この検出には、画像処理部１１４の認識エンジンが用いられる。
【0065】
またステップＳ３０３において、アナログメータ検針部１１６ｃは、上記表示したアナログメータＭＴ上に、上記検出した表記数字と指針をそれぞれ矩形の枠線（数値枠）で囲って表示し、ステップＳ３０４に移行する。
【0066】
図１１は、表記数字をそれぞれ囲う枠線の一例を示す図である。これらの表示は、表示制御部１１３を通じて行われ、以下で説明する表示についても同様である。なお、アナログメータＭＴ上の表記数字と指針の検出は、例えば、ＡＩを利用することで実現できる。
【0067】
すなわち、設定情報データ１０６ｂに含まれる学習データと画像データに基づいて、アナログメータ検針部１１６ｃがアナログメータＭＴの種類などを特定するとともに、さらに、この特定したアナログメータＭＴについての学習データから表示盤上の表記数字と指針を検出する。
【0068】
ステップＳ３０４において、アナログメータ検針部１１６ｃは、ステップＳ３０３で表示した表記数字を囲う枠線の中心の位置（座標）を検出し、ステップＳ３０５に移行する。ここで検出された座標は、以下の説明において、表記数字座標と称する。表記数字座標は、表示したアナログメータＭＴ上に設定した２次元の座標軸に基づくものであって、以下の説明における座標についても、上記座標軸を基準にしたものである。
【0069】
ステップＳ３０５において、アナログメータ検針部１１６ｃは、ステップＳ３０４で検出した表記数字座標に基づいて、枠線の中心を通る近似した円（擬似円）を求める。すなわちアナログメータ検針部１１６ｃは、表記数字座標が円周上に存在する擬似円を求める。さらに、アナログメータ検針部１１６ｃは、この円の中心点Ｏの座標とその半径Ｒを算出し、ステップＳ３０６に移行する。
【0070】
図１２は、擬似円と中心点Ｏの一例を示す図である。ステップＳ３０６において、アナログメータ検針部１１６ｃは、指針を囲う枠線と擬似円の中心点Ｏに基づいて、指針の先端Ａの座標Ａｃを検出し、処理手順はステップＳ３０７に移行する。
【0071】
図１３は、指針を囲う枠線と円の中心点Ｏの一例を示す図である。また、図１４に、奥向きに傾斜した文字盤を含む画像の例を示す。図１４の例では、指針を囲う矩形の枠線の４つの頂点のうち、円の中心点Ｏから近い頂点と対角をなす頂点を指針の先端Ａの座標Ａｃとして検出する。
【0072】
ただし、指針の角度によっては、図１５に示すように、円の中心Ｏから近い点である頂点ｂ１ではなく、ふさわしくない頂点ｂ２を検出する可能性がある。このため、枠線の各辺の中点ｃ１～ｃ４と中心Ｏの距離を考慮して頂点ｂ１を検出し、この頂点ｂ１と対角をなす、指針の先端Ａに相当する頂点ａの座標を検出するようにしてもよい。
【0073】
ステップＳ３０７において、アナログメータ検針部１１６ｃは、ステップＳ３０４で検出した表記数字座標を順番に配列し、処理手順はステップＳ３０８に移行する。
【0074】
ステップＳ３０７において、アナログメータ検針部１１６ｃは、具体的には、図１６に矢印で示すように、円の中心点Ｏの下方の円周上を起点Ｓとして、時計回りに円周上の表記数字座標を順に並べる。これは、一般的なアナログメータが、時計回りに読み値が変化する（大きくなる）ことを考慮したものである。
【0075】
次に、ステップＳ５０１において、画像処理部１１４は、枠線（数値枠）の数値画像を切り出し、ステップＳ５０２において、切り出された数値画像における数値の回転角度を認識する。回転角度は、学習済みモデル６００から傾き情報として出力される。この傾き情報を用いて、画像処理部１１４はステップＳ５０３において、切り出された数値画像に水平補正処理を施して、傾きの無い表記数字の画像データを生成する。これにより、図１７に示されるように、文字盤の数値が全て水平になった画像データが生成される。
【0076】
ステップＳ３０８において、アナログメータ検針部１１６ｃは、図１７に示すように、ステップＳ３０３で囲った枠線内の表記数字の数値を読み取り、処理手順はステップＳ３０９に移行する。
【0077】
表記数字の数値の読み取り（検出）は、例えば、ＡＩを利用することで実現できる。すなわち、設定情報データ１０６ｂに含まれる学習データと画像データに基づいて、アナログメータ検針部１１６ｃがアナログメータＭＴの種類などを特定できる。さらに、この特定したアナログメータＭＴについての学習データから表示盤上の表記数字の数値を検出することができる。
【0078】
ステップＳ３０９において、アナログメータ検針部１１６ｃは、ステップＳ３０８で読み取った数値に「０」があるか否かを判定する。ここで、ステップＳ３０８で読み取った数値に「０」がある場合には、処理手順はステップＳ３１０に移行し、「０」がない場合には、処理手順はステップＳ３１２に移行する。
【0079】
ステップＳ３１０において、アナログメータ検針部１１６ｃは、ステップＳ３０７で行った配列とステップＳ３０８で読み取った数値に基づいて、中心点Ｏからみて、数値「０」の表記数字の左側に数値が存在するか否かを判定する。ここで、左側に数値が存在する場合には、処理手順はステップＳ３１１に移行し、左側に数値が存在しない場合には、処理手順はステップＳ３１４に移行する。
【0080】
ステップＳ３１１において、アナログメータ検針部１１６ｃは、ステップＳ３０８で読み取った数値のうち、数値「０」より左側に存在する数値については、同じ大きさのマイナス（負）の値に変換し、ステップＳ３１４に移行する。なお、右側に存在する数値については、プラス（正）の値のままとする。
【0081】
図１８に示すようなアナログメータの場合、数値「０」の左側に数値「０．０５」と「０．１」が存在する。よってアナログメータ検針部１１６ｃは、これらの数値をそれぞれ「－０．０５」と「－０．１」に変換する。
【0082】
ステップＳ３１２において、アナログメータ検針部１１６ｃは、ステップＳ３０７で行った配列とステップＳ３０８で読み取った数値に基づいて、隣接する２つの数値を比較し、数値が右側の数値以上となっている数値が存在するか否かを判定する。すなわち、中心点Ｏからみて、左側の数値が右側の数値以上の数値となっているものが存在するか否かを判定する。右側の数値以上の数値が存在する場合には、処理手順はステップＳ３１１に移行し、右側の数値以上の数値が存在しない場合には、処理手順はステップＳ３１４に移行する。
【0083】
ステップＳ３１３において、アナログメータ検針部１１６ｃは、ステップＳ３０８で読み取った数値のうち、数値が右側の数値以上となっている数値の符号を反転し、処理手順はステップＳ３１４に移行する。
【0084】
図１８に示すようなアナログメータの場合、左端の数値「０．１」の右側には数値「０．０５」が存在する。よってアナログメータ検針部１１６ｃは、この数値「０．１」を「－０．１」に変換する。同様に、左側の数値「０．０５」の右側には数値「０」が存在するため、アナログメータ検針部１１６ｃは、この数値「０．０５」を「－０．０５」に変換する。
【0085】
図９のステップＳ３１４において、アナログメータ検針部１１６ｃは、例えば図１９に示すように、ステップＳ３０６で検出した指針の先端Ａの座標ＡｃとステップＳ３０５で検出した円の中心点Ｏの座標を結ぶ線分と、ステップＳ３０５で求めた円Ｏの円周との交点Ｘの座標Ｘｃを検出する。そののち、交点Ｘの有無によらず、処理手順は図１０のステップＳ４０１に移行する。
【0086】
図１０のステップＳ４０１において、アナログメータ検針部１１６ｃは、ステップＳ３１４で交点Ｘの座標Ｘｃが検出できたか否かを判定する。交点Ｘの座標Ｘｃが検出できた（すなわち交点Ｘがある）場合には、処理手順はステップＳ４０３に移行する。交点Ｘが無いなど、交点Ｘの座標Ｘｃが検出できない場合には、処理手順はステップＳ４０２に移行する。
【0087】
ステップＳ４０２において、アナログメータ検針部１１６ｃは、指針を延長して、延長した指針と円周の交点Ｘを作成し、その交点Ｘの座標Ｘｃを検出する。そして、処理手順はステップＳ４０２に移行する。なお、交点Ｘの座標Ｘｃの検出は、例えば、ステップＳ３０６で検出した指針の先端Ａの座標Ａｃと中心点Ｏに基づいて、中心点Ｏから座標Ａｃの方向に延長することで実現できる。
【0088】
ステップＳ４０３において、アナログメータ検針部１１６ｃは、ステップＳ３１４、またはステップＳ４０２で検出した交点Ｘの座標Ｘｃの左右の円周上にある表記数字を探索し、それらの表記数字があるか否かを判定する。
【0089】
図２０の例では、交点Ｘの座標Ｘｃの左の円周上に表記数字ＮＬとして「２０」が存在し、右の円周上の表記数字ＮＲとして「４０」が存在する。
【0090】
ここで、左右ともに表記数字を検出できた場合には、処理手順はステップＳ４０４に移行する。表記数字が左または右の一方にしか無い場合には、指針値として、最小値（ＮＲのみ検出時）あるいは最大値（ＮＬのみ検出時）を検出したものとして、処理手順はステップＳ４０９に移行する。
【0091】
【0092】
一方、図２１（ｂ）に示すように、中心点Ｏから見て交点Ｘの左側（円周の起点まで）には、表記数字が存在しない場合、指針値として、初期設定値に基づく最小値を検出したものとして確定し、処理手順はステップＳ４０９に移行する。
【0093】
なお、交点Ｘの右側（円周の終点まで）に表記数字が存在しない場合には、指針値として、初期設定値に基づく最大値を検出したものとして確定し、処理手順はステップＳ４０９に移行する。
【0094】
また、図２１（ｃ）に示すように、指針が表記数字「４０」と重なったことにより、ステップＳ３０３やステップＳ３０４で表記数字「４０」が検出されない場合には、この表記数字「４０」は検出されない。よって「４０」は、ステップＳ４０３の判定で用いられることはない。しかし、それ以外の左右の表記数字「２０」と「６０」がそれぞれＮＬ、ＮＲとしてステップＳ３０３やステップＳ３０４で検出されているので、ステップＳ４０３でこれらの表記数字の存在が検出されたのち、処理手順はステップＳ４０４に移行する。
【0095】
さらに、図２１（ｄ）に示すように、指針が表記数字「４０」と重なるととともに、何らかの理由で、表記数字「６０」が検出されない場合には、表記数字「４０」と「６０」はステップＳ４０３の判定で用いられることはない。しかし、それ以外の左右の表記数字「２０」と「８０」がステップＳ３０３やステップＳ３０４で検出されているので、ステップＳ４０３でこれらの表記数字がそれぞれＮＬ、ＮＲとして検出されたのち、処理手順はステップＳ４０４に移行する。
【0096】
図２２に示されるように、ステップＳ４０４においてアナログメータ検針部１１６ｃは、まず、ステップＳ４０３で検出した２つ表記数字ＮＬ、ＮＲのうち、交点Ｘの左側の表記数字ＮＬの座標と中心点Ｏの座標を結ぶ線分と、交点Ｘの座標と中心点Ｏの座標を結ぶ線分とがなす角度Ｓ１を検出する。
【0097】
次にアナログメータ検針部１１６ｃは、ステップＳ４０３で検出した２つ表記数字ＮＬ、ＮＲのうち、交点Ｘの右側の表記数字ＮＲの座標と中心点Ｏの座標を結ぶ線分と、交点Ｘの座標と中心点Ｏの座標を結ぶ線分とがなす角度Ｓ２を検出し、ステップＳ４０５に移行する。
【0098】
図２３に示されるように、ステップＳ４０５においてアナログメータ検針部１１６ｃは、角度Ｓ１、Ｓ２、半径Ｒ、左側の表記数字ＮＬの数値ＶＬ、右側の表記数字ＮＲの数値ＶＲとに基づいて、交点Ｘに相当する指針値ＶＤを算出する。こののち処理手順はし、ステップＳ４０６に移行する。
【0099】
ここで、指針値ＶＤは、例えばＶＤ＝（Ｓ１＊ＶＲ＋Ｓ２＊ＶＬ）／（Ｓ１＋Ｓ２）として算出することができる。
【0100】
ステップＳ４０６において、アナログメータ検針部１１６ｃは、ステップＳ３０８で読み取った表記数字の数値に基づいて、小数点下の桁数のうち、最大の桁数を検出し、処理手順はステップＳ４０２に移行する。
【0101】
図２４に示されるようなアナログメータであれば、読み取った数値は、整数値であるため、小数点下の最大の桁数は０と検出する。図２５のようなアナログメータであれば、読み取った数値には、「０．１」と「０．０５」が含まれており、「０．０５」に基づいて、最大の桁数は２と検出する。
【0102】
ステップＳ４０７において、アナログメータ検針部１１６ｃは、ステップＳ４０６で検出した最大桁数に１を加えた値を有効小数点下桁数として求める。そして、アナログメータ検針部１１６ｃは、ステップＳ４０５の算出結果のうち、有効小数点下桁数までの値を指針値として確定し、処理手順はステップＳ４０８に移行する。
【0103】
図２４に示すようなアナログメータにおいて、ステップＳ４０５において、指針値として「３０．０４５６７…」が算出された場合、有効小数点下桁数が１であることより、指針値は小数第１位までの「３０．０」として確定する。なお、小数第１位の値は、小数第２位の値を四捨五入することにより決定する。
【0104】
ステップＳ４０８において、アナログメータ検針部１１６ｃは、ステップＳ３０２で得た画像データに基づいて、撮影したアナログメータＭＴの画像のうち、指針とその近傍の表記数値や、交点Ｘを含む範囲をトリミングしたトリミング画像のデータ（以下、トリミング画像データと称する）を生成し、ステップＳ４０９に移行する。
【0105】
ステップＳ４０９において、修正処理部１１６ｄは、表示中の画像に代えて、ステップＳ４０８で生成したトリミング画像データに基づいて、上記トリミング画像を表示部１０３に表示し、ステップＳ４０３で確定した指針値、あるいはステップＳ４０７で確定した指針値を表示部１０３に表示する。そして処理手順はステップＳ４１０に移行する。
【0106】
図２６は、検出した指針値を修正するためのインタフェースの一例を示す図である。すなわち、画像データのうち交点Ｘを含む範囲を拡大したトリミング画像が表示されるとともに、ソフトキーとして機能するＧＵＩとして、ドラムロールとスライドバーが表示部１０３に表示される。
【0107】
ドラムロール表示は、指針値を修正するための入力インタフェースであり、指針値の各桁の値にそれぞれ対応するドラムロール（数字車）をグラフィックにより仮想的に表示する。ドラムロールは、表示部１０３上に載置されたタッチパネル（入力部１０２）を通じて操作することが可能である。
【0108】
例えば、各ドラムロールを上下に回転させるフリック入力を入力部１０２が検出して、これに応動してドラムロールの映像を回転させて表示し、それに合わせて表示される任意の値に指針値を変更することができる。
【0109】
スライドバー表示は、ドラムロール間に小数点を設定するための入力インタフェースであり、ドラムロールの位置に上下方向で対応しており、ポインタＰを左右にスライドさせることで、桁（ドラムロール）の間に小数点を設定することができる。
【0110】
図２７は、検出した指針値の小数点の位置を修正するためのＧＵＩの一例を示す図である。図２７（ａ）～（ｅ）では、ポインタＰの位置に応じて、指針値の小数点の位置が変化する様子を示したものである。図２７では、指針値の小数点の位置とポインタＰの位置が上下方向で一致するように設定したものである。
【0111】
なお、ポインタＰの位置と、ドラムロールで表される数字列中の小数点の位置は、必ずしも上下方向で一致するものでなくてもよい。例えば、指針値の数字列の表示範囲に対して、それよりも広い範囲でスライドバーを表示するなど、表示部１０３上で表示可能な範囲を小数点の入力のために最大限に用いてもよい。その場合には、ポインタＰの可動範囲内におけるポインタＰの相対的な位置に応じて、小数点の位置が可変される。
【0112】
図１０に戻ってさらに説明を続ける、ステップＳ４１０において、修正処理部１１６ｄは、表示部１０３に表示される指針値について、検針員に対して確認の入力を求める。ここで、ＯＫの入力操作が入力部１０２に対して行われた場合には、表示している指針値を検針値として決定し、処理手順はステップＳ４１２に移行する。対して、ＮＧの入力操作が入力部１０２に対して行われた場合には、処理手順はステップＳ４１１に移行する。
【0113】
ステップＳ４１１において、修正処理部１１６ｄは、ドラムロール表示およびスライドバー表示に対する操作を入力部１０２を通じて検出する。修正処理部１１６ｄは、検針員から指針値の修正指示を受け付け、修正（表示）された指針値を検針値として決定し、処理手順はステップＳ４１２に移行する。
【0114】
ステップＳ４１２において、帳票作成部１１６ａは、検針の対象のアナログメータの識別情報に対応づけて、ステップＳ３０２で得た画像データ、ステップＳ４０８で生成したトリミング画像データ、ステップＳ４１０またはステップＳ４１１で決定された検針値を帳票データ１０６ａとして記憶部１０６に保存する。こののち処理手順はステップＳ４１３に移行する。
【0115】
ステップＳ４１３において、アナログメータ検針部１１６ｃは、入力部１０２を通じて検針員から作業終了の指示が与えられたか否かを判定する。ここで、作業終了の指示を検出した場合には、一連の処理手順は終了する。引き続き作業を行う旨の指示があった場合には、処理手順はステップＳ３０２に移行して、改めてアナログメータＭＴの検針が開始される。
【0116】
（効果）
以上述べたように、実施形態によれば、画像データを、当該画像に示される「数値」ではなく「傾き」に分類する学習済みモデル６００を機械学習により作成し、モバイル端末１００に記憶させる。モバイル端末１００は、表記数字を含む画像データ１０６ｃを学習済みモデル６００に与え、傾き情報を取得する。
以上述べたように、実施形態によれば、画像データを、当該画像に示される「数値」ではなく「傾き」に分類する学習済みモデル６００を機械学習により作成し、モバイル端末１００に記憶させる。モバイル端末１００は、表記数字を含む画像データ１０６ｃを学習済みモデル６００に与え、傾き情報を取得する。
【0117】
図２８に示されるように、モバイル端末１００は認識した数値枠で画像データを切り出して数字画像データを生成し、ＡＩベースの学習済みモデル６００に数字画像データを入力する。そうすると、ＡＩにより各数値の回転角度が認識される。そして、数値枠の中心を軸として、回転角度認識で得られた角度で数字画像データを回転させ、水平補正処理を施す。
【0118】
ここで、図２８の数値枠は四角形なので、例えば４つの頂点の対角線の交点を数値枠の中心点として抽出することができる。そして実施形態では、数値枠の中心点を通過する擬似円を検出し、この擬似円を水平補正処理に用いるようにする。擬似円は、数字画像データの中心点が描く円弧に沿って求められる。
【0119】
図２９は、数値枠と擬似円について補足的に説明するための図である。図２９（ａ）に示されるように、数値枠と指針の認識結果に基づいて、数値枠の中心点の座標と、擬似円の中心（中心点）の座標とを検出する。さらに、擬似円の中心と数値枠の中心点とを結ぶ線分を検出する。そして、この線分と、数値枠の４辺のうち線分と交差する辺（例えば数値枠の底辺）との角度を検出し、この角度を打ち消すように回転補正することで、図２９（ｂ）のように、数値を水平にした状態の画像データを得ることができる。そうして、擬似円における、メータの指針による擬似円の分割比より、指針が示す計測値を算出することができる。
【0120】
なお擬似円を設定するには、幾何学的には３つの点があれば必要十分と言える。数値枠の中心点が３個であれば、この３点を通過する擬似円が一意に定まる。一方、数値枠の中心点が４個以上ある場合には、各中心点の座標を用いて例えば最小二乗法を適用して、唯一の擬似円を計算することができる。
【0121】
このように実施形態によれば、撮像した画像データに斜めの表記数字が、水平になるように補正される。従って、水平な状態の数値を読み取れば良いので、斜めの状態のままの数値を含む画像データを直接、数値認識処理にかけるよりも数値読み取りの精度を飛躍的に高めることができる。
【0122】
すなわち、実施形態では、画像データを直接数値に分類するのではなく、画像データを一旦、傾き情報に分類したうえで画像データを水平に補正する。そして、水平になった状態の画像データを用いて画像認識処理を行って数値を読み取るようにした。従って実施形態によれば、アナログメータの検針における数値読み取りの精度を高めたプログラム、情報処理装置、および情報処理方法を提供することが可能になる。ひいては、検針作業に係わる人的負荷を軽減することができる。
【0123】
なお、この発明は上記実施の形態に限定されるものではない、例えば、適用例は、工場、事業所の設備、あるいは種々の計測器に限定されるものではない。例えば、メータＭＴ１～ＭＴｎは、電流、電圧、気体や液体の圧力や流量などの計測値、、設備や機器の稼働状態に限らず、他の物理量や状態を示すものであってもよい。
【0124】
また、図１のモバイル端末１００と基地局２００との間のエアインタフェースは、無線ＬＡＮ、４Ｇ、５Ｇ等に限定されるものではない。要するにモバイル端末１００を無線リンクでネットワーク５００に接続することができれば、どのような無線通信方式を適用してもよい。
【0125】
また、図２のプロセッサ１１０に含まれる各機能の一部または全部を他の機能と統合したり、あるいは各機能を別の観点で複数の機能ブロックに切り分けて別の表現で説明することも可能である。また、図４のニューラルネットワークについてもＣＮＮやＤＮＮに限定されず、ＳＶＭ（Support Vector Machine）等の、形式の異なるニューラルネットワークを適宜使用することができる。
【0126】
また、検針員が数値メータの検針かアナログメータの検針かを入力部１０２から指示するようにしてもよい。また、カメラ１０４で検針対象のメータを撮影し、認識エンジンが画像に写るメータのタイプを数値メータかアナログメータかを区別（判定）するようにしてもよい。
【0127】
また、上記実施形態では、アナログメータの撮影と、アナログメータの測定値の検出と、その検出値を記録した帳票データ１０６ａの作成をモバイル端末１００で行う場合を例に挙げて説明したが、これに限定されるものではない。例えば、アナログメータの撮影についてのみモバイル端末１００で行い、アナログメータの測定値の検出と、その検出値を記録した帳票データ１０６ａの作成については、クライアント端末３００やサーバ４００における情報処理で実現するようにしてもよい。
【0128】
つまり、モバイル端末１００の全ての機能、または一部の機能をクライアント端末３００、またはサーバ４００に実装しても良い。例えば、モバイル端末１００で取得した画像をクライアント端末３００に転送し、画像処理、角度認識、回転補正、数値認識等の処理をクライアント端末３００で実施しても良い。どこまでの処理をエッジ（モバイル端末１００）、およびクラウド（クライアント端末３００、サーバ４００）で分担するかはシステム要件に応じて柔軟に決めることが可能である。
【0129】
さらに、サーバ４００により提供されるサービスは、サービスの提供を受けるクライアントが所有する（あるいは貸与された）モバイル端末１００やクライアント端末３００に対して、サブスクリプション方式で提供することも考えられる。
【0130】
さらに、図２９を参照して説明したように、擬似円の中心と数値枠とのなす角度を画像処理により検出し、この角度を打ち消すように回転補正することでも、水平になった状態の画像データを生成することが可能である。このような手順によれば、学習済みモデル６００に頼ることなく水平補正処理を実施することが可能である。
【0131】
本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0132】
６ａ…指針検出部、６ｂ…円検出部、６ｃ…交点検出部、６ｄ…交点数字検出部、６ｅ…計測値検出部、１００…モバイル端末、１０１…通信部、１０２…入力部、１０３…表示部、１０４…カメラ、１０５…ＧＮＳＳ受信部、１０６…記憶部、１０６ａ…帳票データ、１０６ｂ…設定情報データ、１０６ｃ…画像データ、１１０…プロセッサ、１１１…通信制御部、１１２…入力制御部、１１３…表示制御部、１１４…画像処理部、１１４ａ…分類部、１１４ｂ…補正部、１１４ｃ…表記数字検出部、１１５…位置情報処理部、１１６…検針データ集計処理部、１１６ａ…帳票作成部、１１６ｂ…数値メータ検針部、１１６ｃ…アナログメータ検針部、１１６ｄ…修正処理部、２００…基地局、３００…クライアント端末、４００…サーバ、５００…ネットワーク、６００…学習済みモデル、７００…プログラム、ＭＴ１～ＭＴｎ…メータ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
