(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023010338
(43)【公開日】2023-01-20
(54)【発明の名称】情報処理装置およびコンピュータプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20230113BHJP
G08C 19/00 20060101ALI20230113BHJP
【FI】
G06T7/70 Z
G08C19/00 301G
【審査請求】有
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021114405
(22)【出願日】2021-07-09
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】櫻井 強一
(72)【発明者】
【氏名】峯邑 隆司
【テーマコード(参考)】
2F073
5L096
【Fターム(参考)】
2F073AA03
2F073AA04
2F073AA06
2F073AA12
2F073AA25
2F073AB04
2F073BB01
2F073BC02
2F073BC04
2F073CC03
2F073CC12
2F073CD05
2F073CD11
2F073DD07
2F073DE02
2F073DE13
2F073EE01
2F073EF09
2F073FF01
2F073FG01
2F073FG02
2F073FG09
2F073FG11
2F073GG01
2F073GG04
2F073GG05
2F073GG08
2F073GG09
5L096CA02
5L096DA02
5L096FA04
5L096FA10
5L096FA16
5L096FA18
5L096FA67
5L096FA69
(57)【要約】 (修正有)
【課題】アナログメータを読み取る検針作業において、作業負荷を軽減することが可能な情報処理装置及びコンピュータプログラムを提供する。
【解決手段】携帯型端末装置と無線通信し、携帯型端末装置をネットワークに接続する無線基地局を有する情報処理システムにおいて、携帯型端末装置は、指針検出部と、数字検出部と、計測値検出部として携帯型端末装置を機能させるコンンピュータプログラムを有する。指針検出部は、表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、指針を検出し、数字検出部は、画像データに基づいて、指針の一方の側面に位置する第1の数字と、指針の他方の側面に位置する第2の数字をそれぞれ検出し、計測値検出部は、第1の数字の位置、第2の数字の位置、指針の位置及び第1の数字と第2の数字のそれぞれの値に基づいて、指針が示す計測値を検出する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
コンピュータを、
表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、前記指針を検出する指針検出部と、
前記画像データに基づいて、前記指針の一方の側面に位置する第1の数字と、前記指針の他方の側面に位置する第2の数字をそれぞれ検出する数字検出部と、
前記第1の数字の位置、前記第2の数字の位置、前記指針の位置、および、前記第1の数字と前記第2の数字のそれぞれの値に基づいて、前記指針が示す計測値を検出する計測値検出部と
して機能させるためのプログラム。
【請求項2】
前記計測値検出部は、前記第1の数字の位置と前記指針の位置との間の距離と前記第2の数字の位置と前記指針の位置との間の距離との比率と、前記第1の数字と前記第2の数字の両値に基づいて、前記指針が示す計測値を検出する、
請求項1に記載のプログラム。
【請求項3】
コンピュータを、
表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、前記指針を検出する指針検出部と、
前記指針と長手方向に重なる直線を作成する直線作成部と、
前記画像データに基づいて、前記表示盤上に記された少なくとも2つの数字を検出する数字検出部と、
前記数字検出部が検出した前記少なくとも2つの数字と重なる円弧を作成する円弧作成部と、
前記直線と前記円弧が交わる交点を検出する交点検出部と、
前記数字の位置、前記交点の位置、および、前記数字の値に基づいて、前記指針が示す計測値を検出する計測値検出部と
して機能させるためのプログラム。
【請求項4】
前記計測値検出部は、前記数字検出部が検出した数字のうち、前記指針の一方の側面に位置する第1の数字と前記交点との間の距離と前記指針の他方の側面に位置する第2の数字と前記交点との間の距離の比率と、前記第1の数字と前記第2の数字の両値に基づいて、前記指針が示す計測値を検出する、
請求項3に記載のプログラム。
【請求項5】
さらに、コンピュータを、
前記画像データに基づいて、前記画像データに基づく画像のうち、前記第1の数字と前記第2の数字と前記指針を含む領域をトリミングした画像データを生成する画像データ生成部と、
前記計測値検出部が検出した計測値と、前記画像データ生成部が生成した画像データを対応付けて記録する記録部と
して機能させるための請求項2または請求項4に記載のプログラム。
【請求項6】
表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、前記指針を検出する指針検出部と、
前記画像データに基づいて、前記指針の一方の側面に位置する第1の数字と、前記指針の他方の側面に位置する第2の数字をそれぞれ検出する数字検出部と、
前記第1の数字の位置、前記第2の数字の位置、前記指針の位置、および、前記第1の数字と前記第2の数字のそれぞれの値に基づいて、前記指針が示す計測値を検出する計測値検出部と
を備える情報処理装置。
【請求項7】
表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、前記指針を検出する指針検出部と、
前記指針と長手方向に重なる直線を作成する直線作成部と、
前記画像データに基づいて、前記表示盤上に記された少なくとも2つの数字を検出する数字検出部と、
前記数字検出部が検出した前記少なくとも2つの数字と重なる円弧を作成する円弧作成部と、
前記直線と前記円弧が交わる交点を検出する交点検出部と、
前記数字の位置、前記交点の位置、および、前記数字の値に基づいて、前記指針が示す計測値を検出する計測値検出部と
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、情報処理装置およびコンピュータプログラムに関する。
【背景技術】
【0002】
近時、メータの検針作業を支援するサービスが提供されている。このサービスでは、AI(Artificial Intelligence)を活用して、算用数字で表示されるメータ値を機器で読み取るが、読み取りの対象となるメータがアナログメータ(針による数値表示)の場合には、その形状や目盛り表示方法が多様であるため、個々のメーター表示タイプごとに設定が必要になり、初期設定が複雑になり、作業負荷が生じる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007-114828号公報
【特許文献2】特開2016-212044号公報
【特許文献3】特開2018-45655号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、アナログメータを読み取る検針作業において、作業負荷を軽減することが可能な情報処理装置およびコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
実施形態のコンピュータプログラムは、指針検出部と、数字検出部と、計測値検出部としてコンピュータを機能させる。指針検出部は、表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、指針を検出し、数字検出部は、画像データに基づいて、指針の一方の側面に位置する第1の数字と、指針の他方の側面に位置する第2の数字をそれぞれ検出し、計測値検出部は、第1の数字の位置、第2の数字の位置、指針の位置、および、第1の数字と第2の数字のそれぞれの値に基づいて、指針が示す計測値を検出する。
【図面の簡単な説明】
【0006】
【
図1】この発明に係わる情報処理装置を含む情報処理システムの構成例を示す図。
【
図2】
図1に示した携帯型端末装置の構成を示す回路ブロック図。
【
図3】
図1に示した携帯型端末装置の動作を説明するためのフローチャート。
【
図4】
図3に示した動作によりアナログメータを携帯型端末装置に表示した際の表示画像を例示した図。
【
図5】
図3に示した動作によりアナログメータから検針値を検出する際の表示画像を例示した図。
【
図6】
図3に示した動作によりアナログメータから検針値を検出する際の表示画像を例示した図。
【
図7】
図3に示した動作によりアナログメータから検針値を検出する際の表示画像を例示した図。
【
図8】
図3に示した動作によりアナログメータから検針値を検出する際の表示画像を例示した図。
【
図9】
図3に示した動作によりアナログメータから検針値を検出する際の表示画像を例示した図。
【
図10】
図3に示した動作によりアナログメータから検針値を検出する際の表示画像を例示した図。
【
図11】
図3に示した動作により作成した帳票データを携帯型端末装置に表示した際の表示画像を例示した図。
【
図12】
図3に示した動作の対象となるアナログメータの例を示した図。
【
図13】
図3に示した動作の対象となるアナログメータの例を示した図。
【発明を実施するための形態】
【0007】
以下、図面を参照して、一実施形態について説明する。
図1は、一実施形態に係わる情報処理装置およびコンピュータプログラムを含む情報処理システムの構成を示すものである。なお、以下の説明では、上記情報処理装置およびコンピュータプログラムを、工場や事業所の設備、種々の計測器などで用いられる各種メータの検針作業に適用した場合を例に挙げて説明する。
【0008】
(構成)
この情報処理システムは、
図1に示すように、携帯型端末装置100、無線基地局200、クライアント端末300、サーバ400、ネットワーク500を備えたクラウドコンピューティングを実現するシステムであって、各種の設備や計測器のメータMT1~MTnから得られる情報を処理する。
【0009】
なお、メータMT1~MTnは、例えば、電流、電圧、気体や液体の圧力や流量などの計測した値や、設備や機器の稼働状態を示した値を表示するものが想定されるが、これら以外の数値を示すものであってもよい。
【0010】
またメータMT1~MTnには、数値メータと、アナログメータの2つのタイプがあり、両タイプが混在し得る。
【0011】
数値メータは、回転式またはデジタル式のいずれの方式で計測値などを示す計器である。デジタル式の場合は、例えば、0~9までの数字が表示される7セグメントディスプレイを複数使用して数値を示す構成が考えられる。回転式の場合は、例えば、0~9までの算用数字が記載された数字車を複数連ねて並べたメカ式であって、数字車が回転することで複数桁の数値を示す直読式の構成が考えられる。
【0012】
アナログメータは、メータの読み値として算用数字や目盛りが記された表示盤上を指針が移動して、数字や目盛りと指針との位置関係で計測値などを示す計器である。
【0013】
携帯型端末装置100は、メータの検針にあたる検針員が携帯する端末装置であって、検針現場に設置されたメータMT1~MTnの計測値を光学的に読み取って帳票としてデータ化し、サーバ400に送信するための情報処理装置である。詳細については、後述する。
【0014】
無線基地局200は、携帯型端末装置100と無線通信し、携帯型端末装置100をネットワーク500に接続するものである。例えば、ネットワーク500が事業所内に構築されたLANの場合、通信方式として無線LAN(IEEE802.11シリーズ)を採用したアクセスポイントである。またネットワーク500が通信事業者の移動通信網の場合、3G、3.9G(LTE(登録商標)など)、4G、5G等の規格に対応した無線通信を行う基地局装置である。
【0015】
すなわち、無線LANや携帯電話網は例に過ぎず、携帯型端末装置100を無線通信によりネットワーク500に接続できるものであれば、これらの方式に限定されるものではなく、Bluetooth(登録商標)を含め、いずれの通信方式であっても適用可能である。またネットワーク500は、1つのネットワークに限らず、複数のネットワーク(例えば、構内LANと移動通信網)が相互に接続されたものであってもよい。
【0016】
クライアント端末300は、当該システムが提供する検針サービスの利用者の管理部門に設置され、その部門のオペレータが使用する端末であって、例えば、デスクトップ型あるいはラップトップ型のパーソナルコンピュータ等の情報処理装置である。
【0017】
そして、クライアント端末300は、携帯型端末装置100によってサーバ400にアップロードされたデータファイルをダウンロードし、参照・閲覧、編集・集計、データ変換・ファイル作成、帳票の発行などを行う機能を備える。
【0018】
またクライアント端末300は、携帯型端末装置100の全ての機能または一部のデータ処理機能を備えて、携帯型端末装置100と同様の処理を実行してもよい。すなわち、クライアント端末300は、検針現場での撮影を除いて、携帯型端末装置100上で実行可能なデータ処理を代わりに行うように同様の機能を備えてもよい。
【0019】
サーバ400は、当該システムが提供するクラウドコンピューティングの中枢をなすものであって、携帯型端末装置100やクライアント端末300からアップロードされる情報の保存や管理、上記情報に所定のデータ処理を施したり、あるいはこの保存した情報やデータ処理した情報を携帯型端末装置100やクライアント端末300に提供(ダウンロード)し、システムの利用者間でのデータ共有を実現する。
【0020】
また、サーバ400は、携帯型端末装置100やクライアント端末300によるデータ処理の一部または全部を各装置に代わって担うことで、各装置のコンピュータ資源の節約を可能にする。そしてまたサーバ400は、携帯型端末装置100、クライアント端末300が使用するOS(Operating System)やアプリケーションソフトウェアを各装置に提供したり、最新の情報にアップデートしてサービスを実現する。
【0021】
このように、サーバ400のデータベースには、携帯型端末装置100からアップロードされた検針データを保存し、また、携帯型端末装置100やクライアント端末300の各種プログラムが保存される。
【0022】
サーバ400によって提供されるサービスは、サービスの提供を受けるクライアントが所有する(あるいは貸与された)携帯型端末装置100やクライアント端末300に対して、サブスクリプション方式で提供することも考えられる。
【0023】
次に、
図2を参照して、携帯型端末装置100について説明する。
携帯型端末装置100は、前述したように、メータの検針にあたる検針員が検針現場で携帯し、オペレータとして使用する端末であって、スマートフォン、タブレット型コンピュータまたはラップトップ型のパーソナルコンピュータ等の携帯可能な情報処理装置である。
【0024】
また携帯型端末装置100は、
図2に示すように、一般的なコンピュータと同様のハードウェア構成であって、バスで接続された、少なくとも通信部101、入力部102、表示部103、カメラ104、GNSS(Global Navigation Satellite System)受信部105、記憶部106、制御部110を備える。
【0025】
通信部101は、無線基地局200との間で無線通信リンクを確立して通信を行う無線通信インターフェースであって、無線基地局200およびネットワーク500を介して、サーバ400と通信を行う。無線通信は、無線基地局200の仕様に合わせた通信方式に対応する。この通信方式の例としては、無線LAN(IEEE802.11シリーズ)、3G、3.9G(LTE(登録商標)など)、4G、5G、Bluetooth(登録商標)等、様々な規格が考えられるが、いずれでもかまわないし、これらに限定されるものでもない。
【0026】
入力部102は、後述する表示部103上に載置されたタッチパネルや、携帯型端末装置の筐体上に設けられたキースイッチなどの入力デバイスを備え、検針員から種々の情報の入力や指示を検出する。上記タッチパネルは、尖筆(スタイラス)や指を使って入力が行えるものであり、静電容量方式や抵抗膜方式、投影型赤外線方式など種々の方式が適用可能である。
【0027】
表示部103は、検針員に対して視覚的に情報を提供するものであり、例えば、情報の入力欄やソフトウェアキー、各種画像(写真、CG(コンピュータグラフィックス)画像)を表示する。
【0028】
情報の入力欄やソフトウェアキーは、後述する制御部110の制御により、前述の入力部102に対する操作と対応するように表示がなされる。表示のために使用されるデバイスとしては、液晶パネルや有機EL(Electro Luminescence)パネル、電子ペーパーなど種々の表示デバイスが適用可能である。
【0029】
カメラ104は、複数枚のレンズやこれらのレンズ間の距離を可変するズーム機構などを備えた光学系と、例えばCMOS(Complementary MOS)などのイメージセンサを備えた撮像部と、撮像部によって得られた撮像信号から所定の形式(例えば、JPEG(Joint Photographic Experts Group))の画像データを生成する信号処理部とを備えたデジタルカメラである。
【0030】
なお、カメラ104によって得られた画像データには、撮影した日時や場所、撮影条件(シャッター速度や絞り値、画角、緯度や経度など)を示す付加情報(例えば、Exif(Exchangeable image file format)データ)が、制御部110によって付加されて記録される。
【0031】
GNSS受信部105は、複数のGNSS衛星や地上の基準局などから発射される信号を用いて位置測定(測位)を行ったり、現在時刻の受信などを行うものである。
【0032】
記憶部106は、後述する制御部110のOSやアプリケーションソフトウェア、アプリケーションソフトウェアの運用に伴って生成されたデータ、各種パラメータ、検針員から入力されたデータ、カメラ104によって撮像された画像データ(メータMT1~MTnの計測値を撮影したものなど)、サーバ400から取得(ダウンロード)したデータ、その他、情報処理のための一時的なデータなどを記憶するものであり、RAM(Random Access Memory)やROM(Read Only Memory)、SSD(Solid State Drive)などのフラッシュメモリ、HDD(Hard Disk Drive)などの記録デバイスがデータの特性に合わせて、組み合わせて設けられる。
また記憶部106は、帳票データ106aと、設定情報データ106bと、メータ画像データ106cほか、様々なデータを記憶する。
【0033】
帳票データ106aは、所定の検針期間毎に、各メータの検針値を集計するために作成されるデータであって、新しいデータが作成されるとサーバ400にアップロードされる。具体的には、帳票データ106aは、検針現場ごとに作成されるデータである。帳票データ106aは、「メータ情報」、「メータ画像」、「今回の検針値」、「前回との差」、「前回の検針値」、「前回に求めた差」などの情報が対応付けられたデータであって、検針現場に複数のメータが設置されている場合には、各メータについて上記情報を含んでいる。
【0034】
ここで、「メータ情報」は、メータを識別するためのマスターコード、メータが計測する対象(例えば、テナント、駐車場、共有スペースなど)を示す識別情報、種別(例えば、ガス、電気、水道など)を含む。「メータ画像」は、検針値の根拠となる画像、すなわち、検針の際に撮影した画像である。
【0035】
「今回の検針値」は、今回の検針で読み取った値である。「前回との差」は、今回の検針値と前回の検針値の差分である。「前回の検針値」は、前回の検針で読み取った値である。「前回に求めた差」は、前回の検針値と前々回の検針値の差分である。
【0036】
設定情報データ106bは、各メータの検針値を集計するために必要な設定情報である。具体的には、帳票データ106aと同様に、各検針現場の各メータ毎に作成されるものである。
【0037】
メータ画像データ106cは、検針のために、メータの検針値をカメラ104が撮影した画像データであり、実際に検針値を得るために使用された場合、その画像から必要な部分が切り取られ、メータ画像として上記帳票データ106aに記録される。
【0038】
制御部110は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサ、チップセット、RAMやROMなどを備え、携帯型端末装置100の各部を統括して制御する。
【0039】
ROMは、ファームウェアや設定値(各種パラメータ)を記憶する。CPUは、上記ファームウェアにしたがって、記憶部106からOSやアプリケーションソフトウェアをRAMに読み込んで、OSやアプリケーションソフトウェアを実行し、またRAMをワークエリア(作業領域)として使用することで、各種制御機能を実現する。
【0040】
制御部110は、OSやアプリケーションソフトウェアを実行することで、少なくとも以下の制御機能を実現する。すなわち、制御部110は、ソフトウェア(プログラム)をプロセッサ実行することにより、通信制御部111、入力制御部112、表示制御部113、画像処理部114、位置情報処理部115、検針データ集計処理部116として機能し、これらの機能が互いに連携して機能することができる。
【0041】
なお、これらの各機能の一部または全部を他の機能と統合したり、あるいは111~116の各機能を別の観点で複数の機能ブロックに切り分けて別の表現で説明することも可能である。
【0042】
通信制御部111は、通信部101を制御して、所定の通信プロトコルにしたって無線基地局200と無線通信リンクを確立し、さらにネットワーク500を通じてサーバ400と通信を行うもので、例えば、サーバ400からのデータダウンロードおよびサーバ400へのデータアップロードを行う。
【0043】
入力制御部112は、入力部102を制御し、入力部102が検出した結果から、入力部102に対する検針員の操作から検針員の要求を解釈したり、情報(文字列など)の入力、データの取り込みや紐づけの変更を受け付けたり、カメラ104によって撮像された画像データの取り込みなどを行う。
【0044】
表示制御部113は、表示部103を制御して、文字や画像を含む種々の情報や、グラフィカルユーザインタフェイス(以下、GUI(Graphical User Interface))を表示させる。GUIの例としては、前述した情報の入力欄やソフトウェアキーであり、これらの表示は、入力部102のタッチパネルを通じた入力に対応している。その他、画像の取り込み位置を示したりするガイド表示を行う。
【0045】
画像処理部114は、カメラ104によって撮像された画像データに対して画像処理を施すものであって、例えば、認識エンジンとしての機能と、解析エンジンとしての機能を備える。
【0046】
認識エンジンは、例えばAI(Artificial Intelligence)などによるパターン認識によって、カメラ104によって得られた画像データに基づく画像から、種々の情報を認識する処理を行うものである。
具体的には、認識エンジンは、例えば、QRコード(登録商標)を検出したり、画像に写るメータのタイプを数値メータかアナログメータかを区別(判定)したり、そのメータの表示盤上の計測値を表示するメータ部分を検出したり、またメータ部分内のオブジェクト(数値メータの計測値の数字列、アナログメータの指針や表示盤上に記された数字など)やその配置(座標)を検出する機能を備える。
【0047】
一方、解析エンジンは、認識エンジンによって検出された情報を解析する処理を行うものである。
具体的には、解析エンジンは、メータ部分の画像について、QRコードの解読や、光学的文字認識などの文字認識処理(OCR(Optical Character Recognition))により数値メータの計測値をテキスト化したり、アナログメータのメータ部分に記されたオブジェクトの位置関係から指針が示す値を検出する。
【0048】
なお、解析エンジンは、文字認識処理については、複数種類が準備される。各解析エンジンは、メータの種類毎に対応し、それぞれ対応するメータの計測値の表示(数字列)に合った解析アルゴリズムを用いて、表示される計測値をテキスト化する。
【0049】
具体的には、メータによって、算用数字の書体が異なっていたり、数字と背景色の組み合わせが異なるため、それぞれのメータの表示に合った解析アルゴリズムを有する解析エンジンが準備されている。
【0050】
位置情報処理部115は、加速度センサ、ジャイロセンサなどを備え、これらの検出結果と、GNSS受信部105による測位結果、および/または通信制御部111によって無線基地局200から得た測位情報に基づいて、携帯型端末装置100の位置を測位する。
【0051】
検針データ集計処理部116は、検針データの集計に関わる種々の処理を統括して制御するものであって、数値メータ検針部116a、アナログメータ検針部116b、帳票作成部116c、修正処理部116dを備える。
【0052】
数値メータ検針部116aは、画像処理部114を必要に応じて利用し、数値メータに表示される計測値の数字列を検針値として読み取る処理を行う。
【0053】
アナログメータ検針部116bは、画像処理部114を必要に応じて利用し、アナログメータに指針で示される値を検針値として読み取る処理を行うものであって、指針検出部、数字検出部、計測値検出部、直線作成部、数字検出部、円弧作成部、交点検出部、画像データ生成部、記録部の一例である。
【0054】
帳票作成部116cは、数値メータ検針部116aやアナログメータ検針部116bによって読み取られた検針値に基づいて、帳票データを作成する処理を行う。
【0055】
修正処理部116dは、検針員からの指示にしたがって、検針値を修正する指示を受け付けて、数値メータ検針部116aやアナログメータ検針部116bが読み取った検針値を修正する処理を行う。
【0056】
(動作)
次に、上記構成の情報処理システムの動作について説明する。以下の説明では、携帯型端末装置100における処理のうち、特に、検針データの集計処理(以下、検針データ集計処理と称する)について説明する。
【0057】
この検針データ集計処理は、検針データ集計処理部116によってなされ、検針員によるメータMT1~MTnに対する検針作業を支援し、メータMT1~MTnに表示される計測値を読み取って、これを集計した帳票データ106aを作成するものである。
【0058】
また、この検針データ集計処理は、アプリケーションソフトウェア(プログラム)を実行した制御部110が検針データ集計処理部116として機能することにより実現される。なお、以下の説明では、1つのアプリケーションソフトウェアとして説明するが、複数のアプリケーションソフトウェアが連携、あるいは連続して動作することで実現するようにしてもよい。
【0059】
アプリケーションソフトウェアが実行されると、検針データ集計処理部116の帳票作成部116cが、帳票データ106aのひな形を表示する。具体的には、帳票作成部116cは、記憶部106に記憶される帳票データ106aのひな形データを読み出し、読み出したひな形データを表示制御部113に出力する。これに対して、表示制御部113は、上記ひな形データに基づいて、表示部103に帳票のひな形を表示する。
【0060】
続いて、検針データ集計処理部116は、表示制御部113に指示を与えて、表示部103に検針の対象となるメータのタイプの入力を求める表示を行う。すなわち、数値メータの検針か、アナログメータの検針かを検針員に問い、選択させるための表示を行い、入力部102を通じて検針員の選択を入力制御部112が受け付ける。
【0061】
ここで、検針員が数値メータの検針を選択した場合には、この入力を入力制御部112が検出して、この検出結果に応動して、検針データ集計処理部116は、数値メータ検針部116aによる検針を開始する。すなわち、数値メータに表示される数値をOCRによって読み取ってテキスト化し、その後、テキスト化した検針値を帳票作成部116cが上記帳票データ106aに入力する。
【0062】
一方、検針員がアナログメータの検針を選択した場合には、この入力を入力制御部112が検出して、この検出結果に応動して、検針データ集計処理部116は、アナログメータ検針部116bによる検針を行う。以下、
図3を参照して、その詳細について説明する。
【0063】
なお、上述したように、検針員が数値メータの検針かアナログメータの検針かを入力部102を通じて指示するようにしてもよいし、前述したように、カメラ104で検針対象のメータを撮影し、認識エンジンが画像に写るメータのタイプを数値メータかアナログメータかを区別(判定)するようにしてもよい。
【0064】
図3は、アナログメータの検針を行う検針データ集計処理を説明するためのフローチャートである。この検針データ集計処理は、前述したように、アプリケーションソフトウェア(プログラム)を実行した制御部110が検針データ集計処理部116(アナログメータ検針部116b)として機能することにより実現される。
【0065】
まず、ステップS301においてアナログメータ検針部116bは、カメラ104を制御し、検針員による撮影構図(アングル)で、アナログメータMT(例えば、メータMT1~MTnのいずれか)を撮像を行い、得られた画像データに対して画像処理部114に画像処理を行わせ、ステップS302に移行する。
【0066】
具体的には、ステップS301では、カメラ104が起動され、カメラ104によって撮像された映像が表示部103に表示され、検針員がこの表示を確認して撮影構図を調整しながら、アナログメータMT全体の撮影を行うシャッタ操作を行う。
【0067】
これにより、携帯型端末装置100でアナログメータMT全体の撮影が行われて、画像処理部114の処理により、アナログメータMT全体の撮像データを得られ、例えば、
図4に示すように、表示部103には表示がなされる。
【0068】
図4は、携帯型端末装置100において、カメラ104によって撮影されたアナログメータMTが表示された様子を示している。またこの表示では、アナログメータ検針部116bからの指示により、表示制御部113が表示部103に、検針のためのGUI(Graphical User Interface)を表示している。
【0069】
図4のGUIの例では、メータを撮影するための撮影ガイド枠Fqを表示するとともに、撮影ガイド枠Fq内には、カメラ104によって撮影された映像をそのまま表示し、撮影ガイド枠Fq外では、例えば透過率を下げたグレーのマスク表示を行うことで、操作する検針員に対して、アナログメータMTが撮影ガイド枠Fq内に入るように促している。これを見た検針員は、携帯型端末装置100のカメラ104を、アナログメータMTにかざしながら、前後、左右、上下に移動させて撮影構図を変更し、撮影ガイド枠Fq内に上記アナログメータMTが収まるように調整する。
【0070】
なお、
図4のGUIの例では、ズームキーZと、ソフトウェアキーS1~S4を表示するようにしている。ズームキーZは、カメラ104によって撮影した画像データに対して、画像処理部114が拡大して表示する処理を指示するものである。
【0071】
例えば、「1X」は拡大処理なし、「2X」は「1X」比で画角を2倍にして表示する処理、「3X」は「1X」比で画角を3倍にして表示する処理、「最大」は「1X」比で画角を性能上の最大にして表示する処理に対応し、操作されたズームキーZに応じた処理を画像処理部114が行って、カメラ104によって撮影した画像を表示する。
【0072】
上記では、画像処理部114の画像処理によって画角を変えるデジタルズームを例に説明したが、カメラ104が備える光学的なズーミング機構を駆動制御して、操作されたソフトウェアキーに応じて画角を変更するようにしてもよいし、あるいは、画像処理部114によるデジタルズームと光学的な画角変更制御を組み合わせるようにしてもよい。
【0073】
また
図4に示すソフトウェアキーS1の「数値メータ」は、現在のアナログメータに対する検針データ集計処理から、数値メータに対する検針データ集計処理に切り換えるためのものである。ソフトウェアキーS2の「アナログメータ」は、現在行っている検針データ集計処理が、アナログメータに対するものであることを示している。
【0074】
ソフトウェアキーS3の「再撮影」は、メータの再撮影を指示するためのものである。ソフトウェアキーS4の「検針」は、撮影した画像から検針(計測値の読み取り)の実行を指示するためのものである。
【0075】
ステップS302においてアナログメータ検針部116bは、入力制御部112の検出結果から、ソフトウェアキーS4が操作されたことを確認すると、画像処理部114の認識エンジンを用いて、ステップS301で得た撮像データから、画像に写るアナログメータMTの表示盤上のオブジェクト(数字)とその座標を検出する。
【0076】
具体的には、アナログメータ検針部116bは、画像処理部114の認識エンジンを用いて、ステップS301で得た画像が例えば
図5に示すようなものであったとすると、
図6に示すように、アナログメータMTの表示盤上に記された数字を検出するとともに、表示盤の画像上に仮想のX-Y座標平面を設定し、上記数字の座標を検出する。なお、数字は、少なくとも2つを検出する。
【0077】
さらに、アナログメータ検針部116bは、数字を検出したことを示すために、数字を囲む方形を表示するように、表示制御部113に指示する。またここでアナログメータ検針部116bは、認識エンジンを用いて、上記数字(オブジェクト)をOCRによってテキスト化して、その値を検出する。
【0078】
続いて、アナログメータ検針部116bは、画像処理部114の認識エンジンを用いて、上記検出した数字を囲む方形の中心とその座標を検出し、その座標と上記検出した数字(オブジェクト)の値と紐づけて、ステップS303に移行する。
【0079】
具体的には、アナログメータ検針部116bは、認識エンジンを用いて、表示盤の画像上に設定した仮想のX-Y座標における、上記方形の中心の座標を検出して数字と紐付けるとともに、その座標に「・」などに類似した、位置を点を特定する図柄を
図6に示すように表示させるように表示制御部113に指示する。
【0080】
ステップS303においてアナログメータ検針部116bは、画像処理部114の解析エンジンを用いて画像を解析し、ステップS302で検出した数字の中心座標を円弧(あるいは、円でも可)で結ぶ(円弧に重なる)曲線を作成し、ステップS304に移行する。
【0081】
具体的には、アナログメータ検針部116bは、解析エンジンを用いて画像解析を行って、ステップS302で検出した数字の中心点を円弧で結ぶ(円弧に重なる)近似曲線(X-a)^2+(Y-b)^2=r^2を作成(a、b、rを算出)し、この曲線の一部を
図6に示すように表示させるように、表示制御部113に指示する。なお、後に検出する指針の回転の中心の座標を検出し、その値を上記(a,b)としてもよい。
【0082】
ステップS304においてアナログメータ検針部116bは、画像処理部114の認識エンジンを用いて、ステップS301で得た撮像データから、画像に写るアナログメータMTの表示盤上のオブジェクト(指針)とその座標を検出する。
【0083】
具体的には、アナログメータ検針部116bは、画像処理部114の認識エンジンを用いて、ステップS301で得た画像が例えば
図5に示すようなものであったとすると、
図6に示すように、アナログメータMTの指針を検出するとともに、表示盤の画像上に仮想のX-Y座標平面を設定し、上記指針の両端(始点と終点)の座標を検出する。
【0084】
そして、アナログメータ検針部116bは、検出した指針の両端を結ぶ(両端に重なる)1次関数Y=c*X+dを作成(c、dの値を算出)し、さらに、指針を検出したことを示すために、指針の両端の座標に基づいて、指針に対して長手方向に重なる線分(直線)を表示するように、表示制御部113に指示し、ステップS305に移行する。
【0085】
なお、認識エンジンによる指針の認識方法については、種々の方法が考えられる。例えば、画像の中心(すなわちアナログメータMTの中心)付近から外に向けて伸びる、画像サイズに対して一定の割合以上の長さを有するオブジェクトを指針として認識したり、あるいは、特定の色(赤あるいは黒)で、かつ所定の値以上の縦横比を有するオブジェクトを指針として認識する。その他、周知の方法を適宜利用して、実現できることは、当業者によって容易に理解できるであろう。
【0086】
ステップS305においてアナログメータ検針部116bは、画像処理部114の解析エンジンを用いて画像を解析し、ステップS303で作成した近似曲線(円弧)とステップS304で作成した1次関数(指針)の交点Pの座標(
図7参照)を検出し、ステップS306に移行する。ここで、円弧と指針が重ならない場合には、画像処理部114の解析エンジンは、上記1次関数の範囲を延長して、交点Pを検出する。
【0087】
ステップS306においてアナログメータ検針部116bは、画像処理部114の解析エンジンを用いて画像を解析し、ステップS304で検出した指針(あるいは、ステップS305で検出した交点P)の左近傍の数字Mおよび右近傍の数字Nを検出(特定)し、ステップS307に移行する。なお、MとNの各値は、ステップS302のOCRによって読み取られた値である。
【0088】
具体的には、ステップS304で作成した1次関数(あるいは、ステップS305で検出した交点P)に基づいて、この1次関数で示される直線(あるいは交点P)に最も近い2つの数字をM、Nとして検出する。なお、最も近い2つの数字は、手動設定、すなわち、入力部102のタッチパネルを通じて、検針員が指定するようにしてもよい。
【0089】
ステップS307においてアナログメータ検針部116bは、
図8に示すように、ステップS306で検出した2つの数字MとNを対角として含む方形領域Sqを検出し、ステップS307に移行する。
【0090】
具体的には、アナログメータ検針部116bは、解析エンジンを用いて画像解析を行って、ステップS306で検出した2つの数字MとNをそれぞれ囲む方形について、1つの方形の4頂点のうち、最も上記1次関数Y=c*X+d(あるいは交点P)から離れる点を検出する。このようにして求めた、最も離れる2点を対角とする方形を上記方形領域Sqとして検出し、この方形領域Sqを表示するように、表示制御部113に指示する(
図8参照)。
【0091】
ステップS308においてアナログメータ検針部116bは、ステップS301で得た画像データに基づいて、
図9に例示するように、ステップS306で検出した方形領域Sqを切り出した(トリミングした)画像データを生成し、ステップS309に移行する。
【0092】
ステップS309においてアナログメータ検針部116bは、画像処理部114の解析エンジンを用いて画像を解析し、ステップS302で検出した数字MとNの各中心座標と、ステップS305で検出した交点Pの座標に基づいて、指針が示す値(計測値)を検出値DTとして求め、ステップS310に移行する。
【0093】
具体的には、
図10に示すように、アナログメータ検針部116bは、ステップS306で検出した2つの数字M、Nのうち、一方の数字Mの中心座標から交点Pまでの距離xを求めるとともに、他方の数字Nの中心座標から交点Pまでの距離yを求める。その後、アナログメータ検針部116bは、DT=m+(n-m)*x/(x+y)(ここで、mは数字Mの値、nは数字Nの値を示す。)により、検出値DTを求める。
【0094】
ステップS310においてアナログメータ検針部116bは、ステップS309で求めた検出値DTと、ステップS308で切り出した方形領域Sqの画像データを帳票作成部116cに出力し、ステップS311に移行する。出力を受けた帳票作成部116cは、上記検出値DTと上記画像データを帳票データ106aに集計(記録)する。
【0095】
ステップS311においてアナログメータ検針部116bは、ステップS310で集計された帳票データ106aを表示部103に表示するように、表示制御部113に指示し、ステップS312に移行する。この指示を受けた表示制御部113は、上記帳票データ106aに基づく表示を、例えば
図11に示すように行う。
【0096】
ステップS312においてアナログメータ検針部116bは、表示制御部113に、検針員に帳票データの確認を求める表示とソフトウェアキーを表示するように指示、入力部102を通じて検針員が入力した内容が入力制御部112から伝達されることを待機する。
【0097】
これに対して表示制御部113は、表示中の帳票データに正しい検針値が入力されているかの確認を求める表示と、「OK」と「NG」のソフトウエアキーを表示させるように表示部103を制御する。
【0098】
やがて、検針員が入力部102に対して、上記検出値DTが正しい旨を示すために「OK」のソフトウェアキーを操作した場合には、ステップS314に移行し、一方、正しくない旨を示すために「NG」のソフトウェアキーを操作した場合には、ステップS313に移行する。
【0099】
ステップS313においてアナログメータ検針部116bは、修正処理部116dに対して、帳票データ106aの修正を求め、修正が完了するとステップS314に移行する。
【0100】
具体的には、修正の求めを受けた修正処理部116dは、表示制御部113に対して、表示部103に検帳票データを修正するためのGUIを表示させるように指示し、入力部102を通じて検針員が入力した内容を入力制御部112が検出し、この検出結果に応じて帳票データ106aを修正する。
【0101】
ステップS314においてアナログメータ検針部116bは、帳票作成部116cに帳票データ106aの完成を通知し、当該処理を終了する。これに対して、帳票作成部116cは、帳票データ106aを記憶部106に保存する。
【0102】
(まとめ)
以上のように、上記構成の情報処理システムでは、検針員が携帯型端末装置100を用いてアナログメータを検針する場合に、携帯型端末装置100がアナログメータの表示盤を撮影した画像データに基づき、指針を挟むように両側に位置する2つの数字M、Nを検出し、その2つの数字M、Nを結ぶ線と指針の交点の位置と2つの数字M、Nの値m、nから検針値を検出するようにしている。
【0103】
したがって、上記構成の情報処理システムによれば、検針員は、アナログメータを検針する場合に、表示タイプに合わせた初期設定を行うことなく、検針を行うことができるので、作業負荷を軽減することができる。
【0104】
また、帳票データ106aには、アナログメータの検針値と、その検針値を検出した元となる画像データを対応付けて保存するようにしている。このため、後に帳票データ106aを閲覧した者が確認を行うことができる。
【0105】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【0106】
例えば、上記実施の形態では、指針を挟む2つの数字M、Nを結ぶ線を円弧で描くようにしたが、これに限定されるものではなく、線分で直線的に結んで検針値を求めぶようにしてもよい。
【0107】
また、アナログメータの例として、
図5に示すような外形が円形の電流計を例示したが、これに限定されるものではない。例えば、
図12に示すような外形が角形の電流計であってもよい。
図12(a)は、角形の直流電流計、
図12(b)は負の値も表示可能な角形の電流計、
図12(c)は目盛りの間隔が異なる交流電流計、
図12(d)は通常領域に加えて延長領域も表示可能な角形の電流計を示している。
【0108】
また電流計に限定されるものではなく、他の物理量などを計測するアナログメータであってもよい。例えば、
図13(a)に示すような正圧を測定する圧力計、
図13(b)に示すような正圧と負圧の両範囲を測定して表示可能な連成計、
図13(c)に示すような負圧を測定する真空計などであってもよい。
【0109】
また、上記実施形態では、アナログメータの撮影と、アナログメータの測定値の検出と、その検出値を記録した帳票データ106aの作成を携帯型端末装置100で行う場合を例に挙げて説明したが、これに限定されるものではない。
【0110】
すなわち、アナログメータの撮影についてのみ携帯型端末装置100で行い、アナログメータの測定値の検出と、その検出値を記録した帳票データ106aの作成については、クライアント端末300やサーバ400における情報処理で実現するようにしてもよい。この場合、上記実施形態で説明したハードウェアやソフトウェアがクライアント端末300やサーバ400に設けられる。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【符号の説明】
【0111】
100…携帯型端末装置、101…通信部、102…入力部、103…表示部、104…カメラ、106…記憶部、106a…帳票データ、106b…設定情報データ、106c…メータ画像データ、110…制御部、111…通信制御部、112…入力制御部、113…表示制御部、114…画像処理部、115…位置情報処理部、116…検針データ集計処理部、116a…数値メータ検針部、116b…アナログメータ検針部、116c…帳票作成部、116d…修正処理部、200…無線基地局、300…クライアント端末、400…サーバ、500…ネットワーク、Fq…撮影ガイド枠、MT1~MTn…メータ、P…交点、S1…ソフトウェアキー、S2…ソフトウェアキー、S3…ソフトウェアキー、S4…ソフトウェアキー、Sq…方形領域。
【手続補正書】
【提出日】2022-10-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを、
表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、前記指針を検出する指針検出部と、
前記画像データに基づいて、前記指針の一方の側面に位置する第1の数字と、前記指針の他方の側面に位置する第2の数字をそれぞれ検出する数字検出部と、
前記画像上に設定した仮想の座標平面における前記第1の数字を囲む方形の中心の座標、前記座標平面における前記第2の数字を囲む方形の中心の座標、前記指針の位置、および、前記第1の数字と前記第2の数字のそれぞれの値に基づいて、前記指針が示す計測値を検出する計測値検出部と
して機能させるためのプログラム。
【請求項2】
前記計測値検出部は、前記第1の数字を囲む方形の中心と前記指針の位置との間の距離と前記第2の数字を囲む方形の中心と前記指針の位置との間の距離との比率と、前記第1の数字と前記第2の数字の両値に基づいて、前記指針が示す計測値を検出する、
請求項1に記載のプログラム。
【請求項3】
コンピュータを、
表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、前記指針を検出する指針検出部と、
前記指針と長手方向に重なる直線を作成する直線作成部と、
前記画像データに基づいて、前記表示盤上に記された少なくとも2つの数字を検出する数字検出部と、
前記数字検出部が検出した前記少なくとも2つの数字を囲む方形の中心と重なる円弧を作成する円弧作成部と、
前記直線と前記円弧が交わる交点を検出する交点検出部と、
前記画像上に設定した仮想の座標平面における、前記数字を囲む方形の中心の座標、前記交点の位置、および、前記数字の値に基づいて、前記指針が示す計測値を検出する計測値検出部と
して機能させるためのプログラム。
【請求項4】
前記計測値検出部は、前記数字検出部が検出した前記数字のうち、前記指針の一方の側面に位置する第1の数字を囲む方形の中心と前記交点との間の距離と前記指針の他方の側面に位置する第2の数字を囲む方形の中心と前記交点との間の距離の比率と、前記第1の数字と前記第2の数字の両値に基づいて、前記指針が示す計測値を検出する、
請求項3に記載のプログラム。
【請求項5】
さらに、コンピュータを、
前記画像データに基づいて、前記画像データに基づく画像のうち、前記第1の数字と前記第2の数字と前記指針を含む領域をトリミングした画像データを生成する画像データ生成部と、
前記計測値検出部が検出した計測値と、前記画像データ生成部が生成した画像データを対応付けて記録する記録部と
して機能させるための請求項2または請求項4に記載のプログラム。
【請求項6】
表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、前記指針を検出する指針検出部と、
前記画像データに基づいて、前記指針の一方の側面に位置する第1の数字と、前記指針の他方の側面に位置する第2の数字をそれぞれ検出する数字検出部と、
前記画像上に設定した仮想の座標平面における前記第1の数字を囲む方形の中心の座標、前記座標平面における前記第2の数字を囲む方形の中心の座標、前記指針の位置、および、前記第1の数字と前記第2の数字のそれぞれの値に基づいて、前記指針が示す計測値を検出する計測値検出部と
を備える情報処理装置。
【請求項7】
表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、前記指針を検出する指針検出部と、
前記指針と長手方向に重なる直線を作成する直線作成部と、
前記画像データに基づいて、前記表示盤上に記された少なくとも2つの数字を検出する数字検出部と、
前記数字検出部が検出した前記少なくとも2つの数字を囲む方形の中心と重なる円弧を作成する円弧作成部と、
前記直線と前記円弧が交わる交点を検出する交点検出部と、
前記画像上に設定した仮想の座標平面における、前記数字を囲む方形の中心の座標、前記交点の位置、および、前記数字の値に基づいて、前記指針が示す計測値を検出する計測値検出部と
を備える情報処理装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0005
【補正方法】変更
【補正の内容】
【0005】
実施形態のコンピュータプログラムは、コンピュータを、表示盤上に記された数字と指針の位置関係で計測値を示すアナログメータを撮影した画像データに基づいて、前記指針を検出する指針検出部と、前記画像データに基づいて、前記指針の一方の側面に位置する第1の数字と、前記指針の他方の側面に位置する第2の数字をそれぞれ検出する数字検出部と、前記画像上に設定した仮想の座標平面における前記第1の数字を囲む方形の中心の座標、前記座標平面における前記第2の数字を囲む方形の中心の座標、前記指針の位置、および、前記第1の数字と前記第2の数字のそれぞれの値に基づいて、前記指針が示す計測値を検出する計測値検出部として機能させる。