IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東芝の特許一覧 ▶ 東芝電機サービス株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-09
(45)【発行日】2024-02-20
(54)【発明の名称】情報処理装置およびプログラム
(51)【国際特許分類】
   G06Q 50/06 20240101AFI20240213BHJP
   G06F 3/0481 20220101ALI20240213BHJP
   G08C 15/00 20060101ALI20240213BHJP
【FI】
G06Q50/06
G06F3/0481
G08C15/00 B
【請求項の数】 13
(21)【出願番号】P 2021193096
(22)【出願日】2021-11-29
(62)【分割の表示】P 2020043893の分割
【原出願日】2020-03-13
(65)【公開番号】P2022027802
(43)【公開日】2022-02-14
【審査請求日】2022-08-17
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】峯邑 隆司
(72)【発明者】
【氏名】櫻井 強一
【審査官】久宗 義明
(56)【参考文献】
【文献】特開2019-197537(JP,A)
【文献】特開2019-106213(JP,A)
【文献】特開2012-038195(JP,A)
【文献】特開2017-188049(JP,A)
【文献】特開2019-140449(JP,A)
【文献】米国特許出願公開第2005/0246295(US,A1)
【文献】米国特許第05870140(US,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G06F 3/0481
G08C 15/00
(57)【特許請求の範囲】
【請求項1】
コンピュータを、
第1のメータと第2のメータとが撮像された画像を画面上に表示させる第1の表示制御部と、
前記画面上において、前記第1のメータの画像に対し、前記第1のメータの検針値を前記第1のメータの画像の近傍に配置することにより対応付けて表示させるとともに、前記第2のメータの画像に対し、第2のメータの検針値を前記第2のメータの画像の近傍に配置することにより対応付けて表示させる第2の表示制御部と、
して機能させる、プログラム。
【請求項2】
コンピュータを、
第1のメータと第2のメータとが撮像された画像データより、前記第1のメータの計測値と前記第2のメータの計測値とを画像認識する認識処理部と、
画面上において、前記第1のメータの画像に対し、前記第1のメータの検針値を前記第1のメータの画像の近傍に配置することにより対応付けて表示させるとともに、前記第2のメータの画像に対し、第2のメータの検針値を前記第2のメータの画像の近傍に配置することにより対応付けて表示させる表示制御部と、
して機能させる、プログラム。
【請求項3】
ユーザからの操作を受け付ける入力制御部として、さらにコンピュータを機能させ、
前記表示制御部は、前記入力制御部が受け付けた操作に応じて、前記対応付けを変更して表示させる、請求項1または請求項2に記載のプログラム。
【請求項4】
前記表示制御部は、前記第1のメータおよび前記第2のメータをそれぞれ過去に検針した結果に基づいて、前記対応付けを表示させる、請求項2に記載のプログラム。
【請求項5】
位置情報を取得する位置情報処理部として、さらにコンピュータを機能させ、
前記表示制御部は、前記位置情報処理部が取得した位置情報に対応する過去に検針した結果に基づいて、前記対応付けを表示させる、請求項4に記載のプログラム。
【請求項6】
前記表示制御部は、前記認識処理部が読み取った識別情報に対応する過去に検針した結果に基づいて、前記対応付けを表示させる、請求項4に記載のプログラム。
【請求項7】
前記認識処理部が読み取った識別情報と検針値を、予め制限した時間内に限って、ネットワーク上のサーバに送信することが可能な通信制御部として、さらにコンピュータを機能させる、請求項2に記載のプログラム。
【請求項8】
前記第1のメータは、識別情報を第1の形式の表示と第2の形式の表示とで表示するものであって、
前記認識処理部は、前記第1の形式の表示から前記識別情報が読み取れない場合に、前記第2の形式の表示から前記識別情報を読み取る、請求項2に記載のプログラム。
【請求項9】
前記認識処理部が読み取った前記第1のメータ上に表示される第1のメータの識別情報と検針値とを対応付け、さらに、前記認識処理部が読み取った前記第2のメータ上に表示される第2のメータの識別情報と検針値とを対応付けて、これらの対応付けられた情報を検針データとして作成する検針データ作成部として、さらにコンピュータを機能させる、請求項2に記載のプログラム。
【請求項10】
前記認識処理部は、複数の画像からそれぞれメータの識別情報と計測値を読み取り、
前記検針データ作成部は、前記認識処理部が読み取った複数のメータの識別情報と計測値に係る検針値を、1つの検針データにまとめる、請求項9に記載のプログラム。
【請求項11】
前記複数の画像は、同じメータが重複して撮影されたものであって、
前記検針データ作成部は、前記認識処理部が読み取った複数のメータの識別情報と計測値に係る検針値を、1つの検針データにまとめて、同じメータについての情報は併合させる、請求項10に記載のプログラム。
【請求項12】
前記表示制御部は、前記検針データを表示させる、請求項9に記載のプログラム。
【請求項13】
第1のメータと第2のメータとが撮像された画像を画面上に表示させる第1の表示制御部と、
前記画面上において、前記第1のメータの画像に対し、前記第1のメータの検針値を前記第1のメータの画像の近傍に配置することにより対応付けて表示させるとともに、前記第2のメータの画像に対し、第2のメータの検針値を前記第2のメータの画像の近傍に配置することにより対応付けて表示させる第2の表示制御部と、
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、情報処理装置およびプログラムに関する。
【背景技術】
【0002】
従来より、オフィスビルや工場、公共施設などに設置されている設備機器に対する検針業務として、点検員は、それら設備機器の稼働状態が示されているメータを検針し設備の保全を行っている。
【0003】
また近年は、人手による検針作業を不要とすべく、稼働状態を示す計測データをネットワークを介してサーバへ送信し、このサーバで保存・管理ができるシステムに対応した高性能な設備機器が投入されつつある。
【0004】
しかし、このようなシステムに対応する設備機器は高価であることから普及するまでには至らず、未だに点検員による検針を行う設備機器は多数存在し、点検員の目視による検針作業は依然として行われている。また一般家屋のガス、電気、水道などの検針作業にいたっては、検針員が各戸に赴いて検針を行うのが一般的である。
【0005】
近時、メータの検針作業を支援するサービスが提供されている。このサービスでは、AI(Artificial Intelligence)を活用してメータ値(メータが計測した値)を機器で読み取るが、このような技術を適用したシステムであっても、実際の検針の作業現場においては、人為的なミスが起こり得、点検員や検針員に一定のレベルのスキルが必要とされ、経験の浅い点検員や検針員に対する指導が依然として必要であった。
【先行技術文献】
【特許文献】
【0006】
【文献】特許第6514390号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が解決しようとする課題は、メータ値を機器で読み取る検針作業において、簡明な操作で効率的で正確な検針を支援する情報処理装置およびプログラムを提供することである。
【課題を解決するための手段】
【0008】
実施形態のプログラムは、第1の表示制御部と第2の表示制御部としてコンピュータを機能させる。第1の表示制御部は、第1のメータと第2のメータとが撮像された画像を画面上に表示させる。第2の表示制御部は、画面上において、第1のメータの画像に対し、第1のメータの検針値を対応付けて表示させるとともに、第2のメータの画像に対し、第2のメータの検針値を対応付けて表示させる。
【図面の簡単な説明】
【0009】
図1】メータの例を示す図。
図2】メータの例を示す図。
図3】メータの例を示す図。
図4】実施形態に係わる情報処理システムの構成を示す図。
図5】検針の対象となるメータの配置例を示す図。
図6図4に示した携帯型端末装置の外観を示す図。
図7図4に示した携帯型端末装置の構成例を示す図。
図8図4に示した携帯型端末装置の処理を説明するためのフローチャート。
図9】検針データの読み取り作業中のガイド表示の例を示す図。
図10】検針データの読み取り作業中の表示例を示す図。
図11】検針データの読み取り作業中のガイド表示の例を示す図。
図12】検針データの読み取り作業中のガイド表示の例を示す図。
図13】検針データの読み取り作業中のガイド表示の例を示す図。
図14】検針データの読み取り作業中のガイド表示の例を示す図。
図15】検針データの読み取り作業中のガイド表示の例を示す図。
図16】検針データの読み取り作業中の表示例を示す図。
図17】検針データの読み取り作業中の表示例を示す図。
図18】検針データの読み取り作業中の表示例を示す図。
図19】連続撮影の手順を説明するための図。
図20】検針データの表示例を示す図。
図21】検針データの表示例を示す図。
図22】検針データの読み取り作業中の表示例を示す図。
図23】連続撮影を行う際の表示例を示す図。
図24】検針データの読み取り作業中の表示例を示す図。
図25】検針データの表示例を示す図。
図26】検針データの読み取り作業中の表示例を示す図。
図27】検針データの表示例を示す図。
図28】検針データの一例を示す図。
【発明を実施するための形態】
【0010】
以下、図面を参照して、一実施形態について説明する。
この実施形態に係わる情報処理装置およびプログラムを含む情報処理システムは、メータが示す値を読み取る検針にかかるものである。メータは、例えば、図1に示すように、従来より広く普及したアナログ式誘導型電力量計(図1(a))、LCD(Liquid Crystal Display)などの表示部を備えた電子式電力量計、いわゆるスマートメータ(図1(b))、水道メータ(図1(c)、(d))、デジタルノギス(図1(e))、デジタルマルチメータ(図1(f))などがある。
【0011】
その他、数字が直接的に表示されるものではなく、指針から読み取るタイプのメータとして、スピードメータ(図2(a))、クランプ型電流計(図2(b))、デシベル表示メータ(図2(c))、電圧計(図2(d))、圧力計(図2(e))、マイクロメータ(図2(f))など、様々な計器が普及している。
【0012】
また電気メータや水道メータ、電圧計などは、適用される施設や装置が大型の場合、図3(a)~(c)に示すように、複数台が平面的、あるいは直線的に、規則的に配列されて設置されることが多い。
【0013】
図4は、一実施形態に係わる情報処理装置およびプログラムを含む情報処理システムの構成を示すものである。なお、以下の説明では、上記情報処理装置およびプログラムを、一般家屋のガス、電気、水道などの検針作業に適用した場合を例に挙げて説明する。
【0014】
この例では、検針員(あるいは点検員)が個々の家屋やビルディング、施設などを訪問し、それらもしくはそれらの近傍にそれぞれ設置された電気メータを検針する場合を例に説明する。以下、設置された場所を検針現場と称する。
【0015】
この情報処理システムは、電気メータの検針サービスを提供するものであって、図4に示すように、携帯型端末装置100、無線基地局200、クライアント端末300、サーバ400、ネットワーク500を備えたクラウドコンピューティングを実現する。このシステムは、検針現場に設置されたメータMT1~MTnから得られる情報を処理し、例えば使用量の請求などに関わる帳票の作成を行う。
【0016】
携帯型端末装置100は、検針にあたって検針員が携帯し、検針現場に設置されたメータMT1~MTnの読み値を入力して、サーバ400に送信するための情報処理装置である。詳細については、後述する。
【0017】
なお、上記読み値とは、各メータMT1~MTnが計測した値である。また、この読み値を検針員が目視あるいは機器による読み取り、記録あるいは報告する値を検針値と称する。読み値と検針値は、実質的には同じ値になる。すなわち、検針値と各メータMT1~MTnが計測した値は、実質的に同じ値である。
【0018】
無線基地局200は、携帯型端末装置100と無線通信し、携帯型端末装置100をネットワーク500に接続するものである。例えば、ネットワーク500が事業所内に構築されたLANの場合、通信方式として無線LAN(IEEE802.11シリーズ)を採用したアクセスポイントである。またネットワーク500が通信事業者の携帯電話網の場合、3G、3.9G(LTE(登録商標)など)、4G、5G等の規格に対応した無線通信を行う基地局装置である。
【0019】
すなわち、無線LANや携帯電話網は例に過ぎず、携帯型端末装置100を無線通信によりネットワーク500に接続できるものであれば、これらの方式に限定されるものではなく、Bluetooth(登録商標)を含め、いずれの通信方式であっても適用可能である。
【0020】
クライアント端末300は、検針サービスの管理部門に設置され、その部門のオペレータが使用する端末であって、例えば、デスクトップ型あるいはラップトップ型のパーソナルコンピュータ等の情報処理装置である。
【0021】
そして、クライアント端末300は、携帯型端末装置100によってサーバ400にアップロードされたデータファイルをダウンロードし、参照・閲覧、編集・集計、データ変換・ファイル作成、帳票の発行などを行う機能を備える。
【0022】
またクライアント端末300は、携帯型端末装置100の全ての機能または一部のデータ処理機能を備えて、携帯型端末装置100と同様の処理を実行してもよい。すなわち、クライアント端末300は、検針現場での撮影を除いて、携帯型端末装置100でのデータ処理を代わりに行うように同様の機能を備えてもよい。
【0023】
サーバ400は、当該システムが提供するクラウドコンピューティングの中枢をなすものであって、携帯型端末装置100やクライアント端末300からアップロードされる情報の保存や管理、上記情報に所定のデータ処理を施したり、あるいはこの保存した情報やデータ処理した情報を携帯型端末装置100やクライアント端末300に提供(ダウンロード)し、システムの利用者間でのデータ共有を実現する。
【0024】
また、サーバ400は、携帯型端末装置100やクライアント端末300によるデータ処理の一部または全部を各装置に代わって担うことで、各装置のコンピュータ資源の節約を可能にする。そしてまたサーバ400は、携帯型端末装置100、クライアント端末300が使用するOSやアプリケーションソフトウェアを各装置に提供したり、最新の情報にアップデートしてサービスを実現する。
【0025】
したがって、サーバ400のデータベースには、携帯型端末装置100からアップロードされた検針データを検針データ400aとして保存し、また、当該検針サービスの対象となる機器のIDとその位置情報、その周辺の地図情報を対応付けた地図データ400bを保存する。その他、上記データベースには、携帯型端末装置100やクライアント端末300の各種プログラムが保存される。
【0026】
サーバ400によって提供されるサービスは、サービスの提供を受けるクライアントが所有する(あるいは貸与された)携帯型端末装置100やクライアント端末300に対して、サブスクリプション方式で提供することも考えられる。
【0027】
なお、携帯型端末装置100は、検針員が携帯しオペレータとして直接操作してもよいし、ネットワーク500を介して遠隔制御してもよい。例えば、ドローンやロボットなどの遠隔操作機器に搭載することも考えられる。この場合、携帯型端末装置100のカメラ映像を通した遠隔制御により、ドローンの姿勢制御や、ロボットの操作を行うようにしてもよい。
【0028】
また、ドローンやロボットなどの遠隔操作機器を携帯型端末装置100が操作し、携帯型端末装置100が備えるカメラに代わって、遠隔操作機器に搭載されたカメラ映像に対して、以下で説明する処理を施すようにしてもよい。
【0029】
メータMT1~MTnは、例えば、電気の使用量を計測する電力量計であって、計測によって得た数値を表示する。また各メータは、例えば、図5(a)に示すように、筐体上に、表示部DとIDプレートPを備える。
【0030】
表示部Dは、計測した電気の使用量を、上記の数値を回転式(アナログ式)またはデジタル式のアラビア数字で示す。デジタル式の場合は、例えば、0~9までの数字が表示される7セグメントディスプレイを複数使用して複数の桁を構成するデジタル表示装置であって、前述した電気などの使用量や設備機器の稼働状態に応じた数値(検針値)を示す。
【0031】
回転式の場合は、例えば、0~9までの数字が記載された数字車を複数使用して複数の桁を構成する機械的な直読式の表示装置であって、前述した電気などの使用量や設備機器の稼働状態に応じた数値(検針値)を示す。
【0032】
IDプレートPは、表示部Dと同じ面に設けられ、設けられたメータ(MT1~MTn)に固有に割り当てられた識別番号や属性(電気、ガス、水道、供給事業体、設置場所、製造日時、設置日時、性能を示す諸元など)を示す識別情報や、検針値を集計するアプリケーションソフトウェアに対応した検針値の入力欄を指定する入力指定情報などが記載されたプレートである。記載は、印刷や刻印など様々な方法が考えられ、シールなどであってもよい。
【0033】
また、IDプレートPは、前述のようなプレートやシールに代わって、2次元バーコード(2次元データコード)によって上記識別情報や入力指定情報を提示するようにしてもよい。2次元バーコードは、所定のアルゴリズムにより解読され、上記情報(識別情報や入力指定情報)が得られる。
【0034】
また、上記情報の一部を前述したプレートやシールで表記し、残る情報を前述した2次元バーコードで表示するようにしてもよいし、または全部の情報を、プレートやシールと、2次元バーコードで重複して表示するようにしてもよい。
【0035】
またメータMT1~MTnは、例えば図5(a)に示したように単体で設置される場合の他に、図5(b)に示すように、4つのメータMT2~MT5が一群となって設置されたり、図5(c)に示すように、6つのメータMT6~MT11が一群となって設置される場合、それ以上の数のメータが一群となって設置される場合がある。
【0036】
その他、図5(b)や図5(c)のような方形の配置ではなく、直線的に配置される場合や、これら以外の規則的/不規則に配列設置ことも考えられる。以下の説明では、複数のメータがまとまって設置される場合、これらのメータによって構成されるグループをメータグループと称する。なお、メータグループを構成するメータは、それぞれ異なるライフラインやインフラの情報を計測して表示することもある。
【0037】
次に、携帯型端末装置100について説明する。
携帯型端末装置100は、メータMT1~MTnの検針員がオペレータとして使用する端末であって、例えば図6に示すようなタブレット型コンピュータであったり、または携帯が可能なラップトップ型パーソナルコンピュータ等の情報処理装置である。
【0038】
また携帯型端末装置100は、図7に示すように、一般的なコンピュータと同様のハードウェア構成であり、バスで接続された、少なくとも通信部101、入力部102、表示部103、カメラ104、GNSS(Global Navigation Satellite System)受信部105、記憶部106、制御部110を備える。
【0039】
通信部101は、無線基地局200との間で無線通信リンクを確立して通信を行う無線通信インターフェースであって、無線基地局200およびネットワーク500を介して、サーバ400と通信を行う。無線通信は、無線基地局200の仕様に合わせた通信方式に対応する。
【0040】
この通信方式の例としては、無線LAN(IEEE802.11シリーズ)、3G、3.9G(LTE(登録商標)など)、4G、5G、Bluetooth等、様々な規格が考えられるが、いずれでもかまわないし、これらに限定されるものでもない。
【0041】
入力部102は、後述する表示部103上に載置されたタッチパネルや、携帯型端末装置の筐体上に設けられたキースイッチなどの入力デバイスであって、検針員から種々の情報の入力や指示を受け付ける。上記タッチパネルは、尖筆(スタイラス)や指を使って入力が行えるものであり、静電容量方式や抵抗膜方式、投影型赤外線方式など種々の方式が適用可能である。
【0042】
表示部103は、検針員に対して視覚的に情報を提供するものであり、例えば、情報の入力欄やソフトウェアキー、各種画像(写真、CG(コンピュータグラフィックス)画像)を表示する。
【0043】
情報の入力欄やソフトウェアキーは、後述する制御部110の制御により、前述の入力部102のタッチパネルに対する操作と対応するように表示がなされる。使用されるデバイスとしては、液晶パネルや有機EL(Electro Luminescence)パネル、電子ペーパーなど種々の表示デバイスが適用可能である。
【0044】
カメラ104は、レンズなどの光学系と、例えばCMOS(Complementary MOS)などのイメージセンサを備えた撮像部と、撮像部によって得られた撮像信号から所定の形式(例えば、JPEG(Joint Photographic Experts Group))の画像データを生成する信号処理部とを備えたデジタルカメラである。
【0045】
なお、制御部110は、時刻を計時しており、カメラ104によって得られた画像データには、上記時刻が撮影した日時や後述する位置情報などを示す付加情報(例えば、Exif(Exchangeable image file format)データ)が付加されて記録される。
【0046】
GNSS受信部105は、人工衛星から発射される信号を用いて位置測定(測位)、時刻受信などを行うものである。
【0047】
記憶部106は、後述する制御部110のOS(Operating System)やアプリケーションソフトウェア、アプリケーションソフトウェアの運用に伴って生成されたデータ、各種パラメータ、検針員から入力されたデータ、カメラ104によって撮像された画像データ(メータMT1~MTnの検針値の表示面を撮影したものなど)、サーバ400から取得(ダウンロード)したデータ、その他、情報処理のための一時的なデータなどを記憶するものであり、RAM(Random Access Memory)やROM(Read Only Memory)、SSD(Solid State Drive)などのフラッシュメモリ、HDD(Hard Disk Drive)などの記録デバイスがデータの特性に合わせて、組み合わせて設けられる。
【0048】
また記憶部106は、撮影支援データ106aと、基画像データ106bと、認識データ106c、検針データ106dを記憶する。
撮影支援データ106aは、検針の基となる画像(その画像のデータを、以下では基画像データと称する)の撮影を支援するための支援情報であって、撮影状況(検針の場所や日時・時刻、検針対象となるメータの識別情報、製品型番)に応じて、過去の検針データや、サーバ400に保存される情報(地図情報やテンプレート)を用いて適宜更新される。
【0049】
具体的には、撮影支援データ106aは、検針値とその関連情報を含んでいる。関連情報には、例えば、検針を行った日時、検針を行った場所を示す位置情報(地理的な座標)、その検針の対象となったメータの名称(メータ名)、そのメータあるいはメータグループに固有に与えられた識別情報や機種番号でメータ番号とも呼ばれ(以下、メータIDと称する)、基画像上のメータIDが写る部分のID座標データP-ID(メータIDを読み取った部分の基画像上の座標)、基画像上のメータの読み値(検針値)が写る部分のメータ座標データP-MR(メータの読み値を読み取った部分の基画像上の座標)、その検針の開始から終了までの間をカメラ104が撮影した動画のデータ(以下、支援動画像データと称する)、撮影時のカメラ設定(露出やシャッター速度)、検針員が任意に入力した付帯情報(文字列など)などを含む。
【0050】
基画像データ106bは、カメラ104によって得られた画像データであり、例えば、基画像データや、メータMT1~MTnやその付近を写した画像データであって、メータMT1~MTn上に表示される読み値やメータIDの読み取り、検針場所の特定などに用いられる。
【0051】
認識データ106cは、基画像データ106bに基づいて、後述する画像処理部114によって生成されたデータである。具体的には、基画像データに、後述する光学文字認識(OCR(Optical Character Recognition)などの文字認識処理や2次元バーコードの解読を施すことによって得た情報(メータIDや検針値)である。
【0052】
検針データ106dは、認識データ106cのうち、検針結果とされるデータと、このデータに付随する付随情報を対応付けたデータである。付随情報は、後に、撮影支援データ106aの関連情報として用いられるため、例えば、検針を行った日時、検針を行った場所を示す位置情報(地理的な座標)、その検針の対象となったメータの名称(メータ名)、そのメータあるいはメータグループに固有に与えられたメータID、ID座標データP-ID、メータ座標データP-MR、支援動画像データ、カメラ設定データ、付帯情報などを含む。
【0053】
制御部110は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサ、チップセット、RAMやROMなどを備え、携帯型端末装置100の各部を統括して制御する。
【0054】
ROMは、ファームウェアや設定値(各種パラメータ)を記憶する。CPUは、上記ファームウェアにしたがって、記憶部106からOSやアプリケーションソフトウェアをRAMに読み込んで、OSやアプリケーションソフトウェアを実行し、またRAMをワークエリア(作業領域)として使用することで、各種制御機能を実現する。
【0055】
制御部110は、OSやアプリケーションソフトウェアを実行することで、少なくとも以下の制御機能を実現する。すなわち、制御部110は、ソフトウェアを実行することにより、通信制御部111、入力制御部112、表示制御部113、画像処理部114、位置情報処理部115、検針データ集計処理部116として機能し、これらの機能が互いに連携して機能することができる。なお、これらの各機能の一部または全部を他の機能と統合したり、あるいは111~116の各機能を別の観点で複数の機能ブロックに切り分けて別の表現で説明することも可能である。
【0056】
通信制御部111は、通信部101を制御して、所定の通信プロトコルに従って無線基地局200と無線通信リンクを確立し、さらにネットワーク500を通じてサーバ400と通信を行うもので、例えば、サーバ400からのデータダウンロードおよびサーバ400へのデータアップロードを行う。
【0057】
入力制御部112は、入力部102を制御して、入力部102に対する検針員の操作から検針員の要求を解釈したり、情報(文字列など)の入力、データの取り込みや紐づけの変更を受け付けたり、カメラ104によって撮像された画像データの取り込みなどを行う。
【0058】
表示制御部113は、表示部103を制御して、文字や画像を含む種々の情報や、グラフィカルユーザインタフェイス(以下、GUI(Graphical User Interface))を表示させる。GUIの例としては、前述した情報の入力欄やソフトウェアキーであり、これらの表示は、入力部102のタッチパネルを通じた入力に対応している。その他、画像の取り込み位置を枠線などで示したり、構図の移動方向を矢印などで示すガイド表示を行う。
【0059】
画像処理部114は、文字認識エンジンとしての機能と、解析エンジンとしての機能を備える。文字認識エンジンは、カメラ104によって得られた画像データに対して、例えば光学文字認識などの文字認識処理を実施するものであって、画像に含まれる文字を認識してテキストデータを出力(すなわち、画像データのテキストデータへの変換)する。解析エンジンは、画像に含まれる2次元バーコードを解読して情報(例えば、メータの識別情報あるいはアナログの指針値を読取りデジタル値に変換した情報など)を得る。
【0060】
位置情報処理部115は、加速度センサ、ジャイロセンサなどを備え、これらの検出結果、GNSS受信部105による測位結果、および/または通信制御部111によって無線基地局200から得た測位情報に基づいて、携帯型端末装置100の位置を測位する。
【0061】
検針データ集計処理部116は、検針データの作成に関わる種々の処理を統括して制御するものであって、撮影支援データ取得部116a、撮影支援データ特定部116b、ガイド表示制御部116c、検針データ作成部116dを備える。
【0062】
撮影支援データ取得部116aは、現在の位置や時間、および/または検針員が指定した地理的な位置や時間などに基づいて、条件を満たす過去の検針データをサーバ400からダウンロードしたり、あるいは、記憶部106に残る検針データ106dを検出し、これらの検針データを撮影支援データ106aとして記憶部106に保存する。
【0063】
撮影支援データ特定部116bは、記憶部106に記憶される撮影支援データ106aのうち、カメラ104が撮影する画像に写る機器に、一致または類似する機器に関するデータを特定する。
【0064】
ガイド表示制御部116cは、撮影支援データ特定部116bによって特定された撮影支援データ106aに基づいて、過去の検針作業に基づくガイド表示を行う。このガイド表示にしたがって、検針員は、メータなどの撮影を行う。
検針データ作成部116dは、基画像データに基づいて、検針データ106dを作成する。
【0065】
次に、上記構成の情報処理システムの動作について説明する。以下の説明では、携帯型端末装置100における処理のうち、特に、検針データの集計処理(以下、検針データ集計処理と称する)について説明する。
【0066】
この検針データ集計処理は、検針データ集計処理部116によってなされ、検針員によるメータMT1~MTnに対する検針作業を支援し、メータMT1~MTnに表示される検針値などの情報を取得して検針データ106dとしてまとめ(集計)、サーバ400にアップロードするものである。
【0067】
図8は、検針データ集計処理を説明するためのフローチャートである。以下、図8を参照して説明する。
この図に示す検針データ集計処理は、アプリケーションソフトウェアを実行した制御部110が検針データ集計処理部116として機能することにより実現される。
【0068】
なお、以下の説明では、図8に示す処理を1つのアプリケーションソフトウェアを実行することで実現できるものとして説明するがこれに限定されるものではなく、1つのメインとなるアプリケーションソフトウェアに他のアプリケーションソフトウェアを組み込む形や、複数のアプリケーションソフトウェアが並行して動作する形で実現することも可能である。
【0069】
ステップ801において検針データ集計処理部116は、位置情報処理部115から現在の位置の情報(以下、現在位置情報と称する)を取得するとともに、サーバ400から現在位置情報に対応する検針データ400aおよび地図データ400bを取得し、ステップ802に移行する。
【0070】
具体的には、撮影支援データ取得部116aが、位置情報処理部115に対して現在位置情報の提供を要求する。これに対して、位置情報処理部115は、最新の現在位置情報を撮影支援データ取得部116aに提供する。
【0071】
なおここで、位置情報処理部115は、撮影支援データ取得部116aからの要求に応じて測位を開始して、その結果、位置情報を提供してもよいし、あるいは、事前に定期的に測位を行っておき、上記要求に応じて、最新の測位の結果を現在位置情報として提供するようにしてもよい。
【0072】
その他、現在の位置の情報は、直前の検針位置から推定してもよい。例えば、記憶部106やサーバ400のデータベースに、過去の検針の箇所や時刻を検針の順序にしたがって時系列的に関連付けた検針順序情報を記憶しておく。
【0073】
そして撮影支援データ取得部116aは、最後に行った検針の時刻と現在時刻から経過時間を求め、そしてこの経過時間と前回の検針箇所に基づいて上記検針順序情報を参照して、次の検針箇所を推定するようにしてもよい。
【0074】
また検針順序情報には、検診時の天候や照度などを検針箇所毎に記憶させておき、現在の天候や照度などと照合して、検針箇所の推定に用いてもよい。
さらには、検針員が入力部102を通じて、現在位置情報を入力したり、予め記憶部106に保存しておいた位置情報のリストから現在位置を選択するようにしてもよい。
【0075】
ステップ802において検針データ集計処理部116は、ステップ802で取得した現在位置情報に基づいて、撮影支援データを取得する。
具体的には、撮影支援データ取得部116aが、通信制御部111に対してサーバ400にアクセスして、現在位置情報に対応する検針データ400aおよび地図データ400bをダウンロードするように要求する。
【0076】
これに対して、通信制御部111は、通信部101を制御して現在位置情報をサーバ400に送信し、現在位置情報に対応付けられた検針データ400aおよび地図データ400bを提供するように要求する。
【0077】
これに対して、サーバ400は、現在位置情報に該当する検針データ400aおよび地図データ400bを自身が備えるデータベースより検出し、携帯型端末装置100に向けて送信する。
【0078】
なお、検針データ400aおよび地図データ400bには、それぞれ位置情報が含まれている。このため、サーバ400は、携帯型端末装置100からの要求に対して、現在位置情報に一致する位置情報を含む検針データ400aおよび地図データ400b、および/または現在位置情報が示す位置から所定の範囲内の(あるいは予め対応付けられた)位置情報を含む検針データ400aおよび地図データ400bを検出し、携帯型端末装置100に向けて送信する。
【0079】
撮影支援データ取得部116aは、サーバ400から検針データ400aおよび地図データ400bを受信すると、受信したこれらの情報を撮影支援データ106aとして記憶部106に保存する。
【0080】
なお、この撮影支援データ106aに含まれる地図データ400bは、例えば、検針箇所のナビゲーションなどに用いることが可能である。ナビゲーションは、制御部110が、表示制御部113を用いて、地図データ400bに基づく地図を表示部103に表示させ、その地図上に位置情報処理部115が測位した現在位置を表示させる。
【0081】
またここでは、検針データ400aおよび地図データ400bをサーバ400からダウンロードするものとして説明したが、スマートホンなどと比べて相対的に大きいタブレット型コンピュータは、記憶部106の記憶容量が大きいため、検針員が検針を担当する範囲に限って、検針データ400aおよび地図データ400bを記憶しておくことができる。
【0082】
このため、検針員が検針現場に向かう前に、検針データ集計処理部116が、予め定めた時刻(検針作業の時間外)などに、次の検針の対象となる地域の検針データ400aおよび地図データ400bを予めサーバ400からダウンロードするようにしてもよい。このような自動的な情報の更新処理により、サーバ400と通信ができないような状況でも、作業を進行することができる。
【0083】
ステップ803において検針データ集計処理部116は、検針員に対して、検針対象となるメータ(MT1~MTn)にカメラ104を向けるように促す表示を行った後、カメラ104を起動する。そして検針データ集計処理部116は、カメラ104が写したメータIDを読み取り、このメータIDを含む撮影支援データ106aを検出し、ステップ804に移行する。
【0084】
具体的には、撮影支援データ特定部116bが、表示制御部113に対して、検針員に検針対象となるメータ(MT1~MTn)にカメラ104を向けるように促す表示を行わせるとともに、カメラ104を起動する。
【0085】
これにより、表示制御部113は、メータにカメラ104を向けるように促す表示を表示部103に行うとともに、起動されたカメラ104によって撮影された画像が表示部103に表示される。促す表示にしたがった検針員は、表示部103に映示されるカメラ104の撮像画像を確認しながら、撮影の構図にメータが入るように携帯型端末装置100を動かす。
【0086】
つづいて、撮影支援データ特定部116bが、画像処理部114に対して、OCR(Optical Character Recognition)処理を実施させ、メータIDの読み取り(テキスト化)を行わせる。これに対して画像処理部114は、カメラ104が刻々と撮影する画像についてOCR処理を実施し、やがて、メータIDを検出すると、このメータIDを撮影支援データ特定部116bに通知する。
【0087】
なおここで、メータIDとして、2次元バーコードが付与される場合には、画像処理部114は、カメラ104が刻々と撮影する画像について2次元バーコードの解読を行い、解読の結果、メータIDを検出すると、このメータIDを撮影支援データ特定部116bに通知する。
【0088】
メータIDの通知を受けた撮影支援データ特定部116bは、通知されたメータIDを含む撮影支援データ106aを記憶部106から検出し、ステップ804に移行する。これにより、撮影支援データ特定部116bは、検針値の読み取り撮影のためのガイド表示に必要な情報として、数ある撮影支援データ106aから1つを特定したことになる。
【0089】
なお、通知されたメータIDを含む撮影支援データ106aが記憶部106から検出できない場合も、ステップ804に移行する。あるいは、検出できない場合には、ここまでのプロセスに何らかのエラーが考えられるため、ステップ801に移行して、改めて測位から処理をやり直すようにしてもよい。
【0090】
ステップ804において検針データ集計処理部116は、ステップ803で検出した撮影支援データ106aに基づいて、メータ(MT1~MTn)に表示されている検針値を撮影するためのガイド表示を行い、ステップ805に移行する。また、ステップ804以降では、ステップ803で検出した撮影支援データ106aに含まれる、カメラ設定(露出やシャッター速度)に基づいて撮影が行われる。
【0091】
具体的には、ガイド表示制御部116cが、表示制御部113に対して、例えば図9に示すように、カメラ104が写している画像を表示部103に表示しながら、ステップ803で検出した撮影支援データ106aに基づくガイド表示を行わせる。
【0092】
図9の例では、ガイド表示は、ガイド枠Fと、読み取り位置の種別や位置を指定するためのソフトウェアキーSK1~SK3と、検針員が確定を指示するためのOKキーOKを示している。
【0093】
ガイド枠Fは、この枠内にいっぱいにメータなどの被検針対象を写した場合に、そこに表示される数値や2次元バーコードが読み取れることを保証するように考慮された大きさとなっている。
【0094】
またこの携帯型端末装置100は、図5(b)に例示したように、4つのメータMT2~MT5からなるメータグループを、図10に示すように1度で撮影し、4つのメータMT2~MT5について一括して検針を行うことができる。
【0095】
この場合、ガイド表示制御部116cは、ステップ803で検出した撮影支援データ106aに含まれる、ID座標データP-ID(メータIDを読み取った部分の基画像上の座標)およびメータ座標データP-MR(メータの読み値を読み取った部分の基画像上の座標)と、表示部103の表示領域におけるガイド枠Fを表示している座標との相対的な位置関係に基づいて、撮影位置ガイドSP1や撮影位置ガイドSP2の表示座標を計算する。
【0096】
この撮影位置ガイドSP1は、図5に示した表示部Dを撮影するためのガイド表示であり、一方、撮影位置ガイドSP2は、図5に示したIDプレートPを撮影するためのガイド表示である。
【0097】
なお、上記の表示座標の計算は、4つのメータMT2~MT5をできるだけガイド枠F内いっぱいに写した場合において、各メータのメータID(IDプレートP)やメータの読み値(表示部D)が存在する座標を推定するものである。
【0098】
すなわち、この計算では、撮影支援データ106aに含まれる過去に撮影を行った際の情報から、メータIDやメータの読み値が画像上に存在しうる座標を推定する計算を行っている。
【0099】
そして、この計算結果に基づいて、撮影をガイドする表示を行う。メータの型番から、その大きさについての情報を撮影支援データ106aに含むようにし、上記の計算で使用するようにしてもよい。
【0100】
このようにして、撮影位置ガイドSP1や撮影位置ガイドSP2の座標を決定したガイド表示制御部116cは、表示制御部113に対して、例えば図11に示すように、ガイド表示として、撮影位置ガイドSP1および撮影位置ガイドSP2を表示部103に表示させる。
【0101】
さらに、ガイド表示制御部116cは、撮影位置ガイドSP1および撮影位置ガイドSP2にそれぞれ対応付けて、吹き出し表示PU1、PU2を行う。同じメータの吹き出し表示PU1とPU2は、他のメータのメータの吹き出し表示PU1、PU2よりも近い位置に並べて表示されることで、対応関係が示される。なお、図11では、説明を簡明にするため、メータMT2~MT5の図示は省略してある。
【0102】
この吹き出し表示PU1、PU2は、ガイド枠F内に写るメータに与えた通し番号(Meter1-1、Meter2-1、…)を表示するとともに、後に説明するように、撮影位置ガイドSP1内および撮影位置ガイドSP2内の画像から読み取った情報が対応付けられて表示される。
【0103】
対応付けは、例えば図11に示すような矢印線や引き出し線で結んで示す。同じメータのメータIDとメータの読み値には、同じ通し番号が付与されるので、吹き出し表示PU1、PU2を見た検針員は適切な対応付けがなされているか確認できる。
【0104】
このようになされたガイド表示に対して検針員は、4つのメータMT2~MT5ができるだけガイド枠F内いっぱいに写るように、携帯型端末装置100の筐体を4つのメータMT2~MT5に対峙させ、上下、左右、あるいは前後に移動させ、さらに、例えば図12に示すように、各メータのメータの読み値(表示部D)が撮影位置ガイドSP1内に収まり、かつメータID(IDプレートP)が撮影位置ガイドSP2内に収まるように移動させる。
【0105】
図10の例では、メータIDとして、各メータMT2~MT5にプレートやシールが付与された場合を想定して説明したが、これに代わって例えば、図13に示すように、各メータMT2~MT5に2次元バーコードが付与される場合も考えられる。
【0106】
これは、IDプレートP(あるいはシール)の印字が小さくて撮像での読み取りが難しい場合や、プレートやシールがメータの読み値と一緒に撮影できない場合に好適する。その他、メータMT2~MT5について、1つの2次元バーコードでIDや設置場所を示すことも考えられる。
【0107】
またステップ804においてガイド表示制御部116cは、検針員の要求に応じて、ステップ803で検出した撮影支援データ106aに含まれる支援動画像データを再生して、過去の検針の様子を検針員に対して映示する。
【0108】
具体的には、入力部102を通じて検針員から再生要求を受け付けると、この要求を入力制御部112が検出して、ガイド表示制御部116cに通知する。ガイド表示制御部116cは、撮影支援データ106aから支援動画像データを読み出し、表示制御部113に指示して、支援動画像データを再生させる。再生は、表示部103上で行われる。これにより検針員は、検針現場における過去の検針の様子を確認できるので、適切な検針を行うことができる。
【0109】
なお、ステップ803で撮影支援データ106aが検出できなかった場合(該当するデータがない場合)には、ステップ804においてガイド表示制御部116cは、ガイド枠Fのみを表示して、適切な撮影支援データ106aが存在しないことを示す。あるいは、ガイド表示制御部116cは、予め設定した位置に所定の数のガイド表示を行ったり、あるいは、類似するメータ配列の撮影支援データ106aを利用してガイド表示を行う。
【0110】
類似の判定は、メータの形状をカメラ104が写す画像から認識し、メータの数と配列を求め、この求めたメータの数と配列に該当する撮影支援データ106aを検出し、ガイド表示に利用する。
【0111】
その他の方法としては、カメラ104が写す画像に対して、検針員がソフトウェアキーSK1~SK3を操作して、読み取り位置を任意に指定し、この指定された位置をガイド表示制御部116cが検出して、読み取り位置として認識するようにしてもよい。
【0112】
すなわち、メータIDの読み取り位置については、検針員が、タッチパネル(入力部102)上で、その読み取り位置までソフトウェアキーSK1をドラッグして指定する。同様に、メータの読み値の読み取り位置についても、その読み取り位置までソフトウェアキーSK2をドラッグして指定する。
【0113】
その他、ガイド表示制御部116cが、カメラ104が写す画像からメータの形状(外形)を認識し、撮影支援データ106aを参照して、メータIDの撮影位置やメータの読み値の撮影位置を計算し、その位置にガイド表示を行うようにしてもよい。
【0114】
ステップ805において検針データ集計処理部116は、カメラ104が写す画像に対してOCR処理を実施し、画像からテキスト化したメータIDおよび検針値を求め、ステップ806に移行する。
【0115】
具体的には、ガイド表示制御部116cが、まず、表示制御部113に指示して、撮影位置ガイドSP1内に位置する画像を、図14に示すように、同じ位置上で拡大表示させ、検針員にメータの読み値を認識しやすくする。このように、撮影した画像を同じ位置に拡大して再表示させることで、検針の基となる画像にブレが生じているか否か、撮影領域が適切かどうかなどを検針員は判断できる。
【0116】
次に、ガイド表示制御部116cが、画像処理部114に対して、撮影位置ガイドSP1内に位置する画像に対してOCR処理を行わせて、画像からテキスト化した検針値(読み値)を得るとともに、この得た検針値(読み値)を図14に示すように、撮影位置に対応付けた吹き出し表示PU1で表示する。
【0117】
同様に、続いて、ガイド表示制御部116cが、画像処理部114に対して、撮影位置ガイドSP2内に位置する画像に対してOCR処理を行わせて、画像からテキスト化したメータIDを得るとともに、この得たメータIDを図14に示すように、撮影位置に対応付けた吹き出し表示PU2で表示する。
【0118】
これにより、検針員は、どのメータについての検針値やメータIDであるかを容易に認識できる。なおここで、ガイド表示制御部116cが、検針値毎やメータID毎にOCR処理の認識精度を%表示で行って、検針員に注意を促してもよい。また、精度が低い場合に限って、色を変えたり、注意表示や認識精度の%表示を行って、注意を促すようにしてもよい。
【0119】
なお、ステップ805においてガイド表示制御部116cは、検針値およびメータIDが正常に読み取れない場合は、図15に示すように、撮影の構図を変えるように促すガイド表示を行う。図15の例では、ガイド表示として、構図を移動させるべき方向を矢印で示している。
【0120】
ここで、検針値あるいはメータIDが正常に読み取れているか否かの判断は、例えばステップ803で検出した撮影支援データ106aに基づいて行う。具体的には、メータIDについては、ガイド表示制御部116cが認識したメータIDと同じ文字列のIDが撮影支援データ106aに存在する場合には、正常に読み取れていると判断し、存在しない場合や文字列の数に過不足がある場合には、正常に読み取れていないと判断する。
【0121】
また検針値については、ガイド表示制御部116cが認識した検針値と、撮影支援データ106aに同じメータIDに対応付けられた検針値とを比較し、その差が閾値以内の範囲(あるいは閾値以上)の場合には、正常に読み取れていると判断し、所定の範囲を超える(閾値未満)場合(あるいは読み取った検針値が小さくなっている場合)には、正常に読み取れていないと判断する。
【0122】
また構図を移動させるべき方向の判断については、ガイド表示制御部116cは、ガイド枠F内に写るメータの中心位置の偏りや、複数のメータの場合は、グループの中心位置の偏りに基づいて行い、メータあるいは配列の中心がガイド枠F内の中心に近づく方向を矢印で表示する。
【0123】
矢印の表示にしたがって検針員が構図を変化させると、ガイド表示制御部116cは、例えば図16に示すように、矢印表示を消し、続いて、図14に示したようにOCR処理によって得たメータIDや検針値を表示する。これにより検針員は、適正に携帯型端末装置100が認識していることを確認できる。図16では、説明を簡明にするため、吹き出し表示PU1、PU2は省略してある。
【0124】
また、検針値およびメータIDが正常に読み取れない場合として、多くのメータを一括して検針しようとした場合が考えられる。この場合、ガイド表示制御部116cは、表示制御部113に指示して、例えば図17に示すように、「読み取り困難」などの読み取りが行えない箇所を示す吹き出し表示(エラー表示)を行い、検針員に構図を改めるように求める。エラー表示が出る理由としては、画像上の文字が小さいなどの理由から画像からテキスト化したメータIDや検針値が求められない場合が考えられる。
【0125】
その他、図13に例示したように、メータIDなどを2次元バーコードで表示している場合には、ガイド表示制御部116cは、例えば図18に示すように、2次元バーコードが存在するエリアと、この2次元バーコードを解読して得たメータIDの吹き出し表示PU2とを引き出し線などにより結んで対応付けを示す。
【0126】
ステップ806において検針データ集計処理部116は、検針員に対して、撮影を行うか否かを問う。
具体的には、ガイド表示制御部116cが、表示制御部113に対して、表示部103に例えば「撮影を行いますか?」などの案内を含む確認表示を行わせる。
【0127】
ここで、検針員が「OK」ボタンを操作した場合には、この操作を入力制御部112が検出してガイド表示制御部116cに通知し、ガイド表示制御部116cは、ステップ807に移行する。
【0128】
一方、検針員が「キャンセル」ボタンを操作した場合には、この操作を入力制御部112が検出してガイド表示制御部116cに通知し、ガイド表示制御部116cは、ステップ801に移行し、ステップ801~ステップ805の処理が改めて実行される。
【0129】
なお、「キャンセル」ボタンの操作と同等の意思表示として、所定時間の間、検針員は何も操作しないという方法で意思表示するようにしてもよい。すなわち、ガイド表示制御部116cは、入力制御部112が一定時間の間に何も操作を検出しない場合には、検針員は、検針の意思がないと判断して、ステップ801に移行する。
【0130】
また上記確認表示は、「OK」ボタンと「キャンセル」ボタンのみを表示して、案内の文言は表示しないことも考えられる。操作の慣れた検針員であれば、「OK」ボタンと「キャンセル」ボタンが表示されたことにより、処理のプロセスがステップ807へ移行するステップにあることを認識することができるからである。
【0131】
ステップ807において検針データ集計処理部116は、検針員に対して、単体撮影を行うか、連続撮影を行うかを問う。
ここで、撮影の手順としては、図5(c)で例示したようなメータグループのように、6つのメータMT6~MT11が含まれる場合には、図19に示すように、(A)すべてのメータを一括して撮影して検針する方法「単体撮影」と、(B)一部のメータを撮影して検針し、(C)残るメータを撮影して検針する方法「連続撮影」とが考えられる。
【0132】
具体的には、ガイド表示制御部116cが、表示制御部113に対して、表示部103に例えば「連続撮影を行いますか?」などの確認表示を行わせるとともに、連続撮影を行う意思表示を受け付けるための「連続撮影」ボタンと、単体撮影を行う意思表示を受け付けるための「単体撮影」ボタンの表示を行わせる。
【0133】
ここで、例えば、図17を用いて前述したように、ステップ805にて、6つのメータMT6~MT11を一括して検針しようとして、エラー表示が出た場合には、エラーを意識した検針員は「連続撮影」を選択して、メータグループを複数に分けて撮影することを検討する。
【0134】
ステップ807において検針員は、事前にステップ805にて既に一括して検針が行えないことを認識しているので、無謀に作業の効率化を追求した一括検針を避ける。これにより、撮影にし直しなど、効率の低下を防止できる。
【0135】
ここで、検針員が「連続撮影」ボタンを操作した場合には、この操作を入力制御部112が検出してガイド表示制御部116cに通知し、ガイド表示制御部116cは、ステップ810に移行する。
【0136】
一方、検針員が「単体撮影」ボタンを操作した場合には、この操作を入力制御部112が検出してガイド表示制御部116cに通知し、ガイド表示制御部116cは、ステップ808に移行する。
【0137】
ステップ808において検針データ集計処理部116は、カメラ104によって得た画像からメータIDと検針値を取得して、ステップ809に移行する。
具体的には、ガイド表示制御部116cが、ステップ804およびステップ805と同様の処理を実行する。
【0138】
すなわち、ガイド表示制御部116cは、ステップ804の処理と同様に、ステップ803で検出した撮影支援データ106aに基づいてガイド表示を行って、検針員に撮影の構図をガイドする。なお、以下の撮影では、ステップ803で検出した撮影支援データ106aに含まれる、カメラ設定に基づいて撮影が行われる。
【0139】
そして、ガイド表示制御部116cは、ステップ805の処理と同様に、例えば図14に示したように、撮影位置ガイドSP1内に位置する画像を同じ位置上で拡大表示させるとともに、カメラ104が写す画像のうち、撮影位置ガイドSP1およびSP2内の画像に対してOCR処理を実施し、画像からテキスト化した検針値およびメータIDを求める。このようにして求められた検針値およびメータIDは、それぞれ吹き出し表示PU1、PU2として表示する。
【0140】
検針員は、表示部103に表示された吹き出し表示PU1とPU2の対応付けが正しいか、OCR処理が正しく行われているかなどを確認する。すなわち、あるメータの検針値の吹き出し表示PU1が、異なるメータのメータIDの吹き出し表示PU2とが誤って対応付けられていないかを確認することができる。
【0141】
ここでもし、検針値とメータIDが誤って対応付けられている場合には、検針員は、吹き出し表示PU1あるいはPU2をタッチパネル(入力部102)を通じてドラッグし、正しい組み合わせを示し、これに応じてガイド表示制御部116cは、対応付けを変更し、吹き出し表示PU1あるいはPU2の表示位置を対応付けに応じた位置に改める。
【0142】
具体的には、ガイド表示制御部116cは、入力制御部112を通じて上記検針員の操作を認識し、例えば、吹き出し表示PU1(あるいはPU2)がドラッグされ、他の吹き出し表示PU2(あるいはPU1)に重ねる操作が行われた場合、その重ね合わされた吹き出し表示PU1およびPU2が同じメータに関わるものであると認識し、それらの検針値およびメータIDを対応付けて扱うとともに、それらの表示を並べて行う。
【0143】
やがて、検針員が表示部103上に表示したソフトウェアキー「撮影」に対して操作したことを入力制御部112が検出すると、ガイド表示制御部116cは、ステップ808でのOCR処理に用いた全体の画像を基画像データ106bとして記憶部106に保存するとともに、上記OCR処理で得た検針値およびメータIDを認識データ106cとして記憶部106に保存する。
【0144】
ここで保存された基画像データ106bと認識データ106cは、ガイド表示制御部116cによって紐づけられる。またソフトウェアキー「撮影」に対して操作が行われたことにより、基画像データ106bを表示させるとともに、その画像上に、認識データ106cに基づく表示を行う。これにより、例えば図14に示すような画像が静止画像として表示部103に表示され、検針員は、読み取りの基となる画像や読み取りの結果を確認できる。
【0145】
なおここで、ソフトウェアキー「撮影」に対して操作が行われたタイミングで、カメラ104による撮影を再度実行し、改めてOCR処理を実行して、メータIDと検針値を取得するようにしてもよい。そして、その際に、カメラ104に焦点距離や露出を調整したり、必要に応じてフラッシュを発光させるなどしてもよい。
【0146】
ステップ809において検針データ集計処理部116は、ステップ808で記憶部106に記録した情報に基づいて検針データ106dを作成する。
具体的には、検針データ作成部116dが、ステップ808で取得した基画像データ106bと認識データ106cに基づいて、これらの情報を表形式で集計した検針データ106dを作成し、このデータを表示制御部113に対して表示部103に表示させる。
【0147】
上記検針データ106dは、例えば図20に示すように、メータ毎に行を割り当てて、各メータについて、(a)メータ名(撮影時の通し番号)、(b)ステップ808で読み取ったメータID、(c)基画像データ106bのうち、メータIDを読み取った部分の画像、(d)ステップ808で読み取った検針値、(e)基画像データ106bのうち、検針値を読み取った部分の画像、(f)検針員が任意に入力する付帯情報のためのセルを備える。
【0148】
検針員は、(b)ステップ808で読み取ったメータIDと、(c)メータIDを読み取った部分の画像を目視して比較し、正しく読み取りが行われたかを確認する。同様に、検針員は、(d)ステップ808で読み取った検針値と、(e)検針値を読み取った部分の画像を目視して比較し、正しく読み取りが行われたかを確認する。
【0149】
そして、検針データ作成部116dは、入力制御部112による入力部102に対する操作の検知結果を監視し、表示部103のタッチパネルを通じて、上記セル(b)、(d)、(f)に対する操作が行われたか否かを判定する。ここで操作が行われた場合には、検針データ作成部116dは、操作されたセルの情報に対する編集操作を受け付ける。具体的には、文字列(例えば数値)が入力された場合には、入力された文字列に置き換える。
【0150】
その後、検針データ作成部116dは、入力制御部112による入力部102に対する操作の検知結果を監視し、表示部103のタッチパネルを通じて、編集終了あるいは保存の指示を検針員から受け付ける。すると、検針データ作成部116dは、必要に応じて編集された集計データを、記憶部106に検針データ106dとして保存する。
【0151】
すなわち、検針データ106dには、(a)メータ名(撮影時の通し番号)、(b)ステップ808で読み取ったメータID、(c)基画像データ106bのうち、メータIDを読み取った部分の画像のデータおよびその部分の基画像データ上での座標データ(ID座標データP-ID)、(d)ステップ808で読み取った検針値(e)基画像データ106bのうち、検針値を読み取った部分の画像のデータおよびその部分の基画像データ上での座標データ(メータ座標データP-MR)、(f)検針員が任意に入力する付帯情報、基画像データ106bを含む他に、その他、検針作業の間をカメラ104で撮影した動画像データ(支援動画像データ)、基画像データの撮影時のカメラ設定(露出やシャッター速度、焦点距離)、撮影した場所の座標データ、メータの型番の情報、検針した日時の情報などを含む。これらの情報のうち、一部は、基画像データに含まれるExifデータから取得することもできる。
【0152】
なお、検針員による編集は行わずに、記憶部106に検針データ106dとして保存することもある。また、検針データ106dに対する確認や編集の作業は、後に行うようにし、ステップ809では、図20に示すような表形式の検針データ106dをすぐに保存するようにしてもよい。
【0153】
また図20は、図14に示したように、メータIDを文字列から読み取る場合について例示したものであって、例えば図18に示したように、メータIDを2次元バーコードから読み取る場合には、図21に例示するように、((c)メータIDを読み取った部分の画像として、2次元バーコードの画像を表示し、保存するようにしてもよい。
【0154】
一方、ステップ810~ステップ812において検針データ集計処理部116は、多数のメータによって形成されるメータグループについて、連続撮影により部分的な検針を行い、複数の検針の結果を統合した検針データ106dを作成し、ステップ813に移行する。ステップ810~ステップ812は、ループ処理になっており、1回の撮影ごとに上記ループ処理を実施する。
【0155】
ここで検針の対象となるメータグループとは、図5(c)で例示したようなメータグループが想定され、特に、1度の撮影でそれぞれのメータを検針できないような場合を想定している。すなわち、例えば、4つのメータが方形に配列された場合であっても、メータIDが画像から読み取れない場合などが考えられる。
【0156】
このような場合、例えば図22に示すように、4台のメータに1つの2次元バーコードを割り当て、この2次元バーコードを、4台のメータを1つの画像に収めた場合に写り込む位置に配置する。この2次元バーコードは、この4台のメータの各メータIDを含んでもよいし、および/または、グループのID(メータグループのID)を含んでもよい。4台のメータの各メータIDを含む場合は、メータの配列の順序に応じた順序でメータIDも記録することで、メータとメータIDの組み合わせが特定できる。
【0157】
以下、より具体的に、ステップ810~ステップ812の処理について説明する。 ステップ810においてガイド表示制御部116cは、ステップ804およびステップ805と同様の処理を実行する。
【0158】
すなわち、ガイド表示制御部116cは、ステップ804の処理と同様に、ステップ803で検出した撮影支援データ106aに基づいてガイド表示を行って、検針員に撮影の構図をガイドする。なお、以下の撮影では、ステップ803で検出した撮影支援データ106aに含まれる、カメラ設定(露出やシャッター速度)に基づいて撮影が行われる。
【0159】
またガイド表示制御部116cは、撮影支援データ106aに基づいて、多数有るメータをどのような順序で撮影するかを示すガイド表示を行う。例えば、図19に示したような6個のメータの場合、ガイド表示制御部116cは、(B)の構図での撮影および検針の後に、(C)の構図での撮影および検針を行うようにガイドする表示を行う。
【0160】
そして、ガイド表示制御部116cは、ステップ805の処理と同様に、例えば図14に示したように、撮影位置ガイドSP1内に位置する画像を同じ位置上で拡大表示させるとともに、カメラ104が写す画像のうち、撮影位置ガイドSP1およびSP2内の画像に対してOCR処理を実施し、画像からテキスト化した検針値およびメータIDを求める。このようにして求められた検針値およびメータIDは、それぞれ吹き出し表示PU1、PU2として表示する。
【0161】
やがて、検針員が表示部103上に表示したソフトウェアキー「撮影」に対して操作したことを入力制御部112が検出すると、ガイド表示制御部116cは、ステップ810でのOCR処理に用いた全体の画像を基画像データ106bとして記憶部106に保存するとともに、上記OCR処理で得た検針値およびメータIDを認識データ106cとして記憶部106に保存する。
【0162】
ここで保存された基画像データ106bと認識データ106cは、ガイド表示制御部116cによって紐づけられる。またソフトウェアキー「撮影」に対して操作が行われたことにより、基画像データ106bを表示させるとともに、その画像上に、認識データ106cに基づく表示を行う。これにより、例えば図14に示すような画像が静止画像として表示部103に表示され、検針員は、読み取りの基となる画像や読み取りの結果を確認できる。
【0163】
なおここで、ソフトウェアキー「撮影」に対して操作が行われたタイミングで、カメラ104による撮影を再度実行し、ステップ805と同様の処理を改めて実行して、メータIDと検針値を取得するようにしてもよい。そして、その際に、カメラ104に焦点距離や露出を調整したり、必要に応じてフラッシュを発光させるなどしてもよい。
【0164】
ステップ811において検針データ集計処理部116は、ステップ810で記憶部106に記録した情報に基づいて検針データ106dを作成する。
具体的には、検針データ作成部116dが、ステップ810で取得した基画像データ106bと認識データ106cに基づいて、これらの情報を表形式で集計した検針データ106dを作成し、このデータを表示制御部113に対して表示部103に表示させる。
【0165】
なお、検針データ106dの作成やその編集については、ステップ809の説明と同様であることより、省略する。またここで、前回のループ処理によって、すでに検針データ106dが作成されていた場合には、その検針データ106dに情報(画像からテキスト化したメータIDおよび検針値、およびその基となる部分画像)、このループで使用した基画像データ106bを追記する形で、検針データ106dを更新する。
【0166】
ここで、上記ステップ810~ステップ812のループ処理について、あらためて説明する。ここでは、図23に示すように、6つのメータMT6~MT11を2回に分けて連続撮影する場合について説明する。
【0167】
まず、1巡目のステップ810において、図24に示すように、6つのうち左側4つのメータMT6~MT9について検針のための撮影を行い、これら4つのメータについての検針結果を含む検針データ106dを作成する。この検針データ106dは、ステップ811において、図25に示すように、表示部103に表示され、必要に応じて編集が施される。
【0168】
つづいて、2巡目のステップ810において、図26に示すように、1巡目と真ん中の2つを重複するように、右側4つのメータMT8~MT11について検針のための撮影を行い、これら4つのメータについての検針結果を得て、1巡目で作成した検針データ106dに追記する。この検針データ106dは、ステップ811において、図27に示すように、表示部103に表示される。
【0169】
メータMT8、MT9については、2度、データが取得されるが、いずれか一方のデータを採用し、図28に示すように集計する。検針データ作成部116dは、認識精度の高い方を選択するようにしてもよい。
【0170】
またここで、異なる撮影において、同じメータの検針データを重複して得ることで、漏れなく撮影が行われていることが確認できるので、重複したデータが得られない場合(同じメータについてのデータが得られない場合)に、検針データ作成部116dは、警告表示などにより検針員に注意を促すようにしてもよい。
【0171】
ステップ813において検針データ集計処理部116は、ステップ809あるいはステップ811で作成した検針データ106dを確定したデータとして保存するとともに、サーバ400にアップロードして、当該処理を終了する。
【0172】
具体的には、検針データ作成部116dが、ステップ809あるいはステップ811で作成した検針データ106dを記憶部106に検針データ106dとして保存するとともに、通信制御部111に対して上記検針データ106dをサーバ400に向けて送信するように指示する。これにより、通信制御部111は、通信部101を制御して上記検針データ106dをサーバ400に向けて送信する。サーバ400は、受信した検針データ106dを検針データ400aとして保存する。
【0173】
またステップ813において検針データ集計処理部116は、例えば、検針データ106dに含まれる基画像データ106bの撮影時刻(Exifデータ)などから、検針データ106dの作成時刻を検出し、この時刻と現在時刻の差が予め設定した時間以上経過しているか否かを判定する。
【0174】
ここで、予め設定した時間以上経過している場合には、表示制御部113に対して、表示部103に「規定時間内にデータがアップロードされなかったため、この検針データをアップロードすることはできません。」などの表示を行わせ、検針データ106dのアップロードは行わず、図8に示した処理をはじめから再開する。
【0175】
これによれば、例えば、基画像データ106bなどの改ざん行う時間を与えないようにしたり、過去の画像データの流用などの怠慢などの不正などを防止することができる。なお、経過時間内であれば、検針データ106dをアップロードすることはいうまでもない。
【0176】
なお、通信環境の問題などによってアップロードができない場合も考えられる。このため、通信環境が行えない状況を検針データ集計処理部116は監視し、その時間帯を記憶部106に記録しておく。そして、記憶部106に記録された通信できない時間帯の情報に応じて、検針データ集計処理部116は、サーバ400へのアップロードを許可するようにしてもよい。
【0177】
以上のように、上記構成の情報処理システムでは、携帯型端末装置100において、複数のメータを撮影した画像から各メータの検針を一括して行う場合に、各メータのメータIDと検針値の読み取り位置とその対応付けを画像上で示して、その対応付けを検針員が確認できるようにし、メータIDと検針値を対応付けて保存するようにしている。また仮に、対応付けに誤りがある場合には、タッチパネル(入力部102)上の直感的な操作で検針員が任意に修正することができる。
【0178】
したがって、上記構成の情報処理システムによれば、1つの画像から複数のメータの検針を行う場合でも、メータIDと検針値が正しい組み合わせで保存することができる。このため、簡易な操作で効率的に正確な検針を支援することができ、人為的なミスも抑制できる。
【0179】
また上記実施の形態では、携帯型端末装置100において、撮影した画像からメータIDや検針値を読み取る場合に、その読み取り位置を、過去の検針作業に基づくガイド表示により、検針員に適正な構図で撮影を行うように促すようにしている。このため、経験の浅い検針員でも作業に順応しやすいだけでなく、検針員の指導や教育などの負担軽減を期待できる。
【0180】
また上記実施の形態では、携帯型端末装置100において、過去の検針の結果に基づいて、メータIDや検針値の対応付けを示すようにしている。このため、対応付けの表示が適切でない場合には、過去の検針が適切に行われていないことがわかる。
【0181】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【0182】
例えば、上記実施形態では、検針の対象となるメータMT1~MTnは、回転式(アナログ式)またはデジタル式のように、いずれもアラビア数字で示すものとして説明したが、この種のメータに限るものではない。例えば、図2に示したようなアナログ指針によって、計測した値を示すメータにも適用できる。計測した値の読みは、予め準備したテンプレートのマッチングを用いたり、AI(Artificial Intelligence)が教師データに基づいて学習した結果に基づいて検針値を決定するなど、既存の種々の方法が適用できる。
【0183】
また上記実施形態では、ステップ803において撮影支援データ特定部116bが、ステップ803で撮影した画像から読み取ったメータIDに基づいて、ガイド表示に用いる撮影支援データを特定するようにしたが、これに限定されるものではない。
【0184】
例えば、ステップ803において撮影支援データ特定部116bが、ステップ803で撮影した画像と、撮影支援データに含まれる基画像データとを比較し、類似するメータの基画像データを含む撮影支援データを特定するようにしてもよい。
【0185】
また上記実施形態では、ガイド表示によって撮影構図の変更を誘導するようにしたが、これに加えて、あるいは、これに代わって、検針データ集計処理部116は、検針員が撮影した画像を分析して、表示部DとIDプレートPの位置を特定して、この位置に対してOCR処理を施して、検針値とメータIDを得るようにしてもよい。
【0186】
なお、携帯型端末装置100を操作する検針員は、必ずしも現場にいる必要はなく、ネットワーク500を介して遠隔操作してもよい。また、携帯型端末装置100を操作する検針員は必ずしも人である必要はなく、ドローンや、自走型のロボットであってもよい。これらドローンやロボットの有するカメラやCPUを利用して、これまでのフローで説明してきた、読み取りや、機械学習による判定、撮像データ保存などの一部の機能を代替させてもよい。
【0187】
また上記実施形態では、ガイド表示を行う場合に、各メータに通し番号(Meter1-1、Meter2-1、…)を与えて表示するようにしたが、これに代わって例えば、撮影支援データに基づいて、各メータのメータIDを特定して、そのメータIDやそのメータの名称や付帯情報を表示するようにしてもよい。付帯情報としては、過去の検針値を表示して、今回の検針値との整合性を検針員が目視で確認できるようにしてもよい。
【0188】
また上記実施形態では、撮影支援データを現在の位置情報から特定するようにしたが、例えば予め設定したデータを撮影支援データとし、表示部103に表示したアイコン(ソフトウェアキー)に対応付けるようにしてもよい。
【0189】
この場合、上記アイコンに対する検針員の操作を入力制御部112が検出すると、ガイド表示制御部116cが予め記憶部106に保存された撮影支援データ106aを用いて、ステップ804以下の処理を開始するようにしてもよい。これによれば、ステップ801~803の処理を省略でき、また通信が行えない環境であっても、ガイド表示の伴う検針作業を検針員は行うことができる。
【0190】
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【符号の説明】
【0191】
100…携帯型端末装置、101…通信部、102…入力部、103…表示部、104…カメラ、105…GNSS受信部、106…記憶部、106a…撮影支援データ、106b…基画像データ、106c…認識データ、106d…検針データ、110…制御部、111…通信制御部、112…入力制御部、113…表示制御部、114…画像処理部、115…位置情報処理部、116…検針データ集計処理部、116a…撮影支援データ取得部、116b…撮影支援データ特定部、116c…ガイド表示制御部、116d…検針データ作成部、200…無線基地局、300…クライアント端末、400…サーバ、400a…検針データ、400b…地図データ、500…ネットワーク、MT1~MTn…メータ。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28