特許7393403情報処理装置、メータ読取システム、メータ読取方法、及び情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】情報処理装置、メータ読取システム、メータ読取方法、及び情報処理プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231129BHJP
G08C 19/36 20060101ALI20231129BHJP
【ＦＩ】
G06T7/00 350C
G08C19/36
【請求項の数】
8
(21)【出願番号】P 2021154623
(22)【出願日】2021-09-22
(65)【公開番号】P2023045976
(43)【公開日】2023-04-03
【審査請求日】2021-09-22
(73)【特許権者】
【識別番号】313006647
【氏名又は名称】セイコーソリューションズ株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】小野塚 昌修
(72)【発明者】
【氏名】松塚 政希
(72)【発明者】
【氏名】西尾 美香
【審査官】宮島 潤
(56)【参考文献】
【文献】特開２０１９－１０５９９８（ＪＰ，Ａ）
【文献】特開２０１９－１９７３１８（ＪＰ，Ａ）
【文献】特開２０２０－１８１４６６（ＪＰ，Ａ）
【文献】国際公開第２０１３／１３６２９５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ５／５０
Ｇ０６Ｔ ９／００ － ９／４０
Ｇ０８Ｃ １３／００ － ２５／０４
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ５／２２２ － ５／２５７
(57)【特許請求の範囲】
【請求項1】
複数種類のメータを撮影して得られたメータ画像群を入力とし、メータが示す測定値を出力とする教師有りデータを用いて機械学習することにより生成された、各々が１つのメータの種類に対応する複数の学習済みモデルであって、メータ画像を入力し、メータが示す測定値を推定した値である推定値を出力する前記複数の学習済みモデルを記憶する情報処理装置であって、何れか１の前記学習済みモデルを用いて前記測定値が推定される対象の対象メータのメータ画像を有する端末装置から、予め前記対象メータを撮影して得られたメータ画像を取得する取得部と、
メータ画像が入力されると当該メータ画像からメータを検出してメータの種類を出力するように機械学習された物体検出モデルを用いて、前記取得部により取得された前記メータ画像から前記対象メータの種類を特定する特定部と、
前記取得部により取得された前記メータ画像に対して、作業担当者から前記メータ画像中の前記対象メータが示す測定値の入力を受け付ける測定値受付部と、
前記特定部により特定された種類に対応する複数の学習済みモデルの中から、前記対象メータに対応する学習済みモデルを選択する選択部と、
前記選択部により選択された学習済みモデルを、前記学習済みモデルを用いて前記対象メータのメータ画像を入力とし、前記対象メータが示す測定値の推定を行う前記端末装置に提供する提供部と、
を備え、
前記選択部は、
前記取得部により取得された前記メータ画像に対して、前記測定値受付部により受け付けた前記測定値を対応付け、
前記特定部により特定された種類に対応する前記複数の学習済みモデルの各々に対して、受け付けた前記測定値と対応付けられた前記メータ画像を入力し、前記特定部により特定された種類に対応する前記複数の学習済みモデルの各々から、入力した前記メータ画像に対する前記対象メータが示す測定値を推定した値である推定値を取得し、
取得した前記推定値と受け付けた前記測定値との差が予め定めた範囲内である学習済みモデルの少なくとも１つを前記対象メータに対応する学習済みモデルとして選択する
情報処理装置。
【請求項2】
前記複数の学習済みモデルの各々は、入力されたメータ画像に対して前記対象メータが示す測定値を推定した値である推定値を出力すると共に、さらに、前記対象メータが取り得る、前記対象メータが示す測定値を推定した値である各推定値を出力する確率を出力し、前記選択部は、
前記特定部により特定された種類に対応する前記複数の学習済みモデルの各々から、受け付けた前記測定値と対応付けられた前記メータ画像に対する前記対象メータの前記推定値及び前記対象メータが取り得る前記各推定値を出力する確率を取得し、
取得した前記推定値と受け付けた前記測定値との差が予め定めた範囲内である学習済みモデルのうち、前記対象メータの前記推定値として受け付けた前記測定値を出力する確率がより高い学習済みモデルを前記対象メータに対応する学習済みモデルとして選択する
請求項１に記載の情報処理装置。
【請求項3】
複数種類のメータを撮影して得られたメータ画像群を入力とし、メータが示す測定値を出力とする教師有りデータを用いて機械学習することにより生成された、各々が１つのメータの種類に対応する複数の学習済みモデルであって、メータ画像を入力し、メータが示す測定値を推定した値である推定値を出力する前記複数の学習済みモデルを記憶する情報処理装置であって、
何れか１の前記学習済みモデルを用いて前記測定値が推定される対象の対象メータのメータ画像を有する端末装置から、予め前記対象メータを撮影して得られたメータ画像を取得する取得部と、
メータ画像が入力されると当該メータ画像からメータを検出してメータの種類を出力するように機械学習された物体検出モデルを用いて、前記取得部により取得された前記メータ画像から前記対象メータの種類を特定する特定部と、
前記取得部により取得された前記メータ画像に対して、作業担当者から前記メータ画像中の前記対象メータが示す測定値の入力を受け付ける測定値受付部と、
前記特定部により特定された種類に対応する複数の学習済みモデルの中から、前記対象メータに対応する学習済みモデルを選択する選択部と、
前記選択部により選択された学習済みモデルを、前記学習済みモデルを用いて前記対象メータのメータ画像を入力とし、前記対象メータが示す測定値の推定を行う前記端末装置に提供する提供部と、
を備え、
前記メータ画像は、同一の前記対象メータで測定値が異なる複数のメータ画像であり、
前記複数の学習済みモデルの各々は、入力されたメータ画像に対して前記対象メータが示す測定値を推定した値である推定値を出力すると共に、さらに、前記対象メータが取り得る、前記対象メータが示す測定値を推定した値である各推定値を出力する確率を出力し、
前記選択部は、
前記取得部により取得された前記複数のメータ画像の各々に対して、前記測定値受付部により受け付けた前記測定値を対応付け、
前記特定部により特定された種類に対応する前記複数の学習済みモデルの各々に対して、受け付けた前記測定値と対応付けられた前記複数のメータ画像を入力し、前記特定部により特定された種類に対応する前記複数の学習済みモデルの各々から、入力した前記メータ画像に対する前記対象メータの前記推定値及び前記対象メータが取り得る前記各推定値を出力する確率を取得し、
前記特定部により特定された種類に対応する前記複数の学習済みモデルの各々について、取得した前記推定値と受け付けた前記測定値との差を二乗した値の和である二乗和が最も小さく、かつ、取得した前記確率のうち前記対象メータの推定値として受け付けた前記測定値を出力する確率の平均である平均確率が最も高い学習済みモデルを、前記対象メータに対応する学習済みモデルとして選択する
情報処理装置。
【請求項4】
前記メータ画像群を入力とし、メータが示す測定値を出力とする教師有りデータを用いて機械学習することにより前記複数の学習済みモデルを生成する学習部を更に備え、前記取得部は、前記端末装置から定期的に新たなメータ画像を取得し、
前記学習部は、前記端末装置に提供した前記学習済みモデルと同じである自装置に記憶されている学習済みモデルに対して、前記取得した新たなメータ画像に対して、前記測定値受付部により受け付けた前記対象メータが示す測定値を対応付けて追加学習し、
前記提供部は、前記学習部による追加学習が完了した場合に、前記学習部により追加学習された学習済みモデルを前記端末装置に提供する
請求項１～請求項３の何れか１項に記載の情報処理装置。
【請求項5】
前記メータ画像群を入力とし、メータが示す測定値を出力とする教師有りデータを用いて機械学習することにより前記複数の学習済みモデルを生成する学習部を更に備え、前記端末装置に提供した前記学習済みモデルは、前記対象メータが示す測定値を推定した値である推定値を出力すると共に、さらに、前記対象メータが取り得る、前記対象メータが示す測定値を推定した値である各推定値を出力する確率を出力し、
前記取得部は、前記端末装置に提供した前記学習済みモデルにおける、前記対象メータの前記推定値として受け付けた前記測定値を出力する確率が閾値以下になった場合に、前記端末装置から新たなメータ画像を取得し、
前記学習部は、前記端末装置に提供した前記学習済みモデルと同じである自装置に記憶されている学習済みモデルに対して、前記取得した新たなメータ画像に対して、前記測定値受付部により受け付けた前記対象メータが示す測定値を対応付けて追加学習し、
前記提供部は、前記学習部による追加学習が完了した場合に、前記学習部により追加学習された学習済みモデルを前記端末装置に提供する
請求項１～請求項３の何れか１項に記載の情報処理装置。
【請求項6】
請求項１～請求項５の何れか１項に記載の情報処理装置と、前記情報処理装置とネットワークを介して接続された端末装置と、
を含み、
前記端末装置は、
前記情報処理装置から提供された学習済みモデルの入力を受け付ける受付部と、
前記受付部により受け付けた学習済みモデルに対して、対象メータを撮影して得られたメータ画像を入力し、前記学習済みモデルから、前記対象メータが示す測定値を推定した値である推定値を取得する読取部と、
前記読取部により取得された前記対象メータの前記推定値を前記対象メータが示す測定値として前記情報処理装置に出力する出力部と、
を備えたメータ読取システム。
【請求項7】
複数種類のメータを撮影して得られたメータ画像群を入力とし、メータが示す測定値を出力とする教師有りデータを用いて機械学習することにより生成された、各々が１つのメータの種類に対応する複数の学習済みモデルであって、メータ画像を入力し、メータが示す測定値を推定した値である推定値を出力する前記複数の学習済みモデルを記憶する情報処理装置と、前記情報処理装置とネットワークを介して接続された端末装置と、
を含むメータ読取システムによるメータ読取方法であって、
前記情報処理装置が、
前記端末装置から、予め対象メータを撮影して得られたメータ画像を取得し、
メータ画像が入力されると当該メータ画像からメータを検出してメータの種類を出力するように機械学習された物体検出モデルを用いて、前記取得されたメータ画像から前記対象メータの種類を特定し、
前記取得された前記メータ画像に対して、作業担当者から前記メータ画像中の前記対象メータが示す測定値の入力を受け付け、
前記特定された種類に対応する複数の学習済みモデルの中から、前記対象メータに対応する学習済みモデルを選択する場合に、取得された前記メータ画像に対して、受け付けた前記測定値を対応付け、前記特定された種類に対応する前記複数の学習済みモデルの各々に対して、受け付けた前記測定値と対応付けられた前記メータ画像を入力し、前記特定された種類に対応する前記複数の学習済みモデルの各々から、入力した前記メータ画像に対する前記対象メータが示す測定値を推定した値である推定値を取得し、取得した前記推定値と受け付けた前記測定値との差が予め定めた範囲内である学習済みモデルの少なくとも１つを前記対象メータに対応する学習済みモデルとして選択し、
前記選択された学習済みモデルを前記端末装置に提供し、
前記端末装置が、
前記情報処理装置から提供された学習済みモデルの入力を受け付け、
前記受け付けた学習済みモデルに対して、前記対象メータを撮影して得られたメータ画像を入力し、前記学習済みモデルから、前記対象メータが示す測定値を推定した値である推定値を取得し、
前記取得された前記対象メータの前記推定値を前記対象メータが示す測定値として前記情報処理装置に出力する
メータ読取方法。
【請求項8】
コンピュータを、請求項１～請求項５の何れか１項に記載の情報処理装置が備える各部として機能させるための情報処理プログラム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、メータ読取システム、メータ読取方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
例えば、工場等には、温度計、湿度計、電流計等のアナログメータ、電気メータ、ガスメータ、水道メータ等文字盤が回転する回転式メータ、所謂７セグメント表示器を備えたデジタルメータ等の各種のメータが数多く設置されている。近年、工場等においても、ＩＴ技術を活用した所謂ＤＸ（デジタルトランスフォーメーション）化が進められている。工場のＤＸ化を進める上で、人手を介して入力していたメータの測定値を効率的にデジタル化し、コンピュータシステムにビッグデータとして取り込み分析することにより、製品の品質向上、効率化を目指す取り組みが盛んに行われている。
【0003】
例えば、特許文献１には、メータが示す測定値を人手に頼ることなく読み取ることができるメータ読取システムが記載されている。このメータは、円周に沿って配置された目盛りと、所定の回転中心を中心に回転して目盛り上の測定位置を指し示す回転式の指針と、を備えたアナログ式メータである。このメータ読取システムは、メータにおける目盛りの始点及び終点と、始点及び終点における各測定値とを予め設定させる設定手段と、設定された始点及び終点間の回転中心を基準とした角度及び各測定値に基づいて、メータにおける単位角度あたりの単位測定値を算出する基準値算出手段と、メータを撮像したメータ画像を取得する取得手段と、取得手段が取得したメータ画像における指針の始点からの角度と、単位測定値と、に基づいてメータが示す測定値を算出する読取手段と、を備える。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２０－１８１４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献１に記載のメータ読取システムでは、端末装置によってメータを撮影して得られたメータ画像を端末装置からサーバ装置に送信し、サーバ装置がメータ画像からメータが示す測定値を読み取るように構成されている。この種のシステムでは、例えば、メータを撮影したメータ画像に座標を設定する等、メータの読み取りに必要な設定を端末装置側で行う場合がある。しかしながら、端末装置の多くはプロセッサ、メモリ等のリソースが十分ではないため、このような煩雑な設定を端末装置側で行うことは負荷が大きく望ましくない。また、メータの読み取りを、学習済みモデルを用いて行う場合に、リソースの少ない端末装置では、多くの学習済みモデルを記憶して、メータの種類に応じて学習済みモデルを選択して用いることが難しい。
【0006】
本発明は、上記事情に鑑みて成されたものであって、端末装置側でメータの読み取りに必要な設定、及びメータの種類に応じた学習済みモデルの選択を要することなく、端末装置にメータの読み取りを行わせることができる情報処理装置、メータ読取システム、メータ読取方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、第１態様に係る情報処理装置は、複数種類のメータを撮影して得られたメータ画像群を、メータが示す測定値に対応付けて機械学習することにより生成され、かつ、メータ画像を入力として、メータが示す測定値を推定した値である推定値を出力する複数の学習済みモデルをメータの種類毎に管理する情報処理装置であって、端末装置から、読取対象とするメータを撮影して得られたメータ画像を取得する取得部と、前記取得部により取得されたメータ画像から前記メータの種類を特定する特定部と、前記特定部により特定された種類に関連する複数の学習済みモデルの中から、前記メータに対応する学習済みモデルを選択する選択部と、前記選択部により選択された学習済みモデルを前記端末装置に提供する提供部と、を備える。
【0008】
第１態様によれば、リソースの少ない端末装置であっても、情報処理装置によって提供される学習済みモデルを用いることで、メータの種類によらず端末装置側でメータの読み取りを行うことができる。
【0009】
また、第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記特定部が、前記メータ画像に対して物体検出技術を適用して前記メータの種類を特定する。
【0010】
第２態様によれば、十分なリソースを有する自装置（情報処理装置）側で物体検出を行うことができ、端末装置でメータの種類を入力する必要がなく、メータを撮影してメータ画像を送信するだけでよいため、端末装置の処理負荷を軽減することができる。
【0011】
また、第３態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記特定部が、前記物体検出技術を適用することにより、前記メータ画像に対して座標を設定し、設定した座標を用いて前記メータ画像における前記メータの位置を特定する。
【0012】
第３態様によれば、十分なリソースを有する自装置側で座標を設定することができ、端末装置で座標を設定する必要がなく、メータを撮影してメータ画像を送信するだけでよいため、端末装置の処理負荷を軽減することができる。
【0013】
また、第４態様に係る情報処理装置は、第１態様～第３態様の何れか１の態様に係る情報処理装置において、前記選択部が、前記メータ画像中のメータが示す測定値を読み取り、当該メータが示す測定値を読み取って得られた読取値を前記メータ画像に対応付ける。
【0014】
第４態様によれば、十分なリソースを有する自装置側でメータの測定値を読み取ることができ、端末装置でメータの測定値を入力する必要がなく、メータを撮影してメータ画像を送信するだけでよいため、端末装置の処理負荷を軽減することができる。
【0015】
また、第５態様に係る情報処理装置は、第４態様に係る情報処理装置において、前記選択部が、前記メータ画像を読み取る場合に、前記メータの測定範囲及び測定単位を設定する。
【0016】
第５態様によれば、十分なリソースを有する自装置側でメータの測定範囲及び測定単位を設定することができるため、端末装置の処理負荷を軽減することができる。
【0017】
また、第６態様に係る情報処理装置は、第４態様又は第５態様に係る情報処理装置において、前記選択部が、前記複数の学習済みモデルの各々に対して、前記メータ画像を入力し、前記複数の学習済みモデルの各々から、前記メータの推定値を取得し、取得した推定値が前記読取値と近似する学習済みモデルの少なくとも１つを前記メータに対応する学習済みモデルとして選択する。
【0018】
第６態様によれば、メータの推定値を用いてメータに対応する学習済みモデルを選択することができる。
【0019】
また、第７態様に係る情報処理装置は、第６態様に係る情報処理装置において、前記選択部が、前記複数の学習済みモデルの各々から、前記メータの推定値を取得すると共に、前記メータが取り得る各推定値を出力する確率を取得し、取得した推定値が前記読取値と近似する学習済みモデルのうち、前記メータの推定値として前記読取値を出力する確率がより高い学習済みモデルを前記メータに対応する学習済みモデルとして選択する。
【0020】
第７態様によれば、メータの推定値及び確率を用いてメータに対応する学習済みモデルを選択することができる。
【0021】
また、第８態様に係る情報処理装置は、第１態様～第３態様の何れか１の態様に係る情報処理装置において、前記メータ画像が、同一のメータで測定値が異なる複数のメータ画像であり、前記選択部が、前記複数のメータ画像中の各々のメータが示す測定値を読み取り、当該各々のメータが示す測定値を読み取って得られた読取値を前記複数のメータ画像の各々に対応付け、前記複数の学習済みモデルの各々に対して、前記複数のメータ画像を入力し、前記複数の学習済みモデルの各々から、前記メータの推定値を取得すると共に、前記メータが取り得る各推定値を出力する確率を取得し、取得した推定値及び前記メータの推定値として前記読取値を出力する確率から求まる、前記複数の学習済みモデルの各々についての評価値を用いて、前記複数の学習済みモデルの中から、前記メータに対応する学習済みモデルを選択する。
【0022】
第８態様によれば、複数の学習済みモデルの各々についての評価値を用いてメータに対応する学習済みモデルを選択することができる。
【0023】
また、第９態様に係る情報処理装置は、第８態様に係る情報処理装置において、前記評価値が、前記メータの推定値と前記読取値との差を二乗した値の和である二乗和と、前記メータの推定値として前記読取値を出力する確率の平均である平均確率と、を含む。
【0024】
第９態様によれば、評価値として二乗和及び平均確率を用いてメータに対応する学習済みモデルを選択することができる。
【0025】
また、第１０態様に係る情報処理装置は、第１態様～第９態様の何れか１の態様に係る情報処理装置において、前記メータ画像群を、前記メータが示す測定値に対応付けて機械学習することにより前記複数の学習済みモデルを生成する学習部を更に備え、前記学習部が、前記端末装置から定期的に新たなメータ画像を取得し、自装置が管理する、前記端末装置に提供した学習済みモデルと同じモデルに、前記取得したメータ画像を加えて追加学習し、前記提供部が、前記学習部により追加学習された学習済みモデルを前記端末装置に提供する。
【0026】
第１０態様によれば、学習済みモデルを定期的に追加学習することができるため、学習済みモデルの性能が低下することを抑制することができる。
【0027】
また、第１１態様に係る情報処理装置は、第１態様～第９態様の何れか１の態様に係る情報処理装置において、前記メータ画像群を、前記メータが示す測定値に対応付けて機械学習することにより前記複数の学習済みモデルを生成する学習部を更に備え、前記学習部が、前記端末装置に提供した学習済みモデルの性能が一定水準以下になった場合に、前記端末装置から新たなメータ画像を取得し、自装置が管理する、前記端末装置に提供した学習済みモデルと同じモデルに、前記取得したメータ画像を加えて追加学習し、前記提供部が、前記学習部により追加学習された学習済みモデルを前記端末装置に提供する。
【0028】
第１１態様によれば、学習済みモデルの性能が一定水準以下になった場合に、学習済みモデルを追加学習することができるため、学習済みモデルの性能が低下することを抑制することができる。
【0029】
また、第１２態様に係る情報処理装置は、第１１態様に係る情報処理装置において、前記学習部が、前記端末装置に提供した学習済みモデルにおける、前記メータの推定値として前記メータ画像を読み取って得られた読取値を出力する確率が閾値以下である場合に、前記端末装置に提供した学習済みモデルの性能が一定水準以下であると判定する。
【0030】
第１２態様によれば、メータの推定値として読取値を出力する確率が閾値以下である場合に、学習済みモデルを追加学習することができるため、学習済みモデルの性能が低下することを抑制することができる。
【0031】
更に、上記目的を達成するために、第１３態様に係るメータ読取システムは、第１態様～第１２態様の何れか１の態様に係る情報処理装置と、前記情報処理装置とネットワークを介して接続された端末装置と、を含み、前記端末装置が、前記情報処理装置から提供された学習済みモデルの入力を受け付ける受付部と、前記受付部により受け付けた学習済みモデルに対して、メータを撮影して得られたメータ画像を入力し、前記学習済みモデルから、前記メータの推定値を取得する読取部と、前記読取部により取得された前記メータの推定値を前記メータが示す測定値として前記情報処理装置に出力する出力部と、を備える。
【0032】
更に、上記目的を達成するために、第１４態様に係るメータ読取方法は、複数種類のメータを撮影して得られたメータ画像群を、メータが示す測定値に対応付けて機械学習することにより生成され、かつ、メータ画像を入力として、メータが示す測定値を推定した値である推定値を出力する複数の学習済みモデルをメータの種類毎に管理する情報処理装置と、前記情報処理装置とネットワークを介して接続された端末装置と、を含むメータ読取システムによるメータ読取方法であって、前記情報処理装置が、前記端末装置から、読取対象とするメータを撮影して得られたメータ画像を取得し、前記取得されたメータ画像から前記メータの種類を特定し、前記特定された種類に関連する複数の学習済みモデルの中から、前記メータに対応する学習済みモデルを選択し、前記選択された学習済みモデルを前記端末装置に提供し、前記端末装置が、前記情報処理装置から提供された学習済みモデルの入力を受け付け、前記受け付けた学習済みモデルに対して、前記メータを撮影して得られたメータ画像を入力し、前記学習済みモデルから、前記メータの推定値を取得し、前記取得された前記メータの推定値を前記メータが示す測定値として前記情報処理装置に出力する。
【0033】
更に、上記目的を達成するために、第１５態様に係る情報処理プログラムは、コンピュータを、第１態様～第１２態様の何れか１の態様に係る情報処理装置が備える各部として機能させる。
【0034】
第１３態様、第１４態様、及び第１５態様によれば、上記第１態様と同様に、リソースの少ない端末装置であっても、情報処理装置によって提供される学習済みモデルを用いることで、メータの種類によらず端末装置側でメータの読み取りを行うことができる。
【発明の効果】
【0035】
本発明によれば、端末装置側でメータの読み取りに必要な設定、及びメータの種類に応じた学習済みモデルの選択を要することなく、メータの読み取りを行うことができる。
【図面の簡単な説明】
【0036】
【図1】実施形態に係るメータ読取システムの構成の一例を示す図である。
【図2】実施形態に係る学習済みモデルＤＢの一例を示す図である。
【図3】実施形態に係る情報処理装置の電気的な構成の一例を示すブロック図である。
【図4】実施形態に係る端末装置の電気的な構成の一例を示すブロック図である。
【図5】実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。
【図6】実施形態に係るメータ画像の一例を示す図である。
【図7】メータ画像に対して座標を設定する方法の説明に供する図である。
【図8】実施形態に係る学習済みモデルの選択方法の説明に供する図である
【図9】実施形態に係る別の学習済みモデルの選択方法の説明に供する図である。
【図10】実施形態に係る複数の学習済みモデルの各々に対して分類番号の異なる複数のメータ画像を入力した場合の評価結果テーブルの一例を示す図である。
【図11】実施形態に係る端末装置の機能的な構成の一例を示すブロック図である。
【図12】実施形態に係る情報処理プログラムによるモデル提供処理の流れの一例を示すフローチャートである。
【図13】実施形態に係る端末装置の制御プログラムによる処理の流れの一例を示すフローチャートである。
【図14】実施形態に係る情報処理プログラムによる学習処理の流れの一例を示すフローチャートである。
【図15】実施形態に係る学習用画像セットと学習済みモデルとの対応関係の説明に供する図である。
【図16】実施形態に係る情報処理プログラムによる追加学習処理の流れの一例を示すフローチャートである。
【図17】実施形態に係る情報処理プログラムによる追加学習処理の流れの他の例を示すフローチャートである。
【発明を実施するための形態】
【0037】
以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、本実施形態では、本発明と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。
【0038】
図１は、本実施形態に係るメータ読取システム９０の構成の一例を示す図である。
【0039】
図１に示すように、本実施形態に係るメータ読取システム９０は、情報処理装置１０と、端末装置２０と、設定用タブレット端末３０と、を備えている。メータ読取システム９０は、例えば、工場、事業所、ビル等に設置された複数種類のメータの測定値を、人手を介さずに自動的に読み取るためのシステムである。
【0040】
本実施形態において読み取りの対象とするメータには、例えば、目盛りと指針によって測定値を示すアナログ式メータ、７セグメント表示器によって測定値を示すデジタル式メータ、数値が刻印又は印字された複数の回転ダイヤルによって測定値を示す回転式メータ、その他目盛り間隔が一定ではない電流計タイプのメータ等が含まれる。
【0041】
端末装置２０及びカメラ２００は、一例として、工場に設けられている。端末装置２０には、カメラ２００が接続されている。カメラ２００は、端末装置２０と一体的に設けられていてもよいし、別体で設けられていてもよい。カメラ２００は、工場内に設置されているメータを撮影して得られたメータの画像（以下、「メータ画像」という。）を端末装置２０に送信する。なお、１台のカメラ２００で撮影可能なメータは１つでもよいし、複数でもよい。カメラ２００は、メータを撮影可能な位置に固定されている。また、メータ画像は、動画であってもよく、動画の場合、１フレームの画像とされる。カメラ２００には、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続、ネットワーク接続等、各種の接続形態が適用可能であり、その形態は特に限定されない。
【0042】
端末装置２０は、所謂エッジ端末とも呼ばれ、工場内に設置された端末装置である。端末装置２０は、カメラ２００でメータを撮影して得られたメータ画像をカメラ２００から取得する。端末装置２０に接続されるカメラ２００は、１台でもよいし、複数台でもよい。
【0043】
情報処理装置１０には、例えば、汎用的なサーバコンピュータ、パーソナル・コンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等が適用される。情報処理装置１０は、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークＮを介して端末装置２０及び設定用タブレット端末３０の各々と接続される。
【0044】
情報処理装置１０は、複数の学習済みモデルをメータの種類毎に管理するための学習済みモデルＤＢ（Ｄａｔａ Ｂａｓｅ）１５０を有している。学習済みモデルＤＢ１５０は、情報処理装置１０に内蔵されていてもよいし、外部の記憶装置に格納されていてもよい。学習済みモデルは、複数種類のメータを撮影して得られたメータ画像群を、メータが示す測定値に対応付けて機械学習することにより生成される。学習済みモデルは、メータ画像を入力として、メータが示す測定値を推定した値である推定値を出力するモデルである。情報処理装置１０は、学習済みモデルを端末装置２０に送信し、端末装置２０が学習済みモデルを用いてメータ画像から推定値を出力する。よって端末装置２０は、自装置内で学習済みモデルの生成をする必要がなく、また、撮影の都度、メータ画像を情報処理装置１０に送信しなくてもよい。
【0045】
図２は、本実施形態に係る学習済みモデルＤＢ１５０の一例を示す図である。
【0046】
図２に示すように、学習済みモデルＤＢ１５０には、複数種類のメータについての学習済みモデルが登録されている。学習済みモデルには、例えば、ニューラルネットワークのモデルが用いられる。なお、メータの種類としては、例えば、アナログ円形、アナログ扇形、デジタル７セグメント式、デジタル回転式等、様々な種類が挙げられる。図２の例では、アナログ円形、アナログ扇形、デジタル７セグメント式の３つの種類のメータについての学習済みモデルが登録されている。具体的には、各メータについて用途を把握した上で、同じ種類の複数個の学習済みモデルを１つのセットにして管理する。但し、学習済みモデルは単体で管理してもよい。図２の例では、アナログ円形の学習済みモデルをセットにした円形モデルセット１５０Ａ、アナログ扇形の学習済みモデルをセットにした扇形モデルセット１５０Ｂ、及び、デジタル７セグメント式の学習済みモデルをセットにしたデジタルモデルセット１５０Ｃとして管理される。
【0047】
設定用タブレット端末３０は、作業担当者等が使用する端末機器であり、情報処理装置１０にネットワークＮを介してアクセス可能とされる。作業担当者等は設定用タブレット端末３０から情報処理装置１０に対してメータの読み取りに関する各種の設定を行うことができる。
【0048】
図３は、本実施形態に係る情報処理装置１０の電気的な構成の一例を示すブロック図である。
【0049】
図３に示すように、本実施形態に係る情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、入出力インタフェース（Ｉ／Ｏ）１４と、記憶部１５と、表示部１６と、操作部１７と、通信部１８と、を備えている。
【0050】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４は、バスを介して各々接続されている。Ｉ／Ｏ１４には、記憶部１５と、表示部１６と、操作部１７と、通信部１８と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１４を介して、ＣＰＵ１１と相互に通信可能とされる。
【0051】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４によって制御部が構成される。制御部は、情報処理装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、情報処理装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部の各ブロックの一部又は全部には、例えば、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路又はＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
【0052】
記憶部１５としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等が用いられる。記憶部１５には、本実施形態に係る情報処理プログラム１５Ａが記憶される。なお、この情報処理プログラム１５Ａは、ＲＯＭ１２に記憶されていてもよい。
【0053】
情報処理プログラム１５Ａは、例えば、情報処理装置１０に予めインストールされていてもよい。情報処理プログラム１５Ａは、不揮発性の記憶媒体に記憶して、又はネットワークＮを介して配布して、情報処理装置１０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。
【0054】
表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が用いられる。操作部１７には、例えば、キーボード、マウス等の入力デバイスが設けられており、入力デバイスを介してユーザからの操作入力を受け付ける。
【0055】
通信部１８は、インターネット、ＬＡＮ、ＷＡＮ等のネットワークＮに接続されており、端末装置２０及び設定用タブレット端末３０の各々との間でネットワークＮを介して通信が可能とされる。
【0056】
図４は、本実施形態に係る端末装置２０の電気的な構成の一例を示すブロック図である。
【0057】
図４に示すように、本実施形態に係る端末装置２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、Ｉ／Ｏ２４と、記憶部２５と、外部Ｉ／Ｆ２６と、通信部２７と、を備えている。
【0058】
ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、及びＩ／Ｏ２４は、バスを介して各々接続されている。Ｉ／Ｏ２４には、記憶部２５と、外部Ｉ／Ｆ２６と、通信部２７と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ２４を介して、ＣＰＵ２１と相互に通信可能とされる。
【0059】
ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、及びＩ／Ｏ２４によって制御部が構成される。制御部は、端末装置２０の一部の動作を制御するサブ制御部として構成されてもよいし、端末装置２０の全体の動作を制御するメイン制御部の一部として構成されてもよい。
【0060】
記憶部２５としては、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等が用いられる。記憶部２５には、端末装置２０の動作を制御するための制御プログラム（図示省略）が記憶される。なお、この制御プログラムは、ＲＯＭ２２に記憶されていてもよい。なお、記憶部２５には、情報処理装置１０から取得した学習済みモデルが記憶される。
【0061】
制御プログラムは、例えば、端末装置２０に予めインストールされていてもよい。制御プログラムは、不揮発性の記憶媒体に記憶して、又はネットワークＮを介して配布して、端末装置２０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ、フラッシュメモリ、メモリカード等が想定される。
【0062】
外部Ｉ／Ｆ２６は、カメラ２００等の外部機器を接続するためのインタフェースであり、例えば、ＵＳＢ等である。
【0063】
通信部２７は、インターネット、ＬＡＮ、ＷＡＮ等のネットワークＮに接続されており、情報処理装置１０との間でネットワークＮを介して通信が可能とされる。
【0064】
ところで、上述したように、端末装置２０はプロセッサ、メモリ等のリソースが十分ではないため、メータの読み取りに必要な設定を端末装置２０側で行うことは負荷が大きく望ましくない。
【0065】
このため、本実施形態に係る情報処理装置１０のＣＰＵ１１は、記憶部１５に記憶されている情報処理プログラム１５ＡをＲＡＭ１３に書き込んで実行することにより、図５に示す各部として機能する。
【0066】
図５は、本実施形態に係る情報処理装置１０の機能的な構成の一例を示すブロック図である。
【0067】
図５に示すように、本実施形態に係る情報処理装置１０のＣＰＵ１１は、取得部１１Ａ、特定部１１Ｂ、選択部１１Ｃ、提供部１１Ｄ、及び学習部１１Ｅとして機能する。
【0068】
取得部１１Ａは、端末装置２０から、一例として、図６に示すように、読取対象とするメータを撮影して得られたメータ画像を取得する。
【0069】
図６は、本実施形態に係るメータ画像の一例を示す図である。
【0070】
図６に示すメータ画像は、アナログ円形のメータを撮影して得られた画像であり、メータの指針は「２０」を示している。
【0071】
特定部１１Ｂは、取得部１１Ａにより取得されたメータ画像からメータの種類を特定する。メータの種類には、上述したように、例えば、アナログ円形、アナログ扇形、デジタル７セグメント式、デジタル回転式等、様々な種類がある。特定部１１Ｂは、例えば、物体検出技術を適用して、メータ画像からメータの種類を特定する。図６の例では、メータの種類として、「アナログ円形」が特定される。物体検出技術には、例えば、公知のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ－ＣＮＮ）、ＹＯＬＯ等のモデルを登録した物体検出モデルＤＢ１６０を用いることができるが、他の技術を用いてもよい。物体検出モデルＤＢ１６０は、例えば、記憶部１５に記憶されている。物体検出モデルは、メータ画像が入力されると、メータ画像からメータを検出してメータの種類を出力するように機械学習されたモデルである。
【0072】
また、特定部１１Ｂは、上記物体検出技術を適用することにより、一例として、図７に示すように、メータ画像に対して座標を設定し、設定した座標を用いてメータ画像におけるメータの位置、つまり、メータ本体部分の位置を特定する。メータ画像に対して、上記物体検出技術を適用することにより、メータの種類及びメータ画像におけるメータ本体部分の位置が特定される。メータ本体部分の位置を示す座標情報は、学習済みモデルと共に端末装置２０に送信され、端末装置２０でのメータ読み取りに用いられる。
【0073】
図７は、メータ画像に対して座標を設定する方法の説明に供する図である。
【0074】
図７に示すように、メータ画像を構成する４つの端点のうちの１点を基準点Ｐ（０，０）として、基準点からの距離（画素数）をＸＹ座標として表す。これにより、メータ本体部分を表す特徴点を座標として表すことができる。つまり、メータ画像におけるメータの位置が、ＸＹ座標として特定される。
【0075】
選択部１１Ｃは、特定部１１Ｂにより特定された種類に関連する複数の学習済みモデルを学習済みモデルＤＢ１５０から読み出し、読み出した複数の学習済みモデルの中から、メータに対応する学習済みモデルを選択する。具体的に、選択部１１Ｃは、メータ画像中のメータが示す測定値を読み取り、当該メータが示す測定値を読み取って得られた読取値をメータ画像に対応付ける。具体的に、メータの読取値に対して、メータの読取値を分類するための番号（以下、「分類番号」という。）を割り当て、割り当てた分類番号をメータ画像に対応付けて登録する。上述の図６の例では、メータの読取値が「２０」であるため、分類番号として「２０」が登録される。この場合、メータの読取値と分類番号とが１対１に対応している。また、メータが取り得る推定値を複数のパターンに分類し、分類したパターンの数を１００％として、メータの読取値を％値で表してもよい。具体的に、アナログ円形の場合は分類パターンの数を例えば２４０とし、２４０を１００％として、メータの読取値を％値として表す。メータ画像の読み取りには、公知の画像処理技術を用いてもよいし、ＣＮＮ（畳み込みニューラルネットワーク）を用いてもよい。また、メータ画像を表示部１６に表示させて、メータが示す測定値を作業担当者等が目視で確認した値を操作部１７から受け付けて、メータの読取値としてもよい。
【0076】
なお、選択部１１Ｃは、メータ画像を読み取る場合に、メータの測定範囲及び測定単位を設定するようにしてもよい。上述の図６の例では、メータの測定範囲として、「０～６０」、測定単位として、「Ｖ（ボルト）」が設定される。例えば、表示部１６に設定画面を表示させ、設定画面を介して作業担当者等から測定範囲及び測定単位の設定を受け付けるようにしてもよい。
【0077】
選択部１１Ｃの処理は、特定部１１Ｂにより特定されたメータの種類に関連する学習済みモデルを選択する処理である。つまり、この学習済みモデルは、学習モデルの設計によって変わってくるため、同一種類のメータに対して複数存在し、その中から適切な学習済みモデルを選択する処理である。選択に際し、取得したメータ画像を、選択した学習済みモデルに入力して推定（推論ともいう）を行う。推定とは、入力したメータ画像に対してメータの推定値として分類番号を出力する処理である。なお、学習モデルの学習では、予め複数種類のメータを撮影して得られた大量のメータ画像について、メータの測定値に対応する分類番号を割り当てて分類しておく。分類番号が多いほど、メータ画像も多くなる。これらのメータ画像を用いて一例としてニューラルネットワークのモデルを機械学習する。機械学習の学習手法には、例えば、ディープラーニングが用いられる。学習した結果は、学習済みモデルとして出力され、学習済みモデルＤＢ１５０に格納される。この学習済みモデルは、あるメータの測定値が撮影されたメータ画像を入力すると、ニューラルネットワークの計算によって分類したときの分類番号を出力する。
【0078】
選択部１１Ｃは、複数の学習済みモデルの各々に対して、メータ画像を入力し、複数の学習済みモデルの各々から、メータの推定値として分類番号を取得する。そして、選択部１１Ｃは、一例として、図８に示すように、取得した推定値が読取値と近似する学習済みモデルの少なくとも１つをメータに対応する学習済みモデルとして選択する。なお、近似とは、推定値と読取値とが一致する場合、推定値と読取値との差が予め定めた範囲内である場合を含む。複数の学習済みモデルが該当する場合、予め定めた数（例えば３つ）の学習済みモデルを選択するようにしてもよい。
【0079】
図８は、本実施形態に係る学習済みモデルの選択方法の説明に供する図である。
【0080】
図８に示すように、端末装置２０から得られたメータ画像を、学習済みモデルＡ１及び学習済みモデルＡ２に入力すると、学習済みモデルＡ１及び学習済みモデルＡ２の各々から分類番号及び確率が出力される。確率とは、メータが取り得る各推定値（分類番号）を出力する確率を表している。確率は、メータの推定値（分類番号）毎に導出される。図８の例では、読取値が「２０」であるメータ画像に対して、学習済みモデルＡ１が分類番号「２０」及び分類番号「２０」を出力する確率「７０％」を出力し、学習済みモデルＡ２が分類番号「２５」及び分類番号「２５」を出力する確率「８６％」を出力する。つまり、学習済みモデルＡ１は読取値と一致したデータを出力し、学習済みモデルＡ２は間違ったデータを出力している。この場合、学習済みモデルＡ２は不適当であり、学習済みモデルＡ１が選択される。
【0081】
また、選択部１１Ｃは、上述したように、複数の学習済みモデルの各々から、メータの推定値として分類番号及び確率を取得する。そして、選択部１１Ｃは、一例として、図９に示すように、取得した分類番号が読取値と近似する学習済みモデルのうち、メータの推定値として読取値を出力する確率がより高い学習済みモデルをメータに対応する学習済みモデルとして選択してもよい。
【0082】
図９は、本実施形態に係る別の学習済みモデルの選択方法の説明に供する図である。
【0083】
図９に示すように、端末装置２０から得られたメータ画像を、学習済みモデルＢ１及び学習済みモデルＢ１－２００に入力すると、学習済みモデルＢ１及び学習済みモデルＢ１－２００の各々から分類番号及び確率が出力される。図９の例では、読取値が「２０」であるメータ画像に対して、学習済みモデルＢ１が分類番号「２０」及び分類番号「２０」を出力する確率「７５％」を出力し、学習済みモデルＢ１－２００が分類番号「２０」及び分類番号「２０」を出力する確率「９３％」を出力する。つまり、学習済みモデルＢ１及び学習済みモデルＢ１－２００の各々は読取値を出力している。この場合、学習済みモデルＢ１－２００の確率が学習済みモデルＢ１の確率よりも高いため、学習済みモデルＢ１－２００が選択される。
【0084】
また、分類番号の異なるメータ画像を使用した推定を複数回行い、学習済みモデルを選択してもよい。この場合、メータ画像は、同一のメータで測定値が異なる複数のメータ画像である。選択部１１Ｃは、複数のメータ画像中の各々のメータが示す測定値を読み取り、当該各々のメータが示す測定値を読み取って得られた読取値を複数のメータ画像の各々に対応付ける。そして、選択部１１Ｃは、複数の学習済みモデルの各々に対して、複数のメータ画像を入力し、複数の学習済みモデルの各々から、メータの推定値を分類番号として取得すると共に、メータが取り得る各推定値（分類番号）を出力する確率を取得する。そして、選択部１１Ｃは、取得した推定値（分類番号）及び推定値として読取値を出力する確率から求まる、複数の学習済みモデルの各々についての評価値を用いて、複数の学習済みモデルの中から、メータに対応する学習済みモデルを選択する。評価値は、推定値（分類番号）と読取値との差を二乗した値の和である二乗和と、推定値（分類番号）として読取値を出力する確率の平均である平均確率と、を含む。
【0085】
図１０は、本実施形態に係る複数の学習済みモデルの各々に対して分類番号の異なる複数のメータ画像を入力した場合の評価結果テーブルの一例を示す図である。
【0086】
図１０に示す評価結果テーブルの例は、分類番号の異なる複数のメータ画像として、例えば、分類番号「２０」、「５０」、「９０」の３つのメータ画像を、学習済みモデルＡ１、Ａ２、Ｂ１、Ｂ１－２００の各々に入力し、学習済みモデル毎に、分類番号及び確率を出力した結果について示している。確率を表す値は、学習済みモデルが出力した分類番号を出力する確率を示し、確率の括弧内の値は、メータの推定値（分類番号）として読取値を出力する確率を示している。これらの学習済みモデルの各々についての評価値には、上述したように、誤差二乗和及び平均確率が用いられる。この場合、誤差二乗和が小さく、平均確率が高いモデルを選択することが望ましい。図１０の例では、学習済みモデルＡ１及び学習済みモデルＢ１－２００の誤差二乗和は「１」であり、学習済みモデルＡ２の誤差二乗和は「２６」、学習済みモデルＢ１の誤差二乗和は「５」である。このため、学習済みモデルＡ２、Ｂ１は除外する。学習済みモデルＡ１、Ｂ１－２００では、平均確率が学習済みモデルＢ１－２００の方が高いため、最終的に学習済みモデルＢ１－２００を選択する。
【0087】
提供部１１Ｄは、選択部１１Ｃにより選択された学習済みモデルを端末装置２０に提供する。つまり、提供部１１Ｄは、通信部１８を介して学習済みモデルを端末装置２０に送信する制御を行う。端末装置２０に送信する学習済みモデルは１つでもよいし、評価値によって定まる優先順位の高い順に２つ以上であってもよい。但し、大量の学習済みモデルを送信することは、端末装置２０の記憶容量を圧迫するため、少ない方が望ましい。また、通常、提供部１１Ｄから端末装置２０に学習済みモデルを提供するのは、端末装置２０を初めて設置する場合など、適当な学習済みモデルを端末装置２０が保持してない場合にモデル提供処理の指示を受けた場合である。しかし、メータの読取精度の向上を目的として定期的に学習済みモデルの精度を確認し、新たな学習済みモデルを生成した場合や、端末装置２０の照明環境などが何らかの理由で変化する等して、端末装置２０から送信されてくるメータの推定値の精度が低下したことを検知し、学習済みモデルを再学習して新たな学習済みモデルを生成した場合などにも、端末装置２０に対して学習済みモデルを提供する場合がある。詳細は後述する。
【0088】
学習部１１Ｅは、予め複数種類のメータを撮影して得られたメータ画像群を、メータが示す測定値に対応付けて機械学習することにより複数の学習済みモデルを生成する。機械学習の学習手法には、上述したように、例えば、ディープラーニングが用いられる。そして、提供部１１Ｄは、学習部１１Ｅにより学習された結果である学習済みモデルを出力して学習済みモデルＤＢ１５０に格納する。
【0089】
一方、本実施形態に係る端末装置２０のＣＰＵ２１は、記憶部２５に記憶されている制御プログラムをＲＡＭ２３に書き込んで実行することにより、図１１に示す各部として機能する。
【0090】
図１１は、本実施形態に係る端末装置２０の機能的な構成の一例を示すブロック図である。
【0091】
図１１に示すように、本実施形態に係る端末装置２０のＣＰＵ２１は、受付部２１Ａ、読取部２１Ｂ、及び出力部２１Ｃとして機能する。
【0092】
受付部２１Ａは、情報処理装置１０から提供された、メータに対応する学習済みモデル（例えば、円形モデルセット１５０Ａ）の入力を受け付ける。受け付けた学習済みモデル（例えば、円形モデルセット１５０Ａ）は記憶部２５に記憶される。
【0093】
読取部２１Ｂは、受付部２１Ａにより受け付けた学習済みモデルに対して、読取対象とするメータを撮影して得られたメータ画像を入力し、学習済みモデルから、メータの推定値（分類番号）を取得する。
【0094】
出力部２１Ｃは、読取部２１Ｂにより取得されたメータの推定値（分類番号）をメータが示す測定値として情報処理装置１０に出力する。つまり、出力部２１Ｃは、通信部２７を介してメータが示す測定値を情報処理装置１０に送信する制御を行う。送信するメータの測定値は、例えば、％値、数値等のテキストデータとして送信する。なお、画像データとして送信する場合もある。
【0095】
次に、図１２を参照して、本実施形態に係る情報処理装置１０の作用を説明する。
【0096】
図１２は、本実施形態に係る情報処理プログラム１５Ａによるモデル提供処理の流れの一例を示すフローチャートである。
【0097】
まず、端末装置２０を初めて設置する場合など、端末装置２０に適当な学習済みモデルが設定されていない場合に、情報処理装置１０に対してモデル提供処理の指示がなされると、情報処理プログラム１５Ａが起動され、以下の各処理を実行する。
【0098】
【0099】
ステップＳ１０２では、ＣＰＵ１１が、ステップＳ１０１で取得したメータ画像から、例えば、機械学習による物体検出技術を用いて、メータの種類を特定する。
【0100】
ステップＳ１０３では、ＣＰＵ１１が、例えば、画像処理技術を用いて、メータ画像を読み取り、読み取って得られた読取値をメータ画像に対応付ける。
【0101】
ステップＳ１０４では、ＣＰＵ１１が、ステップＳ１０２で特定した種類に関連する複数の学習済みモデルを学習済みモデルＤＢ１５０から読み出し、読み出した複数の学習済みモデルの中から、メータに対応する学習済みモデルを選択する。具体的には、上述したように、複数の学習済みモデルの各々に対して、メータ画像を入力し、複数の学習済みモデルの各々から、メータの推定値及び確率を取得する。例えば、上述の図８に示すように、取得した推定値が読取値と近似する学習済みモデルの少なくとも１つをメータに対応する学習済みモデルとして選択する。また、上述の図９に示すように、取得した推定値が読取値と近似する学習済みモデルのうち、メータの推定値として読取値を出力する確率がより高い学習済みモデルをメータに対応する学習済みモデルとして選択してもよい。また、上述の図１０に示すように、複数の学習済みモデルの各々についての評価値を用いて学習済みモデルを選択してもよい。
【0102】
ステップＳ１０５では、ＣＰＵ１１が、ステップＳ１０４で選択した学習済みモデルを端末装置２０に提供する、つまり、通信部１８を介して学習済みモデルを端末装置２０に送信する制御を行う。このとき、学習済みモデルと共に、メータ画像におけるメータの位置を示す座標情報も送信する。
【0103】
ステップＳ１０６では、ＣＰＵ１１が、終了タイミングが到来したか否かを判定する。終了タイミングが到来していないと判定した場合（否定判定の場合）、ステップＳ１０１に戻り処理を繰り返し、終了タイミングが到来したと判定した場合（肯定判定の場合）、本情報処理プログラム１５Ａによる一連のモデル提供処理を終了する。なお、終了タイミングには、例えば、ユーザによりモデル提供処理の終了が指示された場合、読取対象として予め定めたメータの撮影が終了した場合等が含まれる。
【0104】
次に、図１３を参照して、本実施形態に係る端末装置２０の作用を説明する。
【0105】
図１３は、本実施形態に係る端末装置２０の制御プログラムによる処理の流れの一例を示すフローチャートである。
【0106】
まず、端末装置２０に対してメータ読取処理の指示がなされると、制御プログラムが起動され、以下の各処理を実行する。メータ読取処理の指示は、情報処理装置１０から任意のタイミングで指示されてもよく、また、情報処理装置１０から予め登録された所定のタイミングで指示されもよい。
【0107】
図１３のステップＳ１１１では、ＣＰＵ２１が、カメラ２００から、読取対象とするメータを撮影して得られたメータ画像を取得する。
【0108】
ステップＳ１１２では、ＣＰＵ２１が、ステップＳ１１１で取得したメータ画像を一時的に記憶部２５に記憶する。このとき、メータ画像をＪＰＥＧ等の画像ファイルに変換してから取り込むようにしてもよい。
【0109】
ステップＳ１１３では、ＣＰＵ２１が、メータ画像の送信タイミングが到来したか否かを判定する。メータ画像の送信タイミングが到来したと判定した場合（肯定判定の場合）、ステップＳ１１４に移行し、メータ画像の送信タイミングが到来していないと判定した場合（否定判定の場合）、ステップＳ１１３で待機となる。
【0110】
ステップＳ１１４では、ＣＰＵ２１が、ステップＳ１１２で記憶部２５に記憶したメータ画像を情報処理装置１０に出力する、つまり、通信部２７を介してメータ画像を情報処理装置１０に送信する制御を行う。この場合、メータ画像は定期的にまとめて送信される。なお、メータ画像を一時的に記憶することなく直ちに送信するようにしてもよい。例えば、導入設定時にはメータ画像が少量であるため、１つ又は少量のメータ画像を送信するようにし、運用時にはある程度まとまった量のメータ画像を送信するようにしてもよい。
【0111】
ステップＳ１１５では、ＣＰＵ２１が、情報処理装置１０から、メータに対応する学習済みモデルが取得済みであるか否かを判定する。学習済みモデルが取得済みであると判定した場合（肯定判定の場合）、ステップＳ１１７に移行し、学習済みモデルが取得済みではない、つまり、取得されていないと判定した場合（否定判定の場合）、ステップＳ１１６に移行する。
【0112】
ステップＳ１１６では、ＣＰＵ２１が、情報処理装置１０から取得された学習済みモデルを記憶部２５に記憶する。このとき、学習済みモデルと共に取得された、メータ画像におけるメータの位置を示す座標情報も記憶する。なお、学習済みモデルと座標情報とは別々に取得されてもよい。つまり、情報処理装置１０から学習済みモデルだけが送信される場合もあり、座標情報だけが送信される場合もある。
【0113】
ステップＳ１１７では、ＣＰＵ２１が、学習済みモデル及び座標情報を用いて、メータ画像からメータを読み取る、つまり、メータ画像を学習済みモデルに入力し、学習済みモデルから、メータの推定値を取得する。
【0114】
ステップＳ１１８では、ＣＰＵ２１が、ステップＳ１１７で読み取った読み取り結果（メータの推定値）をメータの測定値として情報処理装置１０に出力する、つまり、通信部２７を介してメータの測定値を情報処理装置１０に送信する制御を行う。なお、メータの測定値は、ある程度まとめて送信してもよいし、その都度送信するようにしてもよい。
【0115】
ステップＳ１１９では、ＣＰＵ２１が、終了タイミングが到来したか否かを判定する。終了タイミングが到来していないと判定した場合（否定判定の場合）、ステップＳ１２０に移行し、終了タイミングが到来したと判定した場合（肯定判定の場合）、本制御プログラムによる一連のメータ読取処理を終了する。なお、終了タイミングには、例えば、ユーザによりメータ読取処理の終了が指示された場合等が含まれる。
【0116】
ステップＳ１２０では、ＣＰＵ２１が、メータ読取タイミングが到来したか否かを判定する。メータ読取タイミングが到来したと判定した場合（肯定判定の場合）、ステップＳ１２１に移行し、メータ読取タイミングが到来していないと判定した場合（否定判定の場合）、ステップＳ１２０で待機となる。
【0117】
ステップＳ１２１では、ＣＰＵ２１が、カメラ２００から、メータ画像を読取対象として取得し、ステップＳ１１７に戻り処理を繰り返す。つまり、端末装置２０が情報処理装置１０から学習済みモデルを取得した後は、この学習済みモデルを用いて端末装置２０のみでメータの読み取りを行うことができる。なお、上記ステップＳ１１７において、学習済みモデルを１つのメータに対して複数保持している場合には、メータの推定値を学習済みモデル分、複数取得するようにし、上記ステップＳ１１８において読み取り結果として全ての推定値を送信するようにしてもよい。これにより、情報処理装置１０において、それらの読み取り結果を様々な視点から解析し、新たなモデル作成にフィードバックさせることも可能である。
【0118】
次に、図１４を参照して、情報処理装置１０による学習処理について説明する。
【0119】
図１４は、本実施形態に係る情報処理プログラム１５Ａによる学習処理の流れの一例を示すフローチャートである。
【0120】
まず、情報処理装置１０に対して学習処理の指示がなされると、情報処理プログラム１５Ａが起動され、以下の各処理を実行する。
【0121】
図１４のステップＳ１３１では、ＣＰＵ１１が、自装置のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面から直接、又は設定用タブレット端末３０から、メータの種類の指定を受け付ける。
【0122】
ステップＳ１３２では、ＣＰＵ１１が、学習モデルの一例であるニューラルネットワークのモデルの設計を行う。具体的に、ニューラルネットワークの場合、例えば、ノードの個数、ネットワーク層の数等を含むパラメータを画像の種類に合わせて設計する。
【0123】
ステップＳ１３３では、ＣＰＵ１１が、ステップＳ１３２で指定した種類について予め準備した大量のメータ画像からなるメータ画像群を取得する。
【0124】
ステップＳ１３４では、ＣＰＵ１１が、ステップＳ１３２で設計した学習モデルについて、ステップＳ１３３で取得したメータ画像群を用いて機械学習を行う。具体的に、教師データ（正解データ）有りのメータ画像を用いて、ディープラーニングを実施して、ニューラルネットワークのモデルのパラメータを決定する。
【0125】
ステップＳ１３５では、ＣＰＵ１１が、ステップＳ１３４での機械学習により学習済みモデルを生成する。学習済みモデルは、メータ画像を入力とし、メータの推定値を出力するモデルである。生成した学習済みモデルは種類毎に学習済みモデルＤＢ１５０に格納される。
【0126】
ステップＳ１３６では、ＣＰＵ１１が、学習対象として予め定めておいた全ての種類（１種類でもよい）について学習済みモデルを生成したか否かを判定する。全ての種類について学習済みモデルを生成していないと判定した場合（否定判定の場合）、ステップＳ１３１に戻り処理を繰り返し、全ての種類について学習済みモデルを生成したと判定した場合（肯定判定の場合）、本情報処理プログラム１５Ａによる一連の学習処理を終了する。
【0127】
図１５は、本実施形態に係る学習用画像セットと学習済みモデルとの対応関係の説明に供する図である。
【0128】
図１５に示すように、学習済みモデルは、モデルの設計によって異なる、パラメータの設計の他、例えば、学習に使用する画像の枚数、画像の種類、学習に要する反復回数等によっても変わってくるため、同じメータ画像から測定値を推定する場合、多くの学習済みモデルが生成されることになる。図１５の例では、学習モデルＡに対して、画像セット１のメータ画像群について反復回数を１００回として、機械学習した場合、学習済みモデルＡ１が生成される。また、学習モデルＡに対して、画像セット２のメータ画像群について反復回数を１００回として、機械学習した場合、学習済みモデルＡ２が生成される。また、学習モデルＢに対して、画像セット１のメータ画像群について反復回数を１００回として、機械学習した場合、学習済みモデルＢ１が生成される。また、学習モデルＢに対して、画像セット２のメータ画像群について反復回数を２００回として、機械学習した場合、学習済みモデルＢ１－２００が生成される。
【0129】
次に、本実施形態に係る情報処理装置１０による追加学習処理について説明する。例えば、照明環境の変化、季節の変化に伴う自然光（日差し）の変化によってカメラ２００の撮影環境が変化することがある。この撮影環境の変化に起因して、学習済みモデルのメータ読取精度が低下してくる場合がある。このため、端末装置２０に提供した学習済みモデルを定期的に追加学習することが望ましい。なお、追加学習とは、学習済みモデルに対して新たなメータ画像を追加して再学習することをいう。
【0130】
例えば、学習部１１Ｅは、端末装置２０から定期的（例えば、１ヶ月毎）に新たなメータ画像を取得し、自装置が管理する、端末装置２０に提供した学習済みモデルと同じモデルに、取得した新たなメータ画像を加えて追加学習する。なお、学習に用いるメータ画像は、新たなメータ画像を取得した後、そのメータ画像を大量に複製（アノテーション）し学習用画像としてもよい。提供部１１Ｄは、学習部１１Ｅにより追加学習された学習済みモデルを端末装置２０に提供する。端末装置２０では、記憶している学習済みモデルを、追加学習された学習済みモデルに更新する。このようにすることで、学習済みモデルを、現状を加味したモデルとして維持し続けることができ、メータ読取精度の低下を軽減することが可能となる。
【0131】
図１６は、本実施形態に係る情報処理プログラム１５Ａによる追加学習処理の流れの一例を示すフローチャートである。
【0132】
まず、情報処理装置１０に対して追加学習処理の指示がなされると、情報処理プログラム１５Ａが起動され、以下の各処理を実行する。
【0133】
図１６のステップＳ１４１では、ＣＰＵ１１が、端末装置２０に学習済みモデルを提供してから一定期間（例えば、１ヶ月）が経過したか否かを判定する。一定期間が経過したと判定した場合（肯定判定の場合）、ステップＳ１４２に移行し、一定期間が経過していないと判定した場合（否定判定の場合）、ステップＳ１４１で待機となる。
【0134】
ステップＳ１４２では、ＣＰＵ１１が、端末装置２０から、カメラ２００によって撮影された、同一のメータについての新たなメータ画像を取得する。
【0135】
ステップＳ１４３では、ＣＰＵ１１が、自装置が管理する、端末装置２０に提供した学習済みモデルと同じモデルに、ステップＳ１４２で取得した新たなメータ画像を加えて追加学習する。なお、端末装置２０に提供した学習済みモデルと同じ学習済みモデルは、学習済みモデルＤＢ１５０に格納されている。
【0136】
ステップＳ１４４では、ＣＰＵ１１が、ステップＳ１４３で追加学習した学習済みモデルを端末装置２０に提供する、つまり、通信部１８を介して追加学習した学習済みモデルを端末装置２０に送信する制御を行う。
【0137】
ステップＳ１４５では、ＣＰＵ１１が、終了タイミングが到来したか否かを判定する。終了タイミングが到来していないと判定した場合（否定判定の場合）、ステップＳ１４１に戻り処理を繰り返し、終了タイミングが到来したと判定した場合（肯定判定の場合）、本情報処理プログラム１５Ａによる一連の追加学習処理を終了する。
【0138】
また、学習部１１Ｅは、端末装置２０に提供した学習済みモデルの性能が一定水準以下になった場合に、端末装置２０から新たなメータ画像を取得し、自装置が管理する、端末装置２０に提供した学習済みモデルと同じモデルに、取得した新たなメータ画像を加えて追加学習してもよい。例えば、学習部１１Ｅは、端末装置２０に提供した学習済みモデルにおける、メータの推定値として読取値を出力する確率が閾値以下である場合に、端末装置２０に提供した学習済みモデルの性能が一定水準以下であると判定する。確率は、端末装置２０から定期的（例えば、１ヶ月毎）に又は適切なタイミングで取得される。閾値としては、例えば、７０％以下で適切な値が設定される。例えば、端末装置２０から定期的に確率を取得し、取得した確率を用いて、学習済みモデルの性能が一定水準以下であると判定した場合に、学習済みモデルの追加学習を行う。提供部１１Ｄは、学習部１１Ｅにより追加学習された学習済みモデルを端末装置２０に提供する。端末装置２０では、記憶している学習済みモデルを、追加学習された学習済みモデルに更新する。
【0139】
図１７は、本実施形態に係る情報処理プログラム１５Ａによる追加学習処理の流れの他の例を示すフローチャートである。
【0140】
まず、情報処理装置１０に対して追加学習処理の指示がなされると、情報処理プログラム１５Ａが起動され、以下の各処理を実行する。
【0141】
図１７のステップＳ１５１では、ＣＰＵ１１が、端末装置２０に提供した学習済みモデルの性能が一定水準以下になったか否かを判定する。一定水準以下になったと判定した場合（肯定判定の場合）、ステップＳ１５２に移行し、一定水準以下ではないと判定した場合（否定判定の場合）、ステップＳ１５１で待機となる。例えば、端末装置２０に提供した学習済みモデルにおける、メータの推定値として読取値を出力する確率が閾値以下である場合に、端末装置２０に提供した学習済みモデルの性能が一定水準以下であると判定する。
【0142】
ステップＳ１５２では、ＣＰＵ１１が、端末装置２０から、同一のメータについての新たなメータ画像を取得する。
【0143】
ステップＳ１５３では、ＣＰＵ１１が、自装置が管理する、端末装置２０に提供した学習済みモデルと同じモデルに、ステップＳ１５２で取得した新たなメータ画像を加えて追加学習する。なお、端末装置２０に提供した学習済みモデルと同じ学習済みモデルは、学習済みモデルＤＢ１５０に格納されている。
【0144】
ステップＳ１５４では、ＣＰＵ１１が、ステップＳ１５３で追加学習した学習済みモデルを端末装置２０に提供する、つまり、通信部１８を介して追加学習した学習済みモデルを端末装置２０に送信する制御を行う。
【0145】
ステップＳ１５５では、ＣＰＵ１１が、終了タイミングが到来したか否かを判定する。終了タイミングが到来していないと判定した場合（否定判定の場合）、ステップＳ１５１に戻り処理を繰り返し、終了タイミングが到来したと判定した場合（肯定判定の場合）、本情報処理プログラム１５Ａによる一連の追加学習処理を終了する。
【0146】
このように本実施形態によれば、端末装置側でメータの読み取りに必要な設定、及びメータの種類に応じた学習済みモデルの選択を行う必要がなく、情報処理装置から得られる、メータに対応する学習済みモデルを用いて端末装置のみでメータの読み取りを行うことができる。
また、情報処理装置から得られる学習済みモデルも、読取精度を鑑みて適宜追加学習されたモデルが端末装置に保持されるため、設置後の端末装置のメンテナンス性も非常に良いものとなる。
また、情報処理装置から得られる学習済みモデルも、読取精度を鑑みて適宜追加学習されたモデルが端末装置に保持されるため、設置後の端末装置のメンテナンス性も非常に良いものとなる。
【0147】
なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ： Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。
【0148】
また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【0149】
以上、実施形態として情報処理装置を例示して説明した。実施形態は、情報処理装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。
【0150】
その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
【0151】
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【0152】
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
【符号の説明】
【0153】
１０ 情報処理装置
１１、２１ ＣＰＵ
１１Ａ 取得部
１１Ｂ 特定部
１１Ｃ 選択部
１１Ｄ 提供部
１１Ｅ 学習部
１２、２２ ＲＯＭ
１３、２３ ＲＡＭ
１４、２４ Ｉ／Ｏ
１５、２５ 記憶部
１５Ａ 情報処理プログラム
１６ 表示部
１７ 操作部
１８、２７ 通信部
２０ 端末装置
２１Ａ 受付部
２１Ｂ 読取部
２１Ｃ 出力部
２６ 外部ｉ／Ｆ
３０ 設定用タブレット端末
９０ メータ読取システム
１５０ 学習済みモデルＤＢ
１５０Ａ 円形モデルセット
１５０Ｂ 扇形モデルセット
１５０Ｃ デジタルモデルセット
１６０ 物体検出モデルＤＢ
２００ カメラ
１１、２１ ＣＰＵ
１１Ａ 取得部
１１Ｂ 特定部
１１Ｃ 選択部
１１Ｄ 提供部
１１Ｅ 学習部
１２、２２ ＲＯＭ
１３、２３ ＲＡＭ
１４、２４ Ｉ／Ｏ
１５、２５ 記憶部
１５Ａ 情報処理プログラム
１６ 表示部
１７ 操作部
１８、２７ 通信部
２０ 端末装置
２１Ａ 受付部
２１Ｂ 読取部
２１Ｃ 出力部
２６ 外部ｉ／Ｆ
３０ 設定用タブレット端末
９０ メータ読取システム
１５０ 学習済みモデルＤＢ
１５０Ａ 円形モデルセット
１５０Ｂ 扇形モデルセット
１５０Ｃ デジタルモデルセット
１６０ 物体検出モデルＤＢ
２００ カメラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
