特開 2022-184377 フロートメータ読取プログラム、フロートメータ読取装置及びフロートメータ読取方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022184377

(43)【公開日】2022-12-13

(54)【発明の名称】フロートメータ読取プログラム、フロートメータ読取装置及びフロートメータ読取方法

(51)【国際特許分類】

   G01F 1/22 20060101AFI20221206BHJP

【ＦＩ】

G01F1/22 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021092181

(22)【出願日】2021-06-01

(71)【出願人】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(71)【出願人】

【識別番号】000190149

【氏名又は名称】信越半導体株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】趙 強福

(72)【発明者】

【氏名】上田 菖平

(72)【発明者】

【氏名】鈴木 開斗

(72)【発明者】

【氏名】菅野 順平

(72)【発明者】

【氏名】江原 幸治

(72)【発明者】

【氏名】速水 善範

(72)【発明者】

【氏名】金田 次男

【テーマコード（参考）】

2F030

【Ｆターム（参考）】

2F030CA02

2F030CC01

2F030CC11

2F030CE01

2F030CE09

2F030CE24

(57)【要約】

【課題】フロートメータの値の読み取りや入力を自動的に行うことを可能とするフロートメータ読取プログラム、フロートメータ読取装置及びフロートメータ読取方法を提供する。
【解決手段】内部を垂直方向に移動するフロートを有するフロートメータが含まれる検証用画像データから、フロートメータを含む第１部分画像データを抽出し、抽出した第１部分画像データから、フロートを含む第２部分画像データを抽出し、抽出した第２部分画像データから、フロートの第１部分及び第２部分についての垂直方向における第１位置及び第２位置をそれぞれ特定し、特定した第１位置及び第２位置から、フロートの垂直方向における上端位置を特定し、フロートメータにおける垂直方向の各位置とフロートメータにおける各目盛り値との関係式を用いることによって、特定した上端位置に対応するフロートメータにおける目盛り値を算出する。
【選択図】図１４

【特許請求の範囲】

【請求項1】

内部を垂直方向に移動するフロートを有するフロートメータが含まれる検証用画像データから、前記フロートメータを含む第１部分画像データを抽出し、
抽出した前記第１部分画像データから、前記フロートを含む第２部分画像データを抽出し、
抽出した前記第２部分画像データから、前記フロートの第１部分及び第２部分についての前記垂直方向における第１位置及び第２位置をそれぞれ特定し、
特定した前記第１位置及び第２位置から、前記フロートの前記垂直方向における上端位置を特定し、
前記フロートメータにおける前記垂直方向の各位置と前記フロートメータにおける各目盛り値との関係式を用いることによって、特定した前記上端位置に対応する前記フロートメータの目盛り値を算出する、
処理をコンピュータに実行させることを特徴とするフロートメータ読取プログラム。

【請求項2】

請求項１において、
前記第１位置及び前記第２位置を特定する処理では、
前記第２部分画像データの前記垂直方向における位置ごとに、各位置における水平方向の画素値の合計値を算出し、
前記第２部分画像データの前記垂直方向における位置のうち、算出した前記合計値が所定の条件を満たす位置のうちのいずれか２つを、前記第１位置及び前記第２位置として特定する、
ことを特徴とするフロートメータ読取プログラム。

【請求項3】

請求項２において、
前記第１位置及び前記第２位置を特定する処理では、前記第２部分画像データの前記垂直方向における位置のうち、前記合計値が第１閾値以下である位置のうちのいずれか２つを、前記第１位置及び前記第２位置として特定する、
ことを特徴とするフロートメータ読取プログラム。

【請求項4】

請求項２において、
前記第１位置及び前記第２位置を特定する処理では、前記第２部分画像データの前記垂直方向における位置のうち、前記合計値が第２閾値以上である位置のうちのいずれか２つを、前記第１位置及び前記第２位置として特定する、
ことを特徴とするフロートメータ読取プログラム。

【請求項5】

請求項１において、
前記第２部分画像データを抽出する処理では、前記フロートと前記フロートの前記垂直方向上側の領域であって前記垂直方向の長さが所定以上である領域とを含む部分画像データを前記第２部分画像データとして抽出する、
ことを特徴とするフロートメータ読取プログラム。

【請求項6】

請求項１において、さらに、
前記第１部分画像データについてホモグラフィー変換を行う、
処理をコンピュータに実行させ、
前記第２部分画像データを抽出する処理では、ホモグラフィー変換を行った前記第１部分画像データから前記第２部分画像データの抽出を行う、
ことを特徴とするフロートメータ読取プログラム。

【請求項7】

請求項１において、
前記上端位置を特定する処理では、
前記上端位置から前記第１位置までの長さに対する前記上端位置から前記第２位置までの長さの割合と、前記第２部分画像データにおける前記第１位置及び前記第２位置とから、前記フロートの前記垂直方向における上端位置を特定する、
ことを特徴とするフロートメータ読取プログラム。

【請求項8】

請求項１において、さらに、
前記フロートメータが含まれる複数の第１学習用画像データのそれぞれに対し、前記複数の第１学習用画像データのそれぞれに含まれる前記フロートメータの位置情報を付加することによって、複数の第１学習データを生成し、
生成した前記複数の第１学習データを用いた機械学習を行うことによって、第１学習モデルを生成する、
処理をコンピュータに実行させ、
前記第１部分画像データを抽出する処理では、
前記検証用画像データを入力することに伴って前記第１学習モデルから出力される値を取得し、
取得した前記値に対応する前記第１部分画像データを前記検証用画像データから抽出する、
ことを特徴とするフロートメータ読取プログラム。

【請求項9】

請求項１において、さらに、
前記フロートが含まれる複数の第２学習用画像データのそれぞれに対し、前記複数の第２学習用画像データに含まれる前記フロートの位置情報を付加することによって、複数の第２学習データを生成し、
生成した前記複数の第２学習データを用いた機械学習を行うことによって、第２学習モデルを生成する、
処理をコンピュータに実行させ、
前記第２部分画像データを抽出する処理では、
前記第１部分画像データを入力することに伴って前記第２学習モデルから出力される値を取得し、
取得した前記値に対応する前記第２部分画像データを前記第１部分画像データから抽出する、
ことを特徴とするフロートメータ読取プログラム。

【請求項10】

内部を垂直方向に移動するフロートを有するフロートメータが含まれる検証用画像データから、前記フロートメータを含む第１部分画像データを抽出し、
抽出した前記第１部分画像データから、前記フロートを含む第２部分画像データを抽出し、
抽出した前記第２部分画像データから、前記フロートの第１部分及び第２部分についての前記垂直方向における第１位置及び第２位置をそれぞれ特定し、
特定した前記第１位置及び第２位置から、前記フロートの前記垂直方向における上端位置を特定し、
前記フロートメータにおける前記垂直方向の各位置と前記フロートメータにおける各目盛り値との関係式を用いることによって、特定した前記上端位置に対応する前記フロートメータの目盛り値を算出する、
ことを特徴とするフロートメータ読取装置。

【請求項11】

内部を垂直方向に移動するフロートを有するフロートメータが含まれる検証用画像データから、前記フロートメータを含む第１部分画像データを抽出し、
抽出した前記第１部分画像データから、前記フロートを含む第２部分画像データを抽出し、
抽出した前記第２部分画像データから、前記フロートの第１部分及び第２部分についての前記垂直方向における第１位置及び第２位置をそれぞれ特定し、
特定した前記第１位置及び第２位置から、前記フロートの前記垂直方向における上端位置を特定し、
前記フロートメータにおける前記垂直方向の各位置と前記フロートメータにおける各目盛り値との関係式を用いることによって、特定した前記上端位置に対応する前記フロートメータの目盛り値を算出する、
処理をコンピュータが実行することを特徴とするフロートメータ読取方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フロートメータ読取プログラム、フロートメータ読取装置及びフロートメータ読取方法関する。

【背景技術】

【0002】

例えば、半導体の製造等を行う工場には、一般的に、各機器の温度や圧力等の計測を行うための多くのアナログメータが配置されている。具体的に、上記のような工場では、例えば、各機器を流れる液体や気体の流量を計測するフロートメータが配置されている。

【0003】

そして、作業者は、例えば、定期的なタイミングにおいて工場内を巡回し、各アナログメータが指し示している値を確認する。その後、作業者は、例えば、各アナログメータの値を用いて必要な計算を行い、工場内において異常（例えば、機器の故障等）が発生しているか否かについての判定を行う。その結果、工場内において異常が発生していると判定した場合、作業者は、例えば、異常が発生した機器の交換を行うための手配等を行う（特許文献１乃至２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平７－０６５５２号公報

【特許文献2】中国特許出願公開第１０６２８９４２６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上記のようなアナログメータの読み取りは、一般的に、作業者の目視によって行われる。そのため、上記のようなアナログメータの読み取りでは、値の読み取りミスや管理システム（図示せず）への入力ミス等が発生する可能性がある。

【0006】

特に、各目盛りの間隔が一定ではないフロートメータの読み取りは、通常、他のアナログメータの読み取りよりも困難性が高い。そのため、フロートメータの読み取りでは、他のアナログメータの読み取りが行われる場合よりも値の読み取りミスや入力ミス等の発生頻度が高くなる。

【0007】

そこで、本発明の目的は、フロートメータの値の読み取りや入力を自動的に行うことを可能とするフロートメータ読取プログラム、フロートメータ読取装置及びフロートメータ読取方法を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するための本発明におけるフロートメータ読取プログラムは、内部を垂直方向に移動するフロートを有するフロートメータが含まれる検証用画像データから、前記フロートメータを含む第１部分画像データを抽出し、抽出した前記第１部分画像データから、前記フロートを含む第２部分画像データを抽出し、抽出した前記第２部分画像データから、前記フロートに含まれる第１部分及び第２部分についての前記垂直方向における第１位置及び第２位置をそれぞれ特定し、特定した前記第１位置及び第２位置から、前記フロートの前記垂直方向における上端位置を特定し、前記フロートメータにおける前記垂直方向の各位置と前記フロートメータにおける各目盛り値との関係式を用いることによって、特定した前記上端位置に対応する前記フロートメータの目盛り値を算出する、処理をコンピュータに実行させることを特徴とする。

【発明の効果】

【0009】

本発明におけるフロートメータ読取プログラム、フロートメータ読取装置及びフロートメータ読取方法によれば、フロートメータの値の読み取りや入力を自動的に行うことを可能とする。

【図面の簡単な説明】

【0010】

【図1】図１は、第１の実施の形態における情報処理装置１の構成例を示す図である。

【図2】図２は、フロートメータ１０の具体例について説明する図である。

【図3】図３は、第１の実施の形態におけるフロートメータ読取処理の概略を説明する図である。

【図4】図４は、第１の実施の形態におけるフロートメータ読取処理の概略を説明する図である。

【図5】図５は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明するフローチャート図である。

【図6】図６は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明するフローチャート図である。

【図7】図７は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明するフローチャート図である。

【図8】図８は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明する図である。

【図9】図９は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明する図である。

【図10】図１０は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明する図である。

【図11】図１１は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明する図である。

【図12】図１２は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明する図である。

【図13】図１３は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明する図である。

【図14】図１４は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明する図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。

【0012】

初めに、第１の実施の形態における情報処理装置１（以下、フロートメータ読取装置１とも呼ぶ）の構成例について説明を行う。図１は、第１の実施の形態における情報処理装置１の構成例を示す図である。

【0013】

情報処理装置１は、コンピュータ装置であって、例えば、汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。そして、情報処理装置１は、例えば、図示しないフロートメータが示す値を自動的に読み取る処理（以下、フロートメータ読取処理とも呼ぶ）を行う。

【0014】

情報処理装置１は、汎用的なコンピュータ装置のハードウエア構成を有し、例えば、図１に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、通信インタフェース１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。

【0015】

記憶媒体１０４は、例えば、フロートメータ読取処理を行うためのプログラム（図示しない）を記憶するプログラム格納領域（図示しない）を有する。

【0016】

また、記憶媒体１０４は、例えば、フロートメータ読取処理を行う際に用いられる情報を記憶する記憶部１１０（以下、記憶領域１１０とも呼ぶ）を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。

【0017】

ＣＰＵ１０１は、記憶媒体１０４からメモリ１０２にロードされたプログラムを実行してフロートメータ読取処理を行う。

【0018】

通信インタフェース１０３は、例えば、インターネット網等のネットワークＮＷを介してスマートフォン等の操作端末２と通信を行う。

【0019】

［フロートメータの具体例］
次に、フロートメータ１０の具体例について説明を行う。図２は、フロートメータ１０の具体例について説明する図である。

【0020】

フロートメータ１０は、図２に示すように、例えば、垂直方向に延びる円筒形状のガラス管１１と、ガラス管１１の内部を垂直方向に移動するフロート１２とを有している。なお、ガラス管１１の側面に付加された目盛り１１ａの間隔は、図２に示すように、垂直方向における上側から下側に向かって広がっている。

【0021】

そして、作業者は、例えば、フロート１２の上端縁に対応する位置１２ａ（以下、上端位置１２ａとも呼ぶ）に対応する目盛り１１ａの値（以下、目盛り値とも呼ぶ）を読み取ることによって、ガラス管１１内部に流入した気体や液体等の流体の流量を計測する。

【0022】

また、フロートメータ１０には、図２に示すように、４つの円形領域である第１基準領域１３ａ、１３ｂ、１３ｃ及び１３ｄ（以下、これらを総称して第１基準領域１３とも呼ぶ）と、２つの矩形領域である第２基準領域１４ａ及び１４ｂ（以下、これらを総称して第２基準領域１４とも呼ぶ）とを有する。第１基準領域１３のそれぞれは、例えば、フロートメータ１０に貼付された円形のシール（例えば、青色のシール）であり、第２基準領域１４のそれぞれは、例えば、フロートメータ１０に貼付された矩形のシール（例えば、黄色のシール）である。第１基準領域１３及び第２基準領域１４の用途については後述する。

【0023】

なお、以下、目盛り１１ａの読み取りがフロート１２の上端位置１２ａを基準として行われるものとして説明を行うが、目盛り１１ａの読み取りは、フロート１２における上端位置１２ａ以外の位置を基準として行うものであってもよい。

【0024】

［第１の実施の形態の概略］
図３及び図４は、第１の実施の形態におけるフロートメータ読取処理の概略を説明する図である。具体的に、図３は、第１の実施の形態におけるフロートメータ読取処理のうち、学習段階の処理について説明する図である。また、図４は、第１の実施の形態におけるフロートメータ読取処理のうち、推論段階の処理について説明する図である。

【0025】

初めに、第１の実施の形態におけるフロートメータ読取処理のうち、学習段階の処理について説明を行う。

【0026】

情報処理装置１の第１データ生成部１１１は、図３に示すように、例えば、フロートメータ１０が映る学習用画像データ（以下、第１学習用画像データとも呼ぶ）に対し、第１学習用画像データにおけるフロートメータ１０の位置についての情報（以下、位置情報とも呼ぶ）を付加することによって学習データ（以下、第１学習データとも呼ぶ）を生成する。

【0027】

具体的に、第１データ生成部１１１は、例えば、目盛り１１ａと４つの第１基準領域１３とが少なくとも含まれる第１学習用画像データに対し、第１学習用画像データにおけるフロートメータ１０の位置情報を付加することによって第１学習データを生成する。

【0028】

なお、第１データ生成部１１１は、生成済の第１学習データのサイズや色等を変更することによって、さらなる第１学習データを生成するものであってもよい。

【0029】

そして、情報処理装置１の第１モデル生成部１１２は、例えば、第１データ生成部１１１が生成した複数の第１学習データを用いた機械学習を行うことによって、学習モデル（以下、第１学習モデルとも呼ぶ）を生成する。その後、第１モデル生成部１１２は、生成した第１学習モデルを記憶領域１１０に記憶する。

【0030】

すなわち、第１モデル生成部１１２は、複数の第１学習データを用いることによって、推論段階において検出用画像からフロートメータ１０が映る部分画像データ（以下、第１部分画像データとも呼ぶ）を抽出する際に用いられる第１学習モデルを生成する。

【0031】

また、情報処理装置１の第２データ生成部１１３は、例えば、フロートメータ１０の内部を移動するフロート１２が映る学習用画像データ（以下、第２学習用画像データとも呼ぶ）に対し、第２学習用画像データにおけるフロート１２の位置情報を付加することによって学習データ（以下、第２学習データとも呼ぶ）を生成する。

【0032】

具体的に、第２データ生成部１１３は、例えば、フロート１２とフロート１２の上端位置１２ａよりも垂直方向上側である領域（例えば、垂直方向の長さがフロート１２の長さと同一である領域）とが映る第２学習用画像データに対し、第２学習用画像データにおけるフロート１２の位置情報を追加することによって第２学習データを生成する。

【0033】

なお、第２データ生成部１１３は、生成済の第２学習データのサイズや色等を変更することによって、さらなる第２学習データを生成するものであってもよい。

【0034】

そして、情報処理装置１の第２モデル生成部１１４は、例えば、第２データ生成部１１３が生成した複数の第２学習データを用いた機械学習を行うことによって、学習モデル（以下、第２学習モデルとも呼ぶ）を生成する。その後、第２モデル生成部１１４は、生成した第２学習モデルを記憶領域１１０に記憶する。

【0035】

すなわち、第２モデル生成部１１４は、複数の第２学習データを用いることによって、推論段階において第１部分画像データからフロート１２についての部分画像データ（以下、第２部分画像データとも呼ぶ）を抽出する際に用いられる第２学習モデルを生成する。

【0036】

次に、第１の実施の形態におけるフロートメータ読取処理のうち、推論段階の処理について説明を行う。

【0037】

情報処理装置１の第１画像抽出部１２１は、例えば、検証用画像データからフロートメータについての第１部分画像データを抽出する。検証用画像データは、例えば、第１学習用データと同一のフロートメータ１０が映る画像データである。

【0038】

具体的に、第１画像抽出部１２１は、記憶領域１１０に記憶された第１学習モデルに対する検証用画像データの入力に伴って出力される値が示す位置情報を特定する。そして、第１画像抽出部１２１は、特定した位置情報に対応する第１部分画像データを検証用画像データから抽出する。

【0039】

そして、情報処理装置１の画像補正部１２２は、例えば、第１画像抽出部１２１が抽出した第１部分画像データについてホモグラフィー変換を行う。

【0040】

続いて、情報処理装置１の第２画像抽出部１２３は、第１画像抽出部１２１が抽出した第１部分画像データからフロート１２についての第２部分画像データを抽出する。

【0041】

具体的に、第２画像抽出部１２３は、記憶領域１１０に記憶された第２学習モデルに対する第１部分画像データの入力に伴って出力される値が示す位置情報を特定する。そして、第２画像抽出部１２３は、特定した位置情報に対応する第２部分画像データを第１部分画像データから抽出する。

【0042】

その後、情報処理装置１の位置特定部１２４は、第２画像抽出部１２３が抽出した第２部分画像データから、第２画像データに映るフロート１２を構成する第１部分及び第２部分についての垂直方向における第１位置及び第２位置をそれぞれ特定する。

【0043】

具体的に、位置特定部１２４は、例えば、第２画像抽出部１２３が抽出した第２部分画像データの垂直方向における複数の位置のそれぞれについて、各位置における垂直方向に直交する方向（以下、水平方向とも呼ぶ）の画素値の合計値を算出する。そして、位置特定部１２４は、例えば、第２画像抽出部１２３が抽出した第２部分画像データの垂直方向における複数の位置のうち、算出した合計値が閾値以下である位置のうちのいずれか２つを、第１位置及び第２位置としてそれぞれ特定する。

【0044】

そして、情報処理装置１の上端特定部１２５は、位置特定部１２４が特定した第１位置及び第２位置のそれぞれを用いることにより、第２画像データに映るフロート１２の上端位置１２ａを特定する。

【0045】

具体的に、上端特定部１２５は、例えば、上端位置１２ａから第１位置までの長さに対する上端位置１２ａから第２位置までの長さの割合と、第２部分画像データにおける第１位置及び第２位置とから、第２画像データに映るフロート１２の上端位置１２ａを特定する。

【0046】

さらに、情報処理装置１の値算出部１２６は、例えば、フロートメータ１０における垂直方向の各位置とフロートメータ１０の目盛り１１ａにおける各目盛り値との関係式を用いることによって、上端特定部１２５が特定した上端位置１２ａに対応するフロートメータ１０の目盛り値を算出する。

【0047】

具体的に、作業者は、例えば、第１学習用画像に映るフロートメータ１０における垂直方向の位置と、第１学習用画像に映るフロートメータ１０の目盛り１１ａにおける目盛り値との組合せを複数用いることによって近似式を生成する。そして、値算出部１２６は、例えば、生成された近似式を用いることによって、上端特定部１２５が特定した上端位置１２ａに対応する目盛り値を算出する。以下、目盛り値の算出に用いる近似式が２次近似式であるものとして説明を行うが、この近似式は、例えば、３次近似式、４次近似式または対数近似式等であってもよい。

【0048】

すなわち、一般的なフロートメータでは、フロートにおける目盛りの読み取りに用いられる部分（例えば、フロートの上端位置）の形状とフロートにおける他の部分の形状とが類似している場合がある。そのため、例えば、フロートメータ１０が映る検証用画像データの入力に応じてフロート１２の上端位置１２ａを出力する単一の学習モデルを用いる場合、情報処理装置１は、上端位置１２ａ以外の位置を上端位置１２ａとして特定する可能性があり、例えば、フロート１２の一部が含まれない画像データを第２部分画像データとして出力する可能性がある。

【0049】

そこで、本実施の形態における情報処理装置１は、学習段階において、フロート１２だけでなく、フロート１２の上端位置１２ａよりも垂直方向上側を含む領域についての位置情報が付加された第２学習データを用いることによって第２学習モデルを生成する。そして、情報処理装置１は、推論段階において、第２学習モデルから出力された第２部分画像データからフロート１２の上端位置１２ａを特定する。

【0050】

これにより、本実施の形態における情報処理装置１は、上端位置１２ａ以外の位置を上端位置１２ａとして特定した場合であっても、フロート１２の全体が含まれる第２部分画像データを出力することが可能な第２学習モデルを生成することが可能になる。そのため、本実施の形態における情報処理装置１は、例えば、目盛り１１ａの読み取りに用いられる部分の形状と他の部分の形状とが類似しているフロート１２についても、目盛り１１ａの読み取りを精度良く行うことが可能になる。

【0051】

なお、本実施の形態において生成される第１学習モデル及び第２学習モデルは、例えば、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）による学習モデルやＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）による学習モデルであってよい。

【0052】

［第１の実施の形態の詳細］
次に、第１の実施の形態におけるフロートメータ読取処理の詳細について説明を行う。図５から図７は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明するフローチャート図である。また、図８から図１４は、第１の実施の形態におけるフロートメータ読取処理の詳細を説明する図である。

【0053】

［学習段階における処理］
初めに、第１の実施の形態におけるフロートメータ読取処理の詳細のうち、学習段階における処理について説明を行う。図５は、学習段階における処理について説明する図である。

【0054】

第１データ生成部１１１は、図５に示すように、例えば、学習タイミングになるまで待機する（Ｓ１１のＮＯ）。学習タイミングは、例えば、作業者が操作端末２を介して第１学習用画像データを入力したタイミングであってよい。また、学習タイミングは、例えば、作業者が各学習モデルの生成を行う旨の情報を入力したタイミングであってよい。

【0055】

そして、学習タイミングなった場合（Ｓ１１のＹＥＳ）、第１データ生成部１１１は、第１学習用画像データのそれぞれに対し、各画像データにおけるフロートメータ１０の位置情報を付加することによって、第１学習データを生成する（Ｓ１２）。

【0056】

具体的に、第１データ生成部１１１は、図８に示すように、例えば、フロートメータ１０を含むバウンディングボックスＢ１（作業者によって指定されたバウンディングボックスＢ１）を用いることによって、第１学習用画像データＤＴ１１に対してフロートメータ１０の位置情報を付加する。

【0057】

さらに具体的に、作業者は、例えば、撮像装置（図示しない）によって撮影された動画データに含まれる各フレームに対応する画像データを第１学習用画像データＤＴ１１として用意する。そして、作業者は、バウンディングボックスＢ１を用いることによって、フロートメータ１０の位置情報を第１学習用画像データＤＴ１１に対して付加する。その後、第１データ生成部１１１は、例えば、第１学習用画像データＤＴ１１と、バウンディングボックスＢ１の左上の座標（Ｘ座標及びＹ座標）と、バウンディングボックスＢ１の縦及び横の長さとを対応付けることによって第１学習データを生成する。

【0058】

なお、撮像装置は、例えば、非固定のカメラであってもよい。また、撮像装置は、例えば、操作端末２に内蔵されているものであってもよい。

【0059】

その後、第１モデル生成部１１２は、Ｓ１２の処理で生成した第１学習データを用いた機械学習を行うことによって、第１学習モデルを生成する（Ｓ１３）。

【0060】

続いて、第２データ生成部１１３は、第２学習用画像データのそれぞれに対し、各画像データにおけるフロート１２の位置情報を付加することによって、第２学習データを生成する（Ｓ１４）。

【0061】

具体的に、第２データ生成部１１３は、図９に示すように、例えば、フロート１２を含むバウンディングボックスＢ２（作業者によって指定されたバウンディングボックスＢ２）を用いることによって、第２学習用画像データＤＴ１２に対してフロート１２を含む領域の位置情報を付加する。

【0062】

さらに具体的に、第２データ生成部１１３は、例えば、Ｓ１３の処理で生成した第１学習モデルに対する第１学習用画像データＤＴ１１の入力に伴って出力される画像データを第２学習用画像データＤＴ１２として取得する。そして、作業者は、バウンディングボックスＢ２を用いることによって、フロート１２とフロート１２の上端位置１２ａよりも垂直方向上側とが映る領域の位置情報を第２学習用画像データＤＴ１２に対して付加する。その後、第２データ生成部１１３は、例えば、第２学習用画像データＤＴ１２と、バウンディングボックスＢ２の左上の座標（Ｘ座標及びＹ座標）と、バウンディングボックスＢ２の縦及び横の長さとを対応付けることによって第２学習データを生成する。

【0063】

その後、第２モデル生成部１１４は、Ｓ１４の処理で生成した第２学習データを用いた機械学習を行うことによって、第２学習モデルを生成する（Ｓ１５）。

【0064】

これにより、作業者は、後述する推論段階において用いる各学習モデルを生成することが可能になる。

【0065】

［推論段階における処理］
次に、第１の実施の形態におけるフロートメータ読取処理の詳細のうち、推論段階における処理について説明を行う。図６及び図７は、推論段階における処理について説明する図である。

【0066】

第１画像抽出部１２１は、図６に示すように、判定タイミングなるまで待機する（Ｓ２１のＮＯ）。判定タイミングは、例えば、作業者が操作端末２を介して検証用画像データを入力したタイミングであってよい。また、判定タイミングは、例えば、作業者が検証用画像データの判定を行う旨の情報を入力したタイミングであってよい。

【0067】

そして、判定タイミングになった場合（Ｓ２１のＹＥＳ）、第１画像抽出部１２１は、フロートメータ１０についての検証用画像データを取得する（Ｓ２２）。

【0068】

具体的に、第１画像抽出部１２１は、図１０（Ａ）に示すように、例えば、撮像装置によって撮影された動画データに含まれる各フレームに対応する画像データを検証用画像データＤＴ２１として受信する。

【0069】

続いて、第１画像抽出部１２１は、Ｓ２２の処理で取得した検証用画像データを入力することに伴って第１学習モデルから出力される値を取得する（Ｓ２３）。

【0070】

そして、第１画像抽出部１２１は、Ｓ２３の処理で取得した値に対応する第１部分画像データを、Ｓ２２の処理で取得した検証用画像データから抽出する（Ｓ２４）。

【0071】

具体的に、第１画像抽出部１２１は、図１０（Ｂ）に示すように、例えば、Ｓ２１の処理で取得した検証用画像データのうち、フロートメータ１０が映る部分に対応する画像データを第１部分画像データＤＴ２２として取得する。

【0072】

画像補正部１２２は、Ｓ２４の処理で抽出した第１部分画像データについてホモグラフィー変換を行う（Ｓ２５）。

【0073】

具体的に、画像補正部１２２は、例えば、Ｓ２４の処理で抽出した第１部分画像データＤＴ２２に映るフロートメータ１０における第２基準領域１４のそれぞれが予め指定された位置に移動するように、ホモグラフィー変換を行う。

【0074】

すなわち、画像補正部１２２は、第１部分画像データＤＴ２２についてのホモグラフィー変換を行うことで第１部分画像データＤＴ２２の正規化を行い、第１部分画像データＤＴ２２に映るフロートメータ１０における第２基準領域１４のそれぞれの位置を補正する。

【0075】

これにより、情報処理装置１は、全ての第１部分画像データＤＴ２２に映る第２基準領域１４の位置を合わせることが可能になる。そのため、情報処理装置１は、後述するように、第２基準領域１４の位置等に基づくことによってフロート１２の上端位置１２ａを特定することが可能になる。

【0076】

なお、画像補正部１２２は、例えば、第１部分画像データＤＴ２２についてのホモグラフィー変換を、第１部分画像データＤＴ２２についての二値化等の強調処理を行うことによって第１基準領域１３を強調させてから行うものであってもよい。

【0077】

これにより、情報処理装置１は、例えば、後述する第１位置及び第２位置の特定をより行い易くすることが可能になる。

【0078】

次に、第２画像抽出部１２３は、Ｓ２５の処理でホモグラフィー変換を行った第１部分画像データを入力することに伴って第２学習モデルから出力される値を取得する（Ｓ２６）。

【0079】

そして、第２画像抽出部１２３は、図７に示すように、Ｓ２６の処理で取得した値に対応する第２部分画像データを、Ｓ２５の処理でホモグラフィー変換を行った第１部分画像データから抽出する（Ｓ３１）。

【0080】

具体的に、第２画像抽出部１２３は、図１１（Ｂ）に示すように、例えば、Ｓ２５の処理でホモグラフィー変換を行った第１部分画像データＤＴ２２（図１１（Ａ））のうち、フロート１２が映る部分に対応する画像データを第２部分画像データＤＴ２３として取得する。

【0081】

さらに具体的に、第２画像抽出部１２３は、図１１（Ｂ）に示すように、フロート１２に加えて、フロート１２の上端位置１２ａよりも垂直方向上側の領域が映る画像データを第２部分画像データＤＴ２３として取得する。

【0082】

続いて、位置特定部１２４は、Ｓ３１の処理で抽出した第２部分画像データの垂直方向における複数の位置のそれぞれについて、各位置における水平方向の画素値の合計値（以下、単に合計値とも呼ぶ）を算出する（Ｓ３２）。

【0083】

そして、位置特定部１２４は、例えば、Ｓ３２の処理で算出した合計値が所定の条件を満たす位置のうちのいずれか２つを、第１位置及び第２位置として特定する（Ｓ３３）。具体的に、位置特定部１２４は、例えば、Ｓ３２の処理で算出した合計値が閾値（以下、第１閾値とも呼ぶ）以下である位置のうちのいずれか２つを、第１位置及び第２位置として特定する。以下、Ｓ３２及びＳ３３の処理の具体例について説明を行う。

【0084】

［Ｓ３２及びＳ３３の処理の具体例］
図１２及び図１３は、Ｓ３２及びＳ３３の処理の具体例を説明する図である。具体的に、図１２（Ａ）は、フロート１２の具体例を説明する図であり、図１２（Ｂ）は、第２部分画像データＤＴ２３の具体例について説明する図である。また、図１３は、第２部分画像データＤＴ２３の垂直方向における各位置の画素値の合計値を示すグラフである。図１３における縦軸は、第２部分画像データＤＴ２３の垂直方向における位置（座標）を示し、図１３における横軸は、各位置における水平方向の画素値の合計値を示している。なお、以下、各画像データにおける垂直方向の座標が上側から下側に向かって大きくなるものとして説明を行う。

【0085】

初めに、フロート１２の具体例について説明を行う。

【0086】

フロート１２は、図１２（Ａ）に示すように、例えば、目盛り１１ａを読み取る際の基準となる上端位置１２ａを有する。また、フロート１２は、例えば、垂直方向における位置１２ｂ０と位置１２ｂ１との間の側面おいて凹部１２ｂを有し、さらに、垂直方向の下端部において位置１２ｃ０から下方向に延びるテーパー部１２ｃを有する。以下、図１２（Ｂ）に示すように、第２部分画像データＤＴ２３における上端位置に対応する垂直方向における座標を座標ｂ０とも呼び、第２部分画像データＤＴ２３における下端位置に対応する垂直方向における座標を座標ｂ１とも呼び、凹部１２ｂにおける位置１２ｂ０に対応する垂直方向における座標を座標ｙ１とも呼び、凹部１２ｂにおける位置１２ｂ１に対応する垂直方向における座標を座標ｙ２とも呼び、テーパー部１２ｃにおける位置ｃ１に対応する垂直方向における座標を座標ｙ３をとも呼ぶ。

【0087】

次に、Ｓ３２及びＳ３３の処理の具体例について説明を行う。

【0088】

位置特定部１２４は、Ｓ３２の処理において、例えば、第２部分画像データＤＴ２３を垂直方向における複数の位置のそれぞれについて、各位置における水平方向の画素値の合計値を算出する。ここでの複数の位置は、例えば、第２部分画像データＤＴ２３を垂直方向における各ピクセルに対応する位置である。

【0089】

続いて、位置特定部１２４は、例えば、図１３に示すように、第２部分画像データＤＴ２３の垂直方向における各位置の画素値の合計値を示すグラフを生成する。

【0090】

具体的に、例えば、第２部分画像データＤＴ２３の垂直方向における長さ（座標ｂ０から座標ｂ１までの長さ）が「８０」である場合、位置特定部１２４は、図１３に示すように、例えば、座標ｂ０を「０」とし、座標ｂ１を「８０」とした場合におけるグラフを生成する。

【0091】

そして、位置特定部１２４は、Ｓ３３の処理において、生成したグラフを参照し、第２部分画像データＤＴ２３を垂直方向における複数の位置のうち、画素値の合計値が閾値以下である位置を特定する。

【0092】

具体的に、図１３に示すグラフは、垂直方向における座標が「１０」から「２０」までの間の各点に対応する画素値の合計値と、垂直方向における座標が「６０」から「７０」までの間の各点に対応する画素値の合計値とが特に小さいことを示している。そのため、位置特定部１２４は、例えば、垂直方向における座標が「１０」から「２０」までの間の各点のうち、画素値の合計値が最も小さい範囲の始点（例えば、「１４」）及び終点（例えば、「１６」）のそれぞれを座標ｙ１及び座標ｙ２として特定する。また、位置特定部１２４は、例えば、垂直方向における座標が「６０」から「７０」までの間の各点のうち、画素値の合計値が最も小さい範囲の始点（例えば、「６８」）を座標ｙ３として特定する。

【0093】

すなわち、第２部分画像データＤＴ２３に映る凹部１２ｂやテーパー部１２ｃにおける水平方向の画素値の合計値は、検証用画像データＤＴ２１の撮影時における光の当たり方に起因して、例えば、フロート１２における他の部分の画素値の合計値よりも小さくなる。そのため、位置特定部１２４は、例えば、画素値の合計値が閾値以下である位置を特定することで、座標ｙ１、座標ｙ２及び座標ｙ３を特定することが可能になる。

【0094】

その後、位置特定部１２４は、例えば、座標ｙ１、座標ｙ２及び座標ｙ３のうちの２つを第１位置及び第２位置として特定する。

【0095】

なお、Ｓ２５の処理において、例えば、第１部分画像データＤＴ２２についての強調処理を行うことによって第１基準領域１３を強調させてからホモグラフィー変換を行う場合、第２部分画像データＤＴ２３に映る凹部１２ｂやテーパー部１２ｃにおける水平方向の画素値の合計値は、フロート１２における他の部分の画素値の合計値よりも大きくなる可能性がある。そのため、位置特定部１２４は、この場合、例えば、Ｓ３２の処理で算出した合計値が閾値（以下、第２閾値とも呼ぶ）以上である位置のうちのいずれか２つを、第１位置及び第２位置として特定するものであってもよい（Ｓ３３）。具体的に、位置特定部１２４は、例えば、画素値の合計値が閾値以上である位置を特定することで、座標ｙ１、座標ｙ２及び座標ｙ３を特定するものであってよい。

【0096】

図７に戻り、上端特定部１２５は、Ｓ３３で特定した第１位置及び第２位置から、フロート１２の垂直方向における上端位置１２ａを特定する（Ｓ３５）。

【0097】

具体的に、上端特定部１２５は、例えば、以下の式（１）、式（２）及び式（３）のいずれかを用いることによって、上端位置１２ａに対応する座標ｙ０を算出する。以下の式（１）、式（２）及び式（３）において、ｃ１、ｃ２及びｃ３のそれぞれは、他の画像データ（図示しない）を用いて計測した上端位置１２ａから位置１２ｂ０までの長さ、上端位置１２ａから位置１２ｂ１までの長さ、及び、上端位置１２ａから位置１２ｃ０までの長さである。

【0098】

さらに具体的に、例えば、Ｓ３４の処理において座標ｙ３及び座標ｙ２を第１位置及び第２位置として特定した場合、上端特定部１２５は、例えば、以下の式（１）に従って座標ｙ０を算出する。

【0099】

【数1】

【0100】

すなわち、例えば、上端位置１２ａから位置１２ｃ０までの長さを上端位置１２ａから位置１２ｂ１までの長さで割った値は、フロート１２が映る全ての画像データにおいて同じ値である。そのため、位置特定部１２４は、例えば、他の画像データを用いて計測した上端位置１２ａから位置１２ｃ０までの長さを、他の画像データを用いて計測した上端位置１２ａから位置１２ｂ１までの長さで割った値を用いることによって座標ｙ０を算出する。

【0101】

また、例えば、Ｓ３４の処理において座標ｙ３及び座標ｙ１が第１位置及び第２位置として特定した場合、上端特定部１２５は、例えば、以下の式（２）に従って座標ｙ０を算出する。

【0102】

【数2】

【0103】

また、例えば、Ｓ３４の処理において座標ｙ２及び座標ｙ１を第１位置及び第２位置として特定した場合、上端特定部１２５は、例えば、以下の式（３）に従って座標ｙ０を算出する。

【0104】

【数3】

【0105】

なお、上端特定部１２５は、例えば、上記の式（１）、式（２）及び式（３）の全てを用いることによって上端位置１２ａの座標ｙ０をそれぞれ算出するものであってもよい。そして、上端特定部１２５は、この場合、例えば、上記の式（１）、式（２）及び式（３）のそれぞれを用いることによって算出した座標ｙ０の中央値や平均値を算出するものであってよい。

【0106】

図７に戻り、値算出部１２６は、Ｓ３４の処理で特定した上端位置１２ａに対応するフロートメータ１０における目盛り値を算出する（Ｓ３５）。

【0107】

具体的に、値算出部１２６は、図１４に示すように、Ｓ３４の処理で算出した座標ｙ０の第１部分画像データＤＴ２２における座標（以下、座標Ｙ０とも呼ぶ）を算出する。そして、値算出部１２６は、第１部分画像データＤＴ２２の垂直方向における上端位置からフロート１２の上端位置１２ａまでの長さ（図１４に示す座標ｍ０から座標Ｙ０までの長さ）を、第１部分画像データＤＴ２２の垂直方向における上端位置から下端位置までの長さ（図１４に示す座標ｍ０から座標ｍ１までの長さ）で除算することによって、第１部分画像データＤＴ２２における座標Ｙ０の位置を示す値を取得する。

【0108】

さらに具体的に、値算出部１２６は、例えば、図１２（Ｂ）で説明した座標ｂ０の第１部分画像データＤＴ２２における座標（以下、座標Ｂ０とも呼ぶ）を、Ｓ３４の処理で算出した座標ｙ０に加算することによって座標Ｙ０を算出する。そして、値算出部１２６は、以下の式（４）に従うことによって、第１部分画像データＤＴ２２における座標Ｙ０の位置を示す値を取得する。なお、以下の式（４）において、Ｐは、座標Ｙ０の位置を示す値に対応し、ｙ_ｍｉｎは、第２基準領域１４ａの上端位置に対応する座標ｍ０に対応し、ｙ_ｍａｘは、第２基準領域１４ｂの下端位置に対応する座標ｍ１に対応している。

【0109】

【数4】

【0110】

そして、値算出部１２６は、予め生成されたフロートメータ１０に対応する２次近似式に対して座標Ｙ０の位置を示す値を代入することによって、座標Ｙ０に対応する目盛り値（目盛り１１ａにおける目盛り値）を算出する。その後、値算出部１２６は、例えば、算出した目盛り値を操作端末２に出力する。

【0111】

なお、例えば、撮像装置によって撮影された動画データに含まれる各フレームに対応する画像データ（以下、基準画像データとも呼ぶ）と検証用画像データＤＴ２１とのピクセルサイズが異なっている場合、値算出部１２６は、例えば、検証用画像データＤＴ２１に対する基準画像データの倍率（スケーリングファクター）を検証用画像データＤＴ２１に対して乗算してから２次近似式に代入するものであってもよい。すなわち、値算出部１２６は、基準画像データにおける座標Ｙ０の位置を示す値を２次近似式に対して代入するものであってもよい。

【0112】

また、作業者は、例えば、第１学習用画像データＤＴ１１と第１学習用画像データＤＴ１１に映るフロートメータ１０の目盛り１１ａにおける目盛り値を示す情報とを含む学習データ（図示せず）を用いることによって、第１部分画像データＤＴ２２に映るフロートメータ１０の目盛り１１ａにおける目盛り値を算出する際に用いる学習モデル（図示せず）を生成するものであってもよい。そして、値算出部１２６は、例えば、生成した学習モデルに対する第１部分画像データＤＴ２２の入力に伴って出力される値を、第１部分画像データＤＴ２２に映るフロートメータ１０の目盛り１１ａにおける目盛り値として特定するものであってもよい。

【0113】

さらに、例えば、フロート１２の上端位置１２ａに対応する目盛り１１ａにおける目盛り値の正解値や、フロート１２の上端位置１２ａを用いることによって目盛り１１ａにおける目盛り値を算出することが可能な正解式が予め明らかである場合、値算出部１２６は、この正解値や正解式を用いることによって、第１部分画像データＤＴ２２に映るフロートメータ１０の目盛り１１ａにおける目盛り値を特定するものであってもよい。

【0114】

このように、本実施の形態における情報処理装置１は、検証用画像データの入力に応じてフロートメータ１０が映る第１部分画像データを出力する第１学習モデルと、第１部分画像データの入力に応じてフロート１２とフロート１２の上端位置１２ａよりも垂直方向上側の領域とが映る第２部分画像データを出力する第２学習モデルとのそれぞれを用いることによって、検証用画像データに映るフロートメータ１０の特定と第１部分画像データに映るフロート１２の特定とを順に行う。そして、情報処理装置１は、例えば、第２部分画像データに映るフロート１２の第１位置及び第２位置（フロートの上端位置１２ａ以外の位置）を用いることによって、第２部分画像データに映るフロート１２の上端位置１２ａの特定を行う。

【0115】

これにより、本実施の形態における情報処理装置１は、上端位置１２ａ以外の位置を上端位置１２ａとして特定した場合であっても、フロート１２の全体が含まれる第２部分画像データを出力することが可能な第２学習モデルを生成することが可能になる。そのため、本実施の形態における情報処理装置１は、例えば、目盛り１１ａの読み取りに用いられる部分の形状と他の部分の形状とが類似しているフロート１２についても、目盛り１１ａの読み取りを精度良く行うことが可能になる。

【0116】

なお、第１画像抽出部１２１は、Ｓ２２の処理において、撮像装置によって撮影された動画データに含まれる各フレームに対応する検証用画像データＤＴ２１を連続的に取得するものであってもよい。そして、情報処理装置１は、取得した検証用画像データＤＴ２１のそれぞれについてＳ２３からＳ３５の処理を行うものであってよい。その後、値算出部１２６は、Ｓ３５の処理で算出した目盛り値のそれぞれの中央値や平均値を操作端末２に出力するものであってもよい。

【0117】

また、第１データ生成部１１１は、Ｓ１２の処理において、例えば、基準マーカ１３のそれぞれの位置からバウンディングボックスＢ１の位置を自動的に特定するものであってもよい。

【0118】

具体的に、第１データ生成部１１１は、例えば、全ての基準マーカ１３が含まれる位置をバウンディングボックスＢ１の位置として自動的に特定するものであってもよい。そして、第１データ生成部１１１は、特定したバウンディングボックスＢ１の位置情報を第１学習用画像データＤＴ１１に付加することによって、第１学習データを自動的に生成するものであってもよい。

【0119】

これにより、情報処理装置１は、第１学習データの生成に伴う作業者の作業負荷を軽減させることが可能になる。

【0120】

また、第２データ生成部１１３は、Ｓ１４の処理において、例えば、基準マーカ１４のそれぞれの位置と、第２学習用画像データＤＴ１２の垂直方向における各位置に対応する画素値の合計値を示すグラフ（図１３で説明したグラフ）とから、バウンディングボックスＢ２の位置を自動的に特定するものであってもよい。

【0121】

具体的に、第２データ生成部１１３は、例えば、第２学習用画像データＤＴ１２の垂直方向における各位置のうち、画素値の合計値が閾値以下である垂直方向における範囲を特定する。そして、第２データ生成部１１３は、例えば、特定した範囲を垂直方向上側及び垂直方向下側に向けて所定の長さだけ拡大した領域に対応する位置を、バウンディングボックスＢ２の位置として自動的に特定するものであってもよい。その後、第２データ生成部１１３は、特定したバウンディングボックスＢ２の位置情報を第２学習用画像データＤＴ１２に付加することによって、第２学習データを自動的に生成するものであってもよい。

【0122】

これにより、情報処理装置１は、第２学習データの生成に伴う作業者の作業負荷を軽減させることが可能になる。

【符号の説明】

【0123】

１：情報処理装置
２：操作端末
１０１：ＣＰＵ
１０２：メモリ
１０３：通信インタフェース
１０４：記憶媒体
１０５：バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】