(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム
(51)【国際特許分類】
G06T 3/02 20240101AFI20241106BHJP
【ＦＩ】
G06T3/02
【請求項の数】
12
(21)【出願番号】P 2023502073
(86)(22)【出願日】2021-11-24
(86)【国際出願番号】 JP2021042958
(87)【国際公開番号】W WO2022180963
(87)【国際公開日】2022-09-01
【審査請求日】2023-07-21
(31)【優先権主張番号】P 2021028035
(32)【優先日】2021-02-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】左貝 雅人
【審査官】小池 正彦
(56)【参考文献】
【文献】国際公開第２０２０／１７５５６６（ＷＯ，Ａ１）
【文献】特開２０２０－１６６５８７（ＪＰ，Ａ）
【文献】特開２００３－０６５８１２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ３／０２
Ｇ０６Ｔ ３／００
(57)【特許請求の範囲】
【請求項1】
対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する生成手段と、前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する計算手段と、
前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する選択手段と、
前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する補正手段と
を備えた画像処理装置。
【請求項2】
前記生成手段は、拡大、縮小、回転、および平行移動を組み合わせた写像によって、前記画像データにおける特定のパターン領域から、所定の枚数の変換画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記生成手段は、前記変換画像データにおける特定のパターン領域の画素値と、前記マスタ画像データにおける対応するパターン領域の画素値との間で、前記相関値を計算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記パターン領域は、特定の文字または特定の数字を含む領域であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項5】
前記補正手段は、前記マスタ画像データにおける物体の位置座標と、前記選択された変換画像データにおける前記物体の位置座標とが対応するように、前記選択された変換画像データを射影変換することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項6】
前記補正した変換画像データから、物体の指針が指し示す数値を読み取る読取手段をさらに備えたことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項7】
前記変換画像群に含まれる少なくともいずれか１つの変換画像データと、予め登録されたマスタ画像データとの間の相関値が閾値を上回るまで、前記生成手段は、前記画像データから、所定の枚数の変換画像データを生成することを繰り返すことを特徴とする請求項６に記載の画像処理装置。
【請求項8】
前記対象の画像データから二次元バーコードを検出する検出手段と、前記二次元バーコードの二次元形状に基づき、前記アフィン変換を行う前に、前記対象の画像データを事前補正する事前補正手段とをさらに備えた
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項9】
前記補正した変換画像データから、物体の指針が指し示す数値を読み取ることに成功するまで、前記生成手段は、前記画像データから、所定の枚数の変換画像データを生成することを繰り返すことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項10】
前記生成手段は、前記事前補正された前記画像データをアフィン変換することによって、前記複数の変換画像データを含む前記変換画像群を生成することを特徴とする請求項８に記載の画像処理装置。
【請求項11】
対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成し、前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算し、
前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択し、
前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する
画像処理方法。
【請求項12】
対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する処理と、前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する処理と、
前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する処理と、
前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する処理と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、および記録媒体に関し、特に、撮像機器から取得した画像データを補正する画像処理装置、画像処理方法、および記録媒体に関する。
【背景技術】
【0002】
予め登録されたレファレンス画像データ（マスタ画像データと呼ぶ）を使って、対象の画像データを補正する手法が知られている。その一例が、特許文献１に記載されている。
【0003】
特許文献１に記載の関連する技術では、アナログメータを撮影することによって得られた画像データから、アナログメータに付加された二次元バーコードを検出する。そして、対象の画像データにおける二次元バーコードが、マスタ画像データにおける二次元バーコードと等しい大きさかつ同一の形状になるように、対象の画像データを１次補正する。
【0004】
さらに、特許文献１に記載の関連する技術では、１次補正した画像データから、アナログメータの盤面に描かれた特定のパターン（例えば、文字または数字）を含むいくつかの領域を切り出す。続いて、位相限定相関法を用いて、マスタ画像データの対応する領域に対する、１次補正した画像データから切り出した領域の位置ずれを計算する。その後、計算した位置ずれに基づいて、画像データを２次補正する。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第ＷＯ２０２０／１７５５６６号
【文献】特開２０２０－１６６５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
アナログメータなどの物体を正面から撮影することによって得られたマスタ画像データが予め登録されているとする。ユーザが、撮像機器を手に持って、同じ物体を撮影したとき、撮影方向が物体の正面に対して傾斜する場合がある。この場合、対象の画像データに写る物体と、予め登録されたマスタ画像データに写る物体との間で、物体の位置、大きさ、および形状のずれが生じる。その結果、マスタ画像データに基づいて、対象の画像データを正確に補正できない可能性がある。
【0007】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、マスタ画像データを用いて、対象の画像データを補正する精度を向上させることにある。
【課題を解決するための手段】
【0008】
本発明の一態様に係わる画像処理装置は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する生成手段と、前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する計算手段と、前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する選択手段と、前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する補正手段とを備えている。
【0009】
本発明の一態様に係わる画像処理方法では、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成し、前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算し、前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択し、前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する。
【0010】
本発明の一態様に係わる記録媒体は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する処理と、前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する処理と、前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する処理と、前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する処理とをコンピュータに実行させるためのプログラムを格納している。
【発明の効果】
【0011】
本発明の一態様によれば、マスタ画像データを用いて、対象の画像データを補正する精度を向上させることができる。
【図面の簡単な説明】
【0012】
【図1】撮像機器による物体（アナログメータ）の撮影と、撮像機器から実施形態１～３のいずれかに係わる画像処理装置への画像データの送信とを模式的に示す図である。
【図2】実施形態１に係わる画像処理装置の構成を示すブロック図である。
【図3】実施形態１に係わる画像処理装置の動作を示すフローチャートである。
【図4】実施形態１に係わる画像処理装置の動作の流れの一例を説明する図である。
【図5】実施形態２に係わる画像処理装置の構成を示すブロック図である。
【図6】実施形態２に係わる画像処理装置の動作を示すフローチャートである。
【図7】実施形態３に係わる画像処理装置の構成を示すブロック図である。
【図8】実施形態３に係わる画像処理装置の動作を示すフローチャートである。
【図9】実施形態１～３に係わる画像処理装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0013】
（全ての実施形態に共通）
図１は、ユーザが撮像機器を持って、対象である物体（図１では、一例としてアナログメータを示す）の撮影を行う様子を示す。図１では、撮像機器から、実施形態１～３のいずれかに係わる画像処理装置１０，２０，３０のいずれかへ、撮像機器が撮影した対象の画像データが送信される。以下では、「画像処理装置１０，２０，３０のいずれか」を「画像処理装置１０（２０，３０）」と表記する。撮像機器から画像処理装置１０（２０，３０）へ送信される画像データを、以下では「対象の画像データ」と呼ぶ。対象の画像データは、物体（図１ではアナログメータ）を撮影することによって得られる。
図１は、ユーザが撮像機器を持って、対象である物体（図１では、一例としてアナログメータを示す）の撮影を行う様子を示す。図１では、撮像機器から、実施形態１～３のいずれかに係わる画像処理装置１０，２０，３０のいずれかへ、撮像機器が撮影した対象の画像データが送信される。以下では、「画像処理装置１０，２０，３０のいずれか」を「画像処理装置１０（２０，３０）」と表記する。撮像機器から画像処理装置１０（２０，３０）へ送信される画像データを、以下では「対象の画像データ」と呼ぶ。対象の画像データは、物体（図１ではアナログメータ）を撮影することによって得られる。
【0014】
図１に示すように、撮像機器は、ユーザが所持する情報デバイスである。例えば、撮像機器は、スマートフォンまたはタブレット端末である。撮像機器は、Ｗｉ－Ｆｉ（登録商標）あるいはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により、画像処理装置１０（２０，３０）と接続する。
【0015】
撮像機器には、画像処理装置１０（２０，３０）を遠隔操作するためのアプリケーションがインストールされている。ユーザは、画像処理装置１０（２０，３０）への指示をアプリケーションのＵＩ（User Interface）に入力することにより、撮像機器から画像処理装置１０（２０，３０）へ、指示コマンドが送信される。これにより、ユーザは、撮像機器を用いて、画像処理装置１０（２０，３０）を遠隔操作することができる。
【0016】
一変形例では、撮像機器と画像処理装置１０（２０，３０）とが一体となっていてもよい。換言すれば、後述する画像処理装置１０（２０，３０）が実行する処理は、撮像機器が有する情報処理機能の一部として実現されてもよい。
【0017】
物体（図１ではアナログメータ）は、撮像機器によって撮影される。物体の種類は特に限定されないが、アナログメータ以外の例は、ポスター、カレンダー、または書籍の背表紙など、文字や記号が配列されたものである。あるいは、その他の例は、モニターや窓など、風景を見通すものである。しかしながら、物体の種類は、上記の例に限定されない。
【0018】
【0019】
（画像処理装置１０）
図２は、本実施形態１に係わる画像処理装置１０の構成を示すブロック図である。図２に示すように、画像処理装置１０は、生成部１１、計算部１２、選択部１３、および補正部１４を備えている。
図２は、本実施形態１に係わる画像処理装置１０の構成を示すブロック図である。図２に示すように、画像処理装置１０は、生成部１１、計算部１２、選択部１３、および補正部１４を備えている。
【0020】
生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。生成部１１は、生成手段の一例である。
【0021】
一例では、生成部１１は、撮像機器（図１）から、対象の画像データを取得する。対象の画像データは、物体（図１ではアナログメータ）を撮影することによって得られた、すなわち、画像データ中にアナログメータが写っている。生成部１１は、対象の画像データに対して１回のアフィン変換を行うことによって、対象の画像データの座標に対し、３×３の行列演算を行うことによって、対象の画像データの座標を変換先データの座標に変換し、１枚の変換画像データを得る。アフィン変換は、線形変換（すなわち行列演算）と平行移動の組み合わせである。
【0022】
あるいは、生成部１１は、対象の画像データから、複数枚の画像データを得てもよい。この場合、生成部１１は、取得した対象の画像データに対し、互いに異なるアフィン変換を実行することによって、複数の変換画像データを生成する。
【0023】
具体的には、生成部１１は、画像の拡大、縮小、回転、および平行移動を組み合わせた写像（異なるアフィン変換）によって、対象の画像データから、所定の枚数の変換画像データを生成する。生成部１１は、このようにして生成した複数の変換画像データを含む変換画像群を、計算部１２へ出力する。
【0024】
計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。計算部１２は、計算手段の一例である。
【0025】
一例では、計算部１２は、位相限定相関法を用いて、変換画像データとマスタ画像データとの間の相関値を計算する。その他の例では、計算部１２は、色相、輝度値、および／またはパターンをパラメータとする任意の手法を用いて、変換画像データの画素値とマスタ画像データの画素値との間の相関係数（相関値の一例である）を計算する。具体的には、計算部１２は、SAD（Sum of Absolute Difference）、SSD（Sum of Squared Difference）、またはNCC（Normalized Cross-Correlation）を用いることができる。
【0026】
計算部１２は、上述のようにして、変換画像群に含まれる各変換画像データと、予め登録されたマスタ画像データとの間の相関値をそれぞれ計算する。そして、計算部１２は、変換画像群に含まれる全ての変換画像データについて相関値を計算したのち、対応する変換画像データと紐づけた相関値のデータを、選択部１３へ出力する。
【0027】
選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。選択部１３は、選択手段の一例である。
【0028】
一例では、選択部１３は、計算部１２から、変換画像群に含まれる全ての変換画像データについて計算した相関値のデータを受信する。選択部１３は、相関値の間の大小関係に基づいて、変換画像群に含まれる全ての変換画像データの中から、一つの変換画像データを選択する。
【0029】
具体的には、選択部１３は、変換画像群に含まれる全ての変換画像データのうち、マスタ画像データとの相関値が最も大きくなる変換画像データを選択する。選択部１３は、選択された変換画像データを補正部１４へ出力する。
【0030】
補正部１４は、マスタ画像データに写る物体（図１ではアナログメータ）と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。補正部１４は、補正手段の一例である。
【0031】
一例では、補正部１４は、選択部１３から、選択された変換画像データを受信する。補正部１４は、選択された変換画像データと、マスタ画像データとの間で、射影変換（幾何学的変換）行列を計算する。そして、補正部１４は、射影変換行列を用いて、選択された変換画像データの座標系を、マスタ画像データの座標系に変換する。
【0032】
射影変換行列を用いる演算により、選択された変換画像データに写るメータの形状および大きさが、マスタ画像データに含まれるメータのそれと同等に近づくように、選択された変換画像データは補正される。
【0033】
（画像処理装置１０の動作）
図３および図４を参照して、本実施形態１に係わる画像処理装置１０の動作を説明する。図３は、画像処理装置１０の各部が実行する処理の流れを示すフローチャートである。図４は、画像処理装置１０の動作の一例を説明する図である。
図３および図４を参照して、本実施形態１に係わる画像処理装置１０の動作を説明する。図３は、画像処理装置１０の各部が実行する処理の流れを示すフローチャートである。図４は、画像処理装置１０の動作の一例を説明する図である。
【0034】
図４に示すように、まず、画像処理装置１０の生成部１１は、物体（一例としてアナログメータ）を撮影することによって得られた対象の画像データを取得する。アナログメータの正面（盤面）には、指針、数字、および二次元バーコードが配置されている。以下では、このアナログメータの画像データの補正について説明する。
【0035】
図３に示すように、まず、生成部１１は、アナログメータの画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する（Ｓ１）。図４では、３つの変換画像データを含む変換画像群が一例として示されている。一例では、生成部１１は、アナログメータの画像データにおける特定のパターン領域に対し、互いに異なるアフィン変換を行うことによって、これらの３つの変換画像データを得る。生成部１１は、スライディング・ウィンドウ法などの手法を用いて、変換画像データにおけるパターン領域を検出してもよい。図４に示すように、パターン領域は、特定の文字または特定の数字を含む領域であってよい。
【0036】
次に、計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する（Ｓ２）。
【0037】
続いて、選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する（Ｓ３）。
【0038】
その後、補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する（Ｓ４）。
【0039】
以上で、本実施形態１に係わる画像処理装置１０の動作は終了する。
【0040】
（変形例）
一変形例では、ステップＳ４の後、補正された変換画像データは、画像処理装置１０から、図示しない指針読取装置へ送信されてもよい。指針読取装置は、補正された変換画像データにおいて、既知の画像認識技術により、アナログメータの指針（図４）が指し示す数値を読み取る。他の変形例では、画像処理装置１０が、指針読取部をさらに備えている。この場合、画像処理装置１０の指針読取部が、補正された変換画像データから、アナログメータの指針が指し示す数値を読み取る（実施形態２）。
一変形例では、ステップＳ４の後、補正された変換画像データは、画像処理装置１０から、図示しない指針読取装置へ送信されてもよい。指針読取装置は、補正された変換画像データにおいて、既知の画像認識技術により、アナログメータの指針（図４）が指し示す数値を読み取る。他の変形例では、画像処理装置１０が、指針読取部をさらに備えている。この場合、画像処理装置１０の指針読取部が、補正された変換画像データから、アナログメータの指針が指し示す数値を読み取る（実施形態２）。
【0041】
（本実施形態の効果）
本実施形態の構成によれば、生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。
本実施形態の構成によれば、生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。
【0042】
このように、対象の画像データから生成した変換画像群の中から、マスタ画像データとの相関の大きさに基づき、１つの変換画像データを選択する。マスタ画像データとの相関値が最も大きい変換画像データは、メータに対する撮像機器の角度、および撮像機器からメータまでの距離の観点で、マスタ画像データと最も近しい。マスタ画像データと相関値の高い変換画像データを選択することにより、マスタ画像データを用いて対象の画像データを補正する精度を向上させることができる。
【0043】
【0044】
（画像処理装置２０）
図５は、本実施形態２に係わる画像処理装置２０の構成を示すブロック図である。図５に示すように、画像処理装置２０は、生成部１１、計算部１２、選択部１３、および補正部１４を備えている。画像処理装置２０は、読取部２５をさらに備えている。
図５は、本実施形態２に係わる画像処理装置２０の構成を示すブロック図である。図５に示すように、画像処理装置２０は、生成部１１、計算部１２、選択部１３、および補正部１４を備えている。画像処理装置２０は、読取部２５をさらに備えている。
【0045】
読取部２５は、補正した変換画像データから、メータの指針が指し示す数値を読み取る。読取部２５は、読取手段の一例である。
【0046】
一例では、読取部２５は、補正部１４から、補正した変換画像データを受信する。読取部２５は、ＯＣＲ（Optical character recognition）により、補正した変換画像データから、メータの指針が指し示す数値を読み取ってもよいし、機械学習を行った推定器を用いてもよい。または、読取部２５は、特許文献２に記載された画像認識技術を使用してもよい。
【0047】
読取部２５は、メータの指針が指し示す数値を示す情報を、図示しない後段の処理部、あるいは図示しない外部装置へ送信してもよい。例えば、読取部２５は、メータの指針が指し示す数値を、撮像機器（図１）の画面に表示させる。あるいは、読取部２５は、メータの指針が指し示す数値を示す情報を、外部記憶装置に記録してもよい。
【0048】
（画像処理装置２０の動作）
図６を参照して、本実施形態２に係わる画像処理装置２０の動作を説明する。図６は、画像処理装置２０の各部が実行する処理の流れを示すフローチャートである。図６は、画像処理装置２０の動作の一例を説明する図である。
図６を参照して、本実施形態２に係わる画像処理装置２０の動作を説明する。図６は、画像処理装置２０の各部が実行する処理の流れを示すフローチャートである。図６は、画像処理装置２０の動作の一例を説明する図である。
【0049】
図６に示すように、まず、生成部１１は、アナログメータの画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する（Ｓ２０１）。このとき、生成部１１は、例えば位相限定相関法を用いて、変換画像データにおける特定のパターン領域（図４）と、マスタ画像データにおける対応するパターン領域との間で、相関値を計算してもよい。
【0050】
次に、計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する（Ｓ２０２）。
【0051】
続いて、選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する（Ｓ２０３）。
【0052】
その後、補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する（Ｓ２０４）。
【0053】
補正した変換画像データから、メータの指針が指し示す数値を読み取る（Ｓ２０５）。
【0054】
以上で、本実施形態２に係わる画像処理装置２０の動作は終了する。
【0055】
（本実施形態の効果）
本実施形態の構成によれば、生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。
本実施形態の構成によれば、生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。
【0056】
このように、対象の画像データから生成した変換画像群の中から、マスタ画像データとの相関の大きさに基づき、１つの変換画像データを選択する。マスタ画像データとの相関値が最も大きい変換画像データは、メータに対する撮像機器の角度、および撮像機器からメータまでの距離の観点で、マスタ画像データと最も近しい。マスタ画像データと相関値の高い変換画像データを選択することにより、マスタ画像データを用いて対象の画像データを補正する精度を向上させることができる。
【0057】
さらに、本実施形態の構成によれば、読取部２５は、補正した変換画像データから、メータの指針が指し示す数値を読み取る。これにより、メータの管理に係るユーザの作業負担を低減し、かつ作業コストを低減することができる。
【0058】
【0059】
（画像処理装置３０）
図７は、本実施形態３に係わる画像処理装置３０の構成を示すブロック図である。図７に示すように、画像処理装置３０は、生成部１１、計算部１２、選択部１３、および補正部１４を備えている。画像処理装置３０は、読取部２５、検出部３６、および事前補正部３７をさらに備えている。
図７は、本実施形態３に係わる画像処理装置３０の構成を示すブロック図である。図７に示すように、画像処理装置３０は、生成部１１、計算部１２、選択部１３、および補正部１４を備えている。画像処理装置３０は、読取部２５、検出部３６、および事前補正部３７をさらに備えている。
【0060】
検出部３６は、対象の画像データから二次元バーコード（図４）を検出する。検出部３６は、検出手段の一例である。
【0061】
一例では、検出部３６は、撮像機器（図１）から、対象の画像データを受信する。検出部３６は、パターン検出などの画像分析技術を用いて、対象の画像データから、二次元バーコードを検出する。検出部３６は、対象の画像データとともに、対象の画像データから検出した二次元バーコードの領域を指し示す情報を、事前補正部３７へ出力する。
【0062】
二次元バーコードの領域を指し示す情報とは、対象の画像データにおいて、二次元バーコードが占有する領域の位置座標である。
【0063】
事前補正部３７は、二次元バーコードの二次元形状に基づき、アフィン変換もしくはホモグラフィー変換により、対象の画像データを事前補正する。事前補正部３７は、事前補正手段の一例である。
【0064】
一例では、事前補正部３７は、検出部３６から、対象の画像データから検出した二次元バーコードの領域を指し示す情報を受信する。事前補正部３７は、二次元バーコードの領域を指し示す情報を用いて、対象の画像データを補正する。
【0065】
具体的には、事前補正部３７は、マスタ画像データにおける二次元バーコードの位置座標と、対象の画像データにおける二次元バーコードの位置座標とが対応するように、対象の画像データを射影変換する。事前補正部３７は、このようにして補正した対象の画像データを、生成部１１へ出力する。
【0066】
本実施形態３では、生成部１１は、事前補正部３７により補正された対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。
【0067】
（画像処理装置３０の動作）
図７を参照して、本実施形態３に係わる画像処理装置３０の動作を説明する。図７は、画像処理装置３０の各部が実行する処理の流れを示すフローチャートである。図７は、画像処理装置３０の動作の一例を説明する図である。
図７を参照して、本実施形態３に係わる画像処理装置３０の動作を説明する。図７は、画像処理装置３０の各部が実行する処理の流れを示すフローチャートである。図７は、画像処理装置３０の動作の一例を説明する図である。
【0068】
図７に示すように、検出部３６は、対象の画像データから二次元バーコードを検出する（Ｓ３０１）。
【0069】
事前補正部３７は、二次元バーコードの二次元形状に基づき、アフィン変換もしくはホモグラフィー変換により、対象の画像データを事前補正する（Ｓ３０２）。
【0070】
生成部１１は、アナログメータの画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する（Ｓ３０３）。このとき、生成部１１は、例えば位相限定相関法を用いて、変換画像データにおける特定のパターン領域（図４）と、マスタ画像データにおける対応するパターン領域との間で、相関値を計算してもよい。
【0071】
次に、計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する（Ｓ３０４）。
【0072】
続いて、選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する（Ｓ３０５）。
【0073】
その後、補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する（Ｓ３０６）。
【0074】
補正した変換画像データから、メータの指針が指し示す数値を読み取る（Ｓ３０７）。
【0075】
以上で、本実施形態３に係わる画像処理装置３０の動作は終了する。
【0076】
（本実施形態の効果）
本実施形態の構成によれば、生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。
本実施形態の構成によれば、生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。
【0077】
このように、対象の画像データから生成した変換画像群の中から、マスタ画像データとの相関の大きさに基づき、１つの変換画像データを選択する。マスタ画像データとの相関値が最も大きい変換画像データは、メータに対する撮像機器の角度、および撮像機器からメータまでの距離の観点で、マスタ画像データと最も近しい。マスタ画像データと相関値の高い変換画像データを選択することにより、マスタ画像データを用いて対象の画像データを補正する精度を向上させることができる。
【0078】
さらに、本実施形態の構成によれば、読取部２５は、補正した変換画像データから、メータの指針が指し示す数値を読み取る。これにより、メータの管理に係るユーザの作業負担を低減し、かつ作業コストを低減することができる。
【0079】
さらに、本実施形態の構成によれば、検出部３６は、対象の画像データから二次元バーコードを検出する。事前補正部３７は、二次元バーコードの二次元形状に基づき、アフィン変換もしくはホモグラフィー変換により、対象の画像データを事前補正する。これにより、事前補正された対象の画像データにおける対象の形状および大きさが、マスタ画像データにおける対象の形状および大きさに近づく。そのため、事前補正されない場合と比較して、対象の画像データをより正確に補正することができる。
【0080】
（ハードウェア構成について）
前記実施形態１～３で説明した画像処理装置１０，２０，３０の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図９に示すような情報処理装置９００により実現される。図９は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。
前記実施形態１～３で説明した画像処理装置１０，２０，３０の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図９に示すような情報処理装置９００により実現される。図９は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。
【0081】
図９に示すように、情報処理装置９００は、一例として、以下のような構成を含む。
【0082】
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
前記実施形態１～３で説明した画像処理装置１０，２０，３０の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
前記実施形態１～３で説明した画像処理装置１０，２０，３０の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
【0083】
上記の構成によれば、前記実施形態１～３において説明した画像処理装置１０，２０，３０が、ハードウェアとして実現される。したがって、前記実施形態において説明した効果と同様の効果を奏することができる。
【0084】
〔付記〕
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0085】
（付記１）
対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する生成手段と、
前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する計算手段と、
前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する選択手段と、
前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する補正手段と
を備えた画像処理装置。
対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する生成手段と、
前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する計算手段と、
前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する選択手段と、
前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する補正手段と
を備えた画像処理装置。
【0086】
（付記２）
前記生成手段は、拡大、縮小、回転、および平行移動を組み合わせた写像によって、前記画像データにおける特定のパターン領域から、所定の枚数の変換画像データを生成する
ことを特徴とする付記１に記載の画像処理装置。
前記生成手段は、拡大、縮小、回転、および平行移動を組み合わせた写像によって、前記画像データにおける特定のパターン領域から、所定の枚数の変換画像データを生成する
ことを特徴とする付記１に記載の画像処理装置。
【0087】
（付記３）
前記生成手段は、前記変換画像データにおける特定のパターン領域の画素値と、前記マスタ画像データにおける対応するパターン領域の画素値との間で、前記相関値を計算する
ことを特徴とする付記１または２に記載の画像処理装置。
前記生成手段は、前記変換画像データにおける特定のパターン領域の画素値と、前記マスタ画像データにおける対応するパターン領域の画素値との間で、前記相関値を計算する
ことを特徴とする付記１または２に記載の画像処理装置。
【0088】
（付記４）
前記パターン領域は、特定の文字または特定の数字を含む領域である
ことを特徴とする付記２または３に記載の画像処理装置。
前記パターン領域は、特定の文字または特定の数字を含む領域である
ことを特徴とする付記２または３に記載の画像処理装置。
【0089】
（付記５）
前記補正手段は、前記マスタ画像データにおける物体の位置座標と、前記選択された変換画像データにおける前記物体の位置座標とが対応するように、前記選択された変換画像データを射影変換する
ことを特徴とする付記１から４のいずれか１項に記載の画像処理装置。
前記補正手段は、前記マスタ画像データにおける物体の位置座標と、前記選択された変換画像データにおける前記物体の位置座標とが対応するように、前記選択された変換画像データを射影変換する
ことを特徴とする付記１から４のいずれか１項に記載の画像処理装置。
【0090】
（付記６）
前記補正した変換画像データから、物体に設けられた指針が指し示す数値を読み取る読取手段をさらに備えた
ことを特徴とする付記１から５のいずれか１項に記載の画像処理装置。
前記補正した変換画像データから、物体に設けられた指針が指し示す数値を読み取る読取手段をさらに備えた
ことを特徴とする付記１から５のいずれか１項に記載の画像処理装置。
【0091】
（付記７）
前記変換画像群に含まれる少なくともいずれか１つの変換画像データと、予め登録されたマスタ画像データとの間の相関値が閾値を上回るまで、前記生成手段は、前記画像データから、所定の枚数の変換画像データを生成することを繰り返す
ことを特徴とする付記６に記載の画像処理装置。
前記変換画像群に含まれる少なくともいずれか１つの変換画像データと、予め登録されたマスタ画像データとの間の相関値が閾値を上回るまで、前記生成手段は、前記画像データから、所定の枚数の変換画像データを生成することを繰り返す
ことを特徴とする付記６に記載の画像処理装置。
【0092】
（付記８）
前記対象の画像データから二次元バーコードを検出する検出手段と、
前記二次元バーコードの二次元形状に基づき、前記アフィン変換もしくはホモグラフィー変換により、前記対象の画像データを事前補正する事前補正手段とをさらに備えた
ことを特徴とする付記１から７のいずれか１項に記載の画像処理装置。
前記対象の画像データから二次元バーコードを検出する検出手段と、
前記二次元バーコードの二次元形状に基づき、前記アフィン変換もしくはホモグラフィー変換により、前記対象の画像データを事前補正する事前補正手段とをさらに備えた
ことを特徴とする付記１から７のいずれか１項に記載の画像処理装置。
【0093】
（付記９）
対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成し、
前記変換画像群に含まれる前記変換画像データに写る物体と、予め登録されたマスタ画像データに写る物体との間の相関値を計算し、
前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択し、
前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する
画像処理方法。
対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成し、
前記変換画像群に含まれる前記変換画像データに写る物体と、予め登録されたマスタ画像データに写る物体との間の相関値を計算し、
前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択し、
前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する
画像処理方法。
【0094】
（付記１０）
対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する処理と、
前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する処理と、
前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する処理と、
前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する処理と
をコンピュータに実行させるためのプログラム。
対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する処理と、
前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する処理と、
前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する処理と、
前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する処理と
をコンピュータに実行させるためのプログラム。
【0095】
（付記１１）
前記補正した変換画像データから、物体の指針が指し示す数値を読み取ることに成功するまで、前記生成手段は、前記画像データから、所定の枚数の変換画像データを生成することを繰り返す
ことを特徴とする付記１から６のいずれか１項に記載の画像処理装置。
前記補正した変換画像データから、物体の指針が指し示す数値を読み取ることに成功するまで、前記生成手段は、前記画像データから、所定の枚数の変換画像データを生成することを繰り返す
ことを特徴とする付記１から６のいずれか１項に記載の画像処理装置。
【0096】
（付記１２）
前記生成手段は、前記事前補正された前記画像データをアフィン変換することによって、前記複数の変換画像データを含む前記変換画像群を生成する
ことを特徴とする付記８に記載の画像処理装置。
前記生成手段は、前記事前補正された前記画像データをアフィン変換することによって、前記複数の変換画像データを含む前記変換画像群を生成する
ことを特徴とする付記８に記載の画像処理装置。
【0097】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。上記実施形態（及び実施例）の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0098】
この出願は、２０２１年２月２５日に出願された日本出願特願２０２１－０２８０３５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【0099】
本発明は、例えば、アナログメータを撮影することによって得られた画像データから、メータの指針が指し示す数値を読み取る画像処理装置に利用することができる。
【符号の説明】
【0100】
１０ 画像処理装置
１１ 生成部
１２ 計算部
１３ 選択部
１４ 補正部
２０ 画像処理装置
２５ 読取部
３０ 画像処理装置
３６ 検出部
３７ 事前補正部
１１ 生成部
１２ 計算部
１３ 選択部
１４ 補正部
２０ 画像処理装置
２５ 読取部
３０ 画像処理装置
３６ 検出部
３７ 事前補正部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】