特許 7164243 画像処理装置、画像処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-24

(45)【発行日】2022-11-01

(54)【発明の名称】画像処理装置、画像処理方法、プログラム

(51)【国際特許分類】

   G06T 7/32 20170101AFI20221025BHJP

   G06T 3/00 20060101ALI20221025BHJP

【ＦＩ】

G06T7/32

G06T3/00 735

【請求項の数】 8

(21)【出願番号】P 2021502328

(86)(22)【出願日】2020-02-26

(86)【国際出願番号】 JP2020007798

(87)【国際公開番号】W WO2020175566

(87)【国際公開日】2020-09-03

【審査請求日】2021-07-29

(31)【優先権主張番号】P 2019034750

(32)【優先日】2019-02-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(73)【特許権者】

【識別番号】000173809

【氏名又は名称】一般財団法人電力中央研究所

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】左貝 雅人

(72)【発明者】

【氏名】伊藤 憲彦

【審査官】小太刀 慶明

(56)【参考文献】

【文献】特開２００９－０８７０８７（ＪＰ，Ａ）

【文献】特開２０１３－１５２１９８（ＪＰ，Ａ）

【文献】特開２００８－０４０５１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

認識対象物を撮影した画像に写る前記認識対象物に貼付されている規定貼付物の歪みが補正されるよう当該画像を補正し、その補正後に、前記認識対象物の範囲内において分散する予め特定された複数の特徴範囲と、前記補正した画像において前記分散に基づいて指定された複数の特徴範囲と、の相関に基づいて、前記補正した画像を、前記認識対象物を正面から撮影した正規画像に近づける射影変換を行う画像変換手段、
を備える画像処理装置。

【請求項2】

前記画像変換手段は、前記相関に基づいて射影変換行列を算出し、当該射影変換行列を用いて、前記画像を、前記正規画像に近づける射影変換を行う
請求項１に記載の画像処理装置。

【請求項3】

前記認識対象物に含まれる特徴に基づいて前記認識対象物の範囲を特定する範囲特定手段と、
をさらに備える請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記認識対象物が計器であり、
前記特徴範囲は前記計器において特徴量の多い範囲である
請求項１から請求項３の何れか一項に記載の画像処理装置。

【請求項5】

前記画像変換手段は、前記認識対象物の範囲内において特徴量の多い複数の範囲を示す情報を出力し、当該複数の範囲のうちの指定された何れか複数の範囲を前記特徴範囲として決定する
請求項１から請求項４の何れか一項に記載の画像処理装置。

【請求項6】

前記認識対象物を撮影した前記画像を前記射影変換した結果を用いて、前記認識対象物の状態の認識処理を行う認識処理手段と、
をさらに備える請求項１から請求項５の何れか一項に記載の画像処理装置。

【請求項7】

認識対象物を撮影した画像に写る前記認識対象物に貼付されている規定貼付物の歪みが補正されるよう当該画像を補正し、その補正後に、前記認識対象物の範囲内において分散する予め特定された複数の特徴範囲と、前記補正した画像において前記分散に基づいて指定された複数の特徴範囲と、の相関に基づいて、前記補正した画像を、前記認識対象物を正面から撮影した正規画像に近づける射影変換を行う
ことを含む画像処理方法。

【請求項8】

コンピュータを、
認識対象物を撮影した画像に写る前記認識対象物に貼付されている規定貼付物の歪みが補正されるよう当該画像を補正し、その補正後に、前記認識対象物の範囲内において分散する予め特定された複数の特徴範囲と、前記補正した画像において前記分散に基づいて指定された複数の特徴範囲と、の相関に基づいて、前記補正した画像を、前記認識対象物を正面から撮影した正規画像に近づける射影変換を行う画像変換手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラムに関する。

【背景技術】

【0002】

工場や病院等の多くの施設に計器やその他の機器など、管理者等の人が確認してその状態を認識すべき認識対象物が数多く設置されている。例えば計器であれば、その計器に設けられた指針の指す目盛の数値を正確に読み取り、記録する必要がある。特許文献１には、関連する技術として、指示計も含めた多種類の状態表示器の表示内容を認識する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】日本国特開２００２－５６３８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、このような認識対象物を撮影した画像を用いて、その認識対象物の状態をより精度高く認識する技術が求められている。

【0005】

そこでこの発明は、上述の課題を解決することのできる画像処理装置、画像処理方法、プログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、画像処理装置は、認識対象物の範囲内において分散する予め特定された複数の特徴範囲と、前記認識対象物を撮影した画像において前記分散に基づいて指定された複数の特徴範囲と、の相関に基づいて、前記画像を、前記認識対象物を正面から撮影した正規画像に近づける射影変換を行う画像変換手段、を備える。

【0007】

本発明の第２の態様によれば、画像処理方法は、認識対象物の範囲内において分散する予め特定された複数の特徴範囲と、前記認識対象物を撮影した画像において前記分散に基づいて指定された複数の特徴範囲と、の相関に基づいて、前記画像を、前記認識対象物を正面から撮影した正規画像に近づける射影変換を行うことを含む。

【0008】

本発明の第３の態様によれば、記録媒体は、コンピュータを、認識対象物の範囲内において分散する予め特定された複数の特徴範囲と、前記認識対象物を撮影した画像において前記分散に基づいて指定された複数の特徴範囲と、の相関に基づいて、前記画像を、前記認識対象物を正面から撮影した正規画像に近づける射影変換を行う画像変換手段、として機能させることを特徴とするプログラムを記憶する。

【発明の効果】

【0009】

本発明によれば、認識対象物を撮影した撮影画像から認識対象物の状態をより精度高く認識することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態による画像処理装置の概要を示す図である。

【図2】本発明の一実施形態による画像処理装置のハードウェア構成を示す図である。

【図3】本発明の一実施形態による画像処理装置の機能ブロック図である。

【図4】本発明の一実施形態による画像処理装置のフローチャートである。

【図5】本発明の一実施形態による画像処理装置の処理概要を示す第一の図である。

【図6】本発明の一実施形態による画像処理装置の処理概要を示す第二の図である。

【図7】本発明の一実施形態による画像処理装置の最小構成を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。
図１は同実施形態による画像処理装置の概要を示す図である。
この図が示すように画像処理装置１は、一例としてはスマートフォンなどの携帯端末として機能する装置であってよい。画像処理装置１は計器２などの認識対象物を撮影するカメラを備える。

【0012】

図２は画像処理装置のハードウェア構成を示す図である。
図２に示すように、画像処理装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＳＳＤ（Solid State Drive）１０４、通信モジュール１０５、カメラ１０６等の各ハードウェアを備えたコンピュータである。画像処理装置１はその他のハードウェア構成を備えてよい。

【0013】

図３は画像処理装置の機能ブロック図である。
画像処理装置は画像処理プログラムを実行することにより、制御部１１、範囲特定部１２、画像変換部１３、認識処理部１４の機能を発揮する。
制御部１１は、他の機能部を制御する。
範囲特定部１２は、認識対象物に貼付されている規定貼付物のサイズと、認識対象物のサイズとの比率に基づいて認識対象物を撮影して得た画像における認識対象の範囲を特定する。
画像変換部１３は、少なくとも、認識対象物の範囲内において分散する予め特定された複数の特徴範囲と、認識対象物を撮影した画像において分散に基づいて指定された複数の特徴範囲と、の相関に基づいて、認識対象物の画像を、認識対象物を正面から撮影した正規画像に近づける射影変換を行う。
認識処理部１４は、認識対象物を撮影した画像を射影変換した結果を用いて、認識対象物の状態の認識処理を行う。

【0014】

なお本実施形態においては、認識対象物が計器２であり、計器に貼付されている規定貼付物がＱＲコード（登録商標）等の二次元コードである場合の例を用いて説明する。この場合、画像処理装置１は、計器２に予め貼付される規定貼付物の一例である二次元コードの縦横のサイズと、その二次元コードの位置に対する計器２の端部（上端、下端、左端、右端など）までの距離の比率に基づいて画像処理装置１の撮影した画像における計器２の範囲を特定する。画像処理装置１は、画像に写る二次元コードの歪みが補正されるよう当該画像の計器２の範囲を補正する。その後、画像処理装置１は、計器２の正規画像の範囲内において分散する予め特定された複数の数字が印字されている特徴範囲と、計器２を撮影した画像において上記分散に基づいて特定された上記数字が写る画像内の対応する複数の特徴範囲とを特定する。画像処理装置１は、それら特徴範囲の相関に基づいて算出した射影変換行列を用いて、二次元コードの歪みが補正されるよう変換された当該補正後の画像を、さらに歪みが解消される射影変換して補正することで、計器２を正面から撮影した正規画像に近づける処理を行う。このような処理により、画像処理装置１は、計器２の状態をより精度高く認識することができるよう撮影された画像を補正する。

【0015】

本実施形態においては画像処理装置１が携帯端末である場合の例を用いて説明するが、ＰＣやコンピュータサーバ等であってもよい。この場合、以下の説明にある計器２の撮影画像を撮影装置が生成し、それらＰＣやコンピュータサーバが撮影画像を撮影装置から取得して以下の処理を行ってよい。以下、画像処理装置の処理の詳細について説明する。

【0016】

図４は画像処理装置のフローチャートである。
図５は画像処理装置の処理概要を示す第一の図である。
図６は画像処理装置の処理概要を示す第二の図である。
まず、ユーザが画像処理装置１を操作して計器２を撮影する。当該計器２は、本実施形態においては、計器２が計測する環境状態（温度、湿度、圧力など）の状態量の大きさの範囲を数値と目盛線で表し、現在の状態量に対応する目盛を指針で指し示すアナログ計器であるとする。図１で示すように計器２は、円弧状に目盛と、目盛に対応する数値とがそれぞれ所定間隔で印字された目盛板と、目盛の円弧を円とみなした中心位置に目盛板に垂直に設けられた軸に目盛板に平行に回動可能に固定され、目盛を指し示す指針とにより構成される。図１で示す計器２の目盛板には、目盛の状態量の範囲において０，５０，１００，１５０等の状態量を示す数値が、その数値の間隔に応じた間隔で目盛の近傍に印字されており、これら数値が印字された４つの数値印字領域を特徴量の多い特徴範囲と呼ぶこととする。計器２には予め二次元コードが貼付されている。二次元コードは計器２に印刷されていてもよい。二次元コードが示すコード情報には計器２を特定する計器ＩＤを示す情報が含まれる。

【0017】

画像処理装置１は、この計器２や、その他の多くの計器を正面から撮影した正規画像と、当該正規画像における４つの特徴範囲を示す座標であって当該画像の基準座標を原点とする座標と、貼付されている二次元コードが示す縦横のサイズに対する計器２の範囲を示す範囲特定情報と、計器２を特定する識別情報である計器ＩＤと、を少なくとも含む計器情報を、計器毎に記憶する。計器情報は画像処理装置１が通信接続可能なサーバに記録されていてもよい。計器２の範囲を示す範囲特定情報は、一例としては、二次元コードの横の長さ、当該横の長さに基づいて当該二次元コードの左端部から何倍の位置に計器２の左端部が位置するかを示す倍率情報、当該横の長さに基づいて当該二次元コードの右端部から何倍の位置に計器２の右端部が位置するかを示す倍率情報、二次元コードの縦の長さ、当該縦の長さに基づいて当該二次元コードの上端部から何倍の位置に計器２の上端部が位置するかを示す倍率情報、当該縦の長さに基づいて当該二次元コードの下端部から何倍の位置に計器２の下端部が位置するかを示す倍率情報、を含むものとする。これらの範囲特定情報や、その情報を含む計器情報は、当該二次元コード情報内に符号化されて保持されていてもよい。範囲特定情報は、二次元コードの計器２への貼付後にユーザにより計測され、記録された情報であるとする。

【0018】

画像処理装置１のカメラ１０６は、ユーザの撮影操作に基づいて、計器２を含む範囲の撮影画像を生成し、ＳＳＤ１０４等の記憶部に記録する（ステップＳ１０１）。そしてユーザは、画像処理装置１に対して計器２の指針の示す値の認識処理の開始を指示する。すると制御部１１は計器２の撮影画像を読み取り、画像変換部１３へ出力する。

【0019】

画像変換部１３は撮影画像中の計器２に貼付されている二次元コードを検出する（ステップＳ１０２）。画像変換部１３は撮影画像に含まれる二次元コードの現在の形状と、正規の二次元コードの形状である正方形とに基づいて、現在の二次元コードの形状が正方形に近づくよう補正するための第一射影変換行列を生成する（ステップＳ１０３）。この第一射影変換行列は、一例としては撮影画像に写る二次元コードの矩形の角の座標４点と、二次元コードの仕様に基づいて得られるファインダーパターン及びアライメントパターンの座標４点の各ずれまたは相関値を用いて公知のホモグラフィー変換行列の算出手法により算出する。またはこの第一射影変換行列は、一例としては撮影画像に写る二次元コードのファインダーパターン及びアライメントパターンのいずれかの座標３点と、二次元コードの仕様に基づいて得られる二次元コードのファインダーパターン及びアライメントパターンの座標３点の各ずれまたは相関値を用いて公知のアフィン変換行列の算出手法により算出する。画像変換部１３は第一射影変換行列を用いて、撮影画像に写る二次元コードの矩形が正方形になるように補正した第一計器画像を生成する（ステップＳ１０４）。画像変換部１３は、第一計器画像を範囲特定部１２へ出力する。

【0020】

次に範囲特定部１２は二次元コードに含まれる計器ＩＤを検出する。範囲特定部１２は計器ＩＤに基づいて計器情報を取得する。例えば計器情報がサーバに記録されている場合には、当該サーバに計器ＩＤを含む計器情報の送信要求を送信し、その結果、サーバから、当該サーバが計器ＩＤに紐づけて記憶する計器情報を受信し、取得する（ステップＳ１０５）。画像処理装置１が計器情報を記憶している場合には、範囲特定部１２は、計器ＩＤに紐づけて自装置で記憶している計器情報を特定し、読み取る。範囲特定部１２は、計器情報から範囲特定情報を取得する（ステップＳ１０６）。範囲特定部１２は、範囲特定情報に含まれるバーコードの縦横の長さに対する計器２の端部までの倍率を示す上記倍率情報を取得する。範囲特定部１２はそれら倍率情報と、バーコードの縦横の長さとに基づいて、計器２の第一計器画像における上端、下端、左端、右端の範囲を特定し、当該第一計器画像中の計器２の範囲を認識する。範囲特定部１２は計器２の認識した範囲に基づいて、画像をトリミングし、そのトリミングした結果である第二計器画像を生成する（ステップＳ１０７）。この処理は、認識対象物に貼付されている規定貼付物のサイズと、認識対象物のサイズとの比率に基づいて画像における認識対象の範囲を特定する処理態様の一例である。範囲特定部１２は、第二計器画像を画像変換部１３へ出力する。

【0021】

画像変換部１３は次に、計器情報から計器２の４つの特徴範囲の座標情報を取得する。
特徴範囲が矩形の範囲を示す場合、１つの特徴範囲の座標情報には当該特徴範囲が示す矩形の４つの角の座標が含まれる。画像変換部１３は、４つの特徴範囲の座標情報に基づいて、第二計器画像中の対応する４つの特徴範囲それぞれの特徴画像を切り出す（ステップＳ１０８）。一例としては、４つの特徴範囲は計器２の目盛板に印字されている０、５０、１００、１５０の数字を含む範囲である。本実施形態においては４つの特徴範囲が計器２において特定されてそれらの座標情報が計器情報に含まれているが、計器２等の認識対象物の範囲全体に略均等に分散した特徴を示す範囲であれば、その特徴範囲に含まれる情報は数字に限られず、またその範囲の数も３つ以上の複数であればよい。なお画像変換部１３は所定の数の特徴範囲それぞれの特徴画像を切り出すことができない場合には、処理を終了してもよい。この場合、画像変換部１３は、ユーザに計器２の再撮影を促す通知をディスプレイ等に出力してもよい。

【0022】

画像変換部１３は、各特徴範囲についてその範囲を左上、左下、右上、右下にそれぞれずらした４つの近傍範囲を第二計器画像中において特定し、特徴範囲それぞれについて４つの近傍範囲の画像を切り出す（ステップＳ１０９）。特徴範囲の左上の近傍範囲を第一近傍範囲、特徴範囲の左下の近傍範囲を第二近傍範囲、特徴範囲の右上の近傍範囲を第三近傍範囲、特徴範囲の右下の近傍範囲を第四近傍範囲、と呼ぶこととする。以上の処理により、本実施形態において画像変換部１３は、第二計器画像から、４つの特徴範囲と、各特徴範囲それぞれについて４つの近傍範囲の画像の合計２０の画像を切り出す。なお各特徴範囲についての近傍範囲の特定も４つに限らず、それ以外の数の複数の近傍範囲を特定してよい。例えば、近傍範囲の特定する数は０でもよいし、１以上の複数の数であってもよい。近傍範囲の特定する数が０の場合、近傍範囲を用いずに特徴範囲のみを特定してもよい。画像変換部１３は、計器２の正規画像を取得する。画像変換部１３は正規画像においても同様に、４つの特徴範囲の画像を切り出す。

【0023】

第二計器画像における、上記４つの特徴範囲を、特徴範囲ａ、特徴範囲ｂ、特徴範囲ｃ、特徴範囲ｄと呼ぶ。また第二計器画像における、特徴範囲ａの左上、左下、右上、右下それぞれの４つの近傍範囲を、第一近傍範囲ａ１、第二近傍範囲ａ２、第三近傍範囲ａ３、第四近傍範囲ａ４、と呼ぶ。第二計器画像における、特徴範囲ｂの左上、左下、右上、右下それぞれの４つの近傍範囲を、第一近傍範囲ｂ１、第二近傍範囲ｂ２、第三近傍範囲ｂ３、第四近傍範囲ｂ４、と呼ぶ。第二計器画像における、特徴範囲ｃの左上、左下、右上、右下それぞれの４つの近傍範囲を、第一近傍範囲ｃ１、第二近傍範囲ｃ２、第三近傍範囲ｃ３、第四近傍範囲ｃ４、と呼ぶ。第二計器画像における、特徴範囲ｄの左上、左下、右上、右下それぞれの４つの近傍範囲を、第一近傍範囲ｄ１、第二近傍範囲ｄ２、第三近傍範囲ｄ３、第四近傍範囲ｄ４、と呼ぶ。これら第二計器画像における特徴範囲と近傍範囲のうち、特徴範囲ｂと近傍範囲ｂ１～ｂ４の位置関係を図６に詳細に示す。他の特徴範囲と近傍範囲の関係も同様である。

【0024】

また正規画像における、上記４つの特徴範囲を、特徴範囲ａ’、特徴範囲ｂ’、特徴範囲ｃ’、特徴範囲ｄ’と呼ぶ。画像変換部１３は、第二計器画像と正規画像の対応する特徴範囲と近傍範囲とのずれ量及び相関値を、位相限定相関法を用いて算出する。ずれ量及び相関値は第二計器画像と正規画像の特徴範囲の相関を表す一つの情報量である。これにより、画像変換部１３は、第二計器画像の特徴範囲ａと正規画像の特徴範囲ａ’とのずれ量及び相関値、第二計器画像の第一近傍範囲ａ１と正規画像の特徴範囲ａ’とのずれ量及び相関値、第二計器画像の第二近傍範囲ａ２と正規画像の特徴範囲ａ’とのずれ量及び相関値、第二計器画像の第三近傍範囲ａ３と正規画像の特徴範囲ａ’とのずれ量及び相関値、第二計器画像の第四近傍範囲ａ４と正規画像の特徴範囲ａ’とのずれ量及び相関値を、位相限定相関法を用いて算出する。画像変換部１３は、それら相関値のうち、最大の相関値を算出した特徴範囲または近傍範囲を選択する（ステップＳ１１０）。画像変換部１３は、その選択した特徴範囲または近傍範囲について算出したずれ量を、５つの範囲（特徴範囲ａ，近傍範囲ａ１，ａ２，ａ３，ａ４）の代表となる範囲（特徴範囲ａ，近傍範囲ａ１，ａ２，ａ３，ａ４のうちいずれか一つ）に含まれる特徴（数字）に関する第二計器画像と正規画像とのずれ量と特定する。画像変換部１３は同様の処理を、全ての特徴範囲ｂ、特徴範囲ｃ、特徴範囲ｄについて行う。以上により計器２において分散する４つの特徴範囲の特徴（数字）に関する第二計器画像と正規画像とのずれ量が算出できる。

【0025】

画像変換部１３は、計器２において分散する４つの特徴範囲の特徴（数字）に関する第二計器画像と正規画像とのずれ量を用いて、公知のホモグラフィー変換行列の算出手法により第二射影変換行列を算出する（ステップＳ１１１）。または画像変換部１３は、計器２において分散する４つの特徴範囲のうちの何れか３つの特徴範囲の特徴（数字）に関する第二計器画像と正規画像とのずれ量を用いて、公知のアフィン変換行列の算出手法により第二射影変換行列を算出する。

【0026】

画像変換部１３は、第二射影変換行列を用いて第二計器画像を射影変換した第三計器画像を生成する（ステップＳ１１２）。画像変換部１３は第三計器画像を認識処理部１４へ出力する。認識処理部１４は第三計器画像において、指針が示す目盛の位置に基づいて、その位置に対応して記憶する数値を補間計算などにより算出する（ステップＳ１１３）。
画像変換部１３は、指針が示す目盛の位置に対応する数値を出力する（ステップＳ１１４）。例えば出力先は液晶ディスプレイであり、認識処理部１４は指針が指す目盛の数値を液晶ディスプレイに出力する。

【0027】

以上の処理によれば、認識対象物である計器２を撮影した画像を変換して正規画像に近づける際に、上記のように計器２の画像において分散した特徴範囲のずれ量等に基づいて射影変換行列を生成し、正規画像に近づけた画像を生成している。これにより、認識対象物の状態（指針の指す目盛の位置の状態）をより精度高く認識する画像を生成することができる。またこの画像により認識対象物の状態を、より精度高く認識することができる。

【0028】

なお図１で示した計器２は一例であって、他の形状の目盛を指し示す指針を有する計器２であってもよいし、また目盛を有しない計器であってもよい。また上述の処理によれば認識対象物が計器２である場合の例について説明した。しかしながら、認識対象物は、所定のデザインを印刷したラベル等の印刷物や、バルブ、レバーハンドルなどの物であってもよい。例えば認識対象物が印刷物であれば、その印刷物を撮影した画像に基づいて、印刷物に含まれる二次元コード、もしくはそれに類する既知の特徴パターンと、印刷物に分散した特徴範囲とにより、同様に印刷物の画像を正規画像に近づけるよう補正することができる。これにより印刷物の版下データとの違いを見つけることができる。また、例えば認識対象物がバルブであれば、そのバルブを撮影した画像に基づいて、バルブに貼付された二次元コードや、バルブに分散した特徴範囲により、同様にバルブの画像を正規画像に近づけるよう補正することができる。これによりバルブの開度を把握することができる。
また、例えば認識対象物がレバーハンドルであれば、そのレバーハンドルを撮影した画像に基づいて、レバーハンドルに貼付された二次元コードや、レバーハンドルに分散した特徴範囲により、同様にレバーハンドルの画像を正規画像に近づけるよう補正することができる。これによりレバーハンドルの位置を把握することができる。

【0029】

また上述の処理においては認識対象物に二次元コードが規定貼付物として貼付または印字されている場合の例について説明した。しかしながら規定貼付物として、二次元コード以外にも、所定のマークや、立体物が認識対象物に取り付けられており、それらマークや立体物に基づいて、認識対象物の範囲を特定するようにしてもよい。

【0030】

また画像変換部１３は、上述の処理において、計器情報から計器２の４つの特徴範囲の座標情報を取得し、その座標情報に基づいて、第二計器画像中の対応する４つの特徴範囲それぞれの特徴画像を切り出している。しかしながら、画像変換部１３は、正規画像から４つ以上の特徴範囲を自動的に認識し、その特徴範囲に対応する計器２の画像中の特徴範囲を切り出して、ユーザから４つの特徴範囲の指定を受け付けてもよい。この処理は、認識対象物の範囲内において特徴量の多い複数の範囲を示す情報を出力し、ユーザの指定に基づいて、当該複数の範囲の何れか複数の範囲を特徴範囲として決定する処理の一態様である。この処理を行う場合、画像変換部１３は、ユーザにより指定された各特徴範囲と、正規画像における対応する各特徴範囲の各ずれ量や相関値に基づいて、上述のように第二射影変換行列を算出する。

【0031】

上述の説明においては、ステップＳ１０７において、計器２の認識した範囲に基づいて計器２の画像をトリミングする処理を行い、その後に、ステップ１０８～ステップ１１２の処理により第二射影変換行列を用いて射影変換した画像（第三計器画像）を生成している。しかしながら、範囲特定部１２が、ステップＳ１０７の計器２の画像をトリミングする処理を、第二射影変換行列を用いて射影変換した画像を生成された後に、その画像に対して行うようにしてもよい。この場合、範囲特定部１２は、計器２の範囲を認識する際に、二次元コードの代わりに、計器２に含まれる複数の特徴範囲の座標の関係に基づいて、予め当該計器２について認識している計器２の範囲を推定し、その範囲をトリミングするようにしてもよい。

【0032】

また上述の処理において、ステップＳ１１２の処理において第三計器画像を生成しているが、この第三計器画像の歪みが解消されるように、第二射影変換行列を算出して、その行列を用いてさらに1回または複数回の射影変換による補正を行い、この補正後の画像に映る特徴範囲と、正規画像の特徴範囲の相関値が閾値以上となるまで当該補正を繰り返してもよい。

【0033】

図７は画像処理装置の最小構成を示す図である。
この図が示すように画像処理装置１は、少なくとも画像変換部の機能を発揮する装置であればよい。
画像変換部１３は、認識対象物の範囲内において分散する予め特定された複数の特徴範囲と、認識対象物を撮影した画像において上記分散に基づいて指定された複数の特徴範囲と、の相関に基づいて、画像を、認識対象物を正面から撮影した正規画像に近づける射影変換を行う。

【0034】

上述の画像処理装置は内部に、コンピュータシステムを有している。そして、上述した各の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【0035】

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0036】

この出願は、２０１９年２月２７日に出願された日本国特願２０１９－０３４７５０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【産業上の利用可能性】

【0037】

本発明は、画像処理装置、画像処理方法、記録媒体に適用してもよい。

【符号の説明】

【0038】

１・・・画像処理装置
２・・・計器
１１・・・制御部（制御手段）
１２・・・範囲特定部（範囲特定手段）
１３・・・画像変換部（画像変換手段）
１４・・・認識処理部（認識処理手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】