特許 7552048 画像処理装置、画像処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】画像処理装置、画像処理方法、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240910BHJP

   G06T 3/02 20240101ALI20240910BHJP

   G08C 19/36 20060101ALI20240910BHJP

【ＦＩ】

G06T7/00 250

G06T3/02

G08C19/36

【請求項の数】 6

(21)【出願番号】P 2020053665

(22)【出願日】2020-03-25

(65)【公開番号】P2021152836

(43)【公開日】2021-09-30

【審査請求日】2023-02-08

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】左貝 雅人

【審査官】稲垣 良一

(56)【参考文献】

【文献】特許第３７９９４０８（ＪＰ，Ｂ１）

【文献】特開２００６－５８６６８（ＪＰ，Ａ）

【文献】特開２００６－２３４６１３（ＪＰ，Ａ）

【文献】特開２０２０－９５４６７（ＪＰ，Ａ）

【文献】特許第３９９８２１５（ＪＰ，Ｂ１）

【文献】特開２０１９－１６９１１６（ＪＰ，Ａ）

【文献】特開２０１９－１９２１６８（ＪＰ，Ａ）

【文献】米国特許第８６８８５７９（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２００８／００４８８７９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／００８６０３４（ＵＳ，Ａ１）

【文献】特開２０１３－１３８３９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ３／００ － ３／０２

Ｇ０８Ｃ １９／３６

(57)【特許請求の範囲】

【請求項1】

認識対象物を撮影した撮影画像における処理対象範囲内に複数設定した小区画の特徴量算出範囲それぞれの特徴量を算出する特徴量算出手段と、
前記特徴量が大きい順に前記特徴量算出範囲のうち多角形の頂点を構成し得る複数の特徴量算出範囲を特徴範囲と特定する特徴範囲特定手段と、
を備える画像処理装置。

【請求項2】

前記特徴範囲特定手段は、前記特定した複数の特徴量算出範囲のうち、多角形の頂点を構成し得る前記処理対象範囲の外側に近い複数の特徴量算出範囲を特徴範囲と特定する
請求項１に記載の画像処理装置。

【請求項3】

前記特徴範囲特定手段は、前記特定した複数の特徴量算出範囲を表示装置に出力し、その出力した特徴量算出範囲のうちユーザの選択した特徴量算出範囲を示す選択情報を入力し、当該選択情報に基づいて前記多角形の頂点を構成し得る前記複数の特徴量算出範囲を特徴範囲と特定する
請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記認識対象物はアナログメータの盤面であり、
前記多角形の頂点を構成し得る複数の特徴範囲の情報を用いて前記認識対象物を正面から撮影した正規画像に近づける射影変換を行う画像変換手段と、
を備える請求項１から請求項３の何れか一項に記載の画像処理装置。

【請求項5】

認識対象物を撮影した撮影画像における処理対象範囲内に複数設定した小区画の特徴量算出範囲それぞれの特徴量を算出し、
前記特徴量が大きい順に前記特徴量算出範囲のうち多角形の頂点を構成し得る複数の特徴量算出範囲を特徴範囲と特定する
画像処理方法。

【請求項6】

画像処理装置のコンピュータを、
認識対象物を撮影した撮影画像における処理対象範囲内に複数設定した小区画の特徴量算出範囲それぞれの特徴量を算出する特徴量算出手段と、
前記特徴量が大きい順に前記特徴量算出範囲のうち多角形の頂点を構成し得る複数の特徴量算出範囲を特徴範囲と特定する特徴範囲特定手段と、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラムに関する。

【背景技術】

【0002】

画像に写る認識対象物の状態をより精度高く認識する技術が求められている。特許文献１には、関連する技術として、確実にメータの指示値を読み取る技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－７５８４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

認識対象物を精度高く認識するために画像における特徴範囲を適切に特定する必要がある。

【0005】

そこでこの発明は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、画像処理装置は、認識対象物を撮影した画像における除外範囲を除いた処理対象範囲に含まれる特徴範囲の特徴量を算出する特徴量算出手段と、前記画像における前記特徴範囲に含まれる多角形の頂点を構成し得る複数の特徴範囲を前記特徴量に基づいて特定する特徴範囲特定手段と、を備える。

【0007】

本発明の第２の態様によれば、画像処理方法は、認識対象物を撮影した画像における除外範囲を除いた処理対象範囲に含まれる特徴範囲の特徴量を算出し、前記画像における前記特徴範囲に含まれる多角形の頂点を構成し得る複数の特徴範囲を前記特徴量に基づいて特定する。

【0008】

また本発明は、プログラムは、画像処理装置のコンピュータを、認識対象物を撮影した画像における除外範囲を除いた処理対象範囲に含まれる特徴範囲の特徴量を算出する特徴量算出手段と、前記画像における前記特徴範囲に含まれる多角形の頂点を構成し得る複数の特徴範囲を前記特徴量に基づいて特定する特徴範囲特定手段と、として機能させる。

【発明の効果】

【0009】

本発明によれば、認識対象物を精度高く認識するために画像における特徴範囲を適切に特定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態による画像処理装置の概要を示す図である。

【図2】本発明の一実施形態による画像処理装置のハードウェア構成を示す図である。

【図3】本発明の一実施形態による画像処理装置の機能ブロック図である。

【図4】本発明の一実施形態による画像処理装置のフローチャートである。

【図5】本発明の一実施形態による画像処理装置の処理概要を示す第一の図である。

【図6】本発明の一実施形態による画像処理装置の処理概要を示す第二の図である。

【図7】本発明の画像処理装置の最小構成を示す図である。

【図8】本発明の最小構成による画像処理装置の処理フローを示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。
図１は、本実施形態による画像処理装置の概要を示す図である。
この図が示すように画像処理装置１は、一例としてはスマートフォンなどの携帯端末として機能する装置であってよい。画像処理装置１は、計器、時計、装置に印字された文字、などの認識対象物２を撮影するカメラを備える。認識対象物２はどのようなものであってもよい。

【0012】

図２は画像処理装置のハードウェア構成を示す図である。
図２に示すように、画像処理装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＳＳＤ（Solid State Drive）１０４、通信モジュール１０５、カメラ１０６等の各ハードウェアを備えたコンピュータである。画像処理装置１はその他のハードウェア構成を備えてよい。

【0013】

図３は画像処理装置の機能ブロック図である。
画像処理装置１は画像処理プログラムを実行することにより、制御部１１、処理対象範囲特定部１２、特徴範囲特定部１３、画像変換部１４、認識処理部１５の機能を発揮する。
制御部１１は、他の機能部を制御する。
処理対象範囲特定部１２は、認識対象物を撮影して得た画像において認識対象物に関する処理対象範囲を特定する。
特徴範囲特定部１３は、処理対象範囲に含まれる特徴範囲の特徴量に基づいて、特徴範囲を点と見做した場合に多角形の頂点を構成し得る複数の特徴範囲を特定する。
画像変換部１４は、認識対象物の画像を、認識対象物を正面から撮影した正規画像に近づける射影変換を行う。
認識処理部１５は、認識対象物を撮影した画像を射影変換した結果を用いて、認識対象物の状態の認識処理を行う。

【0014】

本実施形態においては画像処理装置１が携帯端末である場合の例を用いて説明するが、ＰＣやコンピュータサーバ等であってもよい。この場合、以下の説明にある認識対象物２の撮影画像を撮影装置が生成し、それらＰＣやコンピュータサーバが撮影画像を撮影装置から取得して以下の処理を行ってよい。以下、画像処理装置の処理の詳細について説明する。

【0015】

図４は画像処理装置のフローチャートである。
図５は画像処理装置の処理概要を示す第一の図である。
図６は画像処理装置の処理概要を示す第二の図である。
まず、ユーザが画像処理装置１を操作して認識対象物２を撮影する。画像処理装置１のカメラ１０６は、ユーザの撮影操作に基づいて、認識対象物２を含む範囲の撮影画像を生成し、ＳＳＤ１０４等の記憶部に記録する（ステップＳ１０１）。ユーザは、画像処理装置１に対して認識対象物２の画像処理の開始を指示する。すると制御部１１は認識対象物２の撮影画像を読み取り、その撮影画像を処理対象範囲特定部１２へ出力する。

【0016】

処理対象範囲特定部１２は撮影画像を取得する（ステップＳ１０２）。ここで処理対象範囲特定部１２は、画像変換部１４がこの撮影画像を正面から認識対象物２を視認した状態の画像へと一旦先に射影変換（第一の射影変換）した撮影画像を取得してもよい。例えば認識対象物２に正方形のマークが印字または印刷されており、撮影画像に写るマークの形状が正方形の形状となるような射影変換行列を生成して、その射影変換行列を用いて撮影画像を射影変換して新たな撮影画像を用いてもよい。この射影変換行列は、一例としては撮影画像に写るマークの矩形の角の座標４点と、予め定められる当該マークにおける対応する位置の角の座標４点の各ずれまたは相関値を用いて公知のホモグラフィー変換行列の算出手法により算出する。

【0017】

なお正規画像は、認識対象物２を正面から撮影した画像である。撮影画像と正規画像は、認識対象物２との距離がほぼ同じ距離の位置からそれぞれ認識対象物２を撮影した画像であるとする。この場合、撮影画像に写る認識対象物２の大きさと、正規画像に写る認識対象物２の大きさはほぼ同じである。

【0018】

処理対象範囲特定部１２は、撮影画像に写る認識対象物２の処理対象範囲を特定する（ステップＳ１０３）。一例として処理対象範囲は、撮影画像に写る認識対象物２以外の除外範囲を撮影画像から除いた範囲である。認識対象物２が例えば時計やアナログメータ、デジタルメータなどの計器である場合、処理対象範囲特定部１２は、時計や計器の盤面（文字盤面や液晶盤面など）の内側のみを処理対象範囲と特定するようにしてよい。また処理対象範囲特定部１２は、時計や計器の指針を除外範囲と特定してもよい。処理対象範囲特定部１２は、正規画像と一致する範囲をパターンマッチング等で特定し、その範囲を処理対象範囲と特定してよい。処理対象範囲特定部１２は、上記以外の手法により処理対象範囲を特定してもよい。例えば処理対象範囲特定部１２は機械学習の手法を用いて処理対象範囲を特定してもよい。処理対象範囲特定部１２は、認識対象物２における異物（上記マークなど）をマスクした画像であってもよい。

【0019】

特徴範囲特定部１３は、図５で示すように、処理対象範囲内に小区画の特徴量算出範囲ｒを設定しその特徴量算出範囲ｒを所定画素数ずつ水平方向または垂直方向にずらしながら設定し、順次、設定した特徴量算出範囲ｒそれぞれの特徴量を算出する（ステップＳ１０４）。より具体的には、特徴量算出範囲ｒは、処理対象範囲よりも小さい範囲であると定義する。撮影画像内に設定される特徴量算出範囲ｒはそれぞれが他の特徴量算出範囲ｒに重なってよい。特徴範囲特定部１３は、特徴量算出範囲ｒに含まれる各画素の色情報やエッジの情報に基づいて特徴量算出範囲ｒ内の各画素の特徴量を算出する。特徴範囲特定部１３は、各画素の特徴量を公知の特徴量算出手法（AgastFeasture,AKAZE,BRISK,FAST,KAZE,MSER,ORB,SIFT,SURFなど）を用いて算出する。特徴範囲特定部１３は、特徴量算出範囲ｒの特徴量を、当該特徴量算出範囲ｒに含まれる各画素の特徴量の合計または積算して算出する。

【0020】

特徴範囲特定部１３は、特徴量算出範囲ｒそれぞれについて算出した特徴量のうち最も大きい特徴量の値に閾値を設定し、その閾値を徐々に下げることにより、閾値を越えた複数の特徴量に対応する特徴量算出範囲ｒを特徴範囲と特定する（ステップＳ１０５）。特徴範囲特定部１３は、画像を入力としてその画像における特徴範囲を出力とする入力と出力の関係を機械学習して得られた学習モデルに基づいて、認識対象物２を写した上記の撮影画像における特徴範囲を特定するようにしてもよい。

【0021】

一例として、特徴範囲特定部１３は、４つの特徴範囲を特定する。特徴範囲特定部１３は、特徴量が大きい順に３つの特徴範囲を特定してもよい。または特徴範囲特定部１３は、特徴量が大きい順に３つの特徴範囲を特定してもよい。特徴範囲特定部１３は、上述の特徴範囲の特徴において、多角形の頂点を構成し得る複数の特徴量算出範囲ｒを特徴範囲と特定する。このような特徴範囲の特定を行うにあたり、特徴範囲特定部１３は、できるだけ処理対象範囲の外側の３つ以上の特徴量算出範囲ｒを特徴範囲と特定する。

【0022】

例えば、特徴範囲特定部１３は、４つの特徴量算出範囲ｒを特徴範囲と特定する場合、処理対象範囲の中心を基準に垂直、水平に引いた直線により４つに分割されたそれぞれの領域Ａ，Ｂ，Ｃ，Ｄ（図５参照）から、１つずつ特徴範囲を特定するようにしてもよい。または各領域Ａ，Ｂ，Ｃ，Ｄごとにそれぞれ特徴量の多い順に複数の特徴量算出範囲ｒを特定し、それら特徴量算出範囲ｒが示す中心座標を比較して、それら中心座標のうちｘ座標またはｙ座標の何れか一方が最も特徴量算出範囲ｒの外側の枠を示す座標に近い１つの特徴量算出範囲ｒを特徴範囲と特定してもよい。特徴範囲特定部１３は、特定した特徴範囲を、画像変換部１４へ出力する。

【0023】

なお特徴範囲特定部１３は特徴量算出範囲ｒそれぞれの特徴量と閾値との関係に基づいて、閾値以上の所定数以上の特徴量を有する特徴量算出範囲ｒを表示装置等に出力し、ユーザから特徴範囲として特定する特徴量算出範囲ｒの指定（選択情報）を受け付けて、これにより特徴範囲を特定してもよい。この処理は、特徴範囲特定部１３が、特徴量算出範囲を表示装置に出力し、その出力した特徴量算出範囲のうちユーザの選択した特徴量算出範囲を示す選択情報を入力し、当該選択情報に基づいて多角形の頂点を構成し得る複数の特徴量算出範囲を特徴範囲と特定する処理の一態様である。特徴範囲特定部１３は、処理対象範囲の外側に近い複数の特徴量算出範囲を表示装置に出力し、その出力した特徴量算出範囲のうちユーザの選択した特徴量算出範囲を示す選択情報を入力し、当該選択情報に基づいて多角形の頂点を構成し得る複数の特徴量算出範囲を特徴範囲と特定してもよい。以下、本実施形態において特徴範囲特定部１３が４つの特徴範囲（図６のａ，ｂ，ｃ，ｄ）を特定したものとして説明を進める。

【0024】

画像変換部１４は、４つの特徴範囲の座標情報を取得する。画像変換部１４は、認識対象物２の正規画像を記憶部から取得する。画像変換部１４は、撮影画像内の処理対象範囲において特定された特徴範囲に含まれる画像パターンと、正規画像において対応する位置の範囲に含まれる画像パターンのずれ量を、４つの特徴範囲それぞれについて特定する（ステップＳ１０６）。例えば認識対象物２の処理対象範囲が文字の印字された盤面であり、特徴範囲に文字が印字されているとする。この場合、画像変換部１４は、特徴範囲には文字の一部（画像パターン）が表れているとする。画像変換部１４は、撮影画像の処理対象において特定された特徴範囲に現れる文字の一部と、正規画像の対応する範囲に現れる文字の一部とのずれ量を算出する。このずれ量は垂直方向のずれ量（ｘ座標方向のずれ量）、水平方向のずれ量（ｙ座標のズレ量）、回転角度などによって表されてよい。

【0025】

画像変換部１４は、４つの特徴範囲それぞれについて算出したずれ量を用いて、公知のホモグラフィー変換行列の算出手法により射影変換行列を算出する（ステップＳ１０７）。画像変換部１４は、認識対象物２において分散する４つの特徴範囲のうちの何れか３つの特徴範囲の特徴（数字）に関するずれ量を用いて、公知のアフィン変換行列の算出手法により射影変換行列を算出してもよい。

【0026】

画像変換部１４は、射影変換行列を用いて認識対象物２の写る撮影画像を射影変換した射影変換画像を生成する（ステップＳ１０９）。上記したマークを用いた第一の射影変換を行った場合には、この変換は第二の射影変換となる。画像変換部１４は射影変換画像を認識処理部１５へ出力する。撮影画像に写る認識対象物２が指針を含むアナログメータであるとする。認識処理部１５は射影変換画像において、指針が示す目盛の位置に基づいて、その位置に対応して記憶する数値を補間計算などにより算出する。画像変換部１４は、指針が示す目盛の位置に対応する数値を出力する。例えば出力先は液晶ディスプレイであり、認識処理部１５は指針が指す目盛の数値を液晶ディスプレイに出力する。

【0027】

以上の処理によれば、画像処理装置１は、撮影画像を射影変換して撮影画像に写る認識対象物が、正規画像に写る認識対象物と同様に正面から撮影したような状態となるよう射影変換を行う。画像処理装置１は、この射影変換のための射影変換行列を算出するために好適な、撮影画像に写る認識対象物の特徴量に基づいて特徴範囲を特定することができる。この特徴範囲は、多角形の頂点を構成し得る複数の特徴量算出範囲を特徴範囲と特定する。従って、射影変換に用いる射影変換行列を算出するための、多角形の頂点を構成し得る３つ以上の特徴範囲を特定することができる。

【0028】

図７は画像処理装置の最小構成を示す図である。
図８は最小構成による画像処理装置の処理フローを示す図である。
この図が示すように画像処理装置１は、少なくとも特徴量算出手段７１と、特徴範囲特定手段７２との機能を発揮する装置であってよい。
特徴量算出手段７１は、認識対象物を撮影した撮影画像における処理対象範囲内に複数設定した小区画の特徴量算出範囲それぞれの特徴量を算出する（ステップＳ７０１）。
特徴範囲特定手段７２は、特徴量に基づいて特徴量算出範囲のうち多角形の頂点を構成し得る複数の特徴量算出範囲を特徴範囲と特定する（ステップＳ７０２）。

【0029】

上述の画像処理装置は内部に、コンピュータシステムを有している。そして、上述した各の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【0030】

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0031】

１・・・画像処理装置
２・・・認識対象物
１１・・・制御部
１２・・・処理対象範囲特定部
１３・・・特徴範囲特定部（特徴量算出手段７１、特徴範囲特定手段７２）
１４・・・画像変換部
１５・・・認識処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】