特許 6160138 パターン認識のためのモアレ除去方法およびこの方法を用いたモアレ除去装置ならびにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6160138

(24)【登録日】2017年6月23日

(45)【発行日】2017年7月12日

(54)【発明の名称】パターン認識のためのモアレ除去方法およびこの方法を用いたモアレ除去装置ならびにプログラム

(51)【国際特許分類】

   G06K 9/40 20060101AFI20170703BHJP

   G06T 5/00 20060101ALI20170703BHJP

   H04N 1/409 20060101ALI20170703BHJP

【ＦＩ】

   G06K9/40

   G06T5/00 705

   H04N1/40 101C

【請求項の数】6

【全頁数】12

(21)【出願番号】特願2013-47767(P2013-47767)

(22)【出願日】2013年3月11日

(65)【公開番号】特開2014-174803(P2014-174803A)

(43)【公開日】2014年9月22日

【審査請求日】2015年11月6日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110000796

【氏名又は名称】特許業務法人三枝国際特許事務所

(74)【代理人】

【識別番号】100078916

【弁理士】

【氏名又は名称】鈴木 由充

(74)【代理人】

【識別番号】100142114

【弁理士】

【氏名又は名称】小石川 由紀乃

(72)【発明者】

【氏名】林 信吾

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１０−０２０１００（ＪＰ，Ａ）

【文献】 特開２００１−２７３４９０（ＪＰ，Ａ）

【文献】 特開２００５−３２１３００（ＪＰ，Ａ）

【文献】 特開平０６−２０７９０９（ＪＰ，Ａ）

【文献】 特開２０１１−０３９９７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／００−９／８２

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０９

(57)【特許請求の範囲】

【請求項1】

所定のパターンの撮影により生成されたパターン画像を用いたパターン認識処理を実施するのに先立ち、当該パターン画像に生じているモアレ縞を取り除く方法であって、
前記パターン画像に２次元フーリエ変換を施してスペクトル画像を生成するステップと、
前記スペクトル画像の中心部に分布する低周波成分の集合を抽出するステップと、
前記スペクトル画像の中心部で抽出された低周波成分の集合より外側の領域から、あらかじめ定めた基準を満たして分布する周波数成分の集合をノイズとして抽出するステップと、
前記中心部の低周波成分の集合を含むスペクトル画像から前記ノイズの周波数成分の集合を除去するステップと、
前記ノイズの除去後のスペクトル画像に２次元逆フーリエ変換を施すステップとを、
実施することを特徴とするパターン認識のためのモアレ除去方法。

【請求項2】

前記２次元フーリエ変換により生成されたスペクトル画像を所定の強度で２値化するステップと、２値化されたスペクトル画像に膨張処理を施すステップとをさらに実行し、
前記中心部の低周波成分の集合を抽出するステップおよびノイズの周波数成分の集合を抽出するステップを前記膨張処理後の２値のスペクトル画像に対して実施し、前記ノイズの周波数成分の集合を除去するステップを２値化前の多値のスペクトル画像に対して実施する、請求項１に記載されたパターン認識のためのモアレ除去方法。

【請求項3】

前記中心部の低周波成分の集合を抽出するステップでは、処理対象のスペクトル画像の中心部にあらかじめ定めた設定データに基づき所定大きさの領域を設定して当該領域に含まれる周波数成分を抽出する処理と、スペクトル画像の中心点を含めて一連に連結する周波数成分の連結体を抽出する処理との少なくとも一方を実行する、請求項１または２に記載されたパターン認識のためのモアレ除去方法。

【請求項4】

所定のパターンの撮影により生成されたパターン画像を入力し、当該パターン画像に生じているモアレ縞を取り除くための装置であって、
前記パターン画像に２次元フーリエ変換を施してスペクトル画像を生成する第１の変換手段と、
前記スペクトル画像の中心部に分布する低周波成分の集合を抽出する低周波成分抽出手段と、
前記スペクトル画像の前記低周波成分抽出手段により抽出された低周波成分の集合より外側の領域から、あらかじめ定めた基準を満たして分布する周波数成分の集合をノイズとして抽出するノイズ抽出手段と、
前記中心部の低周波成分の集合を含むスペクトル画像から前記ノイズの周波数成分の集合を除去するノイズ除去手段と、
前記ノイズの除去後のスペクトル画像に２次元逆フーリエ変換を施す第２の変換手段とを、
具備することを特徴とするモアレ除去装置。

【請求項5】

請求項４に記載された装置であって、
撮影機能を有する情報端末装置で前記所定のパターンを撮影することにより生成されて当該情報端末装置から出力されたパターン画像を通信により受け付けて、当該パターン画像を前記第１の変換手段に供給する画像入力手段を、さらに備えるモアレ除去装置。

【請求項6】

コンピュータを、所定のパターンの撮影により生成されたパターン画像に生じているモアレ縞を取り除くためのモアレ除去装置として機能させるためのプログラムであって、
前記パターン画像に２次元フーリエ変換を施してスペクトル画像を生成する第１の変換手段、
前記スペクトル画像の中心部に分布する低周波成分の集合を抽出する低周波成分抽出手段、
前記スペクトル画像の前記低周波成分抽出手段により抽出された低周波成分の集合より外側の領域から、あらかじめ定めた基準を満たして分布する周波数成分の集合をノイズとして抽出するノイズ抽出手段、
前記中心部の低周波成分の集合を含むスペクトル画像から前記ノイズの周波数成分の集合を除去するノイズ除去手段、
前記ノイズの除去後のスペクトル画像に２次元逆フーリエ変換を施す第２の変換手段、
の各手段の機能を前記コンピュータに設定することを特徴とするモアレ除去処理用のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文字などのパターンを撮影することにより生成された画像（以下、「パターン画像」という。）を処理することによって、画像中のパターンを認識する技術に関するもので、特に、認識処理に先立ち、パターン画像に生じているモアレ縞を取り除くために実施される方法、および当該方法が適用されたモアレ除去装置ならびにモアレ除去用のプログラムに関する。

【背景技術】

【0002】

携帯電話などのカメラが搭載された近年の携帯端末装置には、カメラを用いたパターン認識用のアプリケーション（ＯＣＲやコードリーダなど）が組み込まれていることが多い。この種のアプリケーションでは、撮影による画像を用いた認識処理を装置内で実施する場合もあるが、外部のサーバ装置に画像を送信してサーバ装置において認識処理を実施し、その認識結果を携帯端末装置に返送する場合もある（たとえば特許文献１を参照。）。

【0003】

このように手持ちの携帯端末装置で簡単に文字やコード情報の読取を実施できるようになったことから、様々なシーンでこの機能が利用されるようになっており、特に、通販ショッピングの画面に表示された受付番号などの文字列を読み取る目的で、パーソナルコンピュータやテレビなどのディスプレイ画面が撮影されるケースが増えている。しかし、ディスプレイ画面の撮影による画像には、ディスプレイとカメラとの間の画素配列のずれなどに起因してモアレ縞が多く発生するため、認識処理に誤りが生じることがある。認識に誤りが生じない場合でも、モアレ縞を文字の候補として余分な処理が行われて、処理の効率が著しく低下する場合がある。

【0004】

画像のモアレ縞を除去する手法としては、フーリエ変換によってモアレ縞の周期に対応する周波数成分を抽出し、その周波数成分を取り除く処理が知られている。たとえば特許文献２には、Ｘ線の透過撮影により生成された画像を処理対象として、その処理対象の画像に１次元の高速フーリエ変換を施し、変換により生成された周波数分布からピーク周波数を抽出し、抽出されたピーク周波数に２次元逆フーリエ変換を施すことによりグリッドモアレパターン画像（ノイズを表す画像）を生成し、元の画像からグリッドモアレパターンを差し引く方法が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００４−１７９８５１号公報

【特許文献2】特開２０１１−１７７３７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献２に記載された発明では、モアレ縞が生じる方向が判明し（画像の水平方向（Ｘ方向））、またモアレ縞の規則性が高いので、判明している方向に沿った１次元のフーリエ変換を行い、ピーク周波数を抽出することによって、モアレ縞の周期を特定することができる。しかし、ディスプレイ画面の撮影による画像では、画面に対するカメラの位置や傾きなどによってモアレ縞の方向や周期が変動し、画像内におけるモアレ縞も不規則になることが多く、特許文献２に記載されたような手法でモアレ縞を除去するのは困難である。

【0007】

本発明は上記の問題に着目し、認識対象のパターン画像に生じているモアレ縞を、その方向や周期や規則性などに左右されることなく、安定して除去し、認識精度や認識処理の効率を確保できるようにすることを課題とする。

【課題を解決するための手段】

【0008】

本発明は、所定のパターンの撮影により生成されたパターン画像を用いたパターン認識処理を実施するのに先立ち、パターン画像に生じているモアレ縞を取り除くために、当該パターン画像に２次元フーリエ変換を施してスペクトル画像を生成するステップと、このスペクトル画像の中心部に分布する低周波成分の集合を抽出するステップと、スペクトル画像の中心部で抽出された低周波成分の集合より外側の領域から、あらかじめ定めた基準を満たして分布する周波数成分の集合をノイズとして抽出するステップと、前記中心部の低周波成分の集合を含むスペクトル画像からノイズの周波数成分の集合を除去するステップと、ノイズの除去後のスペクトル画像に２次元逆フーリエ変換を施すステップとを実施する。

【0009】

画像に対する２次元フーリエ変換により生成されるスペクトル画像は、中心位置を周波数ゼロとして、各方位の周波数成分を中心から離れるにつれて周波数が高くなるように分布させたものである。パターン画像から生成されたスペクトル画像では、濃度変化が大きい輪郭部分が高周波成分として中心部から離れた場所に分布する一方で、パターンの内部や背景などの濃度変化が少ない箇所は低周波数成分として中心部に分布する状態となる。パターン画像に多数のモアレ縞が含まれる場合には、各縞の幅や縞の間隔に応じた高周波成分を多く含むスペクトル画像が生成される。

【0010】

上記の現象に着目して、本発明では、認識対象のパターンの内部に相当する成分が含まれる低周波帯域の周波数成分を維持し、モアレ縞を含む高周波帯域の周波数成分を除去し、その除去後のスペクトル画像に２次元逆フーリエ変換を施すことにより、主要なモアレ縞が取り除かれたパターン画像を生成する。
この方法によれば、モアレ縞の方向、周期のばらつき、規則性の有無などに左右されることなく、モアレ縞を大幅に削減することができるので、認識処理の精度や効率を向上することが可能になる。

【0011】

本発明の一実施形態では、２次元フーリエ変換により生成されたスペクトル画像を所定の強度で２値化するステップと、２値化されたスペクトル画像に膨張処理を施すステップとをさらに実行し、中心部の低周波成分の集合を抽出するステップおよびノイズの周波数成分の集合を抽出するステップを、膨張処理後の２値のスペクトル画像に対して実施し、ノイズの周波数成分の集合を除去するステップを、２値化前の多値のスペクトル画像に対して実施する。

【0012】

上記の実施形態によれば、フーリエ変換による多値のスペクトル画像に分布する周波数成分を２値化処理により強度が強いものに絞り込むと共に、近傍に位置する周波数成分同士を膨張処理により連結させることができる。よって、輪郭追跡処理やクラスタリング処理などによって、低周波成分の集合やノイズの周波数成分の集合を容易に抽出することができる。一方、ノイズの周波数成分を除去する処理は、当初の多値のスペクトル画像に対して実施されるので、２次元逆フーリエ変換によって、低周波成分の画像を支障なく再現することができる。

【0013】

中心部の低周波成分の集合を抽出するには、たとえば、あらかじめサンプル画像などを用いてパターンの内部に相当する画像の周波数の分布範囲を割り出して、その結果に基づき登録した設定データに基づきスペクトル画像の中心部に所定大きさの領域を設定し、この領域内に分布する周波数成分を抽出する。または、この種のスペクトル画像では、中心点を含む比較的広い範囲に低周波成分が分布する傾向があることをふまえ、中心点を含めて一連に連結する周波数成分の連結体を抽出してもよい。モアレ縞の影響による濃度むらやパターンの幅のばらつきなどによって低周波成分の分布の状態が変動する可能性が高い場合には、上記２通りの処理の双方を実施するのが望ましい。

【0014】

本発明が適用されたモアレ除去装置は、入力したパターン画像に２次元フーリエ変換を施してスペクトル画像を生成する第１の変換手段と、スペクトル画像の中心部に分布する低周波成分の集合を抽出する低周波成分抽出手段と、スペクトル画像の前記低周波成分抽出手段により抽出された低周波成分の集合より外側の領域から、あらかじめ定めた基準を満たして分布する周波数成分の集合をノイズとして抽出するノイズ抽出手段と、中心部の低周波成分の集合を含むスペクトル画像からノイズの周波数成分の集合を除去するノイズ除去手段と、ノイズの除去後のスペクトル画像に２次元逆フーリエ変換を施す第２の変換手段とを、具備する。

【0015】

上記のモアレ除去装置は、第１の変換手段、低周波成分抽出手段、ノイズ抽出手段、ノイズ除去手段、第２の変換手段の各手段の処理が記述されたプログラムに基づき動作するコンピュータである。撮影機能を有する情報端末装置にこのプログラムが組み込まれた場合には、当該情報端末装置での撮像により生成されたパターン画像に対し、情報端末装置内でモアレ除去処理を行うことができる。

【0016】

上記のプログラムは、パターンの撮影を行った情報端末装置から出力されたパターン画像を通信により受け付ける画像入力手段を備えた外部装置（サーバ装置）に組み込むこともできる。この場合の外部装置には、パターン画像からモアレ縞を除去する処理のほか、除去後のパターン画像を用いた認識処理を実施して、その認識結果を情報端末装置に送信する機能をもたせることもできる。ただし、モアレ除去後のパターン画像による認識処理や認識結果を携帯端末装置に送信する処理は、上記の外部装置とは異なる第２の外部装置において実施してもよい。

【発明の効果】

【0017】

本発明によれば、パターン画像に生じたモアレ縞を、その方向や周期や規則性の有無に左右されることなく、安定して取り除くことができる。したがって、ディスプレイ画面に表示されたパターンの撮影による画像を対象にしたパターン認識が実施される場合でも、モアレ縞の影響が除外された画像を対象にした認識処理により精度の良い結果を得ることができる。また処理の効率も向上させることができる。

【図面の簡単な説明】

【0018】

【図1】本発明が適用された認識処理システムの構成例を示す図である。

【図2】モアレ縞が生じた状態の画像とノイズ除去処理後の補正画像の例を示す図である。

【図3】ノイズ除去処理の手順を示すフローチャートである。

【図4】多値のスペクトル画像と膨張処理後の２値のスペクトル画像の例を示す図である。

【図5】２値のスペクトル画像から低周波成分を抽出してマスクを設定した例を示す図である。

【図6】ノイズの周波数成分の抽出結果に基づき、多値のスペクトル画像からノイズを削除した例を示す図である。

【発明を実施するための形態】

【0019】

図１は、本発明が適用された認識処理システムの構成例として、カラー画像の撮影機能を有する携帯端末装置１と、通信用サーバ２と、解析用サーバ３とを含むシステムを示す。なお、携帯端末装置１として、図１には、一台のスマートフォンを示しているが、実際には、通信用サーバ２との接続が許可された多数の様々な機種の携帯端末装置１が存在する。

【0020】

携帯端末装置１には、ＯＣＲ用のアプリケーションが組み込まれている。ユーザがこのアプリケーションを起動させて文字列の撮影を行うと、その撮影により生成されたカラー画像を含む画像ファイルが自動的に携帯端末装置１から通信用サーバ２に送信される。画像ファイルは通信用サーバ２から解析用サーバ３に転送され、解析用サーバ３において画像中の文字列を認識するための一連の処理が実施される。この認識処理の結果（認識文字列）は、解析用サーバ３から通信用サーバ２を介して画像ファイルの送信元の携帯端末装置１へと送信される。

【0021】

携帯端末装置１のＯＣＲ用アプリケーションは、画像ファイルを送信した後は認識文字列の受信に待機し、受信した認識文字列を画面に表示する。撮影により生成された画像や通信用サーバ２との通信の途中経過情報などは一切表示されないので、携帯端末装置１のユーザは、撮影操作を行った後は、一連の処理をなんら意識することなく、認識結果のみを確認することができる。認識文字列はテキストデータとして送信されるので、ユーザは、認識文字列が正しいと判断した場合には、所定の操作によって認識文字列を他のアプリケーションに転送したり、文字入力用の辞書などに認識文字列を登録することができる。なお、認識文字列の一部に誤りがあった場合には、手操作により修正することも可能である。

【0022】

この実施例の解析用サーバ３には、図１中の点線枠内に示すように、画像入力部３１，前処理部３２，ノイズ除去処理部３３，認識処理部３４，認識結果出力部３５などの機能が設定される。
画像入力部３１は、携帯端末装置１から通信用サーバ２を経由して届いた画像ファイル（認識対象の文字列を含むカラー画像）を入力する。前処理部３２は、入力されたカラー画像をグレイスケール画像に変換してノイズ除去処理部３３に渡す。ノイズ除去処理部３３は、グレイスケール画像からモアレ縞などのノイズを除去するもので、この機能が本発明によるプログラムにより設定される。

【0023】

認識処理部３４は、各種文字が登録された辞書ファイル（図示せず。）を具備し、ノイズ除去後のグレイスケール画像に対し、画像中の文字を一文字ずつ切り出し、切り出された各文字を辞書ファイル内の登録文字と照合する方法により各文字を認識する。さらに認識処理部３４は、認識された文字を元の配列どおりに並べることにより認識文字列を生成する。この認識文字列は認識結果出力部３５より通信用サーバ２へと送信される。

【0024】

図２（１）は、ノイズ除去処理部３３の処理対象となるグレイスケール画像Ａ１を模式的に示し、図２（２）は、このグレイスケール画像Ａ１にノイズ除去処理を施すことにより得られた補正画像Ａ２の例を示す。図示の便宜上、画像Ａ１では、モアレ縞の長さ方向を左上から右下に向かう方向に揃え、モアレ縞の並び方向や間隔も統一している。補正画像Ａ２にもある程度のモアレ縞の残骸（網点パターンにより表現）が認められるが、元の画像Ａ１に見られるような顕著なモアレ縞は含まれていない。

【0025】

ＰＣ画面やテレビ画面などの撮影により生成された画像では、図２の画像Ａ１に見られるような規則性の高いモアレ縞ではなく、モアレ縞の方向や周期が様々にばらつく可能性が高い。しかしながら、この実施例のノイズ除去処理によれば、モアレ縞の状態に左右されることなく、認識処理に支障が生じない程度にまでモアレ縞を除去することができる。

【0026】

図３は、ノイズ除去処理の手順を示す。図４〜図６は、この処理の過程で生成される作業用の画像Ｂ１〜Ｂ５を用いて、図３中の特定のステップにおける処理の概要を示す。以下、図４〜図６を参照しながら、図３の手順に沿って、この実施例におけるノイズ除去処理を説明する。

【0027】

最初のステップＳ１で処理対象のグレイスケール画像Ａ１を取得すると、ステップＳ２では、このグレイスケール画像Ａ１に２次元高速フーリエ変換を施して、その変換結果を示す多値のスペクトル画像Ｂ１（図４の上段）を生成する。このスペクトル画像Ｂ１は、中心点を周波数ゼロとして、各方位における周波数成分の分布状態を示すもので、強度が高くなるほど白色に近くなる。

【0028】

図４に示すスペクトル画像Ｂ１は、図２に示したグレイスケール画像Ａ１に高速フーリエ変換を施すことにより生成されたものである。この例のスペクトル画像Ｂ１では、中心部から上下左右の各方向に沿って強い周波数成分が連結すると共に、これら連結部分の周囲にも強い周波数成分の密な分布が生じている。さらに、中心部から離れた数箇所にも強い周波数成分が集まっている。特に、この実施例のスペクトル画像Ｂ１には、モアレ縞を反映した周波数成分により、モアレ縞の並びに対応する左下から右上に向かう方向に沿って複数の集合が並んだ状態になっている。
スペクトル画像Ｂ１内の中心部に近い低周波成分の集合には、文字の内部の画像や背景部分のモアレ縞の間の画像など、濃度変化が小さな部分を反映した周波数成分が含まれる。高周波成分の集合には、モアレ縞を反映した周波数成分のほか、文字の輪郭部分など、濃度変化が大きい部分を反映した周波数成分が含まれる。

【0029】

この実施例では、各種周波数成分の集合を明確にして抽出しやすくするために、以下に述べるステップＳ３〜Ｓ５の処理を実施する。最初のスペクトル画像Ｂ１は最後に再び使用されるため、バッファメモリに保持される。

【0030】

まず、ステップＳ３では、上記のスペクトル画像Ｂ１にガウシアンフィルタ等のフィルタを適用して、画像中の輪郭線を平滑化する。ステップＳ４では、平滑化後のスペクトル画像を所定のしきい値で２値化する。この２値化により、しきい値を上回る強度の周波数成分を白画素とし、しきい値以下の強度の周波数成分を黒画素とする２値のスペクトル画像が生成される。

【0031】

ステップＳ５では、２値のスペクトル画像の各画素に順に着目しつつ、着目画素の周囲８近傍の画素のいずれかに白画素があれば着目画素を白画素とし、８近傍中のいずれの画素も黒画素であれば着目画素を黒画素とする方法により、白画素群を膨張させる。さらに、周囲８近傍における白画素の連結関係を追跡し、連結している白画素群毎にそれぞれラベル付けを行うことにより、スペクトル画像内の白画素の集合を個別に認識する。

【0032】

図４の下段の画像Ｂ２は、スペクトル画像Ｂ１に対応する２値のスペクトル画像であって、ステップＳ３，Ｓ４，Ｓ５の各処理が完了した状態を示す。多値のスペクトル画像Ｂ１において強い周波数成分が集まっていた箇所は、より広い範囲に広がる白画素の連結体（以下「白画素領域」という。）に変換されている。

【0033】

ステップＳ６では、２値のスペクトル画像Ｂ２に対するラベリング処理の結果に基づき、中心部に分布する低周波成分にマスクを設定する。具体的にこの実施例では、図５の上段に示すように、スペクトル画像Ｂ２の中心部に所定大きさの矩形領域を設定し、この正方形領域内に含まれる全ての白画素にマスクを設定するほか、矩形領域の外側にあって画像の中心点と同じラベルが設定されている白画素（すなわち、中心点から一連に連なる白画素の連結体に含まれる画素）を抽出し、これらにマスクを設定する。
なお、矩形領域は、あらかじめモアレ縞のないサンプル画像などを用いて低周波成分の分布範囲を特定し、その特定結果に基づき定めた設定データに基づき設定される。

【0034】

図５の下段の画像Ｂ３は、マスクの設定後のスペクトル画像を示すもので、マスクされた箇所を斜線にして矩形領域との関係と共に表している。図６の上段左側には、同じマスク設定後のスペクトル画像Ｂ３を、背景部分を白に置き換え、白画素領域を輪郭線で表す形式にして表している（実線の領域がマスクされていない白画素領域、点線の領域がマスクされた低周波成分の領域である。）。

【0035】

なお、ステップＳ６においては、中心部の矩形領域より外側にあって中心点と同じラベルが設定されている画素でも、矩形領域からの距離が所定の許容値を上回るものにはマスクを設定しないようにするのが望ましい。

【0036】

ステップＳ７では、このマスク設定後のスペクトル画像Ｂ３から、あらかじめ登録した基準値以上の面積を有する白画素領域を抽出し、抽出された領域内の各画素にノイズフラグを設定する。図６の上段右側の画像Ｂ４は、ノイズフラグの設定結果を画像として表したものである。

【0037】

ステップＳ８では、最初に生成した多値のスペクトル画像Ｂ１をバッファメモリから読み出し、ノイズフラグの設定に基づき、スペクトル画像Ｂ１からノイズに相当する周波数成分を除去する。具体的には、スペクトル画像Ｂ１中のノイズフラグが設定された画素に対応する強度をゼロに変更する。

【0038】

図６の下段では、ノイズ除去前の多値のスペクトル画像Ｂ１（図４に示したものと同じ）を左に表し、ノイズが除去された多値のスペクトル画像Ｂ５を右に表している。スペクトル画像Ｂ５は、当初の多値のスペクトル画像Ｂ１のうち、画像Ｂ４に示されるノイズに対応する画素の周波数をゼロに置き換えたもので、中心部以外の顕著な周波数成分の集合が除去されている。一方、画像Ｂ５の中心部の低周波帯域においては、当初のスペクトル画像Ｂ１の特徴が反映されている。

【0039】

ステップＳ９では、上記のノイズ除去後の多値のスペクトル画像Ｂ５に対し２次元高速逆フーリエ変換を実施する。この処理により、図２に示した補正画像Ａ２が生成される。

【0040】

上記の実施例では、図示の簡略化のため、周期性の高いモアレ縞が生じた画像を示したが、モアレ縞の幅、方向、間隔などのばらつきが大きいと、２次元高速逆フーリエ変換によるスペクトル画像においても、強い周波数成分の分布は不規則になる。しかし、図３に示した手順によれば、どのような状態のモアレ縞でも安定して除去することができる。

【0041】

一方、ステップＳ７の処理によりノイズとして設定される高周波成分の中には、モアレ縞を反映した周波数成分のほか、文字の輪郭部分を反映した周波数成分が含まれている可能性がある。文字の輪郭部分の周波数成分にノイズフラグが設定されて、多値のスペクトル画像Ｂ１から当該周波数成分が除去されるため、２次元高速逆フーリエ変換による補正画像Ａ２では、文字がぼやけた状態になってしまう。
しかしながら、認識に悪影響を及ぼすモアレ縞の殆どが除去され、文字の内部の画像を反映した低周波成分の殆どが維持されるので、多少文字がぼやけても、認識に特段の支障を生じることはなく、認識精度を確保することができる。

【0042】

よって、ディスプレイ画面に表示された文字列を撮影した画像を処理する場合でも、モアレ縞の影響を受けることなく、精度の良い認識処理を実施することができる。また、モアレ縞が文字の候補として取り扱われるのを防ぐことができるので、処理効率も高められる。

【0043】

以下、考えられ得る変形例を記載する。
まず上記実施例では、低周波成分の集合やノイズの周波数成分の集合の検出精度を高めるために、２次元高速フーリエ変換による多値のスペクトル画像Ｂ１を２値化し、膨張処理などを施したが、これに限らず、多値のスペクトル画像を用いて各集合を検出してもよい。たとえば、多値のスペクトル画像における強度分布から極大値を求め、各極大値を含む山の部分を強い周波数成分が分布する範囲として特定し、中心部に分布する山にマスクを設定し、その他の山をノイズとみなして除外することができる。

【0044】

またスペクトル画像を２値化する場合でも、膨張処理やラベリング処理以外の方法で処理を進めることもできる。たとえば２値化後の白画素群にクラスタリング処理を施すことにより、白画素が連結または密に分布する領域を抽出し、これらの領域からマスクの設定対象やノイズフラグの設定対象を選別してもよい。

【0045】

つぎに、上記の実施例では、文字列を認識対象としたが、２次元コードなどの光学情報コードを読み取る場合や、特定のマークを対象にパターンマッチングなどによる認識処理を行う場合にも、同様の方法で、処理対象の画像からモアレ縞を除去してから認識処理を実施することができる。

【0046】

図１のシステム構成に関して、認識対象の画像を送信した携帯端末装置１には、認識結果として認識文字列を返送すると説明したが、さらに認識文字列を用いた別の処理を実施して、その結果を送信してもよい。たとえば、認識文字列によるウェブサーチを実施し、そのサーチ結果を認識文字列に紐付けて送信することができる。

【0047】

また携帯端末装置１のメモリ容量が十分であれば、撮影後にグレイスケールの変換処理やノイズの除去処理を携帯端末装置１において実施し、ノイズが除去された後の画像を外部装置に送信して認識処理を実施してもよいし、認識処理も含めて携帯端末装置１内で実施してもよい。

【符号の説明】

【0048】

１ 携帯端末装置
３ 解析用サーバ
３１ 画像入力部
３２ 前処理部
３３ ノイズ除去処理部
３４ 認識処理部
３５ 認識結果出力部
Ａ１ 入力画像
Ａ２ 補正画像
Ｂ１，Ｂ５ 多値のスペクトル画像）
Ｂ２ 膨張処理後の２値スペクトル画像
Ｂ３ マスク設定後の２値スペクトル画像
Ｂ４ ノイズフラグ設定後の２値スペクトル画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】