特許 5769029 文字認識装置、認識辞書生成装置及び正規化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5769029

(24)【登録日】2015年7月3日

(45)【発行日】2015年8月26日

(54)【発明の名称】文字認識装置、認識辞書生成装置及び正規化方法

(51)【国際特許分類】

   G06K 9/42 20060101AFI20150806BHJP

   G06K 9/40 20060101ALI20150806BHJP

   G06K 9/46 20060101ALI20150806BHJP

【ＦＩ】

   G06K9/42

   G06K9/40

   G06K9/46 D

【請求項の数】15

【全頁数】21

(21)【出願番号】特願2012-55638(P2012-55638)

(22)【出願日】2012年3月13日

(65)【公開番号】特開2013-190911(P2013-190911A)

(43)【公開日】2013年9月26日

【審査請求日】2014年5月16日

(73)【特許権者】

【識別番号】000233295

【氏名又は名称】株式会社日立情報通信エンジニアリング

(74)【代理人】

【識別番号】100114236

【弁理士】

【氏名又は名称】藤井 正弘

(74)【代理人】

【識別番号】100075513

【弁理士】

【氏名又は名称】後藤 政喜

(74)【代理人】

【識別番号】100142479

【弁理士】

【氏名又は名称】櫻井 亘

(72)【発明者】

【氏名】三好 利昇

(72)【発明者】

【氏名】永崎 健

(72)【発明者】

【氏名】新庄 広

(72)【発明者】

【氏名】堤 庸昂

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２０１０−１０８１１３（ＪＰ，Ａ）

【文献】 特開平０７−１６０８１５（ＪＰ，Ａ）

【文献】 特開平０５−０３５８７０（ＪＰ，Ａ）

【文献】 特開平０７−２８２１９９（ＪＰ，Ａ）

【文献】 米国特許第０５６００７３６（ＵＳ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／４２

Ｇ０６Ｋ ９／４０

Ｇ０６Ｋ ９／４６

(57)【特許請求の範囲】

【請求項1】

プロセッサ及び記憶装置を含む演算装置と、前記演算装置に接続される入力装置と、前記演算装置に接続される出力装置と、を有する文字認識装置であって、
前記演算装置は、
前記入力装置を介して入力された入力画像又は前記記憶装置に格納された入力画像から、文字認識の妨げとなる外乱要因を低減するための前処理を実行する第１手順と、
前記前処理が実行された画像を正規化する第２手順と、
前記正規化された画像をベクトル空間上のベクトル値に変換する第３手順と、
前記記憶装置に格納された認識辞書に基づいて前記ベクトル値をいずれかの文字であると判定する第４手順と、
前記出力装置を介して前記判定の結果を出力する第５手順と、を実行し、
前記第２手順は、
前記前処理が実行された画像の輪郭を抽出する第６手順と、
前記前処理が実行された画像と前記抽出された輪郭の画像とを合成する第７手順と、
前記合成された画像から所定のサイズの正規化された画像への写像を、前記合成された画像の重心の像が前記所定のサイズの範囲の中心に近づき、かつ、前記合成された画像の画素が広がる範囲の像が前記所定のサイズの範囲に近づくように生成する第８手順と、
前記生成された写像に従って、前記前処理が実行された画像を正規化する第９手順と、を含むことを特徴とする文字認識装置。

【請求項2】

前記第７手順は、各格子点における前記前処理が実行された画像の画素値に第１の係数を乗算した値と、各格子点における前記輪郭の画像の画素値に第２の係数を乗算した値と、を加算することによって、各格子点における前記合成された画像の画素値を算出する手順を含むことを特徴とする請求項１に記載の文字認識装置。

【請求項3】

前記第２手順は、さらに、前記合成された画像の画素が広がる範囲を示すパラメータとして、前記合成された画像のモーメント値を算出する手順を含み、
前記第８手順は、前記モーメント値に応じて前記合成された画像を拡大又は縮小する写像を生成する手順を含むことを特徴とする請求項１に記載の文字認識装置。

【請求項4】

前記第６手順は、前記前処理が実行された画像の各格子点の周囲の格子点の画素値が所定の条件を満たす場合に前記各格子点における輪郭の画像の画素値を増加させる手順を含むことを特徴とする請求項１に記載の文字認識装置。

【請求項5】

前記第６手順は、前記前処理が実行された画像の各格子点の周囲の格子点の画素値に所定の係数を乗じた値を集計することによって前記各格子点における輪郭の画像の画素値を算出する手順を含むことを特徴とする請求項１に記載の文字認識装置。

【請求項6】

プロセッサ、及び、前記プロセッサに接続され、文字画像が格納された記憶装置を含む演算装置を有する認識辞書生成装置であって、
前記演算装置は、
前記記憶装置に格納された文字画像から、文字認識の妨げとなる外乱要因を低減するための前処理を実行する第１手順と、
前記前処理が実行された画像を正規化する第２手順と、
前記正規化された画像をベクトル空間上のベクトル値に変換する第３手順と、
前記ベクトル値に基づいて、文字認識に使用される認識辞書を学習する第４手順と、
前記学習の結果を前記記憶装置に格納する第５手順と、を実行し、
前記第２手順は、
前記前処理が実行された画像の輪郭を抽出する第６手順と、
前記前処理が実行された画像と前記抽出された輪郭の画像とを合成する第７手順と、
前記合成された画像から所定のサイズの正規化された画像への写像を、前記合成された画像の重心の像が前記所定のサイズの範囲の中心に近づき、かつ、前記合成された画像の画素が広がる範囲の像が前記所定のサイズの範囲に近づくように生成する第８手順と、
前記生成された写像に従って、前記前処理が実行された画像を正規化する第９手順と、を含むことを特徴とする認識辞書生成装置。

【請求項7】

前記第７手順は、各格子点における前記前処理が実行された画像の画素値に第１の係数を乗算した値と、各格子点における前記輪郭の画像の画素値に第２の係数を乗算した値と、を加算することによって、各格子点における前記合成された画像の画素値を算出する手順を含むことを特徴とする請求項６に記載の認識辞書生成装置。

【請求項8】

前記第２手順は、さらに、前記合成された画像の画素が広がる範囲を示すパラメータとして、前記合成された画像のモーメント値を算出する手順を含み、
前記第８手順は、前記モーメント値に応じて前記合成された画像を拡大又は縮小する写像を生成する手順を含むことを特徴とする請求項６に記載の認識辞書生成装置。

【請求項9】

前記第６手順は、前記前処理が実行された画像の各格子点の周囲の格子点の画素値が所定の条件を満たす場合に前記各格子点における輪郭の画像の画素値を増加させる手順を含むことを特徴とする請求項６に記載の認識辞書生成装置。

【請求項10】

前記第６手順は、前記前処理が実行された画像の各格子点の周囲の格子点の画素値に所定の係数を乗じた値を集計することによって前記各格子点における輪郭の画像の画素値を算出する手順を含むことを特徴とする請求項６に記載の認識辞書生成装置。

【請求項11】

プロセッサ及び前記プロセッサに接続される記憶装置を含む演算装置が実行する画像の正規化方法であって、
前記演算装置が、前記記憶装置に格納された原画像の輪郭を抽出する第６手順と、
前記演算装置が、前記原画像と前記抽出された輪郭の画像とを合成する第７手順と、
前記演算装置が、前記合成された画像から所定のサイズの正規化された画像への写像を、前記合成された画像の重心の像が前記所定のサイズの範囲の中心に近づき、かつ、前記合成された画像の画素が広がる範囲の像が前記所定のサイズの範囲に近づくように生成する第８手順と、
前記演算装置が、前記生成された写像に従って、前記原画像を正規化し、その結果を前記記憶装置に格納する第９手順と、を含むことを特徴とする正規化方法。

【請求項12】

前記第７手順は、各格子点における前記前処理が実行された画像の画素値に第１の係数を乗算した値と、各格子点における前記輪郭の画像の画素値に第２の係数を乗算した値と、を加算することによって、各格子点における前記合成された画像の画素値を算出する手順を含むことを特徴とする請求項１１に記載の正規化方法。

【請求項13】

前記正規化方法は、さらに、前記合成された画像の画素が広がる範囲を示すパラメータとして、前記合成された画像のモーメント値を算出する手順を含み、
前記第８手順は、前記モーメント値に応じて前記合成された画像を拡大又は縮小する写像を生成する手順を含むことを特徴とする請求項１１に記載の正規化方法。

【請求項14】

前記第６手順は、前記前処理が実行された画像の各格子点の周囲の格子点の画素値が所定の条件を満たす場合に前記各格子点における輪郭の画像の画素値を増加させる手順を含むことを特徴とする請求項１１に記載の正規化方法。

【請求項15】

前記第６手順は、前記前処理が実行された画像の各格子点の周囲の格子点の画素値に所定の係数を乗じた値を集計することによって前記各格子点における輪郭の画像の画素値を算出する手順を含むことを特徴とする請求項１１に記載の正規化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文字認識用の認識辞書生成装置及び文字認識装置に関し、特に文字画像の正規化手法に関する。

【背景技術】

【0002】

文字認識装置は、認識辞書を用いて、入力画像中に書かれている文字カテゴリを判定し、判定結果を出力する。ここで、文字カテゴリとは、例えば、数字認識の場合には、０〜９までの１０種類の数字である。認識辞書は、認識辞書生成装置によって作成される。

【0003】

文字認識装置が入力画像を受け取ってから判定結果を出力するまでの処理フローは、前処理、正規化、特徴抽出、識別の４つの処理手順を含む。

【0004】

図２は、従来の文字認識装置が実行する処理を示すフロー図である。

【0005】

文字画像入力部２０１では、ユーザ又は演算装置によって実行されるプログラムによって、画像が入力される。

【0006】

前処理部２０２では、例えば、入力画像のノイズ除去、ぼかし処理によるスムージング等を行い、文字認識の妨げとなる外乱要因を可能な限り取り除く手順が実行される。

【0007】

次に、正規化部２０３では、様々なサイズの前処理後の画像を入力として受け取り、それらの画像のサイズを揃える手順が実行される。これによって後の処理を統一することができる。

【0008】

次に、特徴抽出部２０９では、正規化後の画像を入力として受け取り、ベクトル空間上のベクトル値に変換する手順が実行される。前記ベクトル空間を特徴空間、前記ベクトル値を特徴ベクトルとよぶ。特徴抽出手法としては、画素特徴、輪郭特徴、勾配特徴、ガボール特徴などを抽出する手法が広く知られている（非特許文献１）。必要があれば、主成分分析又は線型判別分析などの次元削減手法を用いて、特徴空間の次元数を圧縮し、特徴空間の次元数を削減する（非特許文献２）。

【0009】

ここまでの処理によって、入力画像は特徴空間上のベクトル値（特徴ベクトル）として表現されることになる。

【0010】

次に、識別部２１０では、認識辞書２１４を用いて、特徴ベクトルが所属する文字カテゴリを判定する処理が実行される。認識辞書２１４は、特徴空間上の各点が、どの文字カテゴリに所属するかを判断するための情報を保持している。認識辞書２１４を用いた判定の詳細については、非特許文献１又は非特許文献２に記載されている。

【0011】

出力部２１１では、判定結果をディスプレイなどの表示装置又はファイル等に出力する。

【0012】

高精度な文字認識を行うためには、上記の前処理部２０２、正規化部２０３、特徴抽出部２０９、及び識別部２１０の各々の処理が重要な役割をもっている。そのため、各々の処理で、文字認識に適した処理を行うことが重要である。

【0013】

認識対象となる入力画像中の文字は、筆記具、筆記者、フォント、スキャン時の環境、紙質、又は紙の保存状態などによって、同じ文字種であっても、サイズ、形、又は劣化度にばらつきがある。正規化には、入力画像のサイズを揃えることの他に、このような入力画像中の同一文字種間の形のばらつきを抑えるという目的がある。これによって、文字認識装置の識別率を上げることができる。

【0014】

既存の文字画像の正規化手法には、線型正規化法、非線型正規化法、モーメント正規化法、バイモーメント正規化法、ＣＢＡ法、ＭＣＢＡ法、ＬＤＰＦ法などがある。これらの手法のうち、モーメント正規化法及びバイモーメント正規化法は、高い識別率を有するという文字認識のベンチマーク結果が、論文等によって公表されている（非特許文献３）。

【0015】

図５は、モーメント正規化法及びバイモーメント正規化法によって生成された画像の例の説明図である。具体的には、図５には、正規化処理の入力画像５０１、入力画像５０１にモーメント正規化法を適用することによって生成された正規化画像５０２、及び入力画像５０１にバイモーメント正規化法を適用することによって生成された正規化画像５０３を示す。

【0016】

上記のように、モーメント法及びバイモーメント法などの正規化法は、高い識別能力があることが知られている。しかし、これらの手法は、原画像の画素値を直接用いてモーメントを計算するため、文字ストロークの太さに影響されやすい。したがって、文字の太さによってモーメントの値が大きく異なり、そのため、正規化画像中の文字の位置が文字の太さによって違ってくる。

【0017】

図６は、同一の文字の異なるフォントの例の説明図であり、具体的には、異なるフォントの文字「Ｔ」の画像６０１を示す。図６に示すように、文字を判断する上で、文字の太さは本質的でない。そのため、文字の太さの違いによって生じる同一文字カテゴリ間の正規化画像の文字のばらつき（文字の位置やサイズ等）は、識別に不利である。

【0018】

輪郭特徴量モーメント正規化法（特許文献１、非特許文献４、非特許文献５）は、文字の輪郭を抽出し、文字の輪郭のモーメントに基づいて正規化を行う方法である。この方法は、文字の長さ及び太さに起因する文字間のばらつきを低減するために有効であり、活字文字認識において高い識別率を有する。

【0019】

図１０は、モーメント正規化法及び輪郭特徴量モーメント正規化法によって正規化された画像の説明図である。

【0020】

図１０に例示された原画像１００１は、それぞれ横棒の太さが異なる複数の「Ｔ」の文字画像である。さらに、その原画像１００１をモーメント正規化法によって正規化した画像１００２を示す。正規化画像１００２では、横棒が太くなるにしたがって、画像の中心がＴの上の部分にずれ、文字の位置が全体的に下に下がっていることが分かる。また、正規化画像１００２では、原画像１００１で同じ太さであったＴの縦棒の太さにもばらつきが生じている。このようなばらつきは、特徴抽出後の特徴空間上でのベクトル点のばらつきとなって現れ、識別率を低下させる原因となる。これに対し、原画像１００１を輪郭特徴量モーメント正規化法によって正規化した画像１００３では、これらのばらつきが低減されている。

【先行技術文献】

【特許文献】

【0021】

【特許文献1】特開２０１０−１０８１１３号公報

【非特許文献】

【0022】

【非特許文献1】Mohammed Cheriet, Nawwaf Kharma, Cheng lin Liu, and Ching Suen, "Character Recognition Systems: A Guide for Students and Practitioners", Wiley-Interscience, 2007.

【非特許文献2】石井健一郎, 上田修功, 前田英作, 村瀬洋, “パターン認識”、 オーム社出版局、１９９８年８月

【非特許文献3】Cheng-Lin Liu, Kazuki Nakashima, Hiroshi Sako, and Hiromichi Fujisawa, "Handwritten digit recognition: investigation of normalization and feature extraction techniques", Pattern Recognition, Vol.37, No.2, pp. 265＿279, 2004.

【非特許文献4】Toshinori Miyoshi, Takeshi Nagasaki, and Hiroshi Shinjo, "Character Normalization Methods using Moments of Gradient Features and Normalization Cooperated Feature Extraction", Proceedings of the 2009 Chinese Conference on Pattern Recognition and the First CJK Joint Workshop on Pattern Recognition, pp.934-938, 2009.

【非特許文献5】三好利昇、永崎健、新庄広、“勾配特徴量のモーメントを用いた文字正規化法”、電子情報通信学会技術研究報告、PRMU、パターン認識・メディア理解１０８（４３２）、pp.187-192, 2009.

【発明の概要】

【発明が解決しようとする課題】

【0023】

輪郭特徴量モーメント正規化法は、文字の輪郭を抽出し、抽出した文字輪郭部のモーメント値に基づいて正規化を行う方法である。この方法は、文字の太さや長さのばらつきを抑えることに効果があり、特に、活字文字の認識において有効である。しかし、手書き文字及び一部の活字文字においては、文字の輪郭が失われている場合がある。

【0024】

図１３は、輪郭の一部が失われた文字画像の例を示す説明図である。図１３に示す文字画像１３０１及び１３０２は、いずれも文字「構」の手書き文字画像である。一方、文字画像１３０３及び２３０４は、それぞれ、文字画像１３０１及び１３０２から抽出された輪郭の画像である。文字画像１３０２においては、文字のつぶれのために、輪郭の一部が消失している。そのような場合には輪郭特徴量モーメントは不安定となる。

【課題を解決するための手段】

【0025】

本発明の代表的な一例を示せば次の通りである。すなわち、プロセッサ及び記憶装置を含む演算装置と、前記演算装置に接続される入力装置と、前記演算装置に接続される出力装置と、を有する文字認識装置であって、前記演算装置は、前記入力装置を介して入力された入力画像又は前記記憶装置に格納された入力画像から、文字認識の妨げとなる外乱要因を低減するための前処理を実行する第１手順と、前記前処理が実行された画像を正規化する第２手順と、前記正規化された画像をベクトル空間上のベクトル値に変換する第３手順と、前記記憶装置に格納された認識辞書に基づいて前記ベクトル値をいずれかの文字であると判定する第４手順と、前記出力装置を介して前記判定の結果を出力する第５手順と、を実行し、前記第２手順は、前記前処理が実行された画像の輪郭を抽出する第６手順と、前記前処理が実行された画像と前記抽出された輪郭の画像とを合成する第７手順と、前記合成された画像から所定のサイズの正規化された画像への写像を、前記合成された画像の重心の像が前記所定のサイズの範囲の中心に近づき、かつ、前記合成された画像の画素が広がる範囲の像が前記所定のサイズの範囲に近づくように生成する第８手順と、前記生成された写像に従って、前記前処理が実行された画像を正規化する第９手順と、を含むことを特徴とする。

【発明の効果】

【0026】

本発明の一実施形態によれば、文字輪郭画像と原画像との合成画像に基づいて正規化を行うことによって、文字輪郭が失われている場合の正規化の不安定性を低減し、活字及び手書き文字における認識率を向上させることができる。

【図面の簡単な説明】

【0027】

【図1】本発明の実施形態の文字認識装置のハードウェア構成の一例を示すブロック図である。

【図2】従来の文字認識装置が実行する処理を示すフロー図である。

【図3】本発明の実施形態の演算装置によって実行される文字認識処理の概要を示すフロー図である。

【図4】本発明の実施形態の演算装置によって実行される識別処理の説明図である。

【図5】モーメント正規化法及びバイモーメント正規化法によって生成された画像の例の説明図である。

【図6】同一の文字の異なるフォントの例の説明図である。

【図7】モーメント正規化法によって定められる文字画像の重心及び境界の説明図である。

【図8】本発明の実施形態の演算装置によって使用される文字輪郭の抽出方法の第１の例の説明図である。

【図9】本発明の実施形態において文字画像の輪郭を抽出するために参照される画素の説明図である。

【図10】モーメント正規化法及び輪郭特徴量モーメント正規化法によって正規化された画像の説明図である。

【図11】本発明の実施形態において文字画像の輪郭を抽出するために使用されるフィルターの説明図である。

【図12】本発明の実施形態の演算装置によって抽出される輪郭画像の例の説明図である。

【図13】輪郭の一部が失われた文字の例を示す説明図である。

【発明を実施するための形態】

【0028】

図１は、本発明の実施形態の文字認識装置のハードウェア構成の一例を示すブロック図である。

【0029】

本発明の文字認識装置１００は、入力装置１０１、演算装置１０２、認識辞書１０３、表示装置１０４、及びパターンデータベース（ＤＢ）１０５を備える。

【0030】

入力装置１０１は、コマンド等を入力するためのキーボードやマウス、及び画像入力のためのスキャナ等の装置である。

【0031】

演算装置１０２は、入力された画像を読み取り、入力画像中の文字を判定する。演算装置１０２は、ＣＰＵ（Central Processing Unit）、メモリ、及び記憶装置等を備える。

【0032】

認識辞書１０３は、認識辞書を保存する辞書データベースである。

【0033】

表示装置１０４は、演算装置１０２による処理内容を出力する装置であり、例えば、ディスプレイ等の装置である。処理内容を表示する必要がない場合には表示装置１０４はなくてもよく、必要に応じて表示装置以外の出力装置によって置き換えられてもよい。

【0034】

パターンＤＢ１０５は、入力装置１０１によって入力されたパターンを格納する。

【0035】

認識辞書１０３及びパターンＤＢ１０５は、演算装置１０２内の記憶装置に格納されてもよい。

【0036】

本発明の実施形態の演算装置１０２は、文字認識手段を備える。具体的には、例えば、演算装置１０２内のＣＰＵがメモリ又は記憶装置に格納されたプログラムを実行することによって文字認識手段を実現する。

【0037】

次に、本発明の実施形態における処理フローの説明に移る。

【0038】

図３は、本発明の実施形態の演算装置１０２によって実行される文字認識処理の概要を示すフロー図である。

【0039】

図３に示す文字画像入力部２０１、前処理部２０２、正規化部３０１、特徴抽出部２０９、識別部２１０、出力部２１１及び認識辞書学習部２１３は、演算装置１０２によって（すなわち、ＣＰＵがメモリ等に格納されたプログラムを実行することによって）実現される機能であり、言い換えると、それぞれが演算装置１０２によって実行される処理手順に相当する。正規化部３０１に含まれる文字輪郭抽出部３０２、合成画像生成部３０３、モーメント値算出部３０４、正規化写像生成部２０７及び正規化画像生成部２０８についても同様である。

【0040】

文字認識装置１００は、入力された画像を読み取り、入力画像中の文字を判定し、判定結果を出力する。既に説明したように、図２は、従来の輪郭特徴量モーメント正規化法による文字認識処理のフロー図である。本実施形態の文字認識装置１００が実行する文字認識処理のうち、正規化部３０１における文字輪郭抽出部３０２及び合成画像生成部３０３の処理が、従来の文字認識処理と異なる。

【0041】

文字画像入力部２０１では、ユーザ、または、演算装置１０２によって実行されるプログラムによって、認識対象となる画像が入力される。例えば、入力装置１０１に含まれるスキャナが文書を読み取り、それによって得られた文字画像のデータを演算装置１０２がメモリ又は記憶装置に格納してもよい。なお、記憶装置等に予め文字画像のデータが格納されている場合には、それを認識対象として使用することもできる。

【0042】

前処理部２０２は、入力画像にノイズ除去、ぼかし処理等を施すことによって、ノイズ又はかすれ等の、画像中の文字を判定する上で障害となる外乱要因を低減する。例えば、ノイズ除去処理によって、ある閾値以下の大きさの孤立点が除去される。前処理が施された入力画像は、一旦記憶装置に格納されてもよい。

【0043】

正規化部３０１は、前処理が施された入力画像の各々を予め指定しておいた固定サイズの画像に変換する。変換後の画像を正規化画像とよぶ。正規化の主な目的の一つは、様々なサイズの入力画像を固定サイズの画像に変換することで、後の処理を統一することである。また、正規化のもう一つの主な目的は、様々な形の入力画像を、同一文字間で文字の形のばらつきが小さくなるように固定サイズの画像に変換することである。これによって、同一文字種の文字画像間でのばらつきを低減することができ、識別精度の向上に役立つ。詳細は、後述する。正規化部３０１で生成された正規化画像は、一旦記憶装置に格納されてもよい。

【0044】

特徴抽出部２０９は、正規化部３０１で生成される正規化画像を入力として受け取り、入力された正規化画像をベクトル空間上のベクトル値に変換する。変換先のベクトル空間を特徴空間、変換されたベクトル値を特徴ベクトルとよぶ。次元圧縮によって、特徴空間の次元を削減する場合もある。その場合、特徴空間から識別への寄与が小さい成分をなるべく取り除き、特徴ベクトルをより低次元の特徴空間上の特徴ベクトルとして表現する。

【0045】

識別部２１０は、認識辞書２１４を用いて、特徴ベクトルが所属する文字カテゴリを判定する。認識辞書２１４は、特徴空間を各文字カテゴリが占める領域に分割するための情報を保持している。これによって、特徴ベクトルが所属する領域に対応する文字カテゴリが判定結果として返される。

【0046】

図４は、本発明の実施形態の演算装置１０２によって実行される識別処理の説明図である。

【0047】

図４には、一例として、特徴空間４０１においてカテゴリＡ、カテゴリＢ及びカテゴリＣのそれぞれが占める領域４０２Ａ、４０２Ｂ及び４０２Ｃを示す。各カテゴリが一つの文字に対応する。この例では、未知入力（すなわち入力された正規化画像の特徴ベクトル）４０３が、いずれのカテゴリの領域にも含まれていない。この場合、識別部２１０は、未知入力４０３に最も近い領域４０２Ａに対応するカテゴリＡを、未知入力が所属するカテゴリと判断してもよい。あるいは、識別部２１０は、未知入力４０３がどのカテゴリにも所属しないと判断し、棄却の判定をしてもよい。識別部２１０は、判定の結果（例えば「カテゴリＡ」又は「棄却」）を出力する。

【0048】

再び図３を参照する。出力部２１１は、識別部２１０による判定結果をディスプレイなどの表示装置１０４又は記憶装置等に出力する。

【0049】

次に、本発明の正規化部３０１の処理の説明に移る前に、輪郭特徴量モーメント正規化法による正規化部２０３の処理について説明する。

【0050】

前処理部２０２を経て、文字輪郭抽出部２０４に入力される原画像ｆ（ｘ，ｙ）のサイズを幅Ｗ０、高さＨ０とする。ここで、０≦ｘ＜Ｗ０、０≦ｙ＜Ｈ０、各格子点を表すｘ及びｙは整数値とし、左からｋ１番目、下からｋ２番目の格子点の画素値はｆ（ｋ１−１，ｋ２−１）と表示される。この原画像を幅Ｌ、高さＬの画像サイズに正規化する例を説明する。

【0051】

輪郭特徴量モーメント正規化法が適用される場合、まず、文字輪郭抽出部２０４が原画像ｆ（ｘ，ｙ）の文字の輪郭画像ｆｃ（ｘ，ｙ）を抽出する。以下に輪郭の抽出方法の例を二つ挙げる。

【0052】

文字輪郭の抽出方法の第１の例を挙げる。まず、文字画像ｆ（ｘ，ｙ）から、輪郭の横方向成分ｆｘ（ｘ，ｙ）及び縦方向成分ｆｙ（ｘ，ｙ）を抽出する。

【0053】

図８は、本発明の実施形態の演算装置によって使用される文字輪郭の抽出方法の第１の例の説明図である。

【0054】

図８には、例として、入力画像８０１、輪郭画像８０２、横方向の輪郭画像８０３、及び縦方向の輪郭画像８０４を示している。ここで、入力画像８０１は、文字「Ｂ」の画像であり、輪郭画像８０２、横方向の輪郭画像８０３及び縦方向の輪郭画像８０４は、いずれも入力画像８０１から抽出された輪郭画像の例である。入力画像８０１がｆ（ｘ，ｙ）、横方向の輪郭画像８０３がｆｘ（ｘ，ｙ）、縦方向の輪郭画像８０４がｆｙ（ｘ，ｙ）に対応する。

【0055】

最初に、文字輪郭抽出部２０４は、ｆｘ（ｘ，ｙ）＝０、ｆｙ（ｘ，ｙ）＝０と設定する。次に、文字輪郭抽出部２０４は、入力画像ｆ（ｘ，ｙ）の格子点を順番に選択し、各々の格子点に対して、輪郭方向の特徴を抽出する。斜め方向は、縦横の両方にカウントする。いま、注目している格子点の画素が黒画素、すなわち、ｐ＝ｆ（ｘ，ｙ）＝１であるとき、文字輪郭抽出部２０４は、図９に示す画素ｐの近傍にある画素の情報から、数式（１）〜（３）によって特徴を抽出する。

【0056】

【数1】

【0057】

【数2】

【0058】

【数3】

【0059】

図９は、本発明の実施形態において文字画像の輪郭を抽出するために参照される画素の説明図である。

【0060】

具体的には、図９には、ある格子点の画素ｐと、それに隣接する周囲の格子点の画素ｄ１からｄ７との位置関係９０１を示す。例えば、画素ｐの格子点の座標が（ｘ，ｙ）である場合、画素ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６及びｄ７の格子点の座標は、それぞれ（ｘ＋１，ｙ＋１）、（ｘ，ｙ＋１）、（ｘ−１，ｙ＋１）、（ｘ−１，ｙ）、（ｘ−１，ｙ−１）、（ｘ，ｙ−１）及び（ｘ＋１，ｙ−１）である。

【0061】

これによって、輪郭の横方向成分ｆｘ（ｘ，ｙ）及び縦方向成分ｆｙ（ｘ，ｙ）が生成される。輪郭画像ｆｃ（ｘ，ｙ）は、ｆｃ（ｘ，ｙ）＝ｆｘ（ｘ，ｙ）＋ｆｙ（ｘ，ｙ）（ここで＝は代入）を計算することによって求められる。

【0062】

文字輪郭の抽出方法の第２の例を挙げる。まず、文字輪郭抽出部２０４は、ｆｘ（ｘ，ｙ）＝０、ｆｙ（ｘ，ｙ）＝０と設定する。次に、文字輪郭抽出部２０４は、入力画像ｆ（ｘ，ｙ）の格子点を順番に選択し、各々の格子点に対して、特徴を抽出する。斜め方向は、縦横の両方にカウントする。文字輪郭抽出部２０４は、格子点（ｘ，ｙ）に対し、数式（４）によって特徴を抽出する。

【0063】

【数4】

【0064】

図１１は、本発明の実施形態において文字画像の輪郭を抽出するために使用されるフィルターの説明図である。図１１のフィルター１１０１が数式（４）のｆｙ（ｘ，ｙ）の計算式に対応し、フィルター１１０２がｆｘ（ｘ，ｙ）の計算式に対応する。

【0065】

輪郭画像ｆｃ（ｘ，ｙ）は、ｆｃ（ｘ，ｙ）＝ｆｘ（ｘ，ｙ）＋ｆｙ（ｘ，ｙ）（ここで＝は代入）を計算することによって求められる。

【0066】

図１２は、本発明の実施形態の演算装置１０２によって抽出される輪郭画像の例の説明図である。例えば、文字種「綾」「鮎」「或」「粟」及び「袷」の手書き文字の原画像１２０１から、輪郭画像１２０２が抽出される。

【0067】

次に、モーメント値算出部２０６が、輪郭画像ｆｃ（ｘ，ｙ）のモーメント値を算出する。ここでは、数式（５）及び数式（７）を用いて、数式（６）に示す重心（ｘｃ，ｙｃ）及び数式（８）に示すδｘ、δｙの値を計算する。このδｘ及びδｙは、原画像の画素が広がる範囲を示すパラメータであり、後述する原画像の境界を定めるために使用される。

【0068】

【数5】

【0069】

【数6】

【0070】

【数7】

【0071】

【数8】

【0072】

次に、正規化写像生成部２０７は、原画像を正規化平面［０，Ｌ］×［０，Ｌ］に写すための写像を生成する。輪郭特徴量モーメント正規化法では、モーメント値算出部２０６が計算した重心（ｘｃ，ｙｃ）を中心として横方向にδｘ、縦方向にδｙの幅をもった領域を、拡大又は縮小してＬ×Ｌのサイズとすることによって、正規化画像を生成する。すなわち、原画像中の［ｘｃ−δｘ／２，ｘｃ＋δｘ／２］×［ｙｃ−δｙ／２，ｙｃ＋δｙ／２］の部分を正規化平面［０，Ｌ］×［０，Ｌ］に写像する。そのための写像は、数式（９）によって表される。

【0073】

【数9】

【0074】

次に、正規化画像生成部２０８は、正規化画像ｆ’（ｘ’，ｙ’）を数式（１０）の関係式によって生成する。この例の場合には、すでに述べたように、原画像中の［ｘｃ−δｘ／２，ｘｃ＋δｘ／２］×［ｙｃ−δｙ／２，ｙｃ＋δｙ／２］の部分をＬ×Ｌのサイズに拡大縮小することによって正規化画像が得られる。

【0075】

【数10】

【0076】

以上のように、輪郭特徴量モーメント正規化法は、原画像ｆ（ｘ，ｙ）から輪郭画像ｆｃ（ｘ，ｙ）を抽出し、輪郭画像ｆｃ（ｘ，ｙ）のモーメントを用いて、文字画像の重心及び境界を定める。

【0077】

従来のように、モーメント正規化法、すなわち、原画像そのもののモーメント値に基づく正規化法が適用された場合には、原画像の画素の重心の像が正規化画像の範囲の中心に近づき、かつ、原画像の画素が広がる範囲の像が正規化画像の範囲に近づくように、原画像から正規化画像への写像が生成される。

【0078】

図７は、モーメント正規化法によって定められる文字画像の重心及び境界の説明図である。

【0079】

具体的には、図７には、前処理後の画像（すなわち上記の説明における原画像）７０１と、それらについて定められた重心及び境界の表示を含む文字画像７０２を示す。例えば、文字種「０」に対応する原画像７０１Ａから、重心７０３Ａ及び境界７０４Ａが決定される。ここで、境界７０４Ａは、原画像７０１Ａにおける、文字種「０」に相当する文字が表示された領域とそれ以外の領域との境界であり、言い換えると、文字種「０」に相当する文字の画素が広がる範囲に相当する。モーメント正規化法が適用される場合、文字の画素が広がる範囲を示すパラメータとして、数式（８）によって算出された二次モーメント値δｘ、δｙが使用され、境界７０４Ａは、重心７０３Ａを中心として横方向にδｘ、縦方向にδｙの幅をもった領域によって定義される。

【0080】

上記のようにして生成された写像を用いて正規化を行うことによって、入力された文字画像の大きさ及び形にばらつきがある場合であっても、それらが同一の文字種の画像であれば、正規化された文字画像の特徴量のばらつきを抑えることが期待できる。

【0081】

しかし、上記のようなモーメント正規化法が適用された場合、入力された文字画像の線の太さの変動に応じて、図１０の正規化画像１００２に示すような正規化画像のばらつきが生じやすい。これは、原画像の画素の重心の位置が原画像の文字の線の太さの影響を受けて変動すること等のために、モーメント値が不安定になり、それによって生成される写像も変動するためである。

【0082】

これに対して、輪郭特徴量モーメント正規化法が適用された場合（すなわち輪郭画像のモーメント値に基づく正規化が行われた場合）には、原画像の輪郭の画素の重心の像が正規化画像の範囲の中心に近づき、かつ、原画像の輪郭の画素が広がる範囲の像が正規化画像の範囲に近づくように、原画像から正規化画像への写像が生成される。この場合、原画像のうち輪郭以外の部分の画素が削除されているため、輪郭の画素の重心の位置は、原画像の文字の線の太さの影響を受けにくい。このため、モーメント値及び生成される写像は文字の線の太さにかかわらず安定し、図１０の正規化画像１００３に示すように、正規化画像のばらつきが生じにくくなる。

【0083】

しかし、図１３の文字画像１３０２及び１３０４の例が示すように、文字の輪郭の構造が失われている場合には、輪郭の一部が抽出できない。輪郭の一部が失われることで、輪郭の画素の重心の位置が変動するため、輪郭の構造が失われる場合には、算出されるモーメントの値が不安定となり、生成される正規化画像のばらつきが、同一文字種間で大きくなる。このようなばらつきは、特徴抽出後の特徴空間上でのベクトル点のばらつきとなって現れ、識別率を低下させる原因となる。

【0084】

次に、本発明の実施形態の正規化部３０１が実行する正規化について説明する。

【0085】

文字輪郭抽出部３０２は、文字輪郭抽出部２０４と同様の方法（例えば上記の第１又は第２の例）を用いて文字輪郭画像ｆｃ（ｘ、ｙ）を抽出してもよいし、別の方法を用いてもよい。ここで、文字輪郭を抽出する別の方法の例として、第３及び第４の例を説明する。

【0086】

最初に第３の例を説明する。まず、文字輪郭抽出部３０２は、全ての白画素ｐ＝（ｘ、ｙ）についてｇ０（ｐ）＝ｇ１（ｐ）＝…＝ｇ７（ｐ）とする。次に、文字輪郭抽出部３０２は、全ての黒画素ｐ＝（ｘ、ｙ）についてｇ０（ｐ）、ｇ１（ｐ）、…、ｇ７（ｐ）を数式（１１）によって計算する。

【0087】

【数11】

【0088】

ｄ０、ｄ１、…、ｄ７は、図９に示すように、画素ｐの近傍画素である。文字輪郭抽出部３０２は、輪郭画像ｆｃ（ｘ，ｙ）を、ｆｃ（ｘ，ｙ）＝Σｇｋ（ｘ，ｙ）によって生成する。ここで、Σｇｋ（ｘ，ｙ）は、ｋ＝０、１、…、７の範囲で計算される。

【0089】

次に第４の例を説明する。まず、文字輪郭抽出部３０２は、全ての画素ｐ＝（ｘ，ｙ）についてｇｘ（ｐ）、ｇｙ（ｐ）を数式（１２）によって計算する。次に、文字輪郭抽出部３０２は、輪郭画像ｆｃ（ｘ，ｙ）を数式（１３）によって生成する。ここで、ｄ０、ｄ１、…、ｄ７は図９に示すように、画素ｐの近傍画素である。

【0090】

【数12】

【0091】

【数13】

【0092】

上記の第１〜第４の例は、文字画像の輪郭を抽出する方法の例であり、文字輪郭抽出部３０２は、上記に例示した方法以外の方法によって文字画像の輪郭を抽出してもよい。上記のように、原画像の格子点の周囲の格子点の画素値が所定の条件を満たす場合に当該原画像の格子点における輪郭の画像の画素値を増加させる方法（上記の第１の例及び第３の例に相当）、又は、原画像の格子点の周囲の格子点の画素値に所定の係数を乗じた値を集計することによって当該原画像の格子点における輪郭の画像の画素値を算出する方法（上記の第２の例及び第３の例に相当）等によって、文字画像の輪郭を抽出することができる。

【0093】

以上で文字輪郭抽出部３０２の説明を終了し、続いて、合成画像生成部３０３以降の処理を説明する。合成画像生成部３０３は、文字輪郭抽出部３０２において生成した各格子点の文字輪郭画像ｆｃ（ｘ，ｙ）と、前処理部２０２から出力される各格子点の原画像ｆ（ｘ，ｙ）との合成画像ｆｓ（ｘ，ｙ）を数式（１４）によって生成する。

【0094】

【数14】

【0095】

ここで、γ１及びγ２は正の数であり、γ１＋γ２＝１を満たす。この合成画像は、原画像の輪郭部分が強調された画像、言い換えると、原画像の輪郭部分の画素値がそれ以外の部分の画素値より大きくなるように重み付けされた画像に相当する。

【0096】

モーメント値算出部３０４は、ｆｃ（ｘ，ｙ）の代わりにｆｓ（ｘ，ｙ）を用いてモーメント値を算出する。すなわち、モーメント値算出部２０６は、数式（５）の代わりに数式（１５）用いて、数式（６）に示す重心（ｘｃ，ｙｃ）及び数式（８）に示すδｘ、δｙの値を計算する。

【0097】

【数15】

【0098】

続いて、本発明の正規化写像生成部２０７が、数式（１５）等によって計算されたモーメント値に基づいて正規化写像を生成し、生成された正規化写像を用いて、本発明の正規化画像生成部２０８が正規化画像を生成する（数式（１０））。

【0099】

上記の本発明の実施形態では、合成画像の二次モーメント値δｘ及びδｙに基づいて、合成画像の画素が広がる範囲（すなわち境界）が定められる。この範囲は、必ずしも合成画像の画素の輪郭とは一致しない。しかし、上記のようなモーメント値に基づく範囲の決定方法は一例に過ぎず、本発明では、上記以外の方法によって文字画像の画素が広がる範囲が定められてもよい。例えば、演算装置１０２は、モーメント値算出部３０４において、モーメント値を算出する代わりに、合成画像の画素の輪郭に外接する長方形の範囲を合成画像の画素が広がる範囲として定めてもよい。

【0100】

ここまでの説明は文字認識装置１００に関するものであるが、文字認識装置１００は、認識辞書生成装置として使用することもできる。その場合、演算装置１０２の記憶装置が文字画像ＤＢ２１２（図３）を保持し、前処理部２０２は、文字画像ＤＢ２１２に格納された文字画像について前処理を行う。正規化部３０１及び特徴抽出部２０９の処理は上記の文字認識装置１００と同様である。認識辞書学習部２１３は、特徴抽出部２０９によって抽出された特徴量に基づいて、認識辞書の学習を行い、その結果を認識辞書２１４（図１の認識辞書１０３に相当）に格納する。なお、認識辞書学習部２１３は、正規化部３０１等と同様、演算装置１０２によって実現される機能である。

【0101】

以上のように、本発明の実施形態によれば、原画像と輪郭画像との合成画像のモーメント値に基づく正規化が行われる。すなわち、合成画像のモーメント値が計算され、これに基づいて原画像から正規化画像への写像が生成される。合成によって、文字画像の輪郭部分の画素値がそれ以外の部分の画素値より大きくなる。その結果、原画像そのもののモーメント値に基づく正規化を行った場合と比較すると、輪郭部分の画素の重みが増しているために、文字の線の太さの影響を軽減することができ、かつ、輪郭画像のモーメント値に基づく正規化を行った場合と比較すると、輪郭以外の部分の画素も利用されているために、輪郭の消失の影響を軽減することができる。このように、本実施形態によれば、線の太さ及び輪郭の消失のいずれに対しても安定した正規化を実現することができ、これによって、活字及び手書き文字の認識率を向上させることができる。

【0102】

なお、上記の効果を最大化するためには、係数γ１及びγ２を最適化することが望ましい。最適な係数γ１及びγ２の値は、輪郭の抽出方法等、種々の条件に依存し得るが、合成された画像における文字画像の輪郭部分の画素値がそれ以外の部分の画素値より大きくなるような値を選択する必要がある。例えば、本実施形態の合成画像生成部３０３は、γ１＜γ２を満たすγ１及びγ２を使用してもよい。

【符号の説明】

【0103】

１００ 文字認識装置
１０１ 入力装置
１０２ 演算装置
１０３、２１４ 認識辞書
１０４ 表示装置
１０５ パターンＤＢ
２０１ 文字画像入力部
２０２ 前処理部
２０３、３０１ 正規化部
２０４、３０２ 文字輪郭抽出部
２０６、３０４ モーメント値算出部
２０７ 正規化写像生成部
２０８ 正規化画像生成部
２０９ 特徴抽出部
２１０ 識別部
２１１ 出力部
２１２ 文字画像ＤＢ
２１３ 認識辞書学習部
３０３ 合成画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】