特許 6888299 画像処理装置および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6888299

(24)【登録日】2021年5月24日

(45)【発行日】2021年6月16日

(54)【発明の名称】画像処理装置および画像処理プログラム

(51)【国際特許分類】

   G06K 9/62 20060101AFI20210603BHJP

   G06K 9/20 20060101ALI20210603BHJP

【ＦＩ】

   G06K9/62 620D

   G06K9/20 340J

【請求項の数】7

【全頁数】19

(21)【出願番号】特願2017-149(P2017-149)

(22)【出願日】2017年1月4日

(65)【公開番号】特開2018-109866(P2018-109866A)

(43)【公開日】2018年7月12日

【審査請求日】2019年12月20日

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】100094330

【弁理士】

【氏名又は名称】山田 正紀

(74)【代理人】

【識別番号】100109689

【弁理士】

【氏名又は名称】三上 結

(72)【発明者】

【氏名】猪股 浩司郎

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００８−００３６４７（ＪＰ，Ａ）

【文献】 特開２００７−２４１３５７（ＪＰ，Ａ）

【文献】 国際公開第２００９／０３１２４２（ＷＯ，Ａ１）

【文献】 特開２００８−００３７３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／００ − ９／８２

(57)【特許請求の範囲】

【請求項1】

第１の画像を表わす第１の画像データと、該第１の画像データに追加記録がなされた第２の画像を表わす第２の画像データとを取得する画像取得部と、
前記第２の画像の中から、前記第１の画像に対し追加記録された画像である追加記録画像を抽出する追加記録画像抽出部と、
前記追加記録画像に対応する第１の画像の領域に文字認識処理を実行する文字認識領域を設定し、該文字認識領域の面積を変化させながら、該文字認識領域について文字認識処理を繰り返し実行する文字認識処理実行部とを備え、
前記文字認識処理実行部が、認識の確からしさの算出を含む文字認識処理を実行するものであって、前記追加記録画像に対応する領域に、予め定められた閾値を越える確からしさの文字が認識されなかった場合に、該追加記録画像に対応する領域に設定された前記文字認識領域の位置を、他の第２の画像の追加記録画像の位置を参照して決定した位置にずらして、文字認識処理を実行することを特徴とする文字認識装置。

【請求項2】

前記文字認識処理実行部は、前記追加記録画像に対応する領域に設定された前記文字認識領域の位置をずらすとともに、前記他の第２の画像の追加記録画像に対応する、予め定められた閾値を越える確からしさが得られたときの文字認識領域の面積に応じた面積の文字認識領域を設定して、該文字認識領域について文字認識処理を実行することを特徴とする請求項１に記載の文字認識装置。

【請求項3】

前記追加記録画像抽出部が、前記追加記録画像を構成する、相互に分離した複数の図形であっても、予め定められた閾値距離以内に互いに近づいた複数の図形については該複数の図形が同一の追加記録画像に属するものとみなすことを特徴とする請求項１または２に記載の文字認識装置。

【請求項4】

前記文字認識処理実行部は、前記第１の画像上に前記文字認識領域を設定し、該第１の画像上の文字を認識対象とするものであることを特徴とする請求項１から３のうちのいずれか１項に記載の文字認識装置。

【請求項5】

前記文字認識処理実行部は、前記第２の画像上若しくは前記第１の画像と該第２の画像との差分の画像上に前記文字認識領域を設定し、該第２の画像上若しくは該差分の画像上の文字を認識対象とするものであることを特徴とする請求項１から４のうちのいずれか１項に記載の文字認識装置。

【請求項6】

前記文字認識処理実行部は、前記第１の画像上の、前記追加記録画像に対応する領域が空白の領域であった場合に、前記第２の画像上若しくは前記第１の画像と該第２の画像との差分の画像上に前記文字認識領域を設定して該第２の画像上若しくは該差分の画像上の文字を認識対象とし、前記第１の画像上の前記追加記録画像に対応する領域が空白の領域ではなかった場合に、該第１の画像上に前記文字認識領域を設定して該第１の画像上の文字を認識対象とするものであることを特徴とする請求項１から５のうちのいずれか１項に記載の文字認識装置。

【請求項7】

プログラムを実行する情報処理装置内で実行されて、該情報処理装置を、
第１の画像を表わす第１の画像データと、該第１の画像データに追加記録がなされた第２の画像を表わす第２の画像データとを取得する画像取得部と、
前記第２の画像の中から、前記第１の画像に対し追加記録された画像である追加記録画像を抽出する追加記録画像抽出部と、
前記追加記録画像に対応する領域に文字認識処理を実行する文字認識領域を設定し、該文字認識領域の面積を変化させながら、該文字認識領域について文字認識処理を実行する文字認識処理実行部とを備え、
前記文字認識処理実行部が、認識の確からしさの算出を含む文字認識処理を実行するものであって、前記追加記録画像に対応する領域に、予め定められた閾値を越える確からしさの文字が認識されなかった場合に、該追加記録画像に対応する領域に設定された前記文字認識領域の位置を、他の第２の画像の追加記録画像の位置を参照して決定した位置にずらして、文字認識処理を実行する文字認識装置として動作させることを特徴とする文字認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理プログラムに関する。

【背景技術】

【0002】

官公庁等に提出する書類や様々なアンケート用紙への記入等、印字された用紙（帳票やアンケート用紙等）に手書きで記入して提出する機会が多い。記入された用紙を集める側は、それらの用紙に記入された手書き文字や、○印等のマークで選択された文字（数字を含む）を自動で読み取って集計したいという要求がある。

【0003】

その要求に対し、特許文献１には、マークシートのように塗りつぶして回答する種類の帳票について、回答が記入されたマークシートをスキャナ等で読み取って集計する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平２０１３―４５３０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上掲の特許文献１に開示された技術の場合、マークシートに記入されているマークの位置を検出することはできるが、その位置に記入されたマークが何を意味しているかは、別途の情報として事前設定しておく必要がある。

【0006】

「本発明は、記入あるいは選択された位置に対応する文字情報を、あらかじめ文字と文字の位置とを対応づけて設定する作業を必要とすることなく認識する画像処理装置および画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

請求項１は、
第１の画像を表わす第１の画像データと、該第１の画像データに追加記録がなされた第２の画像を表わす第２の画像データとを取得する画像取得部と、
前記第２の画像の中から、前記第１の画像に対し追加記録された画像である追加記録画像を抽出する追加記録画像抽出部と、
前記追加記録画像に対応する第１の画像の領域に文字認識処理を実行する文字認識領域を設定し、該文字認識領域の面積を変化させながら、該文字認識領域について文字認識処理を繰り返し実行する文字認識処理実行部とを備え、
前記文字認識処理実行部が、認識の確からしさの算出を含む文字認識処理を実行するものであって、前記追加記録画像に対応する領域に、予め定められた閾値を越える確からしさの文字が認識されなかった場合に、該追加記録画像に対応する領域に設定された前記文字認識領域の位置を、他の第２の画像の追加記録画像の位置を参照して決定した位置にずらして、文字認識処理を実行することを特徴とする文字認識装置である。
請求項２は、
前記文字認識処理実行部は、前記追加記録画像に対応する領域に設定された前記文字認識領域の位置をずらすとともに、前記他の第２の画像の追加記録画像に対応する、予め定められた閾値を越える確からしさが得られたときの文字認識領域の面積に応じた面積の文字認識領域を設定して、該文字認識領域について文字認識処理を実行することを特徴とする請求項１に記載の文字認識装置である。

【0008】

請求項３は、
前記追加記録画像抽出部が、前記追加記録画像を構成する、相互に分離した複数の図形であっても、予め定められた閾値距離以内に互いに近づいた複数の図形については該複数の図形が同一の追加記録画像に属するものとみなすことを特徴とする請求項１または２に記載の文字認識装置である。

【0013】

請求項４は、
前記文字認識処理実行部は、前記第１の画像上に前記文字認識領域を設定し、該第１の画像上の文字を認識対象とするものであることを特徴とする請求項１から３のうちのいずれか１項に記載の文字認識装置である。

【0014】

請求項５は、
前記文字認識処理実行部は、前記第２の画像上若しくは前記第１の画像と該第２の画像との差分の画像上に前記文字認識領域を設定し、該第２の画像上若しくは該差分の画像上の文字を認識対象とするものであることを特徴とする請求項１から４のうちのいずれか１項に記載の文字認識装置である。

【0015】

請求項６は、
前記文字認識処理実行部は、前記第１の画像上の、前記追加記録画像に対応する領域が
空白の領域であった場合に、前記第２の画像上若しくは前記第１の画像と該第２の画像との差分の画像上に前記文字認識領域を設定して該第２の画像上若しくは該差分の画像上の文字を認識対象とし、前記第１の画像上の前記追加記録画像に対応する領域が空白の領域ではなかった場合に、該第１の画像上に前記文字認識領域を設定して該第１の画像上の文字を認識対象とするものであることを特徴とする請求項１から５のうちのいずれか１項に記載の文字認識装置である。

【0016】

請求項７は、
プログラムを実行する情報処理装置内で実行されて、該情報処理装置を、
第１の画像を表わす第１の画像データと、該第１の画像データに追加記録がなされた第２の画像を表わす第２の画像データとを取得する画像取得部と、
前記第２の画像の中から、前記第１の画像に対し追加記録された画像である追加記録画像を抽出する追加記録画像抽出部と、
前記追加記録画像に対応する領域に文字認識処理を実行する文字認識領域を設定し、該文字認識領域の面積を変化させながら、該文字認識領域について文字認識処理を実行する文字認識処理実行部とを備え、
前記文字認識処理実行部が、認識の確からしさの算出を含む文字認識処理を実行するものであって、前記追加記録画像に対応する領域に、予め定められた閾値を越える確からしさの文字が認識されなかった場合に、該追加記録画像に対応する領域に設定された前記文字認識領域の位置を、他の第２の画像の追加記録画像の位置を参照して決定した位置にずらして、文字認識処理を実行する文字認識装置として動作させることを特徴とする文字認識プログラムである。

【発明の効果】

【0017】

請求項１の文字認識装置および請求項７の文字認識プログラムによれば、記入あるいは選択された位置に対応する文字情報を、あらかじめ文字と文字の位置とを対応づけて設定する作業を必要とすることなく認識することができる。
また、請求項１の文字認識装置および請求項７の文字認識プログラムによれば、他の第２の画像の追加記録画像の位置を参照しない場合と比べ、正しく認識される可能性が高まる。

【0022】

請求項２の文字認識装置によれば、ずらした位置での文字認識領域の面積を初期面積から再スタートして文字認識処理を繰り返す場合と比べ、文字認識終了までの時間が短縮される可能性が高まる。
請求項３の文字認識装置によれば、物理的に分離した図形ごとに追加記録画像とみなす場合と比べ、正しく認識される可能性が高まる。

【0023】

請求項４の文字認識装置によれば、認識対象の文字が第１の画像と第２の画像との双方に存在する場合に、第２の画像上に文字認識領域を設定する場合と比べ、正しく認識される可能性が高まる。

【0024】

請求項５の文字認識装置によれば、認識対象の文字が第１の画像には存在しない場合には、第２の画像上若しくは差分画像上に文字認識領域を設定することによって、文字認識を行なうことができる。

【0025】

請求項６の文字認識装置によれば、文字認識領域を設定する画像を、第１の画像、第２の画像、若しくは差分画像のいずれかに固定した場合と比べ、広範囲の認識が可能である。

【図面の簡単な説明】

【0026】

【図1】文字認識システムの外観図である。

【図2】ノートＰＣ内での文字認識プログラムの実行により実現する文字認識装置の機能ブロック図である。

【図3】本発明の一実施形態としての文字認識プログラムのフローチャートを示した図である。

【図4】未記入原稿と記入済原稿の一例を示した図である。

【図5】図３に１つのステップ（ステップＳ０８）で示した文字認識処理の第１例についての詳細フローを示した図である。

【図6】差分画像の一例を示した図である。

【図7】２つに分離した図形を１つの個別追加記録画像として認識するための処理を示した模式図である。

【図8】文字認識領域設定方法の説明図である。

【図9】文字認識領域の再設定方法を示した図である。

【図10】図３に１つのステップ（ステップＳ０８）で示した文字認識処理の第２例についての詳細フローを示した図である。

【図11】回答としての○印が認識対象の文字からずれた位置に記入された場合の、文字認識領域を示した模式図である。

【図12】図３に１つのステップとして示した再認識処理の第１例についての詳細フロ―を示した図である。

【図13】図３に１つのステップとして示した再認識処理の第２例についての詳細フロ―を示した図である。

【図14】対象の差分画像上の１つの個別追加記録画像と、それに対応する、対象以外の差分画像上の１つの個別追加記録画像を、未記入原稿上に重ねて示した図である。

【発明を実施するための形態】

【0027】

以下、本発明の実施の形態について説明する。

【0028】

図１は、文字認識システムの外観図である。

【0029】

ここに示す文字認識システム１０は、スキャナ２０とノート型パーソナルコンピュータ（以下、「ノートＰＣ」と略記する）３０とを備えている。スキャナ２０とノートＰＣ３０との間は、通信ケーブル４０で接続されている。

【0030】

スキャナ２０は、原稿に記録されている画像を読み取って画像データを生成する装置である。このスキャナ２０の原稿トレイ２１上に原稿を置き、スタートボタン（不図示）を押すと、あるいは、ノートＰＣから指示を与えると、原稿が１枚、スキャナ２０内に送り込まれる。スキャナ２０内には原稿上の画像を光電的に読み取るセンサ（不図示）が備えられていて、スキャナ２０内に送り込まれた原稿から、その原稿上に記録されている画像が光電的に読み取られて画像データが生成される。記録されている画像が読み取られた後の原稿は、排紙トレイ２２上に排出される。この原稿トレイ２１には複数枚の原稿を積み重ねて載置することができ、スキャナ２０は、原稿トレイ２１上の複数枚の原稿を１枚ずつ順次にスキャナ２０内に送り込み、その送り込まれた原稿上の画像を読み取り、排紙トレイ２２上に排出する。

【0031】

また、このスキャナ２０は、背面側に設けられた左右に延びるヒンジ（不図示）を回転中心として上蓋２３を持ち上げることができる。この上蓋２３を持ち上げてその下に原稿を１枚置き、上蓋２３を閉じて、その置かれた原稿を読み取ることもできる。

【0032】

このスキャナ２０での読み取りにより得られた画像データは、通信ケーブル４０を経由してノートＰＣ３０に入力される。

【0033】

ノートＰＣ３０は、表示画面３１やキーボード３２を備えており、また、その内部には、プログラムを実行するためのＣＰＵやメモリ等の設備を備えている。このノートＰＣ３０ではプログラムが実行されて、その実行されたプログラムに応じた処理が行われる。本実施形態に対応しては、このノートＰＣでは、以下に説明する文字認識プログラムが実行される。このノートＰＣ３０内で実行される文字認識プログラムは、本発明の文字認識プログラムの一例に相当する。そして、このノートＰＣ３０は、この文字認識プログラムの実行により、本発明の一実施形態としての文字認識装置として動作する。

【0034】

図２は、ノートＰＣ内での文字認識プログラムの実行により実現する文字認識装置の機能ブロック図である。

【0035】

本実施形態の文字認識装置５０は、画像取得部５１と、追加記録画像抽出部５２と、追加記録画像分離部５３と、文字認識処理実行部５４とを有する。具体的な実施形態の例示は後回しにして、ここでは、各部５１〜５４について概括的に説明する。なお、ここでは、データ上の画像を取り扱っており、したがって、ここでは、特に区別する必要がある場合を除き、データ上の画像であっても、データ上の画像であることを特に明記することなく、単に「画像」あるいは「原稿」と称することがある。

【0036】

画像取得部５１は、アンケートの設問としての文字が記録されていてその設問に対する回答が未記入の未記入原稿の画像と、その未記入原稿に回答が追加記録された記入済原稿の画像とを取得する。未記入原稿は１枚であるが、記入済原稿は通常は複数枚存在し、画像取得部５１は、それら全ての画像を取得する。これら未記入原稿および記入済原稿は、本発明にいう、それぞれ第１の画像および第２の画像の各一例に相当する。

【0037】

また、追加記録画像抽出部５２は、記録済原稿と未記入原稿との差分の画像を算出することにより、記録済原稿の中から、未記入原稿に対し追加記録された回答の画像である追加記録画像を抽出する。

【0038】

また、追加記録画像分離部５３は、抽出された追加記録画像を、個別の記録ごとの追加記録画像（ここでは、個別の記録ごとの追加記録画像を「個別追加記録画像」と称する）に分離する。ここで、本実施形態における追加記録画像分離部５３は、追加記録画像を各個別追加記録画像に分離するにあたり、追加記録画像を構成する、相互に分離した複数の図形であっても、予め定められた閾値距離以内に互いに近づいた複数の図形についてはそれら複数の図形が同一の個別追加記録画像に属するものとみなして、追加記録画像を各個別追加記録画像に分離する。

【0039】

さらに、文字認識処理実行部５４は、各個別追加記録画像に対応する各領域に文字認識処理を実行する文字認識領域を設定し、その文字認識領域の面積を変化させながら、その文字認識領域について文字認識処理を繰り返し実行する。ここで、本実施形態における文字認識処理実行部５４は、未記入原稿上の、個別追加記録画像に対応する領域が空白の領域であった場合には、記入済原稿上若しくは未記入原稿と記入済原稿との差分の画像上に文字認識領域を設定して記入済原稿上若しくは差分画像上の文字を認識対象とし、未記入原稿上の個別追加記録画像に対応する領域が空白の領域ではなかった場合には、未記入原稿上に文字認識領域を設定して未記入原稿上の文字を認識対象とする。

【0040】

また、この文字認識処理実行部５４は、認識の確からしさの算出を含む文字認識処理を実行するものであって、前記文字認識領域の面積を変化させながら、予め定められた認識処理停止条件を満足するまで、文字認識処理の実行を繰り返す。この認識処理停止条件としては、確からしさが予め定められた閾値を越えること、確からしさが極大値に達すること、若しくは、文字認識処理の実行を予め定められた回数繰り返すこと、などが採用される。

【0041】

ここで、本実施形態では、個別追加記録画像に対応する未記入原稿上の領域が空白の領域ではなかった場合には、未記入原稿上に文字認識領域が設定されて未記入原稿上の文字が認識対象となるが、本実施形態における文字認識処理実行部５４は、未記入原稿上に設定された文字認識領域に予め定められた閾値を越える確からしさの文字が認識されなかった場合に、その文字認識領域の位置をずらして、文字認識処理を実行する。この文字認識領域の位置をずらすにあたっては、文字認識処理実行部５４は、現在処理の対象としている記入済原稿とは異なる他の記入済原稿に記録されている個別追加記録画像の位置を参照して、文字認識領域をずらす位置を決定する。また、この文字認識処理実行部５４は、個別追加記録画像に対応する未記入原稿上の領域に設定された文字認識領域の位置をずらすとともに、上記の他の記入済原稿上の個別追加記録画像に対応する、閾値以上の確からしさが得られたときの文字認識領域の面積に応じた面積の文字認識領域を設定して、その面積の文字認識領域について文字認識処理を実行する。具体例は後述する。

【0042】

図３は、本発明の一実施形態としての文字認識プログラムのフローチャートを示した図である。

【0043】

図１に示すスキャナ２０で原稿上の画像が読み取られて画像データが生成され、その生成された画像データが通信ケーブル４０を経由してノートＰＣ３０に入力される。すると、この図３に示す文字認識プログラムが起動し、通信ケーブル４０を経由してノートＰＣ３０に入力されてきた画像データが取得される（ステップＳ０１）。なお、前述の通り、ここでは、特に必要がある場合を除き、データ上の画像であっても「データ」を省略し、「画像」あるいは「原稿」と称している。

【0044】

ステップＳ０１にて画像を取得すると、今回取得した画像が１枚目の画像であるか２枚目以降の画像であるかが判定される（ステップＳ０２）。

【0045】

本実施形態では、スキャナ２０に、１枚目は未記入原稿を読み取らせ、その後、２枚目以降に記入済原稿を順次読み取らせるというルールを置いている。そこで、この文字認識プログラムは、取得した画像が１枚目の画像のときは、その画像を未記入原稿として一時保存する（ステップＳ０３）。２枚目以降についても画像取得を繰り返し（ステップＳ０５）、２枚目以降に取得した画像は全て記入済原稿として一時保存する（ステップＳ０４）。

【0046】

図４は、未記入原稿と記入済原稿の一例を示した図である。
図４（Ａ）は、記入前のアンケート用紙、すなわち未記入原稿５１を表している。ここでは、アンケート内容として（１）〜（３）の３つの設問があり、それら３つの設問のうち、（１）と（２）の設問に対する回答は、１〜５の数字のうちのいずれか１つの数字を○印で囲うことによりその数字を選択する方式のものである。（３）の設問は、その回答を、空白の回答欄５１１に自由に記入してもらう形式の設問である。

【0047】

また、図４（Ｂ）は、図４（Ａ）に示したアンケート用紙と同一様式のアンケート用紙上に回答者が回答を記入した記入済原稿５２を表している。記入済原稿は１枚とは限らず、スキャナ２０で順次読み込まれた複数枚の原稿のうちの２枚目以降の原稿の１枚１枚それぞれが記入済原稿として取り扱われる。

【0048】

この図４（Ｂ）に示されている１枚の記入済原稿では、（１）の設問に関しては、数字の「３」が○印５２１で囲まれている。また、（２）の設問に関しては、数字の「１」が○印５２２で囲まれている。さらに、（３）の設問に関しては、空白だった回答欄に回答者が記入した文字列５２３が並んでいる。

【0049】

図３に戻って説明を続ける。

【0050】

一連の画像取得を終了すると（ステップＳ０５）、次に、ステップＳ０４で一時保存しておいた記入済原稿のうちの１枚を取り出す（ステップＳ０６）。ただし、ステップＳ０８における文字認識処理が済んでいる記入済原稿は取出しの対象からは外している。そして、未処理の記入済原稿が有ったときは、すなわち、未処理の記入済原稿を取り出せたときは（ステップＳ０７）、その取り出した１枚の未処理の記入済原稿について、文字認識処理を実行する（ステップＳ０８）。文字認識処理の詳細については、後述する。

【0051】

未処理の記入済原稿を取り出せなかったとき、すなわち、全ての記入済原稿について文字認識処理（ステップＳ０８）が終了したときは（ステップＳ０７）、次に、一定条件下にある文字１つずつについて（ステップＳ０９）、再認識処理を実行する（ステップＳ１０）。ステップＳ０９の条件および再認識処理（ステップＳ１０）については後述する。ステップＳ０９の条件を満たす文字が存在しないとき、あるいは、再認識処理（ステップＳ１０）によってステップＳ０９の条件を満たす文字が存在しなくなったときは、今回の文字認識ルーチンを終了する。

【0052】

図５は、図３に１つのステップ（ステップＳ０８）で示した文字認識処理の第１例についての詳細フローを示した図である。

【0053】

ここでは先ず、図３のステップＳ０６で取り出した１枚の記入済原稿とステップＳ０３で一時保存しておいた未記入原稿との間の差分の画像を生成する（ステップＳ２１）。

【0054】

図６は、差分画像の一例を示した図である。

【0055】

この図６に示す差分画像５３は、図４（Ａ）に示す未記入原稿５１と、図４（Ｂ）に示す記入済原稿５２のうちの一番上の１枚の記入済原稿との間の差分画像である。この差分画像５３には、回答者によって記入された、２つの○印５２１，５２２と文字列５２３とからなる「追加記録画像」が抽出される。この差分画像上に現れた追加記録画像は、本発明にいう追加記録画像の一例に相当する。

【0056】

図５に戻って説明を続ける。

【0057】

図６に例示するような差分画像を生成すると（ステップＳ２１）、次に、その差分画像上に現れた追加記録画像を、個別の記録ごとの画像である「個別追加記録画像」に分離する（ステップＳ２２）。ここで、「個別追加記録画像」とは、回答者が１つの文字あるいは１つの図形として認識する程度にまとまった画像の各々をいう。具体的には、図６に示す例では、２つの○印５２１，５２２の各々と、文字列５２３を構成するひと文字ひと文字が、各個別追加記録画像である。したがって、記入時の掠れ等により複数に分離した図形や複数の部位に分離した文字であっても、複数に分離した図形あるいは複数の部位に分離した文字を１つの個別追加記録画像として認識すべき場面も存在する。

【0058】

図７は、２つに分離した図形を１つの個別追加記録画像として認識するための処理を示した模式図である。

【0059】

図７（Ａ）は、差分画像上に現れた、回答者によって描かれた○印の１つである。この図７（Ａ）に示された○印は、途中が掠れて２つに分離した図形となっている。

【0060】

ここでは、図７（Ａ）に示す○印を構成する各画素の周りを、予め定められた範囲に亘ってその○印を構成する画素として埋めていくことで、図７（Ｂ）に示すように、○印を構成している線を太らせる。

【0061】

図７（Ｃ）は、画素を升目で表現した模式図である。１つの升目が１つの画素を表わしている。中央の画素Ｐは、図７（Ａ）の○印を構成する線上の多数の画素を代表させて１つだけ示した画素である。

【0062】

線を太らせるにあたっては、具体的には、この図７（Ｃ）に示すように、○印を構成している１つの画素Ｐが存在したときに、その画素Ｐの周りの予め定められた範囲内（ここに示す例では、５画素×５画素の範囲内）にある画素を、○印を構成する画素として塗り潰す。ここでは、代表的に１つの画素Ｐについて示したが、○印を構成している全ての画素について同様の処理を行なって、図７（Ｂ）に示すような、太線の丸印を生成する。このようにして線を太らせた結果、繋がった図形を、１つの個別追加記録画像として認識する。本実施形態では、このような処理により、差分画像上に現れた追加記録画像が各個別追加記録画像に分離される。図６に示す差分画像５３の例では、上記の処理により、２つの○印５２１，５２２の１つずつと、文字列５２３を構成している文字１つずつに分離され、それらの１つずつが、各個別追加記録画像として認識される。

【0063】

なお、本実施形態では、線を太らせて互いに繋がる図形を個別追加記録画像とする処理を採用しているが、この処理は、互いに離れた図形が互いに予め定められた距離以内に近接しているか否かを判定する処理の１つである。すなわち、ここでは、互いに離れた図形が互いに予め定められた距離以内に近接している場合に、１つの個別追加記録画像として認識される。

【0064】

再び図５に戻って説明を続ける。

【0065】

差分画像上に現れた追加記録画像を、上記のようにして個々の個別追加記録画像に分離した後（ステップＳ２２）、差分画像を左上から右下に向かって検査していき（ステップＳ２３）、個別追加記録画像を見つけたら、その見つけた１つの個別追加記録画像を取り出す（ステップＳ２４）。そして、今回対象としている差分画像上に未処理の個別追加記録画像が無くなるまで（ステップＳ２５）、以下の処理を繰り返す。

【0066】

ここでは先ず、未記入原稿上の、今回取り出した１つの個別追加記録画像に対応する領域が、空白か否かを判定する（ステップＳ２６）。ここで説明している第１例の場合、空白か否かの判定方法として、２値化処理を行ない、白側に傾いたことをもって空白としている。空白か否かの判定方法の他の例については、後述する。
今回取り出した１つの個別追加記録画像に対応する未記入原稿上の領域が空白ではなかったときは（ステップＳ２６）、次に、その領域に追加記録されている画像が閾値以上の寸法の画像か否かが判定される（ステップＳ２７）。そして、その領域に閾値以上の寸法の画像が記録されていたときは、未記入原稿上に文字認識領域を設定する（ステップＳ２８）。一方、その個別追加記録画像に対応する未記入原稿上の領域が空白だったときは（ステップＳ２６）、本実施形態では、差分画像上に文字認識領域を設定する（ステップＳ２９）。また、その個別追加記録画像に対応する未記入原稿上の画像が空白ではないものの閾値に満たない寸法の画像、すなわちノイズ画像であったときも（ステップＳ２７）、差分画像上に文字認識領域を設定する（ステップＳ２９）。なお、その個別追加記録画像に対応する未記入原稿上の領域が空白あるいは閾値に満たない寸法の画像だったときは、差分画像上ではなく、今回処理を行なっている記入済原稿上に文字認識領域を設定してもよい。

【0067】

図８は、文字認識領域設定方法の説明図である。ここでは、未記入原稿と差分画像が互いに重ねられているものとし、未記入原稿上の文字認識領域と差分画像上の文字認識領域とを区別せずに説明する。

【0068】

図８（Ａ）は、１つの個別追加記録画像（一例として○印）を示している。ここでは、図８（Ｂ）に示すような、この個別追加記録画像が内接する長方形を考えて、その長方形の中心部に予め定められた最小面積の文字認識領域Ｄを設定する。ただし、長方形を考えることなく、この個別追加記録画像の重心点に文字認識領域を設定するなど、個別追加記録画像のほぼ中央を見つける他の手法を採用してもよい。

【0069】

このようにして文字認識領域を設定して（ステップＳ２８，Ｓ２９）、その文字認識領域内について文字認識処理を実行する（ステップＳ３０）。文字認識処理自体は既存の技術であり、ここでの説明は省略する。この文字認識処理では、認識した文字についての「確からしさ」についても算出される。

【0070】

そして、この文字認識処理（ステップＳ３０）は、停止条件を満足するまで（ステップＳ３１）、文字認識領域を再設定しながら（ステップＳ３２）、繰り返される。

【0071】

図９は、文字認識領域の再設定方法を示した図である。

【0072】

最初は、図８（Ｃ）に示すように、面積最小の文字認識領域Ｄが設定され（図５、ステップＳ３０）、その文字認識領域の面積を、図９に示すＤ１→Ｄ２→Ｄ３→・・・のように徐々に拡大しながら（ステップＳ３２）、停止条件を満足するまで（ステップＳ３１）、文字認識処理を実行する（ステップＳ３０）。

【0073】

ここで、ステップＳ３１の停止条件としては、
（ａ）文字認識の確からしさが予め定められた閾値を越えたこと
（ｂ）文字認識の確からしさが極大値に達したこと
（ｃ）文字認識領域の面積を徐々に拡大しながらの文字認識処理を、予め定められた回数繰り返したこと
などが採用される。ここで、停止条件として上記の（ａ）または（ｂ）を採用したときも、文字認識処理が無限に続かないように、上記の（ｃ）を併用することが望ましい。

【0074】

なお、ここでは、文字認識領域の面積を徐々に拡大しながら文字認識処理を繰り返す旨、説明したが、初期の文字認識領域として、例えば、図８（Ｂ）に示す長方形の枠に近似した大面積の文字認識領域を設定し、その文字認識領域の面積を徐々に縮小しながら、文字認識処理を繰り返してもよい。

【0075】

文字認識の停止条件を満足すると（ステップＳ３１）、今回認識されたひと文字が、その「確からしさ」とともに保存される（ステップＳ３３）。

【0076】

以上の処理が１枚の差分画像上の個別追加記録画像の１つ１つについて実行され（ステップＳ２３，Ｓ２４）、その１枚の差分画像上の全ての個別追加記録画像についての処理が終了すると（ステップＳ２５）、その１枚の差分画像についての、図５に示す処理、すなわち、図３にステップＳ０８として示す文字認識処理が終了し、未処理の次の記入済原稿に関する文字認識処理に移行する（ステップＳ０６）。そして、全ての記入済原稿に関する文字認識処理が終了すると（ステップＳ０７）、次に再認識処理（ステップＳ１０）に移る。
ここでは、再認識処理（ステップＳ１０）の説明に移る前に、ステップＳ０８における文字認識処理の第２例について説明する。
図１０は、図３に１つのステップ（ステップＳ０８）で示した第２例としての文字認識処理の第２例についての詳細フローを示した図である。この図１０に示した第２例としての文字認識処理は、図５に示した第１例としての文字認識処理に代えて採用することのできる文字認識処理である。
この図１０に示した文字認識処理のステップＳ２１〜Ｓ２５は、図５に示した文字認識処理の同じステップＳ２１〜Ｓ２５とそれぞれ同一の処理であり、ここでの重複説明は省略する。
ステップＳ２５において個別追加記録画像有り、と判定されると、図５に示した第１例の場合、２値化処理により、空白か否かが判定され（図５、ステップＳ２６）、空白でなかったときは、そこに記録されている画像が閾値以上の寸法の画像か否かが判定される（ステップＳ２７）。これに対し、この図１０に示した第２例の場合、それらステップＳ２７，Ｓ２８は存在せず、いきなり、未記入原稿上に文字認識領域を設定し（ステップＳ２１１）、その文字認識領域について文字認識処理を実行する（ステップＳ２１２）。そして、その文字認識処理（ステップＳ２１２）を、停止条件を満足するまで（ステップＳ２１３）、文字認識領域を図９に示すＤ１→Ｄ２→Ｄ３→・・・のように再設定しながら（ステップＳ２１４）、繰り返す。これらステップＳ２１２〜Ｓ２１４は、未記入原稿のみを処理対象としている点を除き、図５のステップＳ３０〜Ｓ３２とそれぞれ同一の処理である。
そして、停止条件を満足すると（ステップＳ２１３）、その未記入原稿上に設定（再設定）された文字認識領域から文字が認識されたか否かが判定される（ステップＳ２１５）。文字が認識されたか否かのここでの判定は、単なるノイズと区別するための判定であり、閾値としての確からしさは、かなり低いレベル（例えば、確からしさ２０％）に設定されている。そして、文字が認識されたと判定されると（ステップＳ２１５）、その認識された情報が保存される（ステップＳ２１６）。
一方、ステップＳ２１５において、文字が認識されない、あるいは確からしさが閾値以下と判定されると、今度は差分画像上に文字認識領域が設定されて（ステップＳ２１７）、文字認識処理が実行される（ステップＳ２１８）。ステップＳ２１７〜Ｓ２２１の処理は、差分原稿のみを処理対象としている点を除き、図５のステップＳ３０〜Ｓ３３とそれぞれ同一の処理である。
図５に示した第１例の場合、未記入原稿上の対象の領域が空白か否かを直接に判定しているが（図５、スッテップＳ２６）、それに代えて、この図１０示した処理のように、未記入原稿上に文字が存在することを仮定して、未記入原稿上から文字を認識しようとし、文字が認識できない場合を空白とし、あるいは低い確からしさでしか認識できない場合をノイズとして、差分画像上からの文字認識処理に移ってもよい。
次に、再認識処理（図３、ステップＳ１０）について説明する。

【0077】

図１１は、回答としての○印が認識対象の文字からずれた位置に記入された場合の、文字認識領域を示した模式図である。

【0078】

回答としての○印が認識対象の文字からずれた位置に記入されると、この図１１に示すように文字認識領域の中心点が認識対象の文字（ここでは数字の「３」）からずれた位置に設定され、その数字「３」の下に記録されている罫線を文字として誤認識し、確からしさが閾値未満のまま、その文字についての文字認識処理が終了することが有り得る。

【0079】

図３のステップＳ１０の再認識処理は、このような場面での認識率の低さを救うための処理である。

【0080】

この再認識処理は、ステップＳ０９の再認識処理条件に適合する文字ひと文字ひと文字について実行される。このステップＳ０９の再認識処理条件は、以下の（ｄ）〜（ｆ）の全てを満足することである。

【0081】

（ｄ）この再認識処理は、未記入原稿上の文字を認識する場合を対象としている。差分画像あるいは記入済原稿上の文字については、以下の再認識処理の対象としても確からしさの向上には大きく資することは期待できないため、ここでは、差分画像あるいは記入済原稿上の文字については、再認識処理の対象とはしない。

【0082】

（ｅ）また、この再認識処理は、文字認識処理（ステップＳ０８）において、確からしさが予め定められた閾値（例えば、確からしさ８０％）未満の確からしさしか得られなかった文字を対象としている。

【0083】

（ｆ）さらに、この再認識処理は、未記入原稿上の文字認識における確からしさ８０％未満の文字のうちの、再認識処理を未だ実行していない文字を対象としている。

【0084】

ここでは、以上の（ｄ）〜（ｆ）の再認識処理条件を満たす文字が存在する場合に（ステップＳ０９）、その再認識処理条件を満たす文字１つ１つについて、再認識処理（ステップＳ１０）が実行される。

【0085】

図１２は、図３に１つのステップとして示した再認識処理の第１例についての詳細フロ―を示した図である。
ここでは、文字認識処理の中心点（図１１に示す面積最小の文字認識領域Ｄ）を予め定められた領域内（例えば上下左右４ピクセルずつの領域内）で移動させながら、図９を参照して説明した文字認識処理が繰り返される。具体的には、図１２に示したフローの通りである。
ここでは先ず、予め定められた領域内（例えば上下左右４ピクセルずつの領域内）における、ある１つのずれた位置に面積最小の文字認識領域を設定し（ステップＳ４１）、その文字認識領域について文字認識処理を実行する（ステップＳ４２）。そして、この文字認識処理を、停止条件を満足するまで（ステップＳ４３）、文字認識領域を再設定しながら（すなわち、図９に示すＤ１→Ｄ２→Ｄ３→・・・のように文字認識領域を徐々に広げながら）（ステップＳ４４）、繰り返す。
停止条件を満足すると（ステップＳ４３）、予め定められた領域内（例えば上下左右４ピクセルずつの領域内）の全てについて中心点（面積最小の文字認識領域Ｄ）をずらして文字認識処理を行なったか否かが判定され（ステップＳ４５）、中心点をずらすべき位置がその領域内に未だ残っているときは、ステップＳ４１に戻って、その残っている、中心点をずらすべき位置のうちの１つに中心点をずらして、ステップＳ４２〜Ｓ４４の処理を実行する。一方、ステップＳ４５において、中心点をずらすべき領域内の全ての位置に中心点をずらし終えたことが判定されると、今度は、今回の一連の文字認識処理の結果、確からしさがアップしたか否かが判定され（ステップＳ４６）、確からしさがアップしたときは、それまで保存しておいた同じ対象の認識結果が、今回の再認識結果に置き換えられる（ステップＳ４７）。
以上の再認識処理が、上記の（ｄ）〜（ｆ）の条件を満たす各文字について実行されて（図３、ステップＳ０９，Ｓ１０）、この文字認識処理ルーチンの実行を終了する。
次に、再認識処理の第２例について説明する。
図１３は、図３に１つのステップとして示した再認識処理の第２例についての詳細フローを示した図である。この第２例の再認識処理は、図１２を参照して説明した第１例としての再認識処理に代えて採用することのできる処理である。

【0086】

この第２例の再認識処理では、先ず、認識対象の文字を認識するための文字認識領域をずらす位置およびその文字認識領域の面積を決定する（ステップＳ４１１）。このために、この文字の認識の際に用いられた差分画像（ここでは、この差分画像を、「対象の差分画像」と称する）とは別の差分画像（ここでは、この差分画像を、「対象以外の差分画像」と称する）を参照し、対象の差分画像と対象以外の差分画像とを重ねたときに、この文字の認識の基になった個別追加記録画像の中心点（図８（Ｃ）参照）と比べ、中心点同士が予め定められた距離以内にあって、対象以外の差分画像に関して確からしさ８０％以上の文字認識結果が得られたときの文字認識領域設定の基になった個別追加記録画像を探し出す。

【0087】

図１４は、対象の差分画像上の１つの個別追加記録画像と、それに対応する、対象以外の差分画像上の１つの個別追加記録画像を、未記入原稿上に重ねて示した図である。

【0088】

対象の差分画像上の個別追加記録画像５５１は、認識対象の文字（ここでは数字の「３」）から少しずれた位置にある。そして、この個別追加記録画像５５１を基にして設定した文字認識領域からは、確からしさ８０％未満の認識結果しか得られなかったものとする。

【0089】

一方、対象以外の差分画像上の個別追加記録画像５５２は、認識対象の文字（ここでは数字の「３」）をきれいに取り巻くように描かれている。そして、この個別追加記録画像５５２を基にして設定した文字認識領域からは確からしさが８０％を越える認識結果が得られたものとする。

【0090】

この場合、確からしさ８０％未満の認識結果しか得られなかった文字について再認識処理を実行するにあたっては、その再認識処理を実行するための文字認識領域を、確からしさが８０％を越える認識結果が得られた、対象以外の差分画像上の個別追加記録画像５５２を基にして設定した文字認識領域と同じ位置にずらす。また、文字認識領域の面積に関しては、対象以外の差分画像上の個別追加記録画像５５２を基にして設定した文字認識領域であって、確からしさ８０％を越えたときの面積が設定される。例えば、図９に示す面積Ｄｘの文字認識領域が、対象以外の差分画像に関して確からしさ８０％を越えた確からしさが得られたときの文字認識領域であったときは、確からしさ８０％未満の認識結果しか得られなかった文字についての再認識処理にあたっては、その面積Ｄｘの文字認識領域が採用される。

【0091】

図１３のステップＳ４１１では、以上のようにして、文字認識領域のずらす位置および文字認識領域の面積を決定し、その決定した文字認識領域について文字認識処理を実行する（ステップＳ４１２）。

【0092】

そして、その文字認識処理（ステップＳ４１２）の結果、確からしさがアップしたか否かが判定され（ステップＳ４１３）、確からしさがアップしたときは、それまで保存しておいた同じ対象の認識結果が、今回の再認識結果に置き換えられる（ステップＳ４１４）。

【0093】

以上の再認識処理が上記の（ｄ）〜（ｆ）の条件を満たす各文字について実行されて（図３、ステップＳ０９，Ｓ１０）、この文字認識処理ルーチンの実行を終了する。

【0094】

以上に説明したように、本実施形態によれば、マークシートのマークの各位置ごとに、その位置のマークが何を意味しているか、という情報を予めインプットしておくといったような事前設定なしに、回答者の回答を認識することができる。

【0095】

ここで、本実施形態の場合、スキャナ２０で複数枚の原稿を連続的に読み取り、それら複数枚の原稿のうちの１枚目の原稿を未記入原稿とし、２枚目以降の原稿を記入済原稿とするというルールが定められている。この場合、未記入原稿の画像データを容易かつ確実に取得することができる。しかしながら、本発明においては、未記入原稿を１枚目などの特定の位置に配置するというルールは必ずしも必要ではない。未記入原稿を、例えば複数枚積み重ねた記入済原稿の途中位置に挟みこんでおいてもよい。その場合、画像取得部の中に未記入原稿を複数枚の原稿から見つけ出す処理を実施すればよい。未記入原稿を見つけ出す処理の一例としては、１枚目の原稿と２枚目以降の原稿との差分を抽出する処理を順次行い、１枚目の原稿にのみ差分が出た原稿を未記入原稿とすればよい。また、未記入原稿であるか記入済原稿であるかを問わずに読取により得られたテータ上の複数枚の原稿の共通部分を抽出した画像を作成し、その作成した画像と読み込んだ各原稿とのパターンマッチングを行い、一致度が最も高かった原稿を未記入原稿としてもよい。

【0096】

あるいは、記入済原稿の読み込みが複数回に分かれていても、同種の原稿についての未記入原稿の読み込みは１回のみとし、一旦読み込んだ未記入原稿を記憶しておいて、今回読み込んだ記入済原稿とのパターンマッチングや特徴点抽出、あるいは直線で囲まれた領域の一致度を使ったフォーム認識により、今回読み込んだ記入済原稿に対応する未記入原稿を特定してもよい。

【0097】

さらには、本発明では、未記入原稿を読み込むことすら必ずしも必要ではない。例えば、複数枚の記入済原稿から、それら複数枚の記入済原稿の共通部分を抽出することにより、データ上で未記入原稿を作成してもよい。この場合、共通部分を抽出することにより作成されたデータ上での未記入原稿が第１の画像を表す第１の画像データに対応する。

【0098】

また、ここでは、図１に示すように、通信ケーブル４０でスキャナ２０と接続されたノートＰＣ３０からなる文字認識装置について説明したが、本発明における文字認識装置は必ずしもこの形態である必要はない。例えば、スキャナとプリンタとが合体した形態のコピー機ないしはさらに機能が増えた複合機に、本発明の文字認識装置の機能を組み込んでもよい。さらには、カメラ機能を備えた携帯型端末に本発明の文字認識装置の機能を組み込んでもよい。その場合、カメラ機能で原稿を撮影することにより得られた画像が文字認識の対象となる。

【符号の説明】

【0099】

１０ 文字認識システム
１１ 画像取得部
１２ 追加記録画像抽出部
１３ 追加記録画像分離部
１４ 文字認識処理実行部
２０ スキャナ
２１ 原稿トレイ
２２ 排紙トレイ
２３ 上蓋
３０ ノート型パーソナルコンピュータ（ノートＰＣ）
３１ 表示画面
３２ キーボード
５１ 未記入原稿
５２ 記入済原稿
５３ 差分画像
５１１ 回答欄
５２１，５２２ ○印
５２３ 文字列
５５１，５５２ 個別追加記録画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】