特開 2024-139561 文字認識装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024139561

(43)【公開日】2024-10-09

(54)【発明の名称】文字認識装置、方法、およびプログラム

(51)【国際特許分類】

   G06V 30/12 20220101AFI20241002BHJP

   G06V 30/196 20220101ALI20241002BHJP

【ＦＩ】

G06V30/12 Z

G06V30/196 G

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023050559

(22)【出願日】2023-03-27

(71)【出願人】

【識別番号】000233295

【氏名又は名称】株式会社日立情報通信エンジニアリング

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】堤 庸昂

(72)【発明者】

【氏名】橋本 博幸

【テーマコード（参考）】

5B064

【Ｆターム（参考）】

5B064AA01

5B064AB03

5B064AB16

5B064BA01

5B064EA07

5B064EA10

5B064EA26

5B064FA10

(57)【要約】

【課題】文字認識技術に関して、棄却を含む文字認識の精度や効率等を向上できる技術を提供する。
【解決手段】文字認識装置は、画像からの文字認識の結果の文字である認識文字について、妥当性の判断に基づいて、当該認識文字を「不読」状態として棄却する棄却機能を有し、認識文字について、文字認識の際に着目した度合いを表す画像情報であるヒートマップを計算し、認識文字のヒートマップを、予め登録されている、文字ごとのヒートマップパターンを有するヒートマップパターンテーブルと比較して、該当するかどうかを判定し、ヒートマップパターンテーブルにおいて、該当しない場合に、認識文字を「不読」状態として棄却する。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像から文字を認識する文字認識装置であって、
前記画像からの文字認識の結果の文字である認識文字について、妥当性の判断に基づいて、当該認識文字を「不読」状態として棄却する棄却機能を有し、
前記認識文字について、前記文字認識の際に着目した度合いを表す画像情報であるヒートマップを計算し、
前記認識文字の前記ヒートマップを、予め登録されている、文字ごとのヒートマップパターンを有するヒートマップパターンテーブルと比較して、該当するかどうかを判定し、
前記ヒートマップパターンテーブルにおいて、該当しない場合に、前記認識文字を「不読」状態として棄却する、
文字認識装置。

【請求項2】

請求項１記載の文字認識装置において、
前記認識文字を、予め登録されている、文字ごとの字形の情報を有する類似字形分類テーブルと比較して、該当するかどうかを判定し、
前記認識文字として複数の認識文字が並んだ文字列の位置関係情報に基づいて、前後の認識文字が、前記類似字形分類テーブルにおいて、前記字形に該当する場合に、前記前後の認識文字を「不読」状態として棄却する、
文字認識装置。

【請求項3】

請求項１記載の文字認識装置において、
前記ヒートマップと比較して判定する処理は、前記認識文字の前記ヒートマップと、前記ヒートマップパターンテーブルのヒートマップパターンとの重なり度合いを計算し、前記重なり度合いが閾値よりも小さい場合には、前記該当しないと判定する処理、を含む、
文字認識装置。

【請求項4】

請求項２記載の文字認識装置において、
前記類似字形分類と比較して判定する処理は、前記前後の認識文字を、ｎ番目の認識文字、ｎ＋１番目の認識文字とした場合に、前記類似字形分類テーブルの前記字形における前側の一部に前記ｎ番目の認識文字が含まれ、かつ、後側の一部に前記ｎ＋１番目の認識文字が含まれるという前記字形に該当するかを判断する処理、を含む、
文字認識装置。

【請求項5】

画像から文字を認識する文字認識装置によって実行される文字認識方法であって、
前記文字認識装置は、前記画像からの文字認識の結果の文字である認識文字について、妥当性の判断に基づいて、当該認識文字を「不読」状態として棄却する棄却機能を有し、
前記文字認識装置が実行するステップとして、
前記認識文字について、前記文字認識の際に着目した度合いを表す画像情報であるヒートマップを計算するステップと、
前記認識文字の前記ヒートマップを、予め登録されている、文字ごとのヒートマップパターンを有するヒートマップパターンテーブルと比較して、該当するかどうかを判定するステップと、
前記ヒートマップパターンテーブルにおいて、該当しない場合に、前記認識文字を「不読」状態として棄却するステップと、
を有する、文字認識方法。

【請求項6】

画像から文字を認識する文字認識装置に処理を実行させる文字認識プログラムであって、
前記文字認識装置は、前記画像からの文字認識の結果の文字である認識文字について、妥当性の判断に基づいて、当該認識文字を「不読」状態として棄却する棄却機能を有し、
前記文字認識装置に実行させる処理として、
前記認識文字について、前記文字認識の際に着目した度合いを表す画像情報であるヒートマップを計算するヒートマップ計算処理と、
前記認識文字の前記ヒートマップを、予め登録されている、文字ごとのヒートマップパターンを有するヒートマップパターンテーブルと比較して、該当するかどうかを判定するヒートマップ比較判定処理と、
前記ヒートマップパターンテーブルにおいて、該当しない場合に、前記認識文字を「不読」状態として棄却する処理と、
を有する、文字認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、文字認識技術に関する。

【背景技術】

【0002】

従来、光学文字認識／光学文字読み取り（ＯＣＲと記載する場合がある）等の文字認識技術がある。ＯＣＲは、帳票等の用紙をスキャナ等で採取した画像から文字や図形等の情報を読み取る。読み取り結果（認識結果や識別結果などと記載する場合もある）の文字には、判別困難な曖昧な文字、非文字、形が崩れた文字、かすれ、つぶれ等が混入する場合がある。

【0003】

一般に、ＯＣＲでは、文字認識の精度などの基本性能に関して、正しい文字を正しく文字認識することの他に、文字認識結果が正しいかどうか疑わしい場合にその文字認識結果が正しいかどうか疑わしいということを結果出力すること、が必要である。

【0004】

ＯＣＲ技術では、まず文字認識した後に、文字認識結果について、棄却の判断の処理を行う場合がある。棄却の処理では、文字認識結果が正しいかどうか疑わしいと判定した場合に、その文字認識結果が正しいかどうか疑わしいということ、言い換えると、その文字を正しく読み取りできないということを、「不読」（unreadable）という結果として出力する。「不読」状態となった文字については、例えばユーザが目視確認して対処する。

【0005】

先行技術例として、特開２０２１－９６３７８号公報（特許文献１）が挙げられる。特許文献１には、系列単位での認識処理において、系列内の部分のみをリジェクトすることができる情報処理装置等を提供する旨が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２１－９６３７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１では、文字クラスに加えてリジェクトクラスを設定し、尤度に応じた結果を出力する機能に関する記載がある。

【0008】

従来のＯＣＲ技術では、コンピュータは、文字認識のステップで、統計手法あるいは構造解析手法を用いて、文字画像ごとに文字認識を行う。次に、コンピュータは、棄却の機能を備える場合、文字認識結果の文字について、棄却のステップで、文字認識結果が正しいかどうか、すなわち「不読」にするかどうかの判定を含む、棄却の処理を行う。

【0009】

従来の棄却の処理は、例えば、文字認識のステップで得られる文字の尤度などのスコア（言い換えると評価値）を用いて、閾値との比較で「不読」の判定を行う処理が挙げられる。そのような棄却の技術の場合は、精度や効率等の観点で改善余地がある。

【0010】

本開示の目的は、上記ＯＣＲ等の文字認識技術に関して、棄却を含む文字認識の精度や効率等を向上できる技術を提供することである。

【課題を解決するための手段】

【0011】

本開示のうち代表的な実施の形態は以下に示す構成を有する。実施の形態の文字認識装置は、画像から文字を認識する文字認識装置であって、前記画像からの文字認識の結果の文字である認識文字について、妥当性の判断に基づいて、当該認識文字を「不読」状態として棄却する棄却機能を有し、前記認識文字について、前記文字認識の際に着目した度合いを表す画像情報であるヒートマップを計算し、前記認識文字の前記ヒートマップを、予め登録されている、文字ごとのヒートマップパターンを有するヒートマップパターンテーブルと比較して、該当するかどうかを判定し、前記ヒートマップパターンテーブルにおいて、該当しない場合に、前記認識文字を「不読」状態として棄却する。

【発明の効果】

【0012】

本開示のうち代表的な実施の形態によれば、上記ＯＣＲ等の文字認識技術に関して、棄却を含む文字認識の精度や効率等を向上できる。上記した以外の課題、構成および効果等については、発明を実施するための形態において示される。

【図面の簡単な説明】

【0013】

【図1】実施の形態１の文字認識装置を含むシステムの構成を示す図。

【図2】実施の形態１における棄却を含む文字認識処理の構成を示す図。

【図3】実施の形態１における棄却を含む文字認識処理のフローを示す図。

【図4】実施の形態１におけるヒートマップ計算の具体例を示す図。

【図5】実施の形態１におけるヒートマップ比較の具体例を示す図。

【図6】実施の形態１におけるヒートマップ比較判定手法の例を示す図。

【図7】実施の形態１におけるヒートマップ比較判定手法の例における重なり度合いの判断を示す図。

【図8】実施の形態１における棄却を含む文字認識処理の具体例（誤読の第２例）を示す図。

【図9】実施の形態１におけるヒートマップ比較の具体例を示す図。

【図10】実施の形態１における類似字形分類比較の具体例を示す図。

【図11】実施の形態１における類似字形分類テーブルの構成を示す図。

【図12】実施の形態１における類似字形分類比較処理のフローを示す図。

【図13】比較例における棄却を含む文字認識処理の構成を示す図。

【図14】比較例および実施の形態１における棄却を含む文字認識処理の具体例（誤読の第１例）を示す図。

【図15】比較例における識別結果の具体例を示す図。

【図16】実施の形態１におけるＧＵＩ画面例を示す図。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら本開示の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、範囲等を表していない場合がある。

【0015】

説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばＣＰＵ／ＭＰＵやＧＰＵ等の半導体デバイス等で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、ＦＰＧＡ、ＡＳＩＣ、ＣＰＬＤ等が適用可能である。

【0016】

プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体、例えばメモリカードやディスクでもよい。プログラムは、複数のモジュールから構成されてもよい。コンピュータシステムは、複数台の装置によって構成されてもよい。コンピュータシステムは、クライアント・サーバシステム、クラウドコンピューティングシステム、ＩｏＴシステム等で構成されてもよい。各種のデータや情報は、例えばテーブルやリスト等の構造で構成されるが、これに限定されない。識別情報、識別子、ＩＤ、名前、番号等の表現は互いに置換可能である。

【0017】

［比較例］
図１３は、比較例の文字認識装置および方法における、棄却を含む文字認識処理のフローを示す。図１３に対応した文字認識処理例の流れ・概要は、以下の通りである。

【0018】

（１）画像入力部２０１での画像入力・画像処理。
（２）文字切り出し部２０２での文字行検出処理および一文字検出処理、言い換えると文字切り出し処理。
（３）特徴抽出部２０３での特徴抽出処理。
（４）文字認識部２０４（言い換えると識別部）での一文字認識処理、言い換えると文字認識処理、識別処理。
（５）棄却部２０５での棄却処理。
（６）結果出力部２０６での結果出力処理。

【0019】

文字認識部２０４は、文字切り出し部２０２により検出された一文字ごとに、特徴抽出部２０３により抽出された文字特徴について、識別用辞書２１１を用いて、文字を認識する。文字認識部２０４は、この文字認識処理の際に、文字の尤度を算出する。尤度をｄとする。

【0020】

棄却部２０５は、文字認識部２０４による文字認識結果の文字について、その文字の尤度ｄの情報を用いて、尤度ｄに基づいて、棄却判断に関する所定の基準（例えば棄却用閾値など）を満たすかどうかを判断する。棄却部２０５は、例えば、文字の尤度ｄを棄却用閾値と比較する。棄却部２０５は、基準を満たさない場合（例えばｄが閾値未満の場合）には、その文字を、「不読」として棄却すると判定する、言い換えると、不読化する。

【0021】

結果出力部２０６は、棄却を含む文字認識の結果をユーザに対し出力する。例えば、ユーザは、表示画面で、棄却の判定結果を見て確認する。ユーザは、すべての文字を確認・チェックする必要は無く、「不読」部分のみを確認・チェックすればよい。

【0022】

高精度の棄却を含む文字認識を実現するためには、判定基準の明確化が必要である。例えば、従来一般的な例では、棄却の判断の際に、上記のように、文字認識での尤度の情報が利用されており、例えば尤度に関する閾値（言い換えると棄却用閾値）が用いられている。

【0023】

しかしながら、文字認識での尤度の算出根拠、出力基準等が不明である場合が多い。その場合に、棄却機能では、棄却基準としての好適な閾値の設定が難しい。図１３の例では、棄却用閾値として例えば尤度ｄに関する閾値を設定するが、上述のように、文字認識部２０４の内部の尤度ｄの算出根拠が不明である場合には、好適な値の設定が難しい。

【0024】

棄却機能に関する好適な閾値を設定するためには、文字認識処理の内部の識別器・アルゴリズム等の参照や解析が必要となり、人の手間が大きい。例えば尤度の基準を人が目視確認する必要があり、ＯＣＲの実装・運用までに多くの時間を要する。あるいは、文字認識処理の識別器等の解析が困難な場合は、対応が困難となる。

【0025】

図１４は、比較例および実施の形態に関する、棄却を含む文字認識の具体例を示す。文字認識装置であるコンピュータ（図１３での画像入力部２０１）は、用紙１４０１から画像を入力する。本例では、用紙１４０１のうち住所を表す文字画像である画像１４０２が入力されたとする。コンピュータ（図１３での文字切り出し部２０２）は、画像１４０２から文字切り出し処理を行う。この結果、例えば画像１４０３のような切り出し文字画像、言い換えると一文字ずつの文字画像が得られる。本例では、画像１４０３は、５個の文字画像として切り出されている。

【0026】

コンピュータ（図１３での特徴抽出部２０３および識別部２０４）は、画像１４０３の各文字画像から、特徴に基づいた識別、言い換えると文字認識を行う。この結果、例えば識別文字１４０４（言い換えると文字認識結果文字、読み取り結果文字）が得られる。本例では、識別文字１４０４は、「田」「川」「群」「細」「町」といった５個の文字が得られている。本例では、これらのうち、文字「細」１４０８は、誤り（「誤読」と記載する場合がある）であり、正しい文字は、「糸」「田」の２文字である。

【0027】

棄却機能が無い場合には、このような文字認識結果をユーザが全文字チェックする必要があり、手間が大きい。

【0028】

棄却機能が有る場合、コンピュータ（図１３での棄却部２０５）は、識別部２０４の文字認識結果である識別文字１４０４について、棄却処理を行う。この結果として、棄却結果を含む識別結果１４０５が得られる。この棄却結果を含む識別結果１４０５では、棄却機能が正常に働いた場合、上記誤読文字である「細」１４０８の部分が、「不読」を表す所定の記号「？」に変換されて出力される。

【0029】

コンピュータ（図１３での結果出力部２０６）は、棄却結果を含む識別結果１４０５に対応する出力１４０６をユーザに対し出力する。例えばユーザは表示画面で棄却結果を含む出力１４０６を見て確認する。この際、ユーザは、「不読」を表す「？」部分のみを確認・チェックすればよい。例えば、ユーザは、「糸」「田」の２文字の部分が正しく読み取りできなかったとわかり、この部分の修正作業をすればよい。このように、棄却機能がある場合には、ＯＣＲ作業を効率化できる。

【0030】

図１５は、比較例における文字認識部２０４による識別結果の具体例を示す。図１５の表において、切り出し文字画像は、図１４の画像１４０３と対応している。表では、それぞれの切り出し文字画像ごとに、文字認識の候補となる文字（候補文字）を、スコアの高い順に、１位文字、２位文字、３位文字等として、各行で示している。ここでのスコアは、文字認識での尤度ｄを用いている。このうち文字画像「細」１４０７は、図１４の通り、２文字が誤って１文字として読み取られた誤読文字に対応している。

【0031】

棄却機能における棄却部２０５の棄却手法は、例えば、統計手法、構造解析手法がある。統計手法は、尤度ｄの大きさや差で判断する手法である。例えば、文字画像「細」１４０７について、候補文字としては、１位候補が文字「細」であり、尤度ｄ＝８５である。尤度ｄは、ここでは０～１００のスコアとする。例えば尤度ｄの大きさ（絶対値）で判断する手法の場合、文字「細」の尤度ｄ＝８５が、尤度閾値と比較される。尤度閾値が例えば９０であるとする。文字画像「細」１４０７以外の各文字画像では、１位候補の尤度ｄが９０以上あるため、１位候補の文字が識別結果となる（言い換えると棄却はされない）。それに対し、文字画像「細」１４０７では、文字「細」の尤度ｄ＝８５が９０未満である。そのため、候補文字「細」１４０８は、「不読」として棄却されると判定される。

【0032】

他の手法として尤度ｄの差で判断する場合では、例えば、１位候補の文字、例えば、「田」の尤度ｄ＝９３と、「川」の尤度ｄ＝９２と、「群」の尤度ｄ＝９５と、「細」の尤度ｄ＝８５と、「町」の尤度ｄ＝９２との間で、尤度ｄの差が判断される。例えば、「細」の尤度ｄ＝８５と、他の文字の尤度との差が相対的に大きい。そのため、この文字「細」は、「不読」として棄却されると判定される。

【0033】

構造解析手法の場合、切り出し文字画像ごとに、画像解析処理に基づいて、文字の成分の長さ、角度、端点数などによって、識別結果が正しいか疑わしいかが判断される。

【0034】

しかしながら、統計手法では、尤度ｄの算出の根拠が不明な場合、好適な尤度閾値の設定が難しい。また、構造解析手法では、多数の文字に関する棄却判断のために、構造解析処理の膨大なルールを規定して積み上げる必要があり、手間が大きい。

【0035】

［実施の形態の概要］
実施の形態の文字認識装置および方法は、特に、文字認識ステップの後の棄却ステップ、言い換えると文字認識機能のうちの棄却機能に関する工夫を有する。

【0036】

実施の形態１では、第１の特長として、ヒートマップ比較判定を行う機能（第１の機能とも記載する）を有する。実施の形態１では、文字認識処理のうちの棄却処理において、文字認識結果の文字についてのヒートマップを計算するヒートマップ計算部と、そのヒートマップを辞書データベースのヒートマップパターンと比較照合して棄却に関する判定を行うヒートマップ比較部とを有する。辞書データベース（言い換えると棄却用辞書）には、予めヒートマップパターンの情報が登録・保持されている。

【0037】

文字認識結果の文字についてのヒートマップは、識別文字の特徴を表しており、文字認識の識別器が識別時に重視した箇所を表す情報である。当該ヒートマップは、文字認識での文字の尤度の算出に関する根拠を視覚化して表す画像情報であり、言い換えると、識別器の判断根拠や文字特徴を可視化する画像情報である。そのため、実施の形態では、文字認識ステップの文字認識処理の内部のアルゴリズム等を参照・解析する必要無く、ヒートマップを用いて棄却処理が可能である。実施の形態では、文字認識ステップで算出する尤度に依存した閾値の設定が不要となる。

【0038】

実施の形態では、第１の特長として、上記ヒートマップを用いて、識別の妥当性、言い換えると、棄却の妥当性を判断するものである。実施の形態１では、このような棄却機能を備えるので、高精度・高効率の棄却を含む文字認識が実現できる。

【0039】

実施の形態１では、第２の特長として、類似字形分類比較を行う機能（第２の機能とも記載する）を有する。この機能は、識別文字の文字列の並び、進行方向、位置関係と、字形、例えば偏と旁の構成などの字形分類とを考慮して、識別の妥当性、言い換えると、棄却の妥当性を判断するものである。この第２の機能では、前後の識別文字のまとまりについて、辞書データベースに予め登録されている類似字形分類情報との比較で、位置関係と字形とを考慮した総合的な判断で、棄却すべきかを判定するものである。

【0040】

実施の形態１では、上記第１の機能と第２の機能との両方を備えるが、これに限定されず、一方の機能のみを備える実施例も可能である。

【0041】

＜実施の形態１＞
図１～図１５を用いて、実施の形態１の文字認識装置および方法について説明する。実施の形態１の文字認識方法は、棄却ステップを有する方法である。実施の形態１の文字認識装置は、棄却機能を備える装置である。実施の形態１の文字認識方法は、実施の形態１の文字認識装置によって実行される。

【0042】

実施の形態１は、文字認識ステップの後の棄却ステップで、文字認識ステップでの文字認識の情報（例えば尤度）を必要としない場合を説明する。すなわち、棄却ステップでは、尤度を用いずに棄却の判定を行うものであり、尤度に関する閾値の設定も不要である。

【0043】

［文字認識装置を含むシステム］
図１は、実施の形態１の文字認識装置を含む、システムの構成例を示す。実施の形態１の文字認識装置である文字認識装置１は、言い換えるとＯＣＲ装置であり、コンピュータによって構成されている。図１のシステムは、文字認識装置１とスキャナ装置２とがＬＡＮ等の通信手段で接続されているシステムである。ユーザＵ１は、文字認識装置１やスキャナ装置２を操作する。ユーザＵ１は、帳票３（言い換えると用紙）を、スキャナ装置２で読み取らせ、読み取りによって得られた画像に対応する帳票画像ファイル４を、文字認識装置１で処理させて、文字認識結果等を得る。

【0044】

スキャナ装置２は、セットされた帳票３等の紙面を光学的に走査して画像を読み取る装置である。スキャナ装置２は、読み取りの結果として、帳票画像ファイル４を出力する。帳票画像ファイル４は、ＬＡＮを通じて、文字認識装置１に転送される。文字認識装置１は、通信インタフェース装置１０３によって帳票画像ファイル４を受信・入力し、記憶装置１０２内に読取画像データ１２２として格納する。なお、スキャナ装置２は、スキャナ機能およびプリンタ機能等を持つ複合機等としてもよい。

【0045】

文字認識装置１は、文字認識ソフトウェア（プログラムおよびデータベース等を含む）が実装されているコンピュータである。実施の形態１のプログラムは、実施の形態１の文字認識方法に対応する処理をコンピュータである文字認識装置１に実行させるコンピュータプログラムである。実施の形態１のプログラムは、制御プログラム１２１に含まれている。実施の形態１のプログラムは、メモリカード等の記憶媒体に格納された態様で提供されてもよいし、通信網上のサーバ等からダウンロードされてもよい。

【0046】

文字認識装置１は、例えばＰＣおよびそれに搭載されるソフトウェアで構成されるが、これに限定されず、ＯＣＲや複合機等の専用装置として構成されてもよい。また、本例では、文字認識装置１とスキャナ装置２とに分かれている構成であるが、これに限らず、画像処理装置１とスキャナ装置２とが一体である構成でもよい。

【0047】

文字認識装置１は、入力の帳票画像ファイル４に対応した読取画像データ１２２に対し、文字認識処理であるＯＣＲ処理を行う。このＯＣＲ処理は、後述の棄却処理を含む。この文字認識装置１は、棄却処理を行う棄却機能を備える。文字認識装置１は、読取画像データ１２２に対し、文字認識処理を行い、処理結果出力として、文字認識結果データ１２３を得る。文字認識結果データ１２３の中には棄却処理結果情報を含む。

【0048】

文字認識装置１は、演算装置１０１（プロセッサ等を含む）、記憶装置１０２（メモリ等を含む）、通信インタフェース装置１０３、入出力インタフェース装置１０４、入力装置１０５、出力装置１０６、および外部記憶装置１０７等を備え、これらはバス等のアーキテクチャを介して相互に接続され通信可能である。

【0049】

演算装置１０１は、例えばＣＰＵ／ＧＰＵ、ＲＯＭ、ＲＡＭ等により構成され、装置全体および各部を制御するコントローラに相当する。演算装置１０１は、ソフトウェアプログラム処理により実現される機能ブロックとして、帳票処理部１１、ＯＣＲ処理部１２、表示処理部１３、設定部１４を有する。

【0050】

演算装置１０１は、記憶装置１０２の制御プログラム１２１をメモリ上に読み出してその制御プログラム１２１に従った処理を実行することにより、各機能ブロックを実現する。ＯＣＲ処理部１２は、実施の形態１のプログラムに基づいて実現され、言い換えると、文字認識処理部である。

【0051】

記憶装置１０２は、不揮発性記憶装置等で構成され、演算装置１０１等が扱う各種のデータや情報が記憶されている。記憶装置１０２には、制御プログラム１２１、読取画像データ１２２、文字認識結果データ１２３、および辞書データ１２４等が記憶される。図示しないが、制御プログラム１２１には、プログラムやユーザの設定情報も伴う。設定情報は、例えば、棄却機能を含む文字認識機能に関する設定情報、例えば閾値設定情報などが挙げられる。文字認識結果データ１２３は、文字認識処理の結果として得られる、認識文字や、棄却結果等を含んだデータである。辞書データ１２４は、後述するが、文字認識処理に用いるために予め登録されているデータである。なお、文字認識装置１の外部のＤＢサーバやストレージ装置等に各種のデータや情報が格納されてもよい。

【0052】

通信インタフェース装置１０３は、スキャナ装置２等の外部装置との間で所定の通信インタフェースで通信処理を行う部分である。文字認識装置１は、スキャナ装置２に限らず、外部のサーバやストレージ装置等との間でデータ・情報を授受してもよい。

【0053】

入出力インタフェース装置１０４には、入力装置１０５、出力装置１０６、および外部記憶装置１０７等が接続されている。入力装置１０５は、例えばキーボードやマウスや操作パネルやマイクが挙げられる。ユーザは、入力装置１０５を通じて指示等を入力する。出力装置１０６は、ディスプレイやプリンタやスピーカ等が挙げられる。入力装置１０５および出力装置１０６は、タッチパネルとしてもよい。ディスプレイの画面には、所定のグラフィカル・ユーザ・インタフェース（ＧＵＩ）を伴う画面が表示される。この画面は、ＯＣＲ機能に係わる設定や確認等を可能とする画面である。ユーザＵ１は、その画面を通じて、ＯＣＲ機能に係わる作業が可能である。

【0054】

外部記憶装置１０７は、例えばディスク装置やメモリカード装置等が挙げられる。外部記憶装置１０７には、演算装置１０１からの制御に基づいて、画像ファイル等の保存が可能である。文字認識装置１は、外部記憶装置１０７に格納されている画像ファイル等を入力してもよいし、外部記憶装置１０７に文字認識結果データ１２３などを格納してもよい。

【0055】

帳票処理部１１は、スキャナ装置２からの帳票画像ファイル４を読取画像データ１２２として入力・記憶する。帳票処理部１１は、読取画像データ１２２に対し、ＯＣＲ以外の所定の帳票処理を行ってもよい。

【0056】

ＯＣＲ処理部１２は、対象の読取画像データ１２２に対し、文字認識処理（ＯＣＲ処理）を行って、認識文字等の情報を含む文字認識結果データ１２３を作成し、記憶装置１０２に格納する。

【0057】

表示処理部１３は、文字認識結果データ１２３に基づいた文字認識結果情報を、出力装置１０６のディスプレイの画面に、所定のＧＵＩとともに表示する。文字認識結果情報には、後述の棄却結果情報を含む。表示処理部１３は、棄却機能を含むＯＣＲ機能に係わる画面（例えばＷｅｂページ形式でもよい）を作成する。

【0058】

ユーザＵ１は、ディスプレイの画面で、文字認識結果情報を見て、確認・チェックや修正などの作業を行うことができる。

【0059】

設定部１４は、画面のＧＵＩを通じて、ＯＣＲ機能に関するユーザ設定を受け付け、設定情報として記憶する。設定部１４は、例えば棄却機能に関する閾値を設定可能とする。

【0060】

なお、図１のシステム構成に限らず可能であり、例えばクライアント・サーバシステム構成としてもよい。その場合、文字認識装置１がサーバ装置として構成され、そのサーバに対し、通信網を介して、ユーザＵ１が使用するクライアント端末が接続される。クライアント端末は、サーバにアクセスし、サーバである文字認識装置１は、ＧＵＩ画面をクライアント端末に送信し、クライアント端末は、ＧＵＩ画面を表示する。ユーザＵ１は、クライアント端末のＧＵＩ画面で、ＯＣＲ結果などを確認できる。

【0061】

文字認識装置１は少なくとも１つのプロセッサおよびメモリを有し、そのプロセッサおよびメモリによって所定の機能の処理を実現するが、これに限定されない。例えば、文字認識装置１は、通信網上のサーバ等のプロセッサと連携することで機能を実現してもよい。例えば、通信網上のサーバが、多くの計算資源を必要とする機械学習等の処理を行ってもよい。文字認識装置１は、その機械学習等により得られたモデルやデータベースを利用してもよい。文字認識ソフトウェア等を提供する事業者と、機械学習を行う事業者とが別の主体であってもよい。

【0062】

［文字認識装置］
図２は、実施の形態１の文字認識方法および装置における、棄却を含む文字認識処理の構成を示す。図２の構成は、図１３の比較例の構成に対し、主に異なる構成点としては、棄却部２０５に関する構成である。図２の棄却部２０５は、図１３の棄却部２０５とは異なる。図２の構成は、図１のコンピュータである文字認識装置１による処理として実現される。

【0063】

棄却部２０５は、文字認識部２０４の文字認識結果について、棄却用辞書２１２を用いて、棄却処理を行い、結果を記憶および出力する。棄却用辞書２１２は、ヒートマップパターンテーブルＴ１と、類似字形分類テーブルＴ２とを含んでいる。

【0064】

棄却部２０５は、第１の機能に関して、文字認識部２０４の識別文字について、画像処理に基づいて、ヒートマップを計算し、ヒートマップパターンテーブルＴ１のパターンとの比較で、「不読」として棄却するかどうかの判定を行う。また、棄却部２０５は、第２の機能に関して、文字認識部２０４の識別文字について、類似字形分類テーブルＴ２の類似字形分類との比較で、「不読」として棄却するかどうかの判定を行う。

【0065】

実施の形態１で、文字認識部２０４は、比較例と同様に、識別文字の尤度ｄを算出しているが、棄却部２０５は、ヒートマップを用いるので、その尤度ｄを利用する必要は無い。なお、変形例では、棄却部２０５は、その尤度ｄをさらに利用してもよい。

【0066】

棄却部２０５は、より詳しい機能ブロックとしては、ヒートマップ計算部２０７、ヒートマップ比較部２０８、および類似字形分類比較部２０９を有する。

【0067】

［文字認識処理全体フロー］
図３は、実施の形態１における文字認識処理全体のフローを示す。図３のフローは、ステップＳ１～Ｓ６を有する。

【0068】

ステップＳ１は、画像入力・画像処理である。ステップＳ１で、文字認識装置１であるコンピュータの画像入力部２０１（図２）は、図１４の例のように、対象となる画像を入力する。

【0069】

ステップＳ２は、文字行抽出および一文字検出、言い換えると文字切り出し処理である。コンピュータの文字切り出し部２０２（図２）は、対象画像である入力画像から、図１４の例のように、文字列画像を切り出し、一文字ごとの文字画像を切り出す。

【0070】

ステップＳ３は、特徴抽出である。コンピュータの特徴抽出部２０３（図２）は、切り出し文字画像から、文字画像ごとに、特徴を抽出する。

【0071】

ステップＳ４は、文字認識（言い換えると識別）である。コンピュータの文字認識部２０４（図２）は、識別用辞書２１１およびステップＳ３で抽出した特徴を用いて、切り出し文字画像から文字を認識する。

【0072】

ステップＳ５は、棄却処理、言い換えると不読判定処理であり、後述する。

【0073】

ステップＳ６は、棄却結果出力を含む文字認識結果出力である。コンピュータの結果出力部２０６（図２）は、ステップＳ５の棄却結果を含む、ステップＳ４の文字認識結果を、ユーザに対し出力する。例えば、コンピュータは、図１の出力装置１０６のうちの表示装置の表示画面に、棄却結果出力を含む文字認識結果出力を、ＧＵＩとともに表示する。ユーザは、その画面を見て、棄却結果などを確認でき、修正作業を行うことができる。ＧＵＩ画面の例は、図１４の出力１４０６と同様となる。

【0074】

ステップＳ５は、詳しいフローとしては、ステップＳ５１～Ｓ５７を有する。ステップＳ５１は、図２のヒートマップ計算部２０７によるヒートマップ計算処理である。ヒートマップ計算部２０７は、ステップＳ４の文字認識結果の識別文字（言い換えると対象文字）について、それに対応する文字画像を用いて、ヒートマップを計算する。なお、このヒートマップ計算が、ステップＳ４の識別処理の際に同時に行われてもよい。

【0075】

ステップＳ５２は、図２のヒートマップ比較部２０８によるヒートマップ比較処理である。ヒートマップ比較部２０８は、ステップＳ５１で得た対象文字のヒートマップを、ヒートマップパターンテーブルＴ１に登録されているヒートマップパターンと比較照合し、該当するパターンが有るかどうかを判断する。

【0076】

ステップＳ５３は、ヒートマップ比較結果判断であり、該当パターン有無の判断である。コンピュータは、該当パターンが無いと判断した場合（Ｓ５３－Ｙ）、言い換えると、妥当性が低いと判断した場合、ステップＳ５４に進み、ステップＳ５４で、対象文字を「不読」にして棄却する。コンピュータは、該当パターンが有ると判断した場合（Ｓ５３－Ｎ）、言い換えると、妥当性が高いと判断した場合、ステップＳ５５に進む。

【0077】

ステップＳ５５は、図２の類似字形分類比較部２０９による、類似字形分類比較処理である。類似字形分類比較部２０９は、対象文字について、類似字形分類テーブルＴ２に登録されている類似字形分類と比較照合し、該当するかどうかを判断する。

【0078】

ステップＳ５６は、類似字形分類比較結果判断であり、該当有無の判断である。コンピュータは、該当が有ると判断した場合（Ｓ５６－Ｙ）、ステップＳ５７に進み、ステップＳ５７で、対象文字を「不読」にして棄却する。コンピュータは、該当が無いと判断した場合（Ｓ５６－Ｎ）、棄却の判断ができない結果とし、ステップＳ５８に進む。

【0079】

ステップＳ５８は、ステップＳ５、特にステップＳ５６－Ｎの結果を含む結果出力である。コンピュータは、ユーザに対し、対象文字について、棄却の判断ができない結果である旨を出力する。ユーザは、例えば表示画面でその結果を確認し、自分で確認・チェックを行う。

【0080】

［文字認識ステップ］
実施の形態１で、ステップＳ４の文字認識ステップで適用する文字認識手法（アルゴリズム等）は、特に限定しない。文字認識手法としては、公知の統計手法、例えば機械学習による手法を適用してもよいし、構造解析手法を適用してもよい。手法は、システムや方法やプログラム等を含む総称とする。

【0081】

［誤読の第１例］
図３のステップＳ４で文字認識ソフトウェアが文字認識を誤る場合がある。このことを前述のように誤読と記載する場合がある。誤読にはいくつかのパターンがある。

【0082】

誤読の第１例として、入力元の文字列における前後に隣接する２つの文字（文字Ａ，文字Ｂとする）を、誤って１つの文字（文字Ｃとする）として認識する場合が挙げられる。図１４の例では、画像１４０２における文字列「田川群糸田町」の並びは横（Ｘ方向）であり、特に進行方向（言い換えると読み方向）は左から右への方向である。隣接する２つの文字「糸」「田」は左右に並んでいる。しかしながら、図１４の例では、正しい２つの文字「糸」「田」が、誤読として１つの文字「細」として識別されている。

【0083】

このような誤読された文字認識結果の１つの文字「細」については、棄却機能によって「不読」として判定・出力することが好ましい。

【0084】

実施の形態１では、上記誤読の第１例のような場合については、第１の機能を用いて、図３のフローのステップＳ５４に至る第１棄却処理の流れによって、対処することができる。

【0085】

［ヒートマップ計算］
図４は、図３のステップＳ５１のヒートマップ計算についての具体例を示す。画像４０１は、切り出し文字画像の例であり、図１４の画像１４０３と同様である。画像４０１は、図示の５個の文字「田」「川」「群」「細」「町」の文字画像ｃｇ１～ｃｇ５を有する。画像４０２は、切り出し文字画像＋ヒートマップを示す。画像４０２は、画像４０１の文字画像に、ステップＳ５１で計算されたヒートマップが重畳されている。画像４０３は、ヒートマップである。画像４０３は、文字画像ごとのヒートマップｈｍ１～ｈｍ５を有する。

【0086】

このようなヒートマップによって、識別器の判断基準が可視化される。実施の形態１は、このような生成したヒートマップを、ヒートマップパターンと比較照合して、識別および棄却の妥当性を判断するものである。また、ヒートマップとして可視化されるため、棄却に関する閾値の設定も従来よりも容易となる。

【0087】

［ヒートマップ］
ヒートマップ（言い換えると顕著性マップ）とは、公知の概念に基づいており、文字認識の識別器が文字画像のどの箇所を重視したかを可視化して表す画像情報である。実施の形態におけるヒートマップは、文字認識の識別器（言い換えるとモデル）が入力画像（言い換えると文字パターン）のどの領域（言い換えると特徴）から出力結果を推定したのかを表すマップである。ヒートマップは、文字の字形の特徴を表している。ヒートマップにおける画像情報は、画素ごとに、識別器が着目・重視した度合いを表す値を有している。ヒートマップにおける色の濃さは、識別器が強く重要と判断した確率を表している。ヒートマップのＸ軸，Ｙ軸のパラメータ値は、確率に応じた画素値である。図示の例では、ヒートマップの画素値は、グラデーションを有する輝度・色として表しており、相対的に濃い色の画素は、その着目・重視した度合いが大きいことを意味している。

【0088】

実施の形態１では、ステップＳ５１のヒートマップ計算自体は、既存技術も適用可能である。実施の形態１では、例えば以下を適用できる。まず、ステップＳ４の文字認識の識別器の内部の情報（例えば尤度ｄ）を考慮して棄却を行う場合には、ヒートマップ計算に、Ｇｒａｄ－ＣＡＭ（Salvaraju 2017）を適用できる。また、ステップＳ４の文字認識の識別器の内部の情報（例えば尤度ｄ）を考慮せずに棄却を行う場合には、ヒートマップ計算に、ＬＩＭＥ（Ribeiro 2016）、ＳＨＡＰ（Lundberg 2017）、または、ＲＩＳＥ（Petsiuk 2017）を適用できる。

【0089】

特に、実施の形態１の構成例では、ステップＳ４での識別器の内部の情報や処理過程を考慮する必要無く、ヒートマップを生成し、棄却を行う。そのため、実施の形態１では、ＬＩＭＥ、ＳＨＡＰ、ＲＩＳＥのいずれかを適用する。変形例として、識別器の内部情報や処理過程を考慮してヒートマップを生成して棄却を行う場合には、Ｇｒａｄ－ＣＡＭを適用する。

【0090】

［漢字について］
実施の形態１では、ＯＣＲの対象文字／文字列において漢字を含む場合を説明しているが、これに限定されず、他の種類の文字にも同様に適用可能である。

【0091】

本発明者による実験では、漢字の文字を対象としてヒートマップ計算を適用したところ、例えば概略的に図４のようなヒートマップが得られることを確認した。

【0092】

特に、漢字は、ある１つの文字／字形が、例えば「偏（へん）」や「旁（つくり）」、「冠（かんむり）」や「脚（あし）」等の部首、あるいは小領域やブロック等に分割・分類できる特性がある。本発明者は、少なくとも、このような特性を有する漢字を対象とする場合に、ヒートマップを用いた棄却の判定が有効であることを確認した。

【0093】

［ヒートマップ比較］
図５は、ステップＳ５２のヒートマップ比較についての具体例を示す。ここでは誤読の第１例を用いている。文字５０１は、正しい２文字「糸」「田」である。画像５０２は、文字５０１から切り出された結果である、切り出し文字画像の例として、前述の文字画像「細」ｃｇ４である。この文字画像「細」ｃｇ４である字形は、２文字が誤って１文字として読み取りされているという誤読のパターンである。

【0094】

識別文字５０３は、上記誤読による読み取り結果文字としての文字「細」である。対応するヒートマップ５０４は、画像５０２（ｃｇ４）から計算された前述のヒートマップｈｍ４である。

【0095】

コンピュータのヒートマップ比較部２０８は、この識別文字５０３（文字「細」ｃｇ４）およびヒートマップ５０４（ｈｍ４）を、ヒートマップパターンテーブルＴ１と比較照合し、妥当性を判断する。

【0096】

図５でのヒートマップパターンテーブルＴ１は、「文字」列、「ヒートマップパターン」列を有する。「文字」列には、識別結果になり得る文字（例えば文字コード）が登録されている。「ヒートマップパターン」列は、「文字」列の文字に対応する「ヒートマップパターン」が登録されている。「ヒートマップパターン」は、多数の同じ文字を対象に予め学習した結果である。

【0097】

コンピュータは、例えば、識別文字５０３「細」をキーとして、ヒートマップパターンテーブルＴ１を検索する。すると、文字「細」を含む行５０５が該当する。この行５０５には、文字「細」のヒートマップパターンｈｐ４を有する。

【0098】

コンピュータは、対象のヒートマップｈｍ４を、該当したヒートマップパターンｈｐ４と比較し、該当するかどうかを判断する。例えば、コンピュータは、ヒートマップｈｍ４とヒートマップパターンｈｐ４との類似の度合い（言い換えると一致の度合い）を判断する。

【0099】

上記比較・判断の際の処理の詳細については限定しない。ヒートマップ比較判定の手法としては、例えば、パターンマッチング手法、ピーク数・位置を用いた手法などが挙げられる。

【0100】

上記比較・判断の結果、本例では、コンピュータは、対象のヒートマップｈｍ４が、ヒートマップパターンｈｐ４に対し、非類似／不一致であり、識別の妥当性が低い、該当パターンが無い、と判定する。これにより、図３のフローでは、ステップＳ５３－Ｙとなり、ステップＳ５４で、対象の識別文字５０３「細」は、「不読」として棄却される。

【0101】

上記のように、実施の形態１の第１の機能により、字形の特徴を表すヒートマップを用いて棄却の判定を行うので、判定基準を明確化し、高精度の棄却が実現できる。なお、実施の形態１では、図２や図３等のように、識別部２０４とその前段の文字切り出し部２０２および特徴抽出部２０３とを分けて説明しているが、これらをまとめて文字認識部および文字認識処理と捉えてもよい。これらを分けた構成、一体とした構成のいずれであっても、実施の形態１での棄却部２０５は、それらの文字認識処理に関する正誤の結果に関して高精度な棄却を実現できる。

【0102】

［ヒートマップ比較判定手法］
図６は、図５のヒートマップ比較判定に適用する手法の具体例を示す。本実施例では、ヒートマップ比較判定の手法の具体例として、パターンマッチングの一例を用いる。

【0103】

上側図６０１には、切り出し文字画像５０２（文字画像「細」ｃｇ４）のヒートマップｈｍ４についての処理を示す。下側図６０２には、ヒートマップパターンテーブルＴ１に登録されている文字「細」のヒートマップパターンｈｐ４についての処理を示す。

【0104】

（１）まず、上側図６０１で、コンピュータは、文字「細」のヒートマップｈｍ４から、画像を構成する直交する２つの方向であるＸ軸方向およびＹ軸方向に関して、各方向のヒストグラムを生成する。コンピュータは、ヒートマップｈｍ４から、Ｘ軸方向ヒストグラム６１１と、Ｙ軸方向ヒストグラム６１２とを計算する。ヒストグラムの横軸（Ｘ，Ｙ）は画素、縦軸は頻度である。

【0105】

本例ではヒストグラムを用いているが、これに限定されず、他の処理例としては、ヒートマップ生成時に中間生成されるガウス分布や正規分布を用いてもよい。

【0106】

（２）また、下側図６０２で、コンピュータは、文字「細」のヒートマップパターンｈｐ４から、同様に、Ｘ軸方向およびＹ軸方向に関して、各方向のヒストグラムを生成する。コンピュータは、ヒートマップパターンｈｐ４から、Ｘ軸方向ヒストグラム６２１と、Ｙ軸方向ヒストグラム６２２とを計算する。なお、予めヒストグラムについても計算しておいてヒートマップパターンテーブルＴ１に登録しておいてもよい。

【0107】

（３）次に、コンピュータは、上記（１）で得たヒートマップｈｍ４のＸ軸方向ヒストグラム６１１およびＹ軸方向ヒストグラム６１２と、上記（２）で得たヒートマップパターンｈｐ４のＸ軸方向ヒストグラム６２１およびＹ軸方向ヒストグラム６２２とにおける、重なり度合いを計算・判断する。

【0108】

本例では、重なり度合いの判断の処理例として、図７に示すように、コンピュータは、ヒストグラム同士の重なり率（Ｒとする）を計算する。重なり率Ｒは、Ｘ軸方向での重なり率をＲＸとし、Ｙ軸方向での重なり率をＲＹとする。Ｘ軸方向での重なり率ＲＸは、Ｘ軸方向ヒストグラム６１１とＸ軸方向ヒストグラム６２１との重なり率である。Ｙ軸方向での重なり率ＲＹは、Ｙ軸方向ヒストグラム６１２とＹ軸方向ヒストグラム６２２との重なり率である。

【0109】

本例では、このような重なり率の計算に、ヒストグラムの面積を用いる。図６で、Ｘ軸方向ヒストグラム６１１の面積をＳＸ１とし、Ｙ軸方向ヒストグラム６１２の面積をＳＹ１とする。Ｘ軸方向ヒストグラム６２１の面積をＳＸ２とし、Ｙ軸方向ヒストグラム６２２の面積をＳＹ２とする。図７で、コンピュータは、軸を揃えて各軸のヒストグラムを重ねる。左側図はＸ軸方向ヒストグラム（６１１，６２１）の重なりを示し、右側図はＹ軸方向ヒストグラム（６１２，６２２）の重なりを示す。面積ＳＸ３は、２つのＸ軸方向ヒストグラム（６１１，６２１）が重なっている部分（言い換えると共通部分）の面積である。面積ＳＹ３は、２つのＹ軸方向ヒストグラム（６１２，６２２）が重なっている部分（言い換えると共通部分）の面積である。

【0110】

重なり率ＲＸ，ＲＹは、例えば以下の式で計算できる。
ＲＸ＝ＲＸ３／（ＲＸ１＋ＲＸ２－ＲＸ３）
ＲＹ＝ＲＹ３／（ＲＹ１＋ＲＹ２－ＲＹ３）

【0111】

コンピュータは、計算して得た重なり率Ｒ（ＲＸ，ＲＹ）を用いて、棄却の判定を行う。コンピュータは、重なり率Ｒが十分に大きい場合には該当パターン有りと判断し、重なり率Ｒが小さい場合（例えば一定の閾値以下の場合）には該当パターン無しと判断する。例えば、コンピュータは、重なり率ＲＸを、設定された閾値ＴＸと比較し、重なり率ＲＹを、設定された閾値ＴＹと比較する。コンピュータは、判定例として、Ｘ軸、Ｙ軸のいずれかの重なり率が閾値以下の場合には、対象の識別文字を「不読」として棄却する。すなわち、コンピュータは、ＲＸ≦ＴＸ、または（ＯＲ）、ＲＹ≦ＴＹ、である場合には、対象の識別文字を「不読」として棄却する。

【0112】

上述のように、誤読の第１例のような場合には、ヒートマップを用いた第１の機能までを使用するだけで、好適な棄却が可能である。

【0113】

次に、以下では、第１の機能のみでは好適な棄却ができない文字列の事例について説明する。

【0114】

［誤読の第２例］
誤読の第２例として、図８に示すように、入力元の１つの文字（文字Ｄとする）を、誤って隣接する２つの文字（文字Ｅ，文字Ｆとする）として認識する場合が挙げられる。この誤読された文字認識結果の２つの文字についても、棄却機能によって「不読」として判定・出力できることが好ましい。

【0115】

図８は、誤読の第２例を示している。画像８０２は、画像入力による画像の例である。本例では正しい文字が「動物」であるとする。画像８０３は、画像８０２からの文字切り出しにより得られた画像である切り出し文字画像である。本例では、コンピュータ（図２の文字切り出し部２０２）は、四角で示す３つの部分ｐ１，ｐ２，ｐ３を切り出している。

【0116】

識別文字８０４は、画像８０３からの文字認識結果の文字を示す。本例では、３つの部分ｐ１，ｐ２，ｐ３に対応して、３つの文字「重」「力」「物」として識別されている。これらを文字「重」ｃ１、文字「力」ｃ２、文字「物」ｃ３とする。これらは、正しい文字が「動」「物」であるのに対し、１文字「動」については誤って２文字「重」「力」として誤読した事例である。

【0117】

このような場合に、棄却機能としては、誤読文字である「重」「力」を、「不読」として判定・出力できることが好ましい。それができる場合、棄却処理の結果では、棄却結果を含む識別結果８０５に示すように、誤読文字「重」「力」部分を、「不読」を表す記号「？」に変換する。そして、結果出力８０６では「？物」として表示される。ユーザは、「不読」箇所のみを確認・チェックすればよい。

【0118】

上記誤読の第２例における対象字形は、１文字が誤って隣接する２文字として読み取られたパターンである。実施の形態１では、上記誤読の第２例のような場合については、第１の機能および第２の機能を用いて、図３のフローのステップＳ５７に至る第２棄却処理の流れによって、対処することができる。以下に具体例を用いて説明する。

【0119】

［ヒートマップ比較および類似字形分類比較］
図９は、ヒートマップ比較および類似字形分類比較を用いた判定の具体例を示す。本例では、図８のような誤読の第２例を用いる。図９では、まず、ヒートマップ比較までの処理例を示している。

【0120】

正しい文字９０１は「動」「物」である。切り出し文字画像９０２は、前述の３つの部分ｐ１，ｐ２，ｐ３である。正しい１文字「動」に対し、誤りとして２文字の部分ｐ１，ｐ２が切り出されている。識別文字９０３は、３つの部分ｐ１，ｐ２，ｐ３からのそれぞれの読み取り結果の文字「重」「力」「物」（ｃ１，ｃ２，ｃ３）である。対応して、ヒートマップ９０４は、切り出し文字画像９０２の各部分から得られたヒートマップｈｍ１，ｈｍ２，ｈｍ３である。

【0121】

また、コンピュータは、文字切り出し処理の際に、対象文字列の位置関係情報９００を把握している。第２の機能は、後述するが、このような位置関係情報９００を用いて処理を行う機能である。位置関係情報９００は、対象文字列（例えば「動物」）の識別結果文字列の並び、進行方向、各文字の位置関係などを表す情報である。例えば、文字列「動物」については、並びは横方向（Ｘ方向）で、特に、進行方向（読み方向）が左から右への方向である。

【0122】

コンピュータのヒートマップ比較部２０８は、対象の識別文字９０３のヒートマップ９０４を、ヒートマップパターンテーブルＴ１に登録されているパターンと比較照合する。本例では、まず、部分ｐ１に対応する識別文字「重」ｃ１から、ヒートマップパターンテーブルＴ１の文字「重」の行９０５が該当する。コンピュータは、部分ｐ１に対応するヒートマップｈｍ１を、文字「重」の行９０５のヒートマップパターンｈｐ１と比較して、類似度合いを判断する。その結果、類似であり、妥当性が高い、該当パターン有り、と判断される。

【0123】

よって、第１の機能のみを用いる形態の場合（図３でステップＳ５４までしか無い形態の場合）、ここまでの処理結果では、図３のフローでステップＳ５３－Ｎとなる。よって、このような誤読の第２例について、具体例では文字「重」ｃ１について、適切な棄却ができないことになってしまう。

【0124】

そこで、実施の形態１では、さらに、類似字形分類比較を用いた第２の機能を用いて、図３でのステップＳ５５以降の流れを用いて、誤読の第２例のような場合についても、棄却を実現する。

【0125】

［類似字形分類比較］
図１０は、図９に続く、類似字形分類比較の処理例を示す。コンピュータの図２の類似字形分類比較部２０９は、図９の結果に対応して、図３のステップＳ５３－ＮからステップＳ５５に進み、図１０のような処理を行う。図１０では、文字「動」の部分に着目して説明する。切り出し文字画像１００１は、文字画像「動」のうちの２つの部分ｐ１，ｐ２である。識別文字１００２は、部分ｐ１の識別文字「重」ｃ１、および、部分ｐ２の識別文字「力」ｃ２である。文字切り出し時の位置関係情報９００は、前述の通り、例えば文字列「動物」の進行方向（例えば左から右への方向）等の情報である。

【0126】

コンピュータの類似字形分類比較部２０９は、処理上着目する文字部分をｎ番目とし、位置関係情報９００に基づいた文字列の並びにおいて次に着目する文字部分をｎ＋１番目とする。本例では文字「重」ｃ１がｎ番目、文字「力」ｃ２がｎ＋１番目である。類似字形分類比較部２０９は、このように、対象の文字列について、１文字のみではなく、並びにおいて隣接する２文字以上をまとまりとして判断する。

【0127】

コンピュータの類似字形分類比較部２０９は、まず、ｎ番目の文字「重」ｃ１を、類似字形分類テーブルＴ２と比較照合する。この処理は、詳しくは、以下のようなステップＳ２１～Ｓ２４を有する。

【0128】

図１０での類似字形分類テーブルＴ２は、「文字（識別結果）」列、「部首構成字種」列、「部首構成字形（着目位置）」列、および「隣接する識別文字」列を有する。詳しくは図１１で説明する。

【0129】

ステップＳ２１で、コンピュータは、ｎ番目の文字「重」ｃ１をキーとして、類似字形分類テーブルＴ２を検索する。すると、検索結果として、文字「重」を含む行１０１０が該当し、抽出される。

【0130】

ステップＳ２２で、コンピュータは、その行１０１０において、ｎ番目の文字「重」ｃ１が、文字列の進行方向（本例では左から右への方向）の逆方向に対応した左側に存在する「部首構成字形」を含む行を抽出する。この結果、本例では、部首構成字種「動」の行１０２１、および部首構成字種「勲」の行１０２２が抽出される。

【0131】

ステップＳ２３で、コンピュータは、その抽出された行１０２１，１０２２において、「隣接する識別文字」に、ｎ＋１番目の文字「力」ｃ２を含む行を抽出する。この結果、本例では、部首構成字種「動」の行１０２１、および部首構成字種「勲」の行１０２２が抽出される。

【0132】

ステップＳ２４で、コンピュータは、上記抽出の結果、絞り込まれた行として１つ以上の行がある場合、対象の文字を棄却する。本例では、行１０２１，１０２２が存在するので、コンピュータは、ｎ番目の文字「重」ｃ１とそれに隣接するｎ＋１番目の文字「力」ｃ２との２つのまとまりを、「不読」として棄却する。

【0133】

本例では、部首構成字種「動」の行１０２１は、部首構成字形において、左側の位置（左部）に偏／部分としての「重」があり、右側の位置（右部）に旁／部分としての「力」がある。この部首構成字種「動」は、切り出し文字画像１００１の正しい文字「動」と対応している。

【0134】

なお、本例では、行１０２２も抽出されている。この行１０２２での部首構成字種「勲」は、正しい文字「動」とは異なり、下部に部首「れっか」を含む字種であるが、左部（詳しくは左上部）に「重」、右部（詳しくは右上部）に「力」を含んでいるため、抽出されている。実施の形態１では、棄却機能は、識別文字を棄却すべきかどうか判断する処理を行う機能であるため、このように疑わしい場合を含めて抽出しておく。

【0135】

上述のように、第２の機能では、文字列の並びで前後に隣接する文字のまとまりで、字形・字種を考慮して、棄却すべきかの判断を行うものである。

【0136】

図１１は、類似字形分類テーブルＴ２を示す。「部首構成字種」列は、識別文字（例えば「重」）を部首または一部として含んだ字種を網羅的に各行で格納している。本例では６つの字種「動」「種」「腫」「働」「薫」「勲」のみを図示している。「隣接する識別結果」列は、文字列の進行方向に隣接する字形と対応する文字である。例えば、字種「動」については、進行方向である右方向に対応した右部に、部首「力」が含まれている。

【0137】

「部首構成字形（着目位置）」列は、「部首構成字種」に対応した字形の情報が格納されている。本例では、字形の情報を、図示のように、四角形のブロックで表現している。四角形のブロックは、部首などの構成に対応して、より小さい四角形のブロックに区切られて構成されている。字形の四角形のブロックのうち、グレーで示す部分が、着目位置・部分である。例えば、字種「動」の行における字形１１０１は、左部１１１１と右部１１１２との各ブロックを有する。左部１１１１は、着目位置であり、ｎ番目の識別文字が存在する位置に対応し、右部１１１２は、ｎ番目の識別文字に対し進行方向に隣接するｎ＋１番目の識別文字が存在する位置に対応する。左部１１１１は例えば偏に対応し、右部１１１２は例えば旁に対応する。

【0138】

字種「動」の例では、部首構成字形１１０１は、言い換えると、字形「重」が偏または左部として構成されるグループに相当する。他の例として、字種「種」の例では、対応する部首構成字形は、字形「重」が旁または右部として構成されるグループに相当する。

【0139】

本例では文字列の並びが横である場合を用いて棄却機能を説明したが、これに限らず、棄却機能は、文字列の並びが縦である場合にも同様に適用可能である。

【0140】

［類似字形分類比較処理フロー］
図１２は、上記のような類似字形分類比較処理について整理した処理フローを示す。図１２は、ステップＳ２０１～Ｓ２０４を有する。

【0141】

コンピュータは、まず、ループ１の処理を行う。ステップＳ２０１で、コンピュータは、対象の文字列における、ｎ番目の識別文字が、類似字形分類テーブルＴ２の「文字」列に存在するか、検索する。存在する場合（Ｓ２０１－Ｙ）、ループ２の処理に移行する。

【0142】

コンピュータは、ステップＳ２０２で、ステップＳ２０１の抽出行について、位置関係情報９００におけるｎ番目の識別文字とｎ＋１番目の識別文字との位置関係に基づいて、類似字形分類テーブルＴ２に、その位置関係に合致するようなパターンが、「部首構成字形」列に存在するか、検索する。この位置関係に合致するパターンは、前述（図１０）のように、文字列の進行方向におけるｎ番目の識別文字（言い換えると字形）とｎ＋１番目の識別文字（言い換えると字形）との位置関係（例えば左部と右部）に対応する形状や配置を持つような「部首構成字形」のブロックを指している。

【0143】

当該パターンが存在する場合、すなわち当該「部首構成字形」に該当する行が１つ以上ある場合（Ｓ２０２－Ｙ）、ループ３の処理に移行する。コンピュータは、ステップＳ２０３で、ステップＳ２０２の抽出行において、ｎ＋１番目の識別文字（文字コード）と同じ文字（文字コード）が、「隣接する識別結果」列に存在するか、検索する。このステップＳ２０３の条件は、言い換えると、ｎ番目の識別文字（言い換えると字形）とｎ＋１番目の識別文字（言い換えると字形）とが、それらの位置関係を持って、「部首構成字形」の中にそれぞれ部首または一部として含まれているかどうかを指している。言い換えると、この条件は、進行方向に隣接する２つの識別文字／字形によって１つの文字／字形が構成されるかどうかを指している。

【0144】

ステップＳ２０３の条件を満たす場合、すなわち当該条件を満たす該当する行が１つ以上ある場合（Ｓ２０３－Ｙ）、ステップＳ２０４に移行する。ステップＳ２０４で、コンピュータは、対象の識別文字であるｎ番目とｎ＋１番目の識別文字を、「不読」として棄却する。

【0145】

［ＧＵＩ画面例］
図１６は、実施の形態１に関するＧＵＩ画面例を示す。コンピュータは、図１４の出力１４０６や図８の出力８０６のような結果出力を行う以外にも、画面に以下を表示してもよい。コンピュータは、画面に、図示のように、文字画像のヒートマップを表示してもよい。コンピュータは、画面に、前述のヒートマップパターンテーブルＴ１や類似字形分類テーブルＴ２を表示してもよい。コンピュータは、画面に、図示のように、前述のヒートマップ比較判定のための閾値を表示し、ユーザによる設定を可能としてもよい。

【0146】

［実施の形態１の効果等］
実施の形態１によれば、棄却機能を高精度・高効率に実現できる。実施の形態１によれば、棄却機能によって文字認識結果が正しいかどうか疑わしいこと（言い換えると、正しい識別ができていない可能性が高いこと、正しい識別ができなかったこと）を「不読」という結果として出力する際の精度や効率を高めることができる。また、実施の形態１によれば、棄却ステップで、文字認識の際の情報、例えば尤度を用いた、閾値の設定や閾値比較判定処理が不要となる。よって、文字認識処理の内部のアルゴリズム等の参照や解析が不要となり、人による閾値設定作業などを低減できる。棄却ステップでは、ヒートマップを用いて判定するので、ヒートマップによる判定基準の可視化が実現でき、閾値の設定も容易になる。実施の形態１によれば、ＯＣＲを利用する顧客の環境に適したＯＣＲをセットアップする際の作業を低減し、リードタイムを短縮できる。

【0147】

実施の形態１では、図３のステップＳ５の棄却ステップで、ヒートマップを用いた手法を適用したが、これに限定されず、ヒートマップ以外の類似の手法として機械学習を用いた手法などを適用してもよい。

【0148】

実施の形態１では、図３のステップＳ５の棄却ステップで、まず第１の機能によるヒートマップ比較判定を行い、次に、第２の機能による類似字形分類比較判定を行う場合を説明したが、これに限定されない。変形例としては、棄却ステップで、ヒートマップ比較判定を行う前に、図８のような第２の機能による類似字形分類比較判定を行うことも可能である。

【0149】

以上、本開示の実施の形態について具体的に説明したが、前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。各実施の形態は、必須構成要素を除き、構成要素の追加・削除・置換などが可能である。特に限定しない場合、各構成要素は、単数でも複数でもよい。各実施の形態や変形例を組み合わせた形態も可能である。

【符号の説明】

【0150】

１…文字認識装置（コンピュータ）、２０４…識別部、２０５…棄却部、２０７…ヒートマップ計算部、２０８…ヒートマップ比較部、２０９…類似字形分類比較部、２１１…識別用辞書、２１２…棄却用辞書、Ｔ１…ヒートマップパターンテーブル、Ｔ２…類似字形分類テーブル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】