知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東芝の特許一覧 ▶ 東芝ソリューション株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022094471
(43)【公開日】2022-06-27
(54)【発明の名称】文字認識装置、文字認識方法、及びプログラム
(51)【国際特許分類】
G06V 30/24 20220101AFI20220620BHJP
G06V 30/12 20220101ALI20220620BHJP
G06V 30/14 20220101ALI20220620BHJP
【ＦＩ】
G06K9/62 620A
G06K9/03 D
G06K9/20 320J
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2020207370
(22)【出願日】2020-12-15
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】301063496
【氏名又は名称】東芝デジタルソリューションズ株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】特許業務法人 志賀国際特許事務所
(72)【発明者】
【氏名】田中 遼平
【テーマコード（参考）】
5B029
5B064
【Ｆターム（参考）】
5B029AA01
5B029AA03
5B029BB02
5B029CC21
5B064AA01
5B064AB02
5B064AB03
5B064BA01
5B064DA16
5B064EA08
5B064EA21
5B064EA26
(57)【要約】
【課題】取り消しを検出して検出結果に反映することができる文字認識装置、文字認識方法、及びプログラムを提供することである。
【解決手段】実施形態の文字認識装置は、画像取得部と、文字スコア算出部と、取消スコア算出部と、補正部と、デコード部と、を持つ。画像取得部は、文字の書かれた画像を取得する。文字スコア算出部は、画像取得部によって取得された画像が所定の方向に分割されたフレームに対して、認識対象の文字クラスらしさを表す文字クラススコアを算出する。取消スコア算出部は、フレームに対して取り消し文字らしさを表す取消スコアを算出する。補正部は、取消スコアが高いフレームほど文字クラスのスコアが相対的に小さくなるように文字クラスのスコアを補正する。デコード部は、補正後のフレームごとの文字クラスのスコアをもとに尤もらしい認識結果を推定する。
【選択図】図１
【解決手段】実施形態の文字認識装置は、画像取得部と、文字スコア算出部と、取消スコア算出部と、補正部と、デコード部と、を持つ。画像取得部は、文字の書かれた画像を取得する。文字スコア算出部は、画像取得部によって取得された画像が所定の方向に分割されたフレームに対して、認識対象の文字クラスらしさを表す文字クラススコアを算出する。取消スコア算出部は、フレームに対して取り消し文字らしさを表す取消スコアを算出する。補正部は、取消スコアが高いフレームほど文字クラスのスコアが相対的に小さくなるように文字クラスのスコアを補正する。デコード部は、補正後のフレームごとの文字クラスのスコアをもとに尤もらしい認識結果を推定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
文字の書かれた画像を取得する画像取得部と、
前記画像取得部によって取得された画像が所定の方向に分割されたフレームに対して、認識対象の文字クラスらしさを表す文字クラススコアを算出する文字スコア算出部と、
前記フレームに対して取り消し文字らしさを表す取消スコアを算出する取消スコア算出部と、
前記取消スコアが高いフレームほど前記文字クラスのスコアが相対的に小さくなるように前記文字クラスのスコアを補正する補正部と、
補正後の前記フレームごとの文字クラスのスコアをもとに尤もらしい認識結果を推定するデコード部と、
を備える文字認識装置。
前記画像取得部によって取得された画像が所定の方向に分割されたフレームに対して、認識対象の文字クラスらしさを表す文字クラススコアを算出する文字スコア算出部と、
前記フレームに対して取り消し文字らしさを表す取消スコアを算出する取消スコア算出部と、
前記取消スコアが高いフレームほど前記文字クラスのスコアが相対的に小さくなるように前記文字クラスのスコアを補正する補正部と、
補正後の前記フレームごとの文字クラスのスコアをもとに尤もらしい認識結果を推定するデコード部と、
を備える文字認識装置。
【請求項2】
文字の書かれた画像を取得する画像取得部と、
前記画像取得部によって取得された画像に対して、認識対象の文字クラスらしさを表す文字クラススコアを算出する文字スコア算出部と、
前記文字クラスごとに取り消し文字らしさを表す取消スコアを算出する取消スコア算出部と、
前記文字クラススコアと前記取消スコアをもとに尤もらしい認識結果を推定するデコード部と、
を備える文字認識装置。
前記画像取得部によって取得された画像に対して、認識対象の文字クラスらしさを表す文字クラススコアを算出する文字スコア算出部と、
前記文字クラスごとに取り消し文字らしさを表す取消スコアを算出する取消スコア算出部と、
前記文字クラススコアと前記取消スコアをもとに尤もらしい認識結果を推定するデコード部と、
を備える文字認識装置。
【請求項3】
前記補正部は、前記文字クラススコアと前記取消スコアとを用いて、前記文字クラススコアを補正する、
請求項１に記載の文字認識装置。
請求項１に記載の文字認識装置。
【請求項4】
前記補正部は、前記認識対象の文字の字種毎に補正時の重みを設定する、
請求項３に記載の文字認識装置。
請求項３に記載の文字認識装置。
【請求項5】
比較部を更に備え、
前記デコード部は、前記文字クラススコアに基づいて、取り消しを想定しない場合の尤もらしい認識結果を推定し、
前記比較部は、前記補正された文字クラススコアに基づいて推定された尤もらしい認識結果と、前記文字クラススコアに基づいて推定された取り消しを想定しない場合の尤もらしい認識結果と、を比較し、前記比較した結果に基づいて、取り消し反映前の冗長な認識結果と取り消し情報とを推定する、
請求項３に記載の文字認識装置。
前記デコード部は、前記文字クラススコアに基づいて、取り消しを想定しない場合の尤もらしい認識結果を推定し、
前記比較部は、前記補正された文字クラススコアに基づいて推定された尤もらしい認識結果と、前記文字クラススコアに基づいて推定された取り消しを想定しない場合の尤もらしい認識結果と、を比較し、前記比較した結果に基づいて、取り消し反映前の冗長な認識結果と取り消し情報とを推定する、
請求項３に記載の文字認識装置。
【請求項6】
前記取り消しは、複数の取消クラスを備え、
前記取消スコア算出部は、前記フレームと前記取消クラスとに対して取り消し文字らしさを表す取消クラススコアを算出し、
前記補正部は、前記文字クラススコアと前記取消クラススコアとを用いて、前記文字クラススコアを補正する、
請求項１に記載の文字認識装置。
前記取消スコア算出部は、前記フレームと前記取消クラスとに対して取り消し文字らしさを表す取消クラススコアを算出し、
前記補正部は、前記文字クラススコアと前記取消クラススコアとを用いて、前記文字クラススコアを補正する、
請求項１に記載の文字認識装置。
【請求項7】
前記補正部は、前記文字クラススコアと、隣接フレーム間の前記取消スコアとを用いて、前記文字クラススコアを補正する、
請求項１に記載の文字認識装置。
請求項１に記載の文字認識装置。
【請求項8】
前記文字スコア算出部は、文字と文字との間のブランクのブランクスコアを算出し、
前記デコード部は、前記補正された文字クラススコアと、前記ブランクスコアとに基づいて、尤もらしい認識結果を推定する、
請求項１、３、４、６、７のうちのいずれか１項に記載の文字認識装置。
前記デコード部は、前記補正された文字クラススコアと、前記ブランクスコアとに基づいて、尤もらしい認識結果を推定する、
請求項１、３、４、６、７のうちのいずれか１項に記載の文字認識装置。
【請求項9】
前記文字スコア算出部は、文字と文字との間のブランクのブランクスコアを算出し、
前記デコード部は、前記文字クラススコアと、前記ブランクスコアとに基づいて、尤もらしい認識結果を推定する、
請求項２に記載の文字認識装置。
前記デコード部は、前記文字クラススコアと、前記ブランクスコアとに基づいて、尤もらしい認識結果を推定する、
請求項２に記載の文字認識装置。
【請求項10】
画像取得部が、文字の書かれた画像を取得し、
文字スコア算出部が、前記画像取得部によって取得された画像が所定の方向に分割されたフレームに対して、認識対象の文字クラスらしさを表す文字クラススコアを算出し、
取消スコア算出部が、前記フレームに対して取り消し文字らしさを表す取消スコアを算出し、
補正部が、前記取消スコアが高いフレームほど前記文字クラスのスコアが相対的に小さくなるように前記文字クラスのスコアを補正し、
デコード部が、補正後の前記フレームごとの文字クラスのスコアをもとに尤もらしい認識結果を推定する、
文字認識方法。
文字スコア算出部が、前記画像取得部によって取得された画像が所定の方向に分割されたフレームに対して、認識対象の文字クラスらしさを表す文字クラススコアを算出し、
取消スコア算出部が、前記フレームに対して取り消し文字らしさを表す取消スコアを算出し、
補正部が、前記取消スコアが高いフレームほど前記文字クラスのスコアが相対的に小さくなるように前記文字クラスのスコアを補正し、
デコード部が、補正後の前記フレームごとの文字クラスのスコアをもとに尤もらしい認識結果を推定する、
文字認識方法。
【請求項11】
画像取得部が、文字の書かれた画像を取得し、
文字スコア算出部が、前記画像取得部によって取得された画像に対して、認識対象の文字クラスらしさを表す文字クラススコアを算出し、
取消スコア算出部が、前記文字クラスごとに取り消し文字らしさを表す取消スコアを算出し、
デコード部が、前記文字クラススコアと前記取消スコアをもとに尤もらしい認識結果を推定する、
文字認識方法。
文字スコア算出部が、前記画像取得部によって取得された画像に対して、認識対象の文字クラスらしさを表す文字クラススコアを算出し、
取消スコア算出部が、前記文字クラスごとに取り消し文字らしさを表す取消スコアを算出し、
デコード部が、前記文字クラススコアと前記取消スコアをもとに尤もらしい認識結果を推定する、
文字認識方法。
【請求項12】
コンピュータに、
文字の書かれた画像を取得させ、
前記取得された画像が所定の方向に分割されたフレームに対して、認識対象の文字クラスらしさを表す文字クラススコアを算出させ、
前記フレームに対して取り消し文字らしさを表す取消スコアを算出させ、
前記取消スコアが高いフレームほど前記文字クラスのスコアが相対的に小さくなるように前記文字クラスのスコアを補正させ、
補正後の前記フレームごとの文字クラスのスコアをもとに尤もらしい認識結果を推定させる、
プログラム。
文字の書かれた画像を取得させ、
前記取得された画像が所定の方向に分割されたフレームに対して、認識対象の文字クラスらしさを表す文字クラススコアを算出させ、
前記フレームに対して取り消し文字らしさを表す取消スコアを算出させ、
前記取消スコアが高いフレームほど前記文字クラスのスコアが相対的に小さくなるように前記文字クラスのスコアを補正させ、
補正後の前記フレームごとの文字クラスのスコアをもとに尤もらしい認識結果を推定させる、
プログラム。
【請求項13】
コンピュータに、
文字の書かれた画像を取得させ、
前記取得された画像に対して、認識対象の文字クラスらしさを表す文字クラススコアを算出させ、
前記文字クラスごとに取り消し文字らしさを表す取消スコアを算出させ、
前記文字クラススコアと前記取消スコアをもとに尤もらしい認識結果を推定させる、
プログラム。
文字の書かれた画像を取得させ、
前記取得された画像に対して、認識対象の文字クラスらしさを表す文字クラススコアを算出させ、
前記文字クラスごとに取り消し文字らしさを表す取消スコアを算出させ、
前記文字クラススコアと前記取消スコアをもとに尤もらしい認識結果を推定させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、文字認識装置、文字認識方法、及びプログラムに関する。
【背景技術】
【0002】
紙帳票に手書き記入又は印刷された文字列をデジタルデータ化するデータ入力システムがある。このようなデータ入力システムは、帳票中を例えば光学文字認識（ＯＣＲ）技術を用いた文字認識器により帳票中の画像に対して文字認識処理を行ってデジタル化する。手書き記入又は印刷された文字列の上に、ユーザが取消線を引く場合がある。取消線が引かれた文字列はユーザが取り消す旨を指示しているものなので、文字認識処理では、その文字列が認識できたとしてもその認識結果を棄却する必要がある。このため、取り消し線を検知する技術が開発されている。しかしながら、従来技術では、取り消し線を検出するのみであり、デジタル化における修正を人が行う必要があった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第４６９３８２５号公報
【特許文献2】特開２０２０－１１９２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、取り消しを検出して検出結果に反映することができる文字認識装置、文字認識方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0005】
実施形態の文字認識装置は、画像取得部と、文字スコア算出部と、取消スコア算出部と、補正部と、デコード部と、を持つ。画像取得部は、文字の書かれた画像を取得する。文字スコア算出部は、前記画像取得部によって取得された画像が所定の方向に分割されたフレームに対して、認識対象の文字クラスらしさを表す文字クラススコアを算出する。取消スコア算出部は、前記画像取得部によって取得された画像に対して、前記フレームに対して取り消し文字らしさを表す取消スコアを算出する。補正部は、前記取消スコアが高いフレームほど前記文字クラスのスコアが相対的に小さくなるように前記文字クラスのスコアを補正する。デコード部は、補正後の前記フレームごとの文字クラスのスコアをもとに尤もらしい認識結果を推定する。
【図面の簡単な説明】
【0006】
【図1】第１の実施形態に係る文字認識装置の構成の一例を示すブロック図。
【図2】文字が取り消されていずかつ補正を行っていない場合の文字認識例を示す図。
【図3】取り消しが行われている場合の補正前の認識結果と補正後の認識結果例を示す図。
【図4】第１の実施形態に係る文字認識装置の処理手順例を示すフローチャート。
【図5】第２の実施形態に係る文字認識装置の処理手順例を示すフローチャート。
【図6】字種毎に補正時の重みを換えることのメリットを説明するための図。
【図7】第３の実施形態に係る文字認識装置の構成の一例を示すブロック図。
【図8】第３の実施形態に係るデコード部のデコードアルゴリズムの一例を説明するための図。
【図9】第３の実施形態に係る文字認識装置の処理手順例を示すフローチャート。
【図10】第４の実施形態に係る文字認識装置の構成の一例を示すブロック図。
【図11】第４の実施形態に係る文字認識装置の処理手順例を示すフローチャート。
【図12】取り消しの例を示す図。
【図13】第５の実施形態に係る文字認識装置の処理手順例を示すフローチャート。
【図14】第６の実施形態に係る文字認識装置の処理手順例を示すフローチャート。
【発明を実施するための形態】
【0007】
以下、実施形態の文字認識装置、文字認識方法、及びプログラムを、図面を参照して説明する。
【0008】
（第１の実施形態）
まず、文字認識装置の構成例を説明する。
図１は、本実施形態に係る文字認識装置の構成の一例を示すブロック図である。図１のように、文字認識装置１は、画像取得部２、文字スコア算出部４、取消スコア算出部５、補正部６、デコード部７、および出力部８を備える。文字スコア算出部４は、文字認識ネットワーク４１を備える。取消スコア算出部５は、取消尤度予測ネットワーク５１を備える。
まず、文字認識装置の構成例を説明する。
図１は、本実施形態に係る文字認識装置の構成の一例を示すブロック図である。図１のように、文字認識装置１は、画像取得部２、文字スコア算出部４、取消スコア算出部５、補正部６、デコード部７、および出力部８を備える。文字スコア算出部４は、文字認識ネットワーク４１を備える。取消スコア算出部５は、取消尤度予測ネットワーク５１を備える。
【0009】
文字認識装置１は、取り消された文字を判定し、文字認識結果に反映する。
【0010】
画像取得部２は、文字の書かれた画像を取得し、取得した画像を文字スコア算出部４と取消スコア算出部５とに出力する。
【0011】
文字スコア算出部４は、画像取得部２の出力する画像を文字認識ネットワーク４１へ入力して、画像全体の特徴量を算出する。次に、文字スコア算出部４は、画像全体の特徴量を、入力画像幅に応じた数のフレームに分割する。文字スコア算出部４は、例えば入力画像の高さ６４ピクセルに対して幅８ピクセル等、予め定めた比率で分割する。その後、文字スコア算出部４は、分割したフレームごとの特徴量からフレームｔ（ｔは１以上の整数）におけるクラスｋ（ｋは２以上の整数）の文字尤度（文字クラススコア）Ｍｔ，ｋを算出する。なお、クラスｋは、例えばアルファベットであれば、Ａ～Ｚそれぞれである。すなわち、文字スコア算出部４は、画像取得部２によって取得された画像に対して、所定の方向に分割されたフレームに対して認識対象の文字クラスらしさを表す文字クラススコアを算出する。また、文字スコア算出部４は、画像取得部２の出力する画像を文字認識ネットワーク４１へ入力して、フレームｔにおけるブランククラスのブランク尤度（ブランクスコア）Ｂｔを算出する。文字スコア算出部４は、算出したフレーム毎の文字尤度Ｍｔ，ｋとブランク尤度Ｂｔとを補正部６に出力する。
【0012】
文字認識ネットワーク４１は、入力された画像に含まれる文字の尤もらしさである文字尤度Ｍｔ，ｋを出力する。また、文字認識ネットワーク４１は、入力された画像に含まれるブランクの尤もらしさであるブランク尤度Ｂｔを出力する。なお、文字認識ネットワーク４１は、予め文字の画像とブランクの画像とを用いて文字尤度とブランク尤度を学習済みである。
【0013】
取消スコア算出部５は、画像取得部２の出力する画像を取消尤度予測ネットワーク５１へ入力して、画像全体の特徴量を算出し、文字スコア算出部４と同じフレーム数の特徴量に分割する。その後、取消スコア算出部５は、フレームｔにおける取消尤度（取消スコア）Ｒｔを算出する。すなわち、取消スコア算出部５は、フレームに対して取り消し文字らしさを表す取消スコアを算出する。文字スコア算出部４は、算出したフレーム毎の取消尤度Ｒｔを補正部６に出力する。
【0014】
取消尤度予測ネットワーク５１は、入力された画像に含まれる文字が取り消した状態の画像において、取り消しであることの尤もらしさである取消尤度Ｒｔを出力する。なお、取消尤度予測ネットワーク５１は、予め文字を取り消した状態の画像を用いて取消尤度を学習済みである。
【0015】
補正部６には、文字認識ネットワーク４１が出力するフレーム毎の文字尤度Ｍｔ，ｋとブランク尤度Ｂｔ、および取消スコア算出部５が出力するフレーム毎の取消尤度Ｒｔが入力される。補正部６は、取消尤度Ｒｔに基づいて、文字尤度Ｍｔ，ｋを補正して、補正後の文字尤度Ｍ’ｔ，ｋを算出する。このように、補正部６は、取消スコアが高いフレームほど文字クラスのスコアが相対的に小さくなるように文字クラスのスコアを補正する。補正部６は、フレーム毎のブランク尤度Ｂｔと、補正したフレーム毎の文字尤度Ｍ’ｔ，ｋとをデコード部７に出力する。
【0016】
デコード部７は、補正部６が出力するブランク尤度Ｂｔと文字尤度Ｍ’ｔ，ｋとをデコードして、所定のルールに基づいて尤度（スコア）の高い文字列を計算する。なお、算出する文字列の候補は、尤度が高い順に１つ以上であればよく、２つ以上であってもよい。また、算出する文字列は、１文字であってもよい。なお、所定のルールは、例えば、連続するラベルとブランクを削除する。なお、デコード部７は、最も尤度の高い文字列を計算する際、バイグラムや単語リストなどの知識処理を考慮するようにしてもよい。
【0017】
出力部８は、デコード部７が算出した結果を反映して、認識された文字列（または文字）を、外部装置へ出力する。外部装置は、例えば画像表示装置、携帯端末等である。なお、出力される情報は、取り消し線で取り消された文字を除いた文字列、すなわち取り消されていない文字列の情報である。
【0018】
ここで、補正部６が行う補正方法の例を説明する。
補正部６は、例えば次式（１）を用いて文字尤度Ｍｔ，ｋを補正する。
補正部６は、例えば次式（１）を用いて文字尤度Ｍｔ，ｋを補正する。
【0019】
【数1】
【0020】
（１）式において、αは０≦α≦１の定数である。この式の意味合いは、取消スコア（取消尤度Ｒｔ）が高いフレームほど、文字クラスのスコア（文字尤度Ｍｔ，ｋ）が相対的に小さくなるように文字クラスのスコアを補正している。
【0021】
または、補正部６は、例えば次式（２）を用いて文字尤度Ｍｔ，ｋを補正する。
【0022】
【数2】
【0023】
式（２）において、αは０≦α≦１の定数であり、βは０≦β≦１の定数であり、ｕはステップ関数である。式（２）を用いる場合は、指数部分が離散値であるため、離散値に応じて補正後の状態を設定する。
【0024】
次に、本実施形態の文字認識における処理の概要を、図２と図３を参照して説明する。図２は、文字が取り消されていずかつ補正を行っていない場合の文字認識例を示す図である。なお、以下の各実施形態では、文字が書かれた（または印字された）画像を所定方向の一例として横方向のフレームに分割する例を説明する。
【0025】
図２の例では、入力画像ｇ１０に「Ａ」と「Ｂ」が書かれている（または印字されている）。この例では、入力画像ｇ１０の横方向を３つのフレームｆ１～ｆ３に分割して処理する例を説明する。
【0026】
各フレームを文字認識（含むブランク認識）した結果ｇ２０のように、フレームｆ１の場合は、クラスＡの文字尤度ｇ２１が最も高く、次にブランク尤度ｇ２３が高く、クラスＢの文字尤度ｇ２２が最も低い。フレームｆ２の場合は、ブランク尤度が最も高く、次にクラスＢの文字尤度が高く、クラスＡの文字尤度が最も低い。フレームｆ３の場合は、クラスＢの文字尤度が最も高く、次にクラスＡの文字尤度が高く、ブランク尤度が最も低い。
【0027】
このような場合は、フレーム順に尤度が高い「Ａ」、ブランク、「Ｂ」からブランクを除外した認識結果ｇ３０である「ＡＢ」が出力される。このように、取り消しが行われていない場合は、補正を行わなくても適切に文字認識できる。
【0028】
次に、取り消しが行われている場合の補正前の認識結果と補正後の認識結果例を説明する。図３は、取り消しが行われている場合の補正前の認識結果と補正後の認識結果例を示す図である。また、図３の例では、入力画像ｇ５０に「Ａ」と「二本の横棒で取り消しされたＢ」が書かれている（または印字されている）。
【0029】
各フレームを文字認識（含むブランク認識）と取消予測とを行った結果ｇ５０のように、フレームｆ１の場合は、クラスＡの文字尤度ｇ６１が最も高く、次にブランク尤度ｇ６３が高く、次にクラスＢの文字尤度ｇ６３が高く、取消尤度ｇ６４が最も低い。フレームｆ２の場合は、ブランク尤度と取消尤度とが同等で高く、クラスＢの文字尤度とクラスＡの文字尤度が同等で低い。フレームｆ３の場合は、取消尤度とクラスＢの文字尤度が同等で高く、ブランク尤度とクラスＡの文字尤度とが同等で低い。
【0030】
このように補正前の状態では、フレームｆ２で取消であるかブランクであるかを判定しにくい。
このため、本実施形態では、取消尤度を用いて、各クラスの尤度に対して、補正ｇ６６を行う。補正の結果ｇ７０のように、フレームｆ１の場合は、クラスＡの文字尤度ｇ７１が最も高く、次にブランク尤度ｇ７３が高く、次にクラスＢの文字尤度ｇ７３が高い。フレームｆ２の場合は、ブランク尤度が最も高く、クラスＢの文字尤度とクラスＡの文字尤度が同等で低い。フレームｆ３の場合は、ブランク尤度が尤も高く、クラスＢの文字尤度とクラスＡの文字尤度とが同等で低い。
このため、本実施形態では、取消尤度を用いて、各クラスの尤度に対して、補正ｇ６６を行う。補正の結果ｇ７０のように、フレームｆ１の場合は、クラスＡの文字尤度ｇ７１が最も高く、次にブランク尤度ｇ７３が高く、次にクラスＢの文字尤度ｇ７３が高い。フレームｆ２の場合は、ブランク尤度が最も高く、クラスＢの文字尤度とクラスＡの文字尤度が同等で低い。フレームｆ３の場合は、ブランク尤度が尤も高く、クラスＢの文字尤度とクラスＡの文字尤度とが同等で低い。
【0031】
この結果、文字認識装置１は、フレーム順に尤度が高い「Ａ」、ブランク、ブランクからブランクを除外した認識結果ｇ８０である「Ａ」を出力する。このように、取り消しが行われている場合であっても、本実施形態によれば補正を行うことで適切に文字認識できる。
なお、図３で用いた例では、文字が二重線で取り消されている例を説明したが、取り消しはこれに限らず、黒塗り、斜め線等であってもよい。取消尤度予測ネットワーク５１は、このような各種の取り消し状態を予め学習しておく。
なお、図３で用いた例では、文字が二重線で取り消されている例を説明したが、取り消しはこれに限らず、黒塗り、斜め線等であってもよい。取消尤度予測ネットワーク５１は、このような各種の取り消し状態を予め学習しておく。
【0032】
次に、本実施形態における文字認識装置１の処理手順例を説明する。図４は、本実施形態に係る文字認識装置の処理手順例を示すフローチャートである。
【0033】
画像取得部２は、文字の書かれた画像を取得する（ステップＳ１１）。
【0034】
文字スコア算出部４と取消スコア算出部５は、入力画像全体の特徴量を算出し、入力画像幅に応じた数の特徴量に分割する（ステップＳ１２）。
【0035】
文字スコア算出部４は、分割された特徴量からフレームｔにおけるクラスｋの文字尤度Ｍｔ，ｋと、フレームｔにおけるブランククラスのブランク尤度Ｂｔとを算出する（ステップＳ１３）。
【0036】
取消スコア算出部５は、分割された特徴量からフレームｔにおける取消尤度Ｒｔを算出する（ステップＳ１４）。
【0037】
補正部６は、取消尤度Ｒｔに基づいて、文字尤度Ｍｔ，ｋを補正して、補正後の文字尤度Ｍ’ｔ，ｋを算出する（ステップＳ１５）。
【0038】
デコード部７は、補正部６が出力するブランク尤度Ｂｔと文字尤度Ｍ’ｔ，ｋとをデコードして、所定のルールに基づいて尤度の高い文字列を推定する（ステップＳ１６）。
【0039】
出力部８は、デコード部７が推定した結果を反映して、認識された文字列を、外部装置へ出力する（ステップＳ１７）。
【0040】
以上のように、本実施形態では、クラス毎の文字尤度と取消尤度を用いて、クラス毎の文字尤度を補正するようにした。また、本実施形態では、取消スコアが高いフレームほど、文字クラスのスコアが相対的に小さくなるように文字クラスのスコアを補正するようにした。
これにより、本実施形態によれば、取り消された文字を判定し、認識結果に反映させることができる。
これにより、本実施形態によれば、取り消された文字を判定し、認識結果に反映させることができる。
【0041】
（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態の文字認識装置１の構成例は、第１の実施形態と同じである。本実施形態では、補正時に字種毎に補正の重みを変える。
次に、第２の実施形態について説明する。本実施形態の文字認識装置１の構成例は、第１の実施形態と同じである。本実施形態では、補正時に字種毎に補正の重みを変える。
【0042】
次に、本実施形態における文字認識装置１の処理手順例を説明する。図５は、本実施形態に係る文字認識装置の処理手順例を示すフローチャートである。
【0043】
文字認識装置１は、第１の実施形態と同様にステップＳ１１～Ｓ１４の処理を行う。
【0044】
次に、補正部６は、クラス毎に異なる強度にして、取消尤度Ｒｔに基づいて文字尤度Ｍｔ，ｋを補正して、補正後の文字尤度Ｍ’ｔ，ｋを算出する（ステップＳ２１）。
【0045】
次に、文字認識装置１は、第１の実施形態と同様にステップＳ１６～Ｓ１７の処理を行う。
【0046】
ここで、ステップＳ２１で補正部６が行う補正例を説明する。
補正部６は、例えば次式（３）を用いて、クラスごとに異なる強度とすることで、横線を含む文字の誤削除を抑制する。誤認識されやすい横線を含む文字とは、例えば、「￥」（エンマーク）、「キ」（カタカナの“き”）等である。
補正部６は、例えば次式（３）を用いて、クラスごとに異なる強度とすることで、横線を含む文字の誤削除を抑制する。誤認識されやすい横線を含む文字とは、例えば、「￥」（エンマーク）、「キ」（カタカナの“き”）等である。
【0047】
【数3】
【0048】
式（３）において、文字のクラスｋ毎のαｋは０≦αｋ≦１の定数である。
補正部６は、このように誤認識されやすい字種に対して、定数αｋを大きくする。
補正部６は、このように誤認識されやすい字種に対して、定数αｋを大きくする。
【0049】
ここで、定数αｋの設定方法例を説明する。
補正部６は、それぞれの字種１文字の画像に対して、次式（４）を用いて取消尤度を計算することで定数αｋの設定する。
補正部６は、それぞれの字種１文字の画像に対して、次式（４）を用いて取消尤度を計算することで定数αｋの設定する。
【0050】
【数4】
【0051】
ただし、式（４）において、Ｒｔ（ｘｋ）は、クラスｋの画像ｘｋを入力したときの取消尤度である。なお、式（４）において、Ｎ枚の画像ｘｋ，１，…，ｘｋ，Ｎの平均値や最大値、中央値などとしてもよい。
【0052】
ここで、字種毎に補正時の重みを換えることのメリットをさらに説明する。図６は、字種毎に補正時の重み強度を換えることのメリットを説明するための図である。図６の例は、「￥」、「３」、「０」、「３の取り消し」の入力画像ｇ１０１を文字認識させて、「￥３０」と認識させたい場合の処理と尤度の例である。
【0053】
表ｇ１１１は、補正時の重みを変えなかった場合のフレーム毎の各尤度である。横方向はフレームｆ１～ｆ４に対応し、縦方向は上から下に「￥」の文字尤度Ｍｔ，１、「３」の文字尤度Ｍｔ，２、「０」の文字尤度Ｍｔ，３、ブランク尤度Ｂｔ、および取消尤度Ｒｔである。表ｇ１１１のように、補正時の重みを変えない場合は、本来取り消しでは無い字種「￥」において、取消尤度Ｒｔが高くなり誤認識することになる。
【0054】
表ｇ１１２は、「￥」と「３」の補正時の重みをα￥＝α３＝０．１に変え補正した場合のフレーム毎の各尤度である。表ｇ１１２の横方向はフレームｆ１～ｆ４に対応し、縦方向は上から下に「￥」の文字尤度Ｍｔ，１、「３」の文字尤度Ｍｔ，２、「０」の文字尤度Ｍｔ，３、およびブランク尤度Ｂｔである。表ｇ１１２の場合、補正により画像ｇ１０１の認識した結果は、「￥３０」の尤度が０．００９（＝０．１×０．０９）、「３０」の尤度が０．０１（＝０．１×０．１）となる。この例では、補正時の重みを同じにすると、第１候補が「３０」となり「￥」も削除して認識され誤認識されることになる。
【0055】
表ｇ１１３は、「￥」の補正時の重みをα￥＝０．９とし、「３」の補正時の重みをα３＝０．１に変え補正した場合のフレーム毎の各尤度である。表ｇ１１３の横方向と縦方向は表ｇ１１３と同じである。表ｇ１１３の場合、補正により画像ｇ１０１の認識した結果は、「￥３０」の尤度が０．０８１（＝０．８１×０．１）、「３０」の尤度が０．０１（＝０．１×０．１）となる。この例のように、補正時の重みを適切に設定することで、第１候補が「￥３０」となり「￥」が削除されることを抑制できる。
【0056】
以上のように、本実施形態では、クラスごとに異なる強度とすることで、クラス毎の文字尤度を補正するようにした。
これにより、本実施形態によれば、例えば横線による取り消しと誤認されやすい文字種に対して補正を制御することができるので、誤認識を低減することができる。
これにより、本実施形態によれば、例えば横線による取り消しと誤認されやすい文字種に対して補正を制御することができるので、誤認識を低減することができる。
【0057】
（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態では、画像毎に入力して、フレーム毎では無く文字毎に尤度（スコア）を求めて、もっともらしい文字を推定する。
次に、第３の実施形態について説明する。本実施形態では、画像毎に入力して、フレーム毎では無く文字毎に尤度（スコア）を求めて、もっともらしい文字を推定する。
【0058】
図７は、本実施形態に係る文字認識装置の構成の一例を示すブロック図である。図７のように、文字認識装置１Ａは、画像取得部２、文字スコア算出部４Ａ、取消スコア算出部５Ａ、デコード部７Ａ、および出力部８を備える。文字スコア算出部４Ａは、文字認識ネットワーク４１を備える。取消スコア算出部５Ａは、取消尤度予測ネットワーク５１を備える。
【0059】
文字スコア算出部４Ａは、画像取得部２が出力する画像情報を文字認識ネットワーク４１へ入力して、クラスｋの文字尤度（スコア）Ｍｋを算出する。文字スコア算出部４Ａは、算出した文字尤度Ｍｋをデコード部７Ａに出力する。なお、文字認識装置１Ａは、画像から周知の手法によって１文字（１クラス）毎の画像を抽出する。
【0060】
取消スコア算出部５Ａは、画像取得部２が出力する画像情報を取消尤度予測ネットワーク５１へ入力して、クラスの取消尤度（スコア）Ｒｋを算出する。文字スコア算出部４Ａは、算出した取消尤度Ｒｔをデコード部７Ａに出力する。
【0061】
デコード部７Ａは、文字尤度Ｍｋと取消尤度Ｒｔとをデコードして、尤もらしい文字を推定する。
【0062】
次に、デコード部７Ａのデコードアルゴリズムの一例を説明する。
図８は、本実施形態に係るデコード部７Ａのデコードアルゴリズムの一例を説明するための図である。
なお、本実施形態では、取り消し無しのスコアをＭｋとし、取り消し有りのスコアをγＭｋＲｋ（ただしγは１以上の定数）とする。また、図８の例は「￥」の画像を入力した場合の認識例である。
図８は、本実施形態に係るデコード部７Ａのデコードアルゴリズムの一例を説明するための図である。
なお、本実施形態では、取り消し無しのスコアをＭｋとし、取り消し有りのスコアをγＭｋＲｋ（ただしγは１以上の定数）とする。また、図８の例は「￥」の画像を入力した場合の認識例である。
【0063】
デコード部７Ａは、全クラス取り消し有りのスコアと、全クラス取り消し無しのスコアとを計算し、スコアが高い順に出力する。表ｇ２０１は、クラスｋ毎に、文字スコア算出部４Ａが算出した文字尤度Ｍｋと、取消スコア算出部５Ａが算出した取消尤度Ｒｔとを算出した結果例である。
【0064】
表ｇ２０２は、γが２．０と１０．０の場合のスコアが第１位～第４位の候補である。
表ｇ２０２のように、γが２．０の場合のスコアが高い順は、「￥」の取り消し無し、「Ｙ」の取り消し有り、「Ｙ」の取り消し無し、「￥」の取り消し有りであった。
また、表ｇ２０２のように、γが１０．０の場合のスコアが高い順は、「Ｙ」の取り消し有り、「￥」の取り消し無し、「Ｙ」の取り消し無し、「￥」の取り消し有りであった。
表ｇ２０２のように、γが２．０の場合のスコアが高い順は、「￥」の取り消し無し、「Ｙ」の取り消し有り、「Ｙ」の取り消し無し、「￥」の取り消し有りであった。
また、表ｇ２０２のように、γが１０．０の場合のスコアが高い順は、「Ｙ」の取り消し有り、「￥」の取り消し無し、「Ｙ」の取り消し無し、「￥」の取り消し有りであった。
【0065】
このように、本実施形態では、デコード部７Ａが取り消し無しのスコアを、重み係数γと、文字尤度Ｍｋと、取り消し尤度Ｒｋを算出し、取り消し有りのスコアと、取り消し無しのスコアとに基づいて、尤もらしい文字または取り消しを推定する。
【0066】
次に、本実施形態における文字認識装置１の処理手順例を説明する。図９は、本実施形態に係る文字認識装置の処理手順例を示すフローチャートである。
【0067】
画像取得部２は、文字の書かれた画像（例えば画像ｇ２１１）を取得する（ステップＳ３１）。
【0068】
文字スコア算出部４Ａは、画像取得部２が出力する画像情報を文字認識ネットワーク４１へ入力して、クラスｋの文字尤度Ｍｋを算出する（ステップＳ３２）。
【0069】
取消スコア算出部５Ａは、画像取得部２が出力する画像情報を取消尤度予測ネットワーク５１へ入力して、取消尤度Ｒｔを算出する（ステップＳ３３）。
【0070】
デコード部７Ａが取り消し無しのスコアを、重み係数γと、文字尤度Ｍｋと、取り消し尤度Ｒｋを算出し、取り消し有りのスコアと、取り消し無しのスコアとに基づいて、尤もらしい文字または取り消しを推定する（ステップＳ３４）。
【0071】
出力部８は、デコード部７Ａが算出し推定した結果を反映して、認識された文字列を、外部装置へ出力する（ステップＳ３５）。
【0072】
本実施形態では、文字毎に取り消し有りのスコアと取り消し無しのスコアとを算出し、算出したスコアと重み係数γ都に基づいて、尤もらしい文字や取り消し情報を推定して出力するようにした。
これにより、本実施形態によれば、取得した画像が文字であるか取り消しであるかを適切に認識することができる。
これにより、本実施形態によれば、取得した画像が文字であるか取り消しであるかを適切に認識することができる。
【0073】
（第４の実施形態）
次に、第４の実施形態について説明する。本実施形態では、第１の実施形態のように補正した文字尤度に基づいて文字列を推定し、さらに補正前の文字尤度とブランク尤度とに基づいて取り消しを想定していない文字列も推定して、推定結果を比較して、文字認識を行う。
次に、第４の実施形態について説明する。本実施形態では、第１の実施形態のように補正した文字尤度に基づいて文字列を推定し、さらに補正前の文字尤度とブランク尤度とに基づいて取り消しを想定していない文字列も推定して、推定結果を比較して、文字認識を行う。
【0074】
図１０は、本実施形態に係る文字認識装置の構成の一例を示すブロック図である。図１０のように、文字認識装置１Ｂは、画像取得部２、文字スコア算出部４、取消スコア算出部５、補正部６、デコード部７Ｂ、比較部９、および出力部８Ｂを備える。文字スコア算出部４は、文字認識ネットワーク４１を備える。取消スコア算出部５は、取消尤度予測ネットワーク５１を備える。
【0075】
デコード部７Ｂは、補正された文字尤度Ｍ’ｔ、ｋとブランク尤度Ｂｔとに基づいて、尤もらしい文字列を推定する。さらに、デコード部７Ｂは、文字尤度Ｍｔ、ｋとブランク尤度Ｂｔとに基づいて、取り消しを想定しない場合の尤もらしい文字列を推定する。
【0076】
比較部９は、補正された文字尤度Ｍ’ｔ、ｋとブランク尤度Ｂｔとに基づいて推定された文字列と、文字尤度Ｍｔ、ｋとブランク尤度Ｂｔとに基づいて推定された文字列とを比較する。
【0077】
出力部８Ｂは、比較部が比較した結果に基づいて、取り消し反映前の冗長な文字列と取り消し情報を、外部装置へ出力する。
【0078】
次に、本実施形態における文字認識装置１Ｂの処理手順例を説明する。図１１は、本実施形態に係る文字認識装置の処理手順例を示すフローチャートである。
【0079】
画像取得部２は、文字の書かれた画像（例えば画像ｇ３１１）を取得する（ステップＳ４１）。
【0080】
続けて、文字認識装置１Ｂは、第１の実施形態と同様にステップＳ１２～Ｓ１６の処理を行う。
【0081】
続けて、デコード部７Ｂは、文字尤度Ｍｔ、ｋとブランク尤度Ｂｔとに基づいて、取り消しを想定しない場合の尤もらしい文字列を推定する（ステップＳ４２）。なお、デコード部７Ｂは、ステップＳ４２の処理を、ステップＳ１２～Ｓ１６と並行して行うようにしてもよく、ステップＳ１２～Ｓ１６より先に行うようにしてもよい。
【0082】
比較部９は、補正された文字尤度Ｍ’ｔ、ｋとブランク尤度Ｂｔとに基づいて推定された文字列と、文字尤度Ｍｔ、ｋとブランク尤度Ｂｔとに基づいて推定された文字列とを比較する。比較部９は、比較した比較結果を出力部８Ｂに出力する（ステップＳ４３）。
【0083】
出力部８Ｂは、比較部が比較した結果に基づいて、取り消し反映前の冗長な文字列と取り消し情報を、外部装置へ出力する（ステップＳ４４）。例えば、補正された文字尤度Ｍ’ｔ、ｋとブランク尤度Ｂｔとに基づいて推定された文字列が「￥３０」であり、文字尤度Ｍｔ、ｋとブランク尤度Ｂｔとに基づいて推定された文字列が「￥３００」である場合、出力部８Ｂは、「￥３００」と４文字目が取り消しであると推定される文字列であることを含めて出力する。
【0084】
以上のように、本実施形態では、補正した文字尤度に基づいて文字列を推定し、さらに補正前の文字尤度とブランク尤度とに基づいて取り消しを想定していない文字列も推定して、推定結果を比較して、文字認識を行うようにした。
これにより、本実施形態によれば、このような認識結果を、例えば手書きした利用者に提示することで、正しく認識できたか否か、または認識が正しくない場合の修正の手がかりを提供することができる。
これにより、本実施形態によれば、このような認識結果を、例えば手書きした利用者に提示することで、正しく認識できたか否か、または認識が正しくない場合の修正の手がかりを提供することができる。
【0085】
（第５の実施形態）
次に、第５の実施形態について説明する。上述した各実施形態では、取り消しの一例として、二本の横線による取り消しを説明したが、取り消し方法は、図１２のように取消線ｇ４０１、黒塗りｇ４０２、斜め線ｇ４０３、およびバツ印ｇ４０４等がある。図１２は、取り消しの例を示す図である。
次に、第５の実施形態について説明する。上述した各実施形態では、取り消しの一例として、二本の横線による取り消しを説明したが、取り消し方法は、図１２のように取消線ｇ４０１、黒塗りｇ４０２、斜め線ｇ４０３、およびバツ印ｇ４０４等がある。図１２は、取り消しの例を示す図である。
【0086】
図１２のように、複数の取り消しが想定される場合の取消は、取り消し有り無しの２つのクラスではなく、取り消し無し、取消線による取り消し、黒塗りによる取消、斜め線による取り消し、およびバツ印による取り消しの５つのクラスが必要になる。このため、本実施形態では、取り消しに対して３つ以上のクラスを用いて認識を行う。なお、本実施形態の文字認識装置１の構成例は、第１の実施形態と同じである。
【0087】
取消スコア算出部５は、画像取得部２の出力する画像を取消尤度予測ネットワーク５１へ入力して、画像全体の特徴量を算出する。次に画像全体の特徴量を、入力画像幅に応じた数のフレームに分割する。その後、文字スコア算出部４は、分割したフレームごとの特徴量からフレームｔ、取消クラスｊにおける取消尤度（スコア）Ｒｔ、ｊを算出する。文字スコア算出部４は、算出したフレーム毎の取消尤度Ｒｔ、ｊを補正部６に出力する。
【0088】
補正部６は、取消尤度Ｒｔ、ｊに基づいて、文字尤度Ｍｔ，ｋを補正して、補正後の文字尤度Ｍ’ｔ，ｋを算出する。
【0089】
ここで、補正部６の行う縫製方法例を説明する。
補正部６は、例えば、次式（５）を用いて取消クラスｊ毎に異なる閾値や重みを設定する。例えば、黒塗り取消クラスの重みを低くする（βｊを大きくする）。
補正部６は、例えば、次式（５）を用いて取消クラスｊ毎に異なる閾値や重みを設定する。例えば、黒塗り取消クラスの重みを低くする（βｊを大きくする）。
【0090】
【数5】
【0091】
なお、式（５）において、ｕはステップ関数であり、βｊは取消クラスｊ毎の重みである。
【0092】
次に、本実施形態における文字認識装置の処理手順例を説明する。図１３は、本実施形態に係る文字認識装置の処理手順例を示すフローチャートである。
【0093】
文字認識装置１は、第１の実施形態と同様にステップＳ１１～Ｓ１３の処理を行う。
【0094】
取消スコア算出部５は、分割された特徴量からフレームｔ、取消クラスｊにおける取消尤度Ｒｔ、ｊを算出する（ステップＳ５１）。
【0095】
補正部６は、取消尤度Ｒｔ、ｊに基づいて、文字尤度Ｍｔ，ｋを補正して、補正後の文字尤度Ｍ’ｔ，ｋを算出する（ステップＳ５２）。
【0096】
続けて、文字認識装置１は、第１の実施形態と同様にステップＳ１６～Ｓ１７の処理を行う。
【0097】
なお、本実施形態の手法に、字種毎の補正時の重みを変える第２の実施形態の手法を組み合わせてもよい。
【0098】
以上のように、本実施形態では、複数の取り消しパターンに合わせて取消クラスを用いて、取消尤度を算出するようにした。
これにより、本実施形態によれば、取消尤度推定の高精度化と、説明性の向上とを行うことができる。
これにより、本実施形態によれば、取消尤度推定の高精度化と、説明性の向上とを行うことができる。
【0099】
（第６の実施形態）
次に、第６の実施形態について説明する。本実施形態の文字認識装置１の構成例は、第１の実施形態と同じである。本実施形態では、隣接フレームで取消か取消でないかは頻繁に変化しないことに基づいて、隣接フレームの取消尤度も考慮して認識を行う。
次に、第６の実施形態について説明する。本実施形態の文字認識装置１の構成例は、第１の実施形態と同じである。本実施形態では、隣接フレームで取消か取消でないかは頻繁に変化しないことに基づいて、隣接フレームの取消尤度も考慮して認識を行う。
【0100】
補正部６は、補正時に、例えば取消尤度Ｒｔにおいてｔに関してガウス関数を用いて平滑化を行う。または、補正部６は、補正時に、例えば隣接フレームで、次式（６）を用いてＯＲ演算を行う。
【0101】
【数6】
【0102】
次に、本実施形態における文字認識装置の処理手順例を説明する。図１４は、本実施形態に係る文字認識装置の処理手順例を示すフローチャートである。
【0103】
文字認識装置１は、第１の実施形態と同様にステップＳ１１～Ｓ１４の処理を行う。
【0104】
補正部６は、補正時に隣接するフレームを考慮して、取消尤度Ｒｔに基づいて、文字尤度Ｍｔ，ｋを補正して、補正後の文字尤度Ｍ’ｔ，ｋを算出する（ステップＳ６１）。
【0105】
続けて、文字認識装置１は、第１の実施形態と同様にステップＳ１６～Ｓ１７の処理を行う。
【0106】
以上のように、本実施形態では、隣接フレームの取消尤度も考慮して認識するようにした。
これにより、本実施形態によれば、取消判定の高精度化を行うことができる。
これにより、本実施形態によれば、取消判定の高精度化を行うことができる。
【0107】
上記各実施形態では、文字の取り消しを認識する例を説明したが、これに限らない。書かれた（または印字された）ものは、記号や数式等であってもよい。このように、本実施形態においては、文字は、例えば、アルファベット、数字、記号、ひらがな、カタカナ、漢字等を含む。
【0108】
また、上記実施形態のうちのいくつかの実施形態では、文字スコア算出部４がブランククラスの尤度Ｂｔを算出し、デコード部７が補正された文字尤度と取り消し尤度から尤もらしい文字列を推定する例を説明したが、ブランク尤度を用いずに推定するようにしてもよい。
【0109】
また、上記実施形態では、文字が書かれた（または印字された）画像を横方向のフレームに分割する例を説明したが、分割する方向は、例えば縦方向であってもよい。
【0110】
上記各実施形態では、文字認識装置１（１Ａ，１Ｂ）は、ＬＳＩ等のハードウェア機能部であるものとしたが、ソフトウェア機能部であってもよい。
【0111】
以上説明した少なくともひとつの実施形態によれば、取消スコア算出部５を持つことにより、取り消された文字を判定し認識結果に反映させることができる。また、以上説明した少なくともひとつの実施形態によれば、補正部６を持つことにより、クラス毎の文字尤度と取消尤度を用いて、クラス毎の文字尤度を補正することで、取り消された文字を判定し認識結果に反映させることができる。
【0112】
なお、本発明における文字認識装置１（１Ａ，１Ｂ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより文字認識装置１（１Ａ，１Ｂ）の処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0113】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0114】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0115】
１，１Ａ，１Ｂ…文字認識装置、２…画像取得部、４，４Ａ…文字スコア算出部、５，５Ａ…取消スコア算出部、６…補正部、７，７Ａ，７Ｂ…デコード部、８…出力部、９…比較部、４１…文字認識ネットワーク、５１…取消尤度予測ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】