特開 2022-16830 文字列認識装置、文字列認識方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022016830

(43)【公開日】2022-01-25

(54)【発明の名称】文字列認識装置、文字列認識方法、及びプログラム

(51)【国際特許分類】

   G06V 30/26 20220101AFI20220118BHJP

   G06T 7/00 20170101ALI20220118BHJP

   G06V 30/14 20220101ALI20220118BHJP

【ＦＩ】

G06K9/72 Z

G06T7/00 350C

G06K9/20 340K

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2020119790

(22)【出願日】2020-07-13

(71)【出願人】

【識別番号】517332845

【氏名又は名称】Ａｒｉｔｈｍｅｒ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】平田 朋義

【テーマコード（参考）】

5B029

5B064

5L096

【Ｆターム（参考）】

5B029AA01

5B029BB02

5B029CC28

5B064AA01

5B064AB03

5B064BA01

5B064CA08

5B064EA18

5B064EA19

5L096BA17

5L096EA35

5L096HA11

5L096KA04

(57)【要約】

【課題】文書画像における文字列の認識処理の精度を改善すること。
【解決手段】文字列認識装置１００は、文書画像から文字列の画像を抽出する抽出部１２と、一又は複数の文字を推定する文字認識モデル３に、抽出した文字列の画像を入力することによって候補文字列を推定する推定部１３と、候補文字列から第１文字を含むように切り出された文字列の並びの第１出現確率と、文字列において第１文字を第１文字とは異なる第２文字に変換した場合の文字列の並びの第２出現確率と、に基づいて第１文字を第２文字に変換するか否かを判断する判断部１６と、判断部１６の判断結果と候補文字列とに基づいて、文字列の画像に対応する文字列を認識する認識部１８と、を備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

文書画像から文字列の画像を抽出する抽出部と、
一又は複数の文字を推定する文字推定モデルに、抽出した前記文字列の画像を入力することによって候補文字列を推定する推定部と、
前記候補文字列から第１文字を含むように切り出された文字列の並びの第１出現確率と、当該文字列において前記第１文字を当該第１文字とは異なる第２文字に変換した場合の文字列の並びの第２出現確率と、に基づいて前記第１文字を前記第２文字に変換するか否かを判断する判断部と、
前記判断部の判断結果と前記候補文字列とに基づいて、前記文字列の画像に対応する文字列を認識する認識部と、
を備える、文字列認識装置。

【請求項2】

前記文字列は、手書き文字を含む手書き文字列である、
請求項１に記載の文字列認識装置。

【請求項3】

前記文字列は、等幅の文字を含む文字列である、
請求項１又は２に記載の文字列認識装置。

【請求項4】

前記候補文字列から、前記文字推定モデルが前記候補文字列に含まれる文字ごとに出力した推定確率に基づいて前記第１文字を特定する特定部を更に備える、
請求項１から請求項３のいずれか一項に記載の文字列認識装置。

【請求項5】

前記判断部は、前記文字推定モデルが前記第１文字に対して出力した第１推定確率、及び、前記第１出現確率と、前記文字推定モデルが前記第２文字に対して出力した第２推定確率、及び、前記第２出現確率と、に基づいて前記第１文字を前記第２文字に変換するか否かを判断する、
請求項１から請求項４のいずれか一項に記載の文字列認識装置。

【請求項6】

前記文書画像に含まれ得る一又は複数の文字列が登録されたデータベースから切り出された、所定数の文字で構成された一又は複数の文字列と、当該文字列の並びの出現確率と、を関連付けた文字列辞書を取得する取得部を更に備え、
前記判断部は、前記文字列辞書に基づいて、前記第１出現確率と前記第２出現確率とを算出する、
請求項１から請求項５のいずれか一項に記載の文字列認識装置。

【請求項7】

前記判断部は、前記候補文字列から、前記第１文字の配置が異なるように、異なる複数の文字列を切り出す、
請求項１から請求項６のいずれか一項に記載の文字列認識装置。

【請求項8】

前記第１出現確率が前記第２出現確率より低い場合に、前記第１文字を前記第２文字に変換する変換部を更に備える、
請求項１から請求項７のいずれか一項に記載の文字列認識装置。

【請求項9】

前記第１文字を含む前記文字列、及び、前記第２文字に変換した場合の前記文字列は、共通の文字数で構成される、
請求項１から請求項８のいずれか一項に記載の文字列認識装置。

【請求項10】

前記判断部は、前記第１文字が前記第２文字に変換された前記候補文字列のうち第３文字を含むように切り出された文字列の並びの第３出現確率と、当該文字列において前記第３文字を当該第３文字とは異なる第４文字に変換した場合の文字列の並びの第４出現確率と、に基づいて前記第３文字を前記第４文字に変換するか否かを判断する、
請求項１から請求項９のいずれか一項に記載の文字列認識装置。

【請求項11】

前記判断部は、
前記候補文字列から、前記第１文字の配置が異なるように、異なる複数の文字列を切り出し、当該異なる複数の文字列に対応する複数の前記第１出現確率を算出し、
当該異なる複数の文字列において前記第１文字を前記第２文字に変換した文字列に対応する複数の前記第２出現確率を算出し、
前記文字推定モデルが前記第１文字に対して出力した第１推定確率と、複数の前記第１出現確率と、前記文字推定モデルが前記第２文字に対して出力した第２推定確率と、複数の前記第２出現確率とに基づいて、前記第１文字を前記第２文字に変換するか否かを判断する、
請求項１から１０のいずれか一項に記載の文字列認識装置。

【請求項12】

前記文字推定モデルは、畳み込みニューラルネットワークにより構成される、
請求項１から請求項１１のいずれか一項に記載の文字列認識装置。

【請求項13】

文字列を認識するコンピュータが実行する文字列認識方法であって、
文書画像から前記文字列の画像を抽出するステップと、
一又は複数の文字を推定する文字推定モデルに、抽出した前記文字列の画像を入力することによって候補文字列を推定するステップと、
前記候補文字列から第１文字を含むように切り出された文字列の並びの第１出現確率と、当該文字列において前記第１文字を当該第１文字とは異なる第２文字に変換した場合の文字列の並びの第２出現確率と、に基づいて前記第１文字を前記第２文字に変換するか否かを判断するステップと、
前記判断するステップの判断結果と前記候補文字列とに基づいて、前記文字列の画像に対応する文字列を認識するステップと、を含む、
文字列認識方法。

【請求項14】

文字列を認識するコンピュータを、
文書画像から前記文字列の画像を抽出する抽出部と、
一又は複数の文字を推定する文字推定モデルに、抽出した前記文字列の画像を入力することによって候補文字列を推定する推定部と、
前記候補文字列から第１文字を含むように切り出された文字列の並びの第１出現確率と、当該文字列において前記第１文字を当該第１文字とは異なる第２文字に変換した場合の文字列の並びの第２出現確率と、に基づいて前記第１文字を前記第２文字に変換するか否かを判断する判断部と、
前記判断部の判断結果と前記候補文字列とに基づいて、前記文字列の画像に対応する文字列を認識する認識部と、
して機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文字列認識装置、文字列認識方法、及びプログラムに関する。

【背景技術】

【0002】

従来、入力文字と、様々な文字が記録された辞書と、のパターンマッチングにより認識結果候補文字を決定する手法が知られている。

【0003】

例えば、特許文献１には、入力文字を認識する文字列認識装置が記載されている。文字列認識装置は、各文字について特徴量空間における距離に基づいてクラスタリングを行い、文字ごとに、字形が似た文字を集めた文字リストを作成する。文字列認識装置は、作成された文字リストを用いて、光学的文字認識処理、つまりОＣＲ（Optical Character Recognition）処理の結果を補正する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平３－１９６２８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載されている従来の文字認識技術は、必ずしも文字列を高精度に読み取るためのものではない。

【0006】

そこで、本発明のいくつかの態様はかかる事情に鑑みてなされたものであり、文書画像における文字列の認識処理の精度を改善することができる文字列認識技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係る文字列認識装置は、文書画像から文字列の画像を抽出する抽出部と、一又は複数の文字を推定する文字推定モデルに、抽出した文字列の画像を入力することによって候補文字列を推定する推定部と、候補文字列から第１文字を含むように切り出された文字列の並びの第１出現確率と、文字列において第１文字を第１文字とは異なる第２文字に変換した場合の文字列の並びの第２出現確率と、に基づいて第１文字を第２文字に変換するか否かを判断する判断部と、判断部の判断結果と候補文字列とに基づいて、文字列の画像に対応する文字列を認識する認識部と、を備える。

【0008】

本発明の一態様に係る文字列認識方法は、文字列を認識するコンピュータが実行する文字列認識方法であって、文書画像から文字列の画像を抽出するステップと、一又は複数の文字を推定する文字推定モデルに、抽出した文字列の画像を入力することによって候補文字列を推定するステップと、候補文字列から第１文字を含むように切り出された文字列の並びの第１出現確率と、文字列において第１文字を第１文字とは異なる第２文字に変換した場合の文字列の並びの第２出現確率と、に基づいて第１文字を第２文字に変換するか否かを判断するステップと、判断するステップの判断結果と候補文字列とに基づいて、文字列の画像に対応する文字列を認識するステップと、を含む。

【0009】

本発明の一態様に係るプログラムは、文字列を認識するコンピュータを、文書画像から文字列の画像を抽出する抽出部と、一又は複数の文字を推定する文字推定モデルに、抽出した文字列の画像を入力することによって候補文字列を推定する推定部と、候補文字列から第１文字を含むように切り出された文字列の並びの第１出現確率と、文字列において第１文字を第１文字とは異なる第２文字に変換した場合の文字列の並びの第２出現確率と、に基づいて第１文字を第２文字に変換するか否かを判断する判断部と、判断部の判断結果と候補文字列とに基づいて、文字列の画像に対応する文字列を認識する認識部と、して機能させる。

【0010】

なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。

【発明の効果】

【0011】

本発明によれば、文書画像における文字列の認識処理の精度を改善することができる。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る文字列認識装置の一例を示す概略構成図（システム構成図）である。

【図2】一実施形態に係る証券の一例を示す図である。

【図3】一実施形態に係る文字列認識処理における推定処理の一例を示す概念図である。

【図4】一実施形態に係る文字列認識処理における修正処理の一例を示す概念図である。

【図5】一実施形態に係る文字列認識処理における修正処理及び認識処理の一例を示す概念図である。

【図6】一実施形態に係る文字列認識処理の一例を示すフローチャートである。

【図7】一実施形態に係るコンピュータのハードウェア構成の一例を示す図である。

【図8】一実施形態に係る文字列認識装置の他の一例を示す概略構成図である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照しながら本発明の実施の形態について説明する。以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。さらに、各図面において同一の構成要素に対しては可能な限り同一の符号を付し、重複する説明は省略する。

【0014】

図１は、本発明の一実施形態に係る文字列認識装置の概略構成図（システム構成図）である。図１に示すように、文字列認識装置１００は、文書に関する画像（文書画像）における一又は複数の手書き文字を含む手書き文字列を認識する装置である。ただし、文字列認識装置１００は手書き文字列を認識するものに限定されず、活字文字列を認識するものであってもよい。文字列認識装置１００は、例えばサーバ装置等の情報処理装置である。文字列認識装置１００は、例えば、ラップトップ又はノートブック型コンピュータ等の他の情報処理装置であってもよい。

【0015】

「文書」とは、文字列が記入された書類をいう。「文書」は、帳簿や伝票の総称である帳票を含む。帳票とは、例えば、証券会社等が扱う証券、申請書、又は、契約書等の書類を含む。「文書」は、帳票の他、免許証、マイナンバーカード、又は、会員証等の文字列が記入された他の書類等を含んでもよい。

【0016】

文字列認識装置１００は、例示的に、文書画像における手書き文字列を認識するための情報処理を実行する情報処理部１と、一又は複数の手書き文字を推定する文字推定モデル３と、文書画像に含まれ得る一又は複数の文字列が登録されたコーパス５（データベース）と、コーパス５から切り出された、所定数Ｎ（Ｎは、例えば２以上の整数である。）の文字で構成された一又は複数の文字列を格納するＮ文字列辞書７（文字列辞書）と、を備える。

【0017】

文字列認識装置１００は、文書画像における手書き文字以外の文字（例えば活字）を認識してもよい。また、文字推定モデル３、コーパス５、又は、Ｎ文字列辞書７の少なくとも一つは、文字列認識装置１００とは別個の装置、又は、データベースとして構成されてもよい。文字推定モデル３、コーパス５及びＮ文字列辞書７の詳細については、図３及び図４を参照して後述する。

【0018】

図２は、一実施形態に係る証券の一例を示す図である。図２に示すように、証券Ｃは、例えば、特定の保険会社「○○損害保険株式会社」の自動車保険証券である。

【0019】

証券Ｃは、手書き文字が記入されたフィールドとして、例えば、少なくとも「保険契約者」に含まれる住所フィールド２０を含む。住所フィールド２０は、文字列認識装置１００で手書き文字を認識するフィールドを例示したものであって、証券Ｃは住所フィールド２０の他にも手書き文字が記載されたフィールドを有してもよい。例えば、証券Ｃは、「保険契約者」に含まれる氏名フィールドと、「ご契約内容」に含まれる、保険の開始日及び保険の満期日を手書きで記入するための保険期間フィールド（不図示）と、を有してもよい。証券Ｃは、「ご契約のお車」に含まれる、車台番号を手書きで記入するための車台番号フィールド（不図示）、及び、登録番号を手書きで記入するための登録番号フィールド（不図示）等を更に有してもよい。文字列認識装置１００は、他のフィールドの手書き文字を認識してもよい。

【0020】

図１に戻り、情報処理部１は、機能的に、例えば、文書画像取得部１１、文字列抽出部１２（抽出部）、候補文字列推定部１３（推定部）、変換候補文字特定部１４（特定部）、Ｎ文字列辞書生成部１５（取得部）、変換判断部１６（判断部）、変換部１７、及び、文字列認識部１８（認識部）を含んで構成されている。なお、情報処理部１の上記各部は、例えば、メモリやハードディスク等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが実行したりすることにより実現することができる。

【0021】

文書画像取得部１１は、証券Ｃの文書画像を取得する。文書画像取得部１１は、例えば、文書画像取得部１１は、図７を参照して後述する入出力インターフェース４４の一例であるカメラ等の撮像装置で撮像することによって生成される文書画像を取得してもよい。

【0022】

図３から図５を参照して、一実施形態に係る文字列認識処理の一例を説明する。図３は、一実施形態に係る文字列認識処理における推定処理の一例を示す概念図である。図３に示すように、図１に示す文字列抽出部１２は、図２に示す証券Ｃから手書き文字を含む手書き文字列ＨＣＳ「東京都中野区新井」の画像を抽出する。図１に示す候補文字列推定部１３は、文字推定モデル３に、文字列抽出部１２が抽出した手書き文字列ＨＣＳの画像を入力することによって、初期読取結果として、手書き文字列ＨＣＳ「東京都中野区新井」の画像に対して、確からしい候補文字列ＣＳ「東小都串野区新井」を推定する。

【0023】

文字推定モデル３は、例えばニューラルネットワーク構造を備える。文字推定モデル３は、例えば畳み込みニューラルネットワーク、つまりＣＮＮ（Convolutional Neural Network）により構成される。ＣＮＮでは、例えば、証券Ｃにおける一又は複数のフィールドに含まれる手書き文字列の画像に関する特徴量マップ等を算出することによって候補文字列を推定してもよい。また、文字推定モデル３には、ＣＮＮに加えて、リカレントニューラルネットワーク、つまりＲＮＮ(Recurrent Neural Network)が更に結合されてもよい。文字推定モデル３は、ＲＮＮを用いて、特徴量マップから得られた複数の連続的な特徴データの前後関係を踏まえて文字列インデックス等を算出してもよい。なお、文字推定モデル３におけるネットワーク構造は上記以外の構成を採用してもよい。また、ニューラルネットワークについても、ＣＮＮ及びＲＮＮ以外のニューラルネットワークを採用してもよい。

【0024】

図４は、一実施形態に係る文字列認識処理における修正処理（変換処理）の一例を示す概念図である。本実施形態における修正処理は、以下の三つのステップを含む。図４に示すように、本実施形態における修正処理は、例えば、ステップ（１）ＣＮＮ（文字推定モデル３）を用いた推定確度（推定確率）の出力、ステップ（２）Ｎ文字列辞書ＤＢ７を用いた出現確度（出現確率）の出力、及び、ステップ（３）変換候補文字の確度の出力を含む。より具体的には、本実施形態における修正処理は、ステップ（１）で出力した推定確度と、ステップ（２）で出力した出現確度とに基づいて、文字ごとの確度を出力（算出）する（ステップ（３））。そして、本実施形態における修正処理において、ステップ（３）で出力した文字ごとの確度に基づいて、推定した文字（例えば「串」）を変換候補文字（例えば、「中」）に変換するか否か判断する。

【0025】

まず、ステップ（１）について具体的に説明する。図４に示すように、ＣＮＮは、図３に示す手書き文字列ＨＣＳ「東京都中野区新井」の画像から候補文字列ＣＳ「東小都串野区新井」を推定する際に、手書き文字列ＨＣＳ「東京都中野区新井」の画像に含まれる各文字の推定文字候補ごとに推定確度ＥＡ（推定確率）を出力する。ＣＮＮは、例えば、手書き文字列ＨＣＳ「東京都中野区新井」の画像に含まれる文字「中」の画像に対する推定文字候補（例えば、「串」、「中」、「虫」、「Φ」…等）ごとに推定確度ＥＡ（推定確率）を出力する。図４の例では、ＣＮＮは、推定確度を、「串」について０．５５、「中」について０．３０、「虫」について０．０９、及び、「Φ」について０．０５と出力する。また、図４に示すように、ＣＮＮは、推定文字候補（例えば、「串」、「中」、「虫」、「Φ」…等）ごとに推定確度ＥＡを出力する際に、推定確度ＥＡの総和が「１」になるように当該推定確度ＥＡを算出する。

【0026】

同様に、ＣＮＮは、例えば、手書き文字列ＨＣＳ「東京都中野区新井」の画像に含まれる各文字「東」、「京」、「都」、「野」、「区」、「新」及び「井」の画像のそれぞれに対する推定文字候補ごとに推定確度ＥＡを出力する。ＣＮＮは、例えば、手書き文字列ＨＣＳ「東京都中野区新井」の画像に含まれる各文字の画像のそれぞれに対する推定文字候補ごとに出力した推定確度ＥＡに基づいて、候補文字列ＣＳ「東小都串野区新井」を推定する。ＣＮＮは、例えば、推定確度ＥＡがより高い推定文字候補（例えば、手書き文字列ＨＣＳ「東京都中野区新井」の画像に含まれる文字「中」の画像に関しては、推定確度が０．５５と最も高い「串」）を推定文字とする。

【0027】

変換候補文字特定部１４は、候補文字列ＣＳ「東小都串野区新井」から、文字推定モデル３が候補文字列ＣＳ「東小都串野区新井」に含まれる文字（例えば、「東」、「小」、「都」等）ごとに出力した推定確度ＥＡに基づいて変換候補文字（第１文字）を特定する。例えば、ＣＮＮは、候補文字列ＣＳ「東小都串野区新井」を推定した際に、候補文字列ＣＳ「東小都串野区新井」に含まれる文字ごとに以下のとおり推定確度ＥＡを出力済である。例えば、ＣＮＮは、「東」の推定確度はＥＡ＝０．８５、「小」の推定確度はＥＡ＝０．６５、「都」の推定確度はＥＡ＝０．８７、「串」の推定確度はＥＡ＝０．５５、「野」の推定確度はＥＡ＝０．９０、「区」の推定確度はＥＡ＝０．９１、「新」の推定確度はＥＡ＝０．７６、「井」の推定確度はＥＡ＝０．８２と出力する。

【0028】

変換候補文字特定部１４は、候補文字列ＣＳ「東小都串野区新井」に含まれる文字のうち少なくとも一部の文字を変換候補文字として特定する。例えば、変換候補文字特定部１４は、所定の推定確度（例えば、０．８０）以下の文字、図３の例では「串」、「小」及び「新」の３つの文字を変換候補文字として特定してもよい。変換候補文字特定部１４は、他の手法を用いて変換候補文字を特定してもよい。

【0029】

変換候補文字特定部１４は、一又は複数の変換候補文字のうち、変換判断部１６の処理対象となる順番を判定してもよい。図３に示すように、変換候補文字特定部１４は、「新」、「串」及び「小」の３つの変換候補文字のうち、例えば推定確度の低い順、つまり「串」、「小」、「新」の順に変換判断部１６の処理対象としてもよい。この構成によれば、推定確度に基づいて、必要に応じて変換処理を実行できるので、任意に変換候補文字を選択する場合に比べて、手書き文字列の認識の精度を向上させることができる。

【0030】

次に、本実施形態における修正処理に含まれる、ステップ（２）「Ｎ文字列辞書ＤＢ７を用いた出現確度（出現確率）の出力」について具体的に説明する。図１に示す変換判断部１６は、候補文字列ＣＳ「東小都串野区新井」から、「串」の配置が異なるように、異なる複数の文字列を切り出す。図４に示すように、変換判断部１６は、例えば、パターンＰＴ１「小都串」、パターンＰＴ３「都串野」、及びパターンＰＴ５「串野区」というように異なる複数のパターンで文字列を切り出す。

【0031】

変換判断部１６は、各パターンの文字列のそれぞれにおいて「串」（第１文字）を、「串」の変換候補文字（第２文字）である「中」、「虫」又は「Φ」等に変換した場合の文字列を生成する。図４に示すように、変換判断部１６は、パターンＰＴ１「小都串」に関して、「小都串」に加えて、「小都中」、「小都虫」、及び「小都Φ」…を生成する。ここで、「串」を含む文字列（「小都串」）、及び、変換候補文字である「中」、「虫」又は「Φ」に変換した場合の文字列（「小都中」、「小都虫」、又は「小都Φ」）は、共通の文字数（例えば３文字）で構成される。

【0032】

本実施形態においては「串」の変換候補文字として、所定の推定確度以上の文字である「中」、「虫」及び「Φ」の３つの文字が特定されているが、これに限られない。「串」の変換候補文字は、一つ、二つ、又は四つ以上であってもよい。また、候補文字列ＣＳ「東小都串野区新井」において、変換候補文字である「中」、「虫」及び「Φ」ではなく「串」が採用されたのは、上記したとおり、候補文字列ＣＳにおいて、「中」、「虫」又は「Φ」が採用される場合に比べて「串」が採用される場合の推定確度が高かったためである。

【0033】

変換判断部１６は、同様に、パターンＰＴ３「都串野」に関して、「都串野」に加えて、「都中野」、「都虫野」、及び「都Φ野」…を生成する。また、変換判断部１６は、パターンＰＴ５「串野区」に関して、「串野区」に加えて、「中野区」、「虫野区」、及び「Φ野区」…を生成する。

【0034】

Ｎ文字列辞書生成部１５は、文書画像に含まれ得る一又は複数の文字列が登録されたコーパス５から切り出された、Ｎ個（Ｎは所定数であり、例えば、３である。）の文字で構成された一又は複数の文字列と、当該文字列の並びの出現確率と、を関連付けたＮ文字列辞書ＤＢ７を取得する。図４に示すように、Ｎ文字列辞書生成部１５は、例えば、日本語コーパス５から３文字ずつの複数の文字列を切り出して、３文字の文字列ＡＢＣの並びの出現回数を算出する。Ｎ文字列辞書生成部１５は、例えば、文字列ＡＢＣの並びの出現回数を、コーパス５を参照して算出してもよいし、他の外部のデータベース又は辞書を参照して算出してもよい。Ｎ文字列辞書生成部１５は、算出した出現回数に基づいて、文字列ＡＢＣに関して、文字Ａと文字Ｂの後に文字Ｃが位置する確率、文字Ａと文字Ｃとの間に文字Ｂが位置する確率、及び、文字Ｂと文字Ｃの前に文字Ａが位置する確率を算出することによって、文字列ＡＢＣの出現確率を算出する。このように、Ｎ文字列辞書生成部１５は、切り出した一又は複数の文字列と、当該文字列の並びの出現確率と、を関連付けたＮ文字列辞書ＤＢ７を生成（取得）する。Ｎ文字列辞書ＤＢ７は、情報処理部１の記憶領域に記憶される。なお、Ｎ文字列辞書ＤＢ７は文字列認識装置１００の外部の装置で生成されて、文字列認識装置１００のＮ文字列辞書生成部１５により、当該外部の装置から取得されるものでもよい。

【0035】

コーパス５は、例えば、都道府県名、市区町村名、地域名、及び建物名の可能な組み合わせが階層化されて登録されている住所コーパスが含まれる。各都道府県名の下位階層には、当該都道府県に属する市区町村名が含まれる。同様に、各市区町村名の下位階層には、当該市区町村に属する地域名が含まれる。住所コーパスにはさらに、行政上の変更があった都道府県名、市区町村名および地域名について、旧名称と現名称とが対応付けられて登録されてもよい。

【0036】

なお、コーパス５には、住所に特化した住所コーパスの他、氏名、車名、職業、保険期間、車台番号、及び登録番号等に特化した各種コーパスが含まれてもよい。また、コーパス５には、証券等の記載事項に特化したコーパスの他、法律分野や他の分野に特化した各種コーパスを含んでもよい。このようにコーパス５及びＮ文字列辞書ＤＢ７は、文字列認識装置１００の認識対象の内容に応じて様々な種類のものを採用可能である。

【0037】

図１に示す変換判断部１６は、図４に示すように、候補文字列ＣＳ「東小都串野区新井」から「串」を含むように切り出された文字列（例えば「小都串」、「都串野」及び「串野区」…）の並びの第１出現確率（例えば、「０．３０」、「０．２５」、及び「０．１５」…）と、当該文字列において「串」を「串」とは異なる文字「中」、「虫」又は「Φ」等に変換した場合の文字列（例えば、「小都中」、「小都虫」、「小都Φ」、「都中野」、「都虫野」、「都Φ野」、「中野区」、「虫野区」、及び「Φ野区」…）の並びの第２出現確率（例えば、「０．３０」、「０．２５」、「０．０５」、「０．５０」、「０．１５」、「０．０５」、「０．８０」、「０．１５」、「０．０５」…）と、を算出する。また、変換判断部１６は、上記各パターンＰＴ１、ＰＴ３及びＰＴ５の文字列に対して算出した出現確度の総和が「１」になるように当該出現確率を算出する。変換判断部１６は、例えば、文字列「小都串」、「小都中」、「小都虫」、「小都Φ」…のそれぞれの出現確度の総和が「１」になるように当該出現確度を算出する。

【0038】

次に、本実施形態における修正処理に含まれる、ステップ（３）「変換候補文字の確度の出力」について具体的に説明する。ステップ（３）では、ステップ（１）で出力した推定確度と、ステップ（２）で出力した出現確度とに基づいて、文字ごとの確度を出力（算出）する。そして、本実施形態における修正処理において、ステップ（３）で出力した文字ごとの確度に基づいて、推定した文字（例えば「串」）を変換候補文字（例えば、「中」）に変換するか否かを判断する。

【0039】

より具体的には、変換判断部１６は、「串」、「中」、「虫」及び「Φ」…の文字ごとに確度を出力する。図４に示すように、変換判断部１６は、例えば文字「串」に関して、ステップ（１）で出力した推定文字「串」の推定確度「０．５５」（第１推定確率）と、ステップ（２）で出力した、「小都串」、「都串野」、及び「串野区」それぞれの出現確度「０．３０」、「０．２５」及び「０．１５」（第１出現確率）と、を用いて「串」の確度「０．３８５」を出力する。同様に、変換判断部１６は、「中」、「虫」及び「Φ」…のそれぞれの推定確度（第２推定確率）と、ステップ（２）で出力したそれぞれの出現確率（第２出現確率）とから、それぞれの確度、つまり、「０．４８」、「０．１３７５」及び「０．００７５」を出力する。変換判断部１６は、「串」、「中」、「虫」及び「Φ」…の文字ごとに出力した上記確度を比較することによって、例えば、推定文字「串」について、当該「串」の確度よりも確度の高い変換候補文字「中」に変換すると判断する。

【0040】

なお、変換判断部１６は、ステップ（２）の結果に基づいて推定文字「串」を変換候補文字に変換するか否か判断してもよい。具体的には、変換判断部１６は、第１出現確率と第２出現確率とを比較することによって、例えば推定文字「串」を変換候補文字「中」、「虫」又は「Φ」に変換するか否かを判断する。例えば、変換判断部１６は、文字列の並びの第１出現確率（例えば、「小都串」における「０．３０」、「都串野」における「０．２５」、及び「串野区」における「０．１５」）と比較して第２出現確率のうち、「中野区」における「０．８０」が最も出現確率が高いため、候補文字列ＣＳ「東小都串野区新井」のうち「串」を「中」に変換すると判断する。よって、図４に示すように、変換部１７は、「串」を含む文字列に関連付けられた第１出現確率が、「中」を含む文字列に関連づけられた第２出現確率より低い場合に、「串」を「中」に変換する。つまり、変換部１７は、候補文字列ＣＳ「東小都串野区新井」を、後述する図５に示す修正後文字列ＡＳ１「東小都中野区新井」に変換する。なお、変換判断部１６における比較処理においては、出現確率を比較対象としているが、これに限られない。変換判断部１６における比較処理において、出現数等の他の情報を比較対象としてもよい。

【0041】

図５は、一実施形態に係る文字列認識処理における修正処理及び認識処理の一例を示す概念図である。図５に示すように、変換判断部１６は、修正後文字列ＡＳ１「東小都中野区新井」において、「串」を除く「新」及び「小」の２つの変換候補文字のうち、「串」の次に推定確度の低い「小」の変換を行うか否かを判断する。

【0042】

変換判断部１６は、図４で説明した「串」を「中」に変換した際の修正処理と同様に、「小」を、変換候補文字である「京」、「木」又は「子」等に変換するか否かを判断する。変換判断部１６は、「小」、「京」、「木」又は「子」…に関して、図４に示す上記ステップ（１）から（３）を実行して、推定文字「小」を変換候補文字「京」、「木」又は「子」…に変換するか否かを判断する。また、変換判断部１６は、「串」が「中」に変換された修正後文字列ＡＳ１「東小都中野区新井」において「小」（第３文字）を含むように切り出された文字列の並びの第３出現確率と、当該文字列において「小」を「小」とは異なる文字「京」、「木」又は「子」等（第４文字）に変換した場合の文字列の並びの第４出現確率と、に基づいて「小」を「京」、「木」又は「子」等に変換するか否かを判断してもよい。

【0043】

図５の例では、変換部１７は、「小」、「京」、「木」又は「子」…に関する上記ステップ（１）から（３）の実行結果に基づいて、修正後文字列ＡＳ１「東小都中野区新井」において「小」を「京」に変換する。つまり、変換部１７は、修正後文字列ＡＳ１「東小都中野区新井」を修正後文字列ＡＳ３「東京都中野区新井」（変換部分に下線付加）に変換する。

【0044】

最後に、変換判断部１６は、「新」、「折」、「親」又は「薪」…に関して、図４に示す上記ステップ（１）から（３）を実行して、推定文字「新」を変換候補文字「折」、「親」又は「薪」…に変換するか否かを判断する。また、変換判断部１６は、「小」が「京」に変換された修正後文字列ＡＳ３「東京都中野区新井」において「新」を含むように切り出された文字列の並びの出現確率と、当該文字列において「新」を「新」とは異なる文字「折」、「親」又は「薪」等に変換した場合の文字列の並びの出現確率と、に基づいて「新」を「折」、「親」又は「薪」等に変換するか否かを判断してもよい。図５の例では、変換判断部１６は、「新」、「折」、「親」又は「薪」…に関する上記ステップ（１）から（３）の実行結果に基づいて、「新」については、変換候補文字である「折」、「親」又は「薪」等に変換しないと判断した。

【0045】

文字列認識部１８は、変換判断部１６の判断結果と、候補文字列とに基づいて、文書画像から抽出された、図３に示す手書き文字列ＨＣＳ「東京都中野区新井」の画像を認識する。図３から図５を参照して説明したように、推定された候補文字列ＣＳ「東小都串野区新井」に含まれる一又は複数の文字のそれぞれが、必要に応じて繰り返し変換されることによって、より適切な文字列が生成される。よって、文字列認識部１８は、上記のような変換処理が繰り返し実行されることによって、手書き文字列ＨＣＳ「東京都中野区新井」の画像を、認識文字列ＲＳ「東京都中野区新井」として認識する。

【0046】

（文字列認識処理の動作）
図６は、一実施形態に係る文字列認識処理の一例を示すフローチャートである。図６に示すように、図１に示す文字列認識装置１００は、図２に示す証券Ｃから、図３に示す手書き文字列ＨＣＳ「東京都中野区新井」の画像を抽出する（ステップＳ１）。文字列認識装置１００は、図１に示す文字推定モデル３に、抽出された手書き文字列ＨＣＳの画像を入力することによって、図３に示す、手書き文字列ＨＣＳ「東京都中野区新井」の画像に対して確からしい候補文字列ＣＳ「東小都串野区新井」を推定する（ステップＳ３）。また、文字推定モデル３は候補文字列ＣＳ「東小都串野区新井」を推定する際に、手書き文字列ＨＣＳ「東京都中野区新井」の画像に含まれる各文字の推定文字候補ごとに推定確度を出力する。

【0047】

文字列認識装置１００は、候補文字列ＣＳ「東小都串野区新井」から一又は複数の文字を変換候補文字として特定する（ステップＳ５）。文字列認識装置１００は、候補文字列ＣＳ「東小都串野区新井」から、一の変換候補文字「串」の配置が異なるように、異なる複数の文字列を切り出す。図４に示すように、文字列認識装置１００は、例えば、パターンＰＴ１「小都串」、パターンＰＴ３「都串野」、及びパターンＰＴ５「串野区」というように異なる複数のパターンで文字列を切り出す（ステップＳ７）。

【0048】

文字列認識装置１００は、図４に示すように、候補文字列ＣＳ「東小都串野区新井」から「串」を含むように切り出された文字列（例えば「小都串」、「都串野」及び「串野区」…）の並びの第１出現確率（例えば、「０．３０」、「０．２５」、及び「０．１５」…）と、当該文字列において「串」を「串」とは異なる他の文字「中」、「虫」又は「Φ」等に変換した場合の文字列（例えば、「小都中」、「小都虫」、「小都Φ」、「都中野」、「都虫野」、「都Φ野」、「中野区」、「虫野区」、及び「Φ野区」…）の並びの第２出現確率（例えば、「０．３０」、「０．２５」、「０．０５」、「０．５０」、「０．１５」、「０．０５」、「０．８０」、「０．１５」、「０．０５」…）と、を算出する（ステップＳ９）。

【0049】

文字列認識装置１００は、一の変換候補文字「串」の確度が他の文字「中」、「虫」及び「Φ」…の確度より低いか否かを判断する（ステップＳ１１）。図４に示すように、文字列認識装置１００は、一の変換候補文字「串」の確度「０．３８５」を出力する。同様に、文字列認識装置１００は、「中」、「虫」及び「Φ」…のそれぞれの確度、つまり、「０．４８」、「０．１３７５」及び「０．００７５」を出力する。文字列認識装置１００は、「串」、「中」、「虫」及び「Φ」…の文字ごとに出力した上記確度を比較する。上記例では、「串」の確度「０．３８５」は、他の変換候補文字「中」の確度「０．４８」よりも低いため（ステップＳ１１においてＹｅｓ）、ステップＳ１３に進む。他方で、Ｎｏの場合は、ステップＳ１５に進む。

【0050】

文字列認識装置１００は、一の変換候補文字である「串」を、別の変換候補文字の一つである「中」に変換する。つまり、図４に示すように、文字列認識装置１００は、候補文字列ＣＳ「東小都串野区新井」を修正後文字列ＡＳ１「東小都中野区新井」（変換部分に下線付加）に変換する（ステップＳ１３）。

【0051】

文字列認識装置１００は、特定された変換候補文字「串」、「小」、及び「新」のすべての変換判断処理が完了した否かを判断する（ステップＳ１５）。すべての変換候補文字の変換判断が完了した場合（Ｙｅｓの場合）は、ステップＳ１７に進む。Ｎｏの場合は、ステップＳ７に戻り、例えば、「串」の次に推定確度が低い「中」を含む文字列に関する変換判断処理を実行する。「中」を含む文字列に関する変換判断処理が完了したら、「中」の次に推定確度が低い「新」を含む文字列に関する変換判断処理を実行する。

【0052】

文字列認識装置１００は、変換判断処理の結果と、候補文字列とに基づいて、文書画像から抽出された、図３に示す手書き文字列ＨＣＳ「東京都中野区新井」の画像を認識する（ステップＳ１７）。

【0053】

以上、本発明の一実施形態によれば、文字列認識装置１００は、文字推定モデル３に、抽出した手書き文字列の画像を入力することによって候補文字列を推定する。文字列認識装置１００は、候補文字列から第１文字を含むように切り出された文字列の並びの第１出現確率と、当該文字列において第１文字を第２文字に変換した場合の文字列の並びの第２出現確率と、に基づいて第１文字を第２文字に変換するか否かを判断する。文字列認識装置１００は、この判断結果と候補文字列とに基づいて、手書き文字列の画像に対応する文字列を認識する。よって、手書き文字列の画像から推定された候補文字列を必要に応じて修正した上で、当該手書き文字列を認識する。したがって、文書画像における手書き文字列の認識処理の精度を改善することができる。

【0054】

文字列認識装置１００は、手書き文字列から推定された候補文字列を繰り返し修正してもよい。具体的には、文字列認識装置１００は、手書き文字列から推定された図３に示す候補文字列ＣＳ「東小都串野区新井」において、複数の変換候補文字（例えば「串」、「中」）のそれぞれを順に修正した上で、当該手書き文字列を認識する。したがって、文書画像における手書き文字列の認識処理の精度をより改善することができる。

【0055】

図７は、本発明の実施形態に係るコンピュータのハードウェア構成の一例を示す図である。図７を参照して、図１に示す文字列認識装置１００、及び、図８に示す文字列認識装置１００Ａを構成するのに用いることができるコンピュータのハードウェア構成の一例について説明する。

【0056】

図７に示すように、コンピュータ４０は、ハードウェア資源として、主に、プロセッサ４１と、主記録装置４２と、補助記録装置４３と、入出力インターフェース４４と、通信インターフェース４５とを備えており、これらはアドレスバス、データバス、コントロールバス等を含むバスライン４６を介して相互に接続されている。なお、バスライン４６と各ハードウェア資源との間には適宜インターフェース回路（図示せず）が介在している場合もある。

【0057】

プロセッサ４１は、コンピュータ全体の制御を行う。プロセッサ４１は、例えば、図１及び図８に示す情報処理部１に相当する。主記録装置４２は、プロセッサ４１に対して作業領域を提供し、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリである。補助記録装置４３は、ソフトウェアであるプログラム等やデータ等を格納する、ＨＤＤやＳＳＤ、フラッシュメモリ等の不揮発性メモリである。当該プログラムやデータ等は、任意の時点で補助記録装置４３からバスライン４６を介して主記録装置４２へとロードされる。補助記録装置４３は、例えば、図１及び図８に示すコーパス５、及び、Ｎ文字辞書ＤＢ７に相当する。

【0058】

入出力インターフェース４４は、情報を提示すること及び情報の入力を受けることの一方又は双方を行うものであり、カメラ、キーボード、マウス、ディスプレイ、タッチパネル・ディスプレイ、マイク、スピーカ、温度センサ等である。通信インターフェース４５は、図８に示す通信ネットワークＮと接続されるものであり、通信ネットワークＮを介してデータを送受する。通信インターフェース４５と通信ネットワークＮとは、有線又は無線で接続されうる。通信インターフェース４５は、ネットワークに係る情報、例えば、Ｗｉ－Ｆｉのアクセスポイントに係る情報、通信キャリアの基地局に関する情報等も取得することがある。

【0059】

上に例示したハードウェア資源とソフトウェアとの協働により、コンピュータ４０は、所望の手段として機能し、所望のステップを実行し、所望の機能を実現させることできることは、当業者には明らかである。

【0060】

なお、上記各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するものではない。本発明はその趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。また、本発明は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよい。さらに、異なる実施形態に構成要素を適宜組み合わせてもよい。

【0061】

図８は、図１に示す文字列認識装置１００が備える文字推定モデル３が分離されて構成された文字列認識装置１００Ａの一例を示す図である。文字列認識装置１００Ａは、文字推定モデル３からの出力データに基づいて候補文字列を推定する。文字列認識装置１００Ａと文字推定モデル３とが通信ネットワークＮを介してデータの送受信が可能なように構成される。この態様によれば、図１に示す文字列認識装置１００を、文字列認識装置１００Ａ及び文字推定モデル３という別個の装置として構成可能である。

【0062】

図１に示す文書画像取得部１１は、図２に示す証券Ｃをカメラ等の撮像装置を含む外部装置（不図示）で撮像することによって生成される画像データを、所定の通信ネットワークを介して取得してもよい。通信ネットワークは、例えばインターネット等を含む情報処理に係る通信回線又は通信網であり、その具体的な構成は、文字列認識装置１００と外部装置との間でデータの送受信が可能なように構成されていれば特に制限されない。

【0063】

上記各実施形態における文字列認識装置は、等幅の文字の文字列の認識処理に好適である。例えば国語テスト等におけるマス目に記入された文字の認識処理に適用することが好ましい。上記各実施形態における文字列認識装置においては、日本語の手書き文字列に関する認識処理を実行するが、日本語以外の英文字、ハングル文字、又はアラビア文字等の他の言語の手書き文字に関する認識処理を実行してもよい。さらに、文字列認識装置１００は、「一」（漢字のイチ）又は「‐」（ハイフン）等の形状の似た文字を適切に区別する必要がある場合にも好ましい。この場合は、手書き文字列に限らず、活字文字列であっても両者を区別して認識することが可能である。

【符号の説明】

【0064】

１…情報処理部、３…文字推定モデル、５…コーパス、７…Ｎ文字列辞書ＤＢ（データベース）、１１…文書画像取得部、１２…文字列抽出部、１３…候補文字列推定部、１４…変換候補文字特定部、１５…Ｎ文字列辞書生成部、１６…変換判断部、１７…変換部、１８…文字列認識部、４１…プロセッサ、４２…主記録装置、４３…補助記録装置、４４…入出力インターフェース、４５…通信インターフェース、４６…バスライン、１００，１００Ａ…文字列認識装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】