知財求人 - 知財ポータルサイト「IP Force」
特開2024-21728文字認識モデルの学習方法、文字認識方法、文字認識モデル学習装置、学習モデル、文字認識装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024021728
(43)【公開日】2024-02-16
(54)【発明の名称】文字認識モデルの学習方法、文字認識方法、文字認識モデル学習装置、学習モデル、文字認識装置
(51)【国際特許分類】
G06V 30/194 20220101AFI20240208BHJP
G06V 10/774 20220101ALI20240208BHJP
G06T 7/00 20170101ALI20240208BHJP
【ＦＩ】
G06V30/194
G06V10/774
G06T7/00 350B
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022124771
(22)【出願日】2022-08-04
(71)【出願人】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】石井 達也
(72)【発明者】
【氏名】岡 敏生
【テーマコード（参考）】
5B064
5L096
【Ｆターム（参考）】
5B064DA27
5L096BA17
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】特定の図形が書き加えられている可能性がある領域について文字認識をする場合であっても、文字認識の精度が低下しない文字認識モデルの学習方法、文字認識方法、文字認識モデル学習装置、学習モデル、文字認識装置を提供する。
【解決手段】文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを第１学習データとして、文字認識モデルを学習部によって学習させる文字認識モデル学習装置による学習方法であって、文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と正解ラベルとを第２学習データとして学習部に第１学習データとともに学習させる学習部を含む。
【選択図】図１
【解決手段】文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを第１学習データとして、文字認識モデルを学習部によって学習させる文字認識モデル学習装置による学習方法であって、文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と正解ラベルとを第２学習データとして学習部に第１学習データとともに学習させる学習部を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを第１学習データとして、文字認識モデルを学習部によって学習させる文字認識モデルの学習方法であって、
前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを第２学習データとして前記学習部に前記第１学習データとともに学習させる学習ステップ
を含む文字認識モデルの学習方法。
前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを第２学習データとして前記学習部に前記第１学習データとともに学習させる学習ステップ
を含む文字認識モデルの学習方法。
【請求項2】
前記合成用図形画像は、第１の線分と第２の線分とが交差する図形であり、
前記合成学習用画像は、前記文字列画像の文字の部分と前記合成用図形画像とが重なるようにして合成されている
請求項１に記載の文字認識モデルの学習方法。
前記合成学習用画像は、前記文字列画像の文字の部分と前記合成用図形画像とが重なるようにして合成されている
請求項１に記載の文字認識モデルの学習方法。
【請求項3】
前記文字列画像に対して予め指定した幅ｋｗ（ｋｗは０より大きい数）倍、高さｋｈ（ｋｈは０より大きい数）倍である矩形状の合成用空白画像を生成する合成用空白画像生成ステップと、
前記合成用空白画像に対する２本の対角線である第１の線分ならびに第２の線分からなる合成用図形画像を生成する合成用図形画像生成ステップと、
前記合成用空白画像の予め指定した位置に、前記文字列画像と前記合成用図形画像を重畳させた重畳画像を生成する重畳画像生成ステップと、
を含み、
前記学習ステップは、
前記文字列画像に対応する正解ラベルと前記重畳画像に基づく合成学習用画像とを学習データとして前記文字認識モデルを学習させることを含む
請求項２に記載の文字認識モデルの学習方法。
前記合成用空白画像に対する２本の対角線である第１の線分ならびに第２の線分からなる合成用図形画像を生成する合成用図形画像生成ステップと、
前記合成用空白画像の予め指定した位置に、前記文字列画像と前記合成用図形画像を重畳させた重畳画像を生成する重畳画像生成ステップと、
を含み、
前記学習ステップは、
前記文字列画像に対応する正解ラベルと前記重畳画像に基づく合成学習用画像とを学習データとして前記文字認識モデルを学習させることを含む
請求項２に記載の文字認識モデルの学習方法。
【請求項4】
前記重畳画像から、前記文字列画像に対して前記合成用図形画像が重畳された領域を含む領域で切り出した画像を、前記合成学習用画像として生成する合成学習用画像生成ステップとを含む
請求項３に記載の文字認識モデルの学習方法。
請求項３に記載の文字認識モデルの学習方法。
【請求項5】
前記合成学習用画像と、当該合成学習用画像の生成元とされた文字列画像とを各々文字認識学習モデルに入力し、それぞれの出力値の差分を文字認識学習モデルの学習に用いる学習ステップ、
を含む請求項１から請求項４のうちいずれか１項に記載の文字認識モデルの学習方法。
を含む請求項１から請求項４のうちいずれか１項に記載の文字認識モデルの学習方法。
【請求項6】
前記文字認識モデルは、ニューラルネットワークを含み、
前記学習ステップは、前記合成学習用画像と、生成元とした文字列画像とを前記文字認識モデルに各々入力した際に，前記ニューラルネットワークを構成する層から出力された値どうしの誤差を学習に用いる
請求項５に記載の文字認識モデルの学習方法。
前記学習ステップは、前記合成学習用画像と、生成元とした文字列画像とを前記文字認識モデルに各々入力した際に，前記ニューラルネットワークを構成する層から出力された値どうしの誤差を学習に用いる
請求項５に記載の文字認識モデルの学習方法。
【請求項7】
文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習した学習モデルに対し、文字認識対象の画像データを入力することで、当該画像データに対する文字認識を行わせ、当該文字認識結果を得る
文字認識方法。
文字認識方法。
【請求項8】
文字が書かれた学習用画像と当該書かれた文字を表す文字情報を含む正解ラベルとを第１学習データとして、文字認識モデルを学習部によって学習させる文字認識モデル学習装置であって、
前記学習用画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを第２学習データとして前記学習部に供給し、前記第１学習データとともに学習させる学習データ供給部
を有する文字認識モデル学習装置。
前記学習用画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを第２学習データとして前記学習部に供給し、前記第１学習データとともに学習させる学習データ供給部
を有する文字認識モデル学習装置。
【請求項9】
文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習され、
文字認識対象の画像データに対する文字認識を行い、当該画像データに含まれる文字を認識する学習モデル。
文字認識対象の画像データに対する文字認識を行い、当該画像データに含まれる文字を認識する学習モデル。
【請求項10】
文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習した学習モデルに対し、
文字認識対象の画像データを入力することで、当該画像データに対する文字認識を行わせ、
当該文字認識結果を得る
文字認識装置。
文字認識対象の画像データを入力することで、当該画像データに対する文字認識を行わせ、
当該文字認識結果を得る
文字認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文字認識モデルの学習方法、文字認識方法、文字認識モデル学習装置、学習モデル、文字認識装置に関する。
【背景技術】
【0002】
昨今、文字認識では機械学習を用いることで高精度な認識を実現できるようになっている。機械学習では学習データに過度に適応してしまう現象(過学習と呼ばれる)が発生してしまうことが広く知られており、学習データとは異なる特性を持つ入力データが与えられた際に一般的には精度が大きく低下する。
このような問題に対応するため、学習時ならびに認識時に、入力画像のうち、異なる特性をもつ部分について抑制・消去するような事前処理を行う方法が広く採られる。具体的には、デブラーリング、デノイズ、歪み補正といった画像処理や、機械学習によってパラメータを最適化した生成モデルによる画像変換が挙げられる（例えば、特許文献１参照）。
このような問題に対応するため、学習時ならびに認識時に、入力画像のうち、異なる特性をもつ部分について抑制・消去するような事前処理を行う方法が広く採られる。具体的には、デブラーリング、デノイズ、歪み補正といった画像処理や、機械学習によってパラメータを最適化した生成モデルによる画像変換が挙げられる（例えば、特許文献１参照）。
【0003】
また、近年、ＡＩ（artificial intelligence）を用いたＯＣＲ（Optical Character Recognition）技術であるＡＩ－ＯＣＲが利用されつつある。ＡＩ－ＯＣＲは、手書き文字等の各種文字を予め学習しておき、その学習済みモデルを用いることで、一般的なＯＣＲよりも高い認識精度で、手書き文字を認識することができる。
このような手書き文字を対象としたＡＩ－ＯＣＲシステムを開発するためには、様々な書き手による手書き文字画像と、解読したテキストとのセットである学習データ（教師データ）を大量に学習する必要がある。
ここで、文字認識する対象の書面が戸籍謄本である場合、電算化される前においては、除籍された方について、名前の文字が記載された欄に除籍を表す図形（２本の線分が交差する図形）が書き加えられる。そのため、除籍を表す図形が加えられた名前の部分を図形として抽出し、文字認識しようとすると、除籍を表す図形が加えられているため、上述したように、文字認識精度が低下してしまう。
このような手書き文字を対象としたＡＩ－ＯＣＲシステムを開発するためには、様々な書き手による手書き文字画像と、解読したテキストとのセットである学習データ（教師データ）を大量に学習する必要がある。
ここで、文字認識する対象の書面が戸籍謄本である場合、電算化される前においては、除籍された方について、名前の文字が記載された欄に除籍を表す図形（２本の線分が交差する図形）が書き加えられる。そのため、除籍を表す図形が加えられた名前の部分を図形として抽出し、文字認識しようとすると、除籍を表す図形が加えられているため、上述したように、文字認識精度が低下してしまう。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１９－１１６４６６号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、除籍を表す図形は、記載されている文字に重なるように書き込まれており、また、手書きで書き込まれていることもある。また、除籍を表す図形は、記載されている場合と記載されていない場合もあったため、従来の画像処理技術で抑制・消去してから文字認識することは困難であった。
【0006】
本発明は、このような事情に鑑みてなされたもので、その目的は、特定の図形が書き加えられている可能性がある領域について文字認識をする場合であっても、文字認識の精度が低下しないようにすることができる文字認識モデルの学習方法、文字認識方法、文字認識モデル学習装置、学習モデル、文字認識装置を提供することにある。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、本発明の一態様は、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを第１学習データとして、文字認識モデルを学習部によって学習させる文字認識モデルの学習方法であって、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを第２学習データとして前記学習部に前記第１学習データとともに学習させる学習ステップを含む文字認識モデルの学習方法である。
また、本発明の一態様は、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習した学習モデルに対し、文字認識対象の画像データを入力することで、当該画像データに対する文字認識を行わせ、当該文字認識結果を得る文字認識方法である。
また、本発明の一態様は、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習した学習モデルに対し、文字認識対象の画像データを入力することで、当該画像データに対する文字認識を行わせ、当該文字認識結果を得る文字認識方法である。
【0008】
また、本発明の一態様は、文字が書かれた学習用画像と当該書かれた文字を表す文字情報を含む正解ラベルとを第１学習データとして、文字認識モデルを学習部によって学習させる文字認識モデル学習装置であって、前記学習用画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを第２学習データとして前記学習部に供給し、前記第１学習データとともに学習させる学習データ供給部を有する文字認識モデル学習装置である。
また、本発明の一態様は、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習され、文字認識対象の画像データに対する文字認識を行い、当該画像データに含まれる文字を認識する学習モデルである。
また、本発明の一態様は、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習した学習モデルに対し、文字認識対象の画像データを入力することで、当該画像データに対する文字認識を行わせ、当該文字認識結果を得る文字認識装置である。
また、本発明の一態様は、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習され、文字認識対象の画像データに対する文字認識を行い、当該画像データに含まれる文字を認識する学習モデルである。
また、本発明の一態様は、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習した学習モデルに対し、文字認識対象の画像データを入力することで、当該画像データに対する文字認識を行わせ、当該文字認識結果を得る文字認識装置である。
【発明の効果】
【0009】
以上説明したように、この発明によれば、特定の図形が書き加えられている可能性がある領域について文字認識をする場合であっても、文字認識の精度が低下しないようにすることができる。
【図面の簡単な説明】
【0010】
【図1】この発明の一実施形態による文字認識モデル学習装置を用いた文字認識システムＳの構成を示す概略ブロック図である。
【図2】画像データベース１１に記憶される戸籍謄本ＦＲの画像の一例を示す図である。
【図3】文字認識モデル学習装置１の動作を説明するフローチャートである。
【図4】文字認識モデル学習装置１の処理の流れを説明する概念図である。
【図5】戸籍謄本ＦＲから抽出される抽出画像の一例を示す図である。
【図6A】合成用空白画像３１０に対して、文字列画像３００と合成用図形画像３２０とが重なるように合成された画像の一例を示す図である。
【図6B】合成用空白画像３１０に対して、文字列画像３００と合成用図形画像３２０とが重なるように合成された画像の一例を示す図である。
【図6C】合成用空白画像３１０に対して、文字列画像３００と合成用図形画像３２０とが重なるように合成された画像の一例を示す図である。
【図7】学習部１９の学習手法について説明する図である。
【図8】学習部１９の他の学習手法について説明する図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態による文字認識モデル学習装置について図面を参照して説明する。図１は、この発明の一実施形態による文字認識モデル学習装置を用いた文字認識システムＳの構成を示す概略ブロック図である。
文字認識システムＳは、文字認識モデル学習装置１と文字認識装置２とディスプレイ３とを含む。
文字認識モデル学習装置１は、文字が書かれた学習用画像と当該書かれた文字を表す文字情報を含む正解ラベルとを第１学習データとして、文字認識モデルを学習部によって学習させる。この文字情報は、例えばテキストデータである。
より具体的に、文字認識モデル学習装置１は、画像データベース１１、画像抽出部１２、ラベル付与部１３、合成用空白画像生成部１４、合成用図形画像生成部１５、重畳画像生成部１６、合成学習用図形画像生成部１７、学習データ供給部１８、学習部１９を有する。
文字認識システムＳは、文字認識モデル学習装置１と文字認識装置２とディスプレイ３とを含む。
文字認識モデル学習装置１は、文字が書かれた学習用画像と当該書かれた文字を表す文字情報を含む正解ラベルとを第１学習データとして、文字認識モデルを学習部によって学習させる。この文字情報は、例えばテキストデータである。
より具体的に、文字認識モデル学習装置１は、画像データベース１１、画像抽出部１２、ラベル付与部１３、合成用空白画像生成部１４、合成用図形画像生成部１５、重畳画像生成部１６、合成学習用図形画像生成部１７、学習データ供給部１８、学習部１９を有する。
【0012】
画像データベース１１は、文字認識をする対象の文書の画像データを記憶する。ここでは、対象の文書が戸籍謄本である場合を一例として説明する。画像データベース１１には、戸籍謄本等の対象の文書がスキャナによって光学的に読み取られることで生成された画像データが記憶される。
図２は、画像データベース１１に記憶される戸籍謄本ＦＲの画像の一例を示す図である。ここで、画像データベース１１には、戸籍謄本の紙面の全体を含む画像データが記憶されている場合について説明するが、戸籍謄本の名前欄２０１の画像が個別に抽出された画像であってもよい。
図２は、画像データベース１１に記憶される戸籍謄本ＦＲの画像の一例を示す図である。ここで、画像データベース１１には、戸籍謄本の紙面の全体を含む画像データが記憶されている場合について説明するが、戸籍謄本の名前欄２０１の画像が個別に抽出された画像であってもよい。
【0013】
ここで、電算化される前に発行された戸籍謄本には、手書き文字が含まれるものがある。
この戸籍謄本ＦＲは、電算化される前に発行された書面である場合の例を示す図である。
領域２００は、戸籍に登録された人の名が記載される欄であり、手書きによって記載される。また、領域２００において、戸籍に登録された後に除籍された人の欄については、除籍を表す図形が書き加えられる。除籍を表す図形は、手書きで書き加えられる場合がある。
この戸籍謄本ＦＲは、電算化される前に発行された書面である場合の例を示す図である。
領域２００は、戸籍に登録された人の名が記載される欄であり、手書きによって記載される。また、領域２００において、戸籍に登録された後に除籍された人の欄については、除籍を表す図形が書き加えられる。除籍を表す図形は、手書きで書き加えられる場合がある。
【0014】
例えば、領域２００では、「太郎」、「花子」、「二郎」、「三郎」、「四郎」、「五郎」の６人の名がそれぞれ異なる記入欄に並ぶように記載されている。このような名は、戸籍に登録された時期が異なる場合、異なる書き手によって記載される場合がある。そのため、手書き文字は、書き手によって独特の文字書体によって記載されている。また、手書き文字によって記載される場合、旧字であったり、旧仮名遣いによって記載されている場合もある。また、筆、鉛筆、ペンなどのような様々な筆記用具によって記載されている場合もある。
そのため、文書を確認する担当者が、文字認識処理された結果として得られた文字列と、読み取り対象の文書に記載された文字列との対応関係が正しいかを確認する場合がある。この場合、旧字、旧仮名遣いによって記載されている文書である場合、旧字、旧仮名遣い等に関する知識が十分ではない担当者が対応関係を確認しようとすると、文字認識処理によって得られた文字が、文字列画像におけるどの部分に該当するかを把握するために時間がかかる場合がある。このような場合であっても、文字認識モデル学習装置１を用いて学習モデルを生成し、その学習モデルを用いて文字認識装置２によって文字認識をすることで、文字列を簡単に確認することができる。また、名を表す文字列をデータとして取り扱うことができる。
この文書は、公的文書であってもよいし、契約書や、各種サービスの申し込み用紙であってもよい。
そのため、文書を確認する担当者が、文字認識処理された結果として得られた文字列と、読み取り対象の文書に記載された文字列との対応関係が正しいかを確認する場合がある。この場合、旧字、旧仮名遣いによって記載されている文書である場合、旧字、旧仮名遣い等に関する知識が十分ではない担当者が対応関係を確認しようとすると、文字認識処理によって得られた文字が、文字列画像におけるどの部分に該当するかを把握するために時間がかかる場合がある。このような場合であっても、文字認識モデル学習装置１を用いて学習モデルを生成し、その学習モデルを用いて文字認識装置２によって文字認識をすることで、文字列を簡単に確認することができる。また、名を表す文字列をデータとして取り扱うことができる。
この文書は、公的文書であってもよいし、契約書や、各種サービスの申し込み用紙であってもよい。
【0015】
この領域２００のうち、名前欄２０１には、「太郎」の名が記載されており、除籍を表す図形は記載されていない。名前欄２０２には、「二郎」の名が記載されており、除籍を表す図形（以下、除籍図形と称する）が名を表す文字に対して重なるように記載されている。除籍図形は、手書きによって書き込まれる場合がある。
【0016】
画像抽出部１２は、画像データベース１１の戸籍謄本の画像データのうち名前欄の内周側の領域であって、名が記載された領域を抽出することで、抽出画像を生成する。
画像抽出部１２が抽出する領域のサイズと、高さ方向及び幅方向における位置は、予め決められている。抽出される領域のサイズは、記載される文字列が含まれる程度の大きさである。
画像抽出部１２は、名前欄のうち、除籍図形が記入されていない名前欄から抽出領域に基づいて画像を抽出することで抽出画像を生成する。以下、この抽出画像を文字列画像と称する場合がある。除籍図形がない名前欄については、文字認識モデル学習装置の外部に接続される入力装置からの指示に基づいて指定されるようにしてもよい。入力装置としては、キーボード、マウス、タッチパネル等のいずれであってもよく、文字認識モデル学習装置１を利用するオペレータによって操作される。
画像抽出部１２が抽出する領域のサイズと、高さ方向及び幅方向における位置は、予め決められている。抽出される領域のサイズは、記載される文字列が含まれる程度の大きさである。
画像抽出部１２は、名前欄のうち、除籍図形が記入されていない名前欄から抽出領域に基づいて画像を抽出することで抽出画像を生成する。以下、この抽出画像を文字列画像と称する場合がある。除籍図形がない名前欄については、文字認識モデル学習装置の外部に接続される入力装置からの指示に基づいて指定されるようにしてもよい。入力装置としては、キーボード、マウス、タッチパネル等のいずれであってもよく、文字認識モデル学習装置１を利用するオペレータによって操作される。
【0017】
ラベル付与部１３は、画像抽出部１２によって抽出された文字列画像に含まれる文字列を表す文字情報をラベルとして、当該文字列画像に付与する。ラベルは、画像抽出部１２によって抽出された画像に対して文字認識処理（ＯＣＲ処理）をすることで得られる文字情報をラベルとして用いてもよいし、文字認識モデル学習装置１の外部に接続されるディスプレイに文字列画像を表示し、この表示内容を見たオペレータによって、文字列画像に含まれる文字を文字情報として、入力装置から入力してもらうことでラベルとして用いるようにしてもよい。
【0018】
合成用空白画像生成部１４は、文字列画像に対して予め指定した幅ｋｗ（ｋｗは０より大きい数）倍、高さｋｈ（ｋｈは０より大きい数）倍である矩形状の合成用空白画像を生成する。
【0019】
合成用図形画像生成部１５は、合成用空白画像に対する２本の対角線である第１の線分ならびに第２の線分からなる合成用図形画像を生成する。
この合成用図形画像は、第１の線分と第２の線分とが交差する図形であればよい。
この合成用図形画像は、第１の線分と第２の線分とが交差する図形であればよい。
【0020】
重畳画像生成部１６は、合成用空白画像の予め指定した位置に、文字列画像と合成用図形画像を重畳させた重畳画像を生成する。
【0021】
合成学習用図形画像生成部１７は、重畳画像から、文字列画像に対して合成用図形画像が重畳された領域を含む領域で切り出した画像を、合成学習用画像として生成する。
合成学習用画像は、文字列画像の文字の部分と合成用図形画像とが重なるようにして合成されている。
合成学習用画像は、文字列画像の文字の部分と合成用図形画像とが重なるようにして合成されている。
【0022】
学習データ供給部１８は、学習用画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを第２学習データとして学習部１９に供給し、前記第１学習データとともに学習させる。
【0023】
学習部１９は、学習用画像に対応する正解ラベルと前記重畳画像に基づく合成学習用画像とを学習データとして学習し、学習モデル１９ａを生成する。
学習部１９は、合成学習用画像と、合成学習用画像の生成元とされた文字列画像とを各々文字認識学習モデルに入力し、それぞれの出力値の差分を文字認識学習モデルの学習に用いることもできる。
学習部１９は、合成学習用画像と、合成学習用画像の生成元とされた文字列画像とを各々文字認識学習モデルに入力し、それぞれの出力値の差分を文字認識学習モデルの学習に用いることもできる。
【0024】
文字認識モデルは、ニューラルネットワークを含むようにしてもよい。この場合、学習部１９は，合成学習用画像と、生成元とした学習用画像とを文字認識モデルに各々入力した際に、ニューラルネットワークを構成する層から出力された値どうしの誤差を学習に用いることもできる。
【0025】
文字認識装置２は、対象画像データベース２１、文字認識部２２、出力部２３を含む。
対象画像データベース２１は、文字認識をする対象の戸籍謄本の画像データを記憶する。
文字認識部２２は、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習した学習モデルに対し、文字認識対象の画像データを入力することで、当該画像データに対する文字認識を行わせ、当該文字認識結果を得る。
例えば、文字認識部２２は、学習部１９が生成した学習モデル１９ａを学習モデル２０２ａとして記憶し、この学習モデル２０２ａに対して対象画像データベース２１に記憶された戸籍謄本の画像データを入力することで、名前欄に記載された名について文字認識を行い、文字認識結果を出力する。
学習モデル２０２ａは、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習され、文字認識対象の画像データに対する文字認識を行い、当該画像データに含まれる文字を認識するための学習モデルである。文字認識対象の画像データは、例えば、対象画像データベース２１に記憶された戸籍謄本の画像データである。
学習モデル２０２ａは、戸籍謄本の画像データを入力することで、この戸籍謄本の名前欄に記載された名について文字認識を行い、文字認識結果を出力する。
文字認識部２２は、対象画像データベース２１に記憶された戸籍謄本の画像データのうち、名前欄の位置を、テンプレートを用いることで特定し、特定された名前欄を対象として文字認識を行う。戸籍謄本は、明治３１年式戸籍、大正４年式戸籍、昭和２３年式戸籍等、ある程度フォーマットが決まっているため、そのフォーマットに応じたテンプレートを用いることで、名前欄の位置や領域の大きさを特定することができる。
出力部２３は、文字認識部２２から出力された文字認識結果をディスプレイ３等の外部機器に出力する。この外部機器は、ディスプレイ３であってもよいし、文字認識結果を記憶する記憶装置であってもよい。
対象画像データベース２１は、文字認識をする対象の戸籍謄本の画像データを記憶する。
文字認識部２２は、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習した学習モデルに対し、文字認識対象の画像データを入力することで、当該画像データに対する文字認識を行わせ、当該文字認識結果を得る。
例えば、文字認識部２２は、学習部１９が生成した学習モデル１９ａを学習モデル２０２ａとして記憶し、この学習モデル２０２ａに対して対象画像データベース２１に記憶された戸籍謄本の画像データを入力することで、名前欄に記載された名について文字認識を行い、文字認識結果を出力する。
学習モデル２０２ａは、文字が書かれた文字列画像と当該書かれた文字を表す文字情報を含む正解ラベルとを含む第１学習データと、前記文字列画像に対して記載内容を変更することを表す合成用図形画像が合成された合成学習用画像と前記正解ラベルとを含む第２学習データと、を教師データとして学習され、文字認識対象の画像データに対する文字認識を行い、当該画像データに含まれる文字を認識するための学習モデルである。文字認識対象の画像データは、例えば、対象画像データベース２１に記憶された戸籍謄本の画像データである。
学習モデル２０２ａは、戸籍謄本の画像データを入力することで、この戸籍謄本の名前欄に記載された名について文字認識を行い、文字認識結果を出力する。
文字認識部２２は、対象画像データベース２１に記憶された戸籍謄本の画像データのうち、名前欄の位置を、テンプレートを用いることで特定し、特定された名前欄を対象として文字認識を行う。戸籍謄本は、明治３１年式戸籍、大正４年式戸籍、昭和２３年式戸籍等、ある程度フォーマットが決まっているため、そのフォーマットに応じたテンプレートを用いることで、名前欄の位置や領域の大きさを特定することができる。
出力部２３は、文字認識部２２から出力された文字認識結果をディスプレイ３等の外部機器に出力する。この外部機器は、ディスプレイ３であってもよいし、文字認識結果を記憶する記憶装置であってもよい。
【0026】
画像データベース１１、対象画像データベース２１は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせによって構成される。
【0027】
画像抽出部１２、ラベル付与部１３、合成用空白画像生成部１４、合成用図形画像生成部１５、重畳画像生成部１６、合成学習用図形画像生成部１７、学習データ供給部１８、学習部１９、文字認識部２２、出力部２３は、例えばＣＰＵ（中央処理装置）等の処理装置若しくは専用の電子回路で構成されてよい。
【0028】
【0029】
（図３：ステップＳ１０１）
文字認識モデル学習装置１の画像抽出部１２は、画像データベース１１に記憶された戸籍謄本ＦＲの名前欄２０２から名が記載された領域を文字列画像３００として抽出する。
文字認識モデル学習装置１の画像抽出部１２は、画像データベース１１に記憶された戸籍謄本ＦＲの名前欄２０２から名が記載された領域を文字列画像３００として抽出する。
【0030】
（図３：ステップＳ１０２）
合成用空白画像生成部１４は、ステップＳ１０１において得られた文字列画像に対する幅ｋｗ倍、高さｋｈ倍である矩形状の合成用空白画像３１０を生成する。例えば、ｋｗとｋｈは、それぞれ１より大きな数が用いられる。これにより、合成用空白画像の領域のサイズは、文字列画像よりもある程度大きなサイズである。ここで、文字列画像のサイズがある程度大きい場合であり、この文字列画像のサイズに対して十分に小さなサイズで文字列が記載されている場合には、ｋｗとｋｈは、それぞれ１より小さな数が用いられるようにしてもよい。例えば、名の書き手によっては、文字のサイズを小さく記載されている場合であっても、文字サイズに応じたサイズ（例えば文字列画像よりも一回り小さいサイズ）の合成用空白画像を生成することができる。
この合成用空白画像の領域内には、文字列と除籍図形とのいずれも記載されていない画像である。
合成用空白画像生成部１４は、ステップＳ１０１において得られた文字列画像に対する幅ｋｗ倍、高さｋｈ倍である矩形状の合成用空白画像３１０を生成する。例えば、ｋｗとｋｈは、それぞれ１より大きな数が用いられる。これにより、合成用空白画像の領域のサイズは、文字列画像よりもある程度大きなサイズである。ここで、文字列画像のサイズがある程度大きい場合であり、この文字列画像のサイズに対して十分に小さなサイズで文字列が記載されている場合には、ｋｗとｋｈは、それぞれ１より小さな数が用いられるようにしてもよい。例えば、名の書き手によっては、文字のサイズを小さく記載されている場合であっても、文字サイズに応じたサイズ（例えば文字列画像よりも一回り小さいサイズ）の合成用空白画像を生成することができる。
この合成用空白画像の領域内には、文字列と除籍図形とのいずれも記載されていない画像である。
【0031】
（図３：ステップＳ１０３）
合成用図形画像生成部１５は、合成用空白画像の矩形領域に対する２本の対角線としての第１の線分ならびに第２の線分からなる、合成用図形画像３２０を生成する。
ここで、合成用図形画像生成部１５は、２つの線分について，ｙ切片±εｙ１傾き±εｍ１，ｙ切片±εｙ２傾き±εｍ２の微小変換処理を各々施した２つの線分を生成する。
合成用図形画像生成部１５は、合成用空白画像の矩形領域に対する２本の対角線としての第１の線分ならびに第２の線分からなる、合成用図形画像３２０を生成する。
ここで、合成用図形画像生成部１５は、２つの線分について，ｙ切片±εｙ１傾き±εｍ１，ｙ切片±εｙ２傾き±εｍ２の微小変換処理を各々施した２つの線分を生成する。
【0032】
（図３：ステップＳ１０４）
重畳画像生成部１６は、合成用空白画像３１０に対して予め指定された位置に、文字列画像３００と合成用図形画像３２０を重畳させた重畳画像３３０を生成する。
ここでは、文字列画像３００に含まれる文字列を構成する１行に対して合成用図形画像３２０が重なるように合成される。電算化前の戸籍謄本は、一般に縦書きであるため、文字列画像３００に含まれる文字列も縦書きである。そのため、縦書きの１行に対して重なるように合成用図形画像３２０が重なるように合成される。
重畳画像生成部１６は、合成用空白画像３１０に対して予め指定された位置に、文字列画像３００と合成用図形画像３２０を重畳させた重畳画像３３０を生成する。
ここでは、文字列画像３００に含まれる文字列を構成する１行に対して合成用図形画像３２０が重なるように合成される。電算化前の戸籍謄本は、一般に縦書きであるため、文字列画像３００に含まれる文字列も縦書きである。そのため、縦書きの１行に対して重なるように合成用図形画像３２０が重なるように合成される。
【0033】
（図３：ステップＳ１０５）
合成学習用図形画像生成部１７は、重畳画像３３０から、合成学習用図形画像３４０を抽出することで生成する。
ここで、合成学習用図形画像生成部１７は、重畳画像３３０のうち文字列画像３００が配置された領域と同じ領域に沿った切出し位置に基づいて、合成学習用図形画像３４０を切り出すことで抽出してもよいが、異なる位置において切り出すこともできる、例えば、合成学習用図形画像生成部１７は、文字列画像３００が配置された領域を基準として位置に対して、ｘ±εｘｃ，ｙ±εｙｃの微小変換処理を施した位置を切り出し位置として切り出すようにしてもよい。
合成学習用図形画像生成部１７は、重畳画像３３０から、合成学習用図形画像３４０を抽出することで生成する。
ここで、合成学習用図形画像生成部１７は、重畳画像３３０のうち文字列画像３００が配置された領域と同じ領域に沿った切出し位置に基づいて、合成学習用図形画像３４０を切り出すことで抽出してもよいが、異なる位置において切り出すこともできる、例えば、合成学習用図形画像生成部１７は、文字列画像３００が配置された領域を基準として位置に対して、ｘ±εｘｃ，ｙ±εｙｃの微小変換処理を施した位置を切り出し位置として切り出すようにしてもよい。
【0034】
（図３：ステップＳ１０６）
ラベル付与部１３は、文字列画像３００に含まれる文字列に応じた文字情報を、文字列画像３００と合成学習用図形画像３４０とに対してそれぞれ正解ラベル３０１として付与する。ここでは、文字列画像３００と、この文字列画像３００を元に生成された合成学習用図形画像３４０とに対して同じ正解ラベル３０１が付与される。これにより、名前欄２０２に除籍図形が付与されていない状態の文字列画像と、名前欄２０２に除籍画像が書き込まれた状態の文字列画像とのどちらの場合であっても同じ文字情報（テキストデータ）が対応づけされる。すなわち、名を表す文字列に対して、除籍図形がある場合であっても無い場合であっても同じ文字列として認識可能となる学習データを生成する。
ラベル付与部１３は、文字列画像３００に含まれる文字列に応じた文字情報を、文字列画像３００と合成学習用図形画像３４０とに対してそれぞれ正解ラベル３０１として付与する。ここでは、文字列画像３００と、この文字列画像３００を元に生成された合成学習用図形画像３４０とに対して同じ正解ラベル３０１が付与される。これにより、名前欄２０２に除籍図形が付与されていない状態の文字列画像と、名前欄２０２に除籍画像が書き込まれた状態の文字列画像とのどちらの場合であっても同じ文字情報（テキストデータ）が対応づけされる。すなわち、名を表す文字列に対して、除籍図形がある場合であっても無い場合であっても同じ文字列として認識可能となる学習データを生成する。
【0035】
（図３：ステップＳ１０７）
学習データ供給部１８は、文字列画像３００に正解ラベルが付与された第１学習データと、合成学習用図形画像３４０に正解ラベルが付与された第２学習データをそれぞれ学習部１９に供給する。
学習データ供給部１８は、文字列画像３００に正解ラベルが付与された第１学習データと、合成学習用図形画像３４０に正解ラベルが付与された第２学習データをそれぞれ学習部１９に供給する。
【0036】
（図３：ステップＳ１０８）
学習部１９は、第１学習データと第２学習データとを教師データとして学習する。
学習部１９は、第１学習データと第２学習データとを教師データとして学習する。
【0037】
図５は、戸籍謄本ＦＲから抽出される抽出画像の一例を示す図である。
図５では、除籍図形が書き込まれていない名前欄２１０の内周側から領域２１１に基づいて文字列画像が抽出される場合を示す図である。図２の戸籍謄本ＦＲの名前欄２０２には、「二郎」の名に対して除籍図形が書き込まれた状態について図示されているが、画像データベース１１に異なる多数の戸籍謄本の画像データが記憶されている場合、戸籍謄本ＦＲとは別の戸籍謄本において同じ「二郎」の名が記載されている場合がある。例えば、別人であるが同じ名の人が複数いる場合である。このような同じ名の人について、除籍されたことがある人と、除籍されていない状態で戸籍謄本に記載されている人も存在する場合がある。また、同じ人であっても、ある戸籍謄本から除籍され、新たな戸籍が作られることで、その戸籍謄本とは別の新たな戸籍謄本が作られる場合がある。このような場合には、除籍図形が書き込まれていない名については、高い精度でＡＩ－ＯＣＲによる文字認識をすることができる。一方で、除籍図形が書き込まれている名については、そのままでは文字認識の精度が低下する場合がある。このような場合、本実施形態においては、除籍図形が書き込まれていない名の文字列を用い、除籍図形が書き込まれた状態の画像を合成によって生成した上で学習データを生成する。
例えば、図２に示す戸籍謄本ＦＲでは除籍図形が書き加えられた名前欄があったとしても、別の戸籍謄本から除籍図形が書き込まれていない状態の名前欄から得られる文字列画像を用いて除籍図形が書き込まれた状態の画像を合成して学習しておく。
この図５では、名前欄２１０よりも小さなサイズの領域であって、除籍図形が書き込まれておらず、「二郎」の文字列が記載された領域２１１が文字列画像として抽出される場合が図示されている。
図５では、除籍図形が書き込まれていない名前欄２１０の内周側から領域２１１に基づいて文字列画像が抽出される場合を示す図である。図２の戸籍謄本ＦＲの名前欄２０２には、「二郎」の名に対して除籍図形が書き込まれた状態について図示されているが、画像データベース１１に異なる多数の戸籍謄本の画像データが記憶されている場合、戸籍謄本ＦＲとは別の戸籍謄本において同じ「二郎」の名が記載されている場合がある。例えば、別人であるが同じ名の人が複数いる場合である。このような同じ名の人について、除籍されたことがある人と、除籍されていない状態で戸籍謄本に記載されている人も存在する場合がある。また、同じ人であっても、ある戸籍謄本から除籍され、新たな戸籍が作られることで、その戸籍謄本とは別の新たな戸籍謄本が作られる場合がある。このような場合には、除籍図形が書き込まれていない名については、高い精度でＡＩ－ＯＣＲによる文字認識をすることができる。一方で、除籍図形が書き込まれている名については、そのままでは文字認識の精度が低下する場合がある。このような場合、本実施形態においては、除籍図形が書き込まれていない名の文字列を用い、除籍図形が書き込まれた状態の画像を合成によって生成した上で学習データを生成する。
例えば、図２に示す戸籍謄本ＦＲでは除籍図形が書き加えられた名前欄があったとしても、別の戸籍謄本から除籍図形が書き込まれていない状態の名前欄から得られる文字列画像を用いて除籍図形が書き込まれた状態の画像を合成して学習しておく。
この図５では、名前欄２１０よりも小さなサイズの領域であって、除籍図形が書き込まれておらず、「二郎」の文字列が記載された領域２１１が文字列画像として抽出される場合が図示されている。
【0038】
図６Ａは、合成用空白画像３１０に対して、文字列画像３００と合成用図形画像３２０（除籍図形）とが重なるように合成された画像の一例を示す図である。この合成用図形画像３２０は、第１線分３２０ａと第２線分３２０ｂとが交差する図形である。この第１線分３２０ａと第２線分３２０ｂは、合成用空白画像３１０に対する対角線として書き込まれる場合があるが、書き手によっては、線分の端部が合成用空白画像３１０の頂部に重ならない状態で書き込まれることがある。そこで、合成用図形画像生成部１５は、合成用空白画像の矩形領域に対する２本の対角線を付与することで合成用図形画像３２０を生成してもよいが、第１線分に対してｙ切片±εｙ１傾き±εｍ１の微少変換処理を施すことで、少なくとも一方の端部が合成用空白画像３１０の頂部に重ならないようにした第１線分３２０ａを生成し、第２線分に対してｙ切片±εｙ２傾き±εｍ２の微小変換処理を施すことで、少なくとも一方の端部が合成用空白画像３１０の頂部に重ならないようにした第２線分３２０ｂを生成することで、合成用図形画像３２０を生成することもできる。
ここでは、第１線分に対して、ｙ切片±εｙ１傾き±εｍ１の微少変換処理を施すことで、高さ方向をｙ方向とした場合、合成用空白画像３１０に対する第１線分の配置位置を高さ方向において（±εｙ１）の範囲において任意に変更することができ（ｙ切片）、合成用空白画像３１０に対する第１線分の傾きを（±εｍ１）の範囲において任意に変更することができる（傾き）。
また、第２線分に対して、ｙ切片±εｙ２傾き±εｍ２の微少変換処理を施すことで、高さ方向をｙ方向とした場合、合成用空白画像３１０に対する第２線分の配置位置を高さ方向において（±εｙ２）の範囲において任意に変更することができ（ｙ切片）、合成用空白画像３１０に対する第２線分の傾きを（±εｍ2）の範囲において任意に変更することができる（傾き）。
これにより、書き手によって除籍図形の記載の仕方が異なっていたり、同じ書き手であっても、場合によって記載の仕方が異なってしまう場合を想定した合成学習用画像を生成し、学習することができる。
ここでは、第１線分に対して、ｙ切片±εｙ１傾き±εｍ１の微少変換処理を施すことで、高さ方向をｙ方向とした場合、合成用空白画像３１０に対する第１線分の配置位置を高さ方向において（±εｙ１）の範囲において任意に変更することができ（ｙ切片）、合成用空白画像３１０に対する第１線分の傾きを（±εｍ１）の範囲において任意に変更することができる（傾き）。
また、第２線分に対して、ｙ切片±εｙ２傾き±εｍ２の微少変換処理を施すことで、高さ方向をｙ方向とした場合、合成用空白画像３１０に対する第２線分の配置位置を高さ方向において（±εｙ２）の範囲において任意に変更することができ（ｙ切片）、合成用空白画像３１０に対する第２線分の傾きを（±εｍ2）の範囲において任意に変更することができる（傾き）。
これにより、書き手によって除籍図形の記載の仕方が異なっていたり、同じ書き手であっても、場合によって記載の仕方が異なってしまう場合を想定した合成学習用画像を生成し、学習することができる。
【0039】
この図６Ａでは、合成用図形画像３２０のうち第１線分３２０ａは、その第１端が、合成用空白画像３１０の右上頂部に重なる位置であり、その第２端が、合成用空白画像３１０の左下頂部よりも左辺に沿って少し上の位置となるように生成されている。また、合成用図形画像３２０のうち第２線分３２０ｂは、その第１端が、合成用空白画像３１０の左上頂部よりも左辺に沿って少し下の位置であり、その第２端が、名前欄２０２の右下頂部に重なる位置となるように生成されている。
そして、合成学習用図形画像３４０として抽出される画像は、文字列画像３００が配置された位置を基準として切り出すことで、「二郎」の名前が合成学習用図形画像３４０の高さ方向及び幅方向においてほぼ中央に位置するような状態で切り出す場合には、合成用図形画像３２０については、その２つの線分の交点が、合成学習用図形画像３４０の幅方向においてやや左辺に近い位置に配置された状態として抽出される。
そして、合成学習用図形画像３４０として抽出される画像は、文字列画像３００が配置された位置を基準として切り出すことで、「二郎」の名前が合成学習用図形画像３４０の高さ方向及び幅方向においてほぼ中央に位置するような状態で切り出す場合には、合成用図形画像３２０については、その２つの線分の交点が、合成学習用図形画像３４０の幅方向においてやや左辺に近い位置に配置された状態として抽出される。
【0040】
ここで、重畳画像３３０から合成学習用図形画像３４０を切り出す場合（抽出する場合）、その切り出し位置についても、任意に変更するようにしてもよい。
例えば、合成学習用図形画像生成部１７は、文字列画像３００が配置された領域を基準とした位置に対して、ｘ±εｘｃ，ｙ±εｙｃの微小変換処理を施した位置を切り出し位置として切り出すようにしてもよい。
ここでは、文字列画像３００の幅方向をｘ方向、高さ方向をｙ方向とした場合、文字列画像３００が配置された領域を基準にして、切り出す領域を幅方向において（ｘ±εｘｃ）の範囲において任意に変更することができ、文字列画像３００の高さ方向において（ｙ±εｙｃ）の範囲において任意に変更することができる。
例えば、名前欄において、名を示す文字列は、書き手が異なる場合や、同じ書き手であっても記載する状況によっては、名前欄の上側寄りまたは下側寄りに記載される場合があり、また、名前欄の右側寄りまたは左側寄りに記載される場合がある。このような場合があったとしても、このような場合に合わせた合成学習用図形画像３４０を準備することができる。
例えば、合成学習用図形画像生成部１７は、文字列画像３００が配置された領域を基準とした位置に対して、ｘ±εｘｃ，ｙ±εｙｃの微小変換処理を施した位置を切り出し位置として切り出すようにしてもよい。
ここでは、文字列画像３００の幅方向をｘ方向、高さ方向をｙ方向とした場合、文字列画像３００が配置された領域を基準にして、切り出す領域を幅方向において（ｘ±εｘｃ）の範囲において任意に変更することができ、文字列画像３００の高さ方向において（ｙ±εｙｃ）の範囲において任意に変更することができる。
例えば、名前欄において、名を示す文字列は、書き手が異なる場合や、同じ書き手であっても記載する状況によっては、名前欄の上側寄りまたは下側寄りに記載される場合があり、また、名前欄の右側寄りまたは左側寄りに記載される場合がある。このような場合があったとしても、このような場合に合わせた合成学習用図形画像３４０を準備することができる。
【0041】
図６Ｂは、合成用空白画像３１０に対して、文字列画像３００と合成用図形画像３２０とが重なるように合成された画像の一例を示す図である。合成用図形画像３２０のうち第１線分３２０ａは、その第１端が、合成用空白画像３１０の右上頂部よりも上辺に沿ってやや左側の位置となるように生成されており、その第２端が、合成用空白画像３１０の左下頂部よりも下辺に沿って少し右の位置となるように生成されている。また、合成用図形画像３２０のうち第２線分３２０ｂは、その第１端が、合成用空白画像３１０の左上頂部に重なる位置であり、その第２端が、名前欄２０２の右下頂部よりも右辺に沿ってやや上の位置となるように生成されている。
そして、重畳画像３３０から切り出す位置がｘ方向においてやや左よりとなるように微少変換処理がなされ、高さ方向においてやや上方となるように微少変換処理がなされた場合には、この微少変換処理がなされた位置に基づいて、合成学習用図形画像３４０として切り出される。
そして、重畳画像３３０から切り出す位置がｘ方向においてやや左よりとなるように微少変換処理がなされ、高さ方向においてやや上方となるように微少変換処理がなされた場合には、この微少変換処理がなされた位置に基づいて、合成学習用図形画像３４０として切り出される。
【0042】
図６Ｃは、合成用空白画像３１０に対して、文字列画像３００と合成用図形画像３２０とが重なるように合成された画像の一例を示す図である。合成用図形画像３２０のうち第１線分３２０ａは、その第１端が、合成用空白画像３１０の右上頂部よりも右辺に沿ってやや下側の位置となるように生成されており、その第２端が、合成用空白画像３１０の左下頂部に重なる位置となるように生成されている。また、合成用図形画像３２０のうち第２線分３２０ｂは、その第１端が、合成用空白画像３１０の左上頂部よりも上辺に沿ってやや右側の位置となるように生成され、その第２端が、名前欄２０２の右下頂部よりも下辺に沿ってやや左の位置となるように生成されている。
そして、重畳画像３３０から切り出す位置がｘ方向においてやや右よりとなるように微少変換処理がなされ、高さ方向においてやや下方となるように微少変換処理がなされた場合には、この微少変換処理がなされた位置に基づいて、合成学習用図形画像３４０として切り出される。
そして、重畳画像３３０から切り出す位置がｘ方向においてやや右よりとなるように微少変換処理がなされ、高さ方向においてやや下方となるように微少変換処理がなされた場合には、この微少変換処理がなされた位置に基づいて、合成学習用図形画像３４０として切り出される。
【0043】
図７は、学習部１９の学習手法について説明する図である。
学習部１９の学習は、様々な学習手法を採用することができる。
例えば、学習部１９は、文字認識学習モデルを学習するにあたり、文字列画像３００を入力として文字認識学習モデルに入力して得られる第１出力値と、合成学習用図形画像３４０を入力として文字認識学習モデルに入力して得られる第２出力値と、差分（確率分布の差）が少なくなるように学習するようにしてもよい。これにより、除籍図形の有無に起因する文字認識結果への影響をより抑制することができる。
学習部１９の学習は、様々な学習手法を採用することができる。
例えば、学習部１９は、文字認識学習モデルを学習するにあたり、文字列画像３００を入力として文字認識学習モデルに入力して得られる第１出力値と、合成学習用図形画像３４０を入力として文字認識学習モデルに入力して得られる第２出力値と、差分（確率分布の差）が少なくなるように学習するようにしてもよい。これにより、除籍図形の有無に起因する文字認識結果への影響をより抑制することができる。
【0044】
図８は、学習部１９の他の学習手法について説明する図である。
学習部１９は、文字認識モデルとして、ニューラルネットワークを用いてもよい。
この場合、学習部１９は、文字列画像３００と、合成学習用図形画像３４０とを文字認識モデルに各々入力した際に、ニューラルネットワークを構成する層から出力された値どうしの誤差を学習に用い、この誤差が小さくなるように学習させるようにしてもよい。これにより、除籍図形の有無に起因する文字認識結果への影響をより抑制することができる。
この場合、誤差の求め方としては、２乗和誤差または交差エントロピー誤差であってもよい。
ニューラルネットワークを構成する層としては、例えば、畳み込み層、ＬＳＴＭ（Long short-term memory）層、全結合層、（position-wise）Feed Forward Network層であってもよい。
学習部１９は、文字認識モデルとして、ニューラルネットワークを用いてもよい。
この場合、学習部１９は、文字列画像３００と、合成学習用図形画像３４０とを文字認識モデルに各々入力した際に、ニューラルネットワークを構成する層から出力された値どうしの誤差を学習に用い、この誤差が小さくなるように学習させるようにしてもよい。これにより、除籍図形の有無に起因する文字認識結果への影響をより抑制することができる。
この場合、誤差の求め方としては、２乗和誤差または交差エントロピー誤差であってもよい。
ニューラルネットワークを構成する層としては、例えば、畳み込み層、ＬＳＴＭ（Long short-term memory）層、全結合層、（position-wise）Feed Forward Network層であってもよい。
【0045】
以上説明した実施形態によれば、正解ラベルを有する画像に対して、傾きｍ１の第１の線分と傾きｍ２の第２の線分を重畳させた画像を生成し、当該画像に正解ラベルを付与したデータを学習データとして追加する。これにより、除籍を表す図形がある場合と無い場合との両方について学習することができるため、除籍図形がある場合でも無い場合でも同様に記載された文字列を認識することができ、文字認識の精度が低下しないようにすることができる。
【0046】
また、上述した実施形態によれば、名前欄に除籍図形が書き込まれていたとしても、文字認識をするに前に除籍図形を除去するような前処理を行う必要がない。
【0047】
上述した実施形態における文字認識モデル学習装置１または文字認識装置２をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0048】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0049】
１…文字認識モデル学習装置、２…文字認識装置、３…ディスプレイ、１１…画像データベース、１２…画像抽出部、１３…ラベル付与部、１４…合成用空白画像生成部、１５…合成用図形画像生成部、１６…重畳画像生成部、１７…合成学習用図形画像生成部、１８…学習データ供給部、１９…学習部、１９ａ…学習モデル、２１…対象画像データベース
２２ 文字認識部、２３…出力部、２００…領域、２０１…名前欄、２０２…名前欄、２０２ａ…学習モデル、２１０…名前欄、２１１…領域、３００…文字列画像、３０１…正解ラベル、３１０…合成用空白画像、３２０…合成用図形画像、３２０ａ…第１線分、３２０ｂ…第２線分、３３０…重畳画像、３４０…合成学習用図形画像
２２ 文字認識部、２３…出力部、２００…領域、２０１…名前欄、２０２…名前欄、２０２ａ…学習モデル、２１０…名前欄、２１１…領域、３００…文字列画像、３０１…正解ラベル、３１０…合成用空白画像、３２０…合成用図形画像、３２０ａ…第１線分、３２０ｂ…第２線分、３３０…重畳画像、３４０…合成学習用図形画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7】
【図8】