特許 7118923 帳票対応システム、帳票対応方法及び帳票対応プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-05

(45)【発行日】2022-08-16

(54)【発明の名称】帳票対応システム、帳票対応方法及び帳票対応プログラム

(51)【国際特許分類】

   G06V 30/412 20220101AFI20220808BHJP

   G06V 30/14 20220101ALI20220808BHJP

【ＦＩ】

G06V30/412

G06V30/14 340K

【請求項の数】 4

(21)【出願番号】P 2019089296

(22)【出願日】2019-05-09

(62)【分割の表示】P 2018012285の分割

【原出願日】2018-01-29

(65)【公開番号】P2019133719

(43)【公開日】2019-08-08

【審査請求日】2021-01-29

(73)【特許権者】

【識別番号】592052416

【氏名又は名称】株式会社 みずほ銀行

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】白河 龍弥

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１０－００９４４０（ＪＰ，Ａ）

【文献】特開平０５－３０７６３９（ＪＰ，Ａ）

【文献】特開２００１－２８３１５０（ＪＰ，Ａ）

【文献】特開２０１７－０１００６９（ＪＰ，Ａ）

【文献】米国特許第０７１４９３４７（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／００－３０／４２４

(57)【特許請求の範囲】

【請求項1】

帳票画像に含まれる各項目領域を示した教師データを用いて、帳票に含まれる項目領域の配置を学習させ、前記項目領域を特定するための帳票モデルを記憶した学習結果記憶部と、
帳票に含まれる項目値が記録された登録情報記憶部に接続される制御部とを備えた帳票対応システムであって、
前記制御部が、
帳票画像において、前記学習結果記憶部に記録された帳票モデルにより、各帳票項目の項目領域を予測し、
前記予測した項目領域毎に、機械学習によって生成された文字認識モデルを用いて、文字認識した文字候補と、前記文字認識における前記文字候補毎の正解率とを算出し、
前記正解率が高い順番に複数の文字候補を組み合わせた組み合わせ候補について、前記正解率の合計値が合計基準値以上の組み合わせを、各項目領域において項目値として特定し、
前記特定した項目値と、前記登録情報記憶部に記録された項目値との一致率を算出し、
前記一致率が照合判定基準値を超えた項目値を用いた帳票処理を行なうことを特徴とする帳票対応システム。

【請求項2】

前記制御部が、
前記一致率が照合判定基準値を超えない場合、担当者端末に、帳票画像及び帳票項目の項目値の入力欄を含む帳票確認画面を出力し、
前記帳票確認画面に入力された項目値を取得し、
前記帳票確認画面に入力された項目値を用いて、前記帳票処理を行なうことを特徴とする請求項１に記載の帳票対応システム。

【請求項3】

帳票画像に含まれる各項目領域を示した教師データを用いて、帳票に含まれる項目領域の配置を学習させ、前記項目領域を特定するための帳票モデルを記憶した学習結果記憶部と、
帳票に含まれる項目値が記録された登録情報記憶部に接続される制御部とを備えた帳票対応システムを用いて、帳票対応を支援するための方法であって、
前記制御部が、
帳票画像において、前記学習結果記憶部に記録された帳票モデルにより、各帳票項目の項目領域を予測し、
前記予測した項目領域毎に、機械学習によって生成された文字認識モデルを用いて、文字認識した文字候補と、前記文字認識における前記文字候補毎の正解率とを算出し、
前記正解率が高い順番に複数の文字候補を組み合わせた組み合わせ候補について、前記正解率の合計値が合計基準値以上の組み合わせを、各項目領域において項目値として特定し、
前記特定した項目値と、前記登録情報記憶部に記録された項目値との一致率を算出し、
前記一致率が照合判定基準値を超えた項目値を用いた帳票処理を行なうことを特徴とする帳票対応方法。

【請求項4】

帳票画像に含まれる各項目領域を示した教師データを用いて、帳票に含まれる項目領域の配置を学習させ、前記項目領域を特定するための帳票モデルを記憶した学習結果記憶部と、
帳票に含まれる項目値が記録された登録情報記憶部に接続される制御部とを備えた帳票対応システムを用いて、帳票対応を支援するためのプログラムであって、
前記制御部を、
帳票画像において、前記学習結果記憶部に記録された帳票モデルにより、各帳票項目の項目領域を予測し、
前記予測した項目領域毎に、機械学習によって生成された文字認識モデルを用いて、文字認識した文字候補と、前記文字認識における前記文字候補毎の正解率とを算出し、
前記正解率が高い順番に複数の文字候補を組み合わせた組み合わせ候補について、前記正解率の合計値が合計基準値以上の組み合わせを、各項目領域において項目値として特定し、
前記特定した項目値と、前記登録情報記憶部に記録された項目値との一致率を算出し、
前記一致率が照合判定基準値を超えた項目値を用いた帳票処理を行なう手段として機能させることを特徴とする帳票対応プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、帳票を用いた処理を支援するための帳票対応システム、帳票対応方法及び帳票対応プログラムに関する。

【背景技術】

【0002】

取引を依頼する場合、帳票を用いることがある。例えば、銀行口座を用いて、振込を行なう場合は、振込依頼書を用いることがある。このような振込依頼書に記載された内容は、銀行のホストシステムにデータ投入されて振込処理が行なわれる。また、振込依頼書を文字認識することにより、取引処理に必要なデータを生成する場合もある。

【0003】

例えば、ＯＣＲ処理において、帳票上の罫線、及び帳票上の固有情報を利用して類似する帳票種類の判別を行ない、その帳票種類に対応する定義体を使用して文字認識を行うことにより、帳票ＩＤで管理されていない私製帳票についても対応可能な帳票処理装置が検討されている（例えば、特許文献１を参照。）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－８１３８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述のように、振込を依頼する場合、収納機関において作成された振込依頼書を利用することがある。この場合、収納機関によって振込依頼書のレイアウトが異なり、振込に必要な各項目の記載位置が異なる。この場合、罫線や固有情報だけでは、各項目に関する情報の特定が困難なこともある。また、手書きにより作成された帳票においては、文字認識処理（ＯＣＲ処理）が困難な場合もある。このような場合には、的確及び円滑な帳票対応が困難である。

【課題を解決するための手段】

【0006】

上記課題を解決する帳票対応システムは、帳票に含まれる項目領域の配置を学習した帳票モデルを記憶した学習結果記憶部と、帳票に含まれる項目値が記録された登録情報記憶部に接続される制御部とを備える。そして、前記制御部が、帳票画像において、前記学習結果記憶部に記録された帳票モデルにより予測した項目領域毎に文字認識した文字候補と、前記文字候補の正解率とを算出し、前記正解率に基づいて、各項目領域において項目値を特定し、前記特定した項目値と、前記登録情報記憶部に記録された項目値とを照合し、前記照合の結果に応じて、前記項目値を用いた帳票処理を行なう。

【発明の効果】

【0007】

本発明によれば、的確かつ効率的に、帳票を読み取り、この帳票に基づく取引を支援することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態の帳票対応システムの説明図。

【図2】本実施形態の処理手順の説明図。

【図3】本実施形態の文字認識の説明図。

【図4】他の実施形態の処理手順の説明図。

【図5】他の実施形態の処理手順の説明図。

【図6】他の実施形態の処理手順の説明図。

【図7】他の実施形態の処理手順の説明図。

【発明を実施するための形態】

【0009】

以下、図１～図３に従って、帳票対応システム、帳票対応方法及び帳票対応プログラムを具体化した一実施形態を説明する。本実施形態では、金融機関において、口座振替依頼書等の帳票に基づく取引を支援する場合を想定する。

【0010】

図１に示すように、スキャナ１０、支援サーバ２０、ホストシステム３０及び担当者端末４０を用いる。
スキャナ１０は、取引に用いる口座振替依頼書（帳票）を読み取り、帳票画像を生成する処理を実行する。

【0011】

支援サーバ２０は、帳票画像に基づいて、取引に用いる取引電文の作成を支援する金融機関のコンピュータシステムである。この支援サーバ２０は、制御部２１、教師情報記憶部２２、学習結果記憶部２３を備えている。

【0012】

制御部２１は、制御手段（ＣＰＵやＧＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（学習処理段階、項目認識段階、文字認識段階、照合処理段階等の各処理等）を行なう。そのための帳票対応プログラムを実行することにより、制御部２１は、学習処理部２１０、項目認識部２１１、文字認識部２１２、照合処理部２１３として機能する。

【0013】

学習処理部２１０は、各項目領域が設定された帳票画像を含む教師データを用いて、未知の帳票画像において帳票領域を特定するための帳票モデルを生成する学習処理を実行する。
項目認識部２１１は、帳票画像に含まれる項目領域の特定処理を実行する。

【0014】

本実施形態では、機械学習により、項目領域を予測する。具体的には、学習処理部２１０は、帳票画像と、この帳票画像に含まれる項目領域を示した教師データを用いて学習処理（深層学習）を行なう。この学習処理において、学習処理部２１０は、帳票認識モデルを生成し、学習結果記憶部２３に登録する。そして、予測段階では、項目認識部２１１は、学習結果記憶部２３に記録されている帳票モデルを用いて、予測対象の帳票画像において各項目領域を予測する。

【0015】

文字認識部２１２は、各項目領域に含まれる文字の認識処理を実行する。本実施形態では、手書き文字の文字画像と関連付けられたテキスト文字からなる教師データを用いた機械学習（深層学習）により、文字認識モデルを生成する。そして、この文字認識モデルを用いて、項目領域から切り出した各文字を認識する。この場合、各文字について、複数の認識候補を特定するとともに、各認識候補についての可能性（正解率）を算出する。

【0016】

照合処理部２１３は、帳票画像により特定した文字列を用いて、予め準備された登録情報と照合する処理を実行する。照合処理部２１３は、文字種類に応じて、正解率を判定するための基準値に関するデータを保持させておく。

【0017】

教師情報記憶部２２には、機械学習に用いられる複数の教師データが記録されている。教師データは、機械学習を行なう前に記録される。教師データには、帳票種別毎に、帳票画像、項目領域、帳票項目に関するデータが記録される。

【0018】

帳票種別は、各帳票の種類を特定するための識別子である。
帳票画像は、この帳票をスキャンした画像である。
項目領域は、帳票画像において、各帳票項目の内容が記載された領域が指定される。
帳票項目は、帳票画像の中に含まれる各項目領域に対して、項目の内容（例えば、口座番号や名義人等）が設定される。

【0019】

学習結果記憶部２３には、帳票画像において、各項目が記載された項目領域を予測するための帳票モデルが記録されている。帳票モデルは、教師データを用いての機械学習を行なった場合に記録される。帳票モデルには、帳票画像に基づいて特定される帳票種別や、この帳票種別に設けられた帳票項目の記載領域（項目領域）を予測するためのデータが記録される。

【0020】

支援サーバ２０には、ネットワークを介してホストシステム３０及び担当者端末４０が接続される。
ホストシステム３０は、顧客の口座を管理する金融機関のコンピュータシステムである。このため、ホストシステム３０は、口座情報記憶部３２を備える。本実施形態では、口座情報記憶部３２が登録情報記憶部として機能する。

【0021】

口座情報記憶部３２には、銀行の顧客の口座に関する情報を管理するための口座管理レコードが記録される。この口座管理レコードは、口座が開設された場合に登録される。この口座管理レコードには、口座番号、名義人名、入出金履歴、残高に関する情報が記録される。

【0022】

口座番号データ領域には、この口座を特定するための識別子（本支店コード、預金種別、口座番号）に関する情報が記録される。
名義人名データ領域には、この口座の名義人の氏名に関する情報が記録される。
入出金履歴データ領域には、この口座への入金やこの口座からの出金に関する情報（入出金日時、金額、入出金先口座等）に関する情報が記録される。
残高データ領域には、この口座の現在の残高に関する情報が記録される。

【0023】

担当者端末４０は、金融機関の担当者が用いるコンピュータ端末（クライアント端末）である。この担当者端末４０は、制御部、入力部（ポインティングデバイスやキーボード等）、出力部（ディスプレイ等）を備えている。

【0024】

（帳票を用いた取引処理）
次に、図２を用いて、帳票（口座振替依頼書）を用いた取引処理の処理手順を説明する。

【0025】

まず、支援サーバ２０の制御部２１は、学習処理を実行する（ステップＳ１－０）。具体的には、制御部２１の学習処理部２１０は、教師情報記憶部２２に記録された教師データを用いて、画像、位置、サイズ等の情報でモデル構築を行なう機械学習を行なう。これにより、帳票画像において、帳票種別に関連付けられた、項目領域を特定するための帳票モデルを生成し、学習結果記憶部２３に記録する。

【0026】

次に、顧客から受け取った帳票の対応処理を説明する。
この場合、支援サーバ２０の制御部２１は、帳票スキャン処理を実行する（ステップＳ１－１）。具体的には、スキャナ１０を用いて、処理対象の帳票のスキャンを行なう。この場合、制御部２１の項目認識部２１１は、スキャナ１０から帳票画像を取得する。

【0027】

次に、支援サーバ２０の制御部２１は、項目予測処理を実行する（ステップＳ１－２）。具体的には、制御部２１の項目認識部２１１は、学習結果記憶部２３に記録された帳票モデルを用いて、画像認識により、帳票画像に含まれる項目領域を予測する。

【0028】

次に、支援サーバ２０の制御部２１は、項目抽出を完了したかどうかについての判定処理を実行する（ステップＳ１－３）。具体的には、制御部２１の項目認識部２１１は、学習結果記憶部２３に記録された帳票モデルに関連付けられたすべての帳票項目について、項目領域を特定できた場合には、項目抽出の完了と判定する。

【0029】

項目抽出を完了できなかったと判定した場合（ステップＳ１－３において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、担当者による項目指定処理を実行する（ステップＳ１－４）。具体的には、制御部２１の項目認識部２１１は、担当者端末４０に帳票確認画面を出力する。この帳票確認画面には、帳票画像及び帳票に含まれる帳票項目候補が出力される。この場合、担当者は、帳票画像に含まれる項目領域を確認し、帳票項目を割り当てる。そして、項目認識部２１１は、帳票画像において、担当者によって指定された各項目領域を取得する。

【0030】

次に、支援サーバ２０の制御部２１は、教師データの登録処理を実行する（ステップＳ１－５）。具体的には、制御部２１の項目認識部２１１は、帳票種別、帳票画像、項目領域及び帳票項目を含めた教師データを教師情報記憶部２２に記録する。そして、支援サーバ２０の制御部２１は、この教師データを、再度、学習処理（ステップＳ１－０）に用いる。

【0031】

一方、項目抽出を完了したと判定した場合（ステップＳ１－３において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、担当者による項目指定処理（ステップＳ１－４）、教師データの登録処理（ステップＳ１－５）をスキップする。

【0032】

次に、支援サーバ２０の制御部２１は、帳票項目毎に以下の処理を繰り返す。
ここでは、支援サーバ２０の制御部２１は、文字認識処理を実行する（ステップＳ１－６）。具体的には、制御部２１の文字認識部２１２は、帳票画像の項目領域に含まれる各文字画像の文字認識を行なう。この場合、文字認識部２１２は、文字画像毎に、複数の文字候補と正解率とを算出する。

【0033】

ここでは、図３に示すように、文字画像５０１～５０７毎に、第１候補～第３候補について各正解率を算出する。
そして、支援サーバ２０の制御部２１は、すべての帳票項目について処理を繰り返す。

【0034】

次に、支援サーバ２０の制御部２１は、正解率に基づいて登録情報との照合処理を実行する（ステップＳ１－７）。具体的には、制御部２１の照合処理部２１３は、文字種類に応じて、予め定められた基準値を超える正解率の認識文字を組み合わせて文字列を生成する。この場合、各文字画像について、基準値を超える正解率の認識文字が存在しない場合には、正解率が高い順番で複数の認識文字を選択しておくことにより、正解率が低い文字画像について一致の許容範囲を広げる。そして、照合処理部２１３は、文字列と登録情報とを照合する。例えば、帳票項目「口座番号」、「名義人」については、ホストシステム３０の口座情報記憶部３２に記録されている口座番号及び名義人氏名と比較する。

【0035】

次に、支援サーバ２０の制御部２１は、認識完了かどうかについての判定処理を実行する（ステップＳ１－８）。具体的には、制御部２１の照合処理部２１３は、認識文字列が含まれる登録情報を特定できた場合、帳票項目毎に、認識文字列と登録情報の文字列との一致率（一致文字数／全文字数）を算出する。そして、照合処理部２１３は、一致率が予め定められた照合判定基準値を超える場合には、認識完了と判定する。

【0036】

認識完了でないと判定した場合（ステップＳ１－８において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、確認処理を実行する（ステップＳ１－９）。具体的には、制御部２１の照合処理部２１３は、担当者端末４０に、帳票確認画面を出力する。この帳票確認画面には、帳票画像及び帳票項目の項目値の入力欄が出力される。この場合、担当者は、帳票画像に含まれる項目領域を確認し、項目値を入力する。そして、照合処理部２１３は、帳票画像において、担当者によって入力された項目値を取得する。

【0037】

一方、認識完了と判定した場合（ステップＳ１－８において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、帳票処理を実行する（ステップＳ１－１０）。具体的には、制御部２１の照合処理部２１３は、処理対象の帳票について、帳票項目毎に認識した文字列を用いて取引電文を生成し、ホストシステム３０に送信する。なお、確認処理（ステップＳ１－９）を実行した場合には、担当者によって入力された項目値用いて取引電文を生成し、ホストシステム３０に送信する。

【0038】

以上、本実施形態によれば、以下に示す効果を得ることができる。
（１）本実施形態では、支援サーバ２０の制御部２１は、学習処理を実行する（ステップＳ１－０）。そして、支援サーバ２０の制御部２１は、帳票スキャン処理（ステップＳ１－１）、項目予測処理（ステップＳ１－２）を実行する。これにより、機械学習した帳票モデルを用いて、項目領域を特定することができる。

【0039】

（２）本実施形態では、項目抽出を完了できなかったと判定した場合（ステップＳ１－３において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、担当者による項目指定処理（ステップＳ１－４）、教師データの登録処理（ステップＳ１－５）を実行する。これにより、帳票モデルを用いて、項目領域を特定できなかった帳票画像について、人手作業で項目領域を特定し、教師データとして機械学習に用いることができる。

【0040】

（３）本実施形態では、支援サーバ２０の制御部２１は、文字認識処理（ステップＳ１－６）、正解率に基づいて登録情報との照合処理（ステップＳ１－７）を実行する。これにより、文字認識が正しい可能性がある文字候補を用いて照合を行なうことができる。

【0041】

（４）本実施形態では、認識完了でないと判定した場合（ステップＳ１－８において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、確認処理を実行する（ステップＳ１－９）。これにより、登録情報を確認できなかった帳票について、人手作業で修正することができる。

【0042】

（５）本実施形態では、支援サーバ２０の制御部２１は、帳票処理を実行する（ステップＳ１－１０）。これにより、効率的に帳票を用いた取引を行なうことができる。

【0043】

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、銀行で用いる帳票（口座振替依頼書）の読み取りを支援する場合を想定する。帳票を読み取り、帳票対応を行なう場合であれば、口座振替依頼書に限定されるものではなく、各種帳票を用いた処理に適用することができる。

【0044】

・上記実施形態では、支援サーバ２０の制御部２１は、正解率に基づいて登録情報と照合処理を実行する（ステップＳ１－７）。具体的には、制御部２１の照合処理部２１３は、予め定められた基準値を超える正解率の認識文字を組み合わせて文字列を生成する。正解率を用いた文字列の生成方法は、これに限定されるものではない。例えば、正解率の高い順番に複数の認識文字を組み合わせた組み合わせ候補を用いて、照合するようにしてもよい。

【0045】

図４を用いて、組み合わせ候補を用いた照合処理を説明する。
ここでは、支援サーバ２０の制御部２１は、各文字の文字候補の特定処理を実行する（ステップＳ２－１）。具体的には、制御部２１の文字認識部２１２は、文字認識処理により、各文字画像について、正解率の高い順番に複数の文字候補を特定する。例えば、正解率の上位２候補を特定する。

【0046】

次に、支援サーバ２０の制御部２１は、各文字候補の組み合わせの生成処理を実行する（ステップＳ２－２）。具体的には、制御部２１の照合処理部２１３は、各文字画像について特定した文字候補の組み合わせ候補を生成する。ここで、７文字からなる文字列の場合には、１２８通り（２の７べき乗）の組み合わせ候補が生成される。

【0047】

次に、支援サーバ２０の制御部２１は、各組み合わせの正解率の合計値の算出処理を実行する（ステップＳ２－３）。具体的には、制御部２１の照合処理部２１３は、各組み合わせについて、組み合わせ候補を構成する文字候補の正解率を合計した合計値を算出する。

【0048】

次に、支援サーバ２０の制御部２１は、正解率の合計値が基準値以上の組み合わせの抽出処理を実行する（ステップＳ２－４）。具体的には、制御部２１の照合処理部２１３は、帳票項目の文字列の文字種類に応じて基準値を特定する。例えば、数字やアルファベットについては、漢字や仮名文字よりも高い基準値を用いる。例えば、文字種類が数字の場合には９８％、漢字や仮名文字の場合には９０％を用いる。そして、照合処理部２１３は、特定した基準値以上の合計値の組み合わせを特定する。

【0049】

次に、支援サーバ２０の制御部２１は、登録情報と照合処理を実行する（ステップＳ２－５）。具体的には、制御部２１の照合処理部２１３は、基準値以上の合計値の組み合わせを用いて、登録情報（口座情報記憶部２２に記録された情報）と照合する。
これにより、誤読み取りを考慮して、登録情報と照合することができる。

【0050】

・上記実施形態では、認識完了でないと判定した場合（ステップＳ１－８において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、確認処理を実行する（ステップＳ１－９）。この場合、正解率に応じて、確認方法を変更するようにしてもよい。

【0051】

図５、図６を用いて、この場合の確認処理を説明する。
ここでは、支援サーバ２０の制御部２１は、文字毎に以下の処理を繰り返す。
まず、支援サーバ２０の制御部２１は、ステップＳ１－６と同様に、文字認識処理を実行する（ステップＳ３－１）。

【0052】

そして、図５に示すように、確認処理において、支援サーバ２０の制御部２１は、正解率に応じて表示方法の決定処理を実行する（ステップＳ３－２）。具体的には、制御部２１の文字認識部２１２は、正解率に応じた出力形式を決定する。例えば、正解率が基準値以上の文字候補については、背景色（グレー）を濃くしたグレースケール表示を行なう。これにより、担当者は、正解率を考慮して確認することができる。一方、正解率が基準値未満の文字候補については、背景色と識別できるように表示する。また、認識文字と文字画像とを入れ替えて表示するようにしてもよい。例えば、正解率が基準値以上の文字候補については、認識文字を表示する。一方、正解率が基準値未満の文字候補については、文字画像を表示する。
そして、支援サーバ２０の制御部２１は、すべての文字画像について繰り返す。
これにより、担当者は効率的に確認作業を行なうことができる。

【0053】

・上記実施形態では、支援サーバ２０の制御部２１は、文字認識処理を実行する（ステップＳ１－６）。この場合、文字認識部２１２は、文字画像毎に、複数の文字候補と正解率とを算出する。ここで、正解率の高い文字画像を用いて学習するようにしてもよい。

【0054】

図６に示すように、各文字画像５１１～５１７において、文字候補と正解率を算出する。ここで、文字画像５１１，５１３，５１４の各正解率ａ１，ｃ１，ｄ１が基準値を超えている場合を想定する。

【0055】

この場合、支援サーバ２０の制御部２１は、正解率が高い文字を用いて学習処理を実行する（ステップＳ４－１）。具体的には、制御部２１の文字認識部２１２は、正解率が高い文字画像５１１，５１３，５１４を用いて、文字特徴を学習する学習処理を実行する。ここでは、文字特徴としては、手書きのおける始筆，送筆，終筆、文字の傾き、大きさ等の筆致の特徴を用いる。

【0056】

次に、支援サーバ２０の制御部２１は、学習結果を用いて再予測処理を実行する（ステップＳ４－２）。具体的には、制御部２１の文字認識部２１２は、算出した文字特徴を用いて、正解率の低い文字画像の文字認識を、再実行する。
これにより、正解率が高い認識文字を用いて、書き手の特徴を把握し、この特徴を活かして正解率が低い認識文字の再認識を行なうことができる。

【0057】

・上記実施形態では、支援サーバ２０の制御部２１は、項目抽出の完了かどうかについての判定処理を実行する（ステップＳ１－３）。具体的には、制御部２１の項目認識部２１１は、予め定められたすべての項目について項目領域を特定できた場合には、項目抽出の完了と判定する。ここで、他の方法を併用して項目を抽出するようにしてもよい。例えば、帳票項目を登録した項目辞書を準備しておき、帳票画像を文字認識した文字列により、帳票項目を特定するようにしてもよい。

【0058】

図７を用いて、帳票処理方法を説明する。
ここでも、ステップＳ１－１～Ｓ１－３と同様に、支援サーバ２０の制御部２１は、帳票スキャン処理（ステップＳ５－１）、項目予測処理（ステップＳ５－２）、項目抽出を完了したかどうかについての判定処理（ステップＳ５－３）を実行する。

【0059】

項目抽出を完了できなかったと判定した場合（ステップＳ５－３において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、文字認識処理を実行する（ステップＳ５－４）。具体的には、制御部２１の文字認識部２１２は、通常の文字認識処理により、帳票画像に含まれるすべての文字を認識する。

【0060】

次に、支援サーバ２０の制御部２１は、文字の認識位置に応じてグループ化処理を実行する（ステップＳ５－５）。具体的には、制御部２１の項目認識部２１１は、認識文字の配置に基づいて、文字列をグループ化する。ここで、項目辞書を用いて帳票項目を表わす文字列を検索する。更に、帳票項目を構成する文字列を特定した場合には、特定した文字列の位置から所定範囲に含まれる文字列や、連結された罫線で囲まれた範囲内の文字列をグループ化して項目領域を特定する。

【0061】

次に、支援サーバ２０の制御部２１は、項目抽出を完了したかどうかについての判定処理を実行する（ステップＳ５－６）。具体的には、制御部２１の項目認識部２１１は、認識文字の文字列を含む項目領域を特定できた場合には、項目抽出の完了と判定する。

【0062】

項目抽出を完了できなかったと判定した場合（ステップＳ５－６において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、ステップＳ１－４、Ｓ１－５と同様に、担当者による項目指定処理（ステップＳ５－７）及び教師データの登録処理（ステップＳ５－８）を実行する。

【0063】

一方、項目抽出を完了したと判定した場合（ステップＳ５－３，Ｓ５－６において「ＹＥＳ」の場合）、項目指定処理（ステップＳ５－７）及び教師データの登録処理（ステップＳ５－８）をスキップする。
そして、支援サーバ２０の制御部２１は、帳票項目毎に文字認識処理（ステップＳ５－９）以降の処理を実行する。

【0064】

これにより、機械学習を用いて生成した帳票モデルにより帳票項目を推定できない場合にも、文字認識を利用して項目領域を特定することができる。

【0065】

次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
〔ａ〕帳票に含まれる項目領域の配置を学習した帳票モデルを記憶した学習結果記憶部と、
帳票に含まれる項目値が記録された登録情報記憶部に接続される制御部とを備えた帳票対応システムであって、
前記制御部が、
帳票画像において、前記学習結果記憶部に記録された帳票モデルにより予測した項目領域毎に文字認識した文字候補と、前記文字候補の正解率とを算出し、
前記正解率に基づいて、各項目領域において項目値を特定し、
前記特定した項目値と、前記登録情報記憶部に記録された項目値とを照合し、
前記照合の結果に応じて、前記項目値を用いた帳票処理を行なうことを特徴とする帳票対応システム。
〔ｂ〕帳票種別について、項目領域が設定された帳票画像を教師データとして用いて、項目領域を特定するための帳票モデルを生成し、前記学習結果記憶部に記録する学習処理を更に実行することを特徴とする〔ａ〕に記載の帳票対応システム。
〔ｃ〕前記制御部が、前記学習結果記憶部に記録された帳票モデルにより項目領域を予測できない場合、前記帳票画像に含まれる文字画像を用いて文字認識を行ない、
前記文字認識した文字列の配置に基づいてグループ化を行ない、
前記グループ化された文字列を用いて前記項目領域を予測することを特徴とする〔ａ〕又は〔ｂ〕に記載の帳票対応システム。
〔ｄ〕認識文字の正解率の高さに応じて複数の文字候補を特定し、
前記正解率を用いて、複数の文字候補の組み合わせを生成し、
前記組み合わせを用いて、前記登録情報記憶部に記録された項目値の照合を行なうことを特徴とする〔ａ〕～〔ｃ〕の何れか一項に記載の帳票対応システム。
〔ｅ〕帳票に含まれる項目領域の配置を学習した帳票モデルを記憶した学習結果記憶部と、
帳票に含まれる項目値が記録された登録情報記憶部に接続される制御部とを備えた帳票対応システムを用いて、帳票対応を支援するための方法であって、
前記制御部が、
帳票画像において、前記学習結果記憶部に記録された帳票モデルにより予測した項目領域毎に文字認識した文字候補と、前記文字候補の正解率とを算出し、
前記正解率に基づいて、各項目領域において項目値を特定し、
前記特定した項目値と、前記登録情報記憶部に記録された項目値とを照合し、
前記照合の結果に応じて、前記項目値を用いた帳票処理を行なうことを特徴とする帳票対応方法。
〔ｆ〕帳票に含まれる項目領域の配置を学習した帳票モデルを記憶した学習結果記憶部と、
帳票に含まれる項目値が記録された登録情報記憶部に接続される制御部とを備えた帳票対応システムを用いて、帳票対応を支援するためのプログラムであって、
前記制御部を、
帳票画像において、前記学習結果記憶部に記録された帳票モデルにより予測した項目領域毎に文字認識した文字候補と、前記文字候補の正解率とを算出し、
前記正解率に基づいて、各項目領域において項目値を特定し、
前記特定した項目値と、前記登録情報記憶部に記録された項目値とを照合し、
前記照合の結果に応じて、前記項目値を用いた帳票処理を行なう手段として機能させることを特徴とする帳票対応プログラム。

【符号の説明】

【0066】

１０…スキャナ、２０…支援サーバ、２１…制御部、２１０…学習処理部、２１１…項目認識部、２１２…文字認識部、２１３…照合処理部、２２…教師情報記憶部、２３…学習結果記憶部、３０…ホストシステム、３２…口座情報記憶部、４０…担当者端末。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】