特許 7581678 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   G06V 30/12 20220101AFI20241106BHJP

【ＦＩ】

G06V30/12 J

【請求項の数】 2

(21)【出願番号】P 2020119051

(22)【出願日】2020-07-10

(65)【公開番号】P2022015894

(43)【公開日】2022-01-21

【審査請求日】2023-06-21

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110002583

【氏名又は名称】弁理士法人平田国際特許事務所

(72)【発明者】

【氏名】小坂 史

(72)【発明者】

【氏名】道村 唯夫

(72)【発明者】

【氏名】岡田 茂

(72)【発明者】

【氏名】吉塚 公則

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１８－０３２２３１（ＪＰ，Ａ）

【文献】特開２０２０－０５２４８０（ＪＰ，Ａ）

【文献】特開２０２０－０２４７２７（ＪＰ，Ａ）

【文献】特開２０１６－０５３８７６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１４８９１４（ＵＳ，Ａ１）

【文献】朱碧蘭 外１名，ドットテクスチャを用いたアクティブ帳票方式の高信頼性化，電子情報通信学会論文誌，社団法人電子情報通信学会，2007年02月01日，第J90-D巻 第2号，pp.481～493

【文献】Jiang Gao et al.，“A method for segmentation of cursive handwritings and its application to character shape extraction”，Proceedings 2000 International Conference on Image Processing (Cat. No.00CH37101)[online]，IEEE，2000年，Vol.2，pp.696-699，[検索日 2024.7.23], インターネット:<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=899804&tag=1>，DOI: 10.1109/ICIP.2000.899804

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／００ － ３０／１２

Ｇ０６Ｖ ３０／１４ － ３０／１６８

Ｇ０６Ｖ ３０／１８ － ３０／２２２

Ｇ０６Ｖ ３０／２２４

Ｇ０６Ｖ ３０／２２６ － ３０／３２

Ｇ０６Ｖ ３０／４０ － ３０／４１６

Ｇ０６Ｖ ３０／４２ － ３０／４２４

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

文字が記入される１つ以上の第１の欄と、署名又は押印される第２の欄とを有する読取対象であって、前記第１の欄及び前記第２の欄にそれぞれ記入又は押印された前記読取対象の第１の画像に対して文字が認識された認識結果を取得し、いずれかの前記第１の欄に不備があった場合、不備があった前記第１の欄及び前記第２の欄を空欄にした第２の画像を形成し、前記第２の欄に不備があった場合、前記第２の欄を空欄にした第２の画像を形成し、形成した前記第２の画像を出力するプロセッサを備えた情報処理装置。

【請求項2】

コンピュータに、
文字が記入される１つ以上の第１の欄と、署名又は押印される第２の欄とを有する読取対象であって、前記第１の欄及び前記第２の欄にそれぞれ記入又は押印された前記読取対象の第１の画像に対して文字が認識された認識結果を取得し、
いずれかの前記第１の欄に不備があった場合、不備があった前記第１の欄及び前記第２の欄を空欄にした第２の画像を形成し、前記第２の欄に不備があった場合、前記第２の欄を空欄にした第２の画像を形成し、
形成した前記第２の画像を出力させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

近年、帳票の記入欄に記入された内容が記入欄に予め設定された制約条件を満たしていない場合に、再記入用の記入欄を設けた再記入用の帳票を生成する帳票処理装置が提案されている（例えば、特許文献１参照。）。

【0003】

特許文献１に記載された帳票処理装置は、帳票データが印刷され、記入欄に記入された帳票を読み取って得られた帳票画像から記入欄に記入された内容を認識する第１の認識手段と、第１の認識手段による認識結果が記入欄に予め設定された制約条件を満たさない場合に、再記入用の記入欄、及び再記入用の帳票を示す付加情報を含む再記入用帳票データを生成して印刷手段に印刷させる生成手段と、印刷手段により印刷され、再記入用の記入欄に記入された帳票を光学的に読み取って得られた帳票画像から付加情報を検出された場合に、帳票画像から再記入用の記入欄に記入された内容を認識する第２の認識手段とを備える。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－５３８７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

署名や押印が必要な帳票に不備があった場合、最初に提出された帳票を原本とすると、再提出された帳票を最初に提出された帳票に関連付け保存しておく必要が生じる。

【0006】

本発明の課題は、読取対象に不備があった場合、原本を保証しつつ、不備があった読取対象に代わる再提出用の画像を出力する情報処理装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

［１］文字が記入される１つ以上の第１の欄と、署名又は押印される第２の欄とを有する読取対象であって、前記第１の欄及び前記第２の欄にそれぞれ記入又は押印された前記読取対象の第１の画像に対して文字が認識された認識結果を取得し、いずれかの前記第１の欄に不備があった場合、不備があった前記第１の欄及び前記第２の欄を空欄にした第２の画像を形成し、前記第２の欄に不備があった場合、前記第２の欄を空欄にした第２の画像を形成し、形成した前記第２の画像を出力するプロセッサを備えた情報処理装置。
［２］コンピュータに、文字が記入される１つ以上の第１の欄と、署名又は押印される第２の欄とを有する読取対象であって、前記第１の欄及び前記第２の欄にそれぞれ記入又は押印された前記読取対象の第１の画像に対して文字が認識された認識結果を取得し、
いずれかの前記第１の欄に不備があった場合、不備があった前記第１の欄及び前記第２の欄を空欄にした第２の画像を形成し、前記第２の欄に不備があった場合、前記第２の欄を空欄にした第２の画像を形成し、
形成した前記第２の画像を出力させるためのプログラム。

【発明の効果】

【0008】

請求項１、２に係る発明によれば、読取対象に不備があった場合、原本を保証しつつ、不備があった読取対象に代わる再提出用の画像を出力することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の第１の実施の形態に係る情報処理システムの概略構成の一例を示すブロック図である。

【図2】図２は、帳票の一例を示す図である。

【図3】図３は、帳票項目情報テーブルの一例を示す図である。

【図4】図４は、帳票画像の一例を示す図である。

【図5】図５は、認識結果が記録された帳票項目情報テーブルの一例を示す図である。

【図6】図６は、再提出用の帳票画像の一例を示す図である。

【図7】図７は、情報処理装置の動作の一例を示すフローチャートである。

【図8】図８は、本発明の第２の実施の形態に係る情報処理システムの概略構成の一例を示すブロック図である。

【図9】図９は、マーカを含む帳票画像の一例を示す図である。

【図10】図１０は、情報処理装置の動作の一例を示すフローチャートである。

【図11】図１１は、変形例１に係る別紙の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。

【0011】

［実施の形態の要約］
本実施の形態に係る情報処理装置は、文字が記入される１つ以上の第１の欄と、署名又は押印される第２の欄とを有する読取対象であって、第１の欄及び前記２の欄にそれぞれ記入又は押印された読取対象の第１の画像に対して文字が認識された認識結果を取得し、いずれかの第１の欄に不備があった場合、不備があった第１の欄及び第２の欄を空欄にした第２の画像を形成し、第２の欄に不備があった場合、第２の欄を空欄にした第２の画像を形成し、形成した第２の画像を出力するプロセッサを備える。

【0012】

「読取対象」とは、文字が読み取られる対象をいい、手書きされた文字を含む紙文書や電子文書をいう。読取対象は、例えば、申請書、請求書、納品書等の帳票や契約書、仕様書等が該当する。「読取対象の第１の画像」は、読取対象が紙文書の場合は、紙文書が読み取られた画像が第１の画像であり、読取対象が電子文書の場合は、電子文書そのものが第１の画像となる。

【0013】

「不備」とは、記入又は押印すべきことが正しくなされていないことをいう。不備には、形式的な不備と実体的な不備とがある。形式的な不備には、例えば、記入すべき箇所が未記入の場合（例えば、６桁の口座番号を記入すべきところを５桁以下の口座番号が記入されている場合や、選択する記号（〇、チェック等）が抜けていた場合、印影がない場合、印影が押印欄から大きく食み出している場合等がある。実体的な不備には、例えば、住所等の記入内容に誤記がある場合、認識率が低い場合（例えば、文字が薄かったり、文字が崩されていたり、文字の一部が枠から食み出しているために認識率が低い（例えば、９０％以下）場合、印影が薄いために印影を検出できない場合等がある。なお、形式的な不備と実体的な不備とを厳密に分ける必要はない。

【0014】

文字の「認識」とは、読取対象の画像に含まれる手書きや活字による文字パターンをＪＩＳコード等の文字コードに変換することをいう。認識の方法としては、例えば、認識対象の文字パターンをベクトルに変換し、文字コードに対応する標準パターンをベクトルに変換し、両者のベクトル間の距離（例えば、ユークリッド距離等）や類似度（例えば、コサイン類似度等）等で表した指標が閾値以下のものを認識結果としてもよい。また、文字の認識は、ディープラーニング等の機械学習により学習した学習モデルを用いてもよい。

【0015】

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る情報処理システムの概略構成の一例を示すブロック図である。

【0016】

この情報処理システム１は、帳票から画像（以下「帳票画像」という。）を読み取る画像形成装置２と、画像形成装置２によって読み取られた帳票画像に対して文字の認識処理を行う情報処理装置３とを備える。なお、同図では、画像形成装置２及び情報処理装置３をそれぞれ１つ図示するが、スループットを考慮して一方又は両方が複数でもよい。帳票は、読取対象の一例である。

【0017】

画像形成装置２と情報処理装置３とは、ネットワーク４により接続されている。ネットワーク４は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、イントラネット、インターネット等であり、有線でも無線でもよい。

【0018】

画像形成装置２及び情報処理装置３は、例えば、利用者が利用する銀行、区役所、保険会社等の窓口や受付に設置され、窓口業務を行う者（以下「操作者」という。）により操作される。なお、画像形成装置２及び情報処理装置３の設置場所は、上記の場所に限られず、工場や事務所、事業所等の他の場所でもよい。また、画像形成装置２及び情報処理装置３は、互いに離れた場所に設置されてもよい。以下、画像形成装置２及び情報処理装置３が銀行の窓口に設置されている場合を例に挙げて説明する。

【0019】

（画像形成装置の構成）
画像形成装置２は、例えば、スキャン機能、プリント機能、コピー機能、電子メール機能、ファクシミリ機能等を有する複合機である。なお、画像形成装置２は、スキャン機能とプリント機能を有するものでもよい。

【0020】

画像形成装置２は、制御部２０と、記憶部２１と、操作表示部２２と、画像読取部２３と、画像形成部２４と、通信部２５とを備える。

【0021】

制御部２０は、ＣＰＵ（Central Processing Unit）等のプロセッサ、インターフェース等から構成されている。制御部２０は、記憶部２１に記憶されたプログラムを実行することにより、各機能を実行するよう制御する。

【0022】

記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ、（Random Access Memory）、ハードディスク等から構成され、プログラム、帳票画像等の情報を記憶する。

【0023】

操作表示部２２は、情報の入力及び表示を行うものである。操作表示部２２は、例えば、タッチパネルディスプレイであり、液晶ディスプレイ等のディスプレイにタッチパネルを重合配置した構成を有する。

【0024】

画像読取部２３は、原稿台上に設けられた自動給紙装置と、原稿台に配置された原稿、又は自動給紙装置により送られた原稿から原稿画像を光学的に読み取るスキャナとを備える。

【0025】

画像形成部２４は、給紙カセットから給紙された用紙に、例えば、電子写真方式、インクジェット方式等により画像を形成することで印刷物を作成する。

【0026】

通信部２５は、ネットワーク４を介して情報処理装置３と通信する。

【0027】

（情報処理装置の構成）
情報処理装置３は、情報処理装置３の各部を制御する制御部３０を有し、この制御部３０に、記憶部３１、キーボード、マウス等で実現される入力部３２、液晶ディスプレイ等で実現される表示部３３、ネットワーク４を介して画像形成装置２等の外部装置と通信する通信部３４が接続されている。

【0028】

制御部３０は、ＣＰＵ（Central Processing Unit）等のプロセッサ、インターフェース等から構成されている。制御部３０は、記憶部３１に記憶されたプログラム３１０を実行することにより、文字認識部３００、印影検出部３０１、不備判定部３０２、再提出用帳票作成部３０３等として機能する。各部３００～３０３については後述する。

【0029】

記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム３１０、帳票項目情報テーブル３１１（図３参照）、住所データベース３１２、銀行データベース３１３、認識用辞書３１４、帳票画像１０ｂ（図４参照）、再提出用の帳票画像１０ｃ、１０ｄ（図６参照）等の各種の情報を記憶する。帳票画像１０ｂは、第１の画像の一例である。再提出用の帳票画像１０ｃは、第２の画像の一例である。再提出用の帳票画像１０ｃに記入、押印された再提出用の帳票画像１０ｄは、第３の画像の一例である。

【0030】

住所データベース３１２には、日本の住所が登録されている。不備判定部３０２は、住居表示の町名・街区符号・住居番号を簡略した表記も住所が正しく記入されたと判定する。例えば、住居表示が「○○二丁目１１番６号」の場合、「○○２－１１－６」に簡略した表記も正しく記入されたと判定する。

【0031】

銀行データベース３１３には、日本に存在する銀行名、支店名等が登録されている。

【0032】

認識用辞書３１４は、例えば、ＪＩＳコード等の文字コードごとに標準パターンが格納されたものである。

【0033】

図２は、帳票の一例を示す図である。同図に示す帳票１０ａは、紙に印刷されたものであり、利用者により記入される住所欄１１ａ、銀行名欄１１ｂ、支店名欄１１ｃ、口座番号欄１１ｄ及び口座名義欄１１ｅ（以下「第１の欄１１」ともいう。）と、利用者により署名及び押印される署名欄１２ａ及び押印欄１２ｂ（以下「第２の欄１２」ともいう。）とを有する。同図中破線は、実際に帳票１０ａに記録されている訳ではなく、予め設定された矩形の読取領域１３を示す。読取領域とは、読取領域１３に記入された文字パターンを文字コードに変換する領域をいう。

【0034】

図３は、帳票項目情報テーブル３１１の一例を示す図である。帳票項目情報テーブル３１１は、利用者ごとに管理番号（同図の場合はA001）が付与されて記憶部３１に記憶されている。帳票項目情報テーブル３１１は、「読取項目」、「項目種別」、「認識結果」、「読取座標情報」等の複数の項目を有する。これらの項目からなる帳票項目情報のうち、読取項目、項目種別、読取座標情報は、帳票の種類に応じて予め設定されている。

【0035】

「読取項目」には、第１の欄１１及び第２の欄１２の項目名が記録される。読取項目の住所、氏名、押印、銀行名、支店名、口座番号、口座名義は、それぞれ住所欄１１ａ、署名欄１２ａ、押印欄１２ｂ、銀行名欄１１ｂ、支店名欄１１ｃ、口座番号欄１１ｄ、口座名義欄１１ｅに対応する。

【0036】

「項目種別」には、記入、署名、印影のいずれかの種別が記録される。記入は、署名以外の記入される住所欄１１ａ、銀行名欄１１ｂ、支店名欄１１ｃ、口座番号欄１１ｄ、口座名義欄１１ｅの項目種別である。署名は、署名欄１２ａの項目種別である。印影は、押印欄１２ｂの項目種別である。

【0037】

「認識結果」には、文字の認識結果、及び印影の検出結果が記録される。すなわち、項目種別が記入の場合は、認識結果として文字列が記録され、項目種別が印影の場合は、認識結果として印影が記録される。

【0038】

「読取座標情報」には、各読取項目に対して設定された矩形の読取領域の座標情報（左上座標、右下座標）が記録される。同図中ａ１、ｂ１は、矩形の左上の座標（ｘ，ｙ）を示し、ｃ１、ｄ１は、矩形の右下の座標（ｘ，ｙ）を示す。

【0039】

次に、制御部３０の各部３００～３０３を説明する。

【0040】

文字認識部３００は、帳票項目情報テーブル３１１の読取座標情報を参照して帳票画像１０ｂ及び再提出用の帳票画像１０ｄから読取領域１３を抽出し、読取領域１３に記入された文字に対して認識処理を行い、認識結果を帳票項目情報テーブル３１１の「認識結果」の項目に記録する。認識処理は、例えば、記入された文字パターンをベクトルに変換し、認識用辞書３１４に登録されている文字コードに対応する標準パターンをベクトルに変換し、両者のベクトル間の距離又は類似度で表した評価値が閾値以下の文字コードを認識結果とする。

【0041】

印影検出部３０１は、帳票項目情報テーブル３１１の読取座標情報を参照して帳票画像１０ｂ及び再提出用の帳票画像１０ｃから赤色の部分を抽出して印影を検出し、帳票項目情報テーブル３１１の「認識結果」の項目に記録する。

【0042】

不備判定部３０２は、住所欄１１ａに記入された文字に対しては、認識結果と住所データベース３１２とを照合し、認識結果が住所データベース３１２に登録されていない場合には、住所欄１１ａは不備の箇所と判定する。また、銀行名欄１１ｂ及び支店名欄１１ｃに記入された文字に対しては、認識結果と銀行データベース３１３とを照合し、認識結果が銀行データベース３１３に登録されていない場合には、銀行名欄１１ｂ又は支店名欄１１ｃは不備の箇所と判定する。さらに、不備判定部３０２は、署名欄１２ａの氏名に対しては、人名辞書等を用いてもよい。口座番号欄１１ｄ、口座名義欄１１ｅに対しては、対応するデータベースを用いてもよい。

【0043】

再提出用帳票作成部３０３は、第１の欄１１のいずれかの欄１１ａ～１１ｅに不備があった場合、不備があった第１の欄１１及び第２の欄１２を空欄にした再提出用の帳票画像１０ｃを作成し、第２の欄１２に不備があった場合、第２の欄１２を空欄にした再提出用の帳票画像１０ｃを形成し、形成した帳票画像１０ｃを画像形成装置２に送信して用紙に印刷させて再提出用の帳票を作成する。再提出用の帳票に記入及び押印された帳票から読み取って得られた再提出用の帳票画像１０ｄは、読取対象となる。

【0044】

再提出用の帳票画像１０ｃを作成する際に、不備のない第１の欄１１は手書きのままでもよいし、認識結果を反映して再提出用の帳票画像１０ｃを作成してもよい。認識結果の活字を反映することにより、空欄の箇所に記入された再提出用の帳票画像１０ｄを認識する際に高い認識率で認識結果を得ることができる。

【0045】

不備があった第１の欄１１及び第２の欄１２を空欄にする際に、読取領域１３を白くして文字を消去してもよいし、読取領域１３を帳票１０ａの地の色である背景色で塗りつぶして文字を消去してもよい。読取領域１３を背景色で塗りつぶすことにより、背景色が異なるものを原本から排除することができる。

【0046】

（情報処理システムの動作）
次に、情報処理システム１の動作の一例を、図４から図７を参照して説明する。図７は、情報処理装置３の動作の一例を示すフローチャートである。

【0047】

操作者は、利用者から記入及び押印済みの帳票１０ａを受け取り、画像形成装置２の画像読取部２３の原稿台に配置して、帳票１０ａから帳票画像１０ｂを読み取らせる。画像読取部２３は、カラーモードでスキャナにより帳票１０ａから帳票画像１０ｂを読み取る。制御部２０は、読み取られた帳票画像１０ｂを通信部２５によりネットワーク４を介して情報処理装置３に送信する。なお、帳票１０ａが複数枚ある場合は、自動給紙装置を用いてもよい。

【0048】

図４は、帳票画像１０ｂの一例を示す図である。帳票画像１０ｂは、住所欄１１ａ、銀行名欄１１ｂ、支店名欄１１ｃ、口座番号欄１１ｄ、口座名義欄１１ｅ及び署名欄１２ａに手書きで文字が記入され、押印欄１２ｂに押印により赤色の印影が形成されている。

【0049】

情報処理装置３の制御部３０は、画像形成装置２から送信された帳票画像１０ｂを通信部３４により受信し、記憶部３１に記憶する（Ｓ１）。

【0050】

制御部３０は、帳票画像１０ｂから記入された文字を認識し、印影を検出する（Ｓ２）。

【0051】

具体的には、文字認識部３００は、帳票項目情報テーブル３１１の読取座標情報を参照して帳票画像１０ｂから読取領域１３を抽出し、読取領域１３に記入された文字に対して認識処理を行い、図５に示すように、認識結果を帳票項目情報テーブル３１１に記録する。

【0052】

印影検出部３０１は、帳票項目情報テーブル３１１の読取座標情報を参照して帳票画像１０ｂから赤色の部分を抽出して印影を検出し、図５に示すように、帳票項目情報テーブル３１１に記録する。なお、氏名の認識処理は、先に印影を検出し、検出した印影の位置の左側に存在する領域を読取領域として文字の認識処理を行ってもよい。これにより、押印欄１２ｂに読取領域１３を設定しなくても済む。

【0053】

次に、不備判定部３０２は、不備の箇所があるか否かを判定する（Ｓ３）。例えば、住所欄１１ａに記入された文字に対しては、認識結果と住所データベース３１２とを照合し、認識結果が住所データベース３１２に登録されていない場合には、住所欄１１ａは不備の箇所と判定する。また、銀行名欄１１ｂ及び支店名欄１１ｃに記入された文字に対しては、認識結果と銀行データベース３１３とを照合し、認識結果が銀行データベース３１３に登録されていない場合には、銀行名欄１１ｂ又は支店名欄１１ｃは不備の箇所と判定する。

【0054】

不備の箇所が無いと判定した場合（Ｓ３：Ｎｏ）、処理を終了する。制御部３０は、不備の箇所がないと判定されて処理が終了した場合、帳票画像１０ｂが原本ではあるが、対応するデータが帳票項目情報テーブル３１１に記録されているので、帳票画像１０ｂを記憶部３１から消去してもよい。

【0055】

不備の箇所があると判定した場合（Ｓ３：Ｙｅｓ）、再提出用帳票作成部３０３は、帳票項目情報テーブル３１１を参照して不備の箇所の項目種別は記入か否かを判断する（Ｓ４）。

【0056】

記入と判断した場合（Ｓ４：Ｙｅｓ）、再提出用帳票作成部３０３は、不備の箇所の読取領域１３を背景色で塗りつぶす（Ｓ５）。すなわち、帳票画像１０ｂのうち当該読取領域１３に記入された文字を帳票１０ａの地の色である背景色で塗りつぶして文字を消去する。

【0057】

次に、再提出用帳票作成部３０３は、印影を消去する（Ｓ６）。すなわち、帳票画像１０ｂから赤色の印影を消去する。

【0058】

次に、再提出用帳票作成部３０３は、署名欄１２ａの読取領域１３を背景色で塗りつぶす（Ｓ７）。すなわち、帳票画像１０ｂのうち署名欄１２ａの読取領域１３に記入された文字を帳票１０ａの地の色である背景色で塗りつぶして署名を消去する。

【0059】

次に、再提出用帳票作成部３０３は、帳票画像１０ｂのうち不備がなかった箇所を帳票項目情報テーブル３１１に記録されている認識結果の活字に置き換えて、帳票画像１０ｂを再提出用の帳票画像１０ｃとする（Ｓ８）。

【0060】

再提出用帳票作成部３０３は、画像形成装置２に再提出用の帳票画像１０ｃを送信して印刷指示を行う（Ｓ９）。

【0061】

画像形成装置２の画像形成部２４は、再提出用の帳票画像１０ｃを帳票用の用紙に印刷して出力する。

【0062】

図６は、再提出用の帳票画像１０ｃの一例を示す図である。同図に示す再記入用の帳票画像１０ｃは、住所欄１１ａに不備があった場合を示す。再提出用の帳票画像１０ｃは、住所欄１１ａは背景色で塗りつぶされて空欄になり、署名欄１２ａも背景色で塗りつぶされた空欄になっている。また、押印欄１２ｂは、印影が消去されている。

【0063】

操作者は、再提出用の帳票画像１０ｃが印刷された再提出用の帳票を利用者に渡す。利用者は、再提出用の帳票を受け取り、空欄になった住所欄１１ａに住所を記入し、同じく空欄になった署名欄１２ａに自己の氏名を記入し、印影が消去された押印欄１２ｂに押印し、操作者に渡す。

【0064】

操作者は、利用者から渡された記入済み及び押印済みの再提出用の帳票を、画像形成装置２の画像読取部２３の原稿台に配置して、再提出用の帳票から再提出用の帳票画像１０ｄを読み取らせる。画像読取部２３は、カラーモードでスキャナにより再提出用の帳票から再提出用の帳票画像１０ｄを読み取る。制御部２０は、読み取られた再提出用の帳票画像１０ｄを情報処理装置３に送信する。

【0065】

情報処理装置３の制御部３０は、画像形成装置２から送信された帳票画像１０ｄを通信部３４により受信し、記憶部３１に記憶する（Ｓ１）。

【0066】

制御部３０は、最初の帳票１０ａと同様に、再提出用の帳票画像１０ｄから読取領域１３を抽出し、読取領域１３に記入された文字に対して認識処理を行い、認識結果を帳票項目情報テーブル３１１に記録し、印影を検出する（Ｓ２）。

【0067】

不備でない箇所は認識結果の活字が記入されているので、高い認識率で認識されるため、ほとんどが不備の箇所がないと判定されて（Ｓ３：Ｎｏ）、処理が終了する。

【0068】

なお、制御部３０は、不備の箇所がないと判定されて処理が終了した場合、再提出用の帳票画像１０ｄが原本となるが、対応するデータが帳票項目情報テーブル３１１に記録されているので、再提出用の帳票画像１０ｃ、１０ｄを記憶部３１から消去してもよい。また、不備のない箇所は、前回の認識結果を利用し、今回記入された箇所の文字のみを認識してもよい。

【0069】

不備の箇所がある場合には（Ｓ３：Ｙｅｓ）、前述したようにステップＳ４～Ｓ９の処理が行われる。

【0070】

［第２の実施の形態］
図８は、本発明の第２の実施の形態に係る情報処理システムの概略構成の一例を示すブロック図である。第１の実施の形態では、不備判定部３０２が不備の箇所の有無を判定したが、本実施の形態は、不備判定部３０２を用いずにマーカ検出部３０４により不備の箇所を検出するようにしたものである。以下、第１の実施の形態と異なる点を中心に説明する。

【0071】

情報処理装置３は、第１の実施の形態と同様に、制御部３０、記憶部３１、入力部３２、表示部３３、通信部３４を備えている。

【0072】

制御部３０は、ＣＰＵ（Central Processing Unit）等のプロセッサ、インターフェース等から構成されている。制御部３０は、記憶部３１に記憶されたプログラム３１０を実行することにより、文字認識部３００、印影検出部３０１、再提出用帳票作成部３０３、マーカ検出部３０４等として機能し、不備判定部３０２としては機能しない。

【0073】

記憶部３１は、第１の実施の形態と同様に、プログラム３１０、帳票項目情報テーブル３１１（図３参照）、住所データベース３１２、銀行データベース３１３、認識用辞書３１４、帳票画像１０ｂ（図４参照）、再提出用の帳票画像１０ｃ、１０ｄ（図６参照）等の各種の情報を記憶する。

【0074】

マーカ検出部３０４は、帳票画像１０ｂから特定の色の部分を抽出してマーカ１４を検出する。マーカ１４の色は、入力部３２の操作により設定することができる。マーカ１４の色は、記入の色（例えば、黒色）や印影の色（例えば、赤色）以外の特定の色（例えば、緑色や青色）が好ましい。マーカ１４の色として特定の色を用いることにより帳票画像からマーカ１４のみを抽出しやすくなる。マーカ１４は、本実施の形態では、線状であるが、円状や矩形状等の閉じた形状や他の形状でもよい。

【0075】

再提出用帳票作成部３０３は、マーカ１４に外接する矩形領域を読取領域１３とし、その読取領域１３を背景色で塗りつぶして空欄とする。すなわち、マーカ１４が付加された箇所は帳票項目情報テーブル３１１の読取領域情報を用いずに、マーカ１４に外接する矩形領域を読取領域１３とする。この場合、操作者の判断で不備の箇所を指定することができる。マーカ１４に外接させていなくても余裕を持たせてマーカ１４よりも広い範囲を読取領域１３としてもよい。これにより正確にマーカ１４を付加できなった場合にも文字を消去することが可能になる。

【0076】

（情報処理システムの動作）
次に、情報処理システム１の動作の一例を、図９及び図１０を参照して説明する。図１０は、情報処理装置３の動作の一例を示すフローチャートである。

【0077】

操作者は、利用者から記入及び押印済みの帳票１０ａを受け取り、不備の箇所の有無を判定する。不備の箇所を発見すると、不備の箇所にマーカ１４を付加し、その帳票１０ａを画像形成装置２の画像読取部２３の原稿台に配置して、帳票１０ａから帳票画像１０ｂを読み取らせる。画像読取部２３は、カラーモードでスキャナにより帳票１０ａから帳票画像１０ｂを読み取る。制御部２０は、読み取られた帳票画像１０ｂを通信部２５によりネットワーク４を介して情報処理装置３に送信する。なお、帳票１０ａが複数枚ある場合は、自動給紙装置を用いてもよい。

【0078】

図９は、帳票画像１０ｂの一例を示す図である。帳票画像１０ｂは、住所欄１１ａ、銀行名欄１１ｂ、支店名欄１１ｃ、口座番号欄１１ｄ、口座名義欄１１ｅ及び署名欄１２ａに手書きで文字が記入されている。また、押印欄１２ｂに押印により赤色の印影が形成されている。また、住所が誤記だったために住所欄１１ａにマーカ１４が付加されている。なお、操作者は、例えば、住所や銀行名、支店名の記入が疑わしい場合、帳票に記入された文字を入力部３２に入力して該当するものが存在するかどうかを住所データベース３１２や銀行データベース３１３を検索して判断してもよい。

【0079】

情報処理装置３の制御部３０は、画像形成装置２から送信された帳票画像１０ｂを通信部３４により受信し、記憶部３１に記憶する（Ｓ１１）。

【0080】

マーカ検出部３０４は、特定の色のマーカ１４があるか否かを判断する（Ｓ１２）。すなわち、すなわち、帳票画像１０ｂから特定の色の部分を抽出できれば、マーカ１４を検出したことになる。

【0081】

マーカ１４が検出できなかた場合（Ｓ１２：Ｎｏ）、制御部３０は、第１の実施の形態と同様に、帳票画像１０ｂから記入された文字を認識し、印影を検出し、認識結果及び検出結果を帳票項目情報テーブル３１１に記録して（Ｓ１３）、処理を終了する。制御部３０は、マーカ１４の箇所がないと判定されて処理が終了した場合、帳票画像１０ｂが原本ではあるが、対応するデータが帳票項目情報テーブル３１１に記録されているので、帳票画像１０ｂを記憶部３１から消去してもよい。

【0082】

マーカ１４が検出された場合（Ｓ１２：Ｙｅｓ）、帳票項目情報テーブル３１１を参照してマーカ１４の箇所の項目種別は記入か否かを判断する（Ｓ１４）。

【0083】

記入と判断した場合（Ｓ１４：Ｙｅｓ）、再提出用帳票作成部３０３は、マーカ１４に外接する領域を読取領域１３とし、その読取領域１３を背景色で塗りつぶす（Ｓ１５）。すなわち、帳票画像１０ｂのうち当該読取領域１３に記入された文字及びマーカ１４を帳票１０ａの地の色である背景色で塗りつぶして文字及びマーカ１４を消去する。

【0084】

次に、再提出用帳票作成部３０３は、印影を消去する（Ｓ１６）。すなわち、帳票画像１０ｂから赤色の印影を消去する。

【0085】

次に、再提出用帳票作成部３０３は、署名欄１２ａの読取領域１３を背景色で塗りつぶす（Ｓ１７）。すなわち、帳票画像１０ｂのうち署名欄１２ａの読取領域１３に記入された文字を帳票１０ａの地の色である背景色で塗りつぶして署名を消去する。

【0086】

次に、再提出用帳票作成部３０３は、不備がなかった箇所を帳票項目情報テーブル３１１に記録されている認識結果の活字に置き換えて、帳票画像１０ｂを提出用の帳票画像１０ｃとする（Ｓ１８）。

【0087】

制御部３０は、画像形成装置２に再提出用の帳票画像１０ｃを送信して印刷指示を行う（Ｓ１９）。

【0088】

画像形成装置２の画像形成部２４は、図６に示す再提出用の帳票画像１０ｃを帳票用の用紙に印刷して出力する。

【0089】

操作者は、再提出用の帳票画像１０ｃが印刷された再提出用の帳票を利用者に渡す。利用者は、再提出用の帳票を受け取り、空欄になった住所欄１１ａに住所を記入し、同じく空欄になった署名欄１２ａに自己の氏名を記入し、印影が消去された押印欄１２ｂに押印し、操作者に渡す。

【0090】

操作者は、利用者から渡された記入及び押印済みの再提出用の帳票を、画像形成装置２の画像読取部２３の原稿台に配置して、再提出用の帳票から再提出用の帳票画像１０ｄを読み取らせる。画像読取部２３は、カラーモードでスキャナにより再提出用の帳票から再提出用の帳票画像１０ｄを読み取る。制御部２０は、読み取られた再提出用の帳票画像１０ｄを情報処理装置３に送信する。

【0091】

情報処理装置３の制御部３０は、画像形成装置２から送信された帳票画像１０ｄを通信部３４により受信し、記憶部３１に記憶する（Ｓ１１）。

【0092】

制御部３０は、マーカの有無が判断され（Ｓ１２）、マーカ１４がなければ（Ｓ１２：Ｎｏ）、最初の帳票１０ａと同様に、再提出用の帳票画像１０ｄから読取領域１３を抽出し、読取領域１３に記入された文字に対して認識処理を行い、認識結果を帳票項目情報テーブル３１１に記録し、印影を検出する（Ｓ１３）。マーカ１４がない箇所は認識結果の活字が記入されているので、高い認識率で認識されるため、ほとんどが不備の箇所がない、すなわちマーカ１４がないと判断される（Ｓ１２：Ｎｏ）。

【0093】

なお、制御部３０は、マーカ１４がないとして処理が終了した場合、第１の実施の形態と同様に、再提出用の帳票画像１０ｃ、１０ｄを記憶部３１から消去してもよい。

【0094】

マーカ１４がある場合には（Ｓ１２：Ｙｅｓ）、前述したようにステップＳ１４～Ｓ１９の処理が行われる。

【0095】

（変形例１）
再提出用帳票作成部３０３は、再提出用の帳票画像１０ｃを作成する際に、不備がある箇所を示した別紙も作成して画像形成装置２から出力する。利用者は、別紙を見ながら再提出用に記入し、押印することができる。

【0096】

図１１は、別紙の一例を示す図である。別紙１０ｅは、メッセージ１５と再提出用の帳票画像１０ｃとを有する。再提出用の帳票画像１０ｃは、不備があった欄（図１１では住所欄１１ａ）を示す枠を赤色の強調線１６を用いている。強調線１６は、他の枠よりも太い線や二重線等の不備がなかった欄と異なる態様でもよい。強調線１６は、不備があった欄を不備がなかった欄と識別できる態様の一例である。また、枠を強調せずに矢印等の目印を付加して不備の箇所を示してもよい。別紙１０ｅは、別の画像の一例である。

【0097】

（変形例２）
制御部３０は、ユーザ端末と情報処理装置３との間で帳票画像１０ｂ～１０ｄをオンラインにより送受信してもよい。この場合、制御部３０は、本人認証のための書類を必要としてもよい。制御部３０は、ユーザ端末から送信された帳票画像１０ｂや再提出用の帳票画像１０ｄをネットワーク４を介して受信し、記憶部３１に記憶する。

【0098】

本人認証のための書類には、例えば、免許証、保険証、マイナンバーカード等がある。これらの書類もオンラインにより受信する。オンラインによる帳票の提出は、本人が行ったか否かの判断が直接面接して行う場合よりも難しくなるが、本人認証のための書類によりこれらの書類がない場合と比較して、本人認証が容易になる。なお、変形例１の別紙１０ｅをオンラインにより送信してもよい。

【0099】

（変形例３）
制御部３０は、不備の箇所を含む帳票画像１０ｂを表示部３３に表示して、操作者から許可が出た場合に再提出用の帳票を作成してもよい。不備判定部３０２が誤判定する場合もあり、これを人が判断することで誤判定を抑制することができる。

【0100】

（変形例４）
上記各実施の形態では、帳票は押印欄を有するものを用いたが、押印欄のないものでもよい。この場合、第１の欄１１に不備があった場合、不備のあった第１の欄１１及び署名欄１２ａを空欄にして再提出用の帳票を作成する。

【0101】

以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、種々の変形、実施が可能である。

【0102】

プロセッサの各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。

【0103】

上記実施の形態において、プロセッサは、広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ、ＦＰＧＡ、プログラマブル論理デバイス等）を含むものである。

【0104】

また、上記実施の形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0105】

また、上記実施の形態の構成要素の一部を省くことや変更してもよい。また、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等を行ってもよい。また、上記実施の形態で用いたプログラムをＣＤ－ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録して提供することができ、クラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することもできる。

【符号の説明】

【0106】

１…情報処理システム、２…画像形成装置、３…情報処理装置、４…ネットワーク、
１０ａ…帳票、１０ｂ…帳票画像、１０ｃ、１０ｄ…再提出用の帳票画像、
１０ｅ…別紙、１１…第１の欄、１１ａ…住所欄、１１ｂ…銀行名欄、
１１ｃ…支店名欄、１１ｄ…口座番号欄、１１ｅ…口座名義欄、１２…第２の欄、
１２ａ…署名欄、１２ｂ…押印欄、１３…読取領域、１４…マーカ、
１５…メッセージ、１６…強調線、２０…制御部、２１…記憶部、
２２…操作表示部、２３…画像読取部、２４…画像形成部、２５…通信部、
３０…制御部、３１…記憶部、３２…入力部、３３…表示部、３４…通信部、
３００…文字認識部、３０１…印影検出部、３０２…不備判定部、
３０３…提出用帳票作成部、３０４…マーカ検出部、３１０…プログラム、
３１１…帳票項目情報テーブル、３１２…住所データベース、
３１３…銀行データベース、３１４…認識用辞書

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】