特許 7608807 情報処理装置、情報処理システム、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-23

(45)【発行日】2025-01-07

(54)【発明の名称】情報処理装置、情報処理システム、及び情報処理プログラム

(51)【国際特許分類】

   G06V 30/12 20220101AFI20241224BHJP

【ＦＩ】

G06V30/12

【請求項の数】 4

(21)【出願番号】P 2020204395

(22)【出願日】2020-12-09

(65)【公開番号】P2022091520

(43)【公開日】2022-06-21

【審査請求日】2023-11-20

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】等々力 寛

【審査官】村山 絢子

(56)【参考文献】

【文献】特開２０１２－１４６１４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／００－３０／４２４

(57)【特許請求の範囲】

【請求項1】

プロセッサを備え、前記プロセッサは、
複数の帳票をそれぞれ読み取って認識した文字情報のうち、共通する文字として認識した前記文字情報の数が多い順または少ない順に前記文字情報を表示し、
読取り結果の確認を行う文字の選択指示を受け付けて、文字の認識結果のうち、予め定めた類似度以上の関連する文字を含めて、選択された文字に対する文字画像と、文字の認識結果の前記文字情報とを表示し、
かつ、前記関連する文字のうち、合計数の割合が予め定めた閾値以下の前記文字画像と、前記文字情報とを、前記選択された文字に対応する前記文字画像と、文字の認識結果の前記文字情報とを表示した画面に統合して表示して誤認識の可能性があることを提示する処理を行う情報処理装置。

【請求項2】

前記プロセッサは、前記選択された文字に対する前記文字画像及び前記文字情報と、前記閾値以下の前記文字画像及び前記文字情報とをまとめて確認可能な画面を表示する処理を更に行う請求項１に記載の情報処理装置。

【請求項3】

請求項１または請求項２に記載の情報処理装置と、
表示部を備え、前記情報処理装置の処理により、前記文字情報の数が多い順または少ない順に前記文字情報を前記表示部に表示するクライアント端末と、
を含む情報処理システム。

【請求項4】

コンピュータに、複数の帳票をそれぞれ読み取って認識した文字情報のうち、共通する文字として認識した文字情報の数が多い順または少ない順に前記文字情報を表示し、
読取り結果の確認を行う文字の選択指示を受け付けて、文字の認識結果のうち、予め定めた類似度以上の関連する文字を含めて、選択された文字に対する文字画像と、文字の認識結果の前記文字情報とを表示し、
かつ、前記関連する文字のうち、合計数の割合が予め定めた閾値以下の前記文字画像と、前記文字情報とを、前記選択された文字に対応する前記文字画像と、文字の認識結果の前記文字情報とを表示した画面に統合して表示して誤認識の可能性があることを提示する処理を実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、及び情報処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、大量に帳票が入力された場合の修正作業効率を向上させる文字認識装置における認識結果修正装置が提案されている。詳細には、認識結果修正装置は、１つ以上の認識項目を含む帳票を画像データとして複数枚入力する。この入力された画像の各帳票内の各認識項目中の文字を認識して、各認識項目に含まれる文字の認識結果と確からしさの情報をこれらの認識項目と対応させて帳票毎に結果記憶手段に記憶する。この結果記憶手段に記憶された各文字の確からしさの情報の最小値及び平均値の少なくとも一方を前記各帳票内の各認識項目の代表値として計算し、帳票内の各認識項目の認識結果を修正する優先順位をソートキーの優先順位と考え、その認識項目の代表値をソートすることによって修正する帳票の順番を決定する。

【0003】

特許文献２には、記入領域に記入された情報に対する認識結果のすべての訂正箇所を作業者が探す場合と比較して、作業者の手間を減らす情報処理装置が提案されている。詳細には、情報処理装置は、記入者によって手書きで情報が記入される記入領域を含む抽出領域を表す抽出領域画像を受け付けて、抽出領域画像に表された記入領域に記入されている情報に対する認識結果に対して訂正の指示が与えられた場合、抽出領域画像に類似する他の抽出領域画像を表示する。

【0004】

特許文献３には、帳票の画像を見ながら行うデータ入力作業を効率良く行えるようにするデータエントリシステムが提案されている。このデータエントリシステムは、複数の文字入力ボックスを並べ替えるための条件が記憶された配置条件記憶部と、複数の文字入力ボックスにそれぞれ対応する文字記載欄を画像から切り出す切出部と、条件に従って定義情報に定義されている順序を変更する配置替え部と、順序が変更された複数の文字入力ボックスと、その中で文字入力対象の文字入力ボックスに対応する文字記載欄の切り出し画像とをほぼ同時期に画面に表示する表示制御部とを備えている。

【先行技術文献】

【特許文献】

【0005】

【文献】特許４２９９７７

【文献】特開２０２０－０４６７３４号公報

【文献】特開２００９－２１１７４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

複数の帳票を読み取った結果、共通して認識された文字毎に文字情報を表示することにより、文字情報を一括で確認することが可能である。しかしながら、読取り間違いで本来なら共通していない文字も一括で結果が表示されてしまう恐れがある。本来なら共通していない文字が混ざって表示されると、共通する文字と共通しない文字とが分かり難く、確認すべき文字が特定し難い。例えば、読取り結果の文字として「１」を確認する場合に、本来なら共通していない文字として「１」、「２」、「３」が混ざって表示されると、確認すべき文字の「１」が特定し難い。

【0007】

そこで、本発明は、複数の帳票を読み取って共通して認識された文字情報を、文字認識結果の件数に関係なく表示する場合に比べて、認識された文字のうち確認すべき文字をユーザが特定し易くすることが可能な情報処理装置、情報処理システム、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、第１態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、複数の帳票をそれぞれ読み取って認識した文字情報のうち、共通する文字として認識した前記文字情報の数が多い順または少ない順に前記文字情報を表示し、読取り結果の確認を行う文字の選択指示を受け付けて、文字の認識結果のうち、予め定めた類似度以上の関連する文字を含めて、選択された文字に対する文字画像と、文字の認識結果の前記文字情報とを表示し、かつ、前記関連する文字のうち、合計数の割合が予め定めた閾値以下の前記文字画像と、前記文字情報とを、前記選択された文字に対応する前記文字画像と、文字の認識結果の前記文字情報とを表示した画面に統合して表示して誤認識の可能性があることを提示する処理を行う。

【0012】

また、第５態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサは、前記選択された文字に対する前記文字画像及び前記文字情報と、前記閾値以下の前記文字画像及び前記文字情報とをまとめて確認可能な画面を表示する処理を更に行う。

【0013】

また、第３態様に係る情報処理システムは、第１態様または第２態様に係る情報処理装置と 表示部を備え、前記情報処理装置の処理により、前記文字情報の数が多い順または少ない順に前記文字情報を前記表示部に表示するクライアント端末と、を含む。

【0014】

また、第４態様に係る情報処理プログラムは、コンピュータに、複数の帳票をそれぞれ読み取って認識した文字情報のうち、共通する文字として認識した文字情報の数が多い順または少ない順に前記文字情報を表示する処理を実行させる。

【発明の効果】

【0015】

第１態様によれば、複数の帳票を読み取って共通して認識された文字情報を、文字認識結果の件数に関係なく表示する場合に比べて、認識された文字のうち確認すべき文字をユーザが特定し易くすることが可能な情報処理装置を提供でき、確認すべき文字を特定して、誤認識の有無を確認でき、確認すべき文字に類似する文字を含めて、誤認識の有無を確認でき、かつ確認すべき文字として特定した文字に対して、誤認識の可能性が高い文字画像と文字情報とを合わせて確認できる。

【0019】

第２態様によれば、選択された文字に対する文字画像及び文字情報と、誤認識の可能性が高い文字画像及び文字情報とを個別に表示して確認する場合に比べて、効率的に誤認識の可能性がある文字画像及び文字情報を確認できる。

【0020】

第３態様によれば、複数の帳票を読み取って共通して認識された文字情報を、文字認識結果の件数に関係なく表示する場合に比べて、認識された文字のうち確認すべき文字をユーザが特定し易くすることが可能な情報処理システムムを提供できる。

【0021】

第４態様によれば、複数の帳票を読み取って共通して認識された文字情報を、文字認識結果の件数に関係なく表示する場合に比べて、認識された文字のうち確認すべき文字をユーザが特定し易くすることが可能な情報処理プログラムを提供でき、確認すべき文字を特定して、誤認識の有無を確認でき、確認すべき文字に類似する文字を含めて、誤認識の有無を確認でき、かつ確認すべき文字として特定した文字に対して、誤認識の可能性が高い文字画像と文字情報とを合わせて確認できる。

【図面の簡単な説明】

【0022】

【図1】本実施形態に係る帳票システムの概略構成を示す図である。

【図2】本実施形態に係る帳票システムの具体的な構成の一例を示す図である。

【図3】本実施形態に係るクラウドサーバ及びＰＣの電気系の要部構成を示すブロック図である。

【図4】本実施形態に係る帳票システムにおける各部の機能構成を示す機能ブロック図である。

【図5】本実施形態に係る帳票システムにおいて、クラウドサーバで行われる処理の流れの一例を示すフローチャートである。

【図6】１桁数字の読取り結果の確認訂正画面の一例を示す図である。

【図7】「リストビュー」が選択されて、文字情報の種別で「チェックボックス」の「なし」が選択された例を示す。

【図8】「リストビュー」が選択されて、文字情報の種別で「その他」の「ふじはなこ」が選択された例を示す。

【図9】本実施形態に係る帳票システムにおける各部の機能構成の変形例を示す機能ブロック図である。

【図10】本実施形態に係る帳票システムにおいて、関連項目を抽出して提示する場合の具体的な表示の一例を示す図である。

【図11】まとめて確認するための画面の一例を示す図である。

【発明を実施するための形態】

【0023】

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施形態では、情報処理システムの一例として帳票システムを適用した例を説明する。図１は、本実施形態に係る帳票システム１０の概略構成を示す図である。

【0024】

図１に示すように、帳票システム１０は、情報処理装置２０と、クライアント端末４０と、入力装置６０とを含む。これらの装置は、図示しないネットワーク等の通信回線に接続されており、通信回線を介して互いに通信可能である。この通信回線には、一例として、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等が適用される。

【0025】

情報処理装置２０は、入力装置６０を通じて入力された、帳票を含んだ複数枚の書類の画像データに対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理を行い、ＯＣＲ処理の結果を予め定めた出力先に出力する一連の処理の流れを管理する。情報処理装置２０の具体的な構成及び作用については、後述する。

【0026】

クライアント端末４０は、情報処理装置２０に対して、ＯＣＲ処理に関する各種の指示を送信する。この各種の指示には、一例として、画像データの情報の読取りを開始させる指示、及び画像データの情報を読取った結果を表示させる指示等が含まれる。また、クライアント端末４０は、受付けた各種の指示に応じて情報処理装置２０が行ったＯＣＲ処理の結果、及びＯＣＲ処理に関する通知等の各種の情報を表示する。クライアント端末４０には、一例として、サーバコンピュータ、又はパーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の汎用的なコンピュータ装置が適用される。図１では、クライアント端末４０を一台だけ図示しているが、これに限らず、クライアント端末４０が複数台用意されて、一例として、処理別にクライアント端末４０が使い分けられてもよい。

【0027】

入力装置６０は、ＯＣＲ処理の対象となる画像データを情報処理装置２０に入力する。入力装置６０には、一例として、サーバコンピュータ、又はＰＣ等の汎用的なコンピュータ装置、並びにスキャン機能、プリンタ機能、及びＦＡＸ機能等を有する画像形成装置等が適用される。なお、入力装置６０に加えて、クライアント端末４０からも情報処理装置２０へ画像データが入力可能であってもよい。

【0028】

次に、帳票システム１０の概要について説明する。

【0029】

帳票システム１０は、情報処理装置２０が、入力装置６０を通じて入力された画像データに対してＯＣＲ処理を行い、ＯＣＲ処理の結果を予め定めた出力先に出力するシステムである。

【0030】

情報処理装置２０は、ＯＣＲ処理において、（１）業務設計及び運用検証、（２）データ入力、（３）データ読取り、（４）帳票判別確認訂正、（５）読取り結果確認訂正、（６）業務チェック、（７）データ出力、及び（８）差し戻し、の各種処理を管理する。本実施の形態においては、単に画像データから文字及び記号等を読取る処理だけでなく、文字の修正等の後処理も含めて、ＯＣＲ処理と呼ぶ。

【0031】

各種処理の管理の一例として、（１）業務設計及び運用検証、（２）データ入力、（３）データ読取り、（６）業務チェック、及び（７）データ出力の処理は、それぞれ、情報処理装置２０により自動で実行される。また、各種処理の管理の一例として、（４）帳票判別確認訂正、及び（５）読取り結果確認訂正の処理は、それぞれ、クライアント端末４０を通じたユーザによる入力により受け付けられる。また、各種処理の管理の一例として、（８）差し戻しの処理は、情報処理装置２０により自動で実行される場合と、クライアント端末４０を通じたユーザによる入力により受け付けられる場合とがある。

【0032】

（１）業務設計及び運用検証の処理では、読取り定義設定、出力設定、及び業務チェック設定を含んだジョブルールが作成される。読取り定義設定では、一例として、「（３）データ読取り」の処理において画像データの情報を読取る範囲である読取り範囲が設定される。より具体的には、一例として、キーとして抽出される項目の右付近からバリューである項目値を読取るというような定義が設定されうる。出力設定では、一例として、「（７）データ出力」の処理において出力する出力データのファイル形式、及び出力先が設定される。業務チェック設定では、一例として、「（６）業務チェック」の処理において検出対象とする帳票における必須の入力項目、及び入力可能な文字数等の書式等が設定される。

【0033】

（２）データ入力の処理では、入力装置６０からの画像データの入力を受付ける。入力を受付けた画像データは、「（３）データ読取り」の処理の実行単位であるジョブとして登録される。

【0034】

（３）データ読取りの処理では、「（１）業務設計及び運用検証」の処理で作成されたジョブルールの中からユーザにより選択された、実行されるジョブ用のジョブルールを用いて、当該ジョブ内の画像データの情報の読取りが行われる。一例として、この処理では、当該ジョブ内の画像データに含まれる帳票の判別（以下、「帳票判別」とする）及び読取り範囲内の文字及び記号の読取りが行われる。

【0035】

（４）帳票判別確認訂正の処理では、「（３）データ読取り」の処理で行われた帳票判別の結果を基にジョブ内の画像データが、ジョブ内に含まれる帳票を示すレコードに分割される。その後、この処理では、分割されたレコードを表示させ、ユーザによる帳票判別の確認訂正が受付けられる。

【0036】

（５）読取り結果確認訂正の処理では、「（３）データ読取り」の処理で行われた読取り範囲内の文字及び記号の読取り結果を表示させ、ユーザによる読取り結果の確認訂正が受付けられる。

【0037】

（６）業務チェックの処理では、「（１）業務設計及び運用検証」の処理で作成されたジョブルールの中からユーザにより選択された、当該ジョブ用のジョブルールに含まれる業務チェック設定により、先行する各処理におけるエラーが検出される。検出結果は、ユーザに提示されてもよい。

【0038】

（７）データ出力の処理では、「（１）業務設計及び運用検証」の処理で作成されたジョブルールの中からユーザにより選択された、当該ジョブ用のジョブルールに含まれる出力設定を用いて出力データを作成し、作成した出力データが予め定めた出力先に出力される。

【0039】

（８）差し戻しの処理では、ＯＣＲ処理において実行された処理から、一段階又は複数段階前の処理に差し戻される。差し戻しは、一例として、「（４）帳票判別確認訂正」及び「（５）読取り結果確認訂正」等の各種処理の実行中に、クライアント端末４０からユーザにより指示される。また、差し戻しは、一例として、「（６）業務チェック」と「（７）データ出力」との処理の間に行われる管理者によるチェックの結果に応じて、管理者のクライアント端末４０から指示される。

【0040】

上記のＯＣＲ処理において、「（１）業務設計及び運用検証」の処理は、「（３）データ読取り」以降の処理が行われる前、すなわち帳票システム１０の運用前に実行される。さらに、「（１）業務設計及び運用検証」の処理は、「（３）データ読取り」以降の処理が行われている帳票システム１０の運用中に実行されてもよい。一例として、帳票システム１０の運用前に「（１）業務設計及び運用検証」の処理において作成したジョブルールを、帳票システム１０の運用中の「（５）読取り結果確認訂正」の処理の結果に応じて適宜修正することができる。

【0041】

続いて、本実施形態に係る帳票システム１０の具体的な構成例について説明する。図２は、本実施形態に係る帳票システム１０の具体的な構成の一例を示す図である。

【0042】

帳票システム１０は、図２に示すように、入力装置６０の一例として画像形成装置１２を適用し、情報処理装置２０の一例としてクラウドサーバ１４を適用し、クライアント端末４０の一例としてＰＣ１６を適用した例を示す。

【0043】

帳票システム１０は、画像形成装置１２、クラウドサーバ１４、及びＰＣ１６は、通信回線１８を介して各々接続されている。そして、画像形成装置１２、クラウドサーバ１４、及びＰＣ１６の各々は、通信回線１８を介して各種データの送受信を相互に行うことが可能とされている。

【0044】

続いて、本実施形態に係るクラウドサーバ１４及びＰＣ１６の電気系の要部構成について説明する。図３は、本実施形態に係るクラウドサーバ１４及びＰＣ１６の電気系の要部構成を示すブロック図である。なお、クラウドサーバ１４及びＰＣ１６は基本的には一般的なコンピュータの構成とされているので、クラウドサーバ１４を代表して説明してＰＣ１６の説明は省略する。

【0045】

本実施の形態に係るクラウドサーバ１４は、図３に示すように、ＣＰＵ１４Ａ、ＲＯＭ１４Ｂ、ＲＡＭ１４Ｃ、ＨＤＤ１４Ｄ、キーボード１４Ｅ、ディスプレイ１４Ｆ、及び通信回線インタフェース（Ｉ／Ｆ）部１４Ｇを備えている。ＣＰＵ１４Ａは、クラウドサーバ１４の全体の動作を司る。ＲＯＭ１４Ｂは、各種制御プログラムや各種パラメータ等が予め記憶される。ＲＡＭ１４Ｃは、ＣＰＵ１４Ａによる各種プログラムの実行時のワークエリア等として用いられる。ＨＤＤ１４Ｄは、各種のデータやアプリケーション・プログラム等が記憶される。キーボード１４Ｅは各種の情報を入力するために用いられる。ディスプレイ１４Ｆは、各種の情報を表示するために用いられる。通信回線インタフェース部１４Ｇは、通信回線１８に接続され、当該通信回線１８に接続された他の装置と各種データの送受信を行う。以上のクラウドサーバ１４の各部はシステムバス１４Ｈにより電気的に相互に接続されている。なお、本実施形態に係るクラウドサーバ１４では、ＨＤＤ１４Ｄを備える例を説明するが、これに限らず、フラッシュメモリ等の他の不揮発性の記憶部を備えてもよい。

【0046】

以上の構成により、本実施の形態に係るクラウドサーバ１４は、ＣＰＵ１４Ａにより、ＲＯＭ１４Ｂ、ＲＡＭ１４Ｃ、及びＨＤＤ１４Ｄに対するアクセス、キーボード１４Ｅを介した各種データの取得、ディスプレイ１４Ｆに対する各種情報の表示を各々実行する。また、クラウドサーバ１４は、ＣＰＵ１４Ａにより、通信回線インタフェース部１４Ｇを介した通信データの送受信の制御を実行する。

【0047】

本実施形態では、ＣＰＵ１４Ａが、複数の帳票をそれぞれ読み取って認識した文字情報のうち、共通する文字として認識した文字情報の数が多い順または少ない順に文字情報を表示する処理を行うようになっている。詳細には、ＣＰＵ１４Ａが、複数のそれぞれ読み取って認識した文字情報のうち、共通する文字として認識した文字情報の数が多い順に文字情報を並べ替えて、ＰＣ１６に表示する処理を行う。なお、本実施形態では、多い順に表示する例を一例として説明する。

【0048】

続いて、上述のように構成された本実施形態に係る帳票システム１０における機能構成について説明する。図４は、本実施形態に係る帳票システム１０における各部の機能構成を示す機能ブロック図である。

【0049】

帳票システム１０は、画像読取り部５０、認識処理部５２、結果格納部５４、認識結果集計部５６、認識結果一覧表示部５８、訂正部６２、及び結果出力部６４の機能を有する。なお、各機能はプログラムを実行することにより実現される。また、本実施形態では、画像読取り部５０は、画像形成装置１２の機能とし、認識処理部５２、結果格納部５４、認識結果集計部５６、認識結果一覧表示部５８、訂正部６２、及び結果出力部６４はクラウドサーバ１４の機能として説明する。なお、認識処理部５２、結果格納部５４、認識結果集計部５６、認識結果一覧表示部５８、訂正部６２、及び結果出力部６４は単一のクラウドサーバ１４の機能ではなく、複数のサーバで分担した機能としてもよい。

【0050】

画像読取り部５０は、入力された文書を電子化して読み取った画像を表す画像データを生成する。なお、非定型帳票を自動認識してもよい。例えば、画像形成装置１２によって帳票を読み取った画像を表す画像データを生成する。

【0051】

認識処理部５２は、画像読取り部５０によって画像を読み取って生成した画像データから、ＯＣＲ処理によって文字を認識して、記載内容を読み取る。

【0052】

結果格納部５４は、帳票の画像データと、ＯＣＲ処理による文字の認識結果を関連付けて保存する。例えば、文字情報、文字認識の確信度等の認識結果を文字画像の画像データに関連付けてＨＤＤ１４Ｄに保存する。

【0053】

認識結果集計部５６は、複数帳票にわたって認識した文字の認識結果を集計する。例えば、文字情報毎の件数を集計する。

【0054】

認識結果一覧表示部５８は、複数帳票にわたって認識した文字画像、文字情報、確信度等を一覧表示する。また、認識結果の集計結果を合わせて表示し、集計結果が多い順に選択できるように表示する。また、項目毎に一覧表示する中で異なるものを抽出して選択し易いように表示する。これを閲覧することにより、文字画像及び文字情報が正しいか否かの判断が行われる。例えば、同列に表示されたものから、間違い探しようにチェック可能とする。

【0055】

訂正部６２は、文字の認識結果が誤っている場合に、正しい結果を受け付けて、結果格納部５４に保存されている情報を更新する。確認状態を更新後、未確認件数で再ソートすることが可能とされている。

【0056】

結果出力部６４は、訂正部６２による訂正結果を含めて一連の処理結果を出力する。なお、出力データは、ＣＳＶ（Comma Separated Value）等の基幹業務システムなどへの入力形態なども含む。

【0057】

続いて、本実施形態に係る帳票システム１０で行われる具体的な処理について説明する。図５は、本実施形態に係る帳票システム１０において、クラウドサーバ１４で行われる処理の流れの一例を示すフローチャートである。なお、図５の処理は、例えば、ＰＣ１６によって画像データの情報の読取りを開始させる指示が行われた場合に開始する。

【0058】

ステップ１００では、ＣＰＵ１４Ａが、帳票を読み取った画像データを取得してステップ１０２へ移行する。すなわち、画像読取り部５０が帳票を読み取ることによって生成した画像データを取得する。例えば、帳票のページ毎に読み取って生成した画像データを取得する。

【0059】

ステップ１０２では、ＣＰＵ１４Ａが、文字認識処理を行ってステップ１０４へ移行する。すなわち、認識処理部５２が、画像読取り部５０によって画像を読み取って生成した画像データから、ＯＣＲ処理によって文字を認識して、記載内容を読み取ることにより、手書き文字画像、または印刷文字画像から文字情報へ変換する。

【0060】

ステップ１０４では、ＣＰＵ１４Ａが、文字認識結果の種別毎に集計を行ってステップ１０６へ移行する。すなわち、認識結果集計部５６が、複数帳票にわたって認識した文字の認識結果を集計する。具体的には、チェックボックスル、１文字の数字、１文字のアルファベット、日本語を含む自由記述文字列などの文字情報の種別毎に、文字画像の合計数を算出する。

【0061】

ステップ１０６では、ＣＰＵ１４Ａが、種別範囲毎に認識結果毎の集計を行ってステップ１０８へ移行する。具体的には、認識結果集計部５６が、文字情報毎に文字画像の合計数を算出する。

【0062】

ステップ１０８では、ＣＰＵ１４Ａが、絞り込み設定が取得されてステップ１１０へ移行する。例えば、ユーザ操作によって指定された処理日等の認識結果に依存しない属性での絞り込みの設定を取得する。

【0063】

ステップ１１０では、ＣＰＵ１４Ａが、該当項目を抽出してステップ１１２へ移行する。該当項目の抽出は、ユーザ操作による選択に応じて、集計結果のうちで該当する項目をフィルタリングする。例えば、日時等でフィルタリングして、今日のジョブに対する項目を抽出する。

【0064】

ステップ１１２では、ＣＰＵ１４Ａが、項目数順に表示順序を決定してステップ１１４へ移行する。本実施形態では、認識結果一覧表示部５８が、フィルタリングされた後のデータ群に対して、日本語を含む自由記述文字列のうち、合計数が多い順に並び替える。

【0065】

ステップ１１４では、ＣＰＵ１４Ａが、予め定めた読取り結果の確認訂正画面を表示してステップ１１６へ移行する。すなわち、認識結果一覧表示部５８が、複数帳票にわたって認識した文字画像、文字情報、確信度をＰＣ１６のディスプレイ１６Ｆに一覧表示すると共に、認識結果の集計結果を合わせて表示し、集計結果が多い順に表示する。これを閲覧することにより、文字画像及び文字情報が正しいか否かの判断が行われる。

【0066】

ステップ１１６では、ＣＰＵ１４Ａが、確認操作を受け付けてステップ１１８へ移行する。例えば、認識結果一覧表示部５８が、確認を行う文字の選択指示をＰＣ１６から受け付けて、選択された文字に対する文字画像と、文字の認識結果の文字情報とを表示し、訂正部６２が、文字認識結果が正しいか否かの確認結果を受け付ける。

【0067】

ステップ１１８では、ＣＰＵ１４Ａが、表示を更新するか否かを判定する。該判定は、例えば、表示を更新する操作が行われたか否かを判定する。該判定が肯定された場合にはステップ１２０へ移行し、終了指示等の他の操作が行われた場合には判定が否定されてステップ１２２へ移行する。

【0068】

ステップ１２０では、ＣＰＵ１４Ａが、集計結果を更新してステップ１１０に戻って上述の処理を繰り返す。

【0069】

ステップ１２２では、ＣＰＵ１４Ａが、終了か否かを判定する。該判定は、終了を指示する操作が行われたか否かを判定する。該判定が否定された場合にはステップ１１８に戻って上述の処理を繰り返し、判定が肯定されたところで一例の処理を終了する。

【0070】

ここで、文字認識結果を確認するための表示画面例について具体的に説明する。図６は、１桁数字の読取り結果の確認訂正画面の一例を示す図である。

【0071】

図６の例では、「帳票ビュー」と「リストビュー」が選択可能とされ、「リストビュー」が選択された例を示す。「帳票ビュー」は読み取った帳票の態様で文字認識結果を表示する表示形態であり、「リストビュー」は、読み取った帳票のうちユーザによって選択された項目で文字認識結果をフィルタリングしてリスト表示する表示態様である。

【0072】

図６の例では、すべての項目数が３００件、未確認項目が２００件とされ、未確認項目でフィルタリングして表示している。また、文字情報の種別毎に、文字画像の合計数が表示され、文字情報毎に合計数が表示されている。また、図６の例では、文字情報の種別が「１桁数字」に示すように、「１桁数字」が「２」が最も多く１５０件であり、続いて、「０」が２１件、他の「１桁数字」が０件とされ、文字情報の合計数が多い順に表示されている。このように、文字情報の合計数が多い順に表示することで、認識された文字のうち確認すべき文字をユーザが特定し易くなる。

【0073】

また、図６の例では、「１桁数字」の「２」が選択され、「２」のレコードＩＤ、項目名、スキャン画像、確認結果、確信度、及び確認の有無が表示されている。図６の例では、下から２番目の確信度が「低」で、他の確信度が「高」と判断された例を示す。確認にチェックマークを付与する操作を行って「一時保存」を操作することで、画面が更新される。

【0074】

図７は、「リストビュー」が選択されて、文字情報の種別で「チェックボックス」の「なし」が選択された例を示す。

【0075】

図７の例では、図６と同様に、すべての項目数が３００件、未確認項目が２００件とされ、未確認項目でフィルタリングして表示している。また、文字情報の種別毎に、文字画像の合計数が表示され、文字情報毎に合計数が表示されている。また、図７の例では、文字情報の種別の「１桁数字」が「２」が最も多く１５０件であり、続いて、「０」が２１件、他の「１桁数字」が０件とされ、文字情報の合計数が多い順に表示されている。

【0076】

また、図７の例では、「チェックボックス」の「なし」が選択され、「チェックボックス」の「なし」のレコードＩＤ、項目名、スキャン画像、確認結果、確信度、及び確認の有無が表示されている。図７の例では、確信度が「高」の項目に「確認」にチェックマークが付与されている。

【0077】

図８は、「リストビュー」が選択されて、文字情報の種別で「その他」の「ふじはなこ」が選択された例を示す。

【0078】

図８の例では、すべての項目数が１６５件、未確認項目が１２４件とされ、すべての項目でフィルタリングして表示している。また、文字情報の種別毎に、文字画像の合計数が表示され、文字情報毎に合計数が表示されている。また、図８の例では、文字情報の種別の「その他」に示すように、「すべてのテキスト」の１２０件中で「ふじはなこ」が最も多く２０件であり、続いて、「子」が１０件、「０１２３－４５－６７８」が１０件・・・とされ、文字情報の合計数が多い順に表示されている。

【0079】

また、図８の例では、「ふじはなこ」が選択され、「ふじはなこ」のレコードＩＤ、項目名、スキャン画像、確認結果、確信度、及び確認の有無が表示されている。図８の例では、確信度が「高」の項目に「確認」にチェックマークが付与されている。

【0080】

このように、本実施形態では、読取り結果の文字情報が多い順に表示されるので、読み取られた単語の数が多いほど、一括表示の結果の精度が高く、精度の高いものから、ユーザによって読取り結果が一括で確認され、効率的に確認作業が行われる。

【0081】

なお、図４に示す帳票システム１０の機能構成に対して、図９に示すように、一覧条件設定部６８及び関連項目抽出部６６の機能を更に有してもよい。図９は、本実施形態に係る帳票システム１０における各部の機能構成の変形例を示す機能ブロック図である。

【0082】

この場合、一覧条件設定部６８は、文字情報が多い順だけではなく、少ない順や、管理者が設置した順などの表示順序を指定する。管理者が設定した順の一例としては、例えば、文字に割り当てられた文字コード順を適用してもよい。

【0083】

また、関連項目抽出部６６は、切り出した文字の類似度などに応じて関連する認識結果としての文字画像及び文字情報を合わせて提示する。関連項目は、切り出した画像が予め定めた類似度以上の関連する項目を関連項目とする。例えば、類似度として文字認識の確信度が予め定めた閾値以上である場合に関連項目とする。このうち、関連項目間の合計数の割合が予め設定した割合に該当するものを誤認識の可能性が高いとして提示する。例えば、画像の認識結果に対して、確信度または確信度の平均値の測定によって第２候補以降としてあがったものを関連項目とする。例えば、「埼玉」と判定した認識画像群に対して、確信度が、「埼玉」：９０％、「埼王」：７０％、「崎玉」：６５％、「埼国」：５５％であったとする。第２候補として「埼王」：７０％があるが、「埼王」が第１候補となっている画像を関連項目とする。そして、関連項目とした「埼王」が第１候補となっている画像群が「埼玉」の誤りでなかとして提示する。このとき、関連項目間の合計数の割合が予め設定した閾値（例えば、５％等）以下となるものを誤認識の可能性が高いとして提示する。例えば、３００件の項目（例えば、「埼玉」）に対して、関連項目として「埼王」が１０件、「崎玉」が５件である場合、「埼玉」：３００件に対して、何れも５％以下の合計数となるので、「埼王」、「崎玉」は、誤認識の可能性が高いとして提示する。

【0084】

図１０は、本実施形態に係る帳票システム１０において、関連項目を抽出して提示する場合の具体的な表示の一例を示す図である。

【0085】

図１０の例では、「神奈川県」：２３０件、「埼玉県」：２００件、「千葉県」：１８０件、「横浜市」：１００件、「埼王県」：３件、「４葉件」：２件として認識され、「埼玉県」の読取り結果の確認訂正を行う例を示す。項目名として「県」のレコードＩＤ、スキャン画像、読取り結果が表示されている。ここで、図１０の右上段には、「埼玉」と判定した認識画像群に対して、確信度が９０％等の予め定めた閾値以上のものが表示されている。また、図１０の下段には、関連項目が表示されている。ここでは、関連項目間の合計数の割合が予め設定した割合以下の関連項目として、３件の「埼王」が「埼玉」の誤りの可能性があるものとして表示している。

【0086】

また、図１０の例では、「まとめて確認する」が操作された場合には、図１１に示す「まとめて確認する」画面が表示される。図１１は、まとめて確認するための画面の一例を示す図である。図１１に示すように、対象の認識結果を押下後に、矢印ボタンを押下する操作を行うことにより、認識結果を「埼王」から「埼玉」、または「埼玉」から「埼王」に移動する。そして、保存ボタンで画像に関連付いている認識結果を更新する。

【0087】

なお、上記の実施形態では、認識した文字情報の数が多い順に表示する例を一例として説明したが、これに限るものではない。例えば、文字情報の数が少ない順に並び替えて表示してもよい。少ない順に表示して、少ないものから確認訂正を行うことで、ノイズを始めに除去して、確認することが可能となるため、文字認識結果の件数に関係なく表示する場合に比べて、認識された文字のうち確認すべき文字をユーザが特定し易くなる。例えば、少ない順に見て、これは他と統合する等のようにノイズを最初に除去することで、認識された文字のうち確認すべき文字をユーザが特定し易くなる。また、多い順または少ない順の並び替えは、予め設定可能としてもよい。また、多い順または少ない順以外に、文字に予め割り当てられている文字コード順に並び替えてもよい。

【0088】

また、上記の実施形態において、ＣＰＵをプロセッサの一例として説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。

【0089】

また、上記の実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0090】

また、上記の実施形態に係る帳票システム１０の各部で行われる処理は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、帳票システム１０の各部で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。

【0091】

また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

【符号の説明】

【0092】

１０ 帳票システム
１２ 画像形成装置
１４ クライアントサーバ
１４Ａ ＣＰＵ
１６ ＰＣ
１８ 通信回線
２０ 情報処理装置
４０ クライアント端末
５０ 画像読取り部
５２ 認識処理部
５４ 結果格納部
５６ 認識結果集計部
５８ 認識結果一覧表示部
６０ 入力装置
６２ 訂正部
６４ 結果出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】