特許 7468057 情報処理装置、情報処理システム、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】情報処理装置、情報処理システム、及び情報処理プログラム

(51)【国際特許分類】

   G06V 30/24 20220101AFI20240409BHJP

   G06V 30/412 20220101ALI20240409BHJP

【ＦＩ】

G06V30/24 620D

G06V30/412

【請求項の数】 11

(21)【出願番号】P 2020056635

(22)【出願日】2020-03-26

(65)【公開番号】P2021157460

(43)【公開日】2021-10-07

【審査請求日】2023-02-28

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】上條 裕義

(72)【発明者】

【氏名】山中 優輝

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０００－１１３１００（ＪＰ，Ａ）

【文献】特開平１１－１５４１９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／２４

Ｇ０６Ｖ ３０／４１２

(57)【特許請求の範囲】

【請求項1】

プロセッサを有し、前記プロセッサは、
書類の読み取り画像から予め定められた項目、及び前記項目に対応する値を取得し、
取得した前記項目、及び前記値の少なくとも一方が取得できていない場合、前記項目、及び前記値の取得、又は未取得の状態に応じて、前記項目、及び前記値の取得よりも前に行われた処理である前処理、及び文字認識の設定を変更して、前記前処理、及び前記文字認識を実施するように制御し、
前記プロセッサは、前記項目、及び前記値が取得できた場合、かつ取得した前記値が前記項目に対応していないと判定された場合、前記文字認識を実施するように制御する
情報処理装置。

【請求項2】

前記プロセッサは、前記項目に対応する前記値の候補を予め記憶し、前記候補と、前記値とが、同一であると認められない場合、前記値が前記項目に対応していないと判定する請求項１に記載の情報処理装置。

【請求項3】

前記前処理は、複数の処理が定められており、前記プロセッサは、設定を変更した前記前処理、及び前記文字認識を実施した結果から前記項目、及び前記値の少なくとも一方が取得できない場合、異なる前処理、及び文字認識を再び実施するように制御する請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記プロセッサは、前記複数の処理を全て施した場合、かつ処理を施した前記文字認識の結果から前記項目、及び前記値の少なくとも一方が取得できない場合、前記項目、及び前記値が取得できない旨の通知を行う請求項３に記載の情報処理装置。

【請求項5】

前記プロセッサは、前記項目、及び前記値の少なくとも一方が取得できていない場合、前記項目、及び前記値が位置する箇所を特定する請求項１から請求項４の何れか１項に記載の情報処理装置。

【請求項6】

前記プロセッサは、前記項目、及び前記値が取得できていない場合、前記項目、及び前記値とは異なる箇所に位置する前記項目、及び前記値が取得できているか判定を行う請求項５に記載の情報処理装置。

【請求項7】

前記プロセッサは、異なる箇所に位置する前記項目、及び前記値が取得できている場合、地紋、及び透かしを除去する設定を変更する制御を行う請求項６に記載の情報処理装置。

【請求項8】

前記前処理、及び前記文字認識の各々に優先順位と、
前記項目、及び前記値を取得する際に発生した障害の種別に対応する前記前処理、及び前記文字認識の各々の選択の可否と、が設定されており、
前記プロセッサは、前記優先順位、及び前記選択の可否に応じて、前記設定を変更するように制御する請求項１から請求項７の何れか１項に記載の情報処理装置。

【請求項9】

請求項１から請求項８の何れか１項に記載の情報処理装置と、
前記前処理を実施する前処理装置と、
前記文字認識を実施する文字認識装置と、を備え、
前記前処理装置、及び前記文字認識装置は、前記情報処理装置の指示に応じて、文字を認識しやすくするための処理を実施する
情報処理システム。

【請求項10】

前処理装置、及び前記文字認識装置は、文字を認識しやすくするための処理として、地紋の除去、透かしの除去、白抜き文字の反転、網掛け除去、色背景除去、辞書の変更、及びＯＣＲエンジンの変更の少なくとも１つを実施する請求項９に記載の情報処理システム。

【請求項11】

コンピュータに
書類の読み取り画像から予め定められた項目、及び前記項目に対応する値を取得し、
取得した前記項目、及び前記値の少なくとも一方が取得できていない場合、前記項目、及び前記値の取得、又は未取得の状態に応じて、前記項目、及び前記値の取得よりも前に行われた処理である前処理、及び文字認識の設定を変更して、前記前処理、及び前記文字認識を実施するように制御し、
前記項目、及び前記値が取得できた場合、かつ取得した前記値が前記項目に対応していないと判定された場合、前記文字認識を実施するように制御する
ことを実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、及び情報処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、原始証憑を読取った読取画像から、濃度調整や背景処理を含む画像処理を経て文字列の存在する箇所を把握し文字列ないし文字を切り出す前処理と、文字認識を行う文字認識処理と、文字認識処理後の後処理とを行い、認識結果のテキストデータを生成する会計処理支援システムにおいて、前処理と、文字認識処理と、認識対象の解析処理を含む後処理とで構成される認識処理を行い、各処理の状況、認識結果及び、文字認識における辞書データとの特徴量の類似度を含む一部の処理状況に基づいた「認識の信頼性情報」を出力する認識処理部と、前記認識処理部が生成した、前記認識処理を構成する各処理の処理状況を取得して、各処理状況に第１の評価用パラメータを適用した各処理状況の信頼性を評価して、各処理の全体としての信頼性を判定し、前記認識処理部とは独立した処理によって「評価の信頼性情報」を出力する評価処理部と、前記認識の信頼性情報と前記評価の信頼性情報とを比較し、第２の評価用パラメータを適用して判定した結果である総合的な信頼性を出力する総合比較評価処理部とを備え、記憶部に、前記認識処理で利用するための認識辞書と各種の認識用パラメータを記録した認識ＤＢと、前記認識処理における各処理過程の処理状況をその都度記録し、処理状況を評価するための指標となる評価用パラメータを格納するための評価ＤＢであって、各処理過程の処理状況に基づいて、全体としての処理状況の信頼性を評価して「評価の信頼性情報」を生成するための第１の評価用パラメータと、前記「認識の信頼性情報」及び前記「評価の信頼性情報」を比較し総合評価を行うための第２の評価用パラメータとを記録した評価ＤＢと、を備え、前記認識処理部は、前処理過程における処理の状況を前処理情報として出力し、文字認識処理における処理の状況を文字認識処理情報として出力し、原始証憑の特性に応じた認識結果の解析処理の状況を解析処理情報として出力し、認識処理全体としての信頼性を前記「認識の信頼性情報」として出力し、前記評価処理部は、前記認識処理部が生成した前記前処理情報を取得し、前記認識処理部が生成した前記文字認識処理情報を取得し、前記認識処理部が生成した前記解析処理情報を取得し、前記前処理情報と文字認識処理情報と解析処理情報の各処理情報を構成する各要素情報に対し、前記第１の評価用パラメータを適用して各処理情報の基本評価の値を算出したうえで、特定の処理情報の基本評価の値が他の処理情報のものより著しく低い場合に前記他の基本評価の値が所定以上あっても評価を下げる調整を行って前記「評価の信頼性情報」を生成し、前記総合比較評価処理部は、前記認識の信頼性情報と、前記評価の信頼性情報とを比較し、当該比較結果に対し前記第２の評価用パラメータを適用して総合的な信頼性を出力することを特徴とする会計データ入力支援システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２９４７９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、書類を読み取り、そこに含まれる文字情報を認識して出力するサービスがあり、当該サービスから書類に設定した項目を検出し、検出した項目に関連付けられる文字列を書類から取得する情報処理装置がある。

【0005】

ところで、近年では、書類に付された透かし及び地紋等によって、認識できなかった文字列を認識するために、文字列を認識する前の処理（以下、「前処理」という。）として、透かし及び地紋等が付された書類をＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）等に学習させた学習モデルを用いて、透かし及び地紋等を除去する処理を行うことがある。

【0006】

しかしながら、書類から項目、及び文字列を取得することができない場合、ユーザが項目、及び文字列を取得する前に行われた前処理、及び文字情報を認識する処理の中で問題がある処理を特定した上で、問題がある処理から再実行する必要があった。

【0007】

本発明は、書類から項目、及び文字列を取得することができない場合において、項目、及び文字列を取得可能にする前処理、及び文字情報を認識する処理を選択して、項目、及び文字列を取得する処理を再実行できる情報処理装置、情報処理システム、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の態様の情報処理装置は、プロセッサを有し、プロセッサは、書類の読み取り画像から予め定められた項目、及び項目に対応する値を取得し、取得した項目、及び値の少なくとも一方が取得できていない場合、項目、及び値の取得、又は未取得の状態に応じて、項目、及び値の取得よりも前に行われた処理である前処理、及び文字認識の設定を変更して、前処理、及び文字認識を実施するように制御する。

【0009】

第２の態様の情報処理装置は、第１の態様に係る情報処理装置において、プロセッサは、項目、及び値が取得できた場合、かつ取得した値が項目に対応していないと判定された場合、前処理、及び文字認識を実施するように制御する。

【0010】

第３の態様の情報処理装置は、第２の態様に係る情報処理装置において、プロセッサは、項目に対応する値の候補を予め記憶し、候補と、値とが、同一であると認められない場合、値が項目に対応していないと判定する。

【0011】

第４の態様の情報処理装置は、第１の態様から第３の態様までの何れか１つの態様に係る情報処理装置において、前処理は、複数の処理が定められており、プロセッサは、設定を変更した前処理、及び文字認識を実施した結果から項目、及び値の少なくとも一方が取得できない場合、異なる前処理、及び文字認識を再び実施するように制御する。

【0012】

第５の態様の情報処理装置は、第４の態様に係る情報処理装置において、プロセッサは、複数の処理を全て施した場合、かつ処理を施した文字認識の結果から項目、及び値の少なくとも一方が認識できない場合、項目、及び値が取得できない旨の通知を行う。

【0013】

第６の態様の情報処理装置は、第１の態様から第５の態様までの何れか１つの態様に係る情報処理装置において、プロセッサは、項目、及び値の少なくとも一方が取得できていない場合、項目、及び値が位置する箇所を特定する。

【0014】

第７の態様の情報処理装置は、第６の態様に係る情報処理装置において、プロセッサは、項目、及び値が取得できていない場合、項目、及び値とは異なる箇所に位置する項目、及び値が取得できているか判定を行う。

【0015】

第８の態様の情報処理装置は、第７の態様に係る情報処理装置において、プロセッサは、異なる箇所に位置する項目、及び値が取得できている場合、地紋、及び透かしを除去する設定を変更する制御を行う。

【0016】

第９の態様の情報処理装置は、第１の態様から第８の態様までの何れか１項に係る情報処理装置において、前処理、及び文字認識の各々に優先順位が設定されており、プロセッサは、優先順位に応じて、設定を変更するように制御する。

【0017】

第１０の態様の情報システムは、第１の態様から第９の態様の何れか１つの態様に係る情報処理装置と、前処理を実施する前処理装置と、文字認識を実施する文字認識装置と、を備え、前処理装置、及び文字認識装置は、情報処理装置の指示に応じて、文字を認識しやすくするための処理を実施する。

【0018】

第１１の態様の情報処理システムは、第１０の態様に係る情報処理システムにおいて、処理装置、及び文字認識装置は、文字を認識しやすくするための処理として、地紋の除去、透かしの除去、白抜き文字の反転、網掛け除去、色背景除去、辞書の変更、及びＯＣＲエンジンの変更の少なくとも１つを実施する。

【0019】

第１２の態様の情報処理プログラムは、コンピュータに書類の読み取り画像から予め定められた項目、及び項目に対応する値を取得し、取得した項目、及び値の少なくとも一方が取得できていない場合、項目、及び値の取得、又は未取得の状態に応じて、項目、及び値の取得よりも前に行われた処理である前処理、及び文字認識の設定を変更して、前処理、及び文字認識を実施するように制御することを実行させる。

【発明の効果】

【0020】

第１の態様の情報処理装置及び第１２の態様の情報処理プログラムによれば、書類から文字列を取得することができない場合において、文字列を認識可能にする前処理を選択して、文字列を認識する処理を再実行できる。

【0021】

第２の態様の情報処理装置によれば、文字列の誤認識を検出することができる。

【0022】

第３の態様の情報処理装置によれば、候補を考慮しない場合と比較して、より正確に誤認識を検出することができる。

【0023】

第４の態様の情報処理装置によれば、複数の処理を考慮しない場合と比較して、項目、及び文字列を取得することができない原因に応じて、より適切な処理を選択することができる。

【0024】

第５の態様の情報処理装置によれば、項目、及び文字列が取得できないことを検知することができる。

【0025】

第６の態様の情報処理装置によれば、項目、及び文字列が取得することができない位置を考慮しない場合と比較して、より精度よく項目、及び文字列を取得できない原因を検出することができる。

【0026】

第７の態様の情報処理装置によれば、取得できない箇所と異なる箇所を考慮しない場合と比較して、より精度よく項目、及び文字列を取得できない原因を検出することができる。

【0027】

第８の態様の情報処理装置によれば、項目、及び文字列を取得することができない原因に応じた処理を選択して、文字列を取得する処理を再実行することができる。

【0028】

第９の態様の情報処理装置によれば、優先順位を考慮しない場合と比較して、選択可能である処理が複数ある場合であっても、より早期に処理を選択することができる。

【0029】

第１０の態様の情報処理システムによれば、書類から文字列を取得することができない場合において、文字列を取得可能にする前処理を選択して、文字列を取得する処理を再実行することができる。

【0030】

第１１の態様の情報処理システムによれば、項目、及び文字列を取得できない原因に応じて、文字列を取得可能にする前処理を選択することができる。

【図面の簡単な説明】

【0031】

【図1】本実施形態に係る情報処理システムの構成の一例を示すブロック図である。

【図2】本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

【図3】本実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。

【図4】本実施形態に係る情報処理システムの処理の一例を示すデータフロー図である。

【図5】本実施形態に係る読み取った書類の一例を示す模式図である。

【図6】本実施形態に係る優先順位データベースの一例を示す模式図である。

【図7】本実施形態に係る情報処理の一例を示すフローチャートである。

【図8】本実施形態に係る判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0032】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。なお、本実施形態に係る情報処理装置１０は、一例として、書類、帳票を読み取った画像データ、及びＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）を実行した結果等を管理するサーバである形態について説明する。しかし、これに限定されない。情報処理装置１０は、例えばプリント機能、コピー機能、スキャン機能、及びファクシミリ機能等の機能を有する複合機に搭載されてもよいし、パーソナルコンピュータ等の端末でもよい。

【0033】

図１は、本実施形態に係る情報処理システム１の構成の一例を示すブロック図である。図１に示すように、本実施形態に係る情報処理システム１は、前処理装置２、認識装置３、及び情報処理装置１０を備えている。

【0034】

前処理装置２は、書類を読み取った画像（以下、「読取画像」という。）に対して、ＯＣＲ処理を実行する前に、項目、及び文字列を認識しやすくするための処理（以下、「前処理」という。）を実行する。ここで、前処理は、ＯＣＲ処理を実行する前に読取画像に対して行う処理を指す。本実施例では、前処理は、ＯＣＲ処理よりも前に実行する、項目および文字列を認識しやすくするための処理である。例えば、前処理とは、読取画像の位置ずれを修正するための直立化、文字列以外を排除するノイズ除去、及び文字列を２階調に変換する二値化等である。本実施形態に係る前処理装置は、さらに、地の色が黒であり、文字列の色が白である白抜き文字に対して色を反転する処理、文字列に掛けられた網掛け、及び斜線等を除去する処理、書類の背景の色を除去する処理、及び透かし、又は地紋を除去する処理を実行する。ここで、以下では、白抜き文字に対して色を反転する処理を「白抜き反転」といい、文字列に掛けられた網掛け、及び斜線等を除去する処理を「網掛け除去」といい、透かしを除去する処理を「透かし除去」といい、地紋を除去する処理を「地紋除去」という。

【0035】

認識装置３は、読取画像に対して、前処理装置２によって前処理が行われた画像（以下、「処理済画像」という。）に対して、ＯＣＲ処理を実行して、処理済画像から文字列の認識を行う。

【0036】

情報処理装置１０は、認識装置３が実行した認識結果を取得して、項目、及び文字列の抽出を行う。なお、本実施形態に係る情報処理装置１０は、予め指定された項目に関連付けられた文字列を抽出する。このように、予め項目を指定し、指定した項目に関連付けられている文字列の抽出を行うことを「キーバリュー抽出」という。本実施形態では、各々の書類に記載された項目（キー）に対応する文字列（バリュー）を抽出する形態について説明する。ここで、キーバリュー抽出では、項目に関連付けられている文字列の相対位置（すなわち、項目、及び文字列の位置関係。本実施例では、項目を基準とした場合の文字列が存在しうる位置を指す。）を予め設定しておく必要がある。なお、本実施形態では、項目の下側、若しくは項目の右側に位置する文字列を抽出する設定がなされている形態について説明する。また、本実施形態に係る項目は、「氏名」、及び「品名」等を示し、本実施形態に係る文字列は、「富士太郎」、及び「モニタ」等の各々の項目に対応する具体的な内容を示すものである。また、文字列は、値の一例である。また、本実施形態に係る認識装置３は、文字認識装置の一例である。

【0037】

次に、図２を参照して、情報処理装置１０のハードウェアの構成について説明する。図２は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示すブロック図である。図２に示すように、本実施形態に係る情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、モニタ１６、及び通信インターフェース（通信Ｉ／Ｆ）１７を含んで構成されている。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ストレージ１４、入力部１５、モニタ１６、及び通信Ｉ／Ｆ１７の各々はバス１８により相互に接続されている。ここで、ＣＰＵ１１は、プロセッサの一例である。

【0038】

ＣＰＵ１１は、情報処理装置１０の全体を統括し、制御する。ＲＯＭ１２は、本実施形態で用いる情報処理プログラムを含む各種プログラム及びデータ等を記憶している。ＲＡＭ１３は、各種プログラムの実行時のワークエリアとして用いられるメモリである。ＣＰＵ１１は、ＲＯＭ１２に記憶されたプログラムをＲＡＭ１３に展開して実行することにより、文字認識の結果から項目、及び文字例を抽出し、記憶する処理を行う。ストレージ１４は、一例としてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、又はフラッシュメモリ等である。なお、ストレージ１４には、情報処理プログラム等を記憶してもよい。入力部１５は、文字の入力等を受け付けるキーボード及びマウス等である。モニタ１６は、画像データ等を表示する。通信Ｉ／Ｆ１７は、データの送受信を行う。

【0039】

次に、図３を参照して、情報処理装置１０の機能構成について説明する。図３は、本実施形態に係る情報処理装置１０の機能的な構成の一例を示すブロック図である。

【0040】

図３に示すように、情報処理装置１０は、取得部２１、判定部２２、制御部２３、及び記憶部２４を有する。ＣＰＵ１１が情報処理プログラムを実行することで、取得部２１、判定部２２、制御部２３、及び記憶部２４として機能する。

【0041】

取得部２１は、読取画像に対する文字認識の結果から項目、及び文字列を取得する。

【0042】

判定部２２は、取得した項目、及び文字列が正常に取得できているか否かの判定を行う。例えば、文字認識の結果から項目、及び文字列が取得できている場合、判定部２２は項目、及び文字列が認識できている判定を行う。

【0043】

また、判定部２２は、項目、及び文字列が取得できた場合、取得した文字列が項目に対応しているか否かの判定を行う。例えば、判定部２２は、後述する記憶部２４から取得した項目に対応する文字列の候補と、取得した文字列と、の比較を行って、対応しているか否かの判定を行う。ここで、文字列の候補は、項目に応じた文字列、数字、及び記号の一覧である。例えば、項目が「日付」である場合、文字列は、数字、数字を区切る記号、及び文字が想定されるため、文字列の候補として、全角数字、半角数字、「／」等の数字を区切る記号、及び「年」、「月」、「日」等の文字が挙げられる。つまり、判定部２２は、項目に応じた候補を取得し、取得した文字列に候補にない文字、記号、及び数字等を含んでいた場合、文字列が項目に対応していないと判定する。なお、本実施形態に係る候補は、文字、記号、及び数字である形態について説明した。しかし、これに限定されない。候補は、文字コードであってもよい。例えば、候補として、文字コード、及び文字コードの範囲を設定し、文字列に含まれる文字の文字コードが候補に設定されている文字コードに含まれない場合、項目に対応した文字列が取得できていないと判定してもよい。

【0044】

制御部２３は、判定部２２が判定した項目、及び文字列の取得、又は未取得の状態に応じて、前処理、及び文字認識の設定を変更して、前処理、及び文字認識を実施するように制御する。

【0045】

記憶部２４は、認識画像、認識した結果、文字列の候補、項目、及び文字列を取得した位置を記憶する。また、記憶部２４は、後述する優先順位データベース（以下、「優先順位ＤＢ」という。）を記憶している。

【0046】

次に、情報処理装置１０の作用について説明する前に、図４から図６を参照して、本実施形態に係る項目、及び文字列の取得、又は未取得の状態に応じて、前処理、及び文字認識を実施するように制御する手法について説明する。図４は、本実施形態に係る情報処理システムの処理の一例を示すデータフロー図である。図５は、本実施形態に係る読み取った書類の一例を示す模式図である。図６は、本実施形態に係る優先順位データベースの一例を示す図である。

【0047】

また、本実施形態では、情報処理装置１０は、図５における書類に含まれる表Ａ、表Ｂ、及び表Ｃから項目、及び文字列を抽出する形態について説明する。ここで、表Ａ、表Ｂ、及び表Ｃは、特定した項目、及び文字列が位置する箇所の一例である。

【0048】

図４に示すように、情報処理システム１は、前処理装置２、認識装置３、及び情報処理装置１０を含んでいる。

【0049】

前処理装置２は、書類を読み取った読取画像３０を取得し、読取画像３０に対して、画像の直立化、ノイズ除去等の前処理３１を実施し、処理済画像３２を出力する。

【0050】

認識装置３は、処理済画像３２を取得し、処理済画像３２に対して、ＯＣＲ処理３３として、キーバリュー抽出を実施し、ＯＣＲ結果３４を出力する。

【0051】

情報処理装置１０は、ＯＣＲ結果取得処理３５において取得したＯＣＲ結果３４を用いて、判定処理３６の処理を行う。具体的には、ＯＣＲ結果３４から取得した、項目、及び文字列に対して取得、又は未取得の状態の判定を行う。

【0052】

情報処理装置１０は、制御処理３７の処理として、優先順位ＤＢ３９を用いて、判定に応じて、文字を認識するための処理を選択して、前処理装置２又は認識装置３に処理を再実行する指示を出力する。

【0053】

一例として、図５に示すように、情報処理装置１０は、書類４０に含まれる矩形によって囲まれた領域４１から表Ａに対応する項目、及び文字列を抽出する。しかしながら、図５に示すように、表Ａの項目欄が白抜き文字となっているため、項目が取得できないことがある。

【0054】

情報処理装置１０は、領域４１から表Ａに対応する項目、及び文字列を抽出し、文字列は取得できたが、項目が取得できない場合、領域４１の項目に障害がある判定を行う。

【0055】

領域４１から抽出した項目に障害がある判定を行った場合、情報処理装置１０は、前処理装置２に領域４１の項目欄に白抜き反転処理を実行する指示を出力する。前処理装置２が白抜き反転処理を行うことで、後続の認識装置３にて、領域４１における項目、及び文字列が抽出される。

【0056】

また、図５に示すように、表Ｂには、表Ｂに重なるように透かしが付されており、透かしに重なっている項目、及び文字列が取得できないことがある。

【0057】

情報処理装置１０は、領域４２から表Ｂに対応する項目、文字列を抽出し、項目、文字列が取得できない場合、情報処理装置１０は、表Ｂ以外の領域から項目、及び文字列が抽出できているか否かの判定を行う。

【0058】

例えば、領域４２から抽出した表Ｂに対応する項目、及び文字列を取得できない、かつ領域４１から抽出した表Ａに対応する項目、及び文字列が取得できた場合、情報処理装置１０は、領域４２の表Ｂに障害がある判定を行う。

【0059】

情報処理装置１０は、表Ｂに障害がある判定を行った場合、前処理装置２に透かし除去を実行する指示を出力する。前処理装置２が透かし除去を行うことで、後続の認識装置３にて、領域４２における項目、及び文字列が抽出される。

【0060】

ここで、公知技術として、透かしが付された読取画像を学習した学習モデルを用いて、透かしが除去される方法が知られている。しかしながら、学習モデルを備えたＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を搭載した前処理装置２に透かし除去の実行を指示しても、透かし除去に用いる学習モデルが読取画像に対応していない場合、項目、及び文字列が取得できないことがある。したがって、本実施形態に係る情報処理装置１０は、前処理装置２に学習モデルの変更、又はＡＩエンジンの変更等の設定を変更して前処理を実行する指示を出力する。

【0061】

また、領域４２に対応する項目、及び文字列を取得できない、かつ領域４１に対応する項目、及び文字列が取得できない場合、情報処理装置１０は、読取画像全体に障害がある判定を行う。

【0062】

情報処理装置１０は、読取画像全体に障害がある判定を行った場合、認識装置３によってＯＣＲが正常に行われなかったと判断して、認識装置３にＯＣＲエンジンを変更する等の認識装置３の設定を変更して、ＯＣＲを実行する指示を出力する。認識装置３が異なるＯＣＲエンジンでＯＣＲを実行することによって、読取画像から項目、及び文字列が取得される。

【0063】

また、図５に示すように、表Ｃには、項目「金額」の記載欄の部分に網掛けが付されており、項目に関連付けられている文字列が取得できないことがある。

【0064】

情報処理装置１０は、領域４３から表Ｃに対応する項目、文字列を抽出し、項目は取得できたが、文字列が取得できない場合、領域４３の文字列に障害があると判定を行う。

【0065】

情報処理装置１０は、領域４３から抽出した文字列に障害があると判定を行った場合、前処理装置２に網掛け除去を実行する指示を出力する。情報処理装置１０は、前処理装置２に領域４３に網掛け除去を実行する指示を出力する。前処理装置２が網掛け除去を行うことで、後続の認識装置３にて、領域４３における項目、及び文字列が抽出される。

【0066】

また、情報処理装置１０は、項目、及び文字列が取得できた場合、文字列が項目に対応しているか否かの判定を行う。図４に示すように情報処理装置１０は、文字列が項目に対応しているか否かの判定を行う場合、候補データ３８から項目に対応する文字列の候補を取得して、判定を行う。

【0067】

情報処理装置１０は、文字列が項目に対応、又は同一であると認められないと判定した場合、ＯＣＲに障害があると判断して、認識装置３に、ＯＣＲ辞書を変更する指示を出力する。認識装置３がＯＣＲ辞書の変更を行うことで、認識装置３にて、正常な項目、及び文字列が抽出される。

【0068】

なお、本実施形態では、錯綜を避けるために、障害があるとされた１つの判定に対して、１つの対処方法を実施して、認識処理を再実行する形態について説明した。しかし、これに限定されない。１つの判定に対して複数の対処方法があってもよい。

【0069】

例えば、情報処理装置１０は、項目、又は文字列に障害があると判定した場合、網掛け除去、白抜き反転、色背景除去、ＡＩエンジンの変更、透かし除去、及び地紋の除去の指示を前処理装置２に出力してもよい。情報処理装置１０は、項目、又は文字列に障害があると判定した場合、項目と文字列との相対位置、及びＯＣＲエンジンの変更、又は白抜き反転、の指示を認識装置３に出力してもよい。また、情報処理装置１０は、表、又は読取画像に障害があると判定した場合、網掛け除去、色背景除去、ＡＩエンジンの変更、透かし除去、及び地紋の除去の指示を前処理装置２に出力してもよい。また、情報処理装置１０は、表、又は読取画像に障害があると判定した場合、ＯＣＲエンジン、及びＯＣＲ辞書の変更の指示を認識装置３に出力してもよい。

【0070】

具体的には、情報処理装置１０は、図６に示す優先順位ＤＢ３９を取得して、対処方法を選択する。優先順位ＤＢ３９は、優先順位、対処方法、指示先、及び障害内容を含んでいる。優先順位は、対処方法を実行する順番であり、対処方法は、障害がある場合に出力する指示の内容であり、指示先は、対処方法を実行するように指示を出力する装置の名称であり、障害内容は、情報処理装置１０が判定した障害の内容である。また、障害内容における「〇」は、判定された障害内容に対して、選択可能である対処方法であることを示す。

【0071】

例えば、情報処理装置１０は、「項目に障害あり」と判定した場合、障害内容の「項目」の列において、「〇」となっている対処方法を選択し、設定されている指示先に選択した対処方法を実行するように指示を出力する。また、選択する対処方法は優先順位の高い順番に選択される。つまり、情報処理装置１０は、「項目」の列において、「〇」となっている優先順位が「１」の「透かし除去」を実行して、障害が解決しない場合、情報処理装置１０は、優先順位「２」の「地紋除去」を選択する。また、選択可能である対処方法を全て実施した結果、障害が解決しない場合、情報処理装置１０は、ユーザに障害が解決しない旨の通知を行う。

【0072】

なお、本実施形態に係る優先順位は、ユーザによって指定されてもよいし、対処方法毎の障害が解決した回数を記憶して、回数が多いほど優先順位が高くなるように設定してもよい。また、読取画像毎に対処方法を設定することによって、障害が早期に解決されるため、優先順位は、記憶された読取画像毎に設定されてもよい。

【0073】

次に、図７、及び図８を参照して、本実施形態に係る情報処理プログラムの作用について説明する。図７は、本実施形態に係る情報処理の一例を示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から情報処理プログラムを読み出し、実行することによって、図７に示す情報処理が実行される。図７に示す情報処理は、例えば、ユーザから情報処理プログラムの実行指示が入力された場合、情報処理が実行される。

【0074】

ステップＳ１０１において、ＣＰＵ１１は、項目に対応する文字列の候補を取得する。

【0075】

ステップＳ１０２において、ＣＰＵ１１は、対処方法の優先順位ＤＢを取得する。

【0076】

ステップＳ１０３において、ＣＰＵ１１は、認識装置３からＯＣＲ結果を取得する。

【0077】

ステップＳ１０４において、判定処理を実行する。なお、判定処理の詳細については、後述する図８において詳細に説明する。

【0078】

ステップＳ１０５において、ＣＰＵ１１は、優先順位ＤＢ３９を用いて、対処方法を選択する。

【0079】

ステップＳ１０６において、ＣＰＵ１１は、障害があり、再実行指示を出力するか否かの判定を行う。再実行指示を出力する場合（ステップＳ１０６：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１０７に移行する。一方、再実行指示を出力しない場合（ステップＳ１０６：ＮＯ）、ＣＰＵ１１は、ステップＳ１１０に移行する。

【0080】

ステップＳ１０７において、ＣＰＵ１１は、前処理装置２に指示を出力するか否かの判定を行う。前処理装置２に指示を出力する場合（ステップＳ１０７：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１０８に移行する。一方、前処理装置２に指示を出力しない（認識装置３に指示を出力する）場合（ステップＳ１０７：ＮＯ）、ＣＰＵ１１は、ステップＳ１０９に移行する。

【0081】

ステップＳ１０８において、ＣＰＵ１１は、選択した対処方法を実行する指示を前処理装置２に出力する。

【0082】

ステップＳ１０９において、ＣＰＵ１１は、選択した対処方法を実行する指示を認識装置３に出力する。

【0083】

ステップＳ１１０において、ＣＰＵ１１は、情報処理を終了するか否かの判定を行う。情報処理を終了する場合（ステップＳ１１０：ＹＥＳ）、ＣＰＵ１１は、情報処理を終了する。一方、情報処理を終了しない場合（ステップＳ１１０：ＮＯ）、ＣＰＵ１１は、ステップＳ１０３に移行する。なお、本実施形態では、前処理装置２、又は認識装置３に指示を出力しない場合、情報処理を終了する。

【0084】

次に、図８を参照して、本実施形態に係る判定処理プログラムの作用について説明する。図８は、本実施形態に係る判定処理の一例を示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から判定処理プログラムを読み出し、実行することによって、図８に示す判定処理が実行される。図８に示す判定処理は、例えば、情報処理プログラムから判定処理プログラムの実行指示が入力された場合、判定処理が実行される。

【0085】

ステップＳ２０１において、ＣＰＵ１１は、ＯＣＲ結果から表に対応する項目、及び文字列を抽出する。

【0086】

ステップＳ２０２において、ＣＰＵ１１は、項目、及び文字列が全て取得できたか否かの判定を行う。項目、及び文字列が全て取得できた場合（ステップＳ２０２：ＹＥＳ）、ＣＰＵ１１は、ステップＳ２０３に移行する。一方、少なくとも１つの項目、及び文字列が取得できていない場合（ステップＳ２０２：ＮＯ）、ＣＰＵ１１は、ステップＳ２０５に移行する。

【0087】

ステップＳ２０３において、ＣＰＵ１１は、取得した文字列が項目に対応しているか否かの判定を行う。取得した文字列が項目に対応している場合（ステップＳ２０３：ＹＥＳ）、ＣＰＵ１１は、ステップＳ２１２に移行する。一方、取得した文字列が項目に対応していない場合（ステップＳ２０３：ＮＯ）、ＣＰＵ１１は、ステップＳ２０４に移行する。

【0088】

ステップＳ２０４において、ＣＰＵ１１は、ＯＣＲに障害があると判定する。

【0089】

ステップＳ２０５において、ＣＰＵ１１は、項目が取得できたか否かの判定を行う。項目が取得できた場合（ステップＳ２０５：ＹＥＳ）、ＣＰＵ１１は、ステップＳ２０６に移行する。一方、項目が取得できなかった場合（ステップＳ２０５：ＮＯ）、ＣＰＵ１１は、ステップＳ２０７に移行する。

【0090】

ステップＳ２０６において、ＣＰＵ１１は、文字列に障害があると判定する。

【0091】

ステップＳ２０７において、ＣＰＵ１１は、文字列が取得できたか否かの判定を行う。文字列が取得できた場合（ステップＳ２０７：ＹＥＳ）、ＣＰＵ１１は、ステップＳ２０８に移行する。一方、文字列が取得できなかった場合（ステップＳ２０７：ＮＯ）、ＣＰＵ１１は、ステップＳ２０９に移行する。

【0092】

ステップＳ２０８において、ＣＰＵ１１は、項目に障害があると判定する。

【0093】

ステップＳ２０９において、ＣＰＵ１１は、項目、及び文字列が取得できなかった表とは異なる表において、項目、及び文字列が取得できたか否かの判定を行う。異なる表の項目、及び文字列が取得できた場合（ステップＳ２０９：ＹＥＳ）、ＣＰＵ１１は、ステップＳ２１０に移行する。一方、異なる表の項目、及び文字列が取得できなかった場合（ステップＳ２０９：ＮＯ）、ＣＰＵ１１は、ステップＳ２１１に移行する。

【0094】

ステップＳ２１０において、ＣＰＵ１１は、項目、及び文字列が取得できなかった表に障害があると判定する。

【0095】

ステップＳ２１１において、ＣＰＵ１１は、認識画像に障害があると判定する。

【0096】

ステップＳ２１２において、ＣＰＵ１１は、全ての表について判定を実行したか否かの判定を行う。全ての表を判定した場合（ステップＳ２１２：ＹＥＳ）、ＣＰＵ１１は、判定処理を終了する。一方、全ての表を判定していない場合（ステップＳ２１２：ＮＯ）、ＣＰＵ１１は、ステップＳ２０１に移行する。

【0097】

以上説明したように、キーバリュー抽出において、項目、及び文字列の取得、又は未取得の状態に応じて、項目、及び文字列を認識しやすくするための対処方法が選択される。したがって、本実施形態によれば、書類から文字列を認識することができない場合において、文字列を認識可能にする前処理を選択して、文字列を認識する処理を再実行できる。

【0098】

なお、本実施形態では、ＯＣＲ処理の後に実行されるキーバリュー抽出の結果からキーバリュー抽出の前段階で実行された前処理、及びＯＣＲ処理の何れかを選択し、設定を変更して実行する指示を出力する説明をした。しかし、これに限定されない。つまり、ある処理の結果から当該処理に影響を与える複数の前処理の内、どの前処理を再実行するかを決定してもよい。

【0099】

例えば、判定を行う処理がＯＣＲ処理であり、複数の前処理を地紋除去、及び赤色の印鑑を除去する印鑑除去であるとする。この場合、ＯＣＲ処理の結果から全体的に文字列が抽出されない場合、書類の全面に対して画像処理が作用していなかった、つまり、地紋処理の画像処理が不適であったと判断し、異なる設定値で地紋除去の画像処理を再実行するように指示を出力する。なお、地紋は書類を提供する提供主体により異なることが多いため、設定値を変更することで解消することがある。

【0100】

一方、文字認識結果は取得できているが、一部の領域のみ文字を認識できていない場合には、特定領域の画像処理である赤色の印鑑除去のパラメータが不適であったと判断し、設定値を変更して印鑑除去の画像処理を再実行するように指示を出力する。

【0101】

その他、上記実施形態で説明した情報処理装置１０の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

【0102】

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【0103】

なお、上記各実施形態において、プロセッサとは、広義的なプロセッサを指し、例えばＣＰＵ等の汎用的なプロセッサや、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、及びプログラマブル論理デバイス等の専用のプロセッサを含むものである。

【0104】

また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0105】

また、上記各実施形態では、情報処理のプログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0106】

１ 情報処理システム
２ 前処理装置
３ 認識装置
１０ 情報処理装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ストレージ
１５ 入力部
１６ モニタ
１７ 通信Ｉ／Ｆ
１８ バス
２１ 取得部
２２ 判定部
２３ 制御部
２４ 記憶部
３０ 読取画像
３１ 前処理
３２ 処理済画像
３３ ＯＣＲ処理
３４ ＯＣＲ結果
３５ ＯＣＲ結果取得処理
３６ 判定処理
３７ 制御処理
３８ 候補データ
３９ 優先順位ＤＢ
４０ 書類
４１、４１、４２ 領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】