特開 2022-88183 帳票読取装置及び帳票読取方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022088183

(43)【公開日】2022-06-14

(54)【発明の名称】帳票読取装置及び帳票読取方法

(51)【国際特許分類】

   G06V 30/412 20220101AFI20220607BHJP

【ＦＩ】

G06K9/20 340C

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2020200478

(22)【出願日】2020-12-02

(71)【出願人】

【識別番号】598049322

【氏名又は名称】株式会社三菱ＵＦＪ銀行

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】島野 浩平

(72)【発明者】

【氏名】佐藤 宏俊

(72)【発明者】

【氏名】福山 明子

(72)【発明者】

【氏名】澤田 健太

【テーマコード（参考）】

5B029

【Ｆターム（参考）】

5B029AA01

5B029BB02

5B029CC27

5B029CC28

(57)【要約】

【課題】各種帳票を高精度に読み取るための技術を提供することである。
【解決手段】本発明の一態様は、帳票内の所定の項目を検出し、前記項目の検出位置から所定の方向に配置された記載領域を推定する領域推定部と、推定した前記記載領域に対して認識処理を実行し、認識結果と項目値候補との比較結果に基づき前記項目値を決定する項目値決定部と、を有する帳票読取装置に関する。
【選択図】図１

【特許請求の範囲】

【請求項1】

帳票内の所定の項目を検出し、前記項目の検出位置から所定の方向に配置された記載領域を推定する領域推定部と、
推定した前記記載領域に対して認識処理を実行し、認識結果と項目値候補との比較結果に基づき前記項目値を決定する項目値決定部と、
を有する帳票読取装置。

【請求項2】

前記領域推定部は、機械学習モデルを利用して、前記所定の項目を検出する、請求項１記載の帳票読取装置。

【請求項3】

前記機械学習モデルは、前記所定の項目を表す画像を検出する、請求項２記載の帳票読取装置。

【請求項4】

前記認識結果は、確信度と関連付けされ、
前記項目値決定部は、前記認識結果の確信度と前記項目値候補とに基づき前記項目値を決定する、請求項１乃至３何れか一項記載の帳票読取装置。

【請求項5】

前記項目値決定部は、前記記載領域に記載された数字に対して１桁ずつ認識結果を取得する、請求項１乃至４何れか一項記載の帳票読取装置。

【請求項6】

帳票内の所定の項目を検出し、前記項目の検出位置から所定の方向に配置された記載領域を推定するステップと、
推定した前記記載領域に対して認識処理を実行し、認識結果と項目値候補との比較結果に基づき前記項目値を決定するステップと、
をコンピュータが実行する帳票読取方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、金融技術（フィンテック）に関する。

【背景技術】

【0002】

金融機関の店頭で口座の開設、預入、引出、振込等の各種金融取引を依頼する際、顧客は所定の帳票に氏名等の必要事項の記入及び押印を求められる。記入及び押印された帳票は窓口等で処理された後、帳票の種別に応じた期間、倉庫等で保管される。典型的には、帳票のレイアウトは経時的に変更されるため、倉庫には各種レイアウトの帳票が保管されている。

【0003】

金融自由化の進展に伴って、銀行等の金融機関は合併を繰り返してきた。帳票は各銀行独自のレイアウトにより作成されているため、合併前の銀行で使用されていた帳票、合併後の銀行で使用される帳票などの多数のレイアウトの帳票が混在して保管されることになる。

【0004】

紙媒体での保管はコストがかかるだけでなく、ＩＴ化された金融機関システムでの処理のため、帳票の電子化が進められている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－８７１１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

様々なレイアウトの帳票を読み取るための技術が提案されている。しかしながら、従来技術の大部分は事前に取得したレイアウト情報を利用したものである。保管されている帳票の種類は膨大であるため、帳票毎にレイアウト情報を作成することは困難である。また、手書きにより記入された文字や数字を高精度に自動読み取りすることも必要とされる。

【0007】

上記問題点に鑑み、本発明の課題は、各種帳票を高精度に読み取るための技術を提供することである。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明の一態様は、帳票内の所定の項目を検出し、前記項目の検出位置から所定の方向に配置された記載領域を推定する領域推定部と、推定した前記記載領域に対して認識処理を実行し、認識結果と項目値候補との比較結果に基づき前記項目値を決定する項目値決定部と、を有する帳票読取装置に関する。

【発明の効果】

【0009】

本発明によると、各種帳票を高精度に読み取ることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施例による帳票読取装置を示す概略図である。

【図2】本発明の一実施例による帳票読取装置のハードウェア構成を示すブロック図である。

【図3】本発明の一実施例による帳票読取装置の機能構成を示すブロック図である。

【図4】本発明の一実施例による検出対象の項目画像例を示す図である。

【図5】本発明の一実施例による認識処理を示す概略図である。

【図6】本発明の一実施例による補正処理を示す概略図である。

【図7】本発明の一実施例による帳票読取処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面に基づいて本発明の実施の形態を説明する。

【0012】

以下の実施例では、各種帳票を読み取る帳票読取装置が開示される。

【0013】

［概略］
図１を参照して、本発明の一実施例による帳票読取装置を説明する。図１は、本発明の一実施例による帳票読取装置を示す概略図である。

【0014】

本発明の一実施例による帳票読取装置１００は、各種帳票をスキャンすることによって取得される帳票画像から当該帳票内の所定の項目を検出し、当該項目を検出した位置から所定の方向に配置される記載領域を推定する。ここで、所定の方向に配置される記載領域は、例えば、項目名が記載された位置の右側領域、下側領域、右下側領域などであってもよく、検出対象の項目毎に異なってもよい。帳票読取装置１００は、推定した記載領域に対して認識処理を実行し、予め保持する項目値候補と認識結果とを突合し、認識結果が項目値候補に含まれる場合には当該認識結果を項目値として決定し、認識結果が項目値候補に含まれない場合には当該認識結果に近い項目値候補を項目値として決定する。

【0015】

例えば、図１に示されるように、帳票読取装置１００は、各種レイアウトの帳票画像を取得し、帳票に印字された項目名「口座番号」の位置を検出し、検出した印字位置の右側の領域を項目名「口座番号」の記載領域として推定する。そして、帳票読取装置１００は、推定した記載領域に対して認識処理を実行し、当該記載領域に記入された番号を認識する。本実施例による認識処理では、番号の各桁の数字が、認識結果の確からしさを示す確信度と関連付けて出力される。

【0016】

さらに、帳票読取装置１００は、データベースに予め保持する口座番号候補と認識した番号とを突合し、認識結果が口座番号候補に含まれているか判定する。認識した番号が口座番号候補に含まれている場合、帳票読取装置１００は、認識した番号を口座番号として出力する。他方、認識した番号が口座番号候補に含まれていない場合、帳票読取装置１００は、認識した番号に近い、すなわち、認識した番号に近い確信度を有する口座番号候補を探索し、検出した口座番号候補を口座番号として出力する。

【0017】

これにより、レイアウト情報を予め把握していない帳票の読み取り精度を向上させることが可能になる。

【0018】

ここで、帳票読取装置１００は、サーバによって実現され、例えば、図２に示されるようなハードウェア構成を有してもよい。すなわち、帳票読取装置１００は、バスＢを介し相互接続されるドライブ装置１０１、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０４、インタフェース装置１０５及び通信装置１０６を有する。

【0019】

帳票読取装置１００における後述される各種機能及び処理を実現するプログラムを含む各種コンピュータプログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体１０７によって提供されてもよい。プログラムを記憶した記録媒体１０７がドライブ装置１０１にセットされると、プログラムが記録媒体１０７からドライブ装置１０１を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０７により行う必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータなどを格納する。メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムやデータを読み出して格納する。プロセッサとして機能するＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムやプログラムを実行するのに必要なパラメータなどの各種データに従って、後述されるような帳票読取装置１００の各種機能及び処理を実行する。インタフェース装置１０５は、ネットワーク又は外部装置に接続するための通信インタフェースとして用いられる。通信装置１０６は、外部装置と通信するための各種通信処理を実行する。

【0020】

しかしながら、帳票読取装置１００は、上述したハードウェア構成に限定されるものでなく、他の何れか適切なハードウェア構成により実現されてもよい。例えば、帳票読取装置１００は、スキャナ等の撮像手段を備え、紙媒体の帳票を受け付け、自ら帳票画像を生成してもよい。

【0021】

［帳票読取装置］
次に、図３～６を参照して、本発明の一実施例による帳票読取装置１００を説明する。本実施例では、帳票読取装置１００は、銀行の窓口において顧客、行員等により記入された各種帳票に対して読取処理を実行し、抽出対象の項目（例えば、口座番号、氏名、受付日など）に対して記入された数字や文字を認識し、認識結果の妥当性を判定し、判定結果に応じて項目値を決定する。図３は、本発明の一実施例による帳票読取装置１００の機能構成を示すブロック図である。

【0022】

図３に示されるように、帳票読取装置１００は、領域推定部１１０及び項目値決定部１２０を有する。これら各部は、帳票読取装置１００にインストールされた１以上のプログラムをＣＰＵ１０４に実行させる処理により実現される。

【0023】

領域推定部１１０は、帳票内の所定の項目を検出し、当該項目の検出位置から所定の方向に配置された記載領域を推定する。具体的には、領域推定部１１０は、帳票画像内において所定の項目名を示す項目名画像を検出し、当該画像の検出位置から右方向に配置され、顧客や行員などが当該項目の項目値を記入する領域を推定する。

【0024】

例えば、抽出対象の項目が「口座番号」である場合、領域推定部１１０は、図４（ａ）～（ｄ）に示されるような「口座番号」を示す項目名画像を検出してもよい。具体的には、領域推定部１１０は、機械学習モデルを利用して、帳票画像から抽出対象の項目の項目名画像を検出してもよい。例えば、当該機械学習モデルは、図４（ａ）～（ｄ）に示されるような「口座番号」を示す各種項目名画像を含む帳票画像と、当該項目名画像及びその位置とのペアを訓練データとして利用した教師あり学習によって訓練されてもよく、何れか適切な公知の訓練方式に従って当該訓練データによって訓練されたニューラルネットワークなどであってもよい。項目名「口座番号」は、図４（ａ）に示されるように、横書きで「口座番号」として印字されるだけでなく、図４（ｂ）及び（ｃ）に示されるように、横書きの「口座」及び「番号」を縦方向に組み合わせて印字されることもあるし、あるいは、縦書きで「口座番号」と印字されることもある。このため、帳票画像内の文字を認識し、認識結果から「口座番号」のテキストを特定するケースより、「口座番号」を示す項目名画像を検出した方が高精度な検出が実現可能である。

【0025】

このようにして、抽出対象の項目の位置を検出すると、領域推定部１１０は、検出した位置から所定の方向の領域を記載領域として推定する。例えば、記載領域は、検出位置の右側領域、下側領域、右下側領域などとして決定されてもよく、当該方向は、抽出対象の項目又は項目名画像に対応して予め規定されていてもよい。

【0026】

抽出対象の項目の記載領域を推定すると、領域推定部１１０は、推定した記載領域を認識対象領域として項目値決定部１２０に通知する。

【0027】

項目値決定部１２０は、推定した記載領域に対して認識処理を実行し、認識結果と項目値候補との比較結果に基づき項目値を決定する。具体的には、項目値決定部１２０は、領域推定部１１０から通知された記載領域に対して認識処理を実行し、記載領域に記入された文字や数字を認識してもよい。

【0028】

例えば、抽出対象の項目が「口座番号」である場合、項目値決定部１２０は、記載領域に記入された数列を認識する。一実施例では、項目値決定部１２０は、記載領域に記載された数列に対して１桁ずつ数字を取得してもよい。例えば、図５に示されるような手書きの数列が記載領域に記入されている場合、項目値決定部１２０は、何れか公知の文字認識モデルを利用して、当該数列を１桁ずつ認識すると共に、認識された数字の確からしさを示す確信度を決定する。例えば、当該文字認識モデルは、何れか公知のニューラルネットワークベースのモデルであってもよい。図示された具体例では、手書きの数列の右から５桁目の数字は、５１％の確信度で「７」として認識され、４９％の確信度で「２」として認識されている。また、右から１桁目の数字は、６４％の確信度で「９」として認識され、３４％の確信度で「０」として認識される。なお、図示した具体例では、他の桁は９０％以上の確信度などで特定の数字として認識されているとする。従って、項目値決定部１２０は、各桁に対して確信度が最大となる数字を認識結果として決定し、認識結果は「１２７７０１９」となる。なお、本例では、数列に対する認識処理に着目したが、本発明の認識対象はこれに限定されず、平仮名、片仮名、アルファベットなどの各種文字や記号が同様にして認識されてもよい。

【0029】

認識結果を決定すると、項目値決定部１２０は、認識結果と予め保持する項目値候補とを比較する。例えば、抽出対象の項目が「口座番号」である場合、項目値決定部１２０は、処理対象の帳票に記載されている口座番号の候補を格納した候補リストに認識結果の数列があるか検索し、認識結果の数列が候補リストに含まれている場合、当該認識結果は確からしいと判断し、認識結果の数列を項目「口座番号」に記入された項目値として決定する。他方、認識結果の数列が候補リストに含まれていない場合、項目値決定部１２０は、誤認識の可能性があると判断し、候補リストと各桁の確信度とに基づき認識結果の数列を補正する。

【0030】

例えば、項目値決定部１２０は、認識結果の各桁の確信度のうち最も低い確信度の桁を、当該桁に対して２番目に高い確信度を有する数字に置換し、置換後の数列が候補リストに含まれているか判定してもよい。例えば、候補リストが図６に示されるものである場合、項目値決定部１２０は、認識結果「１２７７０１９」の各桁の確信度のうち最も低い確信度「５１％」を有する右から５桁目の数字「７」を、当該桁に対して次に高い確信度を有する数字「２」によって置換し、置換後の数列「１２２７０１９」が候補リストに存在するか判定する。置換後の数列「１２２７０１９」もまた候補リストにないため、項目値決定部１２０は、置換後の数列「１２２７０１９」の各桁の確信度のうち次に低い確信度「６４％」を有する右から１桁目の数字「９」を、当該桁に対して次に高い確信度を有する数字「０」によって置換し、置換後の数列「１２２７０１０」が候補リストに存在するか判定する。置換後の数列「１２２７０１０」は候補リストに存在するため、項目値決定部１２０は、抽出対象の項目「口座番号」の項目値が「１２２７０１０」であると決定する。しかしながら、上述した項目値の置換は、単なる一例であり、他の何れか適切な方法によって実行されてもよい。特に、数列の置換方法と候補リストとの突合については、各種バリエーションが利用可能であると考える。

【0031】

このようにして抽出対象の項目の項目値を決定すると、項目値決定部１２０は、決定した項目値を他の何れかの情報と関連付けて出力する。なお、上述した実施例では、抽出対象の項目は単一であったが、本発明はこれに限定されず、帳票画像から複数の項目の項目値が同様にして抽出されてもよい。

【0032】

［帳票読取処理］
次に、図７を参照して、本発明の一実施例による帳票読取処理を説明する。当該処理は、例えば、上述した帳票読取装置１００によって実現されてもよく、特に、帳票読取装置１００のプロセッサがメモリに格納されているプログラムを実行することによって実現されてもよい。図７は、本発明の一実施例による帳票読取処理を示すフローチャートである。

【0033】

図７に示されるように、ステップＳ１０１において、帳票読取装置１００は、帳票内の所定の項目を検出する。具体的には、帳票読取装置１００は、訓練済み機械学習モデルを利用して、帳票画像から所定の項目を表す項目名画像の位置を検出する。例えば、当該機械学習モデルは、ニューラルネットワークにより実現されてもよく、各種項目名画像を含む帳票画像と当該項目名画像及びその位置とを示す訓練データによって訓練されてもよい。

【0034】

ステップＳ１０２において、帳票読取装置１００は、当該項目の検出位置から所定の方向に配置される記載領域を推定する。例えば、抽出対象の項目の位置の右側領域が記載領域として規定されている場合、帳票読取装置１００は、抽出対象の項目の検出位置の右側領域、例えば、検出位置の右側に隣接して配置された矩形の枠内領域などを記載領域として決定してもよい。

【0035】

ステップＳ１０３において、帳票読取装置１００は、推定した記載領域に対して認識処理を実行する。具体的には、帳票読取装置１００は、帳票画像から記載領域の画像を抽出し、抽出した画像に対して何れか公知の認識処理を実行し、記載領域に記入された数字や文字を認識する。例えば、帳票読取装置１００は、文字認識を実現するニューラルネットワークなどの訓練済み機械学習モデルを利用して、記載領域の画像に含まれる文字や数字をテキストデータとして認識する。具体的には、訓練済み機械学習モデルは、記載領域に記入されている文字列や数列の各文字や各桁の数字を認識すると共に、認識した各文字や各桁の数字の確からしさを示す確信度を出力するものであってもよい。この場合、帳票読取装置１００は、最も高い確信度を有する文字や数字から構成される文字列や数列を認識結果として決定してもよい。

【0036】

ステップＳ１０４において、帳票読取装置１００は、認識結果と抽出対象の項目値の候補リストとを突合し、認識結果が候補リストに含まれているか判定する。認識結果が候補リストに含まれている場合（Ｓ１０４：ＹＥＳ）、帳票読取装置１００は、認識結果が確からしいと判断し、認識された文字列や数列を項目値として決定し、当該帳票に対する帳票読取処理を終了する。

【0037】

他方、認識結果が候補リストに含まれていない場合（Ｓ１０４：ＮＯ）、帳票読取装置１００は、認識結果が誤認識された可能性があると判断し、ステップＳ１０５に移行する。

【0038】

ステップＳ１０５において、帳票読取装置１００は、認識結果を補正する。例えば、帳票読取装置１００は、候補リストと確信度とに基づき認識結果を補正してもよい。具体的には、認識結果は最も高い確信度を有する文字又は数字から構成される文字列又は数列であるが、誤認識を生じさせる文字又は数字の確信度は相対的に低いか、あるいは、次に高い確信度との差分が相対的に小さいものであると予想される。従って、帳票読取装置１００は、認識結果に含まれる文字又は数字の確信度のうち所定の閾値未満の確信度の文字又は数字、あるいは、認識結果に含まれる文字又は数字の確信度と次に高い確信度との差分が所定の閾値未満の文字又は数字を置換候補として決定し、置換候補によって認識結果を置換し、置換後の文字列又は数列が候補リストにあるか検索してもよい。置換後の文字列又は数列が候補リストにある場合、帳票読取装置１００は、置換後の文字列又は数列を項目値として決定してもよい。置換後の文字列又は数列が候補リストにない場合、帳票読取装置１００は、同様にして更なる置換を行い、全ての置換候補の組み合わせに対して置換後の文字列又は数列が候補リストにあるか検索してもよい。

【0039】

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0040】

１００ 帳票読取装置
１１０ 領域推定部
１２０ 項目値決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-01-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

帳票内の所定の項目を検出し、前記項目の検出位置から所定の方向に配置された記載領域を推定する領域推定部と、
推定した前記記載領域に対して認識処理を実行し、認識結果の各文字または各数字の確信度に基づき前記各文字または前記各数字を置換して項目値候補に含まれる前記項目値を決定する項目値決定部と、
を有する帳票読取装置。

【請求項2】

前記領域推定部は、機械学習モデルを利用して、前記所定の項目を検出する、請求項１記載の帳票読取装置。

【請求項3】

前記機械学習モデルは、前記所定の項目を表す画像を検出する、請求項２記載の帳票読取装置。

【請求項4】

前記認識結果は、確信度と関連付けされ、
前記項目値決定部は、前記認識結果の確信度と前記項目値候補とに基づき前記項目値を決定する、請求項１乃至３何れか一項記載の帳票読取装置。

【請求項5】

前記項目値決定部は、前記記載領域に記載された数字に対して１桁ずつ認識結果を取得する、請求項１乃至４何れか一項記載の帳票読取装置。

【請求項6】

帳票内の所定の項目を検出し、前記項目の検出位置から所定の方向に配置された記載領域を推定するステップと、
推定した前記記載領域に対して認識処理を実行し、認識結果の各文字または各数字の確信度に基づき前記各文字または前記各数字を置換して項目値候補に含まれる前記項目値を決定するステップと、
をコンピュータが実行する帳票読取方法。