ホーム > 特許ランキング > Ａｒｉｔｈｍｅｒ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022072482
(43)【公開日】2022-05-17
(54)【発明の名称】帳票情報生成装置、方法及びプログラム
(51)【国際特許分類】
G06V 30/412 20220101AFI20220510BHJP
G06V 30/42 20220101ALI20220510BHJP
G06V 30/194 20220101ALI20220510BHJP
G06T 11/60 20060101ALI20220510BHJP
G06F 16/56 20190101ALI20220510BHJP
G06F 16/53 20190101ALI20220510BHJP
【ＦＩ】
G06K9/20 340C
G06K9/00 K
G06K9/66
G06T11/60 100A
G06F16/56
G06F16/53
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2020181945
(22)【出願日】2020-10-29
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】517332845
【氏名又は名称】Ａｒｉｔｈｍｅｒ株式会社
(72)【発明者】
【氏名】坂入 信之
(72)【発明者】
【氏名】園部 竜也
(72)【発明者】
【氏名】上野 広樹
(72)【発明者】
【氏名】岩城 寿紀
(72)【発明者】
【氏名】田野 慎一
(72)【発明者】
【氏名】朴 相麟
【テーマコード（参考）】
5B029
5B050
5B064
5B175
【Ｆターム（参考）】
5B029AA01
5B029BB02
5B029CC26
5B050AA09
5B050BA06
5B050BA16
5B050CA07
5B050DA01
5B050EA06
5B050EA19
5B050FA02
5B064AA01
5B064AB02
5B064AB13
5B064BA01
5B064DA27
5B064EA07
5B064EA08
5B064EA26
5B064EA27
5B064FA04
5B064FA09
5B064FA10
5B064FA13
5B175DA02
5B175GA03
5B175HB03
(57)【要約】 （修正有）
【課題】新たな請求書画像から請求情報を容易に生成し、特定項目以外が変動しない場合に、請求情報を生成する労力を低減する帳票情報生成装置、方法及びプログラムを提供する。
【解決手段】請求書画像登録装置３００は、請求番号に関連付けた請求情報の一覧を記憶する帳票情報生成装置１００の記憶部１１０に請求書画像を登録する。請求情報取得部３１０は、請求番号に関連付けて請求情報を取得する。請求番号読取部３２０は、一頁目に過去の請求番号が記載された画像を含み、二頁目以降に前記過去の請求番号に対応する請求書を画像化した請求書画像を含む画像データから、請求番号を読み取る。請求書画像抽出部３３０は、請求番号に関連付け、画像データから請求書画像を抽出する。請求書画像登録部３４０は、請求番号に基づき、請求情報と請求書画像とを関連付けて記憶部に登録する。
【選択図】図１４
【解決手段】請求書画像登録装置３００は、請求番号に関連付けた請求情報の一覧を記憶する帳票情報生成装置１００の記憶部１１０に請求書画像を登録する。請求情報取得部３１０は、請求番号に関連付けて請求情報を取得する。請求番号読取部３２０は、一頁目に過去の請求番号が記載された画像を含み、二頁目以降に前記過去の請求番号に対応する請求書を画像化した請求書画像を含む画像データから、請求番号を読み取る。請求書画像抽出部３３０は、請求番号に関連付け、画像データから請求書画像を抽出する。請求書画像登録部３４０は、請求番号に基づき、請求情報と請求書画像とを関連付けて記憶部に登録する。
【選択図】図１４
【特許請求の範囲】
【請求項1】
過去の帳票画像から抽出された過去特徴量と、前記過去の帳票画像に記載された文字の情報に基づいた過去の帳票情報とを関連付けて取得する取得部と、
対象とする帳票画像から対象特徴量を抽出する抽出部と、
前記対象特徴量と前記過去特徴量との類似度を算出する算出部と、
前記類似度に基づいて、前記過去の帳票情報を選択する選択部と、
前記対象とする帳票画像から予め定められた項目の文字の情報を読み取る読取部と、
前記選択部で選択された前記過去の帳票情報と、前記読取部で読み取られた前記文字の情報とから、前記対象とする帳票画像に関連付けられた新たな帳票情報を生成して表示する生成部と
を備える帳票情報生成装置。
対象とする帳票画像から対象特徴量を抽出する抽出部と、
前記対象特徴量と前記過去特徴量との類似度を算出する算出部と、
前記類似度に基づいて、前記過去の帳票情報を選択する選択部と、
前記対象とする帳票画像から予め定められた項目の文字の情報を読み取る読取部と、
前記選択部で選択された前記過去の帳票情報と、前記読取部で読み取られた前記文字の情報とから、前記対象とする帳票画像に関連付けられた新たな帳票情報を生成して表示する生成部と
を備える帳票情報生成装置。
【請求項2】
前記取得部は、
一頁目に過去の帳票番号が記載された画像を含み、二頁目以降に前記過去の帳票番号に対応する帳票を画像化した帳票画像を含む画像データから、前記帳票番号を読み取る読取部と、
前記過去の帳票番号に関連付けて、前記画像データから前記過去の帳票画像を抽出する帳票画像抽出部と、
前記帳票画像抽出部により抽出された過去の帳票画像から過去特徴量を抽出する過去特徴量抽出部と、
前記帳票番号に基づいて、前記過去特徴量と、前記過去の帳票情報とを関連付けて取得する過去情報取得部と、
を備える、
請求項１に記載の帳票情報生成装置。
一頁目に過去の帳票番号が記載された画像を含み、二頁目以降に前記過去の帳票番号に対応する帳票を画像化した帳票画像を含む画像データから、前記帳票番号を読み取る読取部と、
前記過去の帳票番号に関連付けて、前記画像データから前記過去の帳票画像を抽出する帳票画像抽出部と、
前記帳票画像抽出部により抽出された過去の帳票画像から過去特徴量を抽出する過去特徴量抽出部と、
前記帳票番号に基づいて、前記過去特徴量と、前記過去の帳票情報とを関連付けて取得する過去情報取得部と、
を備える、
請求項１に記載の帳票情報生成装置。
【請求項3】
請求番号に関連付けて取引に関する請求情報を記憶する会計処理システムに、新たな請求書画像に記載された請求情報を生成して読み込ませるための請求情報生成装置であって、
前記請求情報は、取引毎に変化しないとみなせる未変化情報と、前記未変化情報以外の変化情報とを含むものであり、
前記請求情報に対応する請求書画像には、変化情報及び未変化情報が記載されており、
過去の請求情報と、過去の請求書画像とを関連付けて取得する取得部と、
前記取得部により取得された情報を参照することにより新たな請求書画像に類似する過去の請求書画像を選択し、当該選択した過去の請求書画像に関連する過去の請求情報から前記未変化情報を抽出する未変化情報抽出部と、
前記新たな請求書画像から前記変化情報を文字認識装置（ＯＣＲ）で読み取る変化情報読取部と、
前記未変化情報抽出部により抽出された未変化情報と、前記変化情報読取部により読み取られた変化情報とから、新たな請求情報を生成する生成部と、
を備える請求情報生成装置。
前記請求情報は、取引毎に変化しないとみなせる未変化情報と、前記未変化情報以外の変化情報とを含むものであり、
前記請求情報に対応する請求書画像には、変化情報及び未変化情報が記載されており、
過去の請求情報と、過去の請求書画像とを関連付けて取得する取得部と、
前記取得部により取得された情報を参照することにより新たな請求書画像に類似する過去の請求書画像を選択し、当該選択した過去の請求書画像に関連する過去の請求情報から前記未変化情報を抽出する未変化情報抽出部と、
前記新たな請求書画像から前記変化情報を文字認識装置（ＯＣＲ）で読み取る変化情報読取部と、
前記未変化情報抽出部により抽出された未変化情報と、前記変化情報読取部により読み取られた変化情報とから、新たな請求情報を生成する生成部と、
を備える請求情報生成装置。
【請求項4】
前記未変化情報抽出部は、
前記新たな請求書画像から対象特徴量を抽出し、前記過去の請求書画像から抽出された過去特徴量と前記対象特徴量との類似度に基づいて、前記新たな請求書画像に類似する過去の請求書画像を選択する、
請求項３に記載の請求情報生成装置。
前記新たな請求書画像から対象特徴量を抽出し、前記過去の請求書画像から抽出された過去特徴量と前記対象特徴量との類似度に基づいて、前記新たな請求書画像に類似する過去の請求書画像を選択する、
請求項３に記載の請求情報生成装置。
【請求項5】
前記取得部は、
一頁目に過去の請求番号が記載された画像を含み、二頁目以降に前記過去の請求番号に対応する請求書を画像化した請求書画像を含む画像データから、前記請求番号を読み取る読取部と、
前記過去の請求番号に関連付けて、前記画像データから前記過去の請求書画像を抽出する請求書画像抽出部と、
前記請求番号に基づいて、前記過去の請求情報と、前記過去の請求書画像とを関連付けて取得する過去情報取得部と、
を備える、
請求項３又は４に記載の請求情報生成装置。
一頁目に過去の請求番号が記載された画像を含み、二頁目以降に前記過去の請求番号に対応する請求書を画像化した請求書画像を含む画像データから、前記請求番号を読み取る読取部と、
前記過去の請求番号に関連付けて、前記画像データから前記過去の請求書画像を抽出する請求書画像抽出部と、
前記請求番号に基づいて、前記過去の請求情報と、前記過去の請求書画像とを関連付けて取得する過去情報取得部と、
を備える、
請求項３又は４に記載の請求情報生成装置。
【請求項6】
請求番号に関連付けた請求情報の一覧を記憶する記憶部に請求書画像を登録する請求書画像登録装置であって、
前記請求番号に関連付けて請求情報を取得する請求情報取得部と、
前記請求番号が記載された画像を一頁目に含み、二頁目以降に前記請求番号に対応する請求書を画像化した請求書画像を含む画像データから、前記請求番号を読み取る請求番号読取部と、
前記請求番号に関連付けて、前記画像データから前記請求書画像を抽出する請求書画像抽出部と、
前記請求番号に基づいて、前記請求情報と、前記請求書画像とを関連付けて前記記憶部に登録する請求書画像登録部と、
を備える、請求書画像登録装置。
前記請求番号に関連付けて請求情報を取得する請求情報取得部と、
前記請求番号が記載された画像を一頁目に含み、二頁目以降に前記請求番号に対応する請求書を画像化した請求書画像を含む画像データから、前記請求番号を読み取る請求番号読取部と、
前記請求番号に関連付けて、前記画像データから前記請求書画像を抽出する請求書画像抽出部と、
前記請求番号に基づいて、前記請求情報と、前記請求書画像とを関連付けて前記記憶部に登録する請求書画像登録部と、
を備える、請求書画像登録装置。
【請求項7】
前記請求情報取得部は、請求番号に関連付けた請求情報の一覧を取得するものであり、
前記請求番号読取部は、読み取った請求番号を、編集距離に基づいて前記一覧に含まれる請求番号に置換するものである、
請求項６に記載の請求書画像登録装置。
前記請求番号読取部は、読み取った請求番号を、編集距離に基づいて前記一覧に含まれる請求番号に置換するものである、
請求項６に記載の請求書画像登録装置。
【請求項8】
前記請求番号読取部は、画像内における一又は複数の文字の画像の位置の特定と当該文字の画像から文字の内容を認識する文字認識エンジンにより、前記一頁目の画像から前記請求番号の文字の画像の位置を特定し、特定された位置の文字の画像における文字の内容を認識して、前記請求番号を読み取る、
請求項６又は７に記載の請求書画像記憶装置。
請求項６又は７に記載の請求書画像記憶装置。
【請求項9】
前記文字認識エンジンは、
画像内における文字の画像の位置を特定する第１ニューラルネットワークと、
文字の画像から文字の内容を認識する第２ニューラルネットワークと、
により構成される、
請求項８に記載の請求書画像記憶装置。
画像内における文字の画像の位置を特定する第１ニューラルネットワークと、
文字の画像から文字の内容を認識する第２ニューラルネットワークと、
により構成される、
請求項８に記載の請求書画像記憶装置。
【請求項10】
過去の帳票画像から抽出された過去特徴量と、前記過去の帳票画像に記載された文字の情報に基づいた過去の帳票情報とを関連付けて取得するステップと、
対象とする帳票画像から対象特徴量を抽出するステップと、
前記対象特徴量と前記過去特徴量との類似度を算出するステップと、
前記類似度に基づいて、前記過去の帳票情報を選択するステップと、
前記対象とする帳票画像から予め定められた項目の文字の情報を読み取るステップと、
前記選択のステップで選択された前記過去の帳票情報と、前記読み取りのステップで読み取られた前記文字の情報とから、前記対象とする帳票画像に関連付けられた新たな帳票情報を生成して表示するステップと
を備える方法。
対象とする帳票画像から対象特徴量を抽出するステップと、
前記対象特徴量と前記過去特徴量との類似度を算出するステップと、
前記類似度に基づいて、前記過去の帳票情報を選択するステップと、
前記対象とする帳票画像から予め定められた項目の文字の情報を読み取るステップと、
前記選択のステップで選択された前記過去の帳票情報と、前記読み取りのステップで読み取られた前記文字の情報とから、前記対象とする帳票画像に関連付けられた新たな帳票情報を生成して表示するステップと
を備える方法。
【請求項11】
請求番号に関連付けて取引に関する請求情報を記憶する会計処理システムに、新たな請求書画像に記載された請求情報を生成して読み込ませるための方法であって、
前記請求情報は、取引毎に変化しないとみなせる未変化情報と、前記未変化情報以外の変化情報とを含むものであり、
前記請求情報に対応する請求書画像には、未変化情報と変化情報とが記載されており、
過去の請求情報と、過去の請求書画像とを関連付けて取得するステップと、
取得した情報を参照することにより新たな請求書画像と類似する過去の請求書画像を選択し、当該選択した過去の請求書画像に関連する過去の請求情報から前記未変化情報を抽出するステップと、
前記新たな請求書画像から前記変化情報を文字認識装置（ＯＣＲ）で読み取るステップと、
前記未変化情報と、前記変化情報とから、新たな請求情報を生成するステップと、
を備える方法。
前記請求情報は、取引毎に変化しないとみなせる未変化情報と、前記未変化情報以外の変化情報とを含むものであり、
前記請求情報に対応する請求書画像には、未変化情報と変化情報とが記載されており、
過去の請求情報と、過去の請求書画像とを関連付けて取得するステップと、
取得した情報を参照することにより新たな請求書画像と類似する過去の請求書画像を選択し、当該選択した過去の請求書画像に関連する過去の請求情報から前記未変化情報を抽出するステップと、
前記新たな請求書画像から前記変化情報を文字認識装置（ＯＣＲ）で読み取るステップと、
前記未変化情報と、前記変化情報とから、新たな請求情報を生成するステップと、
を備える方法。
【請求項12】
請求情報が請求番号に関連付けられており、
前記請求番号が記載された画像を一頁目に含み、二頁目以降に前記請求番号に対応する請求書を画像化した請求書画像を含む画像データから、請求番号を読み取るステップと、
前記請求番号に関連付けて、前記画像データから前記請求書画像を抽出するステップと、
前記請求番号に基づいて、前記請求情報と、前記請求書画像とを関連付けるステップと、
を備える方法。
前記請求番号が記載された画像を一頁目に含み、二頁目以降に前記請求番号に対応する請求書を画像化した請求書画像を含む画像データから、請求番号を読み取るステップと、
前記請求番号に関連付けて、前記画像データから前記請求書画像を抽出するステップと、
前記請求番号に基づいて、前記請求情報と、前記請求書画像とを関連付けるステップと、
を備える方法。
【請求項13】
請求項１０から１２のいずれか１項に記載の方法を、コンピュータに実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、帳票情報生成装置、方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１及び２には、「管理装置１は、紙媒体の画像を示す画像情報と、当該画像に対応して過去に入力された入力情報とを関連付けて記憶部１１に記憶しており、記憶部１１に記憶されている画像情報から、取得された画像情報と類似する画像情報を特定する（図１の（３））。管理装置１は、特定した画像情報に関連付けられている入力情報を特定し、当該入力情報と、取得された画像情報から抽出された文字情報とを、ユーザ端末２に送信される入力画面に出力する（図１の（４））。」と記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－１７４１９９
【特許文献2】特開２０１７－１７４２００
【発明の概要】
【0004】
本発明の第１の態様においては、帳票情報生成装置であって、過去の帳票画像から抽出された過去特徴量と、過去の帳票画像に記載された文字の情報に基づいた過去の帳票情報とを関連付けて取得する取得部と、対象とする帳票画像から対象特徴量を抽出する抽出部と、対象特徴量と過去特徴量との類似度を算出する算出部と、類似度に基づいて、過去の帳票情報を選択する選択部と、対象とする帳票画像から予め定められた項目の文字の情報を読み取る読取部と、選択部で選択された過去の帳票情報と、読取部で読み取られた文字の情報とから、対象とする帳票画像に関連付けられた新たな帳票情報を生成して表示する生成部とを備える。
【0005】
本発明の第２の態様においては、会計処理システムに読み込ませる請求情報を生成するための装置であって、請求情報及び当該請求情報に対応する請求書画像は、それぞれ第１情報と第２情報とを含むものであり、過去の請求情報と、過去の請求書画像とを関連付けて取得する取得部と、取得部を参照することにより新たな請求書画像と類似する過去の請求書画像を選択し、当該選択した過去の請求情報から第１情報を抽出する第１情報取得部と、新たな請求書画像から第２情報を光学的文字認識装置（ＯＣＲ）で読み取る第２情報取得部と、第１情報取得部により抽出された第１情報と、第２情報取得部により読み取られた第２情報とから、新たな請求情報を生成する生成部と、を備える。
【0006】
本発明の第３の態様においては、方法であって、過去の帳票画像から抽出された過去特徴量と、過去の帳票画像に記載された文字の情報に基づいた過去の帳票情報とを関連付けて取得するステップと、対象とする帳票画像から対象特徴量を抽出するステップと、対象特徴量と過去特徴量との類似度を算出するステップと、類似度に基づいて、過去の帳票情報を選択するステップと、対象とする帳票画像から予め定められた項目の文字の情報を読み取るステップと、選択のステップで選択された過去の帳票情報と、読み取りのステップで読み取られた文字の情報とから、対象とする帳票画像に関連付けられた新たな帳票情報を生成して表示するステップとを備える。
【0007】
本発明の第４の態様においては、プログラムであって、コンピュータに上記方法を実現させる。
【0008】
本発明の第５の態様においては、会計処理システムに読み込ませる請求情報を生成するための方法であって、請求情報及び当該請求情報に対応する請求書画像は、それぞれ第１情報と第２情報とを含むものであり、過去の請求情報と、過去の請求書画像とを関連付けて取得するステップと、取得した過去の請求書画像を参照することにより新たな請求書画像と類似する過去の請求書画像を選択し、当該選択した過去の請求情報から第１情報を抽出するステップと、新たな請求書画像から第２情報を光学的文字認識装置（ＯＣＲ）で読み取るステップと、第１情報と、第２情報とから、新たな請求情報を生成するステップと、を備える。
【0009】
本発明の第６の態様においては、プログラムであって、コンピュータに上記方法を実現させる。
【0010】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0011】
【図1】本実施形態における帳票画像の一例である請求書画像１０の具体的な一例を示す。
【図3】本実施形態に係る帳票情報生成装置１００のブロック図である。
【図4】選択用データ１１２を模式的に示す。
【図5】読取条件１１３を模式的に示す。
【図6】対応関係１１４を模式的に示す。
【図7】帳票情報生成装置１００の動作フローＳ１０の一例を示す。
【図8】新たな請求書画像１２の一例を示す。
【図9】生成部１６０が生成した新たな請求情報２２の一例を示す。
【図10】帳票情報生成装置１００の記憶部１１０に記憶される学習済み抽出部１１１を生成する学習装置２００のブロック図である。
【図11】深層距離学習の方法を模式的に示す。
【図12】深層距離学習を用いた場合とカテゴリ分類による学習を用いた場合とで、帳票情報生成装置１００で類似画像検索をしたときの正解率を示す。
【図13】深層距離学習の他の方法を模式的に示す。
【図14】本実施形態に係る請求書画像登録装置３００の構成を示す模式図である。
【図15】請求書画像登録装置３００の動作を示すフローチャートである。
【図16】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の例を示す。
【発明を実施するための形態】
【0012】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0013】
図１は、本実施形態における帳票画像の一例である請求書画像１０の具体的な一例を示す。図１の請求書画像１０は「ＡＢＣ電力会社」から、本実施形態の使用者である「〇〇株式会社」に宛ての電気料金の請求である。請求書画像１０は、紙で送られて使用者側でスキャナ等により画像データ化したり、元々ＰＤＦなどの汎用の画像データとして送られたりする。
【0014】
図２は、使用者が図１の請求書画像１０から生成する帳票情報の一例である請求情報２０の具体的な一例を示す。使用者は、請求書画像１０を受け取った場合に、請求書画像１０に記載されている文字の情報の中から使用者自身に必要な又は関心のある情報を、例えば会計処理システムなどに用いる。請求情報２０は、当該会計処理システムへの入力が容易となるよう、ｃｓｖ、ｘｌｓなどのフォーマットであることが好ましい。
【0015】
請求情報２０は、使用者側の会計処理システムで用いる情報である。会計処理システムを用いることで、使用者は独自の規則で費用を計上し、財務諸表などを作成することが可能となる。会計処理システムでは、取引に関する請求情報を識別するために「請求番号」に関連付けて請求情報を記憶する。図２の例では、請求情報２０の項目として、請求項目、費目、費用発生部署、金額、請求日、支払期日、及び、請求元を含むものである。請求情報２０は、これらの項目の他、送金処理に必要な取引先の銀行口座の情報や、備考欄なども関連付けたものでもよい。また、ここでは、各項目が部署ごとに記載されているが、各項目を部署ごとの費用として計上する必要がない場合には、例えば費用発生部署に全社又は総務部等と記載する。
【0016】
ここで、請求書画像１０と請求情報２０とを対比すると、請求書画像１０に記載された「割引」のように、請求情報２０には反映されない文字の情報がある。一方で、請求書画像１０の「請求金額」と請求情報２０の「金額」のように、請求書画像１０に記載された文字の情報をそのままではなく、独自の規則で変換して反映させる文字の情報がある。したがって、いわゆるＯＣＲの精度を高くするだけでは必ずしも請求書画像１０から使用者の望む請求情報２０は容易には生成されない。
【0017】
さらに、電気料金が年単位での定額の契約である場合などは、請求書画像１０に記載される電気料金に関する情報は前月と変わらない。したがって、このような場合には当該請求書が前月のどの請求書と対応するのかが精度よく選択されることが好ましい。
【0018】
そこで本実施形態では、新たな請求書画像の特徴量に対して、これと類似する過去の特徴量に対応付けられた請求情報を選択する。さらに、当該過去の請求情報と、新たな請求書画像から読み取った文字の情報とを用いることで、使用者の望む請求情報を容易に生成する装置を提供する。
【0019】
図３は、本実施形態に係る帳票情報生成装置１００のブロック図である。帳票情報生成装置１００の一例は、汎用コンピュータにプログラムがインストールされたものである。また、帳票情報生成装置１００は使用者の端末装置と通信可能に構成されており、使用者の端末装置から請求情報の修正などを受け付ける。
【0020】
帳票情報生成装置（請求情報生成装置）１００は、記憶部１１０と、請求書画像から特徴量を抽出する抽出部１２０と、抽出した特徴量と記憶部１１０に記憶された特徴量との類似度を算出する算出部１３０と、類似度に基づいて記憶部１１０に記憶された請求情報を選択する選択部１４０とを備える。帳票情報生成装置１００はさらに、請求書画像から予め定められた項目の文字の情報を読み取る読取部１５０と、選択された請求情報及び読み取られた文字の情報から、新たな請求情報を生成して表示する生成部１６０とを備える。
【0021】
記憶部１１０は、学習済み抽出部１１１と、選択用データ１１２と、読取条件１１３と、対応関係１１４とを記憶する。例えば、これらの情報はインターネットを介して他のサーバ等から又はＵＳＢメモリのような記録媒体により、使用者により予め記憶される。当該情報を外部から取得して記憶するという観点から、記憶部１１０は取得部としての機能も担っているといえる。
【0022】
学習済み抽出部１１１は、予め学習された方法で請求書画像から特徴量を抽出するものであって、詳細は後述する。学習済み抽出部１１１そのものを記憶することに代えて、予め学習することによって得られた各パラメータや重み付け値を、抽出部１２０で利用可能に記憶していてもよい。
【0023】
図４は、選択用データ１１２を模式的に示す。選択用データ１１２において、請求書画像１０、特徴量３０及び請求情報２０が１つのデータセットとして互いに対応付けられている。また、請求書画像１０には請求元の会社毎にラベル４０が対応付けられている。ただし、これに限定されるものではなく、請求書画像１０は、同じ請求元であって異なる請求書のフォーマット毎にラベルが対応付けられているものでもよい。なお、請求書画像１０及びラベル４０は主に後述する学習に用いられるので、選択用データ１１２には含まれていなくてよい。
【0024】
請求書画像１０及び請求情報２０は、使用者が過去に会計処理システムに使用したものであってよい。これらは、少量多種類の情報であり、例えば１万程度の会社（すなわちラベル４０）に対し、会社毎（すなわちラベル４０毎）に１００枚程度のものが存在する。なお、図４の例では、説明を簡略化するために、ラベル４０が「ＡＢＣ電力」と「ＤＥＦ新聞販売店」の２つあり、「ＡＢＣ電力」に対して３つのデータセット、「ＤＥＦ新聞販売店」に対して１つのデータセットのものを示している。
【0025】
特徴量Ｖ０等は学習済み抽出部１１１で抽出された、請求書画像１０の特徴をｄ次元のベクトル（ｄは例えば１０００程度）で表現したものである。当該特徴量Ｖ０等はユーザが視認可能な形で記憶されていなくてよい。以上を換言すれば、記憶部１１０には、少なくとも、過去の請求書画像から抽出された特徴量である過去特徴量と、過去の請求書画像に記載された文字の情報に基づいた過去の請求情報とが関連付けて記憶されているといえる。
【0026】
図５は、読取条件１１３を模式的に示す。読取条件１１３には請求書画像１０から読取部１５０が読み取る項目と、当該項目を読み取る条件とが対応付けられている。
【0027】
ここで「条件」は、請求書画像１０のどこに又はどのように当該項目に対応する文字の情報をＯＣＲで読み取ることができるかをルールベースで示したものである。図５の例において、例えば、項目「発行日」の条件「１）」は、発行日が請求書画像１０の「発行日」という文字列の右の文字列から得られることを示す。また、例えば、項目「発行日」の条件「２）」は、発行日が、請求書画像１０の「発行日」という文字列の下の文字列から得られることを示す。また、例えば、項目「発行日」の条件「３）」は、発行日が、請求書画像１０の右上領域の「年」「月」「日」のいずれかの文字を含む文字列から得られることを示す。なお、読取条件として、「発行日」という文字列に代えて、「発」「行」「日」のうちの例えば２文字を含む文字列が用いられてもよい。これにより「発行年月日」等の文字列を発行日として読み取ることが可能となる。
【0028】
また、図５の例において、例えば、項目「請求金額」の条件「１）」は、請求金額が、請求書画像１０の「請求金額」という文字列の右の文字列から得られることを示す。また、例えば、項目「請求金額」の条件「２）」は、請求金額が、請求書画像１０の「請求金額」という文字列の下の文字列から得られることを示す。また、例えば、項目「請求金額」の条件「３）」は、請求金額が、請求書画像１０の「合計」という文字列の右の文字列から得られることを示す。また、例えば、項目「請求金額」の条件「４）」は、請求金額が、請求書画像１０の「合計」という文字列の下の文字列から得られることを示す。なお、読取条件として、「請求金額」という文字列に代えて、「請」「求」「金」「額」のうちの例えば３文字が含まれる項目を「請求金額」と記載される文字列としてもよい。これにより「請求額」等の文字列を請求金額として読み取ることが可能となる。
【0029】
また、図５の例において、例えば、項目「支払期日」の条件「１）」は、支払期日が、請求書画像１０の「支払期日」という文字列の右の文字列から得られることを示す。また、例えば、項目「支払期日」の条件「２）」は、支払期日が、請求書画像１０の「支払期日」という文字列の下の文字列から得られることを示す。なお、読取条件として、「支払期日」という文字列に代えて、「支」「払」「期」「日」「限」のうちの例えば２文字が含まれる項目を「支払期日」と記載される文字列としてもよい。これにより「支払い期限」「請求期限」等の文字列を支払期日として読み取ることが可能となる。
【0030】
なお複数の条件のうち、番号が早い順に読み取りが試行され、見つからなければ次の条件を試行する。読取条件１１３はＯＣＲの知識を有する者により予め設定されていることが好ましいが、使用者により変更することができてもよい。
【0031】
図６は、対応関係１１４を模式的に示す。対応関係１１４は、読取部１５０による読取の項目と、選択用データの過去の請求情報２０の項目との対応関係、及び、当該項目に対して生成部１６０が行う処理が対応付けられている。対応関係１１４は使用者が自ら望む請求情報を得るように、任意に設定することができるようにしてもよい。
【0032】
図６の例では、読取の項目「発行日」が請求情報の項目「請求日」に対応する。そして、請求情報の「請求日」を読取の項目で読み取った「発行日」で上書きするという処理を行なうための情報が記憶部１１０に格納されている。
【0033】
また、図６の例では、読取の項目「請求金額」が請求情報の項目「金額」に対応する。そして、請求情報の「金額」の合計と読取の項目で読み取った「請求金額」とを比較するという処理を行なうための情報が記憶部１１０に格納されている。
【0034】
また、図６の例では、読取の項目「支払期日」が請求情報の項目「支払期日」に対応する。そして、請求情報の「支払期日」の合計と読取の項目で読み取った「支払期日」で上書きするという処理を行なうための情報が記憶部１１０に格納されている。
【0035】
なお、対応関係１１４において、読取条件１１３で読み取るとされた項目の全てを請求情報２０のいずれかの項目と対応付けする必要はない。さらに、対応関係１１４において、選択用データ１１２の請求情報２０に含まれる項目の全てをいずれかの読取の項目と対応付ける必要もない。
【0036】
むしろ、請求書画像１０に含まれる文字の情報のように毎回変わらない情報が多い場合には、変わらない情報に関する項目を対応関係１１４に含めないことが好ましい場合がある。対応関係１１４に含めないことにより、読取部１５０で誤って読み取った文字の情報に基づいて、誤った請求情報が生成されることを防ぐことができる場合がある。
【0037】
図７は、帳票情報生成装置１００の動作フローＳ１０の一例を示し、図８は新たな請求書画像１２の一例を示す。動作フローＳ１０は、新たな請求書画像１２が入力された場合に開始される。なお、以下の説明において、新たな請求情報を符号２２で表し、記憶部１１０に記憶されている請求情報２０と区別して表すことにする。
【0038】
抽出部１２０は記憶部１１０から学習済み抽出部１１１を読み込んで、請求書画像１２の特徴量である対象特徴量を抽出する（Ｓ１００）。これは、抽出部１２０が、過去の請求書画像１０から特徴量３０を抽出する学習済の方法に対応した方法で、対象特徴量を抽出しているともいえる。
【0039】
算出部１３０は、対象特徴量と、記憶部１１０に格納されている選択用データ１１２の特徴量３０との類似度を算出する（Ｓ１０２）。類似度の算出方法はいくつか方法があり、後述する学習済み抽出部１１１を学習させるのに用いた類似度の算出方法とは必ずしも同じでなくてもよい。
【0040】
算出部１３０は、選択用データ１１２の全ての又は予め定められた一部分の特徴量３０に対して、対象特徴量との類似度を計算する（Ｓ１０４）。その結果、閾値以上の類似度となる特徴量３０が少なくとも１つあった場合に（Ｓ１０６：Ｙｅｓ）、ステップＳ１０７に進む。一方、閾値以上の類似度となる特徴量３０が１つもなかった場合に（Ｓ１０６：Ｎｏ）、ステップＳ１１６に進む。当該閾値は予め設定されて記憶部１１０に格納されているが、使用者によって変更できてよい。
【0041】
ステップＳ１０７において、選択部１４０は上記類似度に基づいて、選択用データ１１２の請求情報２０を選択する（Ｓ１０７）。この場合に、選択部１４０は類似度の大きい順に予め定められた個数、例えば１０個、の特徴量３０に対応付けられた（すなわち同数の）請求情報２０を選択する。
【0042】
以下、説明を簡略化するために、図２の請求情報２０が選択される例で説明する。
【0043】
上記ステップＳ１００からＳ１０７と並行して、読取部１５０は記憶部１１０に記憶された読取条件１１３に基づいて、当該条件に対応した項目について請求書画像１２から文字の情報を読み取る（Ｓ１２０）。図５の読取条件１１３の場合には、発行日及び請求金額の情報を読み取る。図８の請求書画像１２が正しく読み取られたとすれば、発行日の文字の情報として「令和２年６月１０日」、及び、請求金額の文字の情報として「：￥１１０，０００－」が読み取られる。
【0044】
この場合に、読取部１５０は非定型ＯＣＲエンジンを用いてよい。例えば、CTPN、EAST、SegLink、TextBoxes++、PSENet、TextSnakeなどで文字領域を抽出し、当該文字領域からCRNN（畳み込みリカレントニューラルネットワーク）系のモデルを用いて文字の情報を読み取って良い。この際、CNN部分はVGG16, ResNet等、RNN部分はLSTM、GRU、seq2seq、注意機構等種々のネットワークが利用できる。また、文字領域を抽出後、文字を一文字ずつに分割してからCNN系のモデル(VGG16, ResNet等)で文字の情報を読み取ってもよい。また、文字領域抽出から文字情報の読取までをEnd-to-Endで一つのネットワークで行ってもよい。
【0045】
ステップＳ１０８において、生成部１６０は、記憶部１１０に記憶された対応関係１１４に基づいて、選択された請求情報２０の請求日を、読み取った発行日で上書きする。この場合に生成部１６０は、読み取った発行日の文字の情報をそのまま上書きしてもよいし、予め定められた変換規則に従って変換して上書きしてもよい。当該変換規則は使用者が対応関係１１４の処理として設定してもよいし、対応関係１１４とは別個に記憶部１１０に記憶されてもよい。本実施形態において、元号を西暦に変換した上で「YYYY/MM/DD」の形に変換する例で説明する。
【0046】
次に、生成部１６０は、記憶部１１０に記憶された対応関係１１４に基づいて、選択された請求情報２０の金額の合計と、読み取った請求金額とを比較する（Ｓ１１０）。図８の請求書画像１２及び図２の請求情報２０の例の場合、生成部１６０は請求情報２０の金額の欄を合計し、「１１００００」を得る。生成部１６０はこれと、請求書画像１２から読み取った請求金額の文字の情報「：￥１１０，０００－」のうちの数字部分「１１００００」とを比較し、一致すると判断する。
【0047】
ステップＳ１１０の判断がＹｅｓの場合に、生成部１６０はステップＳ１０８で上書きされた請求情報を新たな請求情報として生成し、ディスプレイ等に表示する（Ｓ１１４）。
【0048】
図９は、生成部１６０が生成した新たな請求情報２２の一例を示す。請求情報２２において、図２の請求情報２０の文字の情報のうち、請求日及び支払期日が、読取部１５０で読み取られた発行日及び支払期日の情報で書き換えられている。一方、請求項目等、書き換えられなかった文字の情報について、選択された過去の請求情報２０の文字の情報が新たな請求情報２２に使用されている。
【0049】
さらに、当該請求日が、請求項目等の書き換えられていない情報と区別可能に斜体で表現されている。区別可能な表現は、ボールド、赤字、点滅など、他の方法であってもよい。
【0050】
さらに生成部１６０は、読取部１５０で読み取った文字の情報の読み取りの確度に応じて、請求情報２２を表示してもよい。例えば、請求情報２２のうち、読取部１５０で読み取られた情報で書き換えたもののうち、確度が閾値より高いものと低いものとを区別可能に表示してもよい。区別可能な表示は、斜体、ボールド、赤字、点滅などであってよく、確度が低い方が目に使用者の目に付きやすい表現であることが好ましい。
【0051】
上記ステップＳ１１０の判断がＮｏの場合に、生成部１６０は新たに生成する請求情報２２に警告を追加する（Ｓ１１２）。警告の例は、請求情報２２の金額の欄を斜体、ボールド、赤字、点滅にするなどである。上記の書き換えられた情報に用いる表現とは異なっていることが好ましい。これに加えて又は代えて、請求情報２２の欄外に「請求金額が異なっています」という文字情報を表示してもよい。
【0052】
上記ステップ１０６の判断がＮｏの場合に、選択部１４０は過去に類似した請求書画像がない旨を警告する（Ｓ１１６）。例えば、ディスプレイ等に「類似度の高い請求書が見つかりませんでした」という文字情報を表示してもよい。
【0053】
以上により、動作フローＳ１０が終了する。その後、帳票情報生成装置１００は、表示した請求情報２２について、使用者の修正や追加などを受け付ける。ここでは、ステップＳ１０７で類似度の大きい順に予め定められた個数（例えば１０個）の請求情報２０が選択されているので、新たな請求情報２２は上記個数（例えば１０個）と同じだけ表示されることになる。使用者は、複数の請求情報２２から最も好ましい請求情報を選択した上で、修正や追加をする。なお、ステップＳ１１６で警告していた場合には、全く新規の請求情報２２の入力を受け付ける構成としてもよい。
【0054】
なお、上記ステップＳ１１０及びＳ１１２、及び／又は、ステップＳ１１６は必ずしも必要な処理ではなく、適宜省略してもよいものである。
【0055】
帳票情報生成装置１００は、使用者から請求情報２２を確定する旨の入力があった場合に、確定した情報としてディスプレイ等に表示する。ディスプレイ等に表示することに代えて又はこれに加えて、会計処理システムにエクスポートしたり、データとして外部に出力等したりしてもよい。さらに、帳票情報生成装置１００は、請求書画像１２及び／又はその特徴量と請求情報２２とを対応付けて、新たなデータセットとして記憶部１１０の選択用データ１１２に追加する。すなわち、次回から類似画像として選択される候補となる。
【0056】
図１０は、帳票情報生成装置１００の記憶部１１０に記憶される学習済み抽出部１１１を生成する学習装置２００のブロック図である。学習装置２００の一例は、汎用コンピュータにプログラムがインストールされたものである。
【0057】
学習装置２００は、記憶部２１０と、請求書画像１０から特徴量３０を抽出する抽出部２２０と、抽出した特徴量３０同士の類似度を算出する類似度算出部２３０と、類似度に基づいて損失関数の値を算出してそれを最小化する損失関数算出部２４０とを備える。本実施形態において、学習装置２００は、抽出部２２０としてＣＮＮを用いて、深層距離学習を行う。なお、抽出部２２０は、CNNに限らず、全結合、RNN、self-attentionなどのニューラルネットワークを用いて特徴量を抽出するものでもよい。さらに、抽出部２２０は、ニューラルネットワークではなく、SIFT、HOGなどの局所特徴量を抽出するものでもよい。
【0058】
記憶部１１０は、学習用データ２１１と、学習用パラメータ２１２と、学習済み抽出部１１１とを記憶する。なお、学習前では学習済み抽出部１１１は記録されていなくてよい。
【0059】
学習用データ２１１は、少なくとも、ラベル４０と、請求書画像１０と請求情報２０とが対応付けられたデータセットとを含む。ラベル４０と、請求書画像１０と請求情報２０とが対応付けられたデータセットは学習を実行する学習者によって、例えば、インターネットを介して他のサーバ等から又はＵＳＢメモリのような記録媒体により記憶部２１０に記憶される。
【0060】
学習用データ２１１はさらに、学習の結果として請求情報２０に対応付けられた特徴量３０も含む。学習用データ２１１のデータセットは、帳票情報生成装置１００で使われる選択用データ１１２のデータセットと同一であるか、少なくとも一部は、好ましくは大部分が重複していることが好ましい。説明の簡略化のため、本実施形態では学習用データ２１１のデータセットと選択用データ１１２のデータセットとが同一であるとする。
【0061】
学習用パラメータ２１２は、学習の方法に応じて当該学習に用いるパラメータの値を格納する。抽出部２２０としてＣＮＮを用いて、深層距離学習を行う場合には、抽出部２２０のパラメータとして、ネットワークの階層数、各層におけるノードの数、重みの初期値などが含まれる。また、深層距離学習のパラメータとして、学習条件としての学習率及び学習回数、並びに、損失関数等が含まれる。当該パラメータの値は、学習者により設定され、学習中に適宜変更されてよい。
【0062】
図１１は、深層距離学習の方法を模式的に示す。まず、データセットのペアを用意する。
【0063】
ペアの請求書画像Ｇ１，Ｇ２のそれぞれを抽出部２２０に入力して、それぞれの特徴量Ｃ１、Ｃ２を計算する。特徴量Ｃ１，Ｃ２を類似度算出部２３０に入力してそれらの間の類似度を計算する。類似度は、コサイン類似度や特徴量空間のユークリッド距離などの距離関数の逆数等、既知の方法のいずれでもよいが、損失関数に対応したものが用いられる。
【0064】
当該類似度、及び、ペアの請求書画像のそれぞれのラベルＬ１，Ｌ２を損失関数算出部２４０に入力して損出関数の値を計算し、当該値が小さくなるように誤差逆伝搬により抽出部２２０の重み等を更新する。損失関数は、ラベルＬ１とラベルＬ２とが同じであれば類似度が大きいほど（すなわち特徴量のベクトル間の距離が近いほど）値が小さく、かつ、ラベルＬ１とラベルＬ２とが異なっていれば類似度が小さいほど（すなわち特徴量のベクトル間の距離が遠いほど）値が小さくなる関数である。そのような損失関数として、Contrastive Loss、ArcFace、CosFace、SphereFaceなどが用いられてよい。
【0065】
上記の更新を、予め設定した学習回数又はEarly Stoppingに基づいて繰り返し行う。上記更新は、バッチ、オンライン、ミニバッチのいずれの更新タイミングで行われてもよい。
【0066】
なお、請求書画像１０のように多ラベルで少数データの場合には、ラベルが同じペアと異なるペアとが予め定められた割合、例えば、等しい割合で学習に使われるようにサンプリングすることが好ましい。これにより、ランダムでサンプリングした場合に生じる、同じラベルを持つペアが使われる確率が小さくて学習が進まない、という問題を回避することができる。
【0067】
学習装置２００は、上記の通り学習した結果得られた抽出部２２０を学習済み抽出部１１１として記憶部２１０に記憶する。抽出部２２０そのものを記憶することに代えて、抽出部２２０と同等の演算が再現できる、当該抽出部２２０で用いられている重み等のパラメータが学習済み抽出部１１１に記憶されてもよい。学習済み抽出部１１１そのもの又はそれに用いられるパラメータを、帳票情報生成装置１００の抽出部１２０に読み込むことにより、上記で学習した結果得られた抽出部２２０と同等の演算で特徴量３０を抽出することができる。
【0068】
上記の通り、過去の請求書画像１０の特徴量３０、及び、帳票情報生成装置１００の抽出部１２０は、機械学習で得られたものに対応する。これにより、精度の高い類似画像検索を行うことができる。ここで、「対応する」とは同一であってもよいし、パラメータの読み込み等により再現されたものであってもよく、確率等の他の要因の範囲内で等価な演算結果が得られるものであることを含む。
【0069】
図１２は、深層距離学習を用いた場合とカテゴリ分類による学習を用いた場合とで、帳票情報生成装置１００で類似画像検索をしたときの正解率を示す。学習用データとして、１００ラベルで、各ラベル１～１００枚の概ね１０００枚の画像について、３０～４０ラベルの３グループに分割してグループ交差検証をした結果である。図１２において、横軸が検索候補数を示し、縦軸がｔｏｐ－ｋ正解率（検索候補の中に少なくとも一つ同ラベルの請求書が含まれた割合）を示している。
【0070】
図１２に示すように、機械学習として深層距離学習を用いると、請求書画像１０のような、多種類かつ少数の検索対象について、カテゴリ分類による学習よりも精度を向上させることができる。
【0071】
図１３は、深層距離学習の他の方法を模式的に示す。図１３の方法では、データセットのペアを用意する代わりに、個々のデータセットに対する特徴量と、各ラベルに対応する代表特徴量（行列）との類似度を算出する。そして、当該類似度、及び、請求書画像のラベルＬ１を損失関数算出部２４０に入力して損出関数の値を計算し、当該値が小さくなるように誤差逆伝搬により抽出部２２０及び各ラベルの代表特徴量の値等を更新する。
【0072】
補足すると、「代表特徴量」は、予め設定された複数のラベルに対応する特徴量を示すものである。詳しくは、個々のデータセットに対する特徴量がｄ次元で表され、ラベルがＮ個あるとすると、代表特徴量はＮ×ｄ次元の行列で表される。そのため、図１３に示す例では、類似度算出部２３０で、特徴量Ｃ１に対して、各ラベルに対応してＮ個の類似度が算出される。そして、損失関数算出部２４０では、それらのＮ個の類似度に対し、ラベルＬ１に対応する類似度が大きいほど値が小さく、かつ、ラベルＬ１以外に対応する類似度が小さいほど値が小さくなるように出力する。なお、代表特徴量の初期値は乱数で決定される。
【0073】
換言すると、上述した抽出部２２０は、一の請求書画像Ｇ１の第１ラベル（Ｌ１）と、当該請求書画像Ｇ１から得られる特徴量Ｃ１及び予め設定された複数の第２ラベル（Ｌ１～ＬＮ）に対応する特徴量を含む代表特徴量の類似度との入力に応じて、第１ラベル（Ｌ１）と第２ラベル（Ｌ１～ＬＮ）とが同じラベル（Ｌ１）のときには前記類似度が大きいほど値が小さく、第１ラベルと第２ラベルとが異なるラベル（Ｌ２～ＬＮ）のときには類似度が小さいほど値が小さくなる損失関数を用いた学習で得られたものに対応する。
【0074】
以上、本実施形態によれば、対象とする請求書画像の特徴量に対して、これと類似する過去の特徴量に対応付けられた請求情報と、対象とする請求書画像から読み取った文字の情報とを用いる。これにより、新たな請求書画像から、使用者の望む請求情報を容易に生成することができる。
【0075】
詳しくは、本実施形態に係る帳票情報生成装置１００を用いれば、請求情報２２として、「項目」「費目」「費用発生部署」「金額」「請求日」「支払期日」「請求元」が少なくとも関連付けられて記憶されている場合、「項目」「費目」「費用発生部署」「請求元」を過去の請求書画像に基づいて抽出し、「請求日」「支払期限」をＯＣＲで読み取ることで、会計処理システムに必要な請求情報２２を使用者が容易に生成することができる。特に、「金額」以外の項目があまり変動しない場合に、本実施形態に係る帳票情報生成装置１００を用いることで、会計処理システムに必要な請求情報を生成するのに要する使用者の労力を大幅に低減することができる。
【0076】
換言すると、本実施形態に係る帳票情報生成装置１００を用いれば、請求情報２０，２２が、取引毎に変化しないとみなせる未変化情報（「項目」「費目」「費用発生部署」「請求元」等）と、未変化情報以外の変化情報（「請求日」「支払期限」等）とを含んでいる場合、新たな請求情報２２に対応する請求書画像１２の未変化情報を過去の請求書画像１０に基づいて抽出し、請求書画像１２０の変化情報をＯＣＲで読み取ることで、会計処理システムに必要な請求情報２２を使用者が容易に生成することができる。なお、上述の「変化しないとみなせる」の意味は、多少の変化はあってもユーザが変化しないと判断したものを含む意味で使用される。
【0077】
また、本実施形態に係る帳票情報生成装置１００を用いれば、請求番号に関連付けて取引に関する請求情報を記憶する会計処理システムに、新たな請求書画像１２に記載された請求情報１２を生成して読み込ませることができる。
【0078】
なお、帳票情報生成装置１００で生成された新たな請求情報１２は、使用者の修正等を反映した上で記憶部１１０に記憶される。そして、この新たな請求情報１２は、次回の使用の際には、過去の請求情報１０として利用されることになる。ここで、帳票情報生成装置１００は、直近で生成された新たな請求情報１２に対応する、所定数（例えば１０枚）の請求書画像１２を、過去情報として記憶するものでもよい。これにより、直近の請求書の内容の変化に追随した請求情報１２の生成を使用者に促すことができる。
【0079】
本実施形態の変形例として下記のものが考えられる。まず、帳票として、請求書以外に、注文書、見積書、領収書、保険証券等が考えられる。
【0080】
また、読取条件１１３がルールベースであることに代えて、機械学習によって予め定められた項目の文字の情報が読み取られてもよい。また、機械学習として深層距離学習に代えて、少し精度は劣るが、カテゴリ分類による学習、自己教師あり学習、Imagenetなどを学習したモデルの転移学習などを用いてもよい。
【0081】
また、帳票情報生成装置１００と学習装置２００とはサーバと通信可能であってよい。その場合に、当該サーバに、帳票情報生成装置１００の記憶部１１０に記憶されていると説明されていたデータの一部又は全部、及び／又は、学習装置２００の記憶部２１０に記憶されていると説明されていたデータの一部又は全部が記憶されていてもよい。この場合には、帳票情報生成装置１００が当該サーバと通信する送受信部が各種情報を取得する取得部の機能を有することになる。これに代えて、帳票情報生成装置１００と学習装置２００とが通信可能で、いずれか一方が上記サーバの機能を有していてもよい。この場合も、帳票情報生成装置１００が当該学習装置２００と通信する送受信部が各種情報を取得する取得部の機能を有することになる。
【0082】
本実施形態に係る請求書画像の初期登録について説明する。上述したように、記憶部１１０には、少なくとも、過去の請求書画像１０と、過去の請求書画像から抽出された特徴量である過去特徴量３０と、過去の請求書画像に記載された文字の情報に基づいた過去の請求情報２０とが「過去情報」として関連付けて記憶されている（図４参照）。なお、請求書画像１０と過去特徴量３０と請求情報２０とは、複数のデータベース（ＤＢ）を用いて間接的に関連付けられて記憶されていてもよいものである。例えば、請求情報２０と過去特徴量３０とが直接的に関連付けられたＤＢが存在する場合、請求情報２０と請求書画像１０とが直接的に関連付けられたＤＢを生成することで、特徴量情報３０と請求書画像１０とが間接的に関連付けられる。
【0083】
一般的に、会計処理システムで扱われる情報は、会計処理システムから出力される請求情報が記載された印刷物と、その請求情報に対応する請求書（印刷物である）とが一まとめにされて保管される。また、請求情報は「請求番号」が付されて一意に識別されるものである。
【0084】
帳票情報生成装置１００には、予めこれらの印刷物を画像化して記憶部１１０に記憶させておく必要がある。しかしながら、使用者が過去に会計処理システムに使用した請求書画像１０及び請求情報２０は少量多種類の情報であるので、請求書画像１０と請求情報２０とを関連付けて初期登録する作業は煩雑になるという問題がある。
【0085】
本発明者らは鋭意研究の末、保管される印刷物を画像化した「画像データ」が、過去の請求番号（帳票番号）が記載された画像を一頁目の画像とし、二頁目以降の画像として過去の請求番号に対応する請求書を画像化した請求書画像を含むものであれば、以下に説明する技術を適用することで、請求書画像１０と請求情報２０とを関連付けて初期登録する作業の煩雑化を解消できるという知見を得た。
【0086】
以下の説明では、「画像データ」として、上述したような、請求番号が記載された画像を一頁目の画像とし、二頁目以降の画像として請求番号に対応する請求書を画像化した請求書画像を含む画像データ５を例にして説明する。
図１４は請求書画像登録装置３００の構成を示す模式図である。
図１４は請求書画像登録装置３００の構成を示す模式図である。
【0087】
請求書画像登録装置３００は、任意のコンピュータにより実現することができ、請求情報取得部３１０と、請求番号読取部３２０と、請求書画像抽出部３３０と、請求書画像登録部３４０とを備える。補足すると、上記コンピュータが有するＣＰＵ及び／またはＧＰＵが各種情報処理を実行する処理部として機能し、この処理部が所定のプログラムを読み込むことで上記各機能が実現される。なお、請求書画像登録装置３００は、ＬＳＩ（Large Scale Integration），ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（Field-Programmable Gate Array）などを用いてハードウェアとして実現されるものでもよい。
【0088】
請求情報取得部３１０は、帳票情報生成装置１００の記憶部１１０から請求番号及び請求情報２０を取得する。ただし、帳票情報生成装置１００の記憶部１１０に記憶される請求情報２０は会計処理システム１から出力される情報に基づいて生成されるので、請求情報取得部３０５は、帳票情報生成装置１００ではなく、会計処理システム１から請求番号及び請求情報２０を取得してもよい。なお、取得した情報は一時的に帳票情報生成装置１００の記憶部に記憶される。
【0089】
請求番号読取部３２０は、文字認識エンジンにより、画像データ５から請求番号を読み取るものである。文字認識エンジンは、画像内における文字の画像の位置を特定する第１ニューラルネットワーク（「第１ＮＮ」とも表記する）と、文字の画像から文字の内容を認識する第２ニューラルネットワーク（「第２ＮＮ」とも表記する）とを備える。例えば、第1ＮＮとして、CTPN、EAST、SegLink、TextBoxes++、PSENet、TextSnakeなどを利用することができる。また、第２ＮＮとして、CRNN（畳み込みリカレントニューラルネットワーク）及び／又はCNNなどを利用することができる。また、第１ＮＮとして、YOLOを用い、第２ＮＮとして、CRNN及び／又はCNNなどを用いることもできる。いずれによせ、文字認識エンジンはこれらの手法に限定されるものではない。また、文字認識エンジンは、第１ＮＮと第２ＮＮとを分離せずに、文字の画像の位置の特定から文字の内容の認識までをEnd-to-Endで一つのネットワークで行ってもよい。このような文字認識エンジンを用いることで、請求番号読取部３２０は、一頁目の画像から請求番号の文字の画像の位置を特定し、特定された位置の文字の画像の文字の内容を認識して、請求番号を読み取ることができる。
【0090】
請求書画像抽出部３３０は、画像データ５から請求書画像１０を抽出する。具体的には、請求書画像抽出部３３０は、画像データ５の二頁目以降の画像を請求書画像１０とみなして抽出する。抽出された請求書画像１０は請求番号に関連付けられる。
【0091】
請求書画像登録部３４０は、請求番号読取部３２０で読み取られた請求番号に基づいて、請求番号に対応する請求情報２０と、請求書画像抽出部３３０で抽出された請求書画像１０とを関連付けて、帳票情報生成装置１００の記憶部１１０に登録する。
図１５は請求書画像登録装置３００の動作を示すフローチャートである。
図１５は請求書画像登録装置３００の動作を示すフローチャートである。
【0092】
前提として、請求書画像登録装置３００は、帳票情報生成装置１００又は会計処理システム１から、帳票情報生成装置１００で用いられる請求番号及び請求情報２０の一覧を予め取得しておく（Ｓ３０１）。なお、請求情報２０は請求番号により一意に識別されるものである。
【0093】
このような前提のもと、請求書画像登録装置３００が、画像データ５を取得する（Ｓ３０２）。請求書画像登録装置３００は画像データ５を取得すると、一頁目の所定領域の画像を文字認識エンジンに入力する。文字認識エンジンにより、当該領域に記載された文字又は文字列が読み取られる（Ｓ３０３）。請求書画像登録装置３００では、この読み取った文字又は文字列を請求番号とみなして処理を進める。
【0094】
次に、請求書画像登録装置３００は、ステップＳ３０１で取得した請求番号の一覧に、ステップＳ３０３で読み取った請求番号が含まれるか否かを判定する（Ｓ３０４）。具体的には、請求書画像登録装置３００は、ステップＳ３０３で読み取った請求番号に対して、レーベンシュタイン距離（編集距離）が所定値以内の請求番号が、ステップＳ３０１で取得した一覧に記載されているか否かを判定する。
【0095】
そして、請求書画像登録装置３００は、ステップＳ３０３で読み取った請求番号に対して、レーベンシュタイン距離（編集距離）が所定値以内の請求番号が上記一覧に記載されている場合、ステップＳ３０３で読み取った請求番号を、上記一覧に記載された請求番号のうち、レーベンシュタイン距離が最も近い請求番号に置換する（Ｓ３０４－Ｙｅｓ，Ｓ３０５）。ただし、請求番号が正確に読み取られた場合には、見た目上、請求番号の置換は生じない。
【0096】
続いて、請求書画像登録装置３００は、二頁目以降の画像を請求書画像とみなして抽出する（Ｓ３０６）。そして、請求書画像登録装置３００は、ステップＳ３０５で置換した請求番号に対応する請求情報２０と、ステップＳ３０５で抽出した請求書画像１０とを関連付けて帳票情報生成装置１１０の記憶部１１０に登録する（Ｓ３０７）。
【0097】
一方、請求書画像登録装置３００は、ステップ３０４で、ステップＳ３０３で読み取った請求番号に対して、レーベンシュタイン距離（編集距離）が所定値以内の請求番号が上記一覧に記載されていない場合、請求書番号の読取にエラーが生じているとして処理を終了する（ステップＳ３０４－Ｎｏ，Ｓ３０８）。なお、ステップＳ３０４において、レーベンシュタイン距離を用いた手法に代えて、文字列の類似度が算出できる任意の手法を用いてもよい。
【0098】
以上のようにして、請求書画像登録装置３００では、保管された請求書等の印刷物を画像化した画像データから、請求番号に基づいて、請求情報２０と請求書画像１０とを関連付けて記憶部１１０に登録する。このような請求書画像登録装置３００を用いることで、使用者は、過去の請求情報２０及び請求書画像１０を関連付けて帳票情報生成装置１００に初期登録する作業を軽減できる。
なお、上記説明では請求書画像登録装置３００を、帳票情報生成装置１００とは別の装置としたが、両者は一体化されていてもよいものである。
なお、上記説明では請求書画像登録装置３００を、帳票情報生成装置１００とは別の装置としたが、両者は一体化されていてもよいものである。
【0099】
また、請求書画像登録装置３００は、請求書画像１０から特徴量を抽出する特徴量抽出部を備え、請求書画像１０の特徴量と請求情報２０とを関連付ける機能を有していてもよい。
【0100】
なお、上述した画像データの二頁目以降には、請求書以外にも、稟議書、計算書、その他の文書を画像化したデータが含まれる場合もある。ステップＳ３０６では、これらの文書も請求書画像とみなされるが、請求書画像の特徴量の類似度の比較は画像データ５の頁毎に行われるので、新たな請求情報２２の生成に与える影響は実用上ないといえる。また、このような場合でも、帳票情報生成装置１００が、直近で生成された新たな請求情報１２に対応する、所定数（例えば１０枚）の請求書画像２２を、過去情報として記憶するものであれば、使用に応じて、請求書以外の文書のデータを消去していくことができる。これにより、請求書以外の文書が請求書画像とみなされることの影響は解消されることになる。
一方、上述した画像データの二頁目以降に、請求書以外の文書を画像化したデータが含まれる場合、請求書以外の文書の画像は除外して記憶しないようにしてもよい。この場合、上述した文字認識エンジンを用いて、画像から文字を抽出し、抽出した文字情報に基づいて請求書であるか否かを特定する。例えば、「請」「求」「書」の文字のうち、２文字以上が抽出された画像は請求書であると特定する。これにより請求書以外の画像を除外することができ、請求書画像の特徴量の類似度の比較に要する演算時間を短縮できる。
また、上述した画像データの二頁目以降に、一頁目の画像と同様の請求番号が記載された文書の画像が含まれる場合もある。ステップＳ３０６では、これらの文書の画像も請求書画像とみなされることになるが、請求書画像の特徴量の類似度の比較は画像データ５の頁毎に行われるので、新たな請求情報２２の生成に与える影響は実用上ないといえる。ただし、請求書画像の特徴量の類似度の比較に必要のない情報が含まれることになるので演算に要する時間が増加することになる。そこで、複数の画像データの一頁目の画像を複数収集し、これらの複数の請求書番号が記載された画像の特徴量を求め、上述した深層距離学習を用いた「分類器」を生成してもよい。このような分類器を使用することで、二頁目以降に含まれた請求番号が記載された画像を除外することができる。これにより、請求書画像の特徴量の類似度の比較に要する演算時間を短縮できる。
一方、上述した画像データの二頁目以降に、請求書以外の文書を画像化したデータが含まれる場合、請求書以外の文書の画像は除外して記憶しないようにしてもよい。この場合、上述した文字認識エンジンを用いて、画像から文字を抽出し、抽出した文字情報に基づいて請求書であるか否かを特定する。例えば、「請」「求」「書」の文字のうち、２文字以上が抽出された画像は請求書であると特定する。これにより請求書以外の画像を除外することができ、請求書画像の特徴量の類似度の比較に要する演算時間を短縮できる。
また、上述した画像データの二頁目以降に、一頁目の画像と同様の請求番号が記載された文書の画像が含まれる場合もある。ステップＳ３０６では、これらの文書の画像も請求書画像とみなされることになるが、請求書画像の特徴量の類似度の比較は画像データ５の頁毎に行われるので、新たな請求情報２２の生成に与える影響は実用上ないといえる。ただし、請求書画像の特徴量の類似度の比較に必要のない情報が含まれることになるので演算に要する時間が増加することになる。そこで、複数の画像データの一頁目の画像を複数収集し、これらの複数の請求書番号が記載された画像の特徴量を求め、上述した深層距離学習を用いた「分類器」を生成してもよい。このような分類器を使用することで、二頁目以降に含まれた請求番号が記載された画像を除外することができる。これにより、請求書画像の特徴量の類似度の比較に要する演算時間を短縮できる。
【0101】
本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
【0102】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0103】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
【0104】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0105】
図１６は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ１２１２によって実行されてよい。
【0106】
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、グラフィックコントローラ１２１６、およびディスプレイデバイス１２１８を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、ハードディスクドライブ１２２４、ＤＶＤ－ＲＯＭドライブ１２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータはまた、ＲＯＭ１２３０およびキーボード１２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ１２４０を介して入／出力コントローラ１２２０に接続されている。
【0107】
ＣＰＵ１２１２は、ＲＯＭ１２３０およびＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ１２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。
【0108】
通信インターフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ１２２６は、プログラムまたはデータをＤＶＤ‐ＲＯＭ１２０１から読み取り、ハードディスクドライブ１２２４にＲＡＭ１２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。
【0109】
ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、および／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。入／出力チップ１２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ１２２０に接続してよい。
【0110】
プログラムが、ＤＶＤ－ＲＯＭ１２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ１２２４、ＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報の操作または処理を実現することによって構成されてよい。
【0111】
例えば、通信がコンピュータ１２００および外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース１２２２に対し、通信処理を命令してよい。通信インターフェース１２２２は、ＣＰＵ１２１２の制御下、ＲＡＭ１２１４、ハードディスクドライブ１２２４、ＤＶＤ‐ＲＯＭ１２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【0112】
また、ＣＰＵ１２１２は、ハードディスクドライブ１２２４、ＤＶＤ‐ＲＯＭドライブ１２２６（ＤＶＤ‐ＲＯＭ１２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックする。
【0113】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【0114】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
【0115】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0116】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【0117】
（付記）
上述した内容は以下の技術的思想を含むものである。
（付記項１）
過去の帳票画像から抽出された過去特徴量と、前記過去の帳票画像に記載された文字の情報に基づいた過去の帳票情報とを関連付けて取得する取得部と、
対象とする帳票画像から対象特徴量を抽出する抽出部と、
前記対象特徴量と前記過去特徴量との類似度を算出する算出部と、
前記類似度に基づいて、前記過去の帳票情報を選択する選択部と、
前記対象とする帳票画像から予め定められた項目の文字の情報を読み取る読取部と、
前記選択部で選択された前記過去の帳票情報と、前記読取部で読み取られた前記文字の情報とから、前記対象とする帳票画像に関連付けられた新たな帳票情報を生成して表示する生成部と
を備える帳票情報生成装置。
（付記項２）
前記取得部は、
一頁目に過去の帳票番号が記載された画像を含み、二頁目以降に前記過去の帳票番号に対応する帳票を画像化した帳票画像を含む画像データから、前記帳票番号を読み取る読取部と、
前記過去の帳票番号に関連付けて、前記画像データから前記過去の帳票画像を抽出する帳票画像抽出部と、
前記帳票画像抽出部により抽出された過去の帳票画像から過去特徴量を抽出する過去特徴量抽出部と、
前記帳票番号に基づいて、前記過去特徴量と、前記過去の帳票情報とを関連付けて取得する過去情報取得部と、
を備える、
付記項１に記載の帳票情報生成装置。
（付記項３）
請求番号に関連付けて取引に関する請求情報を記憶する会計処理システムに、新たな請求書画像に記載された請求情報を生成して読み込ませるための請求情報生成装置であって、
前記請求情報は、取引毎に変化しないとみなせる未変化情報と、前記未変化情報以外の変化情報とを含むものであり、
前記請求情報に対応する請求書画像には、変化情報及び未変化情報が記載されており、
過去の請求情報と、過去の請求書画像とを関連付けて取得する取得部と、
前記取得部により取得された情報を参照することにより新たな請求書画像に類似する過去の請求書画像を選択し、当該選択した過去の請求書画像に関連する過去の請求情報から前記未変化情報を抽出する未変化情報抽出部と、
前記新たな請求書画像から前記変化情報を文字認識装置（ＯＣＲ）で読み取る変化情報読取部と、
前記未変化情報抽出部により抽出された未変化情報と、前記変化情報読取部により読み取られた変化情報とから、新たな請求情報を生成する生成部と、
を備える請求情報生成装置。
（付記項４）
前記未変化情報抽出部は、
前記新たな請求書画像から対象特徴量を抽出し、前記過去の請求書画像から抽出された過去特徴量と前記対象特徴量との類似度に基づいて、前記新たな請求書画像に類似する過去の請求書画像を選択する、
付記項３に記載の請求情報生成装置。
（付記項５）
前記取得部は、
一頁目に過去の請求番号が記載された画像を含み、二頁目以降に前記過去の請求番号に対応する請求書を画像化した請求書画像を含む画像データから、前記請求番号を読み取る読取部と、
前記過去の請求番号に関連付けて、前記画像データから前記過去の請求書画像を抽出する請求書画像抽出部と、
前記請求番号に基づいて、前記過去の請求情報と、前記過去の請求書画像とを関連付けて取得する過去情報取得部と、
を備える、
付記項３又は４に記載の請求情報生成装置。
（付記項６）
請求番号に関連付けた請求情報の一覧を記憶する記憶部に請求書画像を登録する請求書画像登録装置であって、
前記請求番号に関連付けて請求情報を取得する請求情報取得部と、
前記請求番号が記載された画像を一頁目に含み、二頁目以降に前記請求番号に対応する請求書を画像化した請求書画像を含む画像データから、前記請求番号を読み取る請求番号読取部と、
前記請求番号に関連付けて、前記画像データから前記請求書画像を抽出する請求書画像抽出部と、
前記請求番号に基づいて、前記請求情報と、前記請求書画像とを関連付けて前記記憶部に登録する請求書画像登録部と、
を備える、請求書画像登録装置。
（付記項７）
前記請求情報取得部は、請求番号に関連付けた請求情報の一覧を取得するものであり、
前記請求番号読取部は、読み取った請求番号を、編集距離に基づいて前記一覧に含まれる請求番号に置換するものである、
付記項６に記載の請求書画像登録装置。
（付記項８）
前記請求番号読取部は、画像内における一又は複数の文字の画像の位置の特定と当該文字の画像から文字の内容を認識する文字認識エンジンにより、前記一頁目の画像から前記請求番号の文字の画像の位置を特定し、特定された位置の文字の画像における文字の内容を認識して、前記請求番号を読み取る、
付記項６又は７に記載の請求書画像記憶装置。
（付記項９）
前記文字認識エンジンは、
画像内における文字の画像の位置を特定する第１ニューラルネットワークと、
文字の画像から文字の内容を認識する第２ニューラルネットワークと、
により構成される、
付記項８に記載の請求書画像記憶装置。
（付記項１０）
過去の帳票画像から抽出された過去特徴量と、前記過去の帳票画像に記載された文字の情報に基づいた過去の帳票情報とを関連付けて取得するステップと、
対象とする帳票画像から対象特徴量を抽出するステップと、
前記対象特徴量と前記過去特徴量との類似度を算出するステップと、
前記類似度に基づいて、前記過去の帳票情報を選択するステップと、
前記対象とする帳票画像から予め定められた項目の文字の情報を読み取るステップと、
前記選択のステップで選択された前記過去の帳票情報と、前記読み取りのステップで読み取られた前記文字の情報とから、前記対象とする帳票画像に関連付けられた新たな帳票情報を生成して表示するステップと
を備える方法。
（付記項１１）
請求番号に関連付けて取引に関する請求情報を記憶する会計処理システムに、新たな請求書画像に記載された請求情報を生成して読み込ませるための方法であって、
前記請求情報は、取引毎に変化しないとみなせる未変化情報と、前記未変化情報以外の変化情報とを含むものであり、
前記請求情報に対応する請求書画像には、未変化情報と変化情報とが記載されており、
過去の請求情報と、過去の請求書画像とを関連付けて取得するステップと、
取得した情報を参照することにより新たな請求書画像と類似する過去の請求書画像を選択し、当該選択した過去の請求書画像に関連する過去の請求情報から前記未変化情報を抽出するステップと、
前記新たな請求書画像から前記変化情報を文字認識装置（ＯＣＲ）で読み取るステップと、
前記未変化情報と、前記変化情報とから、新たな請求情報を生成するステップと、
を備える方法。
（付記項１２）
請求情報が請求番号に関連付けられており、
前記請求番号が記載された画像を一頁目に含み、二頁目以降に前記請求番号に対応する請求書を画像化した請求書画像を含む画像データから、請求番号を読み取るステップと、
前記請求番号に関連付けて、前記画像データから前記請求書画像を抽出するステップと、
前記請求番号に基づいて、前記請求情報と、前記請求書画像とを関連付けるステップと、
を備える方法。
（付記項１３）
付記項１０から１２のいずれか１項に記載の方法を、コンピュータに実現させるプログラム。
上述した内容は以下の技術的思想を含むものである。
（付記項１）
過去の帳票画像から抽出された過去特徴量と、前記過去の帳票画像に記載された文字の情報に基づいた過去の帳票情報とを関連付けて取得する取得部と、
対象とする帳票画像から対象特徴量を抽出する抽出部と、
前記対象特徴量と前記過去特徴量との類似度を算出する算出部と、
前記類似度に基づいて、前記過去の帳票情報を選択する選択部と、
前記対象とする帳票画像から予め定められた項目の文字の情報を読み取る読取部と、
前記選択部で選択された前記過去の帳票情報と、前記読取部で読み取られた前記文字の情報とから、前記対象とする帳票画像に関連付けられた新たな帳票情報を生成して表示する生成部と
を備える帳票情報生成装置。
（付記項２）
前記取得部は、
一頁目に過去の帳票番号が記載された画像を含み、二頁目以降に前記過去の帳票番号に対応する帳票を画像化した帳票画像を含む画像データから、前記帳票番号を読み取る読取部と、
前記過去の帳票番号に関連付けて、前記画像データから前記過去の帳票画像を抽出する帳票画像抽出部と、
前記帳票画像抽出部により抽出された過去の帳票画像から過去特徴量を抽出する過去特徴量抽出部と、
前記帳票番号に基づいて、前記過去特徴量と、前記過去の帳票情報とを関連付けて取得する過去情報取得部と、
を備える、
付記項１に記載の帳票情報生成装置。
（付記項３）
請求番号に関連付けて取引に関する請求情報を記憶する会計処理システムに、新たな請求書画像に記載された請求情報を生成して読み込ませるための請求情報生成装置であって、
前記請求情報は、取引毎に変化しないとみなせる未変化情報と、前記未変化情報以外の変化情報とを含むものであり、
前記請求情報に対応する請求書画像には、変化情報及び未変化情報が記載されており、
過去の請求情報と、過去の請求書画像とを関連付けて取得する取得部と、
前記取得部により取得された情報を参照することにより新たな請求書画像に類似する過去の請求書画像を選択し、当該選択した過去の請求書画像に関連する過去の請求情報から前記未変化情報を抽出する未変化情報抽出部と、
前記新たな請求書画像から前記変化情報を文字認識装置（ＯＣＲ）で読み取る変化情報読取部と、
前記未変化情報抽出部により抽出された未変化情報と、前記変化情報読取部により読み取られた変化情報とから、新たな請求情報を生成する生成部と、
を備える請求情報生成装置。
（付記項４）
前記未変化情報抽出部は、
前記新たな請求書画像から対象特徴量を抽出し、前記過去の請求書画像から抽出された過去特徴量と前記対象特徴量との類似度に基づいて、前記新たな請求書画像に類似する過去の請求書画像を選択する、
付記項３に記載の請求情報生成装置。
（付記項５）
前記取得部は、
一頁目に過去の請求番号が記載された画像を含み、二頁目以降に前記過去の請求番号に対応する請求書を画像化した請求書画像を含む画像データから、前記請求番号を読み取る読取部と、
前記過去の請求番号に関連付けて、前記画像データから前記過去の請求書画像を抽出する請求書画像抽出部と、
前記請求番号に基づいて、前記過去の請求情報と、前記過去の請求書画像とを関連付けて取得する過去情報取得部と、
を備える、
付記項３又は４に記載の請求情報生成装置。
（付記項６）
請求番号に関連付けた請求情報の一覧を記憶する記憶部に請求書画像を登録する請求書画像登録装置であって、
前記請求番号に関連付けて請求情報を取得する請求情報取得部と、
前記請求番号が記載された画像を一頁目に含み、二頁目以降に前記請求番号に対応する請求書を画像化した請求書画像を含む画像データから、前記請求番号を読み取る請求番号読取部と、
前記請求番号に関連付けて、前記画像データから前記請求書画像を抽出する請求書画像抽出部と、
前記請求番号に基づいて、前記請求情報と、前記請求書画像とを関連付けて前記記憶部に登録する請求書画像登録部と、
を備える、請求書画像登録装置。
（付記項７）
前記請求情報取得部は、請求番号に関連付けた請求情報の一覧を取得するものであり、
前記請求番号読取部は、読み取った請求番号を、編集距離に基づいて前記一覧に含まれる請求番号に置換するものである、
付記項６に記載の請求書画像登録装置。
（付記項８）
前記請求番号読取部は、画像内における一又は複数の文字の画像の位置の特定と当該文字の画像から文字の内容を認識する文字認識エンジンにより、前記一頁目の画像から前記請求番号の文字の画像の位置を特定し、特定された位置の文字の画像における文字の内容を認識して、前記請求番号を読み取る、
付記項６又は７に記載の請求書画像記憶装置。
（付記項９）
前記文字認識エンジンは、
画像内における文字の画像の位置を特定する第１ニューラルネットワークと、
文字の画像から文字の内容を認識する第２ニューラルネットワークと、
により構成される、
付記項８に記載の請求書画像記憶装置。
（付記項１０）
過去の帳票画像から抽出された過去特徴量と、前記過去の帳票画像に記載された文字の情報に基づいた過去の帳票情報とを関連付けて取得するステップと、
対象とする帳票画像から対象特徴量を抽出するステップと、
前記対象特徴量と前記過去特徴量との類似度を算出するステップと、
前記類似度に基づいて、前記過去の帳票情報を選択するステップと、
前記対象とする帳票画像から予め定められた項目の文字の情報を読み取るステップと、
前記選択のステップで選択された前記過去の帳票情報と、前記読み取りのステップで読み取られた前記文字の情報とから、前記対象とする帳票画像に関連付けられた新たな帳票情報を生成して表示するステップと
を備える方法。
（付記項１１）
請求番号に関連付けて取引に関する請求情報を記憶する会計処理システムに、新たな請求書画像に記載された請求情報を生成して読み込ませるための方法であって、
前記請求情報は、取引毎に変化しないとみなせる未変化情報と、前記未変化情報以外の変化情報とを含むものであり、
前記請求情報に対応する請求書画像には、未変化情報と変化情報とが記載されており、
過去の請求情報と、過去の請求書画像とを関連付けて取得するステップと、
取得した情報を参照することにより新たな請求書画像と類似する過去の請求書画像を選択し、当該選択した過去の請求書画像に関連する過去の請求情報から前記未変化情報を抽出するステップと、
前記新たな請求書画像から前記変化情報を文字認識装置（ＯＣＲ）で読み取るステップと、
前記未変化情報と、前記変化情報とから、新たな請求情報を生成するステップと、
を備える方法。
（付記項１２）
請求情報が請求番号に関連付けられており、
前記請求番号が記載された画像を一頁目に含み、二頁目以降に前記請求番号に対応する請求書を画像化した請求書画像を含む画像データから、請求番号を読み取るステップと、
前記請求番号に関連付けて、前記画像データから前記請求書画像を抽出するステップと、
前記請求番号に基づいて、前記請求情報と、前記請求書画像とを関連付けるステップと、
を備える方法。
（付記項１３）
付記項１０から１２のいずれか１項に記載の方法を、コンピュータに実現させるプログラム。
【符号の説明】
【0118】
１ 会計処理システム
５ 画像データ
１０ 請求書画像
１２ 請求書画像
２０ 請求情報
２２ 請求情報
３０ 特徴量
４０ ラベル
１００ 帳票情報生成装置（請求情報生成装置）
１１０ 記憶部
１１１ 学習済み抽出部
１１２ 選択用データ
１１３ 読取条件
１１４ 対応関係
１２０ 抽出部
１３０ 算出部
１４０ 選択部
１５０ 読取部
１６０ 生成部
２００ 学習装置
２１０ 記憶部
２１１ 学習用データ
２１２ 学習用パラメータ
２２０ 抽出部
２３０ 類似度算出部
２４０ 損失関数算出部
３００ 請求画像登録装置
３１０ 請求情報取得部
３２０ 請求番号読取部
３３０ 請求書画像抽出部
３４０ 請求書画像登録部
５ 画像データ
１０ 請求書画像
１２ 請求書画像
２０ 請求情報
２２ 請求情報
３０ 特徴量
４０ ラベル
１００ 帳票情報生成装置（請求情報生成装置）
１１０ 記憶部
１１１ 学習済み抽出部
１１２ 選択用データ
１１３ 読取条件
１１４ 対応関係
１２０ 抽出部
１３０ 算出部
１４０ 選択部
１５０ 読取部
１６０ 生成部
２００ 学習装置
２１０ 記憶部
２１１ 学習用データ
２１２ 学習用パラメータ
２２０ 抽出部
２３０ 類似度算出部
２４０ 損失関数算出部
３００ 請求画像登録装置
３１０ 請求情報取得部
３２０ 請求番号読取部
３３０ 請求書画像抽出部
３４０ 請求書画像登録部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】