▶ 辻・本郷税理士法人の特許一覧 ▶ 株式会社スキャるの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-09
(45)【発行日】2024-05-17
(54)【発明の名称】会計支援装置、会計支援プログラム及び会計支援方法
(51)【国際特許分類】
G06Q 40/12 20230101AFI20240510BHJP
G06V 30/142 20220101ALI20240510BHJP
G06V 30/14 20220101ALI20240510BHJP
【ＦＩ】
G06Q40/12 420
G06V30/142
G06V30/14 340K
【請求項の数】
24
(21)【出願番号】P 2019115191
(22)【出願日】2019-06-21
(65)【公開番号】P2021002183
(43)【公開日】2021-01-07
【審査請求日】2022-06-01
(73)【特許権者】
【識別番号】504283633
【氏名又は名称】辻・本郷税理士法人
(73)【特許権者】
【識別番号】514181185
【氏名又は名称】株式会社スキャる
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【復代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】上野 裕史
(72)【発明者】
【氏名】西垣 良宣
【審査官】松田 岳士
(56)【参考文献】
【文献】特開平１１－１８４９４９（ＪＰ，Ａ）
【文献】特開２００６－３０９６１１（ＪＰ，Ａ）
【文献】国際公開第２０１４／１０３０２４（ＷＯ，Ａ１）
【文献】特開２０１２－００３６７０（ＪＰ，Ａ）
【文献】特開２００９－００３４９６（ＪＰ，Ａ）
【文献】特開２０１５－１３５５７６（ＪＰ，Ａ）
【文献】特開２０１７－２２８０９２（ＪＰ，Ａ）
【文献】特開２０１６－１８９１７４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
Ｇ０６Ｆ ４０／００－４０／１９７
Ｇ０６Ｖ ３０／００－３０／４１６
Ｇ０６Ｖ ３０／４２－３０／４２４
Ｈ０４Ｎ １／００
(57)【特許請求の範囲】
【請求項1】
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段と、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成手段と、
を備えることを特徴とする会計支援装置。
【請求項2】
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信手段と、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信手段と、
を備えることを特徴とする会計支援装置。
【請求項3】
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段と、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段と、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備え、
前記データ抽出手段は、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする会計支援装置。
【請求項4】
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備え、
前記データ抽出手段は、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出手段によって抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする会計支援装置。
【請求項5】
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備えることを特徴とする会計支援装置。
【請求項6】
前記コマ識別手段は、前記証憑画像データから直線を検出の上、
当該直線によって囲まれた領域を前記コマとして識別することを特徴とする請求項１から５のいずれか一項に記載の会計支援装置。
【請求項7】
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段を備え、前記変換手段は、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得することを特徴とする請求項１から６のいずれか一項に記載の会計支援装置。
【請求項8】
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段を備えることを特徴とする請求項１から７のいずれか一項に記載の会計支援装置。
【請求項9】
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段を備えることを特徴とする請求項８に記載の会計支援装置。
【請求項10】
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段を備えることを特徴とする請求項１から９のいずれか一項に記載の会計支援装置。
【請求項11】
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段を備え、前記項目名コマ抽出手段は、
前記行毎コマ画像データが作成されたコマについては、前記行毎コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記行毎コマ画像データを、前記項目名コマ画像データとして抽出し、
前記行毎コマ画像データが作成されていないコマについては、前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データを、前記項目名コマ画像データとして抽出することを特徴とする請求項１に記載の会計支援装置。
【請求項12】
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段を備え、前記二コマ画像データ作成手段は、
前記行毎コマ画像データが前記項目名コマ画像データとして抽出された場合には、
当該行毎コマ画像データが含まれるコマと、これと隣接するコマとの行数が一致するかを判定の上、一致する場合に、当該行毎コマ画像データと、右に隣接するコマの同一行の行毎コマ画像データとを合成し、
前記コマ画像データが前記項目名コマ画像データとして抽出された場合には、
当該コマ画像データに係るコマと、下に隣接するコマとの左右方向の幅が一致するかを判定の上、これが一致する場合に、当該コマ画像データと、下に隣接するコマのコマ画像データとを合成することを特徴とする請求項１１に記載の会計支援装置。
【請求項13】
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段を備えることを特徴とする請求項１から１２のいずれか一項に記載の会計支援装置。
【請求項14】
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段を備え、前記データ抽出手段は、前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出することを特徴とする請求項３、９又は１２に記載の会計支援装置。
【請求項15】
コンピュータを、変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成手段、
として機能させる会計支援プログラム。
【請求項16】
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信手段、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信手段、
として機能させる会計支援プログラム。
【請求項17】
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させ、
前記データ抽出手段は、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする会計支援プログラム。
【請求項18】
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させ、
前記データ抽出手段は、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出手段によって抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする会計支援プログラム。
【請求項19】
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換手段、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させる会計支援プログラム。
【請求項20】
会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定ステップと、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成ステップと、
を含む会計支援方法。
【請求項21】
会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信ステップと、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信ステップと、
を含む会計支援方法。
【請求項22】
会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出ステップと、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成ステップと、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含み、
前記データ抽出ステップにおいては、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする会計支援方法。
【請求項23】
会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含み、
前記データ抽出ステップにおいては、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出ステップにおいて抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする会計支援方法。
【請求項24】
会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含む会計支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会計支援装置、会計支援プログラム及び会計支援方法に関する。
【背景技術】
【0002】
請求書、領収書等、ユーザの取引を示す紙媒体の証憑を種々の会計処理に用いるためには、その記載内容を文字コードに変換し、電子的な文字データにすることが望ましい。
そこで、従来、税理士、公認会計士等は、医療領収書の記載内容を逐一読み取った上で、手作業でコンピュータに入力していた。
そこで、従来、税理士、公認会計士等は、医療領収書の記載内容を逐一読み取った上で、手作業でコンピュータに入力していた。
【0003】
しかし、このような手作業による証憑の記載内容の入力は、非常に手間が掛かる上に、入力ミスが生じることが避け難く、精度の上でも十分なものとは言い難かった。
そこで、ＯＣＲ（光学文字認識、Optical Character Recognition/Reader）ソフトウェアを用いて、所定の証憑の記載内容を自動的に文字コードに変換することを可能としたシステムが知られている（例えば、特許文献１参照）。
そこで、ＯＣＲ（光学文字認識、Optical Character Recognition/Reader）ソフトウェアを用いて、所定の証憑の記載内容を自動的に文字コードに変換することを可能としたシステムが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第６４０４５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ＯＣＲソフトウェアを用いての証憑の記載内容の文字コードへの変換は、通常、証憑の左から右、上から下へと順次変換していくことから、文字が規則的に配置されている証憑であれば、変換の精度を高め易かった。
しかし、例えば、医療領収書、給与の明細、社会保険の納付書等の証憑については、罫線に囲まれた複数の記載欄（以下、「コマ」という。）が不規則に配置されている場合が多く、このような証憑については、正確な変換が困難であった。
しかし、例えば、医療領収書、給与の明細、社会保険の納付書等の証憑については、罫線に囲まれた複数の記載欄（以下、「コマ」という。）が不規則に配置されている場合が多く、このような証憑については、正確な変換が困難であった。
【0006】
本発明の課題は、複数の記載欄が不規則に配置された証憑について、ＯＣＲソフトウェアによる変換精度を高めることができる会計支援装置、会計支援プログラム及び会計支援方法を提供することである。
【課題を解決するための手段】
【0007】
上記課題を解決するために、請求項１に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段と、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成手段と、
を備えることを特徴とする。
請求項２に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信手段と、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信手段と、
を備えることを特徴とする。
請求項３に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段と、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段と、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備え、
前記データ抽出手段は、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする。
請求項４に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備え、
前記データ抽出手段は、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出手段によって抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする。
請求項５に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備えることを特徴とする。
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段と、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成手段と、
を備えることを特徴とする。
請求項２に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信手段と、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信手段と、
を備えることを特徴とする。
請求項３に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段と、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段と、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備え、
前記データ抽出手段は、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする。
請求項４に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備え、
前記データ抽出手段は、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出手段によって抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする。
請求項５に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段と、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備えることを特徴とする。
【0008】
請求項６に記載の発明は、請求項１から５のいずれか一項に記載の会計支援装置において
前記コマ識別手段は、
前記証憑画像データから直線を検出の上、
当該直線によって囲まれた領域を前記コマとして識別することを特徴とする。
前記コマ識別手段は、
前記証憑画像データから直線を検出の上、
当該直線によって囲まれた領域を前記コマとして識別することを特徴とする。
【0009】
請求項７に記載の発明は、請求項１から６のいずれか一項に記載の会計支援装置において、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段を備え、
前記変換手段は、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得することを特徴とする。
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段を備え、
前記変換手段は、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得することを特徴とする。
【0010】
請求項８に記載の発明は、請求項１から７のいずれか一項に記載の会計支援装置において、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段を備えることを特徴とする。
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段を備えることを特徴とする。
【0011】
請求項９に記載の発明は、請求項８に記載の会計支援装置において、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段を備えることを特徴とする。
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段を備えることを特徴とする。
【0012】
請求項１０に記載の発明は、請求項１から９のいずれか一項に記載の会計支援装置において、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段を備えることを特徴とする。
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段を備えることを特徴とする。
【0014】
請求項１１に記載の発明は、請求項１に記載の会計支援装置において、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段を備え、
前記項目名コマ抽出手段は、
前記行毎コマ画像データが作成されたコマについては、前記行毎コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記行毎コマ画像データを、前記項目名コマ画像データとして抽出し、
前記行毎コマ画像データが作成されていないコマについては、前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データを、前記項目名コマ画像データとして抽出することを特徴とする。
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段を備え、
前記項目名コマ抽出手段は、
前記行毎コマ画像データが作成されたコマについては、前記行毎コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記行毎コマ画像データを、前記項目名コマ画像データとして抽出し、
前記行毎コマ画像データが作成されていないコマについては、前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データを、前記項目名コマ画像データとして抽出することを特徴とする。
【0015】
請求項１２に記載の発明は、請求項１１に記載の会計支援装置において、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段を備え、
前記二コマ画像データ作成手段は、
前記行毎コマ画像データが前記項目名コマ画像データとして抽出された場合には、
当該行毎コマ画像データが含まれるコマと、これと隣接するコマとの行数が一致するかを判定の上、一致する場合に、当該行毎コマ画像データと、右に隣接するコマの同一行の行毎コマ画像データとを合成し、
前記コマ画像データが前記項目名コマ画像データとして抽出された場合には、
当該コマ画像データに係るコマと、下に隣接するコマとの左右方向の幅が一致するかを判定の上、これが一致する場合に、当該コマ画像データと、下に隣接するコマのコマ画像データとを合成することを特徴とする。
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段を備え、
前記二コマ画像データ作成手段は、
前記行毎コマ画像データが前記項目名コマ画像データとして抽出された場合には、
当該行毎コマ画像データが含まれるコマと、これと隣接するコマとの行数が一致するかを判定の上、一致する場合に、当該行毎コマ画像データと、右に隣接するコマの同一行の行毎コマ画像データとを合成し、
前記コマ画像データが前記項目名コマ画像データとして抽出された場合には、
当該コマ画像データに係るコマと、下に隣接するコマとの左右方向の幅が一致するかを判定の上、これが一致する場合に、当該コマ画像データと、下に隣接するコマのコマ画像データとを合成することを特徴とする。
【0017】
請求項１３に記載の発明は、請求項１から１２のいずれか一項に記載の会計支援装置において、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段を備えることを特徴とする。
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段を備えることを特徴とする。
【0018】
請求項１４に記載の発明は、請求項３、９又は１２に記載の会計支援装置において、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段を備え、
前記データ抽出手段は、前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出することを特徴とする。
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段を備え、
前記データ抽出手段は、前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出することを特徴とする。
【0022】
請求項１５に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成手段、
として機能させることを特徴とする。
請求項１６に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信手段、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信手段、
として機能させることを特徴とする。
請求項１７に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させ、
前記データ抽出手段は、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする。
請求項１８に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させ、
前記データ抽出手段は、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出手段によって抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする。
請求項１９に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換手段、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させることを特徴とする。
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成手段、
として機能させることを特徴とする。
請求項１６に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信手段、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信手段、
として機能させることを特徴とする。
請求項１７に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させ、
前記データ抽出手段は、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする。
請求項１８に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させ、
前記データ抽出手段は、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出手段によって抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする。
請求項１９に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換手段、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させることを特徴とする。
【0023】
請求項２０に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定ステップと、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成ステップと、
を含むことを特徴とする。
請求項２１に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信ステップと、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信ステップと、
を含むことを特徴とする。
請求項２２に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出ステップと、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成ステップと、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含み、
前記データ抽出ステップにおいては、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする。
請求項２３に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含み、
前記データ抽出ステップにおいては、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出ステップにおいて抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする。
請求項２４に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含むことを特徴とする。
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定ステップと、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成ステップと、
を含むことを特徴とする。
請求項２１に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信ステップと、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信ステップと、
を含むことを特徴とする。
請求項２２に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出ステップと、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成ステップと、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含み、
前記データ抽出ステップにおいては、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする。
請求項２３に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含み、
前記データ抽出ステップにおいては、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出ステップにおいて抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする。
請求項２４に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成ステップと、
ＯＣＲソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、ＯＣＲソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含むことを特徴とする。
【発明の効果】
【0024】
本発明によれば、複数の記載欄が不規則に配置された証憑について、ＯＣＲソフトウェアによる変換精度を高めることができる会計支援装置、会計支援プログラム及び会計支援方法を提供することができる。
【図面の簡単な説明】
【0025】
【図1】実施形態に係る会計支援システムの構成を示すブロック図である。
【図2】実施形態に係る会計支援システムにおける、データの流れを示すブロック図である。
【図3】実施形態に係る会計支援システムにおける、動作の流れの概略を示すフローチャートである。
【図4】実施形態に係る会計支援システムにおける、事前登録の流れを示すフローチャートである。
【図5】実施形態に係る会計支援システムにおける、医療領収書の変換の流れを示すフローチャートである。
【図6】実施形態に係る会計支援システムにおける、クラウドワーカによるチェックの流れを示すフローチャートである。
【図7】実施形態に係る会計支援システムにおける、医療費控除申請用データの抽出の流れを示すフローチャートである。
【図8】医療領収書画像データの一例を示す図である。
【図9】医療領収書画像データの一例を示す図である。
【図10】コマ画像データの一例を示す図である。
【図11】コマ画像データの一例を示す図である。
【図12】コマ画像データの一例を示す図である。
【図13】コマ画像データの一例を示す図である。
【図14】枠外画像データの一例を示す図である。
【図15】行毎コマ画像データの一例を示す図である。
【図16】行毎コマ画像データの一例を示す図である。
【図17】二コマ画像データの一例を示す図である。
【図18】二コマ画像データの一例を示す図である。
【発明を実施するための形態】
【0026】
以下、図１から図１８に基づいて、本発明の実施形態である会計支援システム１００について説明する。なお、以下においては、ＯＣＲソフトウェアによる変換対象とする証憑が医療領収書であり、変換結果から医療費控除申請に必要となる項目についてのデータを抽出する場合を例として説明するが、本発明の技術的範囲はこれに限定されるものではない。
【0027】
［第１ 構成の説明］
まず、会計支援システム１００の構成につき、図１に基いて説明する。
会計支援システム１００は、図１に示すように、医療領収書の画像データ（医療領収書画像データＤ２）の記載内容の文字コードへの変換等を行う会計支援装置１と、会計支援装置１による変換結果を確認する複数の作業者Ｗがそれぞれ使用する作業者端末２と、会計支援システム１００のユーザＵがそれぞれ使用するユーザ端末３と、を備え、会計支援装置１と各作業者端末２との間、及び会計支援装置１と各ユーザ端末３との間は、通信ネットワークＮを介して接続されている。
まず、会計支援システム１００の構成につき、図１に基いて説明する。
会計支援システム１００は、図１に示すように、医療領収書の画像データ（医療領収書画像データＤ２）の記載内容の文字コードへの変換等を行う会計支援装置１と、会計支援装置１による変換結果を確認する複数の作業者Ｗがそれぞれ使用する作業者端末２と、会計支援システム１００のユーザＵがそれぞれ使用するユーザ端末３と、を備え、会計支援装置１と各作業者端末２との間、及び会計支援装置１と各ユーザ端末３との間は、通信ネットワークＮを介して接続されている。
【0028】
［１ 会計支援装置］
会計支援装置１は、例えば、会計支援システム１００を運用する企業や税理士法人等に設置されたＰＣ（Personal Computer）、ＷＳ（Work Station）等の情報機器であり、図１に示すように、制御部１１と、記憶部１２と、通信部１３と、表示部１４と、操作部１５と、を備えて構成されている。
会計支援装置１は、例えば、会計支援システム１００を運用する企業や税理士法人等に設置されたＰＣ（Personal Computer）、ＷＳ（Work Station）等の情報機器であり、図１に示すように、制御部１１と、記憶部１２と、通信部１３と、表示部１４と、操作部１５と、を備えて構成されている。
【0029】
［（１）制御部］
制御部１１は、会計支援装置１の動作を制御する部分であり、具体的には、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えて構成され、ＲＡＭの作業領域に展開されたＲＯＭや記憶部１２に記憶されたプログラムとＣＰＵとの協働により、会計支援装置１の各部を統括制御する。
制御部１１は、会計支援装置１の動作を制御する部分であり、具体的には、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えて構成され、ＲＡＭの作業領域に展開されたＲＯＭや記憶部１２に記憶されたプログラムとＣＰＵとの協働により、会計支援装置１の各部を統括制御する。
【0030】
［（２）記憶部］
記憶部１２は、会計支援装置１の運用に必要となる各種情報が記憶される部分であり、例えば、ＨＤＤ（Hard Disk Drive）、半導体メモリ等により構成され、プログラムデータ、各種設定データ等のデータを、制御部１１から読み書き可能に記憶する。
記憶部１２は、会計支援装置１の運用に必要となる各種情報が記憶される部分であり、例えば、ＨＤＤ（Hard Disk Drive）、半導体メモリ等により構成され、プログラムデータ、各種設定データ等のデータを、制御部１１から読み書き可能に記憶する。
【0031】
記憶部１２には、ユーザデータ記憶部１２１と、変換対象データ記憶部１２２と、変換データ記憶部１２３と、医療費控除申請用抽出データ記憶部１２４と、抽出項目データ記憶部１２５と、抽出項目形式データ記憶部１２６と、医療領収書変換エンジン１２７と、医療費控除申請用データ抽出エンジン１２８と、ＯＣＲソフトウェア１２９と、が備えられている。
【0032】
なお、これらのデータベース、ソフトウェア等は、必ずしもそれ自体が記憶部１２内に備えられている必要はなく、会計支援装置１とは別個のサーバ等に備えられ、記憶部１２内には、これらにアクセスするためのＵＲＬ、パスワード等のみが記憶され、必要に応じて、会計支援装置１が通信ネットワークＮを介して情報を取得して用いるようにしてもよい。
【0033】
ユーザデータ記憶部１２１は、会計支援システム１００を利用するユーザＵについてのデータであるユーザデータＤ１を記憶するデータベースである。
ユーザデータＤ１は、例えば、ユーザＵの氏名、企業名等の種々の情報が、ユーザＵ毎に設定されたＩＤ及びログインパスワードに紐付けて記憶されたデータである。
ユーザデータＤ１は、例えば、ユーザＵの氏名、企業名等の種々の情報が、ユーザＵ毎に設定されたＩＤ及びログインパスワードに紐付けて記憶されたデータである。
【0034】
変換対象データ記憶部１２２は、会計支援装置１において文字コードに変換される対象である医療領収書画像データＤ２を、当該医療領収書画像データＤ２に係るユーザＵのユーザデータＤ１及び変換有無データＤ３と紐対応付けて記憶するデータベースである。
【0035】
医療領収書画像データＤ２は、例えば、図８及び図９に示すような、病院、薬局等が発行する医療領収書を画像データ化したデータであり、ＰＤＦ、ＪＰＥＧ等、一般的な所定のデジタル静止画像データに係るファイル形式の画像を用いることができる。医療領収書画像データＤ２は、例えば、紙媒体である医療費領収書を、一般的なイメージスキャナを用いてデジタル静止画像情報化することで得られる。
変換有無データＤ３は、医療領収書画像データＤ２が既に会計支援装置１における文字コードへの変換等の処理がなされたデータであるかを示すデータであり、後述のように変換等の処理が完了する前には未変換である旨が記憶されており、変換等の処理が完了すると、記憶内容が、既変換である旨の記憶に切り替わる。
変換有無データＤ３は、医療領収書画像データＤ２が既に会計支援装置１における文字コードへの変換等の処理がなされたデータであるかを示すデータであり、後述のように変換等の処理が完了する前には未変換である旨が記憶されており、変換等の処理が完了すると、記憶内容が、既変換である旨の記憶に切り替わる。
【0036】
変換データ記憶部１２３は、ＯＣＲソフトウェア１２９による変換後のデータが記憶されるデータベースであり、後述のように、コマ画像データＤ７、コマ位置情報データＤ８、枠外画像データＤ９、コマ画像変換結果データＤ１０、枠外画像変換結果データＤ１１、行毎コマ画像データＤ１２、行毎コマ画像変換結果データＤ１３、項目名コマ画像データＤ１４、項目名コマ画像変換結果データＤ１５及び二コマ画像データＤ１６が記憶される。
【0037】
医療費控除申請用抽出データ記憶部１２４は、後述のように、医療領収書画像データＤ２の変換結果から抽出された医療費控除申請に必要となる項目に係るデータである医療費控除申請用抽出データＤ２１を、当該データに係るユーザＵのユーザデータＤ１と紐付けて記憶するデータベースである。
医療費控除申請用抽出データＤ２１は、日付に係るデータである日付データＤ２１－１と、氏名に係るデータである氏名データＤ２１－２と、支払先に係るデータである支払先データＤ２１－３と、使用医薬品に係るデータである使用医薬品データＤ２１－４と、支払金額に係るデータである支払金額データＤ２１－５と、医療・治療の点数に係るデータである医療・治療点数データＤ２１－６と、医療品購入の点数に係るデータである医療品購入点数データＤ２１－７と、介護保険サービスの点数に係るデータである介護保険サービス点数データＤ２１－８と、を含む。
医療費控除申請用抽出データＤ２１は、日付に係るデータである日付データＤ２１－１と、氏名に係るデータである氏名データＤ２１－２と、支払先に係るデータである支払先データＤ２１－３と、使用医薬品に係るデータである使用医薬品データＤ２１－４と、支払金額に係るデータである支払金額データＤ２１－５と、医療・治療の点数に係るデータである医療・治療点数データＤ２１－６と、医療品購入の点数に係るデータである医療品購入点数データＤ２１－７と、介護保険サービスの点数に係るデータである介護保険サービス点数データＤ２１－８と、を含む。
【0038】
抽出項目データ記憶部１２５は、医療費控除申請に必要な抽出項目に係るデータである抽出項目データＤ４が予め記憶されているデータベースである。
抽出項目データＤ４は、日付項目データＤ４－１と、氏名項目データＤ４－２と、医療機関データＤ４－３と、医薬品項目データＤ４－４と、第一支払項目データＤ４－５と、第二支払項目データＤ４－６と、医療・治療項目データＤ４－７と、医療品購入項目データＤ４－８と、介護保険サービス項目データＤ４－９と、を含む。なお、抽出項目データＤ４の内容はこれらに限られず、医療費控除申請に必要なデータに増減が生じた場合等には、それに対応して、適宜追加又は省略することが可能である。
抽出項目データＤ４は、日付項目データＤ４－１と、氏名項目データＤ４－２と、医療機関データＤ４－３と、医薬品項目データＤ４－４と、第一支払項目データＤ４－５と、第二支払項目データＤ４－６と、医療・治療項目データＤ４－７と、医療品購入項目データＤ４－８と、介護保険サービス項目データＤ４－９と、を含む。なお、抽出項目データＤ４の内容はこれらに限られず、医療費控除申請に必要なデータに増減が生じた場合等には、それに対応して、適宜追加又は省略することが可能である。
【0039】
日付項目データＤ４－１は、医療領収書において、日付の記載に付される項目名のリストであり、例えば、「診療日」、「発行日」等の項目名が記憶されている。
氏名項目データＤ４－２は、医療領収書において、氏名の記載を抽出するための記載内容を記憶したデータであり、例えば、「様」という文字が記憶されている。
医療機関データＤ４－３は、病院、薬局等の医療機関名と、当該医療機関に係る電話番号とが紐づけて記憶されたデータである。
医薬品項目データＤ４－４は、医療領収書に登場する可能性のある所定の医薬品名が記憶されたデータである。
第一支払項目データＤ４－５は、医療領収書において、支払金額の記載に付される項目名のリストであり、例えば、「領収金額」、「請求金額」、「支払金額」等の項目名が記憶されている。後述のように、第一支払項目データＤ４－５は、第二支払項目データＤ４－６よりも優先的に使用されるデータである。
第二支払項目データＤ４－６は、医療領収書において、支払金額の記載を抽出するための記載内容を記憶したデータであり、例えば、「￥」、「円」、「計」等の文字が記憶されている。
医療・治療項目データＤ４－７は、医療領収書において、医療・治療の記載に付される項目名のリストであり、例えば、「診療」、「治療」、「針きゅう」、「検査費用」、「付添人料」等の項目名が記憶されている。
医療品購入項目データＤ４－８は、医療領収書において、医療品購入の記載に付される項目名のリストであり、例えば、「調剤技術」、「薬学管理」、「薬剤」、「特定保健医療材料」、「医療材料」等の項目名が記憶されている。
介護保険サービス項目データＤ４－９は、医療領収書において、介護保険サービスの記載に付される項目名のリストであり、例えば、「訪問介護」、「ホームヘルプサービス」、「訪問入浴介護」、「訪問リハビリテーション」、「デイサービス」等の項目名が記憶されている。
氏名項目データＤ４－２は、医療領収書において、氏名の記載を抽出するための記載内容を記憶したデータであり、例えば、「様」という文字が記憶されている。
医療機関データＤ４－３は、病院、薬局等の医療機関名と、当該医療機関に係る電話番号とが紐づけて記憶されたデータである。
医薬品項目データＤ４－４は、医療領収書に登場する可能性のある所定の医薬品名が記憶されたデータである。
第一支払項目データＤ４－５は、医療領収書において、支払金額の記載に付される項目名のリストであり、例えば、「領収金額」、「請求金額」、「支払金額」等の項目名が記憶されている。後述のように、第一支払項目データＤ４－５は、第二支払項目データＤ４－６よりも優先的に使用されるデータである。
第二支払項目データＤ４－６は、医療領収書において、支払金額の記載を抽出するための記載内容を記憶したデータであり、例えば、「￥」、「円」、「計」等の文字が記憶されている。
医療・治療項目データＤ４－７は、医療領収書において、医療・治療の記載に付される項目名のリストであり、例えば、「診療」、「治療」、「針きゅう」、「検査費用」、「付添人料」等の項目名が記憶されている。
医療品購入項目データＤ４－８は、医療領収書において、医療品購入の記載に付される項目名のリストであり、例えば、「調剤技術」、「薬学管理」、「薬剤」、「特定保健医療材料」、「医療材料」等の項目名が記憶されている。
介護保険サービス項目データＤ４－９は、医療領収書において、介護保険サービスの記載に付される項目名のリストであり、例えば、「訪問介護」、「ホームヘルプサービス」、「訪問入浴介護」、「訪問リハビリテーション」、「デイサービス」等の項目名が記憶されている。
【0040】
抽出項目形式データ記憶部１２６は、医療費控除申請に必要な項目ごとに、抽出すべきデータの記載形式を記憶したデータである抽出項目形式データＤ５が予め記憶されているデータベースである。
抽出項目形式データＤ５は、日付形式データＤ５－１と、氏名形式データＤ５－２と、電話番号形式データＤ５－３と、支払金額形式データＤ５－４と、医療・治療点数形式データＤ５－５と、医療品購入点数形式データＤ５－６と、介護保険サービス点数形式データＤ５－７と、を含む。なお、抽出項目形式データＤ５の内容はこれらに限られず、医療費控除申請に必要なデータに増減が生じた場合等には、それに対応して、適宜追加又は省略することが可能である。
抽出項目形式データＤ５は、日付形式データＤ５－１と、氏名形式データＤ５－２と、電話番号形式データＤ５－３と、支払金額形式データＤ５－４と、医療・治療点数形式データＤ５－５と、医療品購入点数形式データＤ５－６と、介護保険サービス点数形式データＤ５－７と、を含む。なお、抽出項目形式データＤ５の内容はこれらに限られず、医療費控除申請に必要なデータに増減が生じた場合等には、それに対応して、適宜追加又は省略することが可能である。
【0041】
日付形式データＤ５－１は、日付として抽出すべき記載の記載形式に係るデータであり、例えば、複数の数字が「／」で区切られた形式や、複数の数字が「年」、「月」及び／又は「日」で区切られた形式が記憶されている。
氏名形式データＤ５－２は、氏名として抽出すべき記載の記載形式に係るデータであり、例えば、算用数字や記号を含まない文字列の形式が記憶されている。
電話番号形式データＤ５－３は、電話番号として抽出すべき記載の記載形式に係るデータであり、例えば、複数の数字が「－」で区切られた形式や、複数の数字の間に「（）」で括られた数字が存在する形式や、複数の数字の間に「－」及び「（）」の両者が存在する形式が記憶されている。
支払金額形式データＤ５－４は、支払金額として抽出すべき記載の記載形式に係るデータであり、例えば、数字の間が「－」、「（）」又は「／」で区切られずに記載された形式が記憶されている。
医療・治療点数形式データＤ５－５は、医療・治療点数として抽出すべき記載の記載形式に係るデータであり、例えば、数字のみ又は数字の後に「点」が続く形式が記憶されている。
医療品購入点数形式データＤ５－６は、医療品購入点数として抽出すべき記載の記載形式に係るデータであり、例えば、数字のみ又は数字の後に「点」が続く形式が記憶されている。
介護保険サービス点数形式データＤ５－７は、介護保険サービス点数として抽出すべき記載の記載形式に係るデータであり、例えば、数字のみ又は数字の後に「点」が続く形式が記憶されている。
氏名形式データＤ５－２は、氏名として抽出すべき記載の記載形式に係るデータであり、例えば、算用数字や記号を含まない文字列の形式が記憶されている。
電話番号形式データＤ５－３は、電話番号として抽出すべき記載の記載形式に係るデータであり、例えば、複数の数字が「－」で区切られた形式や、複数の数字の間に「（）」で括られた数字が存在する形式や、複数の数字の間に「－」及び「（）」の両者が存在する形式が記憶されている。
支払金額形式データＤ５－４は、支払金額として抽出すべき記載の記載形式に係るデータであり、例えば、数字の間が「－」、「（）」又は「／」で区切られずに記載された形式が記憶されている。
医療・治療点数形式データＤ５－５は、医療・治療点数として抽出すべき記載の記載形式に係るデータであり、例えば、数字のみ又は数字の後に「点」が続く形式が記憶されている。
医療品購入点数形式データＤ５－６は、医療品購入点数として抽出すべき記載の記載形式に係るデータであり、例えば、数字のみ又は数字の後に「点」が続く形式が記憶されている。
介護保険サービス点数形式データＤ５－７は、介護保険サービス点数として抽出すべき記載の記載形式に係るデータであり、例えば、数字のみ又は数字の後に「点」が続く形式が記憶されている。
【0042】
医療領収書変換エンジン１２７は、後述の医療領収書画像データＤ２の変換等から作業者Ｗによる確認・修正までの所定のプロセスにおける会計支援装置１への指令内容が組み合わされたプログラムである。
【0043】
医療費控除申請用データ抽出エンジン１２８は、後述の医療費控除申請に必要となるデータの抽出に係る所定のプロセスにおける会計支援装置１への指令内容が組み合わされたプログラムである。
【0044】
ＯＣＲソフトウェア１２９は、一般的なＯＣＲ（光学文字認識、Optical Character Recognition/Reader）に係るソフトウェアであり、活自の文書の画像を文字コードの列に変換するソフトウェアである。
ただし、上記のように、ＯＣＲソフトウェア１２９そのものが記憶部１２内に記憶されていることは必須ではなく、例えばクラウド型のＯＣＲサービスを利用し、ＯＣＲソフトウェア１２９そのものは、所定のクラウドサーバ上に記憶され、記憶部１２内には、このようなＯＣＲソフトウェア１２９を呼び出すための、ＵＲＬ、パスワード等の情報のみ記憶されており、会計支援装置１が、通信ネットワークＮを介して、クラウドサーバ上のＯＣＲソフトウェア１２９にアクセスして、これを使用するようにしてもよい。
ただし、上記のように、ＯＣＲソフトウェア１２９そのものが記憶部１２内に記憶されていることは必須ではなく、例えばクラウド型のＯＣＲサービスを利用し、ＯＣＲソフトウェア１２９そのものは、所定のクラウドサーバ上に記憶され、記憶部１２内には、このようなＯＣＲソフトウェア１２９を呼び出すための、ＵＲＬ、パスワード等の情報のみ記憶されており、会計支援装置１が、通信ネットワークＮを介して、クラウドサーバ上のＯＣＲソフトウェア１２９にアクセスして、これを使用するようにしてもよい。
【0045】
［（３）通信部］
通信部１３は、会計支援装置１と作業者端末２との間の通信及び会計支援装置１とユーザ端末３との間の通信に用いられる部分であり、例えば、通信用ＩＣ（Integrated Circuit）及び通信コネクタなどを有する通信インターフェイスであり、制御部１１の制御の元、所定の通信プロトコルを用いて、通信ネットワークＮを介したデータ通信を行う。
通信部１３は、会計支援装置１と作業者端末２との間の通信及び会計支援装置１とユーザ端末３との間の通信に用いられる部分であり、例えば、通信用ＩＣ（Integrated Circuit）及び通信コネクタなどを有する通信インターフェイスであり、制御部１１の制御の元、所定の通信プロトコルを用いて、通信ネットワークＮを介したデータ通信を行う。
【0046】
［（４）表示部］
表示部１４は、例えば、ＬＣＤ（Liquid Crystal Display）等のディスプレイを備え、制御部１１から出力された表示制御信号に基づいた画像を表示画面に表示する。
表示部１４は、例えば、ＬＣＤ（Liquid Crystal Display）等のディスプレイを備え、制御部１１から出力された表示制御信号に基づいた画像を表示画面に表示する。
【0047】
［（５）操作部］
操作部１５は、例えば、文字入力キー、数字入力キー、その他各種機能に対応付けられたキーなどを有するキーボード、マウス等のポインティングデバイス等を備え、例えば、会計支援システム１００を運用する企業や税理士法人等の従業員からの操作入力を受け付けて、操作入力に応じた操作信号を制御部１１へと出力する。なお、操作部１５は、例えば、表示部１４と一体的に形成されたタッチパネル等であってもよい。
操作部１５は、例えば、文字入力キー、数字入力キー、その他各種機能に対応付けられたキーなどを有するキーボード、マウス等のポインティングデバイス等を備え、例えば、会計支援システム１００を運用する企業や税理士法人等の従業員からの操作入力を受け付けて、操作入力に応じた操作信号を制御部１１へと出力する。なお、操作部１５は、例えば、表示部１４と一体的に形成されたタッチパネル等であってもよい。
【0048】
［２ 作業者端末］
作業者端末２は、会計支援装置１による変換結果を確認する複数の作業者Ｗがそれぞれ使用するＰＣ、ＷＳ（Work Station）等の情報機器であり、例えば、図１に示すように、会計支援装置１と同様に、制御部２１と、記憶部２２と、通信部２３と、表示部２４と、操作部２５と、を備えて構成されている。
ただし、図１に示すように、記憶部２２には、会計支援装置１と異なり、後述のように、会計支援装置１から受信したデータをあてはめた上で、作業者Ｗに対して表示する画面のデータである表示画面データＤ６が記憶される表示画面データ記憶部２２１が備えられている。
なお、表示画面データ記憶部２２１は、会計支援装置１の記憶部１２に備えられ、会計支援装置１においてこれに所定のデータをあてはめて、作業者端末２に表示される画面を完成させた上で、作業者端末２へと送信するようにしてもよい。
作業者端末２は、会計支援装置１による変換結果を確認する複数の作業者Ｗがそれぞれ使用するＰＣ、ＷＳ（Work Station）等の情報機器であり、例えば、図１に示すように、会計支援装置１と同様に、制御部２１と、記憶部２２と、通信部２３と、表示部２４と、操作部２５と、を備えて構成されている。
ただし、図１に示すように、記憶部２２には、会計支援装置１と異なり、後述のように、会計支援装置１から受信したデータをあてはめた上で、作業者Ｗに対して表示する画面のデータである表示画面データＤ６が記憶される表示画面データ記憶部２２１が備えられている。
なお、表示画面データ記憶部２２１は、会計支援装置１の記憶部１２に備えられ、会計支援装置１においてこれに所定のデータをあてはめて、作業者端末２に表示される画面を完成させた上で、作業者端末２へと送信するようにしてもよい。
【0049】
［３ ユーザ端末］
ユーザ端末３は、会計支援システム１００の複数のユーザＵがそれぞれ使用するＰＣ、スマートフォン、タブレット端末等の情報機器であり、例えば、図１に示すように、会計支援装置１と同様に、制御部３１と、記憶部３２と、通信部３３と、表示部３４と、操作部３５と、を備えて構成されている。
ユーザ端末３は、会計支援システム１００の複数のユーザＵがそれぞれ使用するＰＣ、スマートフォン、タブレット端末等の情報機器であり、例えば、図１に示すように、会計支援装置１と同様に、制御部３１と、記憶部３２と、通信部３３と、表示部３４と、操作部３５と、を備えて構成されている。
【0050】
［４ 通信ネットワーク］
通信ネットワークＮは、例えば、インターネット、電話回線網、携帯電話通信網等であり、会計支援装置１と作業者端末２との間でのデータの送受信、及び会計支援装置１とユーザ端末３との間でのデータの送受信を行うことが可能なものであれば特に限定されない。
通信ネットワークＮは、例えば、インターネット、電話回線網、携帯電話通信網等であり、会計支援装置１と作業者端末２との間でのデータの送受信、及び会計支援装置１とユーザ端末３との間でのデータの送受信を行うことが可能なものであれば特に限定されない。
【0051】
［第２ 動作の説明］
以下、実施形態に係る会計支援システム１００の使用時の流れについて、図２から図１８に基づいて説明する。なお、以下においては、図８及び図９に示すように医療領収書の上下及び左右を定め、かつ、医療領収書の横（左右）方向をＸ軸方向、縦（上下）方向をＹ軸方向と定めて説明する。
以下、実施形態に係る会計支援システム１００の使用時の流れについて、図２から図１８に基づいて説明する。なお、以下においては、図８及び図９に示すように医療領収書の上下及び左右を定め、かつ、医療領収書の横（左右）方向をＸ軸方向、縦（上下）方向をＹ軸方向と定めて説明する。
【0052】
会計支援システム１００使用時の流れは、大別すると、図３に示すように、事前登録（ステップＳ１）、医療領収書の変換（ステップＳ２）、クラウドワーカによるチェック（ステップＳ３）、医療費控除申請用データの抽出（ステップＳ４）の４つの過程からなる。以下、それぞれの過程について詳細に説明する。
【0053】
［１ ステップＳ１：事前登録］
まず、会計支援システム１００を使用するユーザＵは、以下の事前登録を行う。事前登録の過程は、図４に示すように、ステップＳ１－１からＳ１－２の２つのステップからなる。
まず、会計支援システム１００を使用するユーザＵは、以下の事前登録を行う。事前登録の過程は、図４に示すように、ステップＳ１－１からＳ１－２の２つのステップからなる。
【0054】
［（１） ステップＳ１－１：ユーザデータの登録］
会計支援システム１００を使用するユーザＵは、システム使用開始前に、まずユーザデータＤ１の登録を行う。具体的には、ユーザＵは、ユーザ端末３の操作部３５を用いて、例えば、氏名、住所、連絡先、システム使用時のＩＤ、パスワード等を含む所定の情報からなるユーザデータＤ１を入力する。
これらのデータが入力されると、ユーザ端末３は、入力されたデータを、通信部３３から通信ネットワークＮを介して、図２に示すように会計支援装置１に送信し、通信部１３によってこれを受信した会計支援装置１においては、制御部１１が、受信したユーザデータＤ１を、記憶部１２のユーザデータ記憶部１２１に記憶する。
会計支援システム１００を使用するユーザＵは、システム使用開始前に、まずユーザデータＤ１の登録を行う。具体的には、ユーザＵは、ユーザ端末３の操作部３５を用いて、例えば、氏名、住所、連絡先、システム使用時のＩＤ、パスワード等を含む所定の情報からなるユーザデータＤ１を入力する。
これらのデータが入力されると、ユーザ端末３は、入力されたデータを、通信部３３から通信ネットワークＮを介して、図２に示すように会計支援装置１に送信し、通信部１３によってこれを受信した会計支援装置１においては、制御部１１が、受信したユーザデータＤ１を、記憶部１２のユーザデータ記憶部１２１に記憶する。
【0055】
［（２） ステップＳ１－２：医療領収書画像データの登録］
会計支援システム１００を使用するユーザＵは、続いて、医療領収書画像データＤ２の登録を行う。
具体的には、ユーザＵは、任意の方法でスキャンすることで医療領収書画像データＤ２を作成の上、ユーザ端末３に記憶された医療領収書画像データＤ２を、通信部３３から通信ネットワークＮを介して、図２に示すように会計支援装置１に送信する。
通信部１３によってこれを受信した会計支援装置１においては、制御部１１が、受信した医療領収書画像データＤ２を、当該ユーザに係るユーザデータＤ１及び変換有無データＤ３と紐付けて、記憶部１２の変換対象データ記憶部１２２に記憶する。なお、登録された段階では、変換有無データＤ３は、全て未変換である旨のデータとなる。
会計支援システム１００を使用するユーザＵは、続いて、医療領収書画像データＤ２の登録を行う。
具体的には、ユーザＵは、任意の方法でスキャンすることで医療領収書画像データＤ２を作成の上、ユーザ端末３に記憶された医療領収書画像データＤ２を、通信部３３から通信ネットワークＮを介して、図２に示すように会計支援装置１に送信する。
通信部１３によってこれを受信した会計支援装置１においては、制御部１１が、受信した医療領収書画像データＤ２を、当該ユーザに係るユーザデータＤ１及び変換有無データＤ３と紐付けて、記憶部１２の変換対象データ記憶部１２２に記憶する。なお、登録された段階では、変換有無データＤ３は、全て未変換である旨のデータとなる。
【0056】
なお、上記のような過程を経ることなく、例えば、会計支援システム１００を運用する企業や税理士法人等の従業員によって、会計支援装置１に直接接続されたスキャナ等を用いて、ユーザＵから預かった医療領収書の原本又はそのコピーをスキャンすることで、会計支援装置１が、直接医療領収書画像データＤ２を取得するようにしてもよい。
【0057】
［２ ステップＳ２：医療領収書の変換］
続いて、会計支援装置１において、医療領収書画像データＤ２に対するＯＣＲソフトウェア１２９による文字コードへの変換等の処理がなされる。医療領収書の変換の過程は、図５に示すように、ステップＳ２－１からＳ２－８の８つのステップからなる。
なお、これらの過程は、医療領収書変換エンジン１２７に従って、制御部１１によって自動的に行われる。
続いて、会計支援装置１において、医療領収書画像データＤ２に対するＯＣＲソフトウェア１２９による文字コードへの変換等の処理がなされる。医療領収書の変換の過程は、図５に示すように、ステップＳ２－１からＳ２－８の８つのステップからなる。
なお、これらの過程は、医療領収書変換エンジン１２７に従って、制御部１１によって自動的に行われる。
【0058】
［（１）ステップＳ２－１：変換対象データの抽出］
会計支援装置１は、まず、変換対象データ記憶部１２２から、変換対象となる、未変換の医療領収書画像データＤ２を抽出する。
具体的には、制御部１１が、記憶部１２の変換対象データ記憶部１２２から、変換有無データＤ３によって、医療領収書画像データＤ２のそれぞれにつき、既にＯＣＲソフトウェア１２９による変換等の後述の処理がなされたデータであるかを判別の上、未変換のデータを選択して抽出する。
会計支援装置１は、まず、変換対象データ記憶部１２２から、変換対象となる、未変換の医療領収書画像データＤ２を抽出する。
具体的には、制御部１１が、記憶部１２の変換対象データ記憶部１２２から、変換有無データＤ３によって、医療領収書画像データＤ２のそれぞれにつき、既にＯＣＲソフトウェア１２９による変換等の後述の処理がなされたデータであるかを判別の上、未変換のデータを選択して抽出する。
【0059】
［（２）ステップＳ２－２：コマ画像データの生成］
会計支援装置１において、変換の対象となる未変換の医療領収書画像データＤ２が抽出されると、制御部１１は、続いて、抽出された医療領収書画像データＤ２につき、コマＣ、すなわち罫線Ｌで囲まれた領域ごとに分割し、コマ画像データＤ７を生成する。具体的には、以下のとおりである。
会計支援装置１において、変換の対象となる未変換の医療領収書画像データＤ２が抽出されると、制御部１１は、続いて、抽出された医療領収書画像データＤ２につき、コマＣ、すなわち罫線Ｌで囲まれた領域ごとに分割し、コマ画像データＤ７を生成する。具体的には、以下のとおりである。
【0060】
［ステップＳ２－２－１：直線検出］
まず、制御部１１は、医療領収書画像データＤ２から、直線を検出する。直線の検出の手法は特に限定されないが、例えば、モノクロに変換した医療領収書画像データＤ２からエッジ（明るさの変化が大きい箇所）を抽出することで直線を検出すればよい。
まず、制御部１１は、医療領収書画像データＤ２から、直線を検出する。直線の検出の手法は特に限定されないが、例えば、モノクロに変換した医療領収書画像データＤ２からエッジ（明るさの変化が大きい箇所）を抽出することで直線を検出すればよい。
【0061】
［ステップＳ２－２－２：コマの識別］
続いて、制御部１１は、ステップＳ２－２－１において検出された直線に基づき、コマＣを識別する。具体的には、検出された直線の位置から、四方が直線で囲まれ、長方形が形成された領域を算出の上、当該領域を、罫線Ｌによって囲まれたコマＣと識別する。
なお、図９に示すように、罫線Ｌによって囲まれた領域には、長方形の一部の角部に曲線部分が存在する領域も存在するが、このような領域についても、例えば、四辺それぞれの少なくとも一部が直線である場合にはコマＣとして識別されるようにすることで、コマＣとして識別することができる。このような領域についても、上下左右の四辺それぞれの少なくとも一部が直線である限り、本発明においては、直線によって囲まれているものとする。
続いて、制御部１１は、ステップＳ２－２－１において検出された直線に基づき、コマＣを識別する。具体的には、検出された直線の位置から、四方が直線で囲まれ、長方形が形成された領域を算出の上、当該領域を、罫線Ｌによって囲まれたコマＣと識別する。
なお、図９に示すように、罫線Ｌによって囲まれた領域には、長方形の一部の角部に曲線部分が存在する領域も存在するが、このような領域についても、例えば、四辺それぞれの少なくとも一部が直線である場合にはコマＣとして識別されるようにすることで、コマＣとして識別することができる。このような領域についても、上下左右の四辺それぞれの少なくとも一部が直線である限り、本発明においては、直線によって囲まれているものとする。
【0062】
［ステップＳ２－２－３：コマ画像データの生成］
続いて、制御部１１は、ステップＳ２－２－２において識別されたコマＣごとに医療領収書画像データＤ２から切り出すようにして、図１０から図１３に示すような、コマ画像データＤ７を生成する。なお、図１０から図１３に示したコマ画像データＤ７は一例に過ぎず、これらの他にステップＳ２－２－２においてコマＣと識別された全ての部分につき、コマ画像データＤ７が作成される。
続いて、制御部１１は、ステップＳ２－２－２において識別されたコマＣごとに医療領収書画像データＤ２から切り出すようにして、図１０から図１３に示すような、コマ画像データＤ７を生成する。なお、図１０から図１３に示したコマ画像データＤ７は一例に過ぎず、これらの他にステップＳ２－２－２においてコマＣと識別された全ての部分につき、コマ画像データＤ７が作成される。
【0063】
コマ画像データＤ７の作成の際には、ステップＳ２－２－２において識別されたコマＣの周囲まで僅かに切り出すようにして、各コマＣよりも一回り大きい画像を生成することが好ましい。
医療領収書等の証憑においては、印字の位置が証憑内の表に対してずれた結果として、本来表の枠内に収まるべき印字が表から僅かにはみ出していることがあるが、コマ画像データＤ７を、各コマＣよりも大きく作成することで、印字が表からはみ出した医療領収書に係る医療領収書画像データＤ２にも対応し易くなる。
医療領収書等の証憑においては、印字の位置が証憑内の表に対してずれた結果として、本来表の枠内に収まるべき印字が表から僅かにはみ出していることがあるが、コマ画像データＤ７を、各コマＣよりも大きく作成することで、印字が表からはみ出した医療領収書に係る医療領収書画像データＤ２にも対応し易くなる。
【0064】
また、コマ画像データＤ７の生成の際には、同時に、各コマＣについて、例えばその４隅について医療領収書画像データＤ２に係る画像上におけるＸ軸方向及びＹ軸方向の座標を記録する等の方法により、各コマ画像データＤ７に係るコマＣにつき、医療領収書画像データＤ２上での位置を判別可能としたデータであるコマ位置情報データＤ８を作成する。
コマ画像データＤ７とコマ位置情報データＤ８とは、例えば、コマ画像データＤ７に係る各コマＣに番号を振ると共に、コマ画像データＤ７とこれに対応するコマ位置情報データＤ８の両者に当該番号を記憶する等の方法によって対応付けられる。
コマ画像データＤ７とコマ位置情報データＤ８とは、例えば、コマ画像データＤ７に係る各コマＣに番号を振ると共に、コマ画像データＤ７とこれに対応するコマ位置情報データＤ８の両者に当該番号を記憶する等の方法によって対応付けられる。
【0065】
［（３）ステップＳ２－３：枠外画像データの生成］
コマ画像データＤ７が生成されると、会計支援装置１の制御部１１は、続いて、ステップＳ２－２でコマ画像データＤ７が生成された医療領収書画像データＤ２につき、コマＣ、すなわちステップＳ２－２－２で直線によって囲まれた領域として識別された部分を除いた画像データである枠外画像データＤ９を生成する。
コマ画像データＤ７が生成されると、会計支援装置１の制御部１１は、続いて、ステップＳ２－２でコマ画像データＤ７が生成された医療領収書画像データＤ２につき、コマＣ、すなわちステップＳ２－２－２で直線によって囲まれた領域として識別された部分を除いた画像データである枠外画像データＤ９を生成する。
【0066】
具体的には、ステップＳ２－２－２において識別されたコマＣ部分の記載を全て消去し、例えば図１４に示すような、コマＣ以外の部分のみが記載された画像を生成する。当該画像のデータが、枠外画像データＤ９である。
【0067】
［（４）ステップＳ２－４：ＯＣＲ処理］
ステップＳ２－２においてコマ画像データＤ７が生成され、ステップＳ２－３において枠外画像データＤ９が生成されると、続いて、ＯＣＲ処理がなされる。
具体的には、会計支援装置１の制御部１１は、ＯＣＲソフトウェア１２９を用いて、コマ画像データＤ７のそれぞれ及び枠外画像データＤ９につき、個別に文字コードに変換し、コマ画像データＤ７のそれぞれに対応した、ＯＣＲソフトウェア１２９による変換結果のデータである複数のコマ画像変換結果データＤ１０と、枠外画像データＤ９に対応した、ＯＣＲソフトウェア１２９による変換結果のデータである枠外画像変換結果データＤ１１と、を作成する。すなわち、制御部１１が、コマ画像データＤ７及び枠外画像データＤ９の変換手段として機能することとなる。
ステップＳ２－２においてコマ画像データＤ７が生成され、ステップＳ２－３において枠外画像データＤ９が生成されると、続いて、ＯＣＲ処理がなされる。
具体的には、会計支援装置１の制御部１１は、ＯＣＲソフトウェア１２９を用いて、コマ画像データＤ７のそれぞれ及び枠外画像データＤ９につき、個別に文字コードに変換し、コマ画像データＤ７のそれぞれに対応した、ＯＣＲソフトウェア１２９による変換結果のデータである複数のコマ画像変換結果データＤ１０と、枠外画像データＤ９に対応した、ＯＣＲソフトウェア１２９による変換結果のデータである枠外画像変換結果データＤ１１と、を作成する。すなわち、制御部１１が、コマ画像データＤ７及び枠外画像データＤ９の変換手段として機能することとなる。
【0068】
なお、例えば、ＯＣＲソフトウェア１２９そのものは、会計支援装置１の記憶部１２に記憶されずに所定のクラウドサーバ上に記憶され、記憶部１２内には、このようなＯＣＲソフトウェア１２９を呼び出すためのＵＲＬ、パスワード等の情報のみ記憶されており、クラウドサーバ上のＯＣＲソフトウェア１２９を逐一呼び出して変換が行われる場合においても、このような呼び出しは制御部１１が行うことから、この場合も、制御部１１が、コマ画像データＤ７及び枠外画像データＤ９の変換手段として機能することとなる。
また、本発明におけるコマ画像変換結果データＤ１０及び枠外画像変換結果データＤ１１の取得には、ＯＣＲソフトウェア１２９を使用して、制御部１１自らがコマ画像データＤ７及び枠外画像データＤ９を変換する場合と、クラウドサーバ上のＯＣＲソフトウェア１２９によってコマ画像データＤ７及び枠外画像データＤ９が変換されたデータを、通信部１３を介して受信する場合の両者が含まれる。
また、本発明におけるコマ画像変換結果データＤ１０及び枠外画像変換結果データＤ１１の取得には、ＯＣＲソフトウェア１２９を使用して、制御部１１自らがコマ画像データＤ７及び枠外画像データＤ９を変換する場合と、クラウドサーバ上のＯＣＲソフトウェア１２９によってコマ画像データＤ７及び枠外画像データＤ９が変換されたデータを、通信部１３を介して受信する場合の両者が含まれる。
【0069】
なお、コマ画像データＤ７と、これを変換した結果であるコマ画像変換結果データＤ１０とは、例えば、コマ画像データＤ７に係る各コマＣに番号を振ると共に、コマ画像データＤ７とこれに対応するコマ画像変換結果データＤ１０の両者に当該番号を記憶する等の方法によって対応付けられる。
【0070】
［（５）ステップＳ２－５：コマ画像の分割］
ステップＳ２－４において、コマ画像変換結果データＤ１０と、枠外画像変換結果データＤ１１とが作成されると、続いて、制御部１１は、コマ画像データＤ７のうち、複数行の文字列が含まれるものにつき分割を行う。
具体的には、以下のステップＳ２－５－１からステップＳ２－５－４の４つの過程を経て、分割が行われる。
ステップＳ２－４において、コマ画像変換結果データＤ１０と、枠外画像変換結果データＤ１１とが作成されると、続いて、制御部１１は、コマ画像データＤ７のうち、複数行の文字列が含まれるものにつき分割を行う。
具体的には、以下のステップＳ２－５－１からステップＳ２－５－４の４つの過程を経て、分割が行われる。
【0071】
［ステップＳ２－５－１：文字列の存否の判定］
まず、制御部１１は、各コマ画像データＤ７につき、ステップＳ２－４において作成されたコマ画像変換結果データＤ１０に、ＯＣＲソフトウェア１２９によって生成された文字コードが含まれているか否かを判定する。
まず、制御部１１は、各コマ画像データＤ７につき、ステップＳ２－４において作成されたコマ画像変換結果データＤ１０に、ＯＣＲソフトウェア１２９によって生成された文字コードが含まれているか否かを判定する。
【0072】
ここで、コマ画像変換結果データＤ１０に、ＯＣＲソフトウェア１２９によって生成された文字コードが含まれていると判定されたコマ画像データＤ７は、文字列が存在しているコマＣに係るデータを意味しており、ステップＳ２－５－２に進む。
これに対し、ここで、コマ画像変換結果データＤ１０に、ＯＣＲソフトウェア１２９によって生成された文字コードが含まれていないと判定されたコマ画像データＤ７は、文字列が存在しない空欄となっているコマＣに係るデータを意味しており、ステップＳ２－５におけるこの後の処理から除外され、ステップＳ２－６に進む。
これに対し、ここで、コマ画像変換結果データＤ１０に、ＯＣＲソフトウェア１２９によって生成された文字コードが含まれていないと判定されたコマ画像データＤ７は、文字列が存在しない空欄となっているコマＣに係るデータを意味しており、ステップＳ２－５におけるこの後の処理から除外され、ステップＳ２－６に進む。
【0073】
［ステップＳ２－５－２：行数の判定］
続いて、制御部１１は、各コマ画像データＤ７と、これに対応したコマ画像変換結果データＤ１０とを用いて、各コマ画像データＤ７に複数行の文字列が含まれるか否かを判定する。
続いて、制御部１１は、各コマ画像データＤ７と、これに対応したコマ画像変換結果データＤ１０とを用いて、各コマ画像データＤ７に複数行の文字列が含まれるか否かを判定する。
【0074】
具体的には、ＯＣＲ処理によって取得された文字コードの列には１文字ごとに元画像（ここではコマ画像データＤ７）に対する位置情報が付与されていることから、この位置情報を基に、Ｘ軸方向（横方向）において近い位置にある文字列を行と推定し、このような行のＹ軸方向（縦方向）の数から、行数を判定する。
そして、このようにして行数が複数と判定されたコマ画像変換結果データＤ１０に対応するコマ画像データＤ７を、図１０及び図１１に示すような、複数行の文字列を含むコマ画像データＤ７であると判定し、行数が一行のみとされたコマ画像変換結果データＤ１０に対応するコマ画像データＤ７を、図１２及び図１３に示すような、複数行の文字列を含まないコマ画像データＤ７であると判定する。
ここで複数行の文字列を含まないと判定されたコマ画像データＤ７は、ステップＳ２－５におけるこの後の処理から除外され、ステップＳ２－６に進む。
そして、このようにして行数が複数と判定されたコマ画像変換結果データＤ１０に対応するコマ画像データＤ７を、図１０及び図１１に示すような、複数行の文字列を含むコマ画像データＤ７であると判定し、行数が一行のみとされたコマ画像変換結果データＤ１０に対応するコマ画像データＤ７を、図１２及び図１３に示すような、複数行の文字列を含まないコマ画像データＤ７であると判定する。
ここで複数行の文字列を含まないと判定されたコマ画像データＤ７は、ステップＳ２－５におけるこの後の処理から除外され、ステップＳ２－６に進む。
【0075】
［ステップＳ２－５－３：隣接コマとの行数の一致の判定］
続いて、制御部１１は、複数行の文字列が含まれると判定されたコマ画像データＤ７につき、当該コマ画像データＤ７に係るコマＣと、その右側に隣接するコマＣとの行数が一致するか否かを判定する。
続いて、制御部１１は、複数行の文字列が含まれると判定されたコマ画像データＤ７につき、当該コマ画像データＤ７に係るコマＣと、その右側に隣接するコマＣとの行数が一致するか否かを判定する。
【0076】
具体的には、コマ位置情報データＤ８に基づき、複数行の文字列が含まれると判定されたコマ画像データＤ７に係るコマＣの右に、これに隣接するコマＣ、すなわち、左に位置するコマＣの右の罫線と、右に位置するコマＣの左の罫線とが共通するコマＣが存在するかを判定の上、存在すると判定された場合に、さらにこのような２つのコマＣにつき、上端及び下端のＹ軸方向の位置が一致するかを判定する。
その上で、これが一致する場合に、さらに、これら２つのコマＣにつき、ステップＳ２－５－２において判定された行数を比較し、行数が一致するかを判定する。
その上で、これが一致する場合に、さらに、これら２つのコマＣにつき、ステップＳ２－５－２において判定された行数を比較し、行数が一致するかを判定する。
【0077】
［ステップＳ２－５－４：行分割画像の生成］
続いて、制御部１１は、ステップＳ２－５－２において複数行の文字列が含まれると判定されたコマ画像データＤ７について、これを行ごとに分割し、図１５及び図１６に示すような、行毎コマ画像データＤ１２を生成する。なお、図１５は図１０に係るコマ画像データＤ７の一行目を切り出したものであり、図１６は図１１に係るコマ画像データＤ７の一行目を切り出したものである。
また、行毎コマ画像データＤ１２が生成されたコマＣに係るコマ画像変換結果データＤ１０については、行毎コマ画像データＤ１２に合わせて分割され、行毎コマ画像変換結果データＤ１３が生成される。
続いて、制御部１１は、ステップＳ２－５－２において複数行の文字列が含まれると判定されたコマ画像データＤ７について、これを行ごとに分割し、図１５及び図１６に示すような、行毎コマ画像データＤ１２を生成する。なお、図１５は図１０に係るコマ画像データＤ７の一行目を切り出したものであり、図１６は図１１に係るコマ画像データＤ７の一行目を切り出したものである。
また、行毎コマ画像データＤ１２が生成されたコマＣに係るコマ画像変換結果データＤ１０については、行毎コマ画像データＤ１２に合わせて分割され、行毎コマ画像変換結果データＤ１３が生成される。
【0078】
なお、行毎コマ画像データＤ１２と、行毎コマ画像変換結果データＤ１３とは、例えば、上記のように、コマ画像データＤ７に係る各コマＣに番号を振ると共に、行毎コマ画像データＤ１２とこれに対応する行毎コマ画像変換結果データＤ１３に、当該番号に加え、当該コマＣ内で上から何行目の行のデータであるかを記憶する等の方法によって紐付けられる。
【0079】
［（６）ステップＳ２－６：項目名コマの判定］
続いて、制御部１１は、各コマ画像データＤ７又は行毎コマ画像データＤ１２が、所定の項目名を含むかを判定する。
続いて、制御部１１は、各コマ画像データＤ７又は行毎コマ画像データＤ１２が、所定の項目名を含むかを判定する。
【0080】
まず、制御部１１は、ステップＳ２－５－４において行毎コマ画像データＤ１２に分割されたコマＣについて、行毎コマ画像データＤ１２が、所定の項目名を含むかを判定する。
具体的には、項目名に該当する所定の文字列についてのデータを予め記憶部１２に記憶しておき、当該データに含まれる文字列と一致する文字列が行毎コマ画像変換結果データＤ１３に含まれるかを判定し、含まれる場合に、当該行毎コマ画像変換結果データＤ１３に対応する行毎コマ画像データＤ１２につき、所定の項目名を含むものと判定する。
具体的には、項目名に該当する所定の文字列についてのデータを予め記憶部１２に記憶しておき、当該データに含まれる文字列と一致する文字列が行毎コマ画像変換結果データＤ１３に含まれるかを判定し、含まれる場合に、当該行毎コマ画像変換結果データＤ１３に対応する行毎コマ画像データＤ１２につき、所定の項目名を含むものと判定する。
【0081】
続いて、制御部１１は、ステップＳ２－５－４において行毎コマ画像データＤ１２に分割されなかったコマＣについて、コマ画像データＤ７が、所定の項目名を含むかを判定する。
この場合も同様に、項目名に該当する所定の文字列についてのデータを記憶部１２に記憶しておき、当該データに含まれる文字列と一致する文字列がコマ画像変換結果データＤ１０に含まれるかを判定し、含まれる場合に、当該コマ画像変換結果データＤ１０に対応するコマ画像データＤ７につき、所定の項目名を含むものと判定する。
この場合も同様に、項目名に該当する所定の文字列についてのデータを記憶部１２に記憶しておき、当該データに含まれる文字列と一致する文字列がコマ画像変換結果データＤ１０に含まれるかを判定し、含まれる場合に、当該コマ画像変換結果データＤ１０に対応するコマ画像データＤ７につき、所定の項目名を含むものと判定する。
【0082】
本実施形態においては、抽出項目データＤ４のうち、日付項目データＤ４－１、第一支払項目データＤ４－５、医療・治療項目データＤ４－７、医療品購入項目データＤ４－８、介護保険サービス項目データＤ４－９が、項目名に該当する所定の文字列についてのデータに該当する。
なお、項目名を含むものと判定された行毎コマ画像データＤ１２及びコマ画像データＤ７を、まとめて項目名コマ画像データＤ１４という。また、項目名コマ画像データＤ１４に対応する行毎コマ画像変換結果データＤ１３及びコマ画像変換結果データＤ１０を、項目名コマ画像変換結果データＤ１５という。
なお、項目名を含むものと判定された行毎コマ画像データＤ１２及びコマ画像データＤ７を、まとめて項目名コマ画像データＤ１４という。また、項目名コマ画像データＤ１４に対応する行毎コマ画像変換結果データＤ１３及びコマ画像変換結果データＤ１０を、項目名コマ画像変換結果データＤ１５という。
【0083】
［（７）ステップＳ２－７：コマ画像の合成］
ステップＳ２－６において、項目名コマ画像データＤ１４が抽出されると、続いて、制御部１１は、コマ画像の合成を行う。
なお、合成された画像データを、コマ画像データＤ７同士が合成されたものか、行毎コマ画像データＤ１２同士が合成されたものかを問わず、二コマ画像データＤ１６という。
ステップＳ２－６において、項目名コマ画像データＤ１４が抽出されると、続いて、制御部１１は、コマ画像の合成を行う。
なお、合成された画像データを、コマ画像データＤ７同士が合成されたものか、行毎コマ画像データＤ１２同士が合成されたものかを問わず、二コマ画像データＤ１６という。
【0084】
［ステップＳ２－７－１：行毎コマ画像同士の合成］
まず、複数行の文字列を含み、かつ同一行数のコマＣが左右に隣接する場合、左右のコマＣの同一行目の行毎コマ画像データＤ１２同士が合成される。
具体的には、まず、ステップＳ２－５－２において複数行の文字列が含まれると判定され、ステップＳ２－５－３において隣接するコマＣと行数が一致するものと判定されたコマ画像データＤ７が、ステップＳ２－５－４において分割されて生成された行毎コマ画像データＤ１２を抽出の上、更にその中から、ステップＳ２－６において、項目名コマ画像データＤ１４に該当すると判定されたものを抽出する。
その上で、当該項目名コマ画像データＤ１４と、ステップＳ２－５－３において行数が一致する隣接するコマＣに係るものと判定されたコマ画像データＤ７が、ステップＳ２－５－４において分割されて生成された行毎コマ画像データＤ１２のうち、上から数えて同一行目の行毎コマ画像データＤ１２と、を合成する。
まず、複数行の文字列を含み、かつ同一行数のコマＣが左右に隣接する場合、左右のコマＣの同一行目の行毎コマ画像データＤ１２同士が合成される。
具体的には、まず、ステップＳ２－５－２において複数行の文字列が含まれると判定され、ステップＳ２－５－３において隣接するコマＣと行数が一致するものと判定されたコマ画像データＤ７が、ステップＳ２－５－４において分割されて生成された行毎コマ画像データＤ１２を抽出の上、更にその中から、ステップＳ２－６において、項目名コマ画像データＤ１４に該当すると判定されたものを抽出する。
その上で、当該項目名コマ画像データＤ１４と、ステップＳ２－５－３において行数が一致する隣接するコマＣに係るものと判定されたコマ画像データＤ７が、ステップＳ２－５－４において分割されて生成された行毎コマ画像データＤ１２のうち、上から数えて同一行目の行毎コマ画像データＤ１２と、を合成する。
【0085】
図１７においては、一例として、図１０に示すコマ画像データＤ７の上から数えて一行目に該当する行毎コマ画像データＤ１２が項目名コマ画像データＤ１４に該当すると判定され、その右に隣接する図１１に示すコマ画像データＤ７の上から数えて同一行目、すなわち一行目に該当する行毎コマ画像データＤ１２と合成された二コマ画像データＤ１６を図示している。
【0086】
［ステップＳ２－７－２：コマ画像同士の合成］
続いて、複数行の文字列を含まないコマＣが上下に隣接し、かつこれらのＸ軸方向の幅が等しい場合、上下に隣接するコマＣのコマ画像データＤ７同士が合成される。
具体的には、まず、ステップＳ２－５－２において複数行の文字列が含まれると判定されなかったコマ画像データＤ７を抽出の上、更にその中から、ステップＳ２－６において、項目名コマ画像データＤ１４に該当すると判定されたものを抽出する。
その上で、当該項目名コマ画像データＤ１４の下に、これと隣接するコマＣ、すなわち、上に位置するコマＣの下の罫線と、下に位置するコマＣの上の罫線とが共通するコマＣが存在するかを判定の上、存在した場合に、さらにＸ軸方向の幅並びに左端部及び右端部のＸ軸方向の位置が一致するかを判定し、これらが一致する場合に、項目名コマ画像データＤ１４に該当するコマ画像データＤ７と、その下に隣接するコマ画像データＤ７とを合成する。
続いて、複数行の文字列を含まないコマＣが上下に隣接し、かつこれらのＸ軸方向の幅が等しい場合、上下に隣接するコマＣのコマ画像データＤ７同士が合成される。
具体的には、まず、ステップＳ２－５－２において複数行の文字列が含まれると判定されなかったコマ画像データＤ７を抽出の上、更にその中から、ステップＳ２－６において、項目名コマ画像データＤ１４に該当すると判定されたものを抽出する。
その上で、当該項目名コマ画像データＤ１４の下に、これと隣接するコマＣ、すなわち、上に位置するコマＣの下の罫線と、下に位置するコマＣの上の罫線とが共通するコマＣが存在するかを判定の上、存在した場合に、さらにＸ軸方向の幅並びに左端部及び右端部のＸ軸方向の位置が一致するかを判定し、これらが一致する場合に、項目名コマ画像データＤ１４に該当するコマ画像データＤ７と、その下に隣接するコマ画像データＤ７とを合成する。
【0087】
図１８においては、一例として、図１２に示すコマ画像データＤ７が項目名コマ画像データＤ１４に該当すると判定され、かつ、その下に隣接する図１３に示すコマ画像データＤ７とＸ軸方向の幅並びに左端部及び右端部のＸ軸方向の位置が一致するものと判定され、これらが合成された二コマ画像データＤ１６を図示している。
【0088】
［（８）ステップＳ２－８：データの保存］
ステップＳ２－７まで完了すると、制御部１１は、生成されたデータの保存を行う。
ステップＳ２－７まで完了すると、制御部１１は、生成されたデータの保存を行う。
【0089】
具体的には、制御部１１は、ステップＳ２－５において分割されず、かつステップＳ２－７において合成もされていないコマＣについては、コマ画像データＤ７につき、これに対応するコマ画像変換結果データＤ１０と紐付けて、記憶部１２の変換データ記憶部１２３に記憶させる。
また、ステップＳ２－５において分割され、ステップＳ２－７において合成されていないコマＣについては、行毎コマ画像データＤ１２につき、これに対応する行毎コマ画像変換結果データＤ１３と紐付けて、記憶部１２の変換データ記憶部１２３に記憶させる。
また、ステップＳ２－５において分割され、ステップＳ２－７において合成されたコマＣについては、二コマ画像データＤ１６につき、これに対応する行毎コマ画像変換結果データＤ１３と紐付けて、記憶部１２の変換データ記憶部１２３に記憶させる。
また、ステップＳ２－５において分割されず、ステップＳ２－７において合成されたコマＣについては、二コマ画像データＤ１６につき、これに対応するコマ画像変換結果データＤ１０と紐付けて、記憶部１２の変換データ記憶部１２３に記憶させる。
なお、このようにして記憶された、コマ画像データＤ７、行毎コマ画像データＤ１２及び二コマ画像データＤ１６を、合わせて分割・合成後コマ画像データＤ１７といい、これらに対応付けて記憶されたコマ画像変換結果データＤ１０及び行毎コマ画像変換結果データＤ１３を、分割・合成後コマ画像変換結果データＤ１８という。
なお、分割・合成後コマ画像データＤ１７は、いずれも、医療領収書画像データＤ２上での位置を判別できるように、これ対応したコマ位置情報データＤ８と紐付けて記憶される。また、このうち、行毎コマ画像データＤ１２に該当するものついては、分割前のコマ画像データＤ７において上から何行目の行のデータであるかについてのデータも記憶される。
また、ステップＳ２－５において分割され、ステップＳ２－７において合成されていないコマＣについては、行毎コマ画像データＤ１２につき、これに対応する行毎コマ画像変換結果データＤ１３と紐付けて、記憶部１２の変換データ記憶部１２３に記憶させる。
また、ステップＳ２－５において分割され、ステップＳ２－７において合成されたコマＣについては、二コマ画像データＤ１６につき、これに対応する行毎コマ画像変換結果データＤ１３と紐付けて、記憶部１２の変換データ記憶部１２３に記憶させる。
また、ステップＳ２－５において分割されず、ステップＳ２－７において合成されたコマＣについては、二コマ画像データＤ１６につき、これに対応するコマ画像変換結果データＤ１０と紐付けて、記憶部１２の変換データ記憶部１２３に記憶させる。
なお、このようにして記憶された、コマ画像データＤ７、行毎コマ画像データＤ１２及び二コマ画像データＤ１６を、合わせて分割・合成後コマ画像データＤ１７といい、これらに対応付けて記憶されたコマ画像変換結果データＤ１０及び行毎コマ画像変換結果データＤ１３を、分割・合成後コマ画像変換結果データＤ１８という。
なお、分割・合成後コマ画像データＤ１７は、いずれも、医療領収書画像データＤ２上での位置を判別できるように、これ対応したコマ位置情報データＤ８と紐付けて記憶される。また、このうち、行毎コマ画像データＤ１２に該当するものついては、分割前のコマ画像データＤ７において上から何行目の行のデータであるかについてのデータも記憶される。
【0090】
また、制御部１１は、枠外画像データＤ９についても、これに対応する枠外画像変換結果データＤ１１と紐付けて、記憶部１２の変換データ記憶部１２３に記憶させる。
【0091】
［３ ステップＳ３：クラウドワーカによるチェック］
続いて、ステップＳ２における変換結果のクラウドワーカ（作業者Ｗ）によるチェックがなされる。クラウドワーカ（作業者Ｗ）によるチェックの過程は、図６に示すように、ステップＳ３－１からＳ３－５の５つのステップからなる。
なお、これらの過程も、会計支援装置１において行われるものは、制御部１１によって医療領収書変換エンジン１２７に従って、自動的に行われる。
続いて、ステップＳ２における変換結果のクラウドワーカ（作業者Ｗ）によるチェックがなされる。クラウドワーカ（作業者Ｗ）によるチェックの過程は、図６に示すように、ステップＳ３－１からＳ３－５の５つのステップからなる。
なお、これらの過程も、会計支援装置１において行われるものは、制御部１１によって医療領収書変換エンジン１２７に従って、自動的に行われる。
【0092】
［（１）ステップＳ３－１：作業者端末への送信］
まず、会計支援装置１の制御部１１は、チェック対象となるデータの作業者端末２への送信を行う。
まず、会計支援装置１の制御部１１は、チェック対象となるデータの作業者端末２への送信を行う。
【0093】
具体的には、制御部１１は、図２に示すように、ステップＳ２－８において記憶部１２の変換データ記憶部１２３に記憶された分割・合成後コマ画像データＤ１７につき、これに対応した分割・合成後コマ画像変換結果データＤ１８と共に、通信部１３から、通信ネットワークＮを介して、データ毎に別個の作業者端末２へと送信する。また、枠外画像データＤ９についても、枠外画像変換結果データＤ１１と共に、分割・合成後コマ画像データＤ１７が送信されたのとは別の作業者端末２へと送信する。
【0094】
［（２）ステップＳ３－２：作業者端末における表示］
会計支援装置１から送信された分割・合成後コマ画像データＤ１７及びこれに対応した分割・合成後コマ画像変換結果データＤ１８を、通信部２３によって受信した作業者端末２においては、制御部２１が、受信した分割・合成後コマ画像データＤ１７及びこれに対応した分割・合成後コマ画像変換結果データＤ１８を、記憶部２２の表示画面データ記憶部２２１に記憶された表示画面データＤ６にあてはめた上で、表示部２４に表示する。
具体的には、分割・合成後コマ画像データＤ１７と、これに対応した分割・合成後コマ画像変換結果データＤ１８とが、同一の画面上に並べて表示される。この際には、分割・合成後コマ画像変換結果データＤ１８については、作業者Ｗが、操作部２５を用いて修正可能に表示される。
なお二コマ画像データＤ１６については、２つのコマに係るコマ画像データＤ７又は行毎コマ画像データＤ１２と、これらに係る２つのコマ画像変換結果データＤ１０又は行毎コマ画像変換結果データＤ１３の計４つが同時に表示されることとなる。
会計支援装置１から送信された分割・合成後コマ画像データＤ１７及びこれに対応した分割・合成後コマ画像変換結果データＤ１８を、通信部２３によって受信した作業者端末２においては、制御部２１が、受信した分割・合成後コマ画像データＤ１７及びこれに対応した分割・合成後コマ画像変換結果データＤ１８を、記憶部２２の表示画面データ記憶部２２１に記憶された表示画面データＤ６にあてはめた上で、表示部２４に表示する。
具体的には、分割・合成後コマ画像データＤ１７と、これに対応した分割・合成後コマ画像変換結果データＤ１８とが、同一の画面上に並べて表示される。この際には、分割・合成後コマ画像変換結果データＤ１８については、作業者Ｗが、操作部２５を用いて修正可能に表示される。
なお二コマ画像データＤ１６については、２つのコマに係るコマ画像データＤ７又は行毎コマ画像データＤ１２と、これらに係る２つのコマ画像変換結果データＤ１０又は行毎コマ画像変換結果データＤ１３の計４つが同時に表示されることとなる。
【0095】
また枠外画像データＤ９及びこれに対応した枠外画像変換結果データＤ１１を、通信部２３によって受信した作業者端末２においては、制御部２１が、受信した枠外画像データＤ９及びこれに対応した枠外画像変換結果データＤ１１を、記憶部２２の表示画面データ記憶部２２１に記憶された表示画面データＤ６にあてはめた上で、表示部２４に表示する。
具体的には、枠外画像データＤ９と、これに対応した枠外画像変換結果データＤ１１とが、同一の画面上に並べて表示される。また、この際には、枠外画像変換結果データＤ１１については、作業者Ｗが、操作部２５を用いて修正可能に表示される。
具体的には、枠外画像データＤ９と、これに対応した枠外画像変換結果データＤ１１とが、同一の画面上に並べて表示される。また、この際には、枠外画像変換結果データＤ１１については、作業者Ｗが、操作部２５を用いて修正可能に表示される。
【0096】
なお、コマ画像、枠外画像のいずれについても、画像データと変換結果データの両者が同一の画面上に表示され、かつ変換結果データにつき作業者Ｗにより修正可能に表示されるものであれば、具体的な表示形式等は特に限定されない。
また、上記のように、表示画面データＤ６を会計支援装置１の記憶部１２に記憶し、これに各データをあてはめた画面のデータを会計支援装置１において生成の上、作業者端末２へと送信するようにしてもよい。
また、上記のように、表示画面データＤ６を会計支援装置１の記憶部１２に記憶し、これに各データをあてはめた画面のデータを会計支援装置１において生成の上、作業者端末２へと送信するようにしてもよい。
【0097】
［（３）ステップＳ３－３：作業者によるチェック］
続いて、ステップＳ３－２において分割・合成後コマ画像データＤ１７及びこれに対応した分割・合成後コマ画像変換結果データＤ１８が表示された各作業者端末２を使用する作業者Ｗは、分割・合成後コマ画像データＤ１７と、これに対応した分割・合成後コマ画像変換結果データＤ１８とを対比の上、変換内容に誤変換がある箇所の分割・合成後コマ画像変換結果データＤ１８について修正を行う。
続いて、ステップＳ３－２において分割・合成後コマ画像データＤ１７及びこれに対応した分割・合成後コマ画像変換結果データＤ１８が表示された各作業者端末２を使用する作業者Ｗは、分割・合成後コマ画像データＤ１７と、これに対応した分割・合成後コマ画像変換結果データＤ１８とを対比の上、変換内容に誤変換がある箇所の分割・合成後コマ画像変換結果データＤ１８について修正を行う。
【0098】
また、ステップＳ３－２において枠外画像データＤ９及びこれに対応した枠外画像変換結果データＤ１１が表示された作業者端末２を使用する作業者Ｗは、枠外画像データＤ９と、これに対応した枠外画像変換結果データＤ１１とを対比の上、変換内容に誤変換がある箇所の枠外画像変換結果データＤ１１について修正を行う。
【0099】
なお、分割・合成後コマ画像変換結果データＤ１８につき作業者Ｗによるチェック及び誤変換があった場合にその修正が行われたものを、チェック後コマ画像変換結果データＤ１９といい、枠外画像変換結果データＤ１１につき作業者Ｗによるチェック及び誤変換があった場合にその修正が行われたものを、チェック後枠外画像変換結果データＤ２０という。
【0100】
［（４）ステップＳ３－４：会計支援装置への送信］
ステップＳ３－３において作業者Ｗによるチェックが行われ、チェック後コマ画像変換結果データＤ１９又はチェック後枠外画像変換結果データＤ２０が生成されると、各作業者端末２の制御部２１は、図２に示すように、チェック後コマ画像変換結果データＤ１９又はチェック後枠外画像変換結果データＤ２０を、通信部２３から、通信ネットワークＮを介して、会計支援装置１へと送信する。
ステップＳ３－３において作業者Ｗによるチェックが行われ、チェック後コマ画像変換結果データＤ１９又はチェック後枠外画像変換結果データＤ２０が生成されると、各作業者端末２の制御部２１は、図２に示すように、チェック後コマ画像変換結果データＤ１９又はチェック後枠外画像変換結果データＤ２０を、通信部２３から、通信ネットワークＮを介して、会計支援装置１へと送信する。
【0101】
［（５）ステップＳ３－５：変換データ記憶部の更新］
会計支援装置１は、通信部１３によってチェック後コマ画像変換結果データＤ１９を受信すると、制御部１１が、記憶部１２の変換データ記憶部１２３に記憶された分割・合成後コマ画像変換結果データＤ１８を、チェック後コマ画像変換結果データＤ１９に更新する。
また、会計支援装置１は、通信部１３によってチェック後枠外画像変換結果データＤ２０を受信すると、制御部１１が、記憶部１２の変換データ記憶部１２３に記憶された枠外画像変換結果データＤ１１を、チェック後枠外画像変換結果データＤ２０に更新する。
会計支援装置１は、通信部１３によってチェック後コマ画像変換結果データＤ１９を受信すると、制御部１１が、記憶部１２の変換データ記憶部１２３に記憶された分割・合成後コマ画像変換結果データＤ１８を、チェック後コマ画像変換結果データＤ１９に更新する。
また、会計支援装置１は、通信部１３によってチェック後枠外画像変換結果データＤ２０を受信すると、制御部１１が、記憶部１２の変換データ記憶部１２３に記憶された枠外画像変換結果データＤ１１を、チェック後枠外画像変換結果データＤ２０に更新する。
【0102】
［４ ステップＳ４：医療費控除申請用データの抽出］
続いて、会計支援装置１において、変換結果からの医療費控除申請に必要なデータの抽出がなされる。医療費控除申請用データの抽出過程は、図７に示すように、ステップＳ４－１からＳ４－１０の１０のステップからなり、これらのステップを経て、医療費控除申請用のデータが抽出される。
なお、これらの過程は、医療費控除申請用データ抽出エンジン１２８に従って、制御部１１によって自動的に行われる。
続いて、会計支援装置１において、変換結果からの医療費控除申請に必要なデータの抽出がなされる。医療費控除申請用データの抽出過程は、図７に示すように、ステップＳ４－１からＳ４－１０の１０のステップからなり、これらのステップを経て、医療費控除申請用のデータが抽出される。
なお、これらの過程は、医療費控除申請用データ抽出エンジン１２８に従って、制御部１１によって自動的に行われる。
【0103】
［（１）ステップＳ４－１：日付の抽出］
制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０から、医療費控除申請に必要となる日付に係るデータを抽出する。具体的には以下の通りである。
制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０から、医療費控除申請に必要となる日付に係るデータを抽出する。具体的には以下の通りである。
【0104】
まず、制御部１１は、チェック後コマ画像変換結果データＤ１９のうち、二コマ画像データＤ１６に対応するデータを抽出する。
続いて、制御部１１は、抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる日付項目データＤ４－１に一致するデータ、すなわち、「診療日」又は「発行日」の文字列がある場合に、二コマ画像データＤ１６において、当該項目名コマ画像変換結果データＤ１５に対応する項目名コマ画像データＤ１４に係るコマＣと合成されているコマＣに係るチェック後コマ画像変換結果データＤ１９を抽出する。
続いて、制御部１１は、抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる日付項目データＤ４－１に一致するデータ、すなわち、「診療日」又は「発行日」の文字列がある場合に、二コマ画像データＤ１６において、当該項目名コマ画像変換結果データＤ１５に対応する項目名コマ画像データＤ１４に係るコマＣと合成されているコマＣに係るチェック後コマ画像変換結果データＤ１９を抽出する。
【0105】
さらに、抽出されたチェック後コマ画像変換結果データＤ１９を、抽出項目形式データ記憶部１２６に記憶された抽出項目形式データＤ５のうち日付形式データＤ５－１と対照の上、形式が一致する場合に、当該チェック後コマ画像変換結果データＤ１９を、日付データＤ２１－１として抽出する。
【0106】
この場合、例えば、「診療日」又は「発行日」と記載されたコマＣと合成されたコマＣの記載内容が、例えば、複数の数字が「／」で区切られた形式や、複数の数字が「年」、「月」及び／又は「日」で区切られた形式である場合に、当該記載が抽出されることとなる。
図９及び図１８の例であれば、は「発行日」と記載されたコマＣの下のコマＣの記載内容が、複数の数字が「年」、「月」及び「日」で区切られた形式であることから、当該コマＣの記載内容である「平成３０年８月２４日」が抽出される。
図９及び図１８の例であれば、は「発行日」と記載されたコマＣの下のコマＣの記載内容が、複数の数字が「年」、「月」及び「日」で区切られた形式であることから、当該コマＣの記載内容である「平成３０年８月２４日」が抽出される。
【0107】
抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索しても、日付項目データＤ４－１に一致するデータが発見されなかった場合、制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０の全てから、日付形式データＤ５－１と形式が一致する記載を検索し、発見された場合に、当該記載を、日付データＤ２１－１として抽出する。この場合、まずチェック後コマ画像変換結果データＤ１９から、日付形式データＤ５－１と形式が一致する記載を検索し、発見されなかった場合に、チェック後枠外画像変換結果データＤ２０から日付形式データＤ５－１と形式が一致する記載を検索することが好ましい。
図８の例であれば、チェック後枠外画像変換結果データＤ２０に、複数の数字が「年」、「月」及び「日」で区切られた形式の記載が存在することから、当該記載の内容である「平成３０年０１月１７日」が抽出される。
図８の例であれば、チェック後枠外画像変換結果データＤ２０に、複数の数字が「年」、「月」及び「日」で区切られた形式の記載が存在することから、当該記載の内容である「平成３０年０１月１７日」が抽出される。
【0108】
［（２）ステップＳ４－２：氏名の抽出］
制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０から、医療費控除申請に必要となる氏名に係るデータを抽出する。具体的には以下の通りである。
制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０から、医療費控除申請に必要となる氏名に係るデータを抽出する。具体的には以下の通りである。
【0109】
まず、制御部１１は、全てのチェック後コマ画像変換結果データＤ１９を検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる氏名項目データＤ４－２に一致するデータ、すなわち、末尾に「様」という文字を含む文字列がある場合に、当該文字列の「様」の前の部分のデータを抽出する。
【0110】
さらに、抽出されたデータを、抽出項目形式データ記憶部１２６に記憶された抽出項目形式データＤ５のうち氏名形式データＤ５－２と対照の上、形式が一致する場合に、当該データを、氏名データＤ２１－２として抽出する。
【0111】
この場合、例えば、末尾に「様」という文字を含む記載内容が、算用数字や記号を含まない文字列の形式である場合に、当該記載が抽出されることとなる。
図８の例であれば、「様」という文字を含むコマＣにおいて、「様」の前に記載されている記載内容が、算用数字や記号を含まない文字列の形式であることから、当該コマＣの「様」の前の記載内容である「Ａ山Ａ一」が抽出される。
また、図９の例であれば、「様」という文字を含むコマＣにおいて、「様」の前に記載されている記載内容が、算用数字や記号でない文字列の形式であることから、当該コマＣの「様」の前の記載内容である「Ｂ村Ｂ子」が抽出される。
なお、例えば、氏名形式データＤ５－２をアルファベットも除外するように設定してもよいが、ここではアルファベットは除外されないものとして説明する。
図８の例であれば、「様」という文字を含むコマＣにおいて、「様」の前に記載されている記載内容が、算用数字や記号を含まない文字列の形式であることから、当該コマＣの「様」の前の記載内容である「Ａ山Ａ一」が抽出される。
また、図９の例であれば、「様」という文字を含むコマＣにおいて、「様」の前に記載されている記載内容が、算用数字や記号でない文字列の形式であることから、当該コマＣの「様」の前の記載内容である「Ｂ村Ｂ子」が抽出される。
なお、例えば、氏名形式データＤ５－２をアルファベットも除外するように設定してもよいが、ここではアルファベットは除外されないものとして説明する。
【0112】
チェック後コマ画像変換結果データＤ１９を検索しても、末尾に「様」という文字を含み、かつ氏名形式データＤ５－２と形式が一致する文字列の形式のデータが発見されなかった場合、制御部１１は、チェック後枠外画像変換結果データＤ２０から、末尾に「様」という文字を含む文字列の形式のデータを検索し、発見された場合に、さらに氏名形式データＤ５－２と対照の上、形式が一致する場合に、当該記載の「様」の前の部分のデータを、氏名データＤ２１－２として抽出する。
［（３）ステップＳ４－３：支払先の抽出］
制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０から、医療費控除申請に必要となる支払先に係るデータを抽出する。具体的には以下の通りである。
［（３）ステップＳ４－３：支払先の抽出］
制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０から、医療費控除申請に必要となる支払先に係るデータを抽出する。具体的には以下の通りである。
【0113】
まず、制御部１１は、全てのチェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０を検索し、その中に、電話番号形式データＤ５－３に形式が一致する記載がある場合に当該記載を電話番号の記載として抽出する。
例えば、複数の数字が「－」で区切られた形式、複数の数字の間に「（）」で括られた数字が存在する形式、又は複数の数字の間に「－」及び「（）」の両者が存在する形式である場合に、当該記載が抽出されることとなる。
例えば、複数の数字が「－」で区切られた形式、複数の数字の間に「（）」で括られた数字が存在する形式、又は複数の数字の間に「－」及び「（）」の両者が存在する形式である場合に、当該記載が抽出されることとなる。
【0114】
さらに、制御部１１は、抽出された電話番号の記載を用いて、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる医療機関データＤ４－３を検索の上、抽出された電話番号の記載と一致する電話番号が発見された場合に、当該電話番号と紐付けて記憶された医療機関名を、支払先データＤ２１－３として抽出する。
【0115】
図８の例であれば、「（０１）２３４５－６７８９」という記載が電話番号の記載として抽出された上で、医療機関データＤ４－３に、当該電話番号と、「Ａ病院」という医療機関名が紐付けて記憶されていた場合に、「Ａ病院」が抽出される。
図９の例であれば、「９８７－６５４－３２１０」という記載が電話番号の記載として抽出された上で、医療機関データＤ４－３に、当該電話番号と、「Ｂ眼科」という医療機関名が紐付けて記憶されていた場合に、「Ｂ眼科」が抽出される。
図９の例であれば、「９８７－６５４－３２１０」という記載が電話番号の記載として抽出された上で、医療機関データＤ４－３に、当該電話番号と、「Ｂ眼科」という医療機関名が紐付けて記憶されていた場合に、「Ｂ眼科」が抽出される。
【0116】
［（４）ステップＳ４－４：医薬品の名称の抽出］
制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０から、医療費控除申請に必要となる医薬品名に係るデータを抽出する。具体的には以下の通りである。
制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０から、医療費控除申請に必要となる医薬品名に係るデータを抽出する。具体的には以下の通りである。
【0117】
まず、制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０を検索し、その中から、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる医薬品項目データＤ４－４に含まれる医薬品名と一致する記載を検索の上、これが発見された場合に、使用医薬品データＤ２１－４として抽出する。
【0118】
［（５）ステップＳ４－５：支払金額の抽出］
制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０から、医療費控除申請に必要となる支払金額に係るデータを抽出する。具体的には以下の通りである。
制御部１１は、チェック後コマ画像変換結果データＤ１９及びチェック後枠外画像変換結果データＤ２０から、医療費控除申請に必要となる支払金額に係るデータを抽出する。具体的には以下の通りである。
【0119】
［ステップＳ４－５－１：第一支払項目データとの対照］
まず、制御部１１は、チェック後コマ画像変換結果データＤ１９のうち、二コマ画像データＤ１６に対応するデータを抽出する。
続いて、制御部１１は、抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる第一支払項目データＤ４－５に一致するデータ、すなわち、「領収金額」、「請求金額」又は「支払金額」の文字がある場合に、二コマ画像データＤ１６において、当該項目名コマ画像変換結果データＤ１５に対応する項目名コマ画像データＤ１４に係るコマＣと合成されているコマＣに係るチェック後コマ画像変換結果データＤ１９を抽出する。
まず、制御部１１は、チェック後コマ画像変換結果データＤ１９のうち、二コマ画像データＤ１６に対応するデータを抽出する。
続いて、制御部１１は、抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる第一支払項目データＤ４－５に一致するデータ、すなわち、「領収金額」、「請求金額」又は「支払金額」の文字がある場合に、二コマ画像データＤ１６において、当該項目名コマ画像変換結果データＤ１５に対応する項目名コマ画像データＤ１４に係るコマＣと合成されているコマＣに係るチェック後コマ画像変換結果データＤ１９を抽出する。
【0120】
さらに、抽出されたチェック後コマ画像変換結果データＤ１９を、抽出項目形式データ記憶部１２６に記憶された抽出項目形式データＤ５のうち支払金額形式データＤ５－４と対照の上、形式が一致する場合に、当該チェック後コマ画像変換結果データＤ１９の数字部分を、支払金額データＤ２１－５として抽出する。
【0121】
この場合、例えば、「領収金額」、「請求金額」又は「支払金額」と記載されたコマＣと合成されたコマＣの記載内容が、例えば、複数桁の数字を含み、かつ、数字の間が「－」、「（）」又は「／」で区切られずに記載された形式である場合に、当該数字の記載が抽出されることとなる。
図９の例であれば、「領収金額」と記載されたコマＣの下のコマＣの記載内容及び「請求金額」と記載されたコマＣの下のコマＣの記載内容が、複数桁の数字が「－」、「（）」又は「／」で区切られずに記載された形式の記載を含むことから、当該コマＣの記載の数字部分である「２００」が抽出される。
図９の例であれば、「領収金額」と記載されたコマＣの下のコマＣの記載内容及び「請求金額」と記載されたコマＣの下のコマＣの記載内容が、複数桁の数字が「－」、「（）」又は「／」で区切られずに記載された形式の記載を含むことから、当該コマＣの記載の数字部分である「２００」が抽出される。
【0122】
［ステップＳ４－５－２：第二支払項目データとの対照］
ステップＳ４－５－１において支払金額データＤ２１－５が抽出されなかった場合、続いて、制御部１１は、全てのチェック後コマ画像変換結果データＤ１９を検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる第二支払項目データＤ４－６に一致するデータ、すなわち、冒頭に「￥」という文字を含む記載、末尾に「円」という文字を含む記載、又は冒頭に「計」という文字を含む記載がある場合に、当該記載の「￥」、「円」又は「計」以外の部分のデータを抽出する。なお、「￥」、「円」、「計」のうち複数を含む記載についても同様に「￥」、「円」又は「計」以外の部分を抽出する。
全てのチェック後コマ画像変換結果データＤ１９から、第二支払項目データＤ４－６に一致するデータが抽出されなかった場合には、続いて、チェック後枠外画像変換結果データＤ２０から、第二支払項目データＤ４－６に一致するデータを抽出する。
ステップＳ４－５－１において支払金額データＤ２１－５が抽出されなかった場合、続いて、制御部１１は、全てのチェック後コマ画像変換結果データＤ１９を検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる第二支払項目データＤ４－６に一致するデータ、すなわち、冒頭に「￥」という文字を含む記載、末尾に「円」という文字を含む記載、又は冒頭に「計」という文字を含む記載がある場合に、当該記載の「￥」、「円」又は「計」以外の部分のデータを抽出する。なお、「￥」、「円」、「計」のうち複数を含む記載についても同様に「￥」、「円」又は「計」以外の部分を抽出する。
全てのチェック後コマ画像変換結果データＤ１９から、第二支払項目データＤ４－６に一致するデータが抽出されなかった場合には、続いて、チェック後枠外画像変換結果データＤ２０から、第二支払項目データＤ４－６に一致するデータを抽出する。
【0123】
さらに、抽出されたデータを、抽出項目形式データ記憶部１２６に記憶された抽出項目形式データＤ５のうち支払金額形式データＤ５－４と対照の上、形式が一致する場合に、当該データを、支払金額データＤ２１－５として抽出する。
【0124】
この場合、例えば、冒頭に「￥」という文字を含む記載、末尾に「円」という文字を含む記載、又は冒頭に「計」という文字を含む記載の「￥」、「円」又は「計」以外の部分の記載内容が、例えば、複数桁の数字を含み、かつ、数字の間が「－」、「（）」又は「／」で区切られずに記載された形式である場合に、当該数字の記載が抽出されることとなる。
【0125】
なお、冒頭に「￥」という文字を含む記載、末尾に「円」という文字を含む記載、又は冒頭に「計」という文字を含む記載であっても、必ずしも支払金額を表すとは限らず、抽出の精度は第一支払項目データＤ４－５との対照を行うステップＳ４－５－１と比較して劣ることとなる。
そこで、本実施形態においては、上記のように、抽出精度の高い第一支払項目データＤ４－５との対照を行うステップと、抽出精度は劣るものの、何らかの記載を抽出できる可能性の高い第二支払項目データＤ４－６との対照を行うステップとの２段階を設けることで、抽出精度と、データが抽出されない可能性の低減の両立を図っている。
そこで、本実施形態においては、上記のように、抽出精度の高い第一支払項目データＤ４－５との対照を行うステップと、抽出精度は劣るものの、何らかの記載を抽出できる可能性の高い第二支払項目データＤ４－６との対照を行うステップとの２段階を設けることで、抽出精度と、データが抽出されない可能性の低減の両立を図っている。
【0126】
［（６）ステップＳ４－６：医療・治療点数の抽出］
制御部１１は、チェック後コマ画像変換結果データＤ１９から、医療費控除申請に必要となる医療・治療の点数に係るデータを抽出する。具体的には以下の通りである。
制御部１１は、チェック後コマ画像変換結果データＤ１９から、医療費控除申請に必要となる医療・治療の点数に係るデータを抽出する。具体的には以下の通りである。
【0127】
まず、制御部１１は、チェック後コマ画像変換結果データＤ１９のうち、二コマ画像データＤ１６に対応するデータを抽出する。
続いて、制御部１１は、抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる医療・治療項目データＤ４－７に一致するデータ、すなわち、「診療」、「治療」、「針きゅう」、「検査費用」又は「付添人料」の文字がある場合に、二コマ画像データＤ１６において、当該項目名コマ画像変換結果データＤ１５に対応する項目名コマ画像データＤ１４に係るコマＣと合成されているコマＣに係るチェック後コマ画像変換結果データＤ１９を抽出する。
続いて、制御部１１は、抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる医療・治療項目データＤ４－７に一致するデータ、すなわち、「診療」、「治療」、「針きゅう」、「検査費用」又は「付添人料」の文字がある場合に、二コマ画像データＤ１６において、当該項目名コマ画像変換結果データＤ１５に対応する項目名コマ画像データＤ１４に係るコマＣと合成されているコマＣに係るチェック後コマ画像変換結果データＤ１９を抽出する。
【0128】
さらに、抽出されたチェック後コマ画像変換結果データＤ１９を、抽出項目形式データ記憶部１２６に記憶された抽出項目形式データＤ５のうち医療・治療点数形式データＤ５－５と対照の上、形式が一致する場合に、当該チェック後コマ画像変換結果データＤ１９の数字部分を、医療・治療点数データＤ２１－６として抽出する。
【0129】
この場合、例えば、「診療」、「治療」、「針きゅう」、「検査費用」又は「付添人料」と記載されたコマＣと合成されたコマＣの記載内容が、例えば、数字のみ又は数字の後に「点」が続く形式である場合に、当該数字の記載が抽出されることとなる。
図８及び図１７の例であれば、は「放射線治療」と記載された行毎コマ画像データＤ１２の右に位置する行毎コマ画像データＤ１２の記載内容が、数字の後に「点」が続く形式であることから、当該コマＣの記載内容の数字部分である「０」が抽出される。
また、図９の例であれば、「放射線治療」と記載されたコマ画像データＤ７の下に位置するコマ画像データＤ７の記載内容が、数字の後に「点」が続く形式であることから、当該コマＣの記載内容の数字部分である「０」が抽出される。
図８及び図１７の例であれば、は「放射線治療」と記載された行毎コマ画像データＤ１２の右に位置する行毎コマ画像データＤ１２の記載内容が、数字の後に「点」が続く形式であることから、当該コマＣの記載内容の数字部分である「０」が抽出される。
また、図９の例であれば、「放射線治療」と記載されたコマ画像データＤ７の下に位置するコマ画像データＤ７の記載内容が、数字の後に「点」が続く形式であることから、当該コマＣの記載内容の数字部分である「０」が抽出される。
【0130】
［（７）ステップＳ４－７：医療品購入点数の抽出］
制御部１１は、チェック後コマ画像変換結果データＤ１９から、医療費控除申請に必要となる医療品購入の点数に係るデータを抽出する。具体的には以下の通りである。
制御部１１は、チェック後コマ画像変換結果データＤ１９から、医療費控除申請に必要となる医療品購入の点数に係るデータを抽出する。具体的には以下の通りである。
【0131】
まず、制御部１１は、チェック後コマ画像変換結果データＤ１９のうち、二コマ画像データＤ１６に対応するデータを抽出する。
続いて、制御部１１は、抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる医療品購入項目データＤ４－８に一致するデータ、すなわち、「調剤技術」、「薬学管理」、「薬剤」、「特定保健医療材料」又は「医療材料」の文字がある場合に、二コマ画像データＤ１６において、当該項目名コマ画像変換結果データＤ１５に対応する項目名コマ画像データＤ１４に係るコマＣと合成されているコマＣに係るチェック後コマ画像変換結果データＤ１９を抽出する。
続いて、制御部１１は、抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる医療品購入項目データＤ４－８に一致するデータ、すなわち、「調剤技術」、「薬学管理」、「薬剤」、「特定保健医療材料」又は「医療材料」の文字がある場合に、二コマ画像データＤ１６において、当該項目名コマ画像変換結果データＤ１５に対応する項目名コマ画像データＤ１４に係るコマＣと合成されているコマＣに係るチェック後コマ画像変換結果データＤ１９を抽出する。
【0132】
さらに、抽出されたチェック後コマ画像変換結果データＤ１９を、抽出項目形式データ記憶部１２６に記憶された抽出項目形式データＤ５のうち医療品購入点数形式データＤ５－６と対照の上、形式が一致する場合に、当該チェック後コマ画像変換結果データＤ１９の数字部分を、医療品購入点数データＤ２１－７として抽出する。
【0133】
この場合、例えば、「調剤技術」、「薬学管理」、「薬剤」、「特定保健医療材料」又は「医療材料」と記載されたコマＣと合成されたコマＣの記載内容が、例えば、数字のみ又は数字の後に「点」が続く形式である場合に、当該数字の記載が抽出されることとなる。
【0134】
［（８）ステップＳ４－８：介護保険サービス点数の抽出］
制御部１１は、チェック後コマ画像変換結果データＤ１９から、医療費控除申請に必要となる介護保険サービスの点数に係るデータを抽出する。具体的には以下の通りである。
制御部１１は、チェック後コマ画像変換結果データＤ１９から、医療費控除申請に必要となる介護保険サービスの点数に係るデータを抽出する。具体的には以下の通りである。
【0135】
まず、制御部１１は、チェック後コマ画像変換結果データＤ１９のうち、二コマ画像データＤ１６に対応するデータを抽出する。
続いて、制御部１１は、抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる介護保険サービス項目データＤ４－９に一致するデータ、すなわち、「訪問介護」、「ホームヘルプサービス」、「訪問入浴介護」、「訪問リハビリテーション」又は「デイサービス」の文字がある場合に、二コマ画像データＤ１６において、当該項目名コマ画像変換結果データＤ１５に対応する項目名コマ画像データＤ１４に係るコマＣと合成されているコマＣに係るチェック後コマ画像変換結果データＤ１９を抽出する。
続いて、制御部１１は、抽出された二コマ画像データＤ１６に対応するチェック後コマ画像変換結果データＤ１９のうち、項目名コマ画像変換結果データＤ１５に該当するデータを検索し、その中に、記憶部１２の抽出項目データ記憶部１２５に記憶された抽出項目データＤ４に含まれる介護保険サービス項目データＤ４－９に一致するデータ、すなわち、「訪問介護」、「ホームヘルプサービス」、「訪問入浴介護」、「訪問リハビリテーション」又は「デイサービス」の文字がある場合に、二コマ画像データＤ１６において、当該項目名コマ画像変換結果データＤ１５に対応する項目名コマ画像データＤ１４に係るコマＣと合成されているコマＣに係るチェック後コマ画像変換結果データＤ１９を抽出する。
【0136】
さらに、抽出されたチェック後コマ画像変換結果データＤ１９を、抽出項目形式データ記憶部１２６に記憶された抽出項目形式データＤ５のうち介護保険サービス点数形式データＤ５－７と対照の上、形式が一致する場合に、当該チェック後コマ画像変換結果データＤ１９の数字部分を、介護保険サービス点数データＤ２１－８として抽出する。
【0137】
この場合、例えば、「訪問介護」、「ホームヘルプサービス」、「訪問入浴介護」、「訪問リハビリテーション」又は「デイサービス」と記載されたコマＣと合成されたコマＣの記載内容が、例えば、数字のみ又は数字の後に「点」が続く形式である場合に、当該数字の記載が抽出されることとなる。
【0138】
［（９）ステップＳ４－９：抽出データの記憶］
日付データＤ２１－１、氏名データＤ２１－２、支払先データＤ２１－３、使用医薬品データＤ２１－４、支払金額データＤ２１－５、医療・治療点数データＤ２１－６、医療品購入点数データＤ２１－７、介護保険サービス点数データＤ２１－８からなる医療費控除申請用抽出データＤ２１が抽出されると、制御部１１は、これを、記憶部１２の医療費控除申請用抽出データ記憶部１２４に、当該データに係るユーザＵのユーザデータＤ１と紐付けて記憶する。
日付データＤ２１－１、氏名データＤ２１－２、支払先データＤ２１－３、使用医薬品データＤ２１－４、支払金額データＤ２１－５、医療・治療点数データＤ２１－６、医療品購入点数データＤ２１－７、介護保険サービス点数データＤ２１－８からなる医療費控除申請用抽出データＤ２１が抽出されると、制御部１１は、これを、記憶部１２の医療費控除申請用抽出データ記憶部１２４に、当該データに係るユーザＵのユーザデータＤ１と紐付けて記憶する。
【0139】
なお、抽出する医療費控除申請用抽出データＤ２１の内容は、上記のものに限られず、医療費控除申請の制度上、申請に必要となるデータに増減が生じた場合等には、それに対応して、適宜追加又は省略することが可能である。
この際には、抽出項目データＤ４及び抽出項目形式データＤ５についても、抽出される医療費控除申請用抽出データＤ２１に合わせて、新たな項目についてのデータの追加又は不要な項目についてのデータの削除を行うこととなる。
この際には、抽出項目データＤ４及び抽出項目形式データＤ５についても、抽出される医療費控除申請用抽出データＤ２１に合わせて、新たな項目についてのデータの追加又は不要な項目についてのデータの削除を行うこととなる。
【0140】
［（１０）ステップＳ４－１０：変換有無データの更新］
ステップＳ４－９まで完了すると、制御部１１は、記憶部１２の変換対象データ記憶部１２２の、当該医療領収書画像データＤ２に対応する変換有無データＤ３を、未変換から既変換に更新する。
ステップＳ４－９まで完了すると、制御部１１は、記憶部１２の変換対象データ記憶部１２２の、当該医療領収書画像データＤ２に対応する変換有無データＤ３を、未変換から既変換に更新する。
【0141】
［第３ 効果の説明］
ＯＣＲソフトウェアを用いての証憑の記載内容の文字コードへの変換は、通常、証憑の左から右、上から下へと順次変換していくことから、文字が規則的に配置されている証憑であれば変換精度を高め易いが、記載が不規則な証憑については、変換精度を高めることが困難であった。
また、ＯＣＲソフトウェアへの入力画像は、ノイズとなる文字列以外の情報が少なく、かつ文字列が記載されている領域が画像全体に対し大きいほど精度が向上するが、複数の記載欄が不規則に配置された証憑については、一般に文字列以外の情報が多く、かつ文字列が記載されている領域が画像全体に対し小さいことから、この点からも変換精度の向上が困難であった。
ＯＣＲソフトウェアを用いての証憑の記載内容の文字コードへの変換は、通常、証憑の左から右、上から下へと順次変換していくことから、文字が規則的に配置されている証憑であれば変換精度を高め易いが、記載が不規則な証憑については、変換精度を高めることが困難であった。
また、ＯＣＲソフトウェアへの入力画像は、ノイズとなる文字列以外の情報が少なく、かつ文字列が記載されている領域が画像全体に対し大きいほど精度が向上するが、複数の記載欄が不規則に配置された証憑については、一般に文字列以外の情報が多く、かつ文字列が記載されている領域が画像全体に対し小さいことから、この点からも変換精度の向上が困難であった。
【0142】
この点、本実施形態によれば、医療領収書画像データＤ２につき、複数のコマ画像データＤ７に分割した上で、コマ画像データＤ７毎に、ＯＣＲソフトウェア１２９使用して文字コードへの変換を行う。
証憑の画像データ（医療領収書画像データＤ２）自体は、複数の記載欄が不規則に配置されたものであっても、個々のコマＣ内の記載は証憑全体と比較して規則的なものとなり、また、個々のコマＣ内を見れば、証憑全体を見る場合と比較して、ノイズとなる文字列以外の情報が少なく、かつ文字列が記載されている領域が画像全体に対し大きい場合が多い。
したがって、本実施形態によれば、コマ画像データＤ７毎に文字コードへの変換を行うことで、ＯＣＲソフトウェア１２９による変換精度を高めることができる。
証憑の画像データ（医療領収書画像データＤ２）自体は、複数の記載欄が不規則に配置されたものであっても、個々のコマＣ内の記載は証憑全体と比較して規則的なものとなり、また、個々のコマＣ内を見れば、証憑全体を見る場合と比較して、ノイズとなる文字列以外の情報が少なく、かつ文字列が記載されている領域が画像全体に対し大きい場合が多い。
したがって、本実施形態によれば、コマ画像データＤ７毎に文字コードへの変換を行うことで、ＯＣＲソフトウェア１２９による変換精度を高めることができる。
【0143】
また、本実施形態によれば、医療領収書画像データＤ２から、コマ画像データＤ７部分を除いた枠外画像データＤ９を作成の上、これについてもコマ画像データＤ７とは別個にＯＣＲソフトウェア１２９使用して文字コードへの変換がなされることから、コマＣの外側の領域についても、ノイズの減少等により、ＯＣＲソフトウェア１２９による変換精度を高めることができる。
【0144】
また、コマ画像データＤ７の変換結果であるコマ画像変換結果データＤ１０を基に、所定の項目名が含まれるコマ画像データＤ７である項目名コマ画像データＤ１４を抽出の上、これと隣接するコマＣのコマ画像データＤ７とを合成して二コマ画像データＤ１６を作成することで、証憑の記載において、所定の項目名の記載と、それに対応する記載内容との対応関係を判別し易くすることができる。
【0145】
また、コマ画像データＤ７の変換結果であるコマ画像変換結果データＤ１０を基に、コマ画像データＤ７に含まれる文字列の行数を特定の上、コマ画像データＤ７に複数行の文字列が含まれる場合に、コマ画像データＤ７を行毎に分割した行毎コマ画像データＤ１２を作成の上、行毎コマ画像データＤ１２に分割されたコマＣについては、行毎コマ画像データＤ１２を基に二コマ画像データＤ１６を作成することで、複数行の文字列が含まれるコマＣについても、所定の項目名の記載と、それに対応する記載内容との対応関係を判別し易くすることができる。
【0146】
また、所定の分割、合成処理後のコマ画像のデータである分割・合成後コマ画像データＤ１７及びこれに対応した変換結果のデータである分割・合成後コマ画像変換結果データＤ１８を、分割・合成後コマ画像データＤ１７毎に別個の作業者端末２へと送信し、作業者Ｗに確認及び修正させることで、証憑の記載内容の全体像を作業者Ｗに秘匿しつつ、変換精度を高めることができる。
【0147】
また、医療領収書画像データＤ２から抽出する必要のある所定の項目についてのデータ（抽出項目データＤ４）を用いて、当該データと一致する項目についてのデータを抽出することで、医療領収書画像データＤ２から、所定の申請等（本実施形態では医療費控除申請）に必要となるデータを抽出することが容易となる。
【0148】
この際に、項目名コマ画像データＤ１４と、これと隣接するコマＣのコマ画像データＤ７とを合成して二コマ画像データＤ１６が作成されていることで、項目名コマ画像データＤ１４に、抽出項目データＤ４のうち特定の項目と合致する項目名が含まれる場合に、当該項目名コマ画像データＤ１４と合成されたコマ画像データＤ７に係るコマ画像変換結果データＤ１０からデータを抽出可能となり、所定の申請等（本実施形態では医療費控除申請）に必要となるデータを抽出することがさらに容易となる。
【0149】
また二コマ画像データＤ１６から抽出項目データＤ４のうち特定の項目についてのデータが抽出されなかった場合に、二コマ画像データＤ１６が作成されていないコマＣに係るコマ画像変換結果データＤ１０を含めて、抽出項目データＤ４と一致する項目についてのデータを抽出することで、まず、抽出の精度が他の部分のデータと比較して高い二コマ画像データＤ１６内からの抽出を試みつつ、二コマ画像データＤ１６内から抽出できなかった項目に係るデータについても抽出することが可能となる。
【0150】
また、抽出項目データＤ４を用いて、当該データと一致する項目についてのデータを抽出する際に、さらに、抽出項目形式データＤ５と合致する形式のデータのみを抽出するようにすることで、明らかに形式が合致しないデータの抽出を防止でき、データの抽出精度を向上することができる。
【0151】
また、コマ画像変換結果データＤ１０から抽出項目データＤ４のうち特定の項目についてのデータが抽出されなかった場合に、枠外画像データＤ９に係る枠外画像変換結果データＤ１１を含めて、抽出項目データＤ４と一致する項目についてのデータを抽出することで、まず、抽出の精度がコマＣ以外の部分と比較して高いコマ画像データＤ７内からの抽出を試みつつ、コマ画像データＤ７内から抽出できなかった項目に係るデータについても抽出することが可能となる。
【0152】
［第４ 変形例］
上記実施形態においては、医療領収書画像データＤ２の記載内容を文字コードに変換する場合について説明したが、本発明の対象となる証憑は、医療領収書に限られない。
複数の記載欄が設けられた証憑であれば、例えば給与の明細、社会保険の納付書等、医療領収書以外の証憑であっても、本発明によって、コマ画像データＤ７及び枠外画像データＤ９に分割の上、ＯＣＲソフトウェア１２９による変換を行うことで、その記載内容の文字コードへの変換精度を高めることができる。
上記実施形態においては、医療領収書画像データＤ２の記載内容を文字コードに変換する場合について説明したが、本発明の対象となる証憑は、医療領収書に限られない。
複数の記載欄が設けられた証憑であれば、例えば給与の明細、社会保険の納付書等、医療領収書以外の証憑であっても、本発明によって、コマ画像データＤ７及び枠外画像データＤ９に分割の上、ＯＣＲソフトウェア１２９による変換を行うことで、その記載内容の文字コードへの変換精度を高めることができる。
【0153】
また、上記実施形態においては、医療費控除申請に必要となる項目に係るデータを抽出する場合について説明したが、証憑の記載内容の文字コードへの変換後に抽出する項目もこれには限定されず、必要となる項目が明らかとなっている申請等に必要となるデータであれば、それに合わせて抽出項目データを構成することで、医療費控除申請以外の申請等に必要となる項目に係るデータを抽出することも可能である。
【0154】
また、上記実施形態においては、クラウドワーカによるチェック（ステップＳ３）を含む場合について説明したが、変換の精度は低下するものの、当該過程を経ることなく、ステップＳ２において記憶部１２の変換データ記憶部１２３に記憶された分割・合成後コマ画像変換結果データＤ１８及び枠外画像変換結果データＤ１１から、医療費控除申請用データの抽出を行うようにすることも可能である。
【符号の説明】
【0155】
１００ 会計支援システム
１ 会計支援装置
１１ 制御部（コマ識別手段、コマ画像データ作成手段、変換手段、枠外画像データ作成手段、項目名コマ抽出手段、二コマ画像データ作成手段、行数特定手段、行毎コマ画像データ作成手段、データ抽出手段）
１２ 記憶部
１２７ 医療領収書変換エンジン（会計支援プログラム）
１２８ 医療費控除申請用データ抽出エンジン（会計支援プログラム）
１２９ ＯＣＲソフトウェア
１３ 通信部（取得手段、送信手段、受信手段）
２ 作業者端末
Ｄ２ 医療領収書画像データ（証憑画像データ）
Ｄ４ 抽出項目データ
Ｄ５ 抽出項目形式データ
Ｄ７ コマ画像データ
Ｄ９ 枠外画像データ
Ｄ１０ コマ画像変換結果データ
Ｄ１１ 枠外画像変換結果データ
Ｄ１２ 行毎コマ画像データ
Ｄ１４ 項目名コマ画像データ
Ｄ１６ 二コマ画像データ
Ｌ 罫線
Ｃ コマ
Ｗ 作業者
１ 会計支援装置
１１ 制御部（コマ識別手段、コマ画像データ作成手段、変換手段、枠外画像データ作成手段、項目名コマ抽出手段、二コマ画像データ作成手段、行数特定手段、行毎コマ画像データ作成手段、データ抽出手段）
１２ 記憶部
１２７ 医療領収書変換エンジン（会計支援プログラム）
１２８ 医療費控除申請用データ抽出エンジン（会計支援プログラム）
１２９ ＯＣＲソフトウェア
１３ 通信部（取得手段、送信手段、受信手段）
２ 作業者端末
Ｄ２ 医療領収書画像データ（証憑画像データ）
Ｄ４ 抽出項目データ
Ｄ５ 抽出項目形式データ
Ｄ７ コマ画像データ
Ｄ９ 枠外画像データ
Ｄ１０ コマ画像変換結果データ
Ｄ１１ 枠外画像変換結果データ
Ｄ１２ 行毎コマ画像データ
Ｄ１４ 項目名コマ画像データ
Ｄ１６ 二コマ画像データ
Ｌ 罫線
Ｃ コマ
Ｗ 作業者
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】