(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【0010】
(実施形態)
<会計処理システム100の全体構成>
図1は、本実施形態に係る会計処理システム100の全体構成を示す図である。
図2は、本実施形態に係る会計処理装置1の機能ブロックを示す図である。
図3は、本実施形態に係る会計処理装置1のレシート画像記憶部32の例を示す図である。
図4は、本実施形態に係る会計処理装置1の明細データ記憶部33の例を示す図である。
図5は、本実施形態に係る会計処理装置1の軽減品目記憶部35の例を示す図である。
図6は、本実施形態に係る会計処理装置1の抽出キーワード記憶部36の例を示す図である。
図7は、本実施形態に係る会計処理装置1の会社マスタ38の例を示す図である。
【0011】
図1に示す会計処理システム100は、顧問先から依頼を受けた会計事務所の会計処理装置1が、各種の業務用アプリケーションプログラム(以下、アプリケーションプログラムのことを、単に「プログラム」ともいう。)を実行して会計処理を行うシステムである。
会計処理システム100は、会計処理装置1と、スキャナ5とを備える。そして、会計処理装置1と、スキャナ5(画像化装置)とは、通信可能に接続されている。
会計処理装置1は、例えば、会計事務所に設けられ、各種会計処理を行う装置である。会計処理装置1は、各種の会計処理に対応する複数の業務処理を行う。
【0012】
以下の説明において、会計処理装置1は、レシート画像を受け付けて、レシート画像に含まれる金額のうち、軽減税率(例えば、8%)が適用されたものと、軽減税率が適用されずに一般税率(例えば、10%)が適用されたものとを、分かりやすく表示させることで、仕訳入力を支援するものを説明する。
【0013】
会計処理装置1は、例えば、サーバ1aと、複数台の端末1bとにより構成される。サーバ1aは、端末1bから受信した操作データに基づいて処理を行う。複数台の端末1bは、例えば、会計事務所の業務処理担当者(以下、「ユーザ」や「職員」ともいう。)が操作する端末である。
【0014】
なお、
図1では、会計処理装置1を、サーバ1aと、端末1bとからなるものとして説明しているが、これは、一例である。会計処理装置1は、例えば、1台のスタンドアロンのコンピュータ(PC)で構成されていてもよい。また、会計処理装置1は、複数台のPCによって構成されたワークステーション(WS)であってもよい。
また、会計処理装置1は、会計事務所ではなく、顧問先企業内にあったり、業務委託等のサービスを行っている企業内であったり、クラウドサービスであってもよい。例えば、端末1bは、必ずしも会計事務所内に設けられる必要はなく、外出先や自宅勤務の職員の端末や、外注先の職員の端末も含まれる。
さらに、その他、会計処理装置1は、サーバのみ、あるいは複数のサーバで構成されていてもよく、会計事務所のサーバである場合の他、複数の企業(の従業員)の会計ファイルを預かって管理するサービスを行うIDC(インターネットデータセンター)のサーバでもよい。
【0015】
さらには、会計処理装置1は、実体が仮想化された仮想マシンやクラウドであってもよい。
さらにまた、企業の本社等が各部門や各支店(の従業員)等を対象に財務管理を行う場合には、会計処理装置1は、企業内のサーバであってもよい。
会計処理装置1は、本発明の処理を専用的に行う装置であってもよいし、会計処理を行う装置が、様々な機能のうちの1つとして、会計処理装置1の機能を有してもよい。
【0016】
スキャナ5は、例えば、会計事務所に設けられ、顧問先が保有するレシート6等を読み取って、レシート画像を生成する装置である。顧問先が保有するレシート6は、例えば、顧問先から郵送によって、又は、顧問先の担当者が持参することによって、会計事務所に届けられる。以下の説明において、レシート6は、店舗のレジスタで印字されたものを例に説明するが、これに限定されるものではない。レシート6に相当するものとして、その他、例えば、請求書、伝票、領収書、納品書等がある。
また、会計事務所の担当者(職員)が顧問先に訪問したときに、顧問先が保有するレシート6を受け取ってもよいし、顧問先に訪問したときに、顧問先が保有するレシート6に対して携帯端末(画像化装置)等を用いて、後述する画像化処理を行ってもよい。
【0017】
<会計処理装置1>
図2に示すように、会計処理装置1は、制御部10と、記憶部30と、入力部45と、表示部46と、通信部49とを備える。
図1の会計処理装置1の構成にあてはめると、サーバ1aは、制御部10と、記憶部30と、通信部49とに相当し、端末1bは、入力部45と、表示部46とに相当する。
制御部10は、会計処理装置1の全体を制御するCPU(中央処理装置)である。制御部10は、記憶部30に記憶されているOS(オペレーティングシステム)やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
【0018】
ここで、制御部10が備える各機能部を説明する前に、記憶部30について説明する。
記憶部30は、制御部10が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部30は、プログラム記憶部31と、レシート画像記憶部32と、明細データ記憶部33と、学習モデル記憶部34と、軽減品目記憶部35と、抽出キーワード記憶部36と、取引先情報記憶部37と、会社マスタ38とを備える。
【0019】
プログラム記憶部31は、各種プログラムを記憶する記憶領域である。プログラム記憶部31は、レシート処理プログラム31aを記憶している。
レシート処理プログラム31aは、後述する制御部10が行う各種機能を実行するためのアプリケーションプログラムである。
なお、この例では、レシート処理プログラム31aが後述する各種機能を実行するものとしているが、レシート処理プログラム31aをさらに細分化して、別プログラムにしてもよい。
【0020】
レシート画像記憶部32は、レシート画像を記憶する記憶領域である。
図3に示すレシート画像記憶部32は、1枚のレシート6に対応するレシート画像を、レシート画像を識別する画像ID(IDentification)(レシート識別情報)に対応付けて、レシート画像に関する情報と共に記憶する。レシート画像記憶部32は、例えば、画像IDをキーとして、取込日付と、イメージ登録先と、取引先IDと、レシート合計データと、明細IDとを記憶する。
【0021】
画像IDは、レシート画像を識別する識別情報である。会計処理装置1の制御部10は、レシート画像を受け付けた際に、画像IDを付与してもよい。
取込日付は、例えば、レシート画像を取り込んで、レシート画像記憶部32に記憶させた日付を示す。取引日付を記憶させることで、重複取込を防止できるし、作業履歴にもなる。
イメージ登録先は、レシート画像を記憶した記憶領域の位置情報(アドレス)を示す。
取引先IDは、レシート6の発行元の店舗等(後述する適格請求書発行事業者の事業者名も含む)を識別する識別情報である。
レシート合計データは、合計金額と、10%金額と、8%金額との各項目を示す。合計金額、10%金額及び8%金額は、レシート画像から読み取った合計金額、消費税が10%の合計金額、及び消費税が8%の合計金額を示す。なお、初期値を0にしておき、レシート画像に該当の金額が存在しない場合には、更新しない。例えば、レシート6に記載の品目が全ての消費税が10%である場合等には、8%金額は存在しないため、0のままである。
明細IDは、レシート画像から生成した明細データを識別する識別情報である。
【0022】
明細データ記憶部33は、明細データを識別する明細IDをキーにして、明細データを記憶する記憶領域である。
図4に示す明細データ記憶部33は、明細データを識別する明細IDに対応付けて、日付と、会社IDと、品目と、金額と、マーク有無と、画像IDとを記憶する。
明細ID及び画像IDは、上述のレシート画像記憶部32のものと同様である。
日付は、レシート画像から読み取ったレシートに記載された日付(取引日)を示す。
会社IDは、会社(顧問先又は本支店)を識別する識別情報である。
品目は、レシート画像から読み取った品目を示す。
金額は、レシート画像から読み取った品目と同じ行に有する金額を示す。
マーク有無は、レシート画像から読み取った品目と同じ行に有する、軽減税率であることを示す軽減税率マークの有無を示す。例えば、軽減税率マークがある場合には、軽減税率マークそのものが記憶され、軽減税率マークがない場合には、ブランク(空欄)である。なお、軽減税率マークは、「※」に限られない。
【0023】
学習モデル記憶部34は、AI等の学習モデルである分類器を記憶する記憶領域である。この例では、品目と、指定税率との組み合わせを学習した学習モデル(以下、第1学習モデルともいう。)を使用する。また、学習モデル記憶部34には、後述する第2学習モデルや第3学習モデルや第4学習モデルを記憶してもよい。
軽減品目記憶部35は、軽減税率の品目を記憶する記憶領域である。
図5に示すように、軽減品目記憶部35は、軽減税率の品目を、取引先IDに対応付けて記憶している。ここで記憶する品目は、レシート6に記載された品目の名称である。取引先IDは、当該品目を使用している店舗(取引先)の識別情報である。
【0024】
抽出キーワード記憶部36は、抽出対象のワードを記憶する記憶領域である。
図6に示すように、抽出キーワード記憶部36は、合計金額と、10%金額と、8%金額との各項目について、各々抽出キーワードを記憶している。例えば、合計金額の項目であれば、「合計」、「現計」、・・・といったワードを、抽出キーワードとしている。
取引先情報記憶部37は、取引先IDをキーとして、取引先に関する各種の情報(取引先の略称や電話番号やファクシミリ番号や住所や業種や適格請求書発行事業者の登録番号を含む)を記憶する記憶領域である。
【0025】
会社マスタ38は、会社IDをキーに、会社情報を記憶する記憶領域である。会社マスタ38は、
図7(A)に示すように、会計事務所がこの会計処理システム100を複数の顧問先に対して使用する場合の他、
図7(B)に示すように、企業が本支店(本社支社間や本社営業所間等も含む)ごとに使用する場合にも対応している。
図7(A)に示す会社マスタ38では、会社IDは、顧問先を識別する識別情報である。また、
図7(B)に示す会社マスタでは、会社IDは、その企業の本支店を識別する識別情報である。会社マスタ38は、
図7(A)及び
図7(B)に記載の各項目に限定されない。
【0026】
次に、制御部10の各機能部について説明する。
制御部10は、レシート画像受付部11と、レシート画像処理部12と、明細処理部22とを備える。
【0027】
レシート画像受付部11は、レシート6を取り込んだスキャナ5で生成された、レシート6の画像データであるレシート画像を、スキャナ5から受信することで受け付ける。ここで、レシート画像受付部11が受け付けるレシート画像の数は、限定されない。例えば、レシート画像受付部11は、1枚のレシート6のレシート画像を受け付けてもよいし、複数枚のレシート6に対応する複数のレシート画像を受け付けてもよい。
【0028】
また、レシート画像は、会計事務所に有するスキャナ5から取得するものに限定されない。レシート画像受付部11は、例えば、USB(Universal Serial Bus)メモリ等の可搬型記憶媒体により、例えば、顧問先からレシート画像を直接受領してもよい。また、レシート画像受付部11は、例えば、図示しない顧問先の端末から、通信ネットワークを介して会計事務所のサーバ1aや端末1bにレシート画像を送信することで、レシート画像を受け付けてもよい。この場合、顧問先において、例えば、スキャナを用いてレシート画像を取得した上で、顧問先の端末がレシート画像を送信する(メール添付やファイル転送等の方法による)。さらに、レシート画像は、スキャナにより画像化するものに限定されない。レシート画像受付部11は、例えば、デジタルカメラ及びビデオカメラ等を含むカメラ(画像化装置)や、携帯電話及びスマートフォン等を含む携帯端末(画像化装置)の撮影機能でレシート6を撮影することで、レシート画像を得てもよい。また、画像化や画像送信の処理は、会計事務所の担当者(職員)が行ってもよいし、顧問先の担当者(社員等)が行ってもよい。
【0029】
そして、レシート画像受付部11は、受け付けたレシート画像を、レシート画像記憶部32に記憶させる。その際、レシート画像受付部11は、会計処理装置1で一意になる画像IDを付与してもよい。レシート画像記憶部32に記憶されたレコードは、少なくとも画像IDと、取込日付と、イメージ登録先とに、値が入力されている状態になる。レシート画像記憶部32は、例えば、会計事務所のサーバ1aが備えるものである。ここで、レシート画像の格納場所は、会計事務所のサーバ1aに限られない。クラウド上のサーバ(仮想サーバ含む)であっても構わない。
【0030】
レシート画像処理部12は、レシート画像受付部11により受け付けたレシート画像に対する処理を行う制御部である。
レシート画像処理部12は、テキスト処理部13(日付抽出手段)と、品目確認処理部14(品目抽出手段、品目確認手段、確認結果出力手段、確認受付手段、学習手段)と、キーワード抽出部15(抽出キーワード選定手段、キーワード抽出手段)と、金額読取部16(金額取得手段、レシート合計登録手段)と、金額判定部17(金額判定手段)と、画像加工部18(画像加工手段)と、表示用画面生成部19と、画面出力部20(項目金額出力手段、画像出力手段)と、修正処理部21(修正受付手段、金額修正手段、更新手段)とを備える。
【0031】
テキスト処理部13は、レシート画像に印字された文字に関するテキストデータを取得する。テキスト処理部13は、レシート画像に対してOCR(Optical Character Reader)を使用して文字認識処理をすることによって、レシート画像からテキストデータを取得する。ここで得られるテキストデータは、レシート画像に含まれる文字データであるため、印字された文字データの他、後からレシート6に記入された手書きメモのようなものがある場合には、その文字データをも含む。
テキスト処理部13は、取得したテキストデータから日付を含む各項目を抽出する。
【0032】
品目確認処理部14は、テキスト処理部13によって取得したテキストデータから品目を含む行である品目行(品目情報)を抽出する。
次に、品目確認処理部14は、抽出した品目行ごとに、品目と軽減税率(指定税率)に関する識別子である軽減税率マークとの組み合わせが、学習モデル記憶部34に記憶された第1学習モデルによる分類結果と等しいことを確認する。より具体的には、品目確認処理部14は、品目を入力データとして入力することで、軽減税率の対象であるか否かを出力する第1学習モデルを用いる。
そして、品目確認処理部14は、確認結果を表示部46に出力する。
さらに、品目確認処理部14は、確認結果に対するユーザからの確認データに変更内容を含む場合には、変更内容のデータを用いて第1学習モデルを更新する。
【0033】
キーワード抽出部15は、テキスト処理部13によって抽出したテキストデータから、抽出キーワード記憶部36に記憶された抽出キーワードを抽出する。ここで、キーワード抽出部15は、「合計金額」の項目に対して抽出キーワードを1つ抽出する。また、キーワード抽出部15は、「10%金額」と「8%金額」との各項目に対して、抽出キーワードを1つ抽出し、又は、抽出しない。抽出しない場合とは、該当の項目に対応する抽出キーワードが存在しない場合であり、レシート6に、例えば、10%又は8%のいずれかの税率のみが記載されている場合である。
【0034】
金額読取部16は、キーワード抽出部15により抽出された抽出キーワードを含む行から金額の値(テキストデータ)を取得する。金額の値は、例えば、「¥」に続く数字列である。ここで、「合計金額」の項目に対して抽出した抽出キーワードを含む行に記載された金額を、全合計金額といい、「10%金額」や「8%金額」の項目に対して抽出した抽出キーワードを含む行に記載された金額を、内訳金額という。
また、金額読取部16は、レシート画像記憶部32に記憶された処理対象のレコードの各金額の項目に、取得した各金額の値を記憶させる。
金額判定部17は、金額読取部16により取得した内訳金額の値を加算した加算値と、全合計金額の値とが一致するか否かを判定する。
【0035】
画像加工部18は、レシート画像受付部11により受け付けたレシート画像に対して、金額読取部16により取得された各金額の記載部分を強調させる加工処理を行う。画像加工部18は、例えば、各金額の記載箇所を矩形で囲って、色付けを行う加工を行ってもよい。また、画像加工部18は、各金額の記載箇所に、下線を付す加工を行ってもよい。さらに、画像加工部18は、項目ごとに異なる加工を行ってもよく、例えば、項目ごとに加工に用いる色を異なるものにしてもよい。
【0036】
表示用画面生成部19は、表示部46に表示させる画面である表示用画面を生成する。具体的には、表示用画面生成部19は、金額読取部16により取得した金額の値と、抽出キーワードが示す項目とを対応付けた項目金額情報を生成する。ここで、項目金額情報は、レシート画像に含まれる金額との対比を分かりやすく示すために、画像加工部18で加工処理を行った各金額を含む画像を、レシート画像から切り取って、取得した金額の値に並べて示してもよい。そして、表示用画面生成部19は、画像加工部18で加工した加工後のレシート画像と、項目金額情報とを配置した表示用画面を生成する。
画面出力部20は、表示用画面生成部19で生成した表示用画面を、表示部46に出力する。
【0037】
修正処理部21は、画面出力部20によって出力された表示用画面から、金額の修正入力を受け付けた場合に、レシート画像記憶部32の該当項目に対応した金額を、受け付けた修正内容に更新する。
【0038】
明細処理部22は、品目確認処理部14で抽出した項目に関する明細データを生成する処理を行う。明細処理部22は、生成した明細データを、明細データ記憶部33に記憶させる。
また、明細処理部22は、品目確認処理部14が出力した確認結果に対する確認データを受信した場合に、受信した確認データに基づいて、明細データを修正する。
なお、上述した各機能の詳細については、後述する。
【0039】
図2の入力部45は、キーボードやマウス等の入力装置である。また、入力部45は、タッチパネルやペン入力であってもよい。
表示部46は、LCD(液晶ディスプレイ)等で構成される表示装置である。
通信部49は、例えば、スキャナ5や、通信ネットワークを介して外部装置との間での通信を行うインタフェースである。
なお、本発明でいうコンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、会計処理装置1は、制御部10、記憶部30等を備えた情報処理装置であり、本発明のコンピュータの概念に含まれる。
【0040】
<会計処理装置1の処理>
次に、会計処理装置1による処理について説明する。
図8は、本実施形態に係る会計処理装置1でのレシート画像処理を示すフローチャートである。
図9は、本実施形態に係る会計処理装置1での品目確認処理を示すフローチャートである。
図10は、本実施形態に係る会計処理装置1で用いるレシート画像60の例を示す図である。
図11は、本実施形態に係る会計処理装置1での合計金額確認処理を示すフローチャートである。
図12は、本実施形態に係る会計処理装置1での表示用画面70の例を示す図である。
図13は、本実施形態に係る会計処理装置1での表示用画面70に対する仕訳データの例を示す図である。
【0041】
図8で説明するレシート画像処理は、例えば、会計事務所に顧問先からレシート6を受領した都度のタイミングや、月1回等の定期的なタイミング等で、会計事務所において実行される処理である。なお、レシート画像処理は、1枚のレシート6に対しても行うことができ、また、複数枚のレシート6に対して、まとめて処理することもできる。
【0042】
会計事務所のユーザが、会計処理装置1に記憶されたレシート処理プログラム31aを起動することで、会計処理装置1の制御部10は、図示しない初期画面を、表示部46に出力する。そして、会計事務所のユーザが、初期画面から顧問先を選択又は入力等をすることで、
図8のステップS(以下、単に「S」という。)11において、制御部10は、顧問先の指定を受け付ける。
【0043】
会計処理装置1の制御部10は、顧問先の指定を受け付けると、次に、例えば、スキャナ5にレシート6を取り込むよう指示する画面(図示せず)を、表示部46に出力するので、ユーザは、指定した顧問先のレシート6を、スキャナ5に読み取らせる。スキャナ5は、レシート6を読み取って、レシート画像を生成し、会計処理装置1に対してレシート画像を送信するので、S12において、制御部10(レシート画像受付部11)は、スキャナ5から送信されたレシート画像を受け付ける。制御部10は、レシート6ごとに生成されたレシート画像を受け付ける。例えば、スキャナ5に読み取らせたレシート6が1枚であった場合には、レシート画像は1つであり、レシート6が複数枚であった場合には、レシート画像は複数である。
そして、制御部10(レシート画像受付部11)は、画像IDを付与して、受け付けたレシート画像を、レシート画像記憶部32(
図3参照)に記憶させる。
【0044】
S13において、制御部10(レシート画像処理部12)は、レシート画像を解析する。より具体的には、制御部10(テキスト処理部13)は、レシート画像を解析して、レシート画像から各種の情報を取得する。制御部10は、レシート画像に対して文字認識処理をすることによって、レシート画像からテキストデータを取得する。なお、レシート画像からテキストデータを取得する処理(OCR技術等による文字や数字の認識処理)は、公知の手法を用いて行うことができる。そして、制御部10は、テキストデータをサーチして、各種の情報を取得する。各種の情報とは、例えば、レシート画像に含まれる店舗(取引先)の名称や、日付等をいう。
S14において、制御部10(品目確認処理部14)は、品目確認処理を行う。
【0045】
ここで、品目確認処理について、
図9に基づき説明する。
図9のS21において、制御部10(品目確認処理部14)は、レシート画像から得られたテキストデータから、品目行を抽出する。テキストデータから品目行を抽出する処理は、公知の手法を用いて行うことができる。具体的には、制御部10は、例えば、図示しない品目DB(データベース)に登録された品目に一致する品目を含む行を抽出してもよいし、「小計」より上であって、「¥」を含む行を抽出してもよい。
図10は、レシート画像60から品目行61a及び61bを抽出した例を示す。
【0046】
図9のS22において、制御部10(明細処理部22)は、明細データを生成し、明細データ記憶部33(
図4参照)に生成した明細データを記憶させる。その際、制御部10は、明細IDを一意になるように付与してもよい。
S23において、制御部10(品目確認処理部14)は、品目行の品目と軽減税率マークとの組み合わせが、学習モデル記憶部34に記憶された学習モデル(第1学習モデル)による分類結果と等しいことを確認する。
【0047】
ここで、学習モデルについて簡単に説明する。学習モデルは後述する学習内容によって複数ある。品目判定学習モデル(第1学習モデル)は、軽減品目記憶部35に示す品目を軽減税率の対象であるとして、品目と軽減税率の有無とを学習したモデルである。
制御部10は、抽出した品目行ごとに、品目を入力データとして第1学習モデルに入力する。そうすることで、第1学習モデルは、当該品目が軽減税率の対象であるか否かを出力する。そして、制御部10は、品目行の品目と軽減税率マークとの組み合わせが、第1学習モデルによる分類結果と等しいことを確認する。
【0048】
S24において、制御部10(品目確認処理部14)は、S23による確認結果を、表示部46に出力する。ここで、制御部10は、確認結果として、組み合わせが一致しなかったもののみを出力してもよいし、組み合わせの一致不一致に限らず、全てを出力してもよい。また、確認結果として品目行の品目と軽減税率マークだけでなく、金額も一緒に表示してもよい。
S25において、制御部10(品目確認処理部14)は、ユーザから確認結果に対する確認データとして、変更内容を受け付けたか否かを判断する。変更内容を受け付けた場合(S25:YES)には、制御部10は、処理をS26に移す。他方、変更内容を受け付けなかった場合(S25:NO)には、制御部10は、処理を
図8のS15に移す。なお、変更内容を受け付けた場合には、変更したユーザと変更日時と変更内容(品目行の品目、軽減税率マークと金額等)とを変更履歴1として、履歴DB(図示せず)に保存してもよい。
【0049】
S26において、制御部10(明細処理部22)は、変更内容に基づき明細データ記憶部33の明細データを更新する。
S27において、制御部10(品目確認処理部14)は、変更内容のデータや変更履歴1を用いて、学習モデル記憶部34の第1学習モデルを更新する。
なお、制御部10は、変更内容のデータを用いて軽減品目記憶部35や品目DB(図示せず)を更新してもよい。また、S26とS27との処理は、同時に行ってもよいし、S27の処理を、S26の処理より先に行ってもよい。軽減品目記憶部35、品目DBや学習モデル記憶部34の第1学習モデルを更新することで、軽減品目の抽出の精度が上げることができる。
その後、制御部10は、処理を
図8のS15に移す。
【0050】
図8のS15において、制御部10は、合計金額確認処理を行う。
ここで、合計金額確認処理について、
図11に基づいて説明する。
図11のS31において、制御部10(キーワード抽出部15)は、レシート画像から得られたテキストデータから、抽出キーワード記憶部36に記憶された抽出キーワードを抽出する。
図10のレシート画像60であれば、抽出キーワード記憶部36に記憶された項目が「合計金額」に対する「合計」と、項目が「10%金額」に対する「消費税10%売」と、項目が「8%金額」に対する「消費税8%売」とが、テキストデータから抽出される。
【0051】
S32において、制御部10(金額読取部16)は、抽出した各々の抽出キーワードの行から金額の値を、各々取得する。そして、制御部10は、レシート画像記憶部32(
図3参照)の対象のレコードの該当項目に対して、取得した金額の値を記憶させる。
S33において、制御部10(金額判定部17)は、取得した金額の値についての判定処理を行う。具体的には、制御部10は、「合計金額」に対応する金額の値である全合計金額と、「10%金額」及び「8%金額」に対応する金額の値である内訳金額を加算した値とが一致するか否かを判定する。
【0052】
S34において、制御部10(画像加工部18)は、レシート画像に対する加工処理を行う。制御部10は、加工処理として、例えば、レシート画像に対して、S32で取得された各金額が記載された箇所を矩形で囲む。
なお、加工処理としては、矩形で囲むことに限定されず、様々な態様が考えられる。例えば、金額部に下線を付してもよい。また、矩形の線や下線の色を、異なる色にしてもよい。さらに、矩形内を、異なる色で網掛けをしてもよい。
【0053】
S35において、制御部10(表示用画面生成部19)は、項目金額情報を生成する。また、制御部10(表示用画面生成部19)は、生成した項目金額情報と、S34の処理による加工後のレシート画像とを含む表示用画面を生成する。
図12は、表示用画面70の例を示す。
制御部10は、まず、S31により抽出した抽出キーワードに対応する項目に、レシート画像から取得した金額画像と、金額の値とを並べて配置した項目金額情報71を生成する。ここで、金額画像は、S34において加工処理を行った加工後のレシート画像から金額が記載された箇所を切り取ったものである。また、金額の値は、レシート画像のテキストデータから得られる数字である。
制御部10は、S33による処理で不一致であった場合に、金額の値を、例えば、赤字で示す等の強調する態様で生成することが望ましい。
【0054】
図12に示す項目金額情報71には、「合計金額」に関する情報75と、「10%金額」に関する情報73と、「8%金額」に関する情報74とを含む。例えば、情報74は、画像情報74aと、数値情報74bとを含む。画像情報74aは、金額画像であり、数値情報74bは、金額の値である。同様に、各金額には、画像情報と、数値情報とを含む。なお、項目金額情報71には、日付に関する情報72も、金額に関する情報と同様に並べて配置している。情報72は、テキスト62から得ることができる。
次に、制御部10は、生成した項目金額情報71と、加工後のレシート画像60aとを配置した表示用画面70を生成する。
図12に示す項目金額情報71と、レシート画像60aとの配置位置は、一例である。
【0055】
図11のS36において、制御部10(画面出力部20)は、生成した表示用画面70を、表示部46に出力する。そうすることで、ユーザは、例えば、
図12に示す表示用画面70を参照し、金額が合っていることを確認できる。また、金額が不一致であったり、誤った入力されていたりする場合には、ユーザによって金額の修正を行うことができる。なお、金額の修正を受け付けた場合には、変更したユーザと変更日時と変更内容(項目金額情報と金額等)とを変更履歴2として、履歴DBに保存してもよい。
その後、制御部10は、処理を
図8のS16に移す。
【0056】
図8のS16において、制御部10は、修正データを受け付けたか否かを判断する。例えば、
図12に示す表示用画面70において、ユーザが、金額の値を修正の上、「更新」のボタンを選択することで、制御部10は、修正データを受け付ける。修正データを受け付けた場合(S16:YES)には、制御部10は、処理をS17に移す。他方、修正データを受け付けない場合(S16:NO)には、制御部10は、処理をS18に移す。修正データを受け付けない場合とは、例えば、
図12に示す表示用画面70において、ユーザが、「確認」のボタンを選択した場合である。
【0057】
S17において、制御部10は、レシート画像記憶部32の対象レコードのうち、所定の項目に対応する値を、修正データの値に更新する。
S18において、制御部10は、仕訳データを生成する。仕訳データは、「付箋」と「レシート」と「番号」と「月」と「日」と「借方」と「貸方」と「金額」と「摘要」と「課区」と「税区」の項目から構成される。「付箋」は、付箋の有無を示し、「レシート」は、仕訳データの元であるレシート画像60aを、「番号」は、仕訳データを識別する番号を、「月」と「日」は日付に関する情報72を、「借方」と「貸方」は、借方勘定科目と貸方勘定科目を、「金額」は、借方金額又は貸方金額を、「摘要」は、科目に対する補足内容を、「課区」は、取引に対する課税区分を、「税区」は、税率区分を、それぞれ示す。
図13(A)に示す表示用画面70における金額の値に基づいて、
図13(B)に示す仕訳データ81及び
図13(C)に示す仕訳データ82を生成する。
図13(B)の仕訳データ81の金額の値「489(円)」と課区の値「31(課税取引を示す)」と税区の値「10(%)」とは、
図13(A)の情報73の10%金額の値「489(円)」に対応するものである。また、
図13(C)の仕訳データ82の金額の値「480(円)」と課区の値「31(課税取引を示す)」と税区の値「8(%)」とは、
図13(A)の情報74の8%金額の値「480(円)」に対応するものである。その後、制御部10は、本処理を終了する。
【0058】
(変形例1)
レシート画像から各種の情報を抽出する方法は、上記した実施形態での方法に限定されない。
図14は、本実施形態に係る会計処理装置1での他の項目抽出方法を説明するための図である。
図14の例では、抽出する範囲を狭めた上で、抽出キーワードを抽出する例である。
制御部10(所定ワード抽出手段)は、
図14(A)に示すレシート画像60から、
図14(B)に示すように、「小計」のテキスト90と、「軽減」を含むテキスト91とをサーチする。ここで、「小計」や「軽減」といった単語は、記憶部30(所定ワード記憶部)に予め記憶させておく。
【0059】
そして、この2つのテキストを元に、制御部10(範囲設定手段)は、
図14(C)に示すように、取引内容エリア92と、集計エリア93とにエリアを分割する。
このようにエリアを分割することで、制御部10は、集計エリア93を検索範囲として、抽出キーワードをサーチすることができ、
図14(D)に示すように、抽出キーワードを含む行163〜165を抽出することができる。また、制御部10は、取引内容エリア92から品目をサーチして、品目行を抽出することができる。
このように、サーチする範囲を限定することで、認識率をより向上させることができる。
【0060】
なお、記憶部30(所定ワード記憶部)に、「日付」に関する要素や、「合計」のテキストをさらに追加しておき、サーチ対象にすることで、読取精度を向上させることが可能になる。
【0061】
(変形例2)
抽出キーワードについては、上記した実施形態での格納内容に限定されない。
図15は、本実施形態に係る会計処理装置1での他の抽出キーワード記憶部236の例を示す図である。
抽出キーワード記憶部236(発行元記憶部、抽出キーワード記憶部)は、取引先コード(発行識別情報)に対応付けて、取引先画像と、合計金額と、10%金額と、8%金額との各項目に対する画像(画像データ)を記憶している。各項目に対応して記憶する画像は、レシート画像に含まれる画像である。例えば、取引先画像は、レシート画像に含まれる取引先を示す特徴情報である。
【0062】
このようにすれば、制御部10(発行識別取得手段)は、まず、レシート画像から特徴情報を抽出することで、抽出した特徴情報に対応する取引先コードを特定できる。そして、制御部10は、抽出キーワードを、画像による照合で抽出することができる。また、取引先ごとに抽出キーワードを記憶するので、各取引先に対応した抽出キーワードにできるため、抽出処理の効率を向上できる。
【0063】
なお、抽出キーワード記憶部は、取引先ごとに、抽出キーワードをテキストデータで記憶するものであってもよい。そうすれば、抽出キーワードの抽出は、テキストデータによるものであるが、各取引先に対応した抽出キーワードにできるため、その場合にも、抽出処理の効率を向上できる。
【0064】
このように、本実施形態の会計処理システム100によれば、以下のような効果がある。
(1)会計処理装置1は、レシート6の画像データであるレシート画像から、「合計金額」、「10%金額」、「8%金額」といった異なる種類の合計金額に対応する複数の抽出キーワードを抽出し、抽出キーワードを含む行から金額のテキストデータを取得する。そして、会計処理装置1は、取得した金額のテキストデータと、対応する各合計を示す項目とを含む項目金額情報を生成して表示部46に表示させる。
したがって、複数の税率に対する会計処理に関する情報を、ユーザが見やすいように出力させることができる。また、出力させた情報に基づいて、仕訳データを作成することが可能であり、仕訳入力を支援することができる。
【0065】
(2)会計処理装置1は、項目金額情報と、レシート画像とを含む表示用画面70を表示部46に出力するので、レシート画像と、レシート画像から生成した項目金額情報とを、ユーザが比較しやすいようにできる。
(3)会計処理装置1は、レシート画像のうち、項目金額情報に含む金額の取得元である金額が記載された画像に対して強調させる加工をして、加工後のレシート画像を表示部46に表示させるため、レシート画像の金額と、項目金額情報とをユーザがより比較しやすいようにできる。
(4)会計処理装置1は、レシート画像の加工を、項目ごとに異なるものにすることで、見た目で区別がつくようにした情報を、ユーザに提供することができる。
【0066】
(5)会計処理装置1は、品目と、軽減税率との組み合わせを、品目判定学習モデル(第1学習モデル)に基づいて確認するので、正確な組み合わせになっているかの判断を、容易に行うことができる。
また、確認結果を確認したユーザから、変更内容を含む確認データを受け付けることで、学習モデルを更新するため、学習モデルによる判断を、実際のレシート画像の記載が反映された、より正確なものにできる。
【0067】
(6)会計処理装置1は、「合計金額」に対応する値が、「10%金額」に対応する値と、「8%金額」に対応する値との合算に一致するか否かを判断し、不一致の場合には、項目金額情報71の表示態様を、不一致であることを示すようにする。そのため、不一致であることが一目でわかるように示すことができる。
【0068】
(7)会計処理装置1は、レシート画像と、各合計金額のデータとを、レシート画像記憶部32に登録する。よって、各合計金額を利用しやすくでき、修正があった場合には、修正内容の反映をしやすくできる。そして、レシート画像記憶部32に記憶されたデータから、仕訳データを生成できる。
【0069】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【0070】
(変形形態)
(1)実施形態では、抽出キーワード記憶部は、異なる金額の合計を示す項目に対応付けて記憶するものを例に説明したが、これに限定されない。さらに、日付情報を対応付けて記憶してもよい。例えば、2019年9月30日までで使用する項目、2019年10月1日以降に使用する項目、というように、税率が変更された場合を考慮して期間(適用期間)を対応付ける。そして、制御部10(日付抽出手段)が、レシート画像から日付を抽出し、制御部10(抽出キーワード選定手段)が、抽出した日付に応じて、該当の日付を含む期間の範囲から抽出キーワードを選定する。そのようにすれば、例えば、軽減税率の適用前後や、税率変更の前後で項目を異なるものにできるため、利便性が向上する。
【0071】
また、品目確認以外の処理についても学習モデルを用いたAIによる学習処理によって行ってもよい。具体的には、抽出キーワードを利用した適用期間判定学習モデル(以下、第2学習モデルともいう。)は、日付情報(適用期間を含む)と抽出キーワード(所定ワードを含む)との組み合わせから適用期間と税率変更の有無とを学習したモデルである。制御部10は、抽出した日付情報と抽出キーワード(所定ワードを含む)とを入力データとして第2学習モデルに入力する。そうすることで、第2学習モデルは、抽出キーワード(所定ワードを含む)の有無により、レシート画像が軽減税率の適用前なのか、又は、軽減税率の適用後なのかを出力する。
そして、制御部10(抽出キーワード確認手段)は、日付情報と抽出キーワード(所定ワードを含む)との組み合わせが、第2学習モデルによる分類結果と等しいことを確認する。
【0072】
制御部10(確認結果出力手段)は、確認結果を表示部46に出力し、制御部10(確認受付手段)が確認結果に対して変更内容を受け付けた場合は、制御部10(学習手段)は、変更内容に基づき抽出キーワード記憶部と、所定ワード記憶部と、学習モデル記憶部34の適用期間判定学習モデル(第2学習モデル)とを更新する。抽出キーワード記憶部と、所定ワード記憶部と、学習モデル記憶部34の第2学習モデルとを更新することで、判定(レシート画像が軽減税率の適用前後のどちらなのか)の精度を上げることができる。なお、抽出キーワードと日付情報の組み合わせで判定できない場合には、追加で所定ワードをさらに組み合わせることで、判定の精度をさらに上げてもいい。
【0073】
また、例えば、区分記載請求書等保存方式と、適格請求書(例:請求書、納品書、領収書、レシート等)等(適格請求書、適格簡易請求書(例:請求書、納品書、領収書、レシート等))保存方式といった、レシート画像の種類による記載項目の有無によるレシート画像が適格であるか否かの判定を行うこともできる。
ここで、レシート画像の種類による記載項目とは、a.取引年月日、b.取引内容(軽減税率の対象品目である場合には、その旨)、c.税率ごとに合計した対価の額(税抜き又は税込み)及び適用税率、d.消費税額、e.書類の交付を受ける事業者名及び登録番号をいい、具体的には、品目及び項目金額情報(抽出キーワードを含む)を含む取引内容の有無、軽減税率マークの有無、適格請求書発行事業者の登録番号の有無、適格請求書発行事業者の事業者名の有無、日付情報(取引日付や適用期間を含む)や消費税額等(適用税率を含む)の有無で判断する。
【0074】
また、レシート画像の種類による記載項目の有無及び消費税額の算出方法についての特徴を学習した適格判定学習モデル(以下、第4学習モデルともいう。)を用いたAIによる学習処理によって、レシート画像が適格であるか否かの判定をする。これらの判定結果を用いて第4学習モデルをさらに学習させることで、制御部10(レシート画像判定手段)は、レシート画像が適格であるか否かの判定精度を上げることができる。
【0075】
具体的には、消費税額等は消費税の端数処理により合計が異なることを利用して、消費税の額が合計額から求めている(OKのケース)のか、個々の商品ごとに消費税の額を求めて表示されている(NGのケース)かの消費税の算出方法によって、レシート画像が適格であるか否かの判定を行うこともできる。そこで、制御部10は、上述した品目確認処理時に抽出した品目行ごとに軽減税率の有無によって品目行を分類し、軽減税率対象の品目行の合計と軽減税率対象外の品目行の合計を計算し、それぞれの税率を適用することで、軽減税率対象の内訳金額(例えば8%算出金額)と、軽減税率対象外の内訳金額(例えば10%算出金額)と、算出全合計金額(8%算出金額と10%算出金額の合計)を算出することができる。そして、制御部10は、金額読取部16から取得した「10%金額」や「8%金額」の項目の内訳金額及び全合計金額の組み合わせと、算出した内訳金額(8%算出金額と10%算出金額)及び算出全合計金額の組み合わせとが、それぞれ一致するかを判定することで、消費税の算出方法を判定できる。これにより、金額の不一致の原因(品目行の金額の認識ミスか、内訳金額又は全合計金額の認識ミスか)を特定できる。
【0076】
また、金額が不一致であったり、誤った入力されていたりする場合には、ユーザによって金額の修正を行うことができる。なお、金額の修正を受け付けた場合には、変更したユーザと変更日時と変更内容(項目金額情報と金額等)とを変更履歴2として、履歴DBに保存してもよいし、変更内容と変更履歴と2を用いて、第4学習モデルを更新してもよい。また、履歴DBや学習モデル記憶部34の第4学習モデルを更新することで、制御部10は、生成した項目金額情報71の各項目(「合計金額」に関する情報75と、「10%金額」に関する情報73と、「8%金額」に関する情報74)の金額の値の精度も上げることができる。
【0077】
さらに、公知である複数の認識処理の技術を利用することが可能なので、後述する総合判定学習モデルが履歴DBから認識処理ごとに変更履歴1や変更履歴2を学習することで、実行時間はかかっても認識精度を優先する、認識精度よりも実行時間を優先する、等の処理の方針をユーザが設定するだけで、ユーザが設定した処理方針に基づいて自動でAI等の総合判定学習モデル(以下、第3学習モデルともいう。)が最適な認識処理を選択して実行してもよい。具体的には、ユーザが「認識精度を優先」の方針を設定した場合は、制御部10は、品目行の品目と軽減税率マークの認識には、文字の認識精度が高い認識処理を使い、金額の認識には、数字の認識精度の高い認識処理に切り替える。上述した複数の学習モデルを組み合わせることで、ユーザが「認識精度を優先」の方針を設定することでレシート画像から仕訳を作成するのに必要な情報(レシート画像が適格か、軽減税率の有無、取引内容、取引金額、消費税等)を効率的に取得することができる。
【0078】
(2)実施形態では、記憶部に記憶される各情報について、例示して説明したが、これに限定されない。特に、項目は、他の項目があってもよいし、不要な項目を削除してもよい。また、他に会計処理装置として必要な種々のテーブル類があるが、本実施形態においては、記載を省略している。
【解決手段】会計処理装置1は、異なる種類の合計金額を示す複数の項目の各々に、抽出対象のワードである抽出キーワードを対応付けて記憶する抽出キーワード記憶部36と、レシートの画像データであるレシート画像から抽出キーワード記憶部36に記憶された抽出キーワードを抽出するキーワード抽出部15と、キーワード抽出部15により抽出された抽出キーワードを含む行から金額のテキストデータを取得する金額読取部16と、金額読取部16により取得した金額のテキストデータと、抽出キーワードが示す項目とを対応付けた項目金額情報を、表示部46に出力する画面出力部20と、を備える。