(58)【調査した分野】(Int.Cl.,DB名)
証憑の画像データ内から仕訳要素に対応する部分を含む領域を指定することを学習した画像解析AIにより証憑の画像データから少なくとも金額を含む仕訳要素に対応する部分を特定する画像解析部と、
前記画像解析部により特定された部分の少なくとも一部に対応する仕訳要素をテキストとして出力するための仕訳要素出力AIによって、前記画像解析部により特定された部分の少なくとも一部に対応する仕訳要素をテキストとして出力する仕訳要素出力部と、
前記仕訳要素出力部から出力されたテキストの仕訳要素としての妥当性を判定し、当該妥当性に応じた2以上の態様で当該テキストに関連する表示情報を出力する仕訳要素判定部と、
を備え、
前記仕訳要素判定部は、前記仕訳要素出力AIが出力した仕訳要素の文字認識の信頼度と、前記画像解析AIが出力した画像認識の信頼度とに基づいて、前記仕訳要素出力部から出力されたテキストの仕訳要素としての妥当性を判定する仕訳要素解析装置。
【発明を実施するための形態】
【0019】
以下、本発明の一実施形態を図面に基づき説明する。
【0020】
図1は本発明の一実施形態に係る仕訳要素解析部を含む会計処理システムを示したシステム構成図であり、同図に基づき本実施形態の構成について説明する。
【0021】
図1に示すように、本実施形態に係る会計処理システム1は、インターネット、VPN(Virtual Private Network)等の通信網2を介して、ユーザ側の各装置と会計処理サービス提供者側の会計処理装置10とが接続されて構成されている。なお、説明の簡略化のため
図1では一人のユーザのみを示しているが、会計処理装置10は通信網2を介して複数のユーザと接続可能である。
【0022】
ユーザは、例えば税理士及び会計士等の専門家であったり、直接会計処理を行う法人や個人等であり、少なくとも読取装置3と情報端末4を有している。
【0023】
読取装置3は、例えばスキャナ又はカメラ等の光学機器であり、証憑を画像データとして取り込める装置である。なお、本実施形態及び特許請求の範囲における「証憑」という文言は、金融機関の通帳(以下、単に通帳という)、領収書やレシート、その他の受領書、請求書、納品書、会計上金銭授受の証明となる書類、電子マネー等のICカードによる取引情報も含むものとする。
【0024】
情報端末4は、例えばパーソナルコンピュータ(以下、PCという)や、スマートフォン、タブレットPC、及び携帯電話のような携帯端末であり、少なくともweb情報を表示可能な端末である。
【0025】
ユーザは、読取装置3により証憑の画像データを取得して、情報端末4により会計処理装置10に送信可能であるとともに、会計処理装置10からの情報を受信可能である。なお、
図1では読取装置3と情報端末4とが別体のように示しているが、カメラ付きの携帯端末のように読取装置3と情報端末4とが一体であってもよい。また、ユーザ自身が読取装置3を所有している必要はなく、例えば外部の読取装置により読み取った証憑の画像データをメールやwebを介して取得してもよい。
【0026】
一方、会計処理サービス提供者(以下、単にサービス提供者ともいう)は、いわゆるクラウドコンピューティングにより会計処理サービスを提供する事業者であり、会計処理装置10を管理する者である。
【0027】
会計処理装置10は、プログラムに基づき仕訳処理を実行する1又は複数のサーバ(コンピュータ)を有し、機能的には主に、証憑の画像データから仕訳要素を抽出して解析を行う仕訳要素解析部11(仕訳要素解析装置)と、解析した仕訳要素を確定する仕訳要素確定部12と、確定された仕訳要素に基づいて自動仕訳を行う仕訳部13と、仕訳要素出力AI及び仕訳AIを生成する学習システム14と、を有している。
【0028】
さらに、仕訳要素解析部11は、画像解析部20、仕訳要素出力部21、表示部22、及び仕訳要素判定部23とを有している。
【0029】
画像解析部20は、ユーザから証憑の画像データを受信し、当該画像データから仕訳要素に対応する部分を特定する画像解析機能を有している。
【0030】
仕訳要素としては、例えば日付、金額、取引先、摘要(但し書き、商品名含む)、取引元(宛名含む)があり、これらに対応する数字、文字、図形(例えばロゴマーク、印影、その他企業を特定可能な図柄)、及び証憑の外観(例えば通帳や領収書の大きさ、色)がある。
【0031】
画像解析部20は、例えば日付については、「日付」「年」「月」「日」等の文字や「/」等の記号の前後や上下の数字部分を特定する。金額については「¥」等の記号や「金額」「支払い」「預り」「残高」「円」等の文字の前後や上下の数字部分を特定する。また、取引先については、「株式会社」「(株)」「(カ)」等の文字の前後の文字部分や、ロゴマーク、電話番号、証憑の外観を特定して、これらの情報に基づく会社名や個人名に対応する部分を特定する。摘要については、「但」等の文字に続く文字部分を特定する。取引元については、「様」等の文字の前にある文字の部分を特定する。
【0032】
なお、仕訳要素はこれに限られるものではなく、また仕訳要素の抽出に用いる数字、文字、図形もこれに限られるものではない。例えば、証憑に、購入品の数量が記載されている場合には数量を仕訳要素として含めてもよいし、同席者の名前や人数等の情報が記載されている場合には、同席者及び人数を仕訳要素として含めてもよい。また、各企業を特定するために設定された番号(法人番号、事業所番号)を抽出してもよい。
【0033】
具体的には、画像解析部20は、入力された画像データが通帳をスキャンしたものである場合は、日付、取引内容、支払い、預り、残高等に対応した部分を含む領域を指定することで仕訳要素に対応する部分の特定を行う。また、画像データがレシートや領収書をスキャンしたものである場合は、日付部分、ロゴや会社名の部分、金額部分、但し書き部分を含む領域を指定することで仕訳要素に対応する部分の特定を行う。
【0034】
画像解析部20は、このような領域の指定を画像解析AIにより行う。画像解析AIは、学習システム14において、機械学習により画像データ内から仕訳要素に対応する部分を含む領域を指定することを学習したAIである。そして、画像解析部20は、画像解析AIの画像解析における信頼度を出力することも可能である。画像解析の信頼度は、画像解析AIの判断の確度であり、例えばパーセントで表すことが可能である。例えば、画像解析AIは仕訳要素に対応する部分を正確に特定できないと指定する領域を広くするため、このような場合は画像解析の信頼度は低くなる。一方、仕訳要素に対応する部分を正確に特定できる場合は、仕訳要素に対応する部分と指定領域がほぼ一致し、画像解析の信頼度は高くなる。つまり、画像解析の信頼度が高いほど特定された仕訳要素の部分の妥当性が高く、当該信頼度が低いほど仕訳要素の部分の妥当性が低くなる。
【0035】
仕訳要素出力部21は、仕訳要素出力AIによって、画像解析部20により特定された部分の内容に対応する仕訳要素をテキストとして出力する文字認識機能を有している。仕訳要素出力AIは、学習システム14において、予め機械学習により画像解析部20により特定された部分の内容に対応する仕訳要素をテキストとして出力することを学習したAIである。例えば、仕訳要素出力AIは、日付部分や金額部分においては数字を認識して年月日や金額のテキストを出力し、取引先に対応する部分や摘要に対応する部分においては文字を認識して取引先や摘要のテキストを出力する。
【0036】
仕訳要素出力部21は、文字や数字を認識してテキストを出力するだけでなく、例えば、ロゴマークや印影又は電話番号のみが特定された場合には、図示しないが予め企業情報を記憶した企業情報DBより検索して、又はインターネットに公開されている情報を検索することで、取引先名のテキストとして出力してもよい。また、レシート等のように宛名の記載がない場合には、画像データを送信してきたユーザ名を取引元のテキストとして出力してもよいし、ユーザの顧客である企業を予め設定しておき当該ユーザから送信された画像データはその設定された企業名を取引元のテキストとして出力してもよい。
【0037】
また仕訳要素出力部21は、仕訳要素出力AIにより出力した仕訳要素のテキストの信頼度、即ち文字認識の信頼度も出力可能である。文字認識の信頼度は仕訳要素出力AIの判断の確度であり、例えばパーセントで表すことが可能である。つまり、文字認識の信頼度が高いほど仕訳要素出力AIにより出力された仕訳要素のテキストは仕訳要素として妥当性が高く、信頼度が低いほど妥当性が低くなる。
【0038】
表示部22は、例えば会計処理装置10のディスプレイであり、仕訳要素出力部21より出力された仕訳要素のテキストを表示する機能を有している。
【0039】
仕訳要素判定部23は、仕訳要素出力部21より出力されたテキストの仕訳要素としての妥当性を判定し、妥当性に応じた2以上の態様で当該テキストに関連する表示情報を出力する機能を有している。具体的には、仕訳要素判定部23は妥当でないテキストについては通常表示と異なる警告表示を表示部22に表示させる。仕訳要素のテキストの妥当性は、仕訳要素出力部21が出力する文字認識の信頼度や、画像解析部20による画像認識の信頼度を用いて判定する。
【0040】
本実施形態では、仕訳要素判定部23において、予め文字認識の信頼度Rcにおける第1の閾値Rc1及び第2の閾値Rc2(Rc1>Rc2)と、画像解析の信頼度Riにおける第3の閾値Ri3とが設定されており、これらの信頼度の閾値に基づいて妥当性の度合いを判定する。
【0041】
そして、仕訳要素判定部23には、各信頼度の度合い応じて通常表示、第1の警告表示、第2の警告表示が設定されている。例えば、仕訳要素判定部23は、テキスト化した仕訳要素の文字認識の信頼度Rcが、第1の閾値Rc1(例えば80%)以上である場合は、仕訳要素としての妥当性が高いと判断し、当該テキストは通常表示とする。文字認識の信頼度Rcが第1の閾値Rc1未満、第2の閾値Rc2(例えば50%)以上であり、且つ画像解析の信頼度Riが第3の閾値Ri3(例えば50%)以上であれば、仕訳要素としての妥当性が中程度と判断し、当該テキストは第1の警告表示とする。文字認識の信頼度Rcが第2の閾値R2未満、又は画像解析の信頼度Riが第3の閾値Ri3未満である場合は、仕訳要素の妥当性が低いと判断し、当該テキストは第2の警告表示とする。
【0042】
警告表示は、通常表示と異なる表示であればよく、表示形式は特に限定されず、例えば該当する仕訳要素のテキストに下線を記載したり、文字色を異ならせたり、テキストの近くにフラグを表示する等して表現する。また警告表示の種類も妥当性に応じて複数設定してもよいし、1種類のみでもよい。
【0043】
次に、仕訳要素確定部12は、サービス提供者又は仕訳要素確定用のプログラムにより、表示部22に表示された仕訳要素のテキストを確定させる確定処理を行う。これは、例えばサービス提供者側の担当者が表示部22に表示された仕訳要素を確認して、問題のない仕訳要素についてはそのまま確定操作を行い、問題のある仕訳要素については修正作業を行った上で確定操作を行う。
【0044】
仕訳部13は、仕訳要素確定部12により確定された仕訳要素に応じた勘定科目を出力する機能を有している。この仕訳要素に応じた勘定科目の出力は、例えば仕訳AIにより行う。仕訳AIは、学習システム14において、予め機械学習により仕訳要素に対する勘定科目を出力することを学習した自動仕訳のAIである。当該仕訳部13において出力された勘定科目は、仕訳要素と共に、仕訳結果としてユーザの情報端末4に送信される。
【0045】
学習システム14は、上述した仕訳要素出力AI及び仕訳AIを学習させ、学習済みのAIを供給する機能を有している。詳しくは、学習システム14は、証憑の画像データと当該画像データに含まれる仕訳要素からなる学習用データに基づき機械学習(いわゆるディープラーニング)させることで、画像解析AIや仕訳要素出力AIを生成する。また、学習システム14は、仕訳要素と当該仕訳要素に対応する勘定科目からなる学習用データに基づき機械学習させることで、仕訳AIを生成する。
【0046】
このように構成された会計処理装置10は、仕訳要素解析部11において、画像解析部20により証憑の画像データから仕訳要素の部分を特定し、仕訳要素出力部21により仕訳要素をテキスト化して表示部22に表示し、仕訳要素判定部23により仕訳要素のテキストの妥当でないものを判定して警告表示を行う。そして、表示部22に表示された仕訳要素のテキストをサービス提供者側が確認して、仕訳要素確定部12により確定した仕訳要素に基づいて、仕訳部13により自動仕訳が行われる。
【0047】
ここで
図2を参照すると、仕訳要素解析部11により実行される仕訳要素解析の流れを示したフローチャートが示されており、以下同フローチャートに沿って、仕訳要素解析方法について詳しく説明する。なお、当該仕訳要素解析は、ユーザからの証憑の画像データを受信すると、解析をスタートする。
【0048】
まず、ステップS1として、仕訳要素解析部11は画像解析部20により、証憑の画像データ内の仕訳要素部分を特定する(画像解析工程)。このとき、画像認識の信頼度Ri仕訳要素判定部23に出力される。
【0049】
そして、ステップS2では、仕訳要素出力部21において、仕訳要素出力AIにより仕訳要素特定部分内の仕訳要素をテキスト化する(仕訳要素出力工程)。テキスト化された仕訳要素は表示部22に表示される一方、仕訳要素出力AIによる文字認識の信頼度Rcとともに仕訳要素判定部23に出力される。
【0050】
ステップS3では、仕訳要素判定部23において、テキスト化された仕訳要素の文字認識の信頼度Rcが第1の閾値Rc1未満であるか否かを判定する(仕訳要素判定工程)。当該判定結果が偽(No)である場合、即ち文字認識の信頼度Rcが第1の閾値Rc1以上である場合は、このテキスト化された仕訳要素の妥当性は高いと判断し、ステップS4に進む。
【0051】
ステップS4では、仕訳要素判定部23は、表示部22にテキスト化された仕訳要素を通常表示で表示し、当該ルーチンをリターンする。
【0052】
一方、ステップS3の判定結果が真(Yes)であった場合、即ち文字認識の信頼度Rcが第1の閾値Rc1未満であった場合はステップS5に進む。
【0053】
ステップS5において、仕訳要素判定部23は、文字認識の信頼度Rcが第2の閾値Rc2未満であるか否かを判定する(仕訳要素判定工程)。当該判定結果が偽(No)である場合、即ち文字認識の信頼度Rcが第2の閾値Rc2以上である場合はステップS6に進む。
【0054】
ステップS6において、仕訳要素判定部23は、画像解析の信頼度Riが第3の閾値Ri3未満であるか否かを判定する(仕訳要素判定工程)。当該判定結果が偽(No)である場合、即ち信頼度Riが第3の閾値Ri3以上である場合は、このテキスト化された仕訳要素の妥当性は中程度であると判断しステップS7に進む。
【0055】
ステップS7において、仕訳要素判定部23は、表示部22にテキスト化された仕訳要素を第1の警告表示で表示し、当該ルーチンをリターンする。
【0056】
一方、ステップS5の判定結果及びステップS6の判定結果のいずれかが真(Yes)であった場合、即ち文字認識の信頼度Rcが第2の閾値Rc2未満であるか、画像解析の信頼度Riが第3の閾値Ri3未満である場合は、このテキスト化された仕訳要素の妥当性は低いと判断し、ステップS8に進む。
【0057】
ステップS8において、仕訳要素判定部23は、表示部22にテキスト化された仕訳要素を第2の警告表示で表示し、当該ルーチンをリターンする。
【0058】
当該ルーチンは、証憑の画像データ内にて特定された仕訳要素の全てにおいての判定が終了するまで継続される。
【0059】
ここで
図3、
図4を参照すると、表示部33に表示される表示例がそれぞれ示されており、これらの図に基づき、具体的な仕訳要素の表示について説明する。
【0060】
図3に示す第1の表示例は、通帳の画像データから仕訳要素を抽出した場合の表示例であり、画面左側にスキャンされた通帳の元画像が表示され、画面右側に仕訳要素出力部21及び仕訳要素判定部23より出力されたテキスト化された仕訳要素が表示されている。
【0061】
詳しくは、通帳は一行ごとに取引が記載され、複数の取引がまとめて一つの画像上に表示される。元画像において点線で示されているように、画像解析部20により日付、取引内容、支払い、預り、残高の文字が認識され、その下方向の範囲を仕訳要素に対応する部分として領域指定されている。なお、この点線は実際には表示部22に表示されていなくてもよい。
【0062】
読取結果には、元画像と同様の配列で、日付、取引内容、支払い、預り、残高の項目が形成されている。なお、各項目の配列は必ずしも元画像と一致していなくてもよい。
【0063】
そして、読取結果には、仕訳要素出力AIによりテキスト化された仕訳要素が表示されている。例えば一行目の取引では、日付として「29-1-10」、取引内容として「振込」、支払いとして「カ)ABC」、預りとして「30,000」、残高として「130,000」が通常表示で表示されている。
【0064】
一方、元画像には、通帳に付いた汚れ30やゴミ31も表示されている。このような汚れ30やゴミ31が仕訳要素部分と重なっていると、仕訳要素出力AIは仕訳要素を正確にテキスト化することができず、信頼度が低くなる。その結果、仕訳要素判定部23において妥当でないと判定された仕訳要素については警告表示がなされる。
【0065】
具体的には
図3においては、2行目の取引の残高は元画像では「30,000」であるが汚れ30のため、読取結果において仕訳要素出力AIは「80,000」と誤って認識している。ここで仕訳要素判定部23はこの「80,000」の信頼度及び位置関係を判定した結果、中程度の妥当性と判定し、「80,000」の下に下線を引いた第1の警告表示を行っている。
【0066】
また、4行目の取引においては元画像において、取引内容の「振込」、支払いの「カ)DEF」、預りの「120,000」に跨ってゴミ31が重なっているために、読取結果において仕訳要素出力AIは支払いについて「カ)BEF」と誤って認識している。取引内容の「振込」と、預りの「120,000」については正しくテキスト化されているが、仕訳要素出力AIとしての信頼度は低くなり、仕訳要素判定部23は「カ)BEF」も含めていずれも妥当性が低いと判断し、二重下線が引かれた第2の警告表示が行っている。
【0067】
次に
図4の第2の表示例は、レシートの画像データから仕訳要素を抽出した場合の表示例であり、画面左側にスキャンされたレシートの元画像が表示され、画面右側に仕訳要素出力部21及び仕訳要素判定部23より出力されたテキスト化された仕訳要素が表示されている。
【0068】
詳しくは、レシートは一画像について一取引が記載されて表示される。このような場合、元画像において点線で示されているように、画像解析部20は日付に対応する部分40aと、金額に対応する部分41aと、社名に対応する部分42aを特定しており、これらの拡大
図40b、41b、42bが読取結果に表示されている。なお、この点線は実際には表示部22に表示されていなくてもよい。
【0069】
読取結果には、対応する拡大図の上に、仕訳要素出力AIによりテキスト化された日付、金額、社名が記載されている。
【0070】
具体的には、日付に対応する部分40a、40bは正しくは「2019/10/10」と記載されているが、最後の「0」の印字がかすれているために、仕訳要素出力AIは「2019年10月1日」と誤ってテキスト化している。これに対して仕訳要素判定部23は、当該日付のテキストは信頼度が低く妥当性が中程度と判断して、白抜きのフラグ43である第1の警告表示を行っている。
【0071】
また、金額に対応する部分41a、41bは、本来は画像解析部20が「合計 \1,080」の部分を特定すべきところ、「紅茶 \500」の部分を特定している。このような場合、仕訳要素判定部23は、画像解析部20により指定された合計金額を示す領域に合計金額部分が含まれていない上、指定領域が広いため、文字認識の信頼度及び画像解析の信頼度は低くなることから、妥当性が低いと判断して、読取結果の金額欄に黒いフラグ44である第2の警告表示を行っている。
【0072】
一方、社名に対応する部分42a、42bについては、仕訳要素判定部23は妥当性が高いと判断しフラグ等を付していない通常表示としている。
【0073】
以上のように、本実施形態における会計処理システム1では、仕訳要素解析部11において、仕訳要素出力部21が仕訳要素出力AIを用いて証憑の画像から仕訳要素のテキストを抽出することで、証憑を人間が一件一件読み取るような作業を省くことができ、仕訳要素の入力作業の効率を向上させることができる。
【0074】
その一方で、仕訳要素判定部23が仕訳要素出力AIにより抽出された仕訳要素のテキストの妥当性を判定し、通常表示や警告表示等のように、当該妥当性に応じた2以上の態様で当該テキストに関連する表示情報を出力することで、問題がある仕訳要素について容易に確認を行うことができる。これにより、仕訳要素の抽出の精度を確保することができる。
【0075】
特に、仕訳要素出力AIは仕訳要素のテキスト化とともにその信頼度(文字認識の信頼度)を出力し、仕訳要素判定部23が当該信頼度に基づいて仕訳要素としての妥当性を判定することで、容易に且つ適切に仕訳要素の判定を行うことができる。
【0076】
また、仕訳要素判定部23は、画像解析部20の画像解析AIによる画像解析の信頼度に基づいても妥当性を判定することで、より正確に仕訳要素の妥当性を判定することができる。
【0077】
さらに、仕訳要素判定部23は、妥当でないテキストに対して、妥当性の度合いに応じて異なる警告表示を行うことで、より詳細に仕訳要素の妥当性を表現することができ、より精密に仕訳要素の妥当性を確認することができる。
【0078】
そして、仕訳要素判定部23により判定された結果に基づいて仕訳要素を確定し、仕訳部13による自動仕訳を行うことで、より正確な自動仕訳を実現することができる。
【0079】
以上のことから、本実施形態に係る仕訳要素解析部11を含む会計処理装置10は、証憑に記載された仕訳要素の入力作業の効率を向上させるとともに、仕訳要素の抽出の精度を確保することができ、より正確な自動仕訳を実現することができる
【0080】
以上で本発明の実施形態の説明を終えるが、本発明の態様はこの実施形態に限定されるものではない。
【0081】
例えば、上記実施形態では、
図3、4の表示例に基づき、証憑として通帳とレシートの仕訳要素の抽出について説明したが、証憑の種類はこれに限られるものではない。
【0082】
また、上記実施形態では、画像解析部20の画像解析AIにより画像データ内の仕訳要素に対応する部分を特定しているが、この機能を仕訳要素出力AIが備えていてもよい。
【0083】
また、上記実施形態では、文字認識の信頼度Rcと画像解析の信頼度Riの2つの信頼度に基づいて仕訳要素のテキストの妥当性を判定しているが、両信頼度を一つにまとめて、1つの信頼度を用いて当該妥当性を判定してもよい。この両信頼度を一つにまとめる手法が、計算により行ってもよいし、画像解析についても学習した仕訳要素出力AIが両信頼度を一つにまとめた信頼度を出力してもよい。
【0084】
また、上記実施形態では、仕訳部13において仕訳AIを用いて自動仕訳を行っているが、AIを用いない自動仕訳用プログラムにより仕訳を行ってもよい。
【0085】
また、上記実施形態では、文字認識の信頼度Rcにおける第1の閾値Rc1、第2の閾値Rc2、及び画像解析の信頼度Riにおける第3の閾値Ri3を設定しているが、閾値の設定数はこれに限られるものでない。
【0086】
また、仕訳要素判定部は、妥当でない仕訳要素のテキストに対して、他の仕訳要素に基づいて、より妥当なテキストに補正する機能を有していてもよい。例えば、
図3の表示例において、2行目の取引の残高が汚れ30によって「30,000」を「80,000」と誤って出力しているが、1行目の残高「130,000」と2行目の支払いの額「100,000」との関係(130,000-100,000=30,000)から、又は3行目の残高「20,000」と支払い「10,000」との関係(20,000+10,000=30,000)から、2行目の残高が「30,000」となることは明らかである。したがって、このような他の仕訳要素から、より妥当な仕訳要素に補正できる場合、仕訳要素判定部は2行目の残高を「30,000」と補正したテキストとして表示してもよい。
【0087】
このように、妥当性の低い仕訳要素のテキストについて補正することで、修正作業を削減でき、さらなる作業効率の向上を図ることができる。また、この補正に用いる他の仕訳要素は、仕訳要素判定部により妥当である判定がなされた仕訳要素を用いるのが好ましい。なお、補正したテキストに対しては警告表示を行ってよいし、行わなくてもよい。