(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023120861
(43)【公開日】2023-08-30
(54)【発明の名称】証憑情報処理装置、証憑情報処理方法、及びプログラム
(51)【国際特許分類】
G06V 30/14 20220101AFI20230823BHJP
【FI】
G06K9/20 340J
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022023964
(22)【出願日】2022-02-18
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】池田 幹直
(72)【発明者】
【氏名】松尾 崇史
【テーマコード(参考)】
5B029
【Fターム(参考)】
5B029BB02
5B029CC27
5B029CC32
5B029EE07
(57)【要約】 (修正有)
【課題】証憑検出時のユーザの負担を低減でき、証憑内容の読取完了までに要する時間を短縮できる証憑情報処理装置、証憑情報処理方法及びプログラムを提供する。
【解決手段】通信部と、画像処理部と、証憑情報管理部と、記憶部と、を備える証憑情報処理システムにおいて、証憑情報処理装置は、証憑を含む第1の画像M1を通信部から取得する画像取得部111と、第1の画像内の第1の証憑V1及び第2の証憑V2を含む複数の証憑を検出する証憑位置検出部112と、第1の画像から、第1の証憑を含む第2の画像M2を切り出す画像切出部115と、第2の画像内で第1の証憑と第2の証憑とが重なっている場合、第2の画像から第2の証憑の領域を文字認識不能に加工する画像加工部116と、画像加工部116が加工した第2の画像を出力する画像出力部118と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
証憑を含む第1の画像を取得する取得部と、
前記第1の画像内の第1の証憑及び第2の証憑を含む複数の証憑を検出する検出部と、
前記第1の画像から、前記第1の証憑を含む第2の画像を切り出す切出部と、
前記第2の画像内で前記第1の証憑と前記第2の証憑とが重なっている場合、前記第2の画像から前記第2の証憑の領域を文字認識不能に加工する加工部と、
前記加工部により加工された前記第2の画像を出力する出力部と、
を備える証憑情報処理装置。
【請求項2】
前記切出部は、前記第1の画像から、前記第2の証憑を含む第3の画像を切り出し、
前記出力部は、前記第3の画像を出力する、
請求項1に記載の証憑情報処理装置。
【請求項3】
前記第2の画像及び前記第3の画像の文字を認識する認識部、を更に備える、
請求項2に記載の証憑情報処理装置。
【請求項4】
前記第2の画像は、前記第3の画像よりも画像範囲が大きい、
請求項2又は3に記載の証憑情報処理装置。
【請求項5】
前記加工部は、前記第2の画像内での前記第1の証憑と前記第2の証憑との重複率が閾値以上である場合、前記第2の画像から前記第2の証憑の領域を文字認識不能に加工する、
請求項2~4のいずれか1項に記載の証憑情報処理装置。
【請求項6】
証憑を含む第4の画像を取得する取得部と、
前記第4の画像内の証憑を検出する検出部と、
前記検出部により検出された前記証憑に、文字の向きが互いに異なる第1の文字領域と第2の文字領域とを含む複数の文字領域が存在する場合、前記第1の文字領域を含む第5の画像と、前記第2の文字領域を含む第6の画像と、を切り出す切出部と、
前記第5の画像及び前記第6の画像を出力する出力部と、
を備える証憑情報処理装置。
【請求項7】
前記第5の画像と前記第6の画像とを別々に回転補正する補正部、を更に備え、
前記出力部は、回転補正された前記第5の画像と前記第6の画像とを出力する、
請求項6に記載の証憑情報処理装置。
【請求項8】
前記第5の画像及び前記第6の画像の文字を認識する認識部、を更に備える、
請求項6又は7に記載の証憑情報処理装置。
【請求項9】
証憑に関する第1の証憑情報を蓄積する蓄積部と、
前記蓄積部により蓄積された第1の証憑情報と、前記第2の画像又は前記第3の画像に対する文字認識により得られた第2の証憑情報とが、同じ証憑情報であるか否かを判定する判定部と、
前記第1の証憑情報と前記第2の証憑情報とが同じ証憑情報であると判定された場合、警告情報を提示する旨の指示を送信する送信部と、を更に備える、
請求項2~5のいずれか1項に記載の証憑情報処理装置。
【請求項10】
証憑に関する第1の証憑情報を蓄積する蓄積部と、
前記蓄積部により蓄積された第1の証憑情報と、前記第5の画像又は前記第6の画像に対する文字認識により得られた第2の証憑情報とが、同じ証憑情報であるか否かを判定する判定部と、
前記第1の証憑情報と前記第2の証憑情報とが同じ証憑情報であると判定された場合、警告情報を提示する旨の指示を送信する送信部と、を更に備える、
請求項6~8のいずれか1項に記載の証憑情報処理装置。
【請求項11】
前記第1の証憑情報は、証憑を識別する第1の証憑識別情報を含み、
前記第2の証憑情報は、証憑を識別する第2の証憑識別情報を含み、
前記判定部は、前記第1の証憑識別情報と前記第2の証憑識別情報とが同じである場合、前記第1の証憑情報と前記第2の証憑情報とが同じ証憑情報であると判定する、
請求項9又は10に記載の証憑情報処理装置。
【請求項12】
証憑を含む第1の画像を取得するステップと、
前記第1の画像内の第1の証憑及び第2の証憑を含む複数の証憑を検出するステップと、
前記第1の画像から、前記第1の証憑を含む第2の画像を切り出すステップと、
前記第2の画像内で前記第1の証憑と前記第2の証憑とが重なっている場合、前記第2の画像から前記第2の証憑の領域を文字認識不能に加工するステップと、
加工された前記第2の画像を出力するステップと、
を有する証憑情報処理方法。
【請求項13】
請求項12に記載の証憑情報処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、証憑情報処理装置、証憑情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
紙ハンドリングコストの削減や情報共有を容易にするため、紙文書、たとえば、領収書 や申込書などの紙文書をスキャナで電子化し、イメージデータ(電子化文書ともいう)と して管理する電子ファイリングシステムが実用化されている。このシステムでは、紙文書 は、スキャナで読み取られ、電子化文書として作成される。その後、イメージ化された文 書上の文字情報が、OCR(Optical character recognition)技術により、コードデータとして抽出され、集計や分析業務を 支援するコンピュータ処理用のデータとして使用されている。
【0003】
レシートや領収書等の証憑の処理は、上述したような電子ファイリングシステムの一例である。たとえば、公認会計士事務所や税理士事務所(以下単に「会計事務所」と称す。)では、顧問先から会計処理の元となるレシートや領収書等の原始証憑類を受け取って当該顧問先の会計処理を行う。このとき、原始証憑(以下、単に「証憑」または「レシート」とも称す。)をスキャナやスマートフォンのカメラで電子データ化して会計事務所に受け渡すやり方がある。この原始証憑の画像化データは後に会計事務所の職員が参照して会計データを入力したり、OCR処理による自動読み取りしたりすることに用いられる。
【0004】
特許文献1は、証憑イメージ取得方法及び会計処理システムを開示している。この会計処理システムは、1枚以上のレシートや領収書などの原始証憑を取り込んだ画像データを読み取り、画像データから証憑部分を抽出する証憑イメージ切り出し手段と、切り出した証憑イメージの傾きや歪みを補正して矩形に整形する整形手段と、整形した証憑イメージを保存する証憑イメージ登録手段とを具える。証憑イメージ切り出し手段は、通常モードではレシート抽出閾値の第1のセットを用いて画像データから証憑イメージの切り出しを試行し、第1のセットを用いて画像データ証憑イメージを切り出しできない場合に、レシート抽出閾値の変動幅を変えたレシート抽出閾値の第2のセットを用いて画像データから証憑イメージの切り出しを試行する。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1のシステムは、エッジ検出で各証憑を検出している。例えば2枚以上の証憑が重なっているため、エッジ検出が困難な場合、ユーザがポインティング操作などの手動操作を通じてエッジの存在を指定する必要があり、証憑の検出に手間を要することが起こり得る。
【0007】
また、特許文献1のシステムは、証憑の傾きなどの事由により、OCR処理による読取が困難な場合、証憑画像を90度ずつ回転させて読取試行する。このため、読み取りのための回転に時間がかかることがあり、よって読取までに要する時間が長くなることがあり得る。
【0008】
本開示は、証憑検出時のユーザの手間を低減でき、証憑内容の読取完了までに要する時間を短縮できる証憑情報処理装置、証憑情報処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0009】
本開示の一態様は、証憑を含む第1の画像を取得する取得部と、前記第1の画像内の第1の証憑及び第2の証憑を含む複数の証憑を検出する検出部と、前記第1の画像から、前記第1の証憑を含む第2の画像を切り出す切出部と、前記第2の画像内で前記第1の証憑と前記第2の証憑とが重なっている場合、前記第2の画像から前記第2の証憑の領域を文字認識不能に加工する加工部と、前記加工部により加工された前記第2の画像を出力する出力部と、を備える証憑情報処理装置である。
【0010】
本開示の一態様は、証憑を含む第4の画像を取得する取得部と、前記第4の画像内の証憑を検出する検出部と、前記検出部により検出された前記証憑に、文字の向きが互いに異なる第1の文字領域と第2の文字領域とを含む複数の文字領域が存在する場合、前記第1の文字領域を含む第5の画像と、前記第2の文字領域を含む第6の画像と、を切り出す切出部と、前記第5の画像及び前記第6の画像を出力する出力部と、を備える証憑情報処理装置である。
【0011】
本開示の一態様は、証憑を含む第1の画像を取得するステップと、前記第1の画像内の第1の証憑及び第2の証憑を含む複数の証憑を検出するステップと、前記第1の画像から、前記第1の証憑を含む第2の画像を切り出すステップと、前記第2の画像内で前記第1の証憑と前記第2の証憑とが重なっている場合、前記第2の画像から前記第2の証憑の領域を文字認識不能に加工するステップと、加工された前記第2の画像を出力するステップと、を備える証憑情報処理方法である。
【0012】
本開示の一態様は、上記の証憑情報処理方法をコンピュータに実行させるプログラムである。
【発明の効果】
【0013】
本開示によれば、証憑検出時のユーザの負担を低減でき、証憑内容の読取完了までに要する時間を短縮することができる。
【図面の簡単な説明】
【0014】
【
図1】本開示の実施形態に係る証憑情報処理装置を含む証憑情報処理システムのブロック図である。
【
図2】実施形態1の証憑情報処理装置における重なり証憑処理部のブロック図である。
【
図3】実施形態1の証憑情報処理装置が実行する証憑情報処理方法のフロー図である。
【
図4】実施形態1の証憑情報処理装置が実行する証憑情報処理の概念図であり、(A)は処理前の画像、(B)は処理後の画像を示す図である。
【
図5】実施形態1の証憑情報処理装置が実行する証憑情報処理の他の例の概念図であり、(A)は処理前の画像、(B)は処理後の画像を示す。
【
図6】実施形態2の証憑情報処理装置における重なり証憑処理部のブロック図である。
【
図7】実施形態2の証憑情報処理装置が実行する証憑情報処理方法のフロー図である。
【
図8】2つの分離した証憑の画像の例を表す図である。
【
図9】実施形態2の証憑情報処理装置が実行する証憑情報処理の概念図であり、(A)は処理前の画像、(B)は中間過程での画像、(C)は処理後の画像を示す。
【
図10】実施形態3の証憑情報処理装置が実行する証憑情報処理方法のフロー図である。
【
図11】実施形態3の証憑情報処理装置による処理結果の画面であり、操作端末が表示する画面であって、(A)は初期画面、(B)は2つの証憑の画像を並べて表示した画面である。
【
図12】
図11(B)の「重ね合わせ」のチェックボックスをチェックすることにより表示される画面である。
【
図13】実施形態4の証憑情報処理装置による処理結果の画面であり、操作端末が表示する画面である。
【
図14】
図13の警告情報の詳細ボタンが押されることにより表示される画面である。
【
図15】実施形態5の証憑情報処理装置による処理結果の画面であり、操作端末が表示する画面である。
【発明を実施するための形態】
【0015】
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0016】
(証憑情報処理システムの構成)
図1は、本開示の実施形態に係る証憑情報処理装置を含む証憑情報処理システムのブロック図である。証憑情報処理システム200は、証憑情報処理装置1と、複数の操作端末50(50A,50B)と、複数のスキャナ60(60A,60B)と、これらの装置を通信可能に接続する通信ネットワーク70から構成される。
【0017】
操作端末50は、証憑を入力する申請者(ユーザの一例)又は証憑の処理を行う処理担当者(例えば経理担当者)(ユーザの一例)等が使用する端末である。操作端末50は、例えば、PC(Personal Computer)やタブレット端末である。操作端末50は、例えばPCと同様に、制御部、通信部、記憶部、操作部、及び表示部を備える。制御部は、例えばプロセッサにより構成される。記憶部は、例えばROM(Read Only Memory)又はRAM(Random Access Memory)を含む。操作部は、キーボード、マウス、又はタッチパネル等でよい。表示部は、例えば液晶表示装置である。表示部は、例えば証憑情報処理装置1により処理された画像、データ又は情報等を表示してよい。ユーザは、表示された画像、データ又は情報等を確認できる。操作端末50Aは、処理担当者が用いる端末である。操作端末50Bは、申請者が用いる端末である。
【0018】
スキャナ60は、レシート、領収書、申込書、納品書、契約書などの証憑を含む紙文書を読み込み、電子化文書として作成する装置である。電子化文書のデータ形式は、一般的な画像データでよい。例えば、ビットマップ形式やJPEG形式などが使用できる。スキャナ60は、例えば、オートフィーダ機構を備えたスキャナであり、定型サイズの紙文書を読み取ってよい。スキャナ60は、例えば、机上に置いた原稿のイメージを読み取るスタンド型のスキャナであり、不定形サイズの紙文書を読み取ってよい。
【0019】
(証憑情報処理装置の基本構成)
証憑情報処理装置1は、スキャナ60が読み込んだ証憑の画像データを取り込み、各種の処理を施す。これにより、証憑情報処理装置1は、証憑検出時のユーザの手間を低減でき、証憑内容の読取完了までに要する時間を短縮できる。
【0020】
証憑情報処理装置1は、通信部30と、画像処理部10と、証憑情報管理部20と、記憶部40と、を備える。記憶部40は、登録証憑データベース(DB)40Dを備える。
【0021】
通信部30は、各種データ又は情報等を通信する。通信部30による通信方式は、有線通信又は無線通信の方式でよく、LAN(Local Area Network)、WAN(Wide Area Network)、電力線通信、又は携帯電話用のセルラー通信(例えば5G、LTE(Long Term Evolution))等の通信方式を含んでよい。通信部30は、例えば、通信ネットワーク70を介して、操作端末50又はスキャナ60等から送信された種々のデータ(例えば画像データ)を受信する受信部として機能する。通信部30は、例えば、通信ネットワーク70を介して、操作端末50又はスキャナ60等に種々のデータ(例えば画像データ)を送信する送信部として機能する。通信部30が受信したデータは、例えば画像処理部10が処理する。通信部30は、例えば画像処理部10が処理したデータを送信する。
【0022】
画像処理部10は、例えばプロセッサにより構成される。プロセッサは、MPU(Micro processing Unit)、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphical Processing Unit)等を含んでよい。プロセッサは、各種集積回路(例えばLSI(Large Scale Integration)又はFPGA(Field Programmable Gate Array))等を含んでよい。画像処理部10は、記憶部40に保持されたプログラムを実行することで、各種機能を実現する。画像処理部10は、証憑情報処理装置1の各部を統括的に制御し、各種処理を行う。
【0023】
画像処理部10は、機能構成として、重なり証憑処理部11と、OCR処理部12と、重複登録確認処理部13と、入力支援処理部14と、入力予定処理部15と、を備える。画像処理部10は、例えば証憑情報処理装置1の主たる機能を司る部分であり、通信部30が通信ネットワーク70を介して受信した画像データが証憑の画像データである場合、後述する処理を施す。
【0024】
重なり証憑処理部11は、取得されたた証憑の画像データが2枚以上の証憑が重なった画像データの場合に、後述する処理を行う(実施形態1)。また、重なり証憑処理部11は、取得された証憑の画像データが、文字の向きが異なる2つ以上の文字領域を含む画像データである場合に、後述する処理を行う(実施形態2)。重なり証憑処理部11の詳細は後述する。
【0025】
OCR処理部12は、重なり証憑処理部11が処理した画像データの文字又はテキスト部分を認識し、文字データに変換する。OCR処理部12は、一般的なOCR(Optical Character Reader)処理つまり光学的な文字認識を行う。
【0026】
重複登録確認処理部13は、重なり証憑処理部11が新たに処理した画像データと、他の画像データ、例えば登録証憑データベース40Dに登録された証憑の画像データとを比較し、同じ画像(同じ証憑)であるか否かを判定する。これにより、重複登録確認処理部13は、同じ証憑に関する情報が重複登録されていないか否かを確認する。入力支援処理部14は、証憑の処理担当者の入力を支援に関する処理を行う。入力予定処理部15は、予定されている証憑の入力を申請者に促すことに関する処理を行う。なお、重複登録確認処理部13、入力支援処理部14及び入力予定処理部15の詳細は、実施形態3~5にて説明する。
【0027】
証憑情報管理部20は、ユーザ(申請者又は処理担当者)が証憑情報処理装置1を管理するための機能を有する。
【0028】
記憶部40は、一次記憶装置(例えばRAM(Random Access Memory)又はROM(Read Only Memory))を含む。記憶部40は、二次記憶装置(例えばHDD(Hard Disk Drive)又はSSD(Solid State Drive))や三次記憶装置(例えば光ディスク又はSDカード)を含んでよい。記憶部40は、その他の記憶装置を含んでよい。記憶部40は、証憑情報処理装置1に着脱自在であってよい。記憶部40は、各種データ又は情報等を保持する。
【0029】
登録証憑データベース40Dは、重なり証憑処理部11により処理された証憑の画像、OCR処理部12により証憑の画像から文字認識されて得られた証憑の内容に関する証憑情報(第1の証憑情報)、等を蓄積する。よって、過去の証憑に関する実績としての証憑の画像や証憑情報が蓄積される。また、登録証憑データベース40Dは、証憑の原紙をスキャンした原紙画像を含んでもよい。上記の処理済みの証憑の画像、原紙画像、及び証憑情報は、関連付けされて蓄積されてよい。操作端末50のユーザ(申請者及び処理担当者)は、登録証憑データベース40Dに登録された処理済の画像データ又は証憑情報等を活用することができる。
【0030】
証憑情報は、証憑を個別に特定するための情報を含む。証憑情報は、証憑を識別する証憑識別情報を含む。証憑が請求書の場合、証憑識別情報は、請求書番号、金額、又は振込先口座番号等を含んでよい。証憑が領収書の場合、証憑識別情報は、日付、金額、相手先又は名称等を含んでよい。
【0031】
なお、登録証憑データベース40Dは、証憑情報処理装置1の外部に配置されてよく、例えば独立したデータベースサーバであってもよい。証憑情報処理装置1は、通信部30を介してデータベースサーバにアクセス可能であり、蓄積された画像、データ、又は情報等を取得可能であってもよい。
【0032】
(実施形態1)
次に、実施形態1に係る証憑情報処理装置1について説明する。
図2は、実施形態1の証憑情報処理装置1における重なり証憑処理部11のブロック図である。本実施形態は、通信部30が受信した画像データである第1の画像M1が2枚以上の複数の証憑の画像を含んでいる場合に有用である。
【0033】
図示の例では、第1の画像M1は、第1の証憑V1を含む第2の画像M2と、第2の証憑V2を含む第3の画像M3とを含んでいる(処理前)。第1の証憑V1、第2の証憑V2はそれぞれ異なる領収書(領収書の概要とその明細)であり、第2の証憑V2の全面が、より面積の大きい第1の証憑V1の上に重なるように載っている。また、第1の証憑V1、第2の証憑V2は互いに向きが傾いており、それぞれの文字の向きも傾いている。第1の画像M1は、第2の画像M2及び第3の画像M3のみならず、二つの画像の背後の画像、たとえば、第1の証憑V1及び第2の証憑V2を貼り付ける台紙の画像などを含んでもよい。
【0034】
従来のOCR装置がこのような状態の証憑を読み取る場合、画像の向きが異なるために、読取のエラーが発生する可能性がある。しかしながら、本実施形態においては、重なり証憑処理部11が次に述べる処理を第1の画像M1に施すことにより、第1の証憑V1を含む第2の画像M2と、第2の証憑V2を含む第3の画像M3とを、切り離した状態で別々に出力する(処理後)。また、重なり証憑処理部11は、第2の画像M2における第3の画像M3の加工領域MXを、文字認識不能に加工する。本例では黒塗り加工が施されている。これにより、OCR処理部12は、重なり証憑処理部11が処理した第2の画像M2及び第3の画像M3における文字又はテキスト部分を適正に認識し、文字データに変換できる。以下、重なり証憑処理部11の詳細について説明する。
【0035】
本実施形態において、重なり証憑処理部11は、画像取得部111と、証憑位置検出部112と、大小関係算出部113と、重複率算出部114と、画像切出部115と、画像加工部116と、画像回転補正部117と、画像出力部118と、を備える。
【0036】
画像取得部111は、通信部30から証憑を含む第1の画像M1を取得する取得部として機能する。証憑位置検出部112は、第1の画像M1内の第1の証憑V1及び第2の証憑V2を含む複数の証憑を検出する検出部として機能する。
【0037】
証憑位置検出部112は、上記の複数の証憑の検出に、人工知能として学習済みの検出器を用いてよい。証憑位置検出部112は、検出器の学習時には、学習用データのセットを用いて学習プログラムを実行して学習することで、学習済みパラメータ及び学習済みモデル(検出器)を生成及び更新する。学習済みパラメータは、学習によって調整されたパラメータ(係数)である。学習済みモデルは、学習済みパラメータが組み込まれたプログラムである。証憑位置検出部112は、例えば、AI(Artificial Intelligence)学習分野におけるアノテーション(annotation)の処理により、学習用データを作成する。証憑位置検出部112は、例えば、任意の証憑が含まれる大量の画像を入力し、入力された画像における証憑が存在する領域の4つの隅部のxy座標値を入力して、座標付きの画像をデータ化することに基づいて、学習用データを生成する。入力される画像は、複数の画像が重複されたものと重複されていないものとを含んでよい。証憑位置検出部112は、学習用データに基づいて、任意の画像中の証憑の有無、画像に対する証憑の位置、サイズ、証憑の傾き、等を学習する。この結果、証憑位置検出部112は、たとえ複数の証憑の画像が重なっていても、個別の証憑の画像(の位置)を検出できる。そして、証憑位置検出部112は、画像に対する証憑の位置、サイズ、証憑の傾き、等を検出できる。なお、検出器の学習自体は、証憑位置検出部112の外部で行われてもよい。
【0038】
大小関係算出部113は、証憑位置検出部112が検出した第1の証憑V1を含む第2の画像M2と、第2の証憑V2を含む第3の画像M3と、の大小関係を算出する。大小関係は、寸法又は面積等で表され、本例では大小関係はM2>M3である。
【0039】
重複率算出部114は、証憑位置検出部112が検出した第2の画像M2及び第3の画像M3と、大小関係算出部113が算出したこれらの大小関係から、第2の画像M2と第3の画像M3との重複率、すなわち2枚の画像の重なりの度合いを算出する。重複率算出部114は、重複率として、たとえばIoU(Intersection over Union)を用いることができる。IoUは、重複部分の面積と全体の面積との比である。
【0040】
画像切出部115は、第1の画像M1から、第1の証憑V1を含む第2の画像M2を切り出す切出部として機能する。画像切出部115は、第1の画像M1から、第2の証憑V2を含む第3の画像M3を切り出してよい。
【0041】
画像加工部116は、第2の画像M2内で第1の証憑V1と第2の証憑V2とが重なっている場合、第2の画像M2から第2の証憑V2の領域に対応する加工領域MXを文字認識不能に加工する加工部として機能する。本例では、画像加工部116は、第2の証憑V2の領域に対応する加工領域MXに黒塗り加工を施すことにより、OCR処理による加工領域MXの文字認識が不能となっている。文字認識を不能する加工は、黒塗り加工のみならず、白塗り加工、ぼかし、その他の加工方法であってもよい。
【0042】
画像回転補正部117は、画像加工部116が加工した第2の画像M2について、回転補正による加工を施す。回転補正は、証憑及びその文字が所定の方向(例えば図面の紙面の左右方向)を向くように証憑の画像の向きを変える加工である。画像回転補正部117は、第3の画像M3の回転補正をも行ってよい。画像回転補正部117は、例えば、各画像の特徴を基に各画像に含まれる証憑の上下を検出し、証憑の上下を基に各画像の角度を調整することで、回転補正してよい。画像回転補正部117は、文字の方向又は証憑の外周を示す枠等を基に、回転補正してもよい。画像回転補正部117は、第2の画像M2及び第3の画像M3を回転することで、第2の画像M2及び第3の画像M3の向きを揃えることができる。
【0043】
画像出力部118は、画像加工部116及び画像回転補正部117により加工された第2の画像M2を少なくとも出力する出力部として機能する。画像出力部118は、第3の画像M3をも出力してよい。
【0044】
画像出力部118の処理結果を受けて、OCR処理部12は、一般的なOCR処理に基づき、第2の画像M2及び第3の画像M3の文字を認識する認識部として機能する。OCR処理部12は、各画像の文字を認識したうえで、テキストデータ化する。このテキストデータは、例えば、登録証憑データベース40Dに記憶されてもよいし、通信部30によって、通信ネットワーク70を介して、操作端末50に送信されてもよい。また、重複登録確認処理部13が、テキストデータをチェックすることもある。また、OCR処理部12は、OCR処理により得られたテキストデータに基づいて、証憑の種別(例えば領収書、請求書)毎に証憑を分類してよい。登録証憑データベース40Dは、証憑の種別毎に、画像データ、テキストデータ、又は証憑に関する証憑情報を保持してよい。
【0045】
図3は、実施形態1の証憑情報処理装置1が実行する証憑情報処理方法のフロー図である。この前提として、例えば、通信部30が、スキャナ60から通信ネットワーク70を介して、第1の画像M1を受け取っているものとする。また、第1の画像M1は、1つ以上の証憑を含むことを想定する。
【0046】
画像取得部111は、通信部30から第1の画像M1を取得する(ステップS1)。証憑位置検出部112は、第1の画像M1内の証憑の画像(証憑画像、証憑の領域)を検出し(ステップS2)、第1の画像M1内に複数の証憑の画像が存在するか否かを判定する(ステップS3)。第1の画像M1内に1の画像のみが存在する場合(ステップS3;No)、画像切出部115が、この1の証憑の画像を切り出す(ステップS4)。画像回転補正部117が、切り出した証憑の画像を回転補正し(ステップS5)、画像出力部118が補正した画像をOCR処理部12に出力する(ステップS6)。
【0047】
ステップS3で、証憑位置検出部112が、第1の画像M1内に複数の画像が存在すると判定した場合(ステップS3;Yes)、大小関係算出部113が、二つの証憑の画像の大小関係を算出する。また、重複率算出部114が、二つの証憑の画像、すなわち、第1の証憑V1に対応する第2の画像M2及び第2の証憑V2に対応する第3の画像M3の重複率(重なりの度合い)を算出する。重複率算出部114は、例えば、第2の画像M2内での第1の証憑V1と第2の証憑V2との重複率を算出する。重複率算出部114は、重複率として、例えばIoU(Intersection over Union)を用いる。
【0048】
重複率が、予め定められた所定の閾値(例えば0.075)より小さい場合(ステップS7;No)、重複の度合いは小さく、重複部分を無視しても実害は少ないと考えられる。そのため、画像切出部115が、複数の証憑の画像、すなわち、第2の画像M2及び第3の画像M3を切り出す(ステップS8)。証憑情報処理装置1は、重複率の算出のような工程を省略することにより、処理負荷を低減できる。画像回転補正部117が、切り出した第2の画像M2及び第3の画像M3を回転補正し(ステップS5)、画像出力部118が、補正された第2の画像M2及び第3の画像M3をOCR処理部12に出力する(ステップS6)。
【0049】
ステップS7で、重複率が、予め定められた所定の閾値より小さい場合(ステップS7;No)、重複の度合いは大きく、重複部分を無視することは、OCR読取エラーなどの実害を招くおそれが高いと考えられる。そこで、画像加工部116は、大きな第2の画像M2から第2の証憑V2に対応する加工領域MXを黒く塗りつぶすことにより、加工領域MXでの文字認識を不能にする(ステップS9)。
【0050】
画像切出部115は、加工領域MXに存在していた第2の証憑V2に対応する小さい第3の画像M3を切り出す(ステップS10)。画像回転補正部117が、加工済の第2の画像M2及び第3の画像M3を回転補正し(ステップS5)、画像出力部118が、補正された第2の画像M2及び第3の画像M3をOCR処理部12に出力する(ステップS6)。
【0051】
図4は、実施形態1の証憑情報処理装置1が実行する証憑情報処理の概念図であり、(A)は処理前の画像、(B)は処理後の画像を示す。第2の画像M2は、領収書である第1の証憑V1の画像であり、第3の画像M3は、領収書である第2の証憑V2の画像である。これまで説明した通り、第2の画像M2は、第3の画像M3よりも画像範囲が大きい。特に本例では、
図4(A)に示すように、第3の画像M3の全領域が第2の画像M2の上に重なっており、第3の画像M3は第2の画像M2のエッジからはみ出ていない。従来のエッジ検出のような手法では、第1の画像M1から第2の画像M2及び第3の画像M3を検出することは困難である。
【0052】
本実施形態の証憑情報処理装置1は、
図4(A)に示す処理前の画像を、
図4(B)に示すように処理して出力する。すなわち証憑情報処理装置1は、第2の画像M2及び第3の画像M3の少なくとも一部が重なり合っている場合でも、第2の画像M2及び第3の画像M3を高精度に検出できる。この上で証憑情報処理装置1は、第2の画像M2における第3の画像M3が存在する領域を、文字認識不能な加工領域MXに加工する。これにより、証憑情報処理装置1は、第2の画像M2において、第2の画像M2の文字の向きと異なる文字の向きを有し得る領域を除去でき、後のOCR処理において、第2の画像M2のOCR読取エラーなどを抑制できる。
【0053】
さらに、証憑情報処理装置1は、第3の画像M3をも切り出すことができる。これにより、元から第1の画像M1に存在する第2の画像M2及び第3の画像M3の両画像を別々に読取の対象にできる。また、証憑情報処理装置1は、第2の画像M2及び第3の画像M3について回転補正を施すことにより、両画像の文字の向きを揃えて、OCR処理に適した文字の向きに調整でき、OCR処理の読取精度を向上できる。
【0054】
図5は、実施形態1の証憑情報処理装置が実行する証憑情報処理の他の例の概念図であり、(A)は処理前の画像、(B)は処理後の画像を示す。
図5(A)の処理前の画像は、
図4(A)の画像と同じである。本例では、画像切出部115が、加工領域MXに存在していた第2の証憑V2に対応する小さい第3の画像M3を切り出す際(
図3のステップS10)、画像加工部116が、第3の画像M3の周囲に存在する第2の画像M2に対応する加工領域MX1を黒く塗りつぶすことにより、加工領域MX1での文字認識も不能にしている。
【0055】
なお、上述した例においては、第2の証憑V2の全面が、より面積の大きい第1の証憑V1の上に重なるように載っている。しかしながら、本実施形態はこのような事例のみならず、第1の証憑V1の一部と第2の証憑V2の一部が互いに重なっている事例にも適用可能である。また、本実施形態は、第1の証憑V1と第2の証憑V2が同じ大きさの事例や、3枚以上の証憑が重なっている事例にも適用可能である。
【0056】
(実施形態2)
次に、実施形態2に係る証憑情報処理装置1について説明する。
図6は、実施形態2の証憑情報処理装置1における重なり証憑処理部11のブロック図である。本実施形態は、通信部30が受信した画像データである第1の画像M1が、互いに文字の向きが異なる複数の文字領域を含んでいる場合に有用である。
【0057】
図示の例では、証憑を含む第4の画像M4は、第1の文字領域C1を含む第5の画像M5と、第2の文字領域C2を含む第6の画像M6と、を含んでいる(処理前)。第1の文字領域C1と第2の文字領域C2とは、文字の向きが互いに異なる文字領域である。本例では、第1の文字領域C1及び第2の文字領域C2が、1枚の領収書に対応する第4の画像M4上に隣接して存在しており、文字の向きが90度異なっている。なお、文字の向きの差分は90度以外であってもよい。例えば、第1の文字領域C1及び第2の文字領域C2は、本来同じ第3の証憑V3(領収書)に対応するが、文字の向きが異なる場合がある。第4の画像M4は、第3の証憑V3のみならず、証憑の背後の画像、たとえば、第3の証憑V3を貼り付ける台紙の画像などを含んでもよい。
【0058】
OCR装置がこのような状態の証憑を読み取る場合、読取のエラーが発生する可能性がある。しかしながら、本実施形態においては、重なり証憑処理部11が次に述べる処理を第4の画像M4に施すことにより、第1の文字領域C1を含む第5の画像M5と、第2の文字領域C2を含む第6の画像M6とを、切り離した状態で別々に出力する(処理後)。これにより、OCR処理部12は、重なり証憑処理部11が処理した第5の画像M5及び第6の画像M6の文字又はテキスト部分を適正に認識し、文字データに変換できる。以下、重なり証憑処理部11の詳細について説明する。
【0059】
本実施形態において、重なり証憑処理部11は、画像取得部111と、証憑位置検出部112と、文字方向検出部119と、画像切出部115と、画像回転補正部117と、画像出力部118と、を備える。
【0060】
画像取得部111は、通信部30から第3の証憑V3を含む第4の画像M4を取得する取得部として機能する。証憑位置検出部112は、第4の画像M4内の第3の証憑V3を検出する検出部として機能する。
【0061】
証憑位置検出部112は、上記の証憑の検出に、学習済みの検出器を用いてよい。検出器の学習方法は、実施形態1で説明したものと同様でよい。
【0062】
文字方向検出部119は、証憑位置検出部112が検出した第3の証憑V3の文字の向きを検出する。文字方向検出部119は、証憑位置検出部112と同様に、第3の証憑V3の文字の向きを検出に、人工知能として学習済みの検出器を用いてよい。検出器の学習時には、学習用データのセットを用いて学習プログラムを実行して学習することで、学習済みパラメータ及び学習済みモデル(検出器)を生成及び更新する。文字方向検出部119は、例えば、AI学習分野におけるアノテーションの処理により、学習用データを作成する。文字方向検出部119は、例えば、任意の証憑が含まれる大量の画像を文字方向別に入力し、入力された画像における証憑が存在する領域の4つの隅部のxy座標値を入力して、座標付きの画像をデータ化することに基づいて、学習用データを生成してよい。この際、1つの証憑の画像内に文字の向きが異なる複数の文字領域を含む画像が、学習用データに含まれる。文字方向検出部119は、学習用データに基づいて、上述の任意の画像中に含まれる1つ以上の文字領域の向き(文字の向き)を学習する。さらに、証憑位置検出部112は、文字の向きが異なる証憑が同一の証憑に含まれるものであるか否かも学習しておく。この結果、証憑位置検出部112は、画像内に存在する複数の文字領域のそれぞれの向き(角度)を検出できる。なお、検出器の学習自体は、証憑位置検出部112の外部で行われてもよい。
【0063】
したがって、証憑位置検出部112及び文字方向検出部119は、画像内の1つの証憑に文字領域の方向が異なる領域が複数存在する場合でも、人工知能としての学習済みの検出器により、画像上の文字領域の方向が異なる領域を検出可能である。
【0064】
本例の第3の証憑V3は、文字の向きが互いに異なる2つの文字領域を含んでいる。よって、文字方向検出部119は、文字の向きが互いに異なる第1の文字領域C1及び第2の文字領域C2を検出してよい。
【0065】
画像切出部115は、第4の画像M4から、第1の文字領域C1を含む第5の画像M5と、第2の文字領域C2に対応する第6の画像M6とを切り出す切出部として機能する。
【0066】
画像回転補正部117は、画像切出部115が切り出した第5の画像M5及び第6の画像M6に対して、回転補正による加工を施す。回転補正は証憑及びその文字が所定の方向(例えば図面の紙面の左右方向)を向くように証憑の画像の向きを変える加工である。画像回転補正部117は、例えば、各画像の特徴を基に各画像に含まれる証憑の上下を検出し、証憑の上下を基に各画像の角度を調整することで、回転補正してよい。画像回転補正部117は、文字の方向又は証憑の外周を示す枠等を基に、回転補正してもよい。よって、画像回転補正部117は、第5の画像M5及び第6の画像M6を回転することで、第5の画像M5及び第6の画像M6の向きを揃えることができる。
【0067】
画像出力部118は、画像回転補正部117により加工された第5の画像M5及び第6の画像M6を出力する出力部として機能する。
【0068】
画像出力部118の処理結果を受けて、OCR処理部12は、一般的なOCR処理に基づき、第5の画像M5及び第6の画像M6の文字を認識する認識部として機能する。OCR処理部12は、各画像の文字を認識したうえで、テキストデータ化する。このテキストデータは、例えば、登録証憑データベース40Dに記憶されてもよいし、通信部30によって、通信ネットワーク70を介して、操作端末50に送信されてもよい。また、重複登録確認処理部13が、テキストデータをチェックすることもある。また、OCR処理部12は、OCR処理により得られたテキストデータに基づいて、証憑の種別(例えば領収書、請求書)毎に証憑を分類してよい。登録証憑データベース40Dは、証憑の種別毎に、画像データ、テキストデータ、又は証憑に関する証憑情報を保持してよい。
【0069】
図7は、実施形態2の証憑情報処理装置1が実行する証憑情報処理方法のフロー図である。
図7では、例えば、通信部30が、スキャナ60から通信ネットワーク70を介して、第4の画像M4を受け取っているものとする。また、第4の画像M4は、証憑の1つ以上の文字領域を含むことを想定する。
【0070】
画像取得部111は、通信部30から第4の画像M4を取得する(ステップS11)。証憑位置検出部112は、第4の画像M4内の証憑の画像(証憑画像、証憑の領域)を検出する(ステップS12)。文字方向検出部119は、証憑位置検出部112が検出した第3の証憑V3の文字の向きを検出し、文字の向きが互いに異なる複数の文字領域、すなわち第1の文字領域C1と第2の文字領域C2が存在するか否かを判定する(ステップS13)。
【0071】
第4の画像M4内に1の文字領域のみが存在する場合(ステップS13;No)、画像切出部115が、この1の文字領域に対応した証憑の画像を切り出す(ステップS14)。画像回転補正部117が、切り出した証憑の画像を回転補正し(ステップS15)、画像出力部118が補正した画像をOCR処理部12に出力する(ステップS16)。
【0072】
ステップS13で、文字方向検出部119が、文字の向きが互いに異なる複数の文字領域が、第4の画像M4内に存在すると判定した場合(ステップS13;Yes)、画像切出部115が、第1の文字領域C1を含む第5の画像M5と、第2の文字領域C2を含む第6の画像M6とを、別々に切り出す(ステップS17)。画像回転補正部117が、切り出した第5の画像M5及び第6の画像M6のそれぞれに対応した証憑の画像を回転補正し(ステップS15)、画像出力部118が補正した画像をOCR処理部12に出力する(ステップS16)。
【0073】
なお、
図8に示すように、第3の証憑V3を含む第4の画像M4のみならず、第3の証憑V3から分離した証憑VYを含む画像MYが存在することがある。第4の画像M4から第5の画像M5及び第6の画像M6が切り出されるので、第5の画像M5と第6の画像M6と画像MYとが出力され、OCR処理の対象となる。
【0074】
図9は、実施形態2の証憑情報処理装置1が実行する証憑情報処理の概念図であり、(A)は処理前の画像、(B)中間過程での画像、(C)は処理後の画像を示す。第4の画像M4は、領収書である第3の証憑V3の画像である。これまで説明した通り、
図9(A)に示すように、第1の文字領域C1を含む第5の画像M5と、第2の文字領域C2を含む第6の画像M6とが、第4の画像M4において隣接して配置されている。第1の文字領域C1の文字の向きは、第2の文字領域C2の文字の向きと互いに90度異なっている。従来のエッジ検出のような手法では、第4の画像M4から第5の画像M5及び第6の画像M6を検出することは困難である。
【0075】
本実施形態の証憑情報処理装置1は、
図9(A)に示す処理前の画像を、
図9(B)に示すように、第5の画像M5及び第6の画像M6を別々に切り出して出力する。すなわち証憑情報処理装置1は、文字の向きが互いに異なる第1の文字領域C1と第2の文字領域C2のそれぞれの方向を検出し、第5の画像M5及び第6の画像M6の両者を検出でき、第5の画像M5及び第6の画像M6の両画像を別々に読取の対象にできる。
【0076】
さらに証憑情報処理装置1は、
図9(C)に示すように、第5の画像M5及び第6の画像M6について回転補正を施すことにより、両画像の文字の向きをOCR処理に適したが文字の向きに揃えるよう調整でき、OCR処理に読取精度を向上できる。
【0077】
なお、上述した例においては、2つの文字領域が1つの証憑に存在している。しかしながら、本実施形態はこのような事例のみならず、3つ以上の文字領域が1つの証憑に存在している事例にも適用可能である。
【0078】
(実施形態3)
証憑の処理にあたって、申請者より申請された証憑の審査は大きな課題の一つである。例えば、申請された証憑が、既に処理された過去の証憑と不一致であるか否か(過去の証憑と重複していないか)の審査は重要である。また、申請された証憑の内容が、証憑の原紙と一致するか否かの審査も重要である。典型例として、証憑の一種である請求書の審査は、企業の経理部門の処理担当者にとって大きな負担となっている。
【0079】
これまで、上記の審査は、例えば、2つの証憑のデータの同一性を審査するチェックサム(checksum)による比較方法により行われている。しかしながら、この方法においては、データが完全に一致しないと同一とみなされない。例えば、2つの証憑のデータの原紙が共通するものであっても、スキャナによるスキャンのタイミングの差、機種の差などの要因により、2つの証憑のデータは本来同じ内容のものであっても別証憑と認定されてしまうことがあり、審査の精度が低下し得る。
【0080】
証憑の処理担当者は、申請者から新たに申請された証憑が過去の証憑と重複していないかどうか、記憶により判断する。また、電子データとともに原紙を管理する会計システムを用いる場合、処理担当者は、申請された証憑データと、証憑の原紙と、を目視により一致確認する。このような処理は処理担当者の負荷を増加させるとともに、審査における見落としを誘発する可能性がある。
【0081】
そこで、本実施形態の証憑情報処理装置1は、処理担当者による証憑に関する作業を支援する。証憑情報処理装置1は、申請された証憑の画像(今回の証憑画像)に基づく証憑のデータ(今回の証憑情報)と、過去に処理済みの証憑の画像又は証憑の原紙をスキャンした原紙画像(登録済みの証憑画像)に基づく証憑のデータ(登録済みの証憑情報)と、を比較し、証憑情報が一致するか否かを判定する。一致する場合、証憑情報処理装置1が警告を発し、処理担当者が警告情報に基づき証憑をチェックすることで、審査の精度を上げるとともに、処理担当者の負担を低減できる。
【0082】
上記処理は、例えば
図1における重複登録確認処理部13が主に行う。重複登録確認処理部13は、申請された証憑に関する今回の証憑情報を受け取る。重複登録確認処理部13は、今回の証憑情報と、登録証憑データベース40Dに登録された登録済みの証憑情報と、を比較する。重複登録確認処理部13が、比較により二つの証憑が重複すると判定した場合、通信部30は、重複することを示す警告情報を提示する旨の指示を含む警告指示情報を、通信ネットワーク70を介して操作端末50Aに送信する。
【0083】
操作端末50Aは、通信部が警告指示情報を受信し、表示部等が警告指示情報に基づいて警告情報を提示する。処理担当者は、操作端末50Aの表示部にて警告情報を確認することができる。なお、証憑情報処理装置1の通信部30は、警告指示情報を処理担当者の操作端末50Aのみならず、申請者の操作端末50Bにも送信してよい。
【0084】
また、電子データとともに原紙を管理する会計システムを用いる場合、操作端末50Bは、操作部を介して申請者に入力された各種情報を取得する。申請者に入力された情報は、今回の証憑情報に含まれ得る証憑に関する情報であり、入力証憑情報とも称する。操作端末50Aは、申請者に入力された入力証憑情報を取得し、表示してよい。操作端末50を使用する処理担当者は、入力証憑情報と証憑の原紙との一致について目視確認も行ってよい。
【0085】
このように、処理担当者は、証憑情報処理装置1が実施する判定により今回の証憑情報と登録済みの証憑情報とが一致しているかを確認し、今回の証憑画像と証憑の原紙との目視確認も行う。両方の確認で一致していない場合、つまり今回の証憑情報が未だ登録されていない証憑情報である場合には、承認完了となる。また、証憑情報処理装置1は、さらに入力証憑情報と今回の証憑情報とが異なる場合にも、同様に警告情報を発するようにしてもよい。
【0086】
図10は、実施形態3の証憑情報処理装置1が実行する証憑情報処理方法のフロー図である。
図10のフローは、例えば、
図3の実施形態1のフロー又は
図7の実施形態2のフローの後に行われてよい。なお、
図10のフローは、必ずしも
図3又は
図7のフローの後に行われるものではなく、これらのフローとは独立して実施可能である。
【0087】
OCR処理部12は、証憑の画像をOCR処理する(ステップS21)。ここでのOCR処理の対象となる証憑の画像は、例えば、実施形態1及び実施形態2における出力画像である第2の画像M2、第3の画像M3、第5の画像M5、第6の画像M6のうち少なくとも1つである。なお、実施形態1又は実施形態2で得られた証憑の画像以外の証憑の画像であってもよい。OCR処理により、証憑の画像から証憑情報(今回の証憑情報)が得られる。
【0088】
重複登録確認処理部13は、OCR処理部12により得られた今回の証憑情報に基づき、過去に同一の証憑情報(登録済みの証憑情報)が、登録証憑データベース40Dに登録されているか否かを判定する(ステップS22)。つまり、重複登録確認処理部13は、登録証憑データベース40Dに登録済みの証憑情報と、今回の証憑情報とが、同じ証憑情報であるか否かを判定する判定部として機能する。
【0089】
重複登録確認処理部13は、例えば、登録済みの証憑情報に含まれる登録済みの証憑識別情報と、今回の証憑情報に含まれる今回の証憑識別情報と、を比較する。重複登録確認処理部13は、登録済みの証憑識別情報と今回の証憑識別情報とが同じである場合、同じ証憑情報であると判定してよい。
【0090】
重複登録確認処理部13により、登録済みの証憑情報と今回の証憑情報とが同じ証憑情報であると判定された場合、ステップS21の証憑の画像(今回の証憑画像)と、登録証憑データベース40Dにおいて登録済みの証憑情報に紐づけられた証憑の画像(登録済みの証憑画像)は、重複する可能性が高い。そこで、通信部30は、通信ネットワーク70を介して、警告指示情報を操作端末50Aに送信する(ステップS23)。警告指示情報は、例えば、警告情報、今回の証憑画像、及び登録済みの証憑画像を含んでよい。
【0091】
操作端末50Aは、通信部が、警告指示情報を受信し、表示部が、警告情報を表示する。また、表示部は、警告情報とあわせて、ステップS22で比較された2つの証憑の画像(今回の証憑画像及び登録済みの証憑画像)を表示してよい(ステップS24)。処理担当者は、この表示を確認することで、今回の証憑画像及び登録済みの証憑画像が一致するか否かを目視にて容易に判別できる。なお、操作端末50Aが2つの証憑の画像のうちの一方を半透明にして2つの証憑の画像を重ねて表示することで、処理担当者は、2つの証憑の画像の差異を容易に認識でき、本当に重複した証憑かを一層容易に目視確認できる。
【0092】
図11は、実施形態3の証憑情報処理装置1による処理結果の画面であり、処理担当者の操作端末50Aが表示する画面である。操作端末50Aの表示部は、
図11(A)の初期画面を表示する。この初期画面は「過去請求書重複」の警告情報を含んでいる。処理担当者がこの警告情報が表示された証憑(請求書)の確認ボタンを押すと、表示部は、
図11(B)のように、2つの証憑の画像(今回の証憑画像と登録済みの証憑画像)を並べて表示する。
【0093】
図12は、処理担当者の操作端末50Aが表示する画面であり、上記の2つの証憑の画像のうち、一方を半透明にさせて2つの画像を重ねて表示させた画像を示す。処理担当者が、操作端末50Aの操作部を介して、例えば
図11(B)における「重ね合わせ」のボックスをチェックすることにより、操作端末50Aの表示部は、
図12の画面を表示する。
図12では、一方の金額部分の記載が「¥52,000」であるのに対し、他方は「¥53,000」であり、その他の記載は同一である。処理担当者は、
図12のような重ね合わせ表示を確認することで、金額部分の記載に誤りがあることを容易に認識できる。また、証憑情報処理装置1は、操作部を介して処理担当者から
図11(B)における「差戻」ボタンを操作されることで、今回の証憑の申請の処理を、前の処理者(例えば申請者)に差し戻してよい。
【0094】
(実施形態4)
一般的に、証憑を申請(提出)する申請者が使用する操作端末50Bは、証憑の提出前に、操作端末50Bの操作部を介して、証憑の申請書の各項目の情報を入力し、処理担当者の操作端末50Aにこの情報(入力証憑情報)を送信する。処理担当者は、入力証憑情報を、証憑情報処理装置1が処理した証憑の画像データと目視で照らし合わせながら確認することがある。この作業も処理担当者にとって大きな負担となっている。
【0095】
本実施形態の証憑情報処理装置1は、通信部30が、通信ネットワーク70を介して、申請者の操作端末50Bから上記申請書のデータ(入力証憑情報)を受信する。入力支援処理部14は、証憑の申請書の所定の項目が、証憑情報処理装置1が過去に読み込んだ証憑のデータの項目と一致するか否かを判定する。つまり、証憑情報処理装置1は、入力証憑情報に含まれる所定の情報が、登録済みの証憑情報に含まれる対応する所定の情報と一致するか否かを判定する。
【0096】
上記の所定の項目が一致する場合、通信部30は、一致した登録済みの証憑情報を操作端末50Aへ送信する。操作端末50Aは、通信部がこの登録済みの証憑情報を受信し、表示部が、証憑の申請書のデータの初期値として表示する。また、上記の所定の情報が一致する場合、入力支援処理部14は、OCR処理部12による読み込みの誤認識をも考慮した表示(例えば類似情報の表示)を行うように、操作端末50Aに指示してよい。
【0097】
上記の所定の項目が一致しない場合、通信部30は、その旨を含む警告情報を含む警告指示情報を操作端末50Aへ送信してよい。操作端末50Aは、通信部が警告指示情報を受信し、表示部が警告情報を表示してよい。処理担当者は、警告情報の表示を確認し、操作部を介して、新たに当該項目を含む情報の新規登録、訂正等の処理を行ってよい。
【0098】
上記処理は、例えば
図1における入力支援処理部14が主に行う。入力支援処理部14は、OCR処理部12から送られたOCR処理済の証憑の画像を受け取る。入力支援処理部14は、申請された証憑の画像から、例えば代表的な項目、例えば請求書の振込先口座番号に該当する文字を特定する。入力支援処理部14は、登録証憑データベース40Dを参照し、登録された過去に処理済みの証憑に紐づけられた当該項目、つまり登録済みの証憑情報における振込先口座番号を検索する。
【0099】
入力支援処理部14は、登録証憑データベース40Dにおいて、申請された証憑の代表的な項目(例えば振込先口座番号)と一致する情報を有する登録済みの証憑情報が存在するか否かを判定する。存在する場合、通信部30は、当該項目を含む登録済みの証憑情報を、通信ネットワーク70を介して処理担当者の操作端末50Aに送信する。
【0100】
図13は、実施形態4の証憑情報処理装置1による処理結果の画面であり、処理担当者の操作端末50Aが表示する画面である。本例は証憑が請求書の例である。
【0101】
この例では、入力支援処理部14が、OCR処理により得られた請求書の振込先口座番号と、登録証憑データベース40Dに登録された登録済みの証憑情報に含まれる振込先口座番号と、を比較する。比較の結果、2つの振込先口座番号が一致した場合、通信部30は、この振込先口座番号を含む登録済みの証憑情報を、通信ネットワーク70を介して処理担当者の操作端末50Aに送信する。ここでの登録済みの証憑情報には、証憑に関する基本情報や明細情報等が含まれる(
図13参照)。操作端末50Aは、通信部が操作端末50Aから登録済みの証憑情報を受信し、表示部がこの証憑情報の少なくとも一部を表示する。
【0102】
なお、入力支援処理部14は、OCR処理における誤認識を考慮し、OCR処理により得られた振込先口座番号に類似した類似文字列を生成してよい。この場合、入力支援処理部14は、OCR処理により得られた振込先口座番号の文字列に対して置換する場合の信頼度が所定値以上である類似文字列を生成する。入力支援処理部14は、OCR処理により得られた振込口座番号の文字列の代わり、生成された類似文字列と一致する振込先口座番号が登録証憑データベース40Dに蓄積されているか否かを判定する。一致する振込先口座番号が蓄積されている場合、通信部30は、この一致した振込先口座番号を含む登録済みの証憑情報を、上記の信頼度の情報とともに、操作端末50Aに送信してもよい。
【0103】
図13は、上記2つの振込先口座番号を比較した結果、2つの振込先口座番号が一致しない場合を示している。この場合、入力支援処理部14は、OCR処理により得られた振込先口座番号に対して、類似文字列を生成する。入力支援処理部14は、登録証憑データベース40Dを参照し、生成された類似文字列と一致する振込先口座番号を含む登録済みの証憑情報を取得する。通信部30は、警告指示情報を操作端末50Aに送信する。この警告指示情報は、2つの振込先口座番号が一致しないことを示す警告情報と、取得された登録済みの証憑情報と、OCR処理により得られた振込先口座番号と、含んでよい。操作端末50Aは、通信部が、警告指示情報を受信し、表示部が、例えば、警告情報と、取得された登録済みの証憑情報と、OCR処理により得られた振込先口座番号と、を表示する。
【0104】
処理担当者は、
図13の画面上の振込先口座番号に関する警告情報W1を見て、申請者による入力に間違いがある可能性が高いことを確認することができる。さらに、操作端末50Aは、操作部を介して処理担当者により警告情報W1に隣接した詳細ボタンが押されることで、
図14の画面が表示される。
図14は、操作端末50Aに表示される画面の例である。
図14により、警告が発生した要因を確認できる。
図14の表示では、申請者が入力した振込先口座番号(入力内容、一例として「2975936」)と、OCR処理による振込先口座番号(OCR結果、一例として「2915936」)と、登録証憑データベース40Dに登録された、類似した振込先口座番号(類似候補、一例として「2915935」)と、が含まれる。
【0105】
処理担当者は、この3つの振込先口座番号を確認し、例えば申請者が入力した振込先口座番号が正しい場合、操作端末50Aの操作部を介して、申請者が入力した振込先口座番号が正しいことを指示してよい。この指示情報は、通信部を介して証憑情報処理装置1に送信されてよい。証憑情報処理装置1は、通信部30がこの指示情報を受信し、申請者が入力した振込先口座番号が正であるので、この振込先口座番号を含む入力証憑情報を登録証憑データベース40Dに登録してよい。
【0106】
処理担当者は、この3つの振込先口座番号を確認し、例えば申請者が入力した振込先口座番号が誤っている場合、操作端末50Aの操作部を介して、正しい振込先口座番号(例えばOCR結果又は類似候補の振込先口座番号)を指示してよい。この指示情報は、通信部を介して証憑情報処理装置1に送信されてよい。証憑情報処理装置1は、通信部30がこの指示情報を受信し、入力証憑情報における振込先口座番号を正しい振込先口座番号に置き換えて、入力証憑情報を登録証憑データベース40Dに登録してよい。
【0107】
実施形態4によれば、証憑情報処理装置1は、例えば、処理担当者が証憑の申請書のデータの正当性を判別する際に、入力証憑情報と、OCR結果又は登録済みの証憑情報等とを比較し、これらの情報の一致の有無に基づいて、処理担当者が申請書を確認するための入力作業を支援できる。よって、証憑情報処理装置1は、処理担当者による申請内容の審査における負担を減らすことが可能となる。
【0108】
なお、入力証憑情報と登録済みの証憑情報とを比較するために振込先口座番号の一致の有無を判別することを主に例示したが、これに限られない。例えば、入力支援処理部14は、請求書番号、振り込みの相手先、振込金額、又は振込日付等をキーとして、登録済みの証憑情報の検索等を行ってもよい。これらの項目は、通常、領収書に含まれる情報である。
【0109】
なお、振込先口座番号が登録証憑データベース40Dに登録されることを示したが、これに限られない。振込先に関する情報を蓄積する振込先マスターデータベースが、登録証憑データベース40Dとは別に設けられてもよい。振込先マスターデータベースは、例えば、振込先口座の所有者に関する情報(氏名、住所、電話番号、等)、振込先口座番号、等が含まれてよい。振込先マスターデータベースが振込先に関する情報を管理する場合、上述の正しい振込先口座番号の情報は、振込先マスターデータベースに反映されてよい。
【0110】
(実施形態5)
実施形態5では、証憑を申請(提出)する申請者が使用する操作端末50Bは、証憑の申請前に、申請の予定を知らせるための予定申請を行ってよい。操作端末50Bは、予定申請では、操作部を介して証憑の申請書の各項目の予定内容を示す情報(予定証憑情報)を入力し、通信部を介して、この予定入力証憑情報を証憑情報処理装置1に送信する。予定入力証憑情報は、入力証憑情報として入力される予定の情報であり、証憑情報と同様の情報(一部は予定情報となる)を含み、例えば、請求書の場合、予定支払額、又は予定振込先等を含む。また、予定入力証憑情報は、予定申請者の操作端末50Bの連絡先情報(例えばメールアドレス等)も含む。操作端末50Bの制御部は、通信部を介して登録証憑データベース40Dと連携して、登録済みの証憑情報の少なくとも一部に基づいて、予定入力証憑情報の少なくとも一部を入力(生成)してもよい。
【0111】
証憑情報処理装置1の入力予定処理部15は、通信部30を介して操作端末50Bからの予定入力証憑情報を受信し、登録証憑データベース40Dに登録しておく。入力予定処理部15は、予定入力証憑情報に基づいて、証憑(例えば請求書)の提出を促す処理を行う。これにより、証憑情報処理装置1は、証憑の登録漏れ又は作成漏れ等を防止できる。
【0112】
ここで、予定申請の段階では証憑の画像及び証憑の画像のOCR処理に基づく証憑情報が登録されていない。例えば、この予定申請に対して予定申請者の上司による承認が完了すると、入力予定処理部15は、この予定申請に係る証憑の画像のアップロードを促す入力促進通知を生成する。入力促進通知は、例えば、証憑の画像のデータアップロード先のURLを含む通信部30は、生成された入力促進通知を操作端末50Bに送信する。
【0113】
図15は、実施形態5の証憑情報処理装置1による処理結果の画面であり、予定申請者の操作端末50Bが表示する画面である。本例は証憑が請求書の例である。
【0114】
予定申請者は、
図15の画面を確認し、例えば画面中のステータスにおける「請求書登録待ち」を参照する。そして、操作端末50Bは、例えば操作部への予定申請者による操作に基づいて、通信部が、請求書の画像を指定されていた場所にアップロードに送信してよい。よって、予定申請を行っていた申請者は、上述した請求書(証憑)のデータアップロード用のURLを用いて、容易に請求書の画像をアップロードできる。アップロードされた証憑(請求書)の画像は、登録証憑データベース40Dに、この予定申請に係る予定入力証憑情報に関連付けて保持される。予定入力証憑情報及び請求書等の証憑画像は、処理予定のタイミング(例えば処理の予定月)になると、処理担当者によって確認され、証憑情報処理装置1又は処理担当者の操作端末50A等によって処理可能である。
【0115】
なお、申請者による予定申請に誤りがある場合(振込先口座番号の誤りなど)、実施形態4で述べたように、入力支援処理部14が警告情報を作成し、操作端末50A及び操作端末50Bに送信してもよい。
【0116】
実施形態5によれば、証憑情報処理装置1は、上述のような請求予定入力機能を有することで、予定申請者に対する入力促進通知により、予定入力証憑情報の入力タイミングとは異なるタイミングでの証憑の登録を支援できる。
【0117】
以上のように、上記実施形態の証憑情報処理装置1は、証憑を含む第1の画像M1を取得する取得部(例えば画像取得部111)と、第1の画像M1内の第1の証憑及び第2の証憑を含む複数の証憑を検出する検出部(例えば証憑位置検出部112)と、第1の画像M1から、第1の証憑を含む第2の画像を切り出す切出部(例えば画像切出部115)と、第2の画像内で第1の証憑と第2の証憑とが重なっている場合、第2の画像から前記第2の証憑の領域(例えば加工領域MX)を文字認識不能に加工する加工部(例えば画像加工部116)と、加工部により加工された第2の画像を出力する出力部(例えば画像出力部118)と、を備える。
【0118】
これにより、証憑情報処理装置1は、複数枚(例えば2枚)の証憑が重なっていても、例えば人工知能により各証憑を個別に検出できる。よって、証憑情報処理装置1は、例えば複数の証憑が重なっている場合、特に複数の証憑のいずれか一方の全体がいずれか他方に包含されるように完全に重複している場合でも、各証憑を個別に検出できる。これにより、証憑情報処理装置1は、証憑検出時のユーザの負担を低減でき、証憑内容の読取完了までに要する時間を短縮することができる。
【0119】
また、切出部は、第1の画像M1から、第2の証憑を含む第3の画像を切り出してよい。出力部は、前記第3の画像を出力してよい。これにより、証憑情報処理装置1は、第1の画像M1に含まれる各証憑の画像を別々に切り出すことで、例えば切り出された複数の画像に対してOCR処理された場合には、文字認識精度の低下を抑制できる。
【0120】
また、証憑情報処理装置1は、第2の画像及び第3の画像の文字を認識する認識部を備えてよい。これにより、証憑情報処理装置1は、複数の証憑が重なっている場合でも、複数の証憑のそれぞれを含む別々の画像を導出できるので、導出された各画像を基に文字認識することで、文字認識精度の低下を抑制できる。
【0121】
また、第2の画像は、第3の画像よりも画像範囲が大きくてよい。これにより、証憑情報処理装置1は、複数の証憑が重なっており、複数の画像の大きさ(画像範囲)つまり複数の証憑の大きさが異なる場合でも、複数の証憑が重なっている場合の文字認識精度の低下を抑制できる。
【0122】
また、加工部は、第2の画像内での第1の証憑と第2の証憑との重複率が閾値以上である場合、第2の画像から第2の証憑の領域を文字認識不能に加工してよい。これにより、証憑情報処理装置1は、複数の証憑の重複率が高く、文字認識エラーが発生する確率が高い場合に限って、文字認識不能に加工する処理を実施する。よって、証憑情報処理装置1は、加工処理に係る処理負荷を低減しつつ、複数の証憑の文字認識精度を向上できる。
【0123】
また、上記実施形態の証憑情報処理装置1は、証憑を含む第4の画像を取得する取得部と、第4の画像内の証憑を検出する検出部と、検出部により検出された証憑に、文字の向きが互いに異なる第1の文字領域と第2の文字領域とを含む複数の文字領域が存在する場合、第1の文字領域を含む第5の画像と、第2の文字領域を含む第6の画像と、を切り出す切出部と、第5の画像及び前記第6の画像を出力する出力部と、を備える。
【0124】
これにより、証憑情報処理装置1は、1枚の証憑に文字の向きが互いに異なる複数の文字領域が存在しても、人工知能等により各文字領域を個別に検出できる。よって、各文字領域を別々の画像に含めて文字認識することで、複数の文字領域に含まれる文字の文字認識精度を向上できる。これにより、証憑情報処理装置1は、証憑検出時のユーザの負担を低減でき、証憑内容の読取完了までに要する時間を短縮することができる。
【0125】
また、証憑情報処理装置1は、第5の画像と第6の画像とを別々に回転補正する補正部(例えば画像回転補正部117)を備えてよい。出力部は、回転補正された第5の画像と第6の画像とを出力してよい。
【0126】
これにより、証憑情報処理装置1が、例えば複数の文字領域に含まれる文字の向きが揃うように第5の画像及び第6の画像を回転補正することで、文字認識処理による文字認識がし易くなる。よって、証憑情報処理装置1が、文字認識精度を向上できる。また、文字認識エラーの発生が抑制されることで、文字認識を正確に行うために証憑の画像の角度を手動操作で調整することが不要となる。よって、証憑情報処理装置1は、ユーザの手間を低減でき、文字認識が完了するまでの時間を短縮できる。
【0127】
また、証憑情報処理装置1は、前記第5の画像及び前記第6の画像の文字を認識する認識部、を備えてよい。これにより、証憑情報処理装置1は、証憑における複数の文字領域における文字の向きが異なっている場合でも、複数の文字領域のそれぞれを含む別々の画像を導出することで、各画像の角度が補正され、文字列に角度の無い正面の画像として出力できるため、導出された各画像を基に文字認識することで、文字認識精度の低下を抑制できる。
【0128】
また、証憑情報処理装置1は、証憑に関する第1の証憑情報を蓄積する蓄積部(例えば登録証憑データベース40D)を備えてよい。証憑情報処理装置1が、蓄積部により蓄積された第1の証憑情報と、第2の画像、第3の画像、第5の画像、第6の画像の少なくともいずれか1つに対する文字認識により得られた第2の証憑情報とが、同じ証憑情報であるか否かを判定する判定部(例えば重複登録確認処理部13)を備えてよい。証憑情報処理装置1は、第1の証憑情報と第2の証憑情報とが同じ証憑情報であると判定された場合、警告情報を提示する旨の指示を送信する送信部(例えば通信部30)と、を備えてよい。
【0129】
これにより、証憑情報処理装置1は、警告情報を提示する旨の指示を例えば操作端末50Aに送信することで、今回得られた第2の証憑情報と、以前に得られて蓄積された第1の証憑情報と、の一致性を確認できる。これにより、証憑情報処理装置1は、処理担当者により同じ証憑情報が複数回登録されることを防止でき、経理に係る処理精度を向上できる。
【0130】
また、第1の証憑情報は、証憑を識別する第1の証憑識別情報を含んでよい。第2の証憑情報は、証憑を識別する第2の証憑識別情報を含んでよい。判定部は、第1の証憑識別情報と第2の証憑識別情報とが同じである場合、第1の証憑情報と第2の証憑情報とが同じ証憑情報であると判定してよい。
【0131】
これにより、証憑情報処理装置1は、証憑識別情報をキーとして、今回得られた第2の証情報と過去に得られた第1の証憑情報との一致性を判定できる。
【0132】
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【0133】
また、上記実施形態では、プロセッサは、物理的にどのように構成してもよい。また、プログラム可能なプロセッサを用いれば、プログラムの変更により処理内容を変更できるので、プロセッサの設計の自由度を高めることができる。プロセッサは、1つの半導体チップで構成してもよいし、物理的に複数の半導体チップで構成してもよい。複数の半導体チップで構成する場合、上記実施形態の各制御をそれぞれ別の半導体チップで実現してもよい。この場合、それらの複数の半導体チップで1つのプロセッサを構成すると考えることができる。また、プロセッサは、半導体チップと別の機能を有する部材(コンデンサ等)で構成してもよい。また、プロセッサが有する機能とそれ以外の機能とを実現するように、1つの半導体チップを構成してもよい。また、複数のプロセッサが1つのプロセッサで構成されてもよい。
【産業上の利用可能性】
【0134】
本開示は、証憑検出時のユーザの手間を低減でき、証憑内容の読取完了までに要する時間を短縮できる証憑情報処理装置、証憑情報処理方法、及びプログラム等に有用である。
【符号の説明】
【0135】
1 証憑情報処理装置
10 画像処理部
11 重なり証憑処理部
12 OCR処理部
13 重複登録確認処理部
14 入力支援処理部
15 入力予定処理部
20 証憑情報管理部
30 通信部
40 記憶部
40D 登録証憑データベース
50 操作端末
60 スキャナ
70 通信ネットワーク
111 画像取得部
112 証憑位置検出部
113 大小関係算出部
114 重複率算出部
115 画像切出部
116 画像加工部
117 画像回転補正部
118 画像出力部
200 証憑情報処理システム
C1 第1の文字領域
C2 第2の文字領域
M1 第1の画像
M2 第2の画像
M3 第3の画像
M4 第4の画像
M5 第5の画像
M6 第6の画像
MX 加工領域
V1 第1の証憑
V2 第2の証憑