特開 2023-3648 情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023003648

(43)【公開日】2023-01-17

(54)【発明の名称】情報処理装置およびプログラム

(51)【国際特許分類】

   G06V 30/242 20220101AFI20230110BHJP

   G06V 30/164 20220101ALI20230110BHJP

   G06V 30/14 20220101ALI20230110BHJP

【ＦＩ】

G06K9/62 610C

G06K9/40

G06K9/20 320P

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021104849

(22)【出願日】2021-06-24

(71)【出願人】

【識別番号】000116079

【氏名又は名称】ローレルバンクマシン株式会社

(71)【出願人】

【識別番号】500267170

【氏名又は名称】ローレル機械株式会社

(71)【出願人】

【識別番号】500265501

【氏名又は名称】ローレル精機株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】小澤 茂樹

【テーマコード（参考）】

5B029

5B064

【Ｆターム（参考）】

5B029AA01

5B029BB02

5B029CC22

5B029CC26

5B029CC27

5B029EE13

5B064AA01

5B064AB03

5B064AB13

5B064AB17

5B064BA01

5B064CA08

5B064CA09

5B064DA10

(57)【要約】

【課題】数字を含む文書に対する文字認識精度を向上させる。
【解決手段】情報処理装置の一例である文字認識装置１０は、処理対象画像に含まれる数字を認識する数字認識部１２６と、処理対象画像に含まれる記号を認識する記号認識部１２７とを備える。記号認識部１２７は、数字および数字以外の記号を表す段落画像Ｐ４から、記号に対応する部分画像Ｃ１，Ｃ４，Ｃ８を認識する。数字認識部１２６は、記号に対応する部分画像Ｃ１，Ｃ４，Ｃ８が消去された段落画像Ｐ４Ａに含まれる数字を認識する。
【選択図】図９

【特許請求の範囲】

【請求項1】

数字および数字以外の記号を表す第１画像から、前記記号に対応する第１部分を消去した第２画像を生成する生成部と、
前記生成部によって生成された第２画像に含まれる数字を認識する数字認識部と、
を備える、
情報処理装置。

【請求項2】

前記第１画像に含まれる前記記号を認識する記号認識部を更に備え、
前記生成部は、
前記記号認識部によって認識された前記記号に対応する部分を前記第１部分として消去して前記第２画像を生成する、
請求項１記載の情報処理装置。

【請求項3】

前記数字認識部によって識別された前記数字と、前記記号認識部によって識別された前記記号とを配列した文字列を出力する出力部を更に備え、
前記文字列に含まれる前記数字および前記記号の配列は、
前記第１画像における前記数字および前記記号の配列に対応している、
請求項２記載の情報処理装置。

【請求項4】

前記第１画像は、複数の部分に分割され、
前記数字認識部は、
前記複数の部分各々における表記を前記数字として認識し、前記数字の認識結果の確度を示す第１確度を算出し、
前記記号認識部は、
前記複数の部分各々における表記を前記記号として認識し、前記記号の認識結果の確度を示す第２確度を算出し、
前記生成部は、
前記第１確度と前記第２確度との比較結果に基づいて、前記第１画像における前記第１部分を特定し、前記第１部分を前記第１画像から消去する、
請求項２または３記載の情報処理装置。

【請求項5】

前記生成部は、
前記第１画像に対してノイズ除去処理を行うことにより前記第２画像を生成する、
請求項１記載の情報処理装置。

【請求項6】

前記第１画像は、手書きの前記数字を含む文書を読み取った画像である、
請求項１から５のいずれか１項記載の情報処理装置。

【請求項7】

プロセッサを、
数字および数字以外の記号を表す第１画像から、前記記号に対応する第１部分を消去した第２画像を生成する生成部と、
前記生成部によって生成された第２画像に含まれる数字を認識する数字認識部と、
して機能させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置およびプログラムに関する。

【背景技術】

【0002】

文字認識装置等の情報処理装置では、一般的に、光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）技術が採用されている。ＯＣＲ技術は、帳票等の文書に記載された文字をカメラおよびイメージスキャナ等の光学的な手段により画像として取込み、取り込んだ画像内の文字をコンピュータ等が利用可能な文字情報（例えば、文字コード）に変換する技術である。例えば、下記特許文献１には、文字と罫線とを含む処理対象画像から、設定した長さ方向の罫線を削除した画像を生成する技術が開示されている。文字認識においてノイズとなる罫線を処理対象画像から削除することにより、処理対象画像に含まれる文字の認識精度が高くなることが予測される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１４２６２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

情報処理装置を用いて数字を含む文書を文字認識する際に、桁数を表すカンマや小数点を示すドットなどの数字に付随して使用される記号が、数字や数字の一部と誤認識されることによって、数字の認識精度が低下する場合がある。上述した従来技術は、長さ方向の罫線を取り除くことはできるが、数字に付随して使用される記号が数字として誤認識されることを防止できないため、数字の認識精度の低下を抑制できないという問題がある。

【課題を解決するための手段】

【0005】

本発明の好適な態様に係る情報処理装置は、数字および数字以外の記号を表す第１画像から、前記記号に対応する第１部分を消去した第２画像を生成する生成部と、前記生成部によって生成された第２画像に含まれる数字を認識する数字認識部と、を備える。

【0006】

本発明の好適な態様に係るプログラムは、プロセッサを、数字および数字以外の記号を表す第１画像から、前記記号に対応する第１部分を消去した第２画像を生成する生成部と、前記生成部によって生成された第２画像に含まれる数字を認識する数字認識部と、して機能させる。

【発明の効果】

【0007】

本発明によれば、数字を含む文書の文字認識精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態にかかる文字認識システムの構成を示す図である。

【図2】領収書画像の一例を示す図である。

【図3】認識結果データの一例を示す図である。

【図4】端末装置のハードウェア構成の一例を示すブロック図である。

【図5】端末装置の機能的構成の一例を示すブロック図である。

【図6】文字認識装置のハードウェア構成の一例を示すブロック図である。

【図7】文字認識装置の機能的構成の一例を示すブロック図である。

【図8】レイアウト解析後の領収書画像の一例を示す図である。

【図9】第２文字認識部の文字認識方法について説明する図である。

【図10】文字認識装置による文字認識処理の手順を示すフローチャートである。

【図11】第２文字認識部による第２文字認識処理の手順を示すフローチャートである。

【図12】第２実施形態における認識結果データの一例を示す図である。

【図13】第３実施形態における第２文字認識部の文字認識方法について説明する図である。

【図14】第４実施形態における文字認識装置の機能的構成を示すブロック図である。

【図15】第４実施形態の適用が好適な領収書画像の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら本発明にかかる好適な実施形態を説明する。なお、図面において各部の寸法または縮尺は実際と適宜に異なり、理解を容易にするために模式的に示している部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。

【0010】

本実施形態において、表記とは、文書や文書を読み取った画像において、背景と区別される線や点を指すものとする。表記は、文字を示す場合もあるし、罫線を示す場合もある。また、表記は、図柄を示す場合もあるし、筆記具が意図せずに筆記用紙に接して書かれた線や点である場合もある。
本実施形態において、文字とは、漢字、ひらがな、カタカナ、アルファベット、数字、記号等、言葉や言語を伝達し記録するために線や点を使って人為的に定められた表記を指すものとする。よって、例えば筆記具が意図せずに筆記用紙に接して書かれた線や点、罫線などは、文字に含まれない。
本実施形態において、数字とは、数を示す文字である。本実施形態では、数字は、例えばアラビア数字（０，１…９）を指すものとする。
本実施形態において、言語文字とは、漢字、ひらがな、カタカナ、アルファベットなど、言語の表記に用いられる文字である。例えばドットやカンマ、句点、読点は、言語文字とともに用いられるが、本実施形態では、ドットやカンマ、句点、読点は、記号に分類される。
本実施形態において、記号とは、ドットやカンマ、句点、読点、ハイフン、演算記号等の、一般的には言語文字や数字に付随して用いられることにより、特定の意味を示す表記を指すものとする。なお、記号が単独で用いられてもよい。

【0011】

［第１実施形態］
［文字認識システムの概要］
図１は、実施形態にかかる文字認識システム１の構成を示す図である。文字認識システム１は、文字認識装置１０と、端末装置２０とを備える。文字認識装置１０は、情報処理装置の一例である。文字認識装置１０と端末装置２０とは、ネットワークＮＷを介して接続されている。ネットワークＮＷは、インターネットおよびローカルエリアネットワークを含み得る。例えば、ネットワークＮＷは、有線ネットワークおよび無線ネットワークの一方または両方を含む。また、ネットワークＮＷと文字認識装置１０との接続は、例えば、複数の要素間を互いに通信可能にする接続であればよく、有線および無線の一方を用いた接続であってもよいし、有線および無線の両方を用いた接続であってもよい。

【0012】

文字認識装置１０としては、ネットワークＮＷに接続可能な任意の情報処理装置を採用することができる。文字認識装置１０は、例えば、光学文字認識（ＯＣＲ）技術を用いて、画像に含まれる文字を認識する文字認識処理を実行する。文字認識処理の対象となる領収書画像ＲＩの一例は、後述する図２において説明される。また、文字認識装置１０の構成は、後述する図６および図７において説明される。

【0013】

端末装置２０としては、ネットワークＮＷに接続可能な任意の情報処理装置を採用することができる。具体的には、端末装置２０は、例えば、パーソナルコンピュータ等の据置型の情報機器であってもよいし、ノート型のパーソナルコンピュータ、タブレット端末、スマートフォン等の可搬型の情報端末であってもよい。端末装置２０の構成は、後述する図４および図５において説明される。

【0014】

本実施形態では、文字認識装置１０は領収書データ化サービスを提供する事業者が保有する情報処理装置である。また、端末装置２０は、領収書データ化サービスを利用するユーザが保有する情報処理装置である。領収書データ化サービスとは、領収書が写る画像（以下「領収書画像」という）に対して文字認識処理を行い、領収書内に記載された文字をコンピュータで処理可能なデータに変換するサービスである。すなわち、本実施形態では、処理対象画像は領収書画像ＲＩ（図２参照）である。コンピュータで処理可能なデータとは、例えばＳｈｉｆｔ－ＪＩＳコードのようなテキストデータである。ユーザは、データ化したい領収書をスキャナで読み取る、または、カメラで撮影するなどして、領収書画像ＲＩを生成する。ユーザは、端末装置２０を用いて領収書画像ＲＩを文字認識装置１０に送信する。文字認識装置１０は、端末装置２０から送信された領収書画像ＲＩに対して文字認識処理を行い、文字認識処理の結果を含む認識結果データＲＤ（図３参照）を端末装置２０に送信する。ユーザは、送信された認識結果データを、例えば会計管理用アプリケーションに入力して経費の管理等を行う。領収書データ化サービスを利用することによって、紙の領収書に記載された内容が自動的にデータ化され、例えば領収書の内容をコンピュータに手入力する場合と比較して、経費管理の効率を向上させることができる。

【0015】

図２は、領収書画像ＲＩの一例を示す図である。図２に示す領収書画像ＲＩは、文書名表記Ｎ１、日付表記Ｎ２、宛先表記Ｎ３、金額表記Ｎ４、但書表記Ｎ５、領収確認文表記Ｎ６、住所表記Ｎ７および発行者名表記Ｎ８を含んでいる。各表記Ｎ１～Ｎ８は、領収書の地色と区別可能な色で記載された線や点で構成されている。以下、領収書画像ＲＩにおいて、領収書の地色を表示する色を背景色、各表記Ｎ１～Ｎ８を表示する色を表記色という。

【0016】

文書名表記Ｎ１は、文書が領収書であることを示す表記である。日付表記Ｎ２は、領収書が発行された日付を示す表記である。宛先表記Ｎ３は、領収書の宛先を示す表記である。金額表記Ｎ４は、領収された金銭の額（金額）を示す表記である。但書表記Ｎ５は、金銭と引き換えに提供された商品やサービスの名称を示す表記である。領収確認文表記Ｎ６は、金額表記Ｎ４に記載の金額を、但書表記Ｎ５の名目で領収した旨を確認する文言の表記である。住所表記Ｎ７は、領収書の発行者の住所を示す表記である。発行者名表記Ｎ８は、領収書の発行者の名称を示す表記である。

【0017】

図２に示す領収書画像ＲＩでは、文書名表記Ｎ１および領収確認文表記Ｎ６は、活字で記載されている。また、宛先表記Ｎ３、金額表記Ｎ４、住所表記Ｎ７および発行者名表記Ｎ８は、手書きされた文字である手書き文字で記入されている。日付表記Ｎ２および但書表記Ｎ５は、手書き文字と活字が混在している。一般に、手書き用に市販されている領収書用紙では、全ての領収書において共通の項目は活字で予め印刷されており、個々の領収書によって異なる項目は手書きで記載される。図２に示す領収書画像ＲＩは、手書き用に市販されている領収書用紙に、必要箇所が手書きされた領収書が写る画像である。なお、図２に示す領収書画像ＲＩは一例であり、例えば領収書画像の全ての項目が活字で印刷されていてもよいし、領収書画像の全ての項目が手書きされていてもよい。

【0018】

図３は、認識結果データＲＤの一例を示す図である。図３に示す認識結果データＲＤは、図２の領収書画像ＲＩを文字認識した結果を示している。認識結果データＲＤは、日付認識結果Ｄ１、宛先認識結果Ｄ２、金額認識結果Ｄ３、但書認識結果Ｄ４、発行者認識結果Ｄ５を含んでいる。日付認識結果Ｄ１は、日付表記Ｎ２を文字認識した結果を示す。宛先認識結果Ｄ２は、宛先表記Ｎ３を文字認識した結果を示す。金額認識結果Ｄ３は、金額表記Ｎ４を文字認識した結果を示す。但書認識結果Ｄ４は、但書表記Ｎ５を文字認識した結果のうち、商品やサービスの名称部分を示す。発行者認識結果Ｄ５は、発行者名表記Ｎ８を文字認識した結果を示す。なお、図３に示す認識結果データＲＤでは、文書名表記Ｎ１、領収確認文表記Ｎ６および住所表記Ｎ７に対応する文字認識の結果は含まれていない。文書名表記Ｎ１および領収確認文表記Ｎ６は、領収書データ化サービスにおいては自明の事項であるため、省略される。また、住所表記Ｎ７は、経費管理上必要がないため、省略される。なお、認識結果データＲＤとして送信する情報を、ユーザが指定できるようにしてもよい。例えば、認識結果データＲＤに住所表記Ｎ７を含めるように、ユーザが文字認識装置１０に対して指定できるようにしてもよい。

【0019】

［システム構成］
次に、端末装置２０および文字認識装置１０の構成について説明する。

【0020】

図４は、端末装置２０のハードウェア構成の一例を示すブロック図である。端末装置２０は、端末装置２０の各部を制御するプロセッサ２２と、各種情報を記憶するメモリ２４と、通信装置２６と、操作装置２８と、表示装置２９とを備える。

【0021】

メモリ２４は、例えば、プロセッサ２２の作業領域として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリと、制御プログラムＰＧ２等の各種情報を記憶するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリとの、一方または両方を含み、後述する記憶部２４０（図５参照）として機能する。なお、メモリ２４は、端末装置２０に着脱可能であってもよい。具体的には、メモリ２４は、端末装置２０に着脱されるメモリカード等の記憶媒体であってもよい。また、メモリ２４は、例えば、端末装置２０とネットワークＮＷ等を介して通信可能に接続された記憶装置（例えば、オンラインストレージ）であってもよい。

【0022】

メモリ２４は、例えば、制御プログラムＰＧ２を記憶している。本実施形態では、制御プログラムＰＧ２は、例えば、文字認識装置１０に領収書画像ＲＩを送信し、認識結果データＲＤを得るためのアプリケーションプログラムを含む。制御プログラムＰＧ２は、例えば、プロセッサ２２が端末装置２０の各部を制御するためのオペレーティングシステムプログラムを含んでもよい。

【0023】

プロセッサ２２は、例えば、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成される。プロセッサ２２は、例えば、メモリ２４に記憶された制御プログラムＰＧ２を実行し、制御プログラムＰＧ２に従って動作することで、後述する制御部２２０（図５参照）として機能する。

【0024】

また、例えば、プロセッサ２２が複数のＣＰＵを含んで構成される場合、制御部２２０の一部または全部の機能は、これら複数のＣＰＵが制御プログラムＰＧ２等のプログラムに従って協働して動作することで実現されてもよい。また、プロセッサ２２は、１または複数のＣＰＵに加え、もしくは、１または複数のＣＰＵのうち一部または全部に代えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを含んで構成されるものであってもよい。この場合、プロセッサ２２により実現される制御部２２０の一部または全部は、ＤＳＰ等のハードウェアにより実現されてもよい。

【0025】

通信装置２６は、有線ネットワークおよび無線ネットワークの一方または両方を介して、端末装置２０の外部に存在する外部装置との通信を行うためのハードウェアであり、通信部２６０として機能する。

【0026】

操作装置２８は、端末装置２０のユーザによる操作を受け付けるためのハードウェアであり、操作部２８０として機能する。例えば、操作装置２８は、操作ボタン、タッチパネル、キーボード、および、マウス等の一部または全部を含む、１または複数の機器から構成されるものであってもよい。

【0027】

表示装置２９は、端末装置２０のユーザに各種情報を表示するためのハードウェアであり、表示部２９０として機能する。例えば、表示装置２９は、端末装置２０が有するディスプレイ、または端末装置２０に接続されたディスプレイであってもよい。

【0028】

なお、端末装置２０のハードウェア構成は、図４に示した例に限定されない。例えば、端末装置２０は、紙媒体である領収書から領収書画像ＲＩを生成するためのカメラまたはイメージスキャナ等の光学的な装置を有してもよい。

【0029】

図５は、端末装置２０の機能的構成の一例を示すブロック図である。端末装置２０は、端末装置２０の各部を制御する制御部２２０と、各種情報を記憶する記憶部２４０と、文字認識装置１０等の外部装置との間の通信を実行するための通信部２６０と、端末装置２０のユーザによる操作を受け付けるための操作部２８０と、各種情報を表示するための表示部２９０とを有する。

【0030】

制御部２２０は、画像送信部２２２および認識結果データ受信部２２４を備える。画像送信部２２２は、文字認識装置１０に対して領収書画像ＲＩを送信する。認識結果データ受信部２２４は、文字認識装置１０から認識結果データＲＤを受信する。

【0031】

図６は、文字認識装置１０のハードウェア構成の一例を示すブロック図である。文字認識装置１０は、文字認識装置１０の各部を制御するプロセッサ１２と、各種情報を記憶するメモリ１４と、通信装置１６とを有する。

【0032】

メモリ１４は、例えば、プロセッサ１２の作業領域として機能するＲＡＭ等の揮発性メモリと、制御プログラムＰＧ１等の各種情報を記憶するＥＥＰＲＯＭ等の不揮発性メモリとの、一方または両方を含み、後述する記憶部１４０（図７参照）として機能する。なお、メモリ１４は、図４において説明された端末装置２０のメモリ２４と同様に、文字認識装置１０に着脱可能であってもよいし、文字認識装置１０とネットワークＮＷ等を介して通信可能に接続された記憶装置（例えば、オンラインストレージ）であってもよい。

【0033】

本実施形態では、制御プログラムＰＧ１は、例えば、文字認識装置１０が文字認識処理を実行するためのアプリケーションプログラムを含む。制御プログラムＰＧ１は、例えば、制御部１２０が文字認識装置１０の各部を制御するためのオペレーティングシステムプログラムを含んでもよい。

【0034】

プロセッサ１２は、図４において説明された端末装置２０のプロセッサ２２と同様に構成される。例えば、プロセッサ１２は、例えば、１または複数のＣＰＵを含んで構成される。そして、プロセッサ１２は、メモリ１４に記憶された制御プログラムＰＧ１を実行し、制御プログラムＰＧ１に従って動作することで、後述する制御部１２０（図７参照）として機能する。

【0035】

また、例えば、プロセッサ１２が複数のＣＰＵを含んで構成される場合、制御部１２０の一部または全部の機能は、これら複数のＣＰＵが制御プログラムＰＧ１等のプログラムに従って協働して動作することで実現されてもよい。また、プロセッサ１２は、１または複数のＣＰＵに加え、もしくは、１または複数のＣＰＵのうち一部または全部に代えて、ＧＰＵ、ＤＳＰ、または、ＦＰＧＡ等のハードウェアを含んで構成されるものであってもよい。この場合、プロセッサ１２により実現される制御部１２０の一部または全部は、ＤＳＰ等のハードウェアにより実現されてもよい。

【0036】

通信装置１６は、有線ネットワークおよび無線ネットワークの一方または両方を介して、文字認識装置１０の外部に存在する外部装置との通信を行うためのハードウェアであり、通信部１６０として機能する。

【0037】

図７は、文字認識装置１０の機能的構成の一例を示すブロック図である。文字認識装置１０は、文字認識装置１０の各部を制御する制御部１２０と、各種情報を記憶する記憶部１４０と、端末装置２０等の外部装置との間の通信を実行するための通信部１６０とを有する。

【0038】

［文字認識処理の詳細］
以下、文字認識装置１０の制御部１２０の各構成を説明するとともに、文字認識装置１０による文字認識処理の詳細について説明する。制御部１２０は、画像取得部１２１、文字領域特定部１２２、文字種判定部１２３、第１文字認識部１２４、第２文字認識部１２５（数字認識部１２６、記号認識部１２７、記号消去部１２８および出力部１２９）、認識結果生成部１３０を備える。

【0039】

画像取得部１２１は、処理対象の画像データを取得する。本実施形態では、画像取得部１２１は、端末装置２０から送信される領収書画像ＲＩを、ネットワークＮＷを介して受信する。

【0040】

文字領域特定部１２２は、画像取得部１２１が取得した領収書画像ＲＩを、文字や罫線などの構成に分け、文字として読み取る領域を段落ごとに特定し、段落画像Ｐ（Ｐ１～Ｐ８）に区分する。文字領域特定部１２２が行う処理は、一般にレイアウト解析と呼ばれる。図８は、レイアウト解析後の領収書画像ＲＩの一例を示す図である。レイアウト解析により、領収書画像ＲＩは、文書名表記Ｎ１を囲う矩形の領域である段落画像Ｐ１、日付表記Ｎ２を囲う矩形の領域である段落画像Ｐ２、宛先表記Ｎ３を囲う矩形の領域である段落画像Ｐ３、金額表記Ｎ４を囲う矩形の領域である段落画像Ｐ４、但書表記Ｎ５および領収確認文表記Ｎ６を囲う矩形の領域である段落画像Ｐ５、住所表記Ｎ７および発行者名表記Ｎ８を囲う矩形の領域である段落画像Ｐ６が特定される。各段落画像Ｐ１～Ｐ６は、領収書画像ＲＩの一部分である。

【0041】

文字種判定部１２３は、文字領域特定部１２２が特定した各段落画像Ｐに含まれる表記の文字種を判定する。本実施形態では、文字種判定部１２３は、領収書画像ＲＩに含まれる各段落画像Ｐについて、数字の表記のみを含むことが予測される数字段落画像、または、漢字、ひらがな、カタカナ、記号、数字等の表記が混在することが予測される混在段落画像のいずれに該当するかを判定する。

【0042】

本実施形態では、文字種判定部１２３は、金額表記Ｎ４に対応する段落画像Ｐ４を数字段落画像と判定し、残りの段落画像Ｐ１～Ｐ３、Ｐ５～Ｐ６を混在段落画像と判定する。文字種判定部１２３は、例えば、パターンマッチングを用いて、領収書画像ＲＩから金額表記Ｎ４に対応する段落画像Ｐ４を特定する。市販の領収書用紙や店舗のレジから印刷出力される領収書は、レイアウトがほぼ決まっている。このため、文字種判定部１２３は、一般的な領収書レイアウトをテンプレートとして保持し、今回の処理値対象の領収書画像ＲＩがどのテンプレートと一致するかを判定する。各テンプレートでは、金額表示に対応する段落の位置が予め指定されている。文字種判定部１２３は、テンプレートにおける金額表示の段落の位置と、領収書画像ＲＩに含まれる各段落画像Ｐの位置を比較し、当該領収書画像ＲＩにおいて金額表示に対応する段落画像Ｐを特定する。

【0043】

第１文字認識部１２４および第２文字認識部１２５は、いずれも処理対象画像に含まれる表記を文字として認識する。本実施形態では、第１文字認識部１２４および第２文字認識部１２５は、例えばＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）－ＯＣＲにより文字認識を行う。ＡＩ－ＯＣＲでは、第１文字認識部１２４および第２文字認識部１２５は、文字を含む画像と、当該画像に含まれる文字との関係を学習した学習モデルを用いて、処理対象画像に含まれる文字を認識する。上記学習モデルは、多層ニューラルネットワークにより構成されている。ＡＩ－ＯＣＲを用いることにより、文字、特に手書きの文字についても精度よく認識することができる。第１文字認識部１２４および第２文字認識部１２５は、文字認識のアルゴリズムがそれぞれ異なる。第１文字認識部１２４は、漢字、ひらがな、カタカナ、記号、数字等が混在する文書の認識に適した日本語の認識において標準的なアルゴリズムを用いる。また、第２文字認識部１２５は、後述する数字認識部１２６においては、数字の認識に特化したアルゴリズムを用い、記号認識部１２７においては、記号の認識に特化したアルゴリズムを用いる。

【0044】

第１文字認識部１２４は、文字種判定部１２３で混在段落画像と判定された段落画像Ｐの文字認識を行う。本実施形態では、第１文字認識部１２４は、文書名表記Ｎ１に対応する段落画像Ｐ１、日付表記Ｎ２に対応する段落画像Ｐ２、宛先表記Ｎ３に対応する段落画像Ｐ３、但書表記Ｎ５および領収確認文表記Ｎ６に対応する段落画像Ｐ５、住所表記Ｎ７および発行者名表記Ｎ８に対応する段落画像Ｐ６に含まれる表記に対して文字認識を行う。第１文字認識部１２４は、各段落画像Ｐ１～Ｐ３、Ｐ５～Ｐ６に配置された表記が複数行に渡る場合には、各段落画像Ｐ１～Ｐ３、Ｐ５～Ｐ６を行ごとに区分し、更に１文字と推定される文字単位の部分画像に区分する。そして、第１文字認識部１２４は、文字単位に切り出した部分画像に含まれる表記を１文字として認識する。第１文字認識部１２４における認識結果は、認識結果生成部１３０に出力される。なお、本実施形態において、第１文字認識部１２４および第２文字認識部１２５の認識結果は、例えばＳｈｉｆｔ－ＪＩＳコードのようなテキストデータで出力される。なお、本実施形態では、第１文字認識部１２４は、日本語の認識において標準的なアルゴリズムを用いるものとするが、段落画像Ｐ１～Ｐ３、Ｐ５～Ｐ６のうち、特定の文字種のみが含まれる（または特定の文字種のみが含まれる可能性が高い）段落画像Ｐがある場合は、当該文字種の認識に特化したアルゴリズムを、当該段落画像Ｐに適用してもよい。

【0045】

第２文字認識部１２５は、文字種判定部１２３で数字段落画像と判定された段落画像Ｐの文字認識を行う。本実施形態では、第２文字認識部１２５は、金額表記Ｎ４に対応する段落画像Ｐ４の文字認識を行う。領収書画像ＲＩの段落画像Ｐ４は、数字および数字以外の記号を表す第１画像の一例である。上述のように、金額表記Ｎ４は手書き文字で記入されている。よって、段落画像Ｐ４は、手書きの数字を含む文書を読み取った画像である。第２文字認識部１２５は、数字認識部１２６と、記号認識部１２７と、記号消去部１２８と、出力部１２９とを備える。

【0046】

数字認識部１２６は、数字の認識に特化したアルゴリズム（以下「数字用アルゴリズム」という）により文字認識処理を行う。記号認識部１２７は、記号の認識に特化したアルゴリズム（以下「記号用アルゴリズム」という）により文字認識処理を行う。記号認識部１２７は、例えば、記号のうち、数字に付随して使用される頻度が高い記号の認識に特化したアルゴリズムにより文字認識処理を行ってもよい。数字に付随して使用される頻度が高い記号とは、例えばカンマ（，）、ドット（．）、ハイフン（－）、通貨記号（￥、＄等）などである。また、特に数字が金額を表示する場合において、数字に付随して使用される頻度が高い「円」、「金」、「也」等の漢字（言語文字）を記号として扱い、記号認識部１２７で認識可能としてもよい。

【0047】

記号消去部１２８は、処理対象画像（本実施形態では段落画像Ｐ４）から記号に対応する表記を消去する。記号消去部１２８は、例えば、記号に対応する表記を含む部分画像Ｃを、領収書画像ＲＩの背景色と同色の無地画像に置き換えることにより、記号を示す表記を消去する。

【0048】

出力部１２９は、数字認識部１２６による認識結果に基づいて、処理対象画像（本実施形態では段落画像Ｐ４）に含まれる表記の認識結果を出力する。また、出力部１２９は、数字認識部１２６による認識結果とともに、記号認識部１２７による認識結果に基づいて、処理対象画像に含まれる表記の認識結果を出力してもよい。

【0049】

図９を用いて、第２文字認識部１２５の文字認識方法について具体的に説明する。まず、第２文字認識部１２５は、図９Ａに示すように、段落画像Ｐ４に含まれる表記を１文字と推定される単位（以下、「文字単位」という）で区分する。文字単位で区分した領域を部分画像Ｃ（Ｃ１～Ｃ８）とする。本実施形態では、部分画像Ｃは、１文字と推定された表記を含む矩形の領域である。本実施形態では、段落画像Ｐ４から、「￥」の表記を含む部分画像Ｃ１、「２」の表記を含む部分画像Ｃ２、「５」の表記を含む部分画像Ｃ３、「，（カンマ）」の表記を含む部分画像Ｃ４、「７」の表記を含む部分画像Ｃ５、「６」の表記を含む部分画像Ｃ６、「０」の表記を含む部分画像Ｃ７、「－（ハイフン）」の表記を含む部分画像Ｃ８が切り出される。

【0050】

つぎに、第２文字認識部１２５は、記号認識部１２７により、各部分画像Ｃ１～Ｃ８に含まれる表記の文字認識処理を行う。すなわち、記号認識部１２７は、段落画像Ｐ４に含まれる記号を認識する。第２文字認識部１２５は、例えば記号認識部１２７による記号としての認識結果の確度が所定値以上の表記は記号と判定し、認識結果の確度が所定値未満の部分画像Ｃは記号ではないと判定する。認識結果の確度とは、認識結果の確からしさを示す指標値であり、本実施形態では、確度が高いほど、認識結果の確からしさが大きいものとする。本実施形態では、「￥」の表記が含まれる部分画像Ｃ１、「，」の表記が含まれる部分画像Ｃ４、および「－」の表記が含まれる部分画像Ｃ８が、記号を示す表記を含むと判定される。第１実施形態では、記号の表記が含まれる部分画像Ｃを特定できればよく、当該記号の表記の認識結果は保存されなくてよい。

【0051】

つづいて、第２文字認識部１２５は、記号消去部１２８により、図９Ｂに示すように、記号を示す表記を消去する。本実施形態では、記号消去部１２８は、例えば、部分画像Ｃ１，Ｃ４，Ｃ８の画像を、領収書画像ＲＩの背景色と同色の無地画像に置き換えることにより、記号を示す表記を消去する。記号を示す表記が削除された段落画像Ｐ４を段落画像Ｐ４Ａとする。段落画像Ｐ４Ａを図９Ｃに示す。すなわち、記号消去部１２８は、段落画像Ｐ４から、記号に対応する部分画像Ｃ１，Ｃ４，Ｃ８を消去した段落画像Ｐ４Ａを生成する生成部の一例である。より詳細には、記号消去部１２８は、記号認識部１２７によって認識された記号に対応する部分を消去して段落画像Ｐ４Ａを生成する。部分画像Ｃ１，Ｃ４，Ｃ８は第１部分の一例であり、段落画像Ｐ４Ａは第２画像の一例である。

【0052】

そして、第２文字認識部１２５は、数字認識部１２６により、段落画像Ｐ４Ａに含まれる表記に対する文字認識処理を行う。すなわち、数字認識部１２６は、記号消去部１２８の生成した段落画像Ｐ４Ａに含まれる数字を認識する。本実施形態では、段落画像Ｐ４Ａは、部分画像Ｃ２～Ｃ３、Ｃ５～Ｃ７を含んでいる。数字認識部１２６により、部分画像Ｃ２の表記は「２」、部分画像Ｃ３の表記は「５」、部分画像Ｃ５の表記は「７」、部分画像Ｃ６の表記は「６」、部分画像Ｃ７の表記は「０」をそれぞれ示すと認識される。

【0053】

第２文字認識部１２５は、出力部１２９により、段落画像Ｐ４の認識結果を出力する。本実施形態では、出力部１２９は、各部分画像Ｃ２～Ｃ３、Ｃ５～Ｃ７の表記に対する認識結果を、段落画像Ｐ４における部分画像Ｃ２～Ｃ３、Ｃ５～Ｃ７の配置の順に配列し、段落画像Ｐ４に含まれる表記の認識結果として出力する。すなわち、出力部１２９は、段落画像Ｐ４に含まれる表記のうち、数字の認識結果のみ配列した文字列を出力する。このとき、記号の表記があった部分画像Ｃの箇所はブランクとせず、詰めて数字を配列してもよい。具体的には、出力部１２９は、図９Ｅに示すように、段落画像Ｐ４に含まれる表記の認識結果Ｕとして、「２５７６０」を出力する。第２文字認識部１２５による認識結果は、認識結果生成部１３０に出力される。

【0054】

認識結果生成部１３０は、第１文字認識部１２４および第２文字認識部１２５がそれぞれ出力した認識結果を、予め定められたフォーマットに入力して認識結果データを生成する。本実施形態では、予め定められたフォーマットとは、図３に示す認識結果データＲＤのフォーマットである。認識結果生成部１３０は、段落画像Ｐ２の認識結果を日付認識結果Ｄ１に、段落画像Ｐ３の認識結果を宛先認識結果Ｄ２に、段落画像Ｐ４の認識結果を金額認識結果Ｄ３に、段落画像Ｐ５の認識結果のうち「但し」「として」等の不要部分を除いた文字列を但書認識結果Ｄ４に、段落画像Ｐ６のうち発行者名表記Ｎ８に対応する文字列を発行者認識結果Ｄ５に、それぞれ入力して認識結果データを生成する。また、認識結果生成部１３０は、生成した認識結果データを端末装置２０に送信する。

【0055】

［フローチャート］
図１０は、文字認識装置１０による文字認識処理の手順を示すフローチャートである。文字認識装置１０の制御部１２０は、画像取得部１２１として機能することにより、端末装置２０から処理対象の領収書画像ＲＩを受信する（ステップＳ１００）。つぎに、制御部１２０は、文字領域特定部１２２として機能することにより、ステップＳ１００で取得した領収書画像ＲＩに対してレイアウト解析を行い、領収書画像ＲＩに含まれる段落画像Ｐを特定する（ステップＳ１０２）。つづいて、制御部１２０は、文字種判定部１２３として機能することにより、ステップＳ１０２で特定した各段落画像Ｐの文字種を判定する（ステップＳ１０４）。より詳細には、制御部１２０は、それぞれの段落画像Ｐが、数字段落画像であるか、混在段落画像であるかを判定する。

【0056】

制御部１２０は、ステップＳ１０２で特定した各段落画像Ｐに対して、順次文字認識を行う。処理対象の段落画像Ｐが数字段落画像である場合（ステップＳ１０６：ＹＥＳ）、制御部１２０は、第２文字認識部１２５として機能し、数字用アルゴリズムおよび記号用アルゴリズムを用いて、処理対象の段落画像内の表記に対して文字認識を行う（ステップＳ１０８：第２文字認識処理）。ステップＳ１０８の詳細は、図１０のフローチャートを用いて後述する。

【0057】

また、処理対象の段落画像が数字段落画像ではない場合（ステップＳ１０６：ＮＯ）、すなわち混在段落画像の場合、制御部１２０は、第１文字認識部１２４として機能し、日本語の認識において標準的なアルゴリズムを用いて、処理対象の段落画像内の表記に対して文字認識を行う（ステップＳ１１０：第１文字認識処理）。

【0058】

制御部１２０は、全ての段落画像の文字認識処理が終了するまでは（ステップＳ１１２：ＮＯ）、ステップＳ１０６に戻り、文字認識処理を継続する。全ての段落画像の文字認識が終了すると（ステップＳ１１２：ＹＥＳ）、制御部１２０は、認識結果生成部１３０として機能することにより、各段落画像Ｐに対する認識結果を予め定められたフォーマットに入力して認識結果データを生成し（ステップＳ１１４）、生成した認識結果データを端末装置２０に送信して（ステップＳ１１６）、本フローチャートによる処理を終了する。

【0059】

つぎに、図１１を用いて、ステップＳ１０８の処理（第２文字認識部１２５による第２文字認識処理）について説明する。上述のように、制御部１２０は、処理対象の段落画像Ｐが数字段落である場合には、第２文字認識部１２５として機能し、以下の処理を行う。制御部１２０は、処理対象の段落画像Ｐ（本実施形態では段落画像Ｐ４）に含まれる表記を文字単位に区分（図９Ａ参照）して、複数の部分画像Ｃを切り出す（ステップＳ２００）。

【0060】

制御部１２０は、記号認識部１２７として機能することにより、段落画像Ｐに含まれる部分画像Ｃごとに記号用アルゴリズムを用いて文字認識処理を行う（ステップＳ２０２：記号認識処理）。処理対象の段落画像Ｐに、記号を示す表記を含む部分画像Ｃがある場合（ステップＳ２０４：ＹＥＳ）、制御部１２０は、記号消去部１２８として機能することにより、記号を示す表記を含む部分画像Ｃを消去（図９Ｂ参照）する（ステップＳ２０６）。また、処理対象の段落に、記号を示す表記が含まれる部分画像Ｃがない場合（ステップＳ２０４：ＮＯ）、制御部１２０は、ステップＳ２０８に移行する。

【0061】

制御部１２０は、数字認識部１２６として機能することにより、段落画像Ｐに含まれる表記について部分画像Ｃごとに数字用アルゴリズムを用いて文字認識（図９Ｃ参照）を行う（ステップＳ２０８：数字認識処理）。制御部１２０は、出力部１２９として機能することにより、ステップＳ２０８における認識結果を、段落画像Ｐの認識結果として認識結果生成部１３０に出力（図９Ｅ参照）して（ステップＳ２１０）、本フローチャートの処理を終了する。

【0062】

以上説明したように、第１実施形態では、記号消去部１２８は、数字および数字以外の記号を表す段落画像Ｐ４（図８参照）から、記号に対応する部分画像Ｃ１，Ｃ４，Ｃ８を消去した段落画像Ｐ４Ａ（図９Ｃ参照）を生成し、数字認識部１２６は、段落画像Ｐ４Ａに含まれる数字を認識する。数字認識部１２６は、予め数字以外の記号が消去された段落画像Ｐ４Ａに対して数字の認識を行うので、記号を数字と誤認識する可能性が低くなり、数字以外の記号が混在する段落画像Ｐ４に対して数字の認識を行うのと比較して、数字の認識精度を向上させることができる。

【0063】

また、第１実施形態では、記号認識部１２７によって段落画像Ｐ４に含まれる記号を認識し、記号消去部１２８は、記号認識部１２７によって認識された記号に対応する部分画像Ｃ１，Ｃ４，Ｃ８を消去して段落画像Ｐ４Ａを生成する。記号認識部１２７によって段落画像Ｐ４に含まれる記号を認識することにより、記号に対応する部分画像Ｃを確実に特定し、段落画像Ｐ４から消去することができる。例えば、画像処理によりカンマやドット等の数字と比べて面積が小さい記号をノイズとして削除する場合と比較すると、記号認識部１２７を用いた場合には、「￥」等の数字と同程度の大きさを有する記号も消去することができ、より確実に記号を段落画像Ｐ４から消去することができる。

【0064】

また、第１実施形態では、出力部１２９は、段落画像Ｐ４の認識結果として、段落画像Ｐ４に含まれる表記のうち数字の認識結果のみ配列した文字列を出力する。これにより、段落画像Ｐ４の認識結果に含まれる文字種が数字のみに統一され、認識結果データを用いた処理の負荷を軽減することができる。例えば、領収書画像ＲＩに対する文字認識結果を会計アプリケーションで用いる場合に、金額表記Ｎ４の認識結果が数字のみに統一されているので、余分な記号を消去する等の前処理を行うことなく、そのまま演算等の処理に用いることができる。

【0065】

また、第１実施形態では、数字認識部１２６は、数字の認識に特化した数字用アルゴリズムを用いて文字認識処理を行う。一般に、処理対象画像に含まれる文字種が固定されている場合には、当該文字種の認識に特化したアルゴリズムを用いることにより、文字の認識精度を高めることができる。一方で、特定の文字種の認識に特化したアルゴリズムは、どのような文字や線も当該特定の文字種の中の１つの文字として認識しようとする傾向があり、処理対象画像に他の文字種が混在する場合に認識精度の低下が生じやすい。本実施形態のように、処理対象画像から予め特定の文字種（数字）以外の表記を消去しておくことにより、特定の文字種の認識に特化したアルゴリズムを用いた文字認識の精度を更に向上させることができる。

【0066】

［第２実施形態］
次に、第２実施形態を説明する。以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。第１実施形態では、出力部１２９が出力する認識結果は、記号と認識された表記の認識結果を含まなかった。第２実施形態では、出力部１２９が出力する認識結果に、記号と認識された表記の認識結果を含めるようにする。

【0067】

図９を援用して、第２実施形態における第２文字認識部１２５の文字認識方法について説明する。第２実施形態においても、第２文字認識部１２５は、まず、図９Ａに示すように、段落画像Ｐ４に含まれる表記を文字単位で区分する。本実施形態では、段落画像Ｐ４から、部分画像Ｃ１～Ｃ８が切り出される。

【0068】

つぎに、第２文字認識部１２５は、記号認識部１２７により、各部分画像Ｃ１～Ｃ８に含まれる表記の文字認識処理を行う。本実施形態では、部分画像Ｃ１に含まれる表記が「￥」、部分画像Ｃ４に含まれる表記が「，」、部分画像Ｃ８に含まれる表記が「－」と認識され、その他の部分画像Ｃ２～Ｃ３，Ｃ５～Ｃ７に含まれる表記は記号ではないと認識される。第２実施形態では、出力部１２９は、記号の表記が含まれる部分画像Ｃの位置と、当該記号の表記の認識結果を保存する。

【0069】

つづいて、第２文字認識部１２５は、記号消去部１２８により、図９Ｂに示すように、記号を示す表記を消去する。本実施形態では、部分画像Ｃ１，Ｃ４，Ｃ８の表記が消去される。記号を示す表記が削除された段落画像Ｐ４を段落画像Ｐ４Ａとし、図９Ｃに示す。そして、第２文字認識部１２５は、数字認識部１２６により、段落画像Ｐ４Ａに含まれる部分画像Ｃ２～Ｃ３、Ｃ５～Ｃ７に含まれる表記の文字認識処理を行い、各表記が示す数字を認識する。本実施形態では、図９Ｄに示すように、部分画像Ｃ２の表記は「２」、部分画像Ｃ３の表記は「５」、部分画像Ｃ５の表記は「７」、部分画像Ｃ６の表記は「６」、部分画像Ｃ７の表記は「０」をそれぞれ示すと認識される。

【0070】

第２文字認識部１２５は、全ての部分画像Ｃ１～Ｃ８の認識結果が揃うと、出力部１２９により、全ての部分画像Ｃ１～Ｃ８の表記の認識結果を、段落画像Ｐ４における部分画像Ｃ１～Ｃ８の配置に合わせて配列した文字列を生成する。そして、出力部１２９は、この文字列を段落画像Ｐ４における認識結果として出力する。すなわち、第２文字認識部１２５は、部分画像Ｃ１の表記である「￥」、部分画像Ｃ２の表記である「２」、部分画像Ｃ３の表記である「５」、部分画像Ｃ４の表記である「，」、部分画像Ｃ５の表記である「７」、部分画像Ｃ６の表記である「６」、部分画像Ｃ７の表記である「０」、部分画像Ｃ８の表記である「－」をこの順に配列した文字列「￥２５，７６０－」を段落画像Ｐ４における認識結果として出力する。すなわち、出力部１２９は、数字認識部１２６によって識別された数字と、記号認識部１２７によって識別された記号とを配列した文字列を出力する。この文字列に含まれる数字および記号の配列は、段落画像Ｐ４における数字および記号の配列に対応している。

【0071】

図１２は、第２実施形態における認識結果データの一例を示す図である。図１２に示す認識結果データＲＤＡは、図２の領収書画像ＲＩを文字認識した結果を示している。認識結果データＲＤＡのうち、日付認識結果Ｄ１、宛先認識結果Ｄ２、但書認識結果Ｄ４、発行者認識結果Ｄ５は、図３に示す認識結果データＲＤと同一である。一方、図３に示す認識結果データＲＤでは、金額認識結果Ｄ３は「２５７６０」であり、数字のみの文字列である。これに対して、図１２に示す認識結果データＲＤＡでは、金額認識結果Ｄ３は「￥２５，７６０－」であり、数字と記号を含んでいる。

【0072】

以上説明したように、第２実施形態では、出力部１２９は、数字認識部１２６によって識別された数字と、記号認識部１２７によって識別された記号とを配列した文字列を出力する。この文字列に含まれる数字および記号の配列は、段落画像Ｐ４における数字および記号の配列に対応している。すなわち、第２実施形態では、出力部１２９は、段落画像Ｐ４の認識結果として、段落画像Ｐ４に含まれる表記の全ての認識結果を配列した文字列を出力する。これにより、段落画像Ｐ４に含まれる表記の認識結果が、もれなく認識結果データに記録される。よって、例えば段落画像Ｐ４における金額表記が小数点以下の数値を含む場合や、金額表記における通貨の種類が不明であり、￥等の通貨表記により識別する必要がある場合などにおいて、利便性を向上させることができる。

【0073】

なお、出力部１２９に対して、記号認識部１２７によって識別された記号うち、特定の記号のみを認識結果の文字列に含める、または、特定の記号のみを認識結果の文字列に含めないような設定をできるようにしてもよい。例えば、「１，２３４，５６７．８９」という数字の表記を文字認識した際に、桁を区切るカンマは不要であっても、小数点に対応するドットは認識結果に含めなければ、数値としての認識結果が異なってしまう場合がある。この場合、出力部１２９に対して、認識された記号のうちドットについては認識結果に含め、その他の記号については認識結果に含めないように予め設定しておく。これにより、上記の数字の表記の認識結果が「１２３４５６７．８９」と出力される。

【0074】

［第３実施形態］
次に、第３実施形態を説明する。以下の各例示において機能が第１実施形態または第２実施形態と同様である要素については、第１実施形態または第２実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。第１実施形態および第２実施形態では、第２文字認識部１２５は、記号認識部１２７によって認識された記号を画像から消去した上で、数字認識部１２６により数字の文字認識を行っていた。第３実施形態では、段落画像Ｐ４に含まれる全ての表記に対して、数字認識部１２６および記号認識部１２７のそれぞれが文字認識を行い、認識結果の確度に基づいて、記号の表記を判定する。その後、記号と認定された表記を段落から消去した上で、数字認識部１２６により数字の文字認識を行う。

【0075】

図１３を用いて、第３実施形態における第２文字認識部１２５の文字認識方法について説明する。第３実施形態においても、第２文字認識部１２５は、まず、図１３Ａに示すように、段落画像Ｐ４に含まれる表記を文字単位で区分する。本実施形態では、段落画像Ｐ４から、部分画像Ｃ１～Ｃ８が切り出される。

【0076】

つぎに、第２文字認識部１２５は、記号認識部１２７により、部分画像Ｃ１～Ｃ８に含まれる表記の文字認識を行う。第３実施形態では、記号認識部１２７は、各部分画像Ｃ１～Ｃ８の表記の認識結果とともに、各認識結果の確度情報を出力する。以下、記号認識部１２７による認識結果を「第２認識結果」、第２認識結果の確度を「第２確度」という。本実施形態では、図１３Ｂに示すように、部分画像Ｃ１の表記の第２認識結果は「￥」であり第２確度は９５％である。部分画像Ｃ２の表記の文第２字認識結果は「＞」であり第２確度は１５％である。部分画像Ｃ３の表記の第２認識結果は「＄」であり第２確度は１８％である。部分画像Ｃ４の表記の第２認識結果は「，」であり第２確度は９３％である。部分画像Ｃ５の表記の第２認識結果は「／」であり第２確度は２８％である。部分画像Ｃ６の表記の第２認識結果は「＆」であり第２確度は１１％である。部分画像Ｃ７の表記の第２認識結果は「＠」であり第２確度は２０％である。部分画像Ｃ８の表記の第２認識結果は「－」であり第２確度は９５％である。なお、図１３では、確度の％の表記は省略している。

【0077】

また、第２文字認識部１２５は、数字認識部１２６により、部分画像Ｃ１～Ｃ８に含まれる表記の文字認識を行う。数字認識部１２６も、各部分画像Ｃ１～Ｃ８の表記の認識結果とともに、各認識結果の確度情報を出力する。以下、数字認識部１２６による認識結果を「第１認識結果」、第１認識結果の確度を「第１確度」という。本実施形態では、図１３Ｃに示すように、部分画像Ｃ１の表記の第１認識結果は「７」であり第１確度は２８％である。部分画像Ｃ２の表記の第１認識結果は「２」であり第１確度は９３％である。部分画像Ｃ３の表記の第１認識結果は「５」であり第１確度は９５％である。部分画像Ｃ４の表記の第１認識結果は「１」であり第１確度は２０％である。部分画像Ｃ５の表記の第１認識結果は「７」であり第１確度は９４％である。部分画像Ｃ６の表記の第１認識結果は「６」であり第１確度は９５％である。部分画像Ｃ７の表記の第１認識結果は「０」であり第１確度は９６％である。部分画像Ｃ８の表記の第１認識結果は「７」であり第１確度は１１％である。

【0078】

第２文字認識部１２５は、記号消去部１２８により、各部分画像Ｃ１～Ｃ８について第１確度と第２確度とを比較し、第２確度の方が高い部分画像Ｃの表記について、記号であると判定する。本実施形態では、部分画像Ｃ１，Ｃ４，Ｃ８の表記が記号と判定される。その後は、第１実施形態と同様に、第２文字認識部１２５は、記号消去部１２８により、図９Ｃに示すように記号を示す表記を消去する。第２文字認識部１２５は、数字認識部１２６により、記号を示す表記が削除された段落画像Ｐ４Ａに対して文字認識を行う。そして、出力部１２９により、数字認識部１２６による認識結果が、段落画像Ｐ４の認識結果として出力される。

【0079】

すなわち、第３実施形態において、段落画像Ｐ４は、複数の部分画像Ｃ１～Ｃ８に分割され、数字認識部１２６は、部分画像Ｃ１～Ｃ８の各々における表記を数字として認識し、数字の認識結果の確度を示す第１確度を算出する。また、記号認識部１２７は、部分画像Ｃ１～Ｃ８の各々における表記を記号として認識し、記号の認識結果の確度を示す第２確度を算出する。記号消去部１２８は、第１確度と前記第２確度との比較結果に基づいて、記号の表記を含む部分画像Ｃを特定し、記号の表記を含む部分画像Ｃを段落画像Ｐ４から消去する。

【0080】

このように、第３実施形態では、記号認識部１２７による認識結果のみならず、数字認識部１２６による認識結果を用いて、段落画像Ｐ４に含まれる記号の表記を特定するので、記号の表記をより精度よく特定することができる。例えば、数字と似た形状の記号についても、記号認識部１２７および数字認識部１２６のそれぞれの認識結果および確度に基づいて、記号であるか数字であるかを判定することができる。

【0081】

なお、上述した説明では、第２文字認識部１２５は、第１確度と第２確度とに基づいて記号の表記を含む部分画像Ｃを判定し、記号の表記を含む部分画像Ｃを消去した上で更に数字認識部１２６による文字認識を行った。これに限らず、第２文字認識部１２５は、第１確度と第２確度とに基づいて、各部分画像Ｃ１～Ｃ８の表記に対して第１認識結果と第２認識結果のいずれを採用するかを選択してもよい。この場合、第２文字認識部１２５は、選択した認識結果を段落画像Ｐ４における部分画像Ｃ１～Ｃ８の配置に基づいて配列して、段落画像Ｐ４における認識結果として出力する。

【0082】

例えば図１３の例では、部分画像Ｃ１の表記の第１確度は３０％、第２確度は９５％である。よって、部分画像Ｃ１の表記の認識結果としてより確からしいのは、第２認識結果である「￥」である。同様に、部分画像Ｃ２の表記は「２」、部分画像Ｃ３の表記は「５」、部分画像Ｃ４の表記は「，」、部分画像Ｃ５の表記は「７」、部分画像Ｃ６の表記は「６」、部分画像Ｃ７の表記は「０」、部分画像Ｃ８の表記は「－」が、それぞれより確からしい認識結果として選択される。第２文字認識部１２５は、出力部１２９により、各部分画像Ｃ１～Ｃ８の表記の認識結果を、段落画像Ｐ４における部分画像Ｃ１～Ｃ８の配置と同様に「￥２５，７６０－」と配列して、段落画像Ｐ４における認識結果として出力する。

【0083】

なお、段落画像Ｐ４の認識結果に記号を含めたくない場合、段落画像Ｐ４の認識結果に第２認識結果が含まれる際には第２認識結果を削除して、第１認識結果のみで構成される文字列とするように、出力部１２９を設定してもよい。

【0084】

［第４実施形態］
次に、第４実施形態を説明する。以下の各例示において機能が第１実施形態～第３実施形態と同様である要素については、第１実施形態～第３実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。第１実施形態～第３実施形態では、第２文字認識部１２５は、数字認識部１２６と、記号認識部１２７と、記号消去部１２８とを備え、記号認識部１２７によって認識された記号の表記を記号消去部１２８により消去した上で、数字認識部１２６により数字の文字認識を行っていた。第４実施形態では、記号認識部１２７および記号消去部１２８を用いずに、段落画像Ｐ４に対して画像処理の一種であるノイズ除去処理が行われることにより、段落画像Ｐ４から記号が消去される。そして、ノイズ除去処理後の段落画像Ｐ４に対して、数字認識部１２６が数字の文字認識を行って、段落画像Ｐ４における認識結果を出力する。

【0085】

図１４は、第４実施形態における文字認識装置１０Ａの機能的構成を示すブロック図である。文字認識装置１０Ａの第２文字認識部１２５Ａは、数字認識部１２６と、画像処理部１３２と、出力部１２９とを備える。画像処理部１３２は、処理対象の段落画像Ｐ４に対してノイズを除去するノイズ除去処理を行う。画像に対するノイズ除去処理については従来技術のため詳細な説明を省略するが、画像処理部１３２は、段落画像Ｐ４に対して例えばメディアンフィルタや平滑化フィルタなどを適用して、段落画像Ｐ４に含まれる記号を除去する。すなわち、画像処理部１３２は、段落画像Ｐ４に対してノイズ除去処理を行うことにより、段落画像Ｐ４から記号に対応する部分画像Ｃを消去した画像を生成する生成部の一例である。

【0086】

図１５は、第４実施形態の適用が好適な領収書画像の一例を示す図である。図１５の領収書画像ＲＩＡの金額表記Ｎ４には、「２５７６０」の数字の他、「５」と「２」の間に桁区切り記号であるカンマが、「０」の後に金額の末尾を示す記号であるハイフンが、それぞれ含まれている。これらの記号は、数字と比べて段落画像Ｐ４に占める面積が小さく、ノイズとして除去することが可能である。

【0087】

また、例えば図９Ａに示すように、段落画像Ｐ４に含まれる表記を文字単位の部分画像Ｃに区分した際に、大きさが所定値以下の部分画像Ｃがある場合には、当該部分画像Ｃをノイズとして除去してもよい。部分画像Ｃをノイズとして除去するとは、例えば当該部分画像Ｃを領収書画像ＲＩの背景色と同色の無地画像に置き換えることであってもよい。また、部分画像Ｃの大きさが所定値以下とは、例えば部分画像Ｃを構成する画素数が所定数以下である場合であってもよい。この場合の所定数は、予め定められた固定値であってもよいし、同じ段落画像Ｐに含まれる他の部分画像Ｃの画素数に基づいて定められてもよい。

【0088】

以上説明したように、第４実施形態では、画像処理部１３２により段落画像Ｐ４に対してノイズ除去処理を行うことで、段落画像Ｐ４から記号に対応する部分画像Ｃを消去した画像を生成する。これにより、簡易な処理で段落画像Ｐ４から記号に対応する部分画像Ｃを消去することができ、文字認識装置１０における処理負荷を軽減することができる。

【0089】

［変形例］
本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。

【0090】

［第１変形例］
上述した実施形態では、領収書画像ＲＩ（特に数字および数字以外の記号を表す段落画像Ｐ４）が手書きの数字を含む領収書を読み取った画像であった。これに限らず、領収書画像ＲＩに含まれる数字が活字（テキストエディタやレジ端末において用いられる各種フォント、活版印刷における字型等）を用いて印刷された文字である場合にも、上述した実施形態を適用可能である。

【0091】

［第２変形例］
上述した実施形態では、文字認識装置１０における処理対象画像が領収書画像ＲＩであった。これに限らず、文字認識装置１０における処理対象画像は、数字を含む媒体（例えば文書）をスキャナで読み取る、または、カメラで撮影するなどして生成された画像であればよい。数字を含む媒体とは、例えば請求書、決算書、振込用紙、見積書などの経理書類、実験や観測における測定値を記録した記録用紙など、多岐にわたる分野の文書が該当する。

【0092】

［第３変形例］
上述した実施形態では、文字認識装置１０は、端末装置２０から送信された領収書画像ＲＩに文字認識処理を行い、認識結果データＲＤを端末装置２０に返信した。これに限らず、例えば、文字認識装置１０が処理対象画像を生成してもよい。具体的には、例えば、ユーザが手持ちの領収書を領収書データ化サービスの提供事業者に郵送し、提供事業者が文字認識装置１０に接続されたスキャナで、領収書を読み取って処理対象画像を生成してもよい。また、例えば、文字認識処理を実行するためのプログラム（例えば、図６の制御プログラムＰＧ１）が、端末装置２０にインストールされていてもよい。この場合は、端末装置２０が文字認識装置１０として機能する。

【符号の説明】

【0093】

１…文字認識システム、１０，１０Ａ…文字認識装置、１２０…制御部、１２１…画像取得部、１２２…文字領域特定部、１２３…文字種判定部、１２４…第１文字認識部、１２５，１２５Ａ…第２文字認識部、１２６…数字認識部、１２７…記号認識部、１２８…記号消去部、１２９…出力部、１３０…認識結果生成部、１３２…画像処理部、１４０…記憶部、１６０…通信部、２０…端末装置、２２０…制御部、２２２…画像送信部、２２４…認識結果データ受信部、２４０…記憶部、２６０…通信部、２８０…操作部、２９０…表示部、ＮＷ…ネットワーク、ＲＤ，ＲＤＡ…認識結果データ、ＲＩ，ＲＩＡ…領収書画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】