特開 2023-81132 情報処理システム、帳票認識方法、プログラム、帳票認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023081132

(43)【公開日】2023-06-09

(54)【発明の名称】情報処理システム、帳票認識方法、プログラム、帳票認識システム

(51)【国際特許分類】

   G06V 30/00 20220101AFI20230602BHJP

【ＦＩ】

G06K9/00 P

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

(21)【出願番号】P 2021194851

(22)【出願日】2021-11-30

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】岩崎 遼

【テーマコード（参考）】

5B064

【Ｆターム（参考）】

5B064AA01

5B064FA02

(57)【要約】      （修正有）

【課題】複数の行に記載された項目値がより適切に抽出される情報処理システム、帳票認識システム、帳票認識方法及びプログラムを提供する。
【解決手段】帳票認識システム１００において、サーバ装置２００は、行と列を有する表形式の画像データから文字列を認識した認識結果を端末装置４００に提供する。サーバ装置２００は、予め設定されている列見出しの列に値を有する第一の行の項目値と、予め設定されている除外用語を含まず空白行でない第二の行の項目値を連結する帳票認識処理部２２０と、帳票認識処理部２２０により連結された第一の行と第二の行の項目値を端末装置４００に提供する表示画面生成部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

行と列を有する表形式の画像データから文字列を認識した認識結果を端末装置に提供する情報処理システムであって、
前記認識結果から、予め設定されている列見出しの列に値を有する第一の行の項目値と、予め設定されている除外用語を含まず空白行でない第二の行の項目値を連結する帳票認識部と、
前記帳票認識部により連結された前記第一の行と前記第二の行の項目値を前記端末装置に提供する表示画面生成部と、
を有することを特徴とする情報処理システム。

【請求項2】

連結された前記第一の行と前記第二の行の項目値は、列見出しが品名の列における項目値であり、
前記除外用語は、品名として使用されない用語であることを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記除外用語は、消費税、小計、合計、又は、伝票計であることを特徴とする請求項２に記載の情報処理システム。

【請求項4】

予め設定されている前記列見出しは、金額、又は、数量及び単価であることを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記第二の行に隣接した上の行、又は、下の行のいずれかのみが、前記第一の行の場合、前記帳票認識部は、前記第二の行に隣接した前記第一の行の項目値と前記第二の行の項目値を連結することを特徴とする請求項４に記載の情報処理システム。

【請求項6】

前記除外用語を含む行を第三の行、すべての列に値が存在しない行を第四の行とし、
前記第二の行に隣接した上の行、及び、下の行の双方が、前記第一の行の場合、
前記帳票認識部は、表形式の画像データの中で最初に登場する第一の行の上の行が、前記第三の行、前記第四の行、又は、存在しない場合、
前記第二の行の上に隣接した前記第一の行の項目値と前記第二の行の項目値を連結することを特徴とする請求項４に記載の情報処理システム。

【請求項7】

前記除外用語を含む行を第三の行、すべての列に値が存在しない行を第四の行とし、
前記第二の行に隣接した上の行、及び、下の行の双方が、前記第一の行の場合、
前記帳票認識部は、表形式の画像データの中で最初に登場する第一の行の上の行が、前記第二の行の場合、
前記第二の行の下に隣接した前記第一の行の項目値と前記第二の行の項目値を連結することを特徴とする請求項４に記載の情報処理システム。

【請求項8】

行と列を有する表形式の画像データから文字列を認識した認識結果を端末装置に提供する情報処理システムであって、
前記行の区切りに第一の罫線を設定し、予め設定されている列見出しの列の項目値の上端に第二の罫線を設定し、前記第一の罫線と前記第二の罫線に基づいて、行区切りを決定する帳票認識部と、
前記帳票認識部により決定された行区切りに基づいて抽出した項目値を前記端末装置に提供する表示画面生成部と、
を有することを特徴とする情報処理システム。

【請求項9】

前記帳票認識部は、前記第一の罫線と重なっている前記第二の罫線を前記行区切りに決定することを特徴とする請求項８に記載の情報処理システム。

【請求項10】

前記第一の罫線は前記画像データを等間隔に区切るように決定されており、
前記帳票認識部は、指定されたスキップ数ごとに前記第一の罫線を描画することを特徴とする請求項８又は９に記載の情報処理システム。

【請求項11】

行と列を有する表形式の画像データから文字列を認識した認識結果を端末装置に提供する情報処理システムが行う帳票認識方法であって、
帳票認識部が、前記認識結果から、予め設定されている列見出しの列に値を有する第一の行の項目値と、予め設定されている除外用語を含まず空白行でない第二の行の項目値を連結するステップと、
表示画面生成部が、前記帳票認識部により連結された前記第一の行と前記第二の行の項目値を前記端末装置に提供するステップと、
を有することを特徴とする帳票認識方法。

【請求項12】

連結された前記第一の行と前記第二の行の項目値は、列見出しが品名の列における項目値であり、
前記除外用語は、品名として使用されない用語であることを特徴とする請求項１１に記載の帳票認識方法。

【請求項13】

前記除外用語は、消費税、小計、合計、又は、伝票計であることを特徴とする請求項１２に記載の帳票認識方法。

【請求項14】

予め設定されている前記列見出しは、金額、又は、数量及び単価であることを特徴とする請求項１３に記載の帳票認識方法。

【請求項15】

前記第二の行に隣接した上の行、又は、下の行のいずれかのみが、前記第一の行の場合、前記帳票認識部は、前記第二の行に隣接した前記第一の行の項目値と前記第二の行の項目値を連結することを特徴とする請求項１４に記載の帳票認識方法。

【請求項16】

前記除外用語を含む行を第三の行、すべての列に値が存在しない行を第四の行とし、
前記第二の行に隣接した上の行、及び、下の行の双方が、前記第一の行の場合、
前記帳票認識部は、表形式の画像データの中で最初に登場する第一の行の上の行が、前記第三の行、前記第四の行、又は、存在しない場合、
前記第二の行の上に隣接した前記第一の行の項目値と前記第二の行の項目値を連結することを特徴とする請求項１４に記載の帳票認識方法。

【請求項17】

前記除外用語を含む行を第三の行、すべての列に値が存在しない行を第四の行とし、
前記第二の行に隣接した上の行、及び、下の行の双方が、前記第一の行の場合、
前記帳票認識部は、表形式の画像データの中で最初に登場する第一の行の上の行が、前記第二の行の場合、
前記第二の行の下に隣接した前記第一の行の項目値と前記第二の行の項目値を連結することを特徴とする請求項１４に記載の帳票認識方法。

【請求項18】

行と列を有する表形式の画像データから文字列を認識した認識結果を端末装置に提供する情報処理システムが行う帳票認識方法であって、
前記行の区切りに第一の罫線を設定し、予め設定されている列見出しの列の項目値の上端に第二の罫線を設定し、前記第一の罫線と前記第二の罫線に基づいて、行区切りを決定する帳票認識部と、
前記帳票認識部により決定された行区切りに基づいて抽出した項目値を前記端末装置に提供する表示画面生成部と、
を有することを特徴とする帳票認識方法。

【請求項19】

前記帳票認識部は、前記第一の罫線と重なっている前記第二の罫線を前記行区切りに決定することを特徴とする請求項１８に記載の帳票認識方法。

【請求項20】

前記第一の罫線は前記画像データを等間隔に区切るように決定されており、
前記帳票認識部は、指定されたスキップ数ごとに前記第一の罫線を描画することを特徴とする請求項１８又は１９に記載の帳票認識方法。

【請求項21】

行と列を有する表形式の画像データから文字列を認識した認識結果を端末装置に提供する情報処理システムを、
前記認識結果から、予め設定されている列見出しの列に値を有する第一の行の項目値と、予め設定されている除外用語を含まず空白行でない第二の行の項目値を連結する帳票認識部と、
前記帳票認識部により連結された前記第一の行と前記第二の行の項目値を前記端末装置に提供する表示画面生成部、
として機能させるためのプログラム。

【請求項22】

行と列を有する表形式の画像データから文字列を認識した認識結果を端末装置に提供する情報処理システムと、前記認識結果を表示する端末装置とを有する帳票認識システムであって、
前記情報処理システムは、
前記認識結果から、予め設定されている列見出しの列に値を有する第一の行の項目値と、予め設定されている除外用語を含まず空白行でない第二の行の項目値を連結する帳票認識部と、
前記帳票認識部により連結された前記第一の行と前記第二の行の項目値を前記端末装置に提供する表示画面生成部と、を有し、
前記端末装置は、
前記認識結果を表示する表示制御部を有することを特徴とする帳票認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、帳票認識方法、プログラム、及び、帳票認識システムに関する。

【背景技術】

【0002】

項目名とその項目値が表形式に配置された帳票をスキャンして、テキストデータに変換する技術が知られている。各企業は業務に合わせて帳票を作成するため、帳票の形式は企業によって様々である。このため、帳票が正しく認識されなかった場合、ユーザーが直接、項目値を抽出する領域を指定することが行われている。

【0003】

簡易な操作で所定の項目値に対応する領域を設定する技術が知られている（例えば、特許文献１参照。）。特許文献１には、表形式の画像に抽出ガイドを表示し、抽出ガイドの位置の設定を受け付けることで、抽出領域を指定する情報処理システムが開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、複数の行に記載された項目値が適切に抽出されないという問題がある。例えば、記載内容が複数の行にまたがる場合、行の区切りを適切に認識しないと記載内容が分断して抽出される。

【0005】

本発明は、上記課題に鑑み、複数の行に記載された項目値がより適切に抽出される情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題に鑑み、本発明は、行と列を有する表形式の画像データから文字を認識した認識結果を端末装置に提供する情報処理システムであって、前記認識結果から、予め設定されている列見出しの列に値を有する第一の行の項目値と、予め設定されている除外用語を含まず空白行でない第二の行の項目値を連結する帳票認識部と、前記帳票認識部により連結された前記第一の行と前記第二の行の項目値を前記端末装置に提供する表示画面生成部と、を有することを特徴とする。

【発明の効果】

【0007】

複数の行に記載された項目値がより適切に抽出される情報処理システムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】帳票認識システムのシステム構成の一例を示す図である。

【図2】サーバ装置のハードウェア構成の一例を示す図である。

【図3】端末装置のハードウェア構成の一例を示す図である。

【図4】業種判定データベースの一例を示す図である。

【図5】明細定義データベースに格納される明細定義情報の種類を示す図である。

【図6】汎用明細定義情報の一例を示す図である。

【図7】業種明細定義情報の一例を示す図である。

【図8】個社明細定義情報の一例を示す図である。

【図9】サーバ装置の機能を説明する図である。

【図10】端末装置の機能を説明する図である。

【図11A】帳票認識システムの動作を説明するシーケンス図の一例である（その１）。

【図11B】帳票認識システムの動作を説明するシーケンス図の一例である（その２）。

【図12】ジョブリストの一例を示す図である。

【図13】帳票認識部の処理を説明する第一のフローチャート図の一例である。

【図14】帳票認識部の処理を説明する第二のフローチャート図の一例である。

【図15】帳票認識部の処理を説明する第三のフローチャート図の一例である。

【図16】帳票画像データを説明する第一の図である。

【図17】明細情報の抽出を説明する第二の図である。

【図18】読取結果データに基づき生成された明細部の明細情報を説明する第三の図である。

【図19】認識結果確認画面の一例を示す図である。

【図20】認識結果における行の区切りの調整例を示す図である。

【図21】帳票認識部が複数の行を連結する手順を説明するフローチャート図の一例である。

【図22】ラベルＡとラベルＤの行の連結を模式的に説明する図である。

【図23】ラベルＡとＤの行の連結例を示す図である。

【図24】図２１の連結処理により帳票画像データの各行に設定されたラベルＡ～Ｄを示す図である。

【図25】図２１の連結処理により連結された品名を説明する図である。

【図26】比較される行の区切りの認識方法を示す図である。

【図27】行の区切りの認識方法の概略を示す図である。

【図28】帳票認識システムの動作を説明するシーケンス図の一例である（実施例２）。

【図29】図２８の連結処理により連結された品名を説明する図である（実施例２）。

【図30】金額の列に消費税も表示される段組み帳票の一部を示す図である（実施例２）。

【図31】ユーザーが論理罫線の行の区切りを「金額」の列、１行飛ばしを指定した場合の段組み帳票の論理罫線の描画例を示す図である（実施例２）。

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態の一例として、情報処理システムと情報処理システムが行う帳票認識方法について図面を参照しながら説明する。

【実施例0010】

＜用語について＞
本実施形態におけるユーザーとは、例えば、帳票認識システムが提供するサービスを利用するための契約を締結している事業所や企業、団体等、及び、その社員や職員等である。

【0011】

ユーザーは、取引先である帳票の発行元から帳票を入手し、経理処理などのために帳票認識システムを使用して帳票認識を行う。

【0012】

行とは、文字などの横の並びをいい、列とは、文字などの縦の並びをいう。表とは、少なくとも一部に行と列を有して、事柄を見やすいように配列したものである。このように事柄が配列された表示方法を表形式という。行が罫線で区切られていた場合、１行は罫線と罫線の間をいい、罫線で区切られていない場合、１行は文字列が横に並んでいる領域を含む表の端から端までである。空白行はおよそ一文字分の高さの行である。空白行には単なる記号の羅列（例えば、―――――、＊＊＊＊＊＊など）が含まれてもよい。

【0013】

列が縦罫で区切られていた場合、１列は縦罫と縦罫の間をいい、縦罫で区切られていない場合、１列は左右がスペースで区切られた表の先頭の文字列（列見出し）の長さを横幅とし、この文字列の下に縦方向に存在する最下部の文字列までを高さとする。

【0014】

帳票における正しい行の区切りとは、帳票の発行元が意図した行の区切りをいう。つまり、帳票における正しい行の区切りとは、帳票の記載内容が複数行にわたる場合に、どの行からどの行までを連結するべきか判断することをいう。当然ながら、発行元が意図した行の区切りは、ユーザーにとっても正しい行の区切りである。
本実施形態における文字列とは、英数字、かな文字、漢字、各種記号（！＄％等）などをいい、項目名に対する項目値が文字列であるとして説明する。帳票によっては、文字列は、当該企業でのみ通用するマークやコードなども含む。

【0015】

＜システム構成例＞
図１は、帳票認識システムのシステム構成の一例を示す図である。本実施形態の帳票認識システム１００は、サーバ装置２００、画像形成装置３００、端末装置４００を有する。本実施形態の帳票認識システム１００において、サーバ装置２００と、画像形成装置３００と、端末装置４００とは、ネットワークを介して接続される。本実施形態のサーバ装置２００は、情報処理システムの一例である。

【0016】

また、サーバ装置２００は、例えば、ネットワークを介して基幹システム５００と接続される。基幹システム５００とは、例えば、本実施形態の帳票認識システム１００において帳票を認識した結果を用いて、特定の処理を行うシステムである。具体的には、例えば、基幹システム５００は、会計システムや、見積もり作成システム等であっても良い。

【0017】

本実施形態の帳票認識システム１００において、サーバ装置２００は、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像データから、帳票に含まれる項目と項目値とを抽出し、項目と項目値とを対応付けたテキストデータに変換する。

【0018】

サーバ装置２００はインターネット上に存在してもよいし、オンプレミスに存在してもよい。インターネット上に存在する場合はクラウドコンピューティングに対応しているとよい。クラウドとは、特定のハードウェア資源を意図しない場合に用いられる用語である。

【0019】

以下の説明では、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像又は画像データを帳票画像又は帳票画像データと呼ぶ。

【0020】

また、以下の説明では、帳票画像に含まれる項目と、この項目値とを抽出し、項目と項目値とをテキストデータに変換して対応付けることを、帳票認識と呼ぶ。

【0021】

本実施形態のサーバ装置２００は、記憶部２１０と、帳票認識処理部２２０とを有する。記憶部２１０には、帳票画像データベース２３０、業種判定データベース２４０、明細定義データベース２５０、認識結果データベース２６０が設けられている。

【0022】

帳票画像データベース２３０は、帳票画像データが格納される。業種判定データベース２４０は、帳票の発行元の業種を判別する際に参照される情報が格納される。明細定義データベース２５０は、帳票認識処理部２２０による帳票認識を行う際に参照される明細定義情報が格納される。認識結果データベース２６０は、帳票認識処理部２２０による帳票認識の結果を示す情報である認識結果データが格納される。

【0023】

本実施形態の帳票認識処理部２２０は、帳票画像データベース２３０に格納された帳票画像データを取得し、業種判定データベース２４０を参照して帳票の発行元の業種の判定と、参照すべき明細定義情報の特定を行う。そして、帳票認識処理部２２０は、明細定義データベース２５０において、特定された明細定義情報を用いて帳票認識を行い、その結果を認識結果データベース２６０へ格納する。明細定義情報とは、帳票に含まれる明細項目の項目名と項目名の記載位置を示す情報と、を含む。

【0024】

ここで、本実施形態の帳票認識処理部２２０は、帳票認識を行う際に、明細定義データベース２５０に格納された、個社明細定義情報と、業種明細定義情報と、汎用明細定義情報と、を参照する。

【0025】

本実施形態の汎用明細定義情報とは、一般的な帳票における明細項目名に対応する単語を定義した情報である。業種明細定義情報は、業種毎の帳票における明細項目名に対応する単語を定義した情報である。個社明細定義情報とは、帳票認識システム１００を利用するユーザー固有の帳票における明細項目名に対応する単語と帳票画像から抽出する情報を定義した情報である。業種判定データベース２４０と、明細定義データベース２５０の詳細は後述する。

【0026】

本実施形態では、このように、帳票認識の際に、３種類の明細定義情報を用いることで、汎用的な帳票に加えて、帳票の明細部を認識することができ、帳票の認識の精度を向上させることができる。

【0027】

帳票における明細部について簡単に説明する。帳票の明細部は、データの集計結果等を示す部分であり、明細項目毎に、同じ形式のデータが縦方向に繰り返し印刷された部分である。明細項目とは、明細部で集計されるデータの項目である。一般的な明細項目としては、商品名、数量、単価、金額等が含まれる。明細部の具体的例は後述する。

【0028】

本実施形態の帳票認識システム１００において、画像形成装置３００は、スキャナ機能を有する複合機である。画像形成装置３００は、コピー機能、ＦＡＸ機能、スキャナ機能等を実現するためのアプリケーションが搭載されており、各機能と対応するアプリケーションを選択することで、これらの機能が実現される。画像形成装置３００は、カメラを備えた例えば、スマートフォン、書画カメラ、タブレット端末等の情報処理装置でもよい。これらの情報処理装置ではＯＣＲアプリが動作して、単体で又はサーバ装置２００と連携して本実施形態と同様の処理を行うことができる。また、スキャナ装置など単体の読み取り機能とＯＣＲアプリを搭載した情報処理装置とがネットワークを介してつながる形態やＯＣＲ機能をサーバ装置に備える形式でもよい。

【0029】

本実施形態の端末装置４００は、帳票認識システム１００を利用するユーザーによって使用される。また、端末装置４００には、サーバ装置２００による帳票認識の結果が表示されても良い。

【0030】

また、図１の例では、サーバ装置２００は、記憶部２１０内に４つのデータベースを有する構成としたが、これに限定されない。各データベースは、一部がサーバ装置２００の外部装置に設けられていても良いし、各データベース全てが外部装置に設けられていても良い。

【0031】

また、図１の例では、サーバ装置２００が帳票認識処理部２２０を実現するものとしたが、これに限定されない。帳票認識処理部２２０は、複数の情報処理装置によって実現されても良い。

【0032】

また、図１の例では、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００とは、それぞれ１台としているが、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００の台数は、任意の数であって良い。

【0033】

次に、図２を参照して、本実施形態のサーバ装置２００のハードウェア構成について説明する。図２は、サーバ装置２００のハードウェア構成の一例を示す図である。

【0034】

本実施形態のサーバ装置２００は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０４、ＨＤＤ(Hard Disk Drive)コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ(Interface)２０８、ネットワークＩ／Ｆ２０９、データバスＢ、キーボード２１１、ポインティングデバイス２１２、光学ドライブ２１４、メディアＩ／Ｆ２１６を備えている。

【0035】

これらのうち、ＣＰＵ２０１は、サーバ装置２００全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する表示部である。

【0036】

外部機器接続Ｉ／Ｆ２０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２０９は、通信ネットワークＮを利用してデータ通信をするためのインターフェースである。データバスＢは、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0037】

また、キーボード２１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ２１４は、着脱可能な記録媒体の一例としての光記憶媒体２１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体２１３は、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ／Ｆ２１６は、フラッシュメモリ等の記録メディア２１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0038】

本実施形態のサーバ装置２００は、例えば、スマートフォン、タブレット端末、ＰＤＡ
(Personal Digital Assistant)、ウェアラブルＰＣ等であっても良い。

【0039】

本実施形態の端末装置４００は、演算処理装置と記憶装置とを有するコンピュータであり、例えば、ＰＣ（Personal Computer）、タブレット端末、スマートフォン等であっても良い。図３は、端末装置４００のハードウェア構成の一例を示す図である。

【0040】

本実施形態の端末装置４００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４、ＣＭＯＳセンサ４０５、撮像素子Ｉ／Ｆ４０６、加速度・方位センサ４０７、メディアＩ／Ｆ４０９、ＧＰＳ受信部４１１を備えている。

【0041】

これらのうち、ＣＰＵ４０１は、端末装置４００全体の動作を制御する演算処理装置である。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＥＥＰＲＯＭ４０４は、ＣＰＵ４０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４は、端末装置４００の記憶装置の一例である。

【0042】

ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ４０５は、ＣＰＵ４０１の制御にしたがって被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサは、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。

【0043】

撮像素子Ｉ／Ｆ４０６は、ＣＭＯＳセンサ３０５の駆動を制御する回路である。加速度・方位センサ４０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ４０９は、フラッシュメモリ等の記録メディア４０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部４１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。

【0044】

また、端末装置４００は、遠距離通信回路４１２、遠距離通信回路４１２のアンテナ４１２ａ、マイク４１５、スピーカ４１６、音入出力Ｉ／Ｆ４１７、ディスプレイ４１８、外部機器接続Ｉ／Ｆ(Interface)４１９、近距離通信回路４２０、近距離通信回路４２０のアンテナ４２０ａ、及びタッチパネル４２１を備えている。

【0045】

これらのうち、遠距離通信回路４１２は、通信ネットワークを介して、他の機器と通信する回路である。マイク４１５は、音を電気信号に変える内蔵型の回路である。スピーカ４１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ４１７は、ＣＰＵ４０１の制御にしたがってマイク４１５及びスピーカ４１６との間で音信号の入出力を処理する回路である。

【0046】

ディスプレイ４１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ４１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路４２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、ユーザーがディスプレイ４１８を押下することで、端末装置４００を操作する入力手段の一種である。ディスプレイ４１８は、端末装置４００の有する表示部の一例である。

【0047】

＜データベースの構成例＞
次に、本実施形態のサーバ装置２００の有する業種判定データベース２４０と明細定義データベース２５０について説明する。

【0048】

図４は、業種判定データベースの一例を示す図である。本実施形態の業種判定データベース２４０は、各種の業種毎に設けられる。

【0049】

業種判定データベース２４０では、業種と、帳票の発行元とが対応付けられている。図３の例では、業種「小売り」と、Ａ社、Ｂ社、Ｃ社とが対応付けられている。したがって、Ａ社、Ｂ社、Ｃ社は、小売り業を行っている組織であることがわかる。

【0050】

次に、図５乃至図８を参照して、本実施形態の明細定義データベース２５０について説明する。図５は、明細定義データベースに格納される明細定義情報の種類を示す図である。

【0051】

本実施形態の明細定義データベース２５０には、個社明細定義情報２５１と、業種明細定義情報２５２と、汎用明細定義情報２５３と、が格納されている。個社明細定義情報２５１とは、帳票の中でも、発行元が独自に設計した（あるいは発行元が独自で管理している管理システム等で使われている）帳票に含まれる明細項目名と記載位置を定義した明細定義情報であり、発行元専用の明細定義情報である。個社明細定義情報２５１は、３つの明細定義情報のうち、最も尊重されるべき定義であり、最も優先度が高い明細定義情報である。

【0052】

本実施形態の業種明細定義情報２５２は、帳票の中でも、各業界において一般的に利用される帳票に含まれる明細項目名と記載位置を定義した明細定義情報である。業種明細定義情報２５２の優先度は、３つの明細定義情報のうちの中間となる。

【0053】

本実施形態の汎用明細定義情報２５３とは、帳票の中でも、複数のユーザーにより利用される汎用性の高い帳票に含まれる明細項目名と記載位置を定義した明細定義情報である。汎用明細定義情報２５３は、３つの明細定義情報のうち、最も優先度の低い明細定義情報である。

【0054】

本実施形態の帳票認識処理部２２０は、この３つの明細定義情報を参照して、帳票画像データの認識を行う。したがって、本実施形態では、例えば、帳票画像データが、個社明細定義情報２５１において定義されていない明細項目名を含む帳票のものであった場合でも、業種明細定義情報２５２や汎用明細定義情報２５３で定義されていれば、この帳票画像データを認識できる。

【0055】

なお、以下の説明では、請求書を帳票の一例として説明する。なお、帳票は、明細部を含むものであれば、どのような帳票であっても良い。具体的には、例えば、帳票は、納品書や見積書、仕入れ伝票等であっても良い。

【0056】

帳票が納品書である場合には、発行元は納品書を発行した納品元となり、帳票が仕入れ伝票の場合には、発行元は仕入れ伝票を発行した仕入れ元となる。

【0057】

図６は、汎用明細定義情報の一例を示す図である。汎用明細定義情報２５３は、一般的な請求書の明細部で採用される明細項目名を定義するものであり、汎用明細定義情報２５３は、情報の項目として、明細項目名と、キーワードとを有し、両者は対応付けられている。

【0058】

項目「明細項目名」の値は、請求書の明細部で用いられる明細項目の名称を示す。項目「キーワード」の値は、明細部の明細項目名と同義と見なされるキーワード（単語）を示す。

【0059】

つまり、汎用明細定義情報２５３は、一般的な帳票で用いられる明細項目、帳票から明細項目として抽出するキーワードと、を定義した情報である。

【0060】

図６の例では、明細項目名「商品名」は、「商品」、「製品」、「品名」等のキーワードと同義として扱われることを示している。また、図６の例では、明細項目名「金額」は、「金額」、「総額」、「合計」等のキーワードと同義として扱われることを示している。

【0061】

また、図６の例では、明細項目名「注文番号」は、「注文Ｎｏ．」、「伝票番号」等のキーワードと同義として扱われることを示している。また、図６の例では、明細項目名「商品コード」は、「商品Ｎｏ．」、「商品番号」等のキーワードと同義として扱われることを示している。

【0062】

図７は、業種明細定義情報の一例を示す図である。業種明細定義情報２５２は、業種毎に設けられる情報であり、業種が示す業界における一般的な請求書の明細部で採用される項目名を定義するものである。

【0063】

業種明細定義情報２５２は、業種を特定する情報と、項目「明細項目名」と、項目「キーワード」とを有し、両者は対応付けられている。図７の例では、業種が「小売り業」であることを示している。

【0064】

項目「明細項目名」の値は、一般的な請求書の明細部で用いられる明細項目の名称を示す。項目「キーワード」の値は、請求元が小売り業の請求書において、一般的な明細項目名に相当するキーワード（単語）を示す。

【0065】

つまり、業種明細定義情報２５２は、業種と、帳票で用いられる明細項目、帳票から明細項目として抽出するキーワードと、を定義した情報である。

【0066】

図７の例では、一般的な帳票の明細項目名「商品名」は、発行元が小売り業の請求書の明細部では、「品名」、「製品名」等のキーワードに置き換えられる場合があることを示している。

【0067】

図８は、個社明細定義情報の一例を示す図である。本実施形態の個社明細定義情報２５１は、発行元ごとにユーザー側で登録されるものである。発行元が同じでもユーザーによって個社明細定義情報２５１が異なる場合はある。

【0068】

個社明細定義情報２５１では、請求元を特定する情報と、項目「明細項目名」と、項目「抽出情報」とが対応付けられている。

【0069】

請求元を特定する情報とは、請求元の名称、電話番号、口座番号等を含む。なお、図８の例では、請求元を特定する情報に、請求元の名称、電話番号、口座番号が含まれるものとしたが、請求元を特定する情報は、これらの情報のうちいずれか１つであっても良い。

【0070】

項目「明細項目名」の値は、一般的な請求書の明細部で用いられる明細項目の名称を示す。言い換えれば、個社明細定義情報２５１における明細項目名とは、帳票で用いられる明細項目を示す。

【0071】

項目「抽出情報」の値は、請求元から発行される請求書において、一般的な明細項目に相当するキーワード（単語）として抽出するキーワードと、請求書を示す帳票画像において、このキーワードが記載されている位置を示す情報とを含む。

【0072】

つまり、個社明細定義情報２５１における抽出情報は、帳票から明細項目として抽出するキーワードと、帳票におけるキーワードの位置を示す情報とを含む。したがって、個社明細定義情報２５１は、帳票で用いられる明細項目と、明細項目として抽出するキーワードと、帳票におけるキーワードの位置を示す情報とを定義した情報である。

【0073】

図８の例では、一般的な帳票の明細項目名「商品名」は、請求元がＡ社である請求書の明細部では、「品名」、等のキーワードに置き換えられる場合があることを示している。

【0074】

また、図８の例では、請求元がＡ社である請求書を示す帳票画像におけるキーワード「品名」の位置を示す情報として、キーワードの座標を示すキーワード座標、キーワード「品名」が記入されたセルの座標を示すセル座標、キーワード「品名」が記入された列の座標を示す列座標が抽出されることを示している。

【0075】

なお、請求書を示す帳票画像において、キーワードが記載されている位置を示す情報とは、キーワード座標でよい。キーワード座標は、キーワードに外接する矩形において対角線上にある２点の座標である。この座標から、キーワードに外接する矩形の幅と高さがわかる。同様にセル座標は、キーワードの直下のセルにおける文字列に外接する矩形において対角線上にある２点の座標である。なお、同じ列にあるセルの幅と高さは同じとする。列座標は、キーワードの直下のセルの文字列から最下部のセルの文字列に外接する矩形において対角線上にある２点の座標である。

【0076】

＜サーバ装置の機能＞
次に、図９を参照して、本実施形態のサーバ装置２００の機能について説明する。図９は、サーバ装置２００の機能を説明する図である。

【0077】

本実施形態のサーバ装置２００では、例えば、ＨＤ２０４やＲＡＭ２０３等に格納された情報処理プログラムをＣＰＵ２０１が読み出して実行することで、後述する各部の機能が実現される。

【0078】

本実施形態のサーバ装置２００は、帳票認識処理部２２０、定義登録部２９０、通信部２９８を有する。帳票認識処理部２２０は、入力受付部２２１、認証処理部２２２、帳票認識部２７０を有する。

【0079】

入力受付部２２１は、サーバ装置２００に対する各種の入力を受け付ける。具体的には、入力受付部２２１は、帳票認識システム１００にログインするための認証情報の入力を受け付ける。認証情報とは、例えば、ユーザーＩＤとパスワード等である。また、入力受付部２２１は、例えば、画像形成装置３００から送信された帳票画像データの入力を受け付ける。入力受付部２２１は、通信部２９８を介してサーバ装置２００に対する入力を受け付けて良いし、サーバ装置２００に対して直接行われた入力を受け付けても良い。

【0080】

認証処理部２２２は、入力受付部２２１が入力を受け付けた認証情報に基づき、認証を行う。なお、認証処理部２２２は、例えば、サーバ装置２００の外部に設けられた認証サーバに対して、入力された認証情報を送信し、認証サーバによる認証の結果を取得しても良い。認証処理部２２２は、ユーザーが認証されると、入力受付部２２１が受け付けた帳票画像データを帳票認識部２７０に渡しても良い。

【0081】

本実施形態の帳票認識部２７０は、画像データ格納部２７１、ジョブリスト生成部２７２、画像データ取得部２７３、前処理部２７４、文字認識部２７５、定義特定部２７６、項目抽出部２７７、表示画面生成部２７８、出力部２７９を有する。

【0082】

画像データ格納部２７１は、入力受付部２２１が、画像形成装置３００から通信部２９８を介して帳票画像データを受信すると、帳票画像データベース２３０に格納する。

【0083】

ジョブリスト生成部２７２は、入力受付部２２１が、通信部２９８を介して画像形成装置３００から帳票画像データの入力を受け付けると、ジョブリストにジョブを登録し、ジョブリストを管理する。ジョブリストの詳細は後述する。

【0084】

画像データ取得部２７３は、帳票画像データベース２３０に格納された帳票画像データを取得する。前処理部２７４は、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う。

【0085】

文字認識部２７５は、帳票画像データから、文字列と、文字列が配置された位置を示す情報とを抽出し、読取結果データとして保持する。読取結果データの詳細は後述する。

【0086】

定義特定部２７６は、読取結果データに含まれる文字列に基づき、帳票認識の際に参照する明細定義情報を特定し、特定した明細定義情報を明細定義データベース２５０から取得する取得部である。

【0087】

項目抽出部２７７は、読取結果データに基づき、帳票画像データに含まれる項目と、項目値とを抽出して対応付けを行った認識結果データを生成し、認識結果データベース２６０へ格納する。

【0088】

このとき、項目抽出部２７７は、定義特定部２７６により特定された明細定義情報を参照し、帳票の明細部に記載された明細項目名と、明細項目の項目値とを対応付けて抽出する。

【0089】

以下の説明では、帳票の明細部に記載された明細項目名と、明細項目の項目値とを対応付けた情報を明細情報と呼ぶ場合がある。本実施形態の明細情報は、認識結果データに含まれる情報であり、認識結果データの一部である。

【0090】

また、本実施形態の認識結果データは、帳票に記載された帳票の発行元を示す情報（発行元情報）等を含む。つまり、認識結果データには、帳票に記載された全ての文字列が含まれてよい。

【0091】

表示画面生成部２７８は、認識結果データベース２６０に格納された認識結果データを用いて、認識結果確認画面を生成する。表示画面生成部２７８は、通信部２９８を介して、端末装置４００に対する画面の表示を指示する。具体的には、表示画面生成部２７８は、個社明細定義情報を生成するための画面を端末装置４００に表示させる。また、表示画面生成部２７８は、画面を表示させるためのＸＭＬ形式のファイルを生成し、通信部２９８を介して端末装置４００のＷｅｂブラウザ上に入力画面を表示させる。

【0092】

なお、本実施形態では、表示画面生成部２７８は、個社明細定義情報２５１を生成するための画面を端末装置４００に表示させるものとしたが、これに限定されない。表示画面生成部２７８が画面を表示させる装置は、サーバ装置２００であっても良いし、端末装置４００以外の装置あっても良く、表示機能を有する表示装置であれば良い。

【0093】

出力部２７９は、表示画面生成部２７８が生成した認識結果確認画面を、通信部２９８を介して出力する。言い換えれば、出力部２７９は、表示画面生成部２７８が生成した認識結果確認画面を、通信部２９８を介して端末装置４００のＷｅｂブラウザ上で表示させる。

【0094】

本実施形態の定義登録部２９０は、操作内容取得部２９１、定義生成部２９３、定義更新部２９４を有する。

【0095】

操作内容取得部２９１は、通信部２９８を介して、端末装置４００のＷｅｂブラウザ上に表示された画面に対して入力された操作を受け付ける。より具体的には、本実施形態では、通信部２９８が端末装置４００から操作を示す情報を受信し、操作内容取得部２９１が、通信部２９８が受信した情報の入力を受け付ける。

【0096】

定義生成部２９３は、入力画面に対して端末装置４００から入力された情報に基づき、個社明細定義情報を生成して明細定義データベース２５０へ格納する。

【0097】

定義更新部２９４は、既に明細定義データベース２５０に登録された個社明細定義情報に対する修正を反映させて、個社明細定義情報を更新する。

【0098】

本実施形態の通信部２９８は、例えば、ネットワークＩ／Ｆ２０９等によって実現される機能であり、サーバ装置２００と外部装置との間でデータの送受信を行う。具体的には、例えば、通信部２９８は、表示画面生成部２７８に制御に応じて、端末装置４００に対して、画面の表示を指示する通知を送信する。

【0099】

＜端末装置の機能＞
次に、図１０を参照して、本実施形態の端末装置４００の機能について説明する。図１０は、端末装置４００の機能を説明する図である。

【0100】

後述する各部の機能は、端末装置４００の有するＣＰＵ４０１が、ＥＥＰＲＯＭ４０４やＲＯＭ４０２等に格納されたプログラムを読み出して実行することで実現される。

【0101】

本実施形態の端末装置４００は、操作受付部４３１、表示制御部４３２、通信部４３３を有している。操作受付部４３１は、表示制御部４３２によって端末装置４００のＷｅｂブラウザ上に表示された画面に対する入力を受け付ける。

【0102】

表示制御部４３２は、端末装置４００のディスプレイ４１８の表示を制御する。具体的には、表示制御部４３２は、サーバ装置２００からの指示に応じた画面をディスプレイ４１８に表示させる。

【0103】

通信部４３３は、遠距離通信回路４１２、遠距離通信回路４１２のアンテナ４１２ａ等によって実現される機能であり、端末装置４００と他の装置との間でデータの送受信を行う。

【0104】

＜動作又は処理＞
次に、図１１Ａ，図１１Ｂを参照して、本実施形態の帳票認識システム１００の動作について説明する。図１１Ａ、図１１Ｂは、帳票認識システムの動作を説明するシーケンス図である。

【0105】

帳票認識システム１００において、画像形成装置３００は、ユーザーから帳票認識を行うためのアプリケーションの起動要求を受け付けると（ステップＳ１１０１）、このアプリケーションを起動させる（ステップＳ１１０２）。

【0106】

続いて、画像形成装置３００は、ユーザーから認証情報の入力を受け付けると（ステップＳ１１０３）、この認証情報をサーバ装置２００へ送信し、認証要求を行う（ステップＳ１１０４）。

【0107】

サーバ装置２００の通信部２９８は認証要求を受信し、認証処理部２２２により認証を行い、その結果を画像形成装置３００へ通知する（ステップＳ１１０５）。なお、ここでは、ユーザーの認証が成功した場合の動作を示している。

【0108】

続いて、画像形成装置３００は、帳票のスキャン指示を受け付け（ステップＳ１１０６）、帳票のスキャンを行い、帳票画像データを取得する（ステップＳ１１０７）。続いて、画像形成装置３００は、帳票画像データをサーバ装置２００へ送信する（ステップＳ１１０８）。

【0109】

サーバ装置２００の入力受付部２２１が通信部２９８を介して帳票画像データの入力を受け付けると、認証処理部２２２がこの帳票画像データを帳票認識部２７０へ渡す（ステップＳ１１０９）。なお、図１１Ａの例では、認証処理部２２２を介して帳票画像データが帳票認識部２７０へ渡されるものとしたが、これに限定されない。帳票画像データは、認証処理部２２２を介さずに帳票認識部２７０に渡されても良い。

【0110】

サーバ装置２００の帳票認識部２７０は、帳票画像データを受け取ると、ジョブリスト生成部２７２により、ジョブリストにジョブを登録する（ステップＳ１１１０）。続いて、帳票認識部２７０は、画像データ格納部２７１により、帳票画像データを帳票画像データベース２３０へ格納する（ステップＳ１１１１）。

【0111】

続いて、帳票認識部２７０は、画像データ取得部２７３により、帳票画像データベース２３０から認識する対象となる帳票画像データを取得し（ステップＳ１１１２）、帳票画像を認識する処理を実行する（ステップＳ１１１３）。ステップＳ１１１３の処理の詳細は後述する。

【0112】

続いて、帳票認識部２７０は、項目抽出部２７７が生成した認識結果データを認識結果データベース２６０に格納する（ステップＳ１１１４）。

【0113】

帳票認識システム１００において、端末装置４００は、操作受付部４３１により、ユーザーからのブラウザの表示指示の入力を受け付けると（ステップＳ１１１５）、通信部４３３を介して、サーバ装置２００に対して認識結果データを表示させるブラウザの表示要求を行う（ステップＳ１１１６）。

【0114】

また、端末装置４００は、操作受付部４３１により、ユーザーから認証情報の入力を受け付けて（ステップＳ１１１７）、通信部４３３により、この認証情報をサーバ装置２００へ送信する（ステップＳ１１１８）。

【0115】

サーバ装置２００の通信部２９８は認証要求を受信し、認証処理部２２２がユーザーの認証を行う（ステップＳ１１１９）。通信部２９８は認証結果とジョブリストの一覧を端末装置４００に送信する（ステップＳ１１２０）。端末装置４００の通信部４３３が認識結果とジョブリストを受信して、表示制御部４３２がブラウザ上に表示する。なお、ここでは、ユーザーの認証が成功した場合の処理を示す。

【0116】

続いて、端末装置４００は、操作受付部４３１により、ジョブリストの一覧からジョブの選択を受け付けると（ステップＳ１１２１）、この選択を、帳票画像の認識結果の閲覧指示として、通信部４３３により、サーバ装置２００に対して閲覧要求を行う（ステップＳ１１２２）。

【0117】

サーバ装置２００の通信部２９８は閲覧要求を受信し、表示画面生成部２７８が認識結果データベース２６０に格納されている認識結果データを取得し（ステップＳ１１２３）、認識結果確認画面を生成する。通信部２９８は認識結果確認画面の画面情報を端末装置４００に送信する。端末装置４００の通信部４３３が認識結果確認画面の画面情報を受信して、表示制御部４３２がブラウザ上に表示する（ステップＳ１１２４）。ユーザーは、表示された認識結果確認画面で認識結果を確認できる。

【0118】

続いて、図１１Ｂを参照して説明する。一般に、業種明細定義情報２５２又は汎用明細定義情報２５３を使用した認識結果は、帳票における行や列の区切りを正しく反映していない。これは、個社明細定義情報２５１が使用された場合も同様で、帳票の記載内容（品名が長いなど）により、行の高さが変わり、認識結果が帳票における行の区切りを正しく反映していない場合が生じうる。このため、ユーザーは、端末装置４００を操作して認識結果に対し行や列の位置を調整する（Ｓ１１２５）。端末装置４００の操作受付部４３１はユーザー操作を受け付け、表示制御部４３２がユーザー操作に応じた行や列の調整結果を表示する（Ｓ１１２６）。行の調整時の画面については図１９にて説明する。なお、調整結果とは本実施形態では、行の新しい区切りであるが、ユーザーは列の位置も同様に調整できる。したがって、調整結果には、帳票の行と列の位置情報が含まれる。

【0119】

本実施形態では、後述する行の連結処理により行が連結されるので、ユーザーは帳票画像データを等間隔の行に区切る程度の調整を行えばよい。また、帳票認識部２７０が帳票画像データを等間隔の行に区切っている場合、ユーザーの調整はなくてもよい。

【0120】

ユーザーは調整が終わると、行の連結を含む帳票認識を端末装置４００に指示する（Ｓ１１２７）。すでに帳票認識はステップＳ１１１３で終了しているので、再度、帳票認識が行われる。操作受付部４３１が指示を受け付け、通信部４３３がユーザーによる調整結果（行と列の位置情報）を含む帳票認識要求をサーバ装置２００に送信する（Ｓ１１２８）。

【0121】

サーバ装置２００の通信部２９８は帳票認識要求を受信し、帳票認識部２７０が行の連結を含む帳票認識を行う（Ｓ１１２９）。ステップＳ１１２９の処理の詳細を図２１にて説明する。

【0122】

サーバ装置２００の通信部２９８は行の連結結果を含む認識結果データを、帳票認識部が端末装置４００に送信する（Ｓ１１３０）。

【0123】

端末装置４００の通信部４３３が認識結果データを受信し、表示制御部４３２が行の連結結果を含む認識結果を表示する（Ｓ１１３１）。

【0124】

これにより、行の高さによって異なる行として認識されていた行が、連結して認識された明細が表示される。

【0125】

ユーザーが端末装置４００に個社明細定義情報の登録指示の入力を指示する。端末装置４００は、操作受付部４３１により、個社明細定義情報の登録指示の入力を受け付けると（ステップＳ１１３２）、通信部４３３を介して、個社明細定義情報の登録要求をサーバ装置２００へ送信する（ステップＳ１１３３）。

【0126】

サーバ装置２００の通信部２９８がこの登録要求を受信すると、表示画面生成部２７８が個社明細定義情報の登録画面を生成する。通信部２９８は個社明細定義情報の登録画面の画面情報を端末装置４００に送信する。端末装置４００の通信部４３３が個社明細定義情報の登録画面の画面情報を受信して、表示制御部４３２がブラウザ上に表示する（ステップＳ１１３４）。

【0127】

続いて、端末装置４００の操作受付部４３１が個社明細定義情報の入力を受け付けると（ステップＳ１１３５）、通信部４３３が入力された情報をサーバ装置２００へ送信する（ステップＳ１１３６）。サーバ装置２００の通信部２９８が入力された情報を受信し、定義生成部２９３が端末装置４００から送信された情報に基づき、個社明細定義情報を生成し（ステップＳ１１３７）、明細定義データベース２５０に格納して（ステップＳ１１３８）、処理を終了する。

【0128】

＜ジョブリスト＞
次に、図１２を参照して、本実施形態のジョブリスト生成部２７２により生成されるジョブリストについて説明する。図１２は、ジョブリストの一例を示す図である。

【0129】

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データが入力されると、ジョブリスト生成部２７２により、帳票画像データとジョブＩＤとを対応付けたジョブリストとして保持する。

【0130】

本実施形態のジョブリスト１０１は、情報の項目として、ジョブＩＤ、請求元、帳票画像ファイルパス、認識結果ファイルパス、ステータス、ユーザーＩＤを有する。

【0131】

項目「ジョブＩＤ」の値は、ジョブを特定する識別情報である。言い換えれば、項目「ジョブＩＤ」の値は、画像形成装置３００から受信した帳票画像データを特定するための識別情報である。

【0132】

項目「請求元」は、帳票の発行元の社名等である。ジョブ登録時には請求元は不明なので、帳票認識後に設定されてよい。

【0133】

項目「画像ファイルパス」の値は、帳票画像データが格納されている場所を示す情報である。項目「認識結果ファイルパス」の値は、帳票画像を認識した結果の認識結果データが格納されている場所を示す情報である。

【0134】

項目「ステータス」の値は、帳票画像の認識の進捗を示す。言い換えれば、項目「ステータス」の値は、ジョブの状態を示す。本実施形態では、項目「ステータス」の値として、未処理状態、下書き保存状態、確定済み状態、外部出力済み状態の４つを例示しているが、これに限定されるものではない。各状態は、以下の通りである。

【0135】

・未処理状態（状態１）は、帳票認識によって認識結果データが取得された直後であり、認識結果の確認等が行われていない状態である。

【0136】

・下書き保存状態（状態２）は、認識結果データの確認等の作業の途中等であり、認識結果データが確定される前の状態である。

【0137】

・確定済み状態（状態３）は、認識結果データの確認等の作業が完了し、確定された情報として認識結果データベース２６０へ格納された状態である。

【0138】

・外部出力済み状態（状態４）は、帳票認識システム１００と連携する会計システム等への認識結果データの出力が完了した状態。

【0139】

項目「ユーザーＩＤ」の値は、帳票認識システム１００にログインしたユーザーを特定するための識別情報である。

【0140】

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データを受信すると、ジョブリスト生成部２７２により、ジョブＩＤを付与し、認証情報として取得したユーザーＩＤを対応付けて、ジョブリスト１０１にレコードを追加する。そして、ジョブリスト生成部２７２は、帳票画像データが帳票画像データベース２３０に格納されると、この格納先を示す情報を項目「画像ファイルパス」の値として、追加する。

【0141】

更に、ジョブリスト生成部２７２は、認識結果データが認識結果データベース２６０に格納されると、項目「請求元」に発行元を追加し、この格納先を示す情報を項目「認識結果ファイルパス」の値として追加し、項目「ステータス」の値を確定済み状態とする。

【0142】

本実施形態では、端末装置４００が、例えば、ジョブリスト生成部２７２によって生成されたジョブリストを表示しても良い。この場合、ユーザーは、ジョブリストに基づいて表示されたジョブリスト画面を介して、帳票画像の認識の進捗を確認することができる。

【0143】

＜帳票の認識＞
次に、図１３を参照して、本実施形態の帳票認識部２７０の処理について説明する。図１３は、帳票認識部２７０の処理を説明する第一のフローチャートである。図１３は、図１１ＡのステップＳ１１１３の処理の詳細を示している。また、図１３は、複数の帳票画像データを画像形成装置３００から受け取った場合の処理を示している。

【0144】

画像データ取得部２７３は帳票の認識結果データが生成されていない帳票画像データを帳票画像データベース２３０から取得する（Ｓ１３００）。

【0145】

前処理部２７４は、画像データ取得部２７３が取得した帳票画像データに対して、行と列を認識する処理を行う（Ｓ１３０１）。ここでの認識は、横線と縦線、色の違う領域等に基づくラフなものでよい。

【0146】

前処理部２７４は、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う（ステップＳ１３０２）。前処理とは、具体的には、例えば、二値化、ノイズ除去、帳票画像の向きの天地合わせ、等の補正処理である。

【0147】

続いて、帳票認識部２７０は、文字認識部２７５により、帳票画像から、文字が形成されている領域（以下、文字フィールド）の中の文字を切り取り、文字認識する（ステップＳ１３０３）。このとき、文字認識部２７５は、切り出した文字の位置を示す座標も取得する。

【0148】

続いて、帳票認識部２７０は、文字認識部２７５により認識された各文字列の位置関係に基づいて読取結果データを生成して、保持する（ステップＳ１３０４）。具体的に、帳票認識部２７０は、認識された各文字の座標に基づいて、互いの距離が予め設定された閾値以内の文字を１つの文字列として認識し、文字列と、文字列が形成された領域の位置を示す座標などの情報とを対応付けて読取結果データを生成する。

【0149】

続いて、帳票認識部２７０は、定義特定部２７６により、読取結果データに含まれる請求元を特定する情報（以下、請求元情報）と、業種判定データベース２４０とを参照し、請求元の業種を特定する（ステップＳ１３０５）。

【0150】

続いて、帳票認識部２７０は、定義特定部２７６により、明細定義データベース２５０に、請求元情報と対応する個社明細定義情報２５１が存在するか否かを判定する（ステップＳ１３０６）。

【0151】

ステップＳ１３０６において、個社明細定義情報２５１が存在する場合、帳票認識部２７０は、項目抽出部２７７により、個社明細定義情報２５１に基づき明細情報を抽出し（ステップＳ１３０７）、後述するステップＳ１３１１へ進む。ステップＳ１３０７の処理の詳細は後述する。

【0152】

ステップＳ１３０６において、個社明細定義情報２５１が存在しない場合、定義特定部２７６は、明細定義データベース２５０に、ステップＳ１３０５で特定された業種と対応する業種明細定義情報２５２が存在するか否かを判定する（ステップＳ１３０８）。

【0153】

ステップＳ１３０７において、業種明細定義情報２５２が存在する場合、帳票認識部２７０は、項目抽出部２７７により、業種明細定義情報２５２に基づき明細情報を抽出し（ステップＳ１３０９）、後述するステップＳ１３１１へ進む。ステップＳ１３０９の処理の詳細は後述する。

【0154】

ステップＳ１３０８において、業種明細定義情報２５２が存在しない場合、帳票認識部２７０は、項目抽出部２７７により、汎用明細定義情報２５３に基づき明細情報を抽出し（ステップＳ１３１０）、後述するステップＳ１３１１へ進む。ステップＳ１３１０の処理の詳細は後述する。

【0155】

帳票認識部２７０は、明細情報の抽出に成功したか否かを判定する（ステップＳ１３１１）。具体的には、帳票認識部２７０は、ステップＳ１３０７、ステップＳ１３０９、ステップＳ１３１０のいずれかの処理で抽出された明細情報が存在するか否かを判定している。

【0156】

ステップＳ１３１１において、明細情報の抽出に失敗した場合、帳票認識部２７０は、端末装置４００又は画像形成装置３００に対してエラーを通知し（ステップＳ１３１２）、処理を終了する。

【0157】

ステップＳ１３１１において、明細情報の抽出に成功した場合、帳票認識部２７０は、項目抽出部２７７により、抽出された明細情報をマージした認識結果データを生成し、認識結果データベース２６０に格納する（ステップＳ１３１３）。

【0158】

続いて、帳票認識部２７０は、ジョブリスト生成部２７２により、認識結果データの格納先をジョブリスト１０１に登録する（ステップＳ１３１４）。

【0159】

続いて、帳票認識部２７０は、表示画面生成部２７８により、認識結果データを用いて生成された認識結果確認画面を作成する。端末装置４００の通信部４３３が認識結果確認画面の画面情報を受信し、表示制御部４３２が認識結果確認画面を表示し（ステップＳ１３１５）、処理を終了する。

【0160】

なお、図１３の例では、認識結果データを表示させる処理までを一連の動作として説明したが、これに限定されない。帳票認識部２７０は、端末装置４００から、認識結果データの閲覧要求を受け付けてから、認識結果データを表示させても良い。

【0161】

＜明細情報の抽出＞
次に、図１４と図１５を参照して、本実施形態の項目抽出部２７７による明細情報の抽出について説明する。図１４は、帳票認識部２７０の処理を説明する第二のフローチャートである。図１５は、図１３のステップＳ１３０７の処理の詳細を示している。

【0162】

本実施形態の帳票認識部２７０において、項目抽出部２７７は、読取結果データが保持されると、各文字の座標値を取得する（ステップＳ１４０１）。続いて、項目抽出部２７７は抽出した文字列（ステップＳ１３０４で抽出した）とその座標値を取得する（ステップＳ１４０２）。

【0163】

続いて、項目抽出部２７７は、取得した各文字列で、個社明細定義情報２５１に含まれる明細項目名を検索し（ステップＳ１４０３）、検索結果が存在するか否かを判定する（ステップＳ１４０４）。具体的には、項目抽出部２７７は、個社明細定義情報２５１に、文字列と一致する明細項目名又はキーワードが存在するか否かを判定している。

【0164】

ステップＳ１４０４において、該当する明細項目名又はキーワードが存在しない場合、帳票認識部２７０は、処理を終了する。また、ステップＳ１４０４において、該当する明細項目名又はキーワードが存在する場合、検索に適合した明細項目名又はキーワードの下に、縦方向に並ぶ列から項目値を抽出し（ステップＳ１４０５）、処理を終了する。

【0165】

なお、図１３のステップＳ１３０９の処理は、図１４のステップＳ１４０３において、参照する明細定義情報が業種明細定義情報２５２である点以外は、図１４の処理と同様であるから、説明を省略する。

【0166】

図１５は、帳票認識部２７０の処理を説明する第三のフローチャートである。図１５は、図１３のステップＳ１３１０の処理の詳細を示している。言い換えれば、図１５は、請求元と対応する個社明細定義情報２５１も業種明細定義情報２５２も存在しない場合に、汎用明細定義情報２５３を参照して明細情報を抽出する処理を示している。

【0167】

図１５のステップＳ１５０１とステップＳ１５０２の処理は、図１４のステップＳ１４０１とステップＳ１４０２の処理と同様であるから、説明を省略する。

【0168】

項目抽出部２７７は、文字列と座標値を取得すると、帳票画像データに縦罫（縦線）が存在するか否かを判定する（ステップＳ１５０３）。ステップＳ１５０３において、縦罫が存在しない場合、項目抽出部２７７は、後述するステップＳ１５１０へ進む。なお、直線（縦罫）の検出方法にはハフ変換等の周知の方法がある。

【0169】

ステップＳ１５０３において、縦罫が存在する場合、項目抽出部２７７は、縦罫の各セルの座標値を抽出する（ステップＳ１５０４）。なお、このとき、項目抽出部２７７は、各セルに、各セルを識別する識別情報（ＩＤ）を付与しても良い。また、当該識別情報は、例えば、表の列を特定する列ＩＤ及び表の行を特定する行ＩＤとして付与されても良い。このように、列ＩＤと行ＩＤとを付与すれば、列ＩＤと行ＩＤとの組み合わせにより、セルが特定される。

【0170】

続いて、項目抽出部２７７は、表の各セルに含まれる文字列を特定し、セルの座標値と対応付けて保持する（ステップＳ１５０５）。

【0171】

続いて、項目抽出部２７７は、表の先頭行の各セルに含まれる文字列（列見出し）を特定する（ステップＳ１５０６）。

【0172】

続いて、項目抽出部２７７は、先頭行の各セルに含まれる文字列（列見出し）で、汎用明細定義情報２５３を検索する（ステップＳ１５０７）。

【0173】

続いて、項目抽出部２７７は、汎用明細定義情報２５３に、先頭行の各セルに含まれる文字列（列見出し）と一致する明細項目名又はキーワードが存在するか否かを判定する（ステップＳ１５０８）。

【0174】

ステップＳ１５０８の判断がＮｏの場合、項目抽出部２７７は、処理を終了する。

【0175】

ステップＳ１５０８の判断がＹｅｓの場合、項目抽出部２７７は、先頭行の各セルに含まれる文字列を含む列から明細項目の項目値を抽出し（ステップＳ１５０９）、処理を終了する。

【0176】

ステップＳ１５０３において、縦罫が存在しない場合、帳票認識部２７０は帳票画像における明細部の領域を特定する（ステップＳ１５１０）。具体的には、帳票認識部２７０は、例えば、文字列が縦方向に並んでいる領域を、明細部の領域と特定して良い。

【0177】

続いて、帳票認識部２７０は、項目抽出部２７７により、明細部に特定された領域における一行目の文字列を特定し、特定した文字列の座標値と対応付けて保持する（ステップＳ１５１１）。特定された領域における一行目の文字列とは、特定された領域において、一番上に位置する文字列である。

【0178】

続いて、項目抽出部２７７は、ステップＳ１５１１で特定した文字列で、汎用明細定義情報２５３を検索する（ステップＳ１５１２）。続いて、項目抽出部２７７は、汎用明細定義情報２５３に、特定した文字列と一致する明細項目名又はキーワードが存在するか否かを判定する（ステップＳ１５１３）。

【0179】

ステップＳ１５１３の判断がＮｏの場合、帳票認識部２７０は、処理を終了する。

【0180】

ステップＳ１５１３の判断がＹｅｓの場合、項目抽出部２７７は、ステップＳ１５１１で特定した文字列の座標値から、文字列が外接する領域の幅を取得し、この幅において縦方向に並んでいる文字列を明細項目の項目値として抽出し（ステップＳ１５１４）、処理を終了する。

【0181】

なお、図１５の例では、帳票画像に縦罫が存在する場合には、セルの座標値を抽出するものとしたが、縦罫の代わりに罫線（横線）を用いても良い。その場合、帳票認識部２７０は、帳票画像に横線が存在するか否かを判定し、横線が存在する場合には、横線と横線の間に位置する文字列と、文字列の座標を特定すれば良い。

【0182】

そして、帳票認識部２７０は、横線と横線の間の文字列のうち、一番左の文字列と一致する明細項目名又はキーワードが汎用明細定義情報２５３に存在する場合には、この横線と横線の間にある２番目以降の文字列を明細項目の項目値とすれば良い。

【0183】

＜帳票を用いた明細情報の抽出＞
次に、図１６～図１８を参照して、帳票認識部２７０の処理について更に説明する。図１６は、明細情報の抽出を説明する第一の図である。

【0184】

図１６は、帳票画像データを説明する第一の図である。図１６に示す請求書１６１には、請求元を特定する請求元情報１６１ａと、明細項目毎に同じ形式のデータが縦方向に繰り返し印刷された明細部１６１ｂとが含まれる。図１６に示す請求書１６１は、請求元情報１６１ａは、請求元の名称であり、明細部１６１ｂは、表形式で記載されている。

【0185】

本実施形態では、請求書１６１を画像形成装置３００で読み取って帳票画像データとし、帳票画像データに対して帳票認識部２７０の処理を実行することで、認識結果データが生成される。

【0186】

図１７は、明細情報の抽出を説明する第二の図である。図１７に示す情報１７１は、請求書１６１を示す帳票画像データに対し、文字認識部２７５による文字認識を行った結果である。

【0187】

情報１７１は、請求書１６１のうち、明細部１６１ｂから文字フィールドを切り取り、文字フィールドの中の文字を認識した結果と、文字の位置を示す座標とから抽出した例を示す。

【0188】

本実施形態の文字認識部２７５は、この情報１７１から、隣り合う位置にある文字同士をつなげて文字列（文字列）を認識する。具体的には、文字認識部２７５は、文字と文字との間の距離が、所定ピクセル以内である文字の組み合わせを、１つ単語として認識しても良い。

【0189】

図１７に示す情報１７２は、文字認識部２７５により認識された文字列と、文字列の領域とを示す情報であり、文字認識部２７５による帳票画像の読取結果データである。

【0190】

また、文字認識部２７５は、帳票画像データから、縦線と横線で区切られた領域を１つのセルとして認識し、セル毎にセルを識別する識別情報（セルＩＤ）を付与する。

【0191】

図１７に示す情報１７３は、明細部１６１ｂから認識されたセル毎の領域とセルＩＤとの対応付けを示す情報である。

【0192】

図１７では、例えば、列見出し「品名」が認識された領域は、情報１７２において、Ｘ座標とＹ座標によって示される位置を基準として、高さと幅とから特定される。

【0193】

また、情報１７３において、列見出し「品名」が認識された領域は、セルＩＤ「２」に含まれることがわかる。したがって、列見出し「品名」は、明細部１６１ｂに含まれる列見出しとして、セルＩＤ「２」と対応付けられる。

【0194】

なお、情報１７３では、列見出し「品名」が認識された領域に対してセルＩＤを対応付けるものとしたが、これに限定されない。セルＩＤは、行見出しが縦方向に並ぶ列を特定する行ＩＤと、列見出しが横方向に並ぶ列ＩＤとによって特定されても良い。

【0195】

本実施形態の帳票認識部２７０は、このようにして、帳票画像データから、文字列とセルとを対応付ける。

【0196】

図１８に示す明細情報１７４は、請求書１６１と対応する読取結果データに基づき生成された、明細部１６１ｂの明細情報を示す第三の図である。したがって、図１８に示す明細情報１７４は、帳票画像データ全体の認識結果データの一部である。

【0197】

図１８に示す明細情報１７４は、項目抽出部２７７によって生成されるものであり、情報の項目として、列ＩＤ、列見出し、列の座標、行ＩＤ、項目値、明細項目名とを有する。

【0198】

項目「列ＩＤ」の値は、明細部１６１ｂ（表）に含まれる列を特定する識別情報であり、項目「列見出し」の値は、表の一番上の行の各セル内の列見出しである。項目「列の座標」の値は、列の座標を示す。なお、本実施形態では、列の座標を、帳票画像における明細の列の左上の点の座標値と右下の点の座標値とする。

【0199】

項目「行ＩＤ」の値は、行を特定する識別情報であり、項目「項目値」の値は、明細項目と対応する項目値を示す。

【0200】

項目「明細項目名」の値は、対応する明細項目名と、項目名の位置を示す座標とが、個社明細定義情報２５１においてどの項目に対応付けられるかを示す。項目名の位置を示す座標とは、例えば、列の座標と行ＩＤとの組み合わせ等によって示される。

【0201】

明細情報１７４では、列見出しである「伝票日付」に項目「明細項目名」の値である「日付」が対応付けられている。また、列見出しである「伝票日付」に列の座標と行ＩＤとが対応付けられている。

【0202】

ユーザーが個社明細定義情報２５１を更新すると判断しその操作を行うと、「伝票日付」の列の座標、行ＩＤに基づいて、個社明細定義情報２５１の「日付」に、キーワード：「伝票日付」、キーワード座標（情報１７２の列見出しが品名の１レコード分）、セル座標（情報１７３の品名に対するセルの１レコード分）、列座標（セル座標×行数分の座標）が登録される。

【0203】

なお、図１８の明細情報１７４の例では、情報の項目として、列の座標、列ＩＤ、行ＩＤを含むものとしたが、これに限定されない。明細情報１５４は、情報の項目として、明細項目名と、項目値とが含まれていれば良く、それ以外の項目は、明細情報１７４に含まれなくても良い。

【0204】

また、本実施形態では、認識結果確認画面に明細情報１７４を表示させる場合には、表示画面生成部２７８が明細項目名と項目値のみを表示させれば良い。

【0205】

＜認識結果の表示例＞
次に、図１９を参照して、帳票画像データの認識結果の表示例について説明する。図１９は、認識結果確認画面５０１を示す図である。認識結果確認画面５０１は、例えば、図１１ＢのステップＳ１１２５で端末装置４００に表示される。

【0206】

認識結果確認画面５０１は、表示欄５０２、表示欄５０３と、表示部品５０８、５０９とを含む。表示欄５０２には、帳票画像データに基づく帳票画像が表示される。図１９の例では、帳票が請求書であり、帳票画像における明細部を示す領域５０４が含まれる。

【0207】

表示欄５０３は、表示欄５０２に表示された帳票画像を示す帳票画像データに対して帳票認識部２７０による帳票認識を行った結果の認識結果データが表示される。

【0208】

表示欄５０３は、表示欄５０５、５０６、５０７を含む。表示欄５０５には、ジョブリスト１０１の項目「ステータス」の値が表示される。表示欄５０６には、請求元情報が表示される。請求元情報は、認識結果データの一部である。

【0209】

表示欄５０７は、明細情報が表示される。具体的には、表示欄５０７には、明細情報に含まれる明細項目の値の一覧が表示される。表示欄５０７は抽出された各行の明細項目を繰り返し表示する。図１９では２行分が表示されているが、スクロール等で他の行の明細項目を表示できる。表示欄５０７は、表示欄５１１、５１３、５１４、５１５、５１６を含む。

【0210】

表示欄５１１は、帳票画像における明細部を示す領域５０４に表示された、明細項目名「品名」の明細項目の値が表示される。表示欄５１３は、領域５０４に表示された、明細項目名「金額」の明細項目の値が表示される。

【0211】

表示欄５１４は、領域５０４に表示された、明細項目名「単価」の明細項目の値が表示される。表示欄５１５は、領域５０４に表示された、明細項目名「数量」の明細項目の値が表示される。表示欄５１６は、領域５０４に表示された、明細項目名「伝票No」の明細項目の値が表示される。

【0212】

本実施形態では、このように、端末装置４００が、帳票画像の明細部における明細項目名のそれぞれに対応する項目から項目値を抽出して、表示欄５１１、５１３、５１４、５１５、５１６に表示する。すなわち、これらの明細項目名に対応する項目は、抽出の対象となる項目（抽出対象項目）である。また、抽出対象項目は、固定に決められた項目であってもよいし、ユーザーにより変更できるようにしてもよい。

【0213】

明細抽出ボタン５１０は、図１１ＢのステップＳ１１２７で、高さが異なる行を含む帳票の行区切りを正しく認識するために、ユーザーが帳票認識の要求を行うためのボタンである。

【0214】

表示部品５０８は、ジョブリスト１０１のステータスの値を、未処理状態から下書き保存状態とするための表示部品である。表示部品５０８が操作されると、表示欄５０５は、「未処理」から「下書き保存」に変化する。

【0215】

表示部品５０９は、ジョブリスト１０１のステータスの値を、確定済み状態とするための表示部品である。図１９の例では、帳票画像データからの認識結果データの抽出が成功したため、認識結果データの修正は行われていない。したがって、図１９の例では、表示部品５０９が操作されると、ジョブリスト１０１のステータスの値が、確定済み状態とされ、個社明細定義情報２５１の生成は行われない。

【0216】

＜認識結果の調整＞
上記のように、個社明細定義情報２５１を使用した帳票の認識でも、行区切りを正しく認識できない場合がある。このような場合、ユーザーは行を調整して（ユーザーによる調整は必須でない）、帳票認識の指示を行う。

【0217】

図２０は、行の誤認識が生じた認識結果の一例である。なお、説明の便宜上、図２０では領域５０４に表示された帳票画像データのみを示す。また説明のため、右橋に行番号を示した。図２０（ａ）では、一例として、２行ごとに行が認識されている。認識結果は、行と列の区切りが分かるように行と列の違いを色等で区別する半透明部品５４０が帳票画像データに重ねて提示される。図２０では行と列の区切りを点線が示している。ユーザーは半透明部品５４０をマウス等でドラッグすることで、各行を同じ高さに揃えたり、行を追加したり、削除したりすることができる。

【0218】

ここで、ユーザーは１行目と４～８行目を１行ごとに区切りたいと考えており、２，３行目を連結したいと考えている。そこで、ユーザーは半透明部品５４０を操作して、図２０（ｂ）に示すように、帳票画像データを等間隔に８行に区切った。この状態であれば、サーバ装置２００が２，３行目を連結できる。この処理は、図１１ＢのステップＳ１１２９の処理に相当する。

【0219】

なお、本実施形態では、列の区切りの調整について特に説明しないが、ユーザーは列についても調整できる。半透明部品５４０は、個社明細定義情報２５１、業種明細定義情報２５２、汎用明細定義情報２５３に登録されているキーワード５２１～５２６を、帳票画像データの各列に対応付けて表示する。図２０（ａ）では、列見出しの更に上方にキーワード５２１～５２６が表示されている。表示位置は一例に過ぎない。ユーザーはキーワード５２１～５２６と列の対応が間違っている場合、半透明部品５４０を列ごとに移動でき、列見出しとキーワード５２１～５２６の対応を調整できる。例えば、数量というキーワード５２４に対し、帳票画像データの「数量」「単位」が対応しているが、「単位」を除外することができる。

【0220】

図２１は、帳票認識部２７０が複数の行を連結する手順を説明するフローチャート図の一例である。

【0221】

まず、帳票認識部２７０は、金額の項目、又は、数量と単価の項目に項目値が入っている行を抽出してラベルＡを設定する（Ｓ１１２９－１）。ラベルは後の処理で行を区別する必要があるために便宜上、設定される行の種類情報である。なお、ラベルＡが設定された行は、第一の行の一例である。

【0222】

また、金額の項目が着目されるのは、帳票では金額が処理の対象となるためである。また、数量と単価が着目されるのは、帳票に金額が記載されていなくても、数量と単価が記載されている場合があるためである。

【0223】

なお、金額などの項目が指定されていない場合は金額の項目に着目しない。また、金額はユーザーが設定した項目であるが、ユーザーが別の項目を設定した場合は、帳票認識部２７０は該項目に着目する。また、金額、数量又は単価のいずれも設定されていない場合、全ての行にラベルＡを設定する。

【0224】

帳票認識部２７０は、ラベルＡが設定された行に後述するラベルＤの行を連結する。このため、帳票認識部２７０は、以下のように各行にラベルを設定する。
・ラベルＢは、「消費税」or「小計」or「合計」or「伝票計」の文字（除外用語に対応）がいずれかの項目に入っている行である。「消費税」、「小計」、「合計」、又は「伝票計」は、品名として使用されない用語である。なお、ラベルＢが設定された行は、第三の行の一例である。また、除外用語はユーザーが適宜設定でき、本実施例の除外用語は一例に過ぎない。
・ラベルＣは、どの項目にも値が存在しない行である。なお、ラベルＣが設定された行は、第四の行の一例である。
・ラベルＤは、その他の行である。なお、ラベルＤが設定された行は、第二の行の一例である。

【0225】

このため、帳票認識部２７０は、「消費税」「小計」「合計」「伝票計」のいずれかの文字が入っている行のラベルをＡ→Ｂとする（Ｓ１１２９－２）。

【0226】

帳票認識部２７０は、どの項目にも値が存在しない行にラベルＣを設定する（Ｓ１１２９－３）。

【0227】

帳票認識部２７０は、その他の行にラベルＤを設定する（Ｓ１１２９－４）。なお、以下の処理については、図２２にて補足して説明するので参照されたい。

【0228】

次に、帳票認識部２７０は、ラベルＤの行の上下（双方）の行に、ラベルＡが設定されているか否かを判定する（Ｓ１１２９－５）。ラベルＤの行の上下の行に更にラベルＤの行がある場合は、最も端のラベルＤの行について判定する。

【0229】

ステップＳ１１２９－５の判定がＮｏの場合、帳票認識部２７０は、ラベルＤの行の上下片方の行にラベルＡが設定されているか否かを判定する（Ｓ１１２９－６）。

【0230】

ステップＳ１１２９－６の判定がＹｅｓの場合、帳票認識部２７０は、ラベルＡの行にラベルＤの行を連結する（Ｓ１１２９－７）。ステップＳ１１２９－６の判定がＮｏの場合、帳票認識部２７０は、ラベルＤをどの行にも連結しない。

【0231】

ステップＳ１１２９－５の判定がＹｅｓの場合、帳票認識部２７０は、帳票（明細）の中で最初に登場するラベルＡの行の上の行がなし（行そのものが存在しない。帳票画像データの範囲外。）、ラベルＢ、又はラベルＣであるか否かを判定する（Ｓ１１２９－８）。

【0232】

ステップＳ１１２９－８の判定がＹｅｓの場合、帳票認識部２７０は、ラベルＤの行の上にあるラベルＡの行を連結する（Ｓ１１２９－９）。

【0233】

ステップＳ１１２９－８の判定がＮｏの場合、ラベルＡの行の上の行がラベルＤであるが、帳票認識部２７０は、ラベルＤの行の下にあるラベルＡの行にラベルＤの行を連結する（Ｓ１１２９－１０）。

【0234】

帳票認識部２７０は、ラベルＤにラベルＡを連結した結果、「数量」「単価」を複数行にあるか否かを判定する（Ｓ１１２９－１１）。

【0235】

帳票認識部２７０は、ラベルＡの行に近い方の「数量」「単価」を採用する（Ｓ１１２９－１２）。

【0236】

図２２は、ラベルＡとラベルＤの行の連結を模式的に説明する図である。まず、図２２（ａ）は、ラベルＤの行の上下（双方）の行にラベルＡの行が存在する場合を示す。この場合、図２１のフローチャート図で説明したように、ラベルＤの上側に隣接した行のラベルＡの行の上の行が、なし、ラベルＢ、又はラベルＣであるか否か判定される（Ｓ１１２９－８）。

【0237】

図２２（ｂ）は、なしの場合を示す。この場合、帳票認識部２７０は、ラベルＤの上側に隣接した行のラベルＡとラベルＤの行を連結する。

【0238】

図２２（ｃ）は、ラベルＤの行の上にある行がラベルＤの場合を示す。この場合、帳票認識部２７０は、上下にラベルＡがあるラベルＤ、ラベルＤの下側に隣接した行のラベルＡの行を連結する。ラベルＢの行がラベルＡの下にある場合、ラベルＢも連結する。

【0239】

なお、図２３のように、ラベルＤの上側にラベルＤが隣接して、上下にラベルＡの行が存在する場合がある。ラベルＤの行の数は２つとは限らない。この場合もラベルＤの行の上下（双方）の行にラベルＡが設定されていると判定される。この場合、最も外側のラベルＡの上側の行が、なし、ラベルＢ、又はラベルＣであるか判定される（Ｓ１１２９－８）。

【0240】

図２４は、図２１の連結処理により帳票画像データの各行に設定されたラベルＡ～Ｄを示す。図２４に示すように、３行目にラベルＤが設定されている。ラベルＤが設定された行の上の行だけラベルがＡなので、帳票認識部２７０は、２行目と３行目を連結する。したがって、帳票認識部２７０は、２行に渡っている「ｘｙｚデータ移行料」と「［貴社注文No.１２３４５６７８９］」を１行の品名として抽出できる。

【0241】

なお、このようなラベルＡの行にラベルＤの行を連結するという連結結果を、サーバ装置２００は保存しない。すなわち、サーバ装置２００は、個社明細定義情報２５１にラベルＡの行とラベルＤを連結した状態でセルや列の座標を保存しない。これは、ラベルＤの行がどこに存在するかは帳票で決まるというよりも記載内容で決まるため、保存するメリットが少ないためである。したがって、図１１ＢのステップＳ１１３８で登録される個社明細定義情報２５１は、Ｓ１１２６で行と列が調整された状態のものである。

【0242】

図２５は、図２１の連結処理により連結された品名を説明する図である。なお、図２５は、認識結果確認画面５０１のうち表示欄５０７を示す。図２５（ａ）は連結処理の前の表示欄５０７を示し、図２５（ｂ）は連結処理の後の表示欄５０７を示す。連結処理の前は、表示欄５１１の品名が「xyzデータ移行料」と「［貴社注文No.：１２３４５６７８９］」に分かれているが、連結処理により、品名が「xyzデータ移行料［貴社注文No.：１２３４５６７８９］」に連結された。

【0243】

＜主な効果＞
以上説明したように、本実施形態のサーバ装置２００は、高さが異なる行が存在したり、複数の行に記載されたりした項目値を連結して抽出できる。

【実施例0244】

本実施例では、仮想罫線と論理罫線を使用して、高さが異なる行が存在したり、複数の行に渡って項目値が記載されたりしても、帳票における行の区切りを正しく反映して行を抽出するサーバ装置２００について説明する。本実施例では、帳票における行の区切りを正しく認識するので、実施例１で連結した場合と同様の結果が得られる。

【0245】

また、本実施例の行の区切りの認識処理は、実施例１とは全く独立に実施されてもよいし、実施例１の連結処理の前、又は、後に実施されてもよい。

【0246】

本実施例においては、上記の実施例にて説明した図２、図３のハードウェア構成図、及び、図９,図１０に示した機能ブロック図を援用できるものとして説明する。

【0247】

＜仮想罫線と論理罫線を使用した行の区切りの認識＞
まず、図２６,図２７を参照して、本実施例における行の区切りの認識方法の概略を説明する。図２６は、比較される行の区切りの認識方法を示し、図２７は、本実施例における行の区切りの認識方法の概略を示す。

【0248】

図２６（ａ）の帳票Ａに対する行と列の配置（ユーザーの調整があってもなくてもよい）に基づいてサーバ装置２００が個社明細定義情報２５１を保存したとする。サーバ装置２００が図２６（ｂ）の帳票Ｂから行を抽出すると、１つ目の商品名が「○○○△△△」、２つ目の商品名が「ＸＸＸ」となってしまい、帳票における正しい行の区切りとは異なる行が抽出されてしまう。

【0249】

そこで、図２７に示すように、サーバ装置２００は、仮想罫線と論理罫線を用いて、帳票における正しい行の区切りで行を抽出する。なお、図２７の帳票画像データは、認識結果確認画面５０１に表示されている。

【0250】

まず、図２７（ａ）の帳票Ａに示すように、ユーザーがどの列を行の区切りとして利用するのかを指定する。ユーザーは、例えば、マウスで列見出しの幅をドラッグする。これにより、矢印５３０が描画され、ユーザーが指定した列が明らかになる。ここでは行の区切りとして「金額」の列が選択されたものとする。サーバ装置２００は、金額の列において、項目値の上端を行の上端として抽出する。

【0251】

図２７（ｂ）の帳票Ｂがスキャンされた場合も、サーバ装置２００は、「金額」の列が選択されたという情報を利用して、金額の列において、項目値の上端を行の上端として抽出する。こうすることで、商品名が１行でも複数行でも行の区切りを正しく判定できる。このように抽出された罫線を「論理罫線５３１」という。

【0252】

しかしながら、図２７（ａ）、図２７（ｂ）の方法だけで行の区切りを判定すると以下のような帳票で不都合がある。

【0253】

図２７（ｃ）の帳票Ｃでは、１つめの金額の「１０００」に対応する商品名が「△△△」のみとなってしまい、「○○○」が商品名に含まれなくなってしまう。

【0254】

そこで、図２７（ｄ）に示すように、ユーザーが明細領域内を等間隔に区切った「仮想罫線５３２」を指定する。ユーザーが指定しなくても行が等間隔に認識される場合もある。図２７（ｄ）では、仮想罫線５３２が３本表示されているが、上から２本目と３本目の仮想罫線５３２に論理罫線５３１が重なっている。サーバ装置２００は、論理罫線５３１と仮想罫線５３２が重なっている場合に該罫線が正しい行区切りと判定する。

【0255】

このように、本実施形態の行の認識方法では、ユーザーがどの列を行の区切りとして利用するのかという情報と、論理罫線５３１（第二の罫線の一例）と、仮想罫線５３２（第一の罫線の一例）とにより、帳票における行の区切りを正しく反映して行を抽出できる。

【0256】

＜帳票認識システムの動作又は処理＞
続いて、図２８を参照して、帳票認識システム１００の動作又は処理について説明する。図２８の処理は、図１１ＢのステップＳ１１２５～Ｓ１１３１に代えて、又は、Ｓ１１３１に続いて実行される。

【0257】

図２８は、帳票認識システムの動作を説明するシーケンス図である。

【0258】

ユーザーは端末装置４００に表示された認識結果確認画面５０１が有する領域５０４において、半透明部品５４０を移動、変形等して、明細領域を指定する（Ｓ２１０１）。ユーザーは帳票画像データの全体を過不足なくカバーするように半透明部品５４０を帳票画像データに重ねる。操作受付部４３１が操作を受け付ける。

【0259】

次に、ユーザーは帳票画像を何行で区切るかを指定する（Ｓ２１０２）。ユーザーが単に数値を入力する。この行数は、空白行を含む行数でよい。操作受付部４３１が操作を受け付ける。あるいは、ユーザーが行数を指定しなくてもよい。図１３のステップＳ１３０１で行と列が認識されているので、帳票認識部２７０は、これを利用して仮想罫線５３２を描画できる。

【0260】

次に、端末装置４００の通信部４３３が、行数を指定して仮想罫線５３２の表示要求をサーバ装置２００に送信する（Ｓ２１０３）。仮想罫線５３２は、端末装置４００が行数で帳票画像の高さを割って等間隔に表示してもよい。

【0261】

サーバ装置２００の通信部２９８は仮想罫線５３２の表示要求を受信し、帳票認識部２７０が仮想罫線５３２を描画する（Ｓ２１０４）。描画とは帳票画像データにおける仮想罫線５３２の位置を決定することである。帳票認識部２７０は、帳票画像データの高さを行数で割って、等間隔な仮想罫線５３２を描画する。ユーザーが行数を指定しない場合、帳票認識部２７０は、図１３のステップＳ１３０１で認識された行のうち最も高さが低い行の高さで、等間隔な仮想罫線５３２を描画する。

【0262】

サーバ装置２００の２９８は、仮想罫線５３２の位置情報を端末装置４００に送信する（Ｓ２１０５）。端末装置４００の通信部４３３は仮想罫線５３２の位置情報を受信し、表示制御部４３２が領域５０４の帳票画像データに重ねて仮想罫線５３２を表示する（Ｓ２１０６）。ユーザーは、仮想罫線５３２に誤りがあれば適宜修正する。

【0263】

次に、ユーザーは、行区切りに使用する列をマウスなどで指定する（Ｓ２１０７）。例えば、行区切りに使用する列は金額の列である。金額で行の品名等が区切られる場合が多いためである。操作受付部４３１が操作を受け付ける。なお、列見出しの幅がドラッグされたことで、列ＩＤ、列名、又は、列の座標の少なくともいずれかが特定される。

【0264】

端末装置４００の通信部４３３が、列ＩＤ、列名、又は、列の座標などを指定して論理罫線５３１の表示要求をサーバ装置２００に送信する（Ｓ２１０８）。

【0265】

サーバ装置２００の通信部２９８は論理罫線５３１の表示要求を受信し、帳票認識部２７０が論理罫線５３１を描画する（Ｓ２１０９）。すなわち、帳票認識部２７０は、指定された列にある項目値の上端に論理罫線５３１を描画する。

【0266】

サーバ装置２００の２９８は、論理罫線５３１の位置情報を端末装置４００に送信する（Ｓ２１１０）。端末装置４００の通信部４３３は論理罫線５３１の位置情報を受信し、表示制御部４３２が領域５０４の帳票画像データに重ねて表示する（Ｓ２１１１）。表示制御部４３２は、仮想罫線５３２と論理罫線５３１の色を変えて表示するため、ユーザーは論理罫線５３１と仮想罫線５３２を区別できる。ユーザーは、論理罫線５３１に誤りがあれば適宜修正する。

【0267】

次に、ユーザーは、仮想罫線５３２と論理罫線５３１に基づく帳票の認識（項目値の抽出）を端末装置４００に指示する（Ｓ２１１２）。なお、ユーザーは、どの項目の項目値を連結するかを指示してよい。ユーザーが指示しない場合、品名が連結される。ユーザーが明細抽出ボタン５１０を押下する。操作受付部４３１が操作を受け付ける。

【0268】

端末装置４００の通信部４３３が、指定された項目、仮想罫線５３２、論理罫線５３１を指定して項目値の抽出要求をサーバ装置２００に送信する（Ｓ２１１３）。

【0269】

サーバ装置２００の通信部２９８は項目値の抽出要求を受信し、帳票認識部２７０が仮想罫線５３２と論理罫線５３１が重なった行区切りと行区切りの間の文字列を項目値と判定する（Ｓ２１１４）。

【0270】

サーバ装置２００の通信部２９８は、項目と項目値を対応付けた認識結果を端末装置４００に送信する（Ｓ２１１５）。端末装置４００の通信部４３３は認識結果を受信し、表示制御部４３２が表示欄５０７の明細情報に表示する（Ｓ２１１６）。

【0271】

図２９は、図２８の連結処理により連結された品名を説明する図である。なお、図２９では、主に図２５との相違を説明する。認識結果確認画面５０１のうち表示欄５０７を示す。図２９（ａ）は論理罫線５３１のみにより判断された行区切りによる表示欄５０７を示し、図２９（ｂ）は論理罫線５３１と仮想罫線５３２により判断された行区切りによる表示欄５０７を示す。論理罫線５３１のみでは、表示欄５１１の品名が「○○○」と「△△△」に分かれているが、論理罫線５３１と仮想罫線５３２により、品名が「○○○△△△」に連結された。

【0272】

このように、例えば、１行の金額に対し、品名が２行以上に渡っていても、２行以上の品名の列の文字列が連結されて、認識結果確認画面５０１の表示欄５１１（品名が表示される）に表示される。

【0273】

＜指定された項目である「金額」の列に別の文字列もある段組み帳票＞
図３０を参照して、指定された項目である「金額」の列に別の文字列もある段組み帳票について説明する。図３０は、金額の列に消費税も表示される帳票の一部である。図３０の帳票のように、「金額」の列に他の情報（例えば消費税）も記載されているような段組み帳票の場合、「金額」の列にある文字の上端で論理罫線５３１が描画されると、金額と消費税の行が別の行として抽出される。

【0274】

そこで、段組み帳票に関しては、ユーザーが行区切りに使用する列をマウスなどで指定する際、論理罫線５３１の描画を何行飛ばしにするか（スキップ数ごとに）を設定する。例えば、上記の列を指定する矢印５３０をユーザーがマウスで右クリックすると、何行飛ばしにするかを設定するダイアログが表示される。図３０の例では、１行飛ばしでよいので、ユーザーが１行を入力する。

【0275】

図３１は、ユーザーが論理罫線５３１の行の区切りを「金額」の列、１行飛ばしを指定した場合の段組み帳票の論理罫線５３１の描画例を示す。図３１では、金額（及び消費税）と、品名とが正しく対応付けて抽出される。

【0276】

＜主な効果＞
本実施例によれば、ユーザーがどの列を行の区切りとして利用するのかという情報と、論理罫線５３１と、仮想罫線５３２とにより、帳票における行の区切りを正しく反映して行を抽出できる。

【0277】

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0278】

例えば、本実施形態では、画像形成装置３００とサーバ装置２００とが通信して、サーバ装置２００が帳票認識を行ったが、画像形成装置３００が単体で帳票認識を行ってもよい。また、本実施形態では、サーバ装置２００が帳票認識を行った後、端末装置４００が認識結果確認画面５０１を表示したが、画像形成装置３００が認識結果確認画面５０１を表示してもよい。

【0279】

また、画像形成装置３００の代わりに、ＰＣに接続されたスキャナ装置がスキャンして、ＰＣが帳票画像データをサーバ装置２００に送信してもよい。この場合、ＰＣが端末装置４００の代わりになる。
また、本実施形態では、品名の項目値が連結されたが、どの項目の項目値を連結するかは、ユーザーが設定できてよい。また、複数の項目の項目値が連結されてもよい。

【0280】

また、図９などの構成例は、サーバ装置２００による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。サーバ装置２００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

【0281】

また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、サーバ装置２００は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【0282】

更に、サーバ装置２００は、開示された処理ステップ、例えば図１１等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、サーバ装置２００が有する複数の情報処理装置によって実行され得る。また、サーバ装置２００は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。

【0283】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）、及び、従来の回路モジュール等のデバイスを含む。