特許 7292052 画像処理装置、ガイド画像生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-08

(45)【発行日】2023-06-16

(54)【発明の名称】画像処理装置、ガイド画像生成方法及びプログラム

(51)【国際特許分類】

   G06V 30/146 20220101AFI20230609BHJP

   G06V 30/412 20220101ALI20230609BHJP

【ＦＩ】

G06V30/146

G06V30/412

【請求項の数】 6

(21)【出願番号】P 2019031933

(22)【出願日】2019-02-25

(65)【公開番号】P2020135749

(43)【公開日】2020-08-31

【審査請求日】2021-11-12

(73)【特許権者】

【識別番号】000110217

【氏名又は名称】ＴＯＰＰＡＮエッジ株式会社

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100206999

【弁理士】

【氏名又は名称】萩原 綾夏

(72)【発明者】

【氏名】佐藤 義輝

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１７－１２０５０３（ＪＰ，Ａ）

【文献】特開２０１８－１２５６５８（ＪＰ，Ａ）

【文献】特開２００２－００７９５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／１４６

Ｇ０６Ｖ ３０／４１２

(57)【特許請求の範囲】

【請求項1】

一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得部と、
前記フレーム画像における文字画像の文字認識を行う文字認識部と、
前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成部と、
前記フレーム画像を画面の第１の領域に表示し、前記ガイド画像を、前記画面において前記第１の領域と異なる第２の領域に表示する表示処理部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記帳票全体画像は、前記帳票のテンプレート画像である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記帳票全体画像は、前記フレーム画像を撮影する際の撮影対象の前記帳票の全体像を撮影して得られる画像である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記ガイド画像生成部は、前記ガイド画像において予め定められた領域の全てにおいて、前記領域情報が結合されているか否かを判定する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。

【請求項5】

一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得過程と、
前記フレーム画像における文字画像の文字認識を行う文字認識過程と、
前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成過程と、
前記フレーム画像を画面の第１の領域に表示し、前記ガイド画像を、前記画面において前記第１の領域と異なる第２の領域に表示する表示処理過程と、
を含むことを特徴とするガイド画像生成方法。

【請求項6】

コンピュータを、
一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得手段、
前記フレーム画像における文字画像の文字認識を行う文字認識手段、
前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成手段、
前記フレーム画像を画面の第１の領域に表示し、前記ガイド画像を、前記画面において前記第１の領域と異なる第２の領域に表示する表示処理手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、ガイド画像生成方法及びプログラムに関する。

【背景技術】

【0002】

携帯電話やスマートフォンなどの端末装置によって運転免許証などの各種証明書を撮影して得られた画像データと、当該画像データを文字認識することで得られる文字情報とを用いることにより、各種申し込み手続が電子的に行われるようになってきている。端末装置のカメラで撮影して文字認識するものとしては、例えば、特許文献１に記載された携帯端末装置がある。

【0003】

特許文献１に開示される技術では、例えば、読み取り対象の文書を連続して撮影する間に得られる複数の文書画像について文字認識を行い、文書画像に含まれる文字や値などの文字情報を検出する。さらに、特許文献１に開示される技術では、検出した文字情報の中から予め定められている項目名を示す文字情報を検出し、また、当該項目名に対応して記録されている、例えば、個人ごとに異なる氏名や住所などの文字情報を読み出して取得している。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６３６４０５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、運転免許証などよりも大きな帳票の場合、文字を認識するために必要となる解像度の画像を得るためには、スマートフォンなどのカメラでは帳票の全体を一度に撮影することができない場合がある。このような帳票についても、特許文献１に開示される技術を利用すれば、帳票を複数の領域に区切って連続して撮影していくことで、帳票に記録されている全ての文字情報を取得することが可能となる。

【0006】

しかしながら、このように帳票を複数の領域に区切って連続して撮影していくと、文字情報の取得ができている領域と、文字情報の取得ができてない領域とを区別するのが難しくなるという問題がある。

【0007】

本発明は、このような事情に鑑みてなされたものであり、その目的は、一つの帳票を部分的に連続して撮影する場合、文字情報が取得できている領域と、文字情報が取得できてない領域とを撮影しながら容易に区別する画像処理装置、ガイド画像生成方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記問題を解決するために、本発明の画像処理装置は、一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得部と、前記フレーム画像における文字画像の文字認識を行う文字認識部と、前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成部と、前記フレーム画像を画面の第１の領域に表示し、前記ガイド画像を、前記画面において前記第１の領域と異なる第２の領域に表示する表示処理部と、を備えることを特徴とする。

【0009】

本発明の画像処理装置において、前記帳票全体画像は、前記帳票のテンプレート画像であることを特徴とする。

【0010】

本発明の画像処理装置において、前記帳票全体画像は、前記フレーム画像を撮影する際の撮影対象の前記帳票の全体像を撮影して得られる画像であることを特徴とする。
本発明の画像処理装置において、前記ガイド画像生成部は、前記ガイド画像において予め定められた領域の全てにおいて、前記領域情報が結合されているか否かを判定することを特徴とする。

【0011】

本発明のガイド画像生成方法は、一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得過程と、前記フレーム画像における文字画像の文字認識を行う文字認識過程と、前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成過程と、前記フレーム画像を画面の第１の領域に表示し、前記ガイド画像を、前記画面において前記第１の領域と異なる第２の領域に表示する表示処理過程と、を含むことを特徴とする。

【0012】

本発明のプログラムは、コンピュータを、一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得手段、前記フレーム画像における文字画像の文字認識を行う文字認識手段、前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成手段、前記フレーム画像を画面の第１の領域に表示し、前記ガイド画像を、前記画面において前記第１の領域と異なる第２の領域に表示する表示処理手段、として機能させるためのプログラムである。

【発明の効果】

【0013】

この発明によれば、一つの帳票を部分的に連続して撮影する場合、文字情報が取得できている領域と、文字情報が取得できてない領域とを撮影しながら容易に区別することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態による帳票データ管理システムの構成を示す概略ブロック図である。

【図2】同実施形態における帳票のテンプレートの一例を示す図である。

【図3】同実施形態における帳票の一例を示す図である。

【図4】同実施形態における端末装置の外観を示す図である。

【図5】同実施形態において撮影されたフレーム画像の一例（その１）である。

【図6】同実施形態における帳票定義テーブルを示す図である。

【図7】同実施形態における帳票情報テーブルを示す図である。

【図8】同実施形態における帳票情報集計テーブルを示す図である。

【図9】同実施形態の端末装置による帳票の撮影処理の流れを示すフローチャートである。

【図10】同実施形態の端末装置によるガイド画像生成処理の流れを示すフローチャートである。

【図11】同実施形態におけるマッチング処理部による処理の一例を示す図である。

【図12】同実施形態におけるテンプレート画像の座標系に一致させたフレーム画像を示す図である。

【図13】同実施形態において網掛けのオブジェクトを結合させたガイド画像の一例（その１）を示す図である。

【図14】同実施形態において撮影されたフレーム画像の一例（その２）である。

【図15】同実施形態において網掛けのオブジェクトを結合させたガイド画像の一例（その２）を示す図である。

【図16】同実施形態の端末装置による結合画像生成処理の流れを示すフローチャートである。

【図17】同実施形態における結合画像の一例を示す図である。

【図18】同実施形態において撮影不要な領域に予め網掛けのオブジェクトを結合させたガイド画像の一例を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態による端末装置１を備える帳票データ管理システムＳについて図面を参照して説明する。図１は、帳票データ管理システムＳの構成を示すブロック図である。帳票データ管理システムＳは、端末装置１、帳票データ管理装置３、帳票情報サーバ装置４、及び通信ネットワーク５を備える。通信ネットワーク５は、端末装置１と、帳票データ管理装置３と、帳票情報サーバ装置４とを相互に接続する。

【0016】

端末装置１は、例えば、カメラを内蔵したスマートフォンなどの装置であり、内部の記憶領域に記憶させている各種のアプリケーションプログラム（以下、ＡＰという）を実行することが可能になっている。以下、端末装置１が、ユーザの操作を受けて、内部の記憶領域に記憶させている帳票撮影用ＡＰを実行している状態の構成について説明する。

【0017】

端末装置１は、記憶部１０、操作部１１、撮影部１２、表示処理部１３、フレーム画像取得部１４、文字認識部１５、認識データ管理部１６、通信処理部１７、ガイド画像生成部２０、及び結合画像生成部２１を備える。

【0018】

端末装置１の撮影の対象となる帳票には、例えば、図２に示すようなタイトル（○○○○入会申込書）、項目名（例えば、申込日、フリガナ、氏名など）、及び罫線からなるテンプレートが予め印刷されている。この図２に示す帳票のテンプレートに文字や数字の情報が記録されると、例えば、図３に示すような帳票となる。以下、帳票の全ての項目名に対応する記入欄には、何らかの情報が必ず書き込まれており、空欄が許容される項目名はないことを前提として説明する。

【0019】

図４は、端末装置１の外観図であり、端末装置１の筐体に画面５０と操作ボタン５５が備えられている。操作部１１は、例えば、操作ボタン５５と、画面５０に配置されているタッチパッドに接続されている。操作部１１は、操作ボタン５５の操作、及びタッチパッドの操作を検出し、検出した操作に応じた指示情報を出力する。操作部１１は、例えば、ユーザの操作ボタン５５の操作を検出し、検出した際の撮影部１２の状態に応じて、例えば、撮影開始を指示する指示情報や、撮影終了を指示する指示情報を撮影部１２に出力する。

【0020】

撮影部１２は、例えば、ＣＣＤ(Charge Coupled Device)カメラであり、操作部１１から撮影開始の指示情報が与えられた場合、１秒間に１０～３０フレームのフレームレートでの撮影を連続して行い、フレームレートの周期ごとにフレーム画像のデータを取得する。例えば、図５は、図３に示す帳票の一部を撮影することにより得られたフレーム画像６１の例である。また、撮影部１２は、操作部１１から撮影終了の指示情報が与えられた場合、撮影を終了する。

【0021】

表示処理部１３は、画面５０を備えており、画面５０の表示領域を２つに分割して撮影画像表示領域５１とガイド画像表示領域５２を生成する。表示処理部１３は、撮影画像表示領域５１に対して、撮影部１２のＣＣＤカメラの撮像素子に結像されている撮影対象の画像を逐次画面に表示する、いわゆるプレビュー表示を行う。

【0022】

表示処理部１３は、ガイド画像表示領域５２に対して、ガイド画像５３を表示する。ガイド画像５３は、図２に示したテンプレートの画像に文字情報が取得された領域を示すマーキングが施された撮影ガイド用の画像であってガイド画像表示領域５２の大きさにあわせて縮小された画像である。また、表示処理部１３は、ガイド画像表示領域５２に対して、ガイド拡大ボタン５４を表示する。

【0023】

記憶部１０は、テンプレート画像記憶部１０１、帳票定義情報記憶部１０２、フレーム画像記憶部１０３、テンプレート特徴情報記憶部１０４、帳票情報記憶部１０５、ガイド画像記憶部１０６、及び結合画像記憶部１０７を備える。記憶部１０は、帳票撮影用ＡＰの起動時に記憶領域が確保され、終了時には記憶領域が解放される必要がある。そのため、記憶部１０は、例えば、ＲＡＭ(Random Access Memory)などの揮発性の記憶領域であることが望ましいが、帳票撮影用ＡＰの処理として起動時や終了時に初期化の処理を行うのであれば、フラッシュメモリやハードディスクなどの不揮発性の記憶領域であってもよい。

【0024】

テンプレート画像記憶部１０１は、図２に示す帳票のテンプレートの画像の情報を記憶する。帳票定義情報記憶部１０２は、例えば、図６に示す帳票定義テーブル１０２１を記憶する。帳票定義テーブル１０２１は、「帳票識別情報」、「項目名」、「項目番号」、「定義情報」の項目を有する。「帳票識別情報」の項目には、帳票の種類、例えば、欄の形式や項目名の異なる帳票のテンプレートを一意に識別可能な情報であって、帳票のテンプレートの種類毎に予め付与された帳票識別情報が書き込まれている。

【0025】

「項目名」の項目には、帳票識別情報に対応する帳票に含まれる項目名の情報が書き込まれている。「項目番号」の項目には、項目名ごとに予め付与された項目番号が書き込まれている。「定義情報」の項目には、項目名に対応して記録される情報（以下、項目記録情報という）のフォーマット、例えば、横書きなのか、縦書きなのか、または、１行であるのか、２行であるのかを示す情報が書き込まれている。なお、定義情報には、項目名、及び項目記録情報の位置関係を示す情報なども含まれている。

【0026】

フレーム画像記憶部１０３は、フレーム画像取得部１４が撮影部１２から取得するフレーム画像のデータを、各々のフレーム画像に対応付けられているフレーム識別情報と共に記憶する。

【0027】

テンプレート特徴情報記憶部１０４は、テンプレート画像記憶部１０１が記憶するテンプレート画像に基づいて、ガイド画像生成部２０が算出する特徴点や特徴量を含む特徴情報を記憶する。

【0028】

帳票情報記憶部１０５は、フレーム画像毎に生成される同一のデータ形式を有する帳票情報テーブルを記憶する。例えば、図７に示す帳票情報テーブル１０５１－１は、図５に示したフレーム画像６１に対応して生成されるテーブルである。なお、以下の説明において、帳票情報記憶部１０５が記憶するいずれか１つのテーブルを示す場合、符号の枝番号を付けずに帳票情報テーブル１０５１として示す。

【0029】

帳票情報テーブル１０５１は、「フレーム識別情報」、「項目番号」、「取得情報」の項目を有している。「フレーム識別情報」には、当該テーブルに対応するフレーム画像に対応付けられているフレーム識別情報が書き込まれる。「項目番号」の項目には、文字認識部１５が取得する項目名の情報に対応する項目番号が書き込まれる。「取得情報」の項目には、文字認識部１５が取得する項目記録情報が書き込まれる。なお、文字認識部１５が、項目名は取得しているが、当該項目名に対応する項目記録情報を取得していない場合、当該項目名の項目番号に対応する「取得情報」の項目は空欄となる。

【0030】

ガイド画像記憶部１０６は、ガイド画像を記憶する。結合画像記憶部１０７は、結合画像を記憶する。ここで、結合画像とは、例えば、テンプレート画像の大きさや、項目及び罫線の位置に合うように結合画像生成部２１によって画像変換が行われたフレーム画像がテンプレート画像に対して重ねられた画像である。

【0031】

フレーム画像取得部１４は、撮影部１２が生成して出力するフレーム画像を取得する。フレーム画像取得部１４は、フレーム画像を取得すると新たなフレーム識別情報を生成し、取得したフレーム画像と生成したフレーム識別情報とを対応付けてフレーム画像記憶部１０３に書き込む。フレーム識別情報は、例えば、フレーム画像の時系列順がわかるように、フレーム画像取得部１４が若い番号、例えば、「１」から順に値を増加させて生成する。

【0032】

文字認識部１５は、ＯＣＲ(Optical Character Recognition)処理により、フレーム画像から文字や数字の画像（文字画像）を切り出して文字認識を行ない、文字や数字を示す文字情報を取得する。また、文字認識部１５は、文字認識の際に、文字や数字の各々の外接矩形の座標を取得する。

【0033】

文字認識部１５は、文字認識処理を行った場合、フレーム画像に含まれる全ての文字情報と座標情報の組み合わせを一度に検出し、文字認識処理が成功したか否かの判定を行う。文字認識部１５は、文字認識処理が成功したと判定した場合、帳票定義テーブル１０２１を参照し、取得した文字情報及び座標情報から、特定の座標の範囲に含まれる文字情報を検出する。

【0034】

ここで、特定の座標の範囲とは、例えば、横書きであれば、一行に並んでいて、各文字の間隔が一定になっている文字列に含まれる各文字の座標情報によって特定される範囲である。文字認識部１５は、検出した特定の座標の範囲に含まれている文字情報の中から項目名の文字、または文字列を特定する。文字認識部１５は、特定した項目名の文字、または文字列を含む特定の座標の範囲に含まれる文字情報を、項目名の情報と、対応する項目記録情報とに分離して取得する。例えば、図３に示す帳票の場合、文字認識部１５は、「氏名」の項目名について、「氏名」の項目名の情報と、「特許太郎」の項目記録情報を分離して取得する。

【0035】

文字認識部１５は、取得した全ての項目名に対応する項目番号を帳票定義テーブル１０２１から読み出し、読み出した項目番号と取得した項目記録情報とを対応付ける。文字認識部１５は、１つのフレーム画像における項目名の情報と項目記録情報の取得を終了した場合、帳票情報記憶部１０５に新たな帳票情報テーブル１０５１を生成し、生成した帳票情報テーブル１０５１に項目番号と、項目番号に対応する項目記録情報と、フレーム識別情報とを書き込む。

【0036】

また、文字認識部１５は、生成した帳票情報テーブル１０５１において項目名に対応する項目記録情報が全て取得できていない場合、生成した帳票情報テーブル１０５１を削除する。また、文字認識部１５は、削除した帳票情報テーブル１０５１に対応するフレーム画像をフレーム画像記憶部１０３から削除する。

【0037】

ガイド画像生成部２０は、テンプレート画像記憶部１０１が記憶するテンプレート画像の特徴を示す特徴情報と、フレーム画像の特徴を示す特徴情報とに基づいて、帳票の全体像において文字情報が取得できている領域を示すガイド画像を生成する。ここで、特徴情報とは、対象とする画像から得られる特徴点と特徴量である。また、特徴点とは、対象とする画像におけるコーナー（角）などの特徴的な個所を示す情報であり、特徴量とは、対象とする画像の特徴点にどのような特徴があるかを示す情報である。特徴情報を算出するアルゴリズムとしては、例えば、ＫＡＺＥ（画像特徴量の抽出アルゴリズムの一例）などが適用される。

【0038】

ガイド画像生成部２０は、ガイド画像の生成を以下のようにして行う。すなわち、ガイド画像生成部２０は、テンプレート画像の特徴情報と、フレーム画像の特徴情報とに基づいて形状などが類似する箇所をペアとして検出するマッチング処理を行う。

【0039】

ガイド画像生成部２０は、マッチング結果により、テンプレート画像の大きさや、項目及び罫線の位置に合うようにフレーム画像を変換する処理を行う。ここで、変換する処理は、例えば、以下のようにマッチング結果から射影変換（ホモグラフィー）行列を算出し、算出した射影変換行列に基づいてフレーム画像を変換する透視変換を行う。

【0040】

ここで、射影変換行列とは、マッチング処理によりペアにされた箇所の座標情報に基づいて算出される行列であり、透視変換を行うためのパラメータに相当する行列である。透視変換は、テンプレート画像の大きさや、項目及び罫線の位置に合うようにフレーム画像を回転させたりする変換以外に、テンプレート画像が「正面からみた状態」の画像であるとして、撮影の際に歪んだり拡大または縮小されていたりするフレーム画像を正面からみたときに見える画像にする変換である。したがって、透視変換後のフレーム画像の座標系と、テンプレート画像の座標系とは、一致することになる。

【0041】

また、ガイド画像生成部２０は、例えば、テンプレートの画像の左下を基準として、透視変換後のフレーム画像の左上と右下の２つの座標を算出する。透視変換後のフレーム画像とガイド画像の座標系は一致している。そのため、ガイド画像生成部２０は、算出した透視変換後のフレーム画像の左上と右下の２つの座標の位置をガイド画像において設定し、設定した２つ座標の位置に合うように四角形の網掛けオブジェクトを配置してガイド画像に結合する。この四辺形の網掛けオブジェクトが、上述した文字情報が取得された領域を示すマーキングに相当する。ガイド画像生成部２０は、四角形の網掛けオブジェクトを結合した新たなガイド画像を生成する。

【0042】

結合画像生成部２１は、テンプレート特徴情報記憶部１０４が記憶するテンプレート画像の特徴情報と、フレーム画像の特徴情報とに基づいて、ガイド画像生成部２０と同様にフレーム画像の座標系をテンプレート画像の座標系に一致させ、テンプレート画像にフレーム画像を重ねて結合した結合画像を生成する。

【0043】

通信処理部１７は、端末装置１の外部の機器、例えば、帳票データ管理装置３及び帳票情報サーバ装置４と通信ネットワーク５を介して情報の送受信を行う。

【0044】

認識データ管理部１６は、記憶部１０のフレーム画像記憶部１０３、帳票情報記憶部１０５、結合画像記憶部１０７が記憶する情報から帳票データ管理装置３に保存する保存対象の情報を選択する。認識データ管理部１６は、選択した情報に対して端末装置１に予め付与されているユーザ識別情報を対応付けて通信処理部１７を通じて帳票データ管理装置３に送信する。ここで、ユーザ識別情報とは、ユーザを個別に識別する情報であり、例えば、端末装置１の電話番号、端末装置１の個体識別番号などでもよいし、端末装置１を用いて帳票データ管理装置３にログインしている場合には、ログインする際のユーザＩＤ(IDentification)でもよい。

【0045】

帳票データ管理装置３は、記録処理部３１と記憶部３２を備える。記録処理部３１は、通信ネットワーク５を通じて端末装置１の認識データ管理部１６が送信する情報を受信し、受信した情報を記憶部３２に書き込む。

【0046】

記憶部３２は、図８に示す帳票情報集計テーブル３２１を記憶する。帳票情報集計テーブル３２１は、「ユーザ識別情報」、「帳票識別情報」、「結合画像情報」、「結合画像構成情報（フレーム識別情報）」、「変換前フレーム画像情報」、「項目番号」、「取得情報」の項目を有する。

【0047】

「ユーザ識別情報」、「帳票識別情報」「結合画像情報」の項目には、それぞれ認識データ管理部１６から受信するユーザ識別情報、帳票識別情報、結合画像のデータが記録処理部３１によって書き込まれる。「結合画像構成情報（フレーム識別情報）」の項目には、認識データ管理部１６から受信するフレーム画像に対応付けられているフレーム識別情報が、若い番号順から記録処理部３１によって書き込まれる。「変換前フレーム画像情報」の項目には、「結合画像構成情報（フレーム識別情報）」に記録されているフレーム識別情報に対応する透視変化前のフレーム画像のデータが記録処理部３１によって書き込まれる。

【0048】

「項目番号」及び「取得情報」の項目には、「結合画像構成情報（フレーム識別情報）」に記録されているフレーム識別情報に対応する帳票情報テーブル１０５１の「項目番号」の項目と「取得情報」の項目の情報が記録処理部３１によって書き込まれる。

【0049】

帳票情報サーバ装置４は、内部の記憶領域に、帳票の種類を示す帳票識別情報ごとに、帳票の種類ごとに異なる帳票のテンプレート画像と、帳票の種類ごとに定義されている定義情報を含んだ帳票定義テーブル１０２１とを予め記憶させている。

【0050】

（端末装置によるガイド画像の表示処理）
次に、図９から図１６を参照しつつ、帳票の一部を連続して撮影していく過程において、帳票全体の領域において、文字情報を取得できた領域をガイド画像によって表示する表示処理について説明する。

【0051】

ユーザの操作を受けて端末装置１が帳票撮影用ＡＰを実行する。操作部１１は、例えば、タッチパッドに対するユーザの操作を検出し、ユーザが選択する帳票の種類を示す帳票識別情報を取り込む。操作部１１は、取り込んだ帳票識別情報に対応するテンプレート画像と帳票定義テーブル１０２１を取得する指示情報を通信処理部１７に出力する。通信処理部１７は、操作部１１から当該指示情報を受けると、指示情報に含まれている帳票識別情報を含む要求信号を生成し、生成した要求信号を帳票情報サーバ装置４に送信する。

【0052】

帳票情報サーバ装置４は、通信処理部１７から通信ネットワーク５を介して帳票識別情報を含む要求信号を受けると、要求信号に含まれている帳票識別番号に対応する帳票のテンプレート画像と帳票定義テーブル１０２１とを含む応答信号を生成する。帳票情報サーバ装置４は、通信ネットワーク５を介して通信処理部１７に生成した応答信号を送信する。

【0053】

通信処理部１７は、テンプレート画像と帳票定義テーブル１０２１とを含む応答信号を受信すると、受信した応答信号からテンプレート画像を読み出し、読み出したテンプレート画像をテンプレート画像記憶部１０１に書き込む。ここでは、図２に示す帳票のテンプレートの画像データがテンプレート画像７０として書き込まれるとする。また、通信処理部１７は、受信した応答信号から帳票定義テーブル１０２１を読み出し、読み出した定義情報テーブルを帳票定義情報記憶部１０２に書き込む（ステップＳａ１）。

【0054】

通信処理部１７によって、テンプレート画像記憶部１０１にテンプレート画像７０が書き込まれると、ガイド画像生成部２０は、テンプレート画像記憶部１０１が記憶するテンプレート画像７０の特徴情報を算出し、算出した特徴情報をテンプレート特徴情報記憶部１０４に書き込む。ガイド画像生成部２０は、テンプレート画像記憶部１０１からテンプレート画像７０を読み出し、読み出したテンプレート画像７０をガイド画像の初期画像データとしてガイド画像記憶部１０６に書き込む（ステップＳａ２）。

【0055】

帳票撮影用ＡＰが実行されると表示処理部１３は、画面５０に撮影画像表示領域５１と、ガイド画像表示領域５２を生成する。ユーザは、端末装置１において、撮影画像表示領域５１のプレビュー表示を参照しながら、例えば、操作ボタン５５を押下する。操作部１１は、操作ボタン５５の押下を検出すると、撮影開始の指示情報を撮影部１２に出力する（ステップＳａ３）。

【0056】

撮影部１２は、撮影開始の指示情報を受けてフレーム画像の撮影を開始する。撮影が開始されると、ユーザは、端末装置１において、撮影画像表示領域５１のプレビュー表示を参照しながら、帳票の一部を撮影対象として、端末装置１を移動させていく。移動させていく間、ユーザは、シャッターボタンを押すなどの操作を行わず、動画を撮影するようにフレーム画像の撮影を行う。撮影部１２は、上述したように、毎秒１０～３０フレームで、帳票の一部を撮影してフレーム画像をフレーム画像取得部１４に出力する。フレーム画像取得部１４は、撮影部１２が出力するフレーム画像を取得すると、新たなフレーム識別情報を生成し、取得したフレーム画像に生成したフレーム識別情報を対応付けてフレーム画像記憶部１０３に書き込んで記憶させる。

【0057】

文字認識部１５は、図９に示すフローチャートの処理を行っていない未処理のフレーム画像の中から、最新のフレーム画像と当該フレーム画像に対応するフレーム識別情報をフレーム画像記憶部１０３から読み出す（ステップＳａ４）。文字認識部１５は、読み出したフレーム画像の文字認識処理を行い、フレーム画像から文字情報と、当該文字情報に対応する座標情報を検出する（ステップＳａ５）。

【0058】

文字認識部１５は、例えば、１つのフレーム画像から１つ以上の文字情報と座標情報の組み合わせを検出したか否かに基づいて、文字認識処理が成功したか否かを判定する（ステップＳａ６）。文字認識部１５は、１つのフレーム画像から１つ以上の文字情報と座標情報の組み合わせを検出していない場合、文字認識処理が成功しなかったと判定し（ステップＳａ６、Ｎｏ）、処理対象のフレーム画像をフレーム画像記憶部１０３から削除する。処理はステップＳａ４に戻り、文字認識部１５が、次の処理対象のフレーム画像を読み出す。

【0059】

一方、文字認識部１５は、１つのフレーム画像から１つ以上の文字情報と座標情報の組み合わせを検出する場合、文字認識処理が成功したと判定する（ステップＳａ６、Ｙｅｓ）。文字認識部１５は、文字認識処理が成功したと判定した場合、検出した文字情報と座標情報と、帳票定義テーブル１０２１とに基づいて、文字情報の中から項目名と、項目名に対応する項目記録情報とを検出する（ステップＳａ７）。

【0060】

文字認識部１５は、帳票情報記憶部１０５に新たな帳票情報テーブル１０５１を生成し、生成した帳票情報テーブル１０５１の「フレーム識別情報」の項目にフレーム識別情報を書き込む。文字認識部１５は、「項目番号」の項目に取得した項目番号を書き込み、項目番号に対応する項目記録情報を「取得情報」の項目に書き込んで記憶させる（ステップＳａ８）。例えば、図５に示すフレーム画像６１の場合、文字認識部１５は、図７に示す帳票情報テーブル１０５１－１を生成する。

【0061】

文字認識部１５は、生成した帳票情報テーブル１０５１において項目名及び項目記録情報が揃っているか否かを判定する（ステップＳａ９）。文字認識部１５は、例えば、生成した帳票情報テーブル１０５１において項目名に対応する項目記録情報が全て取得できてない場合、項目名及び項目記録情報が揃っていないと判定する。

【0062】

文字認識部１５は、生成した帳票情報テーブル１０５１において項目名及び項目記録情報が揃っていないと判定した場合（ステップＳａ９、Ｎｏ）、生成した帳票情報テーブル１０５１を帳票情報記憶部１０５から削除し、処理対象のフレーム画像をフレーム画像記憶部１０３から削除する（ステップＳａ１０）。

【0063】

一方、文字認識部１５は、生成した帳票情報テーブル１０５１において項目名及び項目記録情報が揃っていると判定した場合（ステップＳａ９、Ｙｅｓ）、文字認識部１５は、処理対象のフレーム画像のフレーム識別情報をガイド画像生成部２０に出力する。ガイド画像生成部２０は、文字認識部１５からフレーム識別情報を受けると、ガイド画像生成処理を開始する（ステップＳａ１１）。

【0064】

（ガイド画像生成処理）
図１０は、ガイド画像生成部２０によるガイド画像生成処理の流れを示すフローチャートである。ガイド画像生成部２０は、文字認識部１５から受けたフレーム識別情報に対応するフレーム画像をフレーム画像記憶部１０３から読み出す（ステップＳｂ１）。ガイド画像生成部２０は、読み出したフレーム画像の特徴情報を算出する（ステップＳｂ２）。

【0065】

ガイド画像生成部２０は、算出したフレーム画像の特徴情報と、テンプレート特徴情報記憶部１０４が記憶するテンプレート画像の特徴情報とを比較してマッチング処理を行う（ステップＳｂ３）。ガイド画像生成部２０は、マッチング処理において、例えば、図１１に示すようにフレーム画像６１の符号６００の「氏」の文字の座標と、テンプレート画像７０の符号７００の「氏」の文字の座標をペアとして検出する。また、ガイド画像生成部２０は、フレーム画像６１の符号６０１の罫線の交点の座標と、テンプレート画像７０の符号７０１の罫線の交点の座標をペアとして検出する。

【0066】

ガイド画像生成部２０は、上記のようにして検出したペアを多数含むマッチング結果に基づいて、射影変換行列を算出し、算出した射影変換行列によりフレーム画像６１を透視変換してフレーム画像６１ａとし、図１２に示すようにテンプレート画像７０と座標系を一致させる（ステップＳｂ４）。ガイド画像生成部２０は、例えば、テンプレート画像７０の左下を基準として、フレーム画像６１ａの左上の座標６１０と、右下の座標６１１を算出する（ステップＳｂ５）。

【0067】

ガイド画像生成部２０は、ガイド画像記憶部１０６からガイド画像８０を読み出し、読み出したガイド画像８０において、算出した左上の座標６１０と右下の座標６１１を設定する。ガイド画像生成部２０は、設定した左上の座標６１０と右下の座標６１１に合うように四角形の網掛けのオブジェクト９１を配置し、配置したオブジェクト９１をガイド画像８０に結合して新たなガイド画像８０を生成する。ガイド画像生成部２０は、生成した新たなガイド画像８０をガイド画像記憶部１０６に上書きする（ステップＳｂ６）。

【0068】

ガイド画像生成部２０は、ガイド画像を表示する指示情報を表示処理部１３に出力する。表示処理部１３は、ガイド画像生成部２０からガイド画像を表示する指示情報を受けるとガイド画像記憶部１０６からガイド画像８０を読み出す。表示処理部１３は、読み出したガイド画像８０を画面５０のガイド画像表示領域５２の大きさに合うように縮小し、図４に示すように縮小したガイド画像５３を表示する（ステップＳｂ７）。

【0069】

ガイド画像生成部２０は、新たなガイド画像８０の全ての領域において網掛けのオブジェクトが結合されているか否かを判定する（ステップＳｂ８）。実際には、図１３に示すように、帳票の欄外の部分はフレーム画像に含まれないこともある。そのため、ガイド画像生成部２０は、ガイド画像８０において予め定められる欄外の部分が除かれた領域の全てに網掛けのオブジェクトが結合されているか否かを判定する。

【0070】

ガイド画像生成部２０は、新たなガイド画像８０の全ての領域において網掛けのオブジェクトが結合されていないと判定した場合（ステップＳｂ８、Ｎｏ）、ガイド画像生成処理のサブルーチンを終了して、処理は、図９のステップＳａ１２に進められる。

【0071】

ガイド画像生成部２０は、新たなガイド画像８０の全ての領域において網掛けのオブジェクトが結合されていると判定した場合（ステップＳｂ８、Ｎｏ）、表示処理部１３に対して、完了メッセージ表示の指示情報を出力する。表示処理部１３は、ガイド画像生成部２０から完了メッセージ表示の指示情報を受けると予め定められている文字情報の取得が完了したことをユーザに示すメッセージを画面５０に表示する（ステップＳｂ９）。その後、ガイド画像生成処理のサブルーチンは終了し、処理は、図９のステップＳａ１２に進められる。

【0072】

図９に戻り、操作部１１は、ユーザが撮影終了を指示したか否かを判定する（ステップＳａ１２）。例えば、ユーザが、上記のステップＳｂ９の処理において画面５０に表示された文字情報の取得が完了したことを示すメッセージを参照して、または、その他の事情により撮影中に操作ボタン５５を押下したとする。操作部１１は、当該操作ボタン５５の押下を検出してユーザが撮影終了を指示したと判定する。

【0073】

操作部１１は、ユーザが撮影終了を指示していないと判定した場合（ステップＳａ１２、Ｎｏ）、撮影部１２による撮影が継続して行われ、ステップＳａ４以降の処理が行われる。

【0074】

例えば、撮影部１２が、図１４に示すフレーム画像６２を撮影した場合、次のガイド画像生成処理において、ガイド画像生成部２０は、図１５に示す四角形の網掛けのオブジェクト９２が結合されたガイド画像８０を生成する。

【0075】

また、ステップＳａ４からステップＳａ１２の処理の間に、ガイド拡大ボタン５４の領域にユーザが指で触れると、当該領域のタッチパッドに対する操作を操作部１１が検出する。操作部１１は、当該操作を検出すると表示処理部１３に対してガイド画像５３を拡大して表示する指示情報を出力する。表示処理部１３は、拡大して表示する指示情報が与えられるとガイド画像記憶部１０６からガイド画像８０を読み出し、読み出したガイド画像８０を、例えば、画面５０の全体に表示する。表示されたガイド画像８０は、例えば、一般的なスマートフォンにおける二本の指をタッチパッド上で開いたり閉じたりする拡大縮小の操作によって拡大または縮小表示される。

【0076】

ステップＳａ１２において、操作部１１は、ユーザが撮影終了を指示したと判定した場合（ステップＳａ１２、Ｙｅｓ）、撮影部１２に対して撮影終了の指示情報を出力し、結合画像生成部２１に結合画像生成処理を開始させる指示情報を出力する。撮影部１２は、操作部１１から撮影終了の指示情報を受けて撮影を終了する。結合画像生成部２１は、操作部１１から結合画像生成処理を開始させる指示情報を受けて結合画像生成処理を開始する（ステップＳａ１３）。

【0077】

（結合画像生成処理）
図１６は、結合画像生成部２１による結合画像生成処理の流れを示すフローチャートである。結合画像生成部２１は、操作部１１から結合画像生成処理の指示情報を受けると、テンプレート画像記憶部１０１からテンプレート画像を読み出し、読み出したテンプレート画像を結合画像のデータの初期画像データとして結合画像記憶部１０７に書き込む（ステップＳｃ１）。

【0078】

結合画像生成部２１は、帳票情報記憶部１０５の中から、図１６に示すフローチャートによる処理を行っていない未処理の帳票情報テーブル１０５１を検出する。結合画像生成部２１は、検出した未処理の帳票情報テーブル１０５１の中で最初に帳票情報記憶部１０５に書き込まれた帳票情報テーブル１０５１を読み出す（ステップＳｃ２）。

【0079】

結合画像生成部２１は、読み出した帳票情報テーブル１０５１の「フレーム識別情報」の項目のフレーム識別情報に対応するフレーム画像をフレーム画像記憶部１０３から読み出す（ステップＳｃ３）。結合画像生成部２１は、読み出したフレーム画像の特徴情報を算出する（ステップＳｃ４）。

【0080】

結合画像生成部２１は、算出したフレーム画像の特徴情報と、テンプレート特徴情報記憶部１０４が記憶するテンプレート画像の特徴情報とを比較して、図１１に示したようなマッチング処理を行う（ステップＳｃ５）。

【0081】

結合画像生成部２１は、マッチング結果に対応して射影変換行列を算出し、算出した射影変換行列によりフレーム画像を透視変換する。例えば、処理対象のフレーム画像が、図５に示すフレーム画像６１である場合、結合画像生成部２１は、フレーム画像６１を透視変換してフレーム画像６１ａとし、図１２に示したようにテンプレート画像７０と座標系を一致させる（ステップＳｃ６）。

【0082】

結合画像生成部２１は、結合画像記憶部１０７から結合画像を読み出す。テンプレート画像７０と結合画像の座標系は一致しているので、結合画像生成部２１は、透視変換後のフレーム画像を結合画像の前面に重ねて結合し、新たな結合画像を生成する。結合画像生成部２１は、生成した新たな結合画像を結合画像記憶部１０７に上書きする（ステップＳｃ７）。

【0083】

結合画像生成部２１は、ステップＳｃ７の処理を終了した後、帳票情報記憶部１０５に未処理の帳票情報テーブル１０５１が存在するか否かを判定する（ステップＳｃ８）。結合画像生成部２１は、帳票情報記憶部１０５に未処理の帳票情報テーブル１０５１が存在すると判定した場合（ステップＳｃ８、Ｙｅｓ）、ステップＳｃ２からの処理を行う。

【0084】

例えば、結合画像生成部２１が、図１４に示すフレーム画像６２を次の処理対象として選択した場合、ステップＳｃ７において、結合画像生成部２１は、フレーム画像６２を透視変換したフレーム画像６２ａを結合画像に重ねて結合し、図１７に示すような結合画像８５を生成する。

【0085】

一方、結合画像生成部２１は、帳票情報記憶部１０５に未処理の帳票情報テーブル１０５１が存在しないと判定した場合（ステップＳｃ８、Ｎｏ）、結合画像生成部２１は、結合画像を表示する指示情報を表示処理部１３に出力する。また、結合画像生成部２１は、認識データ管理部１６に対して送信処理を開始する指示情報を出力する。

【0086】

表示処理部１３は、結合画像生成部２１から結合画像を表示する指示情報を受けると結合画像記憶部１０７から結合画像を読み出す。表示処理部１３は、読み出した結合画像を画面５０に表示する（ステップＳｃ９）。その後、結合画像処理は終了して、処理は、図９のステップＳａ１４に進められる。

【0087】

図９に戻り、認識データ管理部１６は、結合画像生成部２１から送信処理を開始する指示情報を受けると、帳票定義情報記憶部１０２が記憶する帳票定義テーブル１０２１の「帳票識別情報」の項目に示されている帳票識別情報を読み出す。認識データ管理部１６は、結合画像記憶部１０７が記憶する結合画像を読み出す。認識データ管理部１６は、帳票情報記憶部１０５が記憶する全ての帳票情報テーブル１０５１を読み出す。認識データ管理部１６は、読み出した帳票情報テーブル１０５１の「フレーム識別情報」の項目に示されているフレーム識別情報に対応するフレーム画像をフレーム画像記憶部１０３から読み出す。認識データ管理部１６は、読み出した全ての情報に対して端末装置１に予め付与されているユーザ識別情報を対応付けて通信処理部１７を通じて帳票データ管理装置３に送信して（ステップＳａ１４）、処理を終了する。

【0088】

帳票データ管理装置３の記録処理部３１は、通信ネットワーク５を通じて端末装置１の認識データ管理部１６が送信する情報を受信すると、受信した情報を帳票情報集計テーブル３２１の各項目に書き込んで記憶させる。

【0089】

例えば、図８に示す帳票情報集計テーブル３２１において、フレーム識別情報が「１」の情報と、フレーム識別情報が「２」の情報において、項目番号が重複しているとする。このとき、結合画像８５において見えている方の項目記録情報を有効な情報であるとして定めているとする。結合画像８５において、フレーム画像は、後から結合されるものが上に重ねられるため、フレーム識別情報の番号が大きい番号の方が、結合画像８５において見えることになる。したがって、フレーム識別情報の番号が大きい番号に属する項目番号に対応する項目記録情報が有効な情報となる。

【0090】

これに対して、例えば、結合画像生成部２１が、図１６に示すステップＳｃ２の処理において、最初ではなく、最後に帳票情報記憶部１０５に書き込まれた帳票情報テーブル１０５１を読み出す処理に替えるとする。この場合、結合画像８５において、フレーム識別情報の番号の大きいフレーム画像から順に重ねられて結合されることになるため、フレーム識別情報の番号の小さいフレーム画像が上に見えることになる。したがって、フレーム識別情報の番号が小さい番号に属する項目番号に対応する項目記録情報が有効な情報となる。

【0091】

上記の実施形態の構成により、フレーム画像取得部１４は、は、一つの帳票を部分的に連続して撮影したフレーム画像を取得する。文字認識部１５は、フレーム画像における文字画像の文字認識を行う。ガイド画像生成部２０は、帳票の全体像を含む帳票全体画像の特徴情報と、文字認識により文字情報が得られたフレーム画像の特徴情報とに基づいて、帳票の全体像において文字情報が得られた領域を示す撮影ガイド用のガイド画像を生成する。これにより、一つの帳票を部分的に連続して撮影する場合、ガイド画像を参照することで、文字情報が取得できている領域と、文字情報が取得できてない領域とを撮影しながら容易に区別することが可能になる。

【0092】

なお、上記の実施形態では、ガイド画像生成部２０は、透視変換後のフレーム画像の左上と右下の２つの座標を算出しているが、右上と左下の座標であってもよい。また、フレーム画像が、テンプレート画像７０に対して、大きく斜めに傾いているような場合、左上と右下、または、右上と左下の座標を用いると、四辺形の網掛けのオブジェクトの領域が、大きくなりすぎたり、小さくなりすぎたりしてしまう。この場合、左上と右上の頂点の中点と、左下と右下の頂点の中点と、左の上下の頂点の中点と、右の上限の中点の４点にあう四辺形の領域を網掛けのオブジェクトの領域としてもよい。

【0093】

また、上記の実施形態において、ガイド画像生成部２０が、図９に示したステップＳａ２の処理において、テンプレート画像記憶部１０１が記憶するテンプレート画像をガイド画像の初期画像データとしてガイド画像記憶部１０６に書き込むようにしている。このガイド画像の初期画像データに対して、ガイド画像生成部２０は、図１８に示すように予め撮影する必要がない領域に対して網掛けのオブジェクトを結合したガイド画像８０ａを生成するようにしてもよい。このようにしておくことで、図１０に示したステップＳｂ８の処理において、欄外の領域を考慮する必要もなく、また、撮影回数を減らすことができる。

【0094】

また、上記の実施形態では、帳票情報サーバ装置４からテンプレート画像を取得するようにしているが、ガイド画像の初期画像として、端末装置１において事前に帳票の全体像を撮影した画像をテンプレート画像の代わりに用いるようにしてもよい。ただし、帳票の全体像を撮影した画像の解像度として、文字認識ができる解像度は求められないが、少なくともステップＳｂ３やステップＳｃ５のマッチング処理ができる程度の解像度が求められる。

【0095】

また、上記の実施形態では、例えば、図１３や図１５に示したように、網掛けのオブジェクト９１，９２を配置するようにしているが、網掛けのオブジェクトに限られるものではなく、グレー色のオブジェクトや、網掛け以外の模様のオブジェクトであってもよい。また、文字情報が取得できたところをオブジェクトで隠すのではなく、反転表示、すなわち、オブジェクトを配置する箇所以外を網掛けにして、オブジェクトを配置する領域において元のテンプレート画像が見えるように表示するようにしてもよい。

【0096】

また、上記の実施形態において、表示処理部１３がステップＳｃ９において画面５０に表示した結合画像を参照したユーザが保存対象の項目記録情報に漏れがないことを確認して送信を許可する操作を、例えば、タッチパッドによって行った場合に、ステップＳａ１４の処理を開始するようにしてもよい。また、ユーザが結合画像において保存対象の項目記録情報に漏れがあることに気が付いた場合、ステップＳａ１４には進まず、ユーザが操作ボタン５５を押下して、ステップＳａ３からの処理を再開させるようにしてもよい。

【0097】

また、上記の実施形態では、図１０に示したガイド画像生成部２０によるステップＳｂ２～Ｓｂ４の処理は、図１６に示した結合画像生成部２１によるステップＳｃ４～Ｓｃ６の処理と同じ処理になるため、ステップＳｂ２～Ｓｂ４の処理においてガイド画像生成部２０が生成した透視変換後のフレーム画像を内部の記憶領域に保存しておき、結合画像生成部２１がステップＳｃ４～Ｓｃ６の処理に代えてガイド画像生成部２０が生成した透視変換後のフレーム画像をステップＳｃ７において用いるようにしてもよい。

【0098】

また、上記の実施形態の構成では、文字認識部１５は、図９に示したステップＳａ４において、フレーム画像記憶部１０３からフレーム画像とフレーム識別情報を読み出すようにしているが、文字認識部１５の処理速度が十分に速い場合、フレーム画像取得部１４が出力するフレーム画像とフレーム識別情報を文字認識部１５が直接取り込むようにしてもよい。

【0099】

また、上記の実施形態の構成では、帳票の全ての項目名に対応する記入欄には、何らかの情報が必ず書き込まれており、空欄が許容される項目名はないことを前提としている。これに対して、帳票定義テーブル１０２１においてある項目名において空欄が許容されている場合、空欄が許容される項目名については、項目記録情報が取得できていなくても、文字認識部１５は、ステップＳａ９の処理において、項目記録情報が存在するものとして判定することになる。

【0100】

また、上記の実施形態の構成では、図１０に示したステップＳｂ８の処理において、ガイド画像生成部２０が、ガイド画像８０の全ての領域において網掛けのオブジェクトが結合されているか否かを判定し、ガイド画像８０の全ての領域において網掛けのオブジェクトが結合されている場合、全ての項目名と項目記録情報が取得できているとみなしている。しかしながら、撮影したフレーム画像に不鮮明な部分があるような場合も想定される。例えば、図５に示したフレーム画像６１において、「フリガナ」と「生年月日」の項目名と項目記録情報は取得できているが、「氏名」の項目名が取得できないような場合もある。上記の実施形態では、撮影したフレーム画像に含まれる全ての項目名が取得できているかという判定を行っていないので、ステップＳｂ８の判定においてガイド画像生成部２１が「Ｙｅｓ」の判定をしたとしても、全ての項目名が取得できていない場合もある。このような場合に対処するため、例えば、以下のような２つの手段を用いるようにしてもよい。

【0101】

１つめの手段として、例えば、帳票定義テーブル１０２１の定義情報において、項目名の間の位置の連続性を示す情報が含まれているとする。上記のように、「フリガナ」と「生年月日」の項目名の間の「氏名」の項目名が取得できていないような場合、文字認識部１５が、帳票定義テーブル１０２１を参照して、項目名の抜けがあるため、図９に示したステップＳａ９の処理において、項目名及び項目記録情報が揃っていないと判定するようにしてもよい。このようにすることで、ガイド画像においてフレーム画像６１に対応する領域に網掛けのオブジェクトを配置して結合させないようにすることができる。

【0102】

２つ目の手段として、図１０に示したステップＳｂ８の判定処理の結果が「Ｙｅｓ」である場合、ガイド画像生成部２０が、更に、帳票定義テーブル１０２１を参照して、帳票の全ての項目名が全て取得できているか否かを判定するようにしてもよい。ガイド画像生成部２０が、帳票の全ての項目名が全て取得できていないと判定した場合、取得できていない項目名をメッセージとして画面５０の表示させるようにしてもよい。また、帳票のテンプレートにおいて各項目名に関連する範囲の座標が分かっているのであれば、当該項目名と、当該項目名に対応する項目記録情報の範囲の網掛けのオブジェクトを外すようにしてもよい。ガイド画像生成部２０は、帳票の全ての項目名が全て取得できていると判定した場合、ステップＳｂ９の処理を行って、画面５０に文字情報の取得が完了したことを示すメッセージを表示するようにしてもよい。

【0103】

また、上記の実施形態の構成において、結合画像生成部２１は、図１６に示したステップＳｃ１の処理の前か後に、項目記録情報に重複のある帳票情報テーブル１０５１を除外して、保存対象とする帳票情報テーブル１０５１を選択するようにしてもよい。例えば、結合画像生成部２１は、帳票情報テーブル１０５１を任意に選択する。任意に選択した帳票情報テーブル１０５１に記録されている項目記録情報の各々が、他の帳票情報テーブル１０５１のいずれかに記録されている場合、結合画像生成部２１は、選択した帳票情報テーブル１０５１を保存対象にしない処理を全ての帳票情報テーブル１０５１について繰り返す。このようにすることで、保存対象として残った帳票情報テーブル１０５１の各々は、他の保存対象の帳票情報テーブル１０５１に含まれていない項目記録情報を少なくとも１つ含んでいることになる。こうすることで、帳票情報テーブル１０５１の間の項目記録情報の重複を少なくすることができ、保存対象の帳票情報テーブル１０５１とフレーム画像を少なくすることができる。

【0104】

上記の実施形態では、端末装置１が、文字認識部１５、認識データ管理部１６、ガイド画像生成部２０、結合画像生成部２１を備えて、ガイド画像や結合画像を生成する１台の「画像処理装置」として機能している。これに対して、例えば、文字認識部１５を通信ネットワーク５に接続される外部のＯＣＲサーバ装置に備えさせ、認識データ管理部１６、ガイド画像生成部２０、結合画像生成部２１を通信ネットワーク５に接続される外部のＷｅｂサーバ装置に備えさせるようにしてもよい。そして、これらの装置に上記の文字認識部１５、認識データ管理部１６、ガイド画像生成部２０、結合画像生成部２１の各々が行う処理を行わせるようにしてもよい。この場合、端末装置１、ＯＣＲサーバ装置、Ｗｅｂサーバ装置が一体となってガイド画像や結合画像を生成する「画像処理装置」になる。

【0105】

上述した実施形態における端末装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0106】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0107】

１…端末装置、３…帳票データ管理装置、４…帳票情報サーバ装置、５…通信ネットワーク、１０…記憶部、１１…操作部、１２…撮影部、１３…表示処理部、１４…フレーム画像取得部、１５…文字認識部、１６…認識データ管理部、１７…通信処理部、２０…ガイド画像生成部、２１…結合画像生成部、３１…記録処理部、３２…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】