特許 7458816 データ入力支援装置、データ入力支援方法、表示装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】データ入力支援装置、データ入力支援方法、表示装置、及びプログラム

(51)【国際特許分類】

   G06V 30/412 20220101AFI20240325BHJP

   G06V 30/12 20220101ALI20240325BHJP

【ＦＩ】

G06V30/412

G06V30/12

【請求項の数】 10

(21)【出願番号】P 2020025035

(22)【出願日】2020-02-18

(65)【公開番号】P2021131593

(43)【公開日】2021-09-09

【審査請求日】2023-02-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】五十嵐 洋介

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１２－１３３５０７（ＪＰ，Ａ）

【文献】特開２０１９－０４０４６７（ＪＰ，Ａ）

【文献】特開２０１６－１４３２８４（ＪＰ，Ａ）

【文献】特開２００９－１２２７２２（ＪＰ，Ａ）

【文献】特開２０１６－１２６３５６（ＪＰ，Ａ）

【文献】特開２００６－２０９５９９（ＪＰ，Ａ）

【文献】特開２０２０－０１７１４９（ＪＰ，Ａ）

【文献】特開２００８－１５８９８８（ＪＰ，Ａ）

【文献】BitMap Family，個人でも買えるエプソンの名刺カードリーダー，ＰＣ ＷＡＶＥ 1994-11，日本，株式会社電波実験社，1994年11月01日，第２巻 第１１号 ，P.113-117

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／４１２

Ｇ０６Ｖ ３０／１２

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画像に対する文字認識処理により得られる複数の文字列を取得する取得手段と、
確認画面を表示する表示手段と
を有し、
前記確認画面は、
前記画像の全体または一部を表示する第一の表示領域と、
所定項目に対応付けて、前記複数の文字列の中から１つの文字列を表示する第二の表示領域と、
前記所定項目に対応付けて、前記画像の部分画像であって、前記所定項目に対応する文字列の項目名を含む複数の部分画像を表示する第三の表示領域と、を含み、
前記第二の表示領域において前記所定項目に対応付けて前記１つの文字列を表示するために、前記第三の表示領域において、前記所定項目に対応する文字列の項目名を含む前記複数の部分画像の中から１つの部分画像の選択をユーザから受け付ける、
ことを特徴とするデータ入力支援装置。

【請求項2】

前記表示手段は、前記複数の部分画像に含まれる項目名に対応する文字列の正規形が一致する場合、前記複数の部分画像をグループ化して前記第三の表示領域に表示することを特徴とする請求項１記載のデータ入力支援装置。

【請求項3】

前記正規形は、前記所定項目に対応付けて決められた書式に基づくことを特徴とする請求項２記載のデータ入力支援装置。

【請求項4】

前記複数の部分画像に含まれる項目名は、部分画像ごとに異なることを特徴とする請求項１乃至３のいずれか１項に記載のデータ入力支援装置。

【請求項5】

前記所定項目に対応する文字列を含む領域及び当該文字列に対応する項目名を含む領域の外接矩形領域を前記画像から切り出し、前記外接矩形領域の間の距離が閾値より大きければ前記距離を小さくした画像が前記部分画像として作成されることを特徴とする請求項１乃至４のいずれか１項に記載のデータ入力支援装置。

【請求項6】

前記表示手段は、ユーザによって選択された前記部分画像に対応する文字列及び当該文字列に対応する項目名を包含し、かつ前記文字列及び前記項目名が所定のサイズより大きくなるように、前記第一の表示領域における前記画像をトリミングして表示することを特徴とする請求項１乃至５のいずれか１項に記載のデータ入力支援装置。

【請求項7】

前記表示手段は、前記ユーザによって前記画像の表示位置あるいは表示倍率が変更された結果、選択された前記部分画像に対応する文字列あるいは当該文字列に対応する項目名が前記第一の表示領域に表示された前記画像の画像外にある場合には、前記画像外にある前記文字列あるいは前記項目名を、前記第一の表示領域に表示された前記画像の枠上に表示することを特徴とする請求項６記載のデータ入力支援装置。

【請求項8】

コンピュータを、請求項１乃至７のいずれか１項に記載のデータ入力支援装置として機能させるためのプログラム。

【請求項9】

画像に対する文字認識処理により得られた複数の文字列の確認画面を表示する表示装置であって、前記確認画面は、
前記画像の全体または一部を表示する第一の表示領域と、
所定項目に対応付けて、前記複数の文字列の中から１つの文字列を表示する第二の表示領域と、
前記所定項目に対応付けて、前記画像の部分画像であって、前記所定項目に対応する文字列の項目名を含む複数の部分画像を表示する第三の表示領域と、を含み、
前記第二の表示領域において前記所定項目に対応付けて前記１つの文字列を表示するために、前記第三の表示領域において、前記所定項目に対応する文字列の項目名を含む前記複数の部分画像の中から１つの部分画像の選択をユーザから受け付ける、
ことを特徴とする表示装置。

【請求項10】

画像に対する文字認識処理により得られた複数の文字列を取得する取得工程と、
確認画面を表示する表示工程と
を含み、
前記確認画面は、
前記画像の全体または一部を表示する第一の表示領域と、
所定項目に対応付けて、前記複数の文字列の中から１つの文字列を表示する第二の表示領域と、
前記所定項目に対応付けて、前記画像の部分画像であって、前記所定項目に対応する文字列の項目名を含む複数の部分画像を表示する第三の表示領域と、を含み、
前記第二の表示領域において前記所定項目に対応付けて前記１つの文字列を表示するために、前記第三の表示領域において、前記所定項目に対応する文字列の項目名を含む前記複数の部分画像の中から１つの部分画像の選択をユーザから受け付ける、
ことを特徴とするデータ入力支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ入力支援装置、データ入力支援方法、表示装置、及びプログラムに関する。

【背景技術】

【0002】

従来、帳票に記載された項目を読み取り、システムに入力するデータ入力業務を支援するために、帳票画像中の所定の位置にある文字列を項目値として読み取りデータ入力作業者に表示することで該業務を支援するシステムがあった。しかしながらかかるシステムでは、帳票のレイアウト毎に項目の位置を登録しなければならず、多様なレイアウトが存在し得る帳票に対して適用することは困難であった。例えば請求書は、通常、発行元が独自のテンプレートを用いて作成するため、レイアウトが多様化しやすい。

【0003】

特許文献１及び２には、このようにテンプレートの登録が困難な非定型帳票からデータ（項目値）を自動的に抽出する方法が開示されている。特許文献１では、データの属性を表す文字列である項目名とデータを表す項目値とを帳票画像の文字認識結果から検索し、両者の位置関係に基づいて項目名と項目値とを対応付けることで項目値を抽出する。特許文献２では、読み取り対象の項目名領域を抽出しハイライト表示した上で、該項目名に対応する項目値の位置または領域をユーザが大まかに入力することで項目値を抽出する。

【0004】

特許文献１及び２に開示された方法によると、項目値を自動抽出できるが、抽出した項目値の文字認識結果は誤ることがあり、オペレータによる目視確認が必須である。特許文献１の図２６では、項目値の文字認識結果を認識結果領域に表示するとともに、帳票画像上において当該認識対象となった項目値の領域を太線の枠で囲んで表示する表示方法が開示される。また、特許文献２の図８では、文字イメージ８２と認識結果８３とを並べて表示することが記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－５１３３９号公報

【文献】特開２０１８－３７０３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

帳票内に同じ種類のデータ（数値など）が複数存在する場合、認識結果のデータだけを確認してもそのデータが所望の項目名に対応するものなのか判断しにくいことが多い。すなわち、認識結果のデータを確認する際は、どの項目名に対応する値として帳票画像から抽出されたデータであるのかも合わせて確認することが必要である。しかしながら、特許文献１の表示方法では、帳票画像上で認識対象となった領域が太線枠で示されるだけである。したがって、ユーザは、認識結果が帳票画像上のどの領域に対応するのかを探し、さらに、その領域はどの項目名に対応するのかを帳票画像上で目視で確認する必要があり、確認作業に手間と時間を要する。また、特許文献２の表示方法では、文字認識結果に対応する文字イメージを確認することは容易であるが、その文字イメージが正しい項目名に対応するかどうかを確認するためには、帳票画像を別途表示させて確認する必要があり、確認作業に手間と時間を要する。

【0007】

本発明は、このような問題に鑑みてなされたものであり、帳票画像から抽出された項目値の確認作業を容易にすることを目的とする。

【課題を解決するための手段】

【0008】

本発明の一実施形態におけるデータ入力支援装置は、画像に対する文字認識処理により得られる複数の文字列を取得する取得手段と、確認画面を表示する表示手段とを有し、前記確認画面は、前記画像の全体または一部を表示する第一の表示領域と、所定項目に対応付けて、前記複数の文字列の中から１つの文字列を表示する第二の表示領域と、前記所定項目に対応付けて、前記画像の部分画像であって、前記所定項目に対応する文字列の項目名を含む複数の部分画像を表示する第三の表示領域と、を含み、前記第二の表示領域において前記所定項目に対応付けて前記１つの文字列を表示するために、前記第三の表示領域において、前記所定項目に対応する文字列の項目名を含む前記複数の部分画像の中から１つの部分画像の選択をユーザから受け付ける、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、帳票画像から抽出された項目値の確認作業を容易にすることができる。

【図面の簡単な説明】

【0010】

【図1】データ入力支援装置のハードウェア構成を示す図である。

【図2】データ入力支援装置の表示部１０５及び入力部１０６を実現するＵＩを示す図である。

【図3】データ入力支援装置のソフトウェア構成を示す図である。

【図4】帳票画像４００を示す図である。

【図5】帳票画像４００を対象に得られる検出結果５０１を示す図である。

【図6】データ入力支援装置による処理フローを示すフローチャートである。

【図7】Ｓ６０４で生成される確認画面７００を示す図である。

【図8】下位候補表示ボタン７０５ｃを押下して表示される項目種類「電話番号」に対応する項目情報を表す図である。

【図9】項目画像を表示する処理フローを示すフローチャートである。

【図10】Ｓ９０３における項目画像作成処理のフローチャートである。

【図11】Ｓ１００５における部分画像作成処理のフローチャートである。

【図12】部分画像作成処理の具体的な動作を説明する図である。

【図13】俯瞰画像の更新処理に関するフローチャートである。

【図14】確認画面７００において項目画像７０４ｂａが選択されて表示される画面を表す図である。

【図15】俯瞰画像の表示領域が変更された状態を説明する図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。また、本発明は、以下の実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0012】

本実施形態では、帳票画像４００を対象として抽出される項目名及び項目値を表示するデータ入力支援装置について説明する。

【0013】

＜第１の実施形態＞
［ハードウェア構成］
図１は、第１の実施形態に係るデータ入力支援装置のハードウェア構成を示す図である。データ入力支援装置１００は、制御部１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、入力部１０６と、スキャナ１０７とを有する。

【0014】

制御部１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。制御部１０１は、１または複数のＣＰＵ（中央演算装置）とすることができる。ＲＡＭ１０３は、制御部１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、各種データや各種プログラム等を記憶する。なお、後述するデータ入力支援装置１００の機能や処理は、制御部１０１がＲＯＭ１０２またはＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現される。

【0015】

表示部１０５は、各種情報を表示する表示装置である。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部１０５と入力部１０６は、タッチパネルのように一体に設けられてもよい。また、表示部１０５は、プロジェクタによる投影を行うものであってもよく、入力部１０６は、投影された画像に対する指先の位置を、カメラで認識するものであってもよい。

【0016】

スキャナ１０７は、紙面を読み取ってスキャン画像を生成する。なお、スキャナ１０７は、接触型スキャナに限らず、書画カメラやスマートフォンを非接触型スキャナとして用いてもよい。

【0017】

本実施形態においては、スキャナ１０７が帳票等の紙文書を読み取って帳票画像を生成し、当該画像をＨＤＤ１０４などの記憶装置に記憶する。

【0018】

［ＵＩ（ユーザインタフェース）］
図２は、本実施形態におけるデータ入力支援装置１００の表示部１０５及び入力部１０６を実現するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を示す図である。操作パネル２０１は、表示部１０５を実現する。操作パネル２０１はタッチパネル２０２及びテンキー２０３を備える。タッチパネル２０２は、ログイン中のユーザＩＤや、メインメニューなどを表示する。

【0019】

本実施形態において、ＵＩは処理対象の帳票画像或いは情報抽出結果等をユーザに提供するための一手段であり、タッチパネル２０２上で提供される。なお、ＵＩはタッチパネルに限定されず、ＰＣ（パーソナルコンピュータ）に接続されたディスプレイを用いて実行してもよい。

【0020】

［ソフトウェア構成］
図３は、本実施形態におけるデータ入力支援装置１００のソフトウェア構成を示す図である。データ入力支援装置１００は、各種のモジュール（３０１～３１０）を含む。該モジュールを実現するプログラムは、ＲＯＭ１０２またはＨＤＤ１０４に記憶される。

【0021】

制御部３０１は、プログラムを実行し、各種モジュールに対する指示、及び管理を行う。

【0022】

表示部３０２は、制御部３０１からの指示に従い、上述したＵＩ、及び各種の処理結果を表示部１０５に提供する。

【0023】

入力部３０３は、ユーザの操作を受け付ける。

【0024】

記憶部３０４は、プログラム、及びプログラムが管理するその他の情報をＲＯＭ１０２またはＨＤＤ１０４に記憶する。

【0025】

文字認識部３０５は、帳票画像に含まれる文字あるいは文字列の、座標及び文字種を特定する。

【0026】

項目情報抽出部３０６は、帳票画像からデータ入力業務の対象となる項目を項目情報として抽出する。項目情報抽出部３０６は、さらにサブモジュール（３０７～３１０）を有する。

【0027】

項目値領域検出部３０７は、帳票画像からデータ入力業務の対象データとなる文字列を含む領域を、項目値領域として検出する。

【0028】

項目名領域検出部３０８は、帳票画像から項目値の名称を表す文字列を含む領域を、項目名領域として検出する。

【0029】

項目値取得部３０９は、文字認識部３０５により得られる項目値領域の文字列を、項目値として取得する。

【0030】

項目名取得部３１０は、文字認識部３０５により得られる項目名領域の文字列を、項目名として取得する。

【0031】

項目値領域、項目名領域、項目値、及び項目名は、特許文献１で開示される方法等の公知の方法で取得できる。

【0032】

なお、文字認識部３０５は、帳票画像全体の文字列を対象とする必要はなく、項目値取得部３０９及び項目名取得部３１０で必要な文字列が認識されればよい。例えば、文字候補領域を抽出後、該領域の位置、サイズ、領域間のレイアウト等に基づき該領域が項目名値ではないと判定した場合、該領域は文字種を特定しない。そうすることで、計算量を軽減できる。

【0033】

［項目検出結果］
図４は、本実施形態における帳票画像４００を示す図である。図５は、帳票画像４００から項目情報抽出部３０６が抽出した検出結果５０１を示す図である。検出結果５０１は、複数の項目情報（図５における各行）を有する。さらに項目情報は、項目種類、順位、項目値、複数の項目名、正規形、及び項目値及び項目名毎に不図示の領域情報（領域の頂点座標）を有する。図４における領域４０１～４０８は、それぞれ図５におけるＮｏ．１～８の項目値に対応する領域である。同様に領域４０２ａ、４０３ａ、４０４ａ～ｂ、４０５ａ～ｂ、４０６ａ～ｂ、４０７ａ、４０８ａは、Ｎｏ．２～６の各項目名に対応する領域である。またＮｏ．７の項目名２は領域４０５ｂに対応し、Ｎｏ．８の項目名２は領域４０６ｂに対応する。

【0034】

項目種類は、抽出された項目情報の種類を表す。検出結果５０１では「発行日」項目、「請求金額」項目、「電話番号」項目の３種類が検出されている。順位は、該項目情報が同種の項目種類の中で正しく該項目種類である確率の高さに基づき決まる。項目値は、該項目情報が表す項目値であり、帳票画像に含まれる文字列である。項目名は、項目種類に対応する文字列である。例えば検出結果５０１の「請求金額」項目に対応する項目名として「合計金額」、「合計」、「価格」が検出されている。正規形は、項目種類毎に決められた書式に項目値を適用することで正規化された文字列である。例えば「発行日」項目は「ＹＹＹＹＭＭＤＤ」の書式を正規形とし、検出結果５０１におけるＮｏ．１では「２０１９年３月８日」が「２０１９０３０８」に変換された文字列を正規形とする。同様に、「請求金額」項目では「小数点以下２桁の実数」を正規形として変換され、「電話番号」項目は「数字のみで構成される文字列」を正規形として変換される。これにより、帳票毎の項目値の表記の揺れを吸収する。

【0035】

［処理フロー］
次に、本実施形態の処理フローについて、図６のフローチャートを用いて説明する。

【0036】

フローチャートで示される一連の処理は、データ入力支援装置１００の制御部１０１がＲＯＭ１０２またはＨＤＤ１０４に格納されているプログラムを読み出し、ＲＡＭ１０３に展開して実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。フローチャートの説明における記号「Ｓ」は、当該フローチャートにおける「ステップ」を意味する。その他のフローチャートについても同様である。

【0037】

まず、Ｓ６０１で、制御部３０１は、ＲＡＭ１０３またはＨＤＤ１０４に記憶された帳票画像４００を取得する。

【0038】

次に、Ｓ６０２で、文字認識部３０５は、帳票画像４００を対象に文字認識処理を行う。これにより帳票画像４００中の各文字列領域及び文字種が認識結果として得られる。

【0039】

次に、Ｓ６０３で、項目情報抽出部３０６は、文字認識結果に基づき、帳票画像４００から項目情報を抽出する。これにより検出結果５０１が得られる。

【0040】

次に、Ｓ６０４で、表示部３０２は、帳票画像４００及び検出結果５０１をユーザに提示し、該検出結果を確認及び修正するための確認画面を生成し表示する。該処理については図７以降を用いて後述する。

【0041】

次に、Ｓ６０５で、入力部３０３は、ユーザ操作を取得する。ここでユーザは検出結果５０１の確認及び修正を行う。ユーザの入力内容に基づき、確認及び修正が終了したらＳ６０７に遷移し、そうでなければＳ６０６に遷移し確認画面を更新してＳ６０５に戻り、再度ユーザ入力の受付を行う。

【0042】

最後にＳ６０７で、制御部３０１は、ユーザによる確認及び修正が完了した項目情報を不図示の外部システムに送信し、処理を終了する。

【0043】

［確認画面］
図７は、上記Ｓ６０４で生成される確認画面７００を示す図である。確認画面７００はユーザに対して検出結果５０１の内容を提示する。ユーザは、該画面で項目値が正しい領域から検出されているか、また正しい値が抽出されているかの確認を行い、誤りがあればその修正を行う。確認画面７００は、俯瞰画像７０１、項目種類テキスト７０２ａ～ｃ、項目値テキスト７０３ａ～ｃ、項目画像７０４ａ～ｃ、下位候補表示ボタン７０５ａ、７０５ｃ、終了ボタン７１０を含む。項目画像７０４ｂは、さらに項目画像７０４ｂａ、７０４ｂｂを有する。

【0044】

俯瞰画像７０１は、帳票画像４００に対して、検出結果５０１の順位１の各項目情報（Ｎｏ．１、Ｎｏ．３、Ｎｏ．５）に対応する領域４０１、４０３、４０３ａ、４０５、４０５ａ、４０５ｂをハイライト表示した画像である。項目値に関する領域４０１、４０３、４０５と、項目名に関する領域４０３ａ、４０５ａ、４０５ｂとが、それぞれ区別できるようにハイライト表示される。ユーザは俯瞰画像７０１上でスワイプ操作やピンチイン・ピンチアウト操作を行うことで、俯瞰画像７０１の表示位置や表示倍率の変更が可能である。

【0045】

項目種類テキスト７０２ａ～ｃは、図６におけるＳ６０７で外部システムに送信される項目種類の名称を表示する。確認画面７００では、項目種類テキスト７０２ａに「発行日」、項目種類テキスト７０２ｂに「請求金額」、項目種類テキスト７０２ｃに「電話番号」が表示されている。

【0046】

項目値テキスト７０３ａ～ｃは、俯瞰画像７０１にハイライト表示された領域に対応する項目値が表示されるテキストエリアである。各テキストエリアはユーザ入力が可能であり、ユーザは、文字認識結果に誤りがある場合にはここで修正を行う。

【0047】

項目画像７０４ａ～ｃは、俯瞰画像７０１にハイライト表示された領域に対応する項目名領域および項目値領域から作成される画像である。項目画像の作成方法については、図９～１２を用いて後述する。各項目画像は上記Ｓ６０５にてユーザによる選択が可能である。項目画像が選択されると、該項目画像に対応する項目情報から項目値テキストが取得され表示される。さらに上記項目情報から項目名領域及び項目値領域が取得され、俯瞰画像７０１が該領域の位置をハイライトする表示に更新される。俯瞰画像７０１の更新に関する詳細は図１３を用いて後述する。

【0048】

下位候補表示ボタン７０５ａ、７０５ｃは、それぞれ対応する項目種類の下位候補を表示するためのボタンである。下位候補表示ボタン７０５ａは項目種類「発行日」に対応し、下位候補表示ボタン７０５ｃは項目種類「電話番号」に対応する。下位候補表示ボタン７０５ｃ押下時の動作については図８を用いて後述する。

【0049】

終了ボタン７１０は、確認画面７００を終了するためのボタンである。確認画面７００による検出結果５０１の結果の確認及び修正が完了した後、ユーザは該ボタンを押下し確認を終了する。

【0050】

図８は、下位候補表示ボタン７０５ｃを押下して表示される項目種類「電話番号」に対応する項目情報を表す図である。確認画面７００で下位候補表示ボタン７０５ｃを押下すると、検出結果５０１において項目種類「電話番号」の項目情報が全て表示される。部分画像７０４ｃａ～７０４ｃｄは、検出結果５０１におけるＮｏ．５～８の項目情報に対応する項目名領域、及び項目値領域を含む画像である。これらの画像は図７の項目画像７０４ａ～ｃと同様に各々選択可能であり、選択に応じて確認画面７００は更新される。なお、下位候補表示ボタン７０５ａを押下すると、項目種類「電話番号」の場合と同様に、項目種類が「発行日」である項目情報の部分画像が全て表示される。

【0051】

［項目画像の表示］
次に、図９のフローチャートを用いて、上記項目画像を表示する処理フローについて説明する。なお、ここでは検出結果５０１を対象として、図７の各項目画像７０４ａ～ｃ、及び図８の部分画像７０４ｃａ～ｃｄを表示するフローを説明する。

【0052】

Ｓ９０１からＳ９０６までの処理は、項目種類毎（「発行日」、「請求金額」、「電話番号」）に実施される。

【0053】

まずＳ９０２～Ｓ９０４において、表示部３０２は、項目情報毎に項目画像を作成する。Ｓ９０３における項目画像作成の処理フローは図１０を用いて後述する。例えば項目種類「請求金額」については、図７に示すように、項目情報Ｎｏ．３の項目画像７０４ｂａ及びＮｏ．４の項目画像７０４ｂｂが作成される。

【0054】

次にＳ９０５において、表示部３０２は、作成された同種の項目画像に対して、正規形が同じ候補をグループ化する。項目種類「請求金額」については、Ｎｏ．３及びＮｏ．４の正規形が一致するためグループ化され、項目画像７０４ｂが作成される。

【0055】

上記処理の終了後、Ｓ９０７において、表示部３０２は、作成された項目画像を確認画面７００上に表示し、本処理フローは終了する。

【0056】

図１０は、上記Ｓ９０３における項目画像作成の処理フローを示す図である。ここでは検出結果５０１における項目情報Ｎｏ．５を入力した場合を例に説明する。

【0057】

まずＳ１００１からＳ１００４の処理がｉ＝１～Ｎまで繰り返される。ここでＮは、入力される項目情報と同種の項目情報が有する最大項目名数とする。Ｎｏ．５が入力の場合、項目種類は「電話番号」であり、その最大項目名数は２となる。

【0058】

Ｓ１００２では、表示部３０２は、項目名のｉ個の集合Ｖを準備する。ここで集合Ｖ＝［ｖ＿１，・・・，ｖ＿Ｍ］とし、集合Ｖの要素ｖ＿ｊ＝［項目名１（ｊ），・・・，項目名ｉ（ｊ）］と定義する。なお、Ｍは同項目種類における項目情報数、項目名ｉ（ｊ）は順位ｊの項目名ｉとする。項目種類「電話番号」においてはＭ＝４である。また初回のループではｉ＝１であり、Ｖ＝［［ＴＥＬ］，［ＴＥＬ］，［ＦＡＸ］，［ＦＡＸ］］となる。

【0059】

Ｓ１００３では、表示部３０２は、Ｖの要素に重複があるかどうか判定する。本実施形態では、重複判定は「２つの要素ｖ＿ａ、ｖ＿ｂについて「ｘ＝１～ｉ全てで「ｖ＿ａｘとｖ＿ｂｘに包含関係がある」」なら真」を返す関数により行う。該関数によれば、Ｖの要素間で重複がある（［ＴＥＬ］及び［ＦＡＸ］がそれぞれ重複する）ので、Ｓ１００４に遷移する。

【0060】

Ｓ１００４ではｉをインクリメントしＳ１００１へ遷移する。以上の処理をｉ＝Ｎまで繰り返す。

【0061】

Ｎｏ．５を入力としたｉ＝２のループでは、Ｓ１００２における集合Ｖは［［ＴＥＬ，本社］，［ＴＥＬ，営業所］，［ＦＡＸ，本社］，［ＦＡＸ，営業所］］となる。該集合Ｖに対してＳ１００３では重複はないと判定される。具体的には、ｖ＿１＝［ＴＥＬ，本社］とｖ＿２＝［ＴＥＬ，営業所］を比較すると、ｖ_１１＝「ＴＥＬ」とｖ＿２１＝「ＴＥＬ」は包含関係がある（完全一致する）が、ｖ＿１２＝「本社」とｖ＿２２＝「営業所」は包含関係がない。したがって、ｖ＿１とｖ＿２は重複しない。同様にｖ＿１、ｖ＿２、ｖ＿３、ｖ＿４間の全ての組み合わせについて重複がないため、Ｓ１００３からループを抜けてＳ１００５へ遷移する。

【0062】

Ｓ１００５では、表示部３０２は、項目値領域及び項目名１～ｉ領域を有する部分画像を作成し、これを項目画像として取得する。項目情報Ｎｏ．５においてはｉ＝２であり、項目値、項目名１、項目名２を含む部分画像が作成され、これにより項目画像７０４ｃが取得される。Ｓ１００５の処理の詳細は、図１１を用いて後述する。

【0063】

図１０に示す処理フローでは、項目情報間で区別可能な粒度の項目名のみを含む項目画像を作成する。例えば検出結果５０１の項目種類「電話番号」では項目名１及び２が含まれるが、仮にＮｏ．６及びＮｏ．８が検出されず、Ｎｏ．５及びＮｏ．７のみが検出された場合、項目画像に含まれるのは項目値領域及び項目名１領域のみとなる。

【0064】

図１１は、上記Ｓ１００５における部分画像作成の処理フローを説明する図である。

【0065】

まず、Ｓ１１０１において、表示部３０２は、ＲＡＭ１０３またはＨＤＤ１０４に記憶された帳票画像を取得する。

【0066】

次に、Ｓ１１０２において、表示部３０２は、項目値領域を取得しこれをＲとする。項目値領域Ｒは、帳票画像中の矩形領域であり、矩形の４頂点の座標を有する。

【0067】

次に、Ｓ１１０３からＳ１１１０までの処理をｎ回繰り返す。ここでｎは、入力される項目情報が有する項目名数である。

【0068】

Ｓ１１０４では、表示部３０２は、項目名ｉの領域を取得しこれをＳとする。

【0069】

次にＳ１１０５において、表示部３０２は、領域Ｒと領域Ｓ間のｙ方向距離ｄｉｓｔＹ（Ｒ，Ｓ）を取得し、これが所定の値Ｔｙより大であるか否かの判定をする。ｄｉｓｔＹ（Ｒ，Ｓ）は、両領域をｙ軸上に射影した際に重複があれば距離０とし、重複が無ければ両領域間の距離を得る関数とする。Ｔｙは例えば１０ピクセルとする。

【0070】

Ｓ１１０５においてｙ方向距離がＴｙより大である場合、Ｓ１１０６に遷移し、領域Ｒと領域Ｓ間の距離を小さくするように画像に対して圧縮処理を行いＳ１１０７へ遷移する。該処理の詳細は図１２で具体例を用いて説明する。Ｓ１１０５において距離がＴｙ以下である場合は、Ｓ１１０６はスキップされ、Ｓ１１０７へ遷移する。

【0071】

Ｓ１１０７及びＳ１１０８は、上記Ｓ１１０５及びＳ１１０６と同様の処理をｘ方向に対して適用する。Ｔｘは例えば２０ピクセルとする。

【0072】

Ｓ１１０９では、表示部３０２は、項目値領域Ｒを、画像圧縮後の座標系における上記領域Ｒと上記領域Ｓの外接矩形として更新する。

【0073】

Ｓ１１１０では、表示部３０２は、ｉをインクリメントし、Ｓ１１０４へ遷移する。

【0074】

最後に、Ｓ１１１１で表示部３０２は領域Ｒをトリミングし、新たな画像を作成し、部分画像として出力し終了する。

【0075】

続いて、図１２を用いて図１１に示した部分画像作成フローの具体的な動作を説明する。図１２では次の項目情報の入力を想定している。項目種類「請求金額」、項目値「１１，２８６」、項目名１「合計」、項目名２「価格」である。

【0076】

図１２（ａ）は、説明のため帳票画像の一部をトリミングした画像を示す。領域１２０１は項目値「１１，２８６」に対応する領域であり、領域１２０２は項目名１「合計」に対応する領域であり、領域１２０３は項目名２「価格」に対応する領域である。図１２（ｂ）では、領域１２０１の左辺の延長線上を線１２０１Ｌ、領域１２０２の右辺の延長線上を線１２０２Ｒで示し、同様に領域１２０３についても左右の辺の延長線を線１２０３Ｌ、Ｒで表している。

【0077】

まず上記Ｓ１１０２において表示部３０２は領域Ｒ＝項目名領域を取得する。図１２（ａ）において、領域Ｒは領域１２０１である。次にＳ１１０４で表示部３０２は領域Ｓ＝項目名１領域を取得する。図１２（ａ）において領域Ｓは領域１２０２である。次にＳ１１０５において、表示部３０２は領域Ｒと領域Ｓのｙ方向距離を取得し、閾値Ｔｙより大であるか判定する。領域１２０１と領域１２０２は、ｙ軸上で重複があるためｙ方向距離は０であり、Ｓ１１０６はスキップされる。次にＳ１１０７において、表示部３０２は両領域のｘ方向距離を取得し、Ｔｘより大であるか判定する。ｘ方向距離は図１２（ｂ）における線１２０１Ｌと線１２０２Ｒ間の距離である。ここでは該距離がＴｘより大であるものとし、Ｓ１１０８へ遷移し、ｘ方向圧縮処理を適用する。ｘ方向圧縮処理は、両領域間の画像を除去することで実現する。ただし、除去される領域に他の項目名領域があれば、該領域は残すように除去する。ここでは除去対象領域である線１２０２Ｒと線１２０１Ｌの間に領域１２０３が含まれるため、線１２０２Ｒと線１２０３Ｌの間、及び線１２０３Ｒと線１２０１Ｌの間が除去される。これにより作成される画像を図１２（ｃ）に示す。なお、ここでは領域間の画像を除去する際に、各領域の近傍に一定サイズの余白を持たせている。続いてＳ１１０９で、新たに作成された画像内の上記領域Ｒと領域Ｓの外接矩形領域を新たに領域Ｒとして更新する。図１２（ｃ）において、更新後の領域Ｒは領域１２０４となる。

【0078】

上記処理の終了後、ｉ＝２としてＳ１１０４から２回目の処理を行う。２回目のＳ１１０４では、領域Ｓは項目名２の領域１２０５となる。続いてＳ１１０５でｙ方向距離を判定する。ｙ方向距離は図１２（ｄ）における線１２０４Ｔと線１２０５Ｂ間の距離となる。該距離は閾値Ｔｙより大きいものとし、Ｓ１１０６で表示部３０２はｙ方向圧縮処理を行う。該処理では上記ｘ方向圧縮処理と同様の処理をｙ方向に対して行う。領域１２０４と領域１２０５の間には他の項目名領域が無いため、両領域間を除去すればよい。Ｓ１１０７では同様にｘ方向距離を判定するが、領域１２０４と領域１２０５はｘ軸上で重複し、距離０であるためｘ方向圧縮処理は行われない。

【0079】

以上の処理により作成される部分画像を図１２（ｅ）に示す。なお、図１２（ｃ）、（ｅ）では、圧縮されたことをユーザに明示するためのマーカー１２０６～１２０８を示す。該マーカーにより画像が除去された領域がユーザにわかりやすくなる。

【0080】

［項目画像選択時の俯瞰画像更新］
確認画面７００において、各項目画像はユーザが選択することが可能である。項目画像が選択されると、俯瞰画像７０１は該項目画像に対応する項目名領域、及び項目値領域がハイライト表示された画像に更新される。図１３は俯瞰画像７０１の更新処理に関する処理フローである。

【0081】

まずＳ１３０１において、表示部３０２は帳票画像を取得する。

【0082】

次にＳ１３０２において、表示部３０２はユーザによって選択された項目画像に対応する項目値領域、及び項目名領域を取得する。

【0083】

続いて、Ｓ１３０３において、表示部３０２は取得された上記領域の外接矩形を取得する。

【0084】

続いて、Ｓ１３０４において、表示部３０２は点Ｐを上記外接矩形の中心座標として取得する。

【0085】

続いて、Ｓ１３０５において、表示部３０２は倍率Ｓｃａｌｅを［表示文字サイズ］／［最小文字高さ］として計算する。［表示文字サイズ］は事前に設定されたパラメータであり、［最小文字高さ］はＳ１３０２で取得した各領域の文字高さの最小値である。これにより、帳票画像をＳｃａｌｅ倍すると各領域の高さは［表示文字サイズ］ピクセル以上となる。

【0086】

続いて、Ｓ１３０６において、表示部３０２は［外接矩形サイズ×Ｓｃａｌｅ］が俯瞰画像表示エリアのサイズよりも大きいか否か判定する。ここで外接矩形サイズとはＳ１３０３で取得された外接矩形の幅及び高さであり、俯瞰画像表示エリアとは確認画面７００において俯瞰画像７０１を表示する領域の幅及び高さとする。幅、あるいは高さのいずれかが条件を満たせばＳ１３０６は真としてＳ１３０７に遷移し、偽であればＳ１３０８に遷移する。

【0087】

上記Ｓ１３０６が真の場合、Ｓ１３０７で表示部３０２は、上記Ｓ１３０４で取得した点Ｐを項目名領域の中心座標に更新し、さらに上記Ｓ１３０５で取得したＳｃａｌｅを［表示文字サイズ］／［項目値領域高さ］に更新する。

【0088】

続いてＳ１３０８において、表示部３０２は、帳票画像をＳｃａｌｅ倍した画像を、点Ｐを中心として上記俯瞰画像表示エリアのサイズにトリミングして、トリミング画像を作成する。仮にＳ１３０６が偽であった場合、上記トリミング画像には上記Ｓ１３０２で取得した全領域が含まれ、その中心が画像中心となる。一方、Ｓ１３０６が真であった場合、上記トリミング画像は項目名領域を中心とした画像となる。

【0089】

続いて、Ｓ１３０９において、表示部３０２は上記トリミング画像において、上記領域をハイライト表示する。

【0090】

最後に、Ｓ１３１０において、表示部３０２は上記トリミング画像を俯瞰画像表示エリアに表示し、処理フローを終了する。

【0091】

なお、図１３には不図示であるが、Ｓ１３０７の次に、さらにＳｃａｌｅ×［項目名領域の幅］が上記俯瞰画像表示エリアの幅よりも大きければ、項目名領域が該表示エリアの幅以下になるようにＳｃａｌｅを調整してもよい。

【0092】

図１４は、確認画面７００において項目画像７０４ｂａが選択されて表示される画面を表した図である。ここでは、項目画像７０４ｂａが選択されたことをハイライト表示する枠１４０１が描画され、図１３に示した処理フローで更新された俯瞰画像１４０２が表示されている。俯瞰画像１４０２は選択された項目画像に対応する項目値領域１４０３ａ及び項目名領域１４０３ｂが所定のサイズで表示される倍率に拡大され、また両領域がハイライト表示されることで各領域が視認しやすくなっている。

【0093】

［俯瞰画像外の項目領域表示］
前述のように確認画面７００においてユーザ操作を行うことで、俯瞰画像７０１の表示画像位置、あるいは表示倍率を変更することが可能である。この際、図１４に示した俯瞰画像１４０２に対して同操作を行うと、ハイライト表示された選択中の項目名領域及び項目値領域が画像外に出てしまう場合がある。このように、選択された項目名領域あるいは項目値領域が画像外にある場合には、該領域を俯瞰画像上でハイライト表示する。

【0094】

図１５は、確認画面７００において項目画像７０４ｂｂが選択された状態で、俯瞰画像の表示領域が変更された状態を説明する図である。帳票画像４００に対して領域１５０１が俯瞰画像の領域として指定され、該領域が切り出されて俯瞰画像１５０３が作成される。俯瞰画像１５０３において、選択済みの項目画像７０４ｂｂに対応する領域４０４及び領域４０４ａは領域１５０１に内包されるため、図１４の領域１４０３ａ及び領域１４０３ｂと同様に項目値領域１５０４及び項目名領域１５０５としてハイライト表示される。一方で領域４０４ｂは領域１５０１の外側にある。そこで、領域１５０１の中心と領域４０４ｂの中心とを結ぶ直線と、領域１５０１の交点１５０２を求め、俯瞰画像１５０３上で交点１５０２に対応する点１５０７上（すなわち、俯瞰画像１５０３の枠上）に、ポップアップ画像１５０６を重畳する。ポップアップ画像１５０６は、領域４０４ｂを切り出した画像から作成する。

【0095】

以上説明したように、本実施形態によると、帳票画像から抽出された項目値に対応する項目名を合わせて表示することにより、抽出された項目値の確認作業が容易になる。

【0096】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】