特開 2024-174460 表認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174460

(43)【公開日】2024-12-17

(54)【発明の名称】表認識装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20241210BHJP

【ＦＩ】

G06T7/60 200K

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023092293

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】竹内 伸一

(72)【発明者】

【氏名】田端 淳

(72)【発明者】

【氏名】則竹 真吾

(72)【発明者】

【氏名】村上 亮

(72)【発明者】

【氏名】柳川 涼

(72)【発明者】

【氏名】桑島 豊

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA17

5L096DA02

5L096FA03

5L096FA13

5L096FA66

5L096FA69

5L096GA51

5L096HA08

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】表を高精度に認識する表認識装置を提供する。
【解決手段】表認識装置１において、ＣＰＵ１０は、ＲＯＭ１１からプログラムを読み込み、画像から複数の枠を識別する枠識別部と、識別した複数の枠の各々の枠線の端点を検出する端点検出部と、識別した複数の枠の間において検出した端点の座標同士を比較することにより、互いの端点の間の距離が閾値以下である枠同士のグループを生成するグループ生成部と、生成したグループ毎に表を認識する表認識部と、して機能する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像から複数の枠を識別する識別部と、
前記複数の枠の各々の枠線の端点を検出する検出部と、
前記複数の枠の間において前記端点の座標同士を比較することにより、互いの前記端点の間の距離が閾値以下である前記枠同士のグループを生成する生成部と、
前記グループごとに表を認識する認識部とを有する、
表認識装置。

【請求項2】

前記識別部は、前記画像を入力として、前記画像内の罫線を出力する、教師あり学習による機械学習済みの出力モデルを用いて前記画像から、前記罫線により画定される前記複数の枠を識別する、
請求項１に記載の表認識装置。

【請求項3】

前記識別部は、前記画像を入力として、前記画像内の文字列を出力する、教師あり学習による機械学習済みの出力モデルを用いて前記画像から、前記文字列を囲む前記複数の枠を識別する、
請求項１に記載の表認識装置。

【請求項4】

前記識別部は、前記罫線が途切れている場合、前記罫線の途切れている部分を補完することにより前記複数の枠を識別する、
請求項３に記載の表認識装置。

【請求項5】

前記識別部は、前記複数の枠として、前記画像内の文字を囲む複数の第１枠、及び前記画像内の罫線により画定される複数の第２枠を識別し、
前記検出部は、前記複数の第１枠の各々の枠線の前記端点、及び前記複数の第２枠の各々の枠線の前記端点を検出し、
前記生成部は、互いの前記端点の間の距離が前記閾値以下である前記第１枠同士の前記グループを生成し、互いの前記端点の間の距離が前記閾値以下である前記第２枠同士の前記グループを生成する、
請求項１に記載の表認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表認識装置に関する。

【背景技術】

【0002】

画像内から表を認識する技術に関し、例えば特許文献１には、画像の行方向及び列方向に並ぶ複数の文字列を囲むように行方向及び列方向の矩形サブグループを設定し、その交差範囲を帳票の記入枠として認識する点が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１７９７４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記の技術によると、例えば複数列分の幅または複数行分の高さを持つ記入枠を認識できないため、表を高精度に認識することができない。

【0005】

そこで本発明は上記の課題に鑑みてなされたものであり、表を高精度に認識することができる表認識装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の表認識装置は、画像から複数の枠を識別する識別部と、前記複数の枠の各々の枠線の端点を検出する検出部と、前記複数の枠の間において前記端点の座標同士を比較することにより、互いの前記端点の間の距離が閾値以下である前記枠同士のグループを生成する生成部と、前記グループごとに表を認識する認識部とを有する。

【0007】

上記の表認識装置において、前記識別部は、前記画像を入力として、前記画像内の罫線を出力する、教師あり学習による機械学習済みの出力モデルを用いて前記画像から、前記罫線により画定される前記複数の枠を識別してもよい。

【0008】

上記の表認識装置において、前記識別部は、前記画像を入力として、前記画像内の文字列を出力する、教師あり学習による機械学習済みの出力モデルを用いて前記画像から、前記文字列を囲む前記複数の枠を識別してもよい。

【0009】

上記の表認識装置において、前記識別部は、前記罫線が途切れている場合、前記罫線の途切れている部分を補完することにより前記複数の枠を識別してもよい。

【0010】

上記の表認識装置において、前記識別部は、前記複数の枠として、前記画像内の文字を囲む複数の第１枠、及び前記画像内の罫線により画定される複数の第２枠を識別し、前記検出部は、前記複数の第１枠の各々の枠線の前記端点、及び前記複数の第２枠の各々の枠線の前記端点を検出し、前記生成部は、互いの前記端点の間の距離が前記閾値以下である前記第１枠同士の前記グループを生成し、互いの前記端点の間の距離が前記閾値以下である前記第２枠同士の前記グループを生成してもよい。

【発明の効果】

【0011】

本発明によれば、表を高精度に認識することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、表認識装置の一例を示す構成図である。

【図2】図２は、表認識処理の一例を示す平面図である。

【図3】図３は、複数のグループの生成処理の一例である。

【図4】図４は、表認識処理の一例を示すフローチャートである。

【図5】図５は、グループ生成処理の一例を示すフローチャートである。

【図6】図６は、文字列から枠を識別する例を示す表の平面図である。

【図7】図７は、罫線及び文字列の両方に基づき表をそれぞれ認識する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0013】

（表認識装置の構成）
図１は、表認識装置１の一例を示す構成図である。表認識装置１は、サーバなどのコンピュータである。表認識装置１は、ＣＰＵ（Central Processing Unit）１０、ＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、ＨＤＤ（Hard Disk Drive）１３、及び通信ポート１４を有する。ＣＰＵ１０は、互いに信号の入出力ができるように、ＲＯＭ１１、ＲＡＭ１２、ＨＤＤ１３、及び通信ポート１４と、バス１９を介して電気的に接続されている。

【0014】

ＲＯＭ１１は、ＣＰＵ１０を駆動するプログラムが格納されている。ＲＡＭ１２は、ＣＰＵ１０のワーキングメモリとして機能する。通信ポート１４は、インターネットやＬＡＮ（Local Area Network）などの通信ネットワークＮＷに接続されている。通信ポート１４は、例えば無線ＬＡＮ（Local Area Network）カードやＮＩＣ（Network Interface Card）であり、パーソナルコンピュータなどの端末９とＣＰＵ１０の間の通信処理を行う。

【0015】

また、ＨＤＤ１３には、画像データ１３０及び表データ１３１が格納されている。画像データ１３０は画像の一例である。画像データ１３０は、ＰＤＦ（Portable Document Format）などのドキュメントファイルから変換された画像ファイルである。また、表データ１３１は、画像データ１３０から認識された表の画像ファイルまたはドキュメントファイルである。ＣＰＵ１０は、画像データ１３０から表を認識して表データ１３１を生成する。

【0016】

ＣＰＵ１０は、ＲＯＭ１１からプログラムを読み込むと、ソフトウェアの機能として、動作制御部１００、画像取得部１０１、枠識別部１０２、端点検出部１０３、グループ生成部１０４、及び表認識部１０５を形成する。なお、動作制御部１００、画像取得部１０１、枠識別部１０２、端点検出部１０３、グループ生成部１０４、及び表認識部１０５は、ＩＣ（Integrated Circuit）などのハードウェアにより実現されてもよい。

【0017】

動作制御部１００は表認識装置１の動作を制御する。動作制御部１００は、プログラムにより規定された所定のシーケンスに従って画像取得部１０１、枠識別部１０２、端点検出部１０３、グループ生成部１０４、及び表認識部１０５に対して動作を指示する。動作制御部１００は、例えば端末９から通信ネットワークＮＷを介して表認識の要求を受信した場合、各動作の指示を開始する。

【0018】

画像取得部１０１は、例えば通信ポート１４を介して端末９からドキュメントファイルを受信し、画像データ１３０に変換してＨＤＤ１３に格納する。

【0019】

枠識別部１０２は識別部の一例である。枠識別部１０２は、画像データ１３０の画像から、画像内の表を形成する複数の枠を識別する。枠識別部１０２は、例えば画像内の表の罫線を抽出し、複数の罫線により囲まれた領域ごとに、その領域を画定する各罫線の一部を枠線として識別する。また、枠識別部１０２は枠内の文字列も抽出する。

【0020】

枠識別部１０２は画像データ１３０から、ドキュメントの紙面の縦方向または横方向に配列された複数の文字列及び複数の罫線を抽出する。枠識別部１０２は、例えばＡＩ（Artificial Intelligence）を用いたＯＣＲ（Optical Character Recognition）を利用する。例えば枠識別部１０２は、画像データ１３０を入力として、その画像内の文字列及び罫線を出力する、教師あり学習による機械学習済みの出力モデルを用いて画像データ１３０から複数の文字列及び複数の罫線を抽出する。枠識別部１０２は、罫線により画定される複数の枠を識別するため、枠の識別の精度が、ＡＩを利用しない場合よりも高まる。

【0021】

枠識別部１０２が利用する出力モデルは、教師データを用いて深層学習などの機械学習により生成される。具体的には、出力モデルは、人間の脳機能を数学的にモデル化したニューラルネットワークであり、ニューロンに該当する部分の活性化関数の重み係数を、画像を入力とし、文字及び罫線を出力とする相関関係に基づいて決定することにより構築される。なお、文字は日本語の文字に限られず、英語などの他の言語の文字であってもよい。

【0022】

また、枠識別部１０２は、文字間の距離に基づき複数の文字列を抽出する。このため、枠識別部１０２は、文字間の空白部分を起点として文字列同士の境界を認識して文字列を抽出することができる。

【0023】

端点検出部１０３は検出部の一例である。端点検出部１０３は各枠の枠線の端点を検出する。例えば端点検出部１０３は、枠を複数の枠線に分離し、各枠線の両端に位置する各端点の画像内の座標を検出する。例えば矩形状の枠の場合、端点は矩形の四つの角に位置する。

【0024】

グループ生成部１０４は生成部の一例である。グループ生成部１０４は、複数の枠の間において端点の座標同士を比較することにより、互いの端点の間の距離が閾値以下である枠同士のグループを生成する。例えば矩形状の枠の場合、角が互いに近接する矩形状の枠同士が共通のグループに属する。これにより、表内に縦横に配列された複数の枠が１つのグループにまとまって取り扱われる。

【0025】

表認識部１０５は認識部の一例である。表認識部１０５はグループごとに表を認識する。表認識部１０５は表を表データ１３１としてＨＤＤ１３に保存し、通信ネットワークＮＷを介して端末９に出力する。

【0026】

＜表認識処理＞
図２は、表認識処理の一例を示す平面図である。符号Ｇａは画像データ１３０の一例を示し、符号Ｇｂはグループを生成する過程の一例を示す。画像データ１３０には、表の一例としてイベントの参加者リストＴＤが含まれている。なお、図２において、紙面の横方向をＸ方向とし、縦方向をＹ方向とする。

【0027】

参加者リストＴＤは、イベントの日付及び場所ごとに参加者の情報が表記されている。参加者の情報には、Ｘ方向に配列された氏名、年齢、性別が含まれる。イベントの日付は「８月１２日（土）」及び「８月１３日（日）」であり、イベントの場所は「汐留会場」及び「幕張会場」である。参加者の情報は、Ｘ方向に日付で組分けされ、Ｙ方向に場所で組分けされている。

【0028】

符号Ｇａで示されるように、枠識別部１０２は参加者リストＴＤの罫線Ｌｘ，Ｌｙ及び文字列を抽出する。罫線ＬｘはＸ方向に延び、罫線ＬｙはＹ方向に延びる。枠識別部１０２は罫線Ｌｘ，Ｌｙにより画定される複数の枠ｆを識別する。枠識別部１０２は、隣同士の一対の罫線Ｌｘと隣同士の一対の罫線Ｌｙにより囲まれる矩形状の領域を検出することにより枠ｆを識別する。このため、各枠ｆの縦横の枠線は罫線Ｌｘ，Ｌｙの一部に該当する。なお、枠識別部１０２は、罫線が途切れている場合、罫線の途切れている部分を補完することにより枠ｆを識別する。また、枠識別部１０２は各枠ｆ内の文字列を抽出する。

【0029】

端点検出部１０３は、符号Ｇｂで示されるように、枠ごとに、白丸で示される４つの端点を検出する。４つの端点は矩形状の領域の４つの角に該当する。

【0030】

グループ生成部１０４は、例えば、全ての枠から１つの枠ｆ０を選択してグループを生成する。グループ生成部１０４は、グループに属する枠ｆ０と、グループに属さない他の枠との間において端点の座標同士を比較することにより、各端点の間の距離が閾値以下である他の枠ｆ１～ｆ４をグループに追加する。ここで距離は、例えば端点間の直線距離として各々の座標から算出される。また、閾値は、一例として、表内の文字の大きさがポイント単位で表される場合、０．５ポイントとしてもよい。

【0031】

例えば、枠ｆ０の端点ｐ１，ｐ３と枠ｆ１の端点ｐ１１，ｐ１３の各距離は閾値以下であるため、枠ｆ１はグループに追加される。ここで、端点ｐ１と端点ｐ１１、及び端点ｐ３と端点ｐ１３は、それぞれ、参加者リストＴＤにおいて互いに対応している。しかし、罫線Ｌｘ，Ｌｙの幅によっては、各々の座標が必ずしも一致するわけではないため、端点ｐ１と端点ｐ１１の距離、及び端点ｐ３と端点ｐ１３の距離と、閾値との比較により参加者リストＴＤにおける対応関係の有無が判定される。

【0032】

また、枠ｆ０の端点ｐ２と枠ｆ２の端点ｐ３２の距離は閾値以下であるため、枠ｆ２はグループに追加される。また、枠ｆ０の端点ｐ３と枠ｆ３の端点ｐ３３及び枠ｆ４の端点ｐ４３の各距離は閾値以下であるため、枠ｆ３，ｆ４はグループに追加される。このようにして、グループ生成部１０４は、互いに近接する端点ｐ１～ｐ３，ｐ１１，ｐ１３，ｐ３２，ｐ３３の枠ｆ０～ｆ４が属するグループを生成する。

【0033】

さらにグループ生成部１０４は、グループに属する枠ｆ２と端点間の距離が閾値以下である枠ｆ５～ｆ７をグループに追加する。このように、グループ生成部１０４は、グループに枠ｆ１～ｆ７を追加するたび、グループに属さない他の枠の端点と、グループに属する枠ｆ１～ｆ７の端点との間で座標を比較する。この処理が繰り返されることにより、参加者リストＴＤの枠ｆに一致するグループが生成される。

【0034】

（複数のグループの生成処理）
図３は、複数のグループＧ１，Ｇ２の生成処理の一例である。図３において白丸は枠ｆの端点を示す。グループ生成部１０４は、画像データ１３０から識別された全ての枠を含む全集合Ｓを生成する。グループ生成部１０４は全集合Ｓから１つの枠ｆ１０を選択してグループＧ１に追加する。グループ生成部１０４は、グループＧ１の枠ｆ１０の各端点の座標と全集合Ｓの他の枠ｆの各端点の座標を比較する。

【0035】

グループ生成部１０４は、端点間の距離が閾値以下である全集合Ｓの全ての枠ｆをグループＧ１に追加する。グループ生成部１０４は、グループＧ１に追加した枠ｆの各端点の座標と全集合Ｓの他の枠ｆの各端点の座標を比較して、上記と同様に、端点間の距離が閾値以下である全集合Ｓの全ての枠ｆをグループＧ１に追加する。グループ生成部１０４は、端点間の距離が閾値以下の枠ｆが全集合Ｓからなくなるまで、グループＧ１への枠ｆの追加を繰り返す。

【0036】

次にグループ生成部１０４は全集合Ｓから１つの枠ｆ２０を選択して新たなグループＧ２に追加する。グループ生成部１０４は、グループＧ１と同様に、グループＧ２の枠ｆ１０の各端点の座標と全集合Ｓの他の枠ｆの各端点の座標を比較し、端点間の距離が閾値以下の枠ｆが全集合Ｓからなくなるまで、グループＧ２への枠ｆの追加を繰り返す。

【0037】

このように、グループ生成部１０４は、複数の枠ｆの間において端点の座標同士を比較することにより、互いの端点の間の距離が閾値以下である枠ｆ同士のグループＧ１，Ｇ２を生成する。表認識部１０５は、グループＧ１，Ｇ２ごとに表を認識する。なお、本例では画像データ１３０に２つの表が含まれる例を挙げたが、３つ以上の表が存在する場合も上記と同様にグループが生成されて表が認識される。

【0038】

（表認識処理）
図４は、表認識処理の一例を示すフローチャートである。本処理は、例えば、端末９から通信ネットワークＮＷを介して表認識の要求を動作制御部１００が受信したときに実行される。

【0039】

まず、画像取得部１０１は、端末９から通信ネットワークＮＷを介してドキュメントファイルを取得する（ステップＳｔ１）。ドキュメントファイルは画像データ１３０としてＨＤＤ１３に保存される。

【0040】

次に枠識別部１０２は、ＡＩを用いたＯＣＲにより画像データ１３０の画像から文字列及び罫線を抽出する（ステップＳｔ２）。次に枠識別部１０２は、符号Ｇｈで示されるように、罫線Ｌｘの途切れｒの有無を判定する（ステップＳｔ３）。枠識別部１０２は、例えば、縦横の罫線Ｌｘ，Ｌｙの交点以外の位置に罫線Ｌｘの端点ｔが存在する場合、あるいは罫線Ｌｘがかすれている場合、途切れｒが有ると判定する。なお、縦方向の罫線Ｌｙの途切れｒも同様に判定される。

【0041】

罫線Ｌｘ，Ｌｙに途切れｒが有る場合（ステップＳｔ３のＹｅｓ）、枠識別部１０２は途切れｒを補完する（ステップＳｔ４）。これにより、枠識別部１０２は高精度に罫線Ｌｘ，Ｌｙを抽出して枠を識別することができる。また、途切れｒが無い場合（ステップＳｔ３のＮｏ）、ステップＳｔ４の処理は実行されない。

【0042】

次に枠識別部１０２は罫線Ｌｘ，Ｌｙから枠を識別する（ステップＳｔ５）。次に端点検出部１０３は各枠の端点を検出する（ステップＳｔ６）。次にグループ生成部１０４は、端点間の距離が閾値以下である枠同士のグループを生成する（ステップＳｔ７）。グループ生成処理の詳細は後述する。

【0043】

次に表認識部１０５はグループごとに表を認識し（ステップＳｔ８）、表データ１３１を生成する（ステップＳｔ９）。このようにして表認識処理は実行される。

【0044】

図５は、グループ生成処理の一例を示すフローチャートである。本処理は、上記のステップＳｔ７において実行される。

【0045】

まず、グループ生成部１０４は、全ての枠を含む全集合Ｓを生成する（ステップＳｔ１０）。次にグループ生成部１０４は、全集合Ｓから１つの枠を選択して（ステップＳｔ１１）、グループＧｉ（ｉ＝１，２，・・・）に追加する（ステップＳｔ１２）。

【0046】

次にグループ生成部１０４は、全集合Ｓから他の枠を選択して（ステップＳｔ１３）、グループＧｉの枠との間で端点の座標を比較する（ステップＳｔ１４）。次にグループ生成部１０４は、距離が閾値以下である端点の組の有無を判定する（ステップＳｔ１５）。距離が閾値以下である端点の組が有る場合（ステップＳｔ１５のＹｅｓ）、グループ生成部１０４は選択中の枠をグループＧｉに追加する（ステップＳｔ１６）。また、距離が閾値以下である端点の組が無い場合（ステップＳｔ１５のＮｏ）、ステップＳｔ１６の処理は実行されない。

【0047】

次にグループ生成部１０４は、全集合Ｓの枠のうち、端点間の座標の比較を行っていない枠（以下、未比較の枠と表記）の有無を判定する（ステップＳｔ１７）。未比較の枠が有る場合（ステップＳｔ１７のＹｅｓ）、ステップＳｔ１３以降の各処理が再び実行される。

【0048】

また、未比較の枠が無い場合（ステップＳｔ１７のＮｏ）、にグループ生成部１０４は全集合Ｓの複数の枠の有無を判定する（ステップＳｔ１８）。つまり、グループ生成部１０４は、グループ化していない複数の枠が残っているか否かを判定する。

【0049】

全集合Ｓの複数の枠が有る場合（ステップＳｔ１８のＹｅｓ）、ステップＳｔ１１以降の各処理が再び実行される。これにより、新たなグループＧｉの生成処理が行われる。このとき、図示は省略するが、ｉが１つ加算される。全集合Ｓの枠が無い場合（ステップＳｔ１８のＮｏ）、本処理は終了する。このようにしてグループ生成処理は実行される。

【0050】

（他の実施例）
枠識別部１０２は、罫線Ｌｘ，Ｌｙから複数の枠を識別するが、これに限定されない。枠識別部１０２は、画像から文字列を抽出し、文字列を囲む複数の枠を識別してもよい。

【0051】

図６は、文字列から枠を識別する例を示す表の平面図である。枠識別部１０２は、参加者リストＴＤ内の文字列を囲む複数の枠を識別する。このとき、枠識別部１０２は、上述したように、画像データ１３０を入力として、画像データ１３０内の文字列を出力する、教師あり学習による機械学習済みの出力モデルを用いて文字列を抽出する。このため、高精度に文字列を抽出して枠を識別することが可能である。

【0052】

文字列から枠を識別した場合、罫線Ｌｘ，Ｌｙから枠を識別する場合と識別結果が相違することがある。本例では、「参加者リスト」の文字列を囲む枠ｆｓが識別されるが、罫線Ｌｘ，Ｌｙから枠を識別する場合、識別されない。また、本例では、横方向の日付の欄と縦方向の場所の欄が交差する空欄には文字列が存在しないため、空欄は枠として識別されないが、罫線Ｌｘ，Ｌｙから枠を識別する場合、識別される。

【0053】

そこで、表認識装置１は、罫線Ｌｘ，Ｌｙ及び文字列の両方に基づき表をそれぞれ認識し、各表に相違があれば、何れかの表も出力してもよい。

【0054】

図７は、罫線Ｌｘ，Ｌｙ及び文字列の両方に基づき表をそれぞれ認識する処理の一例を示すフローチャートである。まず、表認識装置１は、図２に示されるように罫線Ｌｘ，Ｌｙに基づき表を認識する（ステップＳｔ２１）。次に表認識装置１は、図６に示されるように文字列に基づき表を認識する（ステップＳｔ２２）。

【0055】

ステップＳｔ２１，Ｓｔ２２において、枠識別部１０２は、画像内の文字を囲む複数の枠（第１枠）、及び画像内の罫線により画定される複数の枠（第２枠）を識別する。端点検出部１０３は、罫線Ｌｘ，Ｌｙに基づく各枠、及び文字列に基づく各枠の枠線の端点を検出する。グループ生成部１０４は、罫線Ｌｘ，Ｌｙに基づく各枠、及び文字列に基づく各枠のそれぞれについて、互いの端点の間の距離が前記閾値以下である枠同士のグループを生成する。

【0056】

次に表認識部１０５は、ステップＳｔ２１，２２において認識した表同士を比較する（ステップＳｔ２３）。全ての表が互いに一致する場合（ステップＳｔ２４のＹｅｓ）、表認識部１０５は表データ１３１を端末９に送信する（ステップＳｔ２５）。

【0057】

不一致の表が存在する場合（ステップＳｔ２４のＮｏ）、表認識部１０５は、一致する表を端末９に送信する（ステップＳｔ２６）。次に表認識部１０５は、一致しない表を端末９に送信する（ステップＳｔ２７）。これにより、ユーザは、端末９を確認することにより正しい表を選択することができる。

【0058】

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

【符号の説明】

【0059】

１ 表認識装置、１０ ＣＰＵ、１０２ 枠識別部、１０３ 端点検出部、１０４ グループ生成部、１０５ 表認識部、１３０ 画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】