特許 7570843 画像処理装置、画像形成システム、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】画像処理装置、画像形成システム、画像処理方法、およびプログラム

(51)【国際特許分類】

   G06V 30/412 20220101AFI20241015BHJP

   G06V 30/14 20220101ALI20241015BHJP

【ＦＩ】

G06V30/412

G06V30/14 340

【請求項の数】 11

(21)【出願番号】P 2020132464

(22)【出願日】2020-08-04

(65)【公開番号】P2022029228

(43)【公開日】2022-02-17

【審査請求日】2023-08-02

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】富久 泰志

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０１９－１２８７２７（ＪＰ，Ａ）

【文献】国際公開第２０２０／０７１５５８（ＷＯ，Ａ１）

【文献】特開２０１７－０１００６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／００－３０／４２４

(57)【特許請求の範囲】

【請求項1】

帳票を読み取ることによって得られた読取画像を取得する画像取得手段と、
前記読取画像に含まれる手書き文字の画像と、手書き文字以外の領域の画像と、を前記読取画像から分離する分離手段と、
前記分離によって得られた夫々の画像内の文字列領域を検出して、前記読取画像に含まれる手書き文字の文字列領域と、前記読取画像に含まれる印刷文字の文字列領域と、をそれぞれ検出する検出手段と、
手書き文字を記載するための領域が複数あり、前記複数の領域のうちの何れかの領域に手書き文字が記載された帳票の前記領域ごとの手書き文字の文字列領域の第１位置情報と、印刷文字の文字列領域の第２位置情報と、を含むフォームデータを取得するデータ取得手段と、
前記フォームデータに含まれる位置情報に基づく前記帳票の文字列領域の画素情報と、前記読取画像の文字列領域の画素情報との一致度が閾値を超えた場合に、前記帳票の文字列領域と前記読取画像の文字列領域との配置が類似していると特定する特定手段と、
前記フォームデータに含まれる前記第２位置情報に基づく前記帳票の印刷文字の文字列領域と、前記読取画像から検出された印刷文字の文字列領域と、が類似していると特定された場合に、当該フォームデータに含まれる前記第１位置情報に基づく前記帳票の手書き文字の文字列領域と類似しているとさらに特定された前記読取画像から検出された手書き文字の文字列領域から、前記フォームデータの前記手書き文字の前記文字列領域に対応付けられている所定の項目の文字列を抽出する抽出手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記抽出手段は、
前記フォームデータの印刷文字の文字列領域および手書き文字の文字列領域のうち前記所定の項目の文字列領域に対応する、前記読取画像の文字列領域に含まれる文字列を前記所定の項目の文字列として抽出する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記読取画像に含まれる文字列領域に対して文字認識処理を行う文字認識手段をさらに有し、
前記抽出手段は、
前記フォームデータの文字列領域のうち前記所定の項目の文字列領域に対応する、前記読取画像から検出された手書き文字の文字列領域に対して、前記文字認識手段が文字認識した結果得られた文字列を、前記所定の項目の文字列として抽出する
ことを特徴とする請求項１または２のいずれか１項に記載の画像処理装置。

【請求項4】

前記文字認識手段は、印刷文字の文字列領域に対する文字認識処理とは異なる方法で、手書き文字の文字列領域に対して文字認識処理を行う
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記文字認識手段は、
前記特定手段が前記特定をできない場合、または、前記所定の項目のうち前記抽出手段が文字列を抽出できない項目がある場合、前記検出手段によって検出された全ての文字列領域に対して文字認識処理を行う
ことを特徴とする請求項３または４に記載の画像処理装置。

【請求項6】

ユーザの指示に基づき、前記読取画像に含まれる前記所定の項目に対応する文字列領域を受け付ける受付手段と、
前記読取画像に含まれる印刷文字の文字列領域および手書き文字の文字列領域の配置を示す情報と、前記所定の項目に対応する文字列領域の位置を示す情報と、を前記フォームデータに登録するためのデータを送信する送信手段と、をさらに有する
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記読取画像の文字列領域を強調して前記読取画像を表示部に表示する制御をする表示制御手段をさらに有し、
前記受付手段は、前記表示部に強調して表示された文字列領域のうち、ユーザによって選択された文字列領域を、前記所定の項目に対応する前記読取画像の文字列領域として受け付ける
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記送信手段から送信されたデータを前記フォームデータに登録する登録手段をさらに有し、
前記登録手段は、
前記読取画像から検出された印刷文字の文字列領域の位置情報が前記フォームデータに登録されており、前記読取画像から検出された手書き文字の文字列領域の位置情報が前記フォームデータに登録されていない場合、前記読取画像から検出された手書き文字の文字列領域の位置情報を新規の情報として登録する
ことを特徴とする請求項６または７に記載の画像処理装置。

【請求項9】

請求項６または７に記載の画像処理装置と、
前記画像処理装置の前記送信手段から送信されたデータを前記フォームデータに登録する登録手段を有するサーバと、
を有することを特徴とする画像形成システム。

【請求項10】

帳票を読み取ることによって得られた読取画像を取得する画像取得ステップと、
前記読取画像に含まれる手書き文字の画像と、手書き文字以外の領域の画像と、を前記読取画像から分離する分離ステップと、
前記分離によって得られた夫々の画像内の文字列領域を検出して、前記読取画像に含まれる手書き文字の文字列領域と、前記読取画像に含まれる印刷文字の文字列領域と、をそれぞれ検出する検出ステップと、
手書き文字を記載するための領域が複数あり、前記複数の領域のうちの何れかの領域に手書き文字が記載された帳票の前記領域ごとの手書き文字の文字列領域の第１位置情報と、印刷文字の文字列領域の第２位置情報と、を含むフォームデータを取得するデータ取得ステップと、
前記フォームデータに含まれる位置情報に基づく前記帳票の文字列領域の画素情報と、前記読取画像の文字列領域の画素情報との一致度が閾値を超えた場合に、前記帳票の文字列領域と前記読取画像の文字列領域との配置が類似していると特定する特定ステップと、
前記フォームデータに含まれる前記第２位置情報に基づく前記帳票の印刷文字の文字列領域と、前記読取画像から検出された印刷文字の文字列領域と、が類似していると特定された場合に、当該フォームデータに含まれる前記第１位置情報に基づく前記帳票の手書き文字の文字列領域と類似しているとさらに特定された前記読取画像から検出された手書き文字の文字列領域から、前記フォームデータの前記手書き文字の前記文字列領域に対応付けられている所定の項目の文字列を抽出する抽出ステップと、
を含むことを特徴とする画像処理方法。

【請求項11】

コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、読取画像から所定の項目の文字列を抽出する技術に関する。

【背景技術】

【0002】

原稿をスキャンした結果得られた読取画像にＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理を行うことで、読取画像内の文字列をデジタルデータとして抽出する方法がある。また読取画像が示す帳票の種別を検出し、その帳票の種別に応じた所定の項目の位置を特定することで、ＯＣＲ処理をした結果から所定の項目の文字列を抽出する方法がある。

【0003】

特許文献１には、帳票の罫線の特徴の情報をデータベースに登録しておき、入力された画像の罫線の特徴が一致する帳票をデータベースから特定する方法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００９－２３０４９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、図３のような手書きで記載するための記載領域が複数あるフォームの場合、記載領域３０１および記載領域３０２のどちらかの記載領域に手書きで文字が記載された帳票が、ＯＣＲ処理の対象となる。このような帳票では、「電話番号」、「メールアドレス」のような同一項目の記載箇所がそれぞれの記載領域に含まれることがある。このため、読取画像から所定の項目の文字列を抽出しようとする場合、どちらの記載領域の項目から文字列を抽出すべきか判断できないため、所望の文字列を抽出できない虞がある。

【課題を解決するための手段】

【0006】

本開示の技術に関わる画像処理装置は、帳票を読み取ることによって得られた読取画像を取得する画像取得手段と、前記読取画像に含まれる手書き文字の画像と、手書き文字以外の領域の画像と、を前記読取画像から分離する分離手段と、前記分離によって得られた夫々の画像内の文字列領域を検出して、前記読取画像に含まれる手書き文字の文字列領域と、前記読取画像に含まれる印刷文字の文字列領域と、をそれぞれ検出する検出手段と、
手書き文字を記載するための領域が複数あり、前記複数の領域のうちの何れかの領域に手書き文字が記載された帳票の前記領域ごとの手書き文字の文字列領域の第１位置情報と、印刷文字の文字列領域の第２位置情報と、を含むフォームデータを取得するデータ取得手段と、前記フォームデータに含まれる位置情報に基づく前記帳票の文字列領域の画素情報と、前記読取画像の文字列領域の画素情報との一致度が閾値を超えた場合に、前記帳票の文字列領域と前記読取画像の文字列領域との配置が類似していると特定する特定手段と、前記フォームデータに含まれる前記第２位置情報に基づく前記帳票の印刷文字の文字列領域と、前記読取画像から検出された印刷文字の文字列領域と、が類似していると特定された場合に、当該フォームデータに含まれる前記第１位置情報に基づく前記帳票の手書き文字の文字列領域と類似しているとさらに特定された前記読取画像から検出された手書き文字の文字列領域から、前記フォームデータの前記手書き文字の前記文字列領域に対応付けられている所定の項目の文字列を抽出する抽出手段と、を有することを特徴とする。

【発明の効果】

【0007】

本開示の技術によれば、手書きで文字を記載するための複数の領域を持つような帳票であって、何れかの領域に手書き文字が記載された帳票を読み取ることによって得られた読取画像から当該手書きで記載された文字列を抽出することができる。

【図面の簡単な説明】

【0008】

【図1】画像形成システムの構成を示すブロック図。

【図2】画像形成装置の機能構成を示す図。

【図3】未記入の帳票フォームの一例を示す図。

【図4】フォームデータを示す図。

【図5】メタデータ項目の文字情報抽出処理を示すフローチャート。

【図6】読取画像データと処理結果の一例を示す図。

【図7】読取画像データと処理結果の一例を示す図。

【図8】内容確認画面の一例を示す図。

【図9】内容確認画面の一例を示す図。

【図10】修正確認画面の一例を示す図。

【図11】フォームデータを示す図。

【図12】メタデータ項目の文字情報抽出処理を示すフローチャート。

【発明を実施するための形態】

【0009】

以下、図面を参照して本開示の技術の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本開示の技術を限定するものでなく、また以下の実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。また、同一の構成要素には同一の参照番号を付して、説明を省略する。

【0010】

＜実施形態１＞
［画像形成システムの概要］
図１は、画像形成システムの構成を示す図である。図１に示すように、画像形成システムは、画像形成装置１００とホストコンピュータ１７０とサーバ１９１（クラウドサーバーであってもよい）とを含む。本実施形態では、画像形成装置１００として、印刷機能、読取機能、ＦＡＸ機能等、複数の機能が一体化された複合機（ＭＦＰ：ＭｕｌｔｉＦｕｎｃｔｉｏｎＰｒｉｎｔｅｒ）が用いられるものとして説明する。また、サーバ１９１は、文書管理機能を有するものとして説明する。画像形成装置１００とホストコンピュータ１７０とサーバ１９１とは、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等のネットワーク１９０を相互に通信可能に接続されている。画像形成装置とホストコンピュータとサーバは複数台接続されていてもよく、他の装置が接続されていてもよい。また、ネットワーク１９０は、有線ネットワークや無線ネットワーク、または、それらが組み合わされた構成の場合がある。

【0011】

画像形成装置１００は、制御装置１１０、リーダ装置１２０、プリンタ装置１３０、操作部１４０、記憶装置１５０を含む。制御装置１１０は、画像形成装置１００を統括的に制御する制御基板（コントローラ）である。制御装置１１０は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、画像処理部１１４を含む。ＣＰＵ１１１は、システムバス（不図示）を介して、制御装置１１０内の各ブロックを制御する。例えば、ＣＰＵ１１１は、ＲＯＭ１１２やＲＡＭ１１３、記憶装置１５０、又は、他の記憶媒体に記憶されたプログラムを読み出して実行することにより、画像形成装置１００の機能を実行する。ＲＯＭ１１２は、例えば、制御プログラムや、画像形成装置１００の機能を実行する上で必要なテーブルや設定データ等を記憶する。ＲＡＭ１１３は、例えば、ＣＰＵ１１１のワークメモリとして用いられる。

【0012】

画像処理部１１４は、リーダ装置１２０が原稿を読み取ることによって生成された読取画像データや、外部から受信した画像データに対して、変換、補正、編集、圧縮／解凍など、種々の画像処理を実行する。画像処理部１１４は、ハードウェアで構成される場合があれば、ソフトウェアで実現される場合もある。このように本実施形態の画像形成装置１００は画像処理装置としても機能する。

【0013】

リーダ装置１２０は、スキャナエンジンの構成を有し、不図示の原稿台にセットされた又は不図示の自動原稿給送装置（ＡＤＦ：ＡｕｔｏｍａｔｉｃＤｏｃｕｍｅｎｔＦｅｅｄｅｒ）から給送された原稿を光学的に読み取り、読取画像データを生成する。プリンタ装置１３０は、インクジェット記録方式や電子写真方式等、各種の記録方式に対応したプリンタエンジンの構成を有し、記録媒体上に画像を形成する。

【0014】

記憶装置１５０は、例えば、画像データ、モードおよびライセンスなどの機器情報、アドレス帳やカスタマイズなどのユーザ情報を記憶する。操作部１４０は、ユーザの操作を受付けるための操作キー、及び、各種設定やユーザインターフェース画面の表示などを行う液晶パネルを備え、受け付けたユーザ操作等の情報を制御装置１１０へ出力する。画像形成装置１００は、図１に示す構成に限られず、画像形成装置１００の実行可能な機能に応じて他の構成を含んでもよい。例えば、ＦＡＸ機能の実行に必要な構成や、近距離無線通信を可能とする構成を含む場合もある。

【0015】

サーバ１９１は、制御装置１９８、操作部１９５、記憶装置１９６、表示部１９７を含む。制御装置１９８は、サーバ１９１を統括的に制御する制御基板（コントローラ）である。制御装置１９８は、ＣＰＵ１９２、ＲＯＭ１９３、ＲＡＭ１９４を含む。ＣＰＵ１９２は、システムバス（不図示）を介して、制御装置１９８内の各ブロックを制御する。例えば、ＣＰＵ１９２は、ＲＯＭ１９３、ＲＡＭ１９４、記憶装置１９６、又は他の記憶媒体に記憶されたプログラムを読み出して実行することにより、サーバ１９１の機能を実行する。ＲＯＭ１９３は、例えば、オペレーティングシステムプログラム（ＯＳ）等の各種制御プログラムや、サーバ１９１の機能を実行する上で必要なテーブルや設定データ等を記憶する。ＲＡＭ１９４は、例えば、ＣＰＵ１９２のワークメモリとして用いられる。記憶装置１９６は、例えば、各種アプリケーションプログラムや、データ、ユーザ情報、機器情報などを記憶する。操作部１９５は、ユーザの操作を受付けるためのキーボード、ポインティングデバイス等を備え、受け付けたユーザ操作等の情報を制御装置１９８へ出力する。表示部１９７は、例えば液晶ディスプレイであり、各種ユーザインターフェース画面や情報の表示を行う。

【0016】

［画像形成装置の機能構成］
図２は画像形成装置１００のメタデータ項目の抽出処理に関わる機能構成を説明するための図である。本実施形態の画像形成装置１００は、画像データ取得部２０１、文字列領域検出部２０２、文字認識部２０３、手書き文字分離部２０４、文字情報抽出部２０５、および表示制御部２０６を有する。

【0017】

画像データ取得部２０１は、リーダ装置１２０が原稿を読み取ることによって生成された読取画像データを取得する画像取得部として機能する。文字列領域検出部２０２は、読取画像内に存在する文字列領域を検出する処理を行う。文字列領域の検出方法は、例えば、ある閾値で２値化を行った画像から文字と推測される矩形領域を抽出する方法等、既知の方法を適用すればよい。

【0018】

文字認識部２０３は、文字列領域に対して光学文字認識処理（ＯＣＲ処理）を行う。本実施形態の文字認識部２０３は、文字列領域の分類に応じた適切な方法でＯＣＲ処理を行うことができる。例えば、手書き文字は印刷文字と比べて濃度が低く、書いた人毎の字形の差が大きい。このため手書き文字をＯＣＲ処理する場合、文字認識部２０３は、印刷文字をＯＣＲ処理する場とは異なる方法で、ＯＣＲ処理を行う。手書き文字を文字認識する方法としては、二値化処理時にコントラストを上げノイズ除去を強力にすることでＯＣＲ処理を行う。または、文字認識部２０３は、１文字ごとの画像特徴点で判断するのではなく前後の文字を含めてニューラルネットワークにより学習した認識エンジンを使用して、手書き文字専用のＯＣＲ処理を行ってもよい。手書き文字専用のＯＣＲ処理によって、手書き文字、印刷文字の両方の文字の認識精度を高めることができる。

【0019】

手書き文字分離部２０４は、読取画像に対して手書き文字を分離する処理を行い、読取画像内の手書き文字を表す手書き文字画像と手書き文字以外の画像とを生成する。読取画像から手書き文字画像を分離する方法として、手書き文字以外の画像である帳票テンプレートの画像を事前に登録しておき、その画像と読取画像データの画像との差分を導出する方法がある。手書き文字を分離する方法はこの方法に限られない。他にも、例えば、読取画像データ内の手書き文字列領域とそれ以外の背景領域とをニューラルネットワークに学習させて、画素や領域ごとに手書き文字かを判断することで手書き文字画像と手書き文字以外の画像とを生成する方法が用いられてもよい。

【0020】

文字情報抽出部２０５は、後述するフォームデータを取得し、読取画像の文字列領域と配置が類似する、フォームデータに登録されている文字列領域を特定する。そして、文字情報抽出部２０５は、文字認識部２０３による文字認識処理の結果得られた文字列から、文書名、氏名、電話番号等のメタデータ項目に対応する文字列を抽出するための処理を行う。文字情報抽出部２０５の処理の詳細は後述する。

【0021】

表示制御部２０６は、確認画面および修正画面を操作部１４０の液晶パネルに表示させるための制御を行う。確認画面および修正画面については後述する。

【0022】

図２の各部の機能は、ＣＰＵ１１１がＲＯＭ１１２または記憶装置１５０に記憶されているプログラムコードをＲＡＭ１１３に展開し実行することにより実現される。または、図２の各部の一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。

【0023】

［文字情報抽出処理の対象となる帳票について］
画像形成装置１００は、申込書のような手書き文字と印刷文字とが含まれる原稿を読み取ることによって得られた読取画像の画像データから、文書名、氏名、電話番号等の所定の項目の文字列を抽出する文字情報抽出処理を行う。

【0024】

文字情報抽出処理では、データベースに登録されている、帳票ごとの文字列領域の位置情報から、読取画像の文字列領域と配置が類似する文字列領域を特定する。そして特定された、フォームデータの文字列領域に対応付けられている抽出対象の項目の文字列領域と同じ領域から文字認識された読取画像内の文字列を、所定の項目の文字列として抽出する。類似する文字列領域が登録されていない場合、読取画像が示す帳票が新たな帳票として登録される。

【0025】

図３は、手書き文字が書き込まれていない帳票フォーム３００を示す図である。帳票フォーム３００が示すように、読み取り対象となる原稿には、「個人会員」の記載領域３０１と「法人会員」の記載領域３０２のどちらか一方の領域に手書きで記載されるような帳票フォームに基づく原稿がある。帳票フォームの「個人会員」と「法人会員」との記載領域では手書きで記載される内容が異なるが、「電話番号」、「メールアドレス」といった共通する項目も存在する。

【0026】

帳票フォーム３００の「個人会員」の記載領域３０１に手書きで記載がされた原稿と、「法人会員」の記載領域３０２に手書きで記載された原稿は、「電話番号」、「メールアドレス」のように同一の項目の領域が複数ある。このためユーザが抽出したい文字列が、記載領域３０１に含まれる項目の文字列なのか記載領域３０２に含まれる項目の文字列なのかかが判断できず、所望の文字列を抽出できない虞がある。

【0027】

そこで本実施形態では、読取画像に含まれる印刷文字の文字列領域の情報と、手書き文字の文字列領域の情報と、を分離してそれぞれの情報をデータベースに登録する。読取画像から所定の項目を抽出する際は、読取画像に含まれる印刷文字の文字列領域、および読取画像に含まれる手書き文字の文字列領域のそれぞれ情報に基づき文書種別を判定することで、読取画像における所定の項目の文字列を抽出する。

【0028】

［フォームデータの登録について］
図４は、サーバ１９１に記憶されている、登録済み帳票（文書）の情報を示すフォームデータの一例を示す図である。画像形成装置１００では、フォームデータを用いて、読取画像に含まれるメタデータ項目の文字列の抽出が行われる。

【0029】

フォームデータには、登録済みの、画像の情報とメタデータ項目の情報とが含まれる。具体的には、画像の情報として、画像データ、手書き文字ＢＳ、および印刷文字ＢＳの情報が含まれる。読取画像４００は、登録済み文書の読取画像のデータを示す。手書き文字ＢＳ情報および印刷文字ＢＳ情報は、登録済み文書の文字列領域の配置を示す位置情報である。ＢＳはブロックセレクションを指す。

【0030】

手書き文字ＢＳ画像４０１は、登録済み文書の手書き文字が含まれる文字列領域（手書き文字列領域）の位置情報である手書き文字ＢＳ情報を画像として表した図である。手書き文字ＢＳ画像４０１内の実線の矩形領域が手書き文字列領域の位置およびサイズを示す。印刷文字ＢＳ画像４０２は、登録済み文書の印刷文字が含まれる文字列領域（印刷文字列領域）の位置情報を示す印刷文字ＢＳ情報を画像で表した図である。印刷文字ＢＳ画像４０２の実線の矩形領域が印刷文字列領域の位置およびサイズを示す。

【0031】

このように、本実施形態では、登録済み文書に対する文字列領域の情報として、印刷文字列領域と手書き文字列領域とのそれぞれの位置情報がそれぞれ登録されている。以下、手書き文字ＢＳ画像は手書き文字の文字列領域の位置情報を、印刷文字ＢＳ画像は印刷文字の文字列領域の位置情報を指すものとする。

【0032】

手書き文字ＢＳ画像４０１および印刷文字ＢＳ画像４０２のそれぞれの画像内の破線の矩形は、メタデータ項目の文字列を含む文字列領域の位置情報を示している。本実施形態におけるメタデータ項目は、「文書名」「申込日」「氏名」「法人名」「電話番号」であり、それぞれの項目に対応した位置情報がメタデータ項目情報として登録されている。位置情報４０３は「文書名」、位置情報４０４は「申込日」、位置情報４０５は「氏名」、位置情報４０６は「電話番号」のそれぞれの項目に対応する位置を示す。また、「法人名」の位置情報については不明である旨の情報が登録されている。

【0033】

本実施形態では、スキャン処理が実行される度に画像形成装置１００は、サーバ１９１から登録済のフォームデータの取得を行うことで、複数の画像形成装置で登録済みの情報を共有することできる構成としている。他にも、登録済みのフォームデータは、それぞれの画像形成装置１００の記憶装置１５０に記憶されている構成であってもよい。

【0034】

［文字情報抽出処理のフローについて］
図５は、文字情報抽出処理の詳細を説明するためのフローチャートである。図５のフローチャートで示される一連の処理は、画像形成装置１００のＣＰＵ１１１がＲＯＭ１１２に記憶されているプログラムコードをＲＡＭ１１３に展開し実行することにより行われる。また、図５におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

【0035】

Ｓ５０１においてＣＰＵ１１１は、操作部１４０を介してユーザから原稿のスキャン処理の指示を受け付けると、リーダ装置１２０に原稿のスキャンを指示する。リーダ装置１２０は原稿に対してスキャンを実施し、原稿に対応した読取画像データを生成する。そして、画像データ取得部２０１は、リーダ装置１２０から原稿の読取画像データを取得する。

【0036】

図６は、本フローチャートの処理の結果生成されるデータの一例を示す図である。図６の読取画像６００は、帳票フォーム３００の「個人会員」の記載領域３０１に記載された原稿をスキャンすることによって得られた読取画像である。

【0037】

図７は、図６に示すデータを得るための原稿とは異なる原稿に対して、本フローチャートの処理において生成されたデータの一例を示す図である。図７の読取画像７００は、帳票フォーム３００の「法人会員」の記載領域３０２に記載された原稿をスキャンすることによって得られた読取画像である。

【0038】

Ｓ５０２において手書き文字分離部２０４は、Ｓ５０１で生成された読取画像データに対して手書き文字を分離する処理を行い、手書き文字画像と手書き文字以外の画像とを生成する。なお、Ｓ５０２の処理が行われる前に、スキャン処理の際に生じる斜行、原稿セット時の画像ずれ、画像の向きの違いなどを判定して、読取画像の位置合わせ処理が行われてもよい。読取画像の位置合わせ処理が行われることで、差分画像を抽出する精度を高めることができる。図６の読取画像６００に対して本ステップの処理を行うことで、手書き文字が抽出された手書き文字画像６０１と手書き文字以外の画像６０２とが得られる。また、図７の読取画像７００に対して本ステップの処理を行うことで、手書き文字画像７０１と、手書き文字以外の画像７０２とが得られる。読取画像６００および読取画像７００は同一フォームの帳票に手書きの記載がされている原稿をスキャンすることによって得られた画像であるため、手書き文字以外の画像６０２および手書き以外の画像７０２は原則として同一の画像となる。

【0039】

Ｓ５０３では、Ｓ５０２で生成された手書き文字以外の画像６０２、７０２に対して文字認識のための処理を行う。本ステップでは、文字列領域検出部２０２は、ＯＣＲ処理の前に、ブロック分割処理を行い、画像の帳票構造を解析し、画像に含まれる背景領域と文字列領域を示す矩形領域（ブロック）とに分割するＢＳ処理を行う。

【0040】

手書き文字以外の画像６０２、７０２に対してＢＳ処理が行われた結果得られる文字列領域の座標情報（位置情報）を、説明のために画像で表したものが印刷文字ＢＳ画像６０４、７０４である。印刷文字ＢＳ画像６０４、７０４において矩形で表される文字列領域は、印刷文字列領域である。手書き文字以外の画像６０２、７０２は同一の画像であるため、印刷文字ＢＳ画像６０４および印刷文字ＢＳ画像７０４は同一の画像になる。

【0041】

そして、文字認識部２０３は、印刷文字ＢＳ画像６０４、７０４の夫々の文字列領域に対してＯＣＲ処理を実施する。文字列領域の文字列の文字コードを取得することで、文字列領域以外の領域をＯＣＲ処理する必要はない。このため、ＯＣＲ処理における処理負荷の軽減し、文字認識の精度を向上することができる。

【0042】

Ｓ５０４では、Ｓ５０２で生成された手書き文字画像６０１、７０１に対して文字認識のための処理を行う。文字列領域検出部２０２は、Ｓ５０３と同様にＯＣＲ処理の前に手書き文字画像６０１、７０１に対してＢＳ処理を行う。手書き文字ＢＳ画像６０３、７０３は、手書き文字画像６０１、７０１に対してＢＳ処理が行われた結果得られた手書き文字列領域の座標情報を、説明のために画像として表した図ある。図中の矩形が手書き文字列領域を表す。

【0043】

文字認識部２０３は、夫々の文字列領域に対してＯＣＲ処理を実施することで、文字列領域の文字列の文字コードを取得する。本ステップにおけるＯＣＲ処理の方法は、Ｓ５０３のＯＣＲ処理と同じ方法であってもよいし、手書き文字の文字認識に特化したＳ５０３とは異なるＯＣＲ処理の方法であってもよい。

【0044】

Ｓ５０５において文字情報抽出部２０５は、サーバ１９１の文書管理機能のＩ／Ｆを介して、サーバ１９１の記憶装置１９６に記憶されている、図４を用いて説明した登録済み文書のフォームデータを取得する。

【0045】

Ｓ５０６において文字情報抽出部２０５は、読取画像の印刷文字列領域と配置が類似する印刷文字列領域がフォームデータに登録されているか判定する。配置が類似する印刷文字列領域がフォームデータに登録されている場合にはＳ５０７へ進み、登録されてない場合にはＳ５１０へ進む。

【0046】

Ｓ５０７において文字情報抽出部２０５は、読取画像の手書き文字列領域と配置が類似する手書き文字列領域がフォームデータに登録されているかを判定する。配置が類似している手書き文字列領域がフォームデータに登録されている場合（Ｓ５０７がＹＥＳ）にはＳ５０８へ進む。

【0047】

Ｓ５０６およびＳ５０７における判定では、文字列領域の配置の一致度に基づき、配置が類似する文字列領域が特定される。例えば、Ｓ５０６では、読取画像における印刷文字列領域の座標情報に基づく印刷文字列領域の画素と、フォームデータに登録されているそれぞれの印刷文字列領域の座標情報に基づく印刷文字列領域の画素とを比較する。そして比較の結果、一致度が閾値を超えている、フォームデータに登録されている印刷文字列領域がある場合、読取画像の印刷文字列領域の配置は、フォームデータに登録されている、その印刷文字列領域の配置と類似すると特定される。

【0048】

配置が類似する文字列領域を特定する方法として、画像データそのものを比較してもよいが、文字列領域の座標情報を使うことによって、類似判定における処理負荷を抑制することができる。またフォームデータにおける文字列領域の位置情報として座標情報を登録することで、フォームデータとして登録される情報のデータサイズを抑えることができる。

【0049】

Ｓ５０８において文字情報抽出部２０５は、Ｓ５０６およびＳ５０７で類似すると特定された、フォームデータに登録されている文字列領域の位置情報と対応付けて記憶されている夫々のメタデータ項目の位置を示す座標情報を取得する。そして、取得された座標に対応する、読取画像の文字列領域から認識された文字列を、その項目の文字列として抽出する。抽出された文字列は項目と対応付けられ、ユーザが確認するための画面を表示するために表示制御部２０６に出力される。

【0050】

図８は、ユーザが、文字情報抽出部２０５が抽出したメタデータ項目ごとの文字列を確認するため確認画面８００の一例を示す図である。確認画面は、操作部１４０の液晶パネルに表示される画面である。図８の確認画面８００は、図６の読取画像６００に対してＳ５０２～５０８の処理が行われた結果表示される画像である。プレビュー表示領域８０１には読取画像６００が表示される。メタデータ項目表示領域８０３～８０７には文字情報抽出部２０５によって抽出された項目ごとの文字列が表示される。

【0051】

本フローチャートの開始時おいて、フォームデータに登録されている内容は図４に示す内容であるものとする。この場合、読取画像６００の印刷文字ＢＳ画像６０４が示す印刷文字列領域の配置と、図４の登録済みの印刷文字ＢＳ画像４０２が示す印刷文字列領域の配置と、は類似すると判定される。また、読取画像６００の手書き文字ＢＳ画像６０３が示す手書き文字列領域の配置と、図４の登録済みの手書き文字ＢＳ画像４０１が示す手書き文字列領域の配置と、は類似すると判定される。

【0052】

このため、図４の登録済みの印刷文字ＢＳ画像４０２および手書き文字ＢＳ画像４０１における破線で囲まれたメタデータ項目の位置を示す座標が取得される。そして、読取画像からＯＣＲ処理した結果得られた文字列のうち、メタデータ項目の位置の文字列領域で認識された文字列が、メタデータ項目の文字列として決定される。その結果、図８の確認画面８００が表示される。

【0053】

このため、確認画面８００におけるメタデータ項目表示領域８０３には、読取画像６００の位置情報４０３が示す文字列領域の文字列が、文書名の文字列「入会申込書」として抽出されて表示されている。同様に、位置情報４０４からは申込日の文字列として「２０２０年１月３１日」、位置情報４０５からは氏名の文字列として「下丸子太郎」、が抽出されて確認画面に表示されている。また、位置情報４０６からは電話番号の文字列として「０３－３７５８－××××」が抽出されて確認画面に表示されている。このように、抽出されたメタデータ項目の文字列を確認画面に表示させることができる。

【0054】

印刷文字列領域と配置が類似する文字列領域は登録されているが、手書き文字列領域と配置が類似する文字列領域は登録されてない場合（Ｓ５０７がＮＯ）、Ｓ５０９へ進む。Ｓ５０９において文字情報抽出部２０５は、類似すると特定された印刷文字列領域と対応付けて記憶されている夫々のメタデータ項目の位置を示す座標情報を取得する。そして、取得された座標が示す、読取画像の文字列領域から認識された文字列をその項目の文字列として抽出する。抽出された文字列は項目と対応付けられてユーザが確認するための画面を表示するために表示制御部２０６に出力される。

【0055】

図９は、Ｓ５０９において文字情報抽出部２０５が抽出した項目ごとの文字列を、ユーザが確認するため確認画面の一例を示す図である。図９の確認画面９００は、図７の読取画像７００に対してＳ５０２～５０７、Ｓ５０９の処理が行われた結果表示される画像である。プレビュー表示領域９０１には読取画像７００が、メタデータ項目表示領域９０３～９０７には、Ｓ５０９で抽出されたメタデータ項目の文字列が表示されている。

【0056】

本フローチャートの開始時おいて、フォームデータに登録されている内容は図４に示す内容であるものとする。この場合、文字情報抽出対象の読取画像が読取画像７００であるとき、読取画像７００の印刷文字ＢＳ画像７０４が示す印刷文字列領域の配置と、図４の登録済みの印刷文字ＢＳ画像４０２が示す印刷文字列領域の配置は類似すると判定される。しかしながら、読取画像７００の手書き文字ＢＳ画像７０３が示す手書き文字列領域の配置と、登録済みの手書き文字ＢＳ画像４０１が示す手書き文字列領域の配置は類似しない。このため読取画像７００の場合、Ｓ５０７では、読取画像の手書き文字列領域と配置が類似する手書き文字列領域はフォームデータには登録されていないと判定される。この場合、読取画像６００の場合とは異なり、一部のメタデータ項目の文字列は抽出されないことになる。

【0057】

確認画面９００におけるメタデータ項目表示領域９０３には、読取画像７００における位置情報４０３が示す印刷文字列領域の文字列が、文書名の文字列「入会申込書」として抽出されて表示されている。同様に、位置情報４０３が示す印刷文字列領域からは申込日の文字列として「２０２０年１月３１日」が抽出され、表示されている。しかしながら、登録済みの印刷文字ＢＳ画像４０２には、氏名、および電話番号の項目の位置情報４０５、４０６に文字列領域がない。このため、文字情報抽出部２０５は、読取画像７００からは、一部のメタデータ項目の文字列だけを抽出している。

【0058】

Ｓ５１０において表示制御部２０６は、操作部１４０の液晶パネルに前述した確認画面を表示し、ユーザからの修正操作または登録操作を受け付ける。

【0059】

図８および図９の確認画面８００、９００の、ファイル名表示領域８０２、９０２には、予め設定されている命名規則に基づいて、メタデータ項目を用いたファイル名が表示される。例えば、「文書名＿申込日＿氏名．ｐｄｆ」または「文書名＿申込日＿法人名．ｐｄｆ」の命名規則が設定されているものとする。図９の確認画面９００では、ファイル名の命名に必要なメタデータ項目である「氏名」または「法人名」の文字列がいずれも抽出されておらず、空欄である。このため、ファイル名には、メタデータが取得できていないことを示す「＊」が表示されている。

【0060】

確認画面８００、９００には、項目修正ボタン５０８と登録完了ボタン５０９が表示されている。項目修正ボタン５０８がユーザによって押下されると、各メタデータ項目表示領域に表示されている文字列を修正するための修正画面が表示される。修正画面では、ユーザから、メタデータ項目の修正操作を受け付けることができる。また、図９の確認画面９００では、ファイル名に必要なメタデータの一部が空欄のため、登録完了ボタン５０９がグレーアウトされて、ユーザが押下できないように設定されている。

【0061】

図１０は、メタデータ項目の修正操作が受け付けられた後、操作部１４０の液晶パネルに表示される修正画面を示す図である。図１０の修正画面１０００は、図９の確認画面９００における「法人名」のメタデータ項目表示領域９０６が選択されて、項目修正ボタン５０８が押下された場合の修正画面である。

【0062】

修正画面１０００では、読取画像に含まれるユーザが選択可能な文字列領域が強調して表示される。本実施形態では、メタデータ項目の文字列としてユーザが選択可能な文字列領域が破線の枠として、読取画像７００上に重畳して表示される。ユーザが、「法人名」を示す枠１０１０を選択することで、メタデータ項目表示領域１００６には枠１０１０が示す文字列領域から文字認識された文字列「〇〇〇株式会社」が表示される。このように、文字情報抽出部２０５が抽出できなかった項目の文字列は、ユーザの指示を受け付けることによってその文字列を取得することができる。

【0063】

法人名のメタデータ項目の文字列が受け付けられると、命名規則によるファイル名が決定される。このため、ユーザは登録完了ボタン５０９を押下できるようになる。同様にメタデータ項目表示領域１００７についても、枠１０１１がユーザによって選択されたことが受け付けられたため、電話番号の文字列「０３－３７５６－××××」が表示されている。

【0064】

Ｓ５１１において、ユーザによる登録完了ボタン５０９の押下を表示制御部２０６が受け付けると、修正指示の内容を示す情報が、サーバ１９１の文書管理機能のＩ／Ｆを介してサーバ１９１の記憶装置１９６に送信される。また、読取画像の印刷文字列領域を示す印刷文字ＢＳが登録されていない場合は、新規に登録される情報として、読取画像の、画像データと印刷文字ＢＳおよび手書き文字ＢＳの情報とが送信される。また、読取画像の手書き文字列領域を示す手書き文字ＢＳが登録されていない場合は、新規に登録される情報として、読取画像の、画像データと手書き文字ＢＳの情報とが送信される。

【0065】

サーバ１９１では、記憶装置１９６内に記憶されているフォームデータに修正内容または新規の情報を登録する。なお、フォームデータが画像形成装置１００に記憶されている場合は、画像形成装置１００がフォームデータに修正内容または新規の情報の登録を行う。

【0066】

図１１は、更新されたフォームデータを示す図である。図１１は、本フローチャートの開始時において図４に示す状態であったフォームデータが、本フローチャートの処理を読取画像７００に対して行った結果、更新されたフォームデータの例を示す。

【0067】

図１１と図４とで比較すると分かるように、読取画像７００の画像データが、新規の情報として登録されている。読取画像７００は、登録済みの読取画像４００と同一帳票フォームの文書ではあるが記載領域が異なるため、新規の情報として登録されている。さらに、手書き文字ＢＳ画像１１０１が示すように、手書き文字ＢＳ画像４０１とは異なる、読取画像７００の手書き文字列領域の座標情報が新たに登録される。

【0068】

また、図１１と図４とで比較すると分かるように、読取画像７００が示す新規の情報が新たに登録されているものの、読取画像７００の印刷文字列領域の位置情報については、図１１には追加されていない。読取画像７００は、読取画像４００と同一の帳票フォームに基づく画像である。このような場合は、新規に登録する読取画像の印刷文字列領域の位置情報と同じ位置情報を示す印刷文字ＢＳ画像４０２が登録済みである。このため、読取画像７００の印刷文字列領域の位置情報の登録は行わなくてよい。

【0069】

このように本実施形態では、印刷文字ＢＳ画像が示す印刷文字列領域の情報のような複数の画像で共通する情報は、共有の情報として登録される。このため、フォームデータのデータサイズを抑制することができる。また、検索範囲となるデータも削減されることから検索時の処理負荷を抑えることができる。

【0070】

なお、Ｓ５０６でＮＯと判定された場合、その読取画像の手書き文字列領域および印刷文字列領域と配置が類似する、手書き文字列領域および印刷文字列領域はフォームデータには登録されていない。このため、本フローチャートの終了後に、読取画像の手書き文字列領域の位置情報と印刷文字列領域の位置情報とが新規の文書のフォームデータとして登録される。

【0071】

また、図４のフォームデータでは登録がされていなかった、「法人名」の位置情報１１０７と「電話番号」の位置情報１１０８とが、図１１ではメタデータ項目の位置情報として登録されている。メタデータ項目の位置情報は、登録されている読取画像ごとにそれぞれ登録されてもよいが、本実施形態では、印刷文字列領域の情報を共有している複数の読取画像には、共通のメタデータ項目の位置情報が対応づけられて登録されている。つまり、図１１の、読取画像４００の手書き文字ＢＳ画像４０１と読取画像７００の手書き文字ＢＳ画像１１０１には、メタデータ項目の位置情報４０３～４０６および位置情報１１０７、１１０８が対応付けられている。このように、複数の読取画像に共通のメタデータ項目の位置情報を対応づけることで、登録するフォームデータのデータサイズを抑制することができる。

【0072】

図１１に示すように、読取画像７００が新規の情報として登録されることによって、「電話番号」のメタデータ項目の位置情報は、位置情報４０６と位置情報１１０８との２つが登録されることになる。このように、同一項目の文字列領域が複数登録された場合は、処理対象の読取画像から文字列領域が検出された方から、その項目の文字列が抽出される。または、「電話番号」の位置情報として、位置情報４０６と位置情報１１０８どちらの位置情報を用いるかは、「個人会員」および「法人会員」に位置するチェックボックスにチェックが付いているかに応じて切り替えてもよい。または、処理対象の読取画像の手書き文字列領域の位置情報が、登録済みの手書き文字ＢＳ画像４０１と手書き文字ＢＳ画像１１０１とのどちらに類似するかに応じて切り替えてもよい。

【0073】

読取画像データを新規に登録する場合、読取画像データを組み込んだ通常のＰＤＦではなく、ＯＣＲ処理結果の文字情報を用いて、全文検索可能なＰＤＦなどの文書フォーマットに変換した結果得られたデータを読取画像データとして登録してもよい。または、読取画像データをＪＰＥＧやＰＮＧなどの画像フォーマットのままで登録してもよい。

【0074】

以上説明したように本実施形態によれば、読取画像の印刷文字列領域の位置情報と手書き文字列領域の位置情報と、をそれぞれ用いてメタデータ項目の文字列を抽出する。このため、同一の帳票フォームの異なる記載領域に記載されていた文書の読取画像から所望の文字列を抽出することができる。

【0075】

なお、上記の説明では、画像形成装置１００上で図５のフローチャートの処理を行うものとして説明した。他にも、処理負荷を分散するために、ネットワーク１９０を介してＳ５０１で生成した読取画像データをサーバ１９１に送信し、サーバ１９１でユーザからの操作受付以外の処理が行われてもよい。

【0076】

また、上記の説明では、Ｓ５０３およびＳ５０４ではＢＳ処理のあとに続けてＯＣＲ処理を行うもとして説明したが、ＯＣＲ処理は、メタデータ項目の文字列領域が抽出された後に行われてもよい。この場合、ＯＣＲ処理は、抽出されたメタデータ項目の文字列領域に対してのみ行ってもよい。そして、フォームデータから類似する文字列領域を特定できない場合、または、文字列が抽出できないメタデータ項目がある場合は、検出された文字列領域全体に対してそれぞれＯＣＲ処理を行う形態でもよい。

【0077】

＜実施形態２＞
本実施形態では、実施形態１とは異なる方法による文字情報抽出処理について説明する。本実施形態については、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。

【0078】

図１２は、本実施形態の文字情報抽出処理の詳細を説明するためのフローチャートである。Ｓ１２０１はＳ５０１と同様の処理であるため説明は省略する。

【0079】

Ｓ１２０２において文字列領域検出部２０２は、Ｓ１２０１で取得した読取画像データに対してＢＳ処理を行うことで、読取画像内の文字列領域の位置を検出する。

【0080】

Ｓ１２０３において文字情報抽出部２０５は、サーバ１９１の文書管理機能のＩ／Ｆを介して、サーバ１９１の記憶装置１９６に記憶されている、登録済文書のフォームデータを取得する。

【0081】

Ｓ１２０４において文字情報抽出部２０５は、Ｓ１２０２のＢＳ処理の結果得られた読取画像の文字列領域の位置情報と、フォームデータに登録されている印刷文字列領域の位置情報とを比較する。そして、読取画像の文字列領域と配置が類似する、印刷文字列領域がフォームデータに登録されているかを判定する。

【0082】

本ステップにおける類似の判定の方法は、実施形態１で説明した方法と同様の方法が用いられてよい。なお、判定の精度を高めるために、読取画像の文字列領域の座標情報に基づく画素のうち、手書き文字の画素を除いてから、本ステップの判定処理行われてもよい。

【0083】

読取画像の文字列領域と類似する印刷文字列領域が登録されていない場合（Ｓ１２０４がＮＯ）、Ｓ１２０７～Ｓ１２０９の処理が行われる。Ｓ１２０７～Ｓ１２０９の処理は、Ｓ５０２～Ｓ５０４の処理と同様であるため説明は省略する。なお、Ｓ１２０９とＳ１２１０との間に、Ｓ５０６～Ｓ５０９と同様の処理が行われてもよい。

【0084】

このように本実施形態では、フォームデータに、読取画像に含まれる文字列領域と配置が類似する印刷文字列領域が含まれていない場合のみ、Ｓ５０２～Ｓ５０４の処理と同様の処理が行われる。手書き文字画像を読取画像から分離する処理、それぞれの画像に対してＯＣＲ処理をするケースを限定することで処理時間を抑制することができる。

【0085】

一方、読取画像の文字列領域と類似する印刷文字列領域がフォームデータに登録されている場合（Ｓ１２０４がＹＥＳ）、Ｓ１２０５に進む。Ｓ１２０５において文字認識部２０３は、類似すると特定された、フォームデータに登録されている文字列領域に対応付けられているメタデータ項目の位置情報を取得する。そして、文字認識部２０３は、メタデータ項目の位置に対応する、読取画像の文字列領域に絞ってＯＣＲ処理を行う。読取画像内の文字列領域が手書き文字列領域か印刷文字列領域かを判断できる場合には、それぞれの文字列領域ごとにＯＣＲ処理の方法を切り替えてもよい。

【0086】

Ｓ１２０６において文字情報抽出部２０５は、それぞれのメタデータ項目の文字列領域からＯＣＲ処理された結果得られた文字列をそれぞれの項目の文字列として抽出する。抽出された文字列は項目と対応付けられてユーザが確認するための画面を表示するために表示制御部２０６に出力される。なお、文字列が抽出できないメタデータ項目があった場合には、Ｓ１２０７～Ｓ１２０９の処理を行って、手書き文字列領域の文字列を登録できる状態にしてもよい
Ｓ１２０６またはＳ１２０９の処理が完了した場合、Ｓ１２１０～Ｓ１２１１の処理が行われるＳ１２１０～Ｓ１２１１の処理は、Ｓ５１０～Ｓ５１１の処理と同様であるため説明は省略する。

【0087】

以上説明したように本実施形態によれば、ＯＣＲ処理の対象を、メタデータ項目の文字列領域に限定することで処理時間を抑制することができる。

【0088】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0089】

１００ 画像形成装置
１１１ ＣＰＵ
２０１ 画像データ取得部
２０２ 文字列領域検出部
２０５ 文字情報抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】