特許 7517462 画像処理装置及び画像形成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】画像処理装置及び画像形成装置

(51)【国際特許分類】

   H04N 1/387 20060101AFI20240709BHJP

   G06T 7/11 20170101ALI20240709BHJP

【ＦＩ】

H04N1/387 200

G06T7/11

【請求項の数】 8

(21)【出願番号】P 2022560681

(86)(22)【出願日】2021-10-05

(86)【国際出願番号】 JP2021036836

(87)【国際公開番号】W WO2022097408

(87)【国際公開日】2022-05-12

【審査請求日】2023-04-04

(31)【優先権主張番号】P 2020184535

(32)【優先日】2020-11-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006150

【氏名又は名称】京セラドキュメントソリューションズ株式会社

(74)【代理人】

【識別番号】110003443

【氏名又は名称】弁理士法人ＴＮＫアジア国際特許事務所

(72)【発明者】

【氏名】ジェザー・ヴィンヤーロン

【審査官】橘 高志

(56)【参考文献】

【文献】米国特許出願公開第２００８／０１４４１３１（ＵＳ，Ａ１）

【文献】特開２０１５－０６０５８１（ＪＰ，Ａ）

【文献】特開２０１２－０４８６３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／３８７

Ｇ０６Ｔ ７／１１

(57)【特許請求の範囲】

【請求項1】

原稿画像を記憶する記憶部と、
前記原稿画像における文字領域を特定する文字領域特定部と、
前記原稿画像から前記文字領域の画像を取得する画像取得部と、
前記文字領域から注釈線を検出し、前記注釈線の位置を特定する注釈線特定部と、
前記原稿画像を用いて、前記原稿画像における前記文字領域の外側に存在する画像を含まず、かつ、前記文字領域の画像から前記注釈線が消去された修正画像を生成する生成部と、
前記文字領域に存在する行領域を特定する行領域特定部と、
前記行領域の間に位置する行間領域を特定する行間領域特定部と、
前記行領域に含まれる複数の文字と、前記複数の文字のそれぞれの位置を示す複数の位置情報とを対応付けて抽出する文字データ抽出部と、
前記文字データ抽出部が抽出した前記複数の位置情報のうちで、前記注釈線特定部が特定した前記注釈線の位置と一致する位置を示す前記位置情報に対応する文字を、対象文字として特定する対象文字特定部と、を備え、
前記生成部は、前記行領域における前記対象文字を、当該対象文字との一致度が最も高い文字に置換すると共に、前記行間領域の画像を消去することにより、前記文字領域の画像から前記注釈線を消去する、画像処理装置。

【請求項2】

前記記憶部は更に、複数種類のフォントを予め記憶しており、
前記生成部は、前記行領域における前記対象文字を文字単位で区切った矩形状の境界ボックスと、前記複数種類のフォントのそれぞれによって表される予め定められた複数の文字について文字毎に用意されている矩形状の複数の文字ボックスとを、予め定められた縦数×横数のグリッドで格子状に分割した縦数×横数からなるピクセル領域に分割し、前記複数の文字ボックスのうちで前記境界ボックスに対するピクセル領域の一致度が最も高い文字ボックスを特定し、前記対象文字を前記最も高い文字ボックスが示す文字に置換する、請求項１に記載の画像処理装置。

【請求項3】

前記文字領域特定部は、前記原稿画像をレイアウト解析することにより、前記原稿画像における全ての文字を含む矩形状領域を前記文字領域として特定し、
前記行領域特定部は、
前記文字領域に存在する文字行毎に、前記文字行に含まれる複数の文字のうちで、最も高さの高い文字の上端位置を含む線を上端線として特定し、最も高さの低い文字の下端位置を含む線を下端線として特定し、
前記文字領域の左端位置を含む線を左端線として特定し、前記文字領域の右端位置を含む線を右端線として特定し、
前記上端線、前記下端線、前記左端線、及び前記右端線によって囲まれる領域を、前記行領域として特定する、請求項１に記載の画像処理装置。

【請求項4】

前記生成部は、前記原稿画像から前記文字領域の外側に存在する周縁領域の画像を消去することで周縁消去画像を生成し、前記周縁消去画像における前記文字領域の画像から前記注釈線を消去することで前記修正画像を生成する、請求項１に記載の画像処理装置。

【請求項5】

前記生成部は、前記原稿画像の外形サイズと同じ外形サイズの下地画像に対して、当該原稿画像における前記文字領域の位置と同じ位置に、前記文字領域の画像から前記注釈線が消去された画像を配置することにより、前記修正画像を生成する、請求項１に記載の画像処理装置。

【請求項6】

表示部と、タッチパネルとを更に備え、
前記文字領域特定部は、前記表示部に表示されている前記原稿画像に対して、矩形状の範囲を指定するための操作を前記タッチパネルが検出すると、前記矩形状の範囲を前記文字領域として特定する、請求項１に記載の画像処理装置。

【請求項7】

原稿画像を記憶する記憶部と、
前記原稿画像における文字領域を特定する文字領域特定部と、
前記原稿画像から前記文字領域の画像を取得する画像取得部と、
前記文字領域から注釈線を検出し、前記注釈線の位置を特定する注釈線特定部と、
前記原稿画像を用いて、前記原稿画像における前記文字領域の外側に存在する画像を含まず、かつ、前記文字領域の画像から前記注釈線が消去された修正画像を生成する生成部と、を備え、
前記記憶部は更に、複数の判定用注釈線を予め記憶しており、
前記注釈線特定部は、前記文字領域から、前記複数の判定用注釈線のうちのいずれか一つとの類似度が予め定められた割合以上である線を検出すると、検出された前記線を前記注釈線として検出する、画像処理装置。

【請求項8】

請求項１又は請求項７に記載の画像処理装置と、
原稿を読取って原稿画像を生成する画像読取部と、
前記画像読取部が生成した前記原稿画像を前記記憶部に記憶させる制御部と、
記録媒体に前記修正画像を形成する画像形成部と、を備える画像形成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像形成装置に関し、特に、手書きメモを含む原稿画像から当該手書きメモが消去された画像を取得するための技術に関する。

【背景技術】

【0002】

特許文献１は、原稿画像に含まれている複数の文字画像について、文字画像毎に１つずつ、当該文字画像のフォントが予め定められた複数のフォントのうちのいずれかに一致するか否かを順番に判定し、一致する文字画像を手書き文字ではないと判定し、不一致の文字画像を手書き文字であると判定し、手書き文字ではないと判定された文字画像が残され、手書き文字であると判定された文字が消去された画像を生成する画像形成装置を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－３００８０号公報

【発明の概要】

【0004】

特許文献１に記載されている画像形成装置では、原稿画像に含まれている複数の文字画像について、個別に手書き文字であるか否かを判定する。例えば、原稿の周縁部に位置する余白部分に、多くの手書き文字が記載されている場合、上記画像形成装置では、手書き文字の判定処理に時間が掛かるため、手書きメモが消去された画像を迅速に取得できないという問題がある。また、上記画像形成装置では、原稿画像から手書きメモを確実に消去できないおそれがある。更に、原稿画像の文字領域内の任意の語句に対して、手書きの下線又は囲み線等の注釈線が書かれている場合には、当該注釈線を消去できないという問題がある。

【0005】

本発明は、上記の事情に鑑みてなされたものであり、手書き文字及び手書き注釈線等の手書きメモを含む原稿画像から手書きメモが消去された画像を迅速に取得すると共に、手書きメモの消去精度を向上させることを目的とする。

【0006】

本発明の一局面に係る画像処理装置は、原稿画像を記憶する記憶部と、原稿画像における文字領域を特定する文字領域特定部と、原稿画像から文字領域の画像を取得する画像取得部と、文字領域から注釈線を検出し、当該注釈線の位置を特定する注釈線特定部と、原稿画像を用いて、原稿画像における文字領域の外側に存在する画像を含まず、かつ、文字領域の画像から注釈線が消去された修正画像を生成する生成部と、文字領域に存在する行領域を特定する行領域特定部と、行領域の間に位置する行間領域を特定する行間領域特定部と、行領域に含まれる複数の文字と、複数の文字のそれぞれの位置を示す複数の位置情報とを対応付けて抽出する文字データ抽出部と、文字データ抽出部が抽出した複数の位置情報のうちで、注釈線特定部が特定した注釈線の位置と一致する位置を示す位置情報に対応する文字を、対象文字として特定する対象文字特定部と、を備える。生成部は、行領域における対象文字を、当該対象文字との一致度が最も高い文字に置換すると共に、行間領域の画像を消去することにより、文字領域の画像から注釈線を消去する。
本発明の他の一局面に係る画像処理装置は、原稿画像を記憶する記憶部と、原稿画像における文字領域を特定する文字領域特定部と、原稿画像から文字領域の画像を取得する画像取得部と、文字領域から注釈線を検出し、注釈線の位置を特定する注釈線特定部と、原稿画像を用いて、原稿画像における文字領域の外側に存在する画像を含まず、かつ、文字領域の画像から注釈線が消去された修正画像を生成する生成部と、を備える。記憶部は更に、複数の判定用注釈線を予め記憶している。注釈線特定部は、文字領域から、複数の判定用注釈線のうちのいずれか一つとの類似度が予め定められた割合以上である線を検出すると、検出された線を注釈線として検出する。

【0007】

本発明の他の一局面に係る画像形成装置は、上記画像処理装置と、原稿を読取って原稿画像を生成する画像読取部と、画像読取部が生成した原稿画像を記憶部に記憶させる制御部と、記録媒体に修正画像を形成する画像形成部と、を備える。

【発明の効果】

【0008】

本発明によれば、手書きメモを含む原稿画像から手書きメモが消去された画像を迅速に取得でき、さらに手書きメモの消去精度を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る画像形成装置の斜視図である。

【図2】画像形成装置の構成を示すブロック図である。

【図3】手書きメモ消去処理を概念的に示す図である。

【図4】表示部の表示画面の一例を示す図である。

【図5】手書きメモ消去処理の一例を示すフローチャートである。

【図6A】レイアウト解析された原稿画像の一例を示す図である。

【図6B】原稿画像において特定された文字領域の一例を示す図である。

【図7】注釈線の検出方法の一例を示す図である。

【図8】行領域及び行間領域の特定方法の一例を示す図である。

【図9A】対象文字を含む行領域の一例を示す図である。

【図9B】行領域における対象文字を含む部分を示す図である。

【図9C】注釈線が消去された行領域の一例を示す図である。

【図10】修正画像生成処理の一例を示すフローチャートである。

【図11A】手書きメモを有する原稿画像の一例を示す図である。

【図11B】周縁消去画像の一例を示す図である。

【図12】フォント特定処理を概念的に示す図である。

【図13】フォント特定処理の一例を示す図である。

【図14】文字特定処理の一例を示す図である。

【図15A】行領域内から注釈線が消去されたときの文字領域の一例を示す図である。

【図15B】行間領域の画像が消去されたときの文字領域の一例を示す図である。

【図16】修正画像を示す画像データの一例を示す図である。

【図17】修正画像の生成方法の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る画像処理装置及び画像形成装置の一実施形態について図面を参照して説明する。図１は、本発明の一実施形態に係る画像形成装置１０の斜視図である。図２は、画像形成装置１０の構成を示すブロック図である。

【0011】

画像形成装置１０は、制御ユニット１１と、表示部１２と、操作部１４と、タッチパネル１５と、通信部１６と、画像読取部１７と、画像形成部１８と、記憶部１９とを備える。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。

【0012】

画像読取部１７は、例えば、自動原稿送り装置により搬送されてくる原稿Ｇ１（図３参照）又はフラットベッド上に載置されている原稿Ｇ１を光学的に読取るスキャナーとしてのＣＣＤ（Charge Coupled Device）を有する読取機構である。画像読取部１７は、原稿Ｇ１を示す原稿画像Ｄ１（図３参照）を生成する。原稿画像Ｄ１は、上記の読取機構の構成上、外形が矩形状である。

【0013】

画像形成部１８は、感光体ドラムの表面を均一帯電させ、感光体ドラムの表面を露光して、感光体ドラムの表面に静電潜像を形成し、感光体ドラムの表面の静電潜像をトナー像に現像して、感光体ドラムの表面のトナー像（画像）を記録紙に転写して定着させる。例えば、画像形成部１８は、画像読取部１７による原稿Ｇ１の読取で得られた原稿画像Ｄ１を記録紙に印刷する。原稿画像Ｄ１が印刷された記録紙は、排紙トレイ１８１に排出される。

【0014】

なお、画像形成装置１０から画像読取部１７と画像形成部１８とを除いた部分は、画像処理装置２を構成する。

【0015】

表示部１２は、例えば、液晶ディスプレイ（Liquid Crystal Display）、又は、有機ＥＬ（Organic Light-Emitting Diode）ディスプレイ等の表示装置である。

【0016】

操作部１４は、ユーザーによる操作指示の入力を受付ける。操作部１４は、メニューを呼出すためのメニューキー、メニューを構成するＧＵＩ（Graphical User Interface）におけるフォーカスを移動させるための矢印キー、メニューを構成するＧＵＩに対して確定操作を行なうための決定キー、又は、スタートキー等のハードキーを備える。

【0017】

タッチパネル１５は、抵抗膜方式又は静電容量方式等のタッチパネルである。タッチパネル１５は、表示部１２の画面に配置される。タッチパネル１５は、表示部１２の画面に対する指等の接触を接触位置と共に検知する。タッチパネル１５は、指等の接触を検知すると、接触位置の座標を示す検知信号を制御ユニット１１の制御部２１等に出力する。従って、タッチパネル１５は、表示部１２の画面に対するユーザー操作が入力される操作部としての役割を果たす。

【0018】

通信部１６は、通信モジュールを備える通信インターフェイスである。通信部１６は、ＬＡＮ（Local Area Network）又は公衆回線等のネットワークＮを通じて、外部装置３０（例えば、パーソナルコンピューター、サーバー、又は携帯情報端末等）との間でデータ送受信を行なう。

【0019】

記憶部１９は、ＨＤＤ（Hard Disk Drive）等の大容量の記憶装置である。記憶部１９は、画像読取部１７による原稿読取で得られた原稿Ｇ１の原稿画像Ｄ１（つまり、画像データ）を記憶する原稿画像記憶部１９Ａを備える。

【0020】

図３は、原稿画像Ｄ１から手書きメモが消去された画像を生成するための手書きメモ消去処理を概念的に示す図である。画像形成装置１０は、図３に示すように、例えば、手書き文字によって構成される文字列Ｍ１乃至Ｍ４及び手書き注釈線Ｌ１乃至Ｌ３等の手書きメモが記載された原稿Ｇ１を読取り、原稿画像Ｄ１から手書きメモが消去された修正画像ＣＩＤを生成するための手書きメモ消去処理を実行するための構成を備える。構成の詳細については、以下に説明する。

【0021】

記憶部１９は更に、複数種類のフォントを予め記憶するフォント記憶部１９Ｂを備える。フォント記憶部１９Ｂは、例えば、「Arial」、「Courier New」、及び「Times New Roman」等の複数種類のフォントデータを記憶する。

【0022】

記憶部１９は更に、複数の判定用注釈線を予め記憶する注釈線記憶部１９Ｃを備える。注釈線記憶部１９Ｃは、例えば、楕円形、矩形（ボックス）、及び下線等の複数形状の判定用注釈線を示すデータを記憶する。

【0023】

制御ユニット１１は、プロセッサー、ＲＡＭ(Random Access Memory）、及びＲＯＭ（Read Only Memory）等から構成される。プロセッサーは、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、又はＡＳＩＣ（Application Specific Integrated Circuit）である。制御ユニット１１は、記憶部１９に記憶されている制御プログラムが上記のプロセッサーで実行されることにより、制御部２１、文字領域特定部２２、画像取得部２３、注釈線特定部２４、行領域特定部２５、行間領域特定部２６、文字データ抽出部２７、対象文字特定部２８、及び生成部２９として機能する。なお、制御ユニット１１の制御部２１、文字領域特定部２２、画像取得部２３、注釈線特定部２４、行領域特定部２５、行間領域特定部２６、文字データ抽出部２７、対象文字特定部２８、及び生成部２９は、上記制御プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。

【0024】

制御部２１は、画像形成装置１０の全体的な動作制御を司る。図４は、表示部１２の表示画面の一例を示す図である。例えば、制御部２１は、図４に示す操作画面４０を表示部１２に表示させる。制御部２１は、操作画面４０に対するユーザーのタッチ操作に従って、コピー処理、印刷処理、スキャン処理、ファクシミリ処理、又は手書きメモ消去処理等の各種の処理に関する制御を行なう。

【0025】

文字領域特定部２２は、原稿画像記憶部１９Ａに記憶されている原稿画像Ｄ１（つまり、原稿Ｇ１のスキャンにより取得された画像データ）における文字領域ＣＡ（後述の図６Ｂ参照）を特定する。文字領域ＣＡは、手書き文字以外の文字が記載されている領域である。例えば、文字領域特定部２２は、原稿画像Ｄ１に対して、既知のＯＣＲ（optical character recognition）処理に含まれるレイアウト解析を行なうことにより、原稿画像Ｄ１における文字領域ＣＡを特定する。文字領域特定部２２は、原稿画像Ｄ１において特定された文字領域ＣＡを示すレイアウト結果を記憶部１９に記憶させる。

【0026】

画像取得部２３は、原稿画像Ｄ１から、文字領域特定部２２によって特定された文字領域ＣＡの画像を取得する。例えば、画像取得部２３は、原稿画像Ｄ１に対して既知の画像切出し（トリミング）処理を行なうことにより、原稿画像Ｄ１から文字領域ＣＡの画像を切出す。

【0027】

注釈線特定部２４は、文字領域ＣＡから、手書きの注釈線Ｌ１乃至Ｌ３を検出し、検出された注釈線Ｌ１乃至Ｌ３の位置を特定する。図３に示すように、注釈線Ｌ１及び注釈線Ｌ２は、手書きされた環状の囲み線である。注釈線Ｌ３は、手書きされた下線である。

【0028】

具体的には、注釈線特定部２４は、文字領域ＣＡから、注釈線記憶部１９Ｃに記憶されている複数の判定用注釈線のうちのいずれか一つとの類似度が予め定められた割合以上である線を検出すると、当該検出された線を注釈線Ｌ１乃至Ｌ３として検出し、検出された注釈線Ｌ１乃至Ｌ３の位置を特定する。

【0029】

行領域特定部２５は、文字領域ＣＡに存在する複数の行領域ＣＬＡ（図８参照）をそれぞれ特定する。例えば、行領域特定部２５は、文字領域ＣＡに存在する文字行毎に、当該文字行に含まれる複数の文字のうちで、最も高さの高い文字の上端位置を含む線を上端線ＬＵとして特定し、最も高さの低い文字の下端位置を含む線を下端線ＬＤとして特定する。行領域特定部２５は、図６Ｂに示す文字領域ＣＡの左端位置を含む線を図９Ａに示すように左端線ＬＬとして特定し、文字領域ＣＡの右端位置を含む線を、図９Ａに示すように右端線ＬＲとして特定する。行領域特定部２５は、上端線ＬＵ、下端線ＬＤ、左端線ＬＬ、及び右端線ＬＲによって囲まれる領域を、行領域ＣＬＡとして特定する。

【0030】

行間領域特定部２６は、隣接する行領域ＣＬＡの間に位置する行間領域ＬＳＡ（図８参照）を特定する。

【0031】

文字データ抽出部２７は、文字領域特定部２２が特定した文字領域ＣＡについてＯＣＲ処理を行ない、文字領域ＣＡにおける各行領域ＣＬＡに含まれる複数の文字（文字データ）と、当該複数の文字のそれぞれの位置を示す複数の位置情報とを対応付けて抽出する。

【0032】

文字データ抽出部２７が抽出した文字の位置情報は、原稿画像Ｄ１における当該文字の位置を示す情報である。位置情報は、例えば原稿画像Ｄ１における文字データの座標を示す。図６Ａに示すように、文字データ抽出部２７は、原稿画像Ｄ１において、左上角部の座標を（０，０）に、右上角部の座標を（ｘ，０）に、左下角部の座標を（０，ｙ）に、右下角部の座標を（ｘ，ｙ）に設定している。文字データ抽出部２７は、原稿画像Ｄ１から、文字と、当該文字を含む矩形領域の４隅の座標を示す位置情報（対角線上の２隅の座標を示す位置情報のみとしてもよい。）とを対応付けて抽出する。原稿画像Ｄ１が複数の文字を含む場合には、文字データ抽出部２７は、複数の文字と当該複数の文字毎の位置情報とをそれぞれ対応付けて抽出する。文字データ抽出部２７は、原稿画像Ｄ１の文字領域ＣＡにおける文字と当該文字の位置情報とを対応付けて、原稿画像記憶部１９Ａに記憶させる。

【0033】

対象文字特定部２８は、文字データ抽出部２７が抽出した複数の位置情報のうちで、注釈線特定部２４が特定した注釈線の位置と一致する位置を示す位置情報に対応する文字を、行領域ＣＬＡの文字のうちで注釈線が重なっている対象文字ＴＣとして特定する。

【0034】

具体的には、対象文字特定部２８は、注釈線Ｌ１の位置と一致する位置を示す位置情報に対応する文字を、注釈線Ｌ１が重なっている対象文字ＴＣとして特定する。対象文字特定部２８はまた、注釈線Ｌ２の位置と一致する位置を示す位置情報に対応する文字を、注釈線Ｌ２が重なっている対象文字ＴＣとして特定する。

【0035】

なお、対象文字特定部２８は、注釈線Ｌ３については、注釈線Ｌ３が重なっている対象文字ＴＣがないため、対象文字ＴＣを特定しない。つまり、対象文字特定部２８は、注釈線Ｌ３の位置と一致する位置を示す位置情報が無いので、注釈線Ｌ３が重なっている対象文字ＴＣがないと判定し、対象文字ＴＣを特定しない。

【0036】

生成部２９は、原稿画像Ｄ１を用いて、原稿画像Ｄ１における文字領域ＣＡの外側に存在する画像を含まず、かつ、文字領域ＣＡの画像から注釈線Ｌ１乃至Ｌ３が消去された修正画像ＣＩＤを生成する。

【0037】

例えば、生成部２９は、行領域ＣＬＡにおける対象文字ＴＣを、当該対象文字ＴＣとの一致度が最も高い文字に置換する（例えば、対象文字ＴＣ上に、当該対象文字ＴＣのフォントに最も類似するフォントの文字画像を合成する。）。生成部２９はまた、行間領域ＬＳＡの画像を消去する（例えば、原稿画像Ｄ１の行間領域ＬＳＡに対して当該行間領域ＬＳＡの地色のベタ画像（背景画像）を合成する。）。このようにして、生成部２９は、文字領域ＣＡの画像から、注釈線Ｌ１乃至Ｌ３を消去する。

【0038】

なお、生成部２９は、行間領域ＬＳＡの地色を、例えば、行間領域ＬＳＡの予め定められた箇所の画素の色を検出することにより特定する。また、生成部２９は、行間領域ＬＳＡの全ての箇所又は一部の画素の平均色を、行間領域ＬＳＡの地色として採用してもよい。

【0039】

生成部２９は、原稿画像記憶部１９Ａに記憶されている原稿画像Ｄ１から、文字領域ＣＡの外側に存在する周縁領域の画像を消去することで周縁消去画像Ｄ２（図１１Ｂ参照）を生成する。例えば、生成部２９は、原稿画像Ｄ１における文字領域ＣＡの外側に存在する周縁領域に、当該周縁領域の地色のベタ画像（背景画像）を合成することにより、周縁消去画像Ｄ２を生成する。

【0040】

なお、生成部２９は、原稿画像Ｄ１の文字領域ＣＡの外側に存在する周縁領域の地色を、例えば、原稿画像Ｄ１を示す画像データの周縁領域の手書きメモのない箇所の画素の色を検出することにより特定する。また、生成部２９は、周縁領域の手書きメモのない箇所の全て又は一部の画素の平均色を、周縁領域の地色として採用してもよい。

【0041】

生成部２９は、周縁消去画像Ｄ２の文字領域ＣＡの画像から、注釈線特定部２４が特定した注釈線Ｌ１乃至Ｌ３を消去することで、修正画像ＣＩＤを生成する。

【0042】

制御部２１は、修正画像ＣＩＤを表示部１２に表示させる。制御部２１は、ユーザーによる印刷指示の操作が操作部１４に対して行なわれると、画像形成部１８に、修正画像ＣＩＤを記録紙に形成させる。制御部２１は、ユーザーによるデータ出力指示の操作が操作部１４に対して行なわれると、通信部１６に、修正画像ＣＩＤを示す画像データを外部装置３０に送信（出力）させる。

【0043】

続いて、画像形成装置１０によって実行される、手書きメモ消去処理について説明する。図５は、手書きメモ消去処理の一例を示すフローチャートである。

【0044】

制御部２１は、表示部１２に表示画面４０を表示させている状態において、タッチパネル１５が「スキャン後メモ消去」という文字列を示すキーＫＢに対するタッチ操作を検知すると、図５に示す手書きメモ消去処理の実行を開始する。具体的には、ユーザーがキーＫＢをタッチすると、タッチパネル１５がキーＫＢに対するタッチ操作を検知して、手書きメモ消去処理の開始信号を制御部２１に出力する。制御部２１は、当該開始信号の入力に応じて手書きメモ消去処理の実行を開始する。

【0045】

手書きメモが記載されている図３に示す原稿Ｇ１が、ユーザーにより画像読取部１７にセットされた状態において、操作部１４がユーザーによるスタートボタンの押下を検知すると、制御部２１は、画像読取部１７に原稿Ｇ１を読取らせる（ステップＳ１）。制御部２１は、画像読取部１７が生成した原稿画像Ｄ１を示す画像データを原稿画像記憶部１９Ａに記憶させる。

【0046】

図６Ａは、レイアウト解析された原稿画像Ｄ１の一例を示す図である。図６Ｂは、原稿画像Ｄ１において特定された文字領域ＣＡの一例を示す図である。文字領域特定部２２は、図６Ａに示す原稿画像Ｄ１に対して、ＯＣＲ処理に含まれるレイアウト解析を行なうことにより、図６Ｂに示すように、原稿画像Ｄ１における文字領域ＣＡを特定する（ステップＳ２）。文字領域特定部２２はまた、原稿画像Ｄ１における座標情報に基づいて、原稿画像Ｄ１における文字領域ＣＡの位置を示す位置情報を取得する。例えば、文字領域特定部２２は、文字領域ＣＡの左上角部Ｐ１、右上角部Ｐ２、左下角部Ｐ３、及び右下角部Ｐ４の各座標を示す位置情報を取得する。

【0047】

画像取得部２３は、図６Ｂに示す原稿画像Ｄ１から、文字領域特定部２２によって特定された文字領域ＣＡの画像を取得する（ステップＳ３）。

【0048】

図７は、注釈線Ｌ１乃至Ｌ３の検出方法の一例を示す図である。注釈線特定部２４は、図７に示すように、文字領域ＣＡから、注釈線記憶部１９Ｃに記憶されている複数の判定用注釈線のうちのいずれか一つとの類似度が予め定められた割合（例えば６０％）以上である線Ｌ１乃至Ｌ３を検出すると、当該検出された線Ｌ１乃至Ｌ３を注釈線Ｌ１乃至Ｌ３として検出し、当該注釈線Ｌ１乃至Ｌ３の位置をそれぞれ特定する（ステップＳ４）。

【0049】

具体的には、注釈線特定部２４はまず、図７に示すように、文字領域ＣＡの線Ｌ１及び線Ｌ２のそれぞれについて、注釈線記憶部１９Ｃに記憶されている楕円形の判定用注釈線との類似度を示す第１類似度を算出する。ここでは、注釈線特定部２４は、線Ｌ１の第１類似度として６８％を算出し、線Ｌ２の第１類似度として７０％を算出したものとする。続いて、注釈線特定部２４は、線Ｌ１及び線Ｌ２のそれぞれについて、注釈線記憶部１９Ｃに記憶されている矩形の判定用注釈線との類似度を示す第２類似度を算出する。ここでは、注釈線特定部２４は、線Ｌ１の第２類似度として４５％を算出し、線Ｌ２の第２類似度として５８％を算出したものとする。続いて、注釈線特定部２４は、線Ｌ１及び線Ｌ２のそれぞれについて、注釈線記憶部１９Ｃに記憶されている下線の判定用注釈線との類似度を示す第３類似度を算出する。ここでは、注釈線特定部２４は、線Ｌ１の第３類似度として１０％を算出し、線Ｌ２の第３類似度として１２％を算出したものとする。注釈線特定部２４は、線Ｌ１及び線Ｌ２のそれぞれについての第１類似度が６０％以上であるため、線Ｌ１及び線Ｌ２を注釈線Ｌ１及び注釈線Ｌ２として検出し、原稿画像Ｄ１における座標情報に基づいて、注釈線Ｌ１及び注釈線Ｌ２の位置を特定する。

【0050】

注釈線特定部２４はまた、図７に示すように、文字領域ＣＡの線Ｌ３について第１類似度を算出する。ここでは、注釈線特定部２４は、線Ｌ３の第１類似度として１０％を算出したものとする。続いて、注釈線特定部２４は、線Ｌ３について第２類似度を算出する。ここでは、注釈線特定部２４は、線Ｌ３の第２類似度として１２％を算出したものとする。続いて、注釈線特定部２４は、線Ｌ３について第３類似度を算出する。ここでは、注釈線特定部２４は、線Ｌ３の第３類似度として８２％を算出したものとする。注釈線特定部２４は、線Ｌ３の第３類似度が６０％以上であるため、線Ｌ３を注釈線Ｌ３として検出し、原稿画像Ｄ１における座標情報に基づいて、注釈線Ｌ３の位置を特定する。

【0051】

行領域特定部２５及び行間領域特定部２６は、文字領域ＣＡに存在する行領域ＣＬＡ及び行間領域ＬＳＡを特定する（ステップＳ５）。図８は、行領域ＣＬＡ及び行間領域ＬＳＡの特定方法の一例を示す図である。図８に示すように、行領域特定部２５は、文字領域ＣＡに存在する文字行毎に、当該文字行に含まれる複数の文字のうちで、最も高さの高い文字の上端位置を含む線を上端線ＬＵとして特定し、最も高さの低い文字の下端位置を含む線を下端線ＬＤとして特定する。行領域特定部２５は、図６Ｂに示す文字領域ＣＡの左端位置を含む線を、図８に示すように左端線ＬＬとして特定し、文字領域ＣＡの右端位置を含む線を、図８に示すように右端線ＬＲとして特定する。このように、行領域特定部２５は、上端線ＬＵ、下端線ＬＤ、左端線ＬＬ、及び右端線ＬＲによって囲まれる領域を、行領域ＣＬＡとして特定する。

【0052】

行間領域特定部２６は、図８に示すように、隣接する行領域ＣＬＡの間に位置する領域を行間領域ＬＳＡとして特定する。例えば、行間領域特定部２６は、行領域特定部２５によって特定された行領域ＣＬＡの下端線ＬＤと、当該下端線ＬＤよりも下側に隣接する行領域ＣＬＡの上端線ＬＵと、図６Ｂに示す文字領域ＣＡの左端位置を含む線及び右端位置を含む線とで囲まれる領域を、行間領域ＬＳＡとして特定する。

【0053】

文字データ抽出部２７は、文字領域ＣＡについてＯＣＲ処理を行ない、文字領域ＣＡにおける各行領域ＣＬＡに含まれる複数の文字（文字データ）と、当該複数の文字のそれぞれの位置を示す複数の位置情報とを対応付けて抽出する（ステップＳ６）。図９Ａは、対象文字を含む行領域の一例を示す図である。例えば、図９Ａに示す行領域ＣＬＡについて言えば、文字データ抽出部２７は、当該行領域ＣＬＡに含まれる各文字及び各空白スペースを示す文字データと、各文字及び各空白スペースの位置情報とをそれぞれ対応付けて抽出する。

【0054】

対象文字特定部２８は、文字データ抽出部２７が抽出した複数の位置情報のうちで、注釈線特定部２４が特定した注釈線の位置と一致する位置を示す位置情報に対応する文字を、行領域ＣＬＡの文字のうちで注釈線が重なっている対象文字ＴＣとして特定する（ステップＳ７）。図９Ｂは、行領域における対象文字を含む部分を示す図である。例えば、図９Ｂに示すように、注釈線Ｌ１の位置と、「king」の各文字の位置情報及び「king」の直後の空白スペースの位置情報が示す位置とが一致する。このため、対象文字特定部２８は、「king」の各文字及び直後の空白スペースを、注釈線Ｌ１が重なっている対象文字ＴＣとして特定する。また、注釈線Ｌ２の位置と、「queen」の各文字の位置情報及び「queen」の前後の空白スペースの位置情報が示す位置とが一致する。このため、対象文字特定部２８は、「queen」の各文字及び前後の空白スペースを、注釈線Ｌ２が重なっている対象文字ＴＣとして特定する。

【0055】

生成部２９は、原稿画像Ｄ１から修正画像ＣＩＤを生成するための修正画像生成処理を行なう（ステップＳ８）。図１０は、修正画像生成処理の一例を示すフローチャートである。

【0056】

生成部２９は、文字領域ＣＡの外側に存在する周縁領域の画像を消去することで周縁消去画像Ｄ２を生成する（ステップＳ８１）。図１１Ａは、手書きメモを有する原稿画像Ｄ１の一例を示す図である。図１１Ｂは、周縁消去画像Ｄ２の一例を示す図である。

【0057】

例えば、生成部２９は、図１１Ａに示す原稿画像Ｄ１における文字領域ＣＡの外側の周縁領域に、当該周縁領域の地色のベタ画像（背景画像）を合成することにより、図１１Ｂに示す周縁消去画像Ｄ２を生成する。周縁消去画像Ｄ２は、手書き文字によって構成される文字列Ｍ１乃至Ｍ４を含まない。

【0058】

図１０に戻って、生成部２９は、周縁消去画像Ｄ２の文字領域ＣＡの画像から、行領域ＣＬＡの内部の図８に示す注釈線Ｌ１及び注釈線Ｌ２の画像を消去する（ステップＳ８２）。具体的には、生成部２９は、行領域ＣＬＡにおいて、注釈線Ｌ１及び注釈線Ｌ２が重なっている対象文字ＴＣを、当該対象文字ＴＣと同一又は近似する適切な文字の画像に置換することにより、行領域ＣＬＡから注釈線Ｌ１及び注釈線Ｌ２の画像を消去する。

【0059】

ここで、図１２乃至図１５Ａを用いて、行領域ＣＬＡから注釈線Ｌ１及び注釈線Ｌ２の画像を消去するための方法について、詳細に説明する。図１２は、対象文字ＴＣのフォントに最も類似するフォントを特定するためのフォント特定処理を概念的に示す図である。図１３は、フォント特定処理の一例を示す図である。図１４は、対象文字ＴＣに最も類似する文字を特定するための文字特定処理の一例を示す図である。図１５Ａは、行領域ＣＬＡから注釈線Ｌ１及び注釈線Ｌ２が消去されたときの文字領域ＣＡの一例を示す図である。

【0060】

図１２に示すように、生成部２９は、注釈線Ｌ１が重なっている対象文字ＴＣ（ここでは、注釈線Ｌ１が重なっている「ｎ」の文字）のフォントに最も類似するフォントを特定する。具体的には、生成部２９は、フォント記憶部１９Ｂに記憶されている複数種類のフォント（例えば、「Arial」、「Courier New」、「Times New Roman」）のそれぞれについて、対象文字ＴＣとの一致度を算出する。生成部２９は、一致度が最大のフォントを、上記最も類似するフォントとして特定する。

【0061】

生成部２９は、図１３に示すように、行領域ＣＬＡにおける対象文字ＴＣを文字単位で区切った矩形状の境界ボックスＢＢと、フォント記憶部１９Ｂに記憶されている複数種類のフォントによって表される予め定められた複数の文字について文字毎に用意されている矩形状の複数の文字ボックスＣＢとを、予め定められた縦数×横数（例えば２２×２２）のグリッドで格子状に分割した縦数×横数（例えば２２×２２）からなるピクセル領域に分割する。生成部２９は、複数種類のフォントについての文字ボックスＣＢのうちで、境界ボックスＢＢに対するピクセル領域の一致度が最も高い文字ボックスＣＢのフォントを、対象文字ＴＣのフォントに最も類似するフォントとして特定する。

【0062】

図１３に示すように、生成部２９は、「ｑ」の文字である対象文字ＴＣと、「Arial」、「Courier New」、及び「Times New Roman」の各フォントによって表される「ｑ」の文字との一致度として、それぞれ、91.03％、83.10％、及び95.07％を算出したものとする。ここでは、「Times New Roman」のフォントについての一致度が最も高い。したがって、生成部２９は、対象文字ＴＣのフォントに最も類似するフォントとして、「Times New Roman」を特定する。

【0063】

生成部２９はまた、図１４に示すように、行領域ＣＬＡにおける対象文字ＴＣを文字単位で区切った矩形状の境界ボックスＢＢと、特定されたフォント（ここでは、「Times New Roman」のフォント）によって表される予め定められた複数の文字について文字毎に用意されている矩形状の複数の文字ボックスＣＢとを、予め定められた縦数×横数（例えば２２×２２）のグリッドで格子状に分割した縦数×横数（例えば２２×２２）からなるピクセル領域に分割する。生成部２９は、「Times New Roman」のフォントについての文字ボックスＣＢのうちで境界ボックスＢＢに対するピクセル領域の一致度が最も高い文字ボックスＣＢが示す文字を、対象文字ＴＣに最も類似する文字として特定する。

【0064】

図１４に示すように、生成部２９は、「ｎ」の文字である対象文字ＴＣと、「Times New Roman」のフォントによって表される予め定められた複数の文字のうちの、「ｈ」、「ｎ」、及び「ｐ」の各文字との一致度として、それぞれ88.82％、91.39％、及び86.78％を算出したものとする。ここでは、「ｎ」の文字についての一致度が最も高い。したがって、生成部２９は、対象文字ＴＣに最も類似する文字として、「Times New Roman」のフォントによって表される「ｎ」の文字を特定する。

【0065】

続いて、生成部２９は、行領域ＣＬＡにおける注釈線Ｌ１が重なっている「ｎ」の文字）の画像上に、上記した対象文字ＴＣに最も類似する文字（つまり、「Times New Roman」のフォントによって表される「ｎ」の文字）の画像を合成する。図９Ｃは、注釈線が消去された行領域の一例を示す図である。図９Ｃに示すように、生成部２９は、例えば「ｎ」という対象文字ＴＣの境界ボックスＢＢ上に、「Times New Roman」のフォントによって表される「ｎ」の文字ボックスＣＢを合成する。ここでは、境界ボックスＢＢ及び文字ボックスＣＢは、グリッドを有さない。

【0066】

なお、生成部２９は、「king」の「ｎ」以外の各文字、及び「queen」の各文字に対しても、上記と同様にして、対象文字ＴＣのフォントに最も類似するフォントの文字画像を合成する。すなわち、生成部２９は、これらの対象文字ＴＣの境界ボックスＢＢ上に、最も類似するフォントについての最も類似する文字の文字ボックスＣＢを合成する。生成部２９はまた、注釈線Ｌ１及び注釈線Ｌ２が重なっている空白スペースに対しては、空白スペースの画像を合成する。

【0067】

上述したように、生成部２９は、行領域ＣＬＡにおける対象文字ＴＣを、当該対象文字ＴＣとの一致度が最も高い文字に置換する。すなわち、生成部２９は、対象文字ＴＣ上に、当該対象文字ＴＣのフォントに最も類似するフォントの文字画像を合成する。これにより、行領域ＣＬＡの内部において、注釈線Ｌ１及び注釈線Ｌ２が重なっている対象文字ＴＣが、当該対象文字ＴＣと同一又は近似する適切な文字の画像に置換され、図１５Ａに示すように、行領域ＣＬＡから注釈線Ｌ１及び注釈線Ｌ２の画像が消去される。

【0068】

なお、図１５Ａに示す注釈線Ｌ３は、行間領域ＬＳＡに位置しているので、生成部２９は、ステップＳ８２では注釈線Ｌ３を消去しない。生成部２９は、続くステップＳ８３にて注釈線Ｌ３を消去する。

【0069】

図１０に戻って、生成部２９は、行間領域ＬＳＡの画像を消去する（ステップＳ８３）。例えば、生成部２９は、行間領域ＬＳＡに対して、当該行間領域ＬＳＡの地色のベタ画像（背景画像）を合成することにより、図１５Ｂに示すように、行間領域ＬＳＡに存在している注釈線Ｌ３を消去する。

【0070】

図１５Ｂは、行間領域ＬＳＡの画像が消去されたときの文字領域ＣＡの一例を示す図である。ステップＳ８３の処理によって、行間領域ＬＳＡに存在している注釈線Ｌ３が消去される。

【0071】

上記したように、生成部２９は、図１１Ｂに示すように、原稿画像Ｄ１における文字領域ＣＡの外側に存在する周縁領域の画像を消去した周縁消去画像Ｄ２を生成する（ステップＳ８１）。生成部２９は、図１５Ｂに示すように、周縁消去画像Ｄ２における文字領域ＣＡの画像から注釈線Ｌ１乃至Ｌ３を消去する（ステップＳ８２、ステップＳ８３）。このようにして、生成部２９は、図１６に示す修正画像ＣＩＤを生成する。図１６は、手書きメモが消去された修正画像ＣＩＤを示す画像データの一例を示す図である。

【0072】

図５に戻って、制御部２１は、図１６に示す修正画像ＣＩＤを表示部１２に表示させる（ステップＳ９）。

【0073】

制御部２１は、ユーザーによる保存の指示又は印刷の指示を受付けたか否かを判定する（ステップＳ１０）。制御部２１は、タッチパネル１５が「保存」ボタンに対する押下を検出すると（ステップＳ１０で「保存」）、修正画像ＣＩＤを記憶部１９に記憶させ（ステップＳ１１）、手書きメモ消去処理を終了する。一方、制御部２１は、タッチパネル１５が「印刷」ボタンに対する押下を検出すると（ステップＳ１０で「印刷」）、画像形成部１８に、修正画像ＣＩＤを記録紙に形成させ（ステップＳ１２）、手書きメモ消去処理を終了する。

【0074】

なお、ステップＳ１０において、「送信」の指示を受付けたか否かの判定を追加してもよい。この場合には、制御部２１は、ユーザーによる、例えば「送信」ボタンに対する押下等のデータ出力指示の操作が操作部１４に対して行なわれると、通信部１６に、修正画像ＣＩＤを外部装置３０に送信（出力）させ、手書きメモ消去処理を終了する。

【0075】

上記実施形態によれば、画像取得部２３は、原稿画像Ｄ１から文字領域ＣＡの画像を取得する。注釈線特定部２４は、文字領域ＣＡから注釈線Ｌ１乃至Ｌ３を検出し、注釈線Ｌ１乃至Ｌ３の位置を特定する。生成部２９は、原稿画像Ｄ１を用いて、原稿画像Ｄ１における文字領域ＣＡの外側に存在する画像を含まず、かつ、文字領域ＣＡの画像から注釈線Ｌ１乃至Ｌ３が消去された修正画像ＣＩＤを生成する。

【0076】

これによって、原稿画像Ｄ１における文字領域ＣＡ内の任意の語句等に対して、手書きの下線又は囲み線等の注釈線Ｌ１乃至Ｌ３が書かれている場合には、注釈線Ｌ１乃至Ｌ３が消去された修正画像ＣＩＤが生成される。生成された修正画像ＣＩＤは、原稿画像Ｄ１における文字領域ＣＡの外側の周縁領域に存在する画像を含まないので、周縁領域に存在する画像について、手書き文字の有無を判定したり、手書き文字を個別に消去するための処理を実行したりする必要が無くなる。その結果、手書き文字及び手書き注釈線等の手書きメモを含む原稿画像Ｄ１から手書きメモが消去された画像を迅速に取得でき、手書きメモの消去精度を向上させることができる。

【0077】

また上記実施形態によれば、行領域特定部２５は、文字領域ＣＡに存在する行領域ＣＬＡを特定する。行間領域特定部２６は、行領域ＣＬＡの間に位置する行間領域ＬＳＡを特定する。文字データ抽出部２７は、行領域ＣＬＡに含まれる複数の文字と、複数の文字のそれぞれの位置を示す複数の位置情報とを対応付けて抽出する。対象文字特定部２８は、文字データ抽出部２７が抽出した複数の位置情報のうちで、注釈線特定部２４が特定した注釈線Ｌ１乃至Ｌ３の位置と一致する位置を示す位置情報に対応する文字を、注釈線Ｌ１乃至Ｌ３が重なっている対象文字ＴＣとして特定する。生成部２９は、行領域ＣＬＡにおける対象文字ＴＣを、当該対象文字ＴＣとの一致度が最も高い文字に置換すると共に、行間領域ＬＳＡの画像を消去することにより、文字領域ＣＡの画像から注釈線Ｌ１乃至Ｌ３を消去する。

【0078】

これによって、文字領域ＣＡに位置する注釈線Ｌ１乃至Ｌ３を的確に消去できる。その結果、注釈線Ｌ１乃至Ｌ３の消去精度をより一層向上させることができる。

【0079】

また上記実施形態によれば、生成部２９は、行領域ＣＬＡにおける対象文字ＴＣを文字単位で区切った矩形状の境界ボックスＢＢと、フォント記憶部１９Ｂに記憶されている複数種類のフォントのそれぞれによって表される予め定められた複数の文字について文字毎に用意されている矩形状の複数の文字ボックスＣＢとを、予め定められた縦数×横数のグリッドで格子状に分割した縦数×横数からなるピクセル領域に分割し、複数の文字ボックスＣＢのうちで境界ボックスＢＢに対するピクセル領域の一致度が最も高い文字ボックスＣＢを特定し、対象文字ＴＣを最も高い文字ボックスＣＢの文字に置換する。

【0080】

これによって、注釈線Ｌ１乃至Ｌ３が重なっている対象文字ＴＣを、注釈線Ｌ１乃至Ｌ３を有さない文字に精度良く置換できる。その結果、文字領域ＣＡに位置する注釈線Ｌ１乃至Ｌ３を的確に消去できる。

【0081】

また上記実施形態によれば、文字領域特定部２２は、原稿画像記憶部１９Ａに記憶されている原稿画像Ｄ１をレイアウト解析することにより、原稿画像Ｄ１における全ての文字を含む矩形状領域を文字領域ＣＡとして特定する。行領域特定部２５は、文字領域ＣＡに存在する文字行毎に、当該文字行に含まれる複数の文字のうちで、最も高さの高い文字の上端位置を含む線を上端線として特定し、最も高さの低い文字の下端位置を含む線を下端線として特定する。行領域特定部２５は、文字領域ＣＡの左端位置を含む線を左端線として特定し、文字領域ＣＡの右端位置を含む線を右端線として特定する。行領域特定部２５は、上端線、下端線、左端線、及び右端線によって囲まれる領域を、行領域ＣＬＡとして特定する。

【0082】

これによって、文字領域ＣＡに存在する文字行を含む行領域ＣＬＡを的確に特定できる。

【0083】

また上記実施形態によれば、注釈線特定部２４は、文字領域ＣＡから、注釈線記憶部１９Ｃに記憶されている複数の判定用注釈線のうちのいずれか一つとの類似度が予め定められた割合以上である線を検出すると、当該検出された線を注釈線Ｌ１乃至Ｌ３として検出し、当該注釈線Ｌ１乃至Ｌ３の位置を特定する。

【0084】

これによって、文字領域ＣＡに複数の注釈線Ｌ１乃至Ｌ３が存在している場合であっても、これらの注釈線Ｌ１乃至Ｌ３を的確に検出できる。

【0085】

また上記実施形態によれば、生成部２９は、原稿画像Ｄ１から文字領域ＣＡの外側に存在する周縁領域の画像を消去することで周縁消去画像Ｄ２を生成し、周縁消去画像Ｄ２における文字領域ＣＡの画像から注釈線Ｌ１乃至Ｌ３を消去することで修正画像ＣＩＤを生成する。

【0086】

これによって、修正画像ＣＩＤにおける文字領域ＣＡの外側の周縁領域について、手書きメモを存在させないようにできる。したがって、周縁領域に対して手書きメモを個別に消去するための処理等を行なう必要が無くなる。その結果、手書きメモを含む原稿画像Ｄ１から手書きメモが消去された画像を迅速に取得でき、手書きメモの消去精度をより一層向上させることができる。

【0087】

次に、上記実施形態の変形例に係る画像形成装置１０について、図１７を用いて説明する。図１７は、上記実施形態の変形例に係る修正画像の生成方法の一例を示す図である。

【0088】

本変形例に係る画像形成装置１０では、図１７に示すように、下地画像Ｄ３に、文字領域ＣＡの画像から注釈線Ｌ１乃至Ｌ３が消去された画像Ｄ４を合成することにより、修正画像ＣＩＤを生成する点が、上記実施形態とは異なる。なお、以下の説明において、上記実施形態で説明した構成要素と同じ構成要素には同じ番号を付し、説明を省略する。

【0089】

生成部２９は、図１７に示すように、原稿画像記憶部１９Ａに記憶されている原稿画像Ｄ１の外形サイズ（例えば、定型のＡ４サイズ又はＢ５サイズ等）と同じ外形サイズの下地画像Ｄ３に対して、当該原稿画像Ｄ１における文字領域ＣＡの位置関係と同じ位置関係となる領域ＰＡに、文字領域ＣＡの画像から注釈線Ｌ１乃至Ｌ３が消去された画像Ｄ４を配置することにより、修正画像ＣＩＤを生成する。

【0090】

なお、生成部２９は、原稿画像Ｄ１に対して既知のエッジ検出処理を行なうことにより、原稿画像Ｄ１の外形サイズを検出できる。また、生成部２９は、自動原稿送り装置により搬送されてくる原稿Ｇ１又はフラットベッド上に載置されている原稿Ｇ１の外形サイズを検出する原稿サイズ検出センサーの検出信号を用いて、原稿画像Ｄ１の外形サイズを検出してもよい。

【0091】

上記変形例によれば、修正画像ＣＩＤにおける文字領域ＣＡの外側の周縁領域について、手書きメモを存在させないようにできる。したがって、周縁領域に対して手書きメモを個別に消去するための処理等を行なう必要が無くなる。その結果、手書きメモを含む原稿画像Ｄ１から手書きメモが消去された画像を迅速に取得でき、手書きメモの消去精度をより一層向上させることができる。

【0092】

なお、本発明は上記実施形態の構成に限られず種々の変形が可能である。

【0093】

上記実施形態及び変形例において、文字領域特定部２２は、原稿画像Ｄ１をレイアウト解析することにより文字領域ＣＡを特定しているが、本発明はそのような実施形態に限定されない。例えば、文字領域特定部２２は、ユーザーによる文字領域ＣＡの指定に従って、原稿画像Ｄ１における文字領域ＣＡを特定してもよい。例えば、文字領域特定部２２は、表示部１２に表示されている原稿画像Ｄ１に対して、矩形状の範囲の左上隅点と右下隅点との２点をユーザーがタッチする２点操作をタッチパネル１５が検出すると、当該矩形状の範囲を文字領域ＣＡとして特定する。なお、ユーザーによる上記操作は、矩形状の範囲の４隅を指示する４点操作、又は、画像を囲む操作（ドラッグ操作）等であってもよい。

【0094】

また上記実施形態では、生成部２９は、図１０に示すように、ステップＳ８１、ステップＳ８２、及びステップＳ８３の順に処理を行なっているが、本発明はそのような実施形態に限定されない。例えば、生成部２９は、ステップＳ８１、ステップＳ８３、及びステップＳ８２の順に処理を行なったり、ステップＳ８２、ステップＳ８３、及びステップＳ８１の順に処理を行なったりする等、任意の順に処理を行なってもよい。

【0095】

なお、生成部２９は、注釈線が除去された境界ボックスＢＢと文字ボックスＣＢとの一致度を算出してもよい。具体的には、画像読取部１７がカラースキャナーであり、図６Ｂに示す文字領域ＣＡの文字の色（例えば、黒色）と、注釈線Ｌ１乃至Ｌ３の色（例えば、赤色）とが異なる場合に、生成部２９は、図１４に示す対象文字ＴＣから注釈線Ｌ１の画素を除去（例えば地色に変更）することで、注釈線が除去された境界ボックスＢＢを生成する。生成部２９は、注釈線特定部２４が特定した赤色の注釈線Ｌ１の位置を示す位置情報を用いて、境界ボックスＢＢ中の注釈線Ｌ１の画素を特定できる。生成部２９は、注釈線が除去された境界ボックスＢＢと文字ボックスＣＢとのピクセル領域の一致度を算出する。これによって、対象文字ＴＣの置換精度を更に向上させることができる。

【0096】

なお、上記実施形態及び変形例では、画像処理装置の一例として、画像形成装置１０に搭載されている画像処理装置２について説明しているが、本発明はそのような実施形態に限定されない。例えば、図２に示す制御ユニット１１及び記憶部１９を備える画像処理装置（例えば、パーソナルコンピューター、サーバー、携帯情報端末等）であってもよい。

【0097】

図１乃至図１７を用いて説明した上記実施形態の構成及び処理は、本発明の一例に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図16】

【図17】