特開 2022-183662 コンピュータプログラム、記録媒体、および、画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022183662

(43)【公開日】2022-12-13

(54)【発明の名称】コンピュータプログラム、記録媒体、および、画像処理装置

(51)【国際特許分類】

   G06V 30/14 20220101AFI20221206BHJP

【ＦＩ】

G06K9/20 340J

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021091099

(22)【出願日】2021-05-31

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】内野 俊二

(72)【発明者】

【氏名】山田 竜司

【テーマコード（参考）】

5B029

【Ｆターム（参考）】

5B029BB02

5B029CC29

5B029EE12

(57)【要約】      （修正有）

【課題】画像から線のオブジェクトを表す領域を適切に検出するコンピュータプログラム、記録媒体及び画像処理装置を提供する。
【解決手段】コンピュータプログラムは、対象画像データの第１ラベリング処理を実行することによって、オブジェクトを表すオブジェクト領域を検出するステップＳ２２０と、線含有条件をオブジェクト領域が満たすか否かを判断することＳ２４０、Ｓ２６０と、線含有条件を満たすと判断されたオブジェクト領域の画素のうち、第１方向候補条件を満たす部分領域に含まれる複数の画素を使用する第２ラベリング処理を実行することによって、第１方向線候補領域を検出し、第１方向対象条件を第１方向線候補領域が満たすか否かを判断して、第１方向対象条件を満たすと判断された第１方向線候補領域に含まれる複数の画素のそれぞれの色値を背景の色値に変更することＳ２５０、Ｓ２７０と、を含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

画像データを処理するコンピュータのためのコンピュータプログラムであって、
読取装置によって光学的に読み取られた原稿の画像である対象画像を表す対象画像データの第１ラベリング処理を実行することによって、オブジェクトを表すＪ個（Ｊは１以上の整数）のオブジェクト領域を検出する第１種検出機能と、
前記オブジェクト領域が線を含むオブジェクトを表すことを示す線含有条件を前記オブジェクト領域が満たすか否かを判断する第１判断機能と、
前記線含有条件を満たすと判断されたオブジェクト領域であるＫ個（Ｋは、１以上、Ｊ以下の整数）の線候補領域に含まれる複数の画素のうち、横方向と縦方向とのいずれかである第１方向に延びる線を含むことを示す第１方向候補条件を満たす部分領域に含まれる複数の画素を使用する第２ラベリング処理を実行することによって、前記第１方向に延びる線を示すオブジェクト領域の候補であるＬ個（Ｌは、１以上の整数）の第１方向線候補領域を検出する第１方向候補検出機能と、
前記第１方向線候補領域が前記第１方向に延びる線のオブジェクトを表すことを示す第１方向対象条件を前記第１方向線候補領域が満たすか否かを判断する第１方向判断機能と、
前記対象画像の複数の画素のうち、前記第１方向対象条件を満たすと判断された第１方向線候補領域に含まれる複数の画素のそれぞれの色値を背景の色値に変更する第１方向変更機能と、
をコンピュータに実現させる、コンピュータプログラム。

【請求項2】

請求項１に記載のコンピュータプログラムであって、さらに、
前記Ｋ個の線候補領域に含まれる前記複数の画素のうち、前記横方向と前記縦方向とのうちの前記第１方向とは異なる第２方向に延びる線を含むことを示す第２方向候補条件を満たす部分領域に含まれる複数の画素を使用する第３ラベリング処理を実行することによって、前記第２方向に延びる線を示すオブジェクト領域の候補であるＭ個（Ｍは、１以上の整数）の第２方向線候補領域を検出する第２方向候補検出機能と、
前記第２方向線候補領域が前記第２方向に延びる線のオブジェクトを表すことを示す第２方向対象条件を前記第２方向線候補領域が満たすか否かを判断する第２方向判断機能と、
前記対象画像の複数の画素のうち、前記第２方向対象条件を満たすと判断された第２方向線候補領域に含まれる複数の画素のそれぞれの色値を背景の色値に変更する第２方向変更機能と、
をコンピュータに実現させる、コンピュータプログラム。

【請求項3】

請求項１または２に記載のコンピュータプログラムであって、
前記線含有条件は、
前記オブジェクト領域の横方向の長さと、
前記オブジェクト領域の縦方向の長さと、
前記横方向に平行な２辺と前記縦方向に平行な２辺とで構成される矩形であって、前記オブジェクト領域を包囲する最小包囲矩形の対角線の延びる方向と、
に関連している、コンピュータプログラム。

【請求項4】

請求項３に記載のコンピュータプログラムであって、
前記線含有条件は、さらに、前記最小包囲矩形の内の画素の総数に対する前記最小包囲矩形によって包囲される前記オブジェクト領域の画素の総数の割合である画素割合に関連している、コンピュータプログラム。

【請求項5】

請求項４に記載のコンピュータプログラムであって、さらに、
色値を変更すべきでない文字を含む文字原稿の画像であって前記読取装置によって光学的に読み取られた前記文字原稿の画像である文字原稿画像を表す文字原稿画像データの第４ラベリング処理を実行することによって、前記文字のオブジェクトを表す文字オブジェクト領域を検出する第１種文字検出機能と、
前記文字オブジェクト領域を包囲する最小包囲矩形である最小文字包囲矩形の内の画素の総数に対する前記最小文字包囲矩形によって包囲される前記文字オブジェクト領域の画素の総数の割合である文字画素割合を使用して、前記文字オブジェクト領域が前記線含有条件を満たさないように前記線含有条件を決定する決定機能と、
をコンピュータに実現させる、コンピュータプログラム。

【請求項6】

請求項１から５のいずれかに記載のコンピュータプログラムであって、
前記第１方向対象条件は、
前記オブジェクト領域の横方向の長さと、
前記オブジェクト領域の縦方向の長さと、
前記横方向に平行な２辺と前記縦方向に平行な２辺とで構成される矩形であって、前記オブジェクト領域を包囲する最小包囲矩形の対角線の角度と、
に関連している、コンピュータプログラム。

【請求項7】

請求項１から６のいずれかに記載のコンピュータプログラムであって、さらに、
前記Ｊ個のオブジェクト領域に関する情報を表示装置に表示させる表示機能と、
ユーザによって選択されたオブジェクト領域であって色値を変更すべきでない領域を含むオブジェクト領域を示す選択領域データを取得する取得機能と、
前記選択領域データによって示されるオブジェクト領域に含まれる複数の画素を、前記色値の変更の対象から除外する除外機能と、
をコンピュータに実現させる、コンピュータプログラム。

【請求項8】

画像データを処理するコンピュータのためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータプログラムは、
読取装置によって光学的に読み取られた原稿の画像である対象画像を表す対象画像データの第１ラベリング処理を実行することによって、オブジェクトを表すＪ個（Ｊは１以上の整数）のオブジェクト領域を検出する第１種検出機能と、
前記オブジェクト領域が線を含むオブジェクトを表すことを示す線含有条件を前記オブジェクト領域が満たすか否かを判断する第１判断機能と、
前記線含有条件を満たすと判断されたオブジェクト領域であるＫ個（Ｋは、１以上、Ｊ以下の整数）の線候補領域に含まれる複数の画素のうち、横方向と縦方向とのいずれかである第１方向に延びる線を含むことを示す第１方向候補条件を満たす部分領域に含まれる複数の画素を使用する第２ラベリング処理を実行することによって、前記第１方向に延びる線を示すオブジェクト領域の候補であるＬ個（Ｌは、１以上の整数）の第１方向線候補領域を検出する第１方向候補検出機能と、
前記第１方向線候補領域が前記第１方向に延びる線のオブジェクトを表すことを示す第１方向対象条件を前記第１方向線候補領域が満たすか否かを判断する第１方向判断機能と、
前記対象画像の複数の画素のうち、前記第１方向対象条件を満たすと判断された第１方向線候補領域に含まれる複数の画素のそれぞれの色値を背景の色値に変更する第１方向変更機能と、
をコンピュータに実現させる、記録媒体。

【請求項9】

画像データを処理する画像処理装置であって、
読取装置によって光学的に読み取られた原稿の画像である対象画像を表す対象画像データの第１ラベリング処理を実行することによって、オブジェクトを表すＪ個（Ｊは１以上の整数）のオブジェクト領域を検出する第１種検出部と、
前記オブジェクト領域が線を含むオブジェクトを表すことを示す線含有条件を前記オブジェクト領域が満たすか否かを判断する第１判断部と、
前記線含有条件を満たすと判断されたオブジェクト領域であるＫ個（Ｋは、１以上、Ｊ以下の整数）の線候補領域に含まれる複数の画素のうち、横方向と縦方向とのいずれかである第１方向に延びる線を含むことを示す第１方向候補条件を満たす部分領域に含まれる複数の画素を使用する第２ラベリング処理を実行することによって、前記第１方向に延びる線を示すオブジェクト領域の候補であるＬ個（Ｌは、１以上の整数）の第１方向線候補領域を検出する第１方向候補検出部と、
前記第１方向線候補領域が前記第１方向に延びる線のオブジェクトを表すことを示す第１方向対象条件を前記第１方向線候補領域が満たすか否かを判断する第１方向判断部と、
前記対象画像の複数の画素のうち、前記第１方向対象条件を満たすと判断された第１方向線候補領域に含まれる複数の画素のそれぞれの色値を背景の色値に変更する第１方向変更部と、
を備える、画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、画像データを処理する技術に関する。

【背景技術】

【0002】

従来から、スキャナなどの読取装置が、原稿などの読取対象物の読み取りに使用されている。また、読み取られた画像の文字認識の精度を向上するために、画像内の罫線を除去する処理が行われ得る。例えば、特許文献１は、横方向に連続した黒画素の連続部分を検出し、所定のしきい値以上の長さを有する連続部分を画像中から除去することで、罫線を除去する技術を提案している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００－３２２５１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、読み取られた画像は、罫線に加えて、表、グラフ、文字などの種々のオブジェクトを表し得る。このような画像から線のオブジェクトを表す領域を適切に検出することについては、工夫の余地があった。

【0005】

本明細書は、画像から線のオブジェクトを表す領域を検出する技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］画像データを処理するコンピュータのためのコンピュータプログラムであって、読取装置によって光学的に読み取られた原稿の画像である対象画像を表す対象画像データの第１ラベリング処理を実行することによって、オブジェクトを表すＪ個（Ｊは１以上の整数）のオブジェクト領域を検出する第１種検出機能と、前記オブジェクト領域が線を含むオブジェクトを表すことを示す線含有条件を前記オブジェクト領域が満たすか否かを判断する第１判断機能と、前記線含有条件を満たすと判断されたオブジェクト領域であるＫ個（Ｋは、１以上、Ｊ以下の整数）の線候補領域に含まれる複数の画素のうち、横方向と縦方向とのいずれかである第１方向に延びる線を含むことを示す第１方向候補条件を満たす部分領域に含まれる複数の画素を使用する第２ラベリング処理を実行することによって、前記第１方向に延びる線を示すオブジェクト領域の候補であるＬ個（Ｌは、１以上の整数）の第１方向線候補領域を検出する第１方向候補検出機能と、前記第１方向線候補領域が前記第１方向に延びる線のオブジェクトを表すことを示す第１方向対象条件を前記第１方向線候補領域が満たすか否かを判断する第１方向判断機能と、前記対象画像の複数の画素のうち、前記第１方向対象条件を満たすと判断された第１方向線候補領域に含まれる複数の画素のそれぞれの色値を背景の色値に変更する第１方向変更機能と、をコンピュータに実現させる、コンピュータプログラム。

【0008】

この構成によれば、対象画像データの第１ラベリング処理を実行することによってＪ個のオブジェクト領域が検出され、線含有条件を満たすと判断されたオブジェクト領域であるＫ個の線候補領域に含まれる複数の画素のうち第１方向候補条件を満たす部分領域に含まれる複数の画素を使用する第２ラベリング処理を実行することによってＬ個の第１方向線候補領域が検出され、第１方向対象条件を満たすと判断された第１方向線候補領域に含まれる複数の画素のそれぞれの色値が背景の色値に変更されるので、対象画像から直接的に線のオブジェクトを表す領域が検出される場合と比べて、線のオブジェクトを表す領域を適切に検出できる。

【0009】

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

【図面の簡単な説明】

【0010】

【図1】システム１０００の構成を示すブロック図である。

【図2】読取画像処理の例を示すフローチャートである。

【図3】（Ａ）は、読取画像の例を示している。（Ｂ）は、ラベル画像の例を示している。

【図4】線除去処理の例を示すフローチャートである。

【図5】線候補領域の判断処理の例を示すフローチャートである。

【図6】（Ａ）－（Ｄ）は、オブジェクト領域の例を示す説明図である。

【図7】（Ａ）は、線候補領域画像の例を示す説明図である。（Ｂ）は、ラベル画像の例を示している。（Ｃ）は、ラベル画像の例を示している。

【図8】横線除去処理の例を示すフローチャートである。

【図9】横線除去処理の例を示すフローチャートである。

【図10】（Ａ）－（Ｄ）は、注目線候補領域の処理の例を示す説明図である。

【図11】縦線除去処理の例を示すフローチャートである。

【図12】縦線除去処理の例を示すフローチャートである。

【図13】線除去画像の例を示している。

【図14】条件決定処理の例を示すフローチャートである。

【図15】線除去処理の別の実施例を示すフローチャートである。

【発明を実施するための形態】

【0011】

Ａ．第１実施例：
Ａ１．システム１０００の構成：
図１は、システム１０００の構成を示すブロック図である。このシステム１０００は、複合機２００と、ユーザ端末５００と、を備えている。複合機２００とユーザ端末５００とは、ネットワークＮＴに接続されている。ネットワークＮＴは、いわゆるローカルエリアネットワークである。複合機２００とユーザ端末５００とは、ネットワークＮＴを介して、互いに通信可能である。なお、ネットワークＮＴは、いわゆるインターネットを含んでよい。

【0012】

複合機２００は、制御部２９９と、表示部２４０と、操作部２５０と、通信インタフェース２７０と、読取実行部２８０と、印刷実行部２９０と、を備えている。制御部２９９は、プロセッサ２１０と、記憶装置２１５と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置２１５は、揮発性記憶装置２２０と、不揮発性記憶装置２３０と、を含んでいる。

【0013】

表示部２４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部２５０は、表示部２４０上に重ねて配置されたタッチパネル、ボタン、レバーなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部２５０を操作することによって、種々の指示を複合機２００に入力可能である。通信インタフェース２７０は、他の装置と通信するためのインタフェースである（例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、ＩＥＥＥ８０２．１１の無線インタフェース）。本実施例では、通信インタフェース２７０は、ネットワークＮＴに接続されている。

【0014】

読取実行部２８０は、ＣＣＤやＣＭＯＳなどの光電変換素子を用いて光学的に原稿等の対象物を読み取るように構成された読取装置である。読取実行部２８０は、読み取った画像（「読取画像」と呼ぶ）を表す読取画像データを生成する（例えば、ＲＧＢのビットマップデータ）。

【0015】

印刷実行部２９０は、所定の方式（例えば、レーザ方式や、インクジェット方式）で、用紙（印刷媒体の一例）上に印刷材を用いて画像を印刷する装置である。印刷実行部２９０は、プロセッサ２１０の制御に従って、印刷を実行する。

【0016】

プロセッサ２１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置２２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置２３０は、例えば、フラッシュメモリである。

【0017】

不揮発性記憶装置２３０は、プログラム２３２を格納している。プロセッサ２１０は、プログラム２３２を実行することによって、複合機２００を制御する種々の機能を実現する。プロセッサ２１０は、プログラム２３２の実行に利用される種々の中間データを、記憶装置（例えば、揮発性記憶装置２２０、不揮発性記憶装置２３０のいずれか）に、一時的に格納する。本実施例では、プログラム２３２は、複合機２００の製造者によって、ファームウェアとして、不揮発性記憶装置２３０に予め格納されている。

【0018】

ユーザ端末５００は、複合機２００を使用して画像処理を実行する装置である（例えば、スマートフォン、タブレットコンピュータ等）。ユーザ端末５００は、プロセッサ５１０と、記憶装置５１５と、表示部５４０と、操作部５５０と、通信インタフェース５７０と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置５１５は、揮発性記憶装置５２０と、不揮発性記憶装置５３０と、を含んでいる。

【0019】

表示部５４０は、画像を表示する装置であり、例えば、液晶ディスプレイである。操作部５５０は、ユーザによる操作を受け取る装置であり、例えば、表示部５４０上に重ねて配置されたタッチパネルを含んでいる。ユーザは、操作部５５０を操作することによって、種々の指示をユーザ端末５００に入力可能である。通信インタフェース５７０は、他の装置と通信するためのインタフェースである（例えば、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。本実施例では、通信インタフェース５７０は、ネットワークＮＴに接続されている。

【0020】

プロセッサ５１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置５２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置５３０は、例えば、フラッシュメモリである。

【0021】

不揮発性記憶装置５３０は、プログラム５３１を格納している。プロセッサ５１０は、プログラム５３１を実行することによって、画像処理アプリケーションとしての機能を実行する。プロセッサ５１０は、プログラム５３１の実行に利用される種々の中間データを、記憶装置（例えば、揮発性記憶装置５２０、または、不揮発性記憶装置５３０）に、一時的に格納する。プロセッサ５１０によって実行される処理の詳細については、後述する。なお、本実施例では、画像処理アプリケーションのプログラム５３１は、図示しないサーバによって提供される。これに代えて、プログラム５３１は、メモリーカードなどの携帯型の記録媒体によって提供されてよい。

【0022】

Ａ２．読取画像処理：
図２は、読取画像処理の例を示すフローチャートである。本実施例では、ユーザ端末５００は、複合機２００に原稿等の対象物を読み取らせ、複合機２００から読取画像データを取得する。そして、ユーザ端末５００は、読取画像の線除去処理と文字認識処理を実行する。ユーザ端末５００による処理は、プロセッサ５１０がプログラム５３１を実行することによって、行われる。

【0023】

Ｓ１１０では、ユーザは、原稿を、複合機２００（図１）の読取実行部２８０のうちの読取対象物を配置すべき部分に、配置する（例えば、原稿が、読取実行部２８０の原稿台に載せられる）。そして、ユーザは、ユーザ端末５００の操作部５５０を操作し、処理開始の指示を入力する。ユーザ端末５００のプロセッサ５１０は、複合機２００に読取指示を供給する。複合機２００のプロセッサ２１０は、読取指示に応じて、読取実行部２８０に原稿を読み取らせる。読取実行部２８０は、原稿を読取、読み取った原稿の画像を表す読取画像データを生成する。

【0024】

Ｓ１２０では、複合機２００のプロセッサ２１０は、読取実行部２８０から読取画像データを取得し、取得した読取画像データをユーザ端末５００に送信する。ユーザ端末５００のプロセッサ５１０は、複合機２００から読取画像データを取得する。

【0025】

図３（Ａ）は、読取画像データによって表される読取画像の例を示している。読取画像Ｉ１は、横方向Ｄｘに平行な２辺と、横方向Ｄｘに垂直な縦方向Ｄｙに平行な２辺と、を有する矩形状の画像である。読取画像Ｉ１は、横方向Ｄｘと縦方向Ｄｙとに沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値（本実施例では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の成分値）によって、表されている。

【0026】

図３（Ａ）の読取画像Ｉ１は、３本の罫線ＯＬ１－ＯＬ３と、タイトルＯｔｘ１と、文字列群Ｏｔｘ２と、表Ｏｔｂと、棒グラフＯｂｇと、を含む複数のオブジェクトを表している。表Ｏｔｂは、セルを区切る線ＯＬ４と、各セルに配置された文字列と、を含んでいる。棒グラフＯｂｇは、軸と棒を示す線ＯＬ５と、目盛りの文字列と、を含んでいる。文字の近くに配置された線は、文字の認識精度を低下させ得る。Ｓ１３０（図２）では、ユーザ端末５００のプロセッサ５１０は、読取画像Ｉ１から線を除去する線除去処理を実行する（詳細は、後述）。Ｓ１４０では、プロセッサ５１０は、線が除去された残りの画像を使用して、文字認識処理を実行する。文字認識処理は、画像中の文字を認識する種々の処理であってよい。例えば、Google社の「Tesseract」と呼ばれるＯＣＲエンジンが、採用されてよい。プロセッサ５１０は、文字認識処理によって認識された文字を示す文字データを、記憶装置５１５（例えば、不揮発性記憶装置５３０）に、格納する。そして、プロセッサ５１０は、図２の処理を終了する。

【0027】

図４は、線除去処理の例を示すフローチャートである。Ｓ２１０では、ユーザ端末５００のプロセッサ５１０は、ユーザの指示に従って、除去すべき線の方向を決定する（除去対象方向とも呼ぶ）。ユーザは、操作部５５０を操作することによって、「横方向」と「縦方向」と「両方」とから、除去対象方向を選択できる。

【0028】

Ｓ２２０では、プロセッサ５１０は、読取画像データのラベリング処理を実行することによって、オブジェクト領域を示すラベリングデータを生成する。本実施例では、プロセッサ５１０は、読取画像データの二値化処理を実行することによって、読取画像Ｉ１の複数の画素を、オブジェクトを示すオブジェクト画素と、背景を示す背景画素と、に分類する。そして、プロセッサ５１０は、連続する１以上のオブジェクト画素で構成される１つの連続領域に、１つの識別子を割り当てる。そして、プロセッサ５１０は、互いに離れた複数個の連続領域に、互いに異なる識別子を割り当てる。ラベルデータは、各画素の識別子を示している。以下、連続領域を、オブジェクト領域とも呼ぶ。プロセッサ５１０は、このようなラベリング処理によって、オブジェクト領域を検出する。

【0029】

なお、二値化処理としては、種々の処理を採用可能である。本実施例では、プロセッサ５１０は、各画素の色値（ここでは、ＲＧＢ値）から輝度値を算出し、閾値未満の輝度値を有する画素をオブジェクト画素に分類し、閾値以上の輝度値を有する画素を背景画素に分類する。閾値は、読取画像中の背景とオブジェクトとを適切に分類するように、予め実験的に決定される。これに代えて、プロセッサ５１０は、撮影画像データを分析することによって閾値を決定してもよい。また、二値画像のラベリング処理としては、種々の処理を採用可能である。本実施例では、いわゆる８近傍ラベリングが行われる。これに代えて、いわゆる４近傍ラベリングが行われてよい。

【0030】

図３（Ｂ）は、読取画像Ｉ１（図３（Ａ））のラベリング処理によって得られるラベル画像の例を示している。このラベル画像Ｉ２は、オブジェクト領域ＯＡ１－ＯＡ５と、文字を示す複数のオブジェクト領域ＯＡと、を表している。第１オブジェクト領域ＯＡ１は、タイトルＯｔｘ１の複数の文字と罫線ＯＬ１とを示している。このように、文字の近くに線が配置されている場合、文字と線とは、１個のオブジェクト領域に、含まれ得る。オブジェクト領域ＯＡ２、ＯＡ３は、罫線ＯＬ２、ＯＬ３を、それぞれ示している。第４オブジェクト領域ＯＡ４は、表Ｏｔｂの線ＯＬ４を示している。第５オブジェクト領域ＯＡ５は、棒グラフＯｂｇの線ＯＬ５を示している。複数のオブジェクト領域ＯＡは、文字列群Ｏｔｘ２と表Ｏｔｂと棒グラフＯｂｇとに含まれる複数の文字のそれぞれを示している。このように、プロセッサ５１０は、ラベリング処理によって、読取画像Ｉ１に含まれるオブジェクトを示すオブジェクト領域を、取得する。

【0031】

Ｓ２３０（図４）では、プロセッサ５１０は、線候補領域の判断処理を実行する。線候補領域の判断処理は、オブジェクト領域が、線を示す領域の候補である線候補オブジェクト領域であるか否かを判断する処理である（線候補オブジェクト領域を、単に、線候補領域とも呼ぶ）。

【0032】

図５は、線候補領域の判断処理の例を示すフローチャートである。Ｓ３１０では、プロセッサ５１０は、ラベリングデータによって表されるオブジェクト領域から、未処理のオブジェクト領域を、注目オブジェクト領域として選択する。

【0033】

Ｓ３２０では、プロセッサ５１０は、注目オブジェクト領域の高さと幅とを取得する。そして、プロセッサ５１０は、高さと幅との一方、または、両方が、長さ閾値ＴｈＬ以上であるか否かを判断する。

【0034】

図６（Ａ）－図６（Ｄ）は、オブジェクト領域の例を示す説明図である。図６（Ａ）－図６（Ｄ）は、オブジェクト領域ＯＡ２、ＯＡ３、ＯＡ６、ＯＡ５を、それぞれ示している。

【0035】

図６（Ａ）のハッチングを有する第２オブジェクト領域ＯＡ２は、横方向Ｄｘにおおよそ平行な罫線ＯＬ２を示している。矩形Ｒ２は、横方向Ｄｘに平行な２辺と、縦方向Ｄｙに平行な２辺と、によって形成される矩形であって、第２オブジェクト領域ＯＡ２を包囲する最小の矩形である（最小包囲矩形Ｒ２とも呼ぶ）。図中では、説明のために、最小包囲矩形Ｒ２の輪郭の全体が、第２オブジェクト領域ＯＡ２の輪郭から離れて示されている。実際には、最小包囲矩形Ｒ２の輪郭の少なくとも一部は、第２オブジェクト領域ＯＡ２の輪郭に接している（図６（Ｂ）、図６（Ｄ）についても、同様）。幅Ｗ２は、最小包囲矩形Ｒ２の横方向Ｄｘの長さであり、高さＨ２は、最小包囲矩形Ｒ２の縦方向Ｄｙの長さである。最小包囲矩形の幅と高さとは、最小包囲矩形に囲まれたオブジェクト領域の幅と高さとを、それぞれ示している。オブジェクト領域ＯＡ２が横方向Ｄｘにおおよそ平行な罫線ＯＬ２を示す場合、幅Ｗ２は、罫線ＯＬ２の長さとおおよそ同じであり、大きい値であり得る。高さＨ２は、小さい値であり得る。

【0036】

図６（Ｂ）のハッチングを有する第３オブジェクト領域ＯＡ３は、縦方向Ｄｙにおおよそ平行な罫線ＯＬ３を示している。図中には、第３オブジェクト領域ＯＡ３を含む最小包囲矩形Ｒ３の幅Ｗ３と高さＨ３とが示されている。オブジェクト領域ＯＡ３が縦方向Ｄｙにおおよそ平行な罫線ＯＬ３を示す場合、高さＨ３は、罫線ＯＬ３の長さとおおよそ同じであり、大きい値であり得る。幅Ｗ３は、小さい値であり得る。

【0037】

図６（Ｃ）の第６オブジェクト領域ＯＡ６は、１個の文字ＣＨ６（ここでは、日本の漢字）を示している。図中には、第６オブジェクト領域ＯＡ６を含む最小包囲矩形Ｒ６の幅Ｗ６と高さＨ６とが示されている。オブジェクト領域ＯＡ６が文字ＣＨ６を示す場合、高さＨ６と幅Ｗ６との両方が、大きい値であり得る。

【0038】

図６（Ｄ）の第５オブジェクト領域ＯＡ５は、棒グラフＯｂｇ（図３（Ａ））の線ＯＬ５を示している。図中には、第５オブジェクト領域ＯＡ５を含む最小包囲矩形Ｒ５の幅Ｗ５と高さＨ５とが示されている。オブジェクト領域ＯＡ５が棒グラフＯｂｇの線ＯＬ５を示す場合、高さＨ６と幅Ｗ６との両方が、大きい値であり得る。

【0039】

Ｓ３２０（図５）では、プロセッサ５１０は、このような高さと幅とのそれぞれを、長さ閾値ＴｈＬと比較する。本実施例では、長さ閾値ＴｈＬは、予め決められている。長さ閾値ＴｈＬは、例えば、除去すべき線の長さの最小値に、設定される。

【0040】

高さと幅との両方が、長さ閾値ＴｈＬ未満である場合（Ｓ３２０：Ｎｏ）、注目オブジェクト領域は、線候補領域として選択すべき線と比べて小さいオブジェクトを示している。プロセッサ５１０は、Ｓ３６０で、注目オブジェクト領域は非線候補領域であると判断し、判断結果を示す候補判断データを、記憶装置５１５（本実施例では、不揮発性記憶装置５３０）に格納する（図示省略）。そして、プロセッサ５１０は、Ｓ３７０へ移行する。

【0041】

高さと幅との一方、または、両方が長さ閾値ＴｈＬ以上である場合（Ｓ３２０：Ｙｅｓ）、Ｓ３３０で、プロセッサ５１０は、最小包囲矩形の対角線の角度が、横範囲内、または、縦範囲内であるか否かを判断する。

【0042】

図６（Ａ）－図６（Ｄ）の線ＤＬ２、ＤＬ３、ＤＬ６、ＤＬ５は、それぞれ、最小包囲矩形Ｒ２、Ｒ３、Ｒ６、Ｒ５の対角線である。角度Ａｇ２、Ａｇ３、Ａｇ６、Ａｇ５は、対角線ＤＬ２、ＤＬ３、ＤＬ６、ＤＬ５の角度である。本実施例では、対角線の角度は、横方向Ｄｘに平行な直線と、対角線と、がなす角度のうちの鋭角を示している。従って、対角線の角度は、ゼロ度以上、９０度以下の値である。

【0043】

横範囲は、対角線が横方向Ｄｘにおおよそ平行である場合の対角線の角度の範囲である。例えば、横範囲は、ゼロ度以上、１９度以下の範囲であってよい。図６（Ａ）の罫線ＯＬ２のように、注目オブジェクト領域が横方向Ｄｘにおおよそ平行な線を示す場合、対角線の角度は、横範囲内である。

【0044】

縦範囲は、対角線が縦方向Ｄｙにおおよそ平行である場合の対角線の角度の範囲である。例えば、縦範囲は、７１度以上、９０度以下の範囲であってよい。図６（Ｂ）の罫線ＯＬ３のように、注目オブジェクト領域が縦方向Ｄｙにおおよそ平行な線を示す場合、対角線の角度は、縦範囲内である。

【0045】

対角線の角度が横範囲内、または、縦範囲内である場合（図５：Ｓ３３０：Ｙｅｓ）、注目オブジェクト領域は、図６（Ａ）、図６（Ｂ）のオブジェクト領域ＯＡ２、ＯＡ３のように、横方向Ｄｘにおおよそ平行な線、または、縦方向Ｄｙにおおよそ平行な線を示す可能性が高い。この場合、プロセッサ５１０は、Ｓ３５０で、注目オブジェクト領域は線候補領域であると判断し、判断結果を示す候補判断データを、不揮発性記憶装置５３０に格納する（図示省略）。そして、プロセッサ５１０は、Ｓ３７０へ移行する。本実施例では、オブジェクト領域ＯＡ２、ＯＡ３は、線候補領域であると判断される。

【0046】

対角線の角度が横範囲外、かつ、縦範囲外である場合（Ｓ３３０：Ｎｏ）、注目オブジェクト領域は、図６（Ｃ）、図６（Ｄ）のオブジェクト領域ＯＡ６、ＯＡ５のように、横方向Ｄｘと縦方向Ｄｙとの両方に広がるオブジェクトを示している。この場合、プロセッサ５１０は、Ｓ３４０で、画素割合が文字閾値ＴｈＴ未満であるか否かを判断する。画素割合は、最小文字包囲矩形内の画素数に対するオブジェクト領域の画素数の割合である。

【0047】

図６（Ｃ）のオブジェクト領域ＯＡ６は文字ＣＨ６を示している。文字ＣＨ６を示す画素（すなわち、オブジェクト領域の画素）は、最小包囲矩形Ｒ６のおおよそ全体に亘って、分布する。従って、画素割合ＲＰは、大きい値であり得る。オブジェクト領域が図６（Ｃ）の文字ＣＨ６とは異なる文字を示す場合も、同様に、画素割合ＲＰは大きい値であり得る。

【0048】

図６（Ｄ）のオブジェクト領域ＯＡ５は、棒グラフＯｂｇの線ＯＬ５を示している。最小包囲矩形Ｒ５は、線と線との間に配置された背景部分を含んでいる。従って、画素割合ＲＰは、小さい値であり得る。棒グラフＯｂｇの線ＯＬ５に限らず、オブジェクト領域が、表Ｏｔｂ（図３（Ｂ））の線ＯＬ４など、線を含む種々のオブジェクトを示す場合に、画素割合ＲＰは小さい値であり得る。

【0049】

本実施例では、文字閾値ＴｈＴは、文字のオブジェクト領域と、非文字（表やグラフなど）のオブジェクト領域と、を適切に区別するように、予め実験的に決定されている（例えば、ＴｈＴ＝３０％）。

【0050】

画素割合が文字閾値ＴｈＴ未満である場合（図５：Ｓ３４０：Ｙｅｓ）、プロセッサ５１０は、Ｓ３５０で、注目オブジェクト領域は線候補領域であると判断し、候補判断データを、不揮発性記憶装置５３０に格納する。そして、プロセッサ５１０は、Ｓ３７０へ移行する。本実施例では、第５オブジェクト領域ＯＡ５（図６（Ｄ））は、線候補領域であると判断される。

【0051】

画素割合が文字閾値ＴｈＴ以上である場合（Ｓ３４０：Ｎｏ）、プロセッサ５１０は、Ｓ３６０で、注目オブジェクト領域は非線候補領域であると判断し、候補判断データを、不揮発性記憶装置５３０に格納する。そして、プロセッサ５１０は、Ｓ３７０へ移行する。本実施例では、第６オブジェクト領域ＯＡ６（図６（Ｃ））は、非線候補領域であると判断される。

【0052】

Ｓ３７０では、プロセッサ５１０は、全てのオブジェクト領域が処理されたか否かを判断する。未処理のオブジェクト領域が残っている場合（Ｓ３７０：Ｎｏ）、プロセッサ５１０は、Ｓ３１０へ移行し、新たな注目オブジェクト領域の処理を実行する。全てのオブジェクト領域が処理された場合（Ｓ３７０：Ｙｅｓ）、プロセッサ５１０は、図５の処理、すなわち、図４のＳ２３０の処理を終了する。

【0053】

図７（Ａ）は、ラベル画像Ｉ２（図３（Ｂ））が処理される場合の線候補領域を示す線候補領域画像の例を示す説明図である。この線候補領域画像Ｉ３によって示されるように、罫線ＯＬ１、ＯＬ２、ＯＬ３を含むオブジェクト領域ＯＡ１、ＯＡ２、ＯＡ３と、表Ｏｔｂの線ＯＬ４を含む第４オブジェクト領域ＯＡ４と、棒グラフＯｂｇの線ＯＬ５を含む第５オブジェクト領域ＯＡ５とが、線候補領域であると判断されている。

【0054】

図５の実施例では、オブジェクト領域が線候補領域であると判断されるための条件は、「Ｓ３２０：Ｙｅｓ、かつ、Ｓ３３０：Ｙｅｓ」と「Ｓ３２０：Ｙｅｓ、かつ、Ｓ３３０：Ｎｏ、かつ、Ｓ３４０：Ｙｅｓ」の一方、または、両方が満たされることである。この条件は、オブジェクト領域が線を含むオブジェクト（線、表、グラフなど）を表すことを示す線含有条件の例である。

【0055】

Ｓ２４０（図４）では、プロセッサ５１０は、横線が除去対象であるか否かを判断する。Ｓ２１０で決定された除去対象方向が「横方向」または「両方」である場合（Ｓ２５０：Ｙｅｓ）、プロセッサ５１０は、Ｓ２５０で、横線除去処理を実行する。

【0056】

図８、図９は、横線除去処理の例を示すフローチャートである。Ｓ４１０では、プロセッサ５１０は、ラベリングデータを使用して、横線抽出用画像の画像データを生成する（横画像データとも呼ぶ）。プロセッサ５１０は、Ｓ３５０、Ｓ３６０（図５）で説明した候補判断データを参照し、ラベル画像に含まれる複数のオブジェクト領域のうちの線候補領域を示す画像データを、横画像データとして生成する。図３（Ｂ）のラベル画像Ｉ２が処理される場合、横画像データは、図７（Ａ）の線候補領域画像Ｉ３を示している。

【0057】

Ｓ４１５では、プロセッサ５１０は、横画像データによって表される線候補領域から、未処理の線候補領域を、注目線候補領域として選択する。

【0058】

図１０（Ａ）－図１０（Ｄ）は、注目線候補領域の処理の例を示す説明図である。図１０（Ａ）のハッチングが付された領域ＯＡｘは、注目線候補領域ＯＡｘを示している。注目線候補領域ＯＡｘは、表の複数の線（線Ｌ１－Ｌ６を含む）を示している。矩形Ｒｘは、注目線候補領域ＯＡｘを包囲する最小包囲矩形Ｒｘである。左端ＲｘＬは、最小包囲矩形Ｒｘの横方向Ｄｘとは反対方向側の端である。右端ＲｘＲは、最小包囲矩形Ｒｘの横方向Ｄｘ側の端である。

【0059】

Ｓ４２０（図８）では、プロセッサ５１０は、注目横部分領域を選択する。図１０（Ａ）には、横部分領域ＰＡが示されている。横部分領域ＰＡは、最小包囲矩形Ｒｘの左端ＲｘＬから右端ＲｘＲまで、横方向Ｄｘに向かって延びる矩形領域である。図示を省略するが、最小包囲矩形Ｒｘは、縦方向Ｄｙに並ぶ複数の横部分領域ＰＡによって、形成される。すなわち、最小包囲矩形Ｒｘは、複数の横部分領域ＰＡに分割可能である。後述するように、プロセッサ５１０は、各横部分領域ＰＡ毎に、横部分領域ＰＡが横方向Ｄｘに延びる線を含むか否かを判断する。Ｓ４２０では、処理対象の横部分領域である注目横部分領域を、未処理の横部分領域から、選択する。

【0060】

Ｓ４２５では、プロセッサ５１０は、注目横部分領域に含まれる複数の処理領域のうち、注目線候補領域の画素を含む処理領域の数をカウントする。図１０（Ａ）には、横部分領域ＰＡに含まれる複数の処理領域ＣＡのうちの一部の複数の処理領域ＣＡが示されている。処理領域ＣＡは、矩形領域である。処理領域ＣＡの横方向Ｄｘの幅は、例えば、５画素であり、縦方向Ｄｙの高さは、例えば、５画素である。図示を省略するが、横方向Ｄｘに並ぶ複数の処理領域ＣＡが、横部分領域ＰＡを形成する。すなわち、横部分領域ＰＡは、複数の処理領域ＣＡに分割可能である。プロセッサ５１０は、複数の処理領域ＣＡのそれぞれに関して、処理領域ＣＡが注目線候補領域ＯＡｘの画素を含むか否かを判断する。例えば、プロセッサ５１０は、左端ＲｘＬから横方向Ｄｘに向かって、１つの処理領域ＣＡずつ順番に、処理領域ＣＡが注目線候補領域ＯＡｘの画素を含むか否かの判断を行う。そして、プロセッサ５１０は、注目線候補領域ＯＡｘの画素を含む処理領域ＣＡの数をカウントする。

【0061】

図１０（Ａ）の横部分領域ＰＡ（第１横部分領域ＰＡ１と呼ぶ）は、左端ＲｘＬから右端ＲｘＲまで、横方向Ｄｘに延びる第１線Ｌ１を含んでいる。従って、第１横部分領域ＰＡ１の複数の処理領域ＣＡは、それぞれ、注目線候補領域ＯＡｘの画素を含んでいる。

【0062】

図１０（Ｂ）は、第１横部分領域ＰＡ１（図１０（Ａ））の隣の横部分領域ＰＡを示している（第２横部分領域ＰＡ２と呼ぶ）。第２横部分領域ＰＡ２は、横方向Ｄｘに延びる線を含まずに、縦方向Ｄｙに延びる線Ｌ４－Ｌ６のそれぞれの一部分を含んでいる。従って、第２横部分領域ＰＡ２の複数の処理領域ＣＡのうち、線Ｌ４－Ｌ６に重なる処理領域ＣＡａ、ＣＡｂ、ＣＡｃは、注目線候補領域ＯＡｘの画素を含み、残りの複数の処理領域ＣＡは、注目線候補領域ＯＡｘの画素を含まない。

【0063】

Ｓ４３０（図８）では、プロセッサ５１０は、注目横部分領域の領域割合ＲＡが領域閾値ＴｈＰ未満であるか否かを判断する。領域割合ＲＡは、注目横部分領域に含まれる処理領域ＣＡの総数に対する注目線候補領域ＯＡｘの画素を含む処理領域ＣＡの数の割合である。図１０（Ａ）の第１横部分領域ＰＡ１は、横方向Ｄｘに延びる第１線Ｌ１を含むので、第１横部分領域ＰＡ１内の多くの処理領域ＣＡが、注目線候補領域ＯＡｘの画素を含む。従って、第１横部分領域ＰＡ１の領域割合ＲＡは、大きい値になり得る。図１０（Ｂ）の第２横部分領域ＰＡ２は、横方向Ｄｘに延びる線を含まないので、第２横部分領域ＰＡ２内の多くの処理領域ＣＡが、注目線候補領域ＯＡｘの画素を含まない。従って、第２横部分領域ＰＡ２の領域割合ＲＡは、小さい値になり得る。

【0064】

本実施例では、領域閾値ＴｈＰは、横部分領域ＰＡが横方向Ｄｘに延びる線を含む場合に領域割合ＲＡが領域閾値ＴｈＰ以上となるように、予め実験的に決定されている（例えば、ＴｈＰ＝４０％）。このように、領域割合ＲＡが領域閾値ＴｈＰ以上であることは、横部分領域ＰＡが横方向Ｄｘに延びる線を含むことを示す横方向候補条件ＣＣｘの例である。

【0065】

領域割合ＲＡが領域閾値ＴｈＰ未満である場合（Ｓ４３０：Ｙｅｓ）、Ｓ４３５で、プロセッサ５１０は、横線抽出用画像の中で、注目横部分領域の全ての画素を、線候補領域から除去する。例えば、図１０（Ｂ）の第２横部分領域ＰＡ２に関しては、画素割合ＲＰは、領域閾値ＴｈＰ未満である。従って、第２横部分領域ＰＡ２内の全ての画素が、線候補領域ＯＡｘから除去される。図１０（Ｃ）は、除去処理の後の線候補領域ＯＡｘを示している。第２横部分領域ＰＡ２に含まれる画素が、線候補領域ＯＡｘから除去されている。Ｓ４３５の後、プロセッサ５１０は、Ｓ４４０へ移行する。

【0066】

領域割合ＲＡが領域閾値ＴｈＰ以上である場合（Ｓ４３０：Ｎｏ）、プロセッサ５１０は、Ｓ４３５をスキップして、Ｓ４４０へ移行する。例えば、図１０（Ａ）の第１横部分領域ＰＡ１に関しては、画素割合ＲＰは、領域閾値ＴｈＰ以上である。従って、第１横部分領域ＰＡ１内の画素は、線候補領域ＯＡｘから除去されずに、維持される（図１０（Ｂ）、図１０（Ｃ）参照）。

【0067】

Ｓ４４０では、プロセッサ５１０は、注目線候補領域に含まれる全ての横部分領域の処理が終了したか否かを判断する。未処理の横部分領域が残っている場合（Ｓ４４０：Ｎｏ）、プロセッサ５１０は、Ｓ４２０へ移行して、新たな横部分領域の処理を実行する。

【0068】

全ての横部分領域の処理が終了した場合（Ｓ４４０：Ｙｅｓ）、Ｓ４４５で、プロセッサ５１０は、横画像データによって表される全ての線候補領域の処理が終了したか否かを判断する。未処理の線候補領域が残っている場合（Ｓ４４５：Ｎｏ）、プロセッサ５１０は、Ｓ４１５へ移行して、新たな線候補領域の処理を実行する。

【0069】

図１０（Ｄ）は、処理済の線候補領域ＯＡｘを示している。図示するように、縦方向Ｄｙに延びる線Ｌ４－Ｌ６が、線候補領域ＯＡｘから除去されている。このように、横方向Ｄｘに延びる線を含まない横部分領域の画素は、線候補領域ＯＡｘから除去される。例えば、横部分領域が、横方向Ｄｘに延びる線を含まずに、文字の一部分を含む場合、その文字の一部分は、除去される。横方向Ｄｘに延びる線Ｌ１－Ｌ３は、残っている。処理済の線候補領域ＯＡｘは、線候補領域ＯＡｘの複数の画素のうち、横方向候補条件ＣＣｘ（図８）を満たす横部分領域ＰＡに含まれる複数の画素を示している。

【0070】

全ての線候補領域の処理が終了した場合（Ｓ４４５：Ｙｅｓ）、プロセッサ５１０は、図９のＳ４５０へ移行する。

【0071】

Ｓ４５０では、プロセッサ５１０は、処理済の横線抽出用画像を表す横画像データのラベリング処理を実行することによって、オブジェクト領域を示す横ラベリングデータを生成する。ラベリング処理の対象の横線抽出用画像では、図１０（Ｄ）に示すように、横方向Ｄｘに延びる線とは異なる部分が除去されている。従って、Ｓ４５０のラベリング処理は、横方向Ｄｘに延びる線を表すオブジェクト領域を、検出可能である。例えば、図１０（Ｄ）の画像からは、３本の線Ｌ１、Ｌ２、Ｌ３をそれぞれ表す３個のオブジェクト領域が、検出される。以下、Ｓ４５０で検出されるオブジェクト領域を、横線候補領域と呼ぶ。横ラベリングデータは、検出された横線候補領域を表している。なお、Ｓ４５０のラベリング処理の方法は、図４のＳ２２０の二値画像のラベリング処理の方法と、同じである。

【0072】

図７（Ｂ）は、線候補領域画像Ｉ３（図７（Ａ））が処理される場合の横ラベリングデータによって表されるラベル画像の例を示している。ラベル画像Ｉ４は、複数の横線候補領域である複数のオブジェクト領域ＯＡ１ａ、ＯＡ２、ＯＡ４ａ、ＯＡ５ａを表している。第１オブジェクト領域ＯＡ１ａは、図７（Ａ）の第１オブジェクト領域ＯＡ１からタイトルＯｔｘ１の複数の文字が除去された残りである罫線ＯＬ１を示している。第２オブジェクト領域ＯＡ２は、図７（Ａ）の第２オブジェクト領域ＯＡ２と同じであり、横方向Ｄｘに延びる罫線ＯＬ２を示している。複数の第４オブジェクト領域ＯＡ４ａは、図７（Ａ）の第４オブジェクト領域ＯＡ４（すなわち、表Ｏｔｂの線）から複数の縦線が除去された残りである複数の横線を示している。複数のオブジェクト領域ＯＡ５ａは、図７（Ａ）の第５オブジェクト領域ＯＡ５（すなわち、棒グラフＯｂｇの線）から複数の縦線が除去された残りである複数の横線を示している。このように、オブジェクト領域のうち、横方向Ｄｘに延びる線とは異なる要素（例えば、文字、縦線など）を示す部分が除去されている。

【0073】

Ｓ４５５（図９）では、プロセッサ５１０は、横ラベリングデータによって表される横線候補領域から、未処理の横線候補領域を、注目横線候補領域として選択する。

【0074】

Ｓ４６０では、プロセッサ５１０は、注目横線候補領域が、横対象条件を満たすか否かを判断する。横対象条件は、横線候補領域が横方向Ｄｘに延びる線のオブジェクトを表すことを示す条件である。本実施例では、横対象条件は、以下の３個の条件Ｃ１１、Ｃ１２、Ｃ１３の全てが満たされることである。
（第１条件Ｃ１１）横線候補領域の横方向Ｄｘの長さが、長さ閾値ＴｈＬ以上である
（第２条件Ｃ１２）横線候補領域の縦方向Ｄｙの長さが、線幅閾値ＴｈＷ以下である。
（第３条件Ｃ１３）横線候補領域の最小包囲矩形の対角線の角度が、横範囲内である。
第１条件Ｃ１１の長さ閾値ＴｈＬは、図５のＳ３２０の長さ閾値ＴｈＬと同じである。第２条件Ｃ１２の線幅閾値ＴｈＷは、予め決められており、例えば、除去すべき線の幅の最大値に、設定される。第３条件Ｃ１３の横範囲は、図５のＳ３３０の横範囲と同じである。これらの条件Ｃ１１－Ｃ１３で構成される横対象条件は、図５の線含有条件とは異なり、横方向Ｄｘに延びる１本の線を含み、他の要素を含まないオブジェクト領域を、選択する。例えば、図１０（Ｄ）の画像に関しては、３本の線Ｌ１、Ｌ２、Ｌ３をそれぞれ表す３個のオブジェクト領域が、横対象条件を満たし得る。

【0075】

注目横線候補領域が横対象条件を満たす場合（Ｓ４６０：Ｙｅｓ）、Ｓ４６５で、プロセッサ５１０は、読取画像の注目横線候補領域内の各画素の色値を、背景色値に変更する。本実施例では、背景色値は、白色に近い色を示す色値であり、予め決められている。これに代えて、プロセッサ５１０は、読取画像の背景部分の複数の画素のそれぞれの色値を使用して、背景色値を決定してよい（例えば、背景色値は、複数の画素の色値の平均値であってよい）。プロセッサ５１０は、Ｓ４６５の処理により、読取画像Ｉ１（図３（Ａ））から、図７（Ｂ）に示す種々の横線を、除去する。Ｓ４６５の後、プロセッサ５１０は、Ｓ４７０へ移行する。

【0076】

注目横線候補領域が横対象条件を満たさない場合（Ｓ４６０：Ｎｏ）、プロセッサ５１０は、Ｓ４６５をスキップして、Ｓ４７０へ移行する。

【0077】

Ｓ４７０では、プロセッサ５１０は、横ラベリングデータによって表される全ての横線候補領域の処理が終了したか否かを判断する。未処理の横線候補領域が残っている場合（Ｓ４７０：Ｎｏ）、プロセッサ５１０は、Ｓ４５５へ移行して、新たな横線候補領域の処理を実行する。全ての横線候補領域の処理が終了した場合（Ｓ４７０：Ｙｅｓ）、プロセッサ５１０は、図８、図９の処理、すなわち、図４のＳ２５０の処理を終了する。そして、プロセッサ５１０は、図４のＳ２６０へ移行する。

【0078】

横線が除去対象ではない場合（Ｓ２４０：Ｎｏ）、プロセッサ５１０は、Ｓ２５０をスキップして、Ｓ２６０へ移行する。

【0079】

Ｓ２６０では、プロセッサ５１０は、縦線が除去対象であるか否かを判断する。Ｓ２１０で決定された除去対象方向が「縦方向」または「両方」である場合（Ｓ２６０：Ｙｅｓ）、プロセッサ５１０は、Ｓ２７０で、縦線除去処理を実行する。

【0080】

図１１、図１２は、縦線除去処理の例を示すフローチャートである。図８、図９の横線除去処理との差異は、横方向Ｄｘと縦方向Ｄｙとの立場が入れ替わっている点だけである。図１１、図１２の各ステップの符号は、図８、図９の対応するステップの符号の数字の百の位を「４」から「５」に変更したものである。例えば、図１１のＳ５１０は、図８のＳ４１０に対応している。図１１、図１２の各ステップの処理は、横方向Ｄｘと縦方向Ｄｙとの立場が入れ替わっている点を除いて、図８、図９の対応するステップの処理と同じである（詳細な説明を省略する）。

【0081】

Ｓ５１０では、プロセッサ５１０は、ラベリングデータと候補判断データとを使用して、縦線抽出用画像の画像データを生成する（縦画像データとも呼ぶ）。図３（Ｂ）のラベル画像Ｉ２が処理される場合、縦画像データは、図７（Ａ）の線候補領域画像Ｉ３を示している。

【0082】

Ｓ５２０－Ｓ５２５では、プロセッサ５１０は、横方向Ｄｘに延びる横部分領域ＰＡ（図１０（Ａ）－図１０（Ｃ））に代えて、縦方向Ｄｙに延びる縦部分領域（図示省略）の領域割合ＲＡを算出する。そして、領域割合ＲＡが領域閾値ＴｈＰ未満である場合（Ｓ５３０：Ｙｅｓ）、Ｓ５３５で、プロセッサ５１０は、縦線抽出用画像の中で、注目縦部分領域の全ての画素を、線候補領域から除去する。例えば、図１０（Ａ）の線候補領域ＯＡｘが処理される場合、横方向Ｄｘに延びる線Ｌ１－Ｌ３が、線候補領域ＯＡｘから除去される（図示省略）。Ｓ５１５－Ｓ５４５で、プロセッサ５１０は、全ての線候補領域の全ての縦部分領域を処理する。なお、処理領域ＣＡと領域閾値ＴｈＰとは、図８、図９の処理領域ＣＡと領域閾値ＴｈＰと、それぞれ同じである。また、領域割合ＲＡが領域閾値ＴｈＰ以上であることは（Ｓ５３０：Ｎｏ）、縦部分領域が縦方向Ｄｙに延びる線を含むことを示す縦方向候補条件ＣＣｙの例である。

【0083】

Ｓ５５０（図１２）では、プロセッサ５１０は、縦線抽出用画像を表す縦画像データのラベリング処理を実行することによって、オブジェクト領域を示す縦ラベリングデータを生成する。以下、Ｓ５５０で検出されるオブジェクト領域を、縦線候補領域と呼ぶ。

【0084】

図７（Ｃ）は、線候補領域画像Ｉ３（図７（Ａ））が処理される場合の縦ラベリングデータによって表されるラベル画像の例を示している。ラベル画像Ｉ５は、複数の縦線候補領域である複数のオブジェクト領域ＯＡ３、ＯＡ４ｂ、ＯＡ５ｂを表している。第３オブジェクト領域ＯＡ３は、図７（Ａ）の第３オブジェクト領域ＯＡ３と同じであり、縦方向Ｄｙに延びる罫線ＯＬ３を示している。複数の第４オブジェクト領域ＯＡ４ｂは、図７（Ａ）の第４オブジェクト領域ＯＡ４（すなわち、表Ｏｔｂの線）から複数の横線が除去された残りである複数の縦線を示している。複数のオブジェクト領域ＯＡ５ｂは、図７（Ａ）の第５オブジェクト領域ＯＡ５（すなわち、棒グラフＯｂｇの線）から複数の横線が除去された残りである複数の縦線を示している。このように、オブジェクト領域のうち、縦方向Ｄｙに延びる線とは異なる要素（例えば、文字、横線など）を示す部分が除去されている。

【0085】

プロセッサ５１０は、Ｓ５５５（図１２）で注目縦線候補領域を選択し、Ｓ５６０で、注目縦線候補領域が縦対象条件を満たすか否かを判断する。縦対象条件は、縦線候補領域が縦方向Ｄｙに延びる線のオブジェクトを表すことを示す条件である。本実施例では、縦対象条件は、以下の３個の条件Ｃ２１、Ｃ２２、Ｃ２３の全てが満たされることである。
（第１条件Ｃ２１）縦線候補領域の縦方向Ｄｙの長さが、長さ閾値ＴｈＬ以上である
（第２条件Ｃ２２）縦線候補領域の横方向Ｄｘの長さが、線幅閾値ＴｈＷ以下である。
（第３条件Ｃ２３）縦線候補領域の最小包囲矩形の対角線の角度が、縦範囲内である。
長さ閾値ＴｈＬと線幅閾値ＴｈＷとは、図９のＳ４６０の長さ閾値ＴｈＬと線幅閾値ＴｈＷと、それぞれ同じである。縦範囲は、図５のＳ３３０の縦範囲と同じである。これらの条件Ｃ２１－Ｃ２３で構成される縦対象条件は、図５の線含有条件とは異なり、縦方向Ｄｙに延びる１本の線を含み、他の要素を含まないオブジェクト領域を、選択する。

【0086】

注目縦線候補領域が縦対象条件を満たす場合（Ｓ５６０：Ｙｅｓ）、Ｓ５６５で、プロセッサ５１０は、読取画像の注目縦線候補領域内の各画素の色値を、背景色値に変更する。プロセッサ５１０は、Ｓ５６５の処理により、読取画像Ｉ１（図３（Ａ））から、図７（Ｃ）に示す種々の縦線を、除去する。

【0087】

プロセッサ５１０は、Ｓ５５５－Ｓ５７０で、縦ラベリングデータによって表される全ての縦線候補領域を処理する。全ての縦線候補領域の処理が終了した場合（Ｓ５７０：Ｙｅｓ）、プロセッサ５１０は、図１１、図１２の処理、すなわち、図４のＳ２７０の処理を終了する。そして、プロセッサ５１０は、図４のＳ２８０へ移行する。

【0088】

縦線が除去対象ではない場合（Ｓ２６０：Ｎｏ）、プロセッサ５１０は、Ｓ２７０をスキップして、Ｓ２８０へ移行する。

【0089】

Ｓ２８０では、プロセッサ５１０は、Ｓ２５０、Ｓ２７０の一方、または、両方による線除去処理済の読取画像である線除去画像を表す線除去画像データを、記憶装置５１５（本実施例では、不揮発性記憶装置５３０）に格納する。そして、プロセッサ５１０は、図４の処理、すなわち、図２のＳ１３０を、終了する。

【0090】

図１３は、線除去画像の例を示している。この線除去画像Ｉ６は、読取画像Ｉ１（図３（Ａ））に対して横線除去処理（Ｓ２５０）と縦線除去処理（Ｓ２７０）との両方が実行される場合の例を示している。読取画像Ｉ１からは、図７（Ｂ）に示す横線と、図７（Ｃ）に示す縦線とが、除去されている。線除去画像Ｉ６は、タイトルＯｔｘ１と、文字列群Ｏｔｘ２と、表Ｏｔｂに含まれる複数の文字と、棒グラフＯｂｇに含まれる複数の文字と、を表している。このように、文字の近傍の線が除去されているので、図２のＳ１４０では、プロセッサ５１０は、適切な文字認識を実行可能である。

【0091】

以上のように、本実施例では、プロセッサ５１０は、横方向Ｄｘに延びる線を表すオブジェクト領域を検出するために、図４のＳ２２０と図９のＳ４５０との２段階のラベリング処理によって、オブジェクト領域を抽出する。１回の抽出処理で横方向Ｄｘに延びる線を表すオブジェクト領域を検出する場合、処理の複雑化（例えば、オブジェクトの形状の詳細な分析が行われる）によって、処理に要する時間が長くなり得る。本実施例では、プロセッサ５１０は、高速に、横方向Ｄｘに延びる線を表すオブジェクト領域を検出できる。縦方向Ｄｙに延びる線を表すオブジェクト領域を検出する場合も、同様に、プロセッサ５１０は、図４のＳ２２０と図１２のＳ５５０との２段階のラベリング処理を実行する。従って、プロセッサ５１０は、高速に、縦方向Ｄｙに延びる線を表すオブジェクト領域を検出できる。

【0092】

また、図１０（Ａ）－図１０（Ｄ）で説明したように、Ｓ４３０（図８）とＳ５３０（図１１）とでは、プロセッサ５１０は、除去対象方向に延びる線を含むことを示す条件（横方向候補条件ＣＣｘ、または、縦方向候補条件ＣＣｙ）を満たす部分領域に含まれる複数の画素を抽出する。そして、プロセッサ５１０は、抽出された複数の画素を使用して、２段階目のラベリング処理（Ｓ４５０（図９）、Ｓ５５０（図１２））を実行する。候補条件ＣＣｘ、ＣＣｙは、除去対象方向に延びる線を含まずにノイズを含む部分領域の複数の画素を、２段階目のラベリング処理の対象から除外できる。従って、読取画像（例えば、図３（Ａ）の読取画像Ｉ１）がノイズを含む場合に、ノイズの影響は緩和される。

【0093】

また、図５のＳ３４０では、プロセッサ５１０は、画素割合ＲＰを使用して、注目オブジェクト領域が線候補領域であるか否かを判断する。オブジェクト領域が多数のノイズを含む場合、画素割合ＲＰが大きくなり得る。Ｓ３４０では、プロセッサ５１０は、多数のノイズを含む領域を、線候補領域から除外できる。従って、読取画像（例えば、図３（Ａ）の読取画像Ｉ１）がノイズを含む場合に、ノイズの影響は緩和される。

【0094】

また、本実施例では、プロセッサ５１０は、以下の処理を実行する。図４のＳ２２０では、プロセッサ５１０は、読取装置の例である読取実行部２８０（図１）によって光学的に読み取られた原稿の画像である対象画像（例えば、図３（Ａ）の読取画像Ｉ１）を表す対象画像データのラベリング処理を実行する（第１ラベリング処理とも呼ぶ）。図３（Ｂ）に示すように、プロセッサ５１０は、第１ラベリング処理によって、オブジェクトを表すＪ個（Ｊは１以上の整数）のオブジェクト領域を検出する。図４のＳ２３０では、プロセッサ５１０は、線候補領域の判断処理（図５）を実行する。図５で説明したように、プロセッサ５１０は、オブジェクト領域が線を含むオブジェクトを表すことを示す線含有条件をオブジェクト領域が満たすか否かを判断する。

【0095】

さらに、プロセッサ５１０は、図４のＳ２５０とＳ２７０との一方、または、両方を実行する。Ｓ２５０では、プロセッサ５１０は、図８、図９の横線除去処理を実行する。Ｓ４５０（図９）では、プロセッサ５１０は、ラベリング処理を実行することによって、横方向Ｄｘに延びる線を示すオブジェクト領域の候補であるＬ個（Ｌは、１以上の整数）の横線候補領域（図７（Ｂ））を検出する（以下、このラベリング処理を、横ラベリング処理と呼ぶ）。横ラベリング処理の対象の画像データは、図８の処理による処理済の横線抽出用画像を表す横画像データである。図８の処理は、線含有条件（図５）を満たすと判断されたオブジェクト領域であるＫ個（Ｋは、１以上、Ｊ以下の整数）の線候補領域（図７（Ａ））に含まれる複数の画素のうち、横方向Ｄｘに延びる線を含むことを示す横方向候補条件ＣＣｘ（図８：Ｓ４３０：Ｎｏ）を満たす横部分領域に含まれる複数の画素（図１０（Ｄ）、図７（Ｂ））を抽出する。横ラベリング処理（図８：Ｓ４５０）は、抽出された複数の画素を使用する。これにより、プロセッサ５１０は、横方向Ｄｘに延びる線を示すオブジェクト領域の候補である横線候補領域を検出する（図７（Ｂ））。

【0096】

図９のＳ４６０では、プロセッサ５１０は、横線候補領域が横方向Ｄｘに延びる線のオブジェクトを表すことを示す横対象条件を横線候補領域が満たすか否かを判断する。そして、Ｓ４６５では、プロセッサ５１０は、対象画像（例えば、読取画像Ｉ１（図３（Ａ））の複数の画素のうち、横対象条件を満たすと判断された横線候補領域に含まれる複数の画素のそれぞれの色値を背景の色値に変更する（図１３）。以上により、プロセッサ５１０は、対象画像から、横線を、適切に、除去できる。

【0097】

仮に、色値を変更すべき複数の画素（すなわち、横線を表す複数の画素）を対象画像から直接的に検出する場合には、注目している画素が横線とは異なる要素（例えば、文字など）を表していないことを確認するために複雑な処理が実行される。例えば、複数の罫線の交差パターンを検出する処理などが実行され得る。このようなオブジェクトの形状の分析は、ノイズの影響を受けやすい場合がある。本実施例では、プロセッサ５１０は、２段階のラベリング処理（図４のＳ２２０と図９のＳ４５０）という簡単な処理と、ラベリング処理によって得られるオブジェクト領域の構成と、を使用して横線のオブジェクトを表す領域を検出するので、処理に要する時間を短縮できる。また、ノイズの影響を緩和できるので、横線のオブジェクトを表す領域を適切に検出できる。なお、オブジェクト領域の構成としては、本実施例では、図５、図８、図９で説明したように、横方向Ｄｘの長さと、縦方向Ｄｙの長さと、最小包囲矩形の対角線の角度と、領域割合ＲＡと、が使用される。

【0098】

Ｓ２７０（図７）の処理が実行される場合も、同様である。上述したように、Ｓ２７０の処理は、Ｓ２５０の処理における横方向Ｄｘと縦方向Ｄｙを入れ替えて得られる処理である。Ｓ２７０では、プロセッサ５１０は、図１１、図１２の縦線除去処理を実行する。Ｓ５５０（図１２）では、プロセッサ５１０は、ラベリング処理を実行することによって、縦方向Ｄｙに延びる線を示すオブジェクト領域の候補であるＭ個（Ｍは、１以上の整数）の縦線候補領域（図７（Ｃ））を検出する（以下、このラベリング処理を、縦ラベリング処理と呼ぶ）。縦ラベリング処理の対象の画像データは、図１１の処理による処理済の縦線抽出用画像を表す横画像データである。図１１の処理は、線含有条件（図５）を満たすと判断されたオブジェクト領域であるＫ個（Ｋは、１以上、Ｊ以下の整数）の線候補領域（図７（Ａ））に含まれる複数の画素のうち、縦方向Ｄｙに延びる線を含むことを示す縦方向候補条件ＣＣｙ（図１１：Ｓ５３０：Ｎｏ）を満たす縦部分領域に含まれる複数の画素（図７（Ｃ））を抽出する。縦ラベリング処理（図１２：Ｓ５５０）は、抽出された複数の画素を使用する。これにより、プロセッサ５１０は、縦方向Ｄｙに延びる線を示すオブジェクト領域の候補である縦線候補領域を検出する（図７（Ｃ））。

【0099】

図１２のＳ５６０では、プロセッサ５１０は、縦線候補領域が縦方向Ｄｙに延びる線のオブジェクトを表すことを示す縦対象条件を縦線候補領域が満たすか否かを判断する。そして、Ｓ５６５では、プロセッサ５１０は、対象画像（例えば、読取画像Ｉ１（図３（Ａ））の複数の画素のうち、縦対象条件を満たすと判断された縦線候補領域に含まれる複数の画素のそれぞれの色値を背景の色値に変更する（図１３）。以上により、プロセッサ５１０は、対象画像から、縦線を、適切に、除去できる。また、プロセッサ５１０は、縦線を検出するための処理に要する時間を短縮できる。

【0100】

また、本実施例では、図５で説明したように、線含有条件は、オブジェクト領域の横方向Ｄｘの長さ（Ｓ３２０）と、オブジェクト領域の縦方向Ｄｙの長さ（Ｓ３２０）と、横方向Ｄｘに平行な２辺と縦方向Ｄｙに平行な２辺とで構成される矩形であって、オブジェクト領域を包囲する最小包囲矩形の対角線の延びる方向（Ｓ３３０）と、に関連している。従って、プロセッサ５１０は、線を含むオブジェクトを表すオブジェクト領域を、適切に、線候補領域として抽出できる。

【0101】

また、図５で説明したように、線含有条件は、さらに、最小包囲矩形の内の画素の総数に対する最小包囲矩形によって包囲されるオブジェクト領域の画素の総数の割合である画素割合ＲＰ（Ｓ３４０）に関連している。従って、プロセッサ５１０は、線を含むオブジェクトを表すオブジェクト領域を、適切に、線候補領域として抽出できる。

【0102】

また、図９のＳ４６０で説明したように、横対象条件は、オブジェクト領域の横方向Ｄｘの長さ（第１条件Ｃ１１）と、オブジェクト領域の縦方向Ｄｙの長さ（第２条件Ｃ１２）と、横方向Ｄｘに平行な２辺と縦方向Ｄｙに平行な２辺とで構成される矩形であって、オブジェクト領域を包囲する最小包囲矩形の対角線の角度（第３条件Ｃ１３）と、に関連している。従って、プロセッサ５１０は、横線のオブジェクトを表すオブジェクト領域を、適切に、抽出できる。

【0103】

また、図１２のＳ５６０で説明したように、縦対象条件は、オブジェクト領域の縦方向Ｄｙの長さ（第１条件Ｃ２１）と、オブジェクト領域の横方向Ｄｘの長さ（第２条件Ｃ２２）と、横方向Ｄｘに平行な２辺と縦方向Ｄｙに平行な２辺とで構成される矩形であって、オブジェクト領域を包囲する最小包囲矩形の対角線の角度（第３条件Ｃ２３）と、に関連している。従って、プロセッサ５１０は、縦線のオブジェクトを表すオブジェクト領域を、適切に、抽出できる。

【0104】

Ｂ．第２実施例：
図１４は、条件決定処理の例を示すフローチャートである。条件決定処理は、図５のＳ３４０で使用される文字閾値ＴｈＴを決定する処理である。本実施例では、ユーザ端末５００（図１）のプロセッサ５１０は、色値を変更すべきでない文字を含む文字原稿を使用して、文字閾値ＴｈＴを決定する。プログラム５３１は、図２の読取画像処理に加えて、条件決定処理を実行するように、構成される。

【0105】

Ｓ６１０では、ユーザは、色値を変更すべきでない文字を含む文字原稿を、複合機２００（図１）の読取実行部２８０のうちの読取対象物を配置すべき部分に、配置する。そして、ユーザは、ユーザ端末５００の操作部５５０を操作し、処理開始の指示を入力する。ユーザ端末５００のプロセッサ５１０は、複合機２００に読取指示を供給する。複合機２００のプロセッサ２１０は、読取指示に応じて、読取実行部２８０に文字原稿を読み取らせる。読取実行部２８０は、文字原稿を読み取り、読み取った文字原稿の画像である文字原稿画像を表す読取画像データを生成する。以下、この読取画像データを、文字原稿画像データとも呼ぶ。

【0106】

Ｓ６２０では、複合機２００のプロセッサ２１０は、読取実行部２８０から文字原稿画像データを取得し、取得した文字原稿画像データを、ユーザ端末５００に送信する。ユーザ端末５００のプロセッサ５１０は、複合機２００から文字原稿画像データを取得する。

【0107】

Ｓ６３０では、プロセッサ５１０は、文字原稿画像データのラベリング処理を実行することによって、文字を示すオブジェクト領域である文字オブジェクト領域を示すラベリングデータを生成する。ラベリング処理の方法は、図４のＳ２２０のラベリング処理の方法と、同じである。これにより、図６（Ｃ）のオブジェクト領域ＯＡ６のように、文字オブジェクト領域が検出される。

【0108】

Ｓ６４０（図１４）では、プロセッサ５１０は、文字オブジェクト領域の文字画素割合を算出する。文字画素割合の算出方法は、図５のＳ３４０で説明した画素割合ＲＰの算出方法と同じである。文字画素割合は、文字オブジェクト領域を包囲する最小包囲矩形である最小文字包囲矩形の内の画素の総数に対する、最小文字包囲矩形によって包囲される文字オブジェクト領域の画素の総数の割合である。

【0109】

Ｓ６５０では、プロセッサ５１０は、算出された文字画素割合を使用して、文字閾値ＴｈＴを決定する。文字画素割合を有する文字オブジェクト領域が線含有条件を満たさないように、プロセッサ５１０は、文字閾値ＴｈＴを、文字画素割合よりも小さい値に決定する（例えば、ＴｈＴ＝ＲＰ＊０．９）。Ｓ６３０で複数の文字オブジェクト領域が検出される場合、プロセッサ５１０は、複数の文字画素割合のうちの最も小さい文字画素割合を使用して、文字閾値ＴｈＴを決定する。

【0110】

Ｓ６６０では、プロセッサ５１０は、決定した文字閾値ＴｈＴを示す文字閾値データを、記憶装置５１５（本実施例では不揮発性記憶装置５３０）に格納する。そして、プロセッサ５１０は、図１４の処理を終了する。以後、プロセッサ５１０は、図５の処理を実行する場合に、文字閾値データによって示される文字閾値ＴｈＴを使用する。

【0111】

以上のように、本実施例では、プロセッサ５１０は、以下の処理を実行する。Ｓ６３０では、プロセッサ５１０は、文字原稿画像データのラベリング処理を実行することによって、文字のオブジェクトを表す文字オブジェクト領域を検出する。文字原稿画像データは、色値を変更すべきでない文字を含む文字原稿の画像であって読取装置（本実施例では、読取実行部２８０）によって光学的に読み取られた文字原稿の画像である文字原稿画像を表す画像データである（Ｓ６１０、Ｓ６２０）。Ｓ６４０－Ｓ６５０では、プロセッサ５１０は、文字画素割合を使用して、文字オブジェクト領域が線含有条件を満たさないように線含有条件の判断に使用される文字閾値ＴｈＴを決定する。従って、プロセッサ５１０は、文字を表す画素の色値の変更を、抑制できる。適切な文字閾値ＴｈＴは、文字のフォントや文字の大きさなど、文字の属性に応じて異なり得る。本実施例では、プロセッサ５１０は、文字の属性に適した文字閾値ＴｈＴを使用できる。

【0112】

Ｃ．第３実施例：
図１５は、線除去処理の別の実施例を示すフローチャートである。図中には、図４のＳ２２０とＳ２３０との間に挿入されるＳ７１０、Ｓ７２０、Ｓ７３０が示されている。線除去処理の他の部分の処理は、図４の実施例の対応する部分の処理と同じである（同じ部分については、図示と説明を省略する）。

【0113】

図４のＳ２２０の後、図１５のＳ７１０では、プロセッサ５１０（図１）は、Ｓ２２０（図４）で生成されたラベリングデータによって表されるオブジェクト領域を、表示部５４０に表示させる。本実施例では、プロセッサ５１０は、ラベリングデータによって表される画像の全体を、表示部５４０に表示させる。例えば、ラベリングデータが図３（Ｂ）のラベル画像Ｉ２を表す場合、プロセッサ５１０は、ラベル画像Ｉ２を表示部５４０に表示する。

【0114】

Ｓ７２０では、ユーザは、色値を変更すべきでない領域を含むオブジェクト領域を選択し、操作部５５０を操作することによって、選択したオブジェクト領域を示す情報を入力する。プロセッサ５１０は、操作部５５０からの信号を使用して、入力された情報を示すデータである選択領域データを取得する。

【0115】

Ｓ７３０では、プロセッサ５１０は、選択領域データによって示されるオブジェクト領域を、ラベリングデータから除去する。具体的には、オブジェクト領域を示す複数の画素の画素値を、オブジェクト領域を示す値（本実施例では、オブジェクト領域の識別子）から、背景画素を示す値に、変更する。これにより、オブジェクト領域に含まれる複数の画素は、色値の変更の対象から除外される。Ｓ７３０の後、プロセッサ５１０は、図４のＳ２３０へ移行する。

【0116】

以上のように、本実施例では、プロセッサ５１０は、さらに、以下の処理を実行する。Ｓ７１０では、プロセッサ５１０は、ラベリングデータによって表されるＪ個のオブジェクト領域に関する情報の例であるラベル画像（例えば、ラベル画像Ｉ２（図３（Ｂ）））を、表示部５４０に表示させる。Ｓ７２０では、プロセッサ５１０は、ユーザによって選択されたオブジェクト領域であって色値を変更すべきでない領域を含むオブジェクト領域を示す選択領域データを取得する。Ｓ７３０では、選択領域データによって示されるオブジェクト領域に含まれる複数の画素を、色値の変更の対象から除外する。以上により、プロセッサ５１０は、選択領域データによって示されるオブジェクト領域に含まれる画素の色値の変更を、抑制できる。また、ユーザは、色値を変更すべきでない領域を含むオブジェクト領域として、任意のオブジェクト領域を選択してよい。例えば、ユーザは、表やフラグを含むオブジェクト領域を、選択してよい。

【0117】

Ｄ．変形例：
（１）線含有条件は、図５で説明した条件に限らず、オブジェクト領域が線を含むオブジェクトを表すことを示す種々の条件であってよい。例えば、横方向Ｄｘの長さに関しては、長さ閾値ＴｈＬ以上であり、かつ、長さ上限値以下であることが条件であってよい。縦方向Ｄｙの長さに関しても、同様である。横線が除去対象ではない場合、Ｓ３２０の条件のうちの「横方向Ｄｘの長さ」に関する条件は、省略されてよい。横線が除去対象ではない場合、Ｓ３３０の条件のうちの横範囲の条件は省略されてよい。縦線が除去対象ではない場合、Ｓ３２０の条件のうちの「縦方向Ｄｙの長さ」に関する条件は、省略されてよい。縦線が除去対象ではない場合、Ｓ３３０の縦範囲は省略されてよい。画素割合ＲＰに関するＳ３４０は、省略されてよい。例えば、Ｓ３３０の判断結果がＮｏである場合、プロセッサ５１０は、Ｓ３６０へ移行してよい。また、対角線に関するＳ３３０と画素割合ＲＰに関するＳ３４０とが、省略されてよい。線含有条件は、横方向Ｄｘの長さと縦方向Ｄｙの長さと対角線の延びる方向とに関連する種々の条件であってよい。一般的には、線含有条件は、オブジェクト領域が１本の線を表す場合に加えて、オブジェクト領域が１本の線に加えて他の要素（例えば、他の線、文字など）を含む場合にも満たされるような条件であってよい。例えば、横方向Ｄｘと縦方向Ｄｙとのいずれかである特定の方向に延びる線を含むオブジェクト領域を検出する場合、線含有条件は、オブジェクト領域の特定の方向の長さが第１閾値以上であることを、含んでよい。

【0118】

（２）図８の横方向候補条件ＣＣｘは、「ＲＡがＴｈＰ以上である」に限らず、横部分領域ＰＡが横方向Ｄｘに延びる線を含むことを示す種々の条件であってよい。例えば、横方向候補条件ＣＣｘは、横部分領域ＰＡ内の画素の総数に対する横部分領域ＰＡ内の線候補領域の画素の総数の割合である部分画素割合が、部分画素閾値以上であること、であってよい。部分画素閾値は、横部分領域が横方向Ｄｘに延びる線を含む場合に、部分画素割合が部分画素閾値以上となるように、予め実験的に決定されてよい。図１１の縦方向候補条件ＣＣｙについても、同様である。

【0119】

（３）図９のＳ４６０の横対象条件は、上述のＣ１１－Ｃ１３で構成される条件に代えて、他の種々の条件であってよい。例えば、横方向Ｄｘの長さに関しては、長さ閾値ＴｈＬ以上であり、かつ、長さ上限値以下であることが条件であってよい。縦方向Ｄｙの長さに関しては、線幅閾値ＴｈＷ以下であり、かつ、線幅下限値以上（線幅下限値は、ゼロより大きい）であることが条件であってよい。縦方向Ｄｙの長さに関する条件（例えば、第２条件Ｃ１２）は、省略されてよい。対角線に関連する第３条件Ｃ１３は、省略されてよい。横対象条件は、オブジェクト領域の横方向Ｄｘの長さが第２閾値以上であることを、含んでよい。横対象条件は、横方向Ｄｘの長さと縦方向Ｄｙの長さと対角線の角度とに関連する種々の条件であってよい。一般的には、横対象条件は、オブジェクト領域が横方向Ｄｘに延びる線とは異なる要素を含む場合には、満たされないように、構成されていることが好ましい。図１２のＳ５６０の縦対象条件についても、同様である。例えば、縦対象条件は、オブジェクト領域の縦方向Ｄｙの長さが第３閾値以上であることを、含んでよい。縦対象条件は、横方向Ｄｘの長さと縦方向Ｄｙの長さと対角線の角度とに関連する種々の条件であってよい。一般的には、縦対象条件は、オブジェクト領域が縦方向Ｄｙに延びる線とは異なる要素を含む場合には、満たされないように、構成されていることが好ましい。

【0120】

（４）図１４のＳ６５０の文字閾値ＴｈＴを決定する処理は、文字画素割合を使用する種々の処理であってよい。Ｓ６３０で複数の文字オブジェクト領域が検出される場合、プロセッサ５１０は、複数の文字画素割合の総合的な評価値（例えば、平均値、中央値など）を使用して、文字閾値ＴｈＴを決定してよい。例えば、文字閾値ＴｈＴは、評価値に所定の係数を乗じて得られる値であってよい。ここで、複数の文字画素割合のうちの１以上の文字画素割合が、文字閾値ＴｈＴ未満であってもよい。

【0121】

（５）図１５のＳ７１０で表示される情報は、ラベリングデータによって表されるＪ個のオブジェクト領域に関する任意の情報であってよい。例えば、プロセッサ５１０は、各オブジェクト領域を個別に拡大して表示部５４０に表示させてよい。また、プロセッサ５１０は、Ｊ個のオブジェクト領域のリストを表示部５４０に表示させてよい。一般的には、Ｊ個のオブジェクト領域にそれぞれ関連するＪ個のオブジェクト情報を含む情報が、表示されることが好ましい。ユーザは、表示されたＪ個のオブジェクト情報を観察することによって、オブジェクト領域を選択できる。オブジェクト情報は、オブジェクト領域の画像、サイズ、形状など、オブジェクト領域に関する任意の情報であってよい。

【0122】

（６）図１５のＳ７３０の処理は、選択領域データによって示されるオブジェクト領域をラベリングデータから除去する処理に代えて、選択領域データによって示されるオブジェクト領域に含まれる複数の画素を、色値の変更の対象から除外する任意の処理であってよい。例えば、図９のＳ４６５、図１２のＳ５６５で、プロセッサ５１０は、除外フラグが設定された画素の色値の変更をスキップしてよい。この場合、Ｓ７３０では、プロセッサ５１０は、選択領域データによって示されるオブジェクト領域に含まれる複数の画素のそれぞれに、除外フラグを設定してよい。

【0123】

（７）線除去処理に使用される条件は、ユーザによって決定されてよい。例えば、プロセッサ５１０は、横対象条件（図９、Ｓ４６０）と縦対象条件（図１２、Ｓ５６０）を決定するパラメータ（例えば、ＴｈＬ、ＴｈＷ、横範囲、縦範囲）として、ユーザによって決定されたパラメータを使用してよい。さらに、プロセッサ５１０は、横対象条件と縦対象条件を決定するパラメータを使用して、図５の線含有条件を決定するパラメータを決定してよい。線含有条件を決定するパラメータは、横対象条件と縦対象条件を満たさないオブジェクト領域が、線含有条件を満たし得るように、決定されてよい。例えば、プロセッサ５１０は、横対象条件と縦対象条件の長さ閾値ＴｈＬに１未満の係数を乗じることによって、線含有条件の長さ閾値ＴｈＬを算出してよい。

【0124】

（８）線除去処理は、図４に示す実施例の処理に代えて、他の種々の処理であってよい。例えば、横線除去（Ｓ２５０）と縦線除去（Ｓ２６０）との一方が省略されてよい。また、線除去処理済の読取画像である線除去画像を表す線除去画像データの用途は、文字認識に限らず、任意の用途であってよい。例えば、プロセッサ５１０は、ユーザに観察させるために、線除去画像を表示部５４０に表示させてよい。ユーザは、容易に文字を読むことができる。

【0125】

（９）読取装置の構成は、読取実行部２８０（図１）の構成に代えて、原稿を光学的に読み取ることによって、読み取られた原稿の画像である読取画像を表す読取画像データを生成する任意の構成であってよい。例えば、読取装置は、原稿を１枚ずつ自動的に搬送する自動原稿搬送部（ＡＤＦ（Auto Document Feeder））を備えてよい。また、複合機２００に代えて、単機能の読取装置が使用されてよい。また、デジタルカメラやカメラ付スマートフォンなどの携帯装置が、読取装置として使用されてよい。

【0126】

（１０）ユーザ端末５００に代えて、複合機２００の制御部２９９が、線除去処理、ひいては、図２の読取画像処理を実行してよい。このように、読取装置の内部に設けられた制御装置、または、読取装置に接続された画像処理装置が、線除去処理、ひいては、図２の読取画像処理を実行してよい。また、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、線除去処理の機能を一部ずつ分担して、全体として、線除去処理の機能を提供してもよい（これらの装置を備えるシステムが画像処理装置に対応する）。同様に、ネットワークを介して互いに通信可能な複数の装置が、図２の読取画像処理の機能を一部ずつ分担して、全体として、読取画像処理の機能を提供してもよい。

【0127】

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図４のラベリング処理（Ｓ２２０）の機能を、専用のハードウェア回路によって実現してもよい。

【0128】

また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

【0129】

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0130】

２００…複合機、２１０…プロセッサ、２１５…記憶装置、２２０…揮発性記憶装置、２３０…不揮発性記憶装置、２３２…プログラム、２４０…表示部、２５０…操作部、２７０…通信インタフェース、２８０…読取実行部、２９０…印刷実行部、２９９…制御部、５００…ユーザ端末、５１０…プロセッサ、５１５…記憶装置、５２０…揮発性記憶装置、５３０…不揮発性記憶装置、５３１…プログラム、５４０…表示部、５５０…操作部、５７０…通信インタフェース、１０００…システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】