特許 5945487 画像処理装置、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5945487

(24)【登録日】2016年6月3日

(45)【発行日】2016年7月5日

(54)【発明の名称】画像処理装置、プログラム及び方法

(51)【国際特許分類】

   H04N 1/41 20060101AFI20160621BHJP

   H04N 1/40 20060101ALI20160621BHJP

【ＦＩ】

   H04N1/41 C

   H04N1/40 F

【請求項の数】13

【全頁数】26

(21)【出願番号】特願2012-214699(P2012-214699)

(22)【出願日】2012年9月27日

(65)【公開番号】特開2014-72556(P2014-72556A)

(43)【公開日】2014年4月21日

【審査請求日】2014年12月15日

(73)【特許権者】

【識別番号】591044164

【氏名又は名称】株式会社沖データ

(74)【代理人】

【識別番号】100180275

【弁理士】

【氏名又は名称】吉田 倫太郎

(74)【代理人】

【識別番号】100090620

【弁理士】

【氏名又は名称】工藤 宣幸

(74)【代理人】

【識別番号】100161861

【弁理士】

【氏名又は名称】若林 裕介

(72)【発明者】

【氏名】桑野 哲明

【審査官】 久保 光宏

(56)【参考文献】

【文献】 特開平１−３０９４６７（ＪＰ，Ａ）

【文献】 特開２００５−３４１０９８（ＪＰ，Ａ）

【文献】 特開２００９−１３５８８６（ＪＰ，Ａ）

【文献】 特開２００４−３５０２４０（ＪＰ，Ａ）

【文献】 特開２０１０−２７３１２１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／００９８３５１（ＵＳ，Ａ１）

【文献】 特開２０１２−１１４７４４（ＪＰ，Ａ）

【文献】 特開２００６−２０３５８２（ＪＰ，Ａ）

【文献】 特開２００６−１０９４２４（ＪＰ，Ａ）

【文献】 特開２００６−１４３３１（ＪＰ，Ａ）

【文献】 特開２００４−３２５５４（ＪＰ，Ａ）

【文献】 特開２０１２−１３４８４７（ＪＰ，Ａ）

【文献】 特開２０１２−６５１４８（ＪＰ，Ａ）

【文献】 特開２０１１−５５３５６（ＪＰ，Ａ）

【文献】 特開２０１０−６２９３５（ＪＰ，Ａ）

【文献】 土橋外志正（外１名），「文字がくっきりと見える高圧縮ＰＤＦ変換技術」，東芝レビュー，日本，株式会社東芝 技術企画室，２００７年１２月 １日，Vol.62, No.12，第３０〜３３頁，ISSN:0372-0462

【文献】 松尾賢一（外２名），「D-12-19 カラー文書画像からの単色文字領域の抽出」，電子情報通信学会１９９７年総合大会講演論文集，日本，社団法人電子情報通信学会，１９９７年 ３月 ６日，分冊：情報・システム２，第２２６頁

【文献】 河村圭（外２名），「人工的な多値画像のベクタ変換を考慮した領域分割に関する検討」，情報処理学会研究報告，日本，社団法人情報処理学会，２００７年 ９月２５日，Vol.2007, No.96，第４３〜４８頁，ISSN:0919-6072

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１／００−１／５２，

ＣＳＤＢ（日本国特許庁），

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ），

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

入力画像から、各画素について文字又は線を構成する特定領域の特定画素であることを示す第１の値、又は、特定画素でないことを示す第２の値のいずれかの値で表される第１の属性値を決定して、第１の属性画像を生成する第１の属性画像生成手段と、
前記入力画像から、各画素について、有彩色であることを示す第１の値、又は、無彩色であることを示す第２の値のいずれかの値で表される第２の属性値を決定して、第２の属性画像を生成する第２の属性画像生成手段と、
前記入力画像、前記第１の属性画像、及び前記第２の属性画像に基づいて、特定領域の色情報を表す前景画像を生成するものであって、前記前景画像の各画素である注目画素の画素値を決定する際に、前記注目画素を含む参照領域内の前記第１の属性画像及び前記第２の属性画像の内容に応じて、前記注目画素の前記画素値を決定する方式を切替える前景画像生成手段と
を有することを特徴とする画像処理装置。

【請求項2】

前記前景画像生成手段は、前記参照領域内で、第１の属性値として第１の値が設定された画素、及び、第２の属性値として第１の値が設定された画素の分布状況に応じて、前記注目画素の前記画素値を決定する方式を切替えることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記前景画像生成手段は、前記参照領域内で、第１の属性値が第１の値に設定された画素が存在する場合、第１の属性値が第１の値に設定された画素のいずれかを参照画素として選択し、前記参照画素の前記入力画像に係る画素値に基づいて、前記注目画素の前記画素値を決定することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記前景画像生成手段は、前記参照領域内で、第１の属性値が第１の値に設定された画素のそれぞれについて評価値を求め、最も評価値の高い画素を前記参照画素として決定することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記前景画像生成手段は、前記参照領域内で、第１の属性値として第１の値が設定された画素のうち、前記注目画素の最近傍の画素の第２の属性値に、第１の値が設定されているか否かに応じて、評価値を求める方式を切替えることを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記前景画像生成手段は、
前記参照領域内で、第１の属性値として第１の値が設定された画素のうち、前記注目画素の最近傍の画素の第２の属性値に、第１の値が設定されている場合、評価値を求める対象の評価画素のそれぞれについて、当該評価画素の入力画像に係る彩度を利用した評価値を求め、
前記参照領域内で、第１の属性値として第１の値が設定された画素のうち、前記注目画素の最近傍の画素の第２の属性値に、第１の値が設定されていない場合、評価画素のそれぞれについて、当該評価画素の入力画像に係る明度を利用した評価値を求める
ことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記前景画像生成手段は、評価画素の評価値を求める際に、さらに、当該評価画素と前記注目画素との距離を考慮した評価値を算出することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記第１の属性画像生成手段が生成した第１の属性画像について、特定領域のエッジ部分を特定領域から除外する処理を行って、処理済の第１の属性画像を生成する第１属性画像処理手段をさらに有し、
前記前景画像生成手段は、前記処理済の第１の属性画像を利用して、前記前景画像の各画素の画素値を決定する
ことを特徴とする請求項１〜７のいずれかに記載の画像処理装置。

【請求項9】

特定領域以外の背景領域の色情報を表す背景画像を生成する背景画像生成手段をさらに有することを特徴とする請求項１〜８のいずれかに記載の画像処理装置。

【請求項10】

前記背景画像生成手段は、前記入力画像、前記第１の属性画像、及び前記第２の属性画像に基づいて、前記背景画像を生成することを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記前景画像生成手段が生成した前記前景画像、及び、前記背景画像生成手段が生成した前記背景画像を、可逆または不可逆な符号に符号化する画像符号化手段をさらに備えたことを特徴とする請求項９又は１０に記載の画像処理装置。

【請求項12】

コンピュータを、
入力画像から、各画素について文字又は線を構成する特定領域の特定画素であることを示す第１の値、又は、特定画素でないことを示す第２の値のいずれかの値で表される第１の属性値を決定して、第１の属性画像を生成する第１の属性画像生成手段と、
前記入力画像から、各画素について、有彩色であることを示す第１の値、又は、無彩色であることを示す第２の値のいずれかの値で表される第２の属性値を決定して、第２の属性画像を生成する第２の属性画像生成手段と、
前記入力画像、前記第１の属性画像、及び前記第２の属性画像に基づいて、特定領域の色情報を表す前景画像を生成するものであって、前記前景画像の各画素である注目画素の画素値を決定する際に、前記注目画素を含む参照領域内の前記第１の属性画像及び前記第２の属性画像の内容に応じて、前記注目画素の前記画素値を決定する方式を切替える前景画像生成手段と
して機能させることを特徴とする画像処理プログラム。

【請求項13】

画像処理方法において、
第１の属性画像生成手段、第２の属性画像生成手段、前景画像生成手段を有し、
前記第１の属性画像生成手段は、入力画像から、各画素について文字又は線を構成する特定領域の特定画素であることを示す第１の値、又は、特定画素でないことを示す第２の値のいずれかの値で表される第１の属性値を決定して、第１の属性画像を生成し、
前記第２の属性画像生成手段は、前記入力画像から、各画素について、有彩色であることを示す第１の値、又は、無彩色であることを示す第２の値のいずれかの値で表される第２の属性値を決定して、第２の属性画像を生成し、
前記前景画像生成手段は、前記入力画像、前記第１の属性画像、及び前記第２の属性画像に基づいて、特定領域の色情報を表す前景画像を生成するものであって、前記前景画像の各画素である注目画素の画素値を決定する際に、前記注目画素を含む参照領域内の前記第１の属性画像及び前記第２の属性画像の内容に応じて、前記注目画素の前記画素値を決定する方式を切替える
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データ処理装置及びプログラムに関し、例えば、画像データからＭＲＣ（Ｍｉｘｅｄ Ｒａｓｔｅｒ Ｃｏｎｔｅｎｔ）を利用してＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）ファイルを生成する処理に適用し得る。

【背景技術】

【0002】

現在広く使用されているＭＦＰ等の画像データ処理装置には、文書等を読み込んだ画像データ（スキャンデータ）をＰＤＦファイルに変換してデータ出力する機能に対応したものがある。

【0003】

しかし、無圧縮の画像データは情報量が莫大であるため、ネットワークの負荷を減らすためや記録媒体の圧迫を小さくするため、ＰＤＦファイルでは、画像データを圧縮して情報量を削減することが一般的である。近年、ＰＤＦの普及と標準化（ＩＳＯ３２０００−１）に伴い、多層構造で画像を表現することが可能なフォーマットが一般的に利用可能となったといえる。多層構造を利用することで、特許文献１に記載されているように、自然画と文字画像が混在した文書画像を、画質を維持したまま効率的に圧縮することが可能となる。従来、このような画像表現はＭＲＣと呼ばれている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１１−１７７９７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、現在、広く利用されている画像の圧縮手法としてＪＰＥＧ方式が挙げられる。一般的によく使われるＪＰＥＧ方式は、画像の連続性を利用した非可逆圧縮であり、自然画の画質を見た目に大きく損なわず情報量を削減することが可能である。そのためＭＲＣの層を構成する画像の圧縮にも多く用いられる。しかし、色の急激な変化を含む文字色画像などの圧縮方法として採用した場合、その性質から画質の劣化が著しく、高い圧縮効率を得ることも難しい。

【0006】

そのため、複数層で表現された画像（例えば、ＭＲＣにより表現された画像）の画像データを不可逆的な方式（例えば、ＪＰＥＧ方式）で処理（圧縮や符号化等）する場合でも、良好な画質の復元画像を得ることができる画像処理装置、プログラム及び方法が望まれている。

【課題を解決するための手段】

【0007】

第１の本発明の画像処理装置は、（１）入力画像から、各画素について文字又は線を構成する特定領域の特定画素であることを示す第１の値、又は、特定画素でないことを示す第２の値のいずれかの値で表される第１の属性値を決定して、第１の属性画像を生成する第１の属性画像生成手段と、（２）前記入力画像から、各画素について、有彩色であることを示す第１の値、又は、無彩色であることを示す第２の値のいずれかの値で表される第２の属性値を決定して、第２の属性画像を生成する第２の属性画像生成手段と、（４）前記入力画像、前記第１の属性画像、及び前記第２の属性画像に基づいて、特定領域の色情報を表す前景画像を生成するものであって、前記前景画像の各画素である注目画素の画素値を決定する際に、前記注目画素を含む参照領域内の前記第１の属性画像及び前記第２の属性画像の内容に応じて、前記注目画素の前記画素値を決定する方式を切替える前景画像生成手段とを有することを特徴とする。

【0008】

第２の本発明の画像処理プログラムは、コンピュータを、（１）入力画像から、各画素について文字又は線を構成する特定領域の特定画素であることを示す第１の値、又は、特定画素でないことを示す第２の値のいずれかの値で表される第１の属性値を決定して、第１の属性画像を生成する第１の属性画像生成手段と、（２）前記入力画像から、各画素について、有彩色であることを示す第１の値、又は、無彩色であることを示す第２の値のいずれかの値で表される第２の属性値を決定して、第２の属性画像を生成する第２の属性画像生成手段と、（３）前記入力画像、前記第１の属性画像、及び前記第２の属性画像に基づいて、特定領域の色情報を表す前景画像を生成するものであって、前記前景画像の各画素である注目画素の画素値を決定する際に、前記注目画素を含む参照領域内の前記第１の属性画像及び前記第２の属性画像の内容に応じて、前記注目画素の前記画素値を決定する方式を切替える前景画像生成手段として機能させることを特徴とする。

【0009】

第３の本発明の画像処理方法は、（１）第１の属性画像生成手段、第２の属性画像生成手段、前景画像生成手段を有し、（２）前記第１の属性画像生成手段は、入力画像から、各画素について文字又は線を構成する特定領域の特定画素であることを示す第１の値、又は、特定画素でないことを示す第２の値のいずれかの値で表される第１の属性値を決定して、第１の属性画像を生成し、（３）前記第２の属性画像生成手段は、前記入力画像から、各画素について、有彩色であることを示す第１の値、又は、無彩色であることを示す第２の値のいずれかの値で表される第２の属性値を決定して、第２の属性画像を生成し、（４）前記前景画像生成手段は、前記入力画像、前記第１の属性画像、及び前記第２の属性画像に基づいて、特定領域の色情報を表す前景画像を生成するものであって、前記前景画像の各画素である注目画素の画素値を決定する際に、画素値決定に係る注目画素を含む参照領域内の前記第１の属性画像及び前記第２の属性画像の内容に応じて、前記注目画素の前記画素値を決定する方式を切替えることを特徴とする。

【発明の効果】

【0010】

本発明によれば、複数層で表現された画像の画像データを不可逆的な方式で処理する場合でも、良好な画質の復元画像を得ることができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態に係る画像処理装置を構成する制御部の機能的構成について示したブロック図である。

【図2】第１の実施形態に係る画像処理装置の全体構成について示したブロック図である。

【図3】第１の実施形態に係る画像処理装置で処理されるＭＲＣ画像の構造について示した説明図である。

【図4】従来の画像処理装置において、ＭＲＣ画像を構成する画像が劣化する例について示した説明図である。

【図5】第１の実施形態に係る前景背景生成部で、前景画像の画素値を決定する例について示した説明図（その１）である。

【図6】第１の実施形態に係る前景背景生成部で、前景画像の画素値を決定する例について示した説明図（その２）である。

【図7】第１の実施形態に係る属性画像生成部で、画素ごとの第一属性値を決定する処理について示したフローチャートである。

【図8】第１の実施形態に係る属性画像生成部で、画素ごとの第二属性値を決定する処理について示したフローチャートである。

【図9】第１の実施形態に係る前景背景生成部で、前景画像の画素値を決定する処理について示したフローチャートである。

【図10】第１の実施形態に係る前景背景生成部で、背景画像の画素値を決定する処理について示したフローチャートである。

【図11】第１の実施形態に係る画像処理装置の効果について示した説明図（その１）である。

【図12】第１の実施形態に係る画像処理装置の効果について示した説明図（その２）である。

【図13】第１の実施形態に係る課題について示した説明図である。

【図14】第２の実施形態に係る画像処理装置を構成する制御部の機能的構成について示したブロック図である。

【図15】第２の実施形態に係る前景背景生成部で、前景画像の画素値を決定する処理について示したフローチャートである。

【図16】第２の実施形態に係る前景背景生成部で、背景画像の画素値を決定する処理について示したフローチャートである。

【発明を実施するための形態】

【0012】

（Ａ）第１の実施形態
以下、本発明による画像処理装置、プログラム及び方法の第１の実施形態を、図面を参照しながら詳述する。

【0013】

（Ａ−１）第１の実施形態の構成
図１は、この実施形態の画像処理装置１を構成する制御部３の機能的構成を示すブロック図である。また、図２は、この実施形態の画像処理装置１のハードウェア構成を示すブロック図である。なお、図２において、括弧内の符号は、後述する第２の実施形態でのみ用いられる符号である。

【0014】

図３は、画像処理装置１で生成されるＭＲＣ画像１０１のレイヤ構造について示している。

【0015】

図３に示すように、ＭＲＣ画像１０１は、文字や線の領域（以下、「特定領域」と呼ぶ）の情報を示す前景マスク画像１０２、文字や線の色情報（画素値）を示す前景画像１０３、及び自然画や下地の色を示す背景画像１０４の３層（３種類）の画像により構成されている。

【0016】

ＭＲＣ画像１０１において、前景マスク画像１０２は、入力画像を所定の手法に従って二値化したものである。前景マスク画像１０２の生成手法の例としては、白地の上の黒色の文字（以下、「黒文字」と呼ぶ）や線を想定して適応的閾値処理によって周辺の画素より明度が低い画素を文字領域として抽出する手法や、画像全体の明度に一様に閾値処理を施す手法がある。また白地上の有彩色の文字（以下、「色文字」と呼ぶ）や線を想定して、明度と同様に彩度に関して画像を二値化し、明度の二値化結果と組み合わせる手法もある。また、例えば、前景マスク画像１０２には、ＭＭＲ（Ｍｏｄｉｆｉｅｄ Ｍｏｄｉｆｉｅｄ ＲＥＡＤ）など二値画像に適した符号化手法を適用するようにしてもよい。ただし、ＭＭＲは画像にノイズが多いと符号の長さが大きくなるので、前景マスク画像１０２の生成手法は、良好に特定領域を得ることができるだけでなく、ノイズが小さい手法が望ましい。

【0017】

画像処理装置１は、原稿用紙を読み取ること等により取得される入力画像に基づいて、図３に示すようなＭＲＣ画像１０１を生成する処理を行う装置である。画像処理装置１は、図２に示すように、ハードウェア的には、スキャナ２及び制御部３を有している。

【0018】

スキャナ２は、制御部３の制御やユーザの操作に応じて、ユーザにセットされた原稿用紙をスキャニングする装置である。スキャナ２としては、例えば、既存のＰＣやワークステーション等に接続可能なスキャナを適用することができる。

【0019】

制御部３は、スキャナ２から供給された読取信号に基づく入力画像データを処理して、ＭＲＣ画像１０１を生成する機能を担っている。なお、この実施形態では、画像処理装置１は、ハードウェア的に、スキャナ２と制御部３とに分かれた構成であるものとして説明するが、例えば、一体の装置として実現するようにしてもよい。例えば、スキャナ２及び制御部３の機能を備えるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｒｉｎｔｅｒ；複合機）として、画像処理装置１を実現するようにしてもよい。

【0020】

図２に示すように、制御部３は、画像読み取り部１０、属性画像生成部２０、前景背景生成部３０、及び画像符号化部４０を有している。
制御部３は、信号処理を行う回路の一部又は組み合わせとして実現してもよいし、汎用ハードウェア（プロセッサを有するコンピュータ）で動作するソフトウェアにより実現するようにしてもよい。例えば、制御部３は、ＰＣやワークステーション等のコンピュータに、実施形態の画像処理プログラム等をインストールすることにより実現するようにしてもよい。

【0021】

画像読み取り部１０は、スキャナ２から供給された読取信号に基づいて入力画像データ（例えば、ビットマップ形式の画像データ）を生成する。

【0022】

そして、制御部３では、属性画像生成部２０及び前景背景生成部３０により、入力画像に基づく前景マスク画像１０２、前景画像１０３及び背景画像１０４が生成される。そして、画像符号化部４０により、前景画像１０３及び背景画像１０４について、不可逆的な処理方式（この実施形態ではＪＰＥＧ方式）で符号化され、ＭＲＣ画像１０１が完成する。

【0023】

なお、制御部３では、属性画像生成部２０が、第１の属性画像生成部及び第２の属性画像生成部として機能する。また、制御部３では、前景背景生成部３０が、前景画像生成手段及び背景画像生成手段として機能する。さらにまた、制御部３では、画像符号化部４０が画像符号化手段として機能する。

【0024】

ところで、画像をＪＰＥＧ方式で圧縮した場合、その圧縮後の情報量の大小は、出力符号Ｘに関しての平均情報量Ｈ（Ｘ）として、以下の（１）式で表される。（１）式において、Ｐは符号を構成する各要素の出現確率である。

【数1】

【0025】

（１）式において、Ｈ（Ｘ）は符号を構成する要素が少ないほど、また各要素の出現確率のかたよりが大きいほど小さくなる。つまり、符号化する画像が一様である状態に近いほど符号化後の情報量は小さくなるといえる。高い画質と圧縮効率の両立には、前景画像１０３および背景画像１０４をＭＲＣの合成結果（復号画像）として有効な画質を得つつ、画像を一様な状態に近づけることが必要となる。

【0026】

次に、ＭＲＣ画像１０１を構成する各層の画像の圧縮にＪＰＥＧ方式（不可逆圧縮）を用いた場合に、復元画像が劣化する例について図４を用いて説明する。図４では、画像処理の例として、画像Ｇ１０１〜Ｇ１０５（９×９の画素で示される画像）を示す。図４の画像Ｇ１０２、Ｇ１０４では、各画素の画素値（明度）について示している。そして、図４の画像Ｇ１０１、Ｇ１０３、Ｇ１０５では、各画素の明度の高低を、各画素の枠内のパターンで表している。例えば、図４では、画素Ｐ１０１のように黒く塗りつぶされた画素の明度が最も低く、Ｐ１０４のように白抜きの画素の明度が最も高いことを表している。そして、図４では、画素Ｐ１０２に付されたパターンよりも、画素Ｐ１０３に付されたパターンの方が明度が高いことを示している。

【0027】

ここで、例として、文字の一部を表す画像Ｇ１０１についてＭＲＣの背景画像Ｇ１０３が得られたとする。画像Ｇ１０２は画像Ｇ１０３の画素値を示す。情報量削減のため画像Ｇ１０３をＪＰＥＧ方式で不可逆に符号化し、復号した例が画像Ｇ１０５である。画像Ｇ１０４は画像Ｇ１０５の画素値を示す。画像Ｇ１０５では画像Ｇ１０３に残ったエッジ領域（文字又は線のエッジ部分を構成する領域）が周囲に影響をおよぼし、画質が劣化している。前景画像についてもエッジ領域の画素値の影響により同様に画質の劣化が発生する可能性がある。ＭＲＣによる圧縮を想定する文書画像等においては、人間が文字を明快に認識できることが、文字周辺の細かなグラデーションを再現することよりも重要である。そのため、前景画像および背景画像については、単純に入力画像の画素値を該当位置に配置するのではなく、圧縮の観点からも画質の観点からも、それぞれ一様に近い状態の画像ながらも文字や下地の色を表すことが求められる。

【0028】

ＰＤＦにおいてＭＲＣを利用した圧縮を行うことの主目的は、ＪＰＥＧ方式において高画質かつ大きな情報量削減が困難な、文字と自然画が混在した文書原稿画像を対象とした圧縮である。人間が文字を認識する上では、背景と前景である文字の明暗差が大きいほど有効であるが、ＭＲＣを用いた画像処理では、入力画像と復元画像の見た目を大きく乖離させないことが望ましい。そこで、ＭＲＣに基づく画像処理の一例では、背景画像については、注目画素の画素値を決定する際の方法として、入力画素における当該注目画素周囲の背景領域の画素で、明度が高い画素の画素値を参照する手法がある。また、ＭＲＣに基づく画像処理では、前景画像については、注目画素の画素値を決定する際の手法として、入力画像の当該注目画素周辺の前景領域の画素で、明度が低い画素の画素値を参照する手法がある。ただし、上述のＭＲＣに基づく画像処理では、黒文字の領域（無彩色の文字領域）については良好な復元画像が得られるが、色文字の領域（有彩色の文字領域）については、復元画像において明度が落ち、入力画像と比較して人の目には「くすんで」見える場合がある。

【0029】

そこで、第１の実施形態の制御部３（前景背景生成部３０）では、前景領域（前景マスク画像１０２でマスクされない領域）について、有彩色の場合と、無彩色（黒色）の場合とで、前景画像１０３の該当領域に適用する画素値を決定する方式を変更するものとする。

【0030】

具体的には、制御部３は、前景画像１０３について、無彩色の特定領域（例えば、黒文字の領域）に係る画素値を決定する場合、上述の明度を用いて参照画素を決定する方法を用いて画素値を求める。また、制御部３は、前景画像１０３について、有彩色の特定領域（例えば、色文字の領域）に係る画素値を決定する際、入力画素における当該画素の周囲の画素（前景領域の画素）で、彩度がより大きな画素を参照する方法を適用するものとする。なお、制御部３では、前景画像１０３について、有彩色の特定領域に係る画素値を決定する際、上述の明度を用いて参照画素を決定する方法を用いて画素値を決定し、低くなる明度を彩度（入力画像における当該画素の彩度）に応じて補正する方法を適用するようにしてもよい。

【0031】

制御部３では、背景画像１０４を生成する際に、従来と同様の手法により生成するようにしてもよいが、この実施形態では、上述の前景画像１０３の生成と同様に、入力画像における画素ごとの彩度の情報も利用した生成方法を採用しているものとして説明する。

【0032】

次に、属性画像生成部２０の処理について説明する。

【0033】

属性画像生成部２０は、入力画像において特定領域を示す画像（以下、「第一属性画像」と呼ぶ）と、入力画像における色情報として有彩色の領域（又は無彩色の領域）を示す画像（以下、「第二属性画像」と呼ぶ）を生成する。また、属性画像生成部２０は、第１の属性画像生成手段としての第１の属性画像生成部２０１と、第２の属性画像生成手段としての第２の属性画像生成部２０２とを有している。

【0034】

属性画像生成部２０の第１の属性画像生成部２０１は、第一属性画像を生成する際には、入力画像の画素ごとに、当該画素が特定領域に属するか否かを判定し、第一属性画像における画素値（以下、「第一属性値」とも呼ぶ）を決定する。第１の属性画像生成部２０１は、特定領域に属する画素の第一属性値に「１」を設定し、特定領域に属しない画素の第一属性値に「０」を設定するものとする。なお、この実施形態では、属性画像生成部２０が生成する第一属性画像が、ＭＲＣ画像１０１を構成する前景マスク画像１０２として取り扱われるものとする。

【0035】

第２の属性画像生成部２０２は、第二属性画像を生成する際には、入力画像の画素ごとに、当該画素が有彩色の画素であるか、無彩色の画素であるかを判定し、第二属性画像における画素値（以下、「第二属性値」とも呼ぶ）を決定する。第２の属性画像生成部２０２は、有彩色の画素の第二属性値に「１」を設定し、無彩色の画素の第二属性値に「０」を設定するものとする。

【0036】

次に、第１の属性画像生成部２０１が生成する第一属性画像について説明する。

【0037】

ここでは入力画像内の特定領域（文字領域又は線領域）において、地の色（例えば、原稿用紙の色や背景の色）は、白であるものとする。つまり、入力画像内で、特定領域は、周辺の画素より明度が低いと仮定する。

【0038】

第１の属性画像生成部２０１は、基本的に、明度が閾値Ｔｈ１以下となる画素の第一属性値を１とする。

【0039】

また、第１の属性画像生成部２０１は、明度が閾値Ｔｈ１より高い画素であっても、当該画素の明度が、当該画素の周辺画素の明度の平均値により定まる閾値Ｔｈ２以下の場合には、当該画素の第一属性値を１と決定する。

【0040】

さらに、明度のみの参照では黄色の文字について抽出が困難であるので、第１の属性画像生成部２０１は、画素値のＹＣｂＣｒ色空間表現においてＣｂ成分について参照して、当該画素の第一属性値を決定する。具体的には、第１の属性画像生成部２０１は、明度が閾値Ｔｈ２よりも高い画素であっても、当該画素のＣｂ成分（ＹＣｂＣｒ色空間表現におけるＣｂ成分）が閾値Ｔｈ３よりも小さい場合には、当該画素の色を黄色と判定する。さらに、第１の属性画像生成部２０１は、黄色と判定された画素について、当該画素のＣｂ成分が、当該画素の周辺画素のＣｂ成分の平均値により定まる閾値Ｔｈ４より小さい場合には、当該画素を黄色文字の画素と判定し（当該画素の色味が周辺画素よりも強いため）、当該画素の第一属性値を１と決定する。

【0041】

閾値Ｔｈ１〜Ｔｈ４については限定されないものであるが、この実施形態では、以下の（２）〜（４）式のように設定するものとする。なお以下において、「周辺画素（ｎ×ｎ）」とは、当該画素を中心とするｎ×ｎの画素を示しており、この実施形態ではｎ＝９であるものとして説明する。また、各画素の明度は０〜２５５のいずれかの値で示され、数値が高いほど明度が高い色（明るい色）であることを示している。さらに、各画素のＣｂ成分の値は、０〜２５５のいずれかの値で示されるものとする。

【0042】

Ｔｈ１＝１２０ …（２）
Ｔｈ２＝周辺画素（ｎ×ｎ）の明度の平均値 − １０ …（３）
Ｔｈ３ ＝１０８ …（４）
Ｔｈ４ ＝周辺画素（ｎ×ｎ）のＣｂ成分の平均値 − １７ …（４）
以上のように、第１の属性画像生成部２０１は、各画素について第一属性値を決定し、前景マスク画像１０２としての第一属性画像を生成する。

【0043】

次に、属性画像生成部２０の第２の属性画像生成部２０２が生成する第二属性画像について説明する。

【0044】

基本的には、第２の属性画像生成部２０２は、入力画像において、彩度が閾値以上となる画素を有彩色と判断して第二属性値を「１」に設定し、彩度が閾値未満となる画素を無彩色と判断して第二属性値を「０」に設定する。ただし、この実施形態では、第２の属性画像生成部２０２は、第二属性値を決定するための閾値を複数備えており、画素ごとに適用する閾値を決定するものとして説明する。具体的には、第２の属性画像生成部２０２は、当該画素が文字のエッジ領域を構成するエッジ画素の場合には、第二属性値の決定に用いる閾値として閾値Ｔｈ６を適用し、当該画素がエッジ画素でない画素である場合には第二属性値の決定に用いる閾値としてＴｈ５を適用する。エッジ画素は、通常地の色（例えば、原稿用紙の色）と混ざって、彩度が小さくなる傾向があるため、非エッジ画素よりも、エッジ画素に適用する閾値を小さくする（Ｔｈ６＜Ｔｈ５とする）方が望ましい。このように、閾値Ｔｈ６を、閾値Ｔｈ５より小さい値に設定することで、第２の属性画像生成部２０２では、彩度が小さくなったエッジ画素についても有彩色であるかの判定をおこなうことが可能となる。

【0045】

なお、ここで用いる彩度とは、ＹＣｂＣｒ色空間における色味の強さ（彩度Ｓ）であり、例えば、以下の（５）式により表すことができる。なお、（５）式において、Ｃｂ、Ｃｒは０〜２５５のいずれかの値で示されるものとする。また、この実施形態では、閾値Ｔｈ５、Ｔｈ６は以下の（６）、（７）式の値であるものとして説明する。

【0046】

Ｓ＝（Ｃｂ−１２８）＾２＋（Ｃｒ−１２８）＾２ …（５）
Ｔｈ５＝５００ …（６）
Ｔｈ６＝６００ …（７）
以上のように、第２の属性画像生成部２０２は、各画素について第二属性値を決定し、第二属性画像を生成する。そして、属性画像生成部２０は、第一属性画像及び第二属性画像を含む情報（以下、「前景領域情報」と呼ぶ）を、前景背景生成部３０に供給する。

【0047】

そして、前景背景生成部３０は、前景領域情報を利用して、前景画像１０３及び背景画像１０４を生成する。また、前景背景生成部３０は、前景画像生成手段としての前景画像生成部３０１と、背景画像生成手段としての背景画像生成部３０２とを有している。

【0048】

例えば、前景背景生成部３０の前景画像生成部３０１が、前景領域情報を利用して、前景画像１０３を生成する具体例について図５、図６を用いて説明する。図５、図６では、前景画像生成部３０１が、任意の画素（以下、「注目画素」と呼ぶ）について、前景画像１０３上の画素値を決定する処理の例について示している。
図５、図６では、画像の左上の画素を原点として、水平方向にｘ軸、垂直方向にｙ軸を設定している。また、図５、図６では、各画素に対応する四角の枠内に、当該画素の第一属性値、第二属性値、明度、及び彩度の各値を付記している。さらに、図５、図６では、注目画素Ｐ２１１、Ｐ２２１の座標を（Ｘ０，ｙ０）としている。

【0049】

図５では注目画素Ｐ２１１を中心とする横Ｗ０×縦Ｈ０（５×５画素）の参照領域Ａ２０１に第二属性値＝１である画素が存在しない。したがって、図５の場合、前景画像生成部３０１は、参照領域Ａ２０１中の第一属性値＝１の画素で最も明度が低い画素Ｐ２１２の画素値を参照して、前景画像１０３における注目画素Ｐ２１１の画素値を決定する。

【0050】

図６では、注目画素Ｐ２２１を中心とする横Ｗ０×縦Ｈ０（５×５画素）の参照領域Ａ２０１中の最近傍の第一属性値＝１の画素Ｐ２２２に関して第二属性値＝１である。したがって、図６の場合、前景画像生成部３０１は、参照領域中の第一属性値＝１の画素で最も彩度が大きい画素Ｐ２２３の画素値を参照して前景画像１０３における注目画素Ｐ２２１の画素値を決定する。なお、図５、図６の例では、前景画像生成部３０１が前景画像１０３の画素値を決定する際に参照する参照領域として、５×５の画素ブロックサイズを設定しているが、このブロックサイズは任意である。

【0051】

そして、この実施形態では、背景画像生成部３０２は、前景領域情報を利用して、背景画像１０４を生成するものとする。背景画像生成部３０２が、背景画像１０４を生成する方式については限定されないものである。この実施形態では、背景画像生成部３０２は、注目画素について背景画像１０４における画素値を決定する際に、参照領域（注目画素を中心とする５×５画素の領域）に、第一属性値が０の画素（前景領域でない領域の画素）が存在する場合には、参照領域内で第一属性値が０の画素のうち、最も明度が高い画素値を、背景画像１０４における注目画素の画素値に設定するものとする。なお、背景画像１０４については、一般的に知られているＭＲＣに基づく画像処理により生成したものを適用するようにしてもよい。

【0052】

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の画像処理装置１の動作を説明する。

【0053】

（Ａ−２−１）画像処理装置１の全体の動作について
ここでは、画像処理装置１において、ユーザの操作に応じてスキャナ２で原稿用紙がスキャニングされて、スキャニングした信号が画像読み取り部１０に供給されたものとする、そして、画像読み取り部１０は、供給された信号に基づいて入力画像を生成し、属性画像生成部２０に供給する。

【0054】

そして、属性画像生成部２０（第１の属性画像生成部２０１、第２の属性画像生成部２０２）により、入力画像に基づいて、第一属性画像（前景マスク画像１０２）及び第二属性画像が生成される。そして、属性画像生成部２０は、生成した第一属性画像及び第二属性画像を、前景領域情報として前景背景生成部３０に供給する。

【0055】

そして、前景背景生成部３０（前景画像生成部３０１、背景画像生成部３０２）により、入力画像及び前景領域情報に基づいて前景画像１０３及び背景画像１０４が生成される。

【0056】

そして、画像符号化部４０により、前景画像１０３及び背景画像１０４がＪＰＥＧ方式で符号化されＭＲＣ画像１０１（前景マスク画像１０２、前景画像１０３、背景画像１０４）が完成する。

【0057】

画像処理装置１（制御部３）が生成するＭＲＣ画像１０１の出力形式や出力先については限定されないものである。画像処理装置１（制御部３）は、例えば、生成したＭＲＣ画像１０１を用いてＰＤＦファイルを作成して出力（例えば、媒体への記録や、通信による送信処理）を行うようにしてもよい。

【0058】

（Ａ−２−２）第一属性値の決定処理
次に、属性画像生成部２０の第１の属性画像生成部２０１による、入力画像に基づく第一属性値（前景マスク画像１０２）の決定方式について図７のフローチャートを用いて説明する。

【0059】

属性画像生成部２０の第１の属性画像生成部２０１は、画素ごとに、図７のフローチャートの処理を実行して、第一属性値を決定し、第一属性画像を生成する。

【0060】

第１の属性画像生成部２０１は、注目画素（任意の画素）を選択すると、まず、注目画素の入力画像における明度と、閾値Ｔｈ１とを比較する（Ｓ１０１）。第１の属性画像生成部２０１は、注目画素の明度が閾値Ｔｈ１より大きい場合には、後述するステップＳ１０２に移行し、注目画素の明度が閾値Ｔｈ１以下の場合には、ステップＳ１０６に移行して、注目画素の第一属性値を１と決定する。

【0061】

注目画素の明度が閾値Ｔｈ１より大きい場合には、第１の属性画像生成部２０１は、注目画素の周辺画素の明度の平均値に基づく閾値Ｔｈ２を算出し、注目画素の明度と比較する（Ｓ１０２）。第１の属性画像生成部２０１は、注目画素の明度が閾値Ｔｈ２より大きい場合には、後述するステップＳ１０３に移行し、注目画素の明度が閾値Ｔｈ２以下の場合には、ステップＳ１０６に移行して、注目画素の第一属性値を１と決定する。

【0062】

注目画素の明度が閾値Ｔｈ２より大きい場合には、第１の属性画像生成部２０１は、注目画素のＹＣｂＣｒ色空間表現におけるＣｂ成分の値を算出し、閾値Ｔｈ３と比較する（Ｓ１０３）。第１の属性画像生成部２０１は、注目画素のＣｂ成分の値が閾値Ｔｈ３より小さい場合には、後述するステップＳ１０４に移行し、注目画素のＣｂ成分の値が閾値Ｔｈ３以上の場合には、ステップＳ１０５に移行して、注目画素の第一属性値を０と決定する。

【0063】

注目画素のＣｂ成分の値が閾値Ｔｈ３より小さい場合には、第１の属性画像生成部２０１は、注目画素の周辺画素に係るＣｂ成分の平均値に基づく閾値Ｔｈ４を算出し、注目画素のＣｂ成分の値と比較する（Ｓ１０４）。注目画素のＣｂ成分の値が閾値Ｔｈ４より小さい場合には、第１の属性画像生成部２０１は、ステップＳ１０６に移行して、注目画素の第一属性値を１と決定する。注目画素のＣｂ成分の値が閾値Ｔｈ４以上の場合には、第１の属性画像生成部２０１は、ステップＳ１０５に移行して、注目画素の第一属性値を０と決定する。

【0064】

（Ａ−２−３）第二属性値の決定処理
次に、属性画像生成部２０の第２の属性画像生成部２０２による、入力画像に基づく第二属性値の生成方式について図８フローチャートを用いて説明する。

【0065】

第２の属性画像生成部２０２では、画素ごとに、図８のフローチャートの処理を実行して、第二属性値を決定し、第二属性画像を生成する。

【0066】

第２の属性画像生成部２０２は、注目画素（任意の画素）を選択すると、まず、当該注目画素がエッジ画素であるか否かを判定する（Ｓ２０１）。第２の属性画像生成部２０２は、注目画素がエッジ画素の場合、後述するステップＳ２０３から動作し、注目画素がエッジ画素でない場合には、後述するステップＳ２０２から動作する。なお、第２の属性画像生成部２０２がエッジ画素を検出する方式については限定されないものであるが、既存の種々の方式を適用することができる。

【0067】

注目画素の明度がエッジ画素でない場合、第２の属性画像生成部２０２は、注目画素の彩度を算出して、閾値Ｔｈ５と比較する（Ｓ２０２）。そして、注目画素の彩度の値が閾値Ｔｈ５より大きい場合には、第２の属性画像生成部２０２は、ステップＳ２０４に移行して、注目画素の第二属性値を１と決定する。また、注目画素の彩度の値が閾値Ｔｈ５以下の場合には、第２の属性画像生成部２０２は、ステップＳ２０５に移行して、注目画素の第二属性値を０と決定する。

【0068】

注目画素の明度がエッジ画素である場合、第２の属性画像生成部２０２は、注目画素の彩度を算出して、閾値Ｔｈ６と比較する（Ｓ２０３）。そして、注目画素の彩度の値が閾値Ｔｈ６より大きい場合には、第２の属性画像生成部２０２は、ステップＳ２０４に移行して、注目画素の第二属性値を１と決定する。また、注目画素の彩度の値が閾値Ｔｈ６以下の場合には、第２の属性画像生成部２０２は、ステップＳ２０５に移行して、注目画素の第二属性値を０と決定する。

【0069】

（Ａ−２−４）前景画像１０３の生成処理
次に、前景背景生成部３０の前景画像生成部３０１による、前景画像１０３の生成処理について図９のフローチャートを用いて説明する。前景画像生成部３０１では、画素ごとに、図９のフローチャートの処理を実行して、前景画像１０３における画素値を決定する。

【0070】

まず、前景画像生成部３０１は、注目画素を選択し、選択した注目画素を中心とする参照領域を決定する。ここでは、図５、図６に示すように、前景画像生成部３０１は、注目画素を中心とする５×５画素の範囲を参照領域と決定するものとする。そして、前景画像生成部３０１は、決定した参照領域に、第一属性値が１の画素を探索する（Ｓ３０１）。

【0071】

前景画像生成部３０１は、参照領域に第一属性値が１の画素の画素が検出された場合には、後述するステップＳ３０２から動作し、検出できなかった場合は、ステップＳ３０５に移行し、注目画素に係る前景画像１０３の画素値を所定の値（以下、「既定初期値」と呼ぶ）に設定する。前景画像１０３において、前景領域でない画素は、復元画像には表れないが、符号化（圧縮）する際の圧縮率が高くなるように、一律に同じ値を既定初期値に設定するようにしてもよい。例えば、白地に黒文字の原稿画像を想定して黒色を表す画素値を、一律に既定初期値に設定してもよい。また、前景画像生成部３０１では、既定初期値に置き換えて、注目画素の入力画像における画素値をそのまま適用するようにしてもよいし、注目画素の入力画像における周辺画素に基づく値（例えば、周辺画素の画素値の平均値）を適用するようにしてもよい。

【0072】

そして、上述のステップＳ３０１で、参照領域に第一属性値が１の画素の画素が検出された場合には、前景画像生成部３０１は、参照領域内で第一属性値が１の画素のうち、注目画素との距離が最近傍の画素に、第二属性値が１の画素が存在するか否かを探索する（Ｓ３０２）。前景画像生成部３０１は、該当する画素が検出できた場合には、後述するステップＳ３０３から動作し、該当する画素が検出できなかった場合には後述するステップＳ３０４の処理から動作する。

【0073】

上述のステップＳ３０２で該当する画素が検出できた場合、前景画像生成部３０１は、入力画像に係る参照領域で彩度が最も高い画素の画素値を参照して、前景画像１０３における注目画素の画素値として設定する（Ｓ３０３）。

【0074】

一方、上述のステップＳ３０２で該当する画素が検出できなかった場合、前景画像生成部３０１は、入力画像に係る参照領域で明度が最も高い画素の画素値を参照して、前景画像１０３における注目画素の画素値として設定する（Ｓ３０４）。

【0075】

（Ａ−２−５）背景画像１０４の生成処理
次に、前景背景生成部３０の背景画像生成部３０２による、背景画像１０４の生成処理について図１０のフローチャートを用いて説明する。背景画像生成部３０２では、画素ごとに、図１０のフローチャートの処理を実行して、背景画像１０４における画素値を決定する。

【0076】

まず、背景画像生成部３０２は、注目画素を選択し、選択した注目画素を中心とする参照領域を決定する。ここでは、図５、図６と同様に、背景画像生成部３０２は、注目画素を中心とする５×５画素の範囲を参照領域と決定するものとする。そして、背景画像生成部３０２は、決定した参照領域に、第一属性値が０の画素を探索する（Ｓ４０１）。

【0077】

背景画像生成部３０２は、参照領域に第一属性値が０の画素の画素が検出された場合には、後述するステップＳ４０２から動作し、検出できなかった場合は、ステップＳ４０３に移行し、注目画素に係る背景画像１０４の画素値を既定初期値に設定する。背景画像１０４に対応する既定初期値は、前景画像１０３の場合と同様の値を適用するようにしてもよいし、異なる値を適用するようにしてもよい。

【0078】

そして、上述のステップＳ４０１で、参照領域に第一属性値が０の画素の画素が検出された場合には、背景画像生成部３０２は、参照領域内で、第一属性値が０の画素のうち、最も明度の高い画素値を背景画像１０４における注目画素の画素値として設定する（Ｓ４０２）。
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

【0079】

画像処理装置１では、前景画像１０３又は背景画像１０４を生成する際に、明度に係る第一属性画像に加えて、彩度に係る第二属性画像も利用している。具体的には、画像処理装置１では、注目画素に係る前景画像１０３又は背景画像１０４の画素値の決定に用いる参照画素を決定する際に、第一属性画像及び第二属性画像を用いている。これにより、画像処理装置１で生成する前景画像１０３及び背景画像１０４では、特定領域（文字領域及び又は線領域を含む領域）の色が無彩色であっても有彩色であっても、最適な強調処理が施される。したがって、画像処理装置１で生成されるＭＲＣ画像１０１の復元画像においても、特定領域及びその周辺の領域について視覚的に良好な画像が得られる。

【0080】

次に、画像処理装置１における上述の効果について、図１１及び図１２を用いて説明する。

【0081】

図１２は、画像処理装置１により、入力画像Ｇ２０１を処理した場合の例について示している。そして、図１１は、画像処理装置１において、仮に、前景画像１０３を生成する際に、前景領域情報として第二属性画像を用いずに、前景マスク画像１０２（第一属性画像）のみを用いて、前景画像１０３及び背景画像１０４を生成する構成とした場合に、入力画像Ｇ２０１を処理する例について示している。入力画像Ｇ２０１では、図１１、図１２に示すように、上側に「ＡＡ」という文字列が描かれ、下側に背景画像が描かれている。そして、入力画像Ｇ２０１の左上の「Ａ」は黒文字（無彩色の文字）で描かれており、右上の「Ａ」は色文字（有彩色の文字）で描かれているものとする。

【0082】

そして、図１１では、画像処理装置１が、入力画像Ｇ２０１に基づいて、前景マスク画像Ｇ２０２（第一属性画像）を生成し、さらに、前景領域情報として前景マスク画像Ｇ２０２だけを利用して、前景画像Ｇ２０４及び背景画像Ｇ２０５を生成した例について示している。このとき、画像処理装置１では、前景画像Ｇ２０４を生成の過程で、注目画素の画素値を決定する際に、一律に明度のみに注目して参照画素を決定したものとする。すなわち、図１１の例では、画像処理装置１は、図９のフローチャートにおいて、ステップＳ３０２及びＳ３０３の処理を省略して、ステップＳ３０１の判断でＹｅｓの場合、必ずステップＳ３０４の処理が行われることになる。なお、図１１、図１２の例に示す前景マスク画像Ｇ２０２では、説明を簡易とするため、上側の文字列「ＡＡ」の文字領域だけが、前景領域として抽出された状態となっている。そして、図１１では、前景マスク画像Ｇ２０２と、ＪＰＥＧ方式で符号化した前景画像Ｇ２０４及び背景画像Ｇ２０５を含むＭＲＣ画像を復元して復元画像Ｇ２０６を得た例について示している。

【0083】

なお、図１１、図１２に示す、前景マスク画像Ｇ２０２、及び第二属性画像Ｇ３０３においては、属性が無効（値が０）の領域を黒く表示し、属性が有効（値が１）の領域を白く表示している。

【0084】

そして、図１２では、画像処理装置１が、入力画像Ｇ２０１に基づいて、前景マスク画像Ｇ２０２（第一属性画像）及び第二属性画像Ｇ３０３を生成し、さらに、前景領域情報として、前景マスク画像Ｇ２０２及び第二属性画像Ｇ３０３を利用して、前景画像Ｇ３０４及び背景画像Ｇ３０５を生成した例について示している。そして、図１２では、前景マスク画像Ｇ２０２と、ＪＰＥＧ方式で符号化した前景画像Ｇ３０４及び背景画像Ｇ３０５を含むＭＲＣ画像を復元して復元画像Ｇ３０６を得た例について示している。

【0085】

図１１では、前景画像Ｇ２０４を生成の過程で、注目画素の画素値を決定する際に、一律に明度のみに注目して参照画素を決定しているため、前景画像Ｇ２０４及び復元画像Ｇ２０６で、色文字（右上の色文字の「Ａ」の画像）の領域に色の「くすみ」が発生する場合がある。

【0086】

一方、図１２では、前景画像Ｇ３０４を生成の過程で、注目画素の画素値を決定する際に、第一属性値が１で、かつ、第二属性値が０の領域（すなわち、左上の黒文字「Ａ」の領域）では、無彩色に有効な前景の画素値決定方法（明度に基づく参照画素の決定）を適用し、第一属性値が１で、かつ、第二属性値が１の領域（すなわち、右上の色文字「Ａ」の領域）では有彩色に有効な前景の画素値決定方法（彩度に基づく参照画素の決定）を適用して、前景画像を生成することになる。これにより、図１２の例では、復号画像Ｇ３０６として、黒文字及び色文字の両方について、認識しやすい良好な画質を得ることができる。特に、図１２の例では、復号画像Ｇ３０６において色文字の領域について、図１１の例と異なり「くすみ」が少ない良好な画質を得ることができる。

【0087】

（Ｂ）第２の実施形態
以下、本発明による画像処理装置、プログラム及び方法の第２の実施形態を、図面を参照しながら詳述する。

【0088】

（Ｂ−１）第２の実施形態の構成
第２の実施形態の画像処理装置１Ａの全体構成も上述の図２を用いて示すことができる。図２に示すように、第２の実施形態では、制御部３が制御部３Ａに置き換わっている点で、第１の実施形態と異なっている。

【0089】

次に、第１の実施形態の画像処理装置１で生じる課題について説明する。

【0090】

図１３は、第１の実施形態の画像処理装置１で生じる課題の例について示した説明図である。

【0091】

図１３では、画像処理の例として、画像Ｇ４０１〜Ｇ４０７（９×９の画素で示される画像）を示す。図４の画像Ｇ４０１、Ｇ４０３〜Ｇ４０７では、各画素の画素値（明度）の高低を、各画素の枠内のパターンで表している。例えば、図１３では、画素Ｐ４０１のように黒く塗りつぶされた画素の明度が最も低く、Ｐ４０３のように白抜きの画素の明度が最も高いことを表している。そして、図４では、画素Ｐ４０２に付されたパターンの画素は、Ｐ４０１とＰ４０３との間の明度の画素値の画素であることを表している。また、画像Ｇ４０２は、前景マスク画像であり、各画素に対応する第一属性値が付されている。

【0092】

図１３において、画像Ｇ４０１は、制御部３で処理される入力画像の一部であり、文字領域（文字を構成する線）が含まれている。そして、Ｇ４０２は、画像Ｇ４０１の領域に対応する前景マスク画像（各画素の第一属性値）を表している。なお、前景マスク画像Ｇ４０２は、第１の実施形態の画像処理装置１により得られた内容であるものとする。そして、このとき、文字の形状を表す理想的なＭＲＣ画像の復号結果は、図１３における画像Ｇ４０３のような画像となる。そして、第１の実施形態の前景背景生成部３０において、画像Ｇ４０３を得るためには、理想的な前景画像Ｇ４０６と理想的な背景画像Ｇ４０７が得られることが前提となる。

【0093】

しかし、前景マスク画像Ｇ４０２により画像Ｇ４０１の画素値を単純に前景・背景の該当領域から拡散した場合、前景として想定される文字の色にエッジ領域の画素値が混在して拡散した画像（例えば、図１３の画像Ｇ４０４）や、背景として想定される下地の色にエッジ領域の画素値が混在して拡散した画像（例えば、図１３の画像Ｇ４０５）が得られる場合がある。そして、画像Ｇ４０４や画像Ｇ４０５のような画像に対して、ＪＰＥＧ方式を用いた非可逆圧縮を行った場合、エッジ領域の画素値がノイズとして周囲に拡散し、復元画像の画質の劣化に繋がる。また、理想的な前景画像Ｇ４０６や背景画像Ｇ４０７と比較してエッジ領域の画素値が混在した前景画像Ｇ４０４や背景画像Ｇ４０５は画像の一様性に欠けるので圧縮効率も悪くなる。

【0094】

そのため、前景画像１０３を生成するにあたって、特定領域（文字領域及び線領域）のエッジ領域（例えば、図１３の前景マスク画像Ｇ４０２における領域Ａ４０１）よりも、特定領域のうちエッジ領域よりも内側の領域（例えば、図１３の前景マスク画像Ｇ４０２における領域Ａ４０３）の画素を優先して参照する（参照画素として選択する）方が、ＭＲＣに適した文字や線の画素値の参照が可能となる。また、背景画像１０４を生成するにあたって、特定領域のエッジ領域（例えば、図１３の前景マスク画像Ｇ４０２における領域Ａ４０１）よりも、特定領域でない背景領域（例えば、図１３の前景マスク画像Ｇ４０２における領域Ａ４０２）の画素を優先して参照する（参照画素として選択する）ことにより、ＭＲＣに適した背景の画素値の参照が可能となる。

【0095】

そこで、第２の実施形態の画像処理装置１Ａ（制御部３Ａ）では、第一属性画像から、特定領域に係るエッジ領域を無効（エッジ画素の第一属性値を０とする）とした画像も用いて、前景画像１０３及び背景画像１０４を生成するものとする。

【0096】

次に、上述の構成を実現するための制御部３Ａの内部構成の詳細について説明する。

【0097】

図１４は、第２の実施形態の制御部３Ａの機能的構成について示したブロック図である。

【0098】

第２の実施形態の制御部３Ａでは、属性画像フィルタリング部５０が追加されている点で、第１の実施形態と異なっている。また、第２の実施形態では、前景背景生成部３０が、前景背景生成部３０Ａに置き換わっている点で、第１の実施形態と異なっている。また、前景背景生成部３０Ａでは、前景画像生成部３０１及び背景画像生成部３０２が、前景画像生成部３０１Ａ及び背景画像生成部３０２Ａに置き換わっている点で、第１の実施形態と異なっている。

【0099】

第１属性画像処理手段としての属性画像フィルタリング部５０は、第一属性画像をフィルタリング処理することにより、エッジ領域の画素を前景領域から取り除く（第一属性値を０とする）処理を行う。そして、属性画像フィルタリング部５０は、フィルタリング処理済の第一属性画像（以下、「フィルタリング済第一属性画像」とも呼ぶ）を、前景背景生成部３０に供給する。

【0100】

属性画像フィルタリング部５０による、フィルタリング処理の具体的方法については限定されないものであるが、例えば、以下の（８）式に示すような係数行列を用いたフィルタリング処理を行うようにしてもよい。属性画像フィルタリング部５０は、以下の（８）式により、注目画素を中心とする所定範囲の領域（以下、「フィルタリング参照領域」と呼ぶ）における、前景画素（第一属性画像における第一属性値が１となる画素）の分布状況に応じて、注目画素のフィルタリング処理後の第一属性値を決定する。具体的には、属性画像フィルタリング部５０は、注目画素を中心とするフィルタリング参照領域（３×３画素の領域）の各画素に係る第一属性値を、それぞれ（８）式の係数行列にあてはめて計算する。そして、属性画像フィルタリング部５０は、（８）式の係数行列に基づいて算出された値を利用して、注目画素のフィルタリング処理後の第一属性値を決定する。

【0101】

この実施形態では、属性画像フィルタリング部５０は、注目画素に係る（８）式の係数行列に基づいて算出された値が１以上の場合、注目画素の第一属性値（フィルタリング済第一属性画像における第一属性値）を１と決定し、そうでない場合（算出結果が１未満の場合）には注目画素の第一属性値を０と決定する。例えば、以下の（８）式に、フィルタリング参照領域（３×３画素の領域）の各画素の第一属性値をあてはめた場合、フィルタリング参照領域内に第一属性値が１の画素が８個以上あるとき、その演算結果は１となり、８個未満（７個以下）のときその演算結果は１未満となる。

【数2】

【0102】

以上のように、属性画像フィルタリング部５０は、第一属性画像をフィルタリング処理してフィルタリング済第一属性画像を生成する。

【0103】

前景背景生成部３０Ａの前景画像生成部３０１Ａは、フィルタリング処理によりエッジ領域だけでなく特定領域（文字領域や線領域）自体が消去されてしまう領域が発生することを考慮して、参照領域に第一属性値が１の画素が存在しない場合には、フィルタリング処理前の第一属性画像に基づいて、前景画像１０３の画素値を決定する。

【0104】

また、前景画像生成部３０１Ａは、注目画素（参照領域内に第一属性値が１の画素が存在する注目画素）の前景画像１０３における画素値を決定する際、注目画素の最近傍（注目画素に隣接する画素）において、第一属性値が１で、かつ、第二属性値が１の画素が存在するか否かを探索する。

【0105】

そして、参照領域内で第一属性値が１の画素のうち、注目画素との距離が最近傍の画素に、第二属性値が１の画素が存在する場合には、前景画像生成部３０１Ａは、参照領域内で第一属性値が１の画素のそれぞれについて、彩度と注目画素からの距離に基づく値である評価値Ｅｓを計算する。そして、前景画像生成部３０１Ａは、参照領域内で第一属性値が１であり、かつ、評価値Ｅｓが最も大きい画素の画素値を参照して、注目画素の前景画像１０３における画素値として決定する。

【0106】

一方、参照領域内で第一属性値が１の画素のうち、注目画素との距離が最近傍の画素に、第二属性値が１の画素が存在しない場合には、前景画像生成部３０１Ａは、参照領域内で第一属性値が１の画素のそれぞれについて、明度と注目画素からの距離に基づく値である評価値Ｅｖ１を計算する。そして、前景画像生成部３０１Ａは、参照領域内で第一属性値が１であり、かつ、評価値Ｅｖ１が最も大きい画素の画素値を参照して、注目画素の前景画像１０３における画素値として決定する。

【0107】

第１の実施形態では、注目画素に係る参照画素を決定する際、明度又は彩度を評価値として、参照領域内の各画素を評価していたが、第２の実施形態の前景画像生成部３０１Ａでは、さらに注目画素との距離も考慮した評価値に基づいて、参照画素を決定するものとする。

【0108】

参照領域内の各画素について、評価値Ｅｓ、Ｅｖ１を算出する具体的な計算式は限定されないものであるが、例えば、以下の（９）、（１０）式を適用するようにしてもよい。以下では、評価値を算出する対象となる画素を「評価画素」とも呼ぶ。

【0109】

なお、以下の（９）、（１０）式において、ａ１は画素値に係る係数を表している。Ｓは、当該画素の彩度である。ａ２は評価画素と注目画素との距離に係る係数を表している。Ｌｍａｘは、評価画素と注目画素との最大距離を示している。Ｌは評価画素と注目画素との距離を示している。Ｖｍａｘは、評価画素の明度の最大値を示している。Ｖは、評価画素の明度の値を示している。また、この実施形態では、例として、ａ１、ａ２、Ｖｍａｘ、Ｌｍａｘの値は、それぞれ以下の（１１）〜（１４）式に示す値であるものとする。

【0110】

Ｅｓ＝ａ１＊Ｓ＋ａ２＊（Ｌｍａｘ−Ｌ） …（９）
Ｅｖ１＝ａ１＊（Ｖｍａｘ−Ｖ）＋ａ２＊（Ｌｍａｘ−Ｌ） …（１０）
ａ１ ＝ １ …（１１）
ａ２ ＝ ８０ …（１２）
Ｖｍａｘ ＝ ２５５ …（１３）
Ｌｍａｘ ＝ ４ …（１４）
Ｖｍａｘは画像の全領域内で明度がとりうる最大の値で、Ｖｍａｘ−Ｖが高い、つまり画素値Ｖが低いほど、背景画像との明暗差が大きくなるため、式（１０）において評価値Ｅｖ１が高くなる。ａ１とａ２の比重ａ１／ａ２に関して、ａ１／ａ２を大きく設定することで、ａ１／ａ２を小さく設定した場合と比較して注目画素からより遠くの画素値を参照する割合が増加する。そのため、元の画像と文字色が大きく異なる可能性が増大するが、文字領域に関して前景画像と背景画像の明暗差が大きくなるため、人間が文字を認識する上で有効な画像を得ることが可能となる。
そして、前景背景生成部３０Ａの背景画像生成部３０２Ａは、前景領域情報の一部として、フィルタリング処理前の第一属性画像、及び、フィルタリング済第一属性画像を利用して、背景画像１０４を生成する。

【0111】

背景画像生成部３０２Ａが、背景画像１０４の画素値を決定する方式については、限定されないものであるが、この実施形態では、以下のような方式を適用するものとする。この実施形態では、背景画像生成部３０２Ａは、参照領域内で第一属性値が０の画素のそれぞれについて、明度と注目画素からの距離に基づく評価値Ｅｖ２を計算する。そして、背景画像生成部３０２Ａは、参照領域内で第一属性値が０であり、かつ、評価値Ｅｖ２が最も大きい画素の画素値を、注目画素の背景画像１０４における画素値として決定する。

【0112】

参照領域内の各画素について、評価値Ｅｖ２を算出する具体的な計算式は限定されないものであるが、例えば、以下の（１５）式を適用するようにしてもよい。

【0113】

Ｅｖ２＝ａ１＊Ｖ＋ａ２＊（Ｌｍａｘ−Ｌ） …（１５）
そして、画像符号化部４０では、前景背景生成部３０Ａで生成された前景画像１０３及び背景画像１０４をＪＰＥＧ方式で符号化する。そして、画像符号化部４０は、第一属性画像に基づく前景マスク画像１０２と、符号化した前景画像１０３及び背景画像１０４とを合わせて、ＭＲＣ画像１０１として出力する。

【0114】

制御部３Ａが出力するＭＲＣ画像１０１に設定する前景マスク画像１０２は、例えば、フィルタリング処理前の第一属性画像としてもよいし、第一属性画像とフィルタリング済第一属性画像とを合成した合成画像としてもよい。例えば、制御部３Ａは、前景背景生成部３０Ａ（前景画像生成部３０１Ａ）で前景画像１０３の画素値を決定する際に第一属性画像を用いて決定された画素についてだけ、合成画像における画素値を第一属性画像の値とし、それ以外の合成画像の画素についてはフィルタリング済第一属性画像の画素値とするようにしてもよい。

【0115】

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の画像処理装置１Ａの動作を説明する。以下では、第２の実施形態の画像処理装置１Ａにおいて、第１の実施形態と異なる部分を中心として説明する。

【0116】

（Ｂ−２−１）画像処理装置１Ａの全体の動作について
第２の実施形態の画像処理装置１Ａの全体の動作は、属性画像フィルタリング部５０によるフィルタリング処理、及び前景背景生成部３０Ａの処理以外は、第１の実施形態とほぼ同様であるので詳しい説明を省略する。

【0117】

（Ｂ−２−２）前景画像１０３の生成処理
次に、前景背景生成部３０Ａの前景画像生成部３０１Ａによる、前景画像１０３の生成処理について図１５のフローチャートを用いて説明する。前景画像生成部３０１Ａでは、画素ごとに、図１５のフローチャートの処理を実行して、前景画像１０３における画素値を決定する。

【0118】

まず、前景画像生成部３０１Ａは、注目画素を選択し、選択した注目画素を中心とする参照領域を決定する。ここでは、図５、図６の場合に示すように、前景画像生成部３０１Ａは、注目画素を中心とする５×５画素の範囲を参照領域と決定するものとする。そして、前景画像生成部３０１Ａは、決定した参照領域から、第一属性値が１の画素を探索する（Ｓ５０１）。

【0119】

前景画像生成部３０１Ａは、参照領域に第一属性値が１の画素が検出された場合には、後述するステップＳ５０４から動作し、検出できなかった場合は、ステップＳ５０２に移行する。

【0120】

上述のステップＳ５０１で、参照領域に第一属性値が１の画素が検出されなかった場合には、前景画像生成部３０１Ａは、前景画像１０３に係る注目画素の画素値決定に、フィルタリング処理前の第一属性画像を適用すると決定する（Ｓ５０２）。そして、前景画像生成部３０１Ａは、フィルタリング処理前の第一属性画像の参照領域から、第一属性値が１の画素を探索する（Ｓ５０３）。前景画像生成部３０１Ａは、参照領域から第一属性値が１の画素が検出された場合には、後述するステップＳ５０４から動作し、検出できなかった場合は、ステップＳ５０７に移行し、注目画素に係る前景画像１０３の画素値を既定初期値に設定する。

【0121】

一方、上述のステップＳ５０１、又はステップＳ５０３で、参照領域に第一属性値が１の画素が検出された場合には、前景画像生成部３０１Ａは、参照領域内で第一属性値が１の画素のうち、注目画素との距離が最近傍の画素に、第二属性値が１の画素が存在するか否かを探索する（Ｓ５０４）。そして、上述のステップＳ５０４で、該当する画素が検出できた場合には、前景画像生成部３０１Ａは、後述するステップＳ５０５の処理を実行し、該当する画素が検出できなかった場合には後述するステップＳ５０６の処理を実行する。

【0122】

なお、ステップＳ５０４〜Ｓ５０６の処理において、前景画像生成部３０１Ａが参照領域の第一の画素を確認する際に、上述のステップＳ５０２の処理が実行された場合はフィルタリング処理前の第一属性画像から確認し、それ以外の場合は、フィルタリング済第一属性画像から確認する。すなわち、前景画像生成部３０１Ａでは、第一属性値を確認する場合には、デフォルトとしてフィルタリング済第一属性画像を参照するように設定されている。

【0123】

上述のステップＳ５０４で、該当する画素が検出できた場合には、前景画像生成部３０１Ａは、参照領域内で第一属性値が１の画素のそれぞれについて、評価値Ｅｓを計算する。そして、前景画像生成部３０１Ａは、参照領域内で第一属性値が１であり、かつ、評価値Ｅｓが最も大きい画素の画素値を、注目画素の前景画像１０３における画素値として決定する（Ｓ５０５）。

【0124】

上述のステップＳ５０４で、該当する画素が検出できなかった場合には、前景画像生成部３０１Ａは、参照領域内で第一属性値が１の画素のそれぞれについて、評価値Ｅｖ１を計算する。そして、前景画像生成部３０１Ａは、参照領域内で第一属性値が１であり、かつ、評価値Ｅｖ１が最も大きい画素の画素値を、注目画素の前景画像１０３における画素値として決定する（Ｓ５０６）。

【0125】

（Ｂ−２−３）背景画像１０４の生成処理
次に、前景背景生成部３０Ａの背景画像生成部３０２Ａによる、背景画像１０４の生成処理について図１６のフローチャートを用いて説明する。背景画像生成部３０２Ａでは、画素ごとに、図１６のフローチャートの処理を実行して、背景画像１０４における画素値を決定する。

【0126】

まず、背景画像生成部３０２Ａは、注目画素を選択し、選択した注目画素を中心とする参照領域を決定する。ここでは、図５、図６に示すように、背景画像生成部３０２Ａは、注目画素を中心とする５×５画素の範囲を参照領域と決定するものとする。そして、背景画像生成部３０２Ａは、決定した参照領域から、第一属性値が０の画素を探索する（Ｓ６０１）。

【0127】

背景画像生成部３０２Ａは、参照領域に第一属性値が０の画素が検出された場合には、後述するステップＳ６０４から動作し、検出できなかった場合は、ステップＳ６０２に移行する。

【0128】

上述のステップＳ６０１で、参照領域に第一属性値が０の画素が検出されなかった場合には、背景画像生成部３０２Ａは、背景画像１０４に係る注目画素の画素値決定に、フィルタリング処理前の第一属性画像を適用すると決定する（Ｓ６０２）。そして、背景画像生成部３０２Ａは、フィルタリング処理前の第一属性画像の参照領域から、第一属性値が０の画素を探索する（Ｓ６０３）。 背景画像生成部３０２Ａは、参照領域から第一属性値が０の画素が検出された場合には、後述するステップＳ６０４から動作し、検出できなかった場合は、ステップＳ６０５に移行し、注目画素に係る背景画像１０４の画素値を既定初期値に設定する。

【0129】

一方、上述のステップＳ６０１、又はステップＳ６０３で、参照領域に第一属性値が０の画素が検出された場合には、背景画像生成部３０２Ａは、参照領域内で第一属性値が０の画素のそれぞれについて、評価値Ｅｖ２を計算する。そして、背景画像生成部３０２Ａは、参照領域内で第一属性値が０であり、かつ、評価値Ｅｖ２が最も大きい画素の画素値を、注目画素の背景画像１０４における画素値として決定する（Ｓ６０４）。なお、ステップＳ６０４の処理において、背景画像生成部３０２Ａが参照領域の第一の画素を確認する際に、上述のステップＳ６０２の処理が実行された場合はフィルタリング処理前の第一属性画像から確認し、それ以外の場合は、フィルタリング済第一属性画像から確認する。

【0130】

（Ｂ−３）第２の実施形態の効果
第２の実施形態では、第１の実施形態の効果に加えて、以下のような効果を奏することができる。

【0131】

第２の実施形態の画像処理装置１Ａでは、フィルタリング済第一属性画像を用いて、前景画像１０３及び背景画像１０４を生成することにより、ＭＲＣ画像１０１の合成画像（復号画像）の画質（特に特定領域における画質）を、第１の実施形態よりも良好とすることができる。

【0132】

また、第２の実施形態の画像処理装置１Ａにより生成されるＭＲＣ画像１０１では、第１の実施形態よりも前景画像１０３及び背景画像１０４の画像を一様な状態に近づけるので、ＪＰＥＧ方式等で符号化（圧縮）したときの圧縮効率を向上させることができる。

【0133】

（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

【0134】

（Ｃ−１）上記の各実施形態では、本発明の画像処理装置を、スキャナ及び制御部を備える装置に適用する例について示したが、スキャナを備えない装置（すなわち、上記の各実施形態の制御部のみの構成）として実現するようにしてもよい。その場合、入力画像について、外部から入力（例えば、通信により入力や、記録媒体により入力）するようにしてもよい。

【0135】

（Ｃ−２）上記の各実施形態では、画像処理装置は、ＭＲＣ画像を出力する構成として説明したが、単に、前景マスク画像、前景画像、及び背景画像を別個に出力する構成としてもよい。すなわち、上記の各実施形態では、生成した前景マスク画像、前景画像、及び背景画像について、出力するデータ形式は限定されないものである。

【0136】

また、本発明の画像処理装置において、単に入力画像から前景画像又は背景画像のいずれか一方のみを出力する構成としてもよい。さらに、上記の各実施形態の画像処理装置において、画像符号化部を省略して、符号化しない状態で前景画像及び背景画像を出力するようにしてもよい。

【0137】

（Ｃ−３）上記の各実施形態において、画像符号化部はＪＰＥＧ方式で前景画像及び背景画像を符号化する例について説明したが、符号化方式はＪＰＥＧ方式に限定されないものである。なお、画像符号化部が行う符号化方式は、ＪＰＥＧのように不可逆な符号化方式としてもよいし、可逆な符号化方式としてもよい。

【符号の説明】

【0138】

１…画像処理装置、２…スキャナ、３…制御部、１０…画像読み取り部、２０…属性画像生成部、３０…前景背景生成部、４０…画像符号化部、１０１…ＭＲＣ画像、１０２…前景マスク画像、１０３…前景画像、１０４…背景画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】