特許 6100744 自動修復を用いたカラー文書画像セグメンテーション及び二値化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6100744

(24)【登録日】2017年3月3日

(45)【発行日】2017年3月22日

(54)【発明の名称】自動修復を用いたカラー文書画像セグメンテーション及び二値化

(51)【国際特許分類】

   H04N 1/46 20060101AFI20170313BHJP

【ＦＩ】

   H04N1/40 103C

【請求項の数】19

【外国語出願】

【全頁数】12

(21)【出願番号】特願2014-188924(P2014-188924)

(22)【出願日】2014年9月17日

(65)【公開番号】特開2015-65654(P2015-65654A)

(43)【公開日】2015年4月9日

【審査請求日】2016年1月28日

(31)【優先権主張番号】14/035,855

(32)【優先日】2013年9月24日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507031918

【氏名又は名称】コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】ティアン， イービン

【審査官】 石田 信行

(56)【参考文献】

【文献】 特開２０１１−１３５４００（ＪＰ，Ａ）

【文献】 特開２００６−０９４００８（ＪＰ，Ａ）

【文献】 特開昭６３−１５３６８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４６

Ｈ０４Ｎ １／４０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

バックグラウンド内容及びフォアグラウンド内容を含む文書画像を処理するコンピューターにより実行される方法であって、
（ａ）局所特徴の高い値を有する前記文書画像の領域を示す二値マップである、前記フォアグラウンド内容に対応するフォアグラウンドマスクを生成する工程と、
（ｂ）前記文書画像について、前記フォアグラウンドマスクにより示される領域に所定の色を割り当てることにより修復を行い、バックグラウンド画像を生成する工程と、
（ｃ）前記文書画像と前記バックグラウンド画像との差分画像を計算する工程と、
（ｄ）前記差分画像を二値化して二値フォアグラウンド画像を生成する工程と、
を有することを特徴とする方法。

【請求項2】

前記工程（ａ）は、
（ａ１）前記文書画像の各画素について、局所ウィンドウ内の最大局所特徴を計算し、最大局所特徴マップを生成する工程と、
（ａ２）前記最大局所特徴マップを二値化して前記フォアグラウンドマスクを生成する工程と、
を有することを特徴とする請求項１に記載の方法。

【請求項3】

前記文書画像はカラー画像であり、
前記文書画像の各画素は、一以上のデータチャンネルに対応する一以上の画素値を有し、
前記工程（ａ１）は、前記文書画像の各画素について、前記一以上のデータチャンネルの各々に対する前記局所ウィンドウ内の局所特徴を計算する工程を有し、
前記最大局所特徴は、前記一以上のデータチャンネルのすべての前記局所特徴のうち最大のものであることを特徴とする請求項２に記載の方法。

【請求項4】

前記局所特徴は、局所分散、局所コントラスト、局所テクスチャ、局所勾配又は局所位相一致であることを特徴とする請求項３に記載の方法。

【請求項5】

前記工程（ａ）は、前記工程（ａ２）の後に、前記フォアグラウンドマスクの穴を埋める工程を更に有することを特徴とする請求項２から４のいずれか一項に記載の方法。

【請求項6】

前記工程（ａ）は、前記工程（ａ２）の後に、前記フォアグラウンドマスクから、ノイズ及び線を含む望ましくない成分を取り除く工程を更に有することを特徴とする請求項２から５のいずれか一項に記載の方法。

【請求項7】

前記工程（ａ）の前に、前記文書画像を倍率で縮小する工程であって、縮小された前記文書画像を用いて前記工程（ａ）及び前記工程（ｂ）を行う工程と、
前記工程（ｂ）の後であって前記工程（ｃ）の前に、前記バックグラウンド画像を前記倍率で拡大する工程であって、縮小前の前記文書画像及び拡大された前記バックグラウンド画像を用いて前記工程（ｃ）を行う工程と、
を更に有することを特徴とする請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記工程（ｄ）の後に、
（ｅ）前記二値フォアグラウンド画像からノイズ及び線を含む望ましくない成分を取り除く工程を更に有することを特徴とする請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記工程（ｄ）の後に、前記工程（ｄ）で生成された前記二値フォアグラウンド画像を第２のマスクとして使用し、前記文書画像について、前記第２のマスクにより示される領域に所定の色を割り当てることにより修復することでバックグラウンド画像を生成する工程を更に有することを特徴とする請求項１から８のいずれか一項に記載の方法。

【請求項10】

データ処理装置に、バックグラウンド内容及びフォアグラウンド内容を含む文書画像の処理を実行させるプログラムであって、前記処理は、
（ａ）局所特徴の高い値を有する前記文書画像の領域を示す二値マップである、前記フォアグラウンド内容に対応するフォアグラウンドマスクを生成する工程と、
（ｂ）前記文書画像について、前記フォアグラウンドマスクにより示される領域に所定の色を割り当てることにより修復を行い、バックグラウンド画像を生成する工程と、
（ｃ）前記文書画像と前記バックグラウンド画像との差分画像を計算する工程と、
（ｄ）前記差分画像を二値化して二値フォアグラウンド画像を生成する工程と、
を有することを特徴とするプログラム。

【請求項11】

前記工程（ａ）は、
（ａ１）前記文書画像の各画素について、局所ウィンドウ内の最大局所特徴を計算し、最大局所特徴マップを生成する工程と、
（ａ２）前記最大局所特徴マップを二値化して前記フォアグラウンドマスクを生成する工程と、
を有することを特徴とする請求項１０に記載のプログラム。

【請求項12】

前記文書画像はカラー画像であり、
前記文書画像の各画素は、一以上のデータチャンネルに対応する一以上の画素値を有し、
前記工程（ａ１）は、前記文書画像の各画素について、前記一以上のデータチャンネルの各々に対する前記局所ウィンドウ内の局所特徴を計算する工程を有し、
前記最大局所特徴は、前記一以上のデータチャンネルのすべての前記局所特徴のうち最大のものであることを特徴とする請求項１１に記載のプログラム。

【請求項13】

前記局所特徴は、局所分散、局所コントラスト、局所テクスチャ、局所勾配又は局所位相一致であることを特徴とする請求項１２に記載のプログラム。

【請求項14】

前記工程（ａ）は、前記工程（ａ２）の後に、前記フォアグラウンドマスクの穴を埋める工程を更に有することを特徴とする請求項１１から１３のいずれか一項に記載のプログラム。

【請求項15】

前記工程（ａ）は、前記工程（ａ２）の後に、前記フォアグラウンドマスクから、ノイズ及び線を含む望ましくない成分を取り除く工程を更に有することを特徴とする請求項１１から１４のいずれか一項に記載のプログラム。

【請求項16】

前記処理は、
前記工程（ａ）の前に、前記文書画像を倍率で縮小する工程であって、縮小された前記文書画像を用いて前記工程（ａ）及び前記工程（ｂ）を行う工程と、
前記工程（ｂ）の後であって前記工程（ｃ）の前に、前記バックグラウンド画像を前記倍率で拡大する工程であって、縮小前の前記文書画像及び拡大された前記バックグラウンド画像を用いて前記工程（ｃ）を行う工程と、
を更に有することを特徴とする請求項１０から１５のいずれか一項に記載のプログラム。

【請求項17】

前記処理は、前記工程（ｄ）の後に、
（ｅ）前記二値フォアグラウンド画像からノイズ及び線を含む望ましくない成分を取り除く工程を更に有することを特徴とする請求項１０から１６のいずれか一項に記載のプログラム。

【請求項18】

前記処理は、前記工程（ｄ）の後に、前記工程（ｄ）で生成された前記二値フォアグラウンド画像を第２のマスクとして使用し、前記文書画像について、前記第２のマスクにより示される領域に所定の色を割り当てることにより修復することでバックグラウンド画像を生成する工程を更に有することを特徴とする請求項１０から１７のいずれか一項に記載のプログラム。

【請求項19】

請求項１０から１８のいずれか一項に記載のプログラムが記憶されていることを特徴とする非一時的記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文書画像処理に関し、特に、フォアグラウンドのテキストと、バックグラウンドのグラフィックス又は画像との分離（セグメンテーション）に関する。

【背景技術】

【0002】

文書画像には、フォアグラウンド（主としてテキスト）及びバックグラウンド（主としてグラフィックス又は画像）の内容を両方含むものがある。例として、バックグラウンドとしての「テーマ」グラフィックスとフォアグラウンドとしてのテキストとを有するパワーポイント（ＰｏｗｅｒＰｏｉｎｔ）文書、塗りつぶしたテーブルセルを有するテーブル若しくはスプレッドシート、或いはバックグラウンド画像を有する格子縞等がある。バックグラウンドは、ハードコピー文書を撮影して文書画像を生成する際の不均一な照明条件等、画像を取得する際の望ましくないアーティファクトから生じる場合がある。一般に、バックグラウンドのグラフィックス又は画像は、フォアグラウンドのテキストと比較して緩く変化する。カラー文書画像は、種々の複雑なフォアグラウンド及びバックグラウンドの条件を有しうる。文書の二値化、光学的文字認識（ＯＣＲ）、印刷等の様々な目的のため、バックグラウンドの画像又はグラフィックスからフォアグラウンドのテキストを自動的に分離することが望ましい場合が多い。

【発明の概要】

【発明が解決しようとする課題】

【0003】

既存のカラー文書画像の二値化方法は、二値化文書からバックグラウンドの画像又はグラフィックスを除くことを目的として、通常、カラー画像をグレースケールに変換し、その後、所定のグローバル又はローカル（適応型）しきい値処理を適用して２進出力を得る。

【課題を解決するための手段】

【0004】

本発明は、フォアグラウンド及びバックグラウンドの内容を分離する方法及び関連する装置を対象とする。

【0005】

本発明の追加的な特徴及び利点は以下の記載において述べられ、その一部は当該記載から明らかであるか、本発明の実施により知るところとなる。本発明の目的及び他の利点は、明細書の記載、特許請求の範囲、及び添付図面で詳しく示された構造により実現され、取得される。

【0006】

これらの及び／又は他の目的を達成するために、具現化され広く記載されているように、本発明は、バックグラウンド内容及びフォアグラウンド内容を含む文書画像を処理するコンピューターにより実行される方法であって、（ａ）局所特徴の高い値を有する前記文書画像の領域を示す二値マップである、前記フォアグラウンド内容に対応するフォアグラウンドマスクを生成する工程と、（ｂ）前記文書画像について、前記フォアグラウンドマスクにより示される領域に所定の色を割り当てることにより修復を行い、バックグラウンド画像を生成する工程と、（ｃ）前記文書画像と前記バックグラウンド画像との差分画像を計算する工程と、（ｄ）前記差分画像を二値化して二値フォアグラウンド画像を生成する工程と、を有することを特徴とする方法を提供する。

【0007】

工程（ａ）は、（ａ１）前記文書画像の各画素について、局所ウィンドウ内の最大局所特徴を計算し、最大局所特徴マップを生成する工程と、（ａ２）前記最大局所特徴マップを二値化して前記フォアグラウンドマスクを生成する工程と、を有してもよい。局所特徴は、局所分散、局所コントラスト、局所勾配又は局所位相一致であってもよい。

【0008】

他の側面では、本発明は、データ処理装置に上記処理を実行させるプログラムを提供する。
他の側面では、本発明は、データ処理装置に上記処理を実行させるプログラムが記憶された非一時的記憶媒体を提供する。

【0009】

上述した概要及び以下の詳細な説明は共に、例示的かつ説明的なものであって、特許請求の範囲に記載された本発明について更なる説明を提供することを意図するものである。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態によるバックグラウンド及びフォアグラウンドの内容の分離方法を概略的に示す図である。

【図2】本発明の実施形態の方法を用いたフォアグラウンド及びバックグラウンドの分離の例を示す図であって、フォアグラウンドのテキスト及びバックグラウンドのグラフィックスを含む入力カラー文書画像を示す図である。

【図3】本発明の実施形態の方法を用いたフォアグラウンド及びバックグラウンドの分離の例を示す図であって、二値マスクの図である。

【図4】本発明の実施形態の方法を用いたフォアグラウンド及びバックグラウンドの分離の例を示す図であって、オリジナルカラー画像及び図３のマスクを用いた修復により生成されたバックグラウンド画像の図である。

【図5】本発明の実施形態の方法を用いたフォアグラウンド及びバックグラウンドの分離の例を示す図であって、オリジナルカラー画像及びバックグラウンドのグレースケール差の図である。

【図6】二値フォアグラウンド画像の図である。

【図7】本発明の実施形態を実現するデータ処理装置を概略的に示す図である。

【発明を実施するための形態】

【0011】

本発明の実施形態は、文書画像におけるフォアグラウンドの内容とバックグラウンドの内容とを分離する方法を提供する。該方法は、まず、最大局所特徴（例えば、局所分散、局所コントラスト、局所テクスチャ等）の画素単位マップを計算し、該マップは二値化されて潜在的なフォアグラウンド用のマスクを生成する。色情報を有効に利用するために、画像のすべてのカラーチャンネルを用いて、局所分散、コントラスト又はテクスチャマップが計算される。そして、オリジナル文書画像の非マスク領域からマスク領域を修復することにより、バックグラウンド画像を取得する。その後、オリジナル文書画像及びバックグラウンド画像の差異に、適応型しきい値処理を適用して、二値フォアグラウンド画像を取得する。更に、二値フォアグラウンド画像の後処理により望ましくない要素を除くことができる。最後に、二値フォアグラウンド画像をマスクとして使用するオリジナル文書画像の修復により、より精密なバックグラウンド画像を取得することができる。

【0012】

本発明の実施形態によるバックグラウンド分離処理について、図１を参照して詳細に説明する。該処理の入力はカラー文書画像Ｃ^０であり、これは、例えば、ハードコピー文書を走査又は撮影することによって得ることができる。該処理はグレースケール画像にも同様に適用することができる。

【0013】

任意の工程Ｓ１０１において、入力画像Ｃ^０は所望のスケールで縮小され、サイズ変更画像Ｃが生成される。縮小（すなわち、より小さなサイズへのサイズ変更）の主な目的は、より小さな画像を生成して計算速度を上げることである。更に、縮小の前又は後に、任意のノイズ除去工程（図１に図示せず）を行ってもよい。ノイズ除去は、好ましくは、バイラテラルフィルタリング（ＵＳ特許７１４６０５９）や異方拡散（Ｐｅｒｏｎａ Ｐ及びＭａｌｉｋ Ｊ著、「Ｓｃａｌｅ−ｓｐａｃｅ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａｎｉｓｏｔｒｏｐｉｃ ｄｉｆｆｕｓｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，第１２巻，６２９〜６３９ページ，１９９０年）等のエッジ保存フィルタリングを用いて行われる。

【0014】

そして、〔ｘ，ｙ〕の位置にある各画像画素について、局所ウィンドウ内の局所特徴Ｖｉ〔ｘ，ｙ〕が、データチャンネルｉごとに計算される（工程Ｓ１０２）。データチャンネルは、画像のカラーチャンネル及び／又は情報の他のチャンネルを参照してもよい。すなわち、チャンネルの数は、各画像画素に割り当てられる値の数である。共通カラー画像フォーマットでは、カラー画像は３つのチャンネル（例えばＲＧＢ色空間において）、又は３つより多いチャンネル（例えばＣＭＹＫ色空間において）を有しうる。入力画像はＲＧＢＤ（Ｄは奥ゆき）等のハイブリッド画像フォーマットであってもよく、この場合、各チャンネルにおける画素値の適切な正規化が行われる（例えば、すべてのチャンネルは０及び１の間に正規化される）。また、入力画像がグレースケール画像である場合は、１つのチャンネルだけになる。

【0015】

局所ウィンドウは、画素位置〔ｘ，ｙ〕を中心とするウィンドウであって、Ｎ×Ｎ画素、例えば、７行７列、９行９列、１１行１１列の画素等のサイズを有する。局所特徴は、好ましくは、局所分散、局所コントラスト又は局所テクスチャである。勾配や位相一致等の他の適切な局所特徴を用いることもできるが、それらはより多くの計算を要する傾向にある。分散は、分散の標準の統計的定義を用いて計算することができる。コントラストは、様々な方法で計算しうる。最も簡単な形式は、マイケルソンコントラストである。

【数1】

（ただし、ＩはＮ×Ｎ画像画素の局所ウィンドウである。）
より高度なコントラストは、パーセンタイルを用いたヒストグラムに基づいて計算することができる。

【数2】

（ただし、ｐｕ及びｐｌは上位及び下位のパーセンタイルである。）
例えば、ｐｕ＝０．９５、ｐｌ＝０．０５である。これにより、計算された局所コントラストはノイズ障害により強くなる。テクスチャは、様々な方法で計算しうる。広く用いられるのは、ガボールフィルタに基づく方法である（Ｇｒｉｇｏｒｅｓｃｕ Ｓ、Ｐｅｔｋｏｖ Ｎ及びＫｒｕｉｚｉｎｇａ Ｐ著、「Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅｓ ｂａｓｅｄ ｏｎ Ｇａｂｏｒ ｆｉｌｔｅｒｓ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、第１１巻、１１６０〜１１６７ページ、２００２年参照）。

【0016】

〔ｘ，ｙ〕における各画素に対して、すべてのチャンネルｉ中の最大局所特徴値が取得される（工程Ｓ１０３）。これにより、カラー画像Ｃと同じサイズのマップＶ_ｍａｘ〔ｘ，ｙ〕（最大局所特徴マップ）が得られる。そして、最大局所特徴マップＶ_ｍａｘ〔ｘ，ｙ〕は二値化され、後の修復工程でフォアグラウンドマスクとして用いられる二値マップＭが得られる（工程Ｓ１０４）。二値化工程Ｓ１０４は、グローバル二値化方法やローカル二値化方法等、いかなる適切な二値化方法を用いてもよい。

【0017】

より一般的には、工程Ｓ１０２〜Ｓ１０４は、局所特徴の高い値を含む文書画像の領域を示す二値マップである、フォアグラウンドマスクを生成する工程を構成する。一例では、該領域の画素で局所特徴の高い値を含むものは、フォアグラウンドマスクＭにおいて０でない値（例えば１）を有し、他の画素は０値を有する。局所特徴の高い値を有する領域は、修復される領域である。

【0018】

好ましくは、フォアグラウンドマスクＭの小さな穴を埋める工程が実行される（工程Ｓ１０５、任意）。例えば、直径が約３画素未満の穴は、埋められるべきである。これは、例えばモルフォロジー演算（例えば、ダイレーション及びエロージョン）を用いて行うことができる。工程Ｓ１０５は、テーブル線又は他の線の除去を含んでもよい。これは、連結成分解析、ハフ変換、これら２つの組み合わせ、又は他の適切な方法によって行うことができる。この状態でテーブル線が除かれると、それらはフォアグラウンドマスクの一部ではなくなり、フォアグラウンドの代わりにバックグラウンドの一部として分離される。

【0019】

特定の状況において、例えばフォアグラウンドのテキスト文字が大きな太字である場合や、例えば文字ストロークの厚さが局所ウィンドウのサイズと同様である場合は、フォアグラウンドマスクＭは文字ストロークの内部で空所になってもよい。すなわち、大きな太字は、フォアグラウンドマスクＭにおいて、文字の輪郭として表されてもよい。例えば、大きな太字の「Ｏ」は、マスクＭにおいて２つの円となりうる。積極的なダイレーション及びエロージョンは他の小さな文字の望ましくない歪みを引き起こしうるので、２つの円の間の空所をダイレーション及びエロージョンによって埋めるのは難しい場合がある。この問題を扱うため、マスクＭの連結成分が取得され、各連結成分の凸包が見つけられる。すべての連結成分の凸包がマスクＭを形成する。したがって、例えば、大きな太字の文字「Ｏ」については、凸包は、内部に空洞を有することなく文字の境界となる中空でない形状（例えば多角形）である。トレードオフとして、文字「Ｏ」のように文字の内部に穴がある場合、内部領域（文字に覆われていない領域）はマスクの一部となり、修復の対象となる。バックグラウンドは緩く変化していると考えられるので、これは許容されるべきである。

【0020】

その後、フォアグラウンドマスクＭにより規定される領域において、カラー画像Ｃ（工程Ｓ１０１が実行される場合は、入力画像又は縮小画像のいずれか）は修復され、バックグラウンド画像ＢＧが取得される（工程Ｓ１０６）。修復（ｉｎｐａｉｎｔｉｎｇ）は写真撮影その他の分野において周知であり、損傷やその他の欠陥を含む領域において画像を修復又は修繕し、オブジェクトを置換するのに用いられる。修復では、周辺画素からの情報を用いて、（マスクにより定義される）指定領域の画素を再構成する。いかなる適切な修復方法も工程Ｓ１０６に用いることができるが、好ましい実施形態では、主要な構成（線等）及び画像コントラストの継続が維持されるべきである（Ｂｅｒｔａｌｍｉｏ Ｍ著、「Ｓｔｒｏｎｇ−ｃｏｎｔｉｎｕａｔｉｏｎ，ｃｏｎｔｒａｓｔ−ｉｎｖａｒｉａｎｔ ｉｎｐａｉｔｉｎｇ ｗｉｔｈ ａ ｔｈｉｒｄ−ｏｒｄｅｒ ｏｐｔｉｍａｌ ＰＤＥ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、第１５巻、１９３４〜１９３８ページ、２００６年参照）。工程Ｓ１０６で生成されたバックグラウンド画像は、フォアグラウンド画像が存在しないならば概ねこうであろうというバックグラウンド画像である。

【0021】

一の実施では、工程Ｓ１０６は、まず、フォアグラウンドマスクＭにおける０でない画素に対応するすべての画素に、固有のカラー値を割り当て、カラー画像Ｃを変更することにより実行される。すなわち、〔ｘ，ｙ〕にあるマスクＭのすべての０でない画素について、カラー画像Ｃの画素〔ｘ，ｙ〕は固有色に設定される。固有色は、カラー画像Ｃにおけるいずれの色とも異なる色である。該固有色は、画像Ｃの画素カラー値（すべてのカラーチャンネルについて；例えばＲ，Ｇ，Ｂ）を分析することにより見つけられる。或いは、カラー画像のいずれの画素にも純黒色が存在しないことも多いため（非常に暗い画素ですら純黒値を有しないことが多い）、本工程において、純黒色を固有色として用いることもできる。その後、周辺の画素を用いて該固有色を有する画素を修復することにより、変更されたカラー画像に修復が施される。この実施の利点は、修復の計算はカラー画像及びマスクの双方を要するのではなく、一つの画像（変更されたカラー画像）のみを要することである。

【0022】

工程Ｓ１０１において入力カラー画像Ｃ^０が縮小された場合、拡大工程Ｓ１０７が実行され、工程Ｓ１０１で用いられたのと同じ倍率によってバックグラウンド画像ＢＧが拡大（すなわちより大きなサイズにサイズ変更）される。これにより、拡大バックグラウンド画像ＢＧ^０は入力画像Ｃ^０と同じサイズになる。

【0023】

次に、画素単位減算を用いて、入力画像Ｃ^０及び拡大バックグラウンド画像ＢＧ^０から差分画像Ｄ^０が計算される（工程Ｓ１０８）。そして、差分画像Ｄ^０は二値化され、フォアグラウンドの内容の見本であって、フォアグラウンド画像と呼ばれる二値画像ＢＷ^０が取得される。二値化工程は、グローバル二値化法又はローカル二値化法等、いかなる適切な二値化方法を用いてもよい。

【0024】

また、モルフォロジー演算及び／又は連結成分解析或いは他の適切な方法を用いて、クリーニング工程（工程Ｓ１１０）を任意に実行し、二値フォアグラウンド画像ＢＷ^０から望ましくない成分を取り除いてもよい。例えば、望ましくない成分には、モルフォロジー演算を用いて取り除きうるノイズや、連結成分解析や他の方法によって識別され、取り除きうるテーブル線等の不要な線が含まれる。その結果、「クリーンな」フォアグラウンド画像ＢＷ^１が生成される。

【0025】

バックグラウンド画像自体が出力画像として望まれている場合は、工程Ｓ１０９又はＳ１１０による二値フォアグラウンド画像をマスクとして用いて、オリジナルカラー画像Ｃ^０に第二の修復工程を実行してもよい（工程Ｓ１１１、任意）。工程Ｓ１０６と同じ修復手順を用いることが出来る。このように得られるバックグラウンド画像は、より実際のバックグラウンド画像に近い。

【0026】

図２〜６は、上述の方法を用いたフォアグラウンド及びバックグラウンドの分離の例を示している。図２は、フォアグラウンドのテキスト及びバックグラウンドのグラフィックスを含む入力カラー文書画像を示す。この例では、一部のフォアグラウンドのテキストは局所バックグラウンドよりも明るい色を有し、一部はより暗い色を有し、また、一部は局所バックグラウンドと同程度の色強度を有するが異なる色合いを有することに留意されたい。図３は、工程Ｓ１０４により計算されたフォアグラウンドマスクを示す。図４は、図２のオリジナルカラー画像及び図３のマスクを用いた修復（工程Ｓ１０６）により生成されたバックグラウンド画像を示す。図５は、図２の入力カラー画像と図４の修復バックグラウンド画像との差分画像を示す（この例ではグレースケールに変換されている）。図６は、工程Ｓ１０９で得られた二値フォアグラウンド画像を示す。図６では白いバックグラウンド上に黒いテキストがあるが、黒い画像に白いテキストがあってもよい点に留意されたい。

【0027】

フォアグラウンドマスク（図３）はフォアグラウンドのテキストに対応する構成要素を有することがわかるが、線はテキストのものより太い。また、バックグラウンド画像に、オリジナル画像の赤い円盤２１Ａから生じたいくつかの円２１Ｂや円弧等の、よりはっきりした（より高周波数の）特徴により形成される構成要素を含む。修復の後、いくつかの赤い円盤２１Ｃのエッジはいくぶん不鮮明になるが（図４参照、例えば、上から５番目の赤い円盤）、これは差分画像（図５参照）においてわずかなノイズとなるのみであり、二値化工程Ｓ１０９（図６）によって取り除かれる。

【0028】

まとめると、上述のバックグラウンド及びフォアグラウンド分離方法は、少なくとも２つの主要な特徴を有する。第１に、修復を用いて文書画像のバックグラウンドが見つけられ、修復される領域（フォアグラウンドマスク）が文書画像から自動的に抽出される。これは、画像の修復及び修繕やオブジェクトの置換等に用いられ、修復される領域が手動でマークされる既存の修復方法とは相違する。第２に、フォアグラウンドマスクを抽出するため、カラーチャンネルの一つにおいて最も優位な局地測定（局地分散、局地コントラスト、又は他のより高度な処置）を得てマスクを生成するように、カラー情報が利用される。

【0029】

上述の方法は多くの利点を有する。第１に、カラー情報は、グレースケール値の差異が小さい可能性のあるフォアグラウンド及びバックグラウンドを分離するために、より有効に利用される。第２に、インターリービングカラーや段階的に変化する色等、複雑なバックグラウンドの色の組み合わせを効率的に取り扱うことができる。第３に、同じアルゴリズムを使用した異なるフォアグラウンド‐バックグラウンドポラリティー（「ホワイトオンブラック」及び「ブラックオンホワイト」）を効率的に取り扱うことができる。第４に、修復領域の識別は全自動である。第５に、レイアウト分析や文書認証等の他のアプリケーションに用いうる完全なバックグラウンド情報を得ることができる。

【0030】

ここに記載するバックグラウンド及びフォアグラウンド分離方法は、図７に示すように、コンピューター１２０等のデータ処理システムにおいて実施されうる。コンピューター１２０は、プロセッサー１２１、記憶装置（例えばハードディスクドライブ）１２２及び内部メモリ（例えばＲＡＭ）１２３を有する。記憶装置１２２は、ＲＡＭ１２３に読み出されてプロセッサー１２１に実行されることで前記方法を実施するソフトウェアプログラムを記憶する。

【0031】

本発明のバックグラウンド及びフォアグラウンド分離方法及び関連する装置に、本発明の趣旨又は範囲を逸脱することなく、種々の修正や変更を加えうることは、当業者において明らかである。したがって、本発明は、添付の特許請求の範囲やその等価物の範囲内の変更点や修正点にまで及ぶことが意図されている。

【図1】

【図3】

【図6】

【図7】

【図2】

【図4】

【図5】