特許 6139608 文書画像の再現のための擬似スケルトンに基づく画像エンハンスメント

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6139608

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】文書画像の再現のための擬似スケルトンに基づく画像エンハンスメント

(51)【国際特許分類】

   H04N 1/409 20060101AFI20170522BHJP

   G06T 5/00 20060101ALI20170522BHJP

【ＦＩ】

   H04N1/40 101D

   G06T5/00 710

【請求項の数】20

【外国語出願】

【全頁数】9

(21)【出願番号】特願2015-149657(P2015-149657)

(22)【出願日】2015年7月29日

(65)【公開番号】特開2016-52121(P2016-52121A)

(43)【公開日】2016年4月11日

【審査請求日】2016年7月4日

(31)【優先権主張番号】14/473,907

(32)【優先日】2014年8月29日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507031918

【氏名又は名称】コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】ティアン， イービン

【審査官】 豊田 好一

(56)【参考文献】

【文献】 特開２００９−０７０１２８（ＪＰ，Ａ）

【文献】 特開２０００−０２０６９１（ＪＰ，Ａ）

【文献】 特開平１１−１５５８４９（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０８４９０２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４０９

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

入力文書画像のエンハンス方法であって、
前記入力文書画像を非グラフィカル領域とグラフィカル領域とに分割する工程と、
前記非グラフィカル領域の各々について、
（ａ）前記非グラフィカル領域を二値化して、連結成分を含む二値画像を生成する工程と、
（ｂ）前記連結成分の各々に対する複数レベルの擬似スケルトンを計算する工程と、
（ｃ）複数の擬似スケルトン差異範囲の各々にある前記入力文書画像の画素の画素値を、当該画素値に、対応する複数の異なる逆劣化関数を適用することにより修正する工程であって、前記擬似スケルトン差異範囲の各々は、前記擬似スケルトンの２つの連続するレベルの間の範囲である工程と、
を有することを特徴とする方法。

【請求項2】

前記工程（ｂ）は、前記連結成分の各々を連続的に細線化して、前記複数レベルの擬似スケルトンを生成する工程を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記工程（ｂ）は、前記連結成分の各々のスケルトンを計算し、当該スケルトンを連続的にダイレーションして前記複数レベルの擬似スケルトンを生成する工程を含むことを特徴とする請求項１に記載の方法。

【請求項4】

前記工程（ｃ）の前に、前記擬似スケルトンの連続的なレベルの対の差異マップを計算することにより、前記複数の擬似スケルトン差異範囲を取得する工程を更に含むことを特徴とする請求項１に記載の方法。

【請求項5】

前記工程（ｃ）において、前記複数の異なる逆劣化関数は、前記連結成分のスケルトンにより近い前記擬似スケルトン差異範囲にある画素の画素値を、前記スケルトンからより遠い他の前記擬似スケルトン差異範囲にある画素よりも多くエンハンスすることを特徴とする請求項１に記載の方法。

【請求項6】

前記工程（ｃ）において、前記複数の異なる逆劣化関数は、異なるパラメーターを有する線形関数であることを特徴とする請求項１に記載の方法。

【請求項7】

前記工程（ｃ）において、前記複数の異なる逆劣化関数は、異なるパラメーターを有する非線形関数であることを特徴とする請求項１に記載の方法。

【請求項8】

前記工程（ｂ）と前記工程（ｃ）との間に、前記複数の擬似スケルトンの端点を除く工程を更に含むことを特徴とする請求項１に記載の方法。

【請求項9】

前記グラフィカル領域の各々について、
（ｅ）エッジマップを計算する工程と、
（ｆ）前記エッジマップにある前記入力文書画像の画素の画素値を、当該画素値に逆劣化関数を適用することにより修正する工程と、
を更に有することを特徴とする請求項１に記載の方法。

【請求項10】

前記工程（ｃ）による修正後の前記複数の擬似スケルトン差異範囲にある画素と、前記工程（ｆ）による修正後の前記エッジマップにある画素と、修正なしのいずれかの前記擬似スケルトン差異範囲及び前記エッジマップの範囲外にある画素とを組み合わせて出力文書画像を生成する工程を更に有することを特徴とする請求項９に記載の方法。

【請求項11】

データ処理装置のコンピューターを制御して、入力文書画像をエンハンスする処理を実行させるコンピュータープログラムであって、
前記処理は、
前記入力文書画像を非グラフィカル領域とグラフィカル領域とに分割する工程と、
前記非グラフィカル領域の各々について、
（ａ）前記非グラフィカル領域を二値化して、連結成分を含む二値画像を生成する工程と、
（ｂ）前記連結成分の各々に対する複数レベルの擬似スケルトンを計算する工程と、
（ｃ）複数の擬似スケルトン差異範囲の各々にある前記入力文書画像の画素の画素値を、当該画素値に、対応する複数の異なる逆劣化関数を適用することにより修正する工程であって、前記擬似スケルトン差異範囲の各々は、前記擬似スケルトンの２つの連続するレベルの間の範囲である工程と、
を有することを特徴とするコンピュータープログラム。

【請求項12】

前記工程（ｂ）は、前記連結成分の各々を連続的に細線化して、前記複数レベルの擬似スケルトンを生成する工程を含むことを特徴とする請求項１１に記載のコンピュータープログラム。

【請求項13】

前記工程（ｂ）は、前記連結成分の各々のスケルトンを計算し、当該スケルトンを連続的にダイレーションして前記複数レベルの擬似スケルトンを生成する工程を含むことを特徴とする請求項１１に記載のコンピュータープログラム。

【請求項14】

前記工程（ｃ）の前に、前記擬似スケルトンの連続的なレベルの対の差異マップを計算することにより、前記複数の擬似スケルトン差異範囲を取得する工程を更に含むことを特徴とする請求項１１に記載のコンピュータープログラム。

【請求項15】

前記工程（ｃ）において、前記複数の異なる逆劣化関数は、前記連結成分のスケルトンにより近い前記擬似スケルトン差異範囲にある画素の画素値を、前記スケルトンからより遠い他の前記擬似スケルトン差異範囲にある画素よりも多くエンハンスすることを特徴とする請求項１１に記載のコンピュータープログラム。

【請求項16】

前記工程（ｃ）において、前記複数の異なる逆劣化関数は、異なるパラメーターを有する線形関数であることを特徴とする請求項１１に記載のコンピュータープログラム。

【請求項17】

前記工程（ｃ）において、前記複数の異なる逆劣化関数は、異なるパラメーターを有する非線形関数であることを特徴とする請求項１１に記載のコンピュータープログラム。

【請求項18】

前記工程（ｂ）と前記工程（ｃ）との間に、前記複数の擬似スケルトンの端点を除く工程を更に含むことを特徴とする請求項１１に記載のコンピュータープログラム。

【請求項19】

前記処理は、前記グラフィカル領域の各々について、
（ｅ）エッジマップを計算する工程と、
（ｆ）前記エッジマップにある前記入力文書画像の画素の画素値を、当該画素値に逆劣化関数を適用することにより修正する工程と、
を更に有することを特徴とする請求項１１に記載のコンピュータープログラム。

【請求項20】

前記工程（ｃ）による修正後の前記複数の擬似スケルトン差異範囲にある画素と、前記工程（ｆ）による修正後の前記エッジマップにある画素と、修正なしのいずれかの前記擬似スケルトン差異範囲及び前記エッジマップの範囲外にある画素とを組み合わせて出力文書画像を生成する工程を更に有することを特徴とする請求項１９に記載のコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は文書画像処理に関し、特に、文書画像の再現のための画像エンハンスメントに関する。

【背景技術】

【0002】

文書画像の再現の際、通常は印刷及び撮像（ｐｒｉｎｔｉｎｇ ａｎｄ ｉｍａｇｉｎｇ：ＰＡＩ）を介して、画像品質は必然的に劣化する。例えば、文書中の濃いテキストは、各ＰＡＩ処理の後に薄くなる。文書画像の再現の際、その視覚的に目立つ品質特性を維持することが望ましい場合が多い。画像品質を改善する方法の一つは、画像のエッジをエンハンスすることである。その例が米国特許５８２５９３７号に記載されている。他の方法は、コントラストマッピングにより画像を鮮明にすることである。その例が米国特許６７３１８２１号に記載されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、これらのエンハンスメント方法が文書画像のＰＡＩに用いられる場合の重大な欠点の一つは、印刷及び撮像の間、エンハンスされたエッジの隣接するバックグラウンド画素に対する影響がより大きくなり、エンハンスされたコンテンツが太くなる（例えば、テキストのストロークが太くなる）ということである。

【0004】

多くの文書画像において、テキストはコンテンツの大部分を成す。文字のストロークが太くなると、サイドプロファイル、ゾーニングプロファイル及びトポロジー等の、テキスト文字の多くの画像特徴に影響を及ぼす可能性がある。これにより、光学式文字認識（ＯＣＲ）や文書認証システム等の文書画像処理システムの性能に悪影響を与える可能性がある。

【0005】

よって本発明は、関連技術の制限や不都合に起因する一以上の問題を実質的に除去する画像エンハンスメント方法及びその関連装置を対象とする。

【0006】

本発明の目的は、テキストのストロークの太さへの悪影響を低減する文書画像エンハンスメント方法を提供することである。

【0007】

本発明の追加的な特徴及び利点は以下の記載において述べられ、その一部は当該記載から明らかであるか、本発明の実施により知るところとなる。本発明の目的及び他の利点は、明細書の記載、特許請求の範囲、及び添付図面で詳しく示された構造により実現され、取得される。

【課題を解決するための手段】

【0008】

これらの及び／又は他の目的を達成するために、具現化され広く記載されているように、本発明は、入力文書画像のエンハンス方法であって、前記入力文書画像を非グラフィカル領域とグラフィカル領域とに分割する工程と、前記非グラフィカル領域の各々について、（ａ）前記非グラフィカル領域を二値化して、連結成分を含む二値画像を生成する工程と、（ｂ）前記連結成分の各々に対する複数レベルの擬似スケルトンを計算する工程と、（ｃ）複数の擬似スケルトン差異範囲の各々にある前記入力文書画像の画素の画素値を、当該画素値に、対応する複数の異なる逆劣化関数を適用することにより修正する工程であって、前記擬似スケルトン差異範囲の各々は、前記擬似スケルトンの２つの連続するレベルの間の範囲である工程と、を有する方法を提供する。

【0009】

他の側面では、本発明は、データ処理装置のコンピューターを制御して上記方法を実施させるコンピュータープログラムを提供する。

【0010】

上述した概要及び以下の詳細な説明は共に、例示的かつ説明的なものであって、特許請求の範囲に記載された本発明について更なる説明を提供することを意図するものである。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態による画像エンハンスメント方法の概略図である。

【図2A】連結成分の複数の擬似スケルトンの概略図である。

【図2B】異なる擬似スケルトン差異範囲に対応する連結成分部分に対する異なるエンハンスメントの概略図である。

【図3】本発明の実施形態による画像エンハンスメント方法を含む印刷及び撮像処理の概略図である。

【図4】本発明の実施形態を実現しうるデータ処理装置の概略図である。

【発明を実施するための形態】

【0012】

本発明の実施形態によれば、テキスト文字のストローク及びラインは、ストローク又はラインの各々の中心（スケルトン）により近い範囲が、当該中心からより遠い範囲よりも多くエンハンスされるように（例えば、より濃くなるように）エンハンスされる。これらの異なる範囲は、擬似スケルトンを用いて取得される。

【0013】

図１は、本発明の実施形態による文書画像処理方法の概略図である。

【0014】

入力デジタル画像は、ハードコピー文書を撮像、例えば走査することにより生成されたグレースケール又はカラー文書画像である。当該入力画像は、まず、テキスト領域（テキスト文字のみを含む領域）、ライン領域（テーブルや線画などの長いラインを含む領域）及びグラフィカル領域（写真や他の図形を含む領域）に分割される（ステップＳ１１）。文書の分割には、多くの公知技術を利用することができる。本工程には、いかなる適切な技術を用いてもよい。便宜上、テキスト及びライン領域は非グラフィカル領域と呼ばれることがある。グラフィカル領域については、公知技術により、エッジエンハンスメント、コントラストマッピング、又はその他の技術を用いて、その品質を向上させることができる（後述のステップＳ２１及びＳ２２）。テキスト及びライン領域は二値化される（ステップＳ１２）。本工程には、グローバル及びローカル二値化を含むいかなる適切な二値化技術を用いてもよい。テキスト及びライン領域の二値画像は、文字のストローク及びラインに対応する連結成分を含む。その後、ステップＳ１２で生成したテキスト又はライン領域の二値画像にステップＳ１３〜Ｓ１６が適用される。

【0015】

二値画像ごとに、連結成分の複数レベルの擬似スケルトンが順次取得される（ステップＳ１３）。スケルトンは、連結成分の中心軸を表す、１画素の太さのグラフである。文献によってはモルフォロジカルスケルトンとトポロジカルスケルトンとを区別しているが、本実施形態にはいずれの種類を用いることもできる。スケルトンは、エロージョン等のモルフォロジカル細線化演算子を用いて二値画像から計算することができる。本発明の実施形態によれば、連結成分の擬似スケルトンは、そのスケルトンのダイレーション版である。擬似スケルトンの異なるレベルは、ダイレーションの異なる量又は繰り返しに対応している。計算効率のため、ステップＳ１３において、実際のスケルトン自体の計算の有無に関わらず、オリジナル連結成分の連続的な細線化によって、複数レベルの擬似スケルトンを取得することができる。細線化処理は、スケルトンに達するべく数多く繰り返されてもよい。その後の工程で用いられる擬似スケルトンのレベルの数は、オリジナル連結成分をスケルトンに細線化するための連続的な細線化工程の数より少なくてもよい。例えば、オリジナル連結成分をスケルトンに細線化するために５回の連続的な細線化工程を要する場合、２回目及び４回目の細線化工程により生じた擬似スケルトンを、オリジナル連結成分と共に、その後の工程において複数レベルの擬似スケルトンとして用いることができる。

【0016】

任意で、擬似スケルトンは、例えば端点（連結された１画素を有する点）又はより小さい枝を除くためにプルーニングされ、ジグザグ等が取り除かれる（ステップＳ１４）。本工程に共通の目標は、擬似スケルトンを整えることである。

【0017】

図２Ａは、連結成分の擬似スケルトンの例の概略図であり、この例では短直線である。実線及び破線Ｓ３，Ｓ２及びＳ１は、３つのレベルの擬似スケルトンを描いている。各擬似スケルトンは、対応する実線又は破線により囲まれた範囲であることに留意されたい。最も内側の擬似スケルトンＳ１は、実際のスケルトンであるとは限らない（実際のスケルトンは１画素幅である）。最も外側のスケルトンＳ３は、オリジナル連結成分であるとは限らない。複数レベルの擬似スケルトンがオリジナル連結成分の連続的な細線化により生成された場合、通常は、最も外側の擬似スケルトンがオリジナル連結成分でもある（この例では、最も外側の擬似スケルトンＳ３がオリジナル連結成分であり、実線で示されている）。複数レベルの擬似スケルトンがスケルトンの計算とその連続的なダイレーションによって生成された場合、通常は、最も内側の擬似スケルトンが実際のスケルトンでもある。後者の場合、最も外側の擬似スケルトンがオリジナル連結成分を囲んでいることが好ましい。

【0018】

図１に戻り、擬似スケルトンの連続するレベルの各対の間の差異マップが計算される（ステップＳ１５）。差異マップの非ゼロ画素値を有する範囲は、擬似スケルトン差異範囲と呼ばれる。連結成分に対する擬似スケルトン差異範囲は、一般にリング（アウトライン）状である。擬似スケルトンの複数の対に対応する複数の擬似スケルトン差異範囲は、通常は、隣接する入れ子構造のリング（アウトライン）状になる。図２Ａにおいて、ラインＳ３及びＳ２の間の範囲Ｄ３は、擬似スケルトンＳ３及びＳ２の間の擬似スケルトン差異範囲である。最も内側の擬似スケルトン差異範囲Ｄ１は、最も内側の擬似スケルトンＳ１と同じである。すなわち、擬似スケルトン差異マップは、ＤＭ_ｉ＝Ｓ_ｉ−Ｓ_ｉ−１（ｉ＝１，…Ｎ）で表すことができる。ただし、Ｎ＞１は擬似スケルトンのレベルの総数であり、Ｓ_０はオールゼロマップと定義される。Ｄ_ｉはＤＭ_ｉの非ゼロ範囲である。

【0019】

その後、オリジナル画像の画素値は、いくつかの異なる逆劣化関数を、異なる擬似スケルトン差異範囲にある入力画素値に適用することにより修正（エンハンス）され、出力画像の対応範囲を形成する（ステップＳ１６）。より具体的には、各擬似スケルトン差異範囲Ｄ_ｉ内にある画素に対する画素値が、対応する逆劣化関数Ｆ_ｉによりマッピングされる。

【数1】

ただし、Ｉ_ｏｕｔは出力画像（グレースケール又はカラー）であり、Ｉ_ｉｎは入力画像（グレースケール又はカラー）であり、（ｐ，ｑ）は入力及び出力画像における画素位置である。

【0020】

ＰＡＩの劣化関数は、ＰＡＩ処理により画素値がどのように劣化するかをモデル化する関数である。劣化関数は、オリジナル文書を撮像（走査）し再現文書を印刷するのに用いられる物理的デバイスの特性に依存するが、経験的に求めることができる。いかなる適切な方法をＰＡＩ処理の劣化関数の決定に用いてもよい。一の例では、ＰＡＩの各カラーチャンネルの劣化関数は、線形関数ｙ_ｃ＝ａ_ｃｘ_ｃ＋ｂ_ｃである。ただし、ｃはカラーチャンネルであり、ｘ_ｃは（ＰＡＩ前の）オリジナル画像における画素値であり、ｙ_ｃはＰＡＩ後の画素値であり、ａ_ｃ及びｂ_ｃはパラメーターである。劣化関数は、非線形関数としてモデル化されることもできる。逆劣化関数は、劣化関数の逆関数である。上記線形の例では、逆劣化関数はｘ_ｃ＝（ｙ_ｃ−ｂ_ｃ）／ａ_ｃである。劣化関数が非線形の場合、その逆劣化関数に対する解析的解法がない場合もあるため、ルックアップテーブルを使わなければならない。逆劣化関数に対する解析的解法がある場合でも、計算を高速化するため、やはりルックアップテーブルを用いることができる。

【0021】

一の例では、ステップＳ１６において、異なるパラメーター値ａ_ｃｉ，ｂ_ｃｉを有する逆劣化関数ｘ_ｃ＝（ｙ_ｃ−ｂ_ｃｉ）／ａ_ｃｉを使用して、異なる擬似スケルトン差異範囲Ｄ_ｉにある画素を修正する。より一般的には、異なる逆劣化関数Ｆ_ｉとは、異なるパラメーターを有する逆劣化関数である。好ましい実施形態では、連結成分の中央寄りの範囲（例えば、図２Ａの例における擬似スケルトン差異範囲Ｄ１）は、端寄りの範囲（例えば、図２Ａの例における擬似スケルトン差異範囲Ｄ２及びＤ３）よりも多くエンハンスされる。これは図２Ａに対応する図２Ｂに概略的に示されている。擬似スケルトン差異範囲Ｄ１，Ｄ２及びＤ３は（中央から端へ）異なる陰影で示されており、異なる擬似スケルトン差異範囲に適用された異なるエンハンスメントを概略的に示している。

【0022】

ステップＳ１１で分割されたグラフィカル領域には、エッジエンハンスメントを実行してもよい。これは、グラフィカル領域に対するエッジマップＥの計算（ステップＳ１８）、及び逆劣化関数Ｇの適用によるエッジマップＥ内のオリジナル画像の画素の修正（エンハンスメント）（ステップＳ１９）を含む。

【数2】

【0023】

その後、いずれの擬似スケルトン差異範囲Ｄ_ｉにもなく、エッジマップＥにもない画素については、入力画素値をエンハンスメント無しで出力画素値としてコピーするか、コントラストマッピング等の他のエンハンスメント方法によりエンハンスすることができる。これは、下記のように表すことができる。

【数3】

ただし、Ｈは恒等関数或いは他のマッピングである。

【0024】

出力画像（グレースケール又はカラー）は、方程式（１），（２）及び（３）により計算された異なる範囲Ｄ_ｉ，Ｅ及び他の範囲の出力画像Ｉ_ｏｕｔを組み合わせることにより生成される（ステップＳ１７）。

【0025】

ＰＡＩ処理の一般的なワークフローを図３に示す。ハードコピーオリジナル文書が走査され、グレースケール又はカラーの入力デジタル画像が生成される（ステップＳ３１）。上述の画像エンハンスメント処理（図１）を入力デジタル画像に適用することにより出力デジタル画像が生成され（ステップＳ３２）、出力デジタル画像は印刷されて再現ハードコピーが生成される（ステップＳ３３）。他のワークフローでは、画像エンハンスメント処理により生成された出力画像は、二値化やＯＣＲ等の更なるデジタル画像処理の対象とされる。

【0026】

本明細書に記載する画像エンハンスメント方法は、図４に示すコンピューター１２０等のデータ処理システムにおいて実施することができる。コンピューター１２０は、プロセッサー１２１、記憶デバイス（例えばハードディスクドライブ）１２２及び内部メモリー（例えばＲＡＭ）１２３を備える。記憶デバイス１２２は、ＲＡＭ１２３に読み出され、プロセッサー１２１に実行されることにより上記方法を実施するソフトウェアプログラムを記憶する。コンピューター１２０は、スタンドアローンコンピューターであってもよく、又は、スキャナー、プリンター、コピー機、若しくはオールインワン（スキャナー、プリンター、コピー機が一体の）マシンの一部であってもよい。一の側面では、本発明はデータ処理システムにより実行される方法である。他の側面では、本発明はデータ処理装置のコンピューターを制御して上記方法を実施するコンピュータープログラムである。他の側面では、本発明はデータ処理システムにおいて具現化される。

【0027】

本発明の画像エンハンスメント方法に、本発明の趣旨又は範囲を逸脱することなく、種々の修正や変更を加えうることは、当業者において明らかである。このように、本発明は、添付の特許請求の範囲やその等価物の範囲内の変更点や修正点にまで及ぶことが意図されている。

【図1】

【図2A】

【図2B】

【図3】

【図4】