特開2022-50362スキャンした文書の背景領域を検出、抑制、及び修正するためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022050362
(43)【公開日】2022-03-30
(54)【発明の名称】スキャンした文書の背景領域を検出、抑制、及び修正するためのシステム及び方法
(51)【国際特許分類】
H04N 1/48 20060101AFI20220323BHJP
H04N 1/56 20060101ALI20220323BHJP
H04N 1/60 20060101ALI20220323BHJP
H04N 1/46 20060101ALI20220323BHJP
H04N 1/407 20060101ALI20220323BHJP
G06T 1/00 20060101ALI20220323BHJP
【ＦＩ】
H04N1/48
H04N1/56
H04N1/60 110
H04N1/46
H04N1/60 770
H04N1/407
G06T1/00 510
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2021151297
(22)【出願日】2021-09-16
(31)【優先権主張番号】17/023,646
(32)【優先日】2020-09-17
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】596170170
【氏名又は名称】ゼロックス コーポレイション
【氏名又は名称原語表記】ＸＥＲＯＸ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】デビット・ジェイ．・メトカルフ
(72)【発明者】
【氏名】クララ・クシュリーン－ゼパン
【テーマコード（参考）】
5B057
5C077
5C079
【Ｆターム（参考）】
5B057AA11
5B057BA24
5B057BA25
5B057BA26
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE17
5B057CE18
5B057CH18
5B057DB02
5B057DB06
5B057DC25
5C077LL19
5C077MP08
5C077PP25
5C077PP28
5C077PP32
5C077PP33
5C077PP36
5C077PP37
5C077PQ08
5C077PQ23
5C077SS05
5C077TT06
5C079HB01
5C079HB03
5C079HB08
5C079HB12
5C079LA02
5C079LA10
5C079LA21
5C079LA31
5C079LB13
5C079MA19
5C079NA06
5C079NA07
5C079PA02
(57)【要約】 （修正有）
【課題】背景部分の補正を適切に行う画像処理デバイス及び画像処理方法を提供する。
【解決手段】画像処理デバイス１０は、関連付けられたユーザインターフェースデバイス４３から画像調整選択を受信する入力デバイス４０を含む。メモリ３０は、ＧＵＩジェネレータ４８を格納する。画像調整ユニット１２は、ユーザインターフェースデバイス上でユーザに表示するためのＧＵＩ（背景調整セレクタ４４）と、入力画像の複数の画素の夫々に対して、夫々の画素に対して計算された背景調整係数及び計算された背景調整係数から導出される背景クラスのうちの少なくとも１つの関数として、調整された色値を計算し、背景調整係数が、画素の背景強度と画素の輝度強度の関数になっている背景調整構成要素と、複数の画素に対して調整された色値から導出された出力画像を出力する画像出力構成要素と、を生成するプロセッサデバイス３４を備える。
【選択図】図１
【解決手段】画像処理デバイス１０は、関連付けられたユーザインターフェースデバイス４３から画像調整選択を受信する入力デバイス４０を含む。メモリ３０は、ＧＵＩジェネレータ４８を格納する。画像調整ユニット１２は、ユーザインターフェースデバイス上でユーザに表示するためのＧＵＩ（背景調整セレクタ４４）と、入力画像の複数の画素の夫々に対して、夫々の画素に対して計算された背景調整係数及び計算された背景調整係数から導出される背景クラスのうちの少なくとも１つの関数として、調整された色値を計算し、背景調整係数が、画素の背景強度と画素の輝度強度の関数になっている背景調整構成要素と、複数の画素に対して調整された色値から導出された出力画像を出力する画像出力構成要素と、を生成するプロセッサデバイス３４を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像処理デバイスであって、
関連付けられたユーザインターフェースデバイスから画像調整選択を受信する入力デバイスと、
メモリであって、
前記ユーザインターフェースデバイス上でユーザに提示するための背景調整セレクタを生成する、ユーザインターフェースジェネレータと、
背景調整構成要素であって、入力画像の複数の画素の各々に対して、調整された色値を、
前記それぞれの画素に対して計算された背景調整係数と、
前記計算された背景調整係数から導出される背景クラスと、のうちの少なくとも１つの関数として計算し、
前記背景調整係数が、前記画素の背景強度及び前記画素の輝度強度の関数である、背景調整構成要素と、
前記複数の画素に対する前記調整された色値から導出される出力画像を出力する画像出力構成要素と、を格納する、メモリと、
前記背景調整構成要素及び画像出力構成要素を実装するプロセッサと、を備える、画像処理デバイス。
関連付けられたユーザインターフェースデバイスから画像調整選択を受信する入力デバイスと、
メモリであって、
前記ユーザインターフェースデバイス上でユーザに提示するための背景調整セレクタを生成する、ユーザインターフェースジェネレータと、
背景調整構成要素であって、入力画像の複数の画素の各々に対して、調整された色値を、
前記それぞれの画素に対して計算された背景調整係数と、
前記計算された背景調整係数から導出される背景クラスと、のうちの少なくとも１つの関数として計算し、
前記背景調整係数が、前記画素の背景強度及び前記画素の輝度強度の関数である、背景調整構成要素と、
前記複数の画素に対する前記調整された色値から導出される出力画像を出力する画像出力構成要素と、を格納する、メモリと、
前記背景調整構成要素及び画像出力構成要素を実装するプロセッサと、を備える、画像処理デバイス。
【請求項2】
前記複数の画素の各々の前記背景強度が、前記画素の輝度値から導出されている、請求項１に記載の画像処理デバイス。
【請求項3】
前記複数の画素の各々の前記背景強度が、前記画素の輝度値、及び１組の局所的画素の輝度値から導出されている、集約された背景レベルから導出されている、請求項２に記載の画像処理デバイス。
【請求項4】
前記複数の画素の各々の前記背景強度が、前記集約された背景レベルの非線形関数として計算される、請求項３に記載の画像処理デバイス。
【請求項5】
前記複数の画素の各々の前記輝度強度が、前記画素の輝度値の非線形関数として計算される、請求項１に記載の画像処理デバイス。
【請求項6】
前記複数の画素の各々に対して、前記背景調整構成要素が、前記画素の前記背景強度及び輝度強度、並びに前記それぞれの画素のために計算された前記背景調整係数の関数として、調整された輝度値及び調整されたクロミナンス値を計算する、請求項１に記載の画像処理デバイス。
【請求項7】
前記複数の画素の各々に対して、前記背景調整構成要素が、前記画素の前記背景強度及び輝度強度、並びに前記それぞれの画素のために計算された前記背景クラスの関数として、調整された輝度値及び調整されたクロミナンス値を計算する、請求項１に記載の画像処理デバイス。
【請求項8】
前記複数の画素の各々に対して、前記背景調整構成要素が、前記画素の前記背景強度及び輝度強度の積として、前記背景調整係数を計算する、請求項１に記載の画像処理デバイス。
【請求項9】
前記選択が、選択されたハイライト色を含み、前記複数の画素のうちの少なくとも一部の各々に対して、前記背景調整構成要素が、調整された輝度値
並びに調整されたクロミナンス値
を、
又はその関数に従って計算し、
式中、
Ｂは、前記それぞれの画素に対して計算された前記背景調整関数であり、かつ０～１であるか、又はＢは、０～１から選択された前記背景クラスであり、
は、前記選択されたハイライト色の輝度値及びクロミナンス値であり、
は、白色の輝度値及びクロミナンス値であり、
ＧＡＦは、前記画素の輝度値及びクロミナンス値とは無関係であるグローバル調整係数である、請求項１に記載の画像処理デバイス。
【数1】
【数2】
【数3】
式中、
Ｂは、前記それぞれの画素に対して計算された前記背景調整関数であり、かつ０～１であるか、又はＢは、０～１から選択された前記背景クラスであり、
【数4】
【数5】
ＧＡＦは、前記画素の輝度値及びクロミナンス値とは無関係であるグローバル調整係数である、請求項１に記載の画像処理デバイス。
【請求項10】
Ｂが、前記それぞれの画素に対して計算された前記背景調整係数である、請求項９に記載の画像処理デバイス。
【請求項11】
前記画像調整選択が、前記グローバル調整係数を含む、請求項９に記載の画像処理デバイス。
【請求項12】
前記画像調整選択がハイライト領域を含み、前記複数の画素が前記ハイライト領域を形成する、請求項１に記載の画像処理デバイス。
【請求項13】
前記画像調整選択が、テキストハイライト色及びハイライトされる文字列を含み、前記方法が、前記画像内の前記文字列の出現を前記テキストハイライト色の関数として識別することを更に含む、請求項１に記載の画像処理デバイス。
【請求項14】
前記複数の画素の各々に対して、前記背景調整構成要素が、前記調整された輝度値がスイープ閾値を超えるかどうかを判定し、前記調整された輝度値が前記スイープ閾値を超える場合、前記画素の調整された輝度値及び調整された色度値が、前記選択された色値に設定され、そうでない場合、前記画素の調整された輝度値及び調整されたクロミナンス値が変化しない、請求項１に記載の画像処理デバイス。
【請求項15】
入力色空間から前記入力画像の前記複数の画素を輝度－クロミナンス色空間に変換する第１の変換構成要素と、
前記複数の画素の前記調整された輝度値及び調整されたクロミナンス値を出力色空間に変換する第２の変換構成要素と、を更に備える、請求項１に記載の画像処理デバイス。
前記複数の画素の前記調整された輝度値及び調整されたクロミナンス値を出力色空間に変換する第２の変換構成要素と、を更に備える、請求項１に記載の画像処理デバイス。
【請求項16】
背景調整の前に、前記輝度－クロミナンス色空間内の前記複数の画素の前処理を実行する前処理構成要素と、
前記背景調整後に、前記輝度－クロミナンス色空間内の前記複数の画素の後処理を実行する後処理構成要素と、を更に備える、請求項１５に記載の画像処理デバイス。
前記背景調整後に、前記輝度－クロミナンス色空間内の前記複数の画素の後処理を実行する後処理構成要素と、を更に備える、請求項１５に記載の画像処理デバイス。
【請求項17】
前記出力画像をレンダリングする画像出力デバイスを更に備える、請求項１に記載の画像処理デバイス。
【請求項18】
前記画像出力デバイスが、
前記出力画像をプリント媒体上にレンダリングするプリンタと、
前記出力画像を表示画面上に表示する表示デバイスと、のうちの少なくとも１つを備える、請求項１７に記載の画像処理デバイス。
前記出力画像をプリント媒体上にレンダリングするプリンタと、
前記出力画像を表示画面上に表示する表示デバイスと、のうちの少なくとも１つを備える、請求項１７に記載の画像処理デバイス。
【請求項19】
画像処理方法であって、
複数の画素を含む入力画像を受信することと、
前記複数の画素の各々に対して、
前記画素の背景強度を計算することと、
前記画素の輝度強度を計算することと、
前記画素に対する調整された輝度値及び調整されたクロミナンス値を、ユーザ選択されたハイライト色、並びに前記画素の前記背景強度及び輝度強度の関数として計算することと、
前記複数の画素に対する前記調整された輝度値及び調整されたクロミナンス値から導出された出力画像を出力することと、を含む、画像処理方法。
複数の画素を含む入力画像を受信することと、
前記複数の画素の各々に対して、
前記画素の背景強度を計算することと、
前記画素の輝度強度を計算することと、
前記画素に対する調整された輝度値及び調整されたクロミナンス値を、ユーザ選択されたハイライト色、並びに前記画素の前記背景強度及び輝度強度の関数として計算することと、
前記複数の画素に対する前記調整された輝度値及び調整されたクロミナンス値から導出された出力画像を出力することと、を含む、画像処理方法。
【請求項20】
前記複数の画素の各々の前記背景強度が、前記画素の輝度値の非線形関数、又は前記画素の輝度値と１組の局所的画素の輝度値との集約の非線形関数として計算され、かつ／又は、
前記複数の画素の各々の前記輝度強度が、前記画素の前記輝度値の非線形関数として計算される、請求項１９に記載の画像処理方法。
前記複数の画素の各々の前記輝度強度が、前記画素の前記輝度値の非線形関数として計算される、請求項１９に記載の画像処理方法。
【請求項21】
画像処理デバイスであって、
入力画像、選択されたハイライト色、及び選択されたグローバル調整係数を受信する画像調整ユニットであって、背景調整構成要素を含み、背景調整構成要素が、入力画像の複数の画素の各々に対して、
前記画素の背景強度を計算し、
前記画素の輝度強度を計算し、
前記画素の前記背景強度及び輝度強度、前記選択されたハイライト色、及び前記選択されたグローバル調整係数の関数として、前記画素の調整された輝度値及び調整されたクロミナンス値を計算する、画像調整ユニットと、
前記複数の画素の前記調整された輝度及び調整されたクロミナンス値から導出された出力画像を受信し、プリントすることによって前記出力画像をレンダリングする画像出力デバイスと、を備える、画像処理デバイス。
入力画像、選択されたハイライト色、及び選択されたグローバル調整係数を受信する画像調整ユニットであって、背景調整構成要素を含み、背景調整構成要素が、入力画像の複数の画素の各々に対して、
前記画素の背景強度を計算し、
前記画素の輝度強度を計算し、
前記画素の前記背景強度及び輝度強度、前記選択されたハイライト色、及び前記選択されたグローバル調整係数の関数として、前記画素の調整された輝度値及び調整されたクロミナンス値を計算する、画像調整ユニットと、
前記複数の画素の前記調整された輝度及び調整されたクロミナンス値から導出された出力画像を受信し、プリントすることによって前記出力画像をレンダリングする画像出力デバイスと、を備える、画像処理デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
２０２０年３月２６日に出願された同時係属中のＭｅｔｃａｌｆｅによる米国特許出願公開第１６／８３０，４７９号、発明の名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＡＮＤ ＥＮＨＡＮＣＩＮＧ ＡＣＨＲＯＭＡＴＩＣ ＣＨＡＲＡＣＴＥＲＳ ＯＦ ＳＣＡＮＮＥＤ ＤＩＧＩＴＡＬ ＤＯＣＵＭＥＮＴＳ」、及び２０２０年３月２６日に出願された同時係属中のＭｅｔｃａｌｆｅらによる米国特許出願公開第１６／８３０，４１９号、発明の名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＴＯ ＤＥＴＥＣＴ ＡＮＤ ＡＤＪＵＳＴ ＩＭＡＧＥ ＢＡＣＫＧＲＯＵＮＤ」に対し相互参照を行い、その開示は、参照によりその全体が本明細書に組み込まれている。
２０２０年３月２６日に出願された同時係属中のＭｅｔｃａｌｆｅによる米国特許出願公開第１６／８３０，４７９号、発明の名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＡＮＤ ＥＮＨＡＮＣＩＮＧ ＡＣＨＲＯＭＡＴＩＣ ＣＨＡＲＡＣＴＥＲＳ ＯＦ ＳＣＡＮＮＥＤ ＤＩＧＩＴＡＬ ＤＯＣＵＭＥＮＴＳ」、及び２０２０年３月２６日に出願された同時係属中のＭｅｔｃａｌｆｅらによる米国特許出願公開第１６／８３０，４１９号、発明の名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＴＯ ＤＥＴＥＣＴ ＡＮＤ ＡＤＪＵＳＴ ＩＭＡＧＥ ＢＡＣＫＧＲＯＵＮＤ」に対し相互参照を行い、その開示は、参照によりその全体が本明細書に組み込まれている。
【0002】
（発明の分野）
例示的な実施形態は、画像調整に関するものであり、背景抑制及び背景修正のためのシステム及び方法における特定の用途を見出している。
例示的な実施形態は、画像調整に関するものであり、背景抑制及び背景修正のためのシステム及び方法における特定の用途を見出している。
【背景技術】
【0003】
スキャナ及びカメラなどのデジタル画像捕捉デバイスは、画素のアレイとして画像を捕捉し、各画素には、本明細書では入力色空間と称されるＲＧＢ（赤色、緑色、青色）色空間などの多次元色空間において色値のセットが割り当てられている。デジタルデバイスによって捕捉された処理画像は、一般に、本明細書では処理色空間と称されるＬ＊ａ＊ｂ＊色空間などのより大きな色域を有する多次元色空間内で実行される。処理された画像は、次いで、プリントの場合は、ＣＭＹＫ（シアン、マゼンタ、黄色、及び黒色）などの処理された画像をレンダリングするのに好適な多次元出力色空間に変換され得る。
【0004】
画像処理中に、画像に対する様々な調整が行われ得、これらの調整は、多くの場合逐次的に実行され、画像解像度調整、色補正、望ましくないアーチファクトの除去、クロッピング、及び背景抑制を含み得る。
【0005】
背景抑制は、デジタル的に取得した画像内の背景の色を除去又は統合する、複写機及び多機能システムにおける画像経路によって提供される有用な機能である。背景抑制は、背景を除去するか、又は背景を均一にして、電子画像がより均一かつ一貫して見えるようにする。背景抑制は、前景領域と背景領域との間に悪いコントラストを含む入力画像に対しては、より困難となる。望ましくない背景は、入力画像を生成するためにスキャンされる、経年劣化文書、変色文書、及び／又は汚れた文書（複数可）などの多くの理由により存在し得る。加えて、元の文書は、一般に顧客が再現を望まない色付き基材又はリサイクル紙にプリントされ得る。薄い紙料はまた、両面プリントの反対側から内容を検出してレンダリングすることによって生じる透き通しの確率を増加させる傾向があるため、問題となり得る。ユーザは一般に、それらのコピー内に再現された無関係なドット又は背景を有することを望むものではなく、むしろ、元のプリント内に含まれる実際の内容の忠実な受け渡しを有することを望む。背景抑制は、前景領域と背景領域との間のコントラストを改善するのに役立つ。背景抑制はまた、スキャン、文書保管などの用途において、圧縮されたファイルサイズを最小化するのに役立つ。
【0006】
許容可能なスループットを達成するために、背景抑制アルゴリズムの複雑性は、一般に、プリンタプロセッサなどの画像処理デバイスの処理能力によって制限されている。画像を前景領域及び背景領域にセグメント化し、次いで、背景領域のみに補正を適用するアルゴリズムが開発されてきた。閾値は、前景領域（複数可）に望ましくない影響を及ぼすことなく、均一な背景領域（複数可）、典型的には白色（色なし）を生成することを目的として設定される。閾値は、最大値に近いが、それ未満となり得る。例えば、０～２５５のスケールである輝度チャネル上では、０が黒色であり、２５５が白色であり、閾値２５０が設定され得、閾値以上の全ての画素値は、ゲインを適用することにより、それらを２５５にする、すなわち白色にすることができる。しかしながら、２５０未満の画素は、調整されず、灰色のままとなる。クロミナンスチャネルが、同様に調整され得る。結果として、多くの既存の閾値ベースのセグメント化分類アルゴリズムにおいて、急激な切り替えアーチファクトが生成され得、これは、出力画像内で不均一な前景領域又は背景領域として視認可能である。これらは、多くの場合、ハーフトーン及びハイライト領域における「パンチスルー」アーチファクトと称される。
【0007】
更に、マーキングエンジンなどの出力デバイスで利用可能な、１ｂｐｐから８ｂｐｐへの変化のようなビットごとの画素（ｂｐｐ）の数の進歩は、これらのアーチファクトがより顕著であることを意味する。近年、処理ハードウェア及びソフトウェアの進歩が行われており、スループットに影響を及ぼすことなく、より複雑なアルゴリズムを使用することが可能になっている。
【0008】
背景抑制中に発生することがあり、背景色選択を提供するアーチファクトを最小限に抑えるために、より進化したプロセッサの処理能力を活用することができる背景調整のためのシステム及び方法が開示されている。
（参照による組み込み）
（参照による組み込み）
【0009】
以下の参照文献は、その開示が参照により全体が本明細書に組み込まれている。
【0010】
２０１７年９月７日に公開されたＸｉｎｇ Ｌｉらによる米国特許出願公開第２０１７０２５５８４９（Ａ１）号、発明の名称「ＤＯＣＵＭＥＮＴ ＢＡＣＫＧＲＯＵＮＤ ＳＵＰＰＲＥＳＳＩＯＮ ＰＥＲＦＯＲＭＥＤ ＤＵＲＩＮＧ ＣＯＬＯＲ ＳＰＡＣＥ ＣＯＮＶＥＲＳＩＯＮ」は、第１の色空間から第２の色空間から変換された後に画像に対して背景抑制補正を行い、次いで、プリンティングデバイスによって使用される第３の色空間に変換することを説明している。画像を第３の色空間に変換するプロセスは、第２の色空間値のノードをサンプリングし、ノードを背景ノードか又は非背景ノードとして分類し、背景ノードの第２の色空間値を１００％未満の割合で乗算し、乗算後にノード間の値を補間する。
【発明の概要】
【発明が解決しようとする課題】
【0011】
例示的な実施形態の一態様によれば、画像処理デバイスは、関連付けられたユーザインターフェースデバイスから画像調整選択を受信する入力デバイスを含む。メモリは、ユーザインターフェースデバイス上でユーザに提示するための背景調整セレクタを生成するユーザインターフェースジェネレータと、入力画像の複数の画素の各々に対して（ａ）それぞれの画素に対して計算された背景調整係数、及び（ｂ）計算された背景調整係数から導出される背景クラスのうちの少なくとも１つの関数として、調整された色値を計算する背景調整構成要素とを格納する。背景調整係数は、画素の背景強度、及び画素の輝度強度の関数である。メモリはまた、複数の画素に対して調整された色値から導出された出力画像を出力する画像出力構成要素を格納する。プロセッサは、背景調整構成要素及び画像出力構成要素を実装する。
【0012】
例示的な実施形態の別の態様によれば、画像処理方法は、複数の画素を含む入力画像を受信することを含む。複数の画素の各々に対して、本方法は、画素の背景強度を計算することと、画素の輝度強度を計算することと、ユーザ選択したハイライト色並びに画素の背景強度及び輝度強度の関数として、画素の調整された輝度値及び調整されたクロミナンス値を計算することと、を含む。本方法は、複数の画素に対する調整された輝度値及び調整されたクロミナンス値から導出される出力画像を出力することを更に含む。
【0013】
本方法の１つ以上のステップは、プロセッサによって実行され得る。
【0014】
例示的な実施形態の別の態様によれば、画像処理デバイスは、入力画像、選択されたハイライト色、及び選択されたグローバル調整係数を受信する画像調整ユニットを含む。画像調整ユニットは、背景調整構成要素を含み、これは、入力画像の複数の画素の各々に対して、画素の背景強度を計算し、画素の輝度強度を計算し、画素の背景強度及び輝度強度、選択されたハイライト色、及び選択されたグローバル調整係数の関数として、画素の調整された輝度及び調整されたクロミナンス値を計算する。画像出力デバイスは、複数の画素の調整された輝度値及び調整されたクロミナンス値から導出された出力画像を受信し、プリントによって出力画像をレンダリングする。
【図面の簡単な説明】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【発明を実施するための形態】
【0034】
背景ハイライトマッピングを組み込んでいる画像処理を提供するシステム及び方法が説明されている。例示的な背景ハイライトマッピングは、本明細書で説明されるようなソフトウェア画像経路（ＳＷＩＰ）にステップを形成し得るか、又はスタンドアロン動作として実行され得る。例示的なシステム及び方法は、潜在的な背景画素を識別し、ハイライトマッピング命令に基づいてそれらを処理する。ハイライトマッピング命令は、事前設定され得るか、又は顧客又は画像処理用の命令を入力する他の人のようなユーザによって選択され得る。
【0035】
背景ハイライトマッピングは、本明細書で使用するとき、画像内の背景画素の色を修正するための方法である。色変更は、整調可能であり、ユーザが文書に適用される背景修正の量を微調整することを可能にする。一実施形態では、顧客は、ユーザインターフェースを介して背景修正の量を選択することができる。元々は色付き紙料にプリントされた文書又はコピージョブでは、文書の背景色の一部を保持することができるが、彩度レベルが低減される。この機能はまた、例えば、任意の所与のコピージョブに使用されるトナーのようなマーキング材料の量を低減するために、経済的なプリントモードとして組み込まれ得る。この機能はまた、スキャン用の、かつ電子的に分配するため、又はアーカイブ用の画像を圧縮する際のスキャンファイルサイズ最小化方法として組み込まれ得る。
【0036】
本明細書でグレースケールハイライトマッピングと称されるハイライトマッピングの一実施形態では、任意の特定された背景画素が選択されたハイライト色に向けて駆動される範囲は、（「背景」対「非背景」として完全にラベル付け／分類されるのとは対照的に）画素の「背景強度」（又は中立強度）に基づいており、任意選択的に、グローバル調整係数にも基づいている。
【0037】
別の実施形態では、直接ハイライトマッピングと称され、識別された背景画素がユーザ選択されたハイライト色に向けて駆動される範囲は、グローバル調整係数の関数である。
【0038】
ユーザが選択したハイライト色がない場合、識別された背景画素は、本明細書では白色点マッピングと称されるデフォルト（すなわち、それぞれＬ＊ａ＊ｂ＊＝２５５、１２８、１２８）によって「純粋な白色」に向けて駆動され得る。一実施形態では、デフォルト背景調整は、グレースケールマッピング方法と同様に、（「背景」対「非背景」と完全にラベル付け／分類されるのとは対照的に）グレースケールマッピング方法と同様に、画素の「背景強度」に基づくことができる。
【0039】
一実施形態では、ユーザ（又は自動領域セレクタ）は、背景ハイライト表示方法のうちの１つ（例えば、直接、グレースケール、又はデフォルト）に従って処理される識別された背景画素又は識別された背景画素内のテキスト文字の領域を選択することができ、一方で、識別された背景画素又は識別された背景画素内のテキスト文字の第２の領域は、背景ハイライト表示方法のうちの別の方法に従って処理される。
【0040】
本システム及び方法は、文書の背景領域及び前景領域の正確なセグメント化及び分類を可能にし、それによって、結果として得られるプリントされた文書の画質を大幅に改善する。この改善は、特に重要であり、低周波数ハーフトーン領域内だけでなく、紙の背景特性が文書の前景内容物に近い他のハイライト領域内でも特に重要であり、顕著である。
【0041】
ハイライトマッピングプロセスは、スキャンされた文書の背景領域が正確に変更され、事前設定又はユーザ選択可能な色に設定されることを可能にし、同時に残りの前景領域が変更されないようにする。例えば、色付き紙料にプリントされた文書の背景領域は、完全に抑制することができるか、又は、そうでない場合、わずかに調整されて、トナーを節約するか、又は色の含有量を維持するが、低減した彩度を維持することができる。
【0042】
本明細書で使用されるとき、「画像出力デバイス」は、複写機、レーザプリンタ、製本機、ファクシミリ機、又は多機能マシン（スキャン、プリント、アーカイビング、電子メール、及びファックスなどの１つ以上の機能を含む）などのプリント媒体上に画像をレンダリングするための任意のデバイスを含むことができる。
【0043】
「プリント媒体」は、画像を載せる紙、プラスチック、又は他の好適な物理的プリント媒体基材の物理的シートであり得る。例えば、プリント媒体は、高品質ボンド紙、低品質「コピー」紙、オーバーヘッド透明シート、高光沢紙、色付き紙、等のような、マーキングエンジンがプリントすることができる、実質的に任意のタイプの媒体であり得る。「ジョブ」又は「文書」とは、特定のユーザからの、又は他の関連するユーザからの元のジョブシート（複数可）又は電子文書ページ画像からコピーされた１枚又は複数のシートを指す。本明細書のシステム及び方法によれば、「ジョブ」は、プリントジョブ、コピージョブ、スキャンジョブ等であり得る。
【0044】
「元の画像」又は「入力画像」は、本明細書では、情報の電子（例えば、デジタル）記録を意味するために使用される。元の画像は、テキスト、グラフィック、又はビットマップの形態の画像データを含み得る。
【0045】
本明細書で使用するとき、「画素」は、その中に画像を分割することができる最小セグメントを指す。入力画像の受信画素は、色、強度、明度、ブライトネス、又はそれらの一部の数学的変換などの色空間に関して定義される色値と関連付けられている。画素色値は、例えば、輝度値（Ｌ＊）及びクロミナンス（ａ＊ｂ＊）値を得るために、例えば、ＲＧＢ－Ｌ＊ａ＊ｂ＊変換器を使用して、Ｌ＊ａ＊ｂ＊などのクロミンルミナンス空間に変換され得る。画素は、ＲＧＢ又はＬ＊ａ＊ｂ＊以外の値によって表すことができることを理解されたい。
【0046】
Ｌ＊ａ＊ｂ＊色空間は、明度のＬ次元、並びに反対色次元（すなわち、クロミナンス）であり、かつ、非線形的に圧縮された座標に基づくａ及びｂを有する。Ｌ＊ａ＊ｂ＊色空間は、全ての知覚可能な色を含み、これは、その色域がＲＧＢ及びＣＭＹＫ色空間の色空間を超過することを意味するが、Ｌ＊ａ＊ｂ＊－色空間はデバイス非依存であり、これは、その色が、それらの生成の性質、又はそれらが出力されるデバイス（表示されるか、レンダリングされる）とは無関係に定義されることを意味する。
【0047】
図１は、例示的な画像処理デバイス１０を示す。画像処理デバイスは、画像調整ユニット１２及び任意選択的に画像出力デバイス１４を含む。画像調整ユニット１２は、ＲＧＢなどの第１の（入力）色空間において、スキャン画像などの元のデジタル画像１６を受信する。画像調整ユニット１２は、元の画像１６を第２の色空間、具体的には、Ｌ＊ａ＊ｂ＊などの輝度－クロミナンス色空間に変換し、ここで、画像調整が行われ、調整されたデジタル画像１８を形成する。調整は背景調整を含み得る。画像調整ユニット１２は、出力デバイス１４が動作するＣＭＹＫなどの第３の（出力）色空間内において、調整されたデジタル画像１８を出力デジタル画像２０に変換し得る。例示的な出力デバイス１４は、マーキングデバイスを含み、これは紙などのプリント媒体上に出力デジタル画像２０を、インク又はトナーなどのマーキング材料を使用してレンダリングし、レンダリングされた（一般的にハードコピー）画像２２を形成する。画像処理デバイス１０は、スキャナ又はコンピューティングデバイスなどの元のデジタル画像のソース２４を更に含み得るか、又はそれらに通信可能に接続され得る。スキャンコピー画像処理経路などのいくつかの実施形態では、出力画像２０は、デジタル画像のソース２４などのローカルメモリ又はリモートメモリに格納され得る。画像処理デバイス１０の構成要素１２、１４、２４は、ワイヤ、ローカルエリアネットワーク、又はインターネットなどの広域ネットワークなどの有線リンク２６又は無線リンク２８によって通信可能に接続され得る。
【0048】
画像調整ユニット１２は、調整された画像１８及び出力画像２０を生成する処理ステップを実行するためのソフトウェア命令３２を格納するメモリ３０を含む。メモリ３０と通信するプロセッサデバイス（「プロセッサ」）３４は、これらの命令を実行する。画像調整ユニット１２はまた、特に、元の画像１６を受信するため、出力画像２０を出力するため、及びローカル又はリモートのユーザインターフェースデバイス４３から画像調整選択４２を受信するために外部デバイスと通信するための１つ以上の入力／出力（Ｉ／Ｏ）デバイス３６、３８、４０を含む。入力／出力（Ｉ／Ｏ）デバイス３６、３８、４０は、画像調整ユニット１２が、ローカルエリアネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）、又はインターネットなどのコンピュータネットワークを介して他のデバイスと通信することを可能にし、変調器／復調器（モデム）、ルータ、ケーブル、及び／又はＥｔｈｅｒｎｅｔポートを各々含み得る。
【0049】
ユーザインターフェースデバイス４３は、図示された背景調整セレクタ４４のようなグラフィカルユーザインターフェースを表示する。ユーザインターフェースデバイス４３は、表示画面、及びタッチスクリーン、キーボード、キーパッド、カーソル制御デバイス、音声コマンド受信機などの１つ以上のユーザ入力構成要素を組み込んだ表示デバイスであってもよい。ユーザインターフェースデバイス４３は、有線又は無線リンクによって入力／出力デバイス４０と通信可能に接続され得、それにより、ＧＵＩ４４はユーザインターフェースデバイス４３に送信され、ユーザ選択は、ユーザインターフェースデバイスから受信される。
【0050】
画像制御ユニット１２のハードウェア構成要素３０、３４、３６、３８、３８、４０は、データ／制御バス４６を介して通信することができる。
【0051】
画像制御ユニット１２は、マイクロプロセッサなどの１つ以上のコンピューティングデバイス、デスクトップ、ラップトップ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、サーバコンピュータ、携帯電話、タブレットコンピュータ、これらの組み合わせなどのＰＣ、又は例示的な方法を実施するための命令を実行可能な他のコンピューティングデバイスを含み得る。
【0052】
メモリ３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスク又は磁気テープ、光ディスク、フラッシュメモリ、若しくはホログラフィックメモリなどのいずれかの種類の非一時的コンピュータ可読媒体を表すことができる。一実施形態では、メモリ３０は、ランダムアクセスメモリと読み出し専用メモリとの組み合わせを含む。いくつかの実施形態では、プロセッサ３４及びメモリ３０は、単一のチップ内に組み合わされ得る。メモリ３０は、例示的な方法及び処理されたデータを実行するための命令を格納し、１つ以上のメモリデバイスを含み得る。
【0053】
デジタルプロセッサデバイス３４は、シングルコアプロセッサ、デュアルコアプロセッサ（又はより一般的にはマルチコアプロセッサ）、デジタルプロセッサ、及び連係式数値演算コプロセッサ、デジタルコントローラなどによって、様々に具体化され得る。命令３２を実行することに加えて、デジタルプロセッサ３４はまた、画像出力デバイス１４の動作を制御することができる。一実施形態では、プロセッサは、画像データを処理するために特殊化された専用プロセッサであり得るか、又はそれを含み得、画像処理操作の取り扱い、画像データの処理、画素値の計算などに特化された特定用途向け集積回路（ＡＳＩＣ）を含み得る。プロセッサは、ラスタ画像プロセッサ（ＲＩＰ）を含み得、これは、元の画像記述を使用してジョブをラスタ画像処理する。したがって、プリントジョブの場合、プリント命令データは、プリンタ可読言語に変換される。プリントジョブ記述は、一般に、プリント準備済みファイルを生成するために使用される。プリント準備済みファイルは、複数の（及び後続の）パスのために繰り返しアクセスすることができる圧縮ファイルであり得る。
【0054】
本明細書で使用するとき、用語「ソフトウェア命令」又は単に「命令」は、ソフトウェアの目的であるタスクを実施するようにコンピュータ又は他のデジタルシステムを構成するために、コンピュータ又は他のデジタルシステムによって実行可能な命令の任意の集合又はセットを包含することが意図される。本明細書で使用するとき、用語「ソフトウェア」は、ＲＡＭ、ハードディスク、光ディスクなど記憶媒体に記憶されたかかる命令を包含することが意図されており、また、ＲＯＭなどに記憶されたソフトウェアである、いわゆる「ファームウェア」を包含することも意図される。そのようなソフトウェアは様々な方法で組織化され得、ライブラリとして組織化されたソフトウェアコンポーネント、リモートサーバなどの上に記憶されたインターネットベースのプログラム、ソースコード、解釈コード、オブジェクトコード、直接実行可能コードなどを含み得る。ソフトウェアは、特定の機能を実施するために、システムレベルコード、又はサーバ若しくは他の場所に常駐する他のソフトウェアへのコールを呼び出し得ることが企図される。
【0055】
図示された命令３２は、グラフィカルユーザインターフェース（ＧＵＩ）ジェネレータ４８、第１の（入力画像）変換構成要素５０、任意選択的に１つ以上の画像前処理構成要素５２、ページ背景検出構成要素５４、背景調整構成要素５６、任意選択的に１つ以上の画像後処理構成要素５８、第２の（調整された画像）変換構成要素６０、画像出力構成要素６２、及び任意選択的なパラメータ学習構成要素６４を含む。理解されるように、構成要素４８、５０、５２、５４、５６、５８、６０、６２、及び６４のうちの１つ以上は、別個であってもよいか、又は組み合わされてもよく、ソフトウェア又はハードウェア構成要素であってもよい。
【0056】
ＧＵＩジェネレータ４８は、ＵＩ４３上に表示するためのグラフィカルユーザインターフェース（ＧＵＩ）を生成する。ＧＵＩは、背景調整セレクタ４４を含み、これはユーザが、例えば、デバイス４３内に組み込まれたか、又は他の方法でそれに関連付けられたタッチスクリーン、キーパッドなどを介する、ユーザインターフェース４３上の背景調整選択４２を作成するために提供されている。
【0057】
また図２を参照すると、入力画像１６が既に輝度－クロミナンス色空間内にないと仮定すると、第１の変換構成要素５０は、第１の色空間内で元の画像１６を受信し、元の画像１６の画素６６を画素６８に変換して、第２の（輝度－クロミナンス）色空間内で変換画像７０（図１）を形成する。これは、ＲＧＢからＬ＊ａ＊ｂ＊への変換によって図２に示されている。理解されるように、元の画像１６が既に第２の色空間内にある場合、第１の変換構成要素５０は省略され得る。この変換は、ルックアップテーブルを用いて、又は適切な変換方程式を使用するなどの他の方法を使用して実施され得る。
【0058】
任意選択的な画像前処理構成要素（複数可）５２は、第２の色空間内の変換された画像画素６８に対して様々な前処理操作を実行し得る。これらの動作は、トリミング、スケーリング、パディングなどの１つ以上を含み得る。理解されるように、これらの動作のうちの１つ以上は、ソフトウェア画像経路内で追加的に又は代替的に実行され得る。前処理の出力は、第２の色空間内に前処理された画像画素７４を含む、任意選択的に前処理された画像７２である。
【0059】
任意選択的なページ背景検出構成要素５４は、各ページの背景色７５を検出し、同様の背景色を有するページのセットに入る着信ページのシーケンスをセグメント化し得る。構成要素５４は、ページ全体に単一の背景色を割り当てるために、ページベースの、又はリーディングエッジの背景検出カーネルを組み込み得る。これにより、構成要素５６は、色背景（非白色）とは異なって「白色」背景でページを処理することができる。このようにして、ページ背景は、現在のスキャナ及び紙媒体属性に基づいて文書ごと（又はページごと）に動的に調整することができる。これにより、色及び標準白色紙ストックの両方の混合物が同じコピージョブに含まれるとき、完全又は部分的な背景抑制能力を可能にする。構成要素は、ページのマージン（すなわち、通常のプリント領域の外側）などの背景領域の色７５の単純な検出を実行することができ、その結果、予め選択された色値範囲内の全てのページが「白色背景」として分類される一方で、他のページは、白色以外の平均Ｌ＊ａ＊ｂ＊背景値で分類され得る。以下では例として、検出されたピンク色及び黄色の背景を有するページが例示される。
【0060】
全体的なプリント画像品質は、ページ背景検出構成要素５４によって改善され得、正確な背景検出プロファイルが、現在のスキャナ及び紙媒体属性に基づいて文書ごとに動的に調整され得、これにより、色付き及び標準白色の紙料の両方の混合物が同じコピージョブに含まれるとき、完全又は部分的な背景抑制能力を可能にする。
【0061】
背景調整構成要素５６は、背景調整セレクタ４４を介した任意のユーザ選択に従って、又はデフォルト選択を使用することによって、ページ画像７０又は７２の画素７４に背景調整を適用する。背景調整操作の出力は、背景調整画像画素７６、すなわち背景修正画像７８の画素は、その一部が、改善された画質及び／又は背景強調表示を提供する目的で調整され得る。
【0062】
任意選択的な画像後処理構成要素（複数可）５８は、修正された第２の色空間内の背景調整画像７８の画素に対して様々な後処理操作を実行して、調整画像１８を形成し得る。後処理が行われない場合、背景調整画像７８は調整画像１８として機能する。
【0063】
第２の変換構成要素６０は、調整画像１８を、ＣＭＹＫなどの第３の色空間内の出力画像２０の画素８０に変換する。
【0064】
画像１６、１８、２０、７０、７２、７８は、処理中に、メモリ３０又は別個のメモリに一時的に格納され得る。
【0065】
画像出力構成要素６２は、出力画像２０を、例えば、Ｉ／Ｏデバイス３８を介して、画像出力デバイス１４に出力する。代替的に、出力画像は、メモリ内に格納され得るか、又は、リモートコンピューティングデバイス及び／若しくはメモリストレージデバイスに出力され得る。
【0066】
本明細書で説明される画像処理の間、元の画像１６は、画像の各画素にプリントする値を示すビットマップ画像に変換され得る。
【0067】
任意選択的なパラメータ学習構成要素６４は、ルックアップテーブル、スカラーパラメータなどのシステムの１つ以上のパラメータを学習する。
【0068】
図３を参照すると、一例示的な背景調整構成要素５６が示されている。図示した構成要素５６への入力は、画像の各画素に対して、各チャネルごとに８ｂｐｐ、すなわち、Ｌ＊ａ＊ｂ値であり、これらの各々が０～２５５の範囲に対応する８ビット（各ビットは０又は１であり得る）のシーケンスである。しかしながら、他のスケールも想到される。
【0069】
背景調整構成要素５６は、背景セグメント化構成要素８２及び背景調整カーネル８４を含む。一実施形態では、背景セグメント化構成要素８２は、背景レベル（又は平均背景レベル）を、画像内の全ての画素に割り当て、これは、各画素が背景画素である可能性があるかの指標になっている。別の実施形態では、背景セグメント化構成要素８２は、画像を背景領域及び前景領域にセグメント化し、背景領域内の全ての画素を背景画素として識別する。
【0070】
例示される背景セグメント化構成要素８２は、背景レベル判定構成要素９０及び平均化構成要素９２を含む。構成要素９０は、プレーナから画素への集約構成要素９６と、トリリニア補間を通じて動作することができる背景レベル出力構成要素９８とを含む。
【0071】
背景レベル判定構成要素９０は、本質的に所与の画素が背景画素である確率である背景レベル１００を出力する。例示的な実施形態では、第２の画素よりも０に近いＬ＊値を有する第１の画素（すなわち、０～２５５のスケールでの黒）は、２つの画素のａ＊値及びｂ＊値が同じであると仮定して、第２の画素よりも低い背景レベル値を受信する。
【0072】
図示した実施形態では、背景レベル１００は８ビットの出力であり、すなわち、各画素は、０～２５５の背景レベルを小数点スケールで有するが、これは代替的に、０～１又は０～１００のスケール、若しくは可能な値の範囲を有する他の非バイナリスケールであることがある。背景レベル１００の判定は、各画素に対して行われ、周囲の画素を参照することなく、そのＬ＊、ａ＊、及びｂ＊値の関数である。
【0073】
図示した実施形態では、集約構成要素９６は、背景レベル判定構成要素９０による計算を容易にするために、入力値Ｌ＊、ａ＊、ｂ＊を単一のＬａｂチャネル値１０１に連結する。出力は、Ｌ＊、ａ＊、及びｂ＊のビット列で構成される２４ビットの列である。例えば、Ｌ＊、ａ＊、及びｂ＊の値が、（１，０，０，０，０，１，０，０）、（０，０，０，０，０，１，０，１）、及び（０，０，０，０，０，０，０，０，１）である場合、集約構成要素は、集約されたＬａｂ値１０１として（１，０，０，０，０，１，０，０，０，０，０，０，０，１，０，１，０，０，０，０，０，０，０，０，１）を出力する。
【0074】
背景レベル出力構成要素９８は、Ｌａｂ値１０１を受信し、背景レベル１００をその関数として出力する。背景レベル出力構成要素９８は、本質的にルックアップテーブル（ＬＵＴ）として機能する。メモリ要件を低減するために、トリリニア補間が使用され、格納された格子点のセット間の中間値を計算することができる。この実施形態では、最も重要なビットは、３Ｄ色域（画素に対応する補間点の周りに立方体の８点を形成する）内の格子点にアクセスするために使用される。使用される重要なビットの数は、画像品質と計算時間との間のトレードオフを提供するように選択され得る。格子点は各々、ＬＵＴ内で、対応する背景レベルに関連付けられている。次いで、補間が実施され、画素の背景レベルを決定する。例示的な実施形態では、Ｘ、Ｙ、Ｚ色空間内でトリリニア補間が行われるが、他の色空間が想到されている。一実施形態では、トリリニア補間ＬＵＴは、３，３７５格子ポイント整数値（すなわち、１５×１５×１５ＬＵＴ）を含むが、より小さい又はより大きいＬＵＴが企図される。メモリサイズが制約されない場合、補間は、より大きいＬＵＴで置き換えられることがあり、これは、場合によっては、わずかに高い画質を達成することができると理解される。
【0075】
図４は、例示的な背景レベル出力構成要素９８の動作をグラフィカルに示す。Ｌ＊ａ＊ｂ＊値は、それぞれのマッピングＬＵＴ１０２、１０３、１０４を使用して対応するＣＩＥ ＸＹＺ三刺激値にマッピングされる。直交軸上に規定されたＸＹＺ値は、Ｐ１１１、Ｐ１１０、Ｐ１０１、Ｐ１００、Ｐ０１１、Ｐ０１０、Ｐ００１、Ｐ０００で示される８つの最も近い格子点１０６を識別する格子点ＬＵＴ１０５に入力される。トリリニア補間カーネル１０７は、画素Ｐから各格子点までのユークリッド距離を計算する。図示するように、これは、３つの垂直Ｘ軸、Ｙ軸、Ｚ軸を使用して画素から格子点までの経路を生成することと、そこからのユークリッド距離（最短経路）を計算することとを含む。次に、背景レベル出力は、格子点の各々にユークリッド距離の逆関数として割り当てられた、例えば、下式の背景レベルの関数であり、
式中、ＢＬ１～ＢＬ８は、（ＬＵＴ１０５に格納されている）８つの格子点に割り当てられた背景レベルであり、Ｄ１～Ｄ８は、対応する計算されたユークリッド距離である（それらが合計して１となるように正規化されている）。
【数1】
【0076】
トリリニア補間構成要素９８は、入力再マッピングＬＵＴ１０２、１０３、１０４及び３Ｄ格子点１０６をプログラムして、どのＬ＊ａ＊ｂ＊トリプレット値又は色域領域を「背景」画素と分類すべきであるかを決定する、柔軟かつロバストな方法を提供する。
【0077】
背景レベル出力構成要素９８によって使用されるＬＵＴ１０２、１０３、１０４、１０５（図４）は、処理される所与のタイプの画像セットの画質を最適化するために生成され得る。一実施形態では、２つ以上のＬＵＴ１０５が格納され得、ユーザには、個人の選好に基づいて、格納されたＬＵＴのうちの１つを選択する選択肢が提供される。ＬＵＴ内の背景レベルを計算するために、画素の中立規模は、下の式（１）から導出することができ、
又はその関数であり、すなわち、値が０未満である場合、０に設定される。Ｍａｘａ及びＭａｘｂは、Ｌ＊ａ＊ｂ＊域の背景領域と非背景領域との間の中立境界１２８（図５）を規定する最大絶対ａ＊及びｂ＊値である。ＬＵＴは、境界１２８の外側の全ての画素に０の値を適用することができる。白色点マッピングの場合、Ｍａｘａ及びＭａｘｂａ＊及びｂ＊画素値は、ほとんどの顧客の紙料／媒体用途のための十分な中立背景検出を提供するために、中立軸の周りの＋／－１４範囲内に規定され得る。グレースケールマッピングの場合、１つ以上の着色領域はまた、図６の中立背景としてのａ＊値及びｂ＊値を定義するためにも考慮される。
【数2】
【0078】
任意選択的な平均化構成要素９２（図３）は、背景レベル判定構成要素９０によって出力された所与の画素の背景レベル１００を調整して、１組の局所（例えば、周囲）画素の背景レベル１００を考慮する。一実施形態では、構成要素９２は、画像の各画素に対して、平均背景レベル１０８を出力する。このことが、そうでない場合に単に背景として分類されることになるであろう比較的低周波数のハーフトーンスクリーン／領域をセグメント化する能力を提供する。隣接画素の属性を考慮すると、純粋な点プロセス分類スキームにおいて、そうでなければ生じることがある急激なセグメント化切り替えアーチファクトを低減することができる。一実施形態では、平均背景レベルは、８個の最も近い周囲画素を有する、所与の画素を中心画素として有するボックスを形成する９画素の平均である。他の実施形態では、より大きな数の周囲画素が考慮され得る。いくつかの実施形態では、例えば、所与の画素へのそれらの近接度に応じて、異なる重みが周囲の画素に適用され得る。平均化構成要素９２は、３×３、５×５、又は７ｘ７のボックスフィルタなどの任意の好適なボックスフィルタであり得る。平均化の結果は、所与の画素の背景レベルが周囲の画素の背景レベルに近づけてシフトされることである。
【0079】
別の実施形態では、ハイライトマッピングを指示するのに適した別の実施形態では、背景レベル１００又は平均背景レベル１０８は、閾値化され得るか、又はルックアップテーブルにアクセスするために使用され得、ルックアップテーブルは、画素が背景として分類されているか否かの二分の「はい」又は「いいえ」の決定を生成する。図１１を参照してより詳細に説明されるように、背景画素の「はい／いいえ」の決定を生成する他の方法も想到される。
【0080】
背景調整カーネル８４（図３）は、画像画素６８又は画像画素７４の各々に対して、元の（又は前処理された）Ｌ＊、ａ＊、ｂ＊値７０、７２を入力として取得し、背景調整を適用する。一実施形態では、この調整は、背景レベル１００（又は計算された場合は１０８）の関数であり、高背景レベル１００（又は１０８）を有する画素は、比較的低い背景レベル１００（又は１０８）を有する画素よりも大きな調整を受けるようになっている。調整範囲及び色空間における調整の方向はまた、背景調整セレクタ４４及び／又は検出された背景色７５から入力された背景調整選択４２の関数である。別の実施形態では、調整範囲及び色空間における調整方向は、主として、背景調整セレクタ４４及び／又は検出された背景色７５から入力された、背景として分類されたそれらの画素に対する背景調整選択４２の関数である。
【0081】
一実施形態（図３）では、ユーザ入力４２は、領域／テキスト選択１１０、背景ハイライト色選択１１２、モード選択１１４、及びグローバル調整係数（ＧＡＦ）選択１１６のうちの１つ以上を含む。領域／テキスト選択１１０は、強調表示したい背景領域内で、ユーザが処理されること、及び／又はテキスト化されることを望む背景領域を特定する。背景ハイライト色選択１１２は、ハイライトで使用される色を特定する。モード選択１１４は、複数のハイライトモード（例えば、白色点、グレースケール、若しくは、背景領域又は画像全体の背景画素に対する直接マッピング）のうちの１つを特定する。グローバル調整係数（ＧＡＦ）選択１１６は、（デフォルトで０又は１であり得る）各モードで使用されるグローバル調整係数を特定する。ＧＡＦは、調整を受ける各画素に均一に適用され、したがって、画素の輝度及びクロミナンス値とは無関係になっている。
【0082】
背景調整カーネル９４は、モード選択１１４で特定することができる、２つ、３つ、又はそれ以上のモードなどの複数の動作モードを有し得る。白色点マッピングと称されるこれらのモードのうち第１のモードでは、任意の背景画素が「純粋な白色」（すなわち、それぞれＬ＊ａ＊ｂ＊＝２５５、１２８、１２８）に向けて駆動される範囲は、問題となる画素の（平均）背景レベル１０８に基づいており、「非背景」に対して「背景」として完全にラベル付け／分類されるのとは対照的になっている。グレースケールハイライトマッピングと称される第２のモードでは、白色点マッピングにおけるように背景画素が「純粋な白色」に向けて駆動されるのではなく、背景画素が、背景ハイライト選択１１２で指定され得るユーザ選択色値に向けて駆動される。選択された色は、実際の背景色に相似の色値であり得、例えば、ピンク色背景に対して多少ピンク色となるか、又は、黄色などの完全に異なる色であり得る。第１及び第２のモードの両方において、新しい画素色はまた、グローバル調整係数１１６の関数であり得、すなわち、特定された背景画素に均一に適用される係数であり得る。単一モードは、白色点マッピングとグレースケールマッピングモードを組み合わせ得、選択されたハイライト色が白色及び他の色から選択される。直接ハイライトマッピングと称される第３のモードでは、特定された背景画素は、ユーザが選択した色値１１２、又はユーザが選択した色値及びグローバル調整係数１１６の関数である色で置き換えられる。
【0083】
背景調整セレクタ４４は、顧客が、広範囲の色付き紙料上にプリントされたいずれの文書上の背景レベル（複数可）を正確なページ背景検出構成要素５４を使用して完全に抑制することを可能にし得る。同様に、顧客は、文書の背景色の一部を保持することを決定することができるが、彩度は低減される。この機能はまた、任意の所与のコピージョブのためにプリントされた文書上に堆積されるトナーの量を低減するために、「エコノミープリント」及び／又は「ドラフトモード」と組み合わされ得る。
【0084】
図５は、白色点マッピングモードを示し、矢印１２０、１２２、１２４が、が、ＰｉｘｅｌＡ、ＰｉｘｅｌＢ、及びＰｉｘｅｌＣで表される３つの例示的な画素が純粋な白色に向けて移動する範囲を示している。ＰｉｘｅｌＡは、ａ＊ｂ＊構成要素がＬ＊中立軸に近いために、ＰｉｘｅｌＢ及びＰｉｘｅｌＣよりも多くシフトされている。同様に、ＰｉｘｅｌＢは、ａ＊ｂ＊構成要素がＬ＊中立軸に近いために、ＰｉｘｅｌＣよりも純粋な白色に向けてより多く調整されている。Ｌ＊軸により近づく移動に加えて、画素のａ＊ｂ＊値も、ＰｉｘｅｌＡがＰｉｘｅｌＢ及びＰｉｘｅｌＣよりも多くシフトされて中立値（１２８、１２８）に向けてシフトされている。
【0085】
図５に示すＬ＊ａ＊ｂ＊色域の背景（中性）領域１２６は、トリリニア補間格子点及び入力再マッピングＬＵＴを適切にプログラミングすることによって規定及び生成され、Ｌ＊ａ＊ｂ＊域のいずれの領域も背景として分類されるように包含する。色域の残りの部分は、前景であると考えられる。背景領域の周囲１２８は、中立背景画素と前景画像画素との間の境界を画定する。値が境界１２８上に、又は境界１２８内にある画素は、調整のための候補である（すなわち、それらは調整され得るが、必須ではなく、一方で境界外側の画素は調整を受けない）。この例では、色域の背景領域１２６は円形であり、Ｌ＊軸のより明るい領域にあるａ＊ｂ＊中立軸を中心としている。このことは、白紙にプリントされた大部分の文書に好適である。
【0086】
しかしながら、黄色の紙料上にプリントされたコピーについては、例えば、背景領域を黄色Ｌ＊ａ＊ｂ＊領域（複数可）内に収容及びプログラムすることができ、例えば、図６に示されるように、同じ可変処理方法を使用して、これらの（黄色の背景）画素に対する更なる調整が実現できるようになっている。背景調整の程度は、このように顧客の選好及び／又は他の要因（トナーの使用量の低減など）に基づいて調整することができる。例えば、高度に色付けされた「黄色の紙」のコピーでは、背景は、元のプリントの背景内容の少なくとも一部を維持するために、はるかに明るい黄色を達成するように抑制され得る。代替的に、黄色の背景領域は、プリント内容の完全性を依然として維持しつつ除去される場合もある。調整値を導出するために使用される「純粋な白色」のＬ＊ａ＊ｂ＊値を変更／プログラムする能力を提供することにより、類似するが異なる背景調整効果を達成することができる。例えば、白色背景から明るいピンク色背景を作成するために、検出されたＬ＊ａ＊ｂ＊（ピンク色）値７５又は選択されたＬ＊ａ＊ｂ＊（ピンク色）値１１２に基づいた画素調整値を作成することができる。図６は、グレースケールハイライトマッピングモードを示し、矢印１３０、１３２、１３４は、中立背景領域内の画素の対応するＲ、Ｇ、及びＢ構成要素への変更、並びに色域の例示的なピンク色部分１３６及び黄色部分１３８のピンク色画素及び黄色画素への自動修正を示している。
【0087】
図７は、直接ハイライトマッピングモードを示し、矢印１４０、１４２、１４４は、中立背景領域内の画素の対応するＲ、Ｇ、及びＢ構成要素への変更、並びにユーザが選択したグローバル調整係数（ＧＡＦ）に基づいた、色域の例示的なピンク色部分１４６及び黄色部分１４８部分のそれらの画素への修正を示している。図示した実施形態では、ユーザは、背景色に関して０～１の範囲の「ピンク」ＧＡＦを選択することができ、背景色は、「ピンク」色７５の所定の範囲内の色値を有するものとして検出され、かつ／又は背景値の「黄色」範囲内に収まる背景色に関して０～１の範囲の「黄色」ＧＡＦを選択することができる。０のＧＡＦは、平均で、１に近いＧＡＦよりも、より多くの背景色を保持している。
【0088】
ここで図８を参照すると、一例示的な背景調整セレクタ４４が示されている。ユーザは、背景色を選択するために「選択背景色」ボタン又はアイコン１５０を使用することができる。ウィンドウ１５２は、カラーホイール又は他の色セレクタを提供するように開く。背景の現在の（検出された）色７５は、ウィンドウ１５２に表示され得、ユーザが、同じ色を選択するか、又は新しい色１１２に変更することを可能にする。ユーザが背景色１１２を選択しない場合、「純粋な白色」、又は検出された背景色７５は、デフォルトで選択され得る。
【0089】
第２のアイコン又はボタン１５４は、「ハイライト領域選択」機能を提供する。この機能は、背景色選択機能１５０と組み合わせて使用され得る。ボタン１５４が選択されると、プリントされるページのスキャン１５６がウィンドウ１５２内に表示され得、図９に示されるように、ユーザが境界ボックス１５８を描くか、又は他の方法で画定することを可能にする。境界ボックスは矩形の境界ボックスとして示されているが、他の規則的な形状又は自由形状の境界ボックスも企図される。境界ボックス１５８内の背景画素は、選択された背景色１１２に置き換えられるか、又はそれに向けて駆動され、一方で、境界ボックスの外側の背景画素は、この例では純粋な白色に向けて（又はその逆に）駆動される。ウィンドウ１５２はまた、修正が行われたときにページがどのように見えるかのシミュレートしたスキャン１６０（近似値）を表示することができる。図９はグレースケールで示されているが、説明を容易にするために、（境界ボックス１５８に対応する）シミュレートしたスキャン１６０の領域１６２は、例えば、黄色の背景色を有するようにウィンドウ１５２内に現れる一方で、（非背景の）単語「品質」は、スキャン１５６と同色を有することを理解されたい。同様に、領域１６４では、背景として特定された画素は、「白」として示されている一方で、単語「品質」はスキャン１５６と同色を有する。
【0090】
第３のアイコン又はボタン１６６（図８）は、ユーザが、強調表示されるテキストを選択することを可能にする。ウィンドウ１５２（図１０）は、この機能が作動されると開くことができ、これは、ハイライト表示される文字列、例えば、テキスト入力ボックス１６８内の単語「品質」をユーザがタイプすることを可能にする。次いで、スキャン１６がＯＣＲ処理され、選択された文字列のテキスト内のインスタンスを識別する。ユーザ選択色１１２でハイライト表示された識別されたインスタンス１７１を有するシミュレートされたスキャン１７０が、ウィンドウ内に表示され得る。このハイライトは、インスタンス１７１を密に取り囲む有色画素の矩形の形態を採り得る。代替的に又は追加的に、インスタンス１７１自体の画素は、選択された色１１２に基づいて着色され得る。
【0091】
第４のアイコン又はボタン１７２（図８）は、ＧＡＦ選択機能を提供し、これは、背景画素が背景ハイライト色１１２に向けて駆動される範囲を制御する。より高いＧＡＦ値は、より低いＧＡＦ値が選択された場合よりも、選択された背景ハイライト色（又は純粋な白色）に向けてより多く駆動されている所与の背景画素をもたらす。ユーザには、ＧＡＦを選択するためのスライダ又は他の入力機構が提示され得る。図９に示されるものと同様のシミュレートされたスキャンは、ＧＡＦを変更する効果を視覚化するウィンドウ１５２内に提示され得る。
【0092】
第５のアイコン又はボタン１７４は、ユーザが異なるページに対して異なる命令を入力することを可能にする「ページタイプセレクタ」機能を提供する。例えば、ユーザは、ページ背景検出構成要素５４によって識別されるように、「ピンク色」又は「黄色」背景を有するページとは異なって「白色」背景を有するページを処理するように選択することができる。
【0093】
理解されるように、機能１５０、１５４、１６６、１７２、１７４の様々な機能が組み合わされ得る。
【0094】
図１１を参照すると、図３の背景調整カーネル８４の一実施形態の機能ブロック図が示されている。背景調整カーネル８４は、着信Ｌ＊ａ＊ｂ＊画像７２を処理し、背景調整画像画素７６を出力する。図示されたカーネル８４は、白色点マッピング構成要素１８０、グレースケールマッピング構成要素１８２、直接マッピング構成要素１８４、背景調整係数（ＢＡＦ）演算構成要素１８６、ハイライト／領域識別子１８８、混合構成要素１９０、及び背景スイープ関数構成要素１９２を含む。しかしながら、背景調整カーネル８４は、より少ない、より多くの、又は異なる構成要素とともに動作し得ることを理解されたい。
【0095】
任意選択的な白色点マッピング構成要素１８０は、背景画素の入力値７２を白色点背景調整画素（ＷＢＡ Ｌ＊、ａ＊、及びｂ＊）１９６にマッピングする。これは、上述の特許出願、米国特許出願公開第１６／８３０，４７９号又は同第１６／８３０，４１９号の方法を使用して実行され得る。簡潔に述べると、この方法は、ＢＡＦ演算構成要素１８６によって出力された背景調整係数１９８によって表されるように、画素が背景画素である可能性の関数として各画素を調整することを含む。調整はまた、グローバル調整係数（ＧＡＦ）１１６の関数であってもよい。
【0096】
ＢＡＦ演算構成要素１８６は、平均化構成要素９２（図３）によって計算された（平均）背景レベル（ＡＢＬ）１０８、及び画素の輝度値Ｌ＊７２を入力として受信し、その関数として画素のための背景調整係数１９８を計算する。図示した実施形態では、構成要素１８６は、背景強度ＬＵＴ２００、輝度強度ＬＵＴ２０２、及び集約係数２０４を含む。背景強度ＬＵＴ２００は、第１の非線形関数に従って、平均背景レベル１０８を背景強度に変換する。輝度強度ＬＵＴ２０２は、画素の輝度（Ｌ＊）値を第２の非線形関数に従って輝度強度に変換する。例示的な実施形態では、輝度強度ＬＵＴ２００及び背景強度ＬＵＴ２０２は、例えば、同時係属中の米国特許出願公開第１６／８３０，４１９号に記載されているように、各々、２５６要素、浮動小数点ＬＵＴである。プログラム可能な集約係数２０４は、輝度強度及び背景強度を集約（例えば、乗算）して、背景調整係数１９８を生成する。図１２及び図１３は、ＬＵＴ２００及び２０２によって適用され得る非線形関数の例を示す。背景調整係数１９８は、したがって、画素の平均背景レベルの関数であり、これは、周囲画素の輝度値とクロミナンス値、及び周囲画素の輝度値とは無関係である画素のＬ＊値を反映するように変更された、画素の集約された輝度値とクロミナンス（Ｌ＊ａ＊ｂ＊）値の関数である。ダイレクトマッピングのために、ＢＡＦ１９８は、画素が背景であるとみなされるか否かに対応する２値１９９（又はクラス）に変換され得る。
【0097】
図１２は、ＬＵＴ２００によって適用され得る例示的な第１の非線形関数を示す。背景レベルの第１の範囲Ｒ１に対し、例えば、０～２５５のスケールで０～９０、すなわち、画素が背景である確率が非常に低い場合、背景強度は０～１のスケールで０（又は０に近い非常に低い値）に設定される。背景レベルの第２の範囲Ｒ２に対し、例えば、０～２５５のスケールで９０～２２０、すなわち、画素が背景である確率が中程度である場合、背景強度は、背景レベルの増加とともに増加し、例えば、指数関数的に最大背景強度（例示的な実施形態では１）まで増加する。例えば、２２０～２５５の平均背景レベルを有する第３の領域Ｒ３内の全ての画素には、１の最大背景強度が自動的に割り当てられる。理解されるように、３つの範囲は調節可能であり、３より少ないか又は３を超える範囲が使用され得る。他の実施形態では、異なる関数が適用され得る。
【0098】
図１３は、ＬＵＴ２０２によって適用され得る例示的な第２の非線形関数を示す。Ｌ＊値の第１の範囲Ｒ１について、例えば、０～２５５のスケールにおいて０～１２０、すなわち、画素が背景である確率が非常に低い場合、輝度強度は０～１のスケールにおいて０（又は０に近い非常に低い値）に設定される。Ｌ＊値の第２の範囲Ｒ２について、例えば、０～２５５のスケールにおいて１２０～２４０、すなわち、画素が背景である確率が中程度である場合、輝度強度は、Ｌ＊値の増加とともに増加し、例えば、指数関数的に最大背景強度（例示的な実施形態では１）まで増加する。例えば、２２０～２５５のＬ＊値を有する第３の領域Ｒ３内の全ての画素に、１の最大輝度強度が自動的に割り当てられる。理解されるように、３つの範囲は調節可能である。他の実施形態では、異なる関数が適用され得る。以下では、背景強度及び輝度強度の２５６要素ＬＵＴの各々は、０．０～１．０の範囲の出力浮動小数点を有すると仮定する。
【0099】
したがって、背景調整係数１９８は、対応するＬＵＴ２００、ＬＵＴ２０２によって出力された背景強度と輝度強度の関数である。一実施形態では、集約関数２０４は乗算関数であり、背景調整係数１９８が、背景強度と輝度強度の積であるようになっている。その結果、背景強度と輝度強度のうちの少なくとも１つが０である場合、背景調整係数１９８は０であり、背景強度と輝度強度の両方が非０である場合、背景調整係数１９８は０より大きく、最大値が１になる。背景強度及び輝度強度の２５６要素ＬＵＴ２００、２０２は、０．０～１．０の範囲の出力浮動小数点を有し、これらは共に乗算され複合背景調整係数値１９８を形成する。
【0100】
ＢＡＦ演算構成要素１８６は、ＢＡＦ１９８を使用して、画素の背景クラス２０８を計算することができる。閾値１９４（例えば、０又は０．１）を超えるＢＡＦ１９８を有する画素は、１（背景）の背景クラス２０８を受信し、一方で、閾値１９４にある画素又はそれを下回る画素は、０の背景クラス（非背景）を受信する。
【0101】
図１４に示すように、白色点マッピングが画像画素の一部又は全てに使用されるモードとして選択されるとき、これらの画素に対する入力Ｌ＊、ａ＊、ｂ＊値７２は、白色点マッピング構成要素１８０によって処理され得る。２１０において、２５５の最大Ｌ＊値
から入力Ｌ＊値を減算することによって差分値ΔＬが計算される。同様に、２１２及び２１４において、差分値Δａ及びΔｂは、１２８の最大ａ＊値
から入力ａ＊（ｒｅｓｐ．ｂ＊）値を減算することによって計算される。背景調整係数１９８は、画素のＬ＊値を調整するために輝度調整関数２２０によって採用され、ａ＊値及びｂ＊値をそれぞれ調整するために、対応する彩度調整関数２２２、２２４によって採用されている。例えば、図１４に示されるように、２２０で示されるようにΔＬに背景調整係数を乗じ、その結果を２２６において入力輝度値Ｌ＊に加算して、
と表記された調整されたＬ＊値を生成する。理解されるように、ＷＢＡ Ｌ＊を計算するために、単一の計算を使用することができ、
式中、ＢＡＦは背景調整係数１９８を表す。
【数3】
【数4】
【数5】
【数6】
【0102】
同様に、同じ背景調整係数が、調整されたクロミナンス値
を計算するために使用され、式中、
は両方とも１２８である。
【数7】
【数8】
【数9】
【0103】
一例として、ＢＡＦが０．９であり、入力Ｌ＊、ａ＊、及びｂ＊値が（２４０、１２３、１２７）である場合、３つの背景調整値１９６は（２５４、１２８、１２８）、すなわち純粋な白色に近いが厳密に純粋な白色ではない。ＢＡＦが低い（背景画素である可能性がより低い）場合、調整はより少なくなる。
【0104】
例示的な実施形態では、差分値ΔＬ＊、Δａ＊、及びΔｂ＊は、純粋な白色（２５５、１２８、１２８）までのデカルト距離として判定されるが、色域における別の点が選択されることがある。
【0105】
その結果、計算された背景強度及び輝度強度が（ＬＵＴプロファイルに基づいて）十分に高い場合、画素の複合白色点背景調整値（複数可）１９６は、「１．０」に近いか、又は正確に等しくなり、これは最大デルタ値を各Ｌ＊ａ＊ｂ＊構成要素に適用し、それによって画素を純粋な白色値に強制する。画素が、プログラム可能な三線格子点テーブル内に画定され導出されるように、画素が「背景」領域外又は域外に収まる場合、画素の複合背景調整値は、「０．０」に等しくなり、これは出力するために変更されていない入力Ｌ＊ａ＊ｂ＊画素値を効果的に通過させることになる。一方で、画素が「背景」と「非背景」との間の境界に近接して又は境界内に収まる場合、複合背景調整範囲は、０．０と１．０との間で変化し、それによって、入力画素の「中立性」に基づいて画素のＬ＊ａ＊ｂ＊値を調整する。実際には、このことは、背景として分類された画素を中立化し、閾値ベースのセグメント化アルゴリズムにおいて伝統的に問題となる突然の切り替えアーチファクトを回避及び最小化するために、そのＬ＊ａ＊ｂ＊値を純粋な白色に向けて動的に調整する。
【0106】
図１５を参照すると、図１１の直接マッピング構成要素１８４の一実施形態が示されている。直接マッピング構成要素１８４は、
値１１２（ユーザによって選択されるか、又は自動的に生成される）及びグローバル調整係数１１６（ユーザによって選択されるか、又はデフォルトで選択される）を入力として受信し、ハイライト背景調整値
２３０を背景として分類される画素のために出力する。調整値は、背景として分類された画像の全ての画素のために、又は、例えば、ハイライト領域セレクタ１５４及び／又はテキストセレクタ１６６を用いたユーザ選択によって識別された、選択されたサブセットのために計算され得る（図８）。
２３０は、したがって、背景として分類される画素に対する入力Ｌ＊ａ＊ｂ＊値７２から独立している。背景としての画素の分類は、背景調整係数１９８の関数であり得る。閾値１９４（例えば、０又は０．１）を上回るＢＡＦ１９８を有する画素は、１（背景）の背景クラス１９９を受信し、一方で、閾値１９４にあるか、又は下回る画素は、０（非背景）の背景クラスを受信し、直接マッピング構成要素１８４によって処理されていない。
【数10】
【数11】
【数12】
【0107】
直接マッピング構成要素１８４は、背景画素に対するＨＢＡ値２３０（「背景」に対応する背景クラス１９９を有する画素）を計算するために、下の直接ハイライトマッピング数式を適用し、
式中、ＬａｂＨＢＡは、出力ハイライト背景調整（ＨＢＡ）値２３０を表し、Ｌａｂハイライト選択されたハイライト色１１２を表し、ＧＡＦは、０～１のスケール上の選択されたグローバル調整係数１１６であり、Ｌａｂ白色点純粋な白色のそれぞれのＬ＊、ａ＊、ｂ＊値である。
【数13】
【0108】
したがって、例えば、ユーザが、選択された｛Ｌａｂ｝＿｛ハイライト＼｝１１２及び０．５のＧＡＦ１１６として、８３、２４、４）のＬ＊ａ＊ｂ＊値を有するピンク色を選択する場合、出力値は以下のように計算される。
【数14】
【0109】
したがって、出力ＬａｂＨＢＡ２３０は、（値が最も近い整数に丸められて）（１６９、７６、６６）である。
【0110】
図１５は、これが簡略化されたステップでいかにして達成され得るかを示す。例えば、２４０において、選択された
は、Ｌ＊から減算されており、純粋な白色
が差分値ΔＬを生成するようになっている。２４２において、これは選択されたＧＡＦ値１１６で乗算され、２４４において、
値に加算されて
を生成する。
を計算するために、
に置き換えて同様の処理が実行されている。
【数15】
【数16】
【数17】
【数18】
【数19】
【数20】
【0111】
図１６を参照すると、図１１のグレースケールマッピング構成要素１８２の一実施形態が示されている。グレースケールマッピング構成要素１８２は、入力として、
値１１２、並びにＧＡＦ値１１６を受信し、図３及び図１１を参照して説明したように画素の入力Ｌ＊ａ＊ｂ＊値７２から導出される各画素に対する背景調整係数１９８を、ダイレクトマッピング構成要素１８４について考察されるように受信する。グレースケールマッピング構成要素１８２の目的は、多くの閾値に基づくセグメント化分類アルゴリズムで通常生成される急激な切り替えアーチファクトを回避／最小化するために、潜在的な背景画素を可変様式で処理することである。換言すれば、任意の背景画素が、純粋な白色以外の選択された色１１２に向かって駆動される範囲は、「背景」対「非背景」として完全にラベル付けされ／分類されているものとは反対に、（ＢＡＦによって表されるような）問題の画素の中立強度に基づいている。
【数21】
【0112】
グレースケールマッピング構成要素１８２は、各色チャネルに対して下のグレースケールハイライトマッピング数式を採用しており、
式中、ＢＡＦは、背景調整係数１９８であり、０～１の間で変化し、ＧＡＦは、選択されたグローバル調整係数１１６である。
【数22】
【0113】
数式（６）は、したがって、各画素が、計算に使用されるそれぞれのＢＡＦ１９８に関連付けられていることを除いて、直接ハイライトマッピング構成要素に対するものと同一である。例えば、同じユーザが選択したピンク色（８３、２４、４）及びＧＡＦ（０．５）が上述のように選択され、画素が、背景（例えば、０．９のＢＡＦ）になっている高い確率を有すると考え、下式のようになる。
【数23】
【0114】
したがって、出力ＬａｂＨＢＡ２３０は、（値が最も近い整数に丸められている）（１６０、７１、６０）になる。対照的に、画素が背景画素（例えば、０．１のＢＡＦ）である確率が低い場合、出力ＬａｂＨＢＡ２３０は（９２、２９、１０）になる。したがって、後者の場合、画素は、この段階では、選択された色に向かってわずかにのみ駆動され、すなわち、背景とみなされないために、その元の色のほとんど又は全てを保持するか、又はわずかにだけ駆動される。予め選択された閾値ＢＡＦ（例えば、０）を超えない画素は、この段階で調整を受けない。
【0115】
理解されるように、以下の一組の数式が、直接法及びグレースケール法に使用することができ、それらは、
又はこれらの関数であり、式中、
Ｂは、それぞれの画素に対して計算された背景調整係数を表し、（グレースケールハイライトマッピングについては）０～１であるか、又はＢは、（直接ハイライトマッピングについては）０～１から選択される背景クラスであり、
は、選択されたハイライト色の輝度値及びクロミナンス値であり、
は、白色の輝度値及びクロミナンス値（８ビット形式で２５５、１２８及び１２８）であり、
ＧＡＦは、画素の輝度値及びクロミナンス値とは無関係である、グローバル調整係数である。
【数24】
Ｂは、それぞれの画素に対して計算された背景調整係数を表し、（グレースケールハイライトマッピングについては）０～１であるか、又はＢは、（直接ハイライトマッピングについては）０～１から選択される背景クラスであり、
【数25】
【数26】
ＧＡＦは、画素の輝度値及びクロミナンス値とは無関係である、グローバル調整係数である。
【0116】
なお、白色点マッピングとは異なり、これらの数式は入力Ｌ＊、ａ＊、及びｂ＊値を使用しないことに留意されたい。
【0117】
図１１に戻ると、ハイライト領域識別子１８８は、選択された領域１５８又はテキスト１６２に基づいて、どの画素が修正されるべきかを判定し、選択に基づいて、各画素に対して、それぞれの画素クラス２５０を出力する。クラスは、白色点マッピング、グレースケールハイライトマッピング、及び直接ハイライトマッピングを含み得る。混合構成要素１９０は、画素クラス２５０を受信し、そのクラスに基づいて、それぞれの画素の調整された（Ｌ＊ａ＊ｂ＊）値１９６又は２３０に対して好適な構成要素１８０、１８２、又は１８４を呼び出す。一実施形態では、ＢＡＦ１９８が閾値１９４（例えば、０）より大きく、画素がハイライト領域１５８又は選択されたテキスト１６２内に存在する場合、混合構成要素は、ハイライト背景の調整された
値を出力し、そうでない場合、白色背景の調整された
値が出力される。
【数27】
【数28】
【0118】
任意選択的な背景スイープ関数１９２は、調整されたＬ＊値である、
にスイープ閾値２５４を適用する。
が閾値２５４を超える場合、画素のＬ＊、ａ＊及びｂ＊値は純粋な白色（２５５、１２８、１２８）に設定されて出力値７６を生成し、そうでなければ、出力値は
である。ハイライト背景が調整された
値が、それぞれのスイープ閾値２５４を上回っている場合、画素色はハイライト色１１２に設定される。
【数29】
【数30】
【数31】
【数32】
【0119】
スイープ閾値２５４は、例えば、ユーザによってプログラム可能であり得る。例えば、ユーザは、スイープ閾値の２つ以上の値の間で選択することが可能であり得る。
に対するスイープ閾値２５４（又はプログラム可能なスイープ閾値のセットのうちの少なくとも１つ）は、概して２５５に近いが、１．０未満のＢＡＦ１９８を有する全ての画素が、自動的に純粋な白色に割り当てられる。
に対する閾値２５４の場合、スイープ閾値は、ハイライト色１１２の関数であり得、例えば、Ｌ＊、ａ＊、及びｂ＊値１１２の９０％又は９５％であり得る。スイープ関数を有することは、Ｌ＊、ａ＊、及びｂ＊値が、１つ又は複数の特定の値を上回る同じ白色点又は選択された色に制約されるという点で有用である。
【数33】
【数34】
【0120】
スイープ関数１９２によって任意選択的に変更された各画素に対する調整された値は、図３の７６に示されるように、背景調整構成要素８４から出力され、存在する場合、後処理構成要素（複数可）５８に入力される。
【0121】
例示的な実施形態では、画像の全ての画素は、背景調整構成要素５６によって処理される。しかしながら、このような処理は、画像の境界領域又は画像のテキスト領域などの画像全体よりも少ない画像全体を共に占める画像の１つ又は複数の領域内の画素に限定され得ることも企図される。一実施形態では、背景調整構成要素５６による処理のための候補背景領域を識別することは、背景調整構成要素の上流にあるページ背景検出構成要素５４によって実行される。
【0122】
【0123】
Ｓ１０２において、調整ユニットのパラメータが提供される。これは、以下で更に説明するように、ＬＵＴ（又は概してＬＵＴと称される他の好適なデータ構造）及び他のパラメータのパラメータをパラメータ学習構成要素６４で学習すること、及び／又は設定することを含み得る。
【0124】
Ｓ１０４において、ハードコピー文書のスキャンされた画像などの１つ以上の元の画像（複数可）１６は、入力デバイス３６によって受信され、メモリ３０に格納され得る。
【0125】
Ｓ１０６において、ユーザが背景調整セレクタ（ＧＵＩ）４４を介して背景調整選択４２を入力するための準備が行われる。これらは、選択されたハイライト色１１２、選択されたマッピングモード１１４、ハイライトされる選択された領域１５８及び／又はテキスト１６２、グローバル調整係数（ＧＡＦ）１１６、ａＢＡＦ閾値１９４、背景スウィープ閾値２５４、選択されたＬＵＴ２００、２０２、異なって処理されるページ、等のうち１つ以上を含み得る。理解されるように、これらの選択のいくつかは、例えば、ピンク色である検出された背景に対して予め設定され得、ピンク色のハイライト色１１２が自動的に選択される。
【0126】
Ｓ１０８において、各元の画像１６は、第１の変換構成要素５０によって、処理のために好適な色空間に変換される。
【0127】
Ｓ１１０において、各変換された画像７０は、構成要素５２によって、１つ以上の前処理操作で前処理されて、前処理されたデジタル画像７２を生成することができる。
【0128】
Ｓ１１２において、ページの背景色７５は、例えば、コピーページの境界、又は背景である可能性が高いと予測される他の領域の境界から、構成要素５４によって識別される。この段階では、類似の背景色を有するページ画像が構成要素５４によって識別され得る。背景色７５は、予測された背景領域内の画素の色の平均又は他の関数であり得る。このステップは、元の画像１６、変換された画像７０、又は前処理された画像７２で実行され得る。背景色は、例えば、ユーザインターフェース４４を介してユーザに表示され得、及び／又は自動化されたシステム／モードで選択された背景色１５０を定義するために使用され得る。
【0129】
Ｓ１１４において、背景調整は、ユーザ選択に基づいて構成要素５６によって、任意選択的に前処理されたページ画像（複数可）上で実行され、かつ任意選択的にＳ１１２で検出された背景色にも実行される。背景調整ステップの更なる詳細を、図１８を参照して以下に説明する。
【0130】
Ｓ１１６において、背景調整画像は、構成要素５８によって、１つ以上の後処理操作で後処理され得る。
【0131】
Ｓ１１８において、背景調整された、任意選択的に後処理された画像は、構成要素６０によって、ＣＭＹＫ（プリンタ用）、ＲＧＢ（カラーモニタ用）などの出力デバイス色空間内の出力画像に変換される。
【0132】
Ｓ１２０において、出力画像は、構成要素６２によって出力される。
【0133】
Ｓ１２２において、出力画像は、プリントによってハードコピー形式でレンダリングされ得る。代替的に、又は追加的に、Ｓ１２４において、出力画像は、例えば、後でスクリーン上で見るために、又は後続の処理のために、メモリに格納され得る。
【0134】
本方法は、Ｓ１２６において終了する。
【0135】
【0136】
Ｓ２００において、受信したユーザ選択４２が構成要素１８８によって使用されて、存在する場合（デフォルトでは純粋な白色又は検出された背景色）、ユーザが選択した（又は自動的に選択された）ハイライト色１１２を識別する。
【0137】
Ｓ２０２において、ユーザがハイライトされる領域又はテキストを選択した場合、対応する領域／テキストが識別される。
【0138】
Ｓ２０４において、ユーザがマッピング方法を選択した場合、好適なマッピング構成要素１８０、１８２、又は１８４が各画素に対して選択される。
【0139】
Ｓ２０６において、各画素に対して、画素がハイライトされるテキストであると識別された場合、本方法は、Ｓ２１４に進み、そうでない場合は、本方法はＳ２０８に進む。
【0140】
Ｓ２０８において、ＢＡＦ１９８は、図１１に関して説明したように、各残りの画素に対して（又は、選択された場合にはハイライト領域内の画素だけに対して）計算される。具体的には、背景強度は、その（平均）背景レベルに基づいて、各画素に対して計算される。輝度強度はまた、その輝度値に基づいて、各画素についても計算される。２つの値は、ＢＡＦを計算するために集約される（例えば、乗算される）。
【0141】
Ｓ２１０において、ＢＡＦがＢＡＦ閾値１９４を上回る場合、本方法は、Ｓ２１４に進み、そうでない場合、Ｓ２１２に進む。
【0142】
Ｓ２１２において、画素は、出力色としてその入力色を保持する。
【0143】
Ｓ２１４において、選択されたマッピング方法が他の画素に適用される。混合構成要素は、各画素に対する好適なマッピング構成要素を呼び出すことができる。各画素は、そのマッピングクラスに従って、図１１及び図１４～図１６について上述したように、識別されたマッピング構成要素によって生成された調整値１９６又は２３０に処理される。
【0144】
ユーザが、テキストハイライトを選択した場合には、これは、デフォルトで、白色点マッピングを受けるテキストを取り囲む背景画素となり得、一方でハイライトされる画素は、直接ハイライトマッピングを受ける。
【0145】
ユーザが画像全体についてグレースケールハイライトマッピングを選択した場合、これは、選択されたハイライト色及びＧＡＦに基づいて、数式（６）に従って調整された画素色を有する画像内の背景画素として全画素が分類されることになり得る。
【0146】
ユーザが、特定の領域（画像全体よりも小さい）でグレースケールのハイライトマッピングを選択した場合、これは、数式（６）に従って調整された画素色を有する選択された領域内の背景画素として全画素が分類されることになり得、その領域の外側の画素は調整を受けないか、又は白色点調整を受けることになる。
【0147】
ユーザが画像全体について直接ハイライトマッピングを選択した場合、これは、数式（５）に従って調整された画素色を有する画像内の背景画素として全画素が分類されることになり得る。
【0148】
ユーザが（画像全体未満）画像の一領域のみに対して直接ハイライトマッピングを選択した場合、これは、数式（５）に従って調整された画素色を有する画像の領域内の背景画素として全画素が分類されることになり得る。領域の外側の画素は、調整を受けないか、又は白色点調整を受けることができる。
【0149】
ユーザが白色点マッピングを選択した場合、これは、数式（２～４）に従って調整された画素色を有する画像内の背景画素として全画素が分類されることになり得る。
【0150】
Ｓ２１６において、調整マッピングを受ける各画素に対して背景スイープ閾値（又は複数の閾値）２５４が調整値１９６又は２３０に適用され得る。閾値（複数可）２５４が満たされると、画素は、純粋な白色（白色点マッピングの場合）又は選択された色（直接ハイライトマッピング又はグレースケールハイライトマッピングの場合）で置き換えられる。
【0151】
Ｓ２１８において、背景調整された画像画素は、任意選択的な後処理及びレンダリング色空間への変換のための出力である。
【0152】
図１７及び図１８に例示する方法は、コンピュータ上で実行され得るコンピュータプログラム製品で実装され得る。コンピュータプログラム製品は、ディスク、ハードドライブなど制御プログラムが記録された（記憶された）非一時的コンピュータ可読記録媒体を含み得る。非一時的コンピュータ可読媒体の一般的な形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、若しくは任意の他の磁気記憶媒体、ＣＤ－ＲＯＭ、ＤＶＤ、若しくは任意の他の光媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、又は他のメモリチップ若しくはカートリッジ、又は内部からコンピュータが読み出すことができ、かつ使用することができる任意の他の有形媒体が挙げられる。コンピュータプログラム製品は、画像調整ユニット１２と一体であってよく（例えば、ＲＡＭの内部ハードドライブ）、若しくは別個であってよい（例えば、ユニット１２と動作可能に接続された外部ハードドライブ）、又は、ローカルエリアネットワーク（ＬＡＮ）若しくはインターネットなどデジタルデータネットワークを介して別個であり、かつアクセスされてよい（例えば、デジタルネットワークを介してユニット１２によって間接的にアクセスされる、Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ／Ｉｎｄｅｐｅｎｄｅｎｔ ｄｉｓｋｓ（ＲＡＩＤ）又は他のネットワークサーバストレージとして）。
【0153】
代替的に、本方法は、制御プログラムが、電波及び赤外線データ通信などの間に生成されるものなどの音波又は光波などの伝送媒体を使用するデータ信号として具現化される伝送可能な搬送波などの一時的媒体で実装され得る。
【0154】
例示的な方法は、１つ以上の汎用コンピュータ、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロコントローラ、及び周辺集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッサ、ディスクリート素子回路など有線電子回路又は論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、グラフィックカードＣＰＵ（ＧＰＵ）、又はＰＡＬなどプログラマブル論理デバイスで実施されてよい。一般に、図１７及び／又は図１８に示すフローチャートを順に実行できる有限状態マシンを実装することが可能ないずれかのデバイスが、画像調整のための方法を実装するために使用され得る。理解されるように、方法の工程は全てコンピュータによって実施され得るが、いくつかの実施形態では、工程のうちの１つ以上は、少なくとも部分的に手動で実行され得る。また理解されるように、本方法の工程は全て、説明した順序で進められる必要はなく、より少ない、より多くの、又は異なる工程が実行され得る。
【0155】
システム及び方法の更なる態様について、ここで説明する。
【0156】
上で考察されるように、様々なＬＵＴ及び調整パラメータが例示的なシステムで使用されており、これは、使用される特定のプリンタ、紙タイプ、及び／又は着色剤の結果を最適化するようにプログラム及び調整することができる。
【0157】
例示的な実施形態の範囲を限定することを意図するものではないが、以下の実施例は、システム及び方法の用途を説明する。
【実施例0158】
画像調整ユニット１０は、ソフトウェア画像経路（複数可）内のＣＰＵ又はＧＰＵリソースのいずれかとしてインスタンス化され、それによって、全体的な画像処理スループットレートを最適化するか、又は「バランスを取らせる」機構を提供している。
【0159】
本方法を評価するために使用されるソフトウェア画像経路は、背景調整構成要素５６、第１の変換構成要素５０、第２の変換構成要素６０、並びに様々な前処理構成要素５２及び後処理構成要素５８を含む。これらは、対称フィルタ、並びにトリミング、スケーリング、パディング、中立（灰色）エッジ強調、エラー拡散、及び圧縮のための構成要素が挙げられる。第１の変換（ＲＧＢからＬ＊ａ＊ｂ＊）は、３×３色空間変換構成要素によって実行されている。第２の変換（Ｌ＊ａ＊ｂ＊からＣＭＹＫ）は、トリリニア補間によって実行されている。背景調整構成要素５６では、トリリニア補間構成要素９８及び（３×３、５×５、又は７×７）ボックスフィルタ９２は、ＩｎｔｅｌプリコンパイルＧＰＵカーネルを用いてコンパイルされている。背景調整カーネル８４は、（ＡｐｏｌｌｏＬａｋｅＴＭ ＧＰＵ上でコンパイルされた）ベクトル化されたＳＩＭＤ組み込み関数を使用するＯｐｅｎＣＬ言語を使用して生成される。第１の変換、中立エッジ強調、及び第２の変換は、ＧＰＵカーネル（ＩｎｔｅｌプリコンパイルＧＰＵ）を用いて実行される。各カーネルはマルチスレッドであり、全体の図式化時間を加速するために、タイルごとに画像を処理する。３つの入力再マッピングＬＵＴ１０２、１０３、１０４、輝度強度ＬＵＴ２０２及び背景強度ＬＵＴ２００（図４及び図１１に示すような）は、それぞれ２５６要素、浮遊小数点ＬＵＴである。
【0160】
背景カーネルが「背景」として定義及び測定されるものをセグメント化及び検出することができる精度により、両方のハイライトマッピング方法は、固有のレンダリング特性を提供する。単純な直接ハイライトマッピング方法は、一貫して均一な背景ＣＭＹＫマーキング値を提供するのに対し、グレースケールハイライトマッピング方法を介して画像を処理するときに、元のスキャンされた文書に含まれる自然な紙料の変分を一致させるために、画素の灰色マルチレベル（８ｂｐｐ）情報が使用され得る。
【0161】
図１９は、様々なレベルのグローバル調整係数（ＧＡＦ）下で直接ハイライトマッピング方法を示すためにソフトウェアモデルを介して生成されたＬ＊ａ＊ｂ＊画像スニペットを示す。元の文書は、元は黄色の紙料にプリントされ、全文書全体にわたってグローバル背景ピンク色ハイライトマッピングを介して、０．２０刻みで０．００～１．００の範囲のクローバル調整係数（ＧＡＦ）を用いて処理されたスキャンされたテキスト文書である。例示を容易にするために白黒で示されているが、背景は、実際は、選択されたＧＡＦに応じて異なるレベルのピンク色である。画像スニペットでは、背景は、前景（テキスト）領域内にいずれの付随するアーチファクトも生成することなく、適正に検出及び修正される。これは、主に、背景として分類された領域を検出及び修正する色域の領域を正確にセグメント化するために、３Ｄトリリニア補間カーネルの完全な能力を活用することに起因している。
【0162】
上記で開示されたものの変形、並びに他の特徴及び機能、又はこれらの代替物が、他の異なるシステム又は用途に組み合わされ得ることは理解されるであろう。現在予想されていないか又は予測されていないそこでの様々な代替、修正、変形、又は改善は、以後に当業者によって行われ得、これらはまた、以下の特許請求の範囲によって包含されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
