(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023163897
(43)【公開日】2023-11-10
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
H04N 1/60 20060101AFI20231102BHJP
H04N 1/407 20060101ALI20231102BHJP
H04N 1/40 20060101ALI20231102BHJP
G06T 1/00 20060101ALI20231102BHJP
【FI】
H04N1/60
H04N1/60 160
H04N1/407
H04N1/40 062
G06T1/00 510
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022075109
(22)【出願日】2022-04-28
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100112335
【弁理士】
【氏名又は名称】藤本 英介
(74)【代理人】
【識別番号】100101144
【弁理士】
【氏名又は名称】神田 正義
(74)【代理人】
【識別番号】100101694
【弁理士】
【氏名又は名称】宮尾 明茂
(74)【代理人】
【識別番号】100124774
【弁理士】
【氏名又は名称】馬場 信幸
(72)【発明者】
【氏名】村上 義則
【テーマコード(参考)】
5B057
5C077
5C079
【Fターム(参考)】
5B057AA11
5B057CA01
5B057CA02
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB06
5B057CB08
5B057CB12
5B057CB16
5B057CE17
5B057DA08
5B057DA17
5B057DB02
5B057DB05
5B057DB06
5B057DB08
5B057DB09
5B057DC22
5B057DC25
5C077LL19
5C077MP08
5C077PP06
5C077PP27
5C077PP33
5C077PP37
5C077PP43
5C077RR02
5C077SS01
5C077SS02
5C077TT02
5C079HA11
5C079HB01
5C079HB03
5C079HB12
5C079LA06
5C079LA19
5C079LB12
5C079NA06
5C079PA03
(57)【要約】 (修正有)
【課題】手書き文字が含まれるモノクロ画像を適切にカラー画像にする画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】画像形成装置1において、原稿に基づいた画像を入力する入力部と、制御部と、画像に所定の変換を行う画像変換部(グレースケール(輝度)変換部)を有する文字画像生成部と、を備える。制御部は、画像に含まれる文字のうち、手書き文字に対しては、画像に基づいて第1の方法により出力色を割り当て、手書き文字以外の文字に対しては、画像変換部により所定の変換をした画像に基づいて第2の方法により出力色を割り当てて、画像を出力させる。
【選択図】
図2
【特許請求の範囲】
【請求項1】
原稿に基づいた画像を入力する入力部と、
制御部と、
前記画像に所定の変換を行う画像変換部と、
を備え、
前記制御部は、
前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第1の方法により出力色を割り当て、前記手書き文字以外の文字に対しては、前記画像変換部により所定の変換をした画像に基づいて第2の方法により出力色を割り当てて、前記画像を出力する
ことを特徴とする画像処理装置。
【請求項2】
前記画像変換部は、前記画像をグレースケール画像に変換し、
前記制御部は、前記手書き文字以外の文字に対しては、前記第2の方法として、前記グレースケール画像の二値化黒画素のグレースケール平均濃度を算出し、算出された平均濃度に対応する色を、前記出力色として割り当てる
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記制御部は、前記文字が有彩色である場合に、手書き文字であると判定することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記制御部は、前記文字を構成する画素における色差信号の平均値の二乗和が、所定の閾値以上である場合に、前記文字が有彩色であると判定することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記制御部は、
前記画像に基づいて、文字領域、図形領域、その他の領域を判定し、
前記文字領域に含まれる文字の背景がハイライトされている場合、当該ハイライトの平均濃度に基づいて当該ハイライトの出力色を割り当て、当該ハイライトされている文字の濃度を補正して出力する
ことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項6】
前記制御部は、連続した手書き文字以外の文字において、注目している文字に割り当てられた前記出力色と、当該注目している文字の前後の文字に対して割り当てられた出力色とが異なるとき、当該注目している文字に割り当てた出力色を変更することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項7】
前記制御部は、前記注目している文字に割り当てた出力色と、当該注目している文字の前後の文字に割り当てた出力色とが異なり、注目している文字の前の文字に割り当てた出力色と注目している文字の後の文字に割り当てた出力色とが同一である場合、当該注目している文字に割り当てた出力色を、当該注目している文字の前後の文字の出力色に変更することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記制御部は、前記注目している文字に割り当てた出力色が無彩色であり、当該注目している文字の前後の文字に割り当てた出力色が有彩色である場合、当該注目している文字に割り当てる出力色を決定する際の条件を変更した上で、再度当該注目している文字に出力色を割り当てることにより、当該注目している文字の出力色を変更することを特徴とする請求項6に記載の画像処理装置。
【請求項9】
前記制御部は、連続した手書き文字以外の文字において、複数の文字の単位毎に、出力色を割り当てることを特徴とする請求項1又は2に記載の画像処理装置。
【請求項10】
前記制御部は、単語又は文節単位で、前記出力色を割り当てることを特徴とする請求項9に記載の画像処理装置。
【請求項11】
前記制御部は、前記二値化黒画素の前記グレースケール平均濃度が所定の閾値に満たない場合、出力色を決定する条件を変更した上で、当該手書き文字以外の文字の出力色を決定することを特徴とする請求項2に記載の画像処理装置。
【請求項12】
原稿に基づいた画像を入力する入力ステップと、
前記画像に所定の変換を行う画像変換ステップと、
前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第1の方法により出力色を割り当て、前記手書き文字以外に対しては、前記画像変換ステップにより所定の変換をした画像に基づいて第2の方法により出力色を割り当てて、前記画像を出力する出力ステップと、
を含むことを特徴とする画像処理方法。
【請求項13】
コンピュータに、
原稿に基づいた画像を入力する入力機能と、
前記画像に所定の変換を行う画像変換機能と、
前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第1の方法により出力色を割り当て、前記手書き文字以外に対しては、前記画像変換機能により所定の変換をした画像に基づいて第2の方法により出力色を割り当てて、前記画像を出力する出力機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置等に関する。
【背景技術】
【0002】
従来より、カラー原稿やファイルを出力する際、コスト削減等の理由により、モノクロコピーやモノクロプリントがされ、モノクロ原稿として出力される場合がある。
【0003】
カラー原稿やファイルがモノクロ原稿として出力されることにより、色相や彩度といった色味に関する情報(色情報)が失われる。失われた色情報について、色情報を再現させるための技術が提案されている。例えば、カラー画像である原画像から生成されたモノクロ画像である処理対象画像の色情報を、着色支援情報(処理対象画像の類似画像)に基づいて復元する画像処理装置が提案されている(例えば、特許文献1参照)。また、モノクロ画像データにより形成されるモノクロ画像中の種々の領域を分類し、領域判別手段の分類結果に基づいてグレー濃度領域を判別し、グレー領域判別手段により判別されたグレー濃度領域の濃度値に応じて再現色データを決定し、当該再現色データに応じてモノクロ画像をカラー画像に変換する画像処理装置が提案されている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2017-163363号公報
【特許文献2】特開2010-183511号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、モノクロ原稿として出力された原稿に対して、ペン等により加筆される場合がある。ペン等により加筆されたモノクロ原稿の画像を、カラー画像に適切に変換することについて、上述した特許文献1や特許文献2等の従来技術では考慮されていなかった。
【0006】
上述した課題に鑑み、本開示は、手書き文字が含まれるモノクロ画像を適切にカラー画像にすることが可能な画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決するため、本開示の画像処理装置は、原稿に基づいた画像を入力する入力部と、制御部と、前記画像に所定の変換を行う画像変換部と、を備え、前記制御部は、前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第1の方法により出力色を割り当て、前記手書き文字以外の文字に対しては、前記画像変換部により所定の変換をした画像に基づいて第2の方法により出力色を割り当てて、前記画像を出力することを特徴とする。
【0008】
また、本開示の画像処理方法は、原稿に基づいた画像を入力する入力ステップと、前記画像に所定の変換を行う画像変換ステップと、前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第1の方法により出力色を割り当て、前記手書き文字以外に対しては、前記画像変換ステップにより所定の変換をした画像に基づいて第2の方法により出力色を割り当てて、前記画像を出力する出力ステップと、を含むことを特徴とする。
【0009】
また、本開示のプログラムは、コンピュータに、原稿に基づいた画像を入力する入力機能と、前記画像に所定の変換を行う画像変換機能と、前記画像に含まれる文字のうち、手書き文字に対しては、前記画像に基づいて第1の方法により出力色を割り当て、前記手書き文字以外に対しては、前記画像変換機能により所定の変換をした画像に基づいて第2の方法により出力色を割り当てて、前記画像を出力する出力機能と、を実現させることを特徴とする。
【発明の効果】
【0010】
本開示によれば、手書き文字が含まれるモノクロ画像を適切にカラー画像にすることが可能な画像処理装置等を提供することが可能となる。
【図面の簡単な説明】
【0011】
【
図1】第1実施形態における画像形成装置の外観斜視図である。
【
図2】第1実施形態における画像形成装置の機能構成を示すブロック図である。
【
図3】第1実施形態における出力値情報のデータ構造の例を示す図である。
【
図4】第1実施形態における文字画像生成部の機能構成を示すブロック図である。
【
図5】第1実施形態におけるメイン処理の流れを示すフロー図である。
【
図6】第1実施形態における文字画像生成処理の流れを示すフロー図である。
【
図7】第1実施形態における文字出力色変換処理の流れを示すフロー図である。
【
図8】第1実施形態における動作例を示す図である。
【
図9】第2実施形態における文字画像生成部の機能構成を示すブロック図である。
【
図10】第2実施形態における文字画像生成処理の流れを示すフロー図である。
【
図11】第3実施形態における文字画像生成処理の流れを示すフロー図である。
【
図12】第4実施形態における文字画像生成部の機能構成を示すブロック図である。
【
図13】第4実施形態における文字画像生成処理の流れを示すフロー図である。
【
図14】第5実施形態における画像読取装置の機能構成を示すブロック図である。
【
図15】第5実施形態におけるメイン処理の流れを示すフロー図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本開示を実施するための一実施形態について説明する。なお、以下の実施形態は、本開示を説明するための一例であり、特許請求の範囲に記載した発明の技術的範囲が、以下の記載に限定されるものではない。
【0013】
[1.第1実施形態]
はじめに、第1実施形態について説明する。第1実施形態は、本開示の画像処理装置を画像形成装置1に適用した場合について説明する。画像形成装置1は、コピー機能、スキャン機能、文書のプリント機能等を有する画像処理装置であり、一般的に、MFP(Multi-Function Printer/Peripheral)やデジタルカラー複合機と呼ばれる。画像形成装置1は、スキャンを行うことで画像データを生成したり、画像データに基づく画像(モノクロ画像もしくはカラー画像)を形成したりする(プリントする)ことができる装置である。
【0014】
[1.1 機能構成]
本実施形態の画像形成装置1の機能構成について、
図1及び
図2を参照して説明する。
図1は、画像形成装置1の外観斜視図であり、
図2は、画像形成装置1の機能構成を示すブロック図である。
【0015】
画像形成装置1は、
図2に示すように、制御部10、カラー画像入力部20、カラー画像処理部30、カラー画像出力部40、各種操作を行うための操作パネル50、記憶部60を備えて構成される。
【0016】
制御部10は、画像形成装置1が行う各種処理を制御し、各種処理に応じて、カラー画像入力部20、カラー画像処理部30、カラー画像出力部40、操作パネル50、記憶部60を制御する。カラー画像入力部20は、原稿を読み取ることにより得られたRGB(R:赤、G:緑、B:青)のアナログ信号(RGB信号)の画像データを、カラー画像処理部30に出力する。カラー画像処理部30は画像データに対して所定の処理を行い、処理後の画像データに基づくCMYK(C:シアン、M:マゼンタ、Y:イエロー、K:黒)のデジタルカラー信号を、カラー画像出力部40に出力する。カラー画像出力部40は、デジタルカラー信号に基づく画像を出力する。
【0017】
制御部10は、画像形成装置1の全体を制御する。制御部10は、記憶部60に記憶された各種プログラムを読み出して実行することにより各種機能を実現しており、例えば、1又は複数の演算装置(CPU(Central Processing Unit)やDSP(Digital Signal Processor)等)により構成される。すなわち、画像形成装置1が行う各種処理は、制御部10(CPUやDSP)によって制御される。なお、制御部10は、以下に説明する機能のうち、複数の機能を有するSoC(System on a Chip)として構成されてもよい。
【0018】
カラー画像入力部20は、原稿に基づいた画像を入力する。例えば、カラー画像入力部20は、原稿の画像(原稿画像)を読み取り、当該原稿画像を読み取ることにより得られたアナログ信号の画像データをカラー画像処理部30に対して出力することで、当該原稿画像を入力することができる。カラー画像入力部20は、例えば、CCD(Charged Coupled Device)やCIS(Contact Image Sensor)等のイメージセンサによって画像を電気信号に変換し、電気信号を量子化及び符号化する装置を備えたスキャナにより構成される。この場合、カラー画像入力部20は、原稿に光を照射させ、原稿画像から反射光像をRGBのアナログ信号として読み取り、読み取ったRGB信号(画像データ)をカラー画像処理部30へ出力する。
【0019】
なお、カラー画像入力部20は、USB(Universal Serial Bus)メモリ等の記録媒体に格納された画像データを読み取って当該画像データを入力したり、有線または無線ネットワークを通じて外部の機器から取得した画像データを入力したりしてもよい。
【0020】
カラー画像処理部30は、カラー画像入力部20によって読み取られた原稿画像の画像データを処理し、カラー画像出力部40に出力する。カラー画像処理部30の構成については後述する。
【0021】
カラー画像出力部40は、カラー画像処理部30から出力された原稿画像の画像データを出力する。カラー画像出力部40は、例えば、記録用紙等の記録媒体に対して画像を形成(印刷)する。この場合、カラー画像出力部40は、電子写真方式を用いたレーザプリンタ等の印刷装置により構成され、
図1の給紙トレイ42から記録用紙を給紙し、記録用紙の表面に画像を形成し、記録用紙を排紙トレイ44から排紙する。なお、カラー画像出力部40は、インクジェット方式を用いて画像を出力する印刷装置により構成されてもよい。
【0022】
操作パネル50は、画像形成装置1に対する操作を入力したり、各種情報を表示したりする。操作パネル50は、表示部52と操作部54とにより構成される。表示部52は、液晶ディスプレイや有機EL(electro-luminescence)ディスプレイ、マイクロLEDディスプレイ等の表示装置により構成される。また、操作部54は、設定ボタン(物理キー)やテンキーといった入力装置によって構成される。画像形成装置1(制御部10)は、操作パネル50により入力された情報に基づいて、カラー画像入力部20、カラー画像処理部30、カラー画像出力部40の動作を制御する。
【0023】
記憶部60は、画像形成装置1の動作に必要な各種プログラムや、各種データを記憶する。記憶部60は、例えば、半導体メモリであるSSD(Solid State Drive)や、HDD(Hard Disk Drive)等の記憶装置により構成される。
【0024】
記憶部60は、記憶領域として、出力値情報記憶領域62を確保する。出力値情報記憶領域62は、原稿画像に含まれるモノクロ(無彩色)の画素の濃度と、その濃度の画素に割り当てる画素値(出力値)とを対応付けた出力値情報を記憶する。画素の濃度は、色の濃さ、輝度、明度等によって表される値であり、本実施形態では、濃度として、画像をグレースケール画像に変換したときの画素の値であるグレースケール値(輝度)を用いる。出力値情報は、例えば、
図3に示すように、1又は複数の画素に対するグレースケール(輝度)平均値Aveの範囲(例えば、「0≦Ave<70」)と、当該画素に割り当てる出力色番号(例えば、「1」)と、当該出力色番号に対応する出力値(例えば、「R=0、G=0、B=0」)とを含む。
【0025】
本実施形態では、グレースケール値(輝度)は、例えば、0から255までの何れかの値を取るものとする。この場合、グレースケール値が0である画素は黒の画素を示し、グレースケール値が255である画素は白の画素を示す。また、出力色は、出力色番号と出力値とにより構成されるとする。出力値は、RGB色空間における各色成分の値(R値、G値、B値)を示す。なお、R値、G値、B値は、例えば、0から255までの何れかの値を取ることとする。
【0026】
つづいて、カラー画像処理部30の機能構成について説明する。カラー画像処理部30は、A/D(アナログ/デジタル)変換部301、シェーディング補正部302、入力階調補正部303、領域分離処理部304、文字画像生成部305、文字出力色変換部306、色補正部307、黒生成下色除去部308、空間フィルタ処理部309、出力階調補正部310、階調再現処理部311を備えて構成される。なお、上述の機能部のうち、1又は複数の機能部については、ASIC(Application Specific Integrated Circuit)等より構成されてもよい。
【0027】
A/D変換部301は、カラー画像入力部20から出力されたアナログ信号(RGB信号)を、デジタル信号(例えば、10ビットのデジタル信号)に変換する。また、A/D変換部301は、変換後のRGB信号(デジタル信号)をシェーディング補正部302へ出力する。
【0028】
シェーディング補正部302は、A/D変換部301から出力されたRGB信号に基づく画像に対して、シェーディング補正を行う。シェーディング補正とは、カラー画像入力部20の照明系、結像系、撮像系などで生じた各種の歪みを取り除く補正をいう。なお、シェーディング補正部302は、カラーバランスの調整等を行ってもよい。
【0029】
また、シェーディング補正部302は、補正処理を行うとともに、A/D変換部301から出力されたRGB信号に基づく画像データを、8ビットの画像データに変換してもよい。なお、10ビットの画像データから8ビットの画像データへの変換処理は、後述の入力階調補正部303で行われてもよい。シェーディング補正部302は、補正処理や変換処理を行なった画像データのRGB信号を入力階調補正部303へ出力する。
【0030】
入力階調補正部303は、シェーディング補正部302から出力されたRGB信号に基づく画像に対して、入力階調補正を行う。入力階調補正とは、例えば、下地濃度を除去する処理や、コントラストを調整する処理等の、画質調整処理(入力階調補正処理)をいう。また、入力階調補正部303は、入力階調補正の処理後のRGB信号を領域分離処理部304へ出力する。
【0031】
領域分離処理部304は、入力階調補正部303から出力された補正後のRGB信号に基づく画像に対して、領域分離処理を実行する。領域分離処理とは、例えば、入力されたRGB信号に基づく画像中の各画素を、エッジ領域に含まれる画素、網点領域に含まれる画素、写真領域に含まれる画素、その他領域に含まれる画素等のいずれかに分離する処理である。また、領域分離処理部304は、これらの領域が、カラーであるかモノクロであるかを判定するカラー判定を行ってもよい。
【0032】
また、領域分離処理部304は、領域分離結果に基づき、当該領域分離結果を示す領域識別信号を、色補正部307、黒生成下色除去部308、空間フィルタ処理部309及び階調再現処理部311へ出力する。領域識別信号は、例えば、RGB信号に基づく画像に含まれる各画素が、どの領域に属しているかを示す信号である。
【0033】
また、領域分離処理部304は、入力階調補正部303から出力されたRGB信号を、文字画像生成部305のグレースケール(輝度)変換部3501及び文字出力色変換部306へ出力する。
【0034】
文字画像生成部305は、文字画像を生成する。文字画像とは、原稿画像に含まれるそれぞれの文字の画像に対して、当該画像に含まれるそれぞれの画素に対応する色を割り当てた画像である。
【0035】
文字画像生成部305は、
図4に示すように、グレースケール(輝度)変換部3501、二値化処理部3502、レイアウト解析部3503、行切り出し処理部3504、文字切り出し処理部3505、文字平均輝度算出部3506、文字出力値割り当て部3507を備えて構成される。
【0036】
グレースケール(輝度)変換部3501は、画像に所定の変換を行う画像変換部であり、本実施形態では、領域分離処理部304から出力されたRGB信号を、グレースケール(輝度)信号に変換する。すなわち、グレースケール(輝度)変換部3501は、原稿に基づいた画像である原稿画像に所定の変換(グレースケール変換)を行うことにより、原稿画像をグレースケール画像に変換する。RGB信号からグレースケール(輝度)信号への変換は、例えば、当該RGB信号に基づく画像の各画素について、以下の式を用いて輝度を示す値に変換することにより行われる。
Gray=0.299R+0.587G+0.114B
なお、
図4において、Grayは輝度を示す値、RはRGB信号が示すR値、GはRGB信号が示すG値、BはRGB信号が示すB値をそれぞれ示す。グレースケール(輝度)変換部3501は、各画素のGrayの値を示すグレースケール(輝度)信号を、二値化処理部3502と文字平均輝度算出部3506とに出力する。
【0037】
二値化処理部3502は、グレースケール(輝度)変換部3501から出力されたグレースケール(輝度)信号に基づく画像(グレースケール画像)を二値化処理することで二値化画像に変換する。また、二値化処理部3502は、二値化画像に基づく信号(二値信号)を、レイアウト解析部3503に出力する。二値信号は、各画素が白の画素であるか黒の画素であるかを示す信号である。なお、二値化画像に基づく信号を、以下の説明では、単に二値化画像と記載する場合がある。
【0038】
レイアウト解析部3503は、二値化処理部3502から出力された二値信号に基づく二値化画像のレイアウトを解析し、領域の種類を特定する。例えば、レイアウト解析部3503は、二値化画像から、文字エリア(文字領域)、画像(写真や図等)エリア(図形領域)、罫線エリア等のその他の領域に分類する。さらに、レイアウト解析部3503は、各文字エリアについて、当該文字エリアの情報(文字エリア情報)を取得する。
【0039】
ここで、文字エリアは、1又は複数の文字により構成されている可能性が高い領域であり、例えば、エッジ画素を多く含む領域である。文字エリア情報は、その文字エリアの左上の画素の座標と右下の画素の座標を示す情報である。なお、座標とは、画像の左上隅の画素を原点(0,0)とし、原点から注目している画素までに含まれる横方向の画素数をx、縦方向の画素数をyとした場合に、(x,y)と表現したものをいう。レイアウト解析部3503は、行切り出し処理部3504に、文字エリア情報を出力する。
【0040】
さらに、レイアウト解析部3503は、二値化処理部3502から出力された二値信号に基づく二値化画像の各画素について、文字印字画素か非文字印字画素かを判定する。文字印字画素とは、印字された文字を構成する画素であり、非文字印字画素とは、文字印字画素以外の画素である。
【0041】
例えば、レイアウト解析部3503は、二値信号に基づく画像に含まれる画素のうち、以下の2つの条件を両方満たす画素を、文字印字画素と判定する。
(1)黒い画素(二値化黒画素)であること
(2)文字エリアに含まれる画素であること
すなわち、グレースケール画像の二値化画像に含まれる黒い画素である二値化黒画素のうち、文字エリアに含まれる二値化黒画素が、文字印字画素であると判定される。
【0042】
一方、レイアウト解析部3503は、上述した条件の少なくとも一方を満たさない画素を、非文字印字画素と判定する。レイアウト解析部3503は、判定結果に基づく信号である文字印字画素信号を、文字平均輝度算出部3506に出力する。文字印字画素信号は、各画素が文字印字画素であるか非文字印字画素であるかを示す信号であり、例えば、画素の座標と、当該座標の画素が文字印字画素であるか非文字印字画素であるかを示す情報により構成される。
【0043】
行切り出し処理部3504は、レイアウト解析部3503から出力された文字エリア情報に基づき、各文字エリアを1行ごとのエリア(行エリア)に分解して、矩形の形状のエリアとして切り出す行切り出し処理を実行する。また、行切り出し処理部3504は、それぞれの行エリアの情報(行エリア情報)を文字切り出し処理部3505に出力する。各行エリア情報は、例えば、各行の左上の座標と右下の座標を示す情報である。
【0044】
文字切り出し処理部3505は、行切り出し処理部3504から出力された行エリア情報に基づき、各行エリアを、1文字毎(個別文字毎)のエリア(個別文字エリア)に分解して、矩形の形状のエリアとして切り出す文字切り出し処理を実行する。すなわち、個別文字エリアは、画像における、個々の文字を含む領域(エリア)である。また、文字切り出し処理部3505は、それぞれの個別文字エリアの情報(個別文字エリア情報)を文字平均輝度算出部3506に出力する。各個別文字エリア情報は、例えば、各個別文字の領域(例えば、個別文字に外接する矩形の領域)の左上の座標と右下の座標を示す情報である。
【0045】
文字平均輝度算出部3506は、文字切り出し処理部3505から出力された個別文字エリア情報と、レイアウト解析部3503から出力された文字印字画素信号とに基づき、個別文字エリア毎に文字平均輝度を算出する。文字平均輝度とは、個別文字エリアに含まれる文字印字画素の輝度の平均値であり、例えば、文字印字画素信号が文字印字画素を示す画素のグレースケール(輝度)信号の平均値である。すなわち、文字平均輝度は、原稿画像のグレースケール画像の二値化黒画素の位置に対応する、グレースケール画像の画素のグレースケール値の平均値(グレースケール平均濃度)である。
【0046】
文字平均輝度算出部3506は、文字平均輝度を算出するために、例えば、以下の処理を行う。
(1)文字平均輝度算出部3506は、個別文字エリア情報によって示される個別文字エリア毎に、文字印字画素信号において文字印字画素であると示された画素によって構成される領域(以下、文字印字画素領域という)を特定する。
(2)文字平均輝度算出部3506は、(1)において特定した文字印字画素領域に含まれる画素毎の輝度を、グレースケール(輝度)信号に基づき取得する。
(3)文字平均輝度算出部3506は、(2)において取得した画素毎の輝度の平均値を算出し、その個別文字エリアの文字平均輝度とする。
【0047】
また、文字平均輝度算出部3506は、文字印字画素信号及び個別文字エリア情報に加えて、個別文字エリア毎の文字平均輝度の情報を、文字出力値割り当て部3507に出力する。個別文字エリア毎の文字平均輝度の情報は、例えば、個別文字エリアを特定する情報と当該個別文字エリアの文字平均輝度とを対応付けた情報である。
【0048】
文字出力値割り当て部3507は、各個別文字エリア毎に、その個別文字エリアに含まれる個別文字に対する出力色(出力色番号及びRGB信号出力値)を割り当てる。すなわち、文字出力値割り当て部3507は、文字切り出し処理部3505から出力された各個別文字エリア情報及びその文字エリアに対応する文字平均輝度の情報に基づき、画像に含まれる文字毎に出力色を割り当てる(決定する)。
【0049】
例えば、文字出力値割り当て部3507は、個別文字エリア毎に、個別文字エリアの文字平均輝度(グレースケール(輝度)平均値Ave)に対応する出力色情報を読み出す。そして、文字出力値割り当て部3507は、個別文字エリア毎に、読み出した出力色情報に記憶されている出力色番号及び出力値を、その個別文字エリアの出力色番号及びRGB信号出力値として決定する。
【0050】
また、文字出力値割り当て部3507は、文字平均輝度算出部3506から出力された文字印字画素信号に基づいて、以下の処理により文字画像を生成する。
(1)文字出力値割り当て部3507は、個別文字エリア内における文字印字画素領域に含まれる画素(文字印字画素信号が文字印字画素を示す画素)については、当該個別文字エリア内の個別文字に割り当てた出力値の色を出力する。
(2)文字出力値割り当て部3507は、非文字印字画素領域の画素については、白色(RGB画素値ともに255)を出力する。
【0051】
このようにして、文字出力値割り当て部3507は、文字印字画素については決定した出力色の画素に、非文字印字画素は白い画素にした文字画像(RGB画像)を生成する。さらに、文字出力値割り当て部3507は、生成した文字画像(RGB画像)を示す信号と、各個別文字における画素の文字印字画素信号とを、文字出力色変換部306へ出力する。また、文字出力値割り当て部3507は、文字印字画素信号を、色補正部307、黒生成下色除去部308、空間フィルタ処理部309、階調再現処理部311に出力する。
【0052】
文字出力色変換部306は、領域分離処理部304から出力されたRGB信号に基づく画像と、文字画像生成部305から出力された文字画像(RGB画像)とを、文字画像生成部305から出力された文字印字画素信号に基づいて合成する。これにより、文字出力色変換部306は、領域分離処理部304から出力されたRGB信号に基づく画像に含まれる文字の出力色を変換する。文字出力色変換部306が実行する処理(文字出力色変換処理)については、後述する。
【0053】
色補正部307は、文字出力色変換部306から出力されたRGB信号に基づく画像の色空間をCMYの色空間に変換し、カラー画像出力部40の特性に合わせた色補正の処理(色補正処理)を行う。例えば、色補正部307は、色再現の忠実化のために、不要吸収成分を含むCMY色材の分光特性に基づいた色濁りをCMY信号から取り除く処理を行う。なお、色補正部307は、領域識別信号や文字印字画素信号に応じて異なる色補正を行ってもよい。また、色補正部307は、補正後のCMY信号を、黒生成下色除去部308へ出力する。
【0054】
黒生成下色除去部308は、色補正部307から出力されたCMY信号に対して、CMY信号から黒色(K)信号を生成する黒生成処理と、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理とを行う。この結果、CMYの3色のデジタル信号は、CMYKの4色のデジタル信号(以下、CMYK信号という)に変換される。
【0055】
黒生成下色除去部308が行う黒生成処理の一例として、スケルトンブラックによる黒生成を行ない、下色を除去する方法が用いられる。この方法では、スケルトンカーブの入出力特性をy=f(x)、入力されるデータをC,M,Y、出力されるデータをC´,M´,Y´,K´、UCR(Under Color Removal)率をα(0<α<1)として、黒生成下色除去処理により出力されるデータはそれぞれ、下記の式で表される。
K´=f(min(C,M,Y))
C´=C-αK´
M´=M-αK´
Y´=Y-αK´
ここで、UCR率α(0<α<1)とは、CMYが重なっている部分をKに置き換えてCMYをどの程度削減するかを示すものである。
【0056】
上記の式では、CMYの各信号強度の内の最も小さい信号強度に応じてK信号が生成されることを示している。なお、黒生成下色除去部308は、領域識別信号や文字印字画素信号に応じて異なる色補正を行ってもよい。
【0057】
また、黒生成下色除去部308は、CMY信号を変換したCMYK信号を空間フィルタ処理部309に出力する。
【0058】
空間フィルタ処理部309は、黒生成下色除去部308から出力されたCMYK信号に基づく画像に対して、デジタルフィルタによる空間フィルタ処理を行う。これにより、空間フィルタ処理部309は、画像の空間周波数特性を補正し、カラー画像出力部40における出力画像のぼやけ又は粒状性劣化を防止する。
【0059】
なお、文字印字画素領域については、文字画像生成部305および文字出力色変換部306においてぼやけや粒状性劣化の無い画像信号に変換されている。そのため、空間フィルタ処理部309は、空間フィルタ処理を行わず、文字印字画素領域の画素値については、入力された画素値をそのまま出力してもよい。
【0060】
また、空間フィルタ処理部309は、文字印字画素領域以外の領域の画素(文字画像生成部305から出力された文字印字画素信号において、非文字印字画素であると示される画素)に対しては、領域分離処理部304から出力された領域分離信号に応じて異なる処理を行ってもよい。
【0061】
例えば、空間フィルタ処理部309は、領域分離処理部304において、エッジ領域に分離された領域に対しては、特に線やエッジの再現性を高めるために、高周波成分の強調量が大きいフィルタを用いて鮮鋭強調処理を行ってもよい。また、空間フィルタ処理部309は、領域分離処理部304において網点領域に分離された領域に対しては、入力網点成分を除去するためのローパス・フィルタ処理を行ってもよい。
【0062】
また、空間フィルタ処理部309は、空間フィルタ処理後のCMYK信号を出力階調補正部310へ出力する。
【0063】
出力階調補正部310は、空間フィルタ処理部309から出力されたCMYK信号に基づく画像に対して、カラー画像出力部40の特性値に基づく出力階調補正処理を行い、出力階調補正処理後のCMYK信号を階調再現処理部311へ出力する。
【0064】
階調再現処理部311は、出力階調補正部310から出力されたCMYK信号に基づく画像に対して、階調再現処理(中間調処理)を行う。例えば、階調再現処理部311は、文字印字画素領域の画素(文字画像生成部305から出力された文字印字画素信号において文字印字画素を示す画素)に対して、特に黒文字又は色文字の再現性を高めるための処理を行う。黒文字又は色文字の再現性を高めるための処理として、階調再現処理部311は、例えば、カラー画像出力部40における高周波成分の再現に適した高解像度のスクリーンによる二値化処理又は多値化処理を行う。
【0065】
また、階調再現処理部311は、文字印字画素領域以外の領域の画素(文字画像生成部305から出力された文字印字画素信号が非文字印字画素を示す画素)についても、領域分離処理部304においてエッジ領域に分離された領域に対して、特に黒文字又は色文字の再現性を高めるための処理を行なってもよい。例えば、階調再現処理部311は、黒文字又は色文字の再現性を高めるための処理として、カラー画像出力部における高周波成分の再現に適した高解像度のスクリーンによる二値化処理又は多値化処理を行う。
【0066】
また、階調再現処理部311は、領域分離処理部304において網点領域に分離された領域に対しては、最終的にその領域の画像を画素に分離して、それぞれの画素の階調を適切に再現できるように階調再現処理(中間調生成)を行なってもよい。さらに、階調再現処理部311は、領域分離処理部304にて写真領域(印画紙写真)に分離された領域に対しては、カラー画像出力部40における階調再現性を重視したスクリーンによる二値化処理又は多値化処理を行なってもよい。
【0067】
なお、階調再現処理部311は、網点領域に分離された領域と写真領域(印画紙写真)に分離された領域に対して、同じスクリーンによる二値化処理又は多値化処理を行なってもよい。
【0068】
また、領域分離処理部304にて網点領域に分離された領域に対して、空間フィルタ処理部309がローパス・フィルタ処理を施すのは、原稿画像の網点による一定の周期的な特性を持った画像データと、ディザ処理のような周期的な処理との間で発生するモアレを抑制するためである。したがって、階調再現処理部311が誤差拡散処理を行う場合、即ち、階調再現処理部311がディザ処理のような周期的な処理を行なわない場合、空間フィルタ処理部309はローパス・フィルタ処理を行う必要がない。なお、空間フィルタ処理部309がローパス・フィルタ処理を行わないときは、空間フィルタ処理部309は、鮮鋭強調処理を行なってもよい。このように、空間フィルタ処理部309は、階調再現処理部311の処理に応じて、実行する処理を切り替えてもよい。
【0069】
また、カラー画像処理部30は、階調再現処理部311で処理されたCMYK信号に基づく画像の画像データを記憶部60に一旦記憶してもよい。この場合、制御部10は、画像形成をする所定のタイミングで記憶部60に記憶された画像データを読み出し、読み出した画像データをカラー画像出力部40へ出力することで、当該画像データに基づく画像を出力する。
【0070】
[1.2 処理の流れ]
画像形成装置1が実行する処理の流れについて、
図5から
図7までを参照して説明する。
図5から
図7までに示した処理は、制御部10が、記憶部60に記憶されたプログラムを読み出すことにより実行される。また、
図5から
図7に示した処理は、ユーザにより、コピージョブやスキャンジョブといった、原稿を読み取るジョブの実行を開始させる操作がされた場合に実行される。
【0071】
[1.2.1 メイン処理]
はじめに、
図5を参照して、メイン処理の流れについて説明する。制御部10は、カラー画像入力部20を制御することで、原稿画像を読み取り、当該原稿画像(RGB信号)を取得する(ステップS100)。なお、以下の説明では、ステップS100において入力された画像を入力画像と記載する。
【0072】
つづいて、カラー画像処理部30は、入力画像に対する画像処理を実行する。まず、A/D変換部301は、アナログ信号のRGB信号を、デジタル信号のRGB信号に変換するA/D変換を行う(ステップS102)。つづいて、シェーディング補正部302は、RGB信号に対してシェーディング補正を行う(ステップS104)。なお、シェーディング補正部302は、カラーバランスの調整や、8ビットの画像データへの変換を行ってもよい。つづいて、入力階調補正部303は、RGB信号に対して、入力階調補正処理を行う(ステップS106)。つづいて、領域分離処理部304が、RGB信号に対して、領域分離処理を行う(ステップS108)。
【0073】
つづいて、文字画像生成部305は、文字画像を生成する処理である文字画像生成処理を実行する(ステップS110)。文字画像生成処理については後述する。
【0074】
つづいて、文字出力色変換部306は、ステップS100において入力画像に含まれる文字の画素の色を、ステップS110において生成された文字画像に基づき変換する文字出力色変換処理を実行する(ステップS112)。文字出力色変換処理については、後述する。
【0075】
つづいて、色補正部307は、文字出力色変換部306から出力されたRGB信号に基づく画像の色空間をCMYの色空間に変換し、色補正処理を行う(ステップS114)。つづいて、黒生成下色除去部308は、色補正部307出力されたCMY信号に対して黒生成下色除去処理を行い、CMYK信号を出力する(ステップS116)。つづいて、空間フィルタ処理部309は、黒生成下色除去部308から出力されたCMYK信号に対して空間フィルタ処理を実行する(ステップS118)。
【0076】
つづいて、出力階調補正部310は、空間フィルタ処理部309から出力されたCMYK信号に対して出力階調補正処理を行う(ステップS120)。また、階調再現処理部311は、出力階調補正部310から出力されたCMYK信号に対して、階調再現処理を行う(ステップS122)。階調再現処理部311は、階調再現処理を行なった後の画像に基づくCMYK信号をカラー画像出力部40に出力する。なお、制御部10は、ステップS122において出力されたCMYK信号に基づく画像データを、記憶部60に記憶してもよい。
【0077】
つづいて、制御部10は、ステップS122において出力されたCMYK信号に基づく画像をカラー画像出力部40に入力し、カラー画像出力部40を制御することにより、当該画像を出力する(ステップS124)。これにより、入力画像に含まれる文字の色は、文字画像生成処理によって生成された文字画像に基づいて変換され、文字の色が変換された後の画像が出力される。
【0078】
[1.2.2 文字画像生成処理]
図6を参照して、文字画像生成処理の流れについて説明する。はじめに、グレースケール(輝度)変換部3501は、領域分離処理部304から出力されたRGB信号を、グレースケール(輝度)信号に変換する(ステップS150)。
【0079】
つづいて、二値化処理部3502は、グレースケール(輝度)変換部3501から出力されたグレースケール(輝度)信号に基づく画像(グレースケール画像)に対して二値化処理を行い、二値化画像を出力する(ステップS152)。
【0080】
つづいて、レイアウト解析部3503は、二値化処理部3502から出力された二値化画像に基づきレイアウト解析を行い、文字エリア情報を出力する(ステップS154)。つづいて、行切り出し処理部3504は、文字エリア情報に基づき、行切り出し処理を実行し、行エリア情報を出力する(ステップS156)。つづいて、文字切り出し処理部3505は、行エリア情報に基づき、文字切り出し処理を実行し、個別文字エリア情報を出力する(ステップS158)。
【0081】
つづいて、文字平均輝度算出部3506は、個別文字エリア毎に、個別文字エリアの文字印字画素領域に含まれる画素の輝度に基づき、文字平均輝度を算出する(ステップS160)。
【0082】
つづいて、文字出力値割り当て部3507は、個別文字エリア毎に、文字平均輝度に基づく出力色を決定する(ステップS162)。具体的には、文字出力色変換部306は、原稿画像に基づく画像である原稿画像のグレースケール画像(第1の画像)から算出した、文字を構成する画素(二値化黒画素)の平均濃度に対応する色を、個別文字エリアに含まれる文字の出力色として割り当てる。例えば、
図3に示す出力値情報が記憶されている場合において、注目している個別文字エリアの文字平均輝度(グレースケール(輝度)平均値Ave)が110であったとき、文字出力値割り当て部3507は、当該個別文字エリアの出力色として、出力色番号を3に決定し、出力値(RGB信号出力値)をR=255、G=0、B=255に決定する。
【0083】
つづいて、文字出力値割り当て部3507は、文字画像を生成する(ステップS164)。例えば、文字出力値割り当て部3507は、文字印字画素領域に含まれる画素の色については、ステップS162において決定した出力色とし、文字印字画素領域以外の領域に含まれる画素の色については白色を出力色として、各画素を出力する。
【0084】
文字画像生成部305は、生成した文字画像(RGB画像)を示す信号を、文字出力色変換部306に出力する。また、文字画像生成部305は、文字印字画素信号を、文字出力色変換部306、色補正部307、黒生成下色除去部308、空間フィルタ処理部309、階調再現処理部311に出力する。
【0085】
[1.2.3 文字出力色変換処理]
図7を参照して、文字出力色変換部306が実行する文字出力色変換処理の流れについて説明する。はじめに、文字出力色変換部306は、領域分離処理部304から出力されたRGB信号に基づく画像から、1の画素(注目画素)を選択する(ステップS180)。
【0086】
つづいて、文字出力色変換部306は、文字画像生成部305から出力された文字印字画素信号に基づき、注目画素が文字印字画素であるか否かを判定する(ステップS182)。
【0087】
文字出力色変換部306は、注目画素が文字印字画素である場合、注目画素と同じ位置における、文字画像の画素の色であるRGB画素値を取得し、当該注目画素の色として、取得したRGB画素値を出力する(ステップS182;Yes→ステップS184)。例えば、文字出力色変換部306は、領域分離処理部304から出力されたRGB信号に対して、注目画素に対応する画素のRGB画素値を、文字画像における対応する位置の画素のRGB画素値に置換する処理を行う。これにより、原稿画像における文字印字画素は、原稿画像のグレースケール画像における、文字印字画素(二値化黒画素)に対応する画素の平均濃度に基づいて決定(選択)した出力色に変換されて出力される。
【0088】
一方、文字出力色変換部306は、注目画素が文字印字画素ではない場合、注目画素と同じ位置における、グレースケール(輝度)変換部3501によるグレースケール変換前の画像(入力画像)の画素の色であるRGB画素値を取得し、当該注目画素の色として、取得したRGB画素値を出力する(ステップS182;No→ステップS186)。すなわち、文字出力色変換部306は、非文字印字画素に対しては、原稿の画像である入力画像(第2の画像)から、出力色を割り当てて、出力する。この結果、文字出力色変換部306は、注目画素が文字印字画素ではない場合、当該注目画素に対応する画素のRGB画素値を他のRGB画素値に置換せず、領域分離処理部304から出力された画像のRGB画素値をそのまま出力することができる。
【0089】
つづいて、文字出力色変換部306は、領域分離処理部304から出力されたRGB信号に基づく画像に含まれる全ての画素を選択したか否かを判定する(ステップS188)。文字出力色変換部306は、全ての画素を選択した場合は、
図7に示した処理を終了する(ステップS188;Yes)。一方、文字出力色変換部306は、全ての画素を選択していない場合は、ステップS180に戻る(ステップS188;No→ステップS180)。
【0090】
このようにして、文字出力色変換部306は、入力された原稿画像の画素毎に、文字画像に基づくRGB画素値又はグレースケール変換前のRGB画素値の何れかのRGB画素値を出力する。ここで、文字印字画素のRGB画素値は、文字画像のRGB画素値が出力されるため、文字印字画素が色情報(色相や彩度といった色味に関する情報)を失ったモノクロの画素であっても、カラーの画素が出力される。この結果、原稿画像に含まれるグレー文字は、有彩色の文字(カラー文字)として出力される。
【0091】
[1.3 動作例]
図8を参照して、本実施形態の画像形成装置1の動作例を説明する。
図8(a)は、カラー文字を含むカラー原稿又はファイル(カラーファイル)に基づく画像M100を示す。画像M100には、黒文字の領域E100と、色文字の領域E101とが含まれることとする。
【0092】
図8(b)は、
図8(a)に示した画像M100を、モノクロコピー又はモノクロプリントにより出力した原稿をスキャンして得られた画像M110を示す。画像M100の領域E100に含まれていた各文字(E110、E111、E112、E113、E114の各領域内の文字)の色は、元々の黒の色となっている。一方、画像M100の領域E110に含まれていた各文字(E115、E116、E117の各領域内の文字)は、グレー色の文字となり、目立ちにくくなっている。
【0093】
図8(c)は、
図8(b)に示した画像M110の二値化画像M120を示した図である。二値化画像M120に基づき個別文字が切り出されることにより、
図8(c)に示すように、二値化画像M120から、E120からE127までの8つの個別文字が切り出される。また、個別文字の領域内の黒い画素が、文字印字画素となる。
【0094】
図8(d)は、
図8(c)において切り出されたそれぞれの個別文字が、その個別文字の平均輝度に応じて割り当てられた色に変換された後の画像M130を示す。例えば、
図3に示した出力値情報が記憶されている場合で、画像M110の、E110、E111、E112、E113、E114におけるそれぞれの個別文字の文字印字画素の平均輝度が10であるとき、それぞれの個別文字のRGB出力値はR=0、G=0、B=0となる。この結果、二値化画像M120の、E120、E121、E122、E123、E124における文字印字画素は黒い画素に変換され、画像M130のE130、E131、E132、E133、E134に示すように、黒い文字として出力される。
【0095】
一方、画像M110の、E115、E116、E117におけるそれぞれの個別文字の文字印字画素の平均輝度が110であるとき、それぞれの個別文字のRGB出力値はR=255、G=0、B=255となる。この結果、二値化画像M120の、E125、E126、E127における文字印字画素はマゼンタの画素に変換され、画像M130のE135、E136、E137に示すように、色文字(マゼンタの文字)として出力される。このように、モノクロコピーやモノクロプリントにより色情報を失った画像の文字であっても、その文字の文字印字画素の平均輝度に応じた色文字として出力されるため、グレー文字の状態と比べて、目立ちやすくなる。
【0096】
なお、上述した実施形態では、文字印字画素の輝度の平均(文字平均輝度)に応じて出力色を決定することとして説明したが、文字平均輝度に応じて、出力色を決定する条件が変更されてもよい。例えば、文字出力値割り当て部3507は、
図6のステップS162において、文字平均輝度が所定の値未満である場合、
図3に示した出力値情報におけるグレースケール(輝度)平均値Aveの範囲を一時的に修正する。具体的には、文字出力値割り当て部3507は、0≦Ave<50であれば出力色番号を0とし、同様にして、出力色番号1から5に対するグレースケール(輝度)平均値Aveの範囲を20だけ低い値に変更する。このようにすることで、文字出力値割り当て部3507は、文字平均輝度が低い個別文字エリアに対して、出力色を決定するための条件を変更したうえで、再度出力色を決定することにより、割り当てた出力値を補正することができる。
【0097】
また、上述した実施形態では、文字印字画素の輝度の平均に応じて出力色を決定することとして説明したが、出力色は、文字印字画素の明度や濃度といった値に応じて決定されてもよい。
【0098】
このように、本実施形態の画像形成装置によれば、カラー原稿やファイルをモノクロコピーやモノクロプリントされることによりグレー色になった色文字を含む原稿をコピーやスキャンしたときに、カラー情報を復元し、カラーの文字にして出力することができる。具体的には、画像形成装置は、文字領域を切り出し、切り出した文字領域に含まれる、文字を構成する各画素の平均輝度に応じて、カラー化する。なお、画像形成装置は、濃い黒文字はカラー化しない。このような処理により、画像形成装置は、モノクロコピーやモノクロプリントにより目立ちにくくなっていたグレー文字を、元のカラー原稿やファイルのように色文字に復元し、ユーザによって識別されやすくすることができる。
【0099】
[2.第2実施形態]
つづいて第2実施形態について説明する。第2実施形態は、第1実施形態に記載した処理において、モノクロコピーやモノクロプリントがされた原稿に対して加筆された手書きの色文字があった場合、当該加筆した手書きの色文字をそのまま再現した画像を出力することを可能とする実施形態である。本実施形態は、第1実施形態の
図4を
図9に、第1実施形態の
図6を
図10にそれぞれ置き換えた実施形態である。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
【0100】
[2.1 機能構成]
図9は、本実施形態における文字画像生成部305の機能構成を示す図である。本実施形態では、文字画像生成部305は、色空間変換部3511、二値化処理部3502、レイアウト解析部3503、行切り出し処理部3504、文字切り出し処理部3505、文字平均彩度算出部3512、文字平均輝度算出部3506、文字出力値割り当て部3507を備えて構成される。
【0101】
色空間変換部3511は、領域分離処理部304から入力されたRGB信号に基づくRGB色空間の画像(RGB信号)を、YCbCr色空間の画像(YCbCr信号)に変換する色空間変換処理を行う。色空間変換部3511は、YCbCr信号を文字平均彩度算出部3512に出力する。また、色空間変換部3511は、Y(輝度)信号を二値化処理部3502とへ出力する。
【0102】
文字平均彩度算出部3512は、文字切り出し処理部3505から出力された各個別文字エリア情報とレイアウト解析部3503から出力された文字印字画素信号とに基づき、各個別文字エリア毎に、当該個別文字エリア内の文字印字画素領域に含まれる画素の彩度の平均値(文字平均彩度)を算出する。また、文字平均彩度算出部3512は、文字平均彩度と、所定の閾値とを比較することで、文字平均彩度が所定の閾値以上であるか、所定の閾値未満であるかを示す比較結果を出力する。なお、所定の閾値は、予め記憶部60に記憶されていてもよいし、ユーザによって設定可能であってもよい。
【0103】
例えば、文字平均彩度算出部3512は、文字平均彩度を、色差信号であるCbとCrとの値に基づいて算出する。この場合、文字平均彩度算出部3512は、各個別文字エリアに対して、文字印字画素のCb値の平均値と文字印字画素のCr値の平均値との二乗和の平方根を求める。さらに、文字平均彩度算出部3512は、求めた二乗和の平方根が、所定の閾値以上であるか所定の閾値未満であるかを判定する。ここで、文字平均彩度算出部3512は、文字平均彩度と当該文字平均彩度の閾値との比較ができればよいため、文字印字画素のCb値の平均値と文字印字画素のCr値の平均値との二乗和と、当該平均値の二乗和に対する閾値とを比較してもよい。
【0104】
文字平均彩度算出部3512は、個別文字の文字印字画素の彩度が閾値以上である場合、当該個別文字は彩度が高い文字であるとして、出力色を割り当てる処理は不要とする。この場合、文字平均彩度算出部3512は、彩度が高い個別文字の個別文字エリア情報を削除する。また、文字平均彩度算出部3512は、当該個別文字エリア情報内の文字印字画素信号を、全て非文字印字画素を示す信号に変換する。これにより、有彩色の色ペンなどで追記した文字は、出力色が変換されずに元々の色で出力される。また、文字平均彩度算出部3512は、文字平均輝度算出部3506に、Y(輝度)信号を出力する。
【0105】
なお、本実施形態では、文字平均輝度算出部3506は、文字平均彩度算出部3512から出力されたY(輝度)信号に基づき、個別文字毎の平均輝度を算出する。また、二値化処理部3502は、色空間変換部3511から出力されたY(輝度)信号を二値化処理し、レイアウト解析部3503へ出力する。
【0106】
[2.2 処理の流れ]
図10を参照して、本実施形態における文字画像生成処理の流れを説明する。まず、色空間変換部3511は、領域分離処理部304から出力されたRGB画像データ(RGB信号)の色空間をRGB色空間からYCbCr色空間に変換することで、RGB画像(RGB信号)をYCbCr画像(YCbCr信号)に変換する(ステップS200)。
【0107】
つづいて、文字画像生成部305は、ステップS152からステップS158までの処理を実行して個別文字エリア情報を出力する。つづいて、文字画像生成部305は、入力画像に含まれる文字のうち、手書き文字を文字出力色変換処理の対象から外す。ここで、本実施形態では、手書き文字は、モノクロプリントの原稿に有彩色の色ペン等によって記載されたものとする。したがって、本実施形態では、入力画像から切り出した文字が有彩色であるとき、その文字は手書き文字であるとする。なお、本実施形態では、文字が有彩色であるとは、当該文字が所定以上の彩度を有する場合であることとする。
【0108】
ここで、文字平均彩度算出部3512は、文字切り出し処理部3505から出力された各個別文字エリア情報に基づき、各個別文字エリア毎に、その個別文字エリアに含まれる文字印字画素の彩度の平均値(文字平均彩度)を算出する(ステップS202)。
【0109】
さらに、文字平均彩度算出部3512は、個別文字エリアを1つ選択し(ステップS204)、選択した個別文字エリアの文字平均彩度が所定の閾値以上であるか否かを判定する(ステップS206)。すなわち、文字平均彩度算出部3512は、個別文字エリアに含まれる文字印字画素の彩度の平均値が、閾値以上であるか否かを判定する。これにより、文字平均彩度算出部3512は、文字平均彩度に基づいて、個別文字エリアに含まれる文字が手書き文字であるか否かを判定することができる。
【0110】
文字平均彩度算出部3512は、ステップS204において選択した個別文字エリアの文字平均彩度が所定の閾値以上である場合、文字切り出し処理部3505から出力された個別文字エリア情報のうち、当該個別文字に対応する個別エリア情報を削除する(ステップS206;Yes→ステップS208)。つまり、文字平均彩度算出部3512は、個別文字エリアが、手書き文字の領域であれば、その個別文字エリアを削除する。
【0111】
また、文字平均彩度算出部3512は、レイアウト解析部3503から出力された文字印字画素信号に対して、ステップS204において選択した個別文字エリア内の文字印字画素を、非文字印字画素を示す信号に変換する(ステップS210)。
【0112】
このように、文字平均彩度算出部3512は、ステップS208及びステップS210の処理を実行することで、入力画像に含まれる文字の領域(個別文字エリア)から、手書き文字を含む領域を削除する。すなわち、文字平均彩度算出部3512は、手書き文字については、出力色の割り当ての対象から外す。これにより、手書き文字は、
図7に示した文字出力色変換処理において、文字平均輝度に応じて割り当てられる出力色に変換されることが無い。具体的には、手書き文字の画素に対しては、
図7の出力色変換処理のステップS186の処理が実行され、入力画像における、対応する画素の色(RGB出力値)を出力色とする方法(第1の方法)により、出力色が割り当てられる。すなわち、手書き文字については、入力画像に基づいて出力色が割り当てられ、当該出力色により手書き文字が出力されることとなる。
【0113】
なお、文字平均彩度算出部3512は、ステップS206において、個別文字の文字平均彩度が所定の閾値未満である場合は、ステップS208及びステップS210の処理を省略する(ステップS206;No)。この場合、手書き文字以外の文字については、個別文字エリア情報が削除されず、当該個別文字エリア内の文字印字画素は、非文字印字画素に変換されない。これにより、手書き文字以外の文字は、
図7に示した文字出力色変換処理において、文字平均輝度に応じて割り当てられる出力色に変換される。具体的には、手書き文字以外の文字の画素に対しては、
図7の出力色変換処理のステップS184の処理が実行され、入力画像に対して所定の変換が行われた画像(グレースケール画像)における二値化黒画素のグレースケール平均輝度に対応する色を出力色とする方法(第2の方法)により、出力色が割り当てられる。すなわち、手書き文字以外の文字については、入力画像により所定の変換がされた画像に基づいて出力色が割り当てられ、当該出力色により手書き文字以外の文字が出力されることとなる。
【0114】
つづいて、文字平均彩度算出部3512は、個別文字エリアを全て選択したか否かを判定する(ステップS212)。文字平均彩度算出部3512は、個別文字エリアを全て選択していない場合はステップS204へ戻る(ステップS212;No→ステップS204)。一方、文字平均彩度算出部3512は、個別文字エリアを全て選択した場合は、個別文字エリア情報、文字印字画素信号及びY信号を文字平均輝度算出部3506に出力する(ステップS212;Yes)。また、文字画像生成部305は、ステップS160からステップS164までの処理を実行する。
【0115】
上述した処理では、個別文字エリアに含まれる文字を構成する画素(文字印字画素)の平均彩度が閾値以上の場合にその個別文字エリア情報を削除し、その個別文字エリア内の文字印字画素を非文字印字画素に変換した上で、残った個別文字エリアに含まれる文字の色を、その文字を構成する画素(文字印字画素)の平均輝度に応じて出力色を決定し、その出力色に変換する処理を説明した。このように、本実施形態の画像形成装置1は、手書き文字に出力色を割り当てる方法(第1の方法)と、手書き文字以外の文字に出力色を割り当てる方法(第2の方法)とを併用する。これにより、画像形成装置1は、モノクロコピー等がされた原稿に印字された無彩色の文字と、当該原稿に対して加筆された手書きの色文字とに対して、それぞれ適切な出力色を割り当てることができ、モノクロコピー等がされた原稿に含まれる文字及び当該原稿に加筆された色文字のそれぞれを、最適な色で出力することができる。
【0116】
ここで、手書きの色文字が、蛍光ペンなどでハイライトされる場合がある。このような場合、ハイライト(背景)及びハイライトされた文字はそのまま出力される。しかしながら、ハイライトされた文字が、ハイライト(背景)と区別しづらい状態で出力される場合がある。そこで、画像形成装置1は、個別文字エリアに含まれる文字の背景がハイライトされているか否かに応じて当該文字の色の変換方法を切り替えてもよい。例えば、文字出力値割り当て部3507は、個別文字エリアに含まれる文字の背景の画素(非文字印字画素)の色に基づき、その背景の出力色を決定する。このとき、文字出力値割り当て部3507は、背景の画素(個別文字エリア内の画素であって、非文字印字画素である画素)の色の彩度が、所定の値以上であるか否かを判定する。文字出力値割り当て部3507は、背景の画素の色の彩度が、所定の閾値以上であれば、当該個別文字エリアの背景はハイライトされていると判定する。一方、文字出力値割り当て部3507は、背景の画素の色の彩度が、所定の閾値未満であれば、当該個別文字エリアの背景はハイライトされていないと判定する。なお、背景の画素の彩度に対する閾値は、所定の閾値は、文字印字画素の彩度に対する閾値(ステップS206における閾値)と異なる値であってもよい。
【0117】
さらに、文字出力値割り当て部3507は、注目している個別文字エリアの背景がハイライトされている場合、当該個別文字エリアに含まれる文字の画素(文字印字画素)の色に対して、その文字の画素の色の再現濃度を補正する。
【0118】
例えば、文字出力値割り当て部3507は、文字の画素の出力色を、その文字の色の濃度を高くした色に決定したり、背景の色の平均濃度に対応する色に決定したりする。このようにして、文字出力値割り当て部3507は、ハイライトされている文字の濃度を補正して出力するようにする。さらに、文字出力値割り当て部3507は、注目している個別文字エリアの背景の再現色として、当該背景の平均濃度に対応する色を選択してもよい。
【0119】
一方で、文字出力値割り当て部3507は、注目している個別文字エリアの背景がハイライトされていない場合、当該個別文字エリアに含まれる文字の画素(文字印字画素)の輝度(濃度)に基づく出力色を、その文字の画素の出力色とする。
【0120】
また、文字出力値割り当て部3507は、文字印字画素に対応する画素の色を出力色とし、非文字印字画素に対応する画素の色を背景の再現色とした文字画像を生成する。さらに、文字出力色変換部306は、文字画像生成部305から出力された文字画像に応じて、入力画像の個別文字エリアの色を変換する。例えば、文字出力色変換部306は、注目している個別文字エリアの背景がハイライトされている場合、当該個別文字エリアに含まれる文字印字画素と非文字印字画素(ハイライト部分)との色を、文字画像の対応する画素の色に変換する。一方、文字出力色変換部306は、注目している個別文字エリアの背景がハイライトされていない場合、当該個別文字エリアに含まれる文字印字画素の色を、文字画像の対応する画素の色に変換する。このようにすることで、画像形成装置1は、文字エリア(文字領域)に含まれる文字について、グレー文字をカラー化するとともに、ハイライトされた文字を、ユーザによって区別されやすい別の色に変換することができる。
【0121】
なお、上述した処理は、手書き文字がハイライトされた場合についての処理であるが、手書き文字以外の文字(例えば、印字された文字)がハイライトされた場合についても、当該手書き文字以外の文字の濃度が補正されて出力されてもよい。
【0122】
また、上述した説明では、手書き文字であるか否かを彩度に基づいて判定する場合について説明したが、手書き文字であるか否かは、例えば、画像認識を行うことによって判定されてもよいし、エッジの形状等の特徴(例えば、直線の割合や、曲線の歪みの大きさ等)に応じて判定されてもよい。
【0123】
また、上述した説明では、文字平均彩度算出部3512は、色差信号を用いて文字平均彩度を算出することとして説明した。しかし、色差信号を用いて文字平均彩度を算出する方法は、文字平均彩度を算出する処理の一例であって、他の色空間や方法が用いられてもよい。例えば、文字平均彩度算出部3512は、入力画像の色空間を、HSV色空間に変換し、文字印字画素のSの値の平均値を、文字平均彩度としてもよい。
【0124】
このように、本実施形態の画像形成装置は、有彩色の文字(色文字)であれば、その文字の色をそのまま再現し、無彩のグレーの文字だけをカラー化することができる。これにより、画像形成装置は、モノクロコピーやモノクロプリントされた原稿に加筆した手書きの色文字が含まれていても、手書きの色文字が別の色になることを防ぐことができる。
【0125】
[3.第3実施形態]
つづいて第3実施形態について説明する。第3実施形態は、第1実施形態の処理に加えて、連続した手書き文字以外の文字(例えば、印字された文字)において、注目している文字の出力色と、当該注目している文字の前後の出力色とが異なる場合、当該注目している文字の出力色を変更する実施形態である。本実施形態は、第1実施形態の
図6を
図11に置き換えた実施形態である。なお、同一の処理には同一の符号を付し、説明については省略する。
【0126】
図11を参照して、本実施形態における文字画像生成処理の流れを説明する。本実施形態では、文字画像生成部305は、ステップS150からステップS162までの処理を実行する。これにより、文字出力値割り当て部3507は、文字切り出し処理部3505から出力された各個別文字エリア情報による各個別文字毎に、文字平均輝度算出部3506により算出された文字平均輝度に基づいて、その個別文字エリアの出力色を決定する。
【0127】
つづいて、文字出力値割り当て部3507は、個別文字エリアのうち、以下の2つの条件を満たす個別文字エリアの出力色を修正する。
(1)注目している個別文字エリアの出力色番号が、一つ前の個別文字エリアの出力色と一つ後の個別文字エリアの出力色との何れとも異なること。
(2)注目している個別文字エリアの一つ前の個別文字エリアの出力色と、注目している個別文字エリアの一つ後の個別文字エリアの出力色が同一であること。
【0128】
文字出力値割り当て部3507は、上述した2つの条件を何れも満たす個別文字エリアの出力色を一つ前の文字の出力色(もしくは、一つ後の文字の出力色)と同じ出力色となるように修正する。一方で、文字出力値割り当て部3507は、上述した条件を満たさない個別文字エリアの出力色は、修正しない。
【0129】
上述した個別文字エリアの出力色の修正を行うため、文字出力値割り当て部3507は、個別文字エリアを1つ選択する(ステップS300)。なお、以下の説明において、ステップS300において選択した個別文字エリアを、注目個別文字エリアと記載する。
【0130】
つづいて、文字出力値割り当て部3507は、注目個別文字エリアの出力色が、1つ前の個別文字エリアの出力色と異なり、また、1つ後の個別文字エリアの出力色とも異なるか否かを判定する(ステップS302)。1つ前の個別文字エリアとは、例えば、注目個別文字エリアが属する行と同じ行に属する個別文字エリアであって、注目個別文字エリアの左隣に位置する個別文字エリアである。また、1つ後の個別文字エリアとは、例えば、注目個別文字エリアが属する行と同じ行に属する個別文字エリアであって、注目個別文字エリアの右隣に位置する個別文字である。
【0131】
文字出力値割り当て部3507は、注目個別文字エリアの出力色が、1つ前の個別文字エリアの出力色と異なり、また、1つ後の個別文字エリアの出力色とも異なる場合、1つ前の個別文字エリアの出力色と1つ後の個別文字エリアの出力色とが等しいか否かを判定する(ステップS302;Yes→ステップS304)。
【0132】
文字出力値割り当て部3507は、1つ前の個別文字エリアの出力色と1つ後の個別文字エリアの出力色とが等しい場合、注目個別文字エリアの出力色を、前後の文字の出力色に揃える(ステップS304;Yes→ステップS306)。例えば、文字出力値割り当て部3507は、ステップS300において選択した個別文字エリアに対応する出力色(出力色番号及び出力RGB値)を、1つ前の個別文字エリアに対応する出力色に変更する。
【0133】
なお、文字出力値割り当て部3507は、注目個別文字エリアの出力色が、1つ前の注目個別文字エリアの出力色と1つ後の注目個別文字エリアの出力色とのうち、何れかの出力色と等しい場合は、ステップS306の処理を省略する(ステップS302;No)。また、文字出力値割り当て部3507は、1つ前の個別文字エリアの出力色と1つ後の個別文字エリアの出力色とが等しくないと判定した場合、ステップS306の処理を省略する(ステップS304;No)。
【0134】
つづいて、文字出力値割り当て部3507は、個別文字エリアを全て選択したか否かを判定する(ステップS308)。文字出力値割り当て部3507は、個別文字エリアを全て選択していない場合、ステップS300に戻る(ステップS308;No→ステップS300)。一方、文字出力値割り当て部3507は、個別文字エリアを全て選択した場合、ステップS164における処理を実行する(ステップS308;Yes)。
【0135】
また、ステップS164において、文字出力値割り当て部3507は、グレースケール画像に対して、個別文字エリアにおいて文字印字画素信号が文字印字画素を示す画素に対応する画素の色を、最終的に決定した当該画素の出力色とする。また、文字出力値割り当て部3507は、グレースケール画像に対して、文字印字画素信号が非文字印字画素を示す画素に対応する画素の色を、白色(RGB画素値ともに255)の画素とする。文字出力値割り当て部3507は、このようにして生成(変換)した文字画像を文字出力色変換部306へ出力する。
【0136】
このように、文字出力値割り当て部3507は、各個別文字エリアに対して割り当てた出力色を、前後の個別文字エリアの出力色に応じて揃える(変更する)処理を繰り返す。これにより、例えば、対象文字の出力色が赤色(出力色番号=2)で、前後の個別文字エリアの出力色が青(出力色番号=1)である場合、文字出力値割り当て部3507は、対象文字の出力色を青(出力色番号=1)にする。
【0137】
また、文字出力値割り当て部3507は、一旦カラー化せずに出力する(無彩色の黒文字として出力する)と判定した個別文字であっても、両隣の個別文字がカラー化して出力すると判定している場合、カラー化せずに出力すると判定した個別文字をカラー化することができる。
【0138】
なお、文字出力値割り当て部3507は、カラー化せずに出力すると判定した(無彩色の出力色を割り当てた)個別文字の両隣の個別文字を、カラー化して出力すると判定した(有彩色の出力色を割り当てた)場合、カラー化する閾値を変更した上で、そのカラー化せずに出力すると判定した個別文字をカラー化するか否かを再判定してもよい。例えば、文字出力値割り当て部3507は、
図3に示した出力値情報におけるグレースケール(輝度)平均値Aveの範囲を一時的に修正する。具体的には、文字出力値割り当て部3507は、0≦Ave<50であれば出力色番号を0とし、同様にして、出力色番号1から5に対するグレースケール(輝度)平均値Aveの範囲を20だけ低い値に変更する。このようにすることで、文字出力値割り当て部3507は、カラー化するための閾値を下げた上で、再度カラー化するか否か判定し、カラー化して出力しないと判定した個別文字をカラー化しやすくする。
【0139】
また、文字出力値割り当て部3507は、隣接する個別文字エリアの間隔が所定の長さ以内であるときに、個別文字エリア(手書き文字以外の文字)が連続していると判定し、出力色を変更する(揃える)処理を実行してもよい。すなわち、文字出力値割り当て部3507は、注目している文字の前の文字又は注目している文字の後の文字の少なくとも何れか一方が離れた位置にある場合、注目している文字の出力色を変更しない。
【0140】
このように、本実施形態の画像形成装置は、注目している個別文字エリアの出力色が、その注目している個別文字エリアの前後の個別文字エリアの出力色と異なる場合に、その注目している個別文字エリアの出力色を前後の個別文字エリアの出力色に揃えることができる。これにより、本実施形態の画像形成装置は、誤判定と考えられる文字の出力色を自動的に修正することができる。この結果、画像形成装置は、カラー化すべき連続する文字列において、1文字だけ判定ミスによりカラー化されなかったり、前後の文字と別の色にしてしまったりするミスを防ぐことができる。
【0141】
[4.第4実施形態]
つづいて第4実施形態について説明する。第4実施形態は、第1実施形態の処理において、個別文字毎に出力色を決定する代わりに、連続した手書き文字以外の文字(例えば、印字された文字)において、複数の文字の単位毎に、出力色を割り当てる実施形態である。本実施形態は、第1実施形態の
図4を
図12に、第1実施形態の
図6を
図13に、それぞれ置き換えた実施形態である。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
【0142】
[4.1 機能構成]
図12は、本実施形態における文字画像生成部305の機能構成を示す図である。本実施形態では、単語や文節の単位で出力色を決定する場合について説明する。本実施形態では、文字画像生成部305は、グレースケール(輝度)変換部3501、二値化処理部3502、レイアウト解析部3503、行切り出し処理部3504、文字切り出し処理部3505、文字認識処理部3521、形態素解析・構文解析部3522、単語・文節平均輝度算出部3523、単語・文節出力値割り当て部3524を備えて構成される。
【0143】
文字認識処理部3521は、文字切り出し処理部3505から出力された個別文字エリア情報によるエリア毎に、レイアウト解析部3503から出力された文字印字画素信号に基づいて文字認識処理を行う。これにより、文字認識処理部3521は、個別文字エリアごとの文字を認識し、その認識結果である文字情報を、形態素解析・構文解析部3522に出力する。
【0144】
形態素解析・構文解析部3522は、文字認識処理部3521から連続して出力される文字情報に基づいて、文字自然言語処理で行われる形態素解析・構文解析を行う。それにより、形態素解析・構文解析部3522は、連続して出力された文字情報に基づく文字列を、単語又は文節に分割する。また、形態素解析・構文解析部3522は、分割した文字列の情報を、単語・文節エリア情報として出力する。例えば、形態素解析・構文解析部3522は、各単語・文節エリア情報として、文字列が含む各個別文字エリアを包含するように各単語・文節エリアを決定し、左上の画素の座標と右下の画素の座標を出力する。
【0145】
単語・文節平均輝度算出部3523は、形態素解析・構文解析部3522から出力された各単語・文節エリア情報に基づき、各単語・文節エリア毎に、レイアウト解析部3503から入力された文字印字画素信号が文字印字画素を示す画素のグレースケール(輝度)信号の平均値を算出する。すなわち、単語・文節平均輝度算出部3523は、単語又は文節の単位で、文字印字画素の平均輝度(以下、単語・文節の平均輝度という)を算出する。
【0146】
単語・文節出力値割り当て部3524は、単語・文節エリアの出力色を決定する。具体的には、単語・文節出力値割り当て部3524は、形態素解析・構文解析部3522から出力された各単語・文節エリア情報に基づき、単語や文節エリアを特定する。さらに、単語・文節出力値割り当て部3524は、単語毎・文節エリア毎に、単語・文節平均輝度算出部3523から出力された単語・文節の平均輝度に基づき、出力色を決定する。例えば、単語・文節出力値割り当て部3524は、
図3に示すような変換テーブルを用いて、単語・文節エリア毎に、単語・文節の平均輝度に対応する出力色番号およびRGB信号出力値を決定する。
【0147】
また、単語・文節出力値割り当て部3524は、単語・文節平均輝度算出部3523から出力された文字印字画素信号を、決定した単語・文節の平均輝度に対応する出力色番号およびRGB信号出力値に応じて変換し、文字画像を生成する。
【0148】
例えば、単語・文節出力値割り当て部3524は、文字印字画素信号が文字印字画素を示す画素については、決定した出力色を出力する。また、単語・文節出力値割り当て部3524は、文字印字画素信号が非文字印字画素については、白色(RGB画素値ともに255)を出力する。このようにして、単語・文節出力値割り当て部3524は、文字画像(RGB画像)を生成し、当該文字画像と、文字印字画素信号とを文字出力色変換部306へ出力する。
【0149】
[4.2 処理の流れ]
図13を参照して、本実施形態における文字画像生成処理の流れを説明する。まず、文字画像生成部305は、ステップS150からステップS158までの処理を実行する。
【0150】
つづいて、文字認識処理部3521は、文字認識を行う(ステップS400)。つづいて、形態素解析・構文解析部3522は、文字認識処理部3521から連続して出力される文字情報に基づいて、形態素解析・構文解析を行う(ステップS402)。
【0151】
つづいて、単語・文節平均輝度算出部3523は、形態素解析・構文解析部3522から出力された各単語・文節エリア情報に基づき、各単語・文節エリア毎に、単語・文節エリアの平均輝度を算出する(ステップS404)。
【0152】
つづいて、単語・文節出力値割り当て部3524は、単語・文節エリアの平均輝度に基づいて、その単語・文節エリアの出力色を決定する(ステップS406)。
【0153】
つづいて、単語・文節出力値割り当て部3524は、ステップS406において決定した出力色に応じて、文字画像を生成する(ステップS408)。このようにして、単語・文節出力値割り当て部3524は、単語や文節単位に割り当てた出力色に基づく文字画像を生成することができる。
【0154】
なお、上述した説明では、単語や文節を、出力色を割り当てる単位として説明したが、出力色を割り当てる単位は、単語や文節以外であってもよい。例えば、文字画像生成部305は、句読点、中黒、カッコ等の記号を区切り文字として、区切り文字により区切られた文字単位で、出力色を決定してもよい。また、文字画像生成部305は、近接する個別文字エリアをグループ化し、グループ毎に出力色を決定してもよい。
【0155】
このように、本実施形態の画像形成装置は、単語や文節の単位で、カラー化するか否か、及び、カラー化する場合における出力色を決定することができる。これにより、画像形成装置は、カラー化の判定ミスを少なくすることができ、また、体裁が良くユーザによって識別しやすい色に変換した文字を含む画像を出力することができる。
【0156】
[5.第5実施形態]
第5実施形態は、第1実施形態において説明した処理を、画像読取装置に適用した場合の実施形態である。本実施形態は、第1実施形態の
図2を
図14に、第1実施形態の
図5を
図15に、それぞれ置き換えた実施形態である。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
【0157】
[5.1 機能構成]
図14は、本実施形態における画像読取装置2の機能構成を示す図である。画像読取装置2は、例えば、フラットベッドスキャナなどで実現される。また、画像読取装置2は、制御部10、カラー画像入力部20、カラー画像処理部30、操作パネル50、記憶部60を備えて構成される。
【0158】
また、画像読取装置2には、カラー画像処理部30から出力されるRGB信号に基づく画像データの出力先として、ディスプレイ等の表示装置や、LAN(Local Area Network)やWAN(Wide Area Network)を介して他の装置と通信を行うための通信装置や、データの入出力を行うインタフェースが含められていてもよい。なお、通信装置は、有線/無線LANで利用されるNIC(Network Interface Card)等の通信装置や通信モジュールにより構成される。
【0159】
なお、本実施形態では、色補正部307は、領域分離処理部304から出力されるRGB信号をカラー画像入力部20の特性に応じた色補正処理を行う。
【0160】
例えば、色補正部307は、色補正処理後のRGB信号を空間フィルタ処理部309へ出力する。空間フィルタ処理部309は、色補正部307から出力されたRGB信号に基づく画像に対して、デジタルフィルタによる空間フィルタ処理を行い、空間フィルタ処理後のRGB信号を出力階調補正部310へ出力する。出力階調補正部310は、空間フィルタ処理部309から出力されたRGB信号を、当該RGB信号の出力先の装置に応じて出力階調補正処理を行う。さらに、出力階調補正部310は、出力先の装置に対して、出力階調補正処理後のRGB信号を出力する。
【0161】
また、本実施形態におけるメイン処理は、
図15に示すように、制御部10によって、ステップS100からステップS114までの処理と、ステップS118、ステップS120及びステップS124の処理を含む。なお、制御部10は、ステップS124において、画像の出力先となる機能部に対して、画像を出力する。
【0162】
メイン処理では、ステップS110において、文字画像生成部305により文字画像生成処理が実行され、ステップS112において、文字出力色変換部306により文字出力色変換処理が実行される。これにより、画像読取装置2は、カラー画像入力部20によって読み取られた原稿画像におけるグレー文字をカラー文字に変換した画像を、所定の出力先に出力することが可能となる。
【0163】
このように、本実施形態によれば、画像読取装置といった装置であっても、グレー文字をカラー文字として出力することが可能となる。
【0164】
[6.変形例]
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【0165】
また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。例えば、第2実施形態と第3実施形態とを組み合わせてもよい。この場合、画像形成装置は、手書きの色文字はその色のまま出力し、印字されたグレー文字をカラー化するとともに、カラー化されたグレー文字が前後の文字の出力色と異なる場合、そのカラー化されたグレー文字を前後の文字の出力色と合わせることができる。また、第2実施形態と第4実施形態とを組み合わせてもよい。この場合、画像形成装置は、手書きの色文字はその色のまま出力し、印字されたグレー文字を単語や文節単位でカラー化することができる。また、第2実施形態と第3実施形態と第4実施形態とを組み合わせてもよい。この場合、画像形成装置は、手書きの色文字はその色のまま出力し、印字されたグレー文字を単語や文節毎にカラー化するとともに、注目している単語や文節の出力色が前後の単語や文節との出力色と異なる場合、注目している単語や文節の出力色を前後の単語や文節の出力色と合わせることができる。
【0166】
また、上述した実施形態では、グレー文字をカラー化する画像処理装置が画像形成装置や画像読取装置であるとして説明したが、当該画像処理装置は、サーバ装置や、スマートフォン等の端末装置であってもよい。例えば、本開示を、上述した実施形態で説明した処理と同様の処理を実行するアプリとして実現し、当該アプリを端末装置で実行することにより、当該端末装置により、グレー文字をカラー化する機能が実現されてもよい。この場合、端末装置は画像を取得し、当該画像に含まれるグレー文字をカラー化して、出力すればよい。
【0167】
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置(例えば、RAM)に蓄積され、その後、各種ROM(Read Only Memory)やHDD等の記憶装置に格納され、必要に応じてCPUによって読み出し、修正・書き込みが行なわれる。
【0168】
ここで、プログラムを格納する記録媒体としては、半導体媒体(例えば、ROMや、不揮発性のメモリカード等)、光記録媒体・光磁気記録媒体(例えば、DVD(Digital Versatile Disc)、MO(Magneto Optical Disc)、MD(Mini Disc)、CD(Compact Disc)、BD (Blu-ray(登録商標) Disk) 等)、磁気記録媒体(例えば、磁気テープ、フレキシブルディスク等)等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。
【0169】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。
【符号の説明】
【0170】
1 画像形成装置
2 画像読取装置
10 制御部
20 カラー画像入力部
30 カラー画像処理部
301 A/D変換部
302 シェーディング補正部
303 入力階調補正部
304 領域分離処理部
305 文字画像生成部
306 文字出力色変換部
307 色補正部
308 黒生成下色除去部
309 空間フィルタ処理部
310 出力階調補正部
311 階調再現処理部
40 カラー画像出力部
50 操作パネル
52 表示部
54 操作部
60 記憶部
62 出力値情報記憶領域