(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-09
(45)【発行日】2023-11-17
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
H04N 1/40 20060101AFI20231110BHJP
【FI】
H04N1/40 062
(21)【出願番号】P 2020001094
(22)【出願日】2020-01-07
【審査請求日】2022-09-21
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100112335
【氏名又は名称】藤本 英介
(74)【代理人】
【識別番号】100101144
【氏名又は名称】神田 正義
(74)【代理人】
【識別番号】100101694
【氏名又は名称】宮尾 明茂
(74)【代理人】
【識別番号】100124774
【氏名又は名称】馬場 信幸
(72)【発明者】
【氏名】平山 千春
(72)【発明者】
【氏名】今泉 大作
【審査官】豊田 好一
(56)【参考文献】
【文献】特開2002-300412(JP,A)
【文献】特開2007-266921(JP,A)
【文献】特開2018-139457(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/40
(57)【特許請求の範囲】
【請求項1】
入力画像データを処理して出力画像データを生成する画像処理装置であって、
前記入力画像データに基づいて、グレースケール処理を行った第1評価画像と、他の画像処理を行った第2評価画像とを生成する画像処理部と、
前記第1評価画像に対する前記第2評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出部と、
前記第2評価画像に文字潰れがあるかを判定する文字潰れ判定部と、前記入力画像データ全体に対する写真領域の比率が閾値以上であるかを判定する写真領域サイズ判定部とを備え、前記情報量に基づいて情報損失の有無を判定する情報量損失判定部と、
前記情報量損失判定部による判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定部と、
備え、
前記第2評価画像は、
ポスタリゼーション処理画像あるいは誤差拡散処理画像、単純2値化
処理画像であり、
前記画像処理決定部は、
前記文字潰れ判定部が前記単純2値化処理画像に文字潰れなしと判定した場合は、単純2値化処理に決定し、
前記文字潰れ判定部が前記単純2値化処理画像に文字潰れありと判定した場合は、写真領域サイズ判定を行い、
前記写真領域サイズ判定部が写真領域の比率を閾値以上と判定した場合はグレースケール処理に決定し、前記写真領域サイズ判定部が写真領域の比率を閾値よりも小さいと判定した場合はポスタリゼーション処理あるいは誤差拡散処理に決定することを特徴とする画像処理装置。
【請求項2】
入力画像データを処理して出力画像データを生成する画像処理装置であって、
前記入力画像データに基づいて、グレースケール処理を行った第1評価画像と、他の画像処理を行った第2評価画像とを生成する画像処理部と、
前記第1評価画像に対する前記第2評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出部と、
前記第2評価画像に文字潰れがあるかを判定する文字潰れ判定部と、前記入力画像データ全体に対する写真領域の比率が閾値以上であるかを判定する写真領域サイズ判定部とを備え、前記情報量に基づいて情報損失の有無を判定する情報量損失判定部と、
前記情報量損失判定部による判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定部と、
備え、
前記第2評価画像は、
ポスタリゼーション処理画像あるいは誤差拡散処理画像、単純2値化
処理画像であり、
前記画像処理決定部は、
前記文字潰れ判定部が前記単純2値化処理画像に文字潰れなしと判定した場合は、単純2値化処理に決定し、
前記文字潰れ判定部が前記単純2値化処理画像に文字潰れありと判定した場合は、写真領域サイズ判定を行い、
前記写真領域サイズ判定部が写真領域の比率を閾値以上と判定した場合はグレースケール処理に決定し、前記写真領域サイズ判定部が写真領域の比率を閾値よりも小さいと判定した場合は前記文字潰れ判定部がポスタリゼーション処理あるいは誤差拡散処理の文字潰れを判定し、
前記画像処理決定部は、
ポスタリゼーション処理画像あるいは誤差拡散処理画像に文字潰れがあった場合、グレースケール処理に決定し、ポスタリゼーション処理画像あるいは誤差拡散処理画像に文字潰れがなかった場合、ポスタリゼーション処理あるいは誤差拡散処理に決定することを特徴とする画像処理装置。
【請求項3】
入力画像データを処理して出力画像データを生成する画像処理方法であって、
前記入力画像データに基づいて、グレースケール処理を行った第1評価画像と、他の画像処理を行った第2評価画像とを生成する画像処理ステップと、
前記第1評価画像に対する前記第2評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出ステップと、
前記第2評価画像に文字潰れがあるかを判定する文字潰れ判定ステップと、前記入力画像データ全体に対する写真領域の比率が閾値以上であるかを判定する写真領域サイズ判定ステップとを備え、前記情報量に基づいて情報損失の有無を判定する情報損失判定ステップと、
前記情報損失判定ステップによる判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定ステップと、
を備え、
前記第2評価画像は、
ポスタリゼーション処理画像あるいは誤差拡散処理画像、単純2値化
処理画像であり、
前記画像処理決定ステップでは、
前記文字潰れ判定ステップにおいて前記単純2値化処理画像に文字潰れなしと判定した場合は、単純2値化処理に決定し、
前記文字潰れ判定ステップにおいて前記単純2値化処理画像に文字潰れありと判定した場合は、写真領域サイズ判定を行い、
前記写真領域サイズ判定ステップにおいて写真領域の比率を閾値以上と判定した場合はグレースケール処理に決定し、前記写真領域サイズ判定ステップにおいて写真領域の比率を閾値よりも小さいと判定した場合はポスタリゼーション処理あるいは誤差拡散処理に決定することを特徴とする画像処理方法。
【請求項4】
入力画像データを処理して出力画像データを生成する画像処理方法であって、
前記入力画像データに基づいて、グレースケール処理を行った第1評価画像と、他の画像処理を行った第2評価画像とを生成する画像処理ステップと、
前記第1評価画像に対する前記第2評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出ステップと、
前記第2評価画像に文字潰れがあるかを判定する文字潰れ判定ステップと、前記入力画像データ全体に対する写真領域の比率が閾値以上であるかを判定する写真領域サイズ判定ステップとを備え、前記情報量に基づいて情報損失の有無を判定する情報損失判定ステップと、
前記情報損失判定ステップによる判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定ステップと、
を備え、
前記第2評価画像は、
ポスタリゼーション処理画像あるいは誤差拡散処理画像、単純2値化
処理画像であり、
前記画像処理決定ステップでは、
前記文字潰れ判定ステップにおいて前記単純2値化処理画像に文字潰れなしと判定した場合は、単純2値化処理に決定し、
前記文字潰れ判定ステップにおいて前記単純2値化処理画像に文字潰れありと判定した場合は、写真領域サイズ判定を行い、
前記写真領域サイズ判定ステップにおいて写真領域の比率を閾値以上と判定した場合はグレースケール処理に決定し、前記写真領域サイズ判定ステップにおいて写真領域の比率を閾値よりも小さいと判定した場合は前記文字潰れ判定ステップにおいてポスタリゼーション処理あるいは誤差拡散処理の文字潰れを判定し、
文字潰れ判定ステップにおいてポスタリゼーション処理画像あるいは誤差拡散処理画像に文字潰れがあった場合、グレースケール処理に決定し、文字潰れ判定ステップにおいてポスタリゼーション処理画像あるいは誤差拡散処理画像に文字潰れがなかった場合、ポスタリゼーション処理あるいは誤差拡散処理に決定することを特徴とする画像処理方法。
【請求項5】
コンピュータに、請求項1又は2に記載の画像処理装置を動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スキャナなどにより読み取った画像に対し、情報損失を抑えながらファイルサイズを可能な限り低減する処理を行う画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、デジタル複合機(MFP:Multifunction Printer)やインターネットの普及により、FAX等による印字された画像の伝送だけでなく、紙面の画像をスキャナで読み取りを行うことにより電子データ形式の画像データに変換し、電子メール等により電子データ形式の画像データを添付して伝送することも、ごく日常的に行われている。
【0003】
また、昨今では原稿を読み取るためのスキャナ部分に対して紙を搬送するための自動シートフィーダ(Auto Document Feeder:以下、「ADF」と略す)が搭載されたMFPが普及しており、紙面1枚ごとに原稿セットしての読み取り(以下、スキャンともいう)
という作業ではなく、上記ADFへ読み取らせたい原稿を複数枚まとめてセットしてスキャンを開始すれば、原稿の1枚ごとのスキャンをADFが自動で連続的に行うことができる。このように、ユーザへのスキャン作業への負担が軽減される環境が整備されている。
【0004】
ところが、ADFの利用により都度原稿をセットする手間が省けたため、ユーザは原稿の中身を意識せずに、原稿セット中に性質の異なる画像が混在した状態で紙をADFにセットしてしまう傾向がある。例えば、原稿セットの中にカラー画像の原稿とモノクロ画像の原稿とが混在するケースが生じうる。また、別の例としては、原稿セットの中に、テキストデータの原稿と写真データの原稿とが混在するケースが生じうる。
【0005】
また、スキャン処理の方式としては、カラー画像、グレースケール画像、または単純2値化画像など、読み取った画像を様々な形式の画像データに変換する方法が知られている。上述のように原稿の中に様々な原稿が混在する場合であって、原稿各々に応じて適切なスキャン処理の方式が選択されないときには、画像が塗り潰されて判読不能になるなど、情報が大きく損なわれてしまう場合があるという問題がある。
【0006】
上記のような状況を鑑みて、例えば、原稿の種類の区分けとして、カラー画像とモノクロ画像とのいずれであるか、テキストデータと写真データとのいずれであるかなどの画像の性質を検出して画像処理の方式を切り替える技術が知られている。
【0007】
例えば、特許文献1によれば、まず初めに、読み取った画像がカラーかモノクロかを判別する。そして、読み取った画像がモノクロの場合は、画像の利用目的やレイアウトに基づいて、画像データを多値グレースケールのデータまたは2値データのいずれとするかを決定して処理する。
【0008】
レイアウトに基づき決定を行う場合、無彩色(モノクロ)データの読み取り原稿画像に対して、原稿レイアウトの解析を行い、原稿中に占めるテキストデータと写真データとのそれぞれの割合を調べ、その割合に対応してテキスト原稿として取り扱うか、写真原稿として取り扱うかを決定している。例えば、写真データが所定の割合以上に存在する場合は写真原稿として判断し、逆に写真データが所定の割合よりも少ない場合はテキスト原稿として判断する。この判断を受けて、原稿がテキストデータであった場合には、無彩色データをグレースケールから白黒2値へ変換処理を実行することで、原稿の種類に応じて、グレースケール処理とするか、白黒の単純2値化処理とするかを切り替える技術として開示されている。
【先行技術文献】
【特許文献】
【0009】
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献1の方式では、読み取り画像を、グレースケール処理とすべきか、白黒の単純2値化処理とすべきか、の判定を行っているだけである。単純2値化処理を行った場合において、情報が大きく損失してしまい、写真が判読できない状態になることもあり得る。一方で、写真を判読可能にしたい場合や単純2値化でも文字潰れなどを起こした場合、グレースケール処理を選択するしかなく、ファイルサイズが非常に大きくなってしまう。
【0011】
本発明は、斯かる実情に鑑み、読み込んだ画像データに対して情報損失を抑えながらファイルサイズをできる限り低減する処理を行う画像処理装置、画像処理方法、及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【0012】
本発明は、入力画像データを処理して出力画像データを生成する画像処理装置であって、
前記入力画像データに基づいて、グレースケール処理を行った第1評価画像と、他の画像処理を行った第2評価画像とを生成する画像処理部と、前記第1評価画像に対する前記第2評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出部と、前記情報量に基づいて情報損失の有無を判定する情報損失判定部と、前記情報損失判定部による判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定部と、を備え、
前記第2評価画像は、グレースケール処理画像と単純2値化処理画像の間のファイルサイズを有する画像処理画像を含むことを特徴とするものである。
【0013】
また、本発明は、入力画像データを処理して出力画像データを生成する画像処理方法であって、
前記入力画像データに基づいて、グレースケール処理を行った第1評価画像と、他の画像処理を行った第2評価画像とを生成する画像処理ステップと、前記第1評価画像に対する前記第2評価画像の階調差分値に基づいて情報損失を表す情報量を算出する情報量算出ステップと、前記情報量に基づいて情報損失の有無を判定する情報損失判定ステップと、前記情報損失判定ステップによる判定結果に基づいて前記出力画像データの画像処理方式を決定する画像処理決定ステップと、を備え、
前記第2評価画像は、グレースケール処理画像と単純2値化処理画像の間のファイルサイズを有する画像処理画像を含むことを特徴とするものである。
【0014】
また、本発明は、コンピュータに、前記画像処理装置を動作させるためのプログラムである。
【発明の効果】
【0015】
本発明によれば、読み込んだ画像データに対して情報損失を抑えながらファイルサイズをできる限り低減する処理を行うという優れた効果を奏し得る。
【図面の簡単な説明】
【0016】
【
図1】第1実施形態に係る画像形成装置の機能構成を示すブロック図である。
【
図2】画像処理装置の機能構成を示すブロック図である。
【
図3】情報損失判定部の機能構成を示すブロック図である。
【
図4】第1実施形態に係る画像形成装置のメイン処理を示すフローチャートである。
【
図6】第1実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。
【
図7】第2実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。
【
図8】第3実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。
【
図9】第4実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態について、図を参照しながら詳細に説明する。以下の説明では、本発明に係る画像処理装置が画像形成装置の一部を形成する構成を例示する。
<第1実施形態>
【0018】
[画像形成装置の構成]
図1は、第1実施形態に係る画像形成装置の機能構成を示すブロック図である。画像形成装置1は、コピー機能、印刷機能、及びスキャナ機能等を有する多機能デジタル複合機(MFP)である。画像形成装置1は、
図1に示すように、操作パネル10、画像読取装置20、画像処理装置30、記憶装置40、画像出力装置50、画像データ送信装置60、制御装置70を備えている。
【0019】
操作パネル10は、液晶ディスプレイ等で構成される表示部11と、ユーザが画像形成装置1の動作モードを設定するための設定ボタン及びテンキー等の操作部12とを備える。操作部12は、スイッチ、キーボードといったハードウェアの入力装置で実現してもよいし、表示部11と一体に形成されるタッチパネル等により実現してもよい。
【0020】
画像読取装置20は、原稿から画像を光学的に読み取る。画像読取装置20は、たとえばCCD(Charge Coupled Device)を有するカラースキャナよりなり、原稿からの反射光像を、CCDを用いてRGB(R:赤,G:緑,B:青)またはモノクロのアナログ信号として読み取り、画像処理装置30へ出力する。画像読取装置20は、スキャナでなくてもよく、たとえばデジタルカメラ等であってもよい。
【0021】
画像処理装置30は、画像読取装置20から送られてきたアナログ画像信号をデジタル画像データに変換し、入力画像データを生成する。そして、入力画像データに基づいて様々の画像処理を施す。最終的に出力画像データを生成して画像出力装置50に送信する。
【0022】
なお、入力画像データは、画像読取装置20から送られた信号から生成するものでなくてもよく、例えば外部から受け取ったデジタル画像データでもよい。
【0023】
画像処理装置30は、出力画像データを生成するときに、情報損失を抑えながら、できるだけファイルサイズが小さい画像処理を選択する。情報損失判定は、文字潰れと、写真領域サイズに対し行い、この結果により画像処理方式を決定する。
【0024】
記憶装置40は、画像処理装置30にて扱われる画像データを一旦保存するためのハードディスクあるいはソリッドステートドライブ(SSD)、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、またはこれらの組み合わせなどの記憶媒体を備えたデータ記憶装置である。記憶装置40は、複数の出力階調数候補に関する情報や、その他様々な設定情報を事前に記録するとともに、画像処理中において、画像処理演算により作成した画像データを一時的に保存する記録装置である。
【0025】
画像出力装置(例えば、プリンタ)50は、画像処理装置30から送られてきた画像データの画像を記録媒体(例えば紙、記録用紙等)上に印刷(画像を形成)するものであり、例えば、電子写真方式を用いたカラープリンタを挙げることができる。
【0026】
画像データ送信装置60は、ネットワークを介して出力画像データを外部に送信する。例えば、画像データ送信装置60は、一般的な電子メールを用いることができる。
【0027】
制御装置70は、CPU(Central Processing Unit)あるいはDSP(Digital Signal Processor)等のプロセッサを含むコンピュータであり、画像形成装置1に備えられる各種ハードウェアを統括的に制御するものである。また、制御装置70は、画像形成装置1に備えられる各ハードウェア間のデータ転送を制御する機能を有する。さらに、制御装置70は、不図示のネットワークカード及びLANケーブルを介して、ネットワークに接続されたコンピュータ及び他のデジタル複合機等とのデータ通信を制御する機能を有する。
【0028】
[画像処理装置の構成]
図2は、画像処理装置の機能構成を示すブロック図である。画像処理装置30は、
図2に示すように、画像入力部31、画像処理部32、画像領域分別部33、情報量算出部34、情報損失判定部35,画像処理決定部36、画像出力部37、を備える。
【0029】
画像入力部31は、画像読取装置20が画像処理装置30へ出力したアナログ信号に基づきデジタル信号に変換し、入力画像データを生成する。なお、画像入力部31は、上記の例に限定されず、外部から画像データを受け取り、受け取った画像データを入力画像データとするものであってもよい。
【0030】
画像処理部32は、入力画像データに対して画像処理を行い、画像データを生成する。特に画像の情報損失を判定するのに必要な基準画像である第1評価画像と、第1評価画像に対する情報損失を判定するための第2評価画像を生成する。また、出力画像として画像処理が決定した場合の出力画像を生成する。画像処理の具体例としては、解像度変更処理、平滑化処理、鮮鋭化処理、ガンマ補正などの階調変換処理、カラー・モノクロ変換処理、単純2値化画像または多階調画像(グレースケール画像、ポスタリゼーション画像等)である階調数の異なる画像データへの変換処理などが挙げられる。
【0031】
画像領域分別部33は、画像データの特徴に基づき、画像中の領域を複数の属性の領域に分別するものである。なお、本実施形態の例において、複数の属性の領域とは、文字領域、写真領域、文字と写真が混在した文字写真領域などであるが、これに限定されるものではない。
【0032】
情報量算出部34は、第1評価画像の階調と第2評価画像の階調の差分値を各画素毎に特徴量として算出し、特徴量から画像のブロック単位で統計量を算出する。そして、この統計量を情報損失判定のための情報量とする。
【0033】
情報損失判定部35は、情報量算出部で算出された情報量に基づいて、各画像処理によって生成された画像の情報損失が許容範囲を示す閾値以上か否かを判定する。
【0034】
画像処理決定部36は、情報損失判定結果とファイルサイズによって最適な画像処理方式を決定する。
【0035】
画像出力部37は、画像処理装置30が生成した出力画像データを電子データの形式で画像処理装置30の外部に出力する。
【0036】
[情報損失判定部の構成]
図3は、情報損失判定部の機能構成を示すブロック図である。情報損失判定部35は、文字潰れ判定部351と写真領域サイズ判定部352を備える。
【0037】
文字潰れ判定部351は、情報量の結果から文字潰れ有りか否かを判定する。特に単純2値化することで画像品質が劣る場合、文字のエッジ部の品質が劣化し、文字の読み取りが困難になる現象を文字潰れという。
【0038】
写真領域サイズ判定部352は、写真領域の抽出結果から原稿全体に対する写真領域サイズの比率を求め、原稿を写真領域とするか否かを判定する。
【0039】
[画像形成装置のメイン処理]
本実施形態の画像形成装置1におけるメイン処理の流れを、
図4を参照して説明する。
【0040】
本実施形態において、画像読取装置20によって読み取ったデータが、画像形成装置1のACS(Auto Color Select)機能によってモノクロ画像と判定されたとして、その後の処理を行うものとする。なお、画像形成装置がモノクロ仕様であっても構わないし、カラー画像として読み取ったデータをモノクロに変換したものでも構わない。
【0041】
まず初めに、画像読取装置20により、元となる原稿用紙に描かれた画像を光学的に読み取ってアナログ信号として画像処理装置30へ出力する。そして、画像処理装置30に備えられた画像入力部31により、デジタル信号の画像データに変換することで原稿用紙に基づく画像データの入力処理を行う(ステップS101)。
【0042】
この方法は一般的なスキャナと同等である。読み取りの方法は、原稿を1枚ずつ画像読取装置20に手動でセットする方法でもよいし、機械的な紙送り機能(ADF)を用いて複数枚の原稿を連続的に読み込む方法でもよい。本実施形態では、機械的な紙送り機能を用いてセットされた複数枚の原稿を連続的に読み込む方法であり、かつ、複数枚の原稿中にテキストデータ画像や写真データ画像など、異なる性質を持つ画像が混在している場合を想定している。
【0043】
画像読取装置20は、紙送り機構(ADF)が付属しており、紙送り機構によりセットされた複数枚の原稿は1枚ずつ連続的に画像読取装置20に送られる。そして、画像読取装置20は、送られた原稿に対して1枚ずつ読み取りを行い、原稿1枚ごとの画像データを生成し、画像データを画像処理装置30に送信する。
【0044】
画像処理装置30は、画像入力部31を介して入力された画像データを入力画像データとして一時的に記憶装置40に保存する(ステップS102)。
【0045】
[1)文字潰れ判定のための処理]
次に、画像処理部32が文字潰れという情報損失を評価するための画像を生成し、情報損失を判別するための情報量を算出する処理を行う(ステップS103~S110)。
【0046】
第1評価画像は、情報損失を評価する基準となる画像であり、ここでは入力画像データに対してグレースケール処理を行った画像である。第2評価画像は、第1評価画像に対する情報損失を評価する画像であり、入力画像データに対してポスタリゼーション処理、誤差拡散処理、単純2値化処理などを行った画像である。
【0047】
入力画像データは、このままでは解像度が大きすぎる、また、コントラストが適切でないなど、適正な階調数を設定する際に好適でない場合がある。そこで、まず初めに、画像処理部32は、入力画像データが適正な階調数の設定に適した画像データとなるように、入力画像データに対して次のような画像処理(前処理)による画像補正を行う(第1前処理)(ステップS103)。
【0048】
前処理として行う画像処理の例を、以下に列挙する。
【0049】
(1)解像度変換処理
入力画像データはこのままでは階調数の判定を行うには解像度が過大である場合がある。そこで、画像の解像度すなわち大きさの変換を行う。解像度の変換に用いる手法の例としては、画像補間方法として知られている、最近傍画素の値をそのまま用いるニアレストネイバー法や、周辺4画素との距離に応じた重みを用いて各画素値の値から計算するバイリニア法などの手法を用いることができる。解像度の変更に伴い、第1評価画像の画素数は、もとの入力画像データの画素数よりも小さくなり、後段の演算処理の処理負荷を軽減することができる。例えば、スキャン時の画像の解像度が300dpiであった場合、150dpiの画像データとなるよう解像度を変換することで、画像データの画素数を元の入力画像の画素数の1/4に削減できる。
【0050】
(2)コントラスト調整処理
解像度変換処理後の画像に対して、出力用画像の入力側での明るさやコントラストを調整するために、入力値に対応する出力値が1:1で格納されたルックアップテーブルなどを使い、画像データを所望する特性の出力値となるような調整を行う。この画像処理は、一般的にγ補正と呼ばれる手法を用いることができる。
【0051】
(3)平滑化/鮮鋭化処理
コントラスト調整処理後の画像に対して、ぼやけている印象の画像に対してシャープな画像へと変換させるための鮮鋭化フィルタ処理を行ったり、逆にエッジ部などが際立ちすぎて堅い印象の画像に対してはなめらかな画像へと変換するための平滑化フィルタと呼ばれるフィルタ処理を行ったりすることで、出力画像として好適なフィルタ処理を実施する。この画像処理は、空間フィルタ処理部にて、フィルタカーネルと呼ばれる係数を、画像の注目画素とその周辺画素との、畳み込み演算することで実現されている。
【0052】
例えば、畳み込み演算を行う空間フィルタ処理として、移動平均フィルタや加重平均フィルタなどが一般的には知られている。同フィルタを適用することによって入力された画像の注目画素は、注目画素周辺の周辺画素との平均値化された画素値をとることとなることから画素値の変動が緩やかになり平滑化処理がなされることになる。
なお、平滑化/鮮鋭化処理のいずれを実施するか、いずれも実施しないか、あるいは両方の処理を組み合わせるかは、設計者が適宜選択すべき事項である。
【0053】
入力画像データに対して、第1前処理として(1)から(3)までのような画像処理(前処理)を行って新たに生成した画像データを第1評価画像データとし(ステップS104)、記憶装置40に記録する(ステップS105)。なお、(1)から(3)までの画像処理は、この中の一部を省略することが可能であるし、これ以外にその他の公知の画像処理を追加することも可能である。また、(1)から(3)の全てを省略して、入力画像データがグレースケール画像であれば、それを第1評価画像データとしてもよい。
【0054】
次に、画像処理部32は、入力画像データに対して第2前処理を行い(ステップS106)、第1評価画像データよりも階調数の小さくなる画像処理(例えば、ポスタリゼーション処理、誤差拡散処理、単純2値化処理)などを行って画像を生成し、第2評価画像とし(ステップS107)、記憶装置40に記録する(ステップS108)。
【0055】
次に、情報量算出部34は、第1評価画像と第2評価画像を基に差分画像データを生成する(ステップS109)。差分画像データは、第1評価画像と第2評価画像との間に発生する情報損失の程度に対応する画素毎に数値化した特徴量画像データである。
【0056】
差分画像データを生成するための前準備として、第1評価画像と第2評価画像との階調値の範囲を合わせるための正規化処理(準備処理)を行う。たとえば、第1評価画像が、階調値の最小値が0であり、階調値の最大値が255である、8ビットのグレースケール画像であって、第2評価画像が、階調値の最小値が0であり、階調値の最大値が1である単純2値化画像である場合、このままでは階調値の範囲が合わないため、第2評価画像の最大値が第1評価画像と同じく255となるように、第2評価画像に対して所定の倍率(255)を乗算する。これにより、第1評価画像と第2評価画像の各画素の階調値同士を同じ階調値の範囲で計算することができる。
【0057】
準備処理の後、情報量算出部34は、第1評価画像の各画素に対して、各画素に対応する第2評価画像の各画素との間で、各画素の階調値の差分値を算出する。そして算出した差分値を各画素の階調値とした新たな画像データを生成する。そして、この新たに生成された画像データを差分画像データとして記憶装置40に記録する。なお、差分画像データにおける画素数は、第1評価画像および第2評価画像の画素数と同一である。
【0058】
ここで差分値は、複数の画素値を有する画像から2値の画像を生成した場合の階調値の変化の度合い、すなわち、第2評価画像を生成した場合の、情報損失の大きさを表す特徴量とすることができる。例えば、元の画像と2値化後の画像の同じ画素位置の画素値の差の絶対値を画像全体に対して計算する。ここで、それぞれの画素位置における差の絶対値が、それぞれ計算されることになる。
【0059】
なお、差分値そのものは、正負の値を取りうるが、情報損失の程度の大きさのみを考慮すれば良い場合、絶対値演算や、2乗などにより、0以上の数値に変換した値としても良い。
【0060】
第1評価画像と第2評価画像との比較において、画像中の画像のエッジ(輪郭)の変化に着目をしたい場合には、それぞれの画像に対してエッジを抽出するためのエッジ検出オペレーターを適用することでエッジ画像として生成できる。
【0061】
エッジ検出オペレーターとしては、例えば、下記の式(1)に示したPrewitt、あるいはSobelと呼ばれる水平方向(x)と垂直方向(y)のオペレーターなどが良く知られている。
【0062】
【0063】
輪郭抽出処理を行うことのメリットは、後述する変化量の判定の際に、画像のエッジ部分の変化を敏感に検知できることである。例えば、処理する画像データが濃度の高い文字画像を含む画像のデータであった場合、画像全体に対する変化の割合が微小であっても、2値化により、文字の像の輪郭形状が変化した場合、文字潰れが生じて文字が判読できなくなってしまう。輪郭抽出処理はこのような現象を敏感に検知するために特に有効であるため、前述した第1評価画像ならびに正規化後の第2の評価画像のそれぞれに対して、前処理と輪郭抽出処理とを行った画像を第1’評価画像、第2’評価画像を生成する。そして、第1’評価画像と第2’評価画像とから差分画像を生成することで、特に文字などのエッジ部の変化に敏感な差分画像データを生成することができる。
【0064】
次に情報量算出部34は情報損失判定のための情報量(統計量)を算出する(ステップS110)。
【0065】
一般に、情報損失が大きい場合、全体として差分画像データの階調値である差分値または差分値の絶対値が大きくなる傾向があるため、統計量として階調値の総合的な大きさを反映した統計値を用いることができる。具体的には、差分画像データ全体の各画素の階調値の総和(合計値)、平均値、中央値などを用いることができる。
【0066】
また、情報損失が大きい場合、全体として階調値である差分値または差分値のばらつきとして表された評価値が大きくなる傾向がある。この理由は、情報損失が小さい場合は、各画素の階調値である差分値または差分値の絶対値がほぼ全ての画素で0に近い値となり、ばらつきが小さくなるのに対して、情報損失が大きい場合は、0以外の値をもつ画素が多く含まれようになるため、ばらつきが大きくなるためである。このため、統計量として階調値のばらつきの大きさを反映した統計値を用いることができる。具体的には、差分画像データ全体の各画素の階調値の分散値、標準偏差値、エントロピー値などを用いることができる。
【0067】
このようにして、情報量算出部34は、差分画像データ全体の各画素の階調値の積算値(合計値)、平均値、中央値や、各画素の階調値の分散値、標準偏差値、エントロピー値などに基づいて、差分画像データ全体の画素の階調値に対する統計量を算出する。どのようにして統計値を算出するかは、設計者が適宜選択してもよいし、ユーザによって選択されてもよい。
【0068】
ここでは、例えば、単純二値化画像の文字潰れ判定には情報量としてエントロピー値を用いる。情報量算出部34は、差分画像データをブロック化し、ブロック単位ごとにヒストグラム分布からエントロピーを求める。エントロピーは度数分布の傾向を評価するための指標であり、次の式で求めることができる。
【0069】
【0070】
Lはヒスとグラムbinの数、h(i)は各binの度数、Nは度数h(i)の総数、P(i)はh(i)をNで正規化した値である。
【0071】
また、ポスタリゼーション処理を行った画像に対しては、差分画像データをブロック化し、ブロック毎に差分値を算出する。
【0072】
[2)写真領域サイズ判定を行うための処理]
文字潰れの情報損失を判別するための画像生成と情報量算出処理と同時に、写真領域サイズを算出するための処理を行う(ステップS111~S114)。すなわち、原稿における写真領域の比率を算出する。
【0073】
まず、画像領域分別部33は、入力画像データに基づき画像中の領域を複数の領域に分別する画像領域分別処理を行う(ステップS111)。なお、画像領域分別処理の事前準備として、第1実施形態で説明したような前処理を行っても良い。画像領域分別処理の方法は、例えば、特許第4527127号(以下、「引用文献」と記載する)に開示されている技術を用いることができる。引用文献に開示されている技術によると、原稿画像における各領域を検知して情報量(エントロピー)を求めることで写真領域を抽出する方法が開示されている。すなわち、文字領域は、画素のエッジ強度が大きいため、それを利用して文字領域を抽出し、文字領域の画素をマスク画素としてマスクを生成する。マスクされた画像を生成し、それに基づいてヒストグラムを生成し、マスクされたヒストグラムのエントロピーをブロック単位で計算し、エントロピー値が所定の値以上あるものは写真画素(エリア)と判定する。詳細については引用文献に記載されているため説明を省略する。なお、前述の前処理を施してからエントロピー計算を行っても構わない。
【0074】
画像領域分別部33は、画像中の領域を写真領域とそれ以外の領域(特に文字領域)のいずれかに分別したマスク画像データを生成する(ステップS112)。マスク画像データの具体例としては、第1評価画像および第2評価画像と同じ画素数の画像データであり、生成したマスク画像データは、記憶装置40に記録する(ステップS113)。
【0075】
本実施形態では、出力階調数候補が8ビット(階調数256)のグレースケール画像と1ビット(階調数2)の単純2値化画像の2種類である場合を説明する。なお、以下の説明では、出力階調数候補のうち、大きい階調数をA(本実施形態では256)、小さい階調数をB(本実施形態では2)とする。
【0076】
本実施形態では、出力階調数候補のうち、小さい階調数であるBの値、すなわち2に基づき、第2評価画像を階調数が2である単純2値化画像として生成する。具体的には、第1評価画像データの各画素に対して、第1評価画像データの階調値が、設定された閾値以上であるか、設定された閾値未満であるかの判定を行う。そして、第1評価画像データの階調値が設定された閾値以上の場合、その画素の階調値を、白を示す階調値である「1」とし、設定された閾値未満の場合、その画素の階調値を、黒を示す階調値である「0」とする。これにより、画素数が第1評価画像と同一であって、すべての画素の階調値が「0」または「1」のいずれかである、すなわち階調数が2である画像データが生成される。
【0077】
上述のように、第2評価画像の画素数は第1評価画像と同一であって、第2評価画像の画素は、第1評価画像の画素と同様に、評価を行うための対象の画素である。
【0078】
なお、出力階調数候補の組み合わせは、本実施形態のようにグレースケール処理と単純2値化処理の2種類だけでなく、例えば、出力画像データの画像処理候補が3種類以上でもよく、ポスタリゼーション処理や誤差拡散処理などにも適用できる。
【0079】
つづいて、情報損失判定部35は、ステップS110やステップS114で算出した情報量に基づき、情報損失があるかを判定し、画像処理決定部36が、この情報損失判定に基づいて出力画像データの画像処理方式を決定する(ステップS115)する。
ステップS115の処理については後述する。
【0080】
画像処理部32は、記憶装置40に記録された入力画像データに対して、画像処理決定部36で決定された画像処理を行い、設定された出力階調数で表わされる画像データを出力画像データとして生成する(ステップS116)。そして、画像処理装置30は、入力された全ての画像データに対して、画像処理部32が出力画像データを生成していないと判定した場合には(ステップS117;No)、未処理の入力画像データについて、ステップS102からの処理を行う。画像処理部32が出力画像データを生成したと判定した場合には(ステップS117;Yes)、画像出力部37が、出力画像データを画像出力装置50あるいは画像データ送信装置60に出力し、画像出力装置50は用紙に印刷し、あるいは画像データ送信装置60は外部に送信する(ステップS118)。
【0081】
[情報損失判定による画像処理決定の処理]
第1実施形態では、ユーザが画像形成装置1に対して、予め「文字重視」の設定を行っているものとする。
【0082】
ユーザが、操作パネル10の操作部12により操作を行って、画像形成装置1の操作パネル10の表示部11に、
図5に示す設定操作画面を表示する。処理モードスイッチ51には「写真重視」の文字が表示されている。「文字重視」が表示されていたならば、そのままでよい。
【0083】
ユーザは、文字重視を選択したい場合、処理モードスイッチ51にタッチをすると(
図5(a))、処理モード選択エリア52が表示される(
図5(b))。処理モード選択エリア52には、「写真重視モード」スイッチ53、「文字重視モード」スイッチ54、「キャンセル」スイッチ55が表示される。ユーザが、処理モード選択エリア52の「文字重視モード」選択スイッチ54にタッチすると、処理モードスイッチ51には「文字重視」の表示がされ、「文字重視」の設定がなされる。
こうして、ユーザにより「文字重視」が選択されて、画像処理装置30は、文字重視の処理を行う。
【0084】
ステップS115の情報損失判定による画像処理決定の処理について
図6を参照して説明する。
【0085】
「文字重視」の設定がされているので、画像処理装置30は、最もファイルサイズの小さい単純二値化画像を第2評価画像として生成し、情報量を算出する(ステップS103~S110)。
【0086】
画像処理装置30における情報損失判定部35の文字潰れ判定部351が、単純2値化画像の文字潰れを判定する(ステップS201)。設定が「文字重視」であるので、最もファイルサイズの小さい単純2値化画像について文字潰れの判定を行う。情報量であるエントロピー値が3~5以上なら文字潰れを起こす可能性がある。そこで、文字潰れを起こす可能性のあるエントロピー値を設定して、文字潰れ判定部351が設定値以上のエントロピー値を有するブロック数をカウントして、閾値以上であれば文字潰れありと判定する。
【0087】
このとき閾値は、表内文字か、表外文字かによって異なる。表内文字の場合は、罫線の影響を考慮するためである。
【0088】
単純2値化画像に文字潰れがなければ(ステップS201;No)、画像処理決定部36は、出力画像データの画像処理方式を単純2値化処理に決定する(ステップS206)。単純2値化画像に文字潰れがあれば(ステップS201;Yes)、写真領域サイズ判定(ステップS202)に進む。
【0089】
写真領域サイズ判定部352は、原稿全体に対する写真領域サイズの比率が所定値以上であれば(ステップS202;Yes)、写真領域が多いと判断する。ここで、所定値は、例えば50%とする。
【0090】
画像処理決定部36は、写真領域が多いという判定結果を受けて、写真品質が高いグレースケール処理を出力画像の処理として決定する(ステップS204)。
【0091】
写真領域サイズの比率が所定値以下であれば(ステップS202;No)、写真領域サイズ判定部352は、写真領域が少ないと判断する。
【0092】
画像処理装置30は、ファイルサイズがグレースケール処理より小さく、単純二値化画像より大きいポスタリゼーション処理画像を第2評価画像として生成し、情報量を算出する(ステップS103~S110)。なお、ポスタリゼーション処理ではなく、誤差拡散処理でも構わない。
【0093】
ここでは画像処理装置30は、必要に応じて単純二値化処理、ポスタリゼーション処理の画像を生成し、情報量を算出しているが、予め一度に各処理の画像を生成して情報量を算出しておいても構わない。
【0094】
ポスタリゼーション処理画像の情報量に基づいて、文字潰れ判定部351がポスタリゼーション処理画像の文字潰れを判定する(ステップS203)。
【0095】
ポスタリゼーション処理画像に文字潰れがある場合(ステップS203;Yes)、画像処理決定部36は、出力画像データの処理を画像品質の最も高いグレースケール処理に決定する(ステップS204)。
【0096】
ポスタリゼーション処理画像に文字潰れがない場合(ステップS203;No)、画像処理決定部36は、出力画像データの処理をグレースケール処理よりファイルサイズの小さいポスタリゼーション処理に決定する(ステップS205)。
【0097】
なお、グレースケール処理と単純2値化処理の間のファイルサイズを有するポスタリゼーション処理を画像処理としているが、グレースケール処理と単純2値化処理の間のファイルサイズであり、グレースケール処理と単純2値化処理の間の画像品質となる処理方式ではあればよく、例えば誤差拡散処理でも構わない。
【0098】
こうして、文字重視の設定とした場合、情報損失を示す情報量に基づいて、グレースケール処理と単純2値化処理の間のファイルサイズと、画像品質のポスタリゼーション処理の画像処理に決定するので、情報損失を抑えながら、ファイルサイズを小さくできる。
【0099】
<第2実施形態>
第2実施形態は、ユーザが、設定画面において、示す処理モード51を「写真重視」(
図5(a)参照)にした場合の画像処理を示すものである。
【0100】
図7は、第2実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。設定が写真重視なので、画質が一番劣る単純二値化処理画像ではなく、単純二値化処理画像よりは高い画像品質を有し、グレースケール処理画像よりはファイルサイズが小さいポスタリゼーション処理画像に対して処理を行う。
【0101】
情報損失判定部35の写真領域サイズ判定部352が、写真領域の比率が所定値以上と判定した場合(ステップS211;Yes)、画像処理決定部36は、出力画像データの画像処理をグレースケール処理に決定する(ステップS212)。
【0102】
情報損失判定部35の写真領域サイズ判定部352は、原稿画像全体に対する写真領域サイズの比率が所定値より小さいと判定した場合(ステップS211;No)、画像処理決定部36は、出力画像データの画像処理をポスタリゼーション処理に決定する(ステップS213)。
【0103】
なお、グレースケール処理と単純2値化処理の間のファイルサイズを有するポスタリゼーション処理を画像処理としているが、グレースケール処理と単純2値化処理の間のファイルサイズであり、グレースケール処理と単純2値化処理の間の画像品質となる処理方式ではあればよく、例えば誤差拡散処理でも構わない。
【0104】
こうして、写真重視の場合は、写真領域比率の低い画像に対してポスタリゼーション処理(あるいは誤差拡散処理)を適用することによって、画像品質を落としすぎないようにして、ファイルサイズを低減できる。
【0105】
<第3実施形態>
第3実施形態は、ユーザが、設定画面において、
図5(b)に示すように、処理モード51を「文字重視」と選択した場合の画像処理を示すものである。
【0106】
図8は、第3実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。これは、
図6のフローチャートにおいて、ポスタリゼーション処理画像の文字潰れを判定する処理(ステップS203)を省いたものである。ポスタリゼーション処理画像(あるいは誤差拡散処理画像)は単純2値化画像よりは画質が向上するので、グレースケール画像に判定する処理を簡略化する事で、
図6のフローチャートよりもファイルサイズが増加しにくい画像処理決定を行うことができる。
【0107】
処理の効果については、第1実施形態と同じである。
【0108】
<第4実施形態>
図9は、第4実施形態に係る画像処理装置の情報損失判定による画像処理決定処理を示すフローチャートである。第4実施形態は、ユーザが、設定画面において、
図5(b)に示すように、処理モード51を「文字重視」と選択した場合の画像処理を示すものであるが、ある程度の写真画質も必要という場合の処理であり、単純2値化処理は除外するものである。例えば、図示はしないが、設定画面で単純2値化処理は除外する設定にすることなどが考えられる。
【0109】
画像処理装置30における情報損失判定部35の文字潰れ判定部351は、ポスタリゼーション処理画像に対する情報量に基づいて文字潰れがあるかを判定する。ポスタリゼーション処理画像に文字潰れがない場合(ステップS231;No)、画像処理決定部36は、出力画像データの画像処理をポスタリゼーション処理に決定する(ステップS233)。ポスタリゼーション処理画像に文字潰れがある場合(ステップS231;Yes)、出力画像データの処理をグレースケール処理に決定する(ステップS232)。
【0110】
なお、グレースケール処理と単純2値化処理の間のファイルサイズを有するポスタリゼーション処理を画像処理としているが、グレースケール処理と単純2値化処理の間のファイルサイズであり、グレースケール処理と単純2値化処理の間の画像品質となる処理方式ではあればよく、例えば誤差拡散処理でも構わない。
【0111】
こうして、文字重視ではありながら、画質が最も劣る単純2値化処理を避けているので、写真領域を含む画質の劣化を抑えながらファイルサイズを低減する処理ができる。
【0112】
<変形例>
上記では、カラー複合機について説明したが、モノクロの複合機であっても構わない。
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した画像処理装置において、背景を含んで撮影された対象を含む画像を入力して対象領域だけの画像データを抽出する処理方法を記録するものとすることもできる。
【0113】
この結果、上記処理を行うプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばROMのようなものそのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。
【0114】
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD等の光ディスクのディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。
【0115】
また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0116】
上記記録媒体は、画像処理装置に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。
【符号の説明】
【0117】
1 画像形成装置
10 操作パネル
11 表示部
12 操作部
20 画像読取装置
30 画像処理装置
31 画像入力部
32 画像処理部
33 画像領域分別部
34 情報量算出部
35 情報損失判定部
36 画像処理決定部
37 画像出力部
40 記憶装置
50 画像出力装置
70 制御装置
351 文字潰れ判定部
352 写真領域サイズ判定部