特許 5975213 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5975213

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月23日

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20160809BHJP

   H04N 1/46 20060101ALI20160809BHJP

   H04N 1/60 20060101ALI20160809BHJP

【ＦＩ】

   G06T5/00 710

   H04N1/46 Z

   H04N1/40 D

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2012-220105(P2012-220105)

(22)【出願日】2012年10月2日

(65)【公開番号】特開2014-71853(P2014-71853A)

(43)【公開日】2014年4月21日

【審査請求日】2015年3月6日

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士ゼロックス株式会社

(74)【代理人】

【識別番号】100101948

【弁理士】

【氏名又は名称】柳澤 正夫

(72)【発明者】

【氏名】佐々木 信

(72)【発明者】

【氏名】坂本 正臣

(72)【発明者】

【氏名】奥津 優

(72)【発明者】

【氏名】浜 大悟

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開平０９−０９７３３３（ＪＰ，Ａ）

【文献】 特開２０１０−２１９７９７（ＪＰ，Ａ）

【文献】 特開２００７−０９４７４２（ＪＰ，Ａ）

【文献】 特開２０００−０１３６４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００ − ５／５０

Ｈ０４Ｎ １／４６

Ｈ０４Ｎ １／６０

(57)【特許請求の範囲】

【請求項1】

カラー画像に対して色特性の調整を行う調整手段と、前記調整手段で色特性が調整されたカラー画像を輝度色度画像に変換する変換手段と、前記輝度色度画像のうちの輝度画像から予め設定された帯域を表す帯域画像を生成する帯域画像生成手段と、前記輝度画像と前記帯域画像を用いて帯域を強調した帯域強調画像を得る強調手段と、前記調整手段で色特性が調整されたカラー画像と前記強調手段で得られた前記帯域強調画像とから得られる特性強調画像の画素値が色域内になるように前記強調手段で行う前記帯域の強調の度合いと前記調整手段で行う色特性の調整の度合いを設定する設定手段を有することを特徴とする画像処理装置。

【請求項2】

カラー画像から輝度画像を生成する輝度画像生成手段と、前記輝度画像から予め設定された帯域を表す帯域画像を生成する帯域画像生成手段と、前記輝度画像と前記帯域画像を用いて帯域を強調した帯域強調画像を得る強調手段と、前記カラー画像に対して色特性の調整を行う調整手段と、前記調整手段で色特性が調整されたカラー画像を輝度色度画像に変換する変換手段と、前記調整手段で色特性が調整されたカラー画像と前記強調手段で得られた前記帯域強調画像とから得られる特性強調画像の画素値が色域内になるように前記強調手段で行う前記帯域の強調の度合いと前記調整手段で行う色特性の調整の度合いを設定する設定手段を有することを特徴とする画像処理装置。

【請求項3】

前記設定手段は、前記カラー画像のシーンに応じて前記強調手段で行う帯域の強調の度合いと前記調整手段で行う色特性の調整の度合いを設定することを特徴とする請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記設定手段は、前記調整手段で色特性が調整された画像を用いて前記強調手段で行う帯域の強調の度合いと前記調整手段で行う色特性の調整の度合いを設定することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。

【請求項5】

前記設定手段は、さらに、前記帯域画像生成手段が前記帯域画像を生成する際の帯域を設定することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。

【請求項6】

コンピュータに、請求項１から請求項５のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理プログラムに関するものである。

【背景技術】

【0002】

デジタル画像の補正は一般に、輝度、色度、周波数などの情報を用いて行われる。輝度は画像全体を元の明るさよりも明るくまたは暗くしたり、明暗差（コントラスト）をつけることで絵柄を強調している。また、色度に関しては、色相をシフトさせた色かぶりの補正（カラーバランス補正）や、彩度を強調して色鮮やかな再現を行っている。

【0003】

輝度と彩度の両方を調整する場合もある。図１０は、従来の補正処理の一例の説明図である。図中、２１は色変換部、２２は輝度調整部、２３は彩度調整部、２４は色変換部である。例えばデジタルカメラなどの撮像装置で撮影された補正対象のカラー画像は、ここではｓＲＧＢ等のＲＧＢ信号（原色信号）で表されるものとする。このＲＧＢ信号は、まず色変換部２１において、輝度信号Ｙと色度信号ＣｂＣｒに変換される。次に、輝度信号は輝度調整部２２で調整されて輝度信号Ｙ’となる。輝度の調整はトーンカーブによる補正や、輝度画像で輝度周波数（帯域）情報を補正して、被写体等の輪郭を強調して絵柄が表す細部を再現している。また、色度信号ＣｂＣｒは彩度調整部２３で彩度が調整されて色度信号Ｃｂ’Ｃｒ’となる。輝度調整部２２で調整された輝度信号Ｙ’と彩度調整部２３で調整された色度信号Ｃｂ’Ｃｒ’とは、色変換部２４でＲＧＢ信号Ｒ’Ｇ’Ｂ’に戻される。このような処理を、与えられたカラー画像の各画素に対して行い、調整後のカラー画像を得る。

【0004】

図１０に示す構成をとる例として、特許文献１が挙げられる。この特許文献１では輝度の調整として帯域補正によるエッジ強調処理を行っている。周波数帯域の補正による強調は、フィルタによって輝度に明暗差をつけることと等価であり、この場合の輝度調整は、周波数強調を表す。特許文献２も図１０に示す構成であるが、輝度の強調は周波数強調ではなく、階調補正を行っている。

【0005】

また、彩度調整に関しては、例えば特許文献３、特許文献４、特許文献５に記載されている方法がある。一般に彩度調整とは、従来は、特許文献３に記載されているように彩度を強調することを表す。特許文献４は、彩度ヒストグラムによりイコライゼーションを行うことで彩度の偏りを調整するものであるが、彩度の強弱をつける処理ではない。特許文献５に記載の方法では、彩度の強弱をつける処理を行っている。

【0006】

これらの従来の技術では、帯域の強調処理と彩度の強調処理のいずれかを行ったり、両者を行う場合でもそれぞれを独立して行っている。画質や、画像中のシーンや被写体の質感への要求に対して、帯域の強調と彩度の強調をバランスさせた処理が望まれている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００７−０６６１３８号公報

【特許文献2】特開２００８−２１９１９８号公報

【特許文献3】特開平１０−０２３２７９号公報

【特許文献4】特開２００８−０７２２５２号公報

【特許文献5】特開２０１０−２７８５１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、帯域の強調処理と色特性の調整処理をバランスよく行うことができる画像処理装置および画像処理プログラムを提供することを目的とするものである。

【課題を解決するための手段】

【0009】

本願請求項１に記載の発明は、カラー画像に対して色特性の調整を行う調整手段と、前記調整手段で色特性が調整されたカラー画像を輝度色度画像に変換する変換手段と、前記輝度色度画像のうちの輝度画像から予め設定された帯域を表す帯域画像を生成する帯域画像生成手段と、前記輝度画像と前記帯域画像を用いて帯域を強調した帯域強調画像を得る強調手段と、前記調整手段で色特性が調整されたカラー画像と前記強調手段で得られた前記帯域強調画像とから得られる特性強調画像の画素値が色域内になるように前記強調手段で行う前記帯域の強調の度合いと前記調整手段で行う色特性の調整の度合いを設定する設定手段を有することを特徴とする画像処理装置である。

【0010】

本願請求項２に記載の発明は、カラー画像から輝度画像を生成する輝度画像生成手段と、前記輝度画像から予め設定された帯域を表す帯域画像を生成する帯域画像生成手段と、前記輝度画像と前記帯域画像を用いて帯域を強調した帯域強調画像を得る強調手段と、前記カラー画像に対して色特性の調整を行う調整手段と、前記調整手段で色特性が調整されたカラー画像を輝度色度画像に変換する変換手段と、前記調整手段で色特性が調整されたカラー画像と前記強調手段で得られた前記帯域強調画像とから得られる特性強調画像の画素値が色域内になるように前記強調手段で行う前記帯域の強調の度合いと前記調整手段で行う色特性の調整の度合いを設定する設定手段を有することを特徴とする画像処理装置である。

【0011】

本願請求項３に記載の発明は、本願請求項１または請求項２に記載の発明における前記設定手段が、前記カラー画像のシーンに応じて前記強調手段で行う帯域の強調の度合いと前記調整手段で行う色特性の調整の度合いを設定することを特徴とする画像処理装置である。

【0012】

本願請求項４に記載の発明は、本願請求項１から請求項３のいずれか１項に記載の発明における前記設定手段が、前記調整手段で色特性が調整された画像を用いて前記強調手段で行う帯域の強調の度合いと前記調整手段で行う色特性の調整の度合いを設定することを特徴とする画像処理装置である。

【0013】

本願請求項５に記載の発明は、本願請求項１から請求項４のいずれか１項に記載の発明における前記設定手段が、さらに、前記帯域画像生成手段が前記帯域画像を生成する際の帯域を設定することを特徴とする画像処理装置である。

【0014】

本願請求項６に記載の発明は、コンピュータに、請求項１から請求項５のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。

【発明の効果】

【0016】

本願請求項１及び請求項２に記載の発明によれば、帯域の強調と色特性の調整をバランスよく、また結果が破綻することなく行うことができるという効果がある。

【0017】

本願請求項３に記載の発明によれば、カラー画像のシーンに応じたバランスで帯域の強調と色特性の調整を行うことができる。

【0018】

本願請求項４に記載の発明によれば、色特性の調整結果に応じて帯域の強調処理及び色特性の調整処理を行うことができる。

【0019】

本願請求項５に記載の発明によれば、強調すべき帯域を、帯域の強調の度合いと色特性の調整の度合いとともに設定することができる。

【0020】

本願請求項６に記載の発明によれば、本願請求項１から請求項５のいずれか１項に記載の発明の効果を得ることができる。

【図面の簡単な説明】

【0022】

【図1】本発明の実施の一形態を示す構成図である。

【図2】色度強弱係数の一例の説明図である。

【図3】ＤＯＧ関数の一例の説明図である。

【図4】帯域画像としてぼかし画像を用いた場合の周波数と強調度合いの一例の説明図である。

【図5】帯域画像としてＤＯＧフィルタを用いて得た画像を用いた場合の周波数と強調度合いの一例の説明図である。

【図6】本発明の実施の一形態における動作の一例を示す流れ図である。

【図7】本発明の実施の一形態の変形例を示す構成図である。

【図8】本発明の実施の一形態の変形例における動作の一例を示す流れ図である。

【図9】本発明の実施の一形態及びその変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。

【図10】従来の補正処理の一例の説明図である。

【発明を実施するための形態】

【0023】

図１は、本発明の実施の一形態を示す構成図である。図中、１１は色特性調整部、１２は色変換部、１３は帯域画像生成部、１４は帯域強調部、１５は色逆変換部、１６は係数設定部である。この例では、与えられた原画像及び処理後の特性強調画像の色空間をＲＧＢ色空間とした。しかしこれに限らず、他の色空間の画像でもよいし、原画像と特性強調画像とで色空間が異なっていてもよい。また、処理の途中で使用する輝度色度色空間をＹＣｂＣｒ色空間としているが、例えば輝度がＬ^* 、色度がａ^* ｂ^* であるＬＡＢ色空間や、ＨＳＶ色空間など、輝度を１つの軸として表される色空間であれば、どのような色空間であってもよい。

【0024】

色特性調整部１１は、係数設定部１６が設定した色度強弱係数に従い、与えられたカラーの原画像に対して色特性の調整を行う。色特性の調整は、原画像の色空間の信号、この例ではＲＧＢ信号を用いて行う。図１０に示した従来の色特性の調整はＣｂＣｒ信号などの色度で行っているが、ＲＧＢ信号のような原色信号を用いて調整を行えば、撮像素子の分光感度等に対して自然な強弱をつける処理が行われる。

【0025】

色特性として色度の強弱を調整する一つの方法としては、原画像の画素をＲｏＧｏＢｏとし、ｍａｘ（ＲｏＧｏＢｏ）をＲｏ、Ｇｏ、Ｂｏのうち最も大きい値、ｍｉｎ（ＲｏＧｏＢｏ）をＲｏ、Ｇｏ、Ｂｏのうち最も小さい値として、ｍａｘ（ＲｏＧｏＢｏ）とｍｉｎ（ＲｏＧｏＢｏ）の差に対して強弱をつけような処理を行えばよい。例えば、
Ｒｓ＝αｄ（Ｒｏ−ｍｉｎ（ＲｏＧｏＢｏ））＋ｍｉｎ（ＲｏＧｏＢｏ）
Ｇｓ＝αｄ（Ｇｏ−ｍｉｎ（ＲｏＧｏＢｏ））＋ｍｉｎ（ＲｏＧｏＢｏ）
Ｂｓ＝αｄ（Ｂｏ−ｍｉｎ（ＲｏＧｏＢｏ））＋ｍｉｎ（ＲｏＧｏＢｏ）
（数式１）
により彩度の強弱をつければよい。ここで、ＲｓＧｓＢｓは彩度の強弱をつけた後の画素値のＲＧＢ信号であり、以後、色特性調整画素値と呼ぶことにする。また、色特性の調整の度合いを表す係数が色度強弱係数であり、係数設定部１６により設定される。数式１においては、αｄが彩度の強弱の度合いを表すことから色度強弱係数となる。αｄ＝１であれば強弱はつかない。

【0026】

図２は、色度強弱係数の一例の説明図である。色度強弱係数αｄは、一例として図２に示す折れ線近似関数で得られる値とするとよい。横軸のｄは、
ｄ＝ｍａｘ（ＲｏＧｏＢｏ）−ｍｉｎ（ＲｏＧｏＢｏ）
であり、最大原色成分と最小原色成分の差である。画素ごとに最大原色成分と最小原色成分の差ｄを算出し、ｄ≧ｄｔｈならばαｄ≧１、ｄ＜ｄｔｈならばαｄ＜１となるように、係数αｄを算出すればよい。ｄｔｈは予め設定した値を用いてもよいし、原画像の各画素からｄを求め、その平均を求めてｄｔｈとしてもよい。または、ｄのヒストグラムを参照して、分布の偏りから決めてもよい。

【0027】

図２に示した関数は一例であり、傾きや形状などはこの例に限らず、数式１により彩度の強弱をつけられるものであればどのようなものでもよい。原色成分の差を大きくする、または、小さくすることで、各画素で彩度の強弱をつけるものであれば方法は問わない。使用する方法において調整の度合いを表す係数が色度強弱係数である。

【0028】

色変換部１２は、色特性調整部１１で色特性が調整されたカラー画像である色特性調整画像を輝度色度画像に変換する色空間の変換処理を行う。この色空間の変換処理は、後述する帯域画像生成部１３が用いる輝度画像を生成する機能と、後述する帯域強調部１４から得られた帯域強調画像と色特性調整部１１で得られた色特性調整画像との色空間を合わせる機能を併せ持つ。色特性調整部１１で色度の強弱を調整して得られた色特性調整画像の画素値ＲｓＧｓＢｓでは、要素として輝度成分を有していないので、輝度成分を有する色空間、例えばここではＹＣｂＣｒ色空間に変換し、Ｙ成分により表現される画像を輝度画像とすればよい。また、この色空間の変換により、後述する帯域強調部１４の強調処理で得られた帯域強調画像の輝度信号Ｙｅと共通する色空間の色信号となる。なお、輝度成分を有する色空間としてＬＡＢ色空間やＨＳＶ色空間などの他の色空間への変換でもよく、ＬＡＢ色空間であればＬ^* 成分を、ＨＳＶ色空間であればＶ成分を用いて輝度画像を得ればよい。

【0029】

ＲＧＢ信号は、次の数式２によりＹＣｂＣｒ信号に変換される。

【数1】

係数ｍ１１，…ｍ３３は既知の値であり、線形変換により処理が行われる。色特性調整画像の各画素に対して数式２で変換を行い、輝度色度画像ＹｓＣｂｓＣｒｓを得る。この輝度色度画像ＹｓＣｂｓＣｒｓのうち、輝度成分であるＹ成分により表現される画像を輝度画像として、帯域画像生成部１３及び帯域強調部１４へ渡す。輝度色度画像ＹｓＣｂｓＣｒｓのうち、色度成分であるＣｂＣｒ成分については色逆変換部１５へ渡す。

【0030】

帯域画像生成部１３は、色変換部１２で変換された輝度色度画像ＹｓＣｂｓＣｒｓのうち、輝度成分であるＹ成分により表現される画像を輝度画像として受け取り、その輝度画像から予め設定された帯域を表す帯域画像を生成する。例えば、輝度画像よりも低周波の画像を生成したり、輝度画像の低周波成分と高周波成分を除いた中間周波数帯の画像を生成するなどがある。

【0031】

例えば、輝度画像よりも低周波の画像を生成する場合には、一例としてはフィルタリング処理、移動平均、ＦＦＴ（高速フーリエ変換）を用いる方法などが挙げられる。フィルタリング処理（コンボリューション、積和演算）で行う場合は、数式３として示したような２次元Ｇａｕｓｓフィルタを用いて行えばよい。

【数2】

画像が２次元なので、２次元Ｇａｕｓｓフィルタの広がりを（ｘ，ｙ）で表した。σは低周波の度合いを決める係数であり、大きいほど画像がぼける。画像のぼけが大きいほど、後述の帯域強調部１４では、低周波側の帯域が強調される（輪郭や大まかな形状の強調）。ぼけが小さいほど、高周波側の帯域が強調される（エッジやファブリック感の強調）。

【0032】

低周波画像を得る別の方法として、画像の縮小拡大がある。例えば、輝度画像を一度縮小させて情報量を落とし、縮小画像を元の輝度画像の大きさに拡大すればよい。この方法では、数式３のσに当たるぼかし度合いは、画像の縮小率となる。

【0033】

このように帯域画像としてぼかし画像を用いるほか、中間周波フィルタやＤＯＧ（Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ ｔｗｏ Ｇａｕｓｓｉａｎ）フィルタなどにより、ある帯域を抽出した画像（サブバンド画像）を生成し、帯域画像としてもよい。図３は、ＤＯＧ関数の一例の説明図である。ＤＯＧ関数は以下の数式４で表される。

【数3】

このＤＯＧ関数は、人間の脳内における視覚特性の数学的モデルとして知られており、係数であるσｅ、σｉ、Ａを変更すれば、周波数帯域やその周波数帯域に対する反応の強さなどが制御される。σｅが小さいほど高周波への反応が強くなり、σｉはσｅよりも大きな値を設定する。Ａは正のガウスと負のガウスの相対的な強さを制御し、Ａが０に近づくほど「ぼかし」のフィルタに近づく。ＤＯＧ関数の一例を図３に示している。数式４の関数をフィルタとして画像をフィルタリングすれば、設定されている係数に応じたサブバンド画像が帯域画像として得られる。

【0034】

もちろん、予め設定された帯域の画像を得る方法は、これらの方法に限られず、種々の方法を用いてよい。いずれにしても、予め設定される帯域を表す画像が生成されればよく、その方法は限定されない。生成された画像を帯域画像とする。

【0035】

帯域の設定は帯域選択係数により行われる。この帯域選択係数は、例えば２次元Ｇａｕｓｓフィルタの場合には数式３のσであり、縮小拡大の場合には縮小率であり、ＤＯＧ関数を用いる場合には数式４のσｅ、σｉ、Ａである。その他の方法においても、帯域画像における帯域を表す係数が待機選択係数となる。帯域選択係数は、固定されていてもよいし、係数設定部１６によって設定されるように構成されていてもよい。

【0036】

帯域強調部１４は、係数設定部１６で設定された帯域の強調の度合いを示す帯域強調係数に従い、輝度画像と帯域画像を用いて帯域を強調した帯域強調画像を得る。帯域画像生成部１３で予め設定されている帯域を表す帯域画像を生成しているので、当該帯域が強調されることになる。

【0037】

上述した帯域画像生成部１３でぼけ画像を帯域画像として生成している場合、ぼけを大きくするほど低周波の画像が得られており、この帯域強調部１４により低周波側の帯域が強調される。具体例としては、物体の輪郭や形状そのものなどを強調する場合に適している。また、帯域画像生成部１３におけるぼけが小さいほど高周波が残る画像が得られており、この帯域強調部１４により高周波側の帯域まで強調される。具体例としては、毛などのファブリック感を高めたい場合に適している。

【0038】

この場合の帯域強調部１４における強調処理の一例としては、輝度画像の画素値をＹｏ、帯域画像の画素値をＹｂとし、この輝度画像の画素値Ｙｏと帯域画像の画素値Ｙｂの差を強調して強調後の画素値Ｙｅを算出すればよい。例えば、
Ｙｅ＝αｙ（Ｙｏ−Ｙｂ）＋Ｙｏ （数式５）
により算出するとよい。強調後の画素値Ｙｅを帯域強調信号と呼ぶことにする。また、上述したが強調度合いを表す係数が帯域強調係数であり、数式５による強調処理では、αｙが帯域強調係数である。帯域強調係数は、画像に応じて設定すればよいが、帯域強調係数が大きいほど強調される度合いが大きくなる。

【0039】

図４は、帯域画像としてぼかし画像を用いた場合の周波数と強調度合いの一例の説明図である。帯域画像としてぼかし画像を用いた場合には、図４に示すように、帯域画像生成部１３で少しぼかして帯域強調部１４で強調することにより高周波帯域が強調され、帯域画像生成部１３で大きくぼかして帯域強調部１４で強調することにより、ぼかしが小さい場合に比べて低い周波数から強調され、その強調度合いが帯域強調係数αｙによって変化する。

【0040】

帯域画像生成部１３で数式４を用いたＤＯＧフィルタにより帯域画像を生成した場合は、数式５に代えて以下の数式６を用いて計算し、帯域の強調を行えばよい。
Ｙｅ＝αｙＹｂ＋Ｙｏ （数式６）
数式４のフィルタ特性がそもそも帯域の差分を意味する式になっているので、数式６により強調結果が得られる。数式６に準じた算出方法であればどのようなものでもよいことは言うまでもない。なお、この場合の帯域強調係数もαｙである。

【0041】

図５は、帯域画像としてＤＯＧフィルタを用いて得た画像を用いた場合の周波数と強調度合いの一例の説明図である。数式４によるフィルタリングでは、ある帯域がピンポイントで検出される。図５では、一例として、数式４で高周波のサブバンド画像を生成して数式６で強調した場合と、数式４で中周波のサブバンド画像を生成して数式６で強調した場合について、周波数と強調度合いの関係を示している。図４に示したぼかし画像を用いる場合と比べて、中周波のサブバンド画像を生成して強調すると、低周波と高周波の強調を抑えて中周波を強調した帯域強調信号が得られる。

【0042】

もちろん、ぼかし画像を用いた場合に数式５以外の方法により、ＤＯＧフィルタを用いた場合に数式６以外の方法により、強調処理を行ってもよい。さらに、他の方法により帯域画像が生成されている場合、対応する強調処理を行えばよい。また、帯域強調係数についても、それぞれの方法における強調度合いを表す係数を帯域強調係数とすればよい。

【0043】

色逆変換部１５は、帯域強調部１４で強調された帯域強調画像と、色変換部１２で変換された輝度色度画像のうちの色度成分の画像を組み合わせて、カラー画像の色空間の画像に逆変換する。言い換えると、色変換部１２で変換された輝度色度画像のうちの輝度成分を、輝度成分で構成される帯域強調画像の画素値に入れ替えることになる。色変換部１２で輝度色度色空間への変換を行い、帯域画像生成部１３及び帯域強調部１４では色空間を変更していないので、共通した色空間における成分の組み合わせとなり、このような輝度成分の値を変更してもかまわない。なお、特性強調画像として輝度色度画像を得ようとする場合には、帯域強調画像と輝度色度画像のうちの色度成分を組み合わせた後に、色空間の変換を行わずに出力してもよい。

【0044】

ＹＣｂＣｒ空間からＲＧＢ空間への逆変換は、数式２の変換行列の逆行列を用いて、以下のように行えばよい。

【数4】

この例では、帯域強調信号Ｙｅと、輝度色度信号ＹｓＣｂｓＣｒｓのうちの色度信号ＣｂｓＣｒｓを組み合わせたＹｅＣｂｓＣｒｓから、ＲＧＢ色空間の信号に変換すればよい。変換された信号をＲｅｓＧｅｓＢｅｓとする。それぞれの画素についてＲｅｓＧｅｓＢｅｓを求めれば、出力である特性強調画像が得られる。

【0045】

数式７の逆行列の係数は既知であり、計算結果を

【数5】

とおくと、ｍ₁₁，…，ｍ₃₃が既知でありｎ₁₁，…，ｎ₃₃も計算により求まるので、ＹｅＣｂｓＣｒｓとＲｅｓＧｅｓＢｅｓの関係は以下のようになる。
Ｒｅｓ＝ｎ₁₁Ｙｅ＋ｎ₁₂Ｃｂｓ＋ｎ₁₃Ｃｒｓ
Ｇｅｓ＝ｎ₂₁Ｙｅ＋ｎ₂₂Ｃｂｓ＋ｎ₂₃Ｃｒｓ
Ｂｅｓ＝ｎ₃₁Ｙｅ＋ｎ₃₂Ｃｂｓ＋ｎ₃₃Ｃｒｓ
（数式８）
この数式８で得られたＲｅｓＧｅｓＢｅｓを画素信号とする画像が、帯域の強調と色特性の調整が行われた特性強調画像である。この特性強調画像が処理結果として出力される。

【0046】

係数設定部１６は、色特性調整部１１で行う色特性の調整の度合いを示す色度強弱係数と、帯域強調部１４で行う帯域の強調の度合いを示す帯域強調係数を設定する。あるいはさらに、帯域画像生成部１３が帯域画像を生成する際の帯域を示す帯域選択係数を設定してもよい。これらの設定は、例えばカラーの原画像のシーンに応じて設定するとよい。各係数の設定は、予め行っておくほか、再現意図が異なるいくつかの各係数の組を選択肢として用意しておき、外部からの指示により選択してもよい。あるいは、与えられたカラー画像の解析により各係数を設定、あるいは選択的に設定してもよい。自然画像を既存の画像解析手法で解析した場合、類似した絵柄でも異なる解析結果が算出されることもあり、絵柄の類似性にとらわれずに各係数を設定して、画像に応じた処理が行われる。

【0047】

また、上述した帯域の強調と色特性の調整を合成した際に色域外となる不具合が生じる場合に対応して、出力される特性強調画像の画素値が色域内になるように、色特性調整部１１で行う色特性の調整の度合いを示す色度強弱係数と、帯域強調部１４で行う帯域の強調の度合いを示す帯域強調係数を設定するとよい。この場合、例えば色特性調整部１１で色特性の調整を行った色特性調整画素値と、帯域強調部１４で帯域の強調を行った帯域強調信号を用いて、各係数の設定を行うとよい。

【0048】

特性強調画像の画素値が色域内になるように各係数を設定する場合について、さらに説明する。色特性調整部１１で色特性の調整が行われた色特性調整画素値ＲｓＧｓＢｓと、その色特性調整画素値ＲｓＧｓＢｓを色変換部１２で色変換した輝度色度信号ＹｓＣｂｓＣｒｓとは、双方向で対応関係がある。しかし、帯域強調信号Ｙｅと輝度色度信号の色度信号ＣｂｓＣｒｓを組み合わせたＹｅＣｂｓＣｒｓ信号は、輝度色度信号ＹｓＣｂｓＣｒｓとは輝度が異なるため、色逆変換部１５で変換した特性強調画像の画素値ＲｅｓＧｅｓＢｅｓは色域外になる場合がある。そこで、係数設定部１６ではさらに、帯域強調係数と色度強弱係数を制御して、特性強調画像の画素値が色域内となるようにするとよい。

【0049】

色特性調整部１１で色特性の調整が行われた色特性調整画素値ＲｓＧｓＢｓと、色変換部１２で色変換した輝度色度信号ＹｓＣｂｓＣｒｓとは、数式２より、

【数6】

が成り立つ。輝度色度信号のうちの輝度信号Ｙｓが帯域強調信号Ｙｅに変わった場合、数式８より特性強調画像の画素値ＲｅｓＧｅｓＢｅｓが算出される。算出されたＲｅｓ、Ｇｅｓ、Ｂｅｓのいずれの値も予め定められた範囲の値であれば色域内であるとし、各係数はそのままでよい。

【0050】

しかし、Ｒｅｓ、Ｇｅｓ、Ｂｅｓの１以上について、予め定められた範囲から外れた値が算出される場合がある。例えば、Ｒｅｓ、Ｇｅｓ、Ｂｅｓの値がいずれも０以上２５５以下の値を取るものと定められている場合、０より小さい値、あるいは２５５よりも大きい値が算出されることがある。もちろん、予め定められた範囲はこの例に限らず、０以上１以下であるなど、種々の範囲が設定されている場合があるが、いずれの範囲の設定でも、その範囲から外れた値が算出される場合がある。範囲から外れた値が算出された場合、特性強調画像の画素値ＲｅｓＧｅｓＢｅｓは色域外となる。

【0051】

算出された特性強調画像の画素値ＲｅｓＧｅｓＢｅｓが色域外となる場合、帯域バランス係数ｗｙと色度バランス係数ｗｄを用い、数式８を
Ｒｅｓ＝ｎ₁₁Ｙｅ・ｗｙ＋（ｎ₁₂Ｃｂｓ＋ｎ₁₃Ｃｒｓ）・ｗｄ
Ｇｅｓ＝ｎ₂₁Ｙｅ・ｗｙ＋（ｎ₂₂Ｃｂｓ＋ｎ₂₃Ｃｒｓ）・ｗｄ
Ｂｅｓ＝ｎ₃₁Ｙｅ・ｗｙ＋（ｎ₃₂Ｃｂｓ＋ｎ₃₃Ｃｒｓ）・ｗｄ
（数式１０）
とする。ｎ₁₁，…，ｎ₃₃は既知であり、Ｙｅ、Ｃｂｓ、Ｃｒｓもすでに算出されている値を用いる。Ｒｅｓ、Ｇｅｓ、Ｂｅｓの値については、予め定められた範囲外となっている成分を予め定められた範囲の下限値または上限値とする。そして、例えば帯域バランス係数ｗｙ＝１として、数式１０から色度バランス係数ｗｄを算出する。得られた色度バランス係数ｗｄを色度強弱係数に乗算して新たな色度強弱係数とすればよい。例えば数式１により色特性の調整を行う場合、色度強弱係数はαｄであるので、数式１のαｄは、（ｗｄ・αｄ−ｗｄ＋１）により色度強弱係数αｄを更新して設定すればよい。なお、この場合には帯域バランス係数ｗｙ＝１としているが、これは帯域強調信号Ｙｓをそのまま使用することを示しており、帯域強調係数については変更しないことになる。

【0052】

もちろん、色度バランス係数ｗｄ＝１とし、範囲外となる成分を予め定められた範囲の下限値または上限値として、数式１０から帯域バランス係数ｗｙを算出してもよい。例えば数式５により帯域の強調を行う場合、帯域強調係数はαｙであるので、ｗｙ・αｙにより帯域強調係数αｙを更新して設定すればよい。さらに、帯域バランス係数ｗｙと色度バランス係数ｗｄとを予め決められた関係で変更するようにし、数式１０を満たす帯域バランス係数ｗｙと色度バランス係数ｗｄを求めて、帯域強調係数及び色度強弱係数を更新して設定してもよい。

【0053】

なお、係数設定部１６としては、色特性調整部１１から出力される色特性調整画素値ＲｓＧｓＢｓと帯域強調信号Ｙｅを取得すれば、係数設定部１６で上述の演算を行って更新された各係数が得られるが、色変換部１２で変換を行って輝度色度信号ＹｓＣｂｓＣｒｓを取得し、あるいはさらに色逆変換部１５で変換を行って特性強調画像の画素値ＲｅｓＧｅｓＢｅｓを取得してもよいことは言うまでもない。

【0054】

図６は、本発明の実施の一形態における動作の一例を示す流れ図である。この例では、係数設定部１６で各係数の更新を行う場合について示している。

【0055】

Ｓ６１において、係数設定部１６は色特性調整部１１に対する色度強弱係数の設定、帯域強調部１４に対する帯域強調係数の設定、あるいはさらに、帯域画像生成部１３に対する帯域選択係数の設定などの各種の係数の設定を行う。

【0056】

Ｓ６２において、色特性調整部１１は、係数設定部１６により設定された色度強弱係数に従って、与えられたカラーの原画像に対して色特性の調整を行い、色特性調整画像を得る。

【0057】

Ｓ６３において、色変換部１２は、色特性が調整された色特性調整画像に対して色空間変換を行い、輝度色度画像を得る。

【0058】

Ｓ６４において、帯域画像生成部１３は、Ｓ６３で得た輝度色度画像の輝度成分により表される画像である輝度画像から、予め設定され、あるいは係数設定部１６により設定された帯域選択係数に従った周波数帯域の帯域画像を生成する。

【0059】

Ｓ６５において、帯域強調部１４は、係数設定部１６により設定された帯域強調係数に従い、Ｓ６４で帯域画像生成部１３により生成された帯域画像に対して強調処理を行い、帯域強調画像を得る。

【0060】

Ｓ６６において、Ｓ６３で得た輝度色度画像のうちの色度成分と、Ｓ６５で得た帯域強調画像の輝度成分とを用いて色空間変換を行い、特性強調画像を得る。

【0061】

Ｓ６７において、Ｓ６６で得た特性強調画像の画素値が予め定められた範囲内の値であるか否かを判定する。範囲内であれば、特性強調画像を出力すればよい。

【0062】

Ｓ６７で範囲外の値の存在が判定された場合には、Ｓ６８において、係数設定部１６は範囲内となるように各係数の設定を更新する。ここでは、帯域強調係数と色度強弱係数の設定を更新するものとしている。

【0063】

Ｓ６９において、色特性調整部１１は、係数設定部１６によりＳ６８で更新された色度強弱係数に従って、与えられたカラーの原画像に対して色特性の調整を行い、Ｓ７０において、色特性が調整された色特性調整画像に対して色空間変換を行って輝度色度画像を得る。

【0064】

Ｓ７１において、帯域画像生成部１３は、Ｓ７０で得た輝度色度画像の輝度成分により表される画像である輝度画像から、予め設定され、あるいは係数設定部１６により設定された帯域選択係数に従った周波数帯域の帯域画像を生成する。さらにＳ７２において、帯域強調部１４は、係数設定部１６によりＳ６８で更新された帯域強調係数に従い、帯域画像生成部１３で生成された帯域画像に対して強調処理を行い、帯域強調画像を得る。

【0065】

Ｓ７３において、Ｓ７１で得た輝度色度画像のうちの色度と、Ｓ７２で得た帯域強調画像の輝度とを用いて色空間変換を行い、特性強調画像を得る。

【0066】

この動作例では、Ｓ６８で係数設定部１６が帯域強調係数と色度強弱係数を更新するものとしているが、例えば色度強弱係数を更新せずに帯域強調係数を更新する場合には、改めてＳ６９及びＳ７０，Ｓ７１の処理を行わずにＳ６２，Ｓ６３の処理結果とＳ６４の処理結果を用いるように構成してもよい。また、係数設定部１６で係数の更新を行わない場合には、Ｓ６７以降の処理を行わなくてもよい。あるいは、Ｓ６７の判定は行って、特性強調画像の画素値に予め定められた範囲外となる値が存在している場合にはエラーとするように構成してもよい。

【0067】

図７は、本発明の実施の一形態の変形例を示す構成図である。図中、１７は輝度画像生成部である。上述の例では、帯域の強調を色特性の調整後に行っているが、この変形例では、帯域の強調の処理を色特性の調整とは独立して、与えられたカラーの原画像に対して行う例を示している。以下、図１に示した構成と異なる点について主に説明してゆく。

【0068】

輝度画像生成部１７は、与えられたカラーの原画像から輝度画像を生成する。輝度画像を得るには、原画像の信号を輝度色度の信号へ変換して輝度の信号を抽出すればよい。この例では輝度色度の色空間としてＹＣｂＣｒ色空間を用いているので、原画像のＲＧＢ色空間の信号をＹＣｂＣｒ色空間の信号に変換し、Ｙ成分を抽出すれば輝度画像が得られる。この変換は数式２により行えばよい。なお、輝度色度の色空間がＬＡＢ色空間であればＬ^* 成分を、ＨＳＶ色空間であればＶ成分を用いて輝度画像を得ればよい。

【0069】

帯域画像生成部１２は、輝度画像生成部１７で生成した輝度画像から、予め設定された帯域を表す帯域画像を生成する。これにより、帯域の強調処理が与えられた原画像から得た輝度画像に対して行われることになる。このほかの帯域画像生成部１２の処理及びその他の構成については、上述したとおりである。

【0070】

図８は、本発明の実施の一形態の変形例における動作の一例を示す流れ図である。この例では、色特性の調整と帯域の強調の処理を並行して行う場合の動作の一例を示している。この例でも、係数設定部１６で各係数の更新を行うものとしている。

【0071】

Ｓ８１において、係数設定部１６は帯域強調部１４に対する帯域強調係数の設定、色特性調整部１１に対する色度強弱係数の設定、あるいはさらに、帯域画像生成部１３に対する帯域選択係数の設定などの各種の係数の設定を行う。

【0072】

一方の処理として、Ｓ８２において、色特性調整部１１は、係数設定部１６により設定された色度強弱係数に従って、与えられたカラーの原画像に対して色特性の調整を行う。またＳ８３において、色変換部１２は、色特性が調整された色特性調整画像に対して色空間変換を行い、輝度色度画像を得る。

【0073】

他方の処理として、Ｓ８４において、輝度画像生成部１７は与えられたカラーの原画像に対して輝度を成分とする色空間への変換を行い、輝度画像を生成する。またＳ８５において、帯域画像生成部１３は、Ｓ８４で生成した輝度画像から、予め与えられ、あるいは係数設定部１６により設定された帯域選択係数に従った周波数帯域の帯域画像を生成する。さらにＳ８６において、帯域強調部１４は、係数設定部１６により設定された帯域強調係数に従い、帯域画像生成部１３で生成された帯域画像に対して強調処理を行い、帯域強調画像を得る。

【0074】

両方の処理が終了したら、Ｓ８７において、Ｓ８３で得た輝度色度画像のうちの色度と、Ｓ８６で得た帯域強調画像の輝度とを用いて色空間変換を行い、特性強調画像を得る。

【0075】

Ｓ８８において、Ｓ８７で得た特性強調画像の画素値が予め定められた範囲内の値であるか否かを判定する。範囲内であれば、特性強調画像を出力すればよい。

【0076】

Ｓ８８で範囲外の値の存在が判定された場合には、Ｓ８９において、係数設定部１６は範囲内となるように各係数の設定を更新する。ここでは、帯域強調係数と色度強弱係数の設定を更新するものとしている。

【0077】

更新された各係数を用い、色特性の調整と帯域の強調の処理を並行して行う。一方の処理として、Ｓ９０において、色特性調整部１１は、係数設定部１６によりＳ８９で更新された色度強弱係数に従って、与えられたカラーの原画像に対して色特性の調整を行い、Ｓ９１において、色特性が調整された色特性調整画像に対して色空間変換を行って輝度色度画像を得る。

【0078】

他方の処理として、Ｓ９２において、帯域強調部１４は、係数設定部１６によりＳ８９で更新された帯域強調係数に従い、帯域画像生成部１３で生成された帯域画像に対して強調処理を行い、帯域強調画像を得る。

【0079】

両方の処理が終了したら、Ｓ９３において、Ｓ９１で得た輝度色度画像のうちの色度と、Ｓ９２で得た帯域強調画像の輝度とを用いて色空間変換を行い、特性強調画像を得る。

【0080】

この動作例でも、係数設定部１６で係数の更新を行わない場合には、Ｓ８８以降の処理を行わなくてもよい。あるいは、Ｓ８８の判定は行って、特性強調画像の画素値に予め定められた範囲外となる値が存在している場合にはエラーとするように構成してもよい。もちろん、この変形例においても図６に示した動作例のように色特性の調整と帯域の強調の処理を順に行ってもよく、その場合に色特性の調整後に帯域の強調処理を行っても、帯域の強調後に色特性の調整を行ってもよい。この場合、帯域画像を生成する際に輝度画像生成部１７で輝度画像を生成し、その輝度画像を用いて帯域画像を生成することになる。

【0081】

図９は、本発明の実施の一形態及びその変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、３１はプログラム、３２はコンピュータ、４１は光磁気ディスク、４２は光ディスク、４３は磁気ディスク、４４はメモリ、５１はＣＰＵ、５２は内部メモリ、５３は読取部、５４はハードディスク、５５はインタフェース、５６は通信部である。

【0082】

上述の本発明の実施の一形態及びその変形例として説明した各部の機能の全部または部分的に、コンピュータが実行するプログラム３１によって実現してもよい。その場合、そのプログラム３１およびそのプログラムが用いるデータなどは、コンピュータによって読み取られる記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部５３に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部５３にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク４１，光ディスク４２（ＣＤやＤＶＤなどを含む）、磁気ディスク４３，メモリ４４（ＩＣカード、メモリカード、フラッシュメモリなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

【0083】

これらの記憶媒体にプログラム３１を格納しておき、例えばコンピュータ３２の読取部５３あるいはインタフェース５５にこれらの記憶媒体を装着して、コンピュータからプログラム３１を読み出し、内部メモリ５２またはハードディスク５４（磁気ディスクやシリコンディスクなどを含む）に記憶し、ＣＰＵ５１によってプログラム３１を実行し、上述の本発明の実施の一形態及びその変形例として説明した機能が全部又は部分的に実現される。あるいは、通信路を介してプログラム３１をコンピュータ３２に転送し、コンピュータ３２では通信部５６でプログラム３１を受信して内部メモリ５２またはハードディスク５４に記憶し、ＣＰＵ５１によってプログラム３１を実行して実現してもよい。

【0084】

コンピュータ３２には、このほかインタフェース５５を介して様々な装置と接続してもよい。例えば情報を表示する表示手段が接続され、原画像や特性強調画像が表示されてもよい。また、利用者からの情報を受け付ける受付手段が接続され、係数設定部１６に対して設定の指示や選択を行ってもよい。もちろん、その他の装置が接続されていてもよい。なお、各構成が１台のコンピュータにおいて動作する必要はなく、処理段階に応じて別のコンピュータにより処理が実行されてもよい。

【符号の説明】

【0085】

１１…色特性調整部、１２…色変換部、１３…帯域画像生成部、１４…帯域強調部、１５…色逆変換部、１６…係数設定部、１７…輝度画像生成部、２１…色変換部、２２…輝度調整部、２３…彩度調整部、２４…色変換部、３１…プログラム、３２…コンピュータ、４１…光磁気ディスク、４２…光ディスク、４３…磁気ディスク、４４…メモリ、５１…ＣＰＵ、５２…内部メモリ、５３…読取部、５４…ハードディスク、５５…インタフェース、５６…通信部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】