特許 5812263 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5812263

(24)【登録日】2015年10月2日

(45)【発行日】2015年11月11日

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20151022BHJP

【ＦＩ】

   G06T5/00 710

【請求項の数】5

【全頁数】10

(21)【出願番号】特願2011-151930(P2011-151930)

(22)【出願日】2011年7月8日

(65)【公開番号】特開2013-20357(P2013-20357A)

(43)【公開日】2013年1月31日

【審査請求日】2014年6月19日

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士ゼロックス株式会社

(74)【代理人】

【識別番号】100101948

【弁理士】

【氏名又は名称】柳澤 正夫

(72)【発明者】

【氏名】浜 大悟

(72)【発明者】

【氏名】坂本 正臣

(72)【発明者】

【氏名】佐々木 信

(72)【発明者】

【氏名】奥津 優

【審査官】 山内 裕史

(56)【参考文献】

【文献】 特開平１１−２８９４６８（ＪＰ，Ａ）

【文献】 特開２００３−２８１５３０（ＪＰ，Ａ）

【文献】 特開２００３−２３５０５０（ＪＰ，Ａ）

【文献】 特開平１０−１４３６５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

与えられた原画像を予め定められた周波数帯域ごとに分解して各画素を複数の周波数帯域に分類する分類手段と、各画素におけるコントラストを求める局所コントラスト取得手段と、前記分類手段によって高周波帯域に分類された画素から前記コントラストが閾値よりも大きい画素を除いた残りの画素に対して強調処理を行う強調手段を有し、前記強調手段は、前記残りの画素の数が予め決められた画素数よりも少ない場合には、前記高周波帯域に分類されている当該残りの画素に加え、前記高周波帯域よりも低い周波数帯域に分類された画素についても、強調処理を行うことを特徴とする画像処理装置。

【請求項2】

前記強調手段は、前記コントラストが大きいほど強調処理の強度を弱めることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記強調手段は、さらに、前記コントラストに応じて彩度の強調処理を行うことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

さらに、前記原画像の内容を判別する内容判別手段を有し、前記強調手段は、前記内容判別手段で判別した前記原画像の内容に従って強調処理の強度を変更することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。

【請求項5】

コンピュータに、請求項１から請求項４のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理プログラムに関するものである。

【背景技術】

【0002】

画像処理の一つとして、画像中の色または濃度の境界や輪郭などを強調し、あるいは、特定の周波数帯域を強調する画像強調技術がある。この画像強調技術の従来より用いられている手法として、ＵＳＭ（アンシャープマスキング）が知られており、画像全体に高周波強調フィルタをかけることで、輪郭や模様をはっきりさせている。このＵＳＭ処理では、「ノイズが強調された」または「強調されすぎて不自然」などと感じられる場合がある。これは、人間の視覚特性によるものであり、絵柄の周波数帯域に応じて反応しているためと考えられる。

【0003】

画像中の絵柄に応じて強調すべき周波数帯域や強度を変える方法として、例えば特許文献１には、多重解像度分解を行った画像の処理対象画素値がある閾値より大きい場合は、その画素に対する強調度を他の画素に対する強調度よりも小さくすることが記載されている。この方法では、ある閾値よりも大きい画素値からなる画像あるいは領域については強調処理が行われない。

【0004】

特許文献２には、特定領域の信号値の差の絶対値の和、または分散値、エッジ方向の情報を用いて得られる周辺評価が大きいほど、強調処理の空間フィルタとして強いフィルタを選択することが記載されている。この技術の場合、周辺評価が他の部分に比べて大きい輪郭部などでは過強調となる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平９−４４６５７号公報

【特許文献2】特開２００４−３１８４２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、過強調を抑えた強調処理を行うことができる画像処理装置及び画像処理プログラムを提供することを目的とするものである。

【課題を解決するための手段】

【0007】

本願請求項１に記載の発明は、与えられた原画像を予め定められた周波数帯域ごとに分解して各画素を複数の周波数帯域に分類する分類手段と、各画素におけるコントラストを求める局所コントラスト取得手段と、前記分類手段によって高周波帯域に分類された画素から前記コントラストが閾値よりも大きい画素を除いた残りの画素に対して強調処理を行う強調手段を有し、前記強調手段は、前記残りの画素の数が予め決められた画素数よりも少ない場合には、前記高周波帯域に分類されている当該残りの画素に加え、前記高周波帯域よりも低い周波数帯域に分類された画素についても、強調処理を行うことを特徴とする画像処理装置である。

【0008】

本願請求項２に記載の発明は、本願請求項１に記載の発明における前記強調手段が、前記コントラストが大きいほど強調処理の強度を弱めることを特徴とする画像処理装置である。

【0009】

本願請求項３に記載の発明は、本願請求項２に記載の発明における前記強調手段が、さらに、前記コントラストに応じて彩度の強調処理を行うことを特徴とする画像処理装置である。

【0010】

本願請求項４に記載の発明は、本願請求項１から請求項３のいずれか１項に記載の発明の構成に、さらに、前記原画像の内容を判別する内容判別手段を有し、前記強調手段は、前記内容判別手段で判別した前記原画像の内容に従って強調処理の強度を変更することを特徴とする画像処理装置である。

【0011】

本願請求項５に記載の発明は、コンピュータに、請求項１から請求項４のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。

【発明の効果】

【0014】

本願請求項１に記載の発明によれば、コントラストが大きい部分での過強調を抑えるとともに、複数の周波数帯域において行われる異なる強調処理の境界部分での画質の齟齬を抑えることができる。

【0015】

本願請求項２に記載の発明によれば、コントラストに応じて過強調を抑えた強調処理を行うことができる。

【0016】

本願請求項３に記載の発明によれば、明度に対する強調を抑えたことによる強調不足を補うことができる。

【0017】

本願請求項４に記載の発明によれば、原画像の内容に応じた最適な強調処理を行うことができる。

【0018】

本願請求項５に記載の発明によれば、本願請求項１から請求項６のいずれか１項に記載の発明の効果を得ることができる。

【図面の簡単な説明】

【0021】

【図1】本発明の第１の実施の形態を示す構成図である。

【図2】本発明の第１の実施の形態における動作の一例を示す流れ図である。

【図3】周波数成分画像及び分類情報の一例の説明図である。

【図4】コントラスト情報及び強調領域特定情報の一例の説明図である。

【図5】コントラストと強調度合いとの関係の一例の説明図である。

【図6】コントラスト情報及び分類情報の別の例の説明図である。

【図7】本発明の第２の実施の形態を示す構成図である。

【図8】本発明の各実施の形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。

【発明を実施するための形態】

【0022】

図１は、本発明の第１の実施の形態を示す構成図である。図中、１１は分類情報生成部、１２は局所コントラスト取得部、１３は強調部である。分類情報生成部１１は、与えられた原画像を予め定められた周波数帯域ごとの周波数成分画像に分解し、各画素がいずれの周波数帯域に含まれるかを示す分類情報を生成する。周波数成分画像への分解は、例えばＤＯＧ（Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ ｔｗｏ Ｇａｕｓｓｉａｎ）関数を用いた方法や、ウェーブレット解析、ＦＦＴを用いた方法など、公知の手法を使用すればよい。また、分解する周波数帯域は２以上であればよい。分類情報を生成する際には、分解された各周波数帯域における強度をもとに行えばよく、その強度を加重値として分類情報に含めてもよい。また、分類した結果を他の画素に対して伝播させてもよい。もちろん、複数の周波数帯域に分類されてもよく、例えば分類した結果を他の画素に対して伝播させた場合には複数の周波数帯域の分類情報として加重値が存在してもよい。なお、分類情報を生成するための処理は、画素毎に行うほか、複数の画素を単位として行ってもよい。

【0023】

局所コントラスト取得部１２は、各画素におけるコントラストを求める。例えば処理対象の画素を含む予め決められた範囲の画素の値を用いるレンジフィルタ、局所ヒストグラムの山、最大値と最小値の差など、公知の方法を使用すればよい。

【0024】

強調部１３は、分類情報生成部１１で生成した分類情報と、局所コントラスト取得部１２で取得したコントラストをもとに、周波数帯域に対応する強調処理を行う。例えば、コントラストが大きいほど強度を弱めて強調処理を行う。あるいは、コントラストが予め設定されている値以下の場合に、当該画素が分類されている周波数帯域における強調処理を行い、コントラストが予め設定されている値よりも大きい画素については、当該画素が分類されている周波数帯域における強調処理を行わないようにするとよい。また、コントラストが予め設定されている値よりも大きく、強調処理を行わないと判断された画素に対しては、明度方向の強調処理は行わずに彩度方向の強調処理を行ってもよい。

【0025】

以下、具体例を用いながら第１の実施の形態における動作の一例について説明する。図２は、本発明の第１の実施の形態における動作の一例を示す流れ図である。分類情報生成部１１は、Ｓ２１において、周波数帯域ごとの周波数成分画像に分解し、Ｓ２２において、分解した周波数成分画像から分類情報を生成する。図３は、周波数成分画像及び分類情報の一例の説明図である。図３（Ａ）は原画像の一例を示しており、茶系の髪と黒髪、白髪が混在した頭髪であるものとする。図３（Ｂ）及び図３（Ｃ）には周波数帯域ごとに分解した周波数成分画像の一例を示しており、図３（Ｃ）に示す周波数成分画像の周波数帯域の方が図３（Ｂ）に示す周波数成分画像の周波数帯域の方より高いものとする。図３（Ｂ）と図３（Ｃ）は図示の都合上、分離された部分を白く、簡略化して示しているが、実際にはそれぞれの周波数成分の強度として分離される。従って、それぞれの画素における周波数成分ごとの強度がそれぞれの周波数成分画像の値となっている。

【0026】

このような周波数成分画像を用い、それぞれの画素においていずれの周波数成分画像の値が最大となるかによって、当該画素が属する周波数帯域を決定し、分類情報を生成する。図３（Ｂ）及び図３（Ｃ）に示した周波数成分画像から生成した分類情報を図３（Ｄ）、（Ｅ）に示している。図３（Ｄ）、（Ｅ）に白く示した領域の画素が、それぞれの周波数帯域に属すると分類されたことを示している。この場合も、図示の都合上、簡略化して示している。図３（Ｅ）に示す周波数成分画像の周波数帯域の方が図３（Ｄ）に示す周波数成分画像の周波数帯域の方より高いものとしており、図３（Ｅ）に示す分類情報には頭髪部分や服の部分、輪郭部分などが分類されている。

【0027】

一方、局所コントラスト取得部１２は、図２のＳ２３において、各画素におけるコントラストを求め、ここではさらにＳ２４において、予め決められた値によりコントラスト値を二値化したコントラスト情報を作成する。図４は、コントラスト情報及び強調領域特定情報の一例の説明図である。例えば、図３（Ａ）に示した原画像の一例に対して、Ｓ２３において求めるコントラストとして、処理対象の画素を含む予め決められた範囲の画素の値を用いて最大値と最小値の差を求め、Ｓ２４において予め決められた値により二値化したコントラスト情報の一例を図４（Ａ）に示している。コントラストが予め決められた値よりも大きい部分を白く示している。頭髪部分に茶系の髪と黒髪、白髪が混在していることから、この部分では各画素についてコントラストが予め決められた値よりも大きくなっている。

【0028】

なお、図２のＳ２１及びＳ２２での処理、及び図２のＳ２３及びＳ２４での処理は、いずれを先に行ってもよいし、並行して行ってもよい。

【0029】

強調部１３では、分類情報生成部１１で生成した分類情報と、局所コントラスト取得部１２で取得したコントラストをもとに、周波数帯域に対応する強調処理を行う。図２に示した動作例では、Ｓ２５において、分類情報生成部１１においてＳ２２で生成した分類情報と、局所コントラスト取得部１２においてＳ２４で作成したコントラスト情報とから強調する領域を特定し、強調領域特定情報を作成する。そしてＳ２６において、Ｓ２５で特定した領域について、周波数帯域に対応する強調処理を行う。

【0030】

例えば図４に示した例では、図４（Ａ）は図２のＳ２４で作成されたコントラスト情報であり、図４（Ｂ）は図２のＳ２２で生成された分類情報のうちの一つであって図３（Ｅ）に示した分類情報を再掲している。例えば、図４（Ｂ）に白く示した当該周波数帯域に分類されても画素のうち、図４（Ａ）に示したコントラスト情報で白く示されているコントラストが予め決められた値よりも大きいと判断された画素を除いて、強調処理を行う領域を特定して強調領域特定情報を作成する。作成された強調領域特定情報の一例を図４（Ｃ）に示している。この図４（Ｃ）に示した強調領域特定情報に従って、図２のＳ２６で強調処理を行う。この例の場合、人物の頭髪の内部領域ではコントラスト情報からコントラストが予め決められた値よりも大きいと判断されており、強調処理は行われない。コントラストが予め決められた値よりも大きい領域に対して強調処理を行うと、処理を行わない場合に比べてさらにコントラストが大きくなり、過強調となる。この例ではコントラストが予め決められた値よりも大きい領域に対しては強調処理が行われず、過強調となることはない。一方で、服の部分ではコントラストが予め決められた値以下と判断されているため、強調処理の対象となり、強調処理によって服の濃淡が強調されることになる。

【0031】

図４では分類情報生成部１１で分類された１つの周波数帯域について示している。これは、過強調が他の周波数帯域よりも高い周波数帯域において生じる傾向があることによるもので、図４（Ａ）に示した例でも図３（Ｄ）に示した分類情報の周波数帯域よりも高い周波数帯域の分類情報（図３（Ｅ））を用いた強調処理の場合について示した。もちろん、他の周波数帯域についてもコントラストに応じて強調処理を行うか否かを決めてもよく、その場合のコントラストに対する閾値となる値については、別に決めておいてもよい。また、固定した値によりコントラストを二値化しなくても、例えばコントラストを用いた関数を予め設定しておき、その関数により強調処理を行うか否かを決めるようにしてもよい。

【0032】

一般に強調処理は明度に対して行い、上述の具体例でも明度に対して強調処理を行うものとしている。もちろん、明度に限らず、例えば彩度に対しても強調処理を行ってもよい。また、例えばコントラスト情報により当該周波数帯域の分類情報に分類された画素のうち強調処理を行わないとされた画素について、明度については強調処理は行わずに彩度について強調処理を行ってもよい。

【0033】

なお、図４では図３（Ｅ）に示した分類情報とコントラスト情報から、図３（Ｅ）に示した分類情報に対応する周波数帯域における強調処理について説明したが、図３（Ｄ）に示した分類情報に対応する周波数帯域については、対応する強調処理を行えばよく、その際にコントラスト情報に従った強調処理を行ってもよい。もちろん、対応する強調処理を行わなくてもよい。

【0034】

図５は、コントラストと強調度合いとの関係の一例の説明図である。上述の例では、コントラストの値を予め決められた値（あるいは関数で得られた値）によって二値化し、強調処理を行うか否かを決めているが、もちろん、コントラストの値（多値）を用いて強調度合いを制御するように構成してもよい。その場合のコントラストの値と強調度合いの関係の一例を図５に示している。この例では、コントラストの値が他よりも小さい場合には強調度合いを大きくし、コントラストの値が他よりも大きい場合には強調度合いを小さくしている。もちろん、コントラストの値と強調度合いの関係は図５に示した関係に限られるものではなく、例えば予め決めておいた関数を用いたり、強、中、弱などの数段階に分けて強調処理を行うなど、予めコントラストの値と強調処理の度合いとを関連づけておけばよい。

【0035】

このコントラストの値に応じた強調処理は、例えば彩度に対して強調処理を行う場合についても適用してもよい。また、例えば明度については図５に示す関係で強調処理を行い、彩度については図５に示す関数の逆の関係、例えばコントラストの値が大きくなるほど強調度合いを大きくする関係により、彩度の強調処理を行ってもよい。

【0036】

図６は、コントラスト情報及び分類情報の別の例の説明図である。この例では、図３（Ａ）に示した原画像について、分類情報生成部１１で３つの周波数帯域に分解し、それぞれの分類情報を生成した例を示している。図６（Ｂ）は他の周波数帯域よりも低い周波数帯域の分類情報を、図６（Ｃ）は図６（Ｂ）よりも高く図６（Ｄ）よりも低い周波数帯域の分類情報を、図６（Ｄ）は他の周波数帯域よりも高い周波数帯域の分類情報をそれぞれ示している。また、局所コントラスト取得部１２で求めたコントラスト情報を図６（Ｅ）に示している。

【0037】

この例では図６（Ｄ）に示した分類情報に分類された画素のうち、図６（Ｅ）に示したコントラスト情報からコントラストが予め決められた値より大きいと判断された画素を除くと、図６（Ｆ）に白く示す画素が強調処理の対象となる。例えば強調処理の対象となった画素の数が予め決められている値よりも少なくなった場合には、当該周波数帯域での強調処理を行わず、当該周波数帯域よりも低い周波数帯域に分類された画素、ここでは図６（Ｃ）に示した分類情報として分類された画素とともに強調処理を行うとよい。図６（Ｆ）に白く示した画素と図６（Ｃ）に白く示した画素を統合すると、図６（Ｇ）に示すようになる。この図６（Ｇ）において白く示した画素について、図６（Ｃ）の分類情報に対応する周波数帯域についての強調処理を行う。

【0038】

周波数帯域が異なると対応する強調処理も異なる場合があり、異なる強調処理が行われた境界部分に画質上の齟齬が生じる場合がある。図６（Ｆ）に示された画素が予め決められた値以下の場合には、当該周波数帯域での強調処理を行っても画像全体に対する影響は限定される。図６（Ｃ）に示された画素と統合して強調処理を行えば、異なる強調処理の境界は別々に強調処理を行う場合に比べて減少し、画質上の齟齬が抑えられる。

【0039】

なお、図６に示した例では２つの周波数帯域についての処理の例について記載したが、これに限らず、統合しても画素数が予め決められた値以下となる場合にはさらに他の周波数帯域に分類された画素と統合し、またそのような統合処理を繰り返してもよい。また、この例の場合も、分類情報及びコントラスト情報に応じて強調処理の度合いを変更するように構成してもよく、その場合には強調処理の度合いについて平均を算出したり、大きい度合いを採用するなど、種々の方法により統合すればよい。

【0040】

図７は、本発明の第２の実施の形態を示す構成図である。図中、１４は内容判別部である。この第２の実施の形態では、図１に示した第１の実施の形態の構成に、内容判別部１４を設けたものである。

【0041】

内容判別部１４は、原画像のシーンや配置されている物品など、原画像の内容を判別する。原画像の内容を判別する処理については、例えば、デジタルカメラにおけるシーンの分類等の従来より知られている方法を使用すればよい。

【0042】

強調部１３は、内容判別部１４で判別した原画像の内容に従って、それぞれの周波数帯域に対応する強調処理の内容や強度、あるいは強調処理の方法を変更する。この強調処理の変更は、分類情報として分類された画素についてコントラストの値により強調処理を行うと判断され、あるいはコントラストの値に従って設定された強調度合いに対して行うものであり、変更前までの処理は第１の実施の形態で説明した処理を行えばよい。あるいは、コントラストの値を使用して分類情報として分類された画素について強調処理を行うか否かあるいは強調度合いを決定する際に、内容判別部１４で判別した原画像の内容をもとにコントラストの値を使用する度合い、例えばコントラストの値を二値化する際の閾値を変更したり、コントラストの値と強調度合いとの関係を変更したりといった制御を行ってもよい。

【0043】

具体例としては、内容判別部１４で人物画像と判別された場合は、内容判別を行わなかった場合に比べて、高周波領域の強調度合いを弱く、またはコントラストの閾値を低めに設定し、不自然に人物画像を強調することを防ぐ。また、物品と判別された場合は、内容判別を行わなかった場合に比べて、高周波領域の強調度合いを強く、低周波領域の強調度合いを弱くして、メリハリのある物品画像を生成する。

【0044】

図８は、本発明の各実施の形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、３１はプログラム、３２はコンピュータ、４１は光磁気ディスク、４２は光ディスク、４３は磁気ディスク、４４はメモリ、５１はＣＰＵ、５２は内部メモリ、５３は読取部、５４はハードディスク、５５はインタフェース、５６は通信部である。

【0045】

上述の本発明の各実施の形態で説明した各部の機能を全部あるいは部分的に、コンピュータに実行させるプログラム３１によって実現してもよい。その場合、そのプログラム３１およびそのプログラムが用いるデータなどは、コンピュータが読み取る記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部５３に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部５３にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク４１，光ディスク４２（ＣＤ、ＤＶＤなどを含む）、磁気ディスク４３，メモリ４４（ＩＣカード、メモリカード、フラッシュメモリなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

【0046】

これらの記憶媒体にプログラム３１を格納しておき、例えばコンピュータ３２の読取部５３あるいはインタフェース５５にこれらの記憶媒体を装着することによって、コンピュータからプログラム３１を読み出し、内部メモリ５２またはハードディスク５４（磁気ディスクやシリコンディスクなどを含む）に記憶し、ＣＰＵ５１によってプログラム３１を実行し、上述の本発明の各実施の形態で説明した機能が全部あるいは部分的に実現すればよい。あるいは、通信路を介してプログラム３１をコンピュータ３２に転送し、コンピュータ３２では通信部５６でプログラム３１を受信して内部メモリ５２またはハードディスク５４に記憶し、ＣＰＵ５１によってプログラム３１を実行することによって実現してもよい。

【0047】

コンピュータ３２には、このほかインタフェース５５を介して様々な装置と接続してもよい。もちろん、部分的にハードウェアによって構成してもよいし、全部をハードウェアで構成してもよい。あるいは、他の構成とともに本発明の実施の一形態で説明した機能の全部あるいは部分的に含めたプログラムとして構成してもよい。他の用途に適用する場合には、その用途におけるプログラムと一体化してもよい。

【符号の説明】

【0048】

１１…分類情報生成部、１２…局所コントラスト取得部、１３…強調部、３１…プログラム、３２…コンピュータ、４１…光磁気ディスク、４２…光ディスク、４３…磁気ディスク、４４…メモリ、５１…ＣＰＵ、５２…内部メモリ、５３…読取部、５４…ハードディスク、５５…インタフェース、５６…通信部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】