6229548 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6229548

(24)【登録日】2017年10月27日

(45)【発行日】2017年11月15日

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   H04N 1/46 20060101AFI20171106BHJP

   G06T 1/00 20060101ALI20171106BHJP

   H04N 1/60 20060101ALI20171106BHJP

【ＦＩ】

   H04N1/46 Z

   G06T1/00 510

   H04N1/40 D

【請求項の数】7

【全頁数】8

(21)【出願番号】特願2014-41366(P2014-41366)

(22)【出願日】2014年3月4日

(65)【公開番号】特開2015-167323(P2015-167323A)

(43)【公開日】2015年9月24日

【審査請求日】2016年12月29日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(72)【発明者】

【氏名】河内 亮太

【審査官】 豊田 好一

(56)【参考文献】

【文献】 特開２０１１−１３５５１１（ＪＰ，Ａ）

【文献】 特開２００８−０２８８０２（ＪＰ，Ａ）

【文献】 特開平１０−０２３２７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４６−６２

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／４０

(57)【特許請求の範囲】

【請求項1】

画像を構成する画素各々の彩度を変換する彩度変換部と、
前記画像の所定の領域に対応する彩度である代表彩度を決定する代表彩度決定部と、
を有し、
前記彩度変換部は、前記代表彩度決定部で決定された代表彩度と異なる彩度を示す画素について、（１）式に基づいて彩度を変換する、
画像処理装置。
Ｓ’（ｘ、ｙ）＝（Ｓ（ｘ、ｙ）−ｓｂａｒ）×α＋ｓｂａｒ （１）
（但し、変換前の彩度をＳ（ｘ、ｙ）、変換後の彩度をＳ’（ｘ、ｙ）、前記代表彩度をｓｂａｒ、前記所定の値を前記画像中の彩度の最大値と最小値との差で割った値をαとする。）

【請求項2】

前記代表彩度決定部は、前記所定の領域に含まれる画素の彩度の平均値を算出し、前記平均値を代表彩度として決定する請求項１に記載の画像処理装置。

【請求項3】

前記彩度変換部は、前記画像中の彩度の最大値と最小値との差が所定の値となるように彩度を変換する請求項１又は２に記載の画像処理装置。

【請求項4】

前記代表彩度と前記画像中の彩度の最小値との差にαを乗じた値を、前記代表彩度から引いた値が、０よりも小さい場合、
前記彩度変換部は、
前記代表彩度よりも彩度が小さい画素については、前記（１）式のαに代えて、前記代表彩度を、前記代表彩度と前記画像中の彩度の最小値との差で割った値を用い、
前記代表彩度よりも彩度が大きい画素については、前記（１）式のαに代えて、前記所定の値と前記代表彩度との差を、前記画像中の彩度の最大値と前記代表彩度との差で割った値を用いて彩度を変換する請求項１から請求項３のいずれか一項に記載の画像処理装置。

【請求項5】

前記彩度変換部は、前記画素各々の画素値を変換することで彩度を変換する請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記彩度変換部は、変換後の彩度と変換前の彩度との比に基づいて前記画素値を変換する請求項５に記載の画像処理装置。

【請求項7】

コンピュータを、
画像を構成する画素各々の彩度を変換する彩度変換部、
前記画像の所定の領域に対応する彩度である代表彩度を決定する代表彩度決定部

として機能させるための画像処理プログラムであって、
前記彩度変換部は、前記代表彩度決定部で決定された代表彩度と異なる彩度を示す画素について、（１）式に基づいて彩度を変換する、
画像処理プログラム。
Ｓ’（ｘ、ｙ）＝（Ｓ（ｘ、ｙ）−ｓｂａｒ）×α＋ｓｂａｒ （１）
（但し、変換前の彩度をＳ（ｘ、ｙ）、変換後の彩度をＳ’（ｘ、ｙ）、前記代表彩度をｓｂａｒ、前記所定の値を前記画像中の彩度の最大値と最小値との差で割った値をαとする。）

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理プログラムに関する。

【背景技術】

【0002】

良好な処理後画像を提供することを目的とする画像処理装置が特許文献１に開示されている。この画像処理装置は、原画像の色みを示す色成分に対して補正処理を行い、彩度（色の鮮やかさ）を調整している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−２７４４２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の画像処理装置は、画素値のコントラストを良好にするなどの目的で、彩度を調整する場合、調整前に適度な彩度の領域があっても、該領域の彩度が変わってしまい、該調整後の画像を見た人が不自然に感じる彩度となってしまうことがある。

【0005】

本発明は、前記の点に鑑みてなされたものであり、彩度を調整する際に、該調整後の画像を見た人が不自然に感じる彩度となってしまうことを防ぐ画像処理装置及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、画像を構成する画素各々の彩度を変換する彩度変換部と、前記画像の所定の領域に対応する彩度である代表彩度を決定する代表彩度決定部と、を有し、前記彩度変換部は、前記代表彩度決定部で決定された代表彩度と異なる彩度を示す画素について、（１）式に基づいて彩度を変換する、画像処理装置である。
Ｓ’（ｘ、ｙ）＝（Ｓ（ｘ、ｙ）−ｓｂａｒ）×α＋ｓｂａｒ （１）
（但し、変換前の彩度をＳ（ｘ、ｙ）、変換後の彩度をＳ’（ｘ、ｙ）、前記代表彩度をｓｂａｒ、前記所定の値を前記画像中の彩度の最大値と最小値との差で割った値をαとする。）

【0007】

また、本発明の一態様は、コンピュータを、画像を構成する画素各々の彩度を変換する彩度変換部、前記画像の所定の領域に対応する彩度である代表彩度を決定する代表彩度決定部として機能させるための画像処理プログラムであって、前記彩度変換部は、前記代表彩度決定部で決定された代表彩度と異なる彩度を示す画素について、（１）式に基づいて彩度を変換する、画像処理プログラムである。
Ｓ’（ｘ、ｙ）＝（Ｓ（ｘ、ｙ）−ｓｂａｒ）×α＋ｓｂａｒ （１）
（但し、変換前の彩度をＳ（ｘ、ｙ）、変換後の彩度をＳ’（ｘ、ｙ）、前記代表彩度をｓｂａｒ、前記所定の値を前記画像中の彩度の最大値と最小値との差で割った値をαとする。）

【発明の効果】

【0008】

本発明の態様によれば、画像処理装置及び画像処理プログラムは、彩度を調整する際に、不自然な彩度となってしまうことを防ぐことが出来る。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態における画像処理装置１０の構成を示す概略ブロック図である。

【図2】同実施形態における入力画像Ｉの彩度の分布ｓｄと、補正画像Ｉ’の彩度の分布ｓｄ’とを比較する図である。

【発明を実施するための形態】

【0010】

本発明の一実施形態について図面を参照して詳細に説明する。図１は、画像処理装置１０の構成を示す概略ブロック図である。画像処理装置１０は、入力された原画像Ｉに対して、彩度（色の鮮やかさ）の調整を目的として、彩度を補正し、該補正結果である補正画像Ｉ’を出力する。画像処理装置１０は、彩度算出部１１と、注目領域設定部１２と、平均彩度算出部１３と、彩度変換部１７とを含んで構成される。

【0011】

彩度指標生成部１１には、原画像Ｉを構成する画素各々の赤、緑、青各々の画素値が入力される。輝度値生成部１１は、画素毎に、式（１）のように、該画素の赤、緑、青の画素値のうちの最大値Ｍから最小値ｍを引いた値Sを、該画素の彩度として算出する。
S（ｘ、ｙ）＝Ｍ−ｍ ・・・（１）
ただし、Ｍ＝ＭＡＸ［Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）］、ｍ＝ＭＩＮ［Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）］である。ＭＡＸ［］は、括弧内の最大値を返す関数であり、ＭＩＮ［］は、括弧内の最小値を返す関数である。Ｒ（ｘ、ｙ）は、座標（ｘ、ｙ）の画素の赤の画素値であり、Ｇ（ｘ、ｙ）は、座標（ｘ、ｙ）の画素の緑の画素値であり、Ｂ（ｘ、ｙ）は、座標（ｘ、ｙ）の画素の青の画素値である。

【0012】

なお、本実施形態では、式（１）を用いて彩度を算出するが、例えば、式（２）や式（３）を用いて算出してもよい。
Ｓ＝（Ｍ−ｍ）／（１−｜Ｍ＋ｍ−１｜） ・・・（２）
Ｓ＝（Ｍ−ｍ）／Ｍ ・・・（３）
ただし、式（２）を用いる場合、Ｍ＝ｍ＝０またはＭ＝ｍ＝１のときは、Ｓ＝０である。また、式（３）を用いる場合、Ｍ＝ｍ＝０のときは、Ｓ＝０である。

【0013】

注目領域設定部１２は、入力画像中において、彩度が適度であると思われる注目領域を指定する。該注目領域の指定は、ユーザが、入力画像を見て判断して行っても良いし、注目領域設定部１２が、注目領域を示す情報を予め記憶しており、該情報を読み出すことで行っても良い。なお、主要被写体については彩度が適度になっていることが多いので、上述の情報は、主要被写体が占めていることが多い、画像の中央部を示していることが望ましい。なお、注目領域設定部１２は、入力画像に対して顔検出などを行って、主要被写体の領域を検出し、該注目領域を指定するようにしてもよい。

【0014】

平均彩度算出部１３（代表彩度決定部）は、注目領域設定部１２が指定した注目領域の彩度を代表する値として、注目領域における彩度の平均値ｓｂａｒを算出する。なお、本実施形態では、注目領域の彩度を代表する値として、平均値を用いるが、最頻値や、中央値など、その他の値を用いるようにしてもよい。

【0015】

彩度変換部１７は、彩度算出部１１が算出した各画素の彩度と、平均彩度算出部１３が算出した注目領域の彩度の平均値とを用いて、入力画像の彩度を調整し、補正画像I'を生成する。このとき、彩度変換部１７は、入力画像の彩度の分布幅が、所定の幅になり、かつ、彩度が注目領域の平均値と一致する画素の彩度が保存されるように、入力画像を構成する画素各々の画素値を変換することで、彩度を調整する。なお、本明細書において彩度の分布幅とは、画像中の彩度の最大値と最小値との差で定義される。以下、彩度変換部１７の詳細について説明する。

【0016】

彩度変換部１７は、最小値最大値算出部１４、変換係数算出部１５、画素値変換部１６を含んで構成される。最小値最大値算出部１４は、彩度の分布幅が所定の幅ｗ＿ｔａｒｇｅｔとなるように、彩度調整後の彩度の最小値と、最大値とを算出する。所定の幅ｗ＿ｔａｒｇｅｔは、ユーザが指定するようにしてもよいし、例えば、彩度の取り得る範囲の幅など、予め決められていても良い。本実施形態において、最小値最大値算出部１４による彩度調整後の最小値ｓ’＿ｍｉｎの算出式は、式（４）であり、最大値ｓ’＿ｍａｘの算出式は、式（５）である。
ｓ’＿ｍｉｎ＝ｓｂａｒ−α（ｓｂａｒ−ｓｍｉｎ） ・・・（４）
ｓ’＿ｍａｘ＝ｓｂａｒ＋α（ｓｍａｘ−ｓｂａｒ） ・・・（５）

【0017】

ここで、ｓｂａｒは、平均彩度算出部１３が算出した平均値であり、ｓｍｉｎは、彩度算出部１１が算出した入力画像の彩度のうちの最小値であり、ｓｍａｘは、彩度算出部１１が算出した入力画像の彩度のうちの最大値である。また、αは、式（６）のように、所定の幅ｗ＿ｔａｒｇｅｔを、入力画像の彩度の分布幅（ｓｍａｘ−ｓｍｉｎ）で割った値である。
α＝ｗ＿ｔａｒｇｅｔ／（ｓｍａｘ−ｓｍｉｎ） ・・・（６）

【0018】

なお、式（４）の右辺が負の値となるときは、最小値最大値算出部１４は、最小値ｓ’＿ｍｉｎと、最大値ｓ’＿ｍａｘは、以下の式（７）、（８）とする。
ｓ’＿ｍｉｎ＝０ ・・・（７）
ｓ’＿ｍａｘ＝ｗ＿ｔａｒｇｅｔ ・・・（８）

【0019】

変換係数算出部１５は、画素各々について、彩度の変換係数β（ｘ、ｙ）を算出する。変換係数βを算出するために、まず、変換係数算出部１５は、彩度調整後に、画素各々がとるべき彩度Ｓ’（ｘ、ｙ）を、該画素の彩度Ｓ（ｘ、ｙ）がｓｂａｒ以上のときは式（９）を用いて、Ｓ（ｘ、ｙ）がｓｂａｒ未満のときは式（１０）を用いて算出する。
Ｓ’（ｘ、ｙ）＝（Ｓ（ｘ、ｙ）−ｓｂａｒ）×（ｓ’＿ｍａｘ−ｓｂａｒ）／（ｓｍａｘ−ｓｂａｒ）＋ｓｂａｒ ・・・（９）
Ｓ’（ｘ、ｙ）＝（Ｓ（ｘ、ｙ）−ｓｂａｒ）×（ｓ’＿ｍｉｎ−ｓｂａｒ）／（ｓｍｉｎ−ｓｂａｒ）＋ｓｂａｒ ・・・（１０）

【0020】

なお、式（９）に、式（５）を代入した式も、式（１０）に、式（４）を代入した式も、下記の式（９’）となる。
Ｓ’（ｘ、ｙ）＝（Ｓ（ｘ、ｙ）−ｓｂａｒ）×α＋ｓｂａｒ ・・・（９’）
したがって、本実施形態では、式（４）の右辺が０以上であるときは、とるべき彩度は、当該画素の彩度から代表彩度である平均値ｓｂａｒを引いた値に、倍率αを乗じた後、平均値ｓｂａｒを加えた値である。

【0021】

一方、式（９）に、式（８）を代入した式は、式（９”）となり、式（１０）に、式（７）を代入した式は、式（１０”）となる。
Ｓ’（ｘ、ｙ）＝（Ｓ（ｘ、ｙ）−ｓｂａｒ）×（ｗ＿ｔａｒｇｅｔ−ｓｂａｒ）／（ｓｍａｘ−ｓｂａｒ）＋ｓｂａｒ ・・・（９”）
Ｓ’（ｘ、ｙ）＝（Ｓ（ｘ、ｙ）−ｓｂａｒ）×ｓｂａｒ／（ｓｂａｒ−ｓｍｉｎ）＋ｓｂａｒ ・・・（１０”）

【0022】

したがって、式（４）の右辺が負の値であるときは、代表彩度である平均値ｓｂａｒよりも彩度が小さい画素については、倍率αに変えて、平均値ｓｂａｒを、平均値ｓｂａｒと最小値ｓｍｉｎとの差で割った値を用いて、とるべき彩度を算出する。また、平均値ｓｂａｒよりも彩度が大きい画素については、倍率αに変えて、所定の幅ｗ＿ｔａｒｇｅｔから平均値ｓｂａｒを引いた値を、最大値ｓｍｉｎから平均値ｓｂａｒを引いた値で割った値を用いて、とるべき彩度を算出する。

【0023】

変換係数算出部１５は、式（１１）のように、該画素がとるべき彩度Ｓ’（ｘ、ｙ）を、該画素の彩度Ｓ（ｘ、ｙ）で割ることで、変換係数β（ｘ、ｙ）を算出する。
β（ｘ、ｙ）＝Ｓ’（ｘ、ｙ）／Ｓ（ｘ、ｙ） ・・・（１１）

【0024】

画素値変換部１６は、式（１２）を用いて、彩度調整後の各画素の赤、緑、青の画素値Ｉ’（ｘ、ｙ）を算出し、補正画像Ｉ’として出力する。この式（１２）を用いることで、ｇ（ｘ、ｙ）の値を保存しつつ、彩度がＳ’（ｘ、ｙ）となるように画素値を変換することができる。
Ｉ’（ｘ、ｙ）＝β（ｘ、ｙ）×（Ｉ（ｘ、ｙ）−ｇ（ｘ、ｙ））＋ｇ（ｘ、ｙ） ・・・（１２）
ここで、Ｉ（ｘ、ｙ）は、Ｉ’（ｘ、ｙ）が赤の画素値であるときは、入力画像Ｉの該画素の赤の画素値であり、緑の画素値であるときは、入力画像Ｉの該画素の緑の画素値であり、青の画素値であるときは、入力画像Ｉの該画素の青の画素値である。

【0025】

また、ｇ（ｘ、ｙ）は、該画素の画素値の線形結合により算出される値であり、例えば、式（１３）により算出される輝度値であってもよいし、赤、緑、青のうちの最大値である明度であってもよい。
ｇ（ｘ、ｙ）＝０．２９９×Ｒ（ｘ、ｙ）＋０．５８７×Ｇ（ｘ、ｙ）＋０．１１４×Ｂ（ｘ、ｙ） ・・・（１３）
なお、式（１３）において、Ｒ（ｘ、ｙ）は、該画素の赤の画素値、Ｇ（ｘ、ｙ）は、該画素の緑の画素値、Ｂ（ｘ、ｙ）は、該画素の青の画素値である。

【0026】

図２は、入力画像Ｉの彩度の分布ｓｄと、補正画像Ｉ’の彩度の分布ｓｄ’とを比較する図である。図２において、横軸は、彩度であり、縦軸は頻度である。また、実線のグラフｓｄは、入力画像Ｉの一例の彩度の分布である。そして、一点鎖線のグラフｓｄ’は、該入力画像Ｉの一例を、画像処理装置１０が彩度調整した結果である補正画像Ｉ’の一例の彩度の分布である。このように、画像処理装置１０が彩度調整した結果の分布ｓｄ’は、元の分布ｓｄを、注目領域の平均彩度ｓｂａｒを中心にして、所定の幅に変換したものとなっている。

【0027】

なお、本実施形態では、原画像Ｉが、該原画像Ｉを構成する画素各々の赤、緑、青の画素値により表される場合を説明したが、輝度値と、赤の色差値、青の色差値で表されるＹＵＶ形式など、他の形式により表される場合でも、本実施形態と同様にして彩度を調整することができる。

【0028】

また、本実施形態では、彩度変換部１７は、各画素の彩度と、平均彩度との差を、αなどの所定の倍率で拡大しているが、これに限らない。例えば、該差の大きさに応じて、該倍率が変わるようにしてもよい。例えば、Ｓ（ｘ、ｙ）がｓｂａｒよりも大きいときは、該倍率を該所定の倍率の（Ｓ（ｘ、ｙ）−ｓｂａｒ）／（ｓｍａｘ−ｓｂａｒ）乗とし、Ｓ（ｘ、ｙ）がｓｂａｒよりも小さいときは、該倍率を該所定の倍率の（Ｓ（ｘ、ｙ）−ｓｂａｒ）／（ｓｍｉｎ−ｓｂａｒ）乗としてもよい。

【0029】

このように、本実施形態では、平均彩度算出部１３が、入力画像Ｉの注目領域を代表する彩度である代表彩度として、注目領域の彩度の平均値を算出し、彩度調整部１７が、入力画像Ｉの彩度の分布幅が、所定の幅ｗ＿ｔａｒｇｅｔになり、かつ、彩度が上述の平均値と一致する画素の彩度が保存されるように、入力画像Ｉを構成する画素各々の画素値を変換する。
これにより、注目領域の彩度を大きく変化させることなく、画像全体の彩度が、所定の分布幅となるように、彩度を調整することができる。したがって、注目領域を、人が見たときに自然な彩度であると感じる彩度の領域とすることで、彩度を調整する際に、調整後の画像を見た人が不自然に感じる彩度となってしまうことを防ぐことができる。

【0030】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0031】

なお、上記に説明した画像処理装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

【0032】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【符号の説明】

【0033】

１０…画像処理装置 １１…彩度算出部 １２…注目領域設定部 １３…平均彩度算出部 １４…最小値最大値算出部 １５…変換係数算出部 １６…画素値変換部 １７…彩度調整部

【図1】

【図2】