(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023078866
(43)【公開日】2023-06-07
(54)【発明の名称】画像補正処理装置およびプログラム
(51)【国際特許分類】
H04N 9/64 20230101AFI20230531BHJP
H04N 1/60 20060101ALI20230531BHJP
【FI】
H04N9/64 Z
H04N1/60 020
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2021192175
(22)【出願日】2021-11-26
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100171446
【弁理士】
【氏名又は名称】高田 尚幸
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100171930
【弁理士】
【氏名又は名称】木下 郁一郎
(72)【発明者】
【氏名】野村 光佑
(72)【発明者】
【氏名】三橋 政次
(72)【発明者】
【氏名】山下 誉行
(72)【発明者】
【氏名】日下部 裕一
(72)【発明者】
【氏名】大出 訓史
【テーマコード(参考)】
5C066
5C079
【Fターム(参考)】
5C066AA11
5C066CA05
5C066CA17
5C066EB03
5C066EC01
5C079HB01
5C079HB08
5C079HB11
5C079LA02
5C079LB11
5C079NA06
5C079PA05
(57)【要約】
【課題】制作意図により、特定色の領域のみの彩度を低下させることのできる画像補正処理装置およびプログラムを提供する。
【解決手段】画像補正処理装置は、少なくとも、彩度補正処理部を備える。彩度補正処理部は、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターf
corを求め、当該画素の彩度を前記補正ファクターf
corに基づいて補正する。また、彩度補正処理部は、前記画素の少なくとも明度と色相角とに基づいて、前記明度の変化に対応して連続的に変化する前記補正ファクターf
corであって、且つ前記色相角の変化に対応して連続的に変化する前記補正ファクターf
cor、を決定し、当該画素の彩度に決定された前記補正ファクターf
corを乗ずることによって当該画素の彩度を補正する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、当該画素の彩度を前記補正ファクターfcorに基づいて補正する彩度補正処理部、
を備え、
前記彩度補正処理部は、前記画素の少なくとも明度と色相角とに基づいて、前記明度の変化に対応して連続的に変化する前記補正ファクターfcorであって、且つ前記色相角の変化に対応して連続的に変化する前記補正ファクターfcor、を決定し、当該画素の彩度に決定された前記補正ファクターfcorを乗ずることによって当該画素の彩度を補正する、
画像補正処理装置。
【請求項2】
入力されるハイ・ダイナミック・レンジ(HDR)映像が含む画像を、HDRに対応したCIELAB色空間の信号に変換して前記彩度補正処理部に渡す色空間変換処理部と、
前記彩度補正処理部によって処理された後のHDRに対応したCIELAB色空間の信号を、HDR映像に再変換して出力する色空間再変換処理部と、
をさらに備え、
前記彩度補正処理部は、前記色空間変換処理部から渡されるHDRに対応したCIELAB色空間の信号に基づいて前記画素の彩度を補正する、
請求項1に記載の画像補正処理装置。
【請求項3】
前記補正ファクターfcorは、前記画素の彩度を低下させる作用を有するものであり、
前記彩度補正処理部は、前記画素の補正前の彩度C*
abが高いほど前記補正ファクターfcorによる彩度の低下の度合いを小さくする、
請求項1または2に記載の画像補正処理装置。
【請求項4】
前記彩度補正処理部は、前記画素の補正前の彩度C*
abに応じて、前記補正ファクターfcorによる彩度の低下の度合いを表す減少関数値C*
funcを計算するものであり、
前記減少関数値C*
funcは、前記画素の補正前の彩度C*
abの増加に対して単調に減少するものであり、
前記画素の補正前の彩度C*
abが50以下の場合には、前記減少関数値C*
funcは0.95以上であり、
前記画素の補正前の彩度C*
abが150以上の場合には、前記減少関数値C*
funcは0.02以下であり、
前記彩度補正処理部は、前記画素の明度および色相角に基づいて決定される所定の値に、前記減少関数値C*
funcを乗ずることによって、前記補正ファクターfcorによる彩度の低下の度合いを求める、
請求項3に記載の画像補正処理装置。
【請求項5】
前記彩度補正処理部は、前記補正ファクターf
corを、下の数式;
【数1】
によって求めるものである(ただし、上の数式で算出した結果としてf
cor<0となる場合には、f
cor=0とする)、
(ただし、L
*
maxは明度の最大値であり、L
*は前記画素の明度(0≦L
*≦L
*
max)であり、L
*
fは前記画素の色相角h
abの変化に応じて連続的に変化するように決定される明度についての所定の変曲点の値であり、h
1およびh
4のそれぞれは補正対象とする色相角h
abの領域に応じて適宜定められるパラメーター(ただし、h
1≦h
4)であり、σ
fは前記画素の明度の変化に応じて連続的に変化するように決定される彩度補正パラメーターであり、C
*
funcは前記減少関数値である)
請求項4に記載の画像補正処理装置。
【請求項6】
画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、当該画素の彩度を前記補正ファクターfcorに基づいて補正する彩度補正処理部、
を備え、
前記彩度補正処理部は、前記画素の少なくとも明度と色相角とに基づいて、前記明度の変化に対応して連続的に変化する前記補正ファクターfcorであって、且つ前記色相角の変化に対応して連続的に変化する前記補正ファクターfcor、を決定し、当該画素の彩度に決定された前記補正ファクターfcorを乗ずることによって当該画素の彩度を補正する、
画像補正処理装置、としてコンピューターを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像補正処理装置およびプログラムに関する。
【背景技術】
【0002】
HDR映像(HDRは、「High Dynamic Range」(ハイ・ダイナミック・レンジ)の略)による放送番組は、番組間の明るさのばらつきを抑制するために、HDR基準白を考慮して制作されている。HLG方式(HLGは、「Hybrid Log Gamma」(ハイブリッド・ログ・ガンマ)の略)を用いた場合のHDR基準白は、75%のHLG映像信号レベル(以下において、「75%HLG」と称す場合がある)である。
【0003】
映像を構成するうえで人の顔の肌のレベルは重要である。特許文献1では、人の顔の肌のレベルは、HDR基準白を考慮した場合、45%HLGから55%HLGに収まることが報告されている。しかしながら、映像制作時の意図や人物と照明の条件が変化したときに、55%HLGよりも高いレベルで顔の肌が表現される場合もある。HLG方式では75%HLGで白くなるように明るさを調整するため、55%HLGから75%HLGまでの間で表現された肌は、肌色として彩度が保たれた状態となる。
【0004】
一方で、非特許文献1では、従来のSDR映像(SDRは、「Standard Dynamic Range」(スタンダード・ダイナミック・レンジ)の略)による番組制作において、人の顔肌レベルは、男性の場合よりも女性の場合の方が高いことが報告されている。
【先行技術文献】
【特許文献】
【0005】
【非特許文献】
【0006】
【非特許文献1】Report ITU-R BT.2408-3「Guidance for operational practices in HDR television production」,2019年7月,ITU-R(Radiocommunication Sector of ITU).
【発明の概要】
【発明が解決しようとする課題】
【0007】
SDR映像の番組において、女性の顔肌は、レベルが高くなればなるほど、階調表現を重視し低い彩度で表現される。これを特許文献1に記載された彩度補正処理で表現しようとした場合、肌色の多くは75%HLGに相当する明度よりも低く、彩度補正処理が適用されないため、肌色を低い彩度で表現できないという問題があった。
【0008】
また、彩度補正処理の変曲点である75%HLGに相当する明度を55%HLGに相当する明度に下げたとしても、すべての色相角で等しく彩度を低下させるため、顔肌以外の色の彩度が低下するという問題があった。
【0009】
肌色の色相角の範囲についてのみ彩度補正処理の変曲点を55%HLGに相当する明度に下げるという解決手段も考えられる。しかしながら、肌色の色相角から肌色以外の色相角へ切り替わる場合、またはその逆への切り替えの場合において、補正処理の数式が数学的に急峻な変換となる場合には、変換後の階調表現が不連続となってしまう場合もあった。また、明度と色相角とで肌色の範囲を限定する場合には、同じ色相角でありながら肌色と知覚されないような彩度の高い色までも補正処理の対象となってしまうという問題も起こり得る。
【0010】
本発明は、上記の課題認識に基づいて行なわれたものであり、制作意図に応じて、HDR番組制作における顔肌レベルを高くし、且つ従来のSDR番組制作における顔肌の表現のように彩度を低下させて表現したい場合に、特定色の領域のみの彩度を低下させることができ、さらに、彩度補正後における階調表現に不連続性が現れないようにしたり、補正処理によって目的とする色以外の色が補正されてしまうことのないようにしたりすることのできる画像補正処理装置およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【0011】
[1]上記の課題を解決するため、本発明の一態様による画像補正処理装置は、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、当該画素の彩度を前記補正ファクターfcorに基づいて補正する彩度補正処理部、を備える。前記彩度補正処理部は、前記画素の少なくとも明度と色相角とに基づいて、前記明度の変化に対応して連続的に変化する前記補正ファクターfcorであって、且つ前記色相角の変化に対応して連続的に変化する前記補正ファクターfcor、を決定し、当該画素の彩度に決定された前記補正ファクターfcorを乗ずることによって当該画素の彩度を補正する。
この構成により、画像補正処理装置は、画像内の画素の彩度に補正ファクターfcorを乗ずることによって画素の彩度を補正できる。また、補正ファクターfcorは、明度の変化に対応して連続的に変化するものであり、且つ色相角の変化に対応して連続的に変化するものである。したがって、補正後の画像内において不連続な階調の変化が生じない。
【0012】
[2]また、本発明の一態様は、上記の画像補正処理装置において、入力されるハイ・ダイナミック・レンジ(HDR)映像が含む画像を、HDRに対応したCIELAB色空間の信号に変換して前記彩度補正処理部に渡す色空間変換処理部と、前記彩度補正処理部によって処理された後のHDRに対応したCIELAB色空間の信号を、HDR映像に再変換して出力する色空間再変換処理部と、をさらに備え、前記彩度補正処理部は、前記色空間変換処理部から渡されるHDRに対応したCIELAB色空間の信号に基づいて前記画素の彩度を補正する。
ここで、色空間変換処理部は、CIELAB色空間HDR映像が含む画像を、75%HLGのシーン輝度が拡散白(明度100)に対応するようなCIELAB色空間の信号に変換する。75%HLGのシーン輝度が拡散白(明度100)に対応するようなCIELAB色空間を、「HDRに対応したCIELAB色空間」と称す。
また、彩度補正処理部は、色空間変換処理部から渡される上記のHDRに対応したCIELAB色空間の信号に基づいて画素の彩度を補正する。
なお、上記の通り、「HDR」は、「ハイ・ダイナミック・レンジ」の略である。
【0013】
[3]また、本発明の一態様は、上記の画像補正処理装置において、前記補正ファクターfcorは、前記画素の彩度を低下させる作用を有するものであり、前記彩度補正処理部は、前記画素の補正前の彩度C*
abが高いほど前記補正ファクターfcorによる彩度の低下の度合いを小さくする、というものである。
【0014】
[4]また、本発明の一態様は、上記の画像補正処理装置において、前記彩度補正処理部は、前記画素の補正前の彩度C*
abに応じて、前記補正ファクターfcorによる彩度の低下の度合いを表す減少関数値C*
funcを計算するものであり、前記減少関数値C*
funcは、前記画素の補正前の彩度C*
abの増加に対して単調に減少するものであり、前記画素の補正前の彩度C*
abが50以下の場合には、前記減少関数値C*
funcは0.95以上であり、前記画素の補正前の彩度C*
abが150以上の場合には、前記減少関数値C*
funcは0.02以下であり、前記彩度補正処理部は、前記画素の明度および色相角に基づいて決定される所定の値に、前記減少関数値C*
funcを乗ずることによって、前記補正ファクターfcorによる彩度の低下の度合いを求める。
【0015】
[5]また、本発明の一態様は、上記の画像補正処理装置において、前記彩度補正処理部は、前記補正ファクターfcorを、所定の数式によって求めるものである。ただし、その数式で算出した結果としてfcor<0となる場合には、強制的にfcor=0とする。なお、数式中に現れる値の意味は次の通りである。L*
maxは明度の最大値である。L*は前記画素の明度(0≦L*≦L*
max)である。L*
fは前記画素の色相角habの変化に応じて連続的に変化するように決定される明度についての所定の変曲点の値である。h1およびh4のそれぞれは補正対象とする色相角habの領域に応じて適宜定められるパラメーター(ただし、h1≦h4)である。σfは前記画素の明度の変化に応じて連続的に変化するように決定される彩度補正パラメーターである。C*
funcは減少関数値である。
【0016】
[6]また、本発明の一態様は、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、当該画素の彩度を前記補正ファクターfcorに基づいて補正する彩度補正処理部、を備え、前記彩度補正処理部は、前記画素の少なくとも明度と色相角とに基づいて、前記明度の変化に対応して連続的に変化する前記補正ファクターfcorであって、且つ前記色相角の変化に対応して連続的に変化する前記補正ファクターfcor、を決定し、当該画素の彩度に決定された前記補正ファクターfcorを乗ずることによって当該画素の彩度を補正する、画像補正処理装置、としてコンピューターを機能させるためのプログラムである。
【発明の効果】
【0017】
本発明の画像補正処理装置によれば、色相および明度に関して特定の条件に合う領域のみについて、彩度の補正をすることが可能となる。
【図面の簡単な説明】
【0018】
【
図1】本発明の実施形態による画像補正処理装置の概略機能構成を示すブロック図である。
【
図2】同実施形態による画像補正処理装置の処理における色相角h
abと明度関数値L
*
fとの関係を示すグラフの一例である。
【
図3】同実施形態による画像補正処理装置の処理における色相角h
abと彩度補正パラメーター関数値σ
fとの関係を示すグラフの一例である。
【
図4】同実施形態による画像補正処理装置の処理における明度L
*と彩度補正パラメーターσ
fとの関係を示すグラフの例である。
【
図5】同実施形態による画像補正処理装置の処理において、彩度が高くなるほど肌色の補正処理を効きにくくする作用を持つ減少関数の入力と出力との関係の一例を示すグラフである。
【
図6】同実施形態による画像補正処理装置の処理の手順を示すフローチャートである。
【
図7】同実施形態による画像補正処理装置の内部構成の例を示すブロック図である。
【発明を実施するための形態】
【0019】
次に、本発明の一実施形態について、図面を参照しながら説明する。本実施形態の画像補正処理装置1は、入力されるHDR(ハイ・ダイナミック・レンジ)映像信号を補正する。具体的には、画像補正処理装置1は、HDR映像信号において人の顔の肌レベルが高く表現された場合に、彩度を低下させて階調を保持するように、画像内の肌色を補正する。なお、本実施形態において「肌色」とは、ペールオレンジ(pale orange)などとも呼ばれる色であり、日本をはじめとする極東地域等で多く見られる人の肌の色の呼び方である。画像補正処理装置1が処理の対象とする映像は、フレーム画像の時系列である。映像は、音声を伴うものであってもよいし、音声が付いていないものであってもよい。画像補正処理装置1が映像の信号を補正する際には、個々のフレーム画像についての補正を行う。
【0020】
本実施形態の画像補正処理装置1は、全体として、次のような処理を行う。即ち、画像補正処理装置1は、HDR映像信号を入力する。そして、画像補正処理装置1は、入力されたHDR映像信号を、リニア信号、HDRに対応したCIELAB色空間(CIE 1976 (L*, a*, b*)色空間)の信号に順次変換したうえで、肌色領域のみの彩度を補正する。そして、画像補正処理装置1は、彩度補正後の信号をHDR映像信号に変換し、そのHDR映像信号を出力する。画像補正処理装置1の機能構成と処理の詳細を次に説明する。
【0021】
図1は、本実施形態による画像補正処理装置の概略機能構成を示すブロック図である。図示するように、画像補正処理装置1は、色空間変換処理部21と、彩度補正処理部22と、色空間再変換処理部23とを含むように構成される。これらの各機能部は、電子回路を用いて実現され得る。画像補正処理装置1への入力信号および画像補正処理装置1からの出力信号は、電気信号であってよい。画像補正処理装置1の少なくとも一部を、コンピューターと、プログラムとで実現することも可能である。また、画像補正処理装置1の少なくとも一部を、専用の回路(ハードウェア)で実現することも可能である。各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、半導体メモリーを用いて実現される。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ(SSD)といった不揮発性の記憶手段を用いるようにしてもよい。
【0022】
画像補正処理装置1は、HDR映像信号(BT.2020の規格で標準化された信号)を入力し、信号の補正を行い、補正後のHDR映像信号を出力する。具体的には、画像補正処理装置1は、入力されるHDR映像信号のうち、顔肌レベルの高い領域のみの彩度を補正し、その補正後に信号を出力のためのHDR映像信号(入力された信号と同様に、BT.2020の規格で標準化された信号)に戻す構成を持つ。各部の詳細な機能は、次の通りである。
【0023】
色空間変換処理部21は、入力されるHDR入力映像信号を、HDRに対応したCIELAB色空間の信号に変換する。つまり、色空間変換処理部21は、入力されるHDR映像が含む画像を、HDRに対応したCIELAB色空間の信号に変換して、彩度補正処理部22に渡す。
なお、色空間変換処理部21は、CIELAB色空間HDR映像が含む画像を、75%HLGのシーン輝度が拡散白(明度100)に対応するようなCIELAB色空間の信号に変換する。75%HLGのシーン輝度が拡散白(明度100)に対応するようなCIELAB色空間を、「HDRに対応したCIELAB色空間」と称す。
【0024】
具体的には、色空間変換処理部21は、HDR入力映像信号E′hin={R′HDRin,G′HDRin,B′HDRin}に、HDR方式に準拠したEOTF関数(電気光伝達関数)を適用することにより、ディスプレイ輝度信号FdHDRin={RHDRin,GHDRin,BHDRin}を得る。さらに、色空間変換処理部21は、上記のディスプレイ輝度信号FdHDRinを、マトリクス演算により、三刺激値XHDRinYHDRinZHDRinに変換する。さらに、色空間変換処理部21は、この三刺激値を、HDRに対応したCIELAB色空間の信号に変換する。色空間変換処理部21のこの処理により、明度L*と色座標a*、b*が算出される。
【0025】
なお、a*は、赤方向(a*の正の方向)および緑方向(a*の負の方向)の度合いを示す値である。また、b*は、黄方向(b*の正の方向)および青方向(b*の負の方向)の度合いを示す値である。色座標a*、b*の値が決まると、色相角および彩度が決まる。
【0026】
この処理の際、色空間変換処理部21は、RGBリニア信号を得るために、HDR方式に準拠した逆OETF関数を用いて、シーン輝度信号に変換して、さらに75%HLGのシーン輝度が拡散白(明度100)に対応するようなCIELAB色空間へ変換してもよい。
【0027】
なお、色空間変換処理部21の処理自体は、従来技術に属するものであり、例えば特許文献1に記載されている処理と等価なものである。
【0028】
色空間変換処理部21は、上記の処理で得られたHDRに対応したCIELAB空間の信号を、彩度補正処理部22に渡す。
【0029】
彩度補正処理部22は、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、当該画素の彩度を前記補正ファクターfcorに基づいて補正する。彩度補正処理部22は、前記画素の少なくとも明度と色相角とに基づいて、前記明度の変化に対応して連続的に変化する前記補正ファクターfcorであって、且つ前記色相角の変化に対応して連続的に変化する前記補正ファクターfcor、を決定する。彩度補正処理部22は、当該画素の彩度に決定された前記補正ファクターfcorを乗ずることによって当該画素の彩度を補正する。彩度補正処理部22は、色空間変換処理部21から渡される上記のHDRに対応したCIELAB色空間の信号に基づいて画素の彩度を補正する。
【0030】
本実施形態の彩度補正処理部22は、肌色の領域を対象として彩度の補正を行う。具体的には、彩度補正処理部22は、HDRに対応したCIELAB空間において、55%HLGを超える肌色領域のみの彩度を等明度・等色相変換により補正する処理を行う。HDR信号をHDRに対応したCIELAB色空間に変換した場合に、55%HLGを超える肌色領域は、明度がL*
minからL*
maxまでの範囲内、且つ色相角がhab,minからhab,maxまでの範囲内に収まる。ここで、明度L*
minは55%HLGに相当する明度であり、ディスプレイ輝度から算出した場合はL*
min=63、シーン輝度から算出した場合はL*
min=76である。明度L*
maxは映像信号の上限値109%HLGに相当する明度であり、ディスプレイ輝度から算出した場合はL*
max=224、シーン輝度から算出した場合はL*
max=217である。HDRに対応したCIELAB色空間における肌色の色相角の範囲の下限値hab,minと上限値hab,maxは、hab,min=35°、hab,max=65°である。ここでは、L*
min、L*
max、hab,min、そしてhab,maxを固定値として説明したが、これらのそれぞれをユーザーが自由に設定可能なパラメーターとしてもよい。また、映像信号の上限値を109%HLGとしたが、100%HLGとしてもよい。
【0031】
彩度補正処理部22による彩度補正処理では、下の式(1)に示すように、クロマC*
abと色相角habを算出し、色相角habがhab≧hab,minかつhab≦hab,maxの範囲で、明度L*がL*>L*
minとなるときのみ、肌色の彩度を低下させるための補正ファクターfcorを算出してもよい。ただし、式(1)による計算の結果としてfcor<0となる場合には、強制的にfcor=0とする。
【0032】
また、式(1)に示すように、上記の条件を満たさない場合には補正ファクターfcorの値を1とする(彩度を補正しない)。
【0033】
【0034】
なお、式(1)において、σは、任意に調整可能なユーザーパラメーターであり、σ≧0である。
【0035】
上記の式(1)のような補正を行う場合には、色相角habがhab,minまたはhab,maxの境界の部分で急激に(不連続に)彩度が低下するように変化する。このため、変換後の結果において階調表現の不連続性が生じる可能性がある。そこで、本実施形態では、変曲点となる明度が色相角に応じて連続的に変化するように、変曲点の明度L*
fを、下の式(2)に示すように関数化する。
【0036】
【0037】
ここで、L*
refは、75%HLGに相当する明度である。また、L*
ipは、55%HLGに相当する明度である。また、h1、h2、h3、h4のそれぞれは、変曲点となる明度の色相角側の変曲点となる色相角である。h1、h2、h3、h4は、h1≦hab,min≦h2、h3≦hab,max≦h4、h1≦h2<h3≦h4、の関係をそれぞれ満たす限りにおいて、ユーザーが任意に調整可能なユーザーパラメーターである。特に、h1=h2またはh3=h4となる場合を除外して、h1<h2<h3<h4の場合に限定する制約を設けてもよい。一例として、h1=34°、h2=38°、h3=62°、h4=66°などとしてよい。
【0038】
図2は、上記の例(h
1=34°、h
2=38°、h
3=62°、h
4=66°)の場合の、色相角h
abと明度関数値L
*
fとの関係を示すグラフである。このグラフにおいて、横軸は色相角h
abでありその単位は度(°)である。色相角h
abの範囲を、0≦h
ab<360としている。また、縦軸は、明度L
*
fである。明度L
*
fは、色相角h
abに応じて定まる変曲点である。このグラフにおいて、太い実線は、本実施形態による変曲点の明度(式(2))を示す。また、細い実線は、式(1)を用いた場合の変曲点の明度を示す。また、破線は、L
*
ref(75%HLGに相当する明度)を示す。また、一点鎖線は、L
*
ip(55%HLGに相当する明度)を示す。なお、図示する通り、L
*
ref=100であり、L
*
ip=63である。
【0039】
式(1)を用いる場合(細い実線のグラフ)には、色相角hab,minおよびhab,maxにおいて変曲点の明度L*
fが不連続的に変化してしまう。これに対して、式(2)を用いる場合(太い実線のグラフ)には、色相角hab,minおよびhab,maxのそれぞれの付近において、変曲点の明度L*
fが連続的に変化するようにしている。
【0040】
つまり、太い実線のグラフでは、色相角habが0°からh1までは、変曲点の明度L*
fはL*
ref(75%HLGに相当する明度)で一定である。色相角habがh1からh2までの間で(h1≦hab,min≦h2である)、変曲点の明度L*
fは、L*
ref(75%HLGに相当する明度)からL*
ip(55%HLGに相当する明度)まで、直線状に変化する(下がる)。色相角habがh2からh3までは、変曲点の明度L*
fはL*
ip(55%HLGに相当する明度)で一定である。色相角habがh3からh4までの間で(h3≦hab,max≦h4である)、変曲点の明度L*
fは、L*
ip(55%HLGに相当する明度)からL*
ref(75%HLGに相当する明度)まで、直線状に変化する(上がる)。色相角habがh4よりも大きい領域では、再び、変曲点の明度L*
fはL*
ref(75%HLGに相当する明度)で一定である。
【0041】
なお、変曲点の明度L*
fをこのグラフのように部分ごと(色相角habの範囲ごと)に直線状に変化させる方法は、一例であり、必ずしもこのような方法によらなくてもよい。ただし、このグラフのように(式(2)のように)変曲点の明度L*
fを決定する方法では、計算を単純化することができる。
【0042】
つまり、変曲点の明度L*
fを求める関数の一例として上で式(2)を示したが、一般化すると、変曲点の明度L*
fを求める関数は、次のようなものであることが望ましい。即ち、変曲点の明度L*
fを求める関数は、色相角habの定義域の全領域に渡って連続な関数であることが望ましい。また、h1≦hab≦h2の領域において、変曲点の明度L*
fは、L*
ref(またはその近傍)からL*
ip(またはその近傍)に向けて減少する(単調減少であってよい)。なお、h1≦hab≦h2の領域内には、hab=hab,minの点が含まれる。また、h2<hab<h3の領域において、変曲点の明度L*
fは、L*
ip(またはその近傍)において一定(またはほぼ一定)である。また、h3≦hab≦h4の領域において、変曲点の明度L*
fは、L*
ip(またはその近傍)からL*
ref(またはその近傍)に向けて増加する(単調増加であってよい)。なお、h3≦hab≦h4の領域内には、hab=hab,maxの点が含まれる。そして、その他の領域(即ち、hab<h1およびh4<hab)において、変曲点の明度L*
fは、L*
ref(またはその近傍)において一定(またはほぼ一定)である。
【0043】
次に、上記のL*
fを変曲点として彩度を補正する量を決定する。式(1)を用いて補正を行う場合には彩度補正パラメーターとして、ユーザーが任意に調整するσ(ただし、σ>0)を用いることもできる。しかしながら、上の式(2)の場合には明度の変曲点が連続的に変化するため、その変化に応じて彩度補正パラメーターも変化することが望ましい。そこで、彩度補正パラメーターも、変曲点の明度L*
fの値に応じて変化するように関数化する。例えば下の式(3)のように、彩度補正パラメーターσfを決定する。
【0044】
【0045】
式(3)において、σ1およびσ2は、適宜設定されるパラメーターである。σ1およびσ2の値は、σ1≦σ2をそれぞれ満たす範囲内で、ユーザーが任意に調整可能である。なお、式(3)を用いて算出されるσfの値がσf<1となる場合には、σf=1としてよい。
【0046】
図3は、一例としてσ
1=1、σ
2=2とした場合の、色相角h
abと彩度補正パラメーター関数値σ
fとの関係を示すグラフである。このグラフにおいて、横軸は色相角h
abでありその単位は度(°)でる。なお、定義域を0≦h
ab<360としている。また、縦軸は、彩度補正パラメーターσ
fである。
【0047】
図3に示す太い実線のグラフは、本実施形態による彩度補正パラメーターσ
fであり、式(3)で算出されるものである。また、細い実線のグラフは、比較対象であり、式(1)を用いる場合の彩度は正パラメーターの一例(σ
f=1.0で一定)である。
【0048】
図3の太い実線のグラフで示している彩度補正パラメーターσ
fは、
図2のグラフで示した明度L
*
fについての一次式で算出されるものである。つまり、色相角h
abが0°からh
1までは、彩度補正パラメーターσ
fは1.0で一定である。色相角h
abがh
1からh
2までの間で、彩度補正パラメーターσ
fは、1.0から2.0まで、直線状に変化する(上がる)。色相角h
abがh
2からh
3まででは、彩度補正パラメーターσ
fは2.0で一定である。色相角h
abがh
3からh
4までの間で、彩度補正パラメーターσ
fは、2.0から1.0まで、直線状に変化する(下がる)。色相角h
abがh
4よりも大きい領域では、再び、彩度補正パラメーターσ
fは1.0で一定である。
【0049】
図4は、明度L
*と彩度補正パラメーターσ
fの例との関係を示すグラフである。同図に示すグラフG0は、従来技術を用いる場合の彩度補正パラメーターを示し、その値は明度L
*に依らず1.0で一定である。グラフG1は、本実施形態において、σ
1=1、σ
2=2とする場合の彩度補正パラメーターを示す。グラフG1では、明度L
*=L
*
ip(=63)のときにσ
f=2.0であり、L
*
ip<L
*<L
*
refにおいてσ
fは2.0から1.0まで直線状に変化し、L
*≧L
*
ref(=100)においてはσ
f=1.0で一定である。グラフG2は、本実施形態において、σ
1=1、σ
2=3とする場合の彩度補正パラメーターを示す。グラフG2では、明度L
*=L
*
ip(=63)のときにσ
f=3.0であり、L
*
ip<L
*<L
*
refにおいてσ
fは3.0から1.0まで直線状に変化し、L
*≧L
*
ref(=100)においてはσ
f=1.0で一定である。グラフG3は、本実施形態において、σ
1=1、σ
2=4とする場合の彩度補正パラメーターを示す。グラフG2では、明度L
*=L
*
ip(=63)のときにσ
f=4.0であり、L
*
ip<L
*<L
*
refにおいてσ
fは4.0から1.0まで直線状に変化し、L
*≧L
*
ref(=100)においてはσ
f=1.0で一定である。なお、
図4において例示したσ
1とσ
2の値の組合せ以外の場合にも、式(3)(ただし、σ
fの下限値は1.0)によって彩度補正パラメーターσ
fは求められる。
【0050】
彩度補正処理部22は、さらに、肌色の色相角の範囲の中で肌色と知覚されない彩度の高い色の彩度を変更せずに維持するような補正処理を行う。そのために、彩度補正処理部22は、彩度が高くなるほど肌色の補正処理が効きにくくなるような減少関数を用いた計算を行う。
【0051】
図5は、彩度が高くなるほど肌色の補正処理を効きにくくする作用を持つ減少関数の入力と出力との関係の一例を示すグラフである。このグラフにおいて、横軸は関数への入力値である彩度C
*
abに対応し、縦軸は関数からの出力値である係数C
*
funcに対応する。
【0052】
この減少関数の作用は次の通りである。即ち、図示するように、55%HLGを超える肌色が存在する0≦C*
ab≦50の領域では、減少関数値C*
funcは0.95を超える。つまり、C*
abが50程度以下の場合には、肌色補正処理がよく効く。そして、この減少関数は、C*
ab>50の領域では、減少関数値C*
funcが急峻に減少する特性を持つ。つまり、C*
abが50を超える場合には、肌色補正処理が効きにくくなる。特に、C*
ab≧150の領域では、減少関数値C*
funcは0.02以下であり、0に限りなく近い。つまり、C*
abが150以上である場合には、肌色補正処理がほぼ効かない。
【0053】
上記のような要件を満たす減少関数としては、例えばシグモイド関数を用いて、下の式(4)のような関数を実現することができる。
【0054】
【0055】
式(4)におけるC*
cusp,minは、HDRに対応したCIELAB空間における式(2)で規定した肌色補正処理を適用する色相角の範囲h1≦hab≦h4における色域境界となる彩度のうちの、最も小さい彩度である。例えばh1=34°、h4=66°とした場合、C*
cusp,minは約253.3であり、そのときの色相角は66°である。
【0056】
彩度補正処理部22は、ここまでに説明した明度関数L*
fと、彩度補正パラメーター関数σfと、減少関数C*
funcとを用いて、肌色の彩度を低下させるための補正ファクターfcorを求める。補正ファクターfcorは、例えば下の式(5)を用いて算出される。
【0057】
【0058】
ただし、式(5)で算出した結果としてfcor<0となる場合には、強制的にfcor=0とする。そして、彩度補正処理部22は、上記の補正ファクターfcorをクロマC*
abに乗算して、補正後のクロマC*
ab,corを得る。即ち、下の式(6)の通りである。
【0059】
C*
ab,cor=C*
ab×fcor (6)
【0060】
式(5)にも表しているように、補正ファクターfcorは、画素の彩度を低下させる作用を有するものである。つまり、彩度補正処理部22は、画素の補正前の彩度C*
abが高いほど補正ファクターfcorによる彩度の低下の度合いを小さくする。
【0061】
その具体的な処理の方法として、彩度補正処理部22は、画素の補正前の彩度C
*
abに応じて、減少関数値C
*
funcを計算する。即ち、減少関数は、画素の補正前の彩度C
*
abに応じた関数である。減少関数値C
*
funcは、補正ファクターf
corによる彩度の低下の度合いを表す。
図5の例を参照しながら既に説明したように、減少関数値C
*
funcは、画素の補正前の彩度C
*
abの増加に対して単調に減少するものである(単調減少関数)。一例として、この減少関数は、次のようなものである。即ち、画素の補正前の彩度C
*
abが50以下の場合には減少関数値C
*
funcは0.95以上であり、画素の補正前の彩度C
*
abが150以上の場合には前記減少関数値C
*
funcは0.02以下である。つまり、この例では、50≦C
*
ab≦150の領域において減少関数値C
*
funcは急峻に減少する。これにより、彩度の高い画素においては彩度補正の効果が限定され、彩度の低い画素においては彩度補正の効果が強く現れる。なお、彩度補正処理部22は、画素の明度および色相角に基づいて決定される所定の値(式(5)におけるσ
fと(L
*-L
*
f)/(L
*
max-L
*
f)との積)に、減少関数値C
*
funcを乗ずることによって、補正ファクターf
corによる彩度の低下の度合いを求める。
【0062】
彩度補正処理部22は、前述の通り、補正ファクターfcorを、式(5)によって求める。ただし、式(5)で算出した結果としてfcor<0となる場合には、強制的にfcor=0とする。なお、数式中に現れる値の意味は次の通りである。L*
maxは明度の最大値である。L*は前記画素の明度(0≦L*≦L*
max)である。L*
fは前記画素の色相角habの変化に応じて連続的に変化するように決定される明度についての所定の変曲点の値である。h1およびh4のそれぞれは補正対象とする色相角habの領域に応じて適宜定められるパラメーター(ただし、h1≦h4)である。σfは前記画素の明度の変化に応じて連続的に変化するように決定される彩度補正パラメーターである。C*
funcは減少関数値である。
【0063】
彩度補正処理部22は、補正後のクロマC*
ab,corと、明度L*と、色相角habとにより、補正後のLAB信号を算出する。
【0064】
なお、彩度補正処理部22は、上記の補正対象の条件を満たす領域以外については、彩度の補正を行わない。
【0065】
彩度補正処理部22は、彩度補正処理後の映像信号を、色空間再変換処理部23に渡す。
【0066】
色空間再変換処理部23は、彩度補正処理部22から渡される信号をHDR出力映像信号に変換し、出力する。つまり、色空間再変換処理部23は、彩度補正処理部22によって処理された後のHDRに対応したCIELAB色空間の信号を、HDR映像に再変換して出力する。
【0067】
具体的には、色空間再変換処理部23は、渡された彩度補正後の信号について、HDRに対応したCIELAB色空間から三刺激値XHDRoutYHDRoutZHDRoutへの変換を行う。さらに、色空間再変換処理部23は、マトリクス演算により、ディスプレイ輝度信号FdHDRout={RHDRout,GHDRout,BHDRout}への変換を行う。この処理は、HDR方式に準拠した逆EOTF関数で処理されたHDR出力映像信号E′hout={R′HDRout,G′HDRout,B′HDRout}を得る処理と同等の処理である。なお、色空間変換処理部21の処理においてシーン輝度信号への変換を行っていた場合には、ここで、色空間再変換処理部23は、HDR方式に準拠したOETF関数で映像信号に変換する。
【0068】
図6は、画像補正処理装置1の処理の手順を示すフローチャートである。図示するように、ステップS31において、色空間変換処理部21は、入力されるHDR入力映像信号を、HDRに対応したCIELAB色空間の信号に変換する。次にステップS32において、彩度補正処理部22は、ステップS31において変換されたCIELAB色空間の信号について、画像内の条件を満たす領域についての彩度を補正する。具体的には、彩度補正処理部22は、所定条件を満たす肌色領域について、彩度を補正する。次にステップS33において、色空間再変換処理部23は、ステップS32において補正後のCIELAB色空間の信号を、出力用のHDR出力映像信号に変換する。
【0069】
以上説明した処理過程により、画像補正処理装置1は、画像の補正を行うことができる。つまり、HDR番組制作における人物の顔肌レベルが、制作意図や性別などにより従来技術(特許文献1)で想定している映像信号レベルよりも大きくなったとしても、従来のSDR番組制作と同様な肌色を再現することが可能になる。また、画像補正処理装置1の処理により肌色の領域のみについて補正を行うことが可能となる。
【0070】
図7は、本実施形態の画像補正処理装置1の内部構成の例を示すブロック図である。画像補正処理装置1は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置901と、RAM902と、入出力ポート903と、入出力デバイス904や905等と、バス906と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置901は、RAM902等から読み込んだプログラムに含まれる命令を実行する。中央処理装置901は、各命令にしたがって、RAM902にデータを書き込んだり、RAM902からデータを読み出したり、算術演算や論理演算を行ったりする。RAM902は、データやプログラムを記憶する。RAM902に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、RAMは、「ランダムアクセスメモリー」の略である。入出力ポート903は、中央処理装置901が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス904や905は、入出力デバイスである。入出力デバイス904や905は、入出力ポート903を介して中央処理装置901との間でデータをやりとりする。バス906は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置901は、バス906を介してRAM902のデータを読んだり書いたりする。また、例えば、中央処理装置901は、バス906を介して入出力ポートにアクセスする。
【0071】
画像補正処理装置1の少なくとも一部の機能をコンピューターおよびプログラムで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM、DVD-ROM、USBメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の(non-transitory)コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0072】
以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
【0073】
上記実施形態では、各種パラメーター(L*
min、L*
max、hab,min、hab,max、h1、h2、h3、h4等)の値の具体例を説明したが、パラメーター値として、異なる値を用いてもよい。また、これらの値を可変としてもよい。
【0074】
上記実施形態では、肌色の領域を彩度補正の対象の領域としたが、その他の領域を彩度補正の対象としてもよい。領域に関する色の条件は、例えば、色座標a*,b*によって表される。領域に関する色の条件は、あるいは、色相角や彩度や明度によってあらわされてもよい。
【0075】
上記実施形態では、画像補正処理装置1は、色空間変換処理部21と、彩度補正処理部22と、色空間再変換処理部23とのすべてを備えるように構成されていた。変形例としては、画像補正処理装置1は、彩度補正処理部22だけを備えていてもよい。その場合にも、本実施形態と同様の彩度の補正自体を行うことは可能である。なお、画像補正処理装置1の外部の装置に、色空間変換処理部21と、色空間再変換処理部23とのそれぞれに相当する機能が設けられていてもよい。
【0076】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0077】
以上説明したように、本実施形態(変形例を含む)の画像補正処理装置1によれば、画像内の特定の条件を満たす領域のみについて、彩度の補正を行うことが可能となる。より具体的には、画像補正処理装置1によれば、人の肌の色を有する領域のレベルが高くなった場合に、他の色の領域の彩度を維持しつつ、人の肌の色の領域のみを補正することが可能となる。これにより、入力されるHDR映像信号に含まれる肌の色を、従来のSDR映像信号における肌色と同様に表現することが可能となる。
【0078】
また、本実施形態(変形例を含む)の画像補正処理装置1によれば、画像内における補正処理の境界部分において処理結果の数値が連続になるようにしているため、補正後の画像においてなめらかな階調表現が可能になるという効果が得られる。
【0079】
本実施形態(変形例を含む)の画像補正処理装置1によれば、補正対象とする色(例えば、肌色)の領域と同じ色相角を有するがその補正対象の色には属さない(彩度が範囲外)色の画素について、補正後においても元の色が(ほぼ)維持されるようになるという効果が得られる。
【0080】
次に、本実施形態の効果について、数値データを示しながら説明する。下の表1、表2、および表3は、画像補正処理装置1への入力信号に含まれる画素の値に対応して、その画素の補正処理の結果である出力彩度値を、従来技術と本実施形態とで対比して示している。表1、表2、および表3において、R、G、Bは、それぞれ、HDR入力信号のRGB色空間におけるR(赤)成分、G(緑)成分、B(青)成分の画素値である。また、L*は明度、habは色相角、C*
abは彩度(入力側)である。また、C*
ab,outは、補正処理後の彩度である。
【0081】
【0082】
【0083】
【0084】
表1、表2、および表3は、それぞれ、色相角が36°、50°、および66°の場合のデータを示している。そして、これらの各色相角について、明度が65、90、120の3種類、そして彩度が40、80、120、160、200の5種類の15個(3×5)の入力信号を想定している。つまり、3種類の位相角で合計45個の入力信号を想定している。
【0085】
「従来技術1」は、特許文献1に記載された技術(彩度補正パラメーターσ=2で肌色補正を試みた場合)による結果(彩度の出力値)である。「従来技術2」は、特許文献1に記載された技術であって、彩度補正の変曲点を55%HLGに相当する明度へ変更した場合(同じく、彩度補正パラメーターσ=2で肌色補正を試みた場合)による結果(彩度の出力値)である。「本実施形態」は、上で既に説明した肌色補正を試みた場合の彩度の出力値を示している。なお、本実施形態による彩度補正処理でのパラメーター値は、h1=34°、h2=38°、h3=62°、h4=66°、σ1=1、σ2=2としている。
【0086】
表1から表3までに示した結果からわかるように、従来技術1では明度65や明度90の信号の肌色の彩度を低下させることができていないのに対して、本実施形態ではそれらの明度の信号の肌色の彩度を低下させることができている。また、従来技術2では彩度が高い場合(C*
abが、160あるいは200といった場合)にも補正後の彩度が下がってしまっているのに対して、本実施形態では彩度が高い場合には補正後にもその彩度をほぼ維持できている。これらの結果は、本実施形態の有効性を示すものである。
【産業上の利用可能性】
【0087】
本発明は、例えば、特定色を含む映像(HDR映像)の処理に利用することができる。より具体的には、本発明の画像補正処理装置は、例えば、撮像装置、映像信号変換装置、映像監視装置などの広い分野で利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。
【符号の説明】
【0088】
1 画像補正処理装置
21 色空間変換処理部
22 彩度補正処理部
23 色空間再変換処理部
901 中央処理装置
902 RAM
903 入出力ポート
904,905 入出力デバイス
906 バス