(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-10
(45)【発行日】2024-01-18
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
H04N 5/20 20060101AFI20240111BHJP
G06T 5/90 20240101ALI20240111BHJP
【FI】
H04N5/20
G06T5/00 730
(21)【出願番号】P 2022109985
(22)【出願日】2022-07-07
(62)【分割の表示】P 2019109023の分割
【原出願日】2019-06-11
【審査請求日】2022-08-08
(31)【優先権主張番号】P 2018125278
(32)【優先日】2018-06-29
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2018125046
(32)【優先日】2018-06-29
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2018207405
(32)【優先日】2018-11-02
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】香川 英嗣
(72)【発明者】
【氏名】矢澤 真耶
(72)【発明者】
【氏名】村澤 孝大
(72)【発明者】
【氏名】小川 修平
(72)【発明者】
【氏名】諏訪 徹哉
【審査官】豊田 好一
(56)【参考文献】
【文献】特開2006-094161(JP,A)
【文献】特開2001-169136(JP,A)
【文献】特開2007-082181(JP,A)
【文献】特開2017-146766(JP,A)
【文献】特開2013-179485(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/20
G06T 5/00
(57)【特許請求の範囲】
【請求項1】
入力画像データの各画素の輝度成分及び色差成分を取得する取得手段と、
変換処理を行う変換手段と、
前記変換処理によるコントラスト強度の低下を示す変換特性に基づき、前記輝度成分を補正する補正手段と、
補正後の前記輝度成分と、前記取得手段により取得された前記色差成分とに基づいて、各画素の補正後の画素値を生成する生成手段と、
前記入力画像データの輝度成分から高周波成分を抽出する抽出手段と、を有し、
前記変換処理は、入力画像に含まれる色を出力装置の色再現範囲に含まれるように変換する処理であり、
前記変換手段の前記変換処理の前に、前記補正手段は前記取得手段で取得された前記輝度成分を補正し、かつ、前記生成手段は各画素の前記補正後の画素値を生成し、
前記変換手段は、前記生成手段が生成した各画素の前記補正後の画素値の前記輝度成分と前記色差成分とに基づいて前記変換処理を行う、
ことを特徴とする画像処理装置。
【請求項2】
前記補正手段による補正に用いられる前記変換特性は、前記入力画像データの輝度成分から抽出された第1の高周波成分と、前記変換手段による前記入力画像データの変換処理後の輝度成分から抽出された第2の高周波成分と、に基づくことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記抽出手段は、
フィルタリング手段により前記入力画像データの輝度成分から第1の低周波成分を生成し、前記入力画像データの輝度成分から前記第1の低周波成分を減算することにより前記第1の高周波成分を抽出し、
前記フィルタリング手段により前記変換処理後の輝度成分から第2の低周波成分を生成し、前記変換処理後の輝度成分から前記第2の低周波成分を減算することにより前記第2の高周波成分を抽出する、
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記補正手段は、前記第1の高周波成分から前記第2の高周波成分を減算することにより補正の強度を決定することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記抽出手段は、
フィルタリング手段により前記入力画像データの輝度成分から第1の低周波成分を生成し、前記入力画像データの輝度成分を前記第1の低周波成分にて除算することにより前記第1の高周波成分を抽出し、
前記フィルタリング手段により前記変換処理後の輝度成分から第2の低周波成分を生成し、前記変換処理後の輝度成分を前記第2の低周波成分にて除算することにより前記第2の高周波成分を抽出する、
ことを特徴とする請求項2に記載の画像処理装置。
【請求項6】
前記補正手段は、前記第1の高周波成分を前記第2の高周波成分にて除算することにより補正の強度を決定することを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記抽出手段は、前記入力画像データの輝度成分の高周波成分として反射光成分を用い、低周波成分として照明光成分を用いることを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記入力画像データは、HDR画像データであり、
前記入力画像データに対してダイナミックレンジ圧縮を行う圧縮手段、をさらに有する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項9】
前記入力画像データは、HDR画像データであり、
前記変換手段による変換処理として、さらにダイナミックレンジ圧縮処理を含むことを特徴とする請求項1に記載の画像処理装置。
【請求項10】
前記補正手段による補正は、前記出力装置の色再現範囲に含まれない色に対する補正の強度が、前記出力装置の色再現範囲に含まれる色に対する補正の強度よりも強いことを特徴とする請求項1に記載の画像処理装置。
【請求項11】
前記出力装置は、記録媒体に画像を印刷する記録装置であることを特徴とする請求項1に記載の画像処理装置。
【請求項12】
前記入力画像データに基づいて前記出力装置が記録媒体に印刷した画像を観察する際の観察条件についての情報を入力する入力手段と、
前記入力手段が入力した観察条件についての情報に基づき、印刷された前記画像におけるコントラストの見えの度合に係るコントラスト特性を決定する決定手段と、
を更に有し、
前記補正手段による補正は、前記変換特性および前記決定手段によって決定されたコントラスト特性に基づいて、前記出力装置の色再現範囲に含まれない色に対する補正の強度が、前記出力装置の色再現範囲に含まれる色に対する補正の強度よりも強いことを特徴とする請求項11に記載の画像処理装置。
【請求項13】
前記補正手段は、前記入力画像データの低周波成分の輝度に基づいて、前記変換処理後の高周波成分の輝度が前記補正手段による補正後の画像における輝度範囲に含まれるように、前記入力画像データを補正することを特徴とする請求項1に記載の画像処理装置。
【請求項14】
前記補正手段は、前記変換処理後の低周波成分の輝度と前記変換処理後の高周波成分の輝度とに基づいて、前記補正を行うか否かを判定する判定手段、をさらに有することを特徴とする請求項1に記載の画像処理装置。
【請求項15】
前記入力画像データは、前記出力装置の色再現範囲に含まれない色を含むことを特徴とする請求項1に記載の画像処理装置。
【請求項16】
前記補正手段は、前記入力画像データの輝度成分の低周波成分に対しては前記変換処理の変換特性に基づく補正を行わないことを特徴とする請求項1に記載の画像処理装置。
【請求項17】
前記抽出手段は、0.5cycle/mm以上を高周波成分として抽出することを特徴とする請求項1に記載の画像処理装置。
【請求項18】
入力画像データの各画素の輝度成分及び色差成分を取得する取得工程と、
変換処理を行う変換工程と、
前記変換処理によるコントラスト強度の低下を示す変換特性に基づき、前記輝度成分を補正する補正工程と、
補正後の前記輝度成分と、前記取得工程において取得された前記色差成分とに基づいて、各画素の補正後の画素値を生成する生成工程と、
前記入力画像データの輝度成分から高周波成分を抽出する抽出工程と、を有し、
前記変換処理は、入力画像に含まれる色を出力装置の色再現範囲に含まれるように変換する処理であり、
前記変換工程の前記変換処理の前に、前記補正工程は前記取得工程で取得された前記輝度成分を補正し、かつ、前記生成工程は各画素の前記補正後の画素値を生成し、
前記変換工程は、前記生成工程が生成した各画素の前記補正後の画素値の前記輝度成分と前記色差成分とに基づいて前記変換処理を行う、
を有することを特徴とする画像処理方法。
【請求項19】
請求項18に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理装置、及びプログラムに関する。
【背景技術】
【0002】
近年、高輝度、且つ、広色域の再現範囲を持つHDR(High Dynamic Range)コンテンツが普及している。HDRコンテンツは、ピーク輝度が1000nit(1000cd/m
2)以上、色域がBT.2020(Rec.2020)の範囲で表現する。HDR画像データを用いて記録装置で記録する際には、記録装置が再現できる輝度のダイナミックレンジ(以下、「Dレンジ」と称す)に、トーンカーブ等を用いてDレンジ圧縮を行う必要がある。例えば、
図1に示すように、輝度が高い領域のコントラストを小さくすることでDレンジ圧縮を行う。例えば、特許文献1では、このDレンジ圧縮を行った際のコントラスト低下を補正する画像処理が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
記録装置の輝度レンジにDレンジ圧縮した画像データは、印刷を行う記録装置の色域にガマットマッピングする必要がある。
図2(a)は、輝度レンジが1000nitのBT.2020の色域を示す。
図2(b)は、記録装置の色域を示す。
図2において、横軸はxy色度のyを示し、縦軸は輝度を表す。BT.2020と記録装置の色域を比較すると、使用している色材が異なるために色域形状が相似形にならない。よって、HDRコンテンツを記録装置で記録する場合には一律にDレンジの圧縮を行うのではなく、色度に応じて輝度の圧縮度合いを変更する必要がある。
【0005】
このとき、入力画像データの色域と記録装置の色域の色域形状が大きく異なると、特許文献1の方法でコントラスト補正を行っても、ガマットマッピングによる圧縮により、記録装置で記録した際にコントラスト強度が低下してしまう。
【課題を解決するための手段】
【0006】
上記課題を解決するために本願発明は以下の構成を有する。すなわち、画像処理装置であって、入力画像データの各画素の輝度成分及び色差成分を取得する取得手段と、変換処理を行う変換手段と、前記変換処理によるコントラスト強度の低下を示す変換特性に基づき、前記輝度成分を補正する補正手段と、補正後の前記輝度成分と、前記取得手段により取得された前記色差成分とに基づいて、各画素の補正後の画素値を生成する生成手段と、前記入力画像データの輝度成分から高周波成分を抽出する抽出手段と、を有し、前記変換処理は、入力画像に含まれる色を出力装置の色再現範囲に含まれるように変換する処理であり、前記変換手段の前記変換処理の前に、前記補正手段は前記取得手段で取得された前記輝度成分を補正し、かつ、前記生成手段は各画素の前記補正後の画素値を生成し、前記変換手段は、前記生成手段が生成した各画素の前記補正後の画素値の前記輝度成分と前記色差成分とに基づいて前記変換処理を行う。
【発明の効果】
【0007】
本発明によれば、入出力間の色再現範囲の違いに起因するコントラストの低下を考慮したコントラスト補正を提供することができる。
【図面の簡単な説明】
【0008】
【
図2】BT.2020と記録装置との色域の違いを説明するための図。
【
図3】本発明に係るシステムのハードウェア構成の例を示す図。
【
図4】本発明に係るコントラスト補正に関するソフトウェア構成の例を示す図。
【
図5】本発明に係るガマットマッピングを説明するための図。
【
図7】本発明に係る視覚伝達関数を説明するための図。
【
図8】本発明に係る出力画像特性取得部における処理を示すフローチャート。
【
図9】本発明に係るコントラスト補正部における処理を示すフローチャート。
【
図10】第1の実施形態に係るコントラスト補正方法を示すフローチャート。
【
図11】第2の実施形態に係るコントラスト補正方法を示すフローチャート。
【
図12】第3の実施形態に係るコントラスト補正方法を示すフローチャート。
【
図13】第4の実施形態に係るコントラスト補正方法を示すフローチャート。
【
図14】第5の実施形態に係る補正強度生成方法を説明するための図。
【
図15】第6の実施形態に係るUI構成画面の一例の模式図。
【
図16】第6の実施形態係るコントラスト補正に関するソフトウェア構成の例を示す図。
【
図17】第6の実施形態に係る輝度-高感度周波数変換テーブルの一例を示す図。
【
図18】第6の実施形態に係る輝度毎の高感度周波数の表を示す図。
【
図19】第8の実施形態に係る処理の流れを示すフローチャート。
【
図20】第8の実施形態に係る処理の補正要否の判定の説明図。
【
図21】第9の実施形態に係る処理の流れを示すフローチャート。
【
図22】第10の実施形態に係る補正強度生成方法を説明するための図。
【
図23】第10の実施形態に係る処理の流れを示すフローチャート。
【発明を実施するための形態】
【0009】
<第1の実施形態>
[システム構成]
図3は、本実施形態を適用可能なシステムの構成例を示す図である。本実施形態において、システムは、画像処理装置300と記録装置310を含んで構成される。画像処理装置300は、情報処理装置として機能するホストPCなどから構成される。画像処理装置300は、CPU301、RAM302、HDD303、ディスプレイI/F304、操作部I/F305、およびデータ転送I/F306を含んで構成され、各部位は内部バスを介して通信可能に接続されている。
【0010】
CPU301は、HDD303に保持されるプログラムに従ってRAM302をワークエリアとして用いて各種処理を実行する。RAM302は、揮発性の記憶領域であり、ワームメモリ等として利用される。HDD303は、不揮発性の記憶領域であり、本実施形態に係るプログラムやOS(Operating System)などが保持される。ディスプレイI/F304は、ディスプレイ307と画像処理装置300本体との間でデータの送受信を行うためのインターフェースである。操作部I/F305は、キーボードやマウスなどの操作部308を用いて入力された指示を画像処理装置300本体に入力するためのインターフェースである。データ転送I/F306は、外部装置とのデータの送受信を行うためのインターフェースである。
【0011】
例えば、CPU301は、操作部308を用いたユーザによる指示(コマンド等)やHDD303に保持されるプログラムに従って記録装置310が記録可能な画像データを生成し、これを記録装置310に転送する。また、CPU301は、データ転送I/F306を介して記録装置310から受信した画像データに対し、HDD303に記憶されているプログラムに従って所定の処理を行い、その結果や様々な情報をディスプレイ307に表示する。
【0012】
記録装置310は、画像処理アクセラレータ311、データ転送I/F312、CPU313、RAM314、ROM315、および印刷部316を含んで構成され、各部位は内部バスを介して通信可能に接続されている。なお、記録装置310の記録方式は特に限定するものでは無く、例えば、インクジェット方式の記録装置であってもよいし、電子写真方式の記録装置であってもよい。以下では、インクジェット方式の記録装置を例に挙げて説明する。
【0013】
CPU313は、ROM315に保持されるプログラムに従ってRAM314をワークエリアとして用いて各種処理を実行する。RAM314は、揮発性の記憶領域であり、ワークメモリ等として利用される。ROM315は、不揮発性の記憶領域であり、本実施形態に係るプログラムやOS(Operating System)などが保持される。データ転送I/F312は、外部装置とのデータの送受信を行うためのインターフェースである。画像処理アクセラレータ311は、CPU313よりも高速に画像処理を実行可能なハードウェアである。画像処理アクセラレータ311は、CPU313が画像処理に必要なパラメータとデータをRAM314の所定のアドレスに書き込むことにより起動され、上記パラメータとデータを読み込んだ後、上記データに対し所定の画像処理を実行する。但し、画像処理アクセラレータ311は必須な要素ではなく、同等の処理はCPU313でも実行することができる。印刷部316は、画像処理装置300からの指示に基づき、印刷動作を行う。
【0014】
画像処理装置300のデータ転送I/F306および記録装置310のデータ転送I/F312における接続方式は、特に限定するものではないが、例えば、USB(Universal Serial Bus)、IEEE1394等を用いることができる。また、有線/無線も問わない。
【0015】
[コントラスト補正]
以下、本実施形態に係るコントラスト補正について具体的に説明する。本実施形態に係るコントラスト補正は、HDR画像データを記録装置310で印刷する際に所定の画像処理を行うための処理である。上述したように、本実施形態において、入力画像(例えば、HDR画像データ)と印刷を行う記録装置310とは、色再現範囲が異なり、再現可能な色の範囲は、入力画像の方が広いものとする。
【0016】
図4は、HDR画像データを記録装置310で印刷する際の、コントラスト補正に関する画像処理を行うソフトウェア構成の例を示す図である。本実施形態において、
図4に示す各部位は、HDD303に格納されたプログラムをCPU301が読みだして実行することにより実現される。画像処理装置300は、画像入力部401、Dレンジ変換部402、ガマットマッピング部403、画像出力部404、入力画像特性取得部405、出力画像特性取得部406、およびコントラスト補正部407を含んで構成される。なお、ここで示す構成は、コントラスト補正に関する処理に関する部位を示しており、画像処理装置300は、他の画像処理を行う部位を更に備えていてよい。
【0017】
画像入力部401は、HDR画像データを取得する。取得方法は、HDD303に保持された画像データを取得するような構成であってもよいし、外部装置からデータ転送I/F306を介して画像データを取得するような構成であってもよい。本実施形態では、HDR画像データはDレンジのピーク輝度が1000nit、色空間はBT.2020のRGBデータを例に挙げて説明する。
【0018】
Dレンジ変換部402は、Dレンジ変換部402に入力された画像データの輝度に対して、1次元ルックアップテーブル(以下、1DLUT)などの手段を用いて所定の輝度レンジにDレンジ圧縮を行う。本実施形態では、
図1に示すグラフを用いてDレンジ圧縮を行うものとする。
図1において、横軸はDレンジ圧縮を行う入力の輝度を表し、縦軸は圧縮後の輝度を表す。1000nitの輝度レンジを有するHDR画像データは、
図1に示されるような圧縮特性で、記録装置310で扱うことのできる100nitの輝度レンジに圧縮される。
【0019】
ガマットマッピング部403は、ガマットマッピング部403に入力された画像データに対して3次元LUT(以下、3DLUT)などの手法を用いて記録装置310が有する色域にガマットマッピングを行う。
図5は、本実施形態に係るガマットマッピングを説明するための図である。
図5において、横軸はYCbCr色空間のCrを示し、縦軸は輝度Yを示す。ガマットマッピング部403に入力された画像データの入力色域501は、記録装置310の色域である出力色域502にガマットマッピングされる。入力色を(Y,Cb,Cr)とすると、(Y’,Cb’,Cr’)に変換される。入力色がYCbCrとは異なる色空間の場合には、その色空間からYCbCr色空間に変換してから、更にガマットマッピングが行われる。
図5の例の場合、入力色域501と出力色域502とは、相似形ではない例を示している。
【0020】
入力色域501のプライマリーカラー503、506はそれぞれ、出力色域502のプライマリーカラー504、505にマッピングされる。プライマリーカラー503、506の輝度値は同じ輝度値であるが、ガマットマッピング後のプライマリーカラー504、505は異なる輝度値になる。このように、ガマットマッピングの入出力の色域が相似形でない場合には、同じ入力輝度値であっても色相によっては、異なる出力輝度値にマッピングされる。
【0021】
また、
図5にて斜線で表した色域外領域507は記録装置310では表現できない色域となる。色域外領域507は、入力色域501に含まれ、かつ、出力色域502に含まれない領域である。一方、色域内領域508は、入力色域501および出力色域502の両方に含まれる領域である。色域外領域507は、色域内領域508よりも、出力色域502内に大きく圧縮してマッピングされる。例えば、入力色において、2つの色のコントラスト509はコントラスト511にマッピングされ、コントラスト510はマッピング後も入力と同じコントラストにマッピングされる。つまり、コントラスト510は、マッピングの前後の変化が、コントラスト511に比べて小さい。言い換えると、色域内領域508内での変換と、色域外領域507から色域内領域508への変換では、変換特性が異なる。このように出力色域外の色は出力色域内の色よりも大きく圧縮をかけてマッピングされるため、コントラストも出力色域外の色の方が低下する。
【0022】
入力画像特性取得部405は、画像入力部401に入力された画像データの高周波の値を生成(抽出)する。まず、入力画像特性取得部405は、入力された画像データの輝度を算出する。入力された画像データがRGBデータ(R:Red,G:Green,B:Blue)の場合、式(1)~式(3)に表す方法でYCbCrに変換することができる。なお、以下に示すRGB-YCbCrの変換式は一例であり、他の変換式を用いてもよい。以下の式にて示す「・」は乗算を示す。
Y=0.299・R+0.587・G+0.114・B ・・・式(1)
Cb=-0.1687・R-0.3313・G+0.5・B ・・・式(2)
Cr=0.5・R-0.4187・G-0.0813・B ・・・式(3)
【0023】
さらに、入力画像特性取得部405は、算出した輝度(Y値)から高周波の値を生成する。高周波の値を生成するには、まず、低周波の値が算出される。低周波の値は、輝度に対してフィルタリング処理を行うことで生成される。
図6を用いて、フィルタリング処理について平滑化処理を行うガウス型フィルタを例に挙げて説明する。
図6において、フィルタサイズは5×5の大きさを表し、25個のピクセルそれぞれに対して係数601が設定されている。画像の横方向をxとし、縦方向をyとする。また、座標(x,y)の画素値をp(x,y)、フィルタ係数をf(x,y)とする。そして、注目画素p’(x,y)ごとに式(4)で表す方法でフィルタリング処理を行う。注目画素602を中心として、画像データをフィルタが走査するごとに以下に示す式(4)の計算が行われる。すべての画素に対する走査が完了すると、低周波の値が得られる。
p’(x,y)={1/Σf(x,y)}・Σ{f(x,y)×p(x,y)}・・・式(4)
【0024】
本実施形態では、フィルタ特性としてガウス型を例に挙げて説明したが、これに限定するものではない。例えば、バイラテラルフィルタの様なエッジ保存型のフィルタが用いられてもよい。エッジ保存型のフィルタを使用すれば、コントラスト補正をした際に、エッジ部分に発生するアーティファクトのハローを低減することができる。
【0025】
図7は、空間周波数に対する視覚伝達関数VTFを示す図である。
図7に示す視覚伝達関数VTFは、横軸に示す空間周波数が変化することによって縦軸に示す視覚感度が変化することを示している。視覚感度が高いほど、伝達特性が高いことを意味する。この視覚伝達関数VTFでは、空間周波数が0.5cycle/mm以上で、約0.8以上の高い伝達特性となることが分かる。なお、
図7の例では、空間周波数が2cycles/mm以上になると、視覚感度は0.8を下回る。コントラストを補正する対象となる周波数は視覚的な感度が高い周波数が望ましい。つまり、高周波は、ピーク感度が含まれる周波数である0.5cycle/mm以上を示し、低周波は0.5cycle/mm以下を示す。本実施形態では、この前提に基づいて、輝度から高周波成分と低周波成分をそれぞれ求めるものとする。
【0026】
画素ごとに、輝度をI、高周波の値をH、低周波の値をLとすると、高周波の値Hは式(5)に従って算出される。
H=I/L ・・・式(5)
【0027】
本実施形態では、輝度Iの高周波の値Hと低周波の値Lはそれぞれ、反射光の値Reと照明光の値Liと同じものとして説明する。ここでの照明光は輝度成分に含まれる照明光成分を意味し、反射光は輝度成分に含まれる反射光成分を意味する。すなわち、高周波成分の強度を表す値として高周波の値Hを用い、また、低周波成分の強度を表す値として低周波の値Lを用いて説明する。
【0028】
照明光の値も低周波の値と同様にフィルタリング処理を行うことで生成することができる。また、エッジ保存型のフィルタを使用すれば、エッジ部分の照明光の値をより精度よく生成することができる。反射光の値Reと照明光の値Liは、式(6)で表すことができる。
Re=I/Li ・・・式(6)
【0029】
また、高周波の値Hは、式(5)で表されるように入力画像を低周波の値で除算することによって生成したが、これに限定するものではない。例えば、式(7)で表されるように、入力画像から低周波の値を減算することで生成してもよい。これは、反射光と照射光の値を用いた場合も同様である。
H=I-L ・・・式(7)
【0030】
出力画像特性取得部406は、記録装置310が出力する表色系の高周波の値を生成する。つまり、出力画像特性取得部406は、記録装置310で再現可能な表色系の範囲内での高周波の値を取得する。その生成方法については、
図8のフローチャートを用いて後述する。
【0031】
コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を元にコントラスト補正強度を決定し、コントラスト補正部407に入力された画像データの高周波の値に対してコントラスト補正処理を行う。本実施形態では、高周波の値の強度を補正することによって、画像のコントラストを補正するものとして説明する。その補正方法については、
図9のフローチャートを用いて後述する。
【0032】
画像出力部404は、記録装置310で出力するための画像処理を行う。ガマットマッピング部403でガマットマッピングされた画像データは記録装置310で印刷するインク色に色分解を行う。更には、画像出力部404は、ディザもしくは誤差拡散処理を用いて、インクを吐出する/しないを表す2値データに変換する量子化処理など、記録装置310での出力に必要な所望の画像処理を行う。
【0033】
(高周波生成処理)
図8を用いて、出力画像特性取得部406による、記録装置310が出力する表色系の高周波の生成処理の詳細について説明する。
【0034】
S101にて、出力画像特性取得部406は、画像入力部401に入力された画像データを、Dレンジ変換部402によりDレンジ変換を行う。
【0035】
S102にて、出力画像特性取得部406は、S101でDレンジ圧縮された画像データに対して、ガマットマッピング部403によりガマットマッピングを行う。
【0036】
S103にて、出力画像特性取得部406は、S102でガマットマッピングを行った画像データから高周波の値H’を生成する。高周波の値を生成するには、入力画像特性取得部405と同様に、出力画像特性取得部406は、輝度を算出し、更に算出した輝度の低周波の値を算出する。出力画像特性取得部406は、低周波の値と入力された輝度から式(5)に従い、高周波の値を算出する。そして、本処理フローを終了する。
【0037】
ここでのDレンジ圧縮処理およびガマットマッピング処理は、後述する
図10の処理にて行われるDレンジ変換およびガマットマッピング処理と内容は同一であるが、実行する目的が異なる。なお、以下の説明において、Dレンジ圧縮処理およびガマットマッピング処理をまとめて変換処理と称する場合もある。
【0038】
(コントラスト補正処理)
図9を用いて、コントラスト補正部407によるコントラスト処理の詳細について説明する。
【0039】
S201にて、コントラスト補正部407は、入力された画像データをYCbCr色空間に変換する。入力色空間がRGBの場合には式(1)~式(3)に従ってRGB色空間からYCbCr色空間へ変換する。
【0040】
S202にて、コントラスト補正部407は、S201で生成したYCbCr色空間のデータから輝度値Iを取得し、この輝度値に基づいて高周波の値Hと低周波の値Lを算出する。ここで、高周波の値H、低周波の値Lの算出方法は、先述した入力画像特性取得部405および出力画像特性取得部406と同様である。すなわち、コントラスト補正部407は、輝度の低周波の値Lを算出し、算出した低周波の値Lと入力された輝度値Iから式(5)に従い、高周波の値Hを算出する。
【0041】
S203にて、コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を元にコントラスト補正強度を生成する。ここでは、コントラスト強度の目標値を入力画像の高周波の値とする。コントラスト補正を行う際の補正係数として算出する補正強度をHm、入力画像特性取得部405で生成した高周波の値をHt、出力画像特性取得部406で生成した高周波の値をH’とすると、補正強度の算出方法は式(8)で表すことができる。式(8)は、高周波の値の強度が入力画像から出力画像に変わるときの逆バイアスを表す。
Hm=Ht/H’ ・・・式(8)
【0042】
ここで求められる値は変換前後の逆バイアスであるため、
図5の例の場合、色域外領域507における補正強度は、色域内領域508における補正強度よりも強くなるように設定される。これは、コントラスト510と、コントラスト509、511を用いて説明したように、変換における変化の度合い(圧縮度合い)が異なるためである。
【0043】
なお、高周波の値Htおよび高周波の値H’を、式(7)を用いて生成した場合、補正強度Hmは式(9)で表すことができる。式(9)は、高周波の値の強度が入力画像から出力画像に変わるときの差分を表す。
Hm=Ht-H’ ・・・式(9)
【0044】
S204にて、コントラスト補正部407は、S202で生成した高周波の値Hに対して補正強度Hmを乗算することによってコントラスト補正を行う。つまり、入力画像データの高周波の値に対し、コントラスト補正を行う。コントラスト補正後の高周波の値をHcとすると、コントラスト補正は式(10)で表すことができる。
Hc=Hm×H ・・・式(10)
【0045】
なお、高周波の値Hを、式(7)を用いて生成した場合、S202で生成した高周波の値Hに対して補正強度Hmを加算することによってコントラスト補正を行う。コントラスト補正後の高周波の値Hcは、式(11)で表すことができる。
Hc=Hm+H ・・・式(11)
【0046】
式(8)および式(9)で表されるように、入力画像から出力画像にコントラストが低下、すなわち、高周波の値の強度が低下した際の逆バイアス分を補正強度Hmとしている。逆バイアス分を式(10)によって乗算、または、式(11)によって加算することで補正することにより、出力画像において、入力画像の高周波の値の強度を維持もしくはそれに近い値とすることができる。
【0047】
S205にて、コントラスト補正部407は、S204でコントラスト補正を行った高周波の値Hc、S202で算出した低周波の値L、および、S201で生成したCb、Crの値を用いて、元のRGBデータに合成する。まず、コントラスト補正部407は、式(12)にて、コントラスト補正後の高周波の値Hcと低周波の値Lを積算することで、周波数の値を合成したコントラスト補正後の輝度I’を得る。
I’=Hc×L ・・・式(12)
【0048】
なお、高周波の値Hcと低周波の値Lを、式(7)を用いて生成した場合、輝度I’は、式(13)で表すことができる。
I’=Hc+L ・・・式(13)
【0049】
そして、コントラスト補正部407は、輝度I’と色差値(Cb,Cr)をプレーン合成して、カラー画像値(I’,Cb,Cr)を生成する。これにより、本実施形態に係るコントラスト補正が行われた画像が得られる。そして、本処理フローを終了する。
【0050】
[処理フロー]
本実施形態に係る処理全体のフローチャートを、
図10を用いて説明する。本処理フローは、例えば、CPU301がHDD303に格納されたプログラムを読み出して実行することにより、
図4に示す各処理部として機能することで実現される。
【0051】
S301にて、画像入力部401は、HDR画像データを取得する。取得方法は、HDD303に保持された画像データを取得するような構成であってもよいし、外部装置からデータ転送I/F306を介して画像データを取得するような構成であってもよい。また、取得対象のHDR画像データは、ユーザの選択や指示に基づいて、決定してよい。
【0052】
S302にて、コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を用いて、
図9を用いて先述した方法によりコントラスト補正強度Hmを生成する。
【0053】
S303にて、コントラスト補正部407は、S301で入力された画像データの高周波の値に対し、S302で生成したコントラスト補正強度Hmを用いて、
図9を用いて先述した方法によりコントラスト補正を行う。つまり、本処理フローのS303とS304の工程は、
図9の処理に対応する。
【0054】
S304にて、Dレンジ変換部402は、S303でコントラスト補正を行った画像データに対して、
図1等を用いて先述した方法によりDレンジ変換(ダイナミックレンジ圧縮処理)を行う。本実施形態の場合、Dレンジ変換部402は、入力画像のDレンジ1000nitから、ガマットマッピングを行うDレンジである100nitに変換する。
【0055】
S305にて、ガマットマッピング部403は、S304でDレンジ変換された画像データに対して、
図5等を用いて先述した方法によりガマットマッピング処理を行う。
【0056】
S306にて、画像出力部404は、S305でガマットマッピングされた画像データに対して、記録装置310で出力するための出力処理を、先述した方法により実行する。そして、本処理フローを終了する。
【0057】
本実施形態では、入力画像の高周波の値とガマットマッピング後である出力画像の高周波の値とを用いて、高周波の値が低下する分の逆バイアス分を補正強度としてコントラスト補正を行う。これにより、補正強度を設定した後に行われる、S304におけるDレンジ変換とS305におけるガマットマッピングによって高周波の値が低下するような場合でも、その低下分がコントラスト補正によって予め補正される。その結果、ガマットマッピング後であっても、入力画像のコントラストを維持もしくはそれに近づけることができる。
【0058】
また、コントラスト補正強度を生成する際にガマットマッピング後の出力画像の高周波の値を用いることによって、ガマットマッピングの圧縮によるコントラストの低下分を含んだ状態で補正強度を決定することができる。よって、ガマットマッピングによる圧縮が高いほど、コントラスト補正強度を高く補正することができる。また、コントラスト補正を行った高周波の値は入力画像の高周波の値に近くなり、コントラスト補正を行わない低周波の値はガマットマッピング後の低周波の値に近い関係となる。
【0059】
以上のことから、本実施形態により、入出力間の色再現範囲の違いに起因するコントラストの低下を抑制することが可能となる。
【0060】
なお、本実施形態では、輝度としてYCbCr色空間を用いる例として説明したが、輝度と色度を表すxyY色空間でもよい。
【0061】
<第2の実施形態>
本発明の第2の実施形態について、
図11のフローチャートを用いて説明する。第1の実施形態と重複する部分については説明を省略し、差異のみを説明する。本実施形態では、第1の実施形態にて説明した
図10とは異なり、コントラスト補正をDレンジ変換の後に行う。つまり、処理工程の順序が第1の実施形態とは異なる。
【0062】
S401にて、画像入力部401は、HDR画像データを取得する。取得方法は、HDD303に保持された画像データを取得するような構成であってもよいし、外部装置からデータ転送I/F306を介して画像データを取得するような構成であってもよい。また、取得対象のHDR画像データは、ユーザの選択や指示に基づいて、決定してよい。
【0063】
S402にて、Dレンジ変換部402は、S401で入力された画像データに対し、
図1等を用いて先述した方法によりDレンジ変換を行う。本実施形態の場合、Dレンジ変換部402は、入力画像のDレンジ1000nitからガマットマッピングを行うDレンジである100nitに変換する。
【0064】
S403にて、コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を用いて、
図9を用いて先述した方法によりコントラスト補正強度Hmを生成する。
【0065】
S404にて、コントラスト補正部407は、S402でDレンジ変換した画像データの高周波の値に対し、S403で生成したコントラスト補正強度Hmを用いて、
図9を用いて先述した方法によりコントラスト補正を行う。つまり、本処理フローのS403とS404の工程は、第1の実施形態にて述べた
図9の処理に対応する。
【0066】
S405にて、ガマットマッピング部403は、S404でコントラスト補正された画像データに対し、
図5等を用いて先述した方法によりガマットマッピングを行う。
【0067】
S406にて、画像出力部404は、S405でガマットマッピングされた画像データに対し、記録装置310で出力するための出力処理を、先述した方法により実行する。そして、本処理フローを終了する。
【0068】
本実施形態では、入力画像の高周波の値とガマットマッピング後である出力画像の高周波の値とを用いて、高周波の値が低下する分の逆バイアス分を補正強度としてコントラスト補正を行う。よって、S402におけるDレンジ変換とS405におけるガマットマッピングによって高周波の値が低下するような場合でも、その低下分がコントラスト補正によって補正される。その結果、ガマットマッピング後であっても入力画像のコントラストを維持もしくはそれに近づけることができる。
【0069】
また、コントラスト補正強度を生成する際にガマットマッピング後の出力画像の高周波の値を用いることによって、ガマットマッピングの圧縮によるコントラストの低下分を含んだ状態で補正強度を決定することができる。よって、ガマットマッピングによる圧縮が高いほど、コントラスト補正強度を高く補正することができる。また、コントラスト補正を行った高周波の値は入力画像の高周波の値に近くなり、コントラスト補正を行わない低周波の値はガマットマッピング後の低周波の値に近い関係となる。
【0070】
また、コントラスト補正をDレンジ変換後に行うため、Dレンジ変換前に補正を行うよりもDレンジが小さい分、処理に使用するメモリを小さくすることができる。
【0071】
<第3の実施形態>
本発明の第3の実施形態について、
図12のフローチャートを用いて説明する。第1の実施形態と重複する部分については説明を省略し、差異のみを説明する。本実施形態では、第1の実施形態にて説明した
図10とは異なり、コントラスト補正はDレンジ変換、ガマットマッピングの後に行う。つまり、処理工程の順序が第1の実施形態と異なる。
【0072】
S501にて、画像入力部401は、HDR画像データを取得する。取得方法は、HDD303に保持された画像データを取得するような構成であってもよいし、外部装置からデータ転送I/F306を介して画像データを取得するような構成であってもよい。また、取得対象のHDR画像データは、ユーザの選択や指示に基づいて、決定してよい。
【0073】
S502にて、Dレンジ変換部402は、S501で入力された画像データに対し、
図1等を用いて先述した方法によりDレンジ変換を行う。本実施形態の場合、Dレンジ変換部402は、入力画像のDレンジ1000nitからガマットマッピングを行うDレンジである100nitに変換する。
【0074】
S503にて、ガマットマッピング部403は、S502でDレンジ変換された画像データに対し、
図5等を用いて先述した方法によりガマットマッピングを行う。
【0075】
S504にて、コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を用いて、
図9を用いて先述した方法によりコントラスト補正強度Hmを生成する。
【0076】
S505にて、コントラスト補正部407は、S503でガマットマッピングした画像データの高周波の値に対して、S504で生成したコントラスト補正強度Hmを用いて、
図9を用いて先述した方法によりコントラスト補正を行う。つまり、本処理フローのS504とS505の工程は、第1の実施形態にて述べた
図9の処理に対応する。
【0077】
S506にて、画像出力部404は、S505でコントラスト補正された画像データに対して、記録装置310で出力するための出力処理を先述した方法により実行する。そして、本処理フローを終了する。
【0078】
本実施形態では、入力画像の高周波の値とガマットマッピング後である出力画像の高周波の値とを用いて、高周波の値が低下する分の逆バイアス分を補正強度としてコントラスト補正を行う。よって、S502におけるDレンジ変換とS503におけるガマットマッピングによって高周波の値が低下するような場合でも、その低下分がコントラスト補正によって補正される。その結果、ガマットマッピング後であっても入力画像のコントラストを維持もしくはそれに近づけることができる。
【0079】
また、コントラスト補正強度を生成する際にガマットマッピング後の出力画像の高周波の値を用いることによって、ガマットマッピングの圧縮によるコントラストの低下分を含んだ状態で補正強度を決定することができる。よって、ガマットマッピングによる圧縮が高いほど、コントラスト補正強度を高く補正することができる。また、コントラスト補正を行った高周波の値は入力画像の高周波の値に近くなり、コントラスト補正を行わない低周波の値はガマットマッピング後の低周波の値に近い関係となる。
【0080】
また、コントラスト補正をガマットマッピングの後に行うため、Dレンジ変換前に補正を行うよりもDレンジが小さい分、処理に使用するメモリを小さくすることができる。
【0081】
<第4の実施形態>
本発明の第4の実施形態について、
図13のフローチャートを用いて説明する。第1の実施形態と重複する部分については説明を省略し、差異のみを説明する。本実施形態では、第1の実施形態にて説明した
図10とは異なり、Dレンジ変換を2回行う。
【0082】
S601にて、画像入力部401は、HDR画像データを取得する。取得方法は、HDD303に保持された画像データを取得するような構成であってもよいし、外部装置からデータ転送I/F306を介して画像データを取得するような構成であってもよい。また、取得対象のHDR画像データは、ユーザの選択や指示に基づいて、決定してよい。
【0083】
S602にて、Dレンジ変換部402は、S601で入力された画像データに対し、
図1等を用いて先述した方法によりDレンジ変換を行う。本実施形態の場合、Dレンジ変換部402は、入力画像のDレンジ1000nitから標準的に使用される色空間のDレンジに変換する。例えば、AdobeRGBの場合、入力画像のDレンジは、120nitに変換される。
【0084】
S603にて、コントラスト補正部407は、入力画像特性取得部405および出力画像特性取得部406で生成した高周波の値を用いて、
図9を用いて先述した方法によりコントラスト補正強度Hmを生成する。
【0085】
S604にて、コントラスト補正部407は、S602で標準色空間のDレンジに変換された画像データの高周波の値に対し、S603で生成したコントラスト補正強度Hmを用いて、
図9を用いて先述した方法によりコントラスト補正を行う。つまり、本処理フローのS603とS604の工程は、第1の実施形態にて述べた
図9の処理に対応する。
【0086】
S605にて、Dレンジ変換部402は、S604でコントラスト補正を行った画像データに対し、
図1等を用いて先述した方法によりでDレンジ変換を行う。本実施形態の場合、画像のDレンジは、S602で変換された標準色空間の120nitからガマットマッピングを行うDレンジである100nitに変換される。
【0087】
S606にて、ガマットマッピング部403は、S605でDレンジ変換された画像データに対して、
図5等を用いて先述した方法によりガマットマッピングを行う。
【0088】
S607にて、画像出力部404は、S606でガマットマッピングされた画像データに対し、記録装置310で出力するための出力処理を先述した方法により実行する。そして、本処理フローを終了する。
【0089】
本実施形態では、入力画像の高周波の値とガマットマッピング後である出力画像の高周波の値とを用いて、高周波の値が低下する分の逆バイアス分を補正強度としてコントラスト補正を行う。よって、S602における標準色空間へのDレンジ変換と、S605におけるDレンジ変換と、S606におけるガマットマッピングによって高周波の値が低下するような場合でも、その低下分がコントラスト補正によって補正される。その結果、ガマットマッピング後でも入力画像のコントラストを維持もしくはそれに近づけることができる。
【0090】
また、コントラスト補正強度を生成する際にガマットマッピング後の出力画像の高周波の値を用いることによって、ガマットマッピングの圧縮によるコントラストの低下分を含んだ状態で補正強度を決定することができる。よって、ガマットマッピングによる圧縮が高いほど、コントラスト補正強度を高く補正することができる。また、コントラスト補正を行った高周波の値は入力画像の高周波の値に近くなり、コントラスト補正を行わない低周波の値はガマットマッピング後の低周波の値に近い関係となる。
【0091】
また、標準的色空間のDレンジに一旦Dレンジ変換することにより、記録装置に依存しない環境、例えば、HDRモニタで画像を確認しながらレタッチなどの編集作業を行うことが可能となる。
【0092】
<第5の実施形態>
上記の実施形態においては、コントラスト補正強度を入力画像の高周波の値と出力画像の高周波の値とから生成する例を用いて説明を行った。本実施形態では、補正強度情報として3DLUT形式で生成する例について説明する。
図14は、本実施形態に係る補正強度情報の生成を説明するための図である。
【0093】
本実施形態において、補正強度情報は、入力画像と出力画像のコントラストの低下分を逆バイアスとして設定する。出力画像は、入力画像をDレンジ圧縮し、更にガマットマッピングした状態を想定する。
図14において、入力の基準色(224,0,0)とコントラスト対象色(232,8,8)はそれぞれ、Dレンジ圧縮とガマットマッピングにより、(220,8,8)と(216,12,12)に変化する。基準色とコントラスト対象色とのコントラストを表す入力と出力の差分値ΔRGBはそれぞれ13.9と6.9となり、コントラスト比の逆バイアスは式(14)で算出される。また、コントラスト差の逆バイアスは式(15)で算出できる。
13.9/6.9=2.0 ・・・式(14)
13.9-6.9=7.0 ・・・式(15)
【0094】
上記方法により、入力色に対する補正強度を生成する。これを3DLUTのグリッド値ごとに算出することによって、入力(R,G,B)に対して、出力の補正強度Hmを表す3DLUTを生成する。このように、ガマットマッピングによって大きく圧縮される色域外の色の方が、圧縮が小さい色域内の色よりも補正強度Hmが大きくなる特性の補正強度情報を生成することができる。
【0095】
補正強度情報を使用してコントラスト補正を行う方法について説明する。コントラスト補正部407は、入力される画像データのRGB値を使用して、補正強度情報の3DLUTを参照することにより、入力色に対する補正強度Hmを生成する。更にコントラスト補正部407は、生成した補正強度Hmを使用してコントラスト補正を行う。
【0096】
本実施形態では、入力画像とガマットマッピング後である出力画像とを用いて、コントラストが低下する分の逆バイアス分を補正強度とした3DLUTの補正強度情報を用いてコントラスト補正を行う。よって、Dレンジ変換と、ガマットマッピングによってコントラストが低下しても、その低下分が補正されているため、ガマットマッピング後であっても入力画像のコントラストを維持もしくはそれに近づけることができる。また、補正強度Hmを3DLUT形式で生成するため、入力画像の高周波の値と出力画像の高周波の値を算出する必要がなく、少メモリの状態でコントラスト補正を行うことができる。
【0097】
<第6の実施形態>
本発明の第6の実施形態にとして、観察条件を考慮したコントラスト補正の効果を保持する形態について説明する。なお、上記実施形態と重複する構成については、適時説明を省略し、差異に着目して説明する。上述したように、ガマットマッピングによる圧縮により、記録装置で記録した際にコントラスト強度が低下してしまう。また、観察条件によってもコントラスト感度特性が異なるため、コントラスト補正の効果を保持することが困難である。そこで、本実施形態では、このコントラスト特性に関する課題を解決することを目的とする。
【0098】
[画面構成]
図15は、本実施形態におけるコントラスト補正アプリケーションが提供するUI構成画面1301であり、ディスプレイ307に表示される。ユーザは、表示画面であるUI構成画面1301を介して、後述するコントラスト補正条件を設定することができる。ユーザはUI構成画面1301のパスボックス1302にコントラスト補正を行う画像の保存場所(パス)を指定する。入力画像表示部1303にパスボックス1302で指定された画像が表示される。出力装置設定ボックス1304は、パスボックス1302で指定した画像を出力する装置をプルダウンメニューから選択して設定する。出力用紙サイズ設定ボックス1305は、出力する用紙サイズをプルダウンメニューから選択して設定する。なお、既定のサイズとは別にユーザが任意のサイズを操作部308から入力することで定義し、それを設定できるようにしてもよい。観察距離設定ボックス1306は、出力した印刷物を観察する距離を操作部308から入力することで設定する。出力用紙サイズ設定ボックス1305で設定された出力用紙サイズに基づいて自動的に適切な観察距離を算出し、設定してもよい。逆に、観察距離設定ボックス1306で設定された観察距離に基づいて自動的に適切な出力用紙サイズを算出し、設定してもよい。照明光設定ボックス1307は、出力した印刷物に当てる照明光の輝度値をプルダウンメニューから選択して設定する。操作部308から入力できるようにしてもよい。
【0099】
[ソフトウェア構成]
図16は、本実施形態に係るソフトウェア構成の例を示す図である。第1の実施形態にて述べた
図4の構成との差異として、コントラストの見え特性取得部408を更に含んで構成される。本実施形態に係る画像入力部401では更に、UI構成画面1301の出力装置設定ボックス1304で指定された出力装置(本実施形態ではプリンタ)、出力用紙サイズ設定ボックス1305で指定された出力用紙サイズを取得する。そして、観察距離設定ボックス1306で指定された観察距離、および照明光設定ボックス1307で設定された照明光の輝度値を取得する。さらに、UI構成画面1301のパスボックス1302で指定されたHDR画像データを取得する。
【0100】
[フィルタリング処理]
第1の実施形態にて、
図6を用いてフィルタリング処理を説明した。本実施形態では、以下のようにして
図16に示すコントラストの見え特性取得部408によって観察条件を考慮して上述したフィルタリング処理に用いるフィルタを設定することが可能である。
【0101】
まず、取得した観察条件(出力用紙サイズ、観察距離)から所定の視野角に入る画素数PDppdを算出する。ここでは所定の視野角を1°とすることとする。
【0102】
まず、式(16)を用いて1インチ当たりの画素数PDppiを算出する。
【0103】
ここで、Hpは画像の横方向の画素数、Vpは画像の縦方向の画素数、Sは出力用紙サイズの対角インチを示す。
【0104】
【0105】
次に、式(17)を用いることで視野角1°あたりの画素数PDppdを算出することができる。ここで、Dは観察距離[mm]を示す。
PDppd=1/tan-1((25.4/PDppi)/D) ・・・式(17)
【0106】
式(17)で算出した視野角1°あたりの画素数PDppdを用いてフィルタ条件を設定する。ここでのフィルタ条件とはフィルタのサイズを示す。視野角1°あたりの画素数PDppdを用いると角解像度PDcpdは式(18)によって算出することができる。
PDcpd=PDppd/2 ・・・式(18)
【0107】
算出された角解像度PDcpdをガウスフィルタのフィルタサイズとして設定し、このフィルタをフィルタMとする。なお、ここではPDcpdをガウスフィルタのフィルタサイズとしてそのまま設定したが、これに限定されるものではない。例えば、予めPDcpdとフィルタサイズの対応関係を示すテーブルを保持しておき、そのテーブルを参照することでフィルタサイズを設定してもよい。また、前述したエッジ保存型フィルタの場合、エッジ部分とエッジ以外の部分を判定してフィルタリング処理を行う。そのため、フィルタサイズに関する設定値以外に、フィルタリング処理の対象とするか否かに関する設定値(例えば輝度差など)が必要となる。よって、フィルタサイズとは別に、フィルタリングの対象とするか否かに関する設定値を観察条件から設定してもよい。
【0108】
[コントラスト補正処理]
第1の実施形態では、
図9を用いてコントラスト補正部407によるコントラスト処理を説明した。このとき、上述した補正強度Hmを観察条件にも基づいて算出するようにしてもよい。コントラストの見え特性取得部408において、以下のようにして画像入力部401で取得した照明光の輝度値を用いて、基準となる照明光の輝度値におけるコントラスト感度値に対する比率Srを算出する。そして算出した比率Srを用いて補正強度Hmを求める。こここで、基準となる照明光の輝度値とは、コントラスト補正の効果の見えを一致させたいリファレンスとなる輝度値のことを示す。基準となる照明光の輝度値は画像入力部1においてUI構成画面1301内の設定値(不図示)としてユーザが設定してもよい。あるいは、既定値として内部に保持しておいてもよい。コントラスト感度比率Srは、観察環境の照明光の輝度値Lsにおけるコントラスト感度値S(ur,Ls)、基準となる照明光の輝度値におけるコントラスト感度値S(ur,Lr)を用いて算出する。なお、urは、基準となる照明光の輝度値における高感度周波数を示す。
【0109】
urの算出方法として、Bartenモデルを使用する。Bartenモデルによると、コントラスト感度は式(19)によって算出することができる。
【0110】
ここで、k=3.3、T=0.1、η=0.025、h=357×3600、外部雑音に対応するコントラスト変動Φext(u)=0、神経雑音に対応するコントラスト変動Φ0=3×10-8[sec deg2]とする。また、XE=12[deg]、NE=15[cycle](0および90[deg]、2[c/deg]以上の周波数に対して45[deg]でNE=7.5[cycles])とする。そして、σ0=0.0133[deg]、Csph=0.0001[deg/mm3]とする。
【0111】
【0112】
なお、σ、Mopt(u)、(1-F(u))2、d、ILはそれぞれ式(20)から式(24)にて算出される。
d=4.6-2.8・tanh(0.4・Log10(0.625・L)) ・・・式(20)
【0113】
【0114】
Mopt(u)=e-π2σ2u2 ・・・式(22)
IL=π/4d2L ・・・式(23)
【0115】
【0116】
式(19)から式(24)において、Lにターゲット輝度値を、uに空間周波数を設定すれば、ターゲット輝度Lにおける空間周波数uのコントラスト感度を算出することができる。
図17はBartenモデルによって輝度毎に算出したコントラスト感度をグラフ化したものである。高輝度になるにつれてコントラスト感度の高い周波数は高周波側に遷移し、逆に、低輝度になるにつれてコントラスト感度の高い周波数は低周波側に遷移することが見てとれる。式(19)から式(24)を用いて、予め複数の輝度値に対して複数の空間周波数におけるコントラスト感度を算出し、そのうち最大値となる空間周波数を、輝度値と対応づけた輝度-高感度周波数変換テーブルとして保持しておいてもよい。
図18に輝度-高感度周波数変換テーブルの例を示す。テーブルに記載されていない輝度値が設定された場合については、
図17のように輝度毎の高感度周波数を結んだ近似関数を定義し高感度周波数を算出することができる。
【0117】
S(ur,Ls)とS(ur,Lr)はそれぞれ前述の式(19)から算出できる。算出されたS(ur,Ls)とS(ur,Lr)を用いると、コントラスト感度比率は式(25)により算出できる。
Sr=S(ur,Lr)/S(ur,Ls) ・・・式(25)
【0118】
コントラスト補正部407では、コントラスト補正強度を生成する。コントラスト感度比率算出部1401で算出されたコントラスト感度比率Sr、補正の目標とする目標高周波の値Hta、ガマットマッピング後の出力高周波の値H’を用いると、コントラスト補正強度Hmは式(26)で表すことができる。
Hm=Sr×(Hta/H’) ・・・式(26)
【0119】
また、入力画像特性取得部405、および出力画像特性取得部406において式(7)の方法で高周波の値を生成している場合には、コントラスト補正強度Hmは式(27)で表すことができる。
Hm=Sr×(Hta-H’) ・・・式(27)
【0120】
次にコントラスト比率算出処理については、基準となる照明光の輝度値におけるコントラスト感度S(ur,Lr)を算出し、観察環境の照明光の輝度値におけるコントラスト感度S(ur,Ls)を算出する。そして、基準となる照明光のコントラスト感度S(ur,Lr)と観察環境の照明光のコントラスト感度S(ur,Ls)を用いてコントラスト感度比率Srを算出する。
【0121】
上記の方法を用いてコンロラスト補正処理を行うことで、観察条件を考慮したコントラスト補正の効果を保持することが可能となる。上述した実施形態ではコントラストの見え特性取得部408が観察条件を考慮してフィルタMを設定し、これを用いて低周波成分Lを求め、観察条件に基づいて算出したコントラスト感度値を用いてコントラスト補正強度を設定した。しかし、いずれか一方を行うのみでもよい。
【0122】
[変形例]
上記の第6の実施形態では、S101からS103のようにDレンジ圧縮とガマットマッピングを行った画像データから高周波の値H’を生成し、コントラスト補正部407でこのH’と入力画像データHtを用いてコントラスト補正強度Hmを求め、これを用いて高周波の値を補正した。しかし、補正強度Hmを用いた高周波成分Hの補正に換えて以下のようにしてもよい。すなわち、第6の実施形態のS202においてコントラストの見え特性取得部408で観察条件に基づいて生成したフィルタMを用いて低周波の値Lと高周波の値Hとを求め、求めた低周波の値Lに対してDレンジ圧縮を行って低周波の値L’を生成する。そして、高周波の値Hと低周波の値L’とを積算することで輝度I’を求めるようにしてもよい。
【0123】
また、第6の実施形態において、コントラスト補正を行うときには、入力画像データHtとDレンジ圧縮とガマットマッピングを行った画像データから補正強度Hmを求めるのではなく、Hmの値を上述したコントラスト感度値に対する比率Srとする、すなわちHm=Srとしてコントラスト補正を行ってもよい。この場合、観察条件に基づいて生成したフィルタMを用いて低周波の値Lと高周波の値Hとを求めてもよいが、フィルタMではなく、観察条件に基づかずに用意されたフィルタを用いてもよい。
【0124】
<第7の実施形態>
本発明の第7の実施形態にとして、ダイナミックレンジ圧縮時のコントラストに伴う白とび、或いは黒潰れを考慮した形態について説明する。なお、上記実施形態と重複する構成については、適時説明を省略し、差異に着目して説明する。
【0125】
上述したようなDレンジ圧縮を行った際のコントラスト低下を補正する画像処理としてRetinex処理がある。Retinex処理では、まず、画像を照明光成分と反射光成分に分離する。この照明光成分をDレンジ圧縮し、反射光成分を保持することで、元の画像のコントラストを保持したまま、Dレンジ圧縮を行うことができる。
【0126】
この照明光成分は実質的に低周波成分であり、反射光成分は実質的に高周波成分であるといえる。本実施形態では、以降、低周波成分および照明光成分を第1成分、高周波成分および反射光成分を第2成分と称して説明する。
【0127】
このとき、入力画像データの色域と記録装置の色域の色域形状が大きく異なると、従来の方法でコントラスト補正を行っても、ガマットマッピングによる圧縮により、記録した際のコントラストが意図していたコントラストと異なることが懸念される。さらには、高輝度側や低輝度側で第2成分の画素値が大きい場合、出力画像が出力のDレンジを超えてしまい、白とびや黒潰れが発生するといった問題がある。
図2C、
図2Dに、白とび黒潰れの発生原理を示す。図中の縦軸は画素値、横軸は画像の座標値である。
図2C、
図2DはそれぞれDレンジ圧縮前およびDレンジ圧縮後の、画像の第1成分と、第1成分に対して第2成分を付加した画素値を示す。画像の第1成分をDレンジ圧縮して第1成分を得たのち、第2成分はDレンジ圧縮前の値を維持する。この場合、第2成分を付加した画素値に示すように、高輝度側と低輝度側で出力のDレンジの上限や下限(図中の点線)にクリッピングされてしまい、白とびや黒潰れが発生する。つまり、低周整理波成分の値が高輝度側または低輝度側にDレンジ圧縮されると、白とび黒潰れが発生しやすくなる。
【0128】
本実施形態では、上記を鑑み、ダイナミックレンジ圧縮時のコントラストに伴う白とび、或いは黒潰れを抑制することを目的とする。
【0129】
[コントラスト補正処理]
第1の実施形態では、
図9を用いてコントラスト補正部407によるコントラスト処理を説明した。本実施形態では、
図9のS204~S205にて以下のように処理を行う。S201~S203の処理は、第1の実施形態と同様であるとする。S204にてコントラスト補正部407は第1の実施形態にて述べたS204の処理に加えて、コントラスト補正部407内の第2成分補正部(不図示)が、コントラスト補正部407によって補正された高周波成分、即ち第2成分が入力の輝度範囲である入力のDレンジ、を超えて白とび黒潰れしないように、第2成分を補正する。なお、コントラスト補正部407からの出力も入力と同じDレンジであるので、出力の輝度範囲もオーバーしないように第2成分が補正される。ここでは、Dレンジ変換前の第1成分Lの値に基づいて、以下のようにして第2成分を補正する。白とび黒潰れはLが高輝度側もしくは低輝度側にあるほど、発生しやすい。したがって、Lの値が大きくなればなるほど、または小さくなればなるほど、より強い程度で第2成分を補正する。
【0130】
Hc>1の場合
Hc>1の場合は、高輝度側において、白とびが発生する可能性がある。このため、第1成分L’の値が大きくなるほど、第2成分が1に近づくように補正する。ここでは、以下の補正係数Pを用いて、第2成分を補正する。
Hcb=(1-P(L’,L’max,L’min))H+P(L’,L’max,L’min)・1 ・・・式(28)
【0131】
Hc<1の場合
Hc<1の場合は、低輝度側において、黒潰れが発生する可能性がある。このため、Lの値が小さくなるほど、第2成分が1に近づくように補正する。以下の補正係数Qを用いて、第2成分を補正する。
Hcb=Q(L’,L’max,L’min)H+(1-Q(L’,L’max,L’min)・1 ・・・式(29)
【0132】
Hc=1の場合
Hc=1の場合は、第2成分を付加することによる白とび黒潰れは発生しないため、第2成分の補正は行わない。
【0133】
上記補正係数P、Qは、以下のように算出される。
【0134】
【0135】
【0136】
ここで、α、β、t1、t2はあらかじめ定められた定数であり、Dレンジ圧縮後の第1成分が中間調を持つ場合には、第2成分をあまり抑制せず、Dレンジ圧縮後の第1成分が高輝度側もしくは低輝度側でのみ第2成分を抑制するように定める。
【0137】
S205にて、コントラスト補正部407は、S204でコントラスト補正および第2成分の補正を行った高周波の値Hcb、S202で算出した低周波の値L、および、S201で生成したCb、Crの値を用いて、元のRGBデータに合成する。まず、コントラスト補正部407は、式(32)にて、コントラスト補正後の高周波の値Hcと低周波の値Lを積算することで、周波数の値を合成したコントラスト補正後の輝度I’を得る。
I’=Hcb×L ・・・式(32)
【0138】
なお、高周波の値Hcと低周波の値Lを、第1の実施形態にて述べた式(7)を用いて生成した場合には、コントラスト補正部407によって補正された第2成分が入力のDレンジを超えて白とび黒潰れしないように、第2成分を以下のように補正する。
【0139】
Hc>0の場合
Hc>0の場合は、高輝度側において、白とびが発生する可能性がある。このため、第1成分Lの値が大きくなるほど、第2成分の絶対値が小さくなるように補正する。ここでは、補正係数Wを用いて、第2成分を補正する。
Hcb=W(L,Lmax,Lmin)Hc ・・・式(33)
【0140】
Hc<0の場合
Hc<0の場合は、低輝度側において、黒潰れが発生する可能性がある。このため、Lの値が小さくなるほど、第2成分の絶対値が小さくなるように補正する。ここでは、補正係数Sを用いて、第2成分を補正する。
Hcb=S(L,Lmax,Lmin)Hc ・・・式(34)
【0141】
ここで、補正係数WおよびSはそれぞれ以下の式で計算される。
【0142】
【0143】
【0144】
Hc=0の場合
この場合、第2成分Hcの値を付加することによる白とび黒潰れは発生しないため、何もしない。
【0145】
ここで、α、β、t1、t2はあらかじめ定められた定数であり、第1成分が中間調を持つ場合には、第2成分をあまり抑制せず、第1成分の値が高輝度側もしくは低輝度側でのみ第2成分を抑制するように定める。
【0146】
また、LmaxおよびLminはそれぞれ入力のDレンジの最大値と最小値である。なお、補正係数WおよびSは、必ずしも上記のようなSigmoid型の関数である必要はない。補正後の第2成分Hcbの絶対値が、補正前の第2成分Hcの絶対値よりも小さくなるような関数であれば特段の制限はない。
【0147】
また、式(33)および式(34)は、あらかじめL’の値ごとに算出されたLUTを用いてW(L’)およびS(L’)を取得し、実行してもよい。あらかじめ用意されたLUTを用いることで、演算に要する処理負荷を軽減し、処理速度を向上させることができる。
【0148】
この場合には、輝度I’は、式(37)で表すことができる。
I’=Hcb+L ・・・式(37)
【0149】
そして、コントラスト補正部407は、輝度I’と色差値(Cb,Cr)をプレーン合成して、カラー画像値(I’,Cb,Cr)を生成する。これにより、本実施形態に係るコントラスト補正が行われた画像が得られる。
【0150】
処理の流れについては、第1の実施形態にて
図9を用いて述べたものと同様であるため、説明は省略する。
【0151】
以上のように、本実施形態では、Dレンジ変換およびガマットマッピングによるコントラスト低下を考慮して、あらかじめHDR画像の第2成分を補正する。さらに、第2成分補正後に白とび黒潰れが発生しないように処理を行う。あらかじめHDR画像に対して、ガマットマッピングによるコントラスト低下も考慮したコントラスト補正を行うことで、ガマットマッピング後もコントラストを維持しやすくなる。
【0152】
<第8の実施形態>
第8の実施形態に係る説明を、
図19のフローチャートを用いて説明する。
【0153】
図19のフローチャートは白とび黒潰れ判定の処理の流れを示している。この判定では、Dレンジ圧縮後の第1成分L’とDレンジ圧縮前の第2成分Hの値に基づいて、白とび黒潰れ補正を行うかどうかを判定する。Dレンジ圧縮後の第1成分L’と第2成分Hの両方の値に基づいて、白とび黒潰れ判定を行うことにより、より正確に白とび黒潰れする画素を特定できる。さらに、白とび黒潰れする画素のみを補正することで、白とび黒潰れしない画素のコントラストの低下を防ぐことができる。その他の点については第7の実施形態と同じである。
【0154】
S1001にて、コントラスト補正部407は、Dレンジ圧縮前の第2成分Hと、Dレンジ圧縮後の第1成分L’に基づいて、白とび黒潰れを補正するかどうかを判定する。
【0155】
具体的には、Dレンジ圧縮後の第1の成分L’と第2成分Hを加算した結果に応じて、白とび黒潰れ補正を行うかどうかの判定を行う。
図20に判定の概要を示す。図中の白とび黒潰れ補正判定Dレンジは、白とび黒潰れ判定用にあらかじめ定められたDレンジであり、緩衝域Δ
WおよびΔ
Sは、圧縮後のDレンジと白とび黒潰れ補正判定Dレンジの間の輝度間隔を示す。
(1)L’+Hが白とび黒潰れ補正判定Dレンジの範囲内にある場合(画素20)
この場合は、白とび黒潰れが発生しないため、補正は行わない。
(2)L’+Hが白とび黒潰れ補正判定Dレンジの範囲外かつ圧縮後Dレンジの範囲内にある場合(画素21)
この場合、白とび黒潰れは発生しないが、白とび黒潰れ補正を行った結果、階調反転が起こることを防ぐため、白とび黒潰れ補正の対象画素とする。
(3)L’+Hが圧縮後Dレンジの範囲外にある場合(画素23)
この場合、白とび黒潰れが発生する。白とび黒潰れの補正対象画素とする。
【0156】
コントラスト補正部407内の第2成分補正部(不図示)では、上記の白とび黒潰れ補正の判定結果に応じて、第2成分を以下の式に従って補正する。式中のαはあらかじめ定められた定数、Thmaxは白とび黒潰れ判定用の所定Dレンジの最大値、Thminは最小値であり、第2成分を補正した後に、画像弊害が生じないようにあらかじめ定めておく。
【0157】
白飛びの場合(L’+H>Thmax)
S1003において、第2成分補正部は、白とびを抑制するように、第2成分を補正する。
Hcb=Lmax-Δwexp(-αH)-L’ ・・・式(38)
【0158】
黒潰れの場合(L’+H<Thmin)
S1003において、第2成分補正部は、黒潰れを抑制するように、第2成分を補正する。
Hcb=Lmin-Δsexp(αH)-L’ ・・・式(39)
【0159】
上記以外の場合、白とび黒潰れは発生しないとして、S1002において、第2成分補正部は、第2成分の補正は行わない。(式(40))
Hcb=H …式(40)
【0160】
なお、式(38)、式(39)の緩衝域ΔWおよびΔSは、式(41)、式(42)で算出する。
ΔW=Lmax-Thmax ・・・式(41)
ΔS=Thmin-Lmin ・・・式(42)
なお、Hに対して十分大きな定数Hmaxを設定して、以下のように算出してもよい。
【0161】
白とびの場合(L’+H>Thmax)
【0162】
【0163】
黒潰れの場合(L’+H<Thmin)
【0164】
【0165】
上記以外の場合は式(40)に同様に、第2成分の補正は行わない。
【0166】
以上のように、本実施形態では、白とび黒潰れ補正判定を行い、白とび黒潰れ補正が必要な第2成分に対してのみ補正を行うことができる。これにより、第1成分が高輝度側または低輝度側であっても、第2成分の値によっては白とび黒潰れが発生しにくい場合に、コントラストの低下を抑えることができる。
【0167】
<第9の実施形態>
第9の実施形態に係る説明を、
図21のフローチャートを用いて説明する。コントラスト補正部407で行われる白とび黒潰れ補正の詳細を
図21に示している。
【0168】
本実施形態では、第8の実施形態で説明した白とび黒潰れ判定において、S900にて決定される、Dレンジ圧縮後の第1成分L’とDレンジ圧縮前の第2成分H、および最小可知差異(JND)に基づいて、白とび黒潰れ補正を行うかどうかを判定する。(S901)
【0169】
白とび黒潰れ補正判定の際に、JNDを考慮することで、第2成分補正後のコントラストを知覚しやすくすることが可能となる。例えば、
図19において、緩衝域Δ
WおよびΔ
Sの幅が、JND未満であった場合、第2成分補正後の画素21と画素22の輝度差は知覚されにくい。これは、白とび黒潰れを防ぐために第2成分を緩衝域の中に納まるように補正したとしても、緩衝域の幅がJND未満であるため、視覚的にはコントラストが失われるからである。したがって、緩衝域Δ
WおよびΔ
Sの幅は、JNDよりも大きいことが望ましい。
【0170】
コントラスト補正部407は、JND保持部(不図示)にて、輝度に対する最小可知差異(JND)の値を保持している。
【0171】
なお、JNDの値は、プログラムの最初に計算し、プログラム終了までメモリ(
図3のRAM302もしくはRAM314)に保持してもよいし、外部ファイルにLUTを保持して、随時読み込んでもよい。また、都度JNDの値を計算してもよい。
【0172】
JNDは、人が輝度の違いを認識できる閾値であり、JNDより輝度差が小さい場合には、ほとんど知覚されない。
【0173】
JNDは、例えば、
図22に示すようなBartenモデルから得られる。Bartenモデルは数学的記述によって構築された視覚系の生理学モデルである。
図22の横軸は輝度値であり、
図22の縦軸は輝度値に対して、人間が知覚可能な最小のコントラストステップを表している。ここで、Ljをある輝度値、L
j+1をL
jにJNDが加算された輝度値として、最小のコントラストステップm
tは例えば以下の式で定義される。
【0174】
【0175】
式(45)より、輝度値LjにおけるJNDは、式(46)で表される。
【0176】
【0177】
輝度差がJND以上あれば、人間は輝度差を感じることができることを示している。視覚特性を表すモデルとして、Bartenモデルのほかには、Weberモデル、DeVries-Roseモデルなど様々な数理モデルが提案されている。また、JNDは、官能評価等によって実験的または経験的に見出された数値でもよい。
【0178】
白とび黒潰れ判定では、
図19における緩衝域Δ
WおよびΔ
Sの幅がJND以上になるように決定することにより、白とび黒潰れ補正後の視覚的なコントラストの低下を軽減する。つまり、緩衝域の幅がJND未満であれば、緩衝域内での輝度変化は知覚され難い。緩衝域の幅をJND以上にすることで、第2成分を補正した後も、緩衝域内でのコントラストが知覚されやすくなる。
【0179】
第9の実施形態における白とび黒潰れ補正処理のフローを
図21に示す。第8の実施形態の
図19に示すフローに、白とび黒潰れ補正判定Dレンジを決定するS900が加わり、その決定したDレンジを用いて判定を行っている。
【0180】
S900では、コントラスト補正部407は、白とび黒潰れ補正判定Dレンジの最大値Thmax、および最小値Thminが以下の式を満たすように決定する。
【0181】
【0182】
【0183】
白とび黒潰れ補正判定以降の処理は、決定した輝度レンジD1を用いて判定する点以外は、第8の実施形態と同様である。
【0184】
以上のように、第9の実施形態では、白とび黒潰れ補正判定の際に、視覚特性JNDを考慮して、第2成分を補正する緩衝域の幅を決定する。緩衝域の幅をJND以上にすることにより、第2成分補正後のコントラストの消失を軽減することが可能となる。
【0185】
<第10の実施形態>
第7~第9の実施形態では、コントラスト補正部407がコントラスト補正を行った後に白とび黒潰れ補正を行っていた。本実施形態では、コントラスト補正部はコントラスト補正を行わずに第2成分を補正し、白とび、或いは黒潰れを補正する。なお、本実施形態においては、画像処理装置300がコントラスト補正部407を有しておらず、画像処理装置300が以下のように第2成分を補正する補正部の機能を持つようにしてもよい。その他の点については第7の実施形態と同様である。
【0186】
図23は、本実施形態の画像処理のフローを示すフローチャートである。第1の実施形態にて示した
図9のフローとの違いは、
図9のS203およびS204が
図10では、S1201の第2成分の補正に置き換わっている点である。
【0187】
S201からS202までは第1の実施形態にて述べた
図9と同じである。
【0188】
そして続くS1201では、以下のようにして第2成分の補正を行う。
【0189】
H>0の場合
H>0の場合は、高輝度側において、白とびが発生する可能性がある。このため、Dレンジ圧縮後の第1の成分L’の値が大きくなるほど、第2成分Hの絶対値が小さくなるように補正する。ここでは、以下の補正係数Wを用いて、第2成分Hを補正し、Hcbを得る。
Hcb=W(L’,L’max,L’min)・H ・・・式(49)
【0190】
H<0の場合
H<0の場合は、低輝度側において、黒潰れが発生する可能性がある。このため、L’の値が小さくなるほど、第2成分の絶対値が小さくなるように補正する。以下の補正係数Sを用いて、第2成分Hを補正する。
Hcb=S(L’,L’max,L’min)・H ・・・式(50)
【0191】
H=0の場合
H=0の場合は、第2成分を付加することによる白とび黒潰れは発生しないため、第2成分Hの補正は行わない。
【0192】
ここで、補正係数W、Sはそれぞれ以下の式で計算される。
【0193】
【0194】
【0195】
ここで、α、β、t1、t2はあらかじめ定められた定数であり、第1成分が高輝度側もしくは低輝度側になるほど第2成分を抑制するように定める。また、L’maxおよびL’minはそれぞれ圧縮後Dレンジの輝度の最大値と最小値である。
【0196】
このように、補正係数に非線形の関数を適用することで、第1成分が高輝度側もしくは低輝度側になるほど第2成分を強く抑制することが可能となる。
【0197】
なお、補正係数WおよびSは、必ずしも上記のようなSigmoid型の関数に限らない。第1成分が高輝度側あるいは低輝度側になるほど、第2成分を強く抑制する関数であれば、どのような関数を用いて決定してもよい。
【0198】
なお、式(49)および式(50)は、あらかじめL’の値ごとに算出されたLUTを用いてW(L’)およびS(L’)を取得し、実行してもよい。あらかじめ用意されたLUTを用いることで、演算に要する処理負荷を軽減し、処理速度を向上させることができる。
【0199】
なお、補正係数、WおよびSはDレンジ圧縮前の第1成分Lの値を用いて計算してもよい。Dレンジ圧縮前の第1成分Lを用いることによりDレンジ圧縮と第2成分補正の処理を並列に行うことができ、計算効率が向上する。この場合の第2成分の補正は、圧縮前のDレンジの輝度の最大値と最小値をそれぞれLmax,Lminとして、以下のように計算される。
【0200】
H>0の場合
Hcb=W(L,Lmax,Lmin)・H ・・・式(53)
H<0の場合
Hcb=S(L,Lmax,Lmin)・H ・・・式(54)
H=0の場合
なにもしない
S205については、第1の実施形態と同様に行う。
【0201】
<第11の実施形態>
本発明の第11の実施形態について、説明する。処理の流れは、第2の実施形態にて述べた
図11と同じため、これを用いて説明する。そのほか、上記の実施形態と重複する部分については説明を省略し、差異のみを説明する。S401~S403の処理は、第2の実施形態と同様である。
【0202】
S404にて、コントラスト補正部407は、S402でDレンジ変換した画像データの高周波の値に対し、S403で生成したコントラスト補正強度Hmを用いて、
図9を用いて先述した方法によりコントラスト補正を行う。つまり、本処理フローのS403とS404の工程は、第1の実施形態にて述べた
図9の処理に対応する。更に、白とび黒潰れ補正については、第7の実施形態と同様にして以下のように行う。
【0203】
なお、高周波の値Hcと低周波の値Lを、式(7)を用いて生成した場合には、
Hc>1の場合
Hc>1の場合は、高輝度側において、白とびが発生する可能性がある。このため、第1成分L’の値が大きくなるほど、第2成分が1に近づくように補正する。ここでは、以下の補正係数Pを用いて、第2成分を補正する。
Hcb=(1-P(L’,L’max,L’min))H+P(L’,L’max,L’min)・1 ・・・式(55)
【0204】
Hc<1の場合
Hc<1の場合は、低輝度側において、黒潰れが発生する可能性がある。このため、Lの値が小さくなるほど、第2成分が1に近づくように補正する。以下の補正係数Qを用いて、第2成分を補正する。
Hcb=Q(L’,L’max,L’min)H+(1-Q(L’,L’max,L’min))・1 ・・・式(56)
【0205】
Hc=1の場合
Hc=1の場合は、第2成分を付加することによる白とび黒潰れは発生しないため、第2成分の補正は行わない。
【0206】
上記補正係数P、Qは、以下のように算出される。
【0207】
【0208】
【0209】
ここで、α、β、t1、t2はあらかじめ定められた定数であり、Dレンジ圧縮後の第1成分が中間調を持つ場合には、第2成分をあまり抑制せず、Dレンジ圧縮後の第1成分が高輝度側もしくは低輝度側でのみ第2成分を抑制するように定める。
【0210】
S405にて、コントラスト補正部407は、S404でコントラスト補正および第2成分の補正を行った高周波の値Hcb、
図9のS202で算出した低周波の値L、および、
図9のS201で生成したCb、Crの値を用いて、元のRGBデータに合成する。まず、コントラスト補正部407は、式(59)にて、コントラスト補正後の高周波の値Hcと低周波の値Lを積算することで、周波数の値を合成したコントラスト補正後の輝度I’を得る。
I’=Hcb×L ・・・式(59)
【0211】
なお、高周波の値Hcと低周波の値Lを、式(7)を用いて生成した場合には、コントラスト補正部407によって補正された第2成分が入力のDレンジを超えて白とび黒潰れしないように、第2成分を以下のように補正する。
【0212】
Hc>0の場合
Hc>0の場合は、高輝度側において、白とびが発生する可能性がある。このため、第1成分Lの値が大きくなるほど、第2成分の絶対値が小さくなるように補正する。ここでは、補正係数Wを用いて、第2成分を補正する。
Hcb=W(L,Lmax,Lmin)・Hc ・・・式(60)
【0213】
Hc<0の場合
Hc<0の場合は、低輝度側において、黒潰れが発生する可能性がある。このため、Lの値が小さくなるほど、第2成分の絶対値が小さくなるように補正する。ここでは、補正係数Sを用いて、第2成分を補正する。
Hcb=S(L,Lmax,Lmin)・Hc ・・・式(61)
【0214】
ここで、補正係数WおよびSはそれぞれ以下の式で計算される。
【0215】
【0216】
【0217】
Hc=0の場合
この場合、第2成分Hcの値を付加することによる白とび黒潰れは発生しないため、何もしない。
【0218】
ここで、α、β、t1、t2はあらかじめ定められた定数であり、第1成分が中間調を持つ場合には、第2成分をあまり抑制せず、第1成分の値が高輝度側もしくは低輝度側でのみ第2成分を抑制するように定める。
【0219】
また、LmaxおよびLminはそれぞれ入力のDレンジの最大値と最小値である。なお、補正係数WおよびSは、必ずしも上記のようなSigmoid型の関数である必要はない。補正後の第2成分Hcbの絶対値が、補正前の第2成分Hcの絶対値よりも小さくなるような関数であれば特段の制限はない。
【0220】
また、式(60)および式(61)は、あらかじめL’の値ごとに算出されたLUTを用いてW(L’)およびS(L’)を取得し、実行してもよい。あらかじめ用意されたLUTを用いることで、演算に要する処理負荷を軽減し、処理速度を向上させることができる。
【0221】
この場合には、輝度I’は、式(64)で表すことができる。
I’=Hcb+L ・・・式(64)
【0222】
そして、コントラスト補正部407は、輝度I’と色差値(Cb,Cr)をプレーン合成して、カラー画像値(I’,Cb,Cr)を生成する。これにより、本実施形態に係るコントラスト補正が行われた画像が得られる。
【0223】
<その他の実施形態>
本発明は上述の実施形態の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0224】
300…画像処理装置、301…CPU、302…RAM、303…HDD、401…画像入力部、402…Dレンジ変換部、403…ガマットマッピング部、404…画像出力部、405…入力画像特性取得部、406…出力画像特性取得部、407…コントラスト補正部