(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-18
(45)【発行日】2024-07-26
(54)【発明の名称】画質調整装置、画質調整方法及びプログラム
(51)【国際特許分類】
H04N 23/76 20230101AFI20240719BHJP
【ＦＩ】
H04N23/76
【請求項の数】
13
(21)【出願番号】P 2019222449
(22)【出願日】2019-12-09
(65)【公開番号】P2021093608
(43)【公開日】2021-06-17
【審査請求日】2022-11-21
(73)【特許権者】
【識別番号】509354422
【氏名又は名称】大塚 作一
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(72)【発明者】
【氏名】大塚 作一
【審査官】吉川 康男
(56)【参考文献】
【文献】特開２０１９－１２９５０６（ＪＰ，Ａ）
【文献】特開２００５－３０３５９５（ＪＰ，Ａ）
【文献】国際公開第２０１８／２１２２１２（ＷＯ，Ａ１）
【文献】特開２０１６－０８１４２７（ＪＰ，Ａ）
【文献】特開２０００－１５２１６３（ＪＰ，Ａ）
【文献】特開２００３－０８７８１５（ＪＰ，Ａ）
【文献】特開２０１９－１６５４０１（ＪＰ，Ａ）
【文献】特開２０１８－０９８６７０（ＪＰ，Ａ）
【文献】特開２００８－３０１３４１（ＪＰ，Ａ）
【文献】特開２００２－２４７３６４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／７６
(57)【特許請求の範囲】
【請求項1】
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部と、前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部と、
を備え、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第１、第２、第３のトーンカーブは、輝度の最大値を１として正規化された場合に、
入力値が１０－３．５以上で１０－１．５より小さい範囲で前記入力値に対する出力値の傾きが最大であり、前記入力値が１０－１．５から１に近づくにつれて、前記傾きが０とならないように前記出力値が１に近づく曲線となる、
画質調整装置。
【請求項2】
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部と、前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部と、
を備え、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夕方又は朝方において人が前記被写体を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夕方又は朝方に撮像されたものである場合に、前記第１、第２、第３のトーンカーブのいずれかで画質が変換された画像の画質を、前記第４のトーンカーブを用いて補正し、
前記第４のトーンカーブは、輝度の最大値を１として正規化された場合に、
１０－２以上の輝度域において、コントラストが大きくなるようにＳ字状となっている、
画質調整装置。
【請求項3】
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部と、前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部と、
を備え、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が第１の輝度以上である場合に用いる第５のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第１の輝度より低く、第２の輝度以上である場合に用いる第６のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第２の輝度より低い場合に用いる第７のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夜間に撮像されたものである場合に、前記第５、第６、第７のトーンカーブのうち、前記実写画像の輝度の最大値に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第５、第６、第７のトーンカーブは、輝度の最大値を１として正規化された場合に、
前記第５のトーンカーブは、入力値が１０－４より低い範囲の前記入力値に対する出力値の傾きが最大となり、１０－４より高い範囲での前記傾きが０とならないように規定され、
前記第６のトーンカーブは、入力値が１０－３のときに傾きが最大となり、全体としてＳ字状となるように規定され、
前記第７のトーンカーブは、前記第５のトーンカーブよりも入力値の全範囲に渡って前記傾きの変化が小さくなるように規定されている、
画質調整装置。
【請求項4】
前記変換部は、前記実写画像の輝度の最大値に基づいて、前記実写画像の画質の変換に用いるトーンカーブを選択する、
請求項３に記載の画質調整装置。
【請求項5】
前記記憶部は、昼間における室内の明るさと室外の明るさとの両方に対応する第８のトーンカーブを記憶し、
前記変換部は、
前記実写画像が室内で撮像された部分と室外で撮像された部分とを含む場合に、前記第８のトーンカーブを用いて、前記実写画像の画質を変換する、
請求項１から４のいずれか一項に記載の画質調整装置。
【請求項6】
前記変換部は、前記実写画像の撮像時の環境を検出する環境センサで検出された情報と、前記実写画像から検出される撮像時の環境を示す情報との少なくとも１つの情報に基づいて、前記実写画像の画質の変換に用いるトーンカーブを選択する、
請求項１から５のいずれか一項に記載の画質調整装置。
【請求項7】
前記記憶部は、前記実写画像を表示する表示装置におけるビューイングフレアを考慮して暗部の階調再現域を増加させる第９のトーンカーブを記憶し、
前記変換部は、
人の視覚特性に沿った画質に変換した前記実写画像の画質を、前記記憶部から読み出した前記第９のトーンカーブを用いてさらに変換する、
請求項１から６のいずれか一項に記載の画質調整装置。
【請求項8】
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶装置から読み出し、前記記憶装置から読み出したトーンカーブを用いて前記実写画像の画質を変換し、
前記記憶装置は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第１、第２、第３のトーンカーブは、輝度の最大値を１として正規化された場合に、
入力値が１０－３．５以上で１０－１．５より小さい範囲で前記入力値に対する出力値の傾きが最大であり、前記入力値が１０－１．５から１に近づくにつれて、前記傾きが０とならないように前記出力値が１に近づく曲線となる、
画質調整方法。
【請求項9】
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶装置から読み出し、前記記憶装置から読み出したトーンカーブを用いて前記実写画像の画質を変換し、
前記記憶装置は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夕方又は朝方において人が前記被写体を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブと、
を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夕方又は朝方に撮像されたものである場合に、前記第１、第２、第３のトーンカーブのいずれかで画質が変換された画像の画質を、前記第４のトーンカーブを用いて補正し、
前記第４のトーンカーブは、輝度の最大値を１として正規化された場合に、
１０－２以上の輝度域において、コントラストが大きくなるようにＳ字状となっている、
画質調整方法。
【請求項10】
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶装置から読み出し、前記記憶装置から読み出したトーンカーブを用いて前記実写画像の画質を変換し、
前記記憶装置は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が第１の輝度以上である場合に用いる第５のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第１の輝度より低く、第２の輝度以上である場合に用いる第６のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第２の輝度より低い場合に用いる第７のトーンカーブと、
を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夜間に撮像されたものである場合に、前記第５、第６、第７のトーンカーブのうち、前記実写画像の輝度の最大値に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第５、第６、第７のトーンカーブは、輝度の最大値を１として正規化された場合に、
前記第５のトーンカーブは、入力値が１０－４より低い範囲の前記入力値に対する出力値の傾きが最大となり、１０－４より高い範囲での前記傾きが０とならないように規定され、
前記第６のトーンカーブは、入力値が１０－３のときに傾きが最大となり、全体としてＳ字状となるように規定され、
前記第７のトーンカーブは、前記第５のトーンカーブよりも入力値の全範囲に渡って前記傾きの変化が小さくなるように規定されている、
画質調整方法。
【請求項11】
コンピュータを、被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部、
として機能させ、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第１、第２、第３のトーンカーブは、輝度の最大値を１として正規化された場合に、
入力値が１０－３．５以上で１０－１．５より小さい範囲で前記入力値に対する出力値の傾きが最大であり、前記入力値が１０－１．５から１に近づくにつれて、前記傾きが０とならないように前記出力値が１に近づく曲線となる、
プログラム。
【請求項12】
コンピュータを、被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部、
として機能させ、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夕方又は朝方において人が前記被写体を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夕方又は朝方に撮像されたものである場合に、前記第１、第２、第３のトーンカーブのいずれかで画質が変換された画像の画質を、前記第４のトーンカーブを用いて補正し、
前記第４のトーンカーブは、輝度の最大値を１として正規化された場合に、
１０－２以上の輝度域において、コントラストが大きくなるようにＳ字状となっている、
プログラム。
【請求項13】
コンピュータを、被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部、
として機能させ、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が第１の輝度以上である場合に用いる第５のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第１の輝度より低く、第２の輝度以上である場合に用いる第６のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第２の輝度より低い場合に用いる第７のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夜間に撮像されたものである場合に、前記第５、第６、第７のトーンカーブのうち、前記実写画像の輝度の最大値に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第５、第６、第７のトーンカーブは、輝度の最大値を１として正規化された場合に、
前記第５のトーンカーブは、入力値が１０－４より低い範囲の前記入力値に対する出力値の傾きが最大となり、１０－４より高い範囲での前記傾きが０とならないように規定され、
前記第６のトーンカーブは、入力値が１０－３のときに傾きが最大となり、全体としてＳ字状となるように規定され、
前記第７のトーンカーブは、前記第５のトーンカーブよりも入力値の全範囲に渡って前記傾きの変化が小さくなるように規定されている、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画質調整装置、画質調整方法及びプログラムに関する。
【背景技術】
【0002】
近年、デジタルカメラでは、ダイナミックレンジの広域化が進んでおり、コントラストが大きく高精細な画質を有する被写体の実写画像を得ることができるようになっている。この実写画像を、ＰＲＩ（Photographed Real Image）ともいう。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００６－１６５８２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、デジタルカメラで撮像された被写体の実写画像は、人が実際に見た被写体とは印象が異なることが多い。このことが、被写体の実写画像を見る人に違和感を生じさせる。
【0005】
一方、画面に表示された画像の階調を調整し人が見やすい画像を生成することを目的として、画像のトーンマッピングが行われることがある。トーンマッピングには、画像全体を単一のトーンカーブを用いてマッピングするグローバルトーンマッピング（ＧＴＭ；Global Tone Mapping）と、画像の局所的な特徴を用いて画像の画素毎に異なるトーンマッピングを行うローカルマッピング（ＬＴＭ; Local Tone Mapping）とがある。従来、ＧＴＭの既存手法（ヒストグラム平滑法など）では十分な画質が得られないため、人間が局所の視覚的情報を利用することに着目したＬＴＭ（例えば、LandとMcCannによって１９７１年に提唱されたレティネックス理論に基づくＬＴＭ）に基づいて階調圧縮処理を行うのが一般的であった。しかし、画像処理には膨大な演算が必要であり、人間の知覚メカニズムを類推したものとは乖離した処理となっていた。最近、本発明者らの研究により実際にＨＤＲ（High Dynamic Range）の環境で視覚心理実験を行ったところ、人がこのような環境でも多くの場合ＧＴＭで処理を行っており、ＧＴＭを用いてＳＤＲ（Standard Dynamic Range）画像に変換しても違和感なく良好な画質が得られる可能性が示唆された。
【0006】
本発明は、上記実情の下になされたものであり、膨大な演算を必要とせずに被写体の実写画像を見る人の違和感を低減することができる画質調整装置、画質調整方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の第１の観点に係る画質調整装置は、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部と、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部と、
を備え、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第１、第２、第３のトーンカーブは、輝度の最大値を１として正規化された場合に、
入力値が１０ －３．５ 以上で１０ －１．５ より小さい範囲で前記入力値に対する出力値の傾きが最大であり、前記入力値が１０ －１．５ から１に近づくにつれて、前記傾きが０とならないように前記出力値が１に近づく曲線となる。
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部と、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部と、
を備え、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第１、第２、第３のトーンカーブは、輝度の最大値を１として正規化された場合に、
入力値が１０ －３．５ 以上で１０ －１．５ より小さい範囲で前記入力値に対する出力値の傾きが最大であり、前記入力値が１０ －１．５ から１に近づくにつれて、前記傾きが０とならないように前記出力値が１に近づく曲線となる。
【0011】
本発明の第２の観点に係る画質調整装置は、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部と、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部と、
を備え、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夕方又は朝方において人が前記被写体を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夕方又は朝方に撮像されたものである場合に、前記第１、第２、第３のトーンカーブのいずれかで画質が変換された画像の画質を、前記第４のトーンカーブを用いて補正し、
前記第４のトーンカーブは、輝度の最大値を１として正規化された場合に、
１０－２以上の輝度域において、コントラストが大きくなるようにＳ字状となっている。
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部と、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部と、
を備え、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夕方又は朝方において人が前記被写体を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夕方又は朝方に撮像されたものである場合に、前記第１、第２、第３のトーンカーブのいずれかで画質が変換された画像の画質を、前記第４のトーンカーブを用いて補正し、
前記第４のトーンカーブは、輝度の最大値を１として正規化された場合に、
１０－２以上の輝度域において、コントラストが大きくなるようにＳ字状となっている。
【0013】
本発明の第３の観点に係る画質調整装置は、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部と、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部と、
を備え、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が第１の輝度以上である場合に用いる第５のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第１の輝度より低く、第２の輝度以上である場合に用いる第６のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第２の輝度より低い場合に用いる第７のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夜間に撮像されたものである場合に、前記第５、第６、第７のトーンカーブのうち、前記実写画像の輝度の最大値に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第５、第６、第７のトーンカーブは、輝度の最大値を１として正規化された場合に、
前記第５のトーンカーブは、入力値が１０－４より低い範囲の前記入力値に対する出力値の傾きが最大となり、１０－４より高い範囲での前記傾きが０とならないように規定され、
前記第６のトーンカーブは、入力値が１０－３のときに傾きが最大となり、全体としてＳ字状となるように規定され、
前記第７のトーンカーブは、前記第５のトーンカーブよりも入力値の全範囲に渡って前記傾きの変化が小さくなるように規定されている。
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部と、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部と、
を備え、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が第１の輝度以上である場合に用いる第５のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第１の輝度より低く、第２の輝度以上である場合に用いる第６のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第２の輝度より低い場合に用いる第７のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夜間に撮像されたものである場合に、前記第５、第６、第７のトーンカーブのうち、前記実写画像の輝度の最大値に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第５、第６、第７のトーンカーブは、輝度の最大値を１として正規化された場合に、
前記第５のトーンカーブは、入力値が１０－４より低い範囲の前記入力値に対する出力値の傾きが最大となり、１０－４より高い範囲での前記傾きが０とならないように規定され、
前記第６のトーンカーブは、入力値が１０－３のときに傾きが最大となり、全体としてＳ字状となるように規定され、
前記第７のトーンカーブは、前記第５のトーンカーブよりも入力値の全範囲に渡って前記傾きの変化が小さくなるように規定されている。
【0014】
前記変換部は、
前記実写画像の輝度の最大値に基づいて、前記実写画像の画質の変換に用いるトーンカーブを選択する、
こととしてもよい。
前記実写画像の輝度の最大値に基づいて、前記実写画像の画質の変換に用いるトーンカーブを選択する、
こととしてもよい。
【0015】
前記記憶部は、
昼間における室内の明るさと室外の明るさとの両方に対応する第８のトーンカーブを記憶し、
前記変換部は、
前記実写画像が室内で撮像された部分と室外で撮像された部分とを含む場合に、前記第８のトーンカーブを用いて、前記実写画像の画質を変換する、
こととしてもよい。
昼間における室内の明るさと室外の明るさとの両方に対応する第８のトーンカーブを記憶し、
前記変換部は、
前記実写画像が室内で撮像された部分と室外で撮像された部分とを含む場合に、前記第８のトーンカーブを用いて、前記実写画像の画質を変換する、
こととしてもよい。
【0016】
前記変換部は、
前記実写画像の撮像時の環境を検出する環境センサで検出された情報と、前記実写画像から検出される撮像時の環境を示す情報との少なくとも１つの情報に基づいて、前記実写画像の画質の変換に用いるトーンカーブを選択する、
こととしてもよい。
前記実写画像の撮像時の環境を検出する環境センサで検出された情報と、前記実写画像から検出される撮像時の環境を示す情報との少なくとも１つの情報に基づいて、前記実写画像の画質の変換に用いるトーンカーブを選択する、
こととしてもよい。
【0017】
前記記憶部は、
前記実写画像を表示する表示装置におけるビューイングフレアを考慮して暗部の階調再現域を増加させる第９のトーンカーブを記憶し、
前記変換部は、
人の視覚特性に沿った画質に変換した前記実写画像の画質を、前記記憶部から読み出した前記第９のトーンカーブを用いてさらに変換する、
こととしてもよい。
前記実写画像を表示する表示装置におけるビューイングフレアを考慮して暗部の階調再現域を増加させる第９のトーンカーブを記憶し、
前記変換部は、
人の視覚特性に沿った画質に変換した前記実写画像の画質を、前記記憶部から読み出した前記第９のトーンカーブを用いてさらに変換する、
こととしてもよい。
【0018】
また、本発明の第４の観点に係る画質調整方法は、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶装置から読み出し、
前記記憶装置から読み出したトーンカーブを用いて前記実写画像の画質を変換し、
前記記憶装置は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第１、第２、第３のトーンカーブは、輝度の最大値を１として正規化された場合に、
入力値が１０ －３．５ 以上で１０ －１．５ より小さい範囲で前記入力値に対する出力値の傾きが最大であり、前記入力値が１０ －１．５ から１に近づくにつれて、前記傾きが０とならないように前記出力値が１に近づく曲線となる。
本発明の第５の観点に係る画質調整方法は、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶装置から読み出し、
前記記憶装置から読み出したトーンカーブを用いて前記実写画像の画質を変換し、
前記記憶装置は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夕方又は朝方において人が前記被写体を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブと、
を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夕方又は朝方に撮像されたものである場合に、前記第１、第２、第３のトーンカーブのいずれかで画質が変換された画像の画質を、前記第４のトーンカーブを用いて補正し、
前記第４のトーンカーブは、輝度の最大値を１として正規化された場合に、
１０ －２ 以上の輝度域において、コントラストが大きくなるようにＳ字状となっている。
本発明の第６の観点に係る画質調整方法は、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶装置から読み出し、
前記記憶装置から読み出したトーンカーブを用いて前記実写画像の画質を変換し、
前記記憶装置は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が第１の輝度以上である場合に用いる第５のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第１の輝度より低く、第２の輝度以上である場合に用いる第６のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第２の輝度より低い場合に用いる第７のトーンカーブと、
を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夜間に撮像されたものである場合に、前記第５、第６、第７のトーンカーブのうち、前記実写画像の輝度の最大値に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第５、第６、第７のトーンカーブは、輝度の最大値を１として正規化された場合に、
前記第５のトーンカーブは、入力値が１０ －４ より低い範囲の前記入力値に対する出力値の傾きが最大となり、１０ －４ より高い範囲での前記傾きが０とならないように規定され、
前記第６のトーンカーブは、入力値が１０ －３ のときに傾きが最大となり、全体としてＳ字状となるように規定され、
前記第７のトーンカーブは、前記第５のトーンカーブよりも入力値の全範囲に渡って前記傾きの変化が小さくなるように規定されている。
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶装置から読み出し、
前記記憶装置から読み出したトーンカーブを用いて前記実写画像の画質を変換し、
前記記憶装置は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第１、第２、第３のトーンカーブは、輝度の最大値を１として正規化された場合に、
入力値が１０ －３．５ 以上で１０ －１．５ より小さい範囲で前記入力値に対する出力値の傾きが最大であり、前記入力値が１０ －１．５ から１に近づくにつれて、前記傾きが０とならないように前記出力値が１に近づく曲線となる。
本発明の第５の観点に係る画質調整方法は、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶装置から読み出し、
前記記憶装置から読み出したトーンカーブを用いて前記実写画像の画質を変換し、
前記記憶装置は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夕方又は朝方において人が前記被写体を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブと、
を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夕方又は朝方に撮像されたものである場合に、前記第１、第２、第３のトーンカーブのいずれかで画質が変換された画像の画質を、前記第４のトーンカーブを用いて補正し、
前記第４のトーンカーブは、輝度の最大値を１として正規化された場合に、
１０ －２ 以上の輝度域において、コントラストが大きくなるようにＳ字状となっている。
本発明の第６の観点に係る画質調整方法は、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶装置から読み出し、
前記記憶装置から読み出したトーンカーブを用いて前記実写画像の画質を変換し、
前記記憶装置は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が第１の輝度以上である場合に用いる第５のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第１の輝度より低く、第２の輝度以上である場合に用いる第６のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第２の輝度より低い場合に用いる第７のトーンカーブと、
を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夜間に撮像されたものである場合に、前記第５、第６、第７のトーンカーブのうち、前記実写画像の輝度の最大値に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第５、第６、第７のトーンカーブは、輝度の最大値を１として正規化された場合に、
前記第５のトーンカーブは、入力値が１０ －４ より低い範囲の前記入力値に対する出力値の傾きが最大となり、１０ －４ より高い範囲での前記傾きが０とならないように規定され、
前記第６のトーンカーブは、入力値が１０ －３ のときに傾きが最大となり、全体としてＳ字状となるように規定され、
前記第７のトーンカーブは、前記第５のトーンカーブよりも入力値の全範囲に渡って前記傾きの変化が小さくなるように規定されている。
【0019】
また、本発明の第７の観点に係るプログラムは、
コンピュータを、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部、
として機能させ、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第１、第２、第３のトーンカーブは、輝度の最大値を１として正規化された場合に、
入力値が１０－３．５以上で１０－１．５より小さい範囲で前記入力値に対する出力値の傾きが最大であり、前記入力値が１０－１．５から１に近づくにつれて、前記傾きが０とならないように前記出力値が１に近づく曲線となる。
本発明の第８の観点に係るプログラムは、
コンピュータを、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部、
として機能させ、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夕方又は朝方において人が前記被写体を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夕方又は朝方に撮像されたものである場合に、前記第１、第２、第３のトーンカーブのいずれかで画質が変換された画像の画質を、前記第４のトーンカーブを用いて補正し、
前記第４のトーンカーブは、輝度の最大値を１として正規化された場合に、
１０－２以上の輝度域において、コントラストが大きくなるようにＳ字状となっている。
本発明の第９の観点に係るプログラムは、
コンピュータを、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部、
として機能させ、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が第１の輝度以上である場合に用いる第５のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第１の輝度より低く、第２の輝度以上である場合に用いる第６のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第２の輝度より低い場合に用いる第７のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夜間に撮像されたものである場合に、前記第５、第６、第７のトーンカーブのうち、前記実写画像の輝度の最大値に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第５、第６、第７のトーンカーブは、輝度の最大値を１として正規化された場合に、
前記第５のトーンカーブは、入力値が１０－４より低い範囲の前記入力値に対する出力値の傾きが最大となり、１０－４より高い範囲での前記傾きが０とならないように規定され、
前記第６のトーンカーブは、入力値が１０－３のときに傾きが最大となり、全体としてＳ字状となるように規定され、
前記第７のトーンカーブは、前記第５のトーンカーブよりも入力値の全範囲に渡って前記傾きの変化が小さくなるように規定されている。
コンピュータを、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部、
として機能させ、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、を記憶し、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第１、第２、第３のトーンカーブは、輝度の最大値を１として正規化された場合に、
入力値が１０－３．５以上で１０－１．５より小さい範囲で前記入力値に対する出力値の傾きが最大であり、前記入力値が１０－１．５から１に近づくにつれて、前記傾きが０とならないように前記出力値が１に近づく曲線となる。
本発明の第８の観点に係るプログラムは、
コンピュータを、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部、
として機能させ、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夕方又は朝方において人が前記被写体を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夕方又は朝方に撮像されたものである場合に、前記第１、第２、第３のトーンカーブのいずれかで画質が変換された画像の画質を、前記第４のトーンカーブを用いて補正し、
前記第４のトーンカーブは、輝度の最大値を１として正規化された場合に、
１０－２以上の輝度域において、コントラストが大きくなるようにＳ字状となっている。
本発明の第９の観点に係るプログラムは、
コンピュータを、
被写体の実写画像の画質を、人の視覚特性に沿った画質に変換するグローバルトーンマッピング用の単一のトーンカーブを記憶する記憶部、
前記記憶部から読み出したトーンカーブを用いて前記実写画像の画質を変換する変換部、
として機能させ、
前記記憶部は、
人が前記被写体を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、
日向の明るさに対応する第１のトーンカーブと、
日陰の明るさに対応する第２のトーンカーブと、
曇天下の明るさに対応する第３のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が第１の輝度以上である場合に用いる第５のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第１の輝度より低く、第２の輝度以上である場合に用いる第６のトーンカーブと、
夜間の明るさに対応し、前記実写画像の輝度の最大値が前記第２の輝度より低い場合に用いる第７のトーンカーブと、
を記憶し、
前記変換部は、
前記第１、第２、第３のトーンカーブのうち、前記被写体の撮像時の環境に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記実写画像が夜間に撮像されたものである場合に、前記第５、第６、第７のトーンカーブのうち、前記実写画像の輝度の最大値に対応するトーンカーブを用いて、前記実写画像の画質を変換し、
前記第５、第６、第７のトーンカーブは、輝度の最大値を１として正規化された場合に、
前記第５のトーンカーブは、入力値が１０－４より低い範囲の前記入力値に対する出力値の傾きが最大となり、１０－４より高い範囲での前記傾きが０とならないように規定され、
前記第６のトーンカーブは、入力値が１０－３のときに傾きが最大となり、全体としてＳ字状となるように規定され、
前記第７のトーンカーブは、前記第５のトーンカーブよりも入力値の全範囲に渡って前記傾きの変化が小さくなるように規定されている。
【発明の効果】
【0020】
本発明によれば、被写体の実写画像全体の画質を、グローバルトーンマッピング用の単一のトーンカーブを用いて、人の視覚特性に沿った画質に変換することができるので、膨大な演算を必要とせずに被写体の実写画像を見る人の違和感を低減することができる。
【図面の簡単な説明】
【0021】
【図1】本発明の一実施の形態に係る画質調整装置の構成を示す模式図である。
【図3】第１、第２、第３のトーンカーブの一例を示すグラフである。
【図4】（Ａ）は、日向で撮像された実写画像を示す図である。（Ｂ）は、第１のトーンカーブで変換された画像を示す図である。
【図5】（Ａ）は、日陰で撮像された実写画像を示す図である。（Ｂ）は、第２のトーンカーブで変換された画像を示す図である。
【図6】（Ａ）は、曇天下で撮像された実写画像を示す図である。（Ｂ）は、第３のトーンカーブで変換された画像を示す図である。
【図7】夕方に対応する補正用のトーンカーブを示すグラフである。
【図8】（Ａ）は、補正前の実写画像を示す図である。（Ｂ）は、補正後の画像を示す図である。
【図9】第５、第６、第７のトーンカーブの一例を示すグラフである。
【図10】（Ａ）は、ハイライトを保存した実写画像の一例を示す図である。（Ｂ）は、低輝度領域を見やすくするためにハイライトが飽和するように変換された実写画像の一例を示す図である。（Ｃ）は、第５のトーンカーブで変換された画像の一例を示す図である。
【図11】（Ａ）は、ハイライトを保存した実写画像の一例を示す図である。（Ｂ）は、低輝度領域を見やすくするためにハイライトが飽和するように変換された実写画像の一例を示す図である。（Ｃ）は、第６のトーンカーブで変換された画像の一例を示す図である。
【図12】（Ａ）は、ハイライトを保存した実写画像の一例を示す図である。（Ｂ）は、低輝度領域を見やすくするためにハイライトが飽和するように変換された実写画像の一例を示す図である。（Ｃ）は、第７のトーンカーブで変換された画像の一例を示す図である。
【図13】第８のトーンカーブの一例を示すグラフである。
【図14】（Ａ）および（Ｂ）は、各々露出を変えた補正前の実写画像を示す図である。（Ｃ）は、補正後の画像を示す図である。
【図15】ビューイングフレアを示す模式図である。
【図16】（Ａ）は、表示装置で表示される補正前画像の見え方に対応するトーンカーブを示すグラフである。（Ｂ）は、表示装置で表示される補正後画像の見え方に対応するトーンカーブを示すグラフである。
【図17】ビューイングフレアに対応する第９のトーンカーブを示す図である。
【図18】（Ａ）は、補正前の表示画像を示す図である。（Ｂ）は、補正後の表示画像を示す図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施の形態について図面を参照して詳細に説明する。全図において、同一又は相当する構成要素には、同一の符号が付されている。
【0023】
【0024】
実写画像Ｐ１は、ハイダイナミックレンジで撮像された画像である。このような画像をＨＤＲ（High Dynamic Range）画像ともいう。ダイナミックレンジとは、画像における輝度の最大値と最小値の幅（比率）のことをいう。ＨＤＲ画像においては、ダイナミックレンジは例えば６０００：１（１／６０００）であり、その輝度値は例えば１６ビットで表現される。
【0025】
実写画像Ｐ１は、デジタルカメラ２により、例えば自動露光で撮像された撮像素子の特性に沿った画像となっている。画質調整装置１は、この実写画像Ｐ１を、人の視覚特性に沿った変換後画像Ｐ２，Ｐ４に変換する。変換後画像Ｐ２，Ｐ４は、図２に示す標準表象画像（ＳＲＩ；Standard Representational Image）Ｐ２と、低コントラスト補正画像Ｐ４とのいずれかである。標準表象画像Ｐ２は、ＳＤＲに相当する階調範囲（例えば８ビット）で人が被写体３を直接見たときに感じる見え方に近い明るさを持つ画像となっており、低コントラスト補正画像Ｐ４は、標準表象画像Ｐ２の特徴を備えつつ、さらに低コントラストの環境でも見やすくなっている画像である。
【0026】
変換後画像Ｐ２，Ｐ４を得るために、画質調整装置１は、記憶部１０と、変換部２０と、を備えるコンピュータである。記憶部１０は、被写体３の実写画像Ｐ１の画質を、人の視覚特性に沿った画質に変換するトーンカーブＴを記憶する。変換部２０は、記憶部１０から読み出したトーンカーブＴを用いて被写体３の実写画像Ｐ１の画質を変換し、変換後画像Ｐ２，Ｐ４を生成する。トーンカーブＴは、すべての輝度範囲でトーンマッピングが可能なグローバルトーンマッピング用の単一のトーンカーブである。
【0027】
［日中のトーンカーブによる変換］
図２に示すように、記憶部１０は、トーンカーブＴとしてのトーンカーブＴ１、Ｔ２、Ｔ３を記憶する。トーンカーブＴ１、Ｔ２、Ｔ３は、人が被写体３を直接見たときに感じる明るさに対応して規定されている。第１のトーンカーブとしてのトーンカーブＴ１は、日向に対応するトーンカーブである。第２のトーンカーブとしてのトーンカーブＴ２は、日陰に対応するトーンカーブである。また、第３のトーンカーブとしてのトーンカーブＴ３は、曇天下に対応するトーンカーブである。
図２に示すように、記憶部１０は、トーンカーブＴとしてのトーンカーブＴ１、Ｔ２、Ｔ３を記憶する。トーンカーブＴ１、Ｔ２、Ｔ３は、人が被写体３を直接見たときに感じる明るさに対応して規定されている。第１のトーンカーブとしてのトーンカーブＴ１は、日向に対応するトーンカーブである。第２のトーンカーブとしてのトーンカーブＴ２は、日陰に対応するトーンカーブである。また、第３のトーンカーブとしてのトーンカーブＴ３は、曇天下に対応するトーンカーブである。
【0028】
図３に示すように、トーンカーブＴ１～Ｔ３をグラフ表示する。このグラフでは、入力値が横軸であり、出力値が縦軸である。トーンカーブＴ１～Ｔ３は、輝度の最大値を１として正規化されている。また、両軸は対数表示となっている。このトーンカーブＴ１～Ｔ３を用いた変換では、入力値が実写画像Ｐ１の各画素の輝度値となり、出力値が標準表象画像Ｐ２の各画素の輝度値となる。
【0029】
トーンカーブＴ１、Ｔ２、Ｔ３は、入力値が１に近づくにつれて単調に増加する曲線となる。図３では、入力値に対する出力値の傾きγ＝１の直線を点線で示している。トーンカーブＴ１、Ｔ２、Ｔ３は、この直線よりも上側となり、入力値が０．０００３（１０－３．５）以上の範囲では上方に凸に湾曲した曲線となる。
【0030】
曇天下に対応するトーンカーブＴ３は、傾きγ＝１の直線（点線）に最も近く、日陰に対応するトーンカーブＴ２、日向に対応するトーンカーブＴ１の順に直線から離れていく。このことは、トーンカーブＴ３、Ｔ２、Ｔ１の順に、変換した画像の画質が明るくなることを示している。
【0031】
また、本発明者らは、実環境の見え方と写真に撮影された画像とを比較する分析作業を多数行った。この結果、人の視覚特性において最も感度が高いのは、輝度が０．０００３（１０－３．５）以上０．５（１０－１．５）以下の範囲であることが明らかとなった。そこで、トーンカーブＴ１、Ｔ２、Ｔ３では、入力値が０．０００３（１０－３．５）以上０．５（１０－１．５）以下の範囲で傾きγが最大となるように規定されている。すなわち、トーンカーブＴ１～Ｔ３では、人の感度が高い範囲に多くの階調が割り当てられるようになっている。また、トーンカーブＴ１、Ｔ２、Ｔ３は、入力値が０．５（１０－１．５）から１に近づくにつれて、傾きγが０とならずに出力値が１に近づいていくように規定されている。
【0032】
図２に戻り、変換部２０は、トーンカーブＴ１～Ｔ３を用いて画質の変換を行う主要変換部２１を備えている。主要変換部２１は、トーンカーブＴ１～Ｔ３のうち、被写体３が撮像されたときの明るさに対応するトーンカーブを用いて、被写体３の実写画像Ｐ１の画質を変換する。例えば、実写画像Ｐ１が日向で撮像されたものである場合には、トーンカーブＴ１が用いられ、実写画像Ｐ１が日陰で撮像されたものである場合には、トーンカーブＴ２が用いられ、実写画像Ｐ１が曇天下で撮像されたものである場合には、トーンカーブＴ３が用いられる。なお、トーンカーブＴ１～Ｔ３は、ルックアップテーブル（ＬＵＴ；Look Up Table）に登録されている。ＬＵＴを参照することにより、その入力値に対する出力値を直接得ることができるようになっている。
【0033】
図４（Ａ）には、日向での実写画像Ｐ１が示され、図４（Ｂ）には、日向に対応するトーンカーブＴ１を用いて画質が変換された標準表象画像Ｐ２が示されている。図４（Ａ）の実写画像Ｐ１よりも、図４（Ｂ）の標準表象画像Ｐ２の方が、日向で人が被写体３を見たときの実際の見え方に近くなっている（図１参照）。
【0034】
また、図５（Ａ）には、日陰での実写画像Ｐ１が示され、図５（Ｂ）には、日陰に対応するトーンカーブＴ２を用いて画質が変換された標準表象画像Ｐ２が示されている。図５（Ａ）の実写画像Ｐ１よりも、図５（Ｂ）の標準表象画像Ｐ２の方が、日陰で人が被写体３を見たときの実際の見え方に近くなっている。図５（Ａ）と図５（Ｂ）とで点線で囲まれた部分を比較するとわかるように、図５（Ｂ）の標準表象画像Ｐ２の方が、黒くつぶれた部分が少なくなっており、画像のコントラストが向上している。
【0035】
また、図６（Ａ）には、曇天下での実写画像Ｐ１が示され、図６（Ｂ）には、曇天下に対応するトーンカーブＴ３を用いて画質が変換された標準表象画像Ｐ２が示されている。図６（Ａ）の実写画像Ｐ１よりも、図６（Ｂ）の標準表象画像Ｐ２の方が、曇天下で人が被写体３を見たときの実際の見え方に近くなっている。また、図６（Ａ）と図６（Ｂ）とを比較するとわかるように、図６（Ｂ）の標準表象画像Ｐ２の方が、手前の土地の画像のコントラストが向上している。
【0036】
なお、本実施の形態では、デジタルカメラ２には、実写画像Ｐ１の撮像時の環境を検出する環境センサ５が設けられている。環境センサ５には、例えば、撮像環境における照度を検出する照度センサ及び撮像環境における色温度を検出する色温度センサが含まれている。日向、日陰、曇天下、夜間では、撮像環境における照度のレベル及びばらつき、色温度のレベル及びそのばらつきが異なっている。主要変換部２１は、環境センサ５から得られる情報、すなわち撮像環境データ６に基づいて、実写画像Ｐ１が日向で撮像されたものであるか、日陰で撮像されたものであるか、曇天下で撮像されたものであるか、夜間に撮像されたものであるかを検出する。例えば、撮像環境における照度のレベルがハイレベルの閾値以上であれば日向で撮像されたものであり、照度のレベルがローレベルの閾値より小さければ夜間であると判定することができる。また、撮像環境における色温度が閾値（例えば７０００ｋ）未満である場合には、日向で撮像されたものであり、閾値（例えば７０００ｋ）以上である場合には、日陰又は曇天下で撮像されたものであると判定することができる。また、撮像環境における照度、色温度のばらつきが第１の閾値より小さければ曇天下又は夜間での撮影、第１の閾値以上で第２の閾値より小さければ日陰での撮影、第２の閾値以上であれば日向での撮影であると判断することができる。
【0037】
さらに、主要変換部２１は、実写画像Ｐ１から検出される撮像時の環境を示す情報に基づいて、実写画像Ｐ１の画質の変換に用いるトーンカーブを選択するようにしてもよい。例えば、実写画像Ｐ１の平均レベルがハイレベルの閾値以上であれば日向で撮像されたものと判定し、ローレベルの閾値未満であれば夜間であると判定することができる。また、実写画像Ｐ１における色温度が、閾値（例えば７０００ｋ）未満である場合には、日向で撮像されたものであり、閾値（例えば７０００ｋ）以上である場合には、日陰又は曇天下で撮像されたものであると判定することができる。また、実写画像Ｐ１における照度、色温度のばらつきが第１の閾値より小さければ曇天下での撮影、第１の閾値以上で第２の閾値より小さければ日陰での撮影、第２の閾値以上であれば日向での撮影であると判断することができる。さらに、実写画像Ｐ１全体のコントラストの大きさで、日向、日陰、曇天を判定するようにしてもよい。コントラストが大きければ日向での撮影、中程度であれば日陰での撮影、小さければ曇天下での撮影であると判定することができる。
【0038】
このように、主要変換部２１は、環境センサ５の情報と実写画像Ｐ１から検出される撮像時の環境を示す情報との少なくとも１つの情報に基づいて、実写画像Ｐ１の画質の変換に用いるトーンカーブＴを選択する。また、主要変換部２１は、ユーザの操作入力に従って、トーンカーブＴを選択するようにしてもよい。なお、撮像環境データ６を、実写画像Ｐ１に付随するデータ、すなわちメタデータとして実写画像Ｐ１に紐つけされるようにしてもよい。
【0039】
［夕方又は朝方に対応するトーンカーブによる補正］
図２に戻り、記憶部１０は、夕方又は朝方において人が被写体３を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブとしてのトーンカーブＴ４を記憶する。
図２に戻り、記憶部１０は、夕方又は朝方において人が被写体３を直接見たときの見え方に沿って画質を補正する補正用の第４のトーンカーブとしてのトーンカーブＴ４を記憶する。
【0040】
図７に示すように、トーンカーブＴ４は、輝度の最大値を１として正規化された場合に、１０－２以上の輝度域において、コントラストが大きくなるようにＳ字状となっている。これにより、高輝度域のコントラストを向上することができる。例えば、夕方に撮像された実写画像Ｐ１である場合には、低角度で直射日光が被写体３に当たって反射光が強くなるため、全体のコントラストが向上する一方、迷光による中低輝度の像の判別の困難性は低減される。そこで、トーンカーブＴ４では、その分が、高輝度の範囲に割り当てられるようになっており、被写体３においてそのような反射光が反射する周辺の階調再現域を広げることができるようになっている。
【0041】
図２に戻り、変換部２０は、状況補正部２２をさらに備えている。状況補正部２２は、実写画像Ｐ１が夕方又は朝方に撮像されたものである場合に、トーンカーブＴ１～Ｔ３のいずれかで画質が変換された実写画像Ｐ１の画質を、トーンカーブＴ４を用いて補正する。状況補正部２２は、実写画像の撮像時の環境を検出する環境センサで検出された情報と、実写画像から検出される撮像時の環境を示す情報との少なくとも１つ又はユーザ操作入力情報に従って、夕方又は朝方であるか否かを検出することができる。例えば、環境センサ５として、日光の入射角度を検出可能なものを用いたり、色温度センサを用いて画像全体が赤みがかっていたりすることを検出したりすることにより、夕方又は朝方であるか否かを検出することができる。
【0042】
図８（Ａ）には、補正前の標準表象画像Ｐ２が示され、図８（Ｂ）には、補正後の標準表象画像Ｐ２が示されている。図８（Ａ）と図８（Ｂ）とを比較するとわかるように、図８（Ｂ）の方が、車で反射した反射光が抑制され、その周囲が見やすくなっている。
【0043】
［夜間のトーンカーブによる変換］
図２に戻り、記憶部１０は、人が被写体３を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、図９に示すように、夜間での明るさに対応するトーンカーブＴ５、Ｔ６、Ｔ７を記憶する。
図２に戻り、記憶部１０は、人が被写体３を直接見たときに感じる明るさに対応して規定されたトーンカーブとして、図９に示すように、夜間での明るさに対応するトーンカーブＴ５、Ｔ６、Ｔ７を記憶する。
【0044】
第５のトーンカーブとしてのトーンカーブＴ５は、実写画像Ｐ１の輝度の最大値が第１の輝度以上である場合に用いられる。第１の輝度は、例えば、入力値１０－２と１との間に設定される。トーンカーブＴ５は、実写画像Ｐ１に、図１０（Ａ）～図１０（Ｃ）に示すように満月や人工照明等が写りこんでいる場合、すなわち非常に明るい照明を含む場合に用いられる。トーンカーブＴ５は、輝度の最大値を１として正規化された場合に、入力値が０．０００１（１０－４）より低い範囲の傾きγが最大となり、０．０００１（１０－４）より高い範囲での傾きγが０とならないように規定されている。
【0045】
図１０（Ａ）に示すように、ハイライトを保存した実写画像Ｐ１では、月と人工照明とが写りこんでいるが、それらは真っ白な部分としてしか認識することができなくなっており、暗部は知覚不可能となっている。これに対して、図１０（Ｂ）に示すように、低輝度領域を見やすくするためにハイライトが飽和するように変換された画像Ｐ３では、人工照明の輪郭はぼやけており、ハイライトの部分が飛んでしまっている。これに対して、図１０（Ｃ）に示すように、トーンカーブＴ５を用いて変換された標準表象画像Ｐ２では、月及び人工照明の輪郭がはっきり知覚できるほか、その周辺の雲や自動車、建物まではっきりと写っている。これは、トーンカーブＴ５が、明部においても傾きγを飽和させることなく、入力値が１０-4以下の部分で傾きγを最大とし、１０-5から１まで広い範囲で傾きγが０とならないようにしているためである。
【0046】
また、図９に示すように、第６のトーンカーブとしてのトーンカーブＴ６は、夜間での明るさに対応し、第１の輝度より低く、第２の輝度以上である場合に用いられる。第２の輝度は、第１の輝度よりも小さく、例えば１０－２から１０－３の範囲で設定される。トーンカーブＴ６は、入力値が、０．００１（１０－３）のときに傾きγが最大となり、全体としてＳ字状となるように規定されている。例えば、トーンカーブＴ６は、図１１（Ａ）～図１１（Ｃ）に示すように、実写画像Ｐ１に普通の室内照明が写りこんでいる場合に用いられる。
【0047】
図１１（Ａ）に示すように、ハイライトを保存した実写画像Ｐ１では、ガソリンスタンドが写りこんでいるが、そのガソリンスタンドが暗くなりすぎており、それ以外の暗部は知覚不可能となっている。これに対して、暗部のみを重視するトーンカーブを用いた場合には、図１１（Ｂ）に示すように、低輝度領域を見やすくするためにハイライトが飽和するように変換された画像Ｐ３では、ガソリンスタンドが明るくなりすぎ、中まではっきりと見えないようになっている。これに対して、図１１（Ｃ）に示すように、トーンカーブＴ６を用いて変換された標準表象画像Ｐ２では、ガソリンスタンドが内部まではっきり見えるようになっている。これは、トーンカーブＴ６では、入力値が１０－３での傾きγが最大となっているためである。
【0048】
なお、このトーンカーブＴ６は、夜間だけでなく、薄暮時、夜の部屋、車内から車外での撮像（薄暮～夜間）での実写画像Ｐ１の変換にも広く適用することができる。
【0049】
また、図９に示すように、第７のトーンカーブとしてのトーンカーブＴ７は、夜間での明るさに対応し、実写画像Ｐ１の輝度の最大値が第２の輝度より低い場合に用いられる。例えば、トーンカーブＴ７は、図１２（Ａ）～図１２（Ｂ）に示すように、明るい照明が写りこんでいない場合に用いられる。この場合には、画像内の暗部が明るくなるようにカーブのレベルを持ち上げることができる。図９に示すように、トーンカーブＴ７は、トーンカーブＴ６よりも入力値の全範囲に渡る傾きγの変化が小さくなるように規定されている。
【0050】
図１２（Ａ）に示すように、ハイライトを保存した実写画像Ｐ１では、町の夜景が写りこんでいるが、画像全体として暗くなりすぎており、暗部を知覚しづらくなっている。これに対して、暗部を再現しようとして、トーンカーブを昼間と同じようなものとした場合には、図１２（Ｂ）に示すように、低輝度領域を見やすくするためにハイライトが飽和するように変換された画像Ｐ３では、照明のある部分が明るくなりすぎてその部分がわかりにくくなっている。これに対して、図１２（Ｃ）に示すように、トーンカーブＴ７を用いて変換された標準表象画像Ｐ２では、照明のある部分周辺のコントラストが向上している。
【0051】
図２に戻り、主要変換部２１は、実写画像Ｐ１が夜間に撮像されたものである場合に、トーンカーブＴ５、Ｔ６、Ｔ７のうち、実写画像Ｐ１の輝度の最大値に対応するトーンカーブＴを用いて、実写画像Ｐ１の画質を変換する。主要変換部２１は、実写画像Ｐ１の輝度の最大値に基づいて、実写画像Ｐ１の画質の変換に用いるトーンカーブＴを選択する。すなわち、実写画像Ｐ１の輝度の最大値が第１の輝度以上である場合には、トーンカーブＴ５を選択し、実写画像Ｐ１の輝度の最大値が第１の輝度より低く、第２の輝度より高い場合には、トーンカーブＴ６を選択し、実写画像Ｐ１の輝度の最大値が第２の輝度より低い場合には、トーンカーブＴ７を選択する。
【0052】
［日中の室内と室外を含む画像に対応するトーンマップによる変換］
図２に戻り、記憶部１０は、日中の室内の明るさと室外の明るさとに対応する第８のトーンカーブとしてのトーンカーブＴ８を記憶する。トーンカーブＴ８は、図１３に示すように、第１の範囲Ｗ１（入力値が１０－４．５から１０－１．５の範囲）において、湾曲しており、第２の範囲Ｗ２（入力値が１０－２．５以上の範囲）において、上に凸状に湾曲している。
図２に戻り、記憶部１０は、日中の室内の明るさと室外の明るさとに対応する第８のトーンカーブとしてのトーンカーブＴ８を記憶する。トーンカーブＴ８は、図１３に示すように、第１の範囲Ｗ１（入力値が１０－４．５から１０－１．５の範囲）において、湾曲しており、第２の範囲Ｗ２（入力値が１０－２．５以上の範囲）において、上に凸状に湾曲している。
【0053】
図１４（Ａ）および図１４（Ｂ）には、日中の室内（廊下）の実写画像Ｐ１が示されている。室内を重視した場合には、図１４（Ａ）に示すように、この実写画像Ｐ１では、窓の外側の部分や蛍光灯の部分が明るく白飛びとなった状態となり見づらくなっている。また、室内と室外をバランスさせて撮影した場合には、図１４（Ｂ）に示すように、外の景色や蛍光灯の部分は概ね良好だが、廊下が暗すぎる。これに対して、図１４（Ｃ）に示すように、トーンカーブＴ８で変換された標準表象画像Ｐ２によれば、外の景色や蛍光灯の部分と暗め廊下の様子が肉眼に近い状態で再現されており、全体の様子が見やすくなっている。
【0054】
主要変換部２１は、日中に実写画像Ｐ１が室内で撮像されたものと室外で撮像されたものを含む場合に、トーンカーブＴ８を用いて、実写画像Ｐ１の画質を変換する。主要変換部２１は、操作入力により、日中に実写画像Ｐ１が室内で撮像されたものと室外で撮像されたものを含むか否かを判定することができる。
【0055】
このように、トーンカーブＴ８では、明るさが異なる室内の画像部分と室外の画像部分とで、明るさの持ち上げ方を変えることができる。このため、室内の画像部分も室外の画像部分も知覚しやすい標準表象画像Ｐ２を得ることが可能となる。
【0056】
［ビューイングフレア］
上述のようにして生成された標準表象画像Ｐ２は、ＨＤＲ画像である。しかしながら、実際には、画像を表示する表示装置には様々なものがあり、コントラスト比が１００：１のもの（ＣＲ１００）から、２５：１（ＣＲ２５）、１０：１のもの（ＣＲ１０）やそれ以下のもの（ＧＭＩＮ）まで存在する。ＣＲ２５以下のコントラストの表示装置（例えばプロジェクタ）を低ダイナミックレンジ（ＬＤＲ；Low Dynamic Range）の表示装置ともいう。これらＬＤＲの表示装置でも、可能な限り視覚的に高いコントラストで、画像を見ることができるようにすることが求められている。
上述のようにして生成された標準表象画像Ｐ２は、ＨＤＲ画像である。しかしながら、実際には、画像を表示する表示装置には様々なものがあり、コントラスト比が１００：１のもの（ＣＲ１００）から、２５：１（ＣＲ２５）、１０：１のもの（ＣＲ１０）やそれ以下のもの（ＧＭＩＮ）まで存在する。ＣＲ２５以下のコントラストの表示装置（例えばプロジェクタ）を低ダイナミックレンジ（ＬＤＲ；Low Dynamic Range）の表示装置ともいう。これらＬＤＲの表示装置でも、可能な限り視覚的に高いコントラストで、画像を見ることができるようにすることが求められている。
【0057】
また、例えば、表示装置の画面には、図１５に示すように外部からの照明光が入射し、その反射光が画面に表示された画像のコントラストを低下させる。このようなコントラストを低下させるノイズをビューイングフレア（黒の浮き）という。
【0058】
なお、これまでに説明したトーンカーブＴ１～Ｔ８は、表示装置で標準表象画像Ｐ２を表示した場合のビューイングフレアを考慮したものとなっている。すなわち標準表象画像Ｐ２は、非常に明るい外光が反射する表示画面に表示されたとしても、相当量の情報を得つつ、室内の主要部分（最大値の１０－１．５から１０－３．５）では実際に近いコントラストで情報を取得することができ、さらに室内の暗部の情報（最大値の１０－３以下の部分）の情報も取得することができる画像となっている。ビューイングフレアについては、例えば、国際公開ＷＯ２０１８／２１２２１２号等に詳細に開示されている。
【0059】
本実施の形態では、予め画面での照明光の反射によるビューイングフレアを想定し、ＬＤＲ画像のコントラスト比の範囲内でコントラストが可能な限り良好となるような画像変換を行う。例えば、図１６（Ａ）には、日向に対応するトーンカーブＴ１（ＧＭＡＸ）が示されているほか、このトーンカーブＴ１で変換された標準表象画像Ｐ２がＧＭＩＮ（コントラスト比１０：１未満）、ＣＲ２５、ＣＲ１００の表示装置で表示されたときの実際の見え方を示す曲線も示されている。図１６（Ａ）に示すように、ビューイングフレアにより、入力値が１０－３の付近では、これらの曲線の傾きγが小さくなっている。このため、画像に黒つぶれが発生するおそれがある。
【0060】
図２に戻り、記憶部１０は、第９のトーンカーブとしてのトーンカーブＴ９を記憶する。図１７に示すように、トーンカーブＴ９では、ビューイングフレアがコントラスト比の１０％であることを想定し、入力値１０－３以上１０－２以下の範囲において傾きγが大きくなるように規定されている。
【0061】
ディスプレイ調整部２３は、記憶部１０から読み出したトーンカーブＴ９を用いて標準表象画像Ｐ２の画質を補正し、低コントラスト補正画像Ｐ４を生成する。トーンカーブＴ９により画像の画質を変換すれば、図１６（Ｂ）の点線に示すように、入力値１０－３以上１０－２以下の範囲において曲線の傾きγが大きくなっている。これは、表示装置において暗部（点線で示される部分）の階調再現域が増加したことを意味している。なお、標準表象画像Ｐ２に限らず一般のＳＤＲ画像をトーンカーブＴ９を用いて変換したとしても、同様の効果が得られる。
【0062】
図１８（Ａ）には、トーンカーブＴ９で補正する前の標準表象画像Ｐ２が示され、図１８（Ｂ）には、トーンカーブＴ９で補正した後の低コントラスト補正画像Ｐ４が示されている。図１８（Ａ）と図１８（Ｂ）の点線を比較するとわかるように、図１８（Ｂ）の低コントラスト補正画像Ｐ４の方が、暗部のコントラストが向上している。
【0063】
なお、本実施の形態では、ビューイングフレアをコントラスト比の１０％と仮定しているが、ビューイングフレアは１０％以外の場合もある。１０％以外のビューイングフレアを考慮して、複数のトーンカーブＴを規定するようにしてもよい。なお、一般に、ビューイングフレアの範囲は、１％から１０％までと考えられるため、ビューイングフレア１０％を考慮したトーンカーブＴを作成すれば、概ねすべての表示環境で良好な画像の表示を実現することができる。また、センサを使用してビューイングフレアの量を計測し、この値に基づいて切り替えてもよい。
【0064】
［ハードウエア構成］
図１９には、画質調整装置１のハードウエア構成が示されている。図１９に示すように、画質調整装置１は、ＣＰＵ（Central Processing Unit）３０と、メモリ３１と、外部記憶部３２と、操作部３３と、表示部３４と、通信インターフェイス（Ｉ／Ｆ）３５と、入出力部３６と、を備える。画質調整装置１の各構成要素は、内部バス４０を介して接続されている。
図１９には、画質調整装置１のハードウエア構成が示されている。図１９に示すように、画質調整装置１は、ＣＰＵ（Central Processing Unit）３０と、メモリ３１と、外部記憶部３２と、操作部３３と、表示部３４と、通信インターフェイス（Ｉ／Ｆ）３５と、入出力部３６と、を備える。画質調整装置１の各構成要素は、内部バス４０を介して接続されている。
【0065】
ＣＰＵ３０は、ソフトウエアプログラム（以下、単に「プログラム」とする）を実行するプロセッサ（演算装置）である。メモリ３１には、外部記憶部３２からプログラム３９が読み込まれ、ＣＰＵ３０は、メモリ３１に格納されたプログラム３９を実行することにより、トーンカーブＴを用いた変換処理を行う。すなわち、ＣＰＵ３０によるプログラム３９の実行により、変換部２０の動作が行われる。
【0066】
メモリ３１は、例えばＲＡＭ（Random Access Memory）である。メモリ３１には、ＣＰＵ３０によって実行されるプログラム３９が格納される他、ＣＰＵ３０によるプログラム３９の実行で必要なデータ（トーンカーブＴ、実写画像Ｐ１、変換後画像Ｐ２、Ｐ４など）、プログラム３９の実行の結果生成されるデータが記憶される。
【0067】
外部記憶部３２は、例えばハードディスク等である。外部記憶部３２は、ＣＰＵ３０により実行されるプログラム３９が記憶される。また、持ち運び可能なＵＳＢ（Universal Serial Bus）メモリ等の記録媒体５０にはプログラム３９が記憶されている。外部記憶部３２には、記録媒体５０から転送されたプログラム３９が記憶されている。
【0068】
操作部３３は、オペレータが操作可能なマンマシンインターフェイスである。操作部３３としては、例えばキーボード、マウス、タッチパネル、カメラ、マイクロホン等がある。ＣＰＵ３０は、操作部３３の操作入力に従って動作する。実写画像Ｐ１が日向で撮像されたものであるか、日陰で撮像されたものであるか、曇天下で撮像されたものであるか、夕方又は朝方に撮像されたものであるか、夜間に撮像されたものであるかの操作入力は、操作部３３によって行われる。
【0069】
表示部３４は、画像を表示するディスプレイである。表示部３４は、ＣＰＵ３０から出力された画像信号を出力する。これにより、表示部３４には、その画像信号に基づく画像が表示される。タッチパネルの場合は、操作部３３と表示部３４とは一体化している。表示部３４には、実写画像Ｐ１、標準表象画像Ｐ２を表示可能である。
【0070】
通信インターフェイス３５は、外部機器と通信を行うための通信インターフェイスである。通信インターフェイス３５は、通信ネットワークの入出力インターフェイスである。この通信インターフェイス３５を介して、実写画像Ｐ１が入力されたり、変換後画像Ｐ２，Ｐ４が外部に出力されたりする。
【0071】
入出力部３６は、記録媒体５０の入出力インターフェイスである。プログラム３９又は実写画像Ｐ１は、この入出力部３６を介して入力される。また、変換後画像Ｐ２，Ｐ４はこの入出力部３６を介して、記録媒体５０に出力することが可能である。
【0072】
［画質調整装置の動作］
次に、本実施の形態に係る画質調整装置１の動作、すなわち画像変換方法について説明する。図２０には、画質調整装置１の動作を示すフローチャートが示されている。なお、ここでは、予め実写画像Ｐ１が記憶部１０（外部記憶部３２）に記憶されているものとする。
次に、本実施の形態に係る画質調整装置１の動作、すなわち画像変換方法について説明する。図２０には、画質調整装置１の動作を示すフローチャートが示されている。なお、ここでは、予め実写画像Ｐ１が記憶部１０（外部記憶部３２）に記憶されているものとする。
【0073】
画質調整装置１を構成する変換部２０の主要変換部２１は、被写体３（図１参照）の実写画像Ｐ１の画質を、人が被写体３を直接見たときに感じる見え方に近い明るさに変換するトーンカーブＴを記憶装置としての記憶部１０から読み出す（ステップＳ１）。具体的には、例えば、主要変換部２１は、環境センサ５で検出された撮像環境データ６と、実写画像Ｐ１から検出される撮像時の環境を示す情報との少なくとも１つに基づいて、実写画像Ｐ１が日向で撮像されたものであるか、日陰で撮像されたものであるか、曇天下で撮像されたものであるか、夜間に撮像されたものであるか、昼間の室内で撮像されたものであるかを割り出す。
【0074】
さらに、主要変換部２１は、夜間と判定された場合には、実写画像Ｐ１の輝度の最大値が第１の輝度以上であるか、第１の輝度より低く、かつ、第２の輝度より高いか、第２の輝度より低く、かつ、第３の輝度以上であるかを検出する。なお、実写画像Ｐ１の撮像条件の選定は、操作部３３（図１９参照）を用いたユーザの操作入力により行われるようにしてもよい。そして、主要変換部２１は、決定された撮像条件に従って、トーンカーブＴ１～Ｔ３、Ｔ５～Ｔ８の中から、１つのトーンカーブＴを選択し、記憶部１０から読み出す。
【0075】
続いて、主要変換部２１は、視覚特性対応の画質の変換を行う（ステップＳ２）。具体的には、主要変換部２１は、記憶部１０から読み出したトーンカーブＴを用いて、実写画像Ｐ１の画質を変換する。
【0076】
続いて、変換部２０は、実写画像Ｐ１の撮像時が夕方又は朝方であるか否かを判定する（ステップＳ３）。夕方又は朝方であるとの判定が肯定されれば（ステップＳ３；Ｙｅｓ）、状況補正部２２は、画質の補正を行う（ステップＳ４）。具体的には、状況補正部２２は、環境センサ５で検出された情報と、標準表象画像Ｐ２から検出される撮像時の環境を示す情報との少なくとも１つ、又はユーザによる操作入力情報に基づいて、撮像時が夕方又は朝方であるか否かを検出する。状況補正部２２は、夕方又は朝方に対応するトーンカーブＴ４を記憶部１０から読み出して、トーンカーブＴ１～Ｔ３のいずれかで画質が変換された画像の画質を、トーンカーブＴ４を用いて変換する。なお、撮像時が夜間である場合には、ここでの判定は否定される。
【0077】
夕方又は朝方であるとの判定が否定されるか（ステップＳ３；Ｎｏ）又はステップＳ４終了後、ディスプレイ調整部２３は、ビューイングフレア対応の画質変換を行う（ステップＳ５）。具体的には、ディスプレイ調整部２３は、記憶部１０からトーンカーブＴ９を読み込んで、これまでに変換が行われた標準表象画像Ｐ２の画質をトーンカーブＴ９を用いてさらに変換する。変換された画像は、低コントラスト補正画像Ｐ４として、表示部３４（図１９参照）で表示されるか、通信インターフェイス３５又は入出力部３６を介して出力され、別の表示装置で表示される。低コントラスト補正画像Ｐ４は、人の視覚特性に沿うように変換され、ビューイングフレア対策が施されているため、どのような表示装置で表示されても、視覚的なコントラスト感が良く、違和感のない画像となっている。ステップＳ５終了後は、変換部２０は、処理を完了する。
【0078】
以上詳細に説明したように、本実施の形態によれば、被写体３の実写画像Ｐ１全体の画質を、単一のトーンカーブＴを用いて、人の視覚特性に沿った画質に変換することができるので、被写体３の画像を見る人の違和感を低減することができる。
【0079】
人間は、日向、日陰、曇天下、夜間などの様々な異なる環境で被写体の見え方を変更していると考えられる。実写画像Ｐ１に写る被写体３を、実際の環境で鑑賞したときのグローバルトーンマッピングは、殆どの場合、標準的な数種類のパターン処理（例えば, 日向、日陰、曇天下など）とその派生処理（夕焼け補正など）に分類することができる。本実施の形態に係る画質調整装置１が行う処理は、人間が実際に行う視覚情報処理に類似した処理である。本実施の形態に係る画質調整装置１は、人間が行っている視覚情報処理のパターンに沿ってトーンカーブを切り替えることにより、画像に生じる違和感を低減している。
【0080】
トーンカーブＴによる画質の変換は、ルックアップテーブルの参照により行われるので、処理時間を短縮することができる。これにより、膨大な演算を必要とせずに被写体３の画像を見る人の違和感を低減することができる。この結果、本実施の形態に係る画質調整装置１を、動画の画質変換に用いるようにすれば、変換に要する時間を短縮することができる。
【0081】
本実施の形態に係る画質調整装置１を用いれば、表示される変換後画像Ｐ２は、元の撮影条件の影響を殆ど受けることなく各種ＨＤＲ環境及びＳＤＲ（Standard Dynamic Range）環境で良好な画質となる。また、プロジェクタの投影時など、コントラストが極端に低下する条件であるＬＤＲ環境下においても、変換後画像Ｐ４は、コントラスト比に応じてＨＤＲ－ＬＤＲ、ＳＤＲ－ＬＤＲ変換のための統一的なグローバルトーンマッピング（トーンカーブＴ９によるマッピング）を行うことにより、表示される画像の画質の低下を最小限にとどめることができる。
【0082】
このように、本実施の形態では、日向、日陰、曇天下についてトーンカーブＴ１～Ｔ３をそれぞれ用意している。このようにすれば、人の視覚特性に沿った画質に変換することができるので、被写体３の画像を見る人の違和感を低減することができる。
【0083】
また、本実施の形態では、夕方や朝方などの実写画像Ｐ１については、角度の低い太陽光による反射光の影響を考慮して、高輝度域のコントラストが向上するようにトーンカーブＴ４を用いて補正される。このようにすれば、夕方又は朝方の被写体の見え方に近い画像を生成することができる。このトーンカーブＴ４は、日向、日陰、曇天下のいずれの実写画像Ｐ１に対しても同じものを適用することができる。
【0084】
また、本実施の形態では、夜間については、その画像の明るさの度合いによって、３種類のトーンカーブＴ５～Ｔ７を用意している。これにより、高輝度から低輝度まで高コントラストで、画像を表示することが可能となっている。なお、夜間については、２種類又は４種類以上にトーンカーブを分けることも可能である。
【0085】
また、本実施の形態では、室内の明るさと室外の明るさとを含む画像に対しては、トーンカーブＴ８を用意している。これにより、明るさの条件が異なる部分があってもそれぞれの部分でコントラストを向上することができる。
【0086】
また、本実施の形態では、表示装置のコントラスト比やビューイングフレアが考慮されたトーンカーブＴ９を用いて画像の画質を変換可能である。このようにすれば、コントラスト比の低い表示装置においても、できる限り良好なコントラスト比で画像を表示することができる。このトーンカーブＴ９については、日向、日陰、曇天下、夕方（朝方）、夜間のいずれの実写画像についても同じものを適用することができる。
【0087】
なお、夜間の室内においては、実写画像Ｐ１に部屋の照明が入っていればトーンカーブＴ６を用い、実写画像Ｐ１に部屋の照明が入っていない場合には、曇天下のトーンカーブＴ３を用いるようにしてもよい。
【0088】
トーンカーブＴ１～Ｔ９の特性はあくまで一例であり、この他のトーンカーブを採用することも可能である。
【0089】
その他、画質調整装置１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
【0090】
記憶部１０及び変換部２０などから構成される画質調整装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する画質調整装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで画質調整装置１を構成してもよい。
【0091】
画質調整装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムとの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【0092】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（BBS；Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【0093】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0094】
本発明は、実写画像の画質を調整するのに適用することができる。また、レイトレーシング等の技術を用いて輝度再現を忠実に行ったフォトリアリスティック（photo-realistic）なＣＧ画像にも同様に適応することができる。
【符号の説明】
【0095】
１ 画質調整装置、２ デジタルカメラ、３ 被写体、５ 環境センサ、６ 撮像環境データ、１０ 記憶部、２０ 変換部、２１ 主要変換部、２２ 状況補正部、２３ ディスプレイ調整部、３０ ＣＰＵ（Central Processing Unit）、３１ メモリ、３２ 外部記憶部、３３ 操作部、３４ 表示部、３５ 通信インターフェイス、３６ 入出力部、３９ プログラム、４０ 内部バス、５０ 記録媒体、Ｐ１ 実写画像、Ｐ２ 標準表象画像（変換後画像）、Ｐ３ 画像、Ｐ４ 低コントラスト補正画像（変換後画像）、Ｔ，Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５，Ｔ６，Ｔ７，Ｔ８，Ｔ９ トーンカーブ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】