(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-31
(45)【発行日】2023-09-08
(54)【発明の名称】制御装置、表示装置、制御プログラムおよび制御方法
(51)【国際特許分類】
G09G 5/10 20060101AFI20230901BHJP
G09G 3/20 20060101ALI20230901BHJP
G09G 5/00 20060101ALI20230901BHJP
G09G 5/37 20060101ALI20230901BHJP
G09G 3/36 20060101ALI20230901BHJP
H04N 5/66 20060101ALI20230901BHJP
【FI】
G09G5/10 B
G09G3/20 612U
G09G3/20 641P
G09G3/20 650M
G09G5/00 550H
G09G5/37 320
G09G5/37 100
G09G3/20 642E
G09G3/20 642F
G09G5/00 550C
G09G3/20 611A
G09G3/20 670L
G09G3/36
H04N5/66 A
(21)【出願番号】P 2020046705
(22)【出願日】2020-03-17
【審査請求日】2022-09-21
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】山本 真司
【審査官】塚本 丈二
(56)【参考文献】
【文献】特開2016-031492(JP,A)
【文献】特開2009-272943(JP,A)
【文献】米国特許出願公開第2007/0286480(US,A1)
【文献】中国特許出願公開第102768757(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00-5/42
G09G 3/20-3/38
H04N 5/66
G06T 1/00-19/20
(57)【特許請求の範囲】
【請求項1】
表示パネルを有する表示装置を制御する、入力画像を補正して出力画像を生成することが可能な制御装置であって、
前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出部と、
前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出部と、
(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理部と、を備え
、
前記強調度は、前記最大階調値が大きくなるほど、または、前記重心階調値が小さくなるほど、より高くなり、
前記処理部は、前記強調度が高くなるほど、
前記特殊階調変化特性として、
前記入力側高階調領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値を一律により大きくするとともに、
前記入力側高階調領域以外の領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値をより小さくすることで、すべての前記入力階調値の積算階調値とすべての前記出力階調値の積算階調値とが同一になるように、前記入力画像を補正する第1特殊階調変化特性を生成し、
かつ、前記複数の表示素子の前記輝度値をより大きく設定する、制御装置。
【請求項2】
表示パネルを有する表示装置を制御する、入力画像を補正して出力画像を生成することが可能な制御装置であって、
前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出部と、
前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出部と、
(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理部と、を備え、
前記強調度は、前記最大階調値が小さくなるほど、または、前記重心階調値が大きくなるほど、より低くなり、
前記処理部は、前記強調度が低くなるほど、
前記特殊階調変化特性として、前記入力側高階調領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値の方がより大きくなるように前記入力画像を補正する第2特殊階調変化特性を生成し、
かつ、前記複数の表示素子の前記輝度値をより小さく設定する
、制御装置。
【請求項3】
表示パネルを有する表示装置を制御する、入力画像を補正して出力画像を生成することが可能な制御装置であって、
前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出部と、
前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出部と、
(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理部と、を備え、
前記処理部は、前記複数の表示素子の前記輝度値を積算した積算輝度値が、前記表示パネルで設定可能な前記積算輝度値の最大値である第1最大設定値以下、または、前記複数の表示素子の前記輝度値の最大値である最大輝度値が、前記表示パネルで設定可能な前記複数の表示素子の前記輝度値の最大値である第2最大設定値以下のいずれかの場合には、前記強調度に応じて前記最大輝度値を大きくした伸張最大輝度値を設定する
、制御装置。
【請求項4】
表示パネルを有する表示装置を制御する、入力画像を補正して出力画像を生成することが可能な制御装置であって、
前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出部と、
前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出部と、
(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理部と、を備え、
前記処理部は、前記複数の表示素子の前記輝度値を積算した積算輝度値が、前記表示パネルで設定可能な前記積算輝度値の最小値である最小設定値以下の場合には、前記複数の表示素子の前記輝度値を大きくした伸張輝度値を設定する
、制御装置。
【請求項5】
前記処理部は、前記積算輝度値が前記最小設定値以下の場合には、前記表示装置の周囲の照度に応じて前記伸張輝度値を設定する、請求項
4に記載の制御装置。
【請求項6】
表示パネルを有する表示装置を制御する、入力画像を補正して出力画像を生成することが可能な制御装置であって、
前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出部と、
前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出部と、
(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理部と、を備え、
前記処理部は、
前記入力画像に対する前記入力側高階調領域の占有割合が高くなるほど、前記特殊階調変化特性として、前記出力画像における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値を一律により大きくするとともに、前記出力画像における前記出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値の傾きを大きくすることで、前記入力階調値の積算階調値分布よりも前記出力階調値の積算階調値分布の方が相対的に均一になるような第3特殊階調変化特性を生成し、
前記入力階調値が他の領域よりも小さい入力側低階調領域について、前記入力画像に対する前記入力側低階調領域の占有割合が高くなるほど、前記特殊階調変化特性として、前記出力画像における前記入力側低階調領域に対応する出力側低階調領域に含まれる、各出力画素の前記出力階調値がより大きくなるような第4特殊階調変化特性を生成する
、制御装置。
【請求項7】
所定のオブジェクトと当該所定のオブジェクトが映った画像とを教師データとした機械学習により生成された学習済みモデルを用いて、前記入力画像中のオブジェクト画像が映し出した前記所定のオブジェクトの種類を判定する判定部をさらに備え、
前記第1算出部は、前記判定部の判定結果に応じて前記入力画像を解析することにより、前記入力画像に対する前記オブジェクト画像の占有割合を算出し、
前記処理部は、前記判定部の判定結果および前記第1算出部の算出結果に基づいて、前記オブジェクト画像を色補正するときの色補正の度合いを示す色補正度を設定し、前記色補正度に応じて前記オブジェクト画像を色補正することにより前記出力画像を生成する、請求項1から
6のいずれか1項に記載の制御装置。
【請求項8】
請求項1から
7までのいずれか1項に記載の制御装置を備えた、表示装置。
【請求項9】
請求項1から
7までのいずれか1項に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、前記第1算出部、前記第2算出部および前記処理部としてコンピュータを機能させるための制御プログラム。
【請求項10】
表示パネルを有する表示装置を制御する、入力画像を補正して出力画像を生成することが可能な制御装置の制御方法であって、
前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出ステップと、
前記第1算出ステップにて算出した前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出ステップと、
(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記第2算出ステップにて算出した前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記第2算出ステップにて算出した前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理ステップと、を含
み、
前記強調度は、前記最大階調値が大きくなるほど、または、前記重心階調値が小さくなるほど、より高くなり、
前記処理ステップでは、前記強調度が高くなるほど、
前記特殊階調変化特性として、
前記入力側高階調領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値を一律により大きくするとともに、
前記入力側高階調領域以外の領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値をより小さくすることで、すべての前記入力階調値の積算階調値とすべての前記出力階調値の積算階調値とが同一になるように、前記入力画像を補正する第1特殊階調変化特性を生成し、
かつ、前記複数の表示素子の前記輝度値をより大きく設定する、制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置、表示装置、制御プログラムおよび制御装置の制御方法に関する。
【背景技術】
【0002】
表示装置の画質を高画質化する機能の1つとして、HDR(High Dynamic Range)技術がある。HDR信号は10000nit(cd/m2)程度の輝度情報を持つことができる。そのため、HDR技術を用いることにより、表示装置の高輝度化・高コントラスト化が可能となり、画像の迫力を増大させることができる。しかし、表示装置においてHDR信号が示している輝度通りに表示しようとすると、表示装置の大きさ・種類によっては表示装置の高消費電力化および発熱を招来してしまう。
【0003】
表示装置の輝度を調整して表示装置の消費電力・発熱を低減する技術として、例えば特許文献1には、明るさ補正部を備えた画像表示装置が開示されている。特許文献1の画像表示装置の明るさ補正部は、調光率に応じた光量の制御により空間光変調器で変調された光に生じる明るさの変化を減少させるように、画像データの階調値を制御する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2006-308632号公報(2006年11月9日公開)
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の画像表示装置の明るさ補正部は、画像データの輝度値の平均値とレベル補正後の輝度値との差分に基づいて、明るさ補正の補正量を算出する。この明るさ補正の手法は、表示装置に表示される画像の全体的な表示イメージを確保するためのものであり、HDR技術特有の狭い画像領域での高輝度を実現して、当該画像領域の光沢感・眩しさを強調することはできない。
【0006】
本発明の一態様は、前記の問題点に鑑みてなされたものであり、その目的は、高輝度化・高コントラスト化と消費電力・発熱の低減とが両立した表示装置等を実現することにある。
【課題を解決するための手段】
【0007】
前記の課題を解決するために、本発明の一態様に係る制御装置は、表示パネルを有する表示装置を制御する、入力画像を補正して出力画像を生成することが可能な制御装置であって、前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出部と、前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出部と、(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理部と、を備えている。
【0008】
前記の課題を解決するために、本発明の一態様に係る制御方法は、表示パネルを有する表示装置を制御する、入力画像を補正して出力画像を生成することが可能な制御装置の制御方法であって、前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値の分布を示すヒストグラムを取得して、前記入力階調値の最大値である最大階調値と前記ヒストグラムの重心の前記入力階調値である重心階調値とを算出する第1算出ステップと、前記第1算出ステップにて算出した前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度を算出する第2算出ステップと、(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値と、の対応関係を示す階調変化特性について、前記第2算出ステップにて算出した前記強調度に応じた前記階調変化特性である特殊階調変化特性を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記第2算出ステップにて算出した前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値を設定する処理ステップと、を含んでいる。
【発明の効果】
【0009】
本発明の一態様によれば、表示装置の高輝度化・高コントラスト化を可能にしつつ、表示装置の消費電力・発熱を低減する制御装置等を実現することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施形態1~5に係る表示装置の要部構成を示すブロック図である。
【
図2】本発明の実施形態1に係る表示装置の表示処理の流れを示すフローチャートである。
【
図3】本発明の実施形態1に係る制御装置の階調値算出部による重心階調値の算出方法を示すフローチャートである。
【
図4】強調度と最大階調値と重心階調値との関係を示すグラフである。
【
図5】符号501で示す図は、強調度が相対的に高い入力画像の一例である。符号502で示す図は、符号501で示す入力画像のヒストグラムである。
【
図6】符号601で示す図は、強調度が相対的に低い入力画像の一例である。符号602で示す図は、符号601で示す入力画像のヒストグラムである。
【
図7】符号701で示す図は、強調度が相対的に高い入力画像に適用する第1特殊トーンカーブの一例を示すグラフである。符号702で示す図は、強調度が相対的に低い入力画像に適用する第2特殊トーンカーブの一例を示すグラフである。符号703で示す図は、第2特殊トーンカーブを用いて強調度が相対的に低い入力画像を補正したときの出力画像の一例である。
【
図8】符号801で示す図は、本発明の実施形態2に係る表示パネルに表示された出力画像の一例である。符号802で示す図は、前記表示パネルに符号801で示す出力画像が表示されているときの出力輝度値の分布を示すヒストグラムである。符号803で示す図は、本発明の実施形態2に係るBL制御部がBLを制御する前における入力輝度値と出力輝度値との関係を示すグラフである。符号804で示す図は、前記BL制御部によるBLの制御後に前記表示パネルに表示された、符号801で示す出力画像である。符号805で示す図は、前記表示パネルに符号804で示す出力画像が表示されているときの出力輝度値の分布を示すヒストグラムである。符号806で示す図は、BL制御部がBLを制御した後における入力輝度値と出力輝度値との関係を示すグラフである。
【
図9】符号901は、前記BL制御部がBLを制御した後における入力階調値と出力階調値との関係を示すグラフの一例である。符号902は、前記BL制御部がBLを制御した後における入力階調値と出力階調値との関係を示すグラフの他の例である。
【
図10】符号111で示す図は、本発明の実施形態3に係る表示パネルに表示された出力画像の一例である。符号112で示す図は、前記表示パネルに符号111で示す出力画像が表示されているときの出力輝度値の分布を示すヒストグラムである。符号113で示す図は、出力輝度値と出力輝度値補正倍率との関係を示すグラフである。符号114で示す図は、本発明の実施形態3に係るBL制御部によるBLの制御後に前記表示パネルに表示された、符号111で示す出力画像である。符号115で示す図は、前記表示パネルに符号114で示す出力画像が表示されているときの出力輝度値の分布を示すヒストグラムである。
【
図11】符号121で示す図は、本発明の実施形態4に係る制御装置で処理される前の入力画像の一例である。符号122で示す図は、符号121で示す入力画像のヒストグラムである。符号123で示す図は、符号121で示す入力画像に適用する第3特殊トーンカーブの一例を示すグラフである。符号124で示す図は、符号121で示す入力画像が本発明の実施形態4に係る補正部で補正された後の出力画像の一例である。
【
図12】符号131で示す図は、本発明の実施形態4に係る制御装置で処理される前の入力画像の他の例である。符号132で示す図は、符号131で示す入力画像のヒストグラムである。符号133で示す図は、符号131で示す入力画像に適用する第4特殊トーンカーブの一例を示すグラフである。符号134で示す図は、符号131で示す入力画像が本発明の実施形態4に係る補正部で補正された後の出力画像の一例である。
【
図13】符号141で示す図は、本発明の実施形態5に係る制御装置で処理される前の入力画像の一例である。符号142で示す図は、前記制御装置で処理される前の入力画像の他の例である。
【発明を実施するための形態】
【0011】
〔実施形態1〕
以下、
図1~
図7を用いて実施形態1について説明する。説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、以降の各実施形態では、同じ符号を付記し、その説明を繰り返さない。
【0012】
<表示装置1の概要>
図1を用いて、実施形態1に係る表示装置1の概要を説明する。表示装置1は、スマートフォンなど可搬型の表示装置であってもよいし、据え置き型の表示装置(例:テレビまたはデスクトップPC(Personal Computer))であってもよい。実施形態1では、表示装置1がスマートフォンであるものとして説明する。このことは、後掲の実施形態2~5についても同様である。
【0013】
表示装置1は、
図1に示すように、制御装置10、RGB/照度センサ18、表示パネル80、BL(Back Light:バックライト)83、BL電源84および記憶部90を備えている。記憶部90の詳細については後述する。表示パネル80は、実施形態1以下の各実施形態ではTP(Touch Panel:タッチパネル)であり、入力部81と表示部82とが一体化されて設けられている。一例として、入力部81は、公知のタッチセンサである。表示部82は、例えば液晶パネルである。但し、入力部81と表示部82とが別体として設けられてもよい。
【0014】
制御装置10は、表示装置1の各部を統括的に制御する。実施形態1以下の各実施形態では、制御装置10は、表示部82を制御する表示制御装置としての役割を併有する。
図1では、制御装置10および表示部82がそれぞれ1つ(単数)である構成が例示されている。但し、制御装置10および表示部82の少なくともいずれかは、複数(2つ以上)であってもよい。
【0015】
表示部82には、垂直方向(紙面向かって上下方向)および水平方向(紙面向かって左右方向)があらかじめ規定されている。表示部82には、垂直方向および水平方向のそれぞれに沿って、不図示の複数の表示素子が配列されている。つまり、表示部82には、複数の表示素子がマトリクス状に配列されている。なお、複数の表示素子は、例えば有機EL(electroluminescence)表示素子であってもよい。この場合、表示装置1には下記のBL83が備わっておらず、複数の表示素子が発光する構成となる。
【0016】
BL83は、表示パネル80(より具体的には、表示部82)に光(例:白色光)を照射する。BL83は、不図示の複数の光源を有している。BL83の光源は、例えばLED(Light Emitting Diode:発光ダイオード)である。BL83は、表示パネル80の背面側(表示パネル80の表示面と反対側)に、当該表示パネル80と重なるように配置されている。なお
図1では、説明の便宜上、表示パネル80とBL83との重なり合いが正確に図示されていないことに留意されたい。
【0017】
BL電源84は、BL83を構成する複数の光源を駆動する。一例として、BL電源84から光源に供給される電流を制御することで、BL83の発光面(表示パネル80の背面と対向する面)の発光強度(例:輝度)を制御できる。この制御は、後述するBL制御部15によって行われる。BL83から表示パネル80に照射される光によって、表示パネル80の表示面(表示エリア)において、複数の表示素子によって画像を形成できる。つまり、表示エリアに所望の画像を表示できる。RGB/照度センサ18は、表示装置1の周囲の照度、および、後述のIMG1がRGB形式である場合の赤色成分(R)・緑色成分(G)・青色成分(B)の各画像信号を検出して、後述の強調度算出部13に出力する。
【0018】
<制御装置10の概要>
制御装置10は、
図1に示すように、画像解析部11(「第1算出部」の一部)、階調値算出部12(「第1算出部」の一部)、強調度算出部13(第2算出部)、補正部14(処理部)、BL制御部15(処理部)およびアプリ実行部17を備える。本明細書において「アプリ」とは、表示装置1において実行可能なアプリケーション(アプリケーションソフトウェア)を意味する。制御装置10の各部の動作については後述する。
【0019】
制御装置10は、IMG1(入力画像)を外部から取得する。実施形態1以下の各実施形態では、IMG1として、表示装置1にインストールされた各種アプリの画像の画像データを例に挙げて説明する。各種アプリの画像としては、ゲームアプリの画像の他、SNS(Social Networking Service)、カメラ、テレビなどの各画像を例示することができる。また、IMG1は、動画像の画像データであってもよいし、静止画像の画像データであってもよい。さらに制御装置10は、IMG1として、例えば、表示装置1内の不図示のVRAM(Video Random Access Memory)に格納された各種画像の画像データを取得してもよい。
【0020】
制御装置10は、LUT(Look Up Table)を用いてIMG1の各画素(以下、各入力画素)の階調値を補正することで、IMG2(出力画像)を生成する。LUTは、IMG1の各画素の階調値と、当該IMG1の各画素の階調値に対応して出力すべきIMG2の各画素(以下、各出力画素)の階調値と、を記憶したデータテーブルである。実施形態1以下の各実施形態では、1D(1次元)LUTを用いてIMG1の各画素の階調値を補正する。但し、1DLUTに替えて3D(3次元)LUTを用いてもよい。また、LUTをグラフ化した場合のグラフが、トーンカーブとなる。制御装置10は、生成したIMG2を表示部82に出力することにより、IMG2を表示部82に表示させる。
【0021】
以下、「LUTを用いてIMG1の各入力画素の階調値を補正する」ことを、単に「トーンカーブを用いて、IMG1の階調値を補正する」(あるいは、「トーンカーブを用いて、IMG1を補正する」)とも称する。また、IMG1・2の各入力・出力画素の階調値を、単に「IMG1・2の階調値」とも称する。
【0022】
ここで、IMG1の補正に用いられるトーンカーブは、「従来のトーンカーブと異なるトーンカーブを用いてIMG1を補正する」という発明者の着想に基づいて新たに想到されたものである。以下、本発明の一態様に係るトーンカーブ(発明者によって新たに想到されたトーンカーブ)を、「特殊トーンカーブ」と称する。特殊トーンカーブの詳細については後述する。
【0023】
<入力階調値xおよび出力階調値y>
本明細書では、IMG1の1つの入力画素の階調値を「入力階調値x」と称する。また、当該1つの入力画素に対応する、IMG2の1つの出力画素の階調値を「出力階調値y」と称する。これによりトーンカーブは、入力階調値xと出力階調値yとの対応関係を示す関数(y=f(x))、言い換えれば「階調変化特性」と称されてもよい。また、特殊トーンカーブは、「特殊階調変化特性」と称されてもよい。
【0024】
本明細書では、入力階調値xおよび出力階調値yが、規格化された階調値である場合を例示する。つまり、IMG1およびIMG2のいずれにおいても、0が階調値の最小値であり、1が階調値の最大値であるものとする。つまり、入力階調値xおよび出力階調値yは、0≦x≦1、0≦y≦1を満たすものとする。階調値は、画素の輝度(明るさ)を示す指標である。具体的には、階調値が大きいほど(階調値が1に近いほど)、当該画素の輝度は高い。また、階調値が小さいほど(階調値が0に近いほど)、当該画素の輝度は低い。
【0025】
なお、本明細書におけるトーンカーブは、いずれも、(x、y)=(0、0)、(1、1)の2点を通るものとする。また、本明細書におけるトーンカーブは、いずれも、すべての入力階調値xにおいて連続な関数である。
【0026】
また、規格化される前の階調値は、任意のビット数(Nビット)(Nは整数)のデジタル値として表現される。一例として、N=8である。従って、入力階調値xおよび出力階調値yは、所定の値(例:1/2N)ごとに値が増加する離散的な数である。
【0027】
本明細書では、y=f(x)において、入力階調値xに対する出力階調値yの変化率を、「階調変化率」(以下、V)と称する。数学的には、V=dy/dx=d{f(x)}/dxとして表現できる。一例として、x→x+Δxとしてxが変化した場合に、y→y+Δyに変化した場合を考える。Δxは、微小量である。一例として、Δx=1/2Nである。表示装置1では、V=Δy/Δxとして、階調変化率が算出されてよい。
【0028】
本明細書では、y=f(x)のグラフのx軸を、「入力画像における階調領域」(以下、「入力側階調領域」)と称する。入力側階調領域は、入力画像における各画素の入力階調値xを示す領域である。本明細書では、入力側階調領域を、入力側低階調領域と入力側中階調領域と入力側高階調領域との3つの領域に区分して説明する。
【0029】
入力側低階調領域とは、入力側階調領域のうち、入力階調値xが小さい領域を意味する。また、入力側高階調領域とは、入力側階調領域のうち、入力階調値xが大きい領域を意味する。従って、入力側中階調領域は、入力側階調領域の全範囲から、入力側低階調領域および入力側高階調領域を除いた領域として規定できる。
【0030】
一例として、0<a<b<1を満たす任意の数aおよびbを考える。この場合、
0≦x<aの領域:入力側低階調領域;
a≦x≦bの領域:入力側中階調領域;
b<x≦1の領域:入力側高階調領域;
として、各領域を定義できる。aおよびbの値は、表示装置1の設計者によって適宜設定されてよい。一例として、aは0.2以下程度の値に、bは0.9以上程度の値に設定されてよい。但し、これらの数値は単なる一例であることに留意されたい。
【0031】
本明細書では、y=f(x)のグラフのy軸を、「出力画像における階調領域」(以下、「出力側階調領域」)と称する。出力側階調領域は、出力画像における各画素の出力階調値yを示す領域である。本明細書では、出力側階調領域を、出力側低階調領域と出力側中階調領域と出力側高階調領域との3つの領域に区分して説明する。出力側低階調領域、出力側中階調領域および出力側高階調領域のそれぞれの規定・定義等は、入力側低階調領域、入力側中階調領域および入力側高階調領域に対応している。
【0032】
<制御装置10の表示処理の流れ>
図2~
図7を用いて、実施形態1に係る制御装置10の表示処理の流れを説明する。はじめに、ユーザは、表示装置1に予めインストールされた任意のアプリを実行するために、表示パネル80(より具体的には、入力部81)に対して操作を施す。アプリ実行部17は、当該操作に応じたアプリを起動させる。そして、アプリ実行部17は、起動したアプリ(以下、起動アプリ)を実行するとともに、起動アプリの画像データを、制御装置10に備えられた不図示のデコーダに出力する。デコーダは、起動アプリの画像データの形式をYUV形式に変換して画像解析部11に出力する。画像解析部11は、
図2に示すように、YUV形式に変換された画像データをIMG1として取得する(S101)。
【0033】
次に、画像解析部11は、取得したIMG1をYUV形式からHSV形式に変換する(S102)。なお、HSV形式の画像データの明度(以下、V)がRGB値の最大値と同一であることから、画像解析部11は、取得したIMG1をRGB形式に変換してRGB値の最大値を取得してもよいし、RGB形式で入力してもよい。
【0034】
次に、画像解析部11は、HSV形式に変換したIMG1の各入力画素からVデータを取得する。そして、画像解析部11は、1024段階に分けた各入力画素のVデータを規格化して、各入力画素の入力階調値xとする。各入力画素の入力階調値xは、画像解析部11に内蔵された不図示のメモリに格納される。なお、各入力画素の入力階調値xは記憶部90に格納されてもよい。そして、画像解析部11は、各入力画素の入力階調値xの分布を示すヒストグラム(
図5の符号502で示す図、
図6の符号602で示す図参照)を取得して、当該ヒストグラムを階調値算出部12に出力する(S103:第1算出ステップ)。
【0035】
次に階調値算出部12は、画像解析部11から取得したヒストグラムを用いて、入力階調値xの最大値である最大階調値xmaxと、ヒストグラムの重心の入力階調値xである重心階調値xvと、を算出する(S104:第1算出ステップ)。「ヒストグラムの重心の入力階調値x」は、入力階調値x=0の度数から1段階ごとに度数を順次積算していった場合に、度数の積算値がすべての入力階調値xの度数を積算した総積算値の2分の1以上になったときに加算した度数に対応する入力階調値xである。
【0036】
階調値算出部12による重心階調値xvの算出方法としては、
図3のフローチャートに示すような方法を例示することができる。具体的にはまず、階調値算出部12は、第1度数積算値変数sumの値およびカウンタiの値を初期設定(sum=0、i=0)する(S201)。次に、階調値算出部12は、カウンタiの値に対応する段階iまでの度数の積算値に、カウンタi+1の値に対応する段階i+1の度数を加算して、第1度数積算値変数sumを更新する(S202)。更新後の第1度数積算値変数sumのデータ、つまり更新後の度数の積算値は、画像解析部11のメモリに格納される。なお、更新後の度数の積算値は記憶部90に格納されてもよい。
【0037】
次に階調値算出部12は、カウンタiの値が1024になっていないか否か、つまり1024段階までのすべての度数を加算していないか否かを判定する(S203)。カウンタiの値が1024になっていない場合(S203でYES)、階調値算出部12は再びS202の処理を実行する。
【0038】
一方、カウンタiの値が1024になった場合(S203でNO)、階調値算出部12は、それまでに更新した度数の積算値を度数の総積算値として前記のメモリに格納する。なお、度数の総積算値は記憶部90に格納されてもよい。また階調値算出部12は、第2度数積算値変数valの値およびカウンタiの値を初期設定(val=0、i=0)する(S204)。
【0039】
次に階調値算出部12は、カウンタiの値に対応する段階iまでの度数の積算値にカウンタi+1の値に対応する段階i+1の度数を加算して、第2度数積算値変数valを更新する(S205)。更新後の第2度数積算値変数valのデータ、つまり更新後の度数の積算値は前記のメモリに格納される。なお、更新後の度数の積算値は記憶部90に格納されてもよい。
【0040】
次に階調値算出部12は、前記のメモリから度数の総積算値を呼び出して、更新後の第2度数積算値変数valのデータが度数の総積算値の2分の1以上になった(以下、基準状態)か否かを判定する(S206)。基準状態になっていない場合(S206でNO)、階調値算出部12は再びS205の処理を実行する。
【0041】
一方、基準状態になった場合(S206でYES)、階調値算出部12は、基準状態になったときに加算した度数に対応する入力階調値xを、重心階調値xvとする(S207)。S207の処理が終了することにより、階調値算出部12による重心階調値xvの算出が終了する。そして、階調値算出部12は、算出した最大階調値xmaxおよび重心階調値xvを強調度算出部13に出力する。
【0042】
次に強調度算出部13は、
図2に示すように、画像解析部11から取得した最大階調値xmaxおよび重心階調値xv、ならびに、RGB/照度センサ18から取得した表示装置1の周囲の照度を用いて強調度Eを算出する(S105:第2算出ステップ)。強調度Eは、IMG1の入力側高階調領域がIMG2において強調されるようにIMG1を補正するときの、入力側高階調領域の強調の度合いを示す。
【0043】
強調度Eは、例えば下記の式(1)で算出することができる。
【0044】
強調度E=h+α×(xmax^d-(xv^d/xmax^d))・・・式(1)
h:強調度補正値
α:強調度補正倍率
xmax:最大階調値
xv:重心階調値
d:表示パネル補正値
強調度補正値hとして例えば0.4を設定した場合、表示装置1がHLG(Hybrid Log Gamma)設定であれば、強調度補正値hは強調度Eの最小値となる。なお、言うまでもなく、強調度補正値hとして0.4以外の任意の値を設定してもよい。強調度補正倍率αは、強調度Eの上昇のし易さを調整するものであり、表示装置1の設計者によって任意に設定できる。特段の事情がない限り、強調度補正倍率αは1.0に設定される。表示パネル補正値dは1/γ(γ:表示パネルのγ値)で設定される。
【0045】
前記の式(1)で算出した値が1よりも大きい場合、強調度算出部13は、強調度Eを一律に1に設定する。また、最大階調値xmaxと重心階調値xvとが同一の場合、強調度算出部13は、強調度Eを0.5に設定する。算出された強調度Eは、強調度算出部13は、算出した強調度Eを補正部14およびBL制御部15に出力する。
【0046】
前記の式(1)で算出される強調度Eは、最大階調値xmaxが大きくなるほど、または、重心階調値xvが小さくなるほど、より高くなる。また、前記の強調度Eは、最大階調値xmaxが小さくなるほど、または、重心階調値xvが大きくなるほど、より低くなる。強調度Eの高さを円の大きさで表した場合、上述した強調度Eと最大階調値xmaxと重心階調値xvとの関係は、
図4に示すグラフで表すことができる。
【0047】
次に補正部14は、強調度算出部13から取得した強調度Eを用いて、当該強調度Eに応じた特殊トーンカーブを生成する(S105:処理ステップ)。以下、補正部14による特殊トーンカーブの生成について、例を挙げつつ説明する。
【0048】
まず、IMG1が、例えば
図5の符号501で示すIMG1Aであった場合、画像解析部11はヒストグラムとして
図5の符号502で示すHIST1を取得する。IMG1Aは、画像全体の明るさとしては比較的暗いものの、相対的に明るい領域(図中の紙面向かって左側中央付近の領域)が局所的に存在している。したがって、HIST1は、IMG1Aの入力側高階調領域に含まれる各入力画素の入力階調値xの度数が総じて小さくなっており、かつ、IMG1Aの入力側低階調領域に含まれる各入力画素の入力階調値xの度数が総じて大きくなっている。言い換えれば、HIST1は重心階調値xvが相対的に小さくなっている。
【0049】
上述のような特徴を有するIMG1Aについて、強調度算出部13が強調度Eを算出した場合、重心階調値xvが相対的に小さくなっていることから強調度Eは相対的に高くなる。したがって、補正部14は、強調度算出部13から相対的に高い強調度Eを取得することになる。
【0050】
相対的に高い強調度Eを取得した補正部14は、予め記憶部90に格納された第1基準トーンカーブCV(第1基準LUT)を呼び出す。そして補正部14は、第1基準トーンカーブCVを補正することにより、
図7の符号701で示す図のような第1特殊トーンカーブCV1(第1特殊階調変化特性)を生成する。
【0051】
第1特殊トーンカーブCV1は、特殊トーンカーブの一形態である。第1特殊トーンカーブCV1は、IMG1の入力側高階調領域に含まれる各入力画素の入力階調値xに比べて、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yの方が一律により大きくなっている。ここで「各出力画素の出力階調値yの方が一律により大きくなっている」とは、具体的には、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yが、対応する第1基準トーンカーブCVの出力階調値yよりも一律に大きくなっていることを指す。
【0052】
また第1特殊トーンカーブCV1は、IMG1の入力側高階調領域以外の領域に含まれる各入力画素の入力階調値xに比べて、IMG2における出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値yがより小さくなっている。ここで「各出力画素の前記出力階調値yがより小さくなっている」とは、具体的には、IMG2における出力側高階調領域以外の領域に含まれる各出力画素の出力階調値yが、対応する第1基準トーンカーブCVの出力階調値yよりも小さくなっていることを指す。第1特殊トーンカーブCV1は上述のような特徴を有していることから、第1特殊トーンカーブCV1を適用すれば、すべての入力階調値xの積算階調値とすべての出力階調値yの積算階調値とが同一になる。
【0053】
また、IMG1が、例えば
図6の符号601で示すIMG1Bであった場合、画像解析部11はヒストグラムとして
図6の符号602で示すHIST2を取得する。IMG1Bは、画像全体が比較的明るいことから、画像全体のコントラストが相対的に低くなっている。したがってHIST2は、IMG1Bの入力側高階調領域に含まれる各入力画素の入力階調値xの度数と、入力側中階調領域に含まれる各入力画素の入力階調値xの度数と、入力側低階調領域に含まれる各入力画素の入力階調値xの度数とが、略同一になっている。言い換えれば、HIST2は重心階調値xvが相対的に大きくなっている。
【0054】
上述のような特徴を有するIMG1Bについて、強調度算出部13が強調度Eを算出した場合、重心階調値xvが相対的に大きくなっていることから強調度Eは相対的に低くなる。したがって、補正部14は、強調度算出部13から相対的に低い強調度Eを取得することになる。
【0055】
相対的に低い強調度Eを取得した補正部14は、記憶部90から第1基準トーンカーブCVを呼び出して当該第1基準トーンカーブCVを補正することにより、
図7の符号702で示す図のような第2特殊トーンカーブCV2を生成する。第2特殊トーンカーブCV2(第2特殊階調変化特性)も、特殊トーンカーブの一形態である。
【0056】
第2特殊トーンカーブCV2は、IMG1の入力側高階調領域に含まれる各入力画素の入力階調値xに比べて、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yの方がより大きくなっている。ここで「各出力画素の出力階調値yの方がより大きくなっている」とは、具体的には、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yの方が、対応する第1基準トーンカーブCVの出力階調値yより大きくなっていることを指す。
【0057】
また、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yが、対応する第1基準トーンカーブCVの出力階調値yよりも大きくなる程度は、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yが大きくなるほど大きくなっている。なお、実施形態1の第2特殊トーンカーブCV2は、IMG2の出力側低階調領域に含まれる各出力画素の出力階調値yから連続的に、対応する第1基準トーンカーブCVの出力階調値yより大きくなっている。
【0058】
次にBL制御部15は、強調度算出部13から取得した強調度Eに応じて、BL83を構成する複数の光源の各輝度値(以下、BL輝度値L)を設定する(S105:処理ステップ)。BL輝度値Lは、表示パネル80の表示面に配列された複数の表示素子の各輝度値に相当する。具体的にはBL制御部15は、強調度Eが相対的に高い場合、最大階調値xmaxに対応するIMG1の輝度値の最大値をBL輝度値Lとする。強調度Eが相対的に低い場合、BL制御部15は、最大階調値xmaxと重心階調値xvとの差分に応じた減衰率を算出し、最大階調値xmaxに対応するIMG1の輝度値の最大値に減衰率を乗じた値をBL輝度値Lとする。
【0059】
BL輝度値Lの実際の設定は次に説明する通りである。強調度Eが相対的に高い場合、BL83で設定できるBL輝度値Lの最大値にBLレベルを乗じた値が、最大階調値xmaxに対応するIMG1の輝度値の最大値になるようなBLレベルを、BL制御部15が算出する。
【0060】
強調度Eが相対的に低い場合、BL83で設定できるBL輝度値Lの最大値に減衰率とBLレベルとを乗じた値が、最大階調値xmaxに対応するIMG1の輝度値の最大値になるようなBLレベルを、BL制御部15が算出する。そして前記のいずれの場合でも、BL制御部15は、算出したBLレベルをBL83で設定できるBL輝度値Lの最大値に乗じて得た値を、BL輝度値Lとして設定する。
【0061】
上述のようにしてBL輝度値Lを設定した場合、設定後の新たなBL輝度値Lは、強調度Eが相対的に高ければ、全体として設定前のBL輝度値Lよりも大きくなり、強調度Eが相対的に低ければ、全体として設定前のBL輝度値Lよりも小さくなる。
【0062】
次に補正部14は、生成した特殊トーンカーブ(第1特殊トーンカーブまたは第2特殊トーンカーブ)を用いてIMG1を補正し、IMG2を生成する(S106:処理ステップ)。例えば、第2特殊トーンカーブを用いてIMG1Bを補正した場合であれば、
図7の符号703で示す図のようなIMG2Bが生成される。IMG2Bは、IMG1B(
図6の符号601で示す図参照)の高輝度領域の輝度を維持しつつ、IMG1Bに比べて画像全体のコントラストが高くなっている。
【0063】
次に、補正部14は、生成したIMG2をYUV形式からRGB形式に変換する(S107)。次に、補正部14とBL制御部15とは、RGB形式のIMG2とBL輝度値Lとを同期させて表示パネル80に出力する(S108)。ここで、設定後の新たなBL輝度値Lにおける設定前のBL輝度値Lからの変化量が多いほど、BL83が発光したときに、ユーザに対してちらつき等の違和感を与える虞がある。したがって前記の変化量が多い場合、BL制御部15は、BL83の各光源が設定後の新たなBL輝度値Lに素早く変化して発光するように、設定後の新たなBL輝度値Lを出力するのが好ましい。一方前記の変化量が少ない場合、BL制御部15は、BL輝度値Lの変化を目立たなくするべく、BL83の各光源が設定後の新たなBL輝度値Lに緩やかに変化して発光するように、設定後の新たなBL輝度値Lを出力するのが好ましい。
【0064】
なお補正部14は、生成したIMG2をYUV形式のまま処理してもよい。具体的には補正部14は、IMG2における輝度信号(Y)の分布を示すヒストグラム(不図示)を取得し(S107)、当該ヒストグラムに基づいてYUV形式のIMG2を表示パネル80に出力(S108)させてもよい。この場合、IMG2については、輝度信号の変化量を、青色成分の差分信号(U)の変化量および赤色成分の差分信号(V)の変化量に同期させる処理が必要となる。
【0065】
制御装置10は、画像表示が終了するまでS108の処理を繰り返し(S109でNO)、画像表示が終了すると(S109でYES)、制御装置10によるすべての表示処理が終了する。
【0066】
〔実施形態2〕
図1、
図8および
図9を用いて、実施形態2に係る表示装置2について説明する。表示装置2は、制御装置20のBL制御部15が、所定の条件が充足された場合に強調度Eに応じて伸張最大輝度値Lmax-1を設定する点で、実施形態1に係る表示装置1と異なる。表示装置2および制御装置20の要部構成は、
図1に示すように表示装置1および制御装置10と同じである。また、表示装置2の各装置・各部の機能および制御装置20におけるBL制御部15以外の各部の機能も、表示装置1および制御装置10と同じである。
【0067】
<制御装置20の特有の表示処理>
以下、制御装置20の特有の表示処理について、表示装置2の表示パネル80にIMG2として
図8の符号801で示すIMG2Cが表示された場合を例に挙げて説明する。表示パネル80に表示されたIMG2Cは、出力側高階調領域(IMG2C中の蛍光灯の画像領域)と他の領域とのコントラストが相対的に低くなっており、出力側高階調領域がぼやけている。
【0068】
このような表示状態の表示パネル80における複数の表示素子の各輝度値は、
図8の符号802で示すヒストグラム(以下、HIST3)のような分布となる。以下、表示パネル80にIMG2が表示されているときの1つの表示素子の輝度値を「出力輝度値」と称する。
【0069】
HIST3では、出力輝度値の最大値が第2最大設定値L-4よりも小さくなっている。「出力輝度値の最大値」とは、言い換えれば、表示パネル80にIMG2が表示されているときの複数の表示素子の各輝度値における最大値のことである。以下、出力輝度値の最大値を「最大輝度値L-3」と称する。第2最大設定値L-4は、表示パネル80で設定可能な出力輝度値の最大値である。
【0070】
このように最大輝度値L-3が第2最大設定値L-4よりも小さくなっている場合における、IMG2Cの入力輝度値と出力輝度値との関係は、
図8の符号803で示すグラフのようになる。入力輝度値は、表示パネル80に取得された後、当該表示パネル80に表示される前のIMG2における各出力画素の輝度値である。
【0071】
IMG2Cについては、最大輝度値L-3に対応する入力輝度値以上の大きさの入力輝度値をとる出力画素のすべてが、実際には最大輝度値L-3の明るさで表示パネル80に表示されることになる。このことが一因となって、IMG2Cは出力側高階調領域がぼやけて表示される。
【0072】
このIMG2Cの例のように、IMG2の出力側高階調領域にぼやけが生じた場合、制御装置20のBL制御部15は、所定の条件が充足されると強調度Eに応じて伸張最大輝度値Lmax-1を設定する。具体的にはBL制御部15は、積算輝度値が第1最大設定値以下、または、最大輝度値L-3が第2最大設定値L-4以下のいずれかの場合には、強調度Eに応じて伸張最大輝度値Lmax-1を設定する。ここで「BL制御部15が伸張最大輝度値Lmax-1を設定する」とは、BL制御部15が、各出力輝度値の最大値が伸張最大輝度値Lmax-1になるように、BL83を構成する複数の光源のBL輝度値Lを設定することを指す。
【0073】
積算輝度値は、表示パネル80にIMG2が表示されているときの複数の表示素子の各輝度値を積算した積算値である。第1最大設定値は、表示パネル80で設定可能な積算輝度値の最大値である。伸張最大輝度値Lmax-1は、強調度Eに応じて最大輝度値L-3を大きくした値である。
【0074】
IMG2Cの例では、最大輝度値L-3が第2最大設定値L-4よりも小さくなっている。このように最大輝度値L-3が第2最大設定値L-4以下の場合には、BL制御部15は、第2最大設定値L-4を伸張最大輝度値Lmax-1として設定する。伸張最大輝度値Lmax-1の設定後は、それまで表示パネル80に表示されていたIMG2Cは、
図8の符号804で示すIMG2C-1のような表示態様に変化する。IMG2C-1は、IMG2Cに比べてコントラストが相対的に高くなっており、出力側高階調領域が明瞭に表示される。
【0075】
IMG2C-1の出力輝度値の分布を示すヒストグラムは、
図8の符号805で示すHIST4のようになる。また、IMG2Cの入力輝度値とIMG2C-1の出力輝度値との関係は、
図8の符号806で示すグラフのようになる。
図8の符号806で示すグラフは、伸張最大輝度値Lmax-1を設定したことにより、入力輝度値が大きな値をとる部分が持ち上げられている。一方で、入力輝度値が大きな値をとる部分以外の部分については持ち上げられていない。これらのことからも、IMG2C-1がIMG2Cに比べてコントラストが相対的に高くなっており、出力側高階調領域が明瞭に表示されることが分かる。
【0076】
<制御装置20の特有の表示処理のバリエーション>
制御装置20のBL制御部15は、上述したIMG2Cの例も含めて、伸張最大輝度値Lmax-1を下記の式(2)により算出する。但し、下記の式(2)はあくまで一例であり、BL制御部15は、他の式を用いて伸張最大輝度値Lmax-1を算出することもできる。なお、下記の式(2)においては、式の明瞭化のために符号を省略する。
【0077】
伸張最大輝度値=最大輝度値+強調度×(上限輝度値-最大輝度値)・・・式(2)
前記の式(2)に用いられる強調度Eは、0以上かつ1以下の値をとり、強調度が高くなるほどその値が1に近づく。上限輝度値は、表示装置2の周囲の照度に応じて第2最大設定値L-4を補正した値である。上限輝度値が最大輝度値L-3よりも小さい場合、最大輝度値L-3を上限輝度値とする。
【0078】
前記の式(2)を用いて伸張最大輝度値Lmax-1を算出する場合、強調度Eが非常に高ければ(1に非常に近ければ)、BL制御部15は第2最大設定値L-4よりも大きな伸張最大輝度値Lmax-1を設定することができる。第2最大設定値L-4よりも大きな伸張最大輝度値Lmax-1を設定した場合、入力輝度値と出力輝度値との関係は、例えば
図9の符号901で示すグラフのようになる。
【0079】
また、第2最大設定値L-4よりも大きな伸張最大輝度値Lmax-1の設定は、
図9の符号902で示すグラフのように最大輝度値L-3が第2最大設定値L-4に到達している場合であっても可能である。なお、第2最大設定値L-4よりも大きな伸張最大輝度値Lmax-1を設定する場合、例えば、伸張最大輝度値Lmax-1を設定した後に表示パネル80に表示されたIMG2に対して滑らかに変化するカーブを適用して、表示画像のカーブ変化点を感じさせないようにするのが好ましい。
【0080】
〔実施形態3〕
図1および
図10を用いて、実施形態3に係る表示装置3について説明する。表示装置3は、制御装置30のBL制御部15が、所定の条件が充足された場合に、表示装置3の周囲の照度に応じて伸張輝度値Lmax-2を設定する点で、実施形態1・2に係る表示装置1・2と異なる。表示装置3および制御装置30の要部構成は、
図1に示すように表示装置1・2および制御装置10・20と同じである。また、表示装置3の各装置・各部の機能および制御装置30におけるBL制御部15以外の各部の機能も、表示装置1・2および制御装置10・20と同じである。
【0081】
なお実施形態3では、制御装置30の画像解析部11が、0~100の値をとるように出力輝度値を規格化したヒストグラムを取得するものとする(
図10の符号112・115で示すヒストグラム参照)。また、以下の説明では、表示装置3の周囲の照度を単に「周囲照度」と称する。
【0082】
<制御装置30の特有の表示処理>
以下、制御装置30の特有の表示処理について、表示装置3の表示パネル80にIMG2として
図10の符号111で示すIMG2Dが表示された場合を例に挙げて説明する。なお、表示装置3の周囲は明るい(周囲照度が高い)ものとする。
【0083】
表示パネル80に表示されたIMG2Dは、周囲照度が高いことと相まって、画像全域に亘って相対的に暗くなっている。そのため、ユーザはIMG2Dを視認するのが困難である。このような表示状態の表示パネル80における出力輝度値の分布を示すヒストグラムは、
図10の符号112で示すHIST5のようになる。HIST5では、出力輝度値が小さい部分において、度数が相対的に高くなっている。
【0084】
このIMG2Dの例のように、IMG2が画像全域に亘って相対的に暗く表示された場合、制御装置30のBL制御部15は、積算輝度値が最小設定値以下であれば伸張輝度値Lmax-2を設定する。最小設定値は、表示パネル80で設定可能な積算輝度値の最小値である。伸張輝度値Lmax-2は、表示パネル80にIMG2が表示されているときの各出力輝度値を大きくした値である。ここで「BL制御部15が伸張輝度値Lmax-2を設定する」とは、BL制御部15が、各出力輝度値が伸張輝度値Lmax-2になるように、BL83を構成する複数の光源のBL輝度値Lを設定することを指す。
【0085】
具体的にはBL制御部15は、伸張輝度値Lmax-2を下記の式(3)および(4)により算出する。但し、下記の式(3)および(4)はあくまで一例であり、BL制御部15は、他の式を用いて伸張輝度値Lmax-2を算出することもできる。なお、下記の式(3)および(4)においては、式の明瞭化のために符号を省略する。
【0086】
伸張輝度値=出力輝度値補正倍率×出力輝度値・・・式(3)
出力輝度値補正倍率=1+照度係数×積算輝度値係数×(周囲照度/積算輝度値)・・・式(4)
出力輝度値補正倍率は、0以上かつ1以下の値をとり、前記の式(4)で算出される。また、出力輝度値補正倍率とIMG2の出力輝度値との関係は、
図10の符号113で示すグラフのようになる。
【0087】
照度係数は、周囲照度が一定値に達するまでは、周囲照度との間で当該周囲照度が高くなるほど値が大きくなるような比例関係にある。前記の一定値は、伸張輝度値Lmax-2の設定が不要となる程度の周囲照度であり、表示装置3の設計者が任意に設計できる。周囲照度が一定値以上になると、照度係数は周囲照度が一定値になったときの値を維持する。積算輝度値係数は、積算輝度値が大きくなるほど小さくなり、伸張輝度値Lmax-2の設定が不要となる程度まで積算輝度値が大きくなった時点で0になる。
【0088】
なお、照度係数と周囲照度との関係については、例えば以下に説明するような関係であってもよい。すなわち、第1期間では周囲照度が高くなるほど照度係数が大きくなる比例関係にあり、第1期間後の第2期間では周囲照度が高くなるほど第1期間よりも緩やかに照度係数が大きくなってもよい。第1期間は、周囲照度が0から第1一定値に達するまでに期間であり、第2期間は、周囲照度が第1一定値に達した後、第2一定値(>第1一定値)に達するまでの期間である。
【0089】
この場合、第2期間における照度係数の増加量(周囲照度の単位照度値あたり)は、周囲照度が高くなるほど減少し、周囲照度が第2一定値に達した時点で、照度係数の増加量は0になる。そして、周囲照度が第2一定値以上になると、照度係数は周囲照度が第2一定値になったときの値を維持してもよい。
【0090】
伸張輝度値Lmax-2の設定後は、それまで表示パネル80に表示されていたIMG2Dは、
図10の符号114で示すIMG2D-1のような表示態様に変化する。IMG2D-1は、IMG2Dに比べて画像全域が相対的に明るくなっており、かつ、コントラストも相対的に高くなっている。そのため、IMG2D-1の出力側高階調領域が明瞭に表示される。
【0091】
IMG2D-1の出力輝度値の分布を示すヒストグラムは、
図10の符号115で示すHIST6のようになる。HIST6では、出力階調値が小さな値をとる部分についてはHIST5よりも度数が全体的に低くなっている。一方、出力階調値が小さな値をとる部分以外の部分については、HIST5よりも度数が全体的に高くなっている。特に、出力階調値が大きな値をとる部分については、HIST5よりも度数が大幅に高くなっている。これらのことからも、IMG2D-1がIMG2Dに比べて相対的に明るくなっており、かつ、コントラストも相対的に高くなっていることが分かる。
【0092】
<制御装置30の特有の表示処理のバリエーション>
制御装置30のBL制御部15による伸張輝度値Lmax-2の設定は、周囲照度を考慮することなく実行されてもよい。この場合、BL制御部15は、伸張輝度値Lmax-2を前記の式(3)および下記の式(5)により算出する。
【0093】
出力輝度値補正倍率=1+積算輝度値係数×積算輝度値・・・式(5)
前記の式(3)および(5)を用いることにより、BL制御部15は、積算輝度値が最小設定値以下の場合には、周囲漕度を考慮することなく直ちに伸張輝度値Lmax-2を設定する。
【0094】
〔実施形態4〕
図1、
図11および
図12を用いて、実施形態4に係る表示装置4について説明する。表示装置4は、制御装置40の補正部14が、IMG1に対する入力側高階調領域の占有割合に応じて第3特殊トーンカーブCV3(第3特殊階調変化特性)を生成する点で、実施形態1~3に係る表示装置1~3と異なる。また表示装置4は、制御装置40の補正部14が、IMG1に対する入力側低階調領域の占有割合に応じて第4特殊トーンカーブCV4(第4特殊階調変化特性)を生成する点でも、実施形態1~3に係る表示装置1~3と異なる。
【0095】
表示装置4および制御装置40の要部構成は、
図1に示すように表示装置1~3および制御装置10~30と同じである。また、表示装置4の各装置・各部の機能および制御装置40における補正部14以外の各部の機能も、表示装置1~3および制御装置10~30と同じである。
【0096】
<制御装置40の特有の表示処理>
以下、制御装置40の特有の表示処理について、制御装置40の補正部14が、IMG1としてIMG1E-1およびIMG1E-2を補正する場合を例に挙げて説明する。
【0097】
まず、制御装置40の補正部14が、
図11の符号121で示すIMG1E-1を補正する場合を例に挙げる。IMG1E-1は、当該IMG1E-1に対する入力側高階調領域の占有割合が相対的に非常に高くなっており、入力側高階調領域以外の領域がほとんど存在していない。そのためIMG1E-1は、コントラストが相対的に非常に低くなっており、入力側高階調領域がぼやけている。このような特徴を有するIMG1E-1の入力階調値xの分布は、
図11の符号122で示すHIST7のようになる。
【0098】
このIMG1E-1の例のように、IMG1に対する入力側高階調領域の占有割合が相対的に高い場合、補正部14は、IMG1の補正に用いる特殊トーンカーブとして、
図11の符号123で示す第3特殊トーンカーブCV3を生成する。具体的には補正部14は、予め表示装置4の記憶部90に格納された第2基準トーンカーブCVN(第2基準LUT)を呼び出して当該第2基準トーンカーブCVNを補正することにより、第3特殊トーンカーブCV3を生成する。
【0099】
第3特殊トーンカーブCV3は、IMG1の入力側高階調領域に含まれる各入力画素の入力階調値xに比べて、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yの方が一律により大きくなっている。ここで「各出力画素の出力階調値yの方が一律により大きくなっている」とは、具体的には、IMG2の出力側高階調領域に含まれる各出力画素の出力階調値yが、対応する第2基準トーンカーブCVNの出力階調値yよりも一律に大きくなっていることを指す。
【0100】
また第3特殊トーンカーブCV3は、IMG1の入力側高階調領域以外の領域に含まれる各入力画素の入力階調値xに比べて、IMG2における出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値yの増加率がより小さくなっている。ここで「各出力画素の前記出力階調値yの増加率がより小さくなっている」とは、具体的には、IMG2における出力側高階調領域以外の領域に含まれる各出力画素の出力階調値yの傾きが、対応する第2基準トーンカーブCVNの出力階調値yの傾きよりも小さくなっていることを指す。第3特殊トーンカーブCV3は上述のような特徴を有していることから、第3特殊トーンカーブCV3を適用すれば、IMG1に比べて均一化された積算階調値を持ったIMG2を得ることができる。
【0101】
補正部14は、上述のような特徴を有する第3特殊トーンカーブCV3を生成してIMG1E-1に適用することにより、IMG2として
図11の符号124で示すIMG2E-1を生成する。IMG2E-1は、IMG1E -1に比べてコントラストが相対的に高くなっており、出力側高階調領域が明瞭に表示される。
【0102】
次に、制御装置40の補正部14が、
図12の符号131で示すIMG1E-2を補正する場合を例に挙げる。IMG1E-2は、当該IMG1E-2に対する入力側低階調領域の占有割合が相対的に非常に高くなっており、入力側低階調領域以外の領域がほとんど存在していない。そのためIMG1E-2は、コントラストが相対的に非常に低くなっており、かつ、画像全体が相対的に暗くなっている。このような特徴を有するIMG1E-2の入力階調値xの分布は、
図12の符号132で示すHIST8のようになる。
【0103】
このIMG1E-2の例のように、IMG1に対する入力側低階調領域の占有割合が相対的に高い場合、補正部14は、IMG1の補正に用いる特殊トーンカーブとして、
図12の符号133で示す第4特殊トーンカーブCV4を生成する。記憶部90から第2基準トーンカーブCVNを呼び出して当該第2基準トーンカーブCVNを補正することで、第4特殊トーンカーブCV4を生成する点は、第3特殊トーンカーブCV3と同様である。
【0104】
第4特殊トーンカーブCV4は、IMG1の入力側低階調領域に含まれる各入力画素の入力階調値xに比べて、IMG2の出力側低階調領域に含まれる各出力画素の出力階調値yの方がより大きくなっている。ここで「各出力画素の出力階調値yの方がより大きくなっている」とは、具体的には、IMG2の出力側低階調領域に含まれる各出力画素の出力階調値yの方が、対応する第2基準トーンカーブCVNの出力階調値yより大きくなっていることを指す。
【0105】
補正部14は、上述のような特徴を有する第4特殊トーンカーブCV4を生成してIMG1E-2に適用することにより、IMG2として
図12の符号134で示すIMG2E-2を生成する。IMG2E-2は、IMG1E -2に比べてコントラストが相対的に高くなっており、出力側低階調領域が明瞭に表示される。
【0106】
〔実施形態5〕
図1および
図13を用いて、実施形態5に係る表示装置5について説明する。表示装置5は、制御装置50が判定部16を備えている点で、実施形態1~4に係る表示装置1~4と異なる。また表示装置5は、制御装置50の画像解析部11が、IMG1を解析して当該IMG1に対するオブジェクト画像(以下、IMG1OおよびIMG1UI)の占有割合を算出する点でも、実施形態1~4に係る表示装置1~4と異なる。さらに表示装置5は、制御装置50の補正部14が、色補正度Cを設定した上で、当該色補正度Cに応じてIMG1OおよびIMG1UIを色補正する点でも、実施形態1~4に係る表示装置1~4と異なる。
【0107】
表示装置5および制御装置50の要部構成は、判定部16を備えている点以外は、
図1に示すように表示装置1~4および制御装置10~40と同じである。また、表示装置4の各装置・各部の機能、および、制御装置40における画像解析部11・補正部14・判定部16以外の各部の機能も、表示装置1~4および制御装置10~40と同じである。
【0108】
<制御装置50の特有の表示処理>
以下、制御装置50の特有の表示処理について、制御装置50が、IMG1としてIMG1F-1およびIMG1F-2の表示処理を実行する場合を例に挙げて説明する。
【0109】
まず、制御装置50が、
図13の符号141で示すIMG1F-1の表示処理を実行する場合を例に挙げる。IMG1F-1は、制御装置50の画像解析部11および判定部16に出力される前に、制御装置50のデコーダによってRGB形式に変換される。
【0110】
IMG1F-1を取得した判定部16は、学習済みモデルを用いて、IMG1F-1中のオブジェクト画像(以下、IMG1O)が映し出した所定のオブジェクトの種類を判定する。学習済みモデルは、対象オブジェクトを示す正解データと、当該対象オブジェクトを含む多種類のオブジェクトのそれぞれが映った多数の画像で構成される入力データと、を対応付けた教師データを用いて、学習モデルに機械学習させることで生成される。
【0111】
対象オブジェクトは、IMG1中の対象オブジェクト画像に映し出されたオブジェクトである。対象オブジェクト画像は、制御装置50の補正部14が色補正を行う対象となる、IMG1中の画像領域である。対象オブジェクトは、表示装置5の設計者が任意に選択できる。対象オブジェクトとしては、例えば記憶色に色補正すべきオブジェクトが好ましいことから、実施形態5では、対象オブジェクトとして人、花、葉および空が選択されているものとする。また実施形態5では、対象オブジェクトとしてUIも選択されているものとする。これらのことから、実施形態5における対象オブジェクト画像は、人、花、葉、空およびUIのそれぞれが単体で、あるいは2種類以上の組み合わせで映し出された画像となる。
【0112】
入力データが静止画像の場合、学習済みモデルとしては、例えばCNNを用いることができる。一方、入力データが動画像の場合、学習済みモデルとしては、例えばCNNとRNN(Recurrent Neutal Natwork)、あるいはCNNとLSTM(Long Short-Term Memory)とを組み合わせた学習済みモデルを用いるのが好ましい。生成された学習済みモデルは、例えば記憶部90に格納されてもよいし、不図示のサーバに格納されてもよい。サーバに格納される場合、当該サーバと表示装置5との間で無線通信等を行うことで、制御装置50の判定部16がサーバから学習済みモデルを取得する。
【0113】
学習済みモデルの生成には、多項ロジスティック回帰分析等の公知の機械学習アルゴリズムが使用されてよい。あるいは、公知のニューラルネットワーク技術(例:公知のディープラーニング技術)を用いて学習済みモデルを生成してもよい。
【0114】
このIMG1F-1の例では、判定部16は、学習済みモデルを用いて、IMG1F-1中のIMG1O-1に、所定のオブジェクトとして人、つまり1種類の対象オブジェクトが写し出されていることを判定する。また判定部16は、IMG1F-1中のIMG1O-2に、所定のオブジェクトとして花および葉、つまりIMG1O-1の対象オブジェクトと異なる2種類の対象オブジェクトが写し出されていることを判定する。
【0115】
次に、制御装置50の画像解析部11は、判定部16からIMG1F-1中に計3種類(人、花、葉)の対象オブジェクトが映し出されている旨の判定結果を取得する。この判定結果を取得した画像解析部11は、IMG1F-1中に対象オブジェクトが映し出されていることから、IMG1F-1を解析して当該IMG1F-1に対するIMG1O-1およびIMG1O-2の占有割合を算出する。
【0116】
次に、制御装置50の補正部14は、画像解析部11から算出結果を取得する。算出結果を取得した補正部14は、算出結果に応じて色補正度Cを設定する。色補正度Cは、IMG1Oを色補正するときの色補正の度合いを示し、0~1の間の数値で段階的に設定される。色補正度Cが0のときは色補正を行わないことを示し、色補正値Cが1のときは最も度合いが高い色補正を行う。色補正度Cをどの程度の段階に分けるかは、表示装置5の設計者が任意に設定できる。実施形態5では、色補正の度合いをIMG1に対する対象オブジェクト画像の占有割合に応じて設定するものとする。
【0117】
IMG1F-1に対するIMG1O-1の占有割合、IMG1F-1に対するIMG1O-2の占有割合ともに相対的に高いことから、補正部14は、IMG1O-1の色補正度C1を「1」、IMG1O-2の色補正度C2を「1」に設定する。一方、IMG1F-1中には、例えば空が映った対象オブジェクト画像は存在しない。つまり、空が映った対象オブジェクト画像のIMG1F-1に対する占有割合は0となる。したがって、空が映った対象オブジェクト画像の色補正度Cは「0」となる。
【0118】
次に、色補正度Cを設定した補正部14は、対象オブジェクト画像の種類毎に生成された複数の3DLUTのいずれかを、例えば記憶部90から呼び出す。当然のことながら、補正部14によって色補正される対象オブジェクト画像に対応した3DLUTが、記憶部90から呼び出される。したがって、色補正度C1およびC2を設定した補正部14は、記憶部90からIMG1O-1に対応した3DLUTとIMG1O-2に対応した3DLUTとを呼び出す。
【0119】
そして補正部14は、第1特殊トーンカーブまたは第2特殊トーンカーブによる補正後にYUV形式からRGB形式に変換したIMG2(
図2のS106・S107参照)中の対象オブジェクト画像に対して、色補正度Cに応じた度合いで3DLUTを適用する。この3DLUTの適用により、対象オブジェクト画像を色補正する。したがって補正部14は、IMG1O-1に対応する出力画像に対しては、色補正度C1(=1)に応じた最も高い度合いで3DLUTを適用して色補正を行う。また補正部14は、IMG1O-2に対応する出力画像に対しても、色補正度C1(=1)に応じた最も高い度合いで3DLUTを適用して色補正を行う。
【0120】
次に、制御装置50が、
図13の符号142で示すIMG1F-2の表示処理を実行する場合を例に挙げる。IMG1F-2も、制御装置50のデコーダによって予めRGB形式に変換される。
【0121】
IMG1F-2を取得した判定部16は、学習済みモデルを用いて、IMG1F-2中のIMG1Oが映し出した所定のオブジェクトの種類を判定する。具体的には判定部16は、学習済みモデルを用いて、IMG1F-2中のIMG1O-3に、所定のオブジェクトとして人、つまり1種類の対象オブジェクトが写し出されていることを判定する。また判定部16は、IMG1F-2中のIMG1UIに、所定のオブジェクトとしてUI、つまりIMG1O-3の対象オブジェクトと異なる1種類の対象オブジェクトが写し出されていることを判定する。
【0122】
次に、判定部16からIMG1F-2中に計2種類(人、UI)の対象オブジェクトが映し出されている旨の判定結果を取得した画像解析部11は、IMG1F-2を解析してIMG1O-3およびIMG1UIの占有割合を算出する。
【0123】
次に、画像解析部11から算出結果を取得した補正部14は、算出結果に応じて色補正度Cを設定する。IMG1F-1に対するIMG1O-3の占有割合は相対的にさほど高くないことから、補正部14は、IMG1O-3の色補正度C3を「0.5」に設定する。一方、IMG1F-1に対するIMG1UIの占有割合は相対的に高いことから、補正部14は、IMG1UIの色補正度C4を「1」に設定する。次に、色補正度C3およびC4を設定した補正部14は、記憶部90からIMG1O-3に対応した3DLUTとIMG1UIに対応した3DLUTとを呼び出す。
【0124】
そして補正部14は、IMG1O-3に対応する出力画像に対しては、色補正度C3(=0.5)に応じた中程度の度合いで3DLUTを適用して色補正を行う。また補正部14は、IMG1UIに対応する出力画像に対しては、色補正度C4(=1)に応じた最も高い度合いで3DLUTを適用して色補正を行う。
【0125】
なお補正部14は、色補正後のIMG2に対して、例えば色温度補正用の1DLUTを適用して色温度補正を行ってもよい。
【0126】
〔ソフトウェアによる実現例〕
制御装置10の制御ブロック(特に画像解析部11、階調値算出部12、強調度算出部13、補正部14およびBL制御部15)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
【0127】
後者の場合、制御装置10は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。
【0128】
前記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0129】
〔まとめ〕
本発明の態様1に係る制御装置(10、20、30、40、50)は、表示パネル(80)を有する表示装置(1、2、3、4、5)を制御する、入力画像(IMG1)を補正して出力画像(IMG2)を生成することが可能な制御装置であって、前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値(x)の分布を示すヒストグラム(HIST1、HIST2)を取得して、前記入力階調値の最大値である最大階調値(xmax)と前記ヒストグラムの重心の前記入力階調値である重心階調値(xv)とを算出する第1算出部(画像解析部11、階調値算出部12)と、前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度(E)を算出する第2算出部(強調度算出部13)と、(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値(y)と、の対応関係を示す階調変化特性について、前記強調度に応じた前記階調変化特性である特殊階調変化特性(CV1、CV2、CV3、CV4)を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値(BL輝度値L)を設定する処理部(補正部14、BL制御部15)と、を備えている。
【0130】
前記構成によれば、処理部は、強調度に応じて生成された特殊階調変化特性を用いて入力画像を補正することにより、出力画像を生成する。また処理部は、複数の表示素子の輝度値を強調度に応じて設定する。よって制御装置は、入力側高階調領域の強調度を、特殊階調変化特性による入力画像の補正および複数の表示素子の輝度値の強調度に応じた設定によって調整できる。
【0131】
そのため、入力側高階調領域の強調度が高い場合、例えば処理部が、複数の表示素子の輝度値を高く設定することで出力画像中の入力側高階調領域に対応する領域を強調して表示でき、表示装置の高輝度化・高コントラスト化を図ることができる。またこの場合、処理部が、特殊階調変化特性を用いた入力画像の補正によって出力画像の出力階調値を小さくすることで表示装置の消費電力・発熱を低減することができる。
【0132】
一方、入力側高階調領域の強調度が低い場合、例えば処理部が、複数の表示素子の輝度値を低く設定することで表示装置の消費電力・発熱を低減することができる。またこの場合、処理部が、特殊階調変化特性を用いた入力画像の補正によって出力画像の出力階調値を大きくすることで表示装置全体の輝度感を維持することができる。
【0133】
本発明の態様2に係る制御装置(10)は、前記態様1において、前記強調度は、前記最大階調値が大きくなるほど、または、前記重心階調値が小さくなるほど、より高くなり、前記処理部は、前記強調度が高くなるほど、前記特殊階調変化特性として、前記入力側高階調領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値を一律により大きくするとともに、前記入力側高階調領域以外の領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像における前記出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値をより小さくすることで、すべての前記入力階調値の積算階調値とすべての前記出力階調値の積算階調値とが同一になるように、前記入力画像を補正する第1特殊階調変化特性(CV1)を生成し、かつ、前記複数の表示素子の前記輝度値をより大きく設定してもよい。
【0134】
前記構成によれば、強調度が高くなるほど入力画像における入力側高階調領域と他の領域とのコントラストが高くなる。つまり、強調度が高くなるほど表示装置の高輝度化・高コントラスト化の要請が高まる。よって制御装置は、強調度が高くなるほど出力側高階調領域に含まれる各出力画素の出力階調値を一律により大きくすることで、表示装置の高輝度化・高コントラスト化をより効果的に実現することができる。また制御装置は、強調度が高くなるほど複数の表示素子の輝度値をより大きく設定することでも、表示装置の高輝度化・高コントラスト化をより効果的に実現することができる。
【0135】
また前記構成によれば、制御装置は、強調度が高くなるほど出力側高階調領域以外の領域に含まれる各出力画素の出力階調値をより小さくすることで、表示装置の消費電力・発熱を低減することができる。また制御装置は、第1特殊階調変化特性を用いて、すべての入力階調値の積算値とすべての出力階調値の積算値とが同一になるように入力画像を補正する。よって、表示パネルに表示された出力画像をユーザが視認したときに、ユーザに対して出力画像の見た目の輝度値が入力画像の輝度値と変わらないように感じさせることができる。
【0136】
さらに前記構成によれば、1フレーム前の強調度が相対的に低かった場合において、次の1フレームの強調度が相対的に高くなっても、強調度に応じて複数の表示素子の輝度値を大きくする設定するだけで出力側高階調領域を強調できる。よって、制御装置は、強調度の急な上昇にも即応して出力側高階調領域を強調することができる。
【0137】
本発明の態様3に係る制御装置は、前記態様1または2において、前記強調度は、前記最大階調値が小さくなるほど、または、前記重心階調値が大きくなるほど、より低くなり、前記処理部は、前記強調度が低くなるほど、前記特殊階調変化特性として、前記入力側高階調領域に含まれる各入力画素の前記入力階調値に比べて、前記出力画像(IMG2B)における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値の方がより大きくなるように前記入力画像を補正する第2特殊階調変化特性(CV2)を生成し、かつ、前記複数の表示素子の前記輝度値をより小さく設定してもよい。
【0138】
前記構成によれば、強調度が低くなるほど入力画像における入力側高階調領域と他の領域とのコントラストが低くなる。つまり、強調度が低くなるほど表示装置の高輝度化・高コントラスト化の要請が低くなる。よって制御装置は、強調度が低くなるほど複数の表示素子の輝度値をより小さく設定することで、表示装置の高輝度化・高コントラスト化の要請が高くない場面では、無駄な高輝度化による電力の浪費、ひいては電力の浪費に起因する表示装置の発熱を低減できる。また制御装置は、強調度が低くなるほど出力画像の出力階調値をより大きくすることで、表示装置全体の輝度感を維持することができる。
【0139】
本発明の態様4に係る制御装置(20)は、前記態様1から3のいずれかにおいて、前記処理部は、前記複数の表示素子の前記輝度値を積算した積算輝度値が、前記表示パネルで設定可能な前記積算輝度値の最大値である第1最大設定値以下、または、前記複数の表示素子の前記輝度値の最大値である最大輝度値(1-3)が、前記表示パネルで設定可能な前記複数の表示素子の前記輝度値の最大値である第2最大設定値(L-4)以下のいずれかの場合には、前記強調度に応じて前記最大輝度値を大きくした伸張最大輝度値(Lmax-1)を設定してもよい。
【0140】
前記構成によれば、制御装置は、積算輝度値が第1最大設定値以下かつ最大輝度値が第2最大設定値以下の場合に伸張最大輝度値を設定することにより、出力画像における入力画像の入力側高階調領域に対応する領域を、表示パネルに強調して表示させることができる。
【0141】
本発明の態様5に係る制御装置(30)は、前記態様1から4のいずれかにおいて、前記処理部は、前記複数の表示素子の前記輝度値を積算した積算輝度値が、前記表示パネルで設定可能な前記積算輝度値の最小値である最小設定値以下の場合には、前記複数の表示素子の前記輝度値を大きくした伸張輝度値(Lmax-2)を設定してもよい。
【0142】
前記構成によれば、制御装置は、積算輝度値が最小設定値以下の場合に、複数の表示素子のそれぞれについて伸張輝度値を設定することにより、出力画像における入力画像の入力側高階調領域に対応する領域を、表示パネルに強調して表示させることができる。
【0143】
本発明の態様6に係る制御装置は、前記態様5のいずれかにおいて、前記処理部は、前記積算輝度値が前記最小設定値以下の場合には、前記表示装置の周囲の照度に応じて前記伸張輝度値を設定してもよい。
【0144】
前記構成によれば、制御装置は、積算輝度値が最小設定値以下の場合でも、表示装置の周囲の照度によっては伸張輝度値を設定しないことができる。あるいは、制御装置は、表示装置の周囲の照度によって伸張輝度値の大きさを適宜調整することができる。よって、制御装置は、出力画像における入力画像の入力側高階調領域に対応する領域を、表示装置の周囲の照度に応じた適切な強調の度合いで表示させることができる。
【0145】
本発明の態様7に係る制御装置(40)は、前記態様1から6のいずれかにおいて、前記処理部は、前記入力画像(IMG1E-2)に対する前記入力側高階調領域の占有割合が高くなるほど、前記特殊階調変化特性として、前記出力画像(IMG2E-2)における前記入力側高階調領域に対応する出力側高階調領域に含まれる、各出力画素の前記出力階調値を一律により大きくするとともに、前記出力画像における前記出力側高階調領域以外の領域に含まれる、各出力画素の前記出力階調値の傾きを大きくすることで、前記入力階調値の積算階調値分布よりも前記出力階調値の積算階調値分布の方が相対的に均一になるような第3特殊階調変化特性(CV3)を生成し、前記入力階調値が他の領域よりも小さい入力側低階調領域について、前記入力画像(IMG1E-1)に対する前記入力側低階調領域の占有割合が高くなるほど、前記特殊階調変化特性として、前記出力画像(IMG2E-1)における前記入力側低階調領域に対応する出力側低階調領域に含まれる、各出力画素の前記出力階調値がより大きくなるような第4特殊階調変化特性(CV4)を生成してもよい。
【0146】
入力画像に対する入力側高階調領域の占有割合が高くなるほど、表示装置の高輝度化・高コントラスト化の要請が高まる。その点前記構成によれば、前記占有割合が高くなるほど、第3特殊階調変化特性を用いて出力側高階調領域に含まれる各出力画素の出力階調値を一律により大きくすることで、表示装置の高輝度化・高コントラスト化をより効果的に実現することができる。また制御装置は、第3特殊階調変化特性を用いて、入力階調値の積算階調値分布よりも出力階調値の積算階調値分布の方が相対的に均一になるように入力画像を補正する。よって、表示パネルに表示された出力画像をユーザが視認したときに、ユーザに対して出力画像の見た目の輝度値が入力画像の輝度値と変わらないように感じさせることができる。
【0147】
一方、入力画像に対する入力側低階調領域の占有割合が高くなるほど、表示装置におけるコントラストの適正化の要請が高くなる。その点前記構成によれば、前記占有割合が高くなるほど、第4特殊階調変化特性を用いて出力側低階調領域に含まれる各出力画素の出力階調値を一律により大きくすることで、表示装置のコントラストの適正化を実現することができる。
【0148】
本発明の態様8に係る制御装置(50)は、前記態様1から7のいずれかにおいて、所定のオブジェクトと当該所定のオブジェクトが写った画像とを教師データとした機械学習により生成された学習済みモデルを用いて、前記入力画像(IMG1F-1、IMG1F-2)中のオブジェクト画像(IMG1O、IMG1UI)が映し出した前記所定のオブジェクトの種類を判定する判定部(16)をさらに備え、前記第1算出部(画像解析部11)は、前記判定部の判定結果に応じて前記入力画像を解析することにより、前記入力画像に対する前記オブジェクト画像の占有割合を算出し、前記処理部は、前記判定部の判定結果および前記第1算出部の算出結果に基づいて、前記オブジェクト画像を色補正するときの色補正の度合いを示す色補正度(C)を設定し、前記色補正度に応じて前記オブジェクト画像を色補正することにより前記出力画像を生成してもよい。
【0149】
前記構成によれば、判定部によって、高い判定精度で入力画像中のオブジェクト画像が映し出した所定のオブジェクトの種類を判定することができる。また、制御装置は、入力画像に対するオブジェクト画像の占有割合および所定のオブジェクトの種類に応じてオブジェクト画像を適切に色補正することができる。
【0150】
本発明の態様9に係る表示装置(1、2、3、4、5)は、前記態様1から8のいずれかに係る制御装置(10、20、30、40、50)を備えている。前記構成によれば、本発明の態様1に係る制御装置と同様の効果を奏する表示装置を実現することができる。
【0151】
本発明の態様10に係る制御方法は、表示パネル(80)を有する表示装置(1、2、3、4、5)を制御する、入力画像(IMG1)を補正して出力画像(IMG2)を生成することが可能な制御装置(10、20、30、40、50)の制御方法であって、前記入力画像を解析することにより、前記入力画像を構成する複数の入力画素の階調値である入力階調値(x)の分布を示すヒストグラム(HIST1、HIST2)を取得して、前記入力階調値の最大値である最大階調値(xmax)と前記ヒストグラムの重心の前記入力階調値である重心階調値(xv)とを算出する第1算出ステップ(S103、S104)と、前記第1算出ステップにて算出した前記最大階調値と前記重心階調値とを用いて、前記入力画像における前記入力階調値が他の領域よりも大きい入力側高階調領域が前記出力画像において強調されるように、前記入力画像を補正するときの強調の度合いを示す強調度(E)を算出する第2算出ステップ(S105)と、(i)前記入力階調値と、前記出力画像を構成する複数の出力画素の階調値である出力階調値(y)と、の対応関係を示す階調変化特性について、前記第2算出ステップにて算出した前記強調度に応じた前記階調変化特性である特殊階調変化特性(CV1、CV2、CV3、CV4)を生成し、当該特殊階調変化特性を用いて前記複数の入力画素の前記入力階調値を補正することにより前記出力画像を生成し、かつ、(ii)前記第2算出ステップにて算出した前記強調度に応じて、前記表示パネルに配列された複数の表示素子の輝度値(BL輝度値L)を設定する処理ステップ(S105、S106)と、を含んでいる。前記構成によれば、本発明の態様1に係る制御装置と同様の効果を奏する制御方法を実現することができる。
【0152】
本発明の各態様に係る制御装置は、コンピュータによって実現してもよい。この場合には、コンピュータを前記装置が備える各部(ソフトウェア要素)として動作させることにより前記制御装置をコンピュータにて実現させる制御装置の制御プログラムも、本発明の範疇に入る。また、前記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【0153】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【0154】
1、2、3、4、5 表示装置
10、20、30、40、50 制御装置
11 画像解析部(「第1算出部」の一部)
12 階調値算出部(「第1算出部」の一部)
13 強調度算出部(第2算出部)
14 補正部(処理部)
15 BL制御部(処理部)
16 判定部
17 アプリ実行部
18 RGB/照度センサ
80 表示パネル
C 色補正度
CV1 トーンカーブ(第1特殊階調変化特性)
CV2 トーンカーブ(第2特殊階調変化特性)
CV3 トーンカーブ(第3特殊階調変化特性)
CV4 トーンカーブ(第4特殊階調変化特性)
E 強調度
HIST1、HIST2 ヒストグラム
IMG1、IMG1A、IMG1B、IMG1E-1、IMG1E-2、IMG1F-1、IMG1F-2 入力画像
IMG2、IMG2B、IMG2C、IMG2C-1、IMG2D、IMG2D-1、IMG2E-1、IMG2E-2 出力画像
IMG1O、IMG1O-1、IMG1O-2、IMG1O-3、IMG1UI オブジェクト画像
L BL輝度値(輝度値)
L-3 最大輝度値
L-4 第2最大設定値
Lmax-1 伸張最大輝度値
Lmax-2 伸張輝度値
x 入力階調値
y 出力階調値
xmax 最大階調値
xv 重心階調値