(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162646
(43)【公開日】2024-11-21
(54)【発明の名称】画像処理装置、表示装置、および画像処理装置の制御方法
(51)【国際特許分類】
G09G 3/36 20060101AFI20241114BHJP
G09G 3/20 20060101ALI20241114BHJP
G09G 3/34 20060101ALI20241114BHJP
G02F 1/13357 20060101ALI20241114BHJP
G02F 1/1347 20060101ALI20241114BHJP
G02F 1/133 20060101ALI20241114BHJP
【FI】
G09G3/36
G09G3/20 611E
G09G3/20 680E
G09G3/20 642E
G09G3/20 621E
G09G3/34 J
G09G3/20 632G
G09G3/20 632F
G02F1/13357
G02F1/1347
G02F1/133 505
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023078370
(22)【出願日】2023-05-11
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100147304
【弁理士】
【氏名又は名称】井上 知哉
(74)【代理人】
【識別番号】100148493
【弁理士】
【氏名又は名称】加藤 浩二
(72)【発明者】
【氏名】後藤 尚子
【テーマコード(参考)】
2H189
2H193
2H391
5C006
5C080
【Fターム(参考)】
2H189AA35
2H189HA16
2H189LA08
2H189LA14
2H189LA20
2H193ZA37
2H193ZG03
2H193ZG14
2H193ZG48
2H391AA03
2H391AB04
2H391CB13
2H391CB43
2H391EA02
2H391EB02
5C006AA22
5C006AF13
5C006AF19
5C006BB15
5C006BB29
5C006BC16
5C006BF02
5C006BF05
5C006BF09
5C006BF21
5C006EA01
5C006FA23
5C006FA54
5C080AA10
5C080AA17
5C080BB05
5C080CC03
5C080DD06
5C080EE28
5C080EE29
5C080JJ02
5C080JJ07
(57)【要約】
【課題】あるセルの内側の領域において、セルのサイズより小さくかつ周辺の画像よりも高い輝度の画像が移動する場合に、そのあるセルを取り囲む周辺セルの輝度を調整する制御を行う画像処理装置等を提供する。
【解決手段】画像処理装置においては、前記第1データ生成部は、前記入力画像データにより特定される前記複数の第1画素の入力輝度、ならびに、前記入力画像データにより特定される前記複数の第2画素の入力輝度および位置に基づいて、前記第1セルについての前記第1データを生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
バックライトと、
前記バックライトに対向し、第1解像度で光の透過量を制御可能な第1パネルと、
前記第1パネルに対向し、前記第1解像度よりも高い第2解像度で光の透過量を制御可能な第2パネルと、
を備えた表示パネルユニットに、画像を表示させる画像処理装置であって、
前記第1パネルは、第1セルと、前記第1セルを取り囲む複数の第2セルと、を含み、
前記第2パネルは、前記第1セルに対向する位置の複数の第1画素と、前記複数の第2セルに対向する位置の複数の第2画素を含み、
前記画像処理装置は、
入力画像データに基づいて、前記第1パネルを制御するための第1データを生成する第1データ生成部と、
前記入力画像データおよび前記第1データに基づいて、前記第2パネルを制御するための第2データを生成する第2データ生成部と、を含み、
前記第1データ生成部は、前記入力画像データにより特定される前記複数の第1画素の入力輝度、ならびに、前記入力画像データにより特定される前記複数の第2画素の入力輝度および位置に基づいて、前記第1セルについての前記第1データを生成する
画像処理装置。
【請求項2】
前記第1データ生成部は、フリッカの発生を抑制するように前記第1データを生成する、
請求項1に記載の画像処理装置。
【請求項3】
前記第1データ生成部は、前記第1セルの内側の所定位置と前記複数の第2画素のそれぞれの内側の特定位置との間の距離および前記複数の第2画素の入力輝度に基づいて、前記第1セルについての前記第1データを生成する
請求項1に記載の画像処理装置。
【請求項4】
前記第1データ生成部は、前記複数の第2画素のうちの前記距離が相対的に大きい第2画素の入力輝度の前記第1セルの輝度に対する影響度が、前記複数の第2画素のうちの前記距離が相対的に小さい第2画素の入力輝度の前記第1セルの輝度に対する影響度に比較して小さくなるように、前記第1データを生成する、
請求項3に記載の画像処理装置。
【請求項5】
前記第1データ生成部は、前記複数の第2画素のうちの前記入力輝度が相対的に大きい第2画素の前記入力輝度の前記第1セルの輝度に対する影響度が、前記複数の第2画素のうちの前記入力輝度が相対的に小さい第2画素の前記入力輝度の前記第1セルの輝度に対する影響度に比較して大きくなるように、前記第1データを生成する、
請求項4に記載の画像処理装置。
【請求項6】
前記第1データ生成部は、
前記複数の第2セルのそれぞれに対向する位置の前記複数の第2画素の入力輝度に基づいて、前記複数の第2セルのそれぞれの代表値を設定する代表値設定部と、
前記複数の第2画素の入力輝度および位置に基づいて、前記複数の第2セルのそれぞれの輝度重心を算出する輝度重心算出部と、
前記複数の第2セルのそれぞれについて、前記輝度重心に基づいて、前記複数の第2セルの1つを中心セルとした場合の前記第1セルを含むように前記中心セルを取り囲む周辺セルについての2次元フィルタの係数を算出するフィルタ算出部と、
前記複数の第2セルのそれぞれについて、前記代表値を前記2次元フィルタの前記中心セルの入力輝度として、前記2次元フィルタの係数を用いて、前記複数の周辺セルにフィルタ処理を施すことによって、前記第1セルについての前記第1データを生成するフィルタ処理部と、
を備えた、
請求項1に記載の画像処理装置。
【請求項7】
前記フィルタ算出部は、
前記中心セルの代表位置よりも前記輝度重心の側に存在する前記複数の周辺セルに関しては、前記2次元フィルタのフィルタ係数を大きくする補正を行うことにより、前記2次元フィルタのフィルタ係数を算出し、
前記中心セルの前記代表位置よりも前記輝度重心とは逆の側に存在する前記複数の周辺セルに関しては、前記2次元フィルタの前記フィルタ係数を小さくする補正を行うことにより、前記2次元フィルタの係数を算出する、
請求項6に記載の画像処理装置。
【請求項8】
前記フィルタ算出部は、前記中心セルの代表位置と前記輝度重心との間の距離が大きいほど、前記フィルタ係数の補正による変化量が大きくなるように、前記フィルタ係数を補正することによって、補正後の前記2次元フィルタのフィルタ係数を算出する、
請求項7に記載の画像処理装置。
【請求項9】
前記2次元フィルタはローパスフィルタである、
請求項6~8のいずれか1項に記載の画像処理装置。
【請求項10】
前記バックライトは、発光量を調節可能な複数の発光領域を有し、
前記入力画像データに基づいて、前記複数の発光領域のそれぞれの発光量を制御するためのバックライトデータを生成するバックライトデータ生成部と、
前記バックライトデータおよび前記第1データに基づいて、前記第1パネルから前記第2パネルへ向かう光についての前記第2パネルの位置での輝度分布を算出する第1パネル輝度分布算出部と
を備え、
前記第2データ生成部は、前記入力画像データおよび前記輝度分布に基づいて、前記第2データを生成する
請求項1~8のいずれかに記載の画像処理装置。
【請求項11】
前記表示パネルユニットの正面視において、前記第1セルおよび前記複数の第2セルのそれぞれの形状は、前記複数の第1画素および前記複数の第2画素のそれぞれの形状とは異なる、
請求項1~8のいずれかに記載の画像処理装置。
【請求項12】
前記表示パネルユニットの正面視において、前記第1セルおよび前記複数の第2セルのうちの1つのセルの一部と前記1つのセルに隣接する隣接セルの一部とが、共通領域内に混在している、
請求項1~8のいずれかに記載の画像処理装置。
【請求項13】
前記第1パネルは液晶パネルである
請求項1~8のいずれかに記載の画像処理装置。
【請求項14】
前記第2パネルは液晶パネルである
請求項1~8のいずれかに記載の画像処理装置。
【請求項15】
前記表示パネルユニットと、請求項1~8のいずれかに記載の画像処理装置を備えた表示装置。
【請求項16】
バックライトと、
前記バックライトに対向し、第1解像度で光の透過量を制御可能な第1パネルと
前記第1パネルに対向し、前記第1解像度よりも高い第2解像度で光の透過量を制御可能な第2パネルと、
を備え、
前記第1パネルは、第1セルと、前記第1セルを取り囲む複数の第2セルと、を含み、
前記第2パネルは、前記第1セルに対向する位置の複数の第1画素と、前記複数の第2セルに対向する位置の複数の第2画素を含む表示パネルユニットに、画像を表示させる画像処理装置の制御方法であって、
前記画像処理装置の制御方法は、
入力画像データに基づいて、前記第1パネルを制御するための第1データを生成するステップと、
前記入力画像データおよび前記第1データに基づいて、前記第2パネルを制御するための第2データを生成するステップと、を含み、
前記第1データを生成するステップにおいては、前記入力画像データにより特定される前記複数の第1画素の入力輝度、ならびに、前記入力画像データにより特定される前記複数の第2画素の入力輝度および位置に基づいて、前記第1セルについての前記第1データを生成する、
画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、表示装置、および画像処理装置の制御方法に関する。
【背景技術】
【0002】
近年、下記の特許文献1に開示されているように、2枚の解像度が異なる液晶表示パネルを重ね合わせた表示パネルユニットに画像を表示させる画像処理装置の開発が行われている。表示パネルユニットは、複数の発光素子を有するバックライト、複数のセルを有する第1パネル(モノセル)、および複数の画素を有する第2パネル(メインセルまたはカラーセル)を備えている。第1パネルは、バックライトに対向し、第1解像度で光の透過量を制御する。第2パネルは、第1パネルに対向し、第1解像度よりも高い第2解像度で光の透過量を制御する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記の特許文献1に開示された技術によれば、第1パネルのあるセルの内側の領域において、セルのサイズより小さくかつ周辺の画像の輝度よりも極端に高い輝度を有する画像が移動する場合に、そのあるセルを取り囲む周辺セルの実際の輝度を調整する制御を行っていない。そのため、たとえば、周辺の画像の輝度よりも極端に高い輝度を有する画像があるセルと周辺セルとの境界線を横切るときにフリッカが発生する等の不都合が生じる。
【0005】
本開示は、上述の問題に鑑みなされたものである。本開示の目的は、あるセルの内側の領域において、セルのサイズより小さくかつ周辺の画像よりも高い輝度の画像が移動する場合に、そのあるセルを取り囲む周辺セルの輝度を調整する制御を行う画像処理装置、表示装置、および画像処理装置の制御方法を提供することである。
【課題を解決するための手段】
【0006】
(1) 本願明細書に記載の技術に関わる画像処理装置は、バックライトと、前記バックライトに対向し、第1解像度で光の透過量を制御可能な第1パネルと、前記第1パネルに対向し、前記第1解像度よりも高い第2解像度で光の透過量を制御可能な第2パネルと、を備えた表示パネルユニットに、画像を表示させる画像処理装置であって、前記第1パネルは、第1セルと、前記第1セルを取り囲む複数の第2セルと、を含み、前記第2パネルは、前記第1セルに対向する位置の複数の第1画素と、前記複数の第2セルに対向する位置の複数の第2画素を含み、前記画像処理装置は、入力画像データに基づいて、前記第1パネルを制御するための第1データを生成する第1データ生成部と、前記入力画像データおよび前記第1データに基づいて、前記第2パネルを制御するための第2データを生成する第2データ生成部と、を含み、前記第1データ生成部は、前記入力画像データにより特定される前記複数の第1画素の入力輝度、ならびに、前記入力画像データにより特定される前記複数の第2画素の入力輝度および位置に基づいて、前記第1セルについての前記第1データを生成する。
【0007】
(2) 前記画像処理装置は、前記(1)に加え、前記第1データ生成部は、フリッカの発生を抑制するように前記第1データを生成してもよい。
【0008】
(3) 前記画像処理装置は、前記(1)に加え、前記第1データ生成部は、前記第1セルの内側の所定位置と前記複数の第2画素のそれぞれの内側の特定位置との間の距離および前記複数の第2画素の入力輝度に基づいて、前記第1セルについての前記第1データを生成してもよい。
【0009】
(4) 前記画像処理装置は、前記(3)に加え、前記第1データ生成部は、前記複数の第2画素のうちの前記距離が相対的に大きい第2画素の入力輝度の前記第1セルの輝度に対する影響度が、前記複数の第2画素のうちの前記距離が相対的に小さい第2画素の入力輝度の前記第1セルの輝度に対する影響度に比較して小さくなるように、前記第1データを生成してもよい。
【0010】
(5) 前記画像処理装置は、前記(4)に加え、前記第1データ生成部は、前記複数の第2画素のうちの前記入力輝度が相対的に大きい第2画素の前記入力輝度の前記第1セルの輝度に対する影響度が、前記複数の第2画素のうちの前記入力輝度が相対的に小さい第2画素の前記入力輝度の前記第1セルの輝度に対する影響度に比較して大きくなるように、前記第1データを生成してもよい。
【0011】
(6) 前記画像処理装置は、前記(1)に加え、前記第1データ生成部は、前記複数の第2セルのそれぞれに対向する位置の前記複数の第2画素の入力輝度に基づいて、前記複数の第2セルのそれぞれの代表値を設定する代表値設定部と、前記複数の第2画素の入力輝度および位置に基づいて、前記複数の第2セルのそれぞれの輝度重心を算出する輝度重心算出部と、前記複数の第2セルのそれぞれについて、前記輝度重心に基づいて、前記複数の第2セルの1つを中心セルとした場合の前記第1セルを含むように前記中心セルを取り囲む周辺セルについての2次元フィルタの係数を算出するフィルタ算出部と、前記複数の第2セルのそれぞれについて、前記代表値を前記2次元フィルタの前記中心セルの入力輝度として、前記2次元フィルタの係数を用いて、前記複数の周辺セルにフィルタ処理を施すことによって、前記第1セルについての前記第1データを生成するフィルタ処理部と、を備えていてもよい。
【0012】
(7) 前記画像処理装置は、前記(6)に加え、前記フィルタ算出部は、前記中心セルの代表位置よりも前記輝度重心の側に存在する前記複数の周辺セルに関しては、前記2次元フィルタのフィルタ係数を大きくする補正を行うことにより、前記2次元フィルタのフィルタ係数を算出し、前記中心セルの前記代表位置よりも前記輝度重心とは逆の側に存在する前記複数の周辺セルに関しては、前記2次元フィルタの前記フィルタ係数を小さくする補正を行うことにより、前記2次元フィルタの係数を算出してもよい。
【0013】
(8) 前記画像処理装置は、前記(7)に加え、前記フィルタ算出部は、前記中心セルの代表位置と前記輝度重心との間の距離が大きいほど、前記フィルタ係数の補正による変化量が大きくなるように、前記フィルタ係数を補正することによって、補正後の前記2次元フィルタのフィルタ係数を算出してもよい。
【0014】
(9) 前記画像処理装置は、前記(6)~(8)のいずれかに加え、前記2次元フィルタはローパスフィルタであってもよい。
【0015】
(10) 前記画像処理装置は、前記(1)~(9)のいずれかに加え、前記バックライトは、発光量を調節可能な複数の発光領域を有し、前記入力画像データに基づいて、前記複数の発光領域のそれぞれの発光量を制御するためのバックライトデータを生成するバックライトデータ生成部と、前記バックライトデータおよび前記第1データに基づいて、前記第1パネルから前記第2パネルへ向かう光についての前記第2パネルの位置での輝度分布を算出する第1パネル輝度分布算出部と、を備え、前記第2データ生成部は、前記入力画像データおよび前記輝度分布に基づいて、前記第2データを生成してもよい。
【0016】
(11) 前記画像処理装置は、前記(1)~(10)のいずれかに加え、前記表示パネルユニットの正面視において、前記第1セルおよび前記複数の第2セルのそれぞれの形状は、前記複数の第1画素および前記複数の第2画素のそれぞれの形状とは異なっていてもよい。
【0017】
(12) 前記画像処理装置は、前記(1)~(11)のいずれかに加え、前記表示パネルユニットの正面視において、前記第1セルおよび前記複数の第2セルのうちの1つのセルの一部と前記1つのセルに隣接する隣接セルの一部とが、共通領域内に混在していてもよい。
【0018】
(13) 前記画像処理装置は、前記(1)~(12)のいずれかに加え、前記第1パネルは液晶パネルであってもよい。
【0019】
(14) 前記画像処理装置は、前記(1)~(13)のいずれかに加え、前記第2パネルは液晶パネルであってもよい。
【0020】
(15) 本願明細書に記載の技術に関わる表示装置は、前記表示パネルユニットと、前記(1)~(14)のいずれかに記載の画像処理装置とを備えている。
【0021】
(16) 本願明細書に記載の技術に関わる画像処理装置の制御方法は、バックライトと、前記バックライトに対向し、第1解像度で光の透過量を制御可能な第1パネルと前記第1パネルに対向し、前記第1解像度よりも高い第2解像度で光の透過量を制御可能な第2パネルと、を備え、前記第1パネルは、第1セルと、前記第1セルを取り囲む複数の第2セルと、を含み、前記第2パネルは、前記第1セルに対向する位置の複数の第1画素と、前記複数の第2セルに対向する位置の複数の第2画素を含む表示パネルユニットに、画像を表示させる画像処理装置の制御方法であって、前記画像処理装置の制御方法は、入力画像データに基づいて、前記第1パネルを制御するための第1データを生成するステップと、前記入力画像データおよび前記第1データに基づいて、前記第2パネルを制御するための第2データを生成するステップと、を含み、前記第1データを生成するステップにおいては、前記入力画像データにより特定される前記複数の第1画素の入力輝度、ならびに、前記入力画像データにより特定される前記複数の第2画素の入力輝度および位置に基づいて、前記第1セルについての前記第1データを生成する。
【図面の簡単な説明】
【0022】
【
図1】実施の形態1の表示装置の全体構成を示すブロック図である。
【
図2】各実施の形態に共通の表示装置の表示パネルユニットの概略断面図である。
【
図3】各実施の形態に共通の表示装置のバックライトの複数の発光領域を示す平面図である。
【
図4】各実施の形態に共通の表示装置のバックライトの発光領域と第1パネル(モノセル)のセルとの関係を説明するための図である。
【
図5】各実施の形態に共通の表示装置の第1パネル(モノセル)のセルと第2パネル(メインセル)の画素および画素に含まれる絵素との関係を説明するための図である。
【
図6】実施の形態1の表示装置の第1パネルと第2パネルを正面から透視して見た場合における、第1セルおよび第1セルに含まれる複数の第1画素、ならびに、複数の第2セルおよび第2セルに含まれる複数の第2画素を説明するための図である。
【
図7】実施の形態1の画像処理装置の第1の例の内部構成を具体的に示す図である。
【
図8】実施の形態1の画像処理装置の第1の例が実行する処理を説明するためのフローチャートである。
【
図9】実施の形態1の画像処理装置の第2の例の内部構成を具体的に示す図である。
【
図10】実施の形態1の画像処理装置の第2の例が実行する処理を説明するためのフローチャート1である。
【
図11】実施の形態1の画像処理装置の第2の例が実行する処理を説明するためのフローチャート2である。
【
図12】実施の形態1の画像処理装置の第2の例が実行する処理を説明するためのフローチャート3である。
【
図13】実施の形態1の表示装置が表示する入力画像データの変化に対する第1パネルのセルの開口率の変化の様子を示す図である。
【
図14】比較例の表示装置が表示する入力画像データの変化に対する第1パネルのセルの開口率の変化の様子を示す図である。
【
図15】実施の形態1の表示装置が表示する入力画像データおよび第1パネルのセルの開口率の一例を示す図である。
【
図16】実施の形態2の表示装置の全体構成を示すブロック図である。
【
図17】実施の形態2の画像処理装置の一例の内部構成を具体的に示す図である。
【
図18】比較例の表示装置のモノセルの2次元フィルタを説明するための図である。
【
図19】実施の形態2の表示装置のモノセルの中心セルの中心位置と輝度重心との関係を説明するための図である。
【
図20】実施の形態2の表示装置のモノセルのフィルタ処理を説明するための図である。
【
図21】実施の形態2の表示装置の、たとえば、5行5列の2次元フィルタの中心セル、周辺セル、第1セルおよび第2セルの関係を説明するための図である。
【
図22】実施の形態2の表示装置の画像処理装置で用いられる2次元フィルタの一例としてのローパスフィルタの補正前のフィルタ係数の一例を示す図である。
【
図23】実施の形態2の表示装置の画像処理装置で用いられる輝度重心の座標の一例を示す図である。
【
図24】実施の形態2の表示装置の画像処理装置で用いられる演算の定数の一例を示す図である。
【
図25】実施の形態2の表示装置の画像処理装置で用いられるフィルタ係数の補正率の一例を示す図である。
【
図26】実施の形態2の表示装置の画像処理装置で用いられる2次元フィルタの補正後のフィルタ係数の一例を示す図である。
【
図27】実施の形態2の画像処理装置の一例が実行する処理を説明するためのフローチャートである。
【
図28】実施の形態2の表示装置が表示する入力画像データの変化に対する第1パネルのセルの開口率の変化の様子を示す図である。
【
図29】実施の形態2の表示装置が表示する入力画像データおよび第1パネルのセルの開口率の一例を示す図である。
【
図30】実施の形態3の表示装置の全体構成を示すブロック図である。
【
図31】実施の形態3の画像処理装置の内部構成を具体的に示す図である。
【
図32】実施の形態3の画像処理装置が実行する処理を説明するためのフローチャートである。
【
図33】実施の形態4の表示装置のセルを示す図である。
【
図34】実施の形態5の表示装置のセルを示す図である。
【
図35】実施の形態5の表示装置のセルの具体例を示す図である。
【発明を実施するための形態】
【0023】
以下、本開示の実施の形態の画像処理装置を、図面を参照しながら説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は繰り返さない。
【0024】
(実施の形態1)
図1は、本実施の形態の表示装置1の全体構成を示すブロック図である。
【0025】
図1に示されるように、表示装置1は、表示パネルユニット100と、表示パネルユニット100を制御する画像処理装置10と、を備えている。本実施の形態の表示装置1においては、表示パネルユニット100と画像処理装置10とは、物理的に一体化されている。しかしながら、表示パネルユニット100と画像処理装置10とは、互いに通信可能に接続されていれば、物理的に分離されていてもよい。
【0026】
表示パネルユニット100は、バックライトBL、バックライト駆動部40、第1パネルWB、第1パネル駆動部20、第2パネルCL、および第2パネル駆動部30、を備えている。第1パネルWBおよび第2パネルCLのそれぞれは、本実施の形態においては、液晶パネルであるものとするが、液晶パネル以外のパネルであってもよい。
【0027】
バックライトBLは、第1パネルWBに対向するように配置される(
図2参照)。バックライトBLは、複数の発光領域LER(
図3参照)を有している。バックライトBLを構成する複数の発光領域LERの解像度は、たとえば、6×4である。なお、複数の発光領域LERのそれぞれは、複数のLED(Light Emitting Diode)を有している。
【0028】
各発光領域LER内の複数のLEDの発光態様が同一になり、1つの発光領域LERの全体が有る程度均一に発光するように、複数のLEDが制御される。そして、複数の発光領域LERのそれぞれごとに独立して発光量を制御するローカルディミングが実行され得る。ただし、本実施の形態においては、ローカルディミングは実行されないものとして説明がなされる。
【0029】
バックライト駆動部40は、画像処理装置10が生成したバックライトデータによって特定された複数の発光領域LERのそれぞれの出力を実現するように、バックライトBLを構成する複数の発光領域LERのそれぞれを駆動する。
【0030】
第1パネルWBは、バックライトBLに対向し、第1解像度で光の透過量を制御可能な液晶表示パネルである。第1パネルWBは、白黒表示を行うことが可能なモノクロパネル(以下、「モノセル」とも言う。)と呼ばれるものである(
図2参照)。第1パネルWBは、複数のセルCE(
図4参照)を有している。第1パネルWBは、複数のセルCEのそれぞれごとに光の透過度を制御することができるものであれば、いかなるものであってもよい。第1パネルWBは、たとえば、MEMS(Micro Electro Mechanical Systems)シャッターを用いたパネルであってもよい。
【0031】
複数のセルCEのそれぞれは、カラーフィルタを有していない。複数のセルCEのそれぞれは、バックライトBLが発した光の透過量を調整するための開口として機能する。そのセルCEの開口の面積は可変である。第1パネルWBは、第2パネルCLに対向するように配置されている(
図2参照)。第1パネルWBを構成する複数のセルCEの解像度は、たとえば、240×135である。
【0032】
第1パネル駆動部(以下、「モノセル駆動部」とも言う。)20は、画像処理装置10が生成したデータによって特定された複数のセルCEのそれぞれの開口率を実現するように、第1パネルWBを構成する複数のセルCEのそれぞれの液晶層を駆動する。なお、本明細書においては、セルCEの開口率とは、セルCEの最大の開口面積に対するセルCEの実際の開口面積を意味する。
【0033】
第2パネルCL(
図2参照)は、第1パネルWBに対向し、第1パネルBWの第1解像度よりも高い第2解像度で光の透過量を制御可能な液晶表示パネルである。第2パネルCLは、カラー表示を行うことが可能なカラーパネル(以下、「メインセル」とも言う。)と呼ばれるものである。第2パネルCLは、複数の画素PXを有している(
図5参照)。
【0034】
複数の画素PXは、複数のサブ画素を有している。本明細書においては、サブ画素は、「絵素PE(
図5参照)」と呼ばれる。複数の画素PXのそれぞれは、絵素PE(赤)、絵素PE(G)、および絵素PE(B)を有している。絵素PE(R)は、赤色のカラーフィルタを有し、赤色光を透過する。絵素PE(G)は、緑色のカラーフィルタを有し、緑色光を透過する。絵素PE(B)は、青色のカラーフィルタを有し、青色光を透過する。
【0035】
第2パネルCLは、絵素PE(赤)、絵素PE(G)、および絵素PE(B)(
図5参照)のそれぞれごとに光の透過度を制御することができるものであれば、液晶表示パネル以外のパネルのいかなるものであってもよい。第2パネルCLは、たとえば、MEMS(Micro Electro Mechanical Systems)シャッターを用いたパネルであってもよい。
【0036】
また、第2パネルCLの1つの画素PXを構成する複数の絵素PEのカラーフィルタの組合せは、赤、緑、および青の組合せに限らず、たとえば、イエロー、マゼンダ、およびシアンの組合せであってもよい。第2パネルCLを構成する複数の絵素PEの色ごとの解像度は、たとえば、1920×1080である。すなわち、第2パネルCLを構成する複数の画素PXの解像度は、たとえば、1920×1080である。
【0037】
第2パネル駆動部(以下、「メインセル駆動部」とも言う。)30は、画像処理装置10が生成したデータによって特定された複数の絵素PEのそれぞれの開口率を実現するように、第2パネルCLを構成する複数の絵素PEのそれぞれの液晶層を駆動する。なお、本明細書においては、絵素PEの開口率とは、絵素PEの最大の開口面積に対する絵素PEの実際の開口面積を意味する。
【0038】
画像処理装置10は、表示パネルを所定の制御方法に基づいて制御するものであって、外部から入力された入力画像データに基づいて表示パネルユニット100に画像を表示させる。本実施の形態においては、入力画像データの解像度は、複数の画素PXの解像度と同一であり、1920×1080である。入力画像データは、第2パネルCLの複数の絵素PEにそれぞれ入力される複数の入力階調値を特定可能なデータである。
【0039】
また、入力画像データは、複数の入力階調値によって入力画像を特定可能なデータである。入力画像データによって特定された入力画像は、表示パネルユニット100に表示された出力画像に対応している。なお、入力画像データの解像度が複数の画素PXの解像度と異なる場合は、たとえば、第1データ生成部11の前に、入力画像データの解像度を複数の絵素PEの解像度に変換する解像度変換部を設けてもよい。
【0040】
画像処理装置10は、第1データ生成部11および第2データ生成部12(以下、「メインセル駆動値算出部」とも言う。)を備えている。本実施の形態においては、第1データ生成部11および第2データ生成部12のそれぞれは、プロセッサの少なくとも一部の機能によって実現されている。しかしながら、第1データ生成部11および第2データ生成部12の少なくともいずれか一方が、本実施の形態の画像処理専用の電子回路によって構成されていてもよい。
【0041】
入力画像データは、表示装置1の外部から画像処理装置10へ送信される。入力画像データ、すなわち、第1パネルCLを構成する複数の絵素PEのそれぞれの入力階調値が、画像処理装置10の内部で、第1データ生成部11および第2データ生成部12のそれぞれに送信される。
【0042】
第1データ生成部11は、入力画像データに基づいて、複数のセルCEの開口率を制御するための第1データを生成する。第1データは、たとえば、第1パネルWBの解像度である240×135の解像度に対応するデータである。第1データ生成部11は、入力画像データを用いて、第1パネルWBを構成する複数のセルCEのそれぞれの開口率を生成する。
【0043】
第2データ生成部12は、入力画像データおよび第1データに基づいて、複数の画素PXの開口率を制御するための第2データを生成する。第2データは、たとえば、第2パネルCLの解像度である1920×1080の解像度に対応するデータである。第2データ生成部12は、入力画像データおよび第1データを用いて、第2パネルCLを構成する複数の画素PXのそれぞれの開口率を生成する。
【0044】
第2データ生成部12は、まず、第1データ(セルCEの駆動値)を用いて、バックライトBLからセルCEを通過して画素PXに到達する光の輝度の分布を算出する。つまり、第2データ生成部12は、メインセル、すなわち第2パネルCLの位置での輝度分布を計算する。その後、第2データ生成部12は、前述の算出された輝度分布を用いて、第1パネルの各セルCEの開口率の制御によってバックライトBLから各絵素PEへ進む光の量を調整したことに起因した輝度の不足を補うように、入力画像データを補正する。それにより、第2データ(画素PXの駆動値)が生成される。
【0045】
図2は、各実施の形態に共通の表示装置1の表示パネルユニット100の概略断面図である。
図2に示されるように、表示パネルユニット100においては、バックライトBL、第1パネルWB、および第2パネルCLが、この順番で、並べられている。バックライトBLと第1パネルWBとは、互いに対向するように配置される。第1パネルWBと第2パネルCLとも、互いに対向するように配置されている。
【0046】
図3は、各実施の形態に共通の表示装置1のバックライトBLの複数の発光領域LERを示す平面図である。
図3に示されるように、バックライトBLは、複数の発光領域LER、具体的には、たとえば、6×4=24個の発光領域LERに分割されている。画像処理装置10は、複数の発光領域LERのそれぞれごとの出力を独立して制御する。複数の発光領域LERのそれぞれ内の複数のLEDは、同一の発光態様に制御される。
【0047】
ただし、本実施の形態においては、複数の発光領域LERは、全て同一の明るさになるように制御されるものとする。つまり、画像処理装置10およびバックライトBLは、ローカルディミングを実行する能力を有しているが、本実施の形態においては、ローカルディミングを実行しない。なお、本実施の形態の画像処理装置10およびバックライトBLは、ローカルディミングを実行する能力を有していないものであってもよい。
【0048】
図4は、各実施の形態に共通の表示装置1のバックライトBLの発光領域LERと第1パネル(モノセル)WBのセルCEとの関係を説明するための図である。
図4から分かるように、複数の発光領域LERのそれぞれに対向する1つの仮想領域内に、いくつかのセルCEが含まれている。
【0049】
図5は、各実施の形態に共通の表示装置1の第1パネル(モノセル)WBのセルCEと、第2パネル(メインセル)CLの画素PXおよび絵素PEとの関係を説明するための図である。
図5から分かるように、複数のセルCEのそれぞれに対向する1つの仮想領域内に、いくつかの画素PXが含まれており、そのいくつかの画素PXのそれぞれには、3つの絵素PEが含まれている。つまり、複数のセルCEのそれぞれに対向する1つの仮想領域内に、いくつかの絵素PEが含まれている。
【0050】
図3~
図5を対比すれば分かるように、バックライトBLの複数の発光領域LER、第1パネルWBの複数のセルCE、ならびに第2パネルCLの複数の画素PXおよび複数の絵素PEは、この順番で、解像度が大きくなっている。
【0051】
バックライトBLのそれぞれの発光領域LERは、たとえば、入力画像データによって特定され得る、その発光領域LERに対向する1つの仮想領域内のいくつかの絵素PEの入力階調値の最大値の輝度を実現するように、画像処理装置10によって制御される。
【0052】
ただし、本実施の形態においては、画像処理装置10は、バックライトBLの複数の発光領域LERの全てを同一の輝度で発光するように制御する。つまり。ローカルディミングを行わないものとする。言い換えると、本実施の形態においては、入力画像データにより特定されるバックライトBLの複数の発光領域LERのそれぞれの発光量は、同一であるものとする。
【0053】
第1パネルWBのそれぞれのセルCEは、たとえば、入力画像データによって特定され得る、そのセルCEに対向する1つの仮想領域内のいくつかの絵素PEの入力階調値の最大値の輝度を実現するように、画像処理装置10によって制御される。第2パネルCLは、入力画像データによって特定され得る、複数の絵素PEのそれぞれの輝度を実現するように、画像処理装置10によって制御される。
【0054】
図6は、本実施の形態の表示装置1の第1パネルWBと第2パネルCLを正面側から透視して見た場合における、第1セルCEおよび第1セルCEに含まれる複数の第1画素PX、ならびに、複数の第2セルCEおよび第2セルCEに含まれる複数の第2画素PXを説明するための図である。
【0055】
図6に示されるように、第1パネルWBは、セルCEのm個×n個(mおよびnは自然数であり、mおよびnの少なくとも一方は2以上である。)からなる行列の中心位置(あるいは行列の中心の近傍の位置。以下ではいずれも行列の中心位置と呼ぶ。)に配置された第1セルCEと、第1セルCEを取り囲むように第1セルCEの周辺に配置された複数の第2セルCEと、を含んでいる。第1セルCEは、たとえば、3×3の行列の中央に位置付けられた1つの中心のセルCEであり、第2セルCEは、中心位置のセルCEを取り囲む8つの周辺位置のセルCEである。しかしながら、第1セルCEおよび第2セルCEの配置は、中心位置とそれを取り囲む周辺位置との関係が成り立てば、
図6に開示された3×3の行列に限定されない。
【0056】
なお、第1パネルWBがk個のセルCEを含む場合、画像処理装置10は、k個のセルCEのそれぞれが第1セルCEとなる場合について処理を行う。したがって、あるセルCEは、第1セルCEにも第2セルCEにもなり得る。また、第1パネルWBの端部に位置するセルCEが第1セルとなる場合は、その第1セルCEは行列の中心位置に配置できない場合がある。
【0057】
第2パネルCLは、第1セルCEに対向する位置の複数の第1画素PXと、複数の第2セルCEに対向する位置の複数の第2画素PXと、を含んでいる。つまり、3×3の行列からなる1セットのセルCEの中心位置の1つのセルCEが複数の第1画素PXに対向しており、中心位置のセルCEを取り囲む周辺位置の8つのセルCEが複数の第2画素PXに対向している。
【0058】
なお、
図6においては、複数の第1画素PXおよび複数の第2画素PXのそれぞれは、1つのセルCEに対向する領域内に含まれている。しかしながら、複数の第1画素PXいくつかまたは複数の第2画素PXのいくつかが、2つのセルCEに対向する領域に跨って配置されていてもよい。
【0059】
第1データ生成部11は、入力画像データに基づいて、第1パネルWBを制御するための第1データを生成する。第1データ生成部11は、距離算出部11Aおよび第1データ算出部11Bを含んでいる。距離算出部11Aおよび第1データ算出部(以下、「モノセル駆動値算出部」とも言う。)11Bのそれぞれの詳細については、後述される。
【0060】
第1データ生成部11は、入力画像データにより特定される複数の第1画素PXの入力輝度、ならびに、入力画像データにより特定される複数の第2画素PXの入力輝度および位置に基づいて、第1セルCEについての第1データを生成する。
【0061】
具体的には、距離算出部11Aは、各画素PXの特定位置とセルCEの所定位置との間の距離D1を算出する。このとき、距離算出部11Aは、距離算出に用いられるセルCEおよび第2パネル(メインセル)CLの画素PXに基づいて、距離D1を算出する。セルCEの基準となる点はセルの中心位置、具体的には、矩形の対角線の交点である。
【0062】
画素PXを基準として距離D1を算出する処理を実行する場合、ある画素PXについて距離D1の算出に用いられるセルCEは、第1パネルWBに含まれる全てのセルCEを含むことが望ましい。しかしながら、距離D1の算出のための時間および処理の増加を抑制する観点から、ある画素PXについて距離D1の算出に用いられるセルCEは、全てのセルCEのうちの一部のセルCEを含む第1パネルWB内の所定領域内のセルCEに限定されてもよい。
【0063】
一方、セルCEを基準として距離D1を算出する処理を実行する場合、あるセルCEについて距離D1の算出に用いられる画素PXは、第2パネルCLに含まれる全ての画素PXを含むことが望ましい。しかしながら、距離D1の算出のための時間および処理の増加を抑制する観点から、あるセルCEについて距離D1の算出に用いられる画素PXは、全ての画素PXのうちの一部の画素PXを含む第2パネルCL内の所定領域内の画素PXに限定されてもよい。
【0064】
第1データ算出部(モノセル駆動値算出部)11Bは、距離D1に応じてセルCEの駆動値を算出する。この算出の方法は、たとえば、以下のようなものが考えられる。ある画素PXの特定位置とセルCEの中心位置との間の距離をD1とすると、駆動値=(k/d)×(ある画素PXの階調値(輝度))、または、駆動値=(k/d^2)×(ある画素PXの階調値(輝度))であるものとする。
【0065】
ただし、ある画素PXがあるセルCEに対向する領域内に含まれる場合は、駆動値=ある画素PXの階調値(輝度)であるものとする。また、定数kは、外部から変更可能な仕組み(レジスタなど)によって値を変更することができるものとする。
【0066】
ある1つのセルCEに対して、複数個の画素PXが、駆動値の計算対象として存在するため、第1データ算出部(モノセル駆動値算出部)11Bは、1つのセルCEに対して、複数の駆動値を個算出する。第1データ算出部(モノセル駆動値算出部)11Bは、これら複数の駆動値の中から最も大きな値を、そのある1つのセルCEの駆動値として設定する。
【0067】
これによれば、ある1つのセルCEの内側の領域において、そのある1つのセルCEのサイズより小さくかつ周辺の画像よりも高い輝度の画像が移動する場合に、そのある1つのセルCEを取り囲む周辺の複数のセルCEの輝度を調整する制御を行うことができる。
【0068】
本実施の形態においては、第1データ生成部11は、フリッカの発生を抑制するように第1データを生成する。したがって、ある1つのセルCEの内側の領域において、そのある1つのセルCEのサイズより小さくかつ周辺の画像の輝度よりも極端に高い輝度を有する画像が移動する場合に、フリッカが発生することを抑制することができる。
【0069】
具体的には、第1データ生成部11は、第1セルCEの内側の所定位置(CN)と複数の第2画素PXのそれぞれの内側の特定位置SC(中心位置)との間の距離D1および複数の第2画素PXの入力輝度に基づいて、第1セルCEについての第1データを生成する。なお、第1セルCEの内側の所定位置は、本実施の形態においては、長方形のセルCEの対角線の交点、つまり、中心位置CNであるが、これに限定されない。特定位置SCは、長方形の第2画素PXの対角線の交点、つまり、中心位置であるが、これに限定されない。
【0070】
前述の第1データによれば、次の(1)が実現される。(1)複数の第2画素PXのうちの距離D1が相対的に大きい第2画素PXの入力輝度の第1セルCEの輝度に対する影響度が、複数の第2画素PXのうちの距離D1が相対的に小さい第2画素PXの入力輝度の第1セルCEの輝度に対する影響度に比較して小さい。
【0071】
また、第1データによれば、次の(2)が実現される。(2)複数の第2画素PXのうちの入力輝度が相対的に大きい第2画素PXの入力輝度の第1セルCEの輝度に対する影響度が、複数の第2画素PXのうちの入力輝度が相対的に小さい第2画素PXの入力輝度の第1セルCEの輝度に対する影響度に比較して大きい。
【0072】
図7は、本実施の形態の画像処理装置10の第1の例の内部構成を具体的に示す図である。
【0073】
図7に示されるように、画像処理装置10は、
図1には図示されていない入力画像用メモリM1、モノセルデータ計算用メモリM2、モノセル駆動用メモリM3、およびメインセル駆動値用メモリM4を備えている。
【0074】
入力画像用メモリM1は、1フレーム分の入力画像データを保存するメモリである。モノセルデータ計算用メモリM2は、1フレーム分のモノセルの計算値を保存するメモリである。モノセル駆動値用メモリM3は、1フレーム分の算出されたモノセル駆動値を保存するメモリである。
【0075】
メインセル駆動値用メモリM4は、1フレーム分の算出されたメインセル駆動値を保存するメモリでさる。入力画像用メモリM1、モノセルデータ計算用メモリM2、モノセル駆動用メモリM3、およびメインセル駆動値用メモリM4のそれぞれは、
図8に示されるフローチャートを用いて説明される処理の開始前に0に初期化されているものとする。
【0076】
図8は、実施の形態1の画像処理装置10の第1の例が実行する処理を説明するためのフローチャートである。
【0077】
ステップS1において、画像処理装置10は、1フレーム分の入力画像データを外部装置から読み込む。入力画像データは、入力画像用メモリM1に記憶される。ステップS2において、画像処理装置10は、入力画像データに含まれる一群の画素PXのうちの最初の計算対象の画素PXを設定する。たとえば、画像処理装置10は、入力画像データの最も左かつ最も上の画素PXを最初の計算対象に設定する。
【0078】
ステップS3において、距離算出部11Aは、計算対象の画素PXとモノセルとの間の距離、具体的には、計算対象の画素PXの特定位置SC(中心位置)と第1パネルWBのセルCEの所定位置(中心位置CN)との間の距離D1(
図6参照)を算出する。つまり、距離算出部11Aは、1つの計算対象の画素PXの特定位置とそれに関連する複数のセルCEのそれぞれの中心位置CNとの間の距離D1を算出する。したがって、距離算出部11Aは、複数のセルCEに関して複数の距離D1を算出する。
【0079】
このとき、第1データ算出部11Bは、距離D1が小さければ、駆動値の値(輝度に対応した値)を大きくし、距離D1が大きければ、駆動値(輝度に対応した値)を小さくするように、駆動値を算出する。
【0080】
ステップS4において、第1データ算出部(モノセル駆動値算出部)11Bは、複数のモノセル(第1パネルWBの各セルCE)それぞれに関して、距離D1に応じたモノセルの駆動値(輝度に対応した値)を算出する。算出された複数の駆動値は、モノセル計算用メモリM2に記憶される。
【0081】
ステップS5において、第1データ算出部(モノセル駆動値算出部)11Bは、複数のモノセルのそれぞれについて、次の(1)と(2)とを比較する。
【0082】
(1)モノセル計算用メモリM2に保存されている、以前の計算対象の画素PXの特定位置SCと特定の1つのモノセル(第1パネルWBのセルCE)の所定位置(中心位置CN)との間の距離D1に応じた駆動値(輝度に対応)
【0083】
(2)今回の計算対象の画素PXの特定位置SCとその特定の1つのモノセル(第1パネルWBのセルCE)の所定位置(中心位置CN)との間の距離D1に応じた駆動値(輝度に対応)
それにより、第1データ算出部(モノセル駆動値算出部)11Bは、複数のモノセルそれぞれについて、前述の(1)と(2)との比較の結果、大きい方の駆動値(輝度に対応)を選択する。選択された駆動値は、モノセル計算用メモリM2に上書きれる。
【0084】
ステップS6において、画像処理装置10は、入力画像データに含まれる全ての画素PXについてのステップS3~S5における処理が終了したか否かを判定する。ステップS6において、入力画像データに含まれる全ての画素PXについてのステップS3~S5における処理が終了したと判定されない場合がある。この場合、画像処理装置10は、ステップS7において、入力画像データの計算対象の画素PXを次の画素PXに変更し、ステップS3~S6を繰り返す。たとえば、画像処理装置10は、ステップS7において、現在計算対象として設定されている画素PXの一つ右の画素PXを、新たな計算対象の画素PXとして設定する。現在計算対象として設定されている画素PXが右端の画素PXであった場合は、画像処理装置10は、入力画像データの一つ下の行の左端の画素PXを、新たな計算対象の画素PXとして設定する。
【0085】
一方、ステップS6において、入力画像データに含まれる全ての画素PXについてのステップS3~S5における計算が終了したと判定される場合がある。たとえば、現在計算対象として設定されている画素PXが入力画像データの最も右かつ最も下の画素PXである場合である。この場合、ステップS8において、第1データ算出部(モノセル駆動値算出部)11Bは、第1パネル(モノセル)WBの駆動値(輝度に対応した値)を決定する。
【0086】
このとき、第1パネルデータ算出部(モノセル駆動値算出部)11Bは、モノセル計算用メモリM2に記憶されていた複数のセルCEの駆動値に、必要な係数を乗算したりオフセットを加えたりすることにより、第1パネルWBのセルCE全体の駆動値を調整する。そして、第1パネルデータ算出部(モノセル駆動値算出部)11Bは、調整された駆動値を、モノセル駆動値用メモリM3に記憶させる。
【0087】
ステップS10-2において、第1パネル駆動部(モノセル駆動部)20は、モノセル、すなわち第1パネルWBを前述のモノセル駆動値用メモリM3に記憶された駆動値を用いて駆動する。
【0088】
また、ステップS9において、第2データ生成部12は、モノセル駆動値用メモリM3に記憶されたセルCEの駆動値を用いて、バックライトBLからセルCEを通過して画素PXに到達する光の輝度の分布を算出する。つまり、第2データ生成部12は、メインセル、すなわち第2パネルCLの位置での輝度分布を計算する。
【0089】
その後、ステップS10において、第2データ生成部12は、前述の算出された輝度分布を用いて、セルCEによってバックライトBLから画素PXへ進む光を制限したことに起因した輝度の不足を補うように、入力画像データを補正する。第2データ生成部12は、補正された入力画像データ(輝度に対応)をメインセル駆動値用メモリM4に記憶させる。
【0090】
その後、ステップS10-1において、第2パネル駆動部(メインセル駆動部)30は、メインセル駆動値用メモリM4に記憶された、補正された入力画像データを用いて、メインセル、すなわち第2パネルCLを駆動する。
【0091】
ステップS2~S7においては、画像処理装置10は、入力画像データの中から計算対象の画素PXを設定し、その計算対象の画素PXを順次変更しながら、セルCEの駆動値を算出する。しかしながら、全てのセルCEの中から計算対象のセルCEを設定し、その計算対象のセルCEを順次変更しながら、セルCEの駆動値を算出してもよい。このことは、以降の実施の形態においても、同様である。
【0092】
距離算出部11Aは、すべてのセルCEに関してステップS3~S5の処理を行うことが好ましい。しかしながら、そのようにすると計算コストが大きくなる。計算対象の画素PXから遠い位置のセルCEに対して、計算対象の画素PXが影響を与える可能性は低い。したがって、距離算出部11Aは、たとえば、計算対象の画素PXから所定の範囲内のセルCEに対して、ステップS3~S5の処理を行ってもよい。これは、以降の他の実施の形態においても同様である。
【0093】
図8に示したフローチャートでは、本実施の形態の画像処理装置10は、駆動値の計算の基準を画素PXとし、計算対象の画素PXを順次変更しながら計算対象の画素PXとモノセルとの間の距離を算出する。しかしながら、画像処理装置10は、駆動値の計算の基準をモノセル(セルCE)とし、計算対象のモノセルを順次変更しながら計算対象の画素PXとモノセルとの間の距離を算出してもよい。これは、以降の他の実施の形態においても同様である。
【0094】
図9は、本実施の形態の画像処理装置10の第2の例の内部構成を具体的に示す図である。
【0095】
図7と
図9を比較すれば分かるように、第2の例の内部構成は、モノセルデータ計算用ラインメモリM2が、モノセルデータ計算用ラインメモリM2-1およびM2-2からなる点において、第1の例の内部構成と異なる。具体的には、ノセルデータ計算用メモリM2において、1フレームの入力画像データを構成する行列をなす複数の画素PXのうちの1つの行のみの駆動値(輝度に対応)が、モノセルデータ計算用ラインメモリM2-1およびM2-2のそれぞれに交互に記憶される。なお、上記のラインメモリの数(2個)は一例である。画像処理装置10は、3個以上のラインメモリを備え、それらを順次用いてもよい。
【0096】
これによれば、実施の形態1の画像処理装置10よりも小さい容量のメモリで、実施の形態1の画像処理装置10によって得られる効果と同一の効果を得ることができる。
【0097】
図10は、本実施の形態の画像処理装置10の第2の例が実行する処理を説明するためのフローチャート1である。
【0098】
ステップS11において、画像処理装置10は、1フレーム分の入力画像データを外部装置から読み込む。入力画像データは、入力画像用メモリM1に記憶される。
【0099】
ステップS12において、画像処理装置10は、モノセル(第1パネルWB)の計算対象のライン(行)と使用するラインメモリとを設定する。より具体的には、距離算出部11Aは、第1パネルWB(モノセル)の計算対象のライン(行)を設定する。たとえば、最初に第1パネルWB(モノセル)の最も上のラインを計算対象のラインに設定し、以降、順次、その下のラインを計算対象のラインに設定する。また、距離算出部11Aは、以降の計算に使用するモノセルデータ計算用ラインメモリM2-1およびM2-2のいずれか一方を設定する。このとき、2本のラインメモリが交互に用いられる。
【0100】
ステップS13において、画像処理装置10は、入力画像データのうちの計算対象範囲を設定する。計算対象範囲の設定の詳細は後述する。そして、画像処理装置10は、入力画像データのうちの計算対象範囲における最初の計算対象の画素PXを設定する。たとえば、画像処理装置10は、入力画像データのうちの計算対象範囲における最も左かつ最も上の画素PXを最初の計算対象に設定する。入力画像データの左上の画素PXから右方向に順に計算対象の画素PXを設定し、入力画像データの右端に達したら、入力画像データの1つ下のラインの左端の画素PXを計算対象の画素PXとする。
【0101】
実施の形態1のステップS2と異なる点は、本実施の形態のステップS13~S18の処理においては、入力画像データの全てではなく一部の画素PXを計算対象にしていることである。以下でより詳細に説明する。
【0102】
本実施の形態の画像処理装置10の第2の例の場合、ステップS13~S18の処理において、距離D1の算出においてデータが更新されるのは、第1パネル(モノセル)WBを構成する一群のセルCEの1ライン(行)分だけである。そこで、ステップS13~S18の処理は、その1ライン分のセルCEが距離D1を算出するために用いられる入力画像データの画素PX(すなわち、入力画像データのうちの計算対象範囲に含まれる画素PX)に対してのみ施される。その入力画像データのうちの計算対象範囲を設定するのが、ステップ13の処理である。たとえば、ステップ13において画像処理装置10は、ステップS12で決定された第1パネル(モノセル)WBの計算対象の1ラインに対してラインと垂直方向の距離が所定の範囲内にある入力画像データの複数のラインを、計算対象範囲に設定する。この処理によれば、ステップS12で決定された第1パネル(モノセル)WBの計算対象の1ラインが変われば、ステップS13で決定される入力画像データのうちの計算対象範囲も変わる。
【0103】
ステップS14において、距離算出部11Aは、計算対象の画素PXの特定位置SC(中心位置)と計算対象のラインに含まれる複数のモノセル(第1パネルWB)の所定位置(中心位置CN)との間の距離D1を算出する。つまり、距離算出部11Aは、1つの計算対象の画素PXと複数のセルCEのそれぞれとの間の距離D1を算出する。ステップS15において、第1データ算出部(モノセル駆動値算出部)11Bは、距離D1に応じたモノセル(第1パネルWBの各セルCE)の駆動値(輝度に対応する値)を算出する。
【0104】
ステップS16において、第1データ算出部(モノセル駆動値算出部)11Bは、複数のモノセルそれぞれについて、次の(1)と(2)とを比較する。
【0105】
(1)現在計算に使用しているモノセル計算用ラインメモリ(M2―1およびM2-2のいずれか一方)に保存されている、以前の計算対象の画素PXと特定の1つのモノセル(第1パネルWB)との間の距離D1に応じた駆動値(輝度に対応)
【0106】
(2)今回の計算対象の画素PXとその特定の1つのモノセル(第1パネルWB)との間の距離D1に応じた駆動値(輝度に対応)
それにより、第1データ算出部(モノセル駆動値算出部)11Bは、計算の対象となった複数のモノセルそれぞれについて、比較の結果、大きい方の駆動値(輝度に対応)を選択する。選択された駆動値が、現在計算に使用しているモノセルデータ計算用ラインメモリ(M2-1およびM2-2のいずれか一方)に上書きされる。
【0107】
次に、ステップS17において、画像処理装置10は、入力画像データのうちの計算対象範囲に含まれる全ての画素PXについてのステップS14~S16における処理が終了したか否かを判定する。ステップS17において、入力画像データのうちの計算対象範囲に含まれる全ての画素PXについてのステップS14~S16における処理が終了したと判定されない場合がある。この場合、ステップS18において、画像処理装置10は、入力画像データの計算対象の画素PXを次の計算対象の画素PXに変更した後、ステップS14~S17を繰り返す。
【0108】
たとえば、画像処理装置10は、ステップS17において、現在計算対象として設定されている画素PXの一つ右の画素PXを、新たな計算対象の画素PXとして設定する。現在計算対象として設定されている画素PXが右端の画素PXであった場合は、入力画像データの一つ下の行の左端の画素PXを、新たな計算対象の画素PXとして設定する。
【0109】
一方、ステップS17において、入力画像データのうちの計算対象範囲に含まれる全ての画素PXについてのステップS14~S16における処理が終了したと判定される場合がある。これは、モノセルの計算対象ラインに関する処理が終了し、計算対象ラインに含まれる各モノセルの駆動値が算出されたことを意味する。この場合、ステップS19において、第2データ生成部12は、モノセル(第1パネルWB)の全てのラインのセルCEの駆動値(輝度に対応)を決定したか否かを判定する。
【0110】
それにより、ステップS19において、モノセル(第1パネルWB)の全てのモノセル(第1パネルWB)の全てのラインのセルCEの駆動値(輝度に対応)が決定されたと判定されない場合がある。この場合、画像処理装置10は、ステップS20において、モノセル(第1パネルWB)の計算対象のラインを次の計算対象のラインに変更する。この場合、2本のラインメモリが交互に利用される。その後、ステップS21において、画像処理装置10は、次に使用するラインメモリの記憶情報を0にする、すなわち初期化し、ステップS13~ステップS19を繰り返す。
【0111】
図11は、本実施の形態の画像処理装置10の第2の例が実行する処理を説明するためのフローチャート2である。フローチャート2の処理は、
図10に示したフローチャート1の処理と同期してかつ並列して実行される。
【0112】
図11に示されるように、画像処理装置10は、ステップS31において、モノセル(第1パネルWB)の計算対象のライン(行)と使用するラインメモリとを設定する。この時、画像処理装置10は、フローチャート1のステップS12で設定されたモノセル(第1パネルWB)の計算対象のライン(行)と同じモノセルのラインを、フローチャート2における計算対象ラインとして設定する。また、画像処理装置10、ステップS12で設定された使用するラインメモリと同じラインメモリを、フローチャート2において使用するラインメモリとして設定する。
【0113】
ステップS32において、画像処理装置10は、フローチャート1の処理におけるモノセルの計算対象のラインの計算が終了したか否かを判定する。具体的には、画像処理装置10は、フローチャート1のステップS17の判定結果がYesになったか否かを判定する。ステップS32において、モノセル(第1パネルWB)を構成するセルCEの行列の計算対象のラインの計算が終了していなければ(具体的には、画像処理装置10は、フローチャート1のステップS17の判定結果がYesになっていなければ)、画像処理装置10は、ステップS32の処理を繰り返す。
【0114】
一方、ステップS32において、フローチャート1の処理におけるモノセルの計算対象のラインの計算が終了している場合(具体的には、フローチャート1のステップS17の判定がYesになった場合)がある。この場合、ステップS33において、第1データ算出部(モノセル駆動値算出部)11Bは、第1データ算出部(モノセル駆動値算出部)11Bは、第1パネル(モノセル)WBの計算対象のラインの駆動値(輝度に対応した値)を決定する。このとき、第1パネルデータ算出部(モノセル駆動値算出部)11Bは、モノセル計算用ラインメモリに記憶されていた複数のセルCEの駆動値に、必要な係数を乗算したりオフセットを加えたりする。それにより、第1データ算出部(モノセル駆動値算出部)11Bは、第1パネル(モノセル)WBの計算対象のラインの駆動値を調整する。そして、第1パネルデータ算出部(モノセル駆動値算出部)11Bは、調整された駆動値を、モノセル駆動値用メモリM3の、計算対象のラインに対応する領域に記憶させる。
【0115】
画像処理装置10は、ステップS34において、計算対象のラインのモノセル(第1パネルWB)を構成するセルCEの行列の全ラインの計算を終えたか否かを判定する。
【0116】
ステップS34において、計算対象のラインのモノセル(第1パネルWBのCE)の全ラインの処理を終えていない場合がある。この場合、ステップS35において、画像処理装置10は、モノセル(第1パネルWB)を構成するセルCEの行列の計算対象のラインを次のラインに変更する。一方、ステップS34において、モノセル(第1パネルWB)を構成するセルCEの行列の計算対象の全ラインの計算を終えていれば、画像処理装置10は、この処理を終了する。
【0117】
図12は、本実施の形態の画像処理装置10の第2の例が実行する処理を説明するためのフローチャート3である。画像処理装置10は、フローチャート3の処理を、たとえば、
図10に示したフローチャート1の処理および
図11に示したフローチャート2の処理が完了して、すべてのモノセルの駆動値が決定された後に実行する。
【0118】
第2データ生成部12は、ステップS41において、ステップ9の処理と同様に、メインセル(第2パネルCLの画素PX)上の輝度分布を計算する。それとともに、第1パネル駆動部(モノセル駆動部)20は、ステップS44において、モノセル(第1パネルWB)を前述のモノセル駆動値用メモリM3に記憶された駆動値を用いて駆動する。
【0119】
第2データ生成部12は、ステップS42において、ステップS10の処理と同様に、前述の算出された輝度分布を用いて外部装置から読み込んだ入力画像データを補正し、補正された入力画像データをメインセル駆動値用メモリM4に記憶させる。その後、第2パネル駆動部(メインセル駆動部)30は、ステップS43において、メインセル駆動値用メモリM4に記憶された、補正された入力画像データの階調値を用いて、メインセル(第2パネルCL)を駆動する。
【0120】
上記の処理によれば、フローチャート2の処理において第1データ算出部(モノセル駆動値算出部)11Bがモノセルのn番目のラインに対してステップS33の処理を行っているとき、フローチャート1の処理において、画像処理装置10は、モノセルの次の計算対象ライン(n+1番目のライン)を決定し(S20)する。それにより、画像処理装置10は、その計算対象ラインに関する処理を実行する。このように処理することにより、フローチャート1の処理とフローチャート2の処理は、並列して実行される。
【0121】
また、画像処理装置10は、フローチャート3の処理に関し、ステップS41およびステップS42の処理に必要な所定量のモノセルの駆動値がフローチャート1および2の処理により決定された部分から、順次処理を行ってもよい。そのようにすることで、フローチャート3の処理は、フローチャート1およびフローチャート2の処理と並列して実行される。
【0122】
上記のように、画像処理装置10は、1フレーム分のモノセルの計算値を保存するモノセルデータ計算用メモリM2(
図7)を用いてモノセルデータを算出することができるし、モノセルデータ計算用ラインメモリM2-1およびM2-2(
図9)を用いてモノセルデータを算出することもできる。以降の他の実施の形態においても同様である。
【0123】
図13は、実施の形態1の表示装置1が表示する入力画像データIMの変化に対する第1パネルWBのセルCEの開口率の変化の様子を示す図である。
【0124】
図13(a)は、入力画像データIMの一例を示す。入力画像データIMは、低階調(たとえば階調値0)の背景の中に、高輝度領域BA(たとえば階調値255の複数の画素を含む領域)が存在する。また、高輝度領域BAは、時間の経過にしたがって右方向に移動するものとする。
【0125】
図13(b)~
図13(e)は、入力画像データIMに対応する第1パネルWBの複数のセルCEの開口率を、グレースケールの濃淡で示した図である。グレースケースの濃淡は、濃いセルCEほど開口率が小さく、淡いセルCEほど開口率が大きいことを意味している。また、
図13(a)~
図13(e)においては、高輝度領域BAもセルCEに重ねて描かれている。ただし、
図13(a)~
図13(e)においては、高輝度領域BAは、見やすくするため。黒色で描かれている。
図13(b)から
図13(e)へと時間が経過するにつれて、高輝度領域BAの位置が右方向に移動している。
図13(b)~
図13(e)に示されるように、本実施の形態の画像処理装置10によれば、高輝度領域BAが移動するにしたがって、複数のセルCEの開口率は、急激に変化することなく、徐々に変化する。
【0126】
図13(b)において、高輝度領域BAは、セルCE2内に位置する。これに従い、セルCE2の開口率が最も高い。また、
図13(b)においては、高輝度領域BAは、セルCE2内の左側に位置する。そのため、
図13(b)においては、セルCE2の水平方向に隣接するセルCE1およびCE3のうち、高輝度領域BAに相対的に近いCE1の方が、高輝度領域BAから相対的に遠いセルCE3よりも、開口率が高い。
図13(c)においては、高輝度領域BAは、セルCE2内の右側に位置する。そのため、
図13(c)においては、セルCE2の水平方向において隣接するセルCE1およびCE3のうち、高輝度領域BAに想定的に近いセルCE3の方が、高輝度領域BAから相対的に遠いセルCE1よりも開口率が高い。また、これらのセルCE1およびCE3の上下方向において隣接するセルCEも、セルCE1およびCE3の開口率の変化と同様の開口率の変化をしている。
図13(b)および
図13(c)から、高輝度領域BAはセルCE2内に位置する場合、セルCE2内での高輝度領域BAの位置の変化によっても、複数のセルCEの開口率が変化することが分かる。
【0127】
図13(d)において、高輝度領域BAは、セルCE2およびセルCE3の境界線に重なる位置に移動している。
図13(d)においては、セルCE2およびCE3は同じ開口率を有するように制御される。
図13(e)において、高輝度領域BAは、さらに移動し、セルCE3の中央に位置する。
図13(e)においては、セルCE3の開口率が最も高くなり、セルCE3の水平方向に隣接するセルCE2およびCE4は同じ開口率を有するように制御される。
【0128】
図13から分かるように、本実施の形態の画像処理装置10によれば、入力画像データIM中の高輝度領域BAがあるセルCE内で移動する場合および複数のセルCEを横切って移動する場合のいずれにおいても、各セルCEの開口率が連続的に変化する。そのため、フリッカを抑えることができる。
【0129】
図14は、比較例の表示装置が表示する入力画像データIMの変化に対する第1パネルWBのセルCEの開口率の変化の様子を示す図である。なお、表示する入力画像データIMは、
図13(a)に示した入力画像データIMと同じである。
【0130】
図14(a)および
図14(b)に示されるように、比較例の画像処理装置10によれば、入力画像データの高輝度領域BAがセルCE2内で移動しても、セルCE2の周辺にあるセルCEの輝度は、低い状態のまま変化しない。また、
図14(c)において、高輝度領域BAは、セルCE2およびセルCE3の境界線に重なる位置に移動しており、セルCE2およびCE3は同じ開口率を有するように制御される。したがって、
図14(b)から
図14(c)へと状態が変化する際、セルCE3の開口率は低い状態から高い状態へと急激に変化する。また、
図14(d)において、高輝度領域BAは、さらに移動し、セルCE3の中央に位置する。
図14(d)においては、セルCE3の開口率は高く、それ以外のセルの開口率は低い状態になる。したがって、
図14(c)から
図14(d)へと状態が変化する際、セルCE2の開口率は高い状態から低い状態へと急激に変化する。
【0131】
図14から分かるように、比較例の表示装置においては、入力画像データIM中の高輝度領域BAがあるセルCE内で移動する場合は、各セルCEの開口率は変化しない。一方、複数のセルCEを横切って移動する場合は、各セルCEの開口率が急激に変化する。そのため、フリッカが発生してしまう。比較例に対してフリッカを目立たなくするためには、たとえば、高輝度領域BAが位置するセルCEを中心としたある程度広い範囲のセルCEの開口率を上げることが考えられる。しかしながら、そのようにすると、第1パネルWBおよび第2パネルCLからなる2枚のパネルを重ね合わせた意味(コントラストをより高くするなど)が失われてしまう。これに対して本実施の形態の画像処理装置10の処理によれば、高輝度領域BAが位置するセルCEを中心とした狭い範囲のみにおいてセルCEの開口率を増加させるだけで、また、高輝度領域BAが位置するセルCEの周囲のセルCEの開口率を上げる量が少なくても、フリッカを低減できる。
【0132】
図15は、本実施の形態の表示装置1が表示する入力画像データIMおよび第1パネルWBのセルCEの開口率の一例を示す図である。
図15は、1つのセルCE内の領域に複数の高輝度領域BAが存在する状況を示している。
【0133】
図15に示されるように、本実施の形態の画像処理装置10においては、入力画像データIMに含まれる複数の高輝度領域BAが中心位置のセルCE内の領域に存在すると、複数の高輝度領域BAの影響を受けるように、周辺位置のセルCEの輝度が生成される。具体的には、高輝度領域BAの一方は中心位置のセルCE内の右上に位置し、もう一方は左下に位置する。これらの高輝度領域BAに影響を受けるため、中心位置のセルCEから右斜め上方向に位置するセルCEおよび左斜め下方向に位置するセルCEの開口率が高くなっている。この画像処理装置10の表示は、中心セルCEの周辺の画像の輝度より高い輝度の2つの高輝度領域BAが存在する場合、2つの高輝度領域BAそれぞれの位置に応じて周辺セルCEの輝度が調整される点が、後述される実施の形態2の画像処理装置10の表示と異なっている。
【0134】
上述の通り、本実施の形態の画像処理装置10によれば、入力画像データIM中の高輝度領域BAが1つのセルCEの内側の領域または複数のセルCEを横切って移動しても、各セルCEの開口率が連続的に変化する。そのため、フリッカを抑えることができる。各セルCEの開口率を連続的に変化させる別の手段として、時間方向のフィルタ処理を行うことが考えられる。しかしながら、本実施の形態の画像処理装置10における処理は、入力画像データの1フレームごとに完結する処理であり、入力画像データの連続する複数のフレームを必要とする処理ではない。したがって、本実施の形態の画像処理装置10によれば、処理に必要なメモリ等のリソースを低減でき、かつ、処理に起因した遅延時間を短くすることができる。
【0135】
(実施の形態2)
図16~
図29を用いて、実施の形態2の画像処理装置10を説明する。なお、下記において実施の形態の画像処理装置10と同様である点についての説明は繰り返さない。本実施の形態の画像処理装置10は、以下の点で、実施の形態1の画像処理装置10と異なる。
【0136】
図16は、本実施の形態の表示装置1の全体構成を示すブロック図である。
【0137】
図16に示されるように、第1データ生成部11は、代表値設定部11C、輝度重心算出部11D、フィルタ算出部11E、およびフィルタ処理部11Fを備えている。
【0138】
代表値設定部11Cは、複数の第2セルCEのそれぞれに対向する位置の複数の第2画素PXの入力輝度に基づいて、複数の第2セルのそれぞれの代表値を設定する。具体的には、代表値設定部11Cは、1つのセルCEに対向する領域内の複数の画素PXの輝度値のうち、たとえば、最大値をセルCEの代表値として用いる。また、輝度重心算出部11Dは、複数の第2画素PXの入力輝度および位置に基づいて、複数の第2セルCEのそれぞれの輝度重心を算出する。
【0139】
フィルタ算出部11Eは、複数の第2セルCEのそれぞれについて、フィルタ係数の算出を行う。つまり、フィルタ算出部11Eは、複数の第2セルCEの1つを中心セルCEとした場合の、中心セルCEおよび、第1セルCEを含むように中心セルCEを取り囲む複数、たとえば8つの周辺セルCE、すなわち合計9個のセルCEについての2次元フィルタのフィルタ係数を、中心セルCEの輝度重心に基づいて算出する。この場合、フィルタ算出部11Eは、輝度重心の算出結果に基づいて、行列を構成するフィルタ係数に偏りを設ける。偏りを設ける前のフィルタは、たとえば、ガウシアンフィルタまたは平滑化フィルタ等のローパスフィルタである。
【0140】
フィルタ処理部11Fは、複数の第2セルCEのそれぞれについて、第2セルCEを中心セルとした複数のセルCEの代表値に対して、フィルタ算出部11Eで算出したフィルタ係数を用いてフィルタ処理を施す。それにより、第1セルCEについての第1データ、すなわちセルCEの駆動値が生成される。つまり、フィルタ処理部11Fは、第1パネルWBを構成する複数のセルCEの代表値にフィルタ処理をすることで、複数のセルCEの代表値にぼかし処理を施す。なお、実施の形態1と同様に、あるセルCEは、第1セルCEにも第2セルCEにもなり得る。したがって、代表値設定部11C、輝度重心算出部11D、フィルタ算出部11E、およびフィルタ処理部11Fが実行する処理は、結果としては全てのセルCEに対して行われる。
【0141】
この画像処理装置10によっても、あるセルCEの内側の領域において、そのあるセルCEのサイズより小さくかつ周辺の画像よりも高い輝度の画像が移動する場合に、そのあるセルを取り囲む周辺のセルCEの実際の輝度を調整する制御を行うことができる。それにより、の画像処理装置10は、あるセルCEの内側の領域において、そのあるセルCEのサイズより小さくかつ周辺の画像よりも高い輝度の画像IMが移動する場合に、フリッカが発生することを抑制することができる。
【0142】
図17は、本実施の形態の画像処理装置10の一例の内部構成を具体的に示す図である。
【0143】
図17に示されるように、本実施の形態の画像処理装置10は、輝度算出用メモリM5およびモノセル代表値用メモリM40を備えている点において、実施の形態1の画像処理装置10と異なる。また、本実施の形態の画像処理装置10は、距離算出部11Aおよび第1データ算出部11Bの代わりに、代表値設定部11C、輝度重心算出部11D、フィルタ算出部11E、およびフィルタ処理部11Fを備えている。この点において、本実施の形態の画像処理装置10は、実施の形態1の画像処理装置10と異なる。
【0144】
入力画像用メモリM1は、1フレーム分の入力画像データを保存するメモリである。モノセル代表値用メモリM40は、1フレーム分のモノセル、すなわち第1パネルWBのセルCEに対向する複数の画素PXの輝度の代表値(最大値)を保存するメモリである。モノセル駆動値用メモリM3は、1フレーム分の複数の画素PXについて算出された複数のモノセル駆動値を保存するメモリである。
【0145】
輝度重心算出用メモリM5は、1フレーム分の各セルCEのそれぞれの輝度重心算出用メモリである。輝度重心算出用メモリM5は、1つのセルCEごとに、後述される式(3)~(7)の5つの値を保存する。メインセル駆動値用メモリM4は、1フレーム分の算出されたメインセル駆動値、つまり、第2パネルCLの各画素PXの駆動値(輝度)を保存するメモリである。
【0146】
図18は、比較例の表示装置1のモノセル(第1パネルWBのセルCE)の2次元フィルタFを説明するための図である。
【0147】
図18に示されるように、本実施の形態の画像処理装置10で使用される2次元フィルタは、たとえば、7×7のBLURフィルタ(偏心なし)である。2次元フィルタFは、その中心位置に設けられた1つの中心セルCEと、1つの中心セルCEを取り囲むように設けられた複数、たとえば、48個の周辺セルCEと、に対応するフィルタ係数を備えている。1つの中心セルCEおよび48個の周辺セルCEは、縦方向V(Y方向)と横方向H(X方向)とのそれぞれに並ぶ行列の形式で配置されている。
【0148】
図19は、本実施の形態の表示装置1のモノセル(第1パネルWB)の中心セルCEの中心位置CNと輝度重心LCとの関係を説明するための図である。
図19に示されるように、中心セルCEの中心位置CNと中心セルCE内の輝度重心LCとの間の距離は、D2である。
【0149】
フィルタ算出部11Eは、中心セルCEの代表位置RPを基準として、輝度重心LCの側に存在する複数の周辺セルCEに関しては、ローパスフィルタのフィルタ係数を大きくする補正を行うことにより、2次元フィルタのフィルタ係数を算出する。なお、代表位置RPは、たとえば、セルCEの中心位置、具体的には、長方形の中心セルCEの対角線の交点の位置、すなわち中心位置CNである。
【0150】
一方、フィルタ算出部11Eは、中心セルCEの代表位置RPを基準として、輝度重心LCの側とは逆の側に存在する複数の周辺セルCEに関しては、ローパスフィルタのフィルタ係数を小さくする補正を行う。それにより、補正後の2次元フィルタのフィルタ係数が算出される。
【0151】
具体的には、フィルタ算出部11Eは、中心セルCEの代表位置RPと輝度重心LCとの間の距離D2が大きいほど、ローパスフィルタの係数の補正による変化量が大きくなるように、ローパスフィルタの係数を補正する。それにより、2次元フィルタの係数が算出される。
【0152】
図20は、本実施の形態の表示装置1のモノセル(第1パネルWB)のフィルタ処理を説明するための図である。
図20は、左上周辺セル行列UPL、中央上周辺セル列UPM、右上周辺セル行列UPR、左中央周辺セル行LEM、中央セルCE、右中央周辺セル行RIM、左下周辺セル行列LOL、中央下周辺セル列LOM、および右下周辺セル行列LORを示している。
【0153】
そのため、2次元フィルタのフィルタ係数は、次のようなフィルタ係数の補正率Rh+,Rv+,Rh-,Rv-を用いて補正される。なお、H方向およびV方向によって特定される座標系に関しては、X方向の中心位置よりも右側の座標が正の符号で表され、Y方向の中心位置よりも下側の座標が正の符号で表される。
【0154】
補正率Rh+は、X方向において中央より右側(正)に位置するフィルタ係数を補正するための値である。補正率Rh-は、X方向において中央より左側(負)に位置するフィルタ係数を補正するための値である。補正率Rv+は、Y方向において中央より下側(正)に位置するフィルタ係数を補正するための値である。補正率Rv-は、Y方向において中央より上側(負)に位置するフィルタ係数を補正するための値である。
【0155】
補正率Rh+,Rv+,Rh-,Rv-のそれぞれは、次の算出式によって算出される。
【0156】
(算出式) 補正率Rh+,Rv+,Rh-,Rv-=(符号)定数C×距離D2
なお、Cは、予め定められた値である。距離D2は、上述したように、中心セルCEの中心位置CNと中心セルCE内の輝度重心LCとの間の距離である。
【0157】
したがって、中心セルCEの中心位置CNと輝度重心LCと間の距離D2が大きいほど、フィルタ係数の補正率の絶対値が大きくなり、中心セルCEの中心位置CNと輝度重心LCと間の距離D2が小さいほど、フィルタ係数の補正率の絶対値が小さくなる。また、中心セルCEのフィルタ係数は、周辺セルCEの輝度重心の位置に影響されない。
【0158】
フィルタ算出部11Eは、補正率の算出式における符号を、中心セルCEの輝度重心LCの位置と中心セルCEの中心位置CNとの関係に応じて、以下のように決定する。
【0159】
フィルタ算出部11Eは、中心セルCEの輝度重心LCが、X方向において中心セルCEの中心位置CNより正の方向に位置する場合、Rh+の符号を+にし、Rh-の符号を-にする。フィルタ算出部11Eは、中心セルCEの輝度重心LCが、X方向において中心セルCEの中心位置CNより負の方向に位置する場合、Rh+の符号を-にし、Rh-の符号を+にする。
【0160】
フィルタ算出部11Eは、中心セルCEの輝度重心LCが、Y方向において中心セルCEの中心位置CNより正の方向に位置する場合、Rv+の符号を+にし、Rv-の符号を-にする。フィルタ算出部11Eは、中心セルCEの輝度重心LCが、Y方向において中心セルCEの中心位置CNより負の方向に位置する場合、Rv+の符号を-にし、Rv-の符号を+にする。
【0161】
左上周辺セル行列UPLにおいては、補正後のフィルタ係数は、補正前のフィルタ係数にRh-およびRv-を加算することにより算出される。中央上周辺セル列UPMにおいては、補正後のフィルタ係数は、補正前のフィルタ係数にRv-を加算することにより算出される。右上周辺セル行列UPRにおいては、補正後のフィルタ係数は、補正前のフィルタ係数にRh+およびRv-を加算することにより算出される。
【0162】
左中央周辺セル行LEMにおいては、補正前のフィルタ係数にRh-を加算することにより算出される。右中央周辺セル行RIMにおいては、補正前のフィルタ係数にRh+を加算することにより算出される。
【0163】
左下周辺セル行列LOLにおいては、補正後のフィルタ係数は、補正前のフィルタ係数にRh-およびRv+を加算することにより算出される。中央下周辺セル列LOMにおいては、補正後のフィルタ係数は、補正前のフィルタ係数にRv+を加算することにより算出される。右下周辺セル行列LORにおいては、補正後のフィルタ係数は、補正前のフィルタ係数にRh+およびRv+を加算することにより算出される。
【0164】
一方、中央セルCEにおいては、フィルタ係数は、補正されない。
【0165】
上述のフィルタ処理は、複数のセルCEごとに実行される。たとえば、セルCEが16×9=144個ある場合、「補正後7×7BLURフィルタ」を用いたフィルタの算出およびフィルタ処理が144回行われる。
【0166】
図21は、本実施の形態の表示装置1の、たとえば、5行5列の2次元フィルタFの中心セルCE、周辺セルCE、第1セルおよび第2セルの関係を説明するための図である。
図21は、2次元フィルタをセルCEと対応付けて示している。
【0167】
図21に示される2次元フィルタFにおいて、中心に位置するセルが中心セルである。中心セル以外の24個のセルは、周辺セルである。また、
図21は、中心セルの一つ左上のセルが第1セルである場合を示している。第1セル以外の24個のセルは、第2セルである。このように、2次元フィルタFにおいて各セルは、中心セルおよび周辺セルのいずれであるかについての属性と、第1セルおよび第2セルのいずれであるのかについての属性との、2つの属性を有する。
【0168】
また、
図21に示されるように、2次元フィルタFは、2次元フィルタFの右上から左下にかけて引かれた対角線Kを境界線として、対角線Kの左上側に位置する領域Lと、対角線Kの右下側に位置する領域Sとを含んでいる。
【0169】
ところで、2次元フィルタFの中心セルCEの輝度重心LCの位置は、中心セルCEの中心位置CN(代表位置RP)より右斜め下方向に位置する。したがって、各補正率は、Rh+>0、Rv+>0、Rh-<0およびRv-<0となる。これらの補正率により、2次元フィルタFは概ね、左上側、すなわち領域Lに位置するフィルタ係数はフィルタ係数が小さくなるように補正され、右下側、すなわち領域Sに位置するフィルタ係数はフィルタ係数が大きくなるように補正される。
【0170】
つまり、
図21に示される2次元フィルタFにおいては、中心セルCEの輝度重心LCが中心セルCEの中心位置CNからずれた側と反対側の領域Lのフィルタ係数を小さくし、中心セルCEの輝度重心LCが中心セルCEの中心位置CNからずれた側の領域Sのフィルタ係数を大きくする。
【0171】
図22は、本実施の形態の表示装置1の画像処理装置10で用いられる2次元フィルタFの一例としてのローパスフィルタの補正前のフィルタ係数の一例を示す図である。この補正前の5×5の2次元フィルタFは、ローパスフィルタの一例のガウシアンフィルタである。また、この補正前の5×5の2次元フィルタFは、全てのフィルタ係数を加算すると1になるように設計されている。
【0172】
図22に示されるように、2次元フィルタFは、左右対称かつ上下対称のフィルタ係数を有している。また、2次元フィルタFにおいては、フィルタ係数は、中心セルCEの値が最も大きく、中心セルCEから外側に向かうにつれて、小さくなる。
【0173】
図23は、本実施の形態の表示装置1の画像処理装置10で用いられる輝度重心LCの座標の一例を示す図である。
【0174】
図23に示されるように、輝度重心LCの座標は、たとえば、X軸方向、つまりH方向において、2.5であり、Y軸方向、つまりV方向において、2であるものとする。
【0175】
n個の画素PXが含まれる領域があり、i番目の画素PXのx座標をxiとし、i番目の画素PXのy座標をyiとし、i番目の画素PXの輝度(階調値)をGiとする。また、輝度重心のx座標をcxとし、輝度重心のy座標をcyとすると、cxおよびcyは以下の式(1)および(2)によって算出される。
【0176】
【数1】
式(1)および(2)の分子と分母を個別の式で表すと以下のとおりである。
【0177】
【数2】
上述の式(3)、(4)、(5)、(6)、および(7)を用いて、輝度重心LCが算出される。
【0178】
図24は、本実施の形態の表示装置1の画像処理装置10で用いられる演算の定数Cの一例を示す図である。
【0179】
図24に示されるように、定数Cは、0.0005であるものとする。
【0180】
図25は、本実施の形態の表示装置1の画像処理装置10で用いられるフィルタ補正係数の補正率の一例を示す図である。これらの補正率は、
図23に示される輝度重心位置および
図24に示した定数Cを用いて算出された値である。
図25に示されるように、フィルタ係数の各補正率は、Rh+>0、Rv+>0、Rh-<0およびRv-<0となる。
【0181】
図26は、本実施の形態の表示装置1の画像処理装置10で用いられる2次元フィルタFの補正後のフィルタ係数の一例を示す図である。
【0182】
図26に示される補正後のフィルタ係数と
図22に示される補正前のフィルタ係数とを対比すると、中心セルCEのフィルタ係数は変化していないが、複数の周辺セルCEのそれぞれは、補正率に応じて変化していることが分かる。具体的には、
図26の補正後のフィルタにおいては、
図22の補正前のフィルタと比較すると、行列の右下のフィルタ係数が大きくなっており、行列の左上のフィルタ係数が小さくなっている。
【0183】
図27は、本実施の形態の画像処理装置10の一例が実行する処理を説明するためのフローチャートである。
【0184】
ステップS51において、画像処理装置10は、1フレームの入力画像データを外部装置から読み込む。ステップS52において、画像処理装置10は、入力画像データのうちの最初の計算対象の画素PXを設定する。たとえば、画像処理装置10は、入力画像データの最も左かつ最も上の画素PXを最初の計算対象に設定する。ステップS53において、代表値設定部11Cは、計算対象の画素PXを領域内に含むモノセル(セルCE)の前回までの暫定代表値と、計算対象の画素PXの階調値とを比較する。代表値設定部11Cは、計算対象の画素PXを領域内に含むモノセル(セルCE)の前回までの暫定代表値より計算対象の画素PXの階調値が大きい場合、計算対象の画素PXの階調値を当該モノセルの新たな暫定代表値としてモノセル代表値メモリM40に記憶する。なお、1フレームの入力画像データに含まれる全ての画素PXに対してステップS53の処理を行うと、各モノセルについて、そのモノセルの領域に含まれる画素PXの中の最大の階調値が代表値に選択されることになる。
【0185】
ステップS54において、輝度重心算出部11Dは、輝度重心LCを算出するための計算をする。より具体的には、輝度重心算出部11Dは、計算対象の画素PXについて、上述の式(3)~(5)に関する値を算出する。それにより、輝度重心算出部11Dは、輝度重心算出用メモリM5に保存されている、各モノセルに関するctx、ctyおよびcbx(=cby)の値に上述の式(3)~(5)に関する値をそれぞれ加算する。なお、1フレームの入力画像データに含まれる全ての画素PXに対してステップS54の処理を行うと、各モノセルについて、ctx、ctyおよびcbx(=cby)の値が算出される。
【0186】
ステップS55において、画像処理装置10は、入力画像データに含まれる全ての画素PXについてのステップS53およびS54における計算が終了したか否かを判定する。
【0187】
ステップS55において、入力画像データに含まれる全ての画素PXについてのステップS53およびS54における計算が終了したと判定されない場合がある。この場合、画像処理装置10は、ステップS56において、入力画像データの計算対象の画素PXを次の画素PXに変更し、ステップS53~S55を繰り返す。
【0188】
一方、ステップS55において、入力画像データに含まれる全ての画素PXについてのステップS53およびS54における計算が終了したと判定されれば、ステップS57において、輝度重心算出部11Dは、輝度重心LCを算出する。輝度重心LCの算出方法は、上述のとおりである。つまり、式(6)および式(7)の計算を行うことで、輝度重心LCが算出される。輝度重心算出部11Dは、算出した輝度重心LCの値を輝度重心算出用メモリM5に記憶する。
【0189】
次に、ステップS58において、フィルタ算出部11Eは、輝度重心LCの値を用いて、2次元フィルタFのフィルタ係数の補正率を算出し、算出された補正率を用いて2次元フィルタFのフィルタ係数を補正する。その後、ステップS59において、フィルタ処理部11Fは、各モノセル(セルCE)に関して、補正された2次元フィルタのフィルタ係数を用いて、フィルタ処理を施す。
【0190】
図28は、本実施の形態の表示装置1が表示する入力画像データIMの変化に対する第1パネルWBのセルCEの開口率の変化の様子を示す図である。なお、入力画像データIMは
図13(a)に示されるものと同一であるため、図示を省略している。
図13(a)に示されるように、入力画像データIMは、低階調(たとえば階調値0)の背景の中に、高輝度領域BA(たとえば階調値255の複数の画素を含む領域)が存在する。また、高輝度領域BAは、時間の経過にしたがって右方向に移動するものとする。
【0191】
図28(a)~
図28(d)は、入力画像データIMに対応する第1パネルWBの複数のセルCEの開口率を、グレースケールの濃淡で示した図である。
図28(a)~
図28(d)においては、グレースケースの濃淡は、濃いセルCEほど開口率が小さく、淡いセルCEほど開口率が大きいことを意味している。また、
図28(a)~
図28(d)においては、高輝度領域BAもセルCEに重ねて描かれている。
図28(a)~
図28(d)においては、高輝度領域BAは、見やすくするため、黒色で描かれている。
図28(a)から
図28(d)にかけて、高輝度領域BAの位置が右方向に移動している。
図28(a)~
図28(d)に示されるように、本実施の形態の画像処理装置10によれば、実施の形態1の画像処理装置10と同様に、高輝度領域BAがセルCE内の領域を移動すると、それに伴って、その周辺に位置するセルCEの開口率が変化する。また、高輝度領域BAが複数のセルCEを横切って移動する場合も、各セルCEの開口率が変化する。このように、本実施の形態の画像処理装置10によれば、入力画像データIM中の高輝度領域BAがあるセルCE内で移動する場合および複数のセルCEをまたいで移動する場合のいずれにおいても、各セルCEの開口率が連続的に変化する。そのため、フリッカを抑えることが可能である。
【0192】
図29は、本実施の形態の表示装置1が表示する入力画像データIMおよび第1パネルWBのセルCEの開口率の一例を示す図である。
図29は、1つのセルCE内の領域に複数の高輝度領域BAが存在する状況を示している。
【0193】
図29に示されるように、本実施の形態の画像処理装置10においては、複数の高輝度領域BAが1つのセルCE内の領域に存在しても、複数の高輝度領域BAの影響を受けずに、周辺のセルCEの輝度が決定される。本実施の形態の画像処理装置10においては、1つのセルCE内の領域に複数の高輝度領域BAが存在する場合、それら複数の高輝度領域BAの輝度の影響が反映された一つの輝度重心LCが算出される。
図29から分かるように、本実施の形態の画像処理装置10の表示は、輝度重心LCが中心セルCEの中心位置に存在する場合、実施の形態1の画像処理装置10の表示とは異なっている。
【0194】
(実施の形態3)
図30~
図32を用いて、実施の形態3の画像処理装置10を説明する。なお、下記において実施の形態1または2の画像処理装置10と同様である点についての説明は繰り返さない。本実施の形態の画像処理装置10は、以下の点で、実施の形態1または2の画像処理装置10と異なる。
【0195】
図30は、本実施の形態の表示装置1の全体構成を示すブロック図である。
【0196】
本実施の形態においては、バックライトBLは、それぞれの発光量を独立して調節可能な複数の発光領域LERを有している。すなわち、本実施の形態においては、画像処理装置10はローカルディミングを実行する。本実施の形態の画像処理装置10は、バックライトデータ生成部13および第1パネル輝度分布算出部14を備えている。また、本実施の形態の画像処理装置10は、第2データ生成部12に代えて第2データ生成部22を備えている。
【0197】
バックライトデータ生成部13は、入力画像データに基づいて、複数の発光領域LERのそれぞれの発光量を制御するためのバックライトデータを生成する。第1パネル輝度分布算出部14は、バックライトデータおよび第1データに基づいて、第1パネルWBから第2パネルCLへ向かう光についての第2パネルCLの位置での輝度分布(モノセル輝度分布データ)を算出する。第2データ生成部22は、入力画像データおよびモノセル輝度分布データに基づいて、第2データを生成する。
【0198】
本実施の形態の画像処理装置10は、実施の形態1および2の画像処理装置10と異なり、入力画像データに基づいて、複数の発光領域LERの出力を制御するためのバックライトデータを生成する。バックライトデータは、6×4の解像度に対応するデータである。バックライトデータ生成部13は、入力画像データから、バックライトBLを構成する複数の発光領域LERのそれぞれの出力の値(たとえば、点灯率=実際の輝度の値/輝度の最大値)を生成する。
【0199】
バックライトデータ生成部(バックライト輝度分布算出部)13は、一例としては、1つのある発光領域LERに対向する1つの仮想の領域内に含まれるいくつかの絵素PE、すなわち、いくつかのサブ画素の入力階調値の代表値を取得する。代表値は、たとえば、1つのある発光領域LERに対向する1つの仮想領域内に含まれるいくつかの絵素PEの入力階調値の最大値、平均値、中央値、または最大値の80%の値等である。
【0200】
その後、バックライトデータ生成部13は、その1つの仮想の領域内のいくつかの絵素PEの入力階調値の代表値が入力階調値の上限値で除算された値を、その1つのある発光領域LERの出力の値として生成する。入力階調値の上限値とは、入力階調値の最大値である。バックライトデータ生成部13は、このようにして得られた各発光領域LERの出力の値を、バックライトを制御するためのデータ(バックライトデータ)として出力する。バックライト駆動部40は、バックライトデータにしたがってバックライトBLの各発光領域LERの出力を制御する。
【0201】
第1パネル輝度分布算出部(モノセル輝度分布算出部)14は、バックライトデータおよび第1データを用いて、モノセル輝度分布データを算出する。モノセル輝度分布データは、バックライトBLの各発光領域LERから出射し、第1パネルの各セルCEを通過して第2パネルCLの各絵素PEへ向かう光についての、第2パネルCLの位置での輝度分布である。第1パネル輝度分布算出部14は、バックライトBLに含まれる発光領域LERから第1パネルWBに含まれるセルCEへ進む光の輝度の分布を算出するためのPSF(Point Spread Function)を用いてモノセル輝度分布データを算出してもよい。また、第1パネル輝度分布算出部14は、第1パネルWBに含まれるセルCEから第2パネルCLに含まれる絵素PEへ進む光の輝度の分布を算出するためのPSF(Point Spread Function)を用いてモノセル輝度分布データを算出してもよい。
【0202】
第2データ生成部(メインセル駆動値算出部)22は、入力画像データおよびモノセル輝度分布データに基づいて、入力画像データを補正することにより、複数の絵素PEの開口率を制御するための第2データを生成する。この第2データは、バックライトBLの各発光領域LERの発光輝度の制御および第1パネルの各セルCEの開口率の制御によってバックライトBLから各絵素PEへ進む光の量を調整したことに起因した輝度の不足を補うように生成される。その後、第2データ生成部12は、第2データを第2パネル駆動部30へ送信する。
【0203】
なお、実施の形態1においては、第2データ生成部12がモノセル輝度分布データも生成している。これに対して、本実施の形態においては、モノセル輝度分布データの算出のために、第1データに加えてバックライトデータを用いる必要がある。そのため、本実施の形態の画像処理装置10は、第2データ生成部22とは別に第1パネル輝度分布算出部14を有している。ただし、このような画像処理装置10内の処理の実行部分の構成は、適宜選択され得るものである。たとえば、本実施の形態の画像処理装置10は、第1パネル輝度分布算出部14を有することなく、第2データ生成部12がモノセル輝度分布データを生成するものであってもよい。また逆に、実施の形態1の画像処理装置10は、モノセル輝度分布データを算出する処理部を、第2データ生成部12とは別に有していてもよい。
【0204】
図31は、本実施の形態の画像処理装置10の内部構成を具体的に示す図である。
【0205】
図31に示されるように、本実施の形態の画像処理装置10は、バックライトデータ用メモリM6、バックライトデータ生成部(バックライト輝度分布算出部)13および第1パネル輝度分布算出部(モノセル輝度分布算出部)14を備える。また、本実施の形態の画像処理装置10は、第2データ生成部12に代えて第2データ生成部22を備える。これらの点において、本実施の形態の画像処理装置10は、実施の形態1または2の画像処理装置10と異なっている。
【0206】
図32は、本実施の形態の画像処理装置10が実行する処理を説明するためのフローチャートである。
【0207】
図32に示されるように、本実施の形態の画像処理装置10は、ステップS71~ステップS74を備えている点において、実施の形態1および2の画像処理装置10と異なっている。
【0208】
ステップS71においては、バックライトデータ生成部(バックライト輝度分布算出部)13は、ステップS1で読み込んだ入力画像データに基づいて、バックライトBLの各発光領域LERの制御データであるバックライトデータを算出する。ステップS72においては、第1パネル輝度分布算出部(モノセル輝度分布算出部)14は、モノセル輝度分布データを算出する。ステップS73においては、バックライト駆動部40は、ステップS71で算出したバックライトデータに基づいて、バックライトBLを駆動する。
【0209】
本実施の形態の画像処理装置10のように、バックライトBLがローカルディミングを実行する場合であっても、他の実施の形態の画像処理装置10によって得られる効果と同様の効果が得られる。つまり、入力画像データIM中の高輝度領域BAがあるセルCE内で移動する場合および複数のセルCEを横切って移動する場合のいずれにおいても、各セルCEの開口率が連続的に変化する。そのため、フリッカを抑えることができる。
【0210】
(実施の形態4)
図33を用いて、実施の形態3の画像処理装置を説明する。なお、下記において実施の形態1~3の画像処理装置と同様である点についての説明は繰り返さない。本実施の形態の画像処理装置は、以下の点で、実施の形態1~3の画像処理装置と異なる。
【0211】
図33は、実施の形態4の表示装置1のセルCEを示す図である。
【0212】
図33に示されるように、本実施の形態の表示装置1の表示パネルユニット100の正面視において、第1セルCEおよび複数の第2セルCEのそれぞれの形状は、複数の第1画素PXおよび複数の第2画素PXのそれぞれの形状とは異なっている。たとえば、複数の画素PXのそれぞれの正面視における形状が長方形または正方形である場合に、セルCEの形状が六角形または、八角形と四角形の混合であってもよい。このような本実施の形態の表示装置1の画像処理装置10によっても、実施の形態1~3の表示装置1の画像処理装置10によって得られる効果と同様の効果を得ることができる。
【0213】
(実施の形態5)
図34および
図35を用いて、実施の形態3の画像処理装置を説明する。なお、下記において実施の形態1~4の画像処理装置と同様である点についての説明は繰り返さない。本実施の形態の画像処理装置は、以下の点で、実施の形態1~4の画像処理装置と異なる。
【0214】
図34は、本実施の形態の表示装置1のセルCEを示す図である。
【0215】
図34に示されるように、本実施の形態の表示装置1の表示パネルユニット100の正面視において、第1セルCEおよび複数の第2セルCEのうちの1つのセルCEの一部と1つのセルCEに隣接する隣接セルCEの一部とが、共通領域CR内に混在している。このような本実施の形態の表示装置1の画像処理装置10によっても、実施の形態1~4の表示装置1の画像処理装置10によって得られる効果と同様の効果を得ることができる。
【0216】
図35は、本実施の形態の表示装置1のセルCEの具体例を示す図である。
【0217】
図35に示されるように、隣接するセルCE同士は、共通領域CRを有している。共通領域CRにおいては、第1セルCEの第1電極E1と第2セルCEの第2電極E2とが混在している。
【0218】
隣接する2つのセルCEの重なった1つの共通領域CRの輝度は、隣接する2つのセルCEのそれぞれの透過率の制御の組合せによって変化させられる。この構成および制御の詳細は、US2021/0304686に開示されている。
【0219】
このような関係を有する複数のセルCEが採用されている表示装置1であっても、前述の実施の形態1~4の表示装置1によって得られる効果と同一の効果を得ることができる。
【0220】
上述した各実施の形態の画像処理装置および画像処理装置の制御方法は、互いに矛盾しない限り、組み合わせられてもよい。たとえば、実施の形態1の画像処理装置10の第2の例として説明された、複数のモノセルデータ計算用ラインメモリを用いた処理を、実施の形態3または実施の形態4として説明された画像処理装置に組み合わせてもよい。その他の実施の形態の画像処理装置10および画像処理方法同士も、互いに矛盾しないかぎり、組み合わせられてもよい。
【符号の説明】
【0221】
1 表示装置
10 画像処理装置
100 表示パネルユニット
11 第1データ生成部
12 第2データ生成部
CE セル
CL 第2パネル
CR 共通領域
D1,D2 距離
PX 画素
WB 第1パネル