(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-05
(45)【発行日】2024-06-13
(54)【発明の名称】表示装置
(51)【国際特許分類】
H04N 5/202 20230101AFI20240606BHJP
G09G 5/00 20060101ALI20240606BHJP
G09G 5/10 20060101ALI20240606BHJP
【FI】
H04N5/202
G09G5/00 530T
G09G5/00 550H
G09G5/10 Z
(21)【出願番号】P 2020089981
(22)【出願日】2020-05-22
【審査請求日】2023-03-22
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】阿部 貴志
【審査官】鈴木 肇
(56)【参考文献】
【文献】特開2014-170179(JP,A)
【文献】特開2010-204520(JP,A)
【文献】特開2010-217914(JP,A)
【文献】特開2014-011725(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/14- 5/257
H04N 5/66- 5/74
H04N 7/00- 7/088
H04N 23/00
H04N 23/40-23/82
H04N 23/90-23/959
G06T 1/00- 1/40
G06T 3/00- 5/50
G09G 5/00- 5/42
(57)【特許請求の範囲】
【請求項1】
複数のフレームで構成された入力画像をフレーム単位でシーンの切り替わりの有無を検出するシーンチェンジ検出部と、
前記シーンチェンジ検出部によってシーンチェンジの有無を検出された前記フレームの画像情報と、前記フレームから過去に遡った期間に含まれる過去のフレームの画像情報とに基づいて、前記シーンの切り替わりの有無を検出された前記フレームに対する出力画像の輝度を設定する輝度設定部と、
前記過去のフレームのガンマカーブの入力輝度に基づき、前記シーンチェンジ検出部によってシーンチェンジを検出されたフレームのガンマカーブの複数の入力輝度を補正する輝度補正部と、を備え、
前記輝度設定部は、
前記輝度補正部により補正されたガンマカーブの複数の入力輝度に基づいて生成されたガンマカーブに基づいて、前記シーンチェンジ検出部によってシーンチェンジを検出された前記フレームの出力画像の輝度を設定するとともに、
前記シーンチェンジ検出部による検出結果に応じて異なる前記過去のフレームを切替えて出力画像の輝度を設定することを特徴とする表示装置。
【請求項2】
前記輝度補正部は、
前記シーンチェンジ検出部によってシーンチェンジを検出されたフレームのガンマカーブにおける複数の折れ点のそれぞれにおける入力輝度を、予め設定した移動制限範囲内に収まるように補正することを特徴とする請求項1に記載の表示装置。
【請求項3】
前記輝度補正部は、
前記過去のフレームのAPLの平均値と前記シーンチェンジ検出部によってシーンチェンジを検出された前記フレームのAPLの平均値との差分に基づいて、前記シーンチェンジ検出部によってシーンチェンジを検出されたフレームのガンマカーブの複数の入力輝度を補正する請求項1または2に記載の表示装置。
【請求項4】
前記輝度補正部は前記過去のフレームのうちの有効フレームのAPLの平均値と、前記シーンチェンジ検出部によってシーンチェンジを検出された前記フレームのAPLの平均値との差分に基づいて、前記シーンチェンジ検出部によってシーンチェンジを検出されたフレームのガンマカーブの複数の入力輝度を補正する請求項3に記載の表示装置。
【請求項5】
前記輝度設定部は、
前記シーンチェンジ検出部によってシーンチェンジの有無を検出された現フレームと、前記現フレームから過去に遡った所定数のフレームを含む過去フレームとを参照フレームとし、当該参照フレームの画像情報に基づき出力画像の輝度を設定し、
前記シーンチェンジ有りの場合の参照フレーム数は、シーンチェンジ無しの場合の参照フレーム数よりも少ないことを特徴とする請求項1
から4の何れか1項に記載の表示装置。
【請求項6】
前記過去フレームのフレーム数は、シーンチェンジ無しの場合よりもシーンチェンジ有の場合のほうが少ないことを特徴とする請求項
5に記載の表示装置。
【請求項7】
複数のフレームで構成された入力画像のシーンの切り替わりに応じて設定される出力輝度に基づき、当該入力画像に対する出力画像を表示装置に表示させる表示方法であって、
前記入力画像のフレーム単位でシーンの切り替わりの有無を検出するシーンチェンジ検出ステップと、
前記シーンチェンジ検出ステップによってシーンチェンジの有無を検出された前記フレームの画像情報と、前記フレームから過去に遡った期間に含まれ、且つ、前記シーンチェンジ検出ステップによる検出結果に応じて異なる過去のフレームの画像情報とに基づいて、前記シーンの切り替わりの有無を検出した前記フレームに対する出力画像の輝度を設定する輝度設定ステップと、
前記過去のフレームのガンマカーブの入力輝度に基づき、前記シーンチェンジ検出ステップにおいてシーンチェンジを検出されたフレームのガンマカーブの複数の入力輝度を補正する輝度補正ステップと、を含
み、
前記輝度設定ステップにおいては、
前記輝度補正ステップにより補正されたガンマカーブの複数の入力輝度に基づいて生成されたガンマカーブに基づいて、前記シーンチェンジ検出ステップにおいてシーンチェンジを検出された前記フレームの出力画像の輝度を設定することを特徴とする表示方法。
【請求項8】
請求項1から
6のいずれか1項に記載の表示装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを
前記シーンチェンジ検出部、前記輝度設定部、および前記輝度補正部として機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力画像のシーンチェンジの有無に応じて出力画像の輝度設定を行う表示装置に関する。
【背景技術】
【0002】
表示装置において、入力画像のシーンチェンジの有無に応じて出力画像の輝度設定を行う技術が例えば特許文献1に開示されている。特許文献1に開示された画像処理装置では、以下のようにしてガンマカーブを生成する。シーンチェンジがない時は、前フレームに基づき第1の演算で、次フレーム以降のフレームに対するガンマカーブを生成する。一方、シーンチェンジがある時は、シーンチェンジされたフレームの統計量から、第1の演算より短時間で処理の出来る第2の演算によりガンマカーブを生成する。これにより、シーンチェンジがあった後に出来るだけ早くガンマカーブを設定し、明るさの遷移が知覚されてしまうことを避けるようになっている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述した通り、従来技術では、シーンチェンジがあった場合に、シーンチェンジのフレームに基づき、極力早く輝度変更を行うために、明るさの遷移が知覚されてしまうことを避けるようにできるものの、画面がちらつく可能性がある。例えば、シーンチェンジ検出されたフレーム(n)の次のフレーム(n+1)のみ特殊処理を実施した場合、フレーム(n+1)とフレーム(n+2)の間でガンマカーブを生成するための処理が変わるために画面にちらつきが発生する。
【0005】
本発明の一態様は、シーンチェンジがあった場合でも画面のちらつきの発生を低減し得る表示装置を実現することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係る表示装置は、複数のフレームで構成された入力画像をフレーム単位でシーンの切り替わりの有無を検出するシーンチェンジ検出部と、前記シーンチェンジ検出部によってシーンチェンジの有無を検出された前記フレームの画像情報と、前記フレームから過去に遡った期間に含まれる過去のフレームの画像情報とに基づいて、前記シーンの切り替わりの有無を検出された前記フレームに対する出力画像の輝度を設定する輝度設定部と、を備え、前記輝度設定部は、前記シーンチェンジ検出部による検出結果に応じて異なる前記過去のフレームを切替えて出力画像の輝度を設定することを特徴としている。
【発明の効果】
【0007】
本発明の一態様によれば、シーンチェンジがあった場合でも画面のちらつきの発生を低減し得る表示装置を実現できる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施形態1に係る表示装置の概略構成ブロック図である。
【
図2】
図1に示す表示装置の外観を示す正面図である。
【
図3】ガンマカーブ生成処理の流れを示すフローチャートである。
【
図4】シーンチェンジ検出を説明するための図である。
【
図5】輝度補正時の参照フレーム数を説明するための図である。
【
図6】ガンマカーブ生成処理の流れを示すフローチャートである。
【
図7】輝度補正時の参照フレーム数を説明するための図である。
【
図8】連続した3つのフレームに対してそれぞれ生成されたガンマカーブである。
【
図9】シーンチェンジ検出を説明するための図である。
【
図10】有効フレーム数が保持フレーム数以上のときの、出力輝度設定時の参照フレームのAPLの平均値の算出処理を説明する図である。
【
図11】有効フレーム数が保持フレーム数よりも少ないときの、出力輝度設定時の参照フレームのAPLの平均値の算出処理を説明する図である。
【
図12】本発明の実施形態2に係る表示装置の概略構成ブロック図である。
【
図13】ガンマカーブ生成処理の流れを示すフローチャートである。
【
図14】ガンマカーブを構成するX軸の折れ点の移動制限を説明する図である。
【
図15】X軸の折れ点の移動を制限した場合のガンマカーブである。
【
図16】X軸の折れ点の移動を制限しなかった場合のガンマカーブである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
【0010】
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
【0011】
(表示装置)
本実施形態に係る表示装置1について、
図1および
図2を参照して説明する。
図1は、本実施形態に係る表示装置1の構成を示すブロック図である。また、
図2は、表示装置1の外観を示す斜視図である。
【0012】
表示装置1は、
図1に示すように、画像取得部11、シーンチェンジ検出部12、輝度補正部13、ガンマカーブ生成部14、パネル制御部15、表示パネル16を備えている。
【0013】
画像取得部11は、複数のフレームで構成された入力画像を取得する。なお、画像取得部11が取得する画像は、例えばHDR信号等の映像信号である。HDR信号は、HDMI(登録商標)(High-Definition Multimedia Interface:高精細度マルチメディアインターフェース)規格に基づくHDMI(登録商標)信号、Tuner信号(チューナーによって受信した信号)およびCVBS(Composite Video, Blanking, and Sync:コンポジット映像信号)信号等であり得る。
【0014】
画像取得部11は、取得した入力画像をフレームごとに一時的に記憶する記憶部111と、取得した入力画像を毎フレームごとに解析する解析部112とを有している。解析部112によって解析された解析情報の少なくとも一部は、後段のシーンチェンジ検出部12に送られる。解析情報には、輝度の最小値、輝度の最大値、APL(平均輝度レベル:Average Picture Level)、ヒストグラムが少なくとも含まれる。一方、画像取得部1によって取得され、記憶部111に一時的に記憶された入力画像は、フレームごとに補正前の入力輝度を示す情報として後段のガンマカーブ生成部14に送られる。
【0015】
シーンチェンジ検出部12は、画像取得部11から送られる毎フレームごとの解析情報の少なくとも一部の情報に基づき、入力画像のシーンの切り替わりの有無を検出する。シーンチェンジ検出部12による検出結果を示す信号は、後段の輝度補正部13に送られる。
【0016】
輝度補正部13は、シーンチェンジ検出部12から送られた検出結果を示す信号に応じて、出力輝度(出力画像の輝度)を設定するためのガンマカーブの入力輝度を補正するための補正信号を生成する。輝度補正部13は、生成した補正信号を後段のガンマカーブ生成部14に送る。なお、輝度補正部13の詳細は、後述する。
【0017】
ガンマカーブ生成部14は、画像取得部11から送られた、記憶部111に記憶されたフレームごとの入力輝度を、輝度補正部13から送られる補正信号に基づいて補正し、補正した入力輝度からフレームごとのガンマカーブを生成する。ガンマカーブ生成部14によって生成されたガンマカーブを示す情報は、後段のパネル制御部15に送られる。
【0018】
パネル制御部15は、表示パネル16の各画素の出力輝度を、ガンマカーブ生成部14によって生成されたガンマカーブを示す情報に基づいて設定する。これにより、映像信号が表す映像が本来の輝度で表示パネル16に表示される。
【0019】
つまり、輝度補正部13、ガンマカーブ生成部14、パネル制御部15によって、表示パネルに表示される映像の出力輝度を設定するための出力輝度設定部(輝度設定部)を構成している。
【0020】
なお、表示パネル16のフレームレートは、240FPS(1秒間に240回更新)とする。
【0021】
(輝度補正部13)
輝度補正部13は、参照フレーム数設定部131、平均値算出部132、補正信号生成部133を含んでいる。すなわち、参照フレーム数設定部131は、シーンチェンジ検出部12から送られたシーンチェンジ有無の検出結果を示す信号に応じて、入力輝度の補正に用いる参照フレーム数を設定する。ここで、参照フレームは、シーンチェンジ有無の検出された現フレームと、現フレームから連続して過去に遡った数フレームからなる過去フレームとを含む。そして、参照フレーム数設定部131は、シーンチェンジ有りの場合の参照フレーム数を、シーンチェンジ無しの場合の参照フレーム数よりも少なくなるように設定する。具体的には、参照フレーム数設定部131は、参照フレームを構成する過去フレームのフレーム数を、シーンチェンジ無しの場合よりもシーンチェンジ有の場合のほうが少なくなるように設定する。参照フレーム数設定部131によって設定された参照フレーム数を示す信号は、後段の平均値算出部132に送られる。
【0022】
平均値算出部132は、参照フレーム数設定部131から送られた参照フレーム数を示す信号に基づき、参照フレームを構成するそれぞれのフレームの解析情報のうちAPLを合算した後、合算したAPLを参照フレーム数で割ってAPLの平均値を求める。平均値算出部132によって求められたAPLの平均値は、後段の補正信号生成部133に送られる。
【0023】
補正信号生成部133は、平均値算出部132から送られたAPLの平均値に基づいて、現フレームの入力輝度を補正するための補正信号を生成する。補正信号生成部133によって生成された補正信号は、後段のガンマカーブ生成部14に送られる。
【0024】
(ガンマカーブ生成処理(基本))
上記構成の表示装置1により実行されるガンマカーブ生成処理の流れを、
図3~
図5を参照して説明する。
図3は、ガンマカーブ生成処理の流れを示すフローチャートである。
図4は、シーンチェンジ検出を説明するための図である。
図5は、出力輝度設定時の参照フレーム数を説明するための図である。
【0025】
まず、シーンチェンジ検出部12は、シーンチェンジ有りか否かを判定する(ステップS11)。すなわち、シーンチェンジ検出部12は、現フレームの入力画像が、前フレームの入力画像からシーンチェンジした画像か否か、すなわちシーンチェンジの有無を検出する。具体的には、シーンチェンジ検出部12は、画像取得部11から送られた解析情報のヒストグラムから、シーンチェンジ有無の検出を行う。例えば
図4に示す4つの連続したフレームA、B、C、Dにおいて、前後のフレームのヒストグラムを各BIN(二値データの1ビット)で比較してBIN毎の度数の差を求める。そして求めた差の絶対値の合計が予め設定された設定値以上であれば、比較した2つのフレームのうち後段のフレームにシーンチェンジがあったと判断する。ここで、
図4に示す例では、判断基準の設定値を3515とした場合、度数の差の絶対値の差の合計が4000であるフレームBとフレームCとの間でシーンチェンジがあったことをシーンチェンジ検出部12は検出する。また、度数の差の絶対値の差の合計が0の場合、3000の場合は、何れも3515よりも小さいため、フレームAとフレームBとの間、フレームCとフレームDとの間でシーンチェンジはなかったことをシーンチェンジ検出部12は検出する。なお、
図4において想定するフレームサイズは、表示装置1が4KTVであれば3840×2160である。表示装置1が8KTVであれば7860×4320である。
【0026】
次に、輝度補正部13は、ステップS11において、シーンチェンジ有と検出された場合(YES)、参照フレーム数をMと設定し、この参照フレーム数MでAPLの平均値を算出し(ステップS12)、算出したAPLの平均値に基づいて、入力画像のガンマカーブの入力輝度を補正する(ステップS14)。一方、輝度補正部13は、ステップS11において、シーンチェンジ無しと検出された場合(NO)、参照フレーム数をNと設定し、参照フレーム数NでAPLの平均値を算出し(ステップS13)、算出したAPLの平均値に基づいて、入力画像のガンマカーブの入力輝度を補正するための補正信号を生成する(ステップS14)。
【0027】
ここで、ステップS12,S13で算出するAPLの平均値とは、参照フレームを構成する、フレームごとのAPLを参照フレーム数分加算して、当該参照フレーム数で割ることで求めた平均値である。ここで、ステップS12の場合、シーンチェンジ有と検出された場合の参照フレーム数は、例えば
図5の符号1052に示すように、シーンチェンジ有無の検出対象となったフレーム(n+1)を現フレームとし、この現フレームと、現フレームから過去に遡ったM-1個の過去フレームとを合わせたM個とする。また、ステップS13の場合、シーンチェンジ無しと検出された場合の参照フレーム数は、例えば
図5の符号1051に示すように、シーンチェンジ有無の検出対象となったフレーム(n)を現フレームとし、この現フレームと、現フレームから過去に遡ったN-1個の過去フレームとを合わせたN個とする。ここで、N>Mである。
【0028】
続いて、ガンマカーブ生成部14は、ステップS14において生成された補正信号に基づいてシーンチェンジの有無を検出されたフレームの入力輝度を補正したガンマカーブを生成する(ステップS15)。パネル制御部15は、ガンマカーブ生成部14が生成したガンマカーブから表示パネル16の各画素の輝度(出力輝度)を設定する。
【0029】
なお、ステップS11では、前後のフレームのヒストグラムを各BINで比較して階調差を求め、この階調差の合計と予め設定した値とを比較してシーンチェンジを判定する方法について説明したが、シーンチェンジの判断は、これに限定されるものではない。他のシーンチェンジの判断については後述する。
【0030】
以上、本発明の基本的なガンマカーブ生成処理について説明した。以下のでは、本発明のより具体的なガンマカーブ生成処理について説明する。
【0031】
(ガンマカーブ生成処理(応用))
図6は、ガンマカーブ生成処理の流れを示すフローチャートである。
図7は、輝度補正時の参照フレーム数を説明するための図である。
図8は、
図6に示した連続した3つのフレームに対してそれぞれ生成されたガンマカーブである。
図9は、シーンチェンジ検出を説明するための図である。
【0032】
図6に示すように、まず、シーンチェンジ検出部12は、シーンチェンジ有りか否かを判定する(ステップS21)。すなわち、シーンチェンジ検出部12は、現フレームの入力画像が、前フレームの入力画像からシーンチェンジした画像か否か、すなわちシーンチェンジの有無を検出する。
【0033】
次に、輝度補正部13は、ステップS21において、シーンチェンジ有と検出された場合(YES)、参照フレームの変更フラグが1であるか否かを判定する(ステップS22)。ここで、参照フレームの変更フラグが1である場合、参照フレームが変更されたことを示し、参照フレームの変更フラグが0である場合、参照フレームが変更されていないことを示す。従って、参照フレームの変更フラグが1でないと判定(NO)された場合、参照フレームが変更されてないと判定し、参照フレーム数N(
図7の符号1071を参照)でAPLの平均値を算出し(ステップS23)、ステップS25に移行する。一方、ステップS22において、参照フレームの変更フラグが1であると判定(YES)された場合、参照フレームが変更されたと判定し、参照フレーム数M+1(
図7の符号1073を参照)でAPLの平均値を算出し(ステップS24)、ステップS25に移行する。
【0034】
続いて、ステップS25では、参照フレーム数がNか否かを判定する。ここで、参照フレーム数がNであると判定(YES)された場合、参照フレームの変更フラグを0にし(ステップS26)、ステップS29に移行する。一方、参照フレーム数がNでないと判定(NO)された場合、参照フレームの変更フラグは1のままで、ステップS29に移行する。
【0035】
一方、輝度補正部13は、ステップS21において、シーンチェンジ無しと検出された場合(NO)、参照フレームの変更フラグを1にし(ステップS27)、参照フレーム数M(
図7の符号1072を参照)でAPLの平均値を算出し(ステップS28)、ステップS29に移行する。
【0036】
ステップS29では、算出したAPLの平均値に基づいて、入力画像のガンマカーブの入力輝度を補正するための補正信号を生成する。ここで、ステップS23によって算出されたAPLの平均値に基づいて補正された入力画像のガンマカーブの入力輝度を補正するための補正信号は、フレームnの第1ガンマカーブを生成するための入力輝度を補正するための補正信号である。また、ステップS24によって算出されたAPLの平均値に基づいて補正された入力画像のガンマカーブの入力輝度を補正するための補正信号は、フレームn+2の第3ガンマカーブを生成するための入力輝度を補正するための補正信号である。さらに、ステップS28によって算出されたAPLの平均値に基づいて補正された入力画像のガンマカーブの入力輝度を補正するための補正信号は、フレームn+1の第2ガンマカーブを生成するための入力輝度を補正するための補正信号である。
【0037】
続いて、ガンマカーブ生成部14は、ステップS29において生成された補正信号に基づいてシーンチェンジの有無を検出されたフレーム(n,n+1,n+2)のガンマカーブの入力輝度を補正した、
図8に示す第1,第2,第3ガンマカーブを生成する(ステップS30)。パネル制御部15は、ガンマカーブ生成部14が生成したガンマカーブから表示パネル16の各画素の輝度(出力輝度)を設定する。
【0038】
ここで、フレームn+1とフレームn+2とではシーンの切り替わりを検出しないため、フレーム間の映像の差が少ない。第2ガンマカーブと第3ガンマカーブは、
図7に示すように、参照するフレームがM個,M+1個と1しか差がなく、この1フレームに関しては映像の差が少ないため、ガンマカーブの変化も
図8に示すように少ない。従って、
図9に示すように、フレーム(n+1)とフレーム(n+2)との間において出力輝度の急激な変化が発生する可能性も低減できる。
【0039】
一般に、シーンチェンジ有と検出された場合には、シーンチェンジ後にシーンを早く追従させることが望まれるため、現フレームの入力輝度に基づき、ガンマカーブを生成している。一方、シーンチェンジ無しと検出された場合には、シーンの変化を極力抑えることが望まれるため、現フレームと過去のフレームを含む1周期分(240フレーム)のAPLの平均値に基づき補正された入力輝度から、ガンマカーブを生成する。
【0040】
しかしながら、シーンチェンジ有無の検出結果と反対の検出結果を視聴者が感じる場合に、以下の(1)(2)のような問題が生じる。
【0041】
すなわち、(1)シーンチェンジ無しと検出された場合であっても、見た目でシーンチェンジ有と視聴者が感じる場合がある。このような場合、上述したようなシーンチェンジ無しの場合の処理が行われると、シーンの切り替わりが遅くなり、シーンの追従性が遅いと感じる可能性がある。
【0042】
(2)シーンチェンジ有と検出された場合であっても、見た目でシーンチェンジ無しと視聴者が感じる場合がある。このような場合に、シーンチェンジ有の場合の処理が行われると、シーンの切り替わりが速くなり、画面全体の画像が瞬間的に明るくなったり、暗くなったりする変化、所謂、ぱかつきとして見える可能性がある。
【0043】
これに対して、上記構成の表示装置1によれば、シーンチェンジの検出結果がいずれであっても、現フレームと過去フレームとを含み、表示パネル16のフレームレートで使用するフレーム数よりも少ないフレーム数の参照フレームを用いるので、ガンマカーブを生成する処理が速くなり、シーンの追従性が向上する。つまり、上記の(1)の問題を解決することができる。
【0044】
しかも、上記構成の表示装置1では、ガンマカーブを生成するのに用いられる参照フレームには、現フレームの他に過去フレームも含まれているため、シーンチェンジ有と検出された場合であって、かつ、見た目でシーンチェンジ無しと視聴者が感じる場合であっても、現フレームだけでなく、過去フレームも参照してガンマカーブを生成することで、シーンの切り替わりを遅くできるので、シーンの追従性が多少犠牲になるものの、ぱかつきを抑制することができる。つまり、上記の(2)の問題を解決することができる。
【0045】
上記の(2)の問題は、上述のように、現フレームだけでなく、過去フレームも参照して参照フレームのAPLの平均値を求めることで解決することができる。すなわち、現フレームだけでなく、過去フレームも参照して参照フレームのAPLの平均値を求めることで上述したように、シーンチェンジ有りの場合の画面のちらつきを低減する他、ぱかつきも低減することができる。以下に、ぱかつきを考慮した参照フレームのAPLの平均値の算出処理について説明する。
【0046】
(ぱかつき低減)
図10は、有効フレーム数が保持フレーム数以上のときの、輝度補正時の参照フレームのAPLの平均値の算出処理を説明する図である。
図11は、有効フレーム数が保持フレーム数よりも少ないときの、輝度補正時の参照フレームのAPLの平均値の算出処理を説明する図である。
図10,11において、色付きのフレームは、APLの平均値を算出するのに有効なデータを含んだフレーム(以下、有効フレームと称する)、白抜きのフレームは、APLの平均値を算出するのに無効なデータを含んだフレーム(以下、無効フレームと称する)、点線のフレーム(index)は、現フレームを示し、Full_indexは、参照フレームを示す。
【0047】
有効フレームは、輝度補正部13において、APLの平均値を求めるのに使用するフレームである。保持フレームは、一時的にCPU等のキャッシュメモリに記憶されるフレームである。なお、本実施形体では、保持フレーム数を20として説明する。
【0048】
保持フレームのうち、APLの平均値を求めるのに有効なデータを含んだフレームを使用する必要があるため、有効フレーム数が、保持フレーム数以上である場合と、有効フレーム数が、保持フレーム数よりも少ない場合とで、APLの平均値の求め方が異なる。
【0049】
有効フレーム数が、保持フレーム数以上である場合、例えば、
図10の符号1101に示すように、保持フレーム数が20で、有効フレーム数が47の場合には、フレーム28~フレーム47までのX個のAPLを合算して、保持フレーム数で割ってAPLの平均値を求める。また、
図10の符号1102に示すように、保持フレーム数が20で、有効フレーム数が20の場合には、フレーム0~9、フレーム50~59のX個のAPLを合算して、保持フレーム数である20で割って、APLの平均値を求める。
【0050】
有効フレーム数が、保持フレーム数よりも少ない場合、例えば、
図11の符号1111に示すように、保持フレーム数が20で、有効フレーム数が15の場合には、フレーム0~フレーム14までのY個のAPLを合算して、有効フレーム数である15で割って、APLの平均値を求める。また、
図11の符号1112に示すように、保持フレーム数Xが20で、有効フレーム数が14の場合には、フレーム0~10、フレーム57~59のY個のAPLを合算して、有効フレーム数である14で割って、APLの平均値を求める。さらに、
図7の符号1073に示すように、保持フレーム数が20で、有効フレーム数が11の場合には、フレーム24~フレーム34までのY個のAPLを合算して、有効フレーム数である11で割って、APLの平均値を求める。
【0051】
このように、過去フレームのうち、有効なデータを含む有効フレームを用いてAPLの平均値を求めることで、見た目としてシーンチェンジに見えないシーンであって、シーンチェンジ検出部12によってシーンチェンジ有りと検出された場合であっても、シーンの切り替わりに時間をかけることができるため、表示画面のぱかつきを低減することができる。
【0052】
以上のように、上記構成の表示装置1によれば、シーンチェンジが検出され、見た目にもシーンチェンジしていると判断できる場合における画面のちらつきを抑制する他に、シーンチェンジが検出され、見た目にシーンチェンジしていないような場合における画面のぱかつきも抑制することが可能となる。
【0053】
なお、本実施形態1では、シーンチェンジ有りの場合、シーンチェンジ無しの場合のいずれも、現フレームと過去フレームのAPLの平均値からガンマカーブを生成する例について説明した。以下の実施形態2では、シーンチェンジ無しの場合、前記実施形態1と同様に、現フレームと過去フレームのAPLの平均値からガンマカーブを生成し、シーンチェンジ有りの場合、連続する現フレームと前フレームとの輝度の差分からガンマカーブを生成する例について説明する。
【0054】
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0055】
本実施形態に係る表示装置は、前記実施形態1の表示装置1とほぼ同じであり、ガンマカーブ生成部14によるガンマカーブの生成方法が異なる。具体的には、シーンチェンジ無しの場合のガンマカーブの生成方法は、前記実施形態1と同じであるが、シーンチェンジ有の場合の出力画像のガンマカーブの生成方法が前記実施形態1と異なる。
【0056】
すなわち、本実施形態において、シーンチェンジ有の場合、ガンマカーブ生成部14は、現フレーム(n+1)のAPLと、前フレーム(n)のAPLとの差分から、現フレーム(n+1)のガンマカーブを生成する。
【0057】
(表示装置)
本実施形態に係る表示装置2について、
図12を参照して説明する。
図12は、本実施形態に係る表示装置2の構成を示すブロック図である。
【0058】
表示装置2は、
図12に示すように、画像取得部21、シーンチェンジ検出部22、輝度補正部23、ガンマカーブ生成部24、パネル制御部25、表示パネル26を備えている。ここで、前記実施形態1の表示装置1と異なるのは、輝度補正部23であり、他の部は同じであるので詳細な説明は省略する。また、表示装置2においても、前記実施形態1と同様に、輝度補正部23、ガンマカーブ生成部24、パネル制御部25によって、表示パネルに表示される映像の出力輝度を設定するための出力輝度設定部(輝度設定部)を構成している。
【0059】
(輝度補正部23)
輝度補正部23は、参照フレーム数設定部231、平均値算出部232、補正信号生成部233、APL差分算出部234を含んでいる。
【0060】
参照フレーム数設定部231は、画像取得部21の解析部212によって解析された解析情報から検出された、シーンチェンジ検出部22から送られたシーンチェンジ有無の検出結果を示す信号に応じて、入力輝度の補正に用いる参照フレーム数を設定する。ここで、参照フレームは、シーンチェンジ有無の検出された現フレームと、現フレームから連続して過去に遡った数フレームからなる過去フレームとを含む。そして、参照フレーム数設定部231は、シーンチェンジ有りの場合の参照フレーム数を、シーンチェンジ無しの場合の参照フレーム数よりも少なくなるように設定する。具体的には、参照フレーム数設定部231は、参照フレームを構成する過去フレームのフレーム数を、シーンチェンジ無しの場合よりもシーンチェンジ有の場合のほうが少なくなるように設定する。なお、本実施形態では、シーンチェンジ有りの場合の参照フレーム数を2(現フレームと前フレーム)とする。参照フレーム数設定部231によって設定された参照フレーム数を示す信号は、後段の平均値算出部232およびAPL差分算出部234に送られる。
【0061】
平均値算出部232は、参照フレーム数設定部131から送られた参照フレーム数を示す信号に基づき、参照フレームを構成するそれぞれのフレームの解析情報のうちAPLを合算した後、合算したAPLを参照フレーム数で割ってAPLの平均値を求める。平均値算出部132によって求められたAPLの平均値は、シーンチェンジ無しを示す情報とともに後段の補正信号生成部233に送られる。
【0062】
一方、APL差分算出部234は、参照フレーム数設定部231から送られた参照フレーク数を示す信号に基づき、現フレームと前フレーム間のAPLの差分を算出する。APL差分算出部234によって算出された差分値は、シーンチェンジ有りを示す情報とともに後段の補正信号生成部233に送られる。
【0063】
補正信号生成部233は、シーンチェンジ無しを示す情報を受信した場合には、平均値算出部232によって算出されたAPLの平均値に基づいて、現フレームの入力輝度を補正するための補正信号を生成する。一方、シーンチェンジ有りを示す情報を受信した場合には、APL差分算出部234によって算出されたAPLの差分に基づいて、現フレームの入力輝度を補正するための補正信号を生成する。補正信号生成部233によって生成された補正信号は、ガンマカーブ生成部24に送られる。
【0064】
ガンマカーブ生成部24は、画像取得部21から送られた、記憶部211に記憶されたフレームごとの入力輝度を、輝度補正部23から送られる補正信号に基づいて補正し、補正した入力輝度からフレームごとのガンマカーブを生成する。以下に、ガンマカーブ生成処理について説明する。
【0065】
(ガンマカーブ生成処理)
上記構成の表示装置2により実行されるガンマカーブ生成処理の流れを、
図13を参照して説明する。
図13は、ガンマカーブ生成処理の流れを示すフローチャートである。
【0066】
まず、シーンチェンジ検出部22は、シーンチェンジ有りか否かを判定する(ステップS31)。すなわち、シーンチェンジ検出部22は、現フレームの入力画像が、前フレームの入力画像からシーンチェンジした画像か否か、すなわちシーンチェンジの有無を検出する。具体的には、シーンチェンジ検出部22は、画像取得部21から送られた解析情報のヒストグラムから、シーンチェンジ有無の検出を行う。シーンチェンジ有無の検出は、前記実施形態1と同様の方法で行う。但し、本実施形態においても、前記実施形態1と同様に、シーンチェンジ検出の方法については特に限定するものではない。
【0067】
次に、輝度補正部23は、ステップS21において、シーンチェンジ有と検出された場合(YES)、参照フレーム数をM=2と設定し、この2つの参照フレーム間のAPLの差分を算出する(ステップS32)。そして、算出したAPLの差分に基づいて、入力画像のガンマカーブの入力輝度を補正するための補正信号を生成(ステップS34)。一方、輝度補正部23は、ステップS21において、シーンチェンジ無しと検出された場合(No)、参照フレーム数をNと設定し、この参照フレーム数NでAPLの平均値を算出する(ステップS33)。そして、算出したAPLの平均値に基づいて、入力画像のガンマカーブの入力輝度を補正するための補正信号を生成する(ステップS34)。
【0068】
ここで、ステップS33で算出するAPLの平均値は、前記実施形態1で説明したAPLの平均値と同じであり、具体的な算出方法も同じであるので詳細は省略する。なお、ステップS32で算出するAPLの差分を用いた入力輝度の補正についての詳細は後述する。
【0069】
続いて、ガンマカーブ生成部24は、ステップS34において生成された補正信号に基づいてシーンチェンジの有無を検出されたフレームの入力輝度を補正したガンマカーブを生成する(ステップS35)。パネル制御部15は、ガンマカーブ生成部14が生成したガンマカーブから表示パネル16の各画素の輝度(出力輝度)を設定する。
【0070】
(入力輝度補正)
上記構成の表示装置2では、前記実施形態1の表示装置1と異なり、シーンチェンジ有りの場合に、前フレームと現フレームとのAPLの差分を求めて、この差分を用いて現フレームの入力輝度を補正する。これにより、現フレームに対応するガンマカーブを、前フレームに対応するガンマカーブから急激に変化することを抑制する。具体的な入力輝度の補正は、前フレームと現フレームとのAPLの差分から補正される現フレームの入力輝度を、さらに、複数の点(本実施形態では5点)を予め設定した範囲(移動制限範囲)内に収まるように補正する。
【0071】
図14は、ガンマカーブを構成する入力輝度側の軸(X軸)の折れ点の移動制限を説明する図である。
図15は、X軸の折れ点の移動を制限した場合のシーンチェンジ有のフレーム(n+1)と、前フレーム(n)に対応するガンマカーブを示す。
図16は、X軸の折れ点の移動を制限しなかった場合のシーンチェンジ有のフレーム(n+1)と、前フレーム(n)に対応するガンマカーブを示す。
【0072】
ガンマカーブは、入力輝度を出力輝度に変換するためのものであり、
図15または
図16に示すように、5つの折れ点を含んでいる。折れ点1は、入力輝度を示すX軸上の折れ点1Xと出力輝度を示すY軸上の折れ点1Yとが交差する点である。同様に、折れ点2は、入力輝度を示すX軸上の折れ点2Xと出力輝度を示すY軸上の折れ点2Yとが交差する点である。折れ点3は、入力輝度を示すX軸上の折れ点3Xと出力輝度を示すY軸上の折れ点3Yとが交差する点である。折れ点4は、入力輝度を示すX軸上の折れ点4Xと出力輝度を示すY軸上の折れ点4Yとが交差する点である。折れ点5は、入力輝度を示すX軸上の折れ点5Xと出力輝度を示すY軸上の折れ点5Yとが交差する点である。
【0073】
なお、折れ点1X~5Xは、輝度値の小さい順に並べると、1X,3X,5X,4X,2Xとなる。同様に、折れ点1Y~5Yは、輝度値の小さい順に並べると、1Y,3Y,5Y,4Y,2Yとなる。
【0074】
ここで、Y軸上の折れ点1Y~5Yの値を固定すると、X軸上の折れ点1X~5Xの値が変われば、折れ点1~5も、折れ点1X~5Xが変更した値と同じ値分X軸方向に移動する。移動後の折れ点は、1X’~5X’となる。このため、
図16に示す前フレーム(n)のガンマカーブから、
図16に示す現フレーム(n+1)のガンマカーブへと大きく変わる。
【0075】
そこで、折れ点1X~5XのX軸上での移動範囲を制限することで、ガンマカーブの変化を緩やかにすることが考えられる。例えば、
図14に示すように、前フレームのAPLと現フレームのAPLとから得られた現フレームの入力輝度の折れ点(移動範囲制限前:補正前)を、各折れ点に対して予め設定された移動範囲内に収まるように補正して、補正後の折れ点(移動範囲制限後:補正後)を得る。なお、
図14では、補正前後で変更のない折れ点5Xについて省略している。
【0076】
従って、シーンチェンジ検出部22によってシーンチェンジ有と検出された場合、輝度補正部23は、フレームチェンジ有と検出された現フレーム(n+1)のAPLと、前フレーム(n)のAPLとから5つの折れ点1X~5Xの輝度値を補正する。
【0077】
ガンマカーブ生成部24は、折れ点1X~5Xのそれぞれに設定された移動範囲内に収まるように、折れ点1X~5Xの輝度値を補正することで、移動後の折れ点は、1X’~5X’となる。
図15に示す前フレーム(n)のガンマカーブから、
図15に示す現フレーム(n+1)のガンマカーブへと変更されるが、
図16に示すようなガンマカーブの大きな変化はない。
【0078】
なお、上記の処理は、シーンチェンジ検出部22によってシーンチェンジ有と検出された場合のようにシーンが大きく変わる場合に好適であるが、シーンチェンジ検出部22によってシーンチェンジ無しと検出された場合に適用してもよい。
【0079】
なお、前記実施形態1,2では、
図4に示すように、前後のフレームのヒストグラムを各BINで比較して階調差を求め、この階調差の合計と予め設定した値とを比較してシーンチェンジを判断する方法について説明した。しかしながら、シーンチェンジの判定は、これに限定されるものではない。他のシーンチェンジの判断方法としては、例えば、現フレームの画像のAPLと前フレームの画像のAPLとを比較して、閾値より大きい場合にシーンチェンジしたと判断する方法であってもよい。
【0080】
さらに、シーンチェンジの判断には、APLの値ではなく、フレームを解析して得られる解析情報に含まれる、最大輝度値、最小輝度値、最頻輝度値、特定の被写体の検出結果、エッジの検出結果を利用してもよい。
【0081】
また、シーンが変わったということが分かるような情報を画像データに付加することで、シーンチェンジを判断する方法であってもよい。例えば、テレビ放送のように、CM終了後、番組が開始または再開されるような場合、CMから番組に切り替ったこと、すなわちシーンチェンジしたと判断できる。この場合には、開始または再開する番組の先頭の画像データにシーンチェンジを判断するためのシーンチェンジ情報を埋込み、番組開始時に画像データに含まれるシーンチェンジ情報を読み込むことで、シーンチェンジしたことを判断する。CMと番組との間のシーンチェンジだけでなく、番組と別の番組とが連続して放送される場合であっても、それぞれの番組にシーンチェンジ情報を埋め込めば、番組の切り替わり、すなわち、シーンチェンジを判断することができる。ここで、シーンチェンジ情報は、少なくとも、番組を特定する情報(番組名)、放送局、放送時間を含んでいればよい。
【0082】
また、前後のフレームの相関(パターンマッチング)率で、シーンチェンジの判断をしてもよい。例えば、見た目は同じシーンでも、内部的にはシーンチェンジが発生したと判断する場合に問題が生じる。具体的には、ゴルフのグリーン上のシーンで順位(スコア)が表示された画面において、順位のみが消えたときに内部は画面全体輝度(APL)が変わったと判断し、シーンチェンジ有りとして認識し、出力輝度を変えるため、ぱかつきが発生する可能性がある。このような場合、前後フレームの相関率でシーンチェンジを判断すれば、スコアを表示する部分以外は相関が高いため、シーンチェンジと判断しないようにすることが可能となり、ぱかつきが発生しないようにできる。
【0083】
〔ソフトウェアによる実現例〕
表示装置1、2の制御ブロック(特に画像取得部11、21、シーンチェンジ検出部12、22,輝度補正部13、23、ガンマカーブ生成部14、24)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
【0084】
後者の場合、表示装置1,2は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0085】
〔まとめ〕
本発明の態様1に係る表示装置(1,2)は、複数のフレームで構成された入力画像をフレーム単位でシーンの切り替わりの有無を検出するシーンチェンジ検出部(12)と、前記シーンチェンジ検出部(12)によってシーンチェンジの有無を検出された前記フレームの画像情報と、前記フレームから過去に遡った期間に含まれる過去のフレームの画像情報とに基づいて、前記シーンの切り替わりの有無を検出された前記フレームに対する出力画像の輝度を設定する輝度設定部(輝度補正部13,ガンマカーブ生成部14)と、を備え、前記輝度設定部(輝度補正部13,ガンマカーブ生成部14)は、前記シーンチェンジ検出部(12)による検出結果に応じて異なる前記過去のフレームを切替えて出力画像の輝度を設定することを特徴としている。
【0086】
上記の構成によれば、入力画像のシーンチェンジの有無に応じて、出力画像の輝度の設定に用いる過去のフレームを異ならせることで、シーンチェンジ有りの場合と、シーンチェンジ無い場合とで、それぞれの出力画像の輝度を適切に設定することが可能となる。これにより、現フレームにおいて前フレームからシーンが大きく変化する、すなわちシーンチェンジがある場合に、緩やかな輝度変更を可能とするため、画面のちらつきを抑制することができる。
【0087】
本発明の態様2に係る表示装置は、上記態様1において、前記輝度調整部(輝度補正部13,ガンマカーブ生成部14)は、前記シーンチェンジ検出部(12)によってシーンチェンジの有無を検出された現フレームと、前記現フレームから過去に遡った所定数のフレームを含む過去フレームとを参照フレームとし、当該参照フレームの画像情報に基づき出力画像の輝度を設定し、前記シーンチェンジ有りの場合の参照フレーム数は、シーンチェンジ無しの場合の参照フレーム数よりも少ないことが好ましい。
【0088】
上記の構成によれば、シーンチェンジ有りの場合に、画面のちらつきの抑制と、追従性とのバランスを取ることができる。
【0089】
本発明の態様3に係る表示装置は、上記態様2において、前記過去フレームのフレーム数は、シーンチェンジ無しの場合よりもシーンチェンジ有の場合のほうが少なくてもよい。
【0090】
上記の構成によれば、過去フレームの数を調整するだけで、シーンチェンジ有りの場合に、画面のちらつきの抑制と、追従性とのバランスを容易に取ることができる。
【0091】
本発明の態様4に係る表示方法は、複数のフレームで構成された入力画像のシーンの切り替わりに応じて設定される出力輝度に基づき、当該入力画像に対する出力画像を表示装置に表示させる表示方法であって、前記入力画像のフレーム単位でシーンの切り替わりの有無を検出するシーンチェンジ検出ステップと、前記シーンチェンジ検出ステップによってシーンチェンジの有無を検出された前記フレームの画像情報と、前記フレームから過去に遡った期間に含まれ、且つ、前記シーンチェンジ検出ステップによる検出結果に応じて異なる過去のフレームの画像情報とに基づいて、前記シーンの切り替わりの有無を検出した前記フレームに対する出力画像の輝度を設定する輝度設定ステップと、を含むことを特徴としている。上記の構成によれば、本発明の態様1と同じ効果を奏する。
【0092】
本発明の各態様に係る表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置が備える各部(ソフトウェア要素)として動作させることにより上記表示装置をコンピュータにて実現させる表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【0093】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【0094】
1、2 表示装置
11、21 画像取得部
12、22 シーンチェンジ検出部
13、23 輝度補正部(輝度設定部)
14、24 ガンマカーブ生成部(輝度設定部)
15、25 パネル制御部(輝度設定部)
16、26 表示パネル
111、211 記憶部
112、212 解析部
131、231 参照フレーム数設定部
132、232 平均値算出部
133、233 補正信号生成部
234 APL差分算出部