(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、オーバードライブ処理を行うためには、入力される映像信号のほかに、入力される映像信号をフレーム遅延した遅延映像信号が必要となる。このため、多くのメモリアクセスが必要になるという問題があった。
【0005】
そこで本発明の課題は、メモリアクセスを低減しつつ、画質を向上させることができる技術を提供することである。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明は以下の装置、方法を提供するものである。
1)第1のフレーム周波数の第1の映像信号の実フレーム間に内挿する補間フレームを構成する第1の補間映像信号を生成する補間映像信号生成部(103)と、第1の映像信号に対し隣接する画素の情報を含む可逆フィルタ処理である第1のフィルタ処理を施して第2の映像信号を生成するフィルタ処理部(104a)と、第1の補間映像信号に対し第1のフィルタ処理を施して第2の補間映像信号を生成する補間映像信号フィルタ処理部(104b)と、第2の映像信号の実フレーム間に第2の補間映像信号を内挿して第1のフレーム周波数より高い第2のフレーム周波数の第3の映像信号を生成して出力するとともに、第3の映像信号を1フレーム分遅延させた位相で水平方向或いは垂直方向にサンプリングして遅延サンプリング映像信号を生成して出力するフレーム周波数変換部(105)と、フレーム周波数変換部が出力した第3の映像信号を水平方向或いは垂直方向にサンプリングしてサンプリング映像信号を生成するサンプリング部(106b)と、遅延サンプリング映像信号とサンプリング映像信号とから時間軸方向に強調する処理に用いるパラメータを取得するパラメータ取得部(106c)と、第3の映像信号に対し第1のフィルタ処理の逆フィルタ処理である第2のフィルタ処理を施して第4の映像信号を生成する逆フィルタ処理部(106a)と、逆フィルタ処理部が生成する第4の映像信号に対しパラメータ取得部が取得するパラメータを用いて演算を行い、第4の映像信号を時間軸方向に強調した第5の映像信号を出力する演算部(106d)とを備えることを特徴とする映像信号処理装置。
2)フレーム周波数変換部は第3の映像信号を1フレーム分遅延させた位相で水平方向或いは垂直方向にN画素毎(Nは2以上の自然数)にサンプリングして遅延サンプリング映像信号を生成し、サンプリング部(106b)はフレーム周波数変換部が出力した第3の映像信号を水平方向或いは垂直方向にN画素毎にサンプリングしてサンプリング映像信号を生成し、フィルタ処理部(104a)は第1のフィルタ処理として、N次の行列を用いることを特徴とする1)に記載の映像信号処理装置。
3)第1のフィルタ処理はアダマール行列を用いた処理であり、第2のフィルタ処理はアダマール行列の逆行列を用いた処理であることを特徴とする1)または2)記載の映像信号処理装置。
4)第1のフレーム周波数の第1の映像信号の実フレーム間に内挿する補間フレームを構成する第1の補間映像信号を生成する補間映像信号生成ステップと、第1の映像信号に対し隣接する画素の情報を含む可逆フィルタ処理である第1のフィルタ処理を施して第2の映像信号を生成するフィルタ処理ステップと、第1の補間映像信号に対し第1のフィルタ処理を施して第2の補間映像信号を生成する補間映像信号フィルタ処理ステップと、第2の映像信号の実フレーム間に第2の補間映像信号を内挿して第1のフレーム周波数より高い第2のフレーム周波数の第3の映像信号を生成して出力するとともに、第3の映像信号を1フレーム分遅延させた位相で水平方向或いは垂直方向にサンプリングして遅延サンプリング映像信号を生成して出力するフレーム周波数変換ステップと、フレーム周波数変換ステップで出力された第3の映像信号を水平方向或いは垂直方向にサンプリングしてサンプリング映像信号を生成するサンプリングステップと、遅延サンプリング映像信号とサンプリング映像信号とから時間軸方向に強調する処理に用いるパラメータを取得するパラメータ取得ステップと、第3の映像信号に対し第1のフィルタ処理の逆フィルタ処理である第2のフィルタ処理を施して第4の映像信号を生成する逆フィルタ処理ステップと、逆フィルタ処理ステップで生成された第4の映像信号に対しパラメータ取得ステップで取得されたパラメータを用いて演算を行い、第4の映像信号を時間軸方向に強調した第5の映像信号を出力する演算ステップとを含むことを特徴とする映像信号処理方法。
【発明の効果】
【0007】
本発明の装置、方法によれば、メモリアクセスを低減しつつ、画質を向上させることができる。
【発明を実施するための形態】
【0009】
以下、本発明の映像信号処理装置の一実施形態である液晶表示装置について、添付図面を参照して説明する。
[液晶表示装置の構成]
図1に示す液晶表示装置10は、液晶パネル(図示せず)に、オーバードライブ処理部106から出力した映像信号を供給して画像を表示させる液晶表示装置である。液晶パネルは、マトリクス状に配列された複数の画素を有し、電気信号を画素毎に所定時間保持して表示するアクティブマトリクス型の液晶パネルであり、上記の画素は液晶表示素子を含んで構成されている。
【0010】
以下、本実施形態の液晶表示装置10の信号処理を説明する。フレームメモリ101は、フレーム周波数60Hzで入力される入力映像信号Sinを格納した後、1フレーム期間遅延した遅延映像信号S1を出力し、動きベクトル検出部102と補間映像信号生成部103とにそれぞれ供給する。
【0011】
動きベクトル検出部102は、入力映像信号Sinと遅延映像信号S1とから、例えば公知のマッチング法などを用いてフレーム間の動きベクトルS2を検出し、検出した動きベクトルS2を補間映像信号生成部103に供給する。
【0012】
補間映像信号生成部103は、供給された動きベクトルS2を参照して動き補償補間を行って、入力映像信号Sinと遅延映像信号S1とから、補間映像信号S3を生成して出力する。補間映像信号とは、後段のフレーム周波数変換部105において、フレーム周波数を2倍に変換する際に、元々映像信号が存在しない、変換前のフレーム周波数におけるフレームの間に挿入すべき補間フレームにより構成される映像信号である。
【0013】
フィルタ処理部104aは、入力映像信号Sinに対して所定のフィルタ処理を施し、フィルタ処理された映像信号S4aを出力する。同様に、補間映像信号フィルタ処理部104bは、補間映像信号S3に対してフィルタ処理部104aと同じ特性のフィルタ処理を施し、フィルタ処理された補間映像信号S4bを出力する。フィルタ処理部104a、補間映像信号フィルタ処理部104bにおけるフィルタは、後述の逆フィルタ処理部106aで原信号を復元できるような可逆フィルタを用いる。フィルタ処理部104a、補間映像信号フィルタ処理部104bにおけるフィルタ処理については後述する。
【0014】
フレーム周波数変換部105は、フレーム周波数60Hzでフィルタ処理部104aから順次入力される映像信号S4aと、補間映像信号フィルタ処理部104bから同じくフレーム周波数60Hzで入力される補間映像信号S4bとを、フレーム周波数変換部105内の時系列変換メモリ105aに保持する。そして実フレームとして映像信号S4aを、補間フレームとして補間映像信号S4bを、交互に選択することによりフレーム周波数120Hzである映像信号S5aを生成し、オーバードライブ処理部106へ出力する。映像信号S5aは、入力された映像信号S4a及び補間映像信号S4bと同じ解像度となるよう、時系列変換メモリ105aから取得するものとする。
【0015】
フレーム周波数変換部105はまた、映像信号S5aを1フレーム遅延させた位相で水平方向或いは垂直方向にサンプリングして、低い解像度の遅延映像信号S5b’を生成し、後述のパラメータ取得部106cへ出力する。
【0016】
フレーム周波数変換部105の後段のオーバードライブ処理部106は、逆フィルタ処理部106aと、サンプリング部106bと、パラメータ取得部106cと、演算部106dとを備えている。
【0017】
フレーム周波数変換部105が出力した映像信号S5aは、逆フィルタ処理部106aとサンプリング部106bとへ送られる。逆フィルタ処理部106aは、映像信号S5aに対して、フィルタ処理部104a、補間映像信号フィルタ処理部104bで用いたフィルタと逆特性のフィルタを用いた逆フィルタ処理を行い、逆フィルタ処理された映像信号S6aを出力する。フィルタ処理部104a、補間映像信号フィルタ処理部104bでフィルタ処理を行われた映像信号は、逆フィルタ処理部106aで原信号に復元されるので、映像信号S6aは、映像信号Sinの実フレーム間に遅延映像信号S3を内挿した映像信号となる。
【0018】
サンプリング部106bは、映像信号S5aを、水平方向或いは垂直方向にサンプリングして、低い解像度の映像信号S5a’を取得し、パラメータ取得部106cへ出力する。
【0019】
オーバードライブ処理には、強調する映像信号のほかにそのフレーム遅延信号を必要とする。本実施形態の液晶表示装置は、フレーム周波数変換の際に時系列変換メモリ105aに記憶された信号を利用するので、オーバードライブ処理のためだけにフレームメモリを設ける必要がない。また、パラメータ取得のための映像信号としてサンプリングした映像信号を用いることにより、メモリアクセスを低減することができる。さらに、サンプリングした映像信号を用いてパラメータを取得するので、パラメータ取得部106cの処理を低減することができる。
【0020】
パラメータ取得部106cは、サンプリング部106bから送られたサンプリングした映像信号S5a’と、フレーム周波数変換部105から送られたサンプリングした遅延映像信号S5b’とを用いて、前後のフレームの相関を基にオーバードライブ処理に用いるパラメータS6bを算出する。パラメータ取得部106cは、取得したパラメータS6bを演算部106dへ出力する。
【0021】
なお、サンプリング部106bとパラメータ取得部106cとをひとつのパラメータ処理部106cとし、パラメータ取得部106cが前述のサンプリングの処理を行ってもよい。
【0022】
演算部106dは、逆フィルタ処理を施された映像信号S6aに対して、パラメータ取得部106cで取得したパラメータS6bを用いて、時間軸方向に強調するオーバードライブ処理を行い、映像信号S6aを時間軸方向に強調した出力映像信号Soutを出力する。
【0023】
ここで、動画ぼけを低減させるためのオーバードライブ処理について説明する。オーバードライブ処理の一例としては、たとえば元の入力された映像信号をfa、映像信号faをフレーム遅延した映像信号をfb、映像信号faをオーバードライブ処理で強調した映像信号をfcとしたとき、これらの関係は式(1)で表される。
【0024】
【数1】
ここで、k(fa−fb)を強調処理のためのパラメータとする。パラメータに含まれる係数kは、映像信号faを強調する度合いを決定するもので、液晶パネルの応答特性に応じて設定される。信号を入力してから表示までの応答が速く残像が少ない液晶パネルでは係数kは小さく設定され、応答が遅く残像が多い液晶パネルでは係数kは大きく設定される。このように係数kを変えることにより、映像信号faと映像信号fbとのデータ値の組み合わせが同じ場合でも、液晶パネルの応答特性に応じて異なるパラメータとすることが好ましい。
【0025】
式(1)において、強調処理のためのパラメータに用いる映像信号fa、fbとして、サンプリングした映像信号fa1、fb1を用いることとし、強調処理する元の映像信号をfa0とすると
【0026】
【数2】
となる。これを本実施形態に適用し、強調する映像信号fa0をS6a、映像信号fa1をS5a’、遅延映像信号fb1をS5b’、強調後の出力映像信号fcをSoutとすると、これらの関係は式(3)で表される。
【0027】
【数3】
ここで、強調処理のためのパラメータk(S5a’−S5b’)が、
図1におけるパラメータS6bに相当する。パラメータS6bは、映像信号S5a’と遅延映像信号S5b’とから一意に決定するルックアップテーブルなどを用いて取得すればよい。したがって演算部106dは、映像信号S6aとパラメータS6bとを加算すればよい。なお、オーバードライブ処理に用いる式や係数の内容はこれに限るものではない。
【0028】
次に、前述のフィルタ処理部104a、補間映像信号フィルタ処理部104bにおけるフィルタ処理について説明する。フィルタ処理部104a、補間映像信号フィルタ処理部104bで用いるフィルタは、逆フィルタ処理部106aにおける逆フィルタ処理により原信号を復元できるような可逆フィルタである。また、サンプリングにより映像信号S5a’、遅延映像信号S5b’を取得する際に、サンプリングされない画素の情報が含まれるよう、隣接画素の情報を含むような処理を行うフィルタとする。
【0029】
このような条件を満たすフィルタの例として、アダマール行列を用いるフィルタを説明する。アダマール行列は要素が1または−1であるため演算が簡単なものとなり、画像処理において好適である。また、サンプリング部106bにおいて映像信号S5a’、遅延映像信号S5b’を取得する際にサンプリングする画素周期をN(Nは2以上の自然数)とするとき、本実施例のフィルタはN次の行列を用いることとする。これにより、映像信号S5a’、遅延映像信号S5b’を取得する際、簡単なフィルタ処理で、フィルタ処理された映像信号がサンプリングされない画素の情報を含むこととなる。
【0030】
例えば、水平2画素毎にサンプリングする場合を考える。周期Nは2であるため、フィルタの係数として2次のアダマール行列を用いる。水平に隣接する画素をpe、po、それぞれフィルタ処理した後の画素を画素pe’、po’とすると、この場合のフィルタ処理は式(4)のような行列の式で表される。なお、フィルタ処理後に画素データのビット幅を増加させないために、アダマール行列の前に1/2の係数を加えている。
【0031】
【数4】
式(4)を展開すると、画素pe’、po’はそれぞれ以下のように表される。
【0033】
【数6】
このときの画素の関係を
図2a)に示す。式(5)、式(6)および
図2a)からわかるように、このフィルタ処理において画素pe’、po’はそれぞれフィルタ処理前の画素pe、poの情報を含む。これにより、オーバードライブ処理部106内のサンプリング部106bにおいてサンプリングを行っても、サンプリングされた画素にサンプリングされない画素の情報が含まれることになる。
【0034】
また、オーバードライブ処理部106内の逆フィルタ処理部106aでは、フィルタ処理部104a、補間映像信号フィルタ処理部104bで式(4)のようなフィルタ処理を施した場合、式(7)のような逆行列を用いて逆フィルタ処理を行う。ここで、水平に隣接する画素pe’、po’にそれぞれ逆フィルタ処理した後の画素を、画素pe”、po”とする。
【0035】
【数7】
このような逆行列を用いて逆フィルタ処理を行うと、画素pe”、po”はそれぞれ以下のように算出される。
【0037】
【数9】
このときの画素の関係を
図2b)に示す。式(8)、式(9)および
図2b)からわかるように、逆フィルタ処理によりpe”およびpo”は元のpeおよびpoに戻る。したがって、上記の例のアダマール行列を用いたフィルタ処理は可逆処理であることがわかる。
[液晶表示装置によるオーバードライブの例]
次に、映像信号に対してサンプリングを行い、オーバードライブ処理のためのパラメータを取得する例について説明する。
【0038】
図3a)に示す映像信号の例は、遅延映像信号fbにおける前フレームfbfと、映像信号faにおける現フレームfafという、時間軸方向に並ぶ前後フレームの例である。前フレームfbfにおいてp0の位置にある1画素幅の物体であるデータd10が、水平に2画素移動して現フレームfafにおいてはデータd02としてp2の位置に存在する。また、前フレームfbfにおいてp5の位置にある、データd10とは別の1画素幅の物体であるデータd15が、水平に2画素移動して現フレームfafにおいてはデータd07としてp7の位置に存在する。物体の存在する画素の画素値をa、それ以外の画素の画素値をbとする。このような映像信号に対し、フィルタ処理やサンプリング処理を行わず、オーバードライブ処理のパラメータを取得する。すると
図3b)に示すように、p0、p5ではk(a−b)、p2、p7ではk(b−a)、その他は0のパラメータが取得される。
【0039】
一方、メモリアクセスを低減するため、画素をp0、p2、p4、p6の位置で2画素毎にサンプリングした場合の例を
図3c)に示す。このとき、p1、p3、p5、p7の位置にある画素は、それぞれp0、p2、p4、p6の画素と同じ画素値となる。このような映像信号に対しオーバードライブ処理を行った場合、p0、p2、p4、p6の位置においては、
図3b)と同じ適切なパラメータが取得できる。しかし、p1、p3、p5、p7の位置においては、不適切なパラメータを取得することになる。
【0040】
ここで不適切なパラメータとは、本来は前フレームfbfと現フレームfafとの間でデータ変化がなかった画素に対して強調処理を施してしまったり、逆に本来は前フレームfbfと現フレームfafとの間でデータ変化があった画素に対して強調処理を施さないといったパラメータをいう。
具体的には、p1、p3のように本来は前フレームfbfと現フレームfafとの間でデータ変化がない画素に対して、k(a−b)やk(b−a)などのパラメータが取得され、強調処理を施してしまう。また、p5、p7のように本来は前フレームfbfと現フレームfafとの間でデータ変化がある画素に対して0のパラメータが取得され、強調処理が全くなされなくなってしまう。
【0041】
これにより、適切に強調処理が施される画素と不適切な強調処理が施される画素とで、その差が目立って観察されるので、観察者に違和感を与え結果的に画質の低下を招くこととなる。また、特に1画素幅の物体は、残像により認識することが難しいため、オーバードライブ処理により残像を低減させることが望まれる。しかしながら
図3c)の例では、p5、p7に本来存在するはずの情報が無いため、1画素幅の物体に強調処理を施すことができない。
【0042】
これに対し、本実施例の液晶表示装置10で、前述のようなフィルタ処理を行ったのちにサンプリングを行う例を
図3d)に示す。本実施例ではフィルタ処理を行うことで、
図3c)に示すようにp0、p2、p4、p6の位置の画素はそれぞれ元画像のp0とp1、p2とp3、p4とp5、p6とp7のデータの混合データとなっている。混合データの画素値をcとする。さらに画素のサンプリングによってp1、p3、p5、p7の位置にある画素はそれぞれp0、p2、p4、p6の画素と同じデータを有する。この場合、p0〜p7のいずれの位置においても得られるパラメータは適切なパラメータとは異なるものとなる。たとえば、p0の位置のパラメータは、適切なパラメータk(a−b)に対しk(a−c)である。画素値cは画素値aと画素値bの混合データであり、aとbの間の値となるので、パラメータk(a−c)は適切なパラメータk(a−b)よりも小さく強調処理の効果は弱まる。
【0043】
ただし、得られたパラメータは不適切なパラメータではなく、オーバードライブ処理の効果を失うわけではない。同様にp2、p5、p7の位置において得られるパラメータは、強調処理の効果が弱まるが不適切なパラメータではない。
【0044】
また、p1、p3、p4、p6の位置のパラメータは、データ変化がなかった画素に対して強調処理を施してしまうので不適切なパラメータである。ただし、フィルタ処理を行わない場合のパラメータとの差は小さく、不適切な度合いを軽減することができる。
【0045】
これにより、適切に強調処理が施される画素と不適切な強調処理が施される画素とでその差が緩和されるので、観察者に違和感を与えず、動画ぼけを低減して画質を向上することができる。また、
図3d)に示すように、サンプリング後もp5、p7に物体の情報があるため、1画素幅の物体に対しても強調処理を施すことができる。このように、本実施例の液晶表示装置では、サンプリングによりメモリアクセスを低減することができ、オーバードライブ処理により動画ぼけを低減して画質を向上する効果を得ることができる。
【0046】
なお、本実施形態ではフレーム周波数を2倍に変換する例を示しているが、フレーム周波数を3倍や4倍に変換するものや、コマ数の少ないフィルムコンテンツのフレーム周波数を変換して増加させ、動きの不連続さ(ジャダー)を補正するフレーム周波数変換装置であってもよい。フレーム周波数を3倍以上にする場合などは補間映像信号S3が複数存在するので、フレーム周波数変換部105においてフレームを適宜選択して出力すればよい。