ホーム > 特許ランキング > サンガテクノロジー合同会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-62437(P2017-62437A)
(43)【公開日】2017年3月30日
(54)【発明の名称】映像信号処理装置、表示装置及び映像信号処理方法
(51)【国際特許分類】
G09G 5/00 20060101AFI20170310BHJP
H04N 1/405 20060101ALI20170310BHJP
G09G 5/36 20060101ALI20170310BHJP
【ＦＩ】
G09G5/00 520J
H04N1/40 C
G09G5/00 550H
G09G5/36 510M
G09G5/36 520P
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
【全頁数】25
(21)【出願番号】特願2015-188890(P2015-188890)
(22)【出願日】2015年9月25日
(71)【出願人】
【識別番号】515268135
【氏名又は名称】サンガテクノロジー合同会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】網野 忠
【テーマコード（参考）】
5C077
5C182
【Ｆターム（参考）】
5C077LL19
5C077MP01
5C077NN02
5C077NN09
5C077NP03
5C077PP58
5C077PQ08
5C077PQ25
5C077SS07
5C182AB01
5C182AB02
5C182AB08
5C182AC43
5C182CA15
5C182CA51
5C182CB44
5C182DA14
5C182DA54
(57)【要約】
【課題】人の視点が映像信号における物体等に追従して動くとき及び動かないときのどちらにおいてもディザリングにおける画質の劣化を抑制できる映像信号処理装置、表示装置及び映像信号処理方法を提供する。【解決手段】映像信号が示すフレームの画素それぞれの動きベクトルからフレームにおける出現頻度が高い動きベクトルである支配的動きベクトルを選定する選定部１１０と、予め定められた複数のパターンデータのうち、映像信号の表示される領域のうちの所定の領域が支配的動きベクトルに従って動くとき、及び、所定の領域が動かないときのどちらにおいても、所定の領域のディザリングにおける画質の劣化を抑制するパターンデータを決定する決定部１３０と、決定部１３０が決定したパターンデータを用いて映像信号をディザリングするディザリング部１４０と、を備える。
【選択図】図７
【特許請求の範囲】
【請求項1】
ディザリングのパターンを示すパターンデータによって映像信号を時空間的にディザリングすることで映像信号に含まれる画素値を示すｎビットデータをｍ（＜ｎ）ビットデータに変換する映像信号処理装置であって、
前記映像信号が示すフレームの画素それぞれの動きベクトルから当該フレームにおける出現頻度が高い動きベクトルである支配的動きベクトルを選定する選定部と、
予め定められた複数のパターンデータのうち、前記映像信号の表示される領域のうちの所定の領域が前記支配的動きベクトルに従って動くとき、及び、当該所定の領域が動かないときのどちらにおいても、当該所定の領域のディザリングにおける画質の劣化を抑制するパターンデータを決定する決定部と、
前記決定部が決定した前記パターンデータを用いて前記映像信号をディザリングするディザリング部と、を備える
映像信号処理装置。
前記映像信号が示すフレームの画素それぞれの動きベクトルから当該フレームにおける出現頻度が高い動きベクトルである支配的動きベクトルを選定する選定部と、
予め定められた複数のパターンデータのうち、前記映像信号の表示される領域のうちの所定の領域が前記支配的動きベクトルに従って動くとき、及び、当該所定の領域が動かないときのどちらにおいても、当該所定の領域のディザリングにおける画質の劣化を抑制するパターンデータを決定する決定部と、
前記決定部が決定した前記パターンデータを用いて前記映像信号をディザリングするディザリング部と、を備える
映像信号処理装置。
【請求項2】
さらに、前記複数のパターンデータと複数の動きベクトルとの組み合わせ毎に予め定められた、ディザリングにおける画質の劣化度合いを示す劣化度合いデータを記憶する記憶部を備え、
前記決定部は、前記劣化度合いデータに基づいて前記パターンデータを決定する
請求項１に記載の映像信号処理装置。
前記決定部は、前記劣化度合いデータに基づいて前記パターンデータを決定する
請求項１に記載の映像信号処理装置。
【請求項3】
前記劣化度合いデータは、前記所定の領域が前記複数の動きベクトルに従ってそれぞれ動くときの、当該所定の領域において所定数の連続したフレームにおける平均画素値が所望の画素値となっている領域の面積占有率に応じて予め定められる
請求項２に記載の映像信号処理装置。
請求項２に記載の映像信号処理装置。
【請求項4】
前記決定部は、前記所定の領域が前記支配的動きベクトルに従って動くときの劣化度合いデータに基づくスコアデータが最適となるパターンデータを決定する
請求項２又は３に記載の映像信号処理装置。
請求項２又は３に記載の映像信号処理装置。
【請求項5】
前記選定部は、出現頻度が高い順番に優先順位を対応付けて複数の支配的動きベクトルを選定し、
前記決定部は、
前記優先順位に応じて前記劣化度合いデータに重み付けをし、
前記スコアデータとして、前記複数の支配的動きベクトル毎の重み付けをした劣化度合いデータを足し合わせたデータが最適となるパターンデータを決定する
請求項４に記載の映像信号処理装置。
前記決定部は、
前記優先順位に応じて前記劣化度合いデータに重み付けをし、
前記スコアデータとして、前記複数の支配的動きベクトル毎の重み付けをした劣化度合いデータを足し合わせたデータが最適となるパターンデータを決定する
請求項４に記載の映像信号処理装置。
【請求項6】
前記パターンデータは、前記ｎビットデータの上位ｍビットだけを取り出すことで当該ｎビットデータから前記ｍビットデータに変換する第１変換を行うか、当該ｎビットデータの上位ｍビットだけを取り出した値に１を加算することで当該ｎビットデータから当該ｍビットデータに変換する第２変換を行うかを決定するのに用いられる値であるディザリング値の変化のパターンを示すデータである
請求項１〜５のいずれか１項に記載の映像信号処理装置。
請求項１〜５のいずれか１項に記載の映像信号処理装置。
【請求項7】
前記ディザリング部は、前記フレームの画素毎に、前記ｎビットデータの下位（ｎ−ｍ）ビットの値と、前記映像信号を構成するフレーム列における当該フレームの位置と、前記ディザリング値とに依存して、前記第１変換又は前記第２変換を行う
請求項６に記載の映像信号処理装置。
請求項６に記載の映像信号処理装置。
【請求項8】
前記ディザリング部は、２ｉの画素、及び、２ｉの連続する前記映像信号が示すフレームを単位として、ｎビットデータを（ｎ−ｉ）ビットデータに変換するディザリングをする
請求項１〜７のいずれか１項に記載の映像信号処理装置。
請求項１〜７のいずれか１項に記載の映像信号処理装置。
【請求項9】
請求項１〜８のいずれか１項に記載の映像信号処理装置と、
前記映像信号処理装置でｎビットデータをｍビットデータに変換された映像信号を表示する表示部と、を備える
表示装置。
前記映像信号処理装置でｎビットデータをｍビットデータに変換された映像信号を表示する表示部と、を備える
表示装置。
【請求項10】
ディザリングのパターンを示すパターンデータによって映像信号を時空間的にディザリングすることで映像信号に含まれる画素値を示すｎビットデータをｍ（＜ｎ）ビットデータに変換する映像信号処理方法であって、
前記映像信号が示すフレームの画素それぞれの動きベクトルから当該フレームにおける出現頻度が高い動きベクトルである支配的動きベクトルを選定する選定ステップと、
予め定められた複数のパターンデータのうち、前記映像信号の表示される領域のうちの所定の領域が前記支配的動きベクトルに従って動くとき、及び、当該所定の領域が動かないときのどちらにおいても、当該所定の領域のディザリングにおける画質の劣化を抑制するパターンデータを決定する決定ステップと、
前記決定ステップで決定した前記パターンデータを用いて前記映像信号をディザリングするディザリングステップと、を含む
映像信号処理方法。
前記映像信号が示すフレームの画素それぞれの動きベクトルから当該フレームにおける出現頻度が高い動きベクトルである支配的動きベクトルを選定する選定ステップと、
予め定められた複数のパターンデータのうち、前記映像信号の表示される領域のうちの所定の領域が前記支配的動きベクトルに従って動くとき、及び、当該所定の領域が動かないときのどちらにおいても、当該所定の領域のディザリングにおける画質の劣化を抑制するパターンデータを決定する決定ステップと、
前記決定ステップで決定した前記パターンデータを用いて前記映像信号をディザリングするディザリングステップと、を含む
映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディザリングを行う映像信号処理装置、表示装置及び映像信号処理方法に関する。
【背景技術】
【0002】
現在、一般的な平面テレビの仕様は、例えば、解像度が１９２０（水平画素）×１０８０（垂直画素）、リフレッシュレートが１２０Ｈｚ（Ｈｅｒｔｚ）となっており、１画素は８ビットで表される。このようなテレビでは、ＳＤ−ＩＣ（Ｓｏｕｒｃｅ Ｄｒｉｖｅｒ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を８個搭載している場合、Ｔ−ｃｏｎ（Ｔｉｍｉｎｇ−Ｃｏｎｔｒｏｌｌｅｒ）とＳＤ−ＩＣとの間の伝送速度が０．７５Ｇｂｐｓ（ｂｉｔ ｐｅｒ ｓｅｃｏｎｄ）の伝送速度で映像信号を伝送できるインターフェースが必要となる。また、近年、解像度が３８４０（水平画素）×２１６０（垂直画素）である４ｋテレビが市場に出てきている。４ｋテレビでは、Ｔ−ｃｏｎとＳＤ−ＩＣとの間を３Ｇｂｐｓの伝送速度で映像信号を伝送できるインターフェースが必要となる。しかし、現在、一般的に使われているシリアルインターフェースでは必要とする伝送速度を満足させることができないため、複数のシリアルインターフェースが使われることで、Ｔ−ｃｏｎとＳＤ−ＩＣとの間の伝送が行われている。例えば、２．５Ｇｂｐｓのシリアルインターフェースであれば、２系統のシリアルインターフェースが使われることで伝送が行われている。
【0003】
そこで、少ないビット数のデータを時空間的に散らして多くのビット数と同等の階調表現を行う、ディザリングが提案されている（例えば、特許文献１参照）。ディザリングにより、多くのビット数のデータが少ないビット数のデータで表現され伝送速度を遅くすることができるため、現在、一般的に使われているインターフェースで必要とする伝送速度を満足させることができる。
【0004】
また、ディザリングを採用することにより、扱われるビット数が削減されるため、ＳＤ−ＩＣに内蔵されているＤＡＣ（Ｄｉｇｉｔａｌ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）のビット数が小さくなり、ＳＤ−ＩＣのコストダウンを図ることができる。
【0005】
しかしながら、ディザリングされた映像において動きがない静止画の場合には問題なく所望の階調で見ることができるが、動きがある動画の場合には物体等の動きに人の目が追従するため、動いている物体等に画質の劣化が発生するという課題がある。
【0006】
そこで、映像信号における動き情報に従って、ディザリングをするためのパターンデータを変更することで、映像信号において動いている物体等に発生する画質の劣化を抑制する技術が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２００５−０８４５１６号公報
【特許文献2】特願２０１４−２００４６６号
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、映像信号において物体等が動き出す時に、人の視点は物体の動き始めからやや遅れて物体の動きに追従する。したがって、映像信号における動き情報に従ってパターンデータを変更する場合、人の視点が止まっているときにもパターンデータを変更してしまう。つまり、人の視点が止まっているときに見ている動画に、画質の劣化が発生してしまう。なお、物体等の動き出しから一定時間はパターンデータを変更しない方法が考えられるが、人の視点が動き出す時間には個人差があるため、有効な対策とはなりにくい。
【0009】
そこで、本発明は、人の視点が映像信号における物体等に追従して動くとき及び動かないときのどちらにおいてもディザリングにおける画質の劣化を抑制できる映像信号処理装置、表示装置及び映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明の一態様に係る映像信号処理装置は、ディザリングのパターンを示すパターンデータによって映像信号を時空間的にディザリングすることで映像信号に含まれる画素値を示すｎビットデータをｍ（＜ｎ）ビットデータに変換する映像信号処理装置であって、前記映像信号が示すフレームの画素それぞれの動きベクトルから当該フレームにおける出現頻度が高い動きベクトルである支配的動きベクトルを選定する選定部と、予め定められた複数のパターンデータのうち、前記映像信号の表示される領域のうちの所定の領域が前記支配的動きベクトルに従って動くとき、及び、当該所定の領域が動かないときのどちらにおいても、当該所定の領域のディザリングにおける画質の劣化を抑制するパターンデータを決定する決定部と、前記決定部が決定した前記パターンデータを用いて前記映像信号をディザリングするディザリング部と、を備える。
【0011】
これにより、映像信号において支配的に動いている所定の領域（物体）の画質の劣化は抑制される。また、所定の領域が動かない場合（人の視点が映像信号において支配的に動いている物体に追従して動かない場合）でも、画質の劣化は抑制される。したがって、人の視点が映像信号における物体等に追従して動くとき及び動かないときのどちらにおいてもディザリングにおける画質の劣化を抑制できる。
【0012】
また、さらに、前記複数のパターンデータと複数の動きベクトルとの組み合わせ毎に予め定められた、ディザリングにおける画質の劣化度合いを示す劣化度合いデータを記憶する記憶部を備え、前記決定部は、前記劣化度合いデータに基づいて前記パターンデータを決定する。
【0013】
これにより、複数のパターンデータと複数の動きベクトルとの組み合わせ毎に生じる画質の劣化の度合いに応じて予め定められた劣化度合いデータに基づいて、例えば劣化度合いデータを数値によって表すことで、数値の比較等によりパターンデータを容易に決定することができる。
【0014】
また、前記劣化度合いデータは、前記所定の領域が前記複数の動きベクトルに従ってそれぞれ動くときの、当該所定の領域において所定数の連続したフレームにおける平均画素値が所望の画素値となっている領域の面積占有率に応じて予め定められる。
【0015】
これにより、ディザリングにおける画質の劣化度合いを面積占有率の算出によって容易に予め定めることができる。
【0016】
また、前記決定部は、前記所定の領域が前記支配的動きベクトルに従って動くときの劣化度合いデータに基づくスコアデータが最適となるパターンデータを決定する。
【0017】
これにより、スコアデータは、例えば、複数の支配的動きベクトル毎の劣化度合いデータを総合したデータであり、スコアデータが最適なとき、劣化度合いデータはそれぞれ劣化が少ないことを示すデータとなる。したがって、支配的に動いている物体が複数ある場合、人の視点が映像信号において支配的に動いている物体のうちのどの物体に追従して動いても、ディザリングにおける画質の劣化を抑制できる。
【0018】
また、前記選定部は、出現頻度が高い順番に優先順位を対応付けて複数の支配的動きベクトルを選定し、前記決定部は、前記優先順位に応じて前記劣化度合いデータに重み付けをし、前記スコアデータとして、前記複数の支配的動きベクトル毎の重み付けをした劣化度合いデータを足し合わせたデータが最適となるパターンデータを決定する。
【0019】
これにより、出現頻度の高い支配的動きベクトルほど、例えば、大きく重み付けがされる。したがって、映像信号において複数の支配的に動いている物体のうち、最も支配的に動いている物体（例えば、映像信号において最も大きい物体）に追従して人の視線が動くほど、ディザリングにおける画質の劣化を抑制できる。
【0020】
また、前記パターンデータは、前記ｎビットデータの上位ｍビットだけを取り出すことで当該ｎビットデータから前記ｍビットデータに変換する第１変換を行うか、当該ｎビットデータの上位ｍビットだけを取り出した値に１を加算することで当該ｎビットデータから当該ｍビットデータに変換する第２変換を行うかを決定するのに用いられる値であるディザリング値の変化のパターンを示すデータである。
【0021】
これにより、映像信号に含まれる画素値を示すｎビットデータの上位ｍビットだけを取り出すだけで、容易にディザリングを行うことができる。
【0022】
また、前記ディザリング部は、前記フレームの画素毎に、前記ｎビットデータの下位（ｎ−ｍ）ビットの値と、前記映像信号を構成するフレーム列における当該フレームの位置と、前記ディザリング値とに依存して、前記第１変換又は前記第２変換を行う。
【0023】
これにより、ｎビットデータの下位（ｎ−ｍ）ビットの値と、映像信号を構成するフレーム列におけるフレームの位置と、ディザリング値とによって、容易にディザリングを行うことができる。
【0024】
また、前記ディザリング部は、２ｉの画素、及び、２ｉの連続する前記映像信号が示すフレームを単位として、ｎビットデータを（ｎ−ｉ）ビットデータに変換するディザリングをする。
【0025】
これにより、映像信号を空間的に２ｉの画素、時間的に２ｉの連続するフレームに散らしてディザリングを行うことができる。
【0026】
本発明の一態様に係る表示装置は、上記の映像信号処理装置と、前記映像信号処理装置でｎビットデータをｍビットデータに変換された映像信号を表示する表示部と、を備える。
【0027】
これにより、映像信号において支配的に動いている所定の領域（物体）の画質の劣化は抑制される。また、所定の領域が動かない場合（人の視点が映像信号において支配的に動いている物体に追従して動かない場合）でも、画質の劣化は抑制される。したがって、人の視点が映像信号における物体等に追従して動くとき及び動かないときのどちらにおいてもディザリングにおける画質の劣化を抑制できる。
【0028】
本発明の一態様に係る映像信号処理方法は、ディザリングのパターンを示すパターンデータによって映像信号を時空間的にディザリングすることで映像信号に含まれる画素値を示すｎビットデータをｍ（＜ｎ）ビットデータに変換する映像信号処理方法であって、前記映像信号が示すフレームの画素それぞれの動きベクトルから当該フレームにおける出現頻度が高い動きベクトルである支配的動きベクトルを選定する選定ステップと、予め定められた複数のパターンデータのうち、前記映像信号の表示される領域のうちの所定の領域が前記支配的動きベクトルに従って動くとき、及び、当該所定の領域が動かないときのどちらにおいても、当該所定の領域のディザリングにおける画質の劣化を抑制するパターンデータを決定する決定ステップと、前記決定ステップで決定した前記パターンデータを用いて前記映像信号をディザリングするディザリングステップと、を含む。
【0029】
これにより、映像信号において支配的に動いている所定の領域（物体）の画質の劣化は抑制される。また、所定の領域が動かない場合（人の視点が映像信号において支配的に動いている物体に追従して動かない場合）でも、画質の劣化は抑制される。したがって、人の視点が映像信号における物体等に追従して動くとき及び動かないときのどちらにおいてもディザリングにおける画質の劣化を抑制できる。
【発明の効果】
【0030】
本発明により、人の視点が映像信号における物体等に追従して動くとき及び動かないときのどちらにおいてもディザリングにおける画質の劣化を抑制できる。
【図面の簡単な説明】
【0031】
【発明を実施するための形態】
【0032】
（本発明の基礎となった知見）まず、物体等の動きがない静止画の映像信号を時空間的にディザリングすることで、例えば、映像信号に含まれる画素値を示す８ビットデータを６ビットデータに変換する動作を説明する。
【0033】
図１は、ディザリングにより８ビットデータを６ビットデータで表現する方法を示す図である。
【0034】
図１では、４つの画素、及び、４つの連続するフレームを単位として、ｎビットデータを（ｎ−２）ビットデータに変換するディザリングが行われる。ここではｎ＝８として、８ビットデータを６ビットデータに変換するディザリングが行われる。
【0035】
図１では、４つの画素が１つの単位として扱われる。ここで、４つの画素の単位を画素単位とする。例えば、解像度が１９２０×１０８０のテレビでは、９６０×５４０個の画素単位がある。また、第１フレームから第４フレームの４つの連続するフレームが１つの単位として扱われる。ここで、第１フレームから第４フレームの４つの連続するフレームをフレーム単位とする。図１では、フレーム単位の各フレームにおける１つの画素単位のディザリング値と画素値とが示されている。ディザリング値は、各フレームの画素単位に対応付けられる値であって、例えば、０又は１で表される。ディザリング値が０の場合、対応する画素は、８ビットデータの上位６ビットだけを取り出して６ビットデータに変換する第１変換が行われる。ディザリング値が１の場合、対応する画素は、８ビットデータの上位６ビットだけを取り出した値に１を加算して６ビットデータに変換する第２変換が行われる。つまり、１０進数において４が加算されることになる。ディザリング値は、図１に示されるように、フレーム単位の各フレームそれぞれに決められる。ここで、各フレームの画素単位に対応付けられるディザリング値の変化のパターンをパターンデータと呼ぶ。つまり、パターンデータは、例えば、フレーム単位として第１フレームから第４フレームの４つの連続するフレーム毎に繰り返し変化するディザリング値のパターンであり、実際の映像に対して周期的に適応される。
【0036】
図１に示される時間平均した画素値は、フレーム単位のフレーム毎に変化するディザリング値に対応した画素値を時間平均した時の画素値を示す。例えば、８ビット信号の下位２ビットが０１の場合、左上の画素は第１フレームでは画素値５２、第２フレームでは画素値４８、第３フレームでは画素値４８、第４フレームでは画素値４８となり、これらをフレーム単位で時間平均すると画素値４９となる。右上、左下及び右下の画素も同様にフレーム単位で時間平均すると４９となる。
【0037】
８ビットデータでは１〜２５６までの２５６段階の画素値で階調が表現されるが、８ビットデータの上位６ビットでは４、８、１２、・・・、２５６の６４段階のみの画素値で階調が表現される。つまり、６４段階の階調表現では、例えば画素値４８と５２との間の４９、５０及び５１の階調が表現できない。しかし、図１の時間平均した画素値に示されるように、８ビットデータで表現される４９、５０及び５１の画素値が、８ビットデータの上位６ビットで表現される４８及び５２の画素値で表現されている。
【0038】
図１に示される８ビット信号の下位２ビットである０１、１０及び１１はそれぞれ、４９を２進数で表した００１１０００１、５０を２進数で表した００１１００１０、及び、５１を２進数で表した００１１００１１の下位２ビットのことである。
【0039】
８ビット信号の下位２ビットが０１の場合には、画素値４９が、４９（００１１０００１）の上位６ビットだけを取り出した４８（００１１００００）及び上位６ビットに１を加算した５２（００１１０１００）で表現される。つまり、フレーム毎に画素値４８又は５２で表示されていた画素が、フレーム単位で時間平均することで、人の目には画素値４９で見られる。ここで、４９（００１１０００１）の上位６ビットだけを取り出すとは、８ビットのうちの上位６ビットを００１１００から変化させず、８ビットのうちの下位２ビットを００に固定することである。また、４９（００１１０００１）の上位６ビットに１を加算するとは、８ビットのうちの上位６ビットを００１１００に１を加算した００１１０１にし、８ビットのうちの下位２ビットを００に固定することである。つまり８ビットのうちの上位６ビットに１を加算するとは、１０進数において４を加算することになる。
【0040】
具体的には、以下のようにして８ビットデータが６ビットデータで表現される。
【0041】
第１フレームでは、左上の画素にディザリング値１、その他の画素にディザリング値０が対応付けられたディザリング値の集まりが決められる。このディザリング値の集まりにより、左上の画素は第２変換が行われ、その他の画素は第１変換が行われる。つまり、左上の画素の画素値は、画素値４９から、４９の上位６ビットに１を加算した（１０進数において４を加算した）画素値５２に変換される。その他の画素の画素値は、画素値４９から、４９の上位６ビットである画素値４８に変換される。
【0042】
第２フレームでは、右下の画素にディザリング値１、その他の画素にディザリング値０が対応付けられたディザリング値の集まりが決められる。つまり、右下の画素の画素値は、画素値４９から、画素値５２に変換される。その他の画素の画素値は、画素値４９から、画素値４８に変換される。
【0043】
第３フレームでは、右上の画素にディザリング値１、その他の画素にディザリング値０が対応付けられたディザリング値の集まりが決められる。つまり、右上の画素の画素値は、画素値４９から、画素値５２に変換される。その他の画素の画素値は、画素値４９から、画素値４８に変換される。
【0044】
第４フレームでは、左下の画素にディザリング値１、その他の画素にディザリング値０が対応付けられたディザリング値の集まりが決められる。つまり、左下の画素の画素値は、画素値４９から、画素値５２に変換される。その他の画素の画素値は、画素値４９から、画素値４８に変換される。
【0045】
そして、フレーム単位の各フレームにおける画素単位の画素値を時間平均すると、画素単位の各画素の画素値は４９となる。このようにフレーム単位で時間平均することで、画素単位の画素値は人の目からは時間平均的に８ビットデータの画素値である４９の階調として見られる。
【0046】
同様に、８ビット信号の下位２ビットが１０の場合、画素値５０が、５０（００１１００１０）の上位６ビットである４８及び上位６ビットに１を加算した（１０進数において４を加算した）５２で表現される方法が示される。８ビット信号の下位２ビットが１１の場合、画素値５１が、５１（００１１００１１）の上位６ビットである４８及び上位６ビットに１を加算した（１０進数において４を加算した）５２で表現される方法が示される。このように、６ビットデータ（４８及び５２）で８ビットデータ（４９〜５１）の階調が表現される。
【0047】
なお、８ビット信号の下位２ビットが００の場合、すでに上位６ビットデータで表現されているため、ディザリングの処理は必要ない。
【0048】
このように、パターンデータに示されるディザリング値の変化のパターンによってディザリングすることで、高ビットデータの階調を低ビットデータの階調で表現することができる。
【0049】
次に、物体等の動きがない静止画の映像信号をディザリングする場合と同じように、物体等の動きがある動画の映像信号をディザリングする場合の画質の劣化について説明する。
【0050】
図２は、時間とともにディスプレイに映る物体が動いている様子を示す図である。例えば、１フレームに１画素の速度で物体が右に動いているとする。この物体を見ている人の視線が物体とともに動くことにより、物体は画質が劣化して見られる。ディザリングにおける物体等の動きがある動画の画質の劣化について、具体的には図３の（ａ）、図３の（ｂ）及び図４で示される。
【0051】
図３の（ａ）は、パターンデータの一例を示す図である。図３の（ａ）に示されるように、フレーム毎にディザリングのパターンが変化していることがわかる。図３の（ａ）に示されるパターンデータは、図１の８ビット信号の下位２ビットが０１の場合と同じように、８ビットデータの画素値４９が、６ビットデータの下位２ビットを００に固定した画素値４８及び５２で表現されるように決められる。
【0052】
図３の（ｂ）は、図３の（ａ）に示されるパターンデータのディザリング値に対応付けられた画素値を示す図である。図３の（ａ）に示されるディザリング値１に画素値５２が対応付けられ、ディザリング値０に画素値４８が対応付けられていることがわかる。図３の（ｂ）に示されるように、フレーム毎に画素値が変化していることがわかる。
【0053】
図４は、図３の（ａ）に示されるパターンデータによるディザリングにおける画質の劣化を示す図である。図４では、１フレームに１画素の速度で右に動いている物体を表示する画素のうち４つの画素に注目したときの、ディザリングにおける画質の劣化の様子が示される。図４に示される左上から右下へ向けて引かれた２本の実線は、１フレームに１画素の速度で右に動いている物体（４つの画素）に追従して視線が動いていることを模式的に示している。また、図４に示される上から下へ向けて引かれた２本の点線は、視線が動いていないことを模式的に示している。そして、静止画時の視線で見える画素値は、静止画時の視線で各フレームにおいて注目している４つの画素の画素値を示している。動画時の視線で見える画素値は、動画時の視線で各フレームにおいて注目している４つの画素の画素値を示している。具体的には、各フレームにおいて２本の点線で囲まれた４つの画素の画素値を静止画時の視線で見える画素値の列に記載している。また、各フレームにおいて左上から右下へ向けて引かれた２本の実線で囲まれた４つの画素の画素値を動画時の視線で見える画素値の列に記載している。
【0054】
第１フレームでは、左上の画素にディザリング値１（画素値５２）、その他の画素にディザリング値０（画素値４８）が対応付けられた画素単位が並べられている。第２フレームでは、右上の画素にディザリング値１（画素値５２）、その他の画素にディザリング値０（画素値４８）が対応付けられた画素単位が並べられている。第３フレームでは、左下の画素にディザリング値１（画素値５２）、その他の画素にディザリング値０（画素値４８）が対応付けられた画素単位が並べられている。第４フレームでは、右下の画素にディザリング値１（画素値５２）、その他の画素にディザリング値０（画素値４８）が対応付けられた画素単位が並べられている。物体等の動きがない静止画の場合に、パターンデータにより決定された画素値で表示されたフレーム単位の各フレームにおける４つの画素が図４に示されるように静止画時の視線で見られると、４つの連続するフレームを時間平均した４つの画素は問題なく所望の階調（画素値４９）として見られる。しかし、物体等の動きがある動画の場合に、４つの画素が図４に示されるように動画時の視線で見られると（つまり、４つの画素を見る視線がフレーム毎に１画素ずつ右にずれると）、４つの連続するフレームを時間平均した４つの画素のうちの左側の２つの画素は画素値５０となり、右側の２つの画素は画素値４８となる。つまり、人の目には、物体を表示する画素の階調がばらつき、画質が劣化して見られる。
【0055】
また、上述した人の視線が物体等の動きに応じて動くときに発生する画質の劣化を抑制するために、映像信号における動き情報に従ってパターンデータを変更した場合においても、ディザリングによる動画の画質の劣化が発生する。具体的には、映像信号において物体等が動き出す時に、人の視点は物体の動き始めからやや遅れて物体の動きに追従する。したがって、映像信号における動き情報に従ってパターンデータを変更する場合、人の視点が止まっているときにもパターンデータを変更してしまう。つまり、人の視点が止まっているときに見ている動画に、画質の劣化が発生してしまう。映像信号における動き情報に従ってパターンデータを変更した場合のディザリングにおける画質の劣化について、具体的には図５の（ａ）、図５の（ｂ）及び図６で説明する。
【0056】
図５の（ａ）は、映像信号における動き情報に従って変更したパターンデータを示す図である。図５の（ａ）に示される左上から右下へ向けて引かれた２本の実線は、１フレームに１画素の速度で右に動いている物体（４つの画素）に追従して視線が動いていることを模式的に示している。そして、ハッチングが付された４つの画素は、１フレームに１画素の速度で右に動いている物体（４つの画素）の動きに応じてパターンデータを変更していることを示している。つまり、映像信号における動き情報に従ってパターンデータが変更されている。具体的には、動いている４つの画素を注目すると、第１フレームでは、左上の画素にディザリング値１、第２フレームでは、右上の画素にディザリング値１、第３フレームでは、左下の画素にディザリング値１、第４フレームでは、右下の画素にディザリング値１が対応付けられるように、パターンデータが変更される。
【0057】
図５の（ｂ）は、図５の（ａ）に示されるパターンデータのディザリング値に対応付けられた画素値を示す図である。図５の（ａ）に示されるディザリング値１に画素値５２が対応付けられ、ディザリング値０に画素値４８が対応付けられていることがわかる。パターンデータの変更に伴い、対応する画素の画素値も変更される。これにより、人の視線が物体の動きに追従して動いた場合には、時間平均した画素値に示されるように問題なく所望の階調（画素値４９）として見られる。 図６は、映像信号における動き情報に従ってパターンデータを変更した場合のディザリングにおける画質の劣化を示す図である。図６は、図５の（ａ）に示されるパターンデータでのディザリングにおける画質の劣化を示す図である。図６では、１フレームに１画素の速度で右に動き始めた物体を表示する画素のうち４つの画素に注目したときの、ディザリングにおける画質の劣化の様子が示される。図６に示される左上から右下へ向けて引かれた２本の実線は、１フレームに１画素の速度で右に動いている物体（４つの画素）に追従して視線が動いていることを模式的に示している。また、図６に示される上から下へ向けて引かれた２本の点線は、視線が動いていないことを模式的に示している。そして、静止画時の視線で見える画素値は、静止画時の視線で各フレームにおいて注目している４つの画素の画素値を示している。動画時の視線で見える画素値は、動画時の視線で各フレームにおいて注目している４つの画素の画素値を示している。具体的には、各フレームにおいて２本の点線で囲まれた４つの画素の画素値を静止画時の視線で見える画素値の列に記載している。また、各フレームにおいて左上から右下へ向けて引かれた２本の実線で囲まれた４つの画素の画素値を動画時の視線で見える画素値の列に記載している。
【0058】
図６の動画時の視線に示されるように、人の視線が物体の動きに追従して動いた場合には、物体の動きに応じてパターンデータを変更しているため、動画時の視線で見える画素値の時間平均に示されるように、フレーム単位で時間平均した４つの画素は問題なく所望の階調（画素値４９）として見られる。しかし、物体等の動きがある場合であっても、人の視点は物体の動き始めからやや遅れて物体の動きに追従するため、図６の静止画時の視線に示されるように、物体の動きに追従して視線が動かないときがある。この場合に、４つの画素が図６に示されるように静止画時の視線で見られると、静止画時の視線で見える画素値の時間平均に示されるように、フレーム単位で時間平均した４つの画素のうちの左側の２つの画素は画素値５０となり、右側の２つの画素は画素値４８となる。つまり、人の目には、物体を表示する画素の階調がばらつき、画質が劣化して見られる。
【0059】
そこで、本発明は、人の視点が映像信号における物体等に追従して動くとき及び動かないときのどちらにおいてもディザリングにおける画質の劣化を抑制できる映像信号処理装置、表示装置及び映像信号処理方法を提供する。
【0060】
以下、本発明の一態様に係る映像信号処理装置、表示装置及び映像信号処理方法について、図面を参照しながら具体的に説明する。
【0061】
なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
【0062】
なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。
【0064】
本実施の形態における表示装置１は、画質の劣化を抑制しながら、ｎビットの映像信号をｎビットと同等の階調で表現されるｍ（＜ｎ）ビットの映像信号に変換して表示する表示装置であり、映像信号処理装置１００、動きベクトル検出部２０、フレーム記憶部３０、フレームカウンター４０及び表示部５０を備える。
【0065】
映像信号処理装置１００は、ディザリングのパターンを示すパターンデータによって映像信号を時空間的にディザリングすることで映像信号に含まれる画素値を示すｎビットデータをｍビットデータに変換する映像信号処理装置であり、選定部１１０、記憶部１２０、決定部１３０及びディザリング部１４０を備える。本実施の形態では、映像信号処理装置１００は、８ビットデータを６ビットデータに変換する（ｎ＝８、ｍ＝６）。
【0066】
選定部１１０は、映像信号が示すフレームの画素それぞれの動きベクトルからフレームにおける出現頻度が高い動きベクトルである支配的動きベクトルを選定する。なお、選定部１１０は、出現頻度が最も高い支配的動きベクトルをフレーム毎に１つだけ選定してもよい。また、選定部１１０は、出現頻度が高い順番に優先順位を対応付けて支配的動きベクトルをフレーム毎に複数選定してもよい。本実施の形態では、選定部１１０は、出現頻度が高い順番に優先順位を対応付けて複数の支配的動きベクトルを選定する。選定部１１０の動作の詳細については、後述する図９で詳細に説明する。
【0067】
記憶部１２０は、複数のパターンデータと複数の動きベクトルとの組み合わせ毎に予め定められた、画質の劣化度合いを示す劣化度合いデータを記憶する、例えば不揮発性メモリである。ここで、パターンデータについて説明する。
【0068】
パターンデータは、後述するディザリング部１４０が第１変換又は第２変換を行うかを決定するのに用いられる値であるディザリング値の変化のパターンを示すデータである。第１変換では、ｎビットデータの上位ｍビットだけを取り出すことでｎビットデータをｍビットデータに変換する。第２変換では、ｎビットデータの上位ｍビットだけを取り出した値に１を加算することでｎビットデータをｍビットデータに変換する。ここで、１を加算するとは、単に１０進数における下一桁に１を加算することではなく、２進数のｎビットデータのｍビット目の桁に１を加算することを意味する。本実施の形態では、第１変換では、８ビットデータの上位６ビットだけを取り出すことで８ビットデータを６ビットデータに変換する。第２変換では、８ビットデータの上位６ビットだけを取り出した値に１を加算する（１０進数において４を加算する）ことで８ビットデータを６ビットデータに変換する（ｎ＝８、ｍ＝６）。ディザリング値は、限定されないが、図１、図４及び図６で説明したように、例えばディザリング値が０の場合に第１変換が行われ、ディザリング値が１の場合に第２変換が行われる。また、映像信号が示すフレームの画素には、例えば、２ｉの画素毎にディザリング値の集まりが対応付けられる。例えば、図４及び図６に示されるように、第１フレームの画素には、４つ（ｉ＝２）の画素毎に左上の画素に対応するディザリング値が１であり、残りの画素に対応するディザリング値が０であるディザリング値の集まりが対応付けられる。第２フレームから第４フレームについても、２ｉの画素毎にディザリング値の集まりが対応付けられている。このように、パターンデータは、フレーム毎のディザリング値の変化のパターンを示す。
【0070】
決定部１３０は、予め定められた複数のパターンデータのうち、映像信号の表示される領域のうちの所定の領域が支配的動きベクトルに従って動くとき、及び、所定の領域が動かないときのどちらにおいても、所定の領域のディザリングにおける画質の劣化を抑制するパターンデータを決定する。決定部１３０の動作の詳細については、後述する図１５で詳細に説明する。
【0071】
ディザリング部１４０は、決定部１３０が決定したパターンデータを用いて映像信号をディザリングする。具体的には、ディザリング部１４０は、フレームの画素毎に、ｎビットデータの下位（ｎ−ｍ）ビットの値と、映像信号を構成するフレーム列におけるフレームの位置と、ディザリング値とに依存して、第１変換又は第２変換を行う。本実施の形態では、ディザリング部１４０は、フレームの画素毎に、８ビットデータの下位２ビットの値と、映像信号を構成するフレーム列における現在のフレームの位置と、ディザリング値とに依存して、第１変換又は第２変換を行う（ｎ＝８、ｍ＝６）。８ビットデータの下位２ビットは、例えば図１に示されるように、０１、１０又は１１である。また、ディザリング部１４０は、後述するフレームカウンター４０によって、映像信号を構成するフレーム列における現在のフレームの位置を認識することができる。
【0072】
また、ディザリング部１４０は、２ｉの画素、及び、２ｉの連続する映像信号が示すフレームを単位として、ｎビットデータを（ｎ−ｉ）ビットデータに変換するディザリングをする。本実施の形態では、ディザリング部１４０は、４つの画素、及び、４つの連続するフレームを単位として、８ビットデータを６ビットデータに変換するディザリングを行う（ｎ＝８、ｉ＝２）。つまり、ディザリング部１４０は、少ないビット数のデータを、空間的に４つの画素、時間的に４つの連続するフレームに散らして多くのビット数と同等の階調表現を行う。本実施の形態では、４つの画素を画素単位、４つの連続するフレームをフレーム単位とする。
【0073】
動きベクトル検出部２０は、映像信号の現在のフレームと後述するフレーム記憶部３０に記憶された現在のフレームの１つ前のフレームとの間のそれぞれの画素の動き量を測定し、１フレームにおける画素それぞれの動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：ＭＶ）を生成する。動きベクトルはＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｓｉｏｎ）等で活用されており、動きベクトルの検出方法は一般的に知られている。したがって、ここでは、動きベクトルの検出方法についての詳細な説明は省略する。また、動きベクトル検出部２０は、フレームの開始を示すフレーム開始信号を選定部１１０に送り、フレームの終了を示すフレーム終了信号を選定部１１０及び決定部１３０に送る。
【0074】
フレーム記憶部３０は、映像信号から動きベクトル検出部２０が動きベクトルを生成するために必要な前フレームを記憶する、例えば揮発性メモリである。
【0075】
フレームカウンター４０は、映像信号を構成するフレーム列における現在のフレームの位置を判定するために、フレーム数をカウントする。本実施の形態では、現在のフレームがフレーム単位のうちのどのフレームであるかを判定するために、フレームカウンター４０は、フレーム数をカウントする。
【0076】
表示部５０は、映像信号処理装置１００で映像信号に含まれる画素値を示すｎビットデータをｍビットデータに変換された映像信号を表示する。本実施の形態では、表示部５０は、映像信号処理装置１０で映像信号に含まれる画素値を示す８ビットデータを６ビットデータに変換された映像信号を表示する（ｎ＝８、ｍ＝６）。
【0077】
なお、本実施の形態では、表示装置１は、映像信号処理装置１００、動きベクトル検出部２０、フレーム記憶部３０、フレームカウンター４０及び表示部５０を備えるが、これに限らない。例えば、表示装置１は、少なくとも映像信号処理装置１００及び表示部５０を備えればよい。
【0078】
［２．表示装置の動作］次に、本実施の形態に係る表示装置１について、その動作を以下に説明する。
【0079】
図８は、実施の形態に係る映像信号処理装置１００の動作を示すフローチャートである。
【0080】
まず、選定部１１０は、支配的動きベクトルを選定する（ステップＳ１１）。選定部１１０の動作について、図９を用いて説明する。
【0081】
図９は、実施の形態に係る選定部１１０の構成図である。
【0082】
デコーダ１１１は、動きベクトル検出部２０が生成した１フレームにおける画素それぞれの動きベクトルを受け取り、当該動きベクトルをデコードする。デコーダ１１１は、動きベクトルカウンタ１１２ａ〜ｎのうち、動きベクトル検出部２０から受け取った動きベクトルそれぞれに対応する動きベクトルカウンタにインクリメント指示を示す信号を送る。例えば、図９に示される動きベクトルカウンタ１１２ａは、１フレームに１画素分右へ動く動きベクトルをカウントする。同様に、動きベクトルカウンタ１１２ｂは、１フレームに１画素分下へ動く動きベクトルをカウントし、動きベクトルカウンタ１１２ｎは、１フレームにｎ画素分右、ｍ画素分下へ動く動きベクトルをカウントする。例えば、あるフレームにおいて、１画素分右へ動く動きベクトルを有する画素が１００個あった場合、デコーダ１１１は、動きベクトルカウンタ１１２ａに１００回インクリメント指示信号を送り、動きベクトルカウンタ１１２ａのカウント数は１００となる。なお、動きベクトルカウンタ１１２ａ〜ｎは、フレーム開始信号を受けることで、カウント数がリセットされる。つまり、動きベクトルカウンタ１１２ａ〜ｎは、１フレームにおける画素毎の動きベクトルの出現数をカウントする。
【0083】
比較器１１３は、動きベクトルカウンタ１１２ａ〜ｎのカウント数を比較し、最もカウント数の多い動きベクトル、２番目にカウント数の多い動きベクトル、・・・、ｋ番目にカウント数の多い動きベクトルを比較することで選定し、フリップフロップ（Ｆ／Ｆ）１１４へ送る。
【0084】
そして、Ｆ／Ｆ１１４は、フレーム終了信号を受けると、最もカウント数の多い動きベクトル、つまり、フレームにおける出現頻度が最も高い動きベクトルを第１支配的動きベクトルとして出力する。同様に、Ｆ／Ｆ１１４は、フレームにおける出現頻度が２番目に高い動きベクトルを第２支配的動きベクトル、フレームにおける出現頻度がｋ番目に高い動きベクトルを第ｋ支配的動きベクトルとして選定し、決定部１３０へ出力する。このように、Ｆ／Ｆ１１４（選定部１１０）は、出現頻度が高い順番に例えば１からｋの優先順位を対応付けて、複数の支配的動きベクトルを選定する。
【0085】
次に、決定部１３０は、予め定められた複数のパターンデータのうち、映像信号の表示される領域のうちの所定の領域が支配的動きベクトルに従って動くとき、及び、所定の領域が動かないときのどちらにおいても、所定の領域のディザリングにおける画質の劣化を抑制するパターンデータを決定する（ステップＳ１２）。具体的には、決定部１３０は、記憶部１２０に記憶された劣化度合いデータに基づいてパターンデータを決定する。劣化度合いデータは、上述したように、複数のパターンデータと複数の動きベクトルとの組み合わせ毎に予め定められた、画質の劣化度合いを示すデータである。詳細は後述する図１０〜図１４で説明するが、劣化度合いデータは、所定のパターンデータによってディザリングされている映像信号の表示される領域のうちの所定の領域が複数の動きベクトルに従ってそれぞれ動くときの、所定の領域において所定数の連続したフレームにおける平均画素値が所望の画素値となっている領域の面積占有率に応じて予め定められるデータである。つまり、所定の領域において平均画素値が所望の画素値になっている領域が多い場合、画質の劣化度合いは低く、平均画素値が所望の画素値になっていない領域が多い場合、画質の劣化度合いは高くなる。なお、本実施の形態では、所定の領域を例えば２×２の４つの画素（画素単位）の大きさを有する領域とする。また、所定数の連続したフレームを４つの連続したフレーム（フレーム単位）とする。
【0086】
図１０は、複数のパターンデータと複数の動きベクトルとの組み合わせ毎に予め定められた劣化度合いデータの一例を示す図である。
【0087】
図１０のパターンデータの列に示される第１パターンデータ、第２パターンデータ、・・・は、予め定められた複数のパターンデータである。また、動きベクトルの列に示されるように、動きベクトル（ｎ，ｍ）を１フレームにｎ画素分右、ｍ画素分下へ動く動きベクトルとする。そして、複数のパターンデータと複数の動きベクトルとの組み合わせ毎に劣化度合いデータが予め定められ、図１０の劣化度合いデータの列に示されるように、劣化度合いデータは、数値で表される。劣化度合いデータは、画質の劣化度合いが低い順番に例えば０〜３の数値で表される。つまり、劣化度合いデータの数値が小さいほど画質の劣化度合いが低くなる。劣化度合いデータが０のとき、所望の画素値となっている領域の面積占有率を例えば１００％とする。劣化度合いデータが１のとき、所望の画素値となっている領域の面積占有率を例えば５０％以上１００％未満とする。劣化度合いデータが２のとき、所望の画素値となっている領域の面積占有率を例えば０％より大きく５０％未満とする。劣化度合いデータが３のとき、所望の画素値となっている領域の面積占有率を例えば０％とする。劣化度合いデータが０〜３になるパターンデータと動きベクトルとの組み合わせについては、後述する図１１〜図１４で詳細に説明する。
【0088】
図１０に示されるように、動きベクトル（０，０）と予め定められた複数のパターンデータとの組み合わせにおける劣化度合いデータは０となっている。所定の領域が動きベクトル（０，０）に従って動く、言い換えると、所定の領域が動かないときには、どのパターンデータと動きベクトル（０，０）との組み合わせであっても劣化度合いデータは０となる。つまり、所定の領域が動かないときには、どのパターンデータであっても画質の劣化は発生しない。なお、画質の劣化が発生しないとは、完全に画質の劣化が発生しない状態に限らず、人の目にはわからない程度の劣化が発生している状態も含んでもよい。決定部１３０が予め定められた複数のパターンデータから決定するパターンデータは、所定の領域が動かないときには画質の劣化が発生しないパターンデータである。ここで、劣化度合いデータが０〜３になるパターンデータと動きベクトルとの組み合わせの一例について、図１１〜図１４を用いて説明する。
【0089】
図１１は、劣化度合いデータが０になるパターンデータと動きベクトルとの組み合わせの一例を示す図である。図１１では、所望の画素値として８ビットデータの下位２ビットが０１（例えば、４９（００１１０００１））の場合を一例として説明する。つまり、映像信号処理装置１００に入力された映像信号に含まれる画素における８ビットデータの下位２ビットが０１の場合を一例として説明する。なお、後述する図１２〜図１４においても同様に、映像信号処理装置１００に入力された映像信号に含まれる画素における８ビットデータの下位２ビットが０１の場合を一例として説明する。また、図１１では、パターンデータに示されるディザリング値に応じて第１変換又は第２変換された画素値が示されている。つまり、ディザリング値が１に対応する画素には、画素値５２が示され、ディザリング値が０に対応する画素には、画素値４８が示されている。後述する図１２〜図１４においても、同様に、パターンデータに示されるディザリング値に応じて第１変換又は第２変換された画素値が示されている。また、図１１では、動きベクトルを１フレームに１画素分右に動く動きベクトル（１，０）とする。
【0090】
図１１に示されるように、第１フレームでは画素単位のうちの左上の画素の画素値が５２になり、その他の画素の画素値が４８になる。第２フレームでは画素単位のうちの左下の画素の画素値が５２になり、その他の画素の画素値が４８になる。第３フレームでは画素単位のうちの右上の画素の画素値が５２になり、その他の画素の画素値が４８になる。第４フレームでは画素単位のうちの右下の画素の画素値が５２になり、その他の画素の画素値が４８になる。図１１には、このように画素値を変化させるパターンデータが示される。なお、図１１〜図１４に示されるパターンデータは、それぞれ同じパターンデータであり、例えば、図１０に示される第１パターンデータである。
【0091】
図１１に示される静止画時の視線で所定の領域として例えば４つの画素が見られると、フレーム単位で時間平均した所定の領域は問題なく所望の階調（画素値４９）として見られる。言い換えると、所定の領域が動かないときには、どのパターンデータであっても画質の劣化は発生しないため、所定の領域に対する所望の画素値４９となっている領域の面積占有率は１００％となり、劣化度合いデータが０となる。後述する図１２〜図１４においても、上述したように、同様のパターンデータが示され、静止画時の視線では劣化度合いデータは０となるため、図１２〜図１４では、静止画時の画素値の図示を省略し、説明を省略する。
【0092】
一方、図１１に示される動画時の視線で所定の領域が見られるとフレーム単位で時間平均した所定の領域は問題なく所望の階調（画素値４９）として見られる。言い換えると、所定の領域が動きベクトル（１，０）に従って動くときに、所定の領域に対する所望の画素値４９となっている領域の面積占有率は１００％となり、劣化度合いデータは０となる。
【0093】
このように、図１１に示されるようなパターンデータと動きベクトルとの組み合わせに対して劣化度合いデータ０が予め定められ、記憶部１２０に記憶されている。
【0094】
図１２は、劣化度合いデータが１になるパターンデータと動きベクトルとの組み合わせを示す図である。図１２では、動きベクトルを１フレームに０．９画素分右に動く動きベクトル（０．９，０）とする。
【0095】
図１２に示される動画時の視線で所定の領域が見られると、フレーム単位で時間平均した所定の領域には、画素値４９として見られる領域と見られない領域とがある。図１２に示されるように、所定の領域に対する画素値４９として見られる領域の面積占有率は５０％以上１００％未満となり、劣化度合いデータは１となる。
【0096】
このように、図１２に示されるようなパターンデータと動きベクトルとの組み合わせに対して劣化度合いデータ１が予め定められ、記憶部１２０に記憶されている。
【0097】
図１３は、劣化度合いデータが２になるパターンデータと動きベクトルとの組み合わせを示す図である。図１３では、動きベクトルを１フレームに０．３画素分右に動く動きベクトル（０．３，０）とする。
【0098】
図１３に示される動画時の視線で所定の領域が見られると、フレーム単位で時間平均した所定の領域には、画素値４９として見られる領域と見られない領域とがある。図１３に示されるように、所定の領域に対する画素値４９として見られる領域の面積占有率は０％より大きく５０％未満となり、劣化度合いデータは２となる。
【0099】
このように、図１３に示されるようなパターンデータと動きベクトルとの組み合わせに対して劣化度合いデータ２が予め定められ、記憶部１２０に記憶されている。
【0101】
図１４に示される動画時の視線で所定の領域が見られると、フレーム単位で時間平均した所定の領域には、画素値４９として見られる領域がない。図１４に示されるように、所定の領域に対する画素値４９として見られる領域の面積占有率は０％となり、劣化度合いデータは３となる。
【0102】
このように、図１４に示されるようなパターンデータと動きベクトルとの組み合わせに対して劣化度合いデータ３が予め定められ、記憶部１２０に記憶されている。
【0103】
図１１〜図１４で説明したように、パターンデータと動きベクトルとの組み合わせに応じて、劣化度合いデータが予め定められ、当該劣化度合いデータは記憶部１２０に記憶されている。なお、記憶部１２０には、図１１〜図１４に示されるような、映像信号に含まれる画素における８ビットデータの下位２ビットが０１のとき（例えば、４９（００１１０００１））のパターンデータと動きベクトルとの組み合わせに応じた劣化度合いデータの他に、８ビットデータの下位２ビットが１０のとき（例えば、５０（００１１００１０））のパターンデータと動きベクトルとの組み合わせに応じた劣化度合いデータ、及び、８ビットデータの下位２ビットが１１のとき（例えば、５１（００１１００１１））のパターンデータと動きベクトルとの組み合わせに応じた劣化度合いデータが記憶されている。つまり、記憶部１２０は、複数のパターンデータと複数の動きベクトルとの組み合わせ毎に予め定められた劣化度合いデータを記憶している。例えば、８ビットデータの下位２ビットが０１のときのパターンデータが２４個、８ビットデータの下位２ビットが１０のときのパターンデータが６個、８ビットデータの下位２ビットが１１のときのパターンデータが２４個あるとし、複数の動きベクトルが１０個あるとする。この場合、記憶部１２０は、５４個のパターンデータと１０個の動きベクトルとの組み合わせに応じて、５４０個の予め定められた劣化度合いデータを記憶している。
【0104】
次に、決定部１３０の動作について、図１５を用いて説明する。なお、以下では、映像信号に含まれる画素における８ビットデータの下位２ビットが０１のときの決定部１３０の動作を一例として説明する。
【0105】
図１５は、実施の形態に係る決定部１３０の構成図である。
【0106】
シーケンサ１３１は、フレーム終了信号を受けると、選定部１１０による支配的動きベクトルの選定が完了したとして、動作を開始する。シーケンサ１３１は、次のフレームが開始するまで（例えば、垂直帰線区間の間）に、パターンデータを決定する。シーケンサ１３１は、選択部１３２、重み付け設定部１３３、Ｆ／Ｆ１３６、１３８、１３９、及び記憶部１２０を制御する。
【0107】
シーケンサ１３１は、記憶部１２０に所定のパターンデータを指定する。上述したように、例えば、８ビットデータの下位２ビットが０１のときのパターンデータが２４個の場合、シーケンサ１３１は、記憶部１２０に所定のパターンデータとして２４個のパターンデータのうちの１つのパターンデータを指定する。２４個のパターンデータを第１パターンデータから第２４パターンデータとした場合、シーケンサ１３１は、記憶部１２０に例えば第１パターンデータを指定する。また、シーケンサ１３１は、選択部１３２に、選定部１１０から受け付けた支配的動きベクトルのうち所定の支配的動きベクトルを選択させる。例えば、シーケンサ１３１は、選択部１３２にまず第１支配的動きベクトルを選択させることで、選択部１３２は、記憶部１２０に第１支配的動きベクトルを指定する。そして、記憶部１２０は、指定された第１支配的動きベクトルと第１パターンデータとの組み合わせによって予め定められた劣化度合いデータを乗算部１３４に出力する。
【0108】
重み付け設定部１３３は、シーケンサ１３１が選択部１３２に選択させた支配的動きベクトルに対応付けられた第１から第ｋの優先順位に応じて、乗算部１３４に出力された劣化度合いデータに重み付けをする。選択部１３２は、第１支配的動きベクトルを選択しているため、重み付け設定部１３３は、第１の優先順位に応じて劣化度合いデータに重み付けをする。重み付け設定部１３３は、劣化度合いデータへの重み付けとして、優先順位が高い支配的動きベクトルほど、乗算部１３４において劣化度合いデータに大きい値を掛け合わせる。そして、乗算部１３４は、重み付けされた劣化度合いデータを加算部１３５に出力する。
【0109】
シーケンサ１３１は、記憶部１２０に所定のパターンデータを指定したときに、Ｆ／Ｆ１３６が保存するデータをリセットする。例えば、Ｆ／Ｆ１３６には、所定のパターンデータが選択された当初には、０が保存されている。
【0110】
加算部１３５では、乗算部１３４で重み付けされた劣化度合いデータとＦ／Ｆ１３６に保存されたデータとが足し合わされて、Ｆ／Ｆ１３６に保存される。つまり、所定のパターンデータが選択された当初には、加算部１３５では、乗算部１３４で重み付けされた劣化度合いデータとＦ／Ｆ１３６に保存された０とが足し合わされて、乗算部１３４で重み付けされた劣化度合いデータがＦ／Ｆ１３６に保存される。
【0111】
次に、シーケンサ１３１は、選択部１３２に第２支配的動きベクトルを選択させることで、選択部１３２は、記憶部１２０に第２支配的動きベクトルを指定する。そして、記憶部１２０は、指定された第２支配的動きベクトルと第１パターンデータとの組み合わせによって予め定められた劣化度合いデータを乗算部１３４に出力する。選択部１３２は、第２支配的動きベクトルを選択しているため、重み付け設定部１３３は、第２の優先順位に応じて劣化度合いデータに重み付けをし、乗算部１３４は、重み付けされた劣化度合いデータを加算部１３５に出力する。加算部１３５では、乗算部１３４で重み付けされた劣化度合いデータとＦ／Ｆ１３６に保存された第１支配的動きベクトルが選択されたときの劣化度合いデータとが足し合わされて、Ｆ／Ｆ１３６に保存される。
【0112】
このようにして、同様の動作が第ｋ支配的動きベクトルまで行われ、第１パターンデータにおける第１支配的動きベクトルが選択されたときの劣化度合いデータから第ｋ支配的動きベクトルが選択されたときの劣化度合いデータが足し合わされ、足し合わされた劣化度合いデータが比較器１３７に出力される。ここで、足し合わされた劣化度合いデータをスコアデータと呼ぶ。
【0113】
シーケンサ１３１は、フレーム終了信号を受け付けたときに、Ｆ／Ｆ１３８が保存するデータをセットする。例えば、Ｆ／Ｆ１３８には、シーケンサ１３１がフレーム終了信号を受け付けた当初には、Ｆ／Ｆ１３８が表現可能な最大値が保存されている。
【0114】
比較器１３７では、Ｆ／Ｆ１３６から出力されたスコアデータとＦ／Ｆ１３８に保存されたデータとが比較される。つまり、シーケンサ１３１がフレーム終了信号を受け付けた当初には、比較器１３７では、Ｆ／Ｆ１３６から出力されたスコアデータとＦ／Ｆ１３８に保存された最大値とが比較される。Ｆ／Ｆ１３６から出力されたスコアデータがＦ／Ｆ１３８に保存されたデータよりも小さい場合、Ｆ／Ｆ１３８は、Ｆ／Ｆ１３６から出力されたスコアデータを保存し、Ｆ／Ｆ１３９は、シーケンサ１３１から受けている所定のパターンデータを指定するデータを保存する。Ｆ／Ｆ１３６から出力されたスコアデータは、Ｆ／Ｆ１３８に保存された最大値よりも小さいため、Ｆ／Ｆ１３８は、Ｆ／Ｆ１３６から出力されたスコアデータを保存し、Ｆ／Ｆ１３９は、第１パターンデータを指定するデータを保存する。
【0115】
次に、シーケンサ１３１は、記憶部１２０に２４個のパターンデータのうち、例えば、第２パターンデータを指定する。そして、第１パターンデータにおけるスコアデータと同様に、第２パターンデータにおける第１支配的動きベクトルが選択されたときの劣化度合いデータから第ｋ支配的動きベクトルが選択されたときの劣化度合いデータが足し合わされ、スコアデータが比較器１３７に出力される。比較器１３７では、Ｆ／Ｆ１３６から出力された第２パターンデータにおけるスコアデータとＦ／Ｆ１３８に保存された第１パターンデータにおけるスコアデータとが比較される。Ｆ／Ｆ１３６から出力されたスコアデータがＦ／Ｆ１３８に保存されたスコアデータよりも小さい場合、Ｆ／Ｆ１３８は、第２パターンデータにおけるスコアデータを保存する。また、Ｆ／Ｆ１３９は、第２パターンデータを指定するデータを保存する。Ｆ／Ｆ１３６から出力されたスコアデータがＦ／Ｆ１３８に保存されたスコアデータよりも大きい場合、Ｆ／Ｆ１３８は、第１パターンデータにおけるスコアデータを保持し、Ｆ／Ｆ１３９は、第１パターンデータを指定するデータを保持する。
【0116】
このようにして、同様の動作が第２４パターンデータまで行われ、決定部１３０は、第１パターンデータにおけるスコアデータから第２４パターンデータにおけるスコアデータのうち最も小さいスコアデータを有するパターンデータを決定する。上述したように、重み付け設定部１３３は、劣化度合いデータへの重み付けとして、優先順位が高い支配的動きベクトルほど、乗算部１３４において劣化度合いデータに大きい値を掛け合わせる。これにより、優先順位が高い支配的動きベクトルと所定のパターンデータとの組み合わせにおける劣化度合いデータの値が大きい場合（例えば劣化度合いデータが３の場合）、優先順位が高い支配的動きベクトルほど、大きい値が掛け合わされるため、スコアデータの値も大きくなる。したがって、決定部１３０は、優先順位が高い支配的動きベクトルにおいて劣化度合いデータの値が大きくなるパターンデータを決定しにくくなる。
【0117】
そして、Ｆ／Ｆ１３９は、最終的に保存しているパターンデータを指定するデータをディザリング部１４０に送る。
【0118】
以上のように、決定部１３０は、所定の領域が支配的動きベクトルに従って動くときの劣化度合いデータに基づくスコアデータが最適となるパターンデータを決定する。具体的には、決定部１３０は、優先順位に応じて劣化度合いデータに重み付けをし、劣化度合いデータに基づくスコアデータとして、複数の支配的動きベクトル毎の重み付けをした劣化度合いデータを足し合わせたデータが最適となるパターンデータを決定する。
【0119】
なお、映像信号に含まれる画素における８ビットデータの下位２ビットが０１のときの決定部１３０の動作を一例として説明したが、８ビットデータの下位２ビットが１０のとき、及び、８ビットデータの下位２ビットが１１のときにも同様に動作する。例えば、８ビットデータの下位２ビットが１０のときのパターンデータが６個の場合、シーケンサ１３１は、記憶部１２０に６個のパターンデータからそれぞれ指定していき、決定部１３０は、６個のパターンデータからスコアデータが最適となるパターンデータを決定する。例えば、８ビットデータの下位２ビットが１１のときのパターンデータが２４個の場合、シーケンサ１３１は、記憶部１２０に２４個のパターンデータからそれぞれ指定していき、決定部１３０は、２４個のパターンデータからスコアデータが最適となるパターンデータを決定する。
【0120】
そして、ディザリング部１４０は、決定部１３０が決定したパターンデータを用いて映像信号をディザリングする（ステップＳ１３）。
【0121】
このように、映像信号処理装置１００は、パターンデータによって映像信号を時空間的にディザリングすることで映像信号に含まれる画素値を示すｎビットデータ（本実施の形態では８ビットデータ）をｍビットデータ（本実施の形態では６ビットデータ）に変換する。
【0122】
最後に、表示部５０は、映像信号処理装置１００で変換された映像信号を表示する。
【0123】
［３．効果］本実施の形態における映像信号処理装置１００、表示装置１及び映像信号処理方法では、人の視点が映像信号における物体等に追従して動くとき及び動かないときのどちらにおいてもディザリングにおける画質の劣化を抑制できる。
【0124】
（実施の形態の変形例）以上、本発明の映像信号処理装置及び映像信号処理方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【0125】
例えば、本実施の形態では、記憶部１２０は、映像信号に含まれる画素における８ビットデータの下位２ビットが０１、１０及び１１のときのパターンデータと動きベクトルとの組み合わせにおける劣化度合いデータをそれぞれ記憶しているが、これに限らない。例えば、８ビットデータの下位２ビットが０１、１０及び１１のときのパターンデータと動きベクトルとの組み合わせにおける劣化度合いデータをそれぞれ異なる記憶部が記憶していてもよい。同様に、映像信号に含まれる画素における８ビットデータの下位２ビットが０１、１０及び１１のときにそれぞれ異なる決定部が動作してもよい。つまり、映像信号処理装置１００は、映像信号に含まれる画素における８ビットデータの下位２ビットに応じてそれぞれ記憶部及び決定部を備えてもよい。
【0126】
また、例えば、本実施の形態では、選定部１１０は、複数の支配的動きベクトルを選定したが、これに限らない。例えば、選定部１１０は、フレームにおける出現頻度が最も高い第１支配的動きベクトルだけを選定してもよい。この場合には、劣化度合いデータに基づくスコアデータとして、複数の支配的動きベクトル毎の重み付けをした劣化度合いデータを足し合わせる必要がないため、スコアデータは、劣化度合いデータになる。つまり、決定部１３０は、所定の領域が支配的動きベクトルに従って動くときの劣化度合いデータが最適となるパターンデータを決定する。
【0127】
また、例えば、本実施の形態では、ディザリング部１４０は、少ないビット数のデータを、空間的に４つの画素、時間的に４つの連続するフレームに散らして多くのビット数と同等の階調表現を行ったが、これに限らない。例えば、少ないビット数のデータを空間的に４つの画素よりも多い、例えば１６個の画素に散らすことで、多くのビット数と同等の階調表現が行われてもよい。また、時間的に４つの連続するフレームよりも多い、例えば１６個の連続するフレームに散らすことで、多くのビット数と同等の階調表現が行われてもよい。
【0128】
また、例えば、本実施の形態では、８ビットデータは、８ビットデータよりも２ビット少ない６ビットデータに変換されたが、これに限らない。例えば、８ビットデータは、８ビットデータよりも４ビット少ない（１６分の１の大きさの）４ビットデータに変換されてもよい。このとき、４ビットデータは、例えば、空間的に１６個の画素、時間的に１６個の連続するフレームに散らされてもよく、１６個の画素、及び、１６個の連続するフレームが１つの単位として扱われてもよい。
【0129】
また、例えば、本実施の形態では、８ビットデータが６ビットデータに変換されたが、これに限らない。８ビットデータより小さい、例えば６ビットデータが４ビットデータに変換されてもよく、また、８ビットデータより大きい、例えば１０ビットデータが８ビットデータに変換されてもよい。
【0130】
なお、本発明の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。例えば、本発明は、上記映像信号処理方法をコンピュータに実行させるためのプログラムとして実現されてもよい。また、そのプログラムを示す情報、データ又は信号として実現することもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。更に、本発明を適用した映像信号自体をそのまま記録媒体に保存してもよく、また、映像配信してもよい。
【0131】
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
【産業上の利用可能性】
【0132】
本発明は、例えばテレビやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、スマートフォンのディスプレイ等に利用可能である。
【符号の説明】
【0133】
１ 表示装置２０ 動きベクトル検出部
３０ フレーム記憶部
４０ フレームカウンター
５０ 表示部
１００ 映像信号処理装置
１１０ 選定部
１１１ デコーダ
１１２ａ、１１２ｂ、１１２ｎ 動きベクトルカウンタ
１１３、１３７ 比較器
１１４、１３６、１３８、１３９ Ｆ／Ｆ
１２０ 記憶部
１３０ 決定部
１３１ シーケンサ
１３２ 選択部
１３３ 重み付け設定部
１３４ 乗算部
１３５ 加算部
１４０ ディザリング部