IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ EIZO株式会社の特許一覧

特許7365532画像処理装置、画像処理方法及びコンピュータプログラム
<>
  • 特許-画像処理装置、画像処理方法及びコンピュータプログラム 図1
  • 特許-画像処理装置、画像処理方法及びコンピュータプログラム 図2
  • 特許-画像処理装置、画像処理方法及びコンピュータプログラム 図3
  • 特許-画像処理装置、画像処理方法及びコンピュータプログラム 図4
  • 特許-画像処理装置、画像処理方法及びコンピュータプログラム 図5
  • 特許-画像処理装置、画像処理方法及びコンピュータプログラム 図6
  • 特許-画像処理装置、画像処理方法及びコンピュータプログラム 図7
  • 特許-画像処理装置、画像処理方法及びコンピュータプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-10-11
(45)【発行日】2023-10-19
(54)【発明の名称】画像処理装置、画像処理方法及びコンピュータプログラム
(51)【国際特許分類】
   G09G 3/20 20060101AFI20231012BHJP
   G09G 3/36 20060101ALI20231012BHJP
   H04N 5/66 20060101ALI20231012BHJP
【FI】
G09G3/20 632F
G09G3/20 612U
G09G3/20 641P
G09G3/20 650M
G09G3/20 611E
G09G3/36
H04N5/66 A
H04N5/66 102
G09G3/20 642C
【請求項の数】 10
(21)【出願番号】P 2023524670
(86)(22)【出願日】2022-06-23
(86)【国際出願番号】 JP2022025107
【審査請求日】2023-05-01
【早期審査対象出願】
(73)【特許権者】
【識別番号】391010116
【氏名又は名称】EIZO株式会社
(74)【代理人】
【識別番号】110001139
【氏名又は名称】SK弁理士法人
(74)【代理人】
【識別番号】100130328
【弁理士】
【氏名又は名称】奥野 彰彦
(74)【代理人】
【識別番号】100130672
【弁理士】
【氏名又は名称】伊藤 寛之
(72)【発明者】
【氏名】松崎 裕樹
(72)【発明者】
【氏名】井上 拓海
(72)【発明者】
【氏名】齋藤 宏哉
(72)【発明者】
【氏名】武部 玄嵩
【審査官】橋本 直明
(56)【参考文献】
【文献】特開2004-226841(JP,A)
【文献】特開2004-045919(JP,A)
【文献】特開2010-008871(JP,A)
【文献】特開2019-101100(JP,A)
【文献】米国特許出願公開第2007/0236432(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 3/20
G09G 3/36
H04N 5/66
(57)【特許請求の範囲】
【請求項1】
第1フレームと第2フレームとに基づいて第2フレームを補正する補正処理を行う画像処理装置であって、
フリッカー成分推定部と、画素値補正部とを備え、
前記フリッカー成分推定部は、第1及び第2フレームの領域内画素の画素値に基づいて、フリッカー成分値を取得するように構成され、
前記領域内画素は、第1及び第2フレームにおいて同じ位置であり予め定められた領域に含まれる複数の画素で構成され、
前記複数の画素は、画素値の補正対象である注目画素と、前記注目画素の周辺に配置される周辺画素とを有し、
前記フリッカー成分値は、第1フレームから第2フレームに移行するときに、前記領域内画素において画素応答遅延により画像表示部に生じるフリッカーの度合いに対応し、
前記画素応答遅延は、第1フレームから第2フレームに移行するときに、前記複数の画素のうち前記画素値が上昇する上昇画素の応答速度が、前記画素値が低下する低下画素の応答速度よりも遅いこと、又は、速いことに対応し、
前記フリッカーは、第1フレームと第2フレームの間で2画素以上の領域の画素値の増減の仕方に応じて生じ
前記画素値補正部は、前記フリッカー成分値に基づいて補正画素値を取得するように構成され、
前記補正画素値は、第2フレームの前記注目画素の画素値を補正した値である、画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記フリッカー成分推定部は、第1統計値及び第2統計値の差分に基づいて前記フリッカー成分値を取得し、
前記第1統計値は、第1フレームの前記領域内画素の前記複数の画素の前記画素値の統計値であり、
前記第2統計値は、第2フレームの前記領域内画素の前記複数の画素の前記画素値の前記統計値である、画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記統計値は、前記領域内画素の前記複数の画素の前記画素値の平均値、分散値、中央値、又は、低周波成分値であり、
前記低周波成分値は、画素間距離及び画素値のうちの少なくとも一方に応じた確率密度分布における重み付け値である、画像処理装置。
【請求項4】
請求項1~請求項3の何れか1つに記載の画像処理装置であって、
前記フリッカー成分推定部は、上昇値及び低下値に基づいて前記フリッカー成分値を取得し、
前記上昇値は、第1フレームから第2フレームに移行するときにおいて、前記複数の画素のうち前記上昇画素の前記画素値に基づいており、
前記低下値は、第1フレームから第2フレームに移行するときにおいて、前記複数の画素のうち前記低下画素の前記画素値に基づいている、画像処理装置。
【請求項5】
請求項4に記載の画像処理装置であって、
前記上昇値は、前記上昇画素における、第1及び第2フレームの前記画素値の差分の総和であり、
前記低下値は、前記低下画素における、第1及び第2フレームの前記画素値の差分の総和である、画像処理装置。
【請求項6】
請求項1~請求項3の何れか1つに記載の画像処理装置であって、
画素値決定部を更に備え、
前記画素値補正部は、前記フリッカー成分値に基づいた遷移量を取得し、前記遷移量に基づいて前記補正画素値を取得するように構成され、
前記画素値決定部は、前記遷移量の大きさに応じて、現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を決定する、画像処理装置。
【請求項7】
請求項6に記載の画像処理装置であって、
前記画素値決定部は、
前記遷移量が予め定められた閾値以上である場合には、前記現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を、前記現補正処理の第2フレームの前記注目画素の前記画素値とし、
前記遷移量が予め定められた閾値未満である場合には、前記現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を、遷移画素値とし、
前記遷移画素値は、前記現補正処理で取得される前記補正画素値、前記現補正処理の第2フレームの前記注目画素の前記画素値、又は、これらの2つの間の値である、画像処理装置。
【請求項8】
請求項1~請求項3の何れか1つに記載の画像処理装置であって、
前記画像表示部を更に備え、
前記画像表示部は、前記画素値補正部で取得した前記補正画素値が反映されたフレームを表示するように構成される、画像処理装置。
【請求項9】
第1フレームと第2フレームとに基づいて第2フレームを補正する補正処理を行う画像処理方法であって、
フリッカー成分推定ステップと、画素値補正ステップとを備え、
前記フリッカー成分推定ステップでは、第1及び第2フレームの領域内画素の画素値に基づいて、フリッカー成分値を取得し、
前記領域内画素は、第1及び第2フレームにおいて同じ位置であり予め定められた領域に含まれる複数の画素で構成され、
前記複数の画素は、画素値の補正対象である注目画素と、前記注目画素の周辺に配置される周辺画素とを有し、
前記フリッカー成分値は、第1フレームから第2フレームに移行するときに、前記領域画素内において画素応答遅延により画像表示部に生じるフリッカーの度合いに対応し、
前記画素応答遅延は、第1フレームから第2フレームに移行するときに、前記複数の画素のうち前記画素値が上昇する上昇画素の応答速度が、前記画素値が低下する低下画素の応答速度よりも遅いこと、又は、速いことに対応し、
前記フリッカーは、第1フレームと第2フレームの間で2画素以上の領域の画素値の増減の仕方に応じて生じ
前記画素値補正ステップでは、前記フリッカー成分値に基づいて補正画素値を取得し、
前記補正画素値は、第2フレームの前記注目画素の画素値を補正した値である、方法。
【請求項10】
コンピュータに、請求項9に記載の画像処理方法を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
画像表示部に表示するフレームが移行するときには、各画素の画素値(輝度)が表示するフレームに応じて変化する。ここで、画素値が上昇する画素の画素値の応答速度と、画素値が低下する画素の画素値の応答速度が異なることから、フレームが移行するときに画像表示部にフリッカーが生じる場合がある。換言すると、画素値が上昇する画素と画素値が低下する画素との間に画素応答遅延が存在することから、画像表示部にフリッカーが生じ、画質の低下に繋がることがある。そこで、特許文献1には、画素値が低下する画素の応答速度を低下させ、フリッカーを抑制する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第2011/0199287号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像表示部に表示するフレームが、例えば、白の画素及び黒の画素が交互に並ぶドットメッシュと呼ばれるフレームである場合にはフリッカーが生じやすい。一方で、画像表示部には、フリッカーが生じにくいフレームが表示されることもある。一例としては、白ベタ(例えば、全画素の画素値が最大)のフレームから黒ベタ(例えば、画素値が最小)のフレームへ移行する場合が挙げられる。この場合には、フレームが移行するときにおいて、画像表示部の全画素の画素値が低下することになる。このような場合において、特許文献1の技術がフレームに一律に適用されると、画像表示部の全画素の応答速度が低下することになり、かえって画質を低下させてしまうことがある。
【0005】
本発明はこのような事情に鑑みてなされたものであり、フリッカーを抑制しつつ、フリッカーを抑制する処理によって画質が低下することを防止する、画像処理装置、画像処理方法及びコンピュータプログラムを提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明によれば、第1フレームと第2フレームとに基づいて第2フレームを補正する補正処理を行う画像処理装置であって、フリッカー成分推定部と、画素値補正部とを備え、前記フリッカー成分推定部は、第1及び第2フレームの領域内画素の画素値に基づいて、フリッカー成分値を取得するように構成され、前記領域内画素は、第1及び第2フレームの予め定められた領域に含まれる複数の画素で構成され、前記複数の画素は、注目画素と、前記注目画素の周辺に配置される周辺画素とを有し、前記フリッカー成分値は、第1フレームから第2フレームに移行するときに、前記領域内画素において画素応答遅延により画像表示部に生じるフリッカーの度合いに対応し、前記画素応答遅延は、第1フレームから第2フレームに移行するときに、前記複数の画素のうち前記画素値が上昇する上昇画素と前記画素値が低下する低下画素との応答速度の差に対応し、前記画素値補正部は、前記フリッカー成分値に基づいて補正画素値を取得するように構成され、前記補正画素値は、第2フレームの前記注目画素の前記画素値を補正した値である、画像処理装置が提供される。
【0007】
本発明では、画素値補正部が、フリッカー成分値に基づいて補正画素値を取得するように構成されている。ここで、フリッカー成分値は、第1及び第2フレームにおける注目画素の画素値だけでなく、注目画素の周辺に配置される周辺画素の画素値に基づいており、第1及び第2フレームの内容(種類)を加味した値であることから、対応して補正画素値も第1及び第2フレームの内容が加味された値となる。このため、フリッカーを抑制するときにおいて、第1及び第2フレームの内容に応じて、画質が低下してしまうことを防止することができる。
【0008】
以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
(1)第1フレームと第2フレームとに基づいて第2フレームを補正する補正処理を行う画像処理装置であって、フリッカー成分推定部と、画素値補正部とを備え、前記フリッカー成分推定部は、第1及び第2フレームの領域内画素の画素値に基づいて、フリッカー成分値を取得するように構成され、前記領域内画素は、第1及び第2フレームの予め定められた領域に含まれる複数の画素で構成され、前記複数の画素は、注目画素と、前記注目画素の周辺に配置される周辺画素とを有し、前記フリッカー成分値は、第1フレームから第2フレームに移行するときに、前記領域内画素において画素応答遅延により画像表示部に生じるフリッカーの度合いに対応し、前記画素応答遅延は、第1フレームから第2フレームに移行するときに、前記複数の画素のうち前記画素値が上昇する上昇画素と前記画素値が低下する低下画素との応答速度の差に対応し、前記画素値補正部は、前記フリッカー成分値に基づいて補正画素値を取得するように構成され、前記補正画素値は、第2フレームの前記注目画素の前記画素値を補正した値である、画像処理装置。
(2)(1)に記載の画像処理装置であって、前記フリッカー成分推定部は、第1統計値及び第2統計値の差分に基づいて前記フリッカー成分値を取得し、第1統計値は、第1フレームの前記領域内画素の前記複数の画素の前記画素値の統計値であり、第2統計値は、第2フレームの前記領域内画素の前記複数の画素の前記画素値の前記統計値である、画像処理装置。
(3)(2)に記載の画像処理装置であって、前記統計値は、前記領域内画素の前記複数の画素の前記画素値の平均値、分散値、中央値、又は、低周波成分値であり、前記低周波成分値は、画素間距離及び画素値のうちの少なくとも一方に応じた確率密度分布における重み付け値である、画像処理装置。
(4)(1)~(3)の何れか1つに記載の画像処理装置であって、前記フリッカー成分推定部は、上昇値及び低下値に基づいて前記フリッカー成分値を取得し、前記上昇値は、第1フレームから第2フレームに移行するときにおいて、前記複数の画素のうち前記上昇画素の前記画素値に基づいており、前記低下値は、第1フレームから第2フレームに移行するときにおいて、前記複数の画素のうち前記低下画素の前記画素値に基づいている、画像処理装置。
(5)(4)に記載の画像処理装置であって、前記上昇値は、前記上昇画素における、第1及び第2フレームの前記画素値の差分の総和であり、前記低下値は、前記低下画素における、第1及び第2フレームの前記画素値の差分の総和である、画像処理装置。
(6)(1)~(5)の何れか1つに記載の画像処理装置であって、画素値決定部を更に備え、前記画素値補正部は、前記フリッカー成分値に基づいた遷移量を取得し、前記遷移量に基づいて前記補正画素値を取得するように構成され、前記画素値決定部は、前記遷移量の大きさに応じて、現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を決定する、画像処理装置。
(7)(6)に記載の画像処理装置であって、前記画素値決定部は、前記遷移量が予め定められた閾値以上である場合には、現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を、前記現補正処理の第2フレームの前記注目画素の前記画素値とし、前記遷移量が予め定められた閾値未満である場合には、前記現補正処理の後の前記補正処理で用いる第1フレームの前記注目画素の前記画素値を、遷移画素値とし、前記遷移画素値は、前記現補正処理で取得される前記補正画素値、前記現補正処理の第2フレームの前記注目画素の前記画素値、又は、これらの2つの間の値である、画像処理装置。
(8)(1)~(7)の何れか1つに記載の画像処理装置であって、前記画像表示部を更に備え、前記画像表示部は、前記画素値補正部で取得した前記補正画素値が反映されたフレームを表示するように構成される、画像処理装置。
(9)第1フレームと第1フレームより後のフレームである第2フレームとに基づいて第2フレームを補正する補正処理を行う画像処理方法であって、フリッカー成分推定ステップと、画素値補正ステップとを備え、前記フリッカー成分推定ステップでは、第1及び第2フレームの領域内画素の画素値に基づいて、フリッカー成分値を取得し、前記領域内画素は、第1及び第2フレームの予め定められた領域に含まれる複数の画素で構成され、前記複数の画素は、注目画素と、前記注目画素の周辺に配置される周辺画素とを有し、前記フリッカー成分値は、第1フレームから第2フレームに移行するときに、前記領域画素内において画素応答遅延により画像表示部に生じるフリッカーの度合いに対応し、前記画素応答遅延は、第1フレームから第2フレームに移行するときに、前記複数の画素のうち前記画素値が上昇する上昇画素と前記画素値が低下する低下画素との応答速度の差に対応し、前記画素値補正ステップでは、前記フリッカー成分値に基づいて補正画素値を取得し、前記補正画素値は、第2フレームの前記注目画素の画素値を補正した値である、方法。
(10)コンピュータに、(9)に記載の画像処理方法を実行させる、プログラム。
【図面の簡単な説明】
【0009】
図1図1は、実施形態に係る画像処理装置100とビデオ信号を出力する出力装置200を示す模式図である。
図2図2Aは、図1に示す画像処理装置100の機能ブロック図であって、一対のフレームF1,F2(第1及び第2フレームの一例)に係るデータの流れを示している。図2Bは、図1に示す画像処理装置100の機能ブロック図であって、一対のフレームF2,F3(第1及び第2フレームの一例)に係るデータの流れを示している。なお、図2A及び図2B中のp2(x,y)及びp3(x,y)は、一対のフレームを用いて順次算出される補正画素値p(x,y)に対応し、「p2」の「2」や「p3」の「3」は、フレームの順番を表している。同様に、図2A及び図2B中のd2(x,y)及びd3(x,y)は、一対のフレームを用いて画像処理部10で順次決定されて、フレームメモリ30に格納される画素値d(x,y)に対応し、「d2」の「2」や「d3」の「3」は、フレームの順番を表している。
図3図3は、図1に示す画像処理装置100の機能ブロック図であって、図2Aの画像処理部10の詳細な構成を示したものである。
図4図4A及び図4Bは、フリッカーが生じやすいフレームの一例(ドットメッシュのフレーム)を示している。図4Aでは、フレーム内の領域内画素Rg、注目画素a1及び周辺画素a2が示されている。図4Bは、図4Aとは異なる注目画素a1における領域内画素Rgを示している。
図5図5は、フリッカーが生じやすい状況を説明するためのグラフである。
図6図6A及び図6Bは、式(5)の上昇値(RSUM)及び式(6)の低下値(FSUM)の算出方法の一例の説明図である。図6Aは、N番目のフレーム(フレームF1に対応)の領域内画素Rgの画素値を示しており、図6Bは、N+1番目のフレーム(フレームF2に対応)の領域内画素Rgの画素値を示している。図6A及び図6Bでは、上昇画素については画素値(数字)に下線を引いて強調している。
図7図7は、図6Bに示す領域内画素RgのフレームF2の注目画素a1に対して補正処理を実施したときの当該注目画素a1の画素値(補正画素値)の説明図である。
図8図8は、実施形態に係る画像処理装置100の変形例5である。
【発明を実施するための形態】
【0010】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。
【0011】
1 全体構成説明
実施形態に係る画像処理装置100の全体構成について説明する。実施形態において、画像処理装置100は、図1に示すように、出力装置200に通信可能に接続されている。なお、出力装置200は、情報処理装置(例えばパーソナル・コンピュータ)であって、ビデオ信号を出力可能に構成されている。
【0012】
図2A及び図2Bに示すように、画像処理装置100は、画像処理部10と、画像表示部20と、フレームメモリ30とを備えている。なお、画像表示部20は、例えば、液晶モニターで構成することができ、また、フレームメモリ30は、画像処理部10の各種処理で用いるフレームの各画素の画素値が格納される。図3に示すように、画像処理装置100は、フリッカー成分推定部1と、画素値補正部2と、画素値決定部3とを備えている。
画像処理装置100の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、CPUがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ASIC、FPGA、又はDRP(Dynamically Reconfigurable Processor)などの種々の回路によって実現することができる。本実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。
【0013】
画像処理装置100は、フリッカーを抑制する機能を有する。フリッカーは、フレームが移行するときに、画素応答遅延に起因して、画像表示部20に生じるチラツキである。
なお、フレームが移行するときとは、任意のタイミングのフレームから、次のタイミングのフレームに移行することに対応している。
【0014】
また、画素応答遅延は、画像表示部20の画素の動作内容に応じて、画素間の応答に差があることを意味している。具体的には、画像表示部20は、液晶モニターで構成されているが、画像表示部20の各画素の画素値が上昇するときの応答速度は、画像表示部20の各画素の画素値が低下するときの応答速度よりも遅い。換言すると、フレームが移行するときにおいて、画素値が低下する画素(低下画素)は、画素値が上昇する画素(上昇画素)よりも、すみやかに所望の画素値に到達する。
【0015】
なお、実施形態において、画素値が上昇するとは、フレームF1における任意の座標の画素の画素値(相対的に低い値)が、フレームF2の同座標の画素の画素値(相対的に高い値)へ上昇することを指す。同様に、画素値が低下するとは、フレームF1における任意の座標の画素の画素値(相対的に高い値)が、フレームF2の同座標の画素の画素値(相対的に低い値)へ低下することを指す。次に、ここで説明したフレームF1やフレームF2を含むデータやその流れの概要について説明する。
【0016】
図2Aでは、画像処理部10がフレームF2のビデオ信号を取得するとともに、フレームF2の前のフレームであるフレームF1に対応する画素値d1(x,y)を取得する。この画素値d1(x,y)は、図2Aの処理の以前において、後述の画素値決定部3で決定された画素値であり、フレームメモリ30には、フレームF1に対応するこの画素値d1(x,y)が格納されている。また、図2Aに示すように、画像表示部20には、フレームF2に対応する補正画素値p2(x,y)が入力される。補正画素値p2(x,y)は、後述の画素値補正部2で算出される画素値である。フレームF1に対応する補正画素値p1(x,y)が画像表示部20に入力された後(p1は図示なし)、実際に画像表示部20に表示されるまでの画素値の遷移量を加味した値がフレームF1に対応する画素値d1(x,y)である。そして、フレームF1に対応する画素値d1(x,y)は、実際に画像表示部20が表示している画素値と同様の場合もあれば、異なる場合もある。画素値d1(x,y)の値は、後述の画素値決定部3で決定される。
【0017】
なお、フレームF1に対応する画素値d1(x,y)を有するフレームが第1フレームの一例である。画像処理部10は、フレームF1より後のフレームであって、補正対象のフレームF2を処理する。このフレームF2が第2フレームの一例である。第2フレームを補正しない場合、第1フレームから第2フレームに移行するときに、条件によってフリッカーが生じ得る。
【0018】
次のフレームの処理においては、図2Bに示すように、画像処理部10がフレームF3のビデオ信号を取得するとともに、フレームF3の前のフレームであるフレームF2に対応する画素値d2(x,y)を取得する。この画素値d2(x,y)は、図2Aの処理において、画素値決定部3で決定された画素値であり、フレームメモリ30には、フレームF2に対応するこの画素値d2(x,y)が格納されている。また、図2Bに示すように、フレームF3に対応する補正画素値p3(x,y)が画像表示部20に入力される。補正画素値p3(x,y)も、補正画素値p2(x,y)と同様、後述の画素値補正部2で算出される画素値である。
【0019】
なお、フレームF2に対応する画素値d2(x,y)を有するフレームが第1フレームの一例である。フレームF2より後のフレームであって、補正対象のフレームF3が第2フレームの一例である。
【0020】
2 画像処理部10
図2Aに示すように、画像処理部10は、フレームF1のビデオ信号と、フレームF1より後のフレームである、フレームF2のビデオ信号とに基づいて、フレームF2を補正する補正処理を行うように構成されている。そして、図3に示すように、画像処理部10は、この補正処理を含む各種処理を実行するためのフリッカー成分推定部1、画素値補正部2及び画素値決定部3を備えている。以下に、フリッカー成分推定部1等について説明する。
【0021】
2-1 フリッカー成分推定部1
フリッカー成分推定部1は、フレームF1の領域内画素Rgの画素値及びフレームF2の領域内画素Rgの画素値に基づいて、フリッカー成分値FDEGREEを取得するように構成されている。フリッカー成分値FDEGREEは、フレームF1の領域内画素Rgと同じ位置のフレームF2の領域内画素Rgに基づいて、取得される。フリッカー成分推定部1における動作が、フリッカー成分推定ステップの一例である。
フリッカー成分値FDEGREEは、フレームF1からフレームF2に移行するときに、領域内画素Rgにおいて画素応答遅延により画像表示部に生じるフリッカーの度合いに対応する。そして、フリッカー成分値FDEGREEは、フレームが移行するときにおけるフリッカーを抑制するため、フレームに含まれる任意の注目画素a1の画素値の補正に用いられる。
【0022】
なお、フリッカー成分値FDEGREEは、フレームにおける注目画素a1ごと(フレームF1,F2における所定の座標の画素ごと)に取得される。つまり、図4A及び図4Bに示すように、フレーム(フレームF1,F2)には、複数の注目画素a1が設定されており、その注目画素a1に対して、逐次、フリッカー成分値FDEGREEを取得する。
【0023】
加えて、フリッカー成分推定部1は、任意の連続する一対のフレームに対し、フリッカー成分値FDEGREEを取得する。つまり、フリッカー成分推定部1は、N番目のフレーム(フレームF1に対応)とN+1番目のフレーム(フレームF2に対応)とに基づいて、N+1番目のフレームの各注目画素a1を補正するための各フリッカー成分値FDEGREEを取得する。続いて、フリッカー成分推定部1は、N+1番目のフレーム(フレームF1に対応)とN+2番目のフレーム(フレームF2に対応)に基づいて、N+2番目のフレームの各注目画素a1を補正するための各フリッカー成分値FDEGREEを取得する。なお、Nは、正の整数である。
【0024】
2-1-1 領域内画素Rg
領域内画素Rgは、各フレーム中に含まれる1つの注目画素a1と、注目画素a1の周辺に配置される周辺画素a2とを有する。つまり、領域内画素Rgは、注目画素a1及び周辺画素a2といった複数の画素から構成される一塊の画素である。
なお、領域内画素Rgが、1つのみの周辺画素a2を含むものであってもよいが、実施形態では、より適切なフリッカー成分値FDEGREEを取得する観点から、複数の周辺画素a2を含んでいる。領域内画素Rgの設定範囲(形状)は、特に限定されるものではないが、例えば、図4Aに示すように、矩形状の範囲に設定することができる。具体的には、領域内画素Rgのサイズは、上下方向の列数をa、左右方向の列数をbとしたとき、図4Aに示す領域内画素Rgは、2列×5列の画素で構成される。
【0025】
ここで、列数aの値及び列数bの値は、具体的には例えば、2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63であり、ここで例示した数値の何れか2つの間の範囲内で定義することもできる。なお、列数a及び列数bの値や、列数a及び列数bの範囲は、同じであってもよく、異なっていてもよい。
【0026】
また、領域内画素Rgのいずれの座標の画素を注目画素a1に設定するかは、特に限定されるものではない。例えば、図4Aに示すように、領域内画素Rgの左上部の角に位置する画素に設定することができる。また、列数aの値及び列数bの値が共に奇数である場合、領域内画素Rgが中心の画素を有するため、注目画素a1をその中心の画素としてもよい。
なお、フレームF2の全画素に対して、実施形態に係る補正処理を実施する必要はなく、所定の範囲内としてもよい。換言すると、各フレーム中の全画素を、注目画素a1に設定しなくてもよい。
【0027】
2-1-2 フリッカー成分値FDEGREE
フリッカー成分推定部1が、フリッカー成分値FDEGREEを取得する方法について以下に説明する。
フリッカーは、連続する2フレームの一対の任意の領域に対する画素値の平均値(例えば、N番目のフレームの画素値の平均値とN+1番目のフレームの画素値の平均値)を結ぶ直線(図5の理想的な遷移線L1に対応)に対する、実際の平均値の遷移(図5の実際の遷移線L2に対応)の乖離が大きいと、度合いが大きくなる。
なお、図5に示す遷移線L1でフレームの任意の領域に対する画素値の平均値が遷移する場合は、理想的な遷移となり、人間がフリッカーを感じにくいが、それに対し、遷移線L2のようにフレームの画素値の平均値が遷移し、遷移線L1の始端又は終端の画素値の平均値のうち、大きい方を上回る又は小さい方を下回る場合は、人間がフリッカーを感じることがある。一般的に、実際のフレームの画素値の平均値の遷移の仕方は、状況に応じて異なるものの、遷移線L1からずれる。
【0028】
フリッカー成分値FDEGREEは、上述の乖離を加味したものとなっている。当該乖離には、2つの観点がある。
第1観点は、図5に示す遷移線L1の終端を通る水平線HLと、遷移線L2との間の面積T1(図5斜線部)である。つまり、第1観点は、遷移線L2のうち水平線HLから下に突き出した部分に対応している。なお、より一般的には、遷移線L1の始端及び終端を対角線とする矩形を定義したとき、遷移線L2のうち、この矩形より外側の領域が、第1観点に対応している。
第2観点は、図5に示す最大距離T2である。最大距離T2は、水平線HLと、遷移線L2との間の最大の長さに対応している。具体的には、遷移線L1の始端及び終端を対角線とする矩形を定義したとき、遷移線L2のうちこの矩形より外側の領域に接する上述の矩形の辺(図5では、水平線HLと重なる辺)から伸びて遷移線L2と交差する垂線のうち、最長のものが、第2観点に対応している。これらの第1観点の面積T1及び第2観点の最大距離T2が大きいと、フリッカーを感じる度合いが大きくなる。
【0029】
実施形態に係るフリッカー成分値FDEGREEは、第1及び第2観点を加味した値となっている。具体的には、フリッカー成分値FDEGREEは、以下の式(9)に示す通り、以下の2つの項(第1及び第2項)の積で表される。また、フリッカー成分値FDEGREEは、以下の式(1)~(8)にもとづいて取得することができる。
なお、ここで説明する第1及び第2項の算出方法では、領域内画素Rgのサイズが、上下方向の列数aが2M+1であり、左右方向の列数bが2N+1である(但し、MとNは正の整数)。なお、式中の変数は、以下の通りである。
・(x,y)は、フレームの画素の座標である(xが左右方向,yが上下方向)。
・f(x,y)は、後フレーム(フレームF2)の座標(x,y)の画素(注目画素a1及び周辺画素a2)の画素値である。
・f'(x,y)は、前フレーム(フレームF1)の座標(x,y)の画素(注目画素a1及び周辺画素a2)の画素値である。
・RTHRESHOLD及びFTHRESHOLDは、後述する上昇値(RSUM)及び低下値(FSUM)の値を0~1に正規化するための予め定められる閾値である。なお、RTHRESHOLDは、RSUMの取り得る値の最大値の0.4倍~0.6倍の間の範囲の値を用いることができる。また、FTHRESHOLDは、FSUMの取り得る値の最大値の0.4倍~0.6倍の間の範囲の値を用いることができる。
・bitdepthは、ビット深度を表し、式(1)及び式(2)のCFAVE及びPFAVEの値を0~1に正規化するための値である。
【0030】
【数1】
【0031】
【数2】
【0032】
【数3】
【0033】
【数4】
【0034】
【数5】
【0035】
【数6】
【0036】
【数7】
【0037】
【数8】
【0038】
【数9】
【0039】
2-1-2-1 第1項:1-|CFAVE-PFAVE
第1項は、フレームF1,F2の画素値の平均値の差に係る項(1-|CFAVE-PFAVE|)である。つまり、フリッカー成分推定部1は、第1統計値(PFAVE)及び第2統計値(CFAVE)の差分に基づいてフリッカー成分値FDEGREEを取得する。
第1統計値(PFAVE)は、フレームF1の領域内画素Rgの画素値の統計値であり、実施形態では、平均値である。
第2統計値(CFAVE)は、フレームF2の領域内画素Rgの画素値の統計値であり、実施形態では、平均値である。
ここで、好ましくは、フリッカー成分推定部1は、第1統計値(PFAVE)及び第2統計値(CFAVE)の差分が大きい場合にフリッカー成分値FDEGREEを小さくし、差分が小さい場合にフリッカー成分値FDEGREEを大きくする。
【0040】
第1統計値(PFAVE)は、上記式(1)の通りであり、フレームF1(前フレーム)における領域内画素Rgの画素値の平均値である。なお、bitdepth(ビット深度)によって正規化されており、0~1の間の値をとる。
第2統計値(CFAVE)は、上記式(2)の通りであり、フレームF2(後フレーム)における領域内画素Rgの画素値の平均値である。なお、こちらも、bitdepth(ビット深度)によって正規化されており、0~1の間の値をとる。
このように、第1項は、CFAVE(第2統計値)とPFAVE(第1統計値)との差分に基づいて表される。
【0041】
図5に示すように、フレームF1(N番目のフレーム)からフレームF2(N+1番目のフレーム)へ移行するときにおいて、フレームの画素値の平均値が近いほど、第1及び第2観点の値(面積T1及び最大距離T2)が大きくなりやすい。換言すると、前フレームであるフレームF1の画素値の平均値が、後フレームであるフレームF2の画素値の平均値に近いほど、第1及び第2観点の値が大きくなりやすい。これらの平均値が近いことは、|CFAVE-PFAVE|が小さくなり、その結果、第1項が大きくなることに対応している。フレームF1,F2の構成画素が、例えば、図4A及び図4Bに示す、ドットメッシュである場合が該当する。
【0042】
2-1-2-2 第2項:max(RSUM,FSUM
第2項は、フレームF1からフレームF2へ移行するときにおいて、領域内画素Rg内の画素のうち画素値が変化している画素の差分の総和に係る項(max(RSUM,FSUM))である。なお、フリッカーが生じやすいフレーム(例えば、ドットメッシュのフレーム)では、RSUM及びFSUMのうちの一方又はその両方の絶対値が大きいことが分かっているため、実施形態では、max(RSUM,FSUM)を採用している。また、第1項だけでは、静止画の場合や、上昇画素や低下画素が共に少ない場合に第1項が大きくなってしまい、フリッカー成分値(FDEGREE)を精度よく取得することができないため、これに対する対策として実施形態では第1項に加えて、第2項も採用している。
フリッカー成分推定部1は、上昇値(RSUM)及び低下値(FSUM)に基づいてフリッカー成分値FDEGREEを取得する。例えば、上昇値(RSUM)及び低下値(FSUM)のうち一方又はその両方が大きい場合に、フリッカー成分値(FDEGREE)を大きくする。また、例えば、静止画や領域内画素が一方向へ上昇(低下)する割合が多い場合であって、且つ、第1項が大きい場合において、フリッカー成分値(FDEGREE)を小さくする。
式(5)の上昇値(RSUM(x,y))は、式(3)を用いて取得することができる。式(5)の上昇値(RSUM(x,y))は、フレームF1からフレームF2に移行するときにおいて、領域内画素Rgの画素のうち画素値が上昇する画素(上昇画素)の画素値に基づいている。具体的には、上昇値(RSUM(x,y))は、上昇画素における、フレームF1,F2の画素値の差分の総和である。
式(6)の低下値(FSUM(x,y))は、式(4)を用いて取得することができる。式(6)の低下値(FSUM(x,y))は、フレームF1からフレームF2に移行するときにおいて、領域内画素Rgの画素のうち画素値が低下する画素(低下画素)の画素値に基づいている。具体的には、低下値(FSUM(x,y))は、低下画素における、フレームF1,F2の画素値の差分の総和である。
【0043】
ここで、実施形態において、式(5)の上昇値(RSUM(x,y))及び式(6)の低下値(FSUM(x,y))は、式(7)及び式(8)に示すように正規化される。つまり、式(9)のフリッカー成分値FDEGREEを算出するにあたっては、式(7)及び式(8)の正規化された上昇値(RSUM)及び低下値(FSUM)が使用される。
第1項が大きく、且つ、第2項が大きいほど第1及び第2観点の値(面積T1及び最大距離T2)が大きくなりやすい。
【0044】
2-2 画素値補正部2
画素値補正部2は、フリッカー成分値FDEGREEに基づいて補正画素値p(図2A及び図2Bに示す補正画素値p1~p3に対応)を取得するように構成されている。ここで、補正画素値pは、フレームF1,F2の関係においてフリッカーが発生することを抑制するため、フレームF2の注目画素a1の画素値を補正した値(画素値)である。実施形態では、画素値補正部2は、まず、フリッカー成分値FDEGREEに基づいた後述する遷移量Tを取得し、この遷移量Tに基づいて補正画素値pを取得するように構成されている。画素値補正部2における動作が、画素値補正ステップの一例である。
【0045】
なお、遷移量T及び補正画素値pは、フレームに含まれる注目画素a1ごと(フレームF2における所定の座標の画素ごと)に取得される。
加えて、画素値補正部2は、任意の連続する一対のフレームに対し、遷移量T及び補正画素値pを取得する。つまり、画素値補正部2は、N番目のフレーム(フレームF1に対応)とN+1番目のフレーム(フレームF2に対応)とに基づいて、N+1番目のフレームの各注目画素a1を補正するための各遷移量Tや各補正画素値pを取得する。続いて、画素値補正部2は、N+1番目のフレーム(フレームF1に対応)とN+2番目のフレーム(フレームF2に対応)に基づいて、N+2番目のフレームの各注目画素a1を補正するための各遷移量Tや各補正画素値pを取得する。
【0046】
2-2-1 遷移量T
遷移量Tは、以下に説明する2つの目的で取得される。
第1目的は、フレームF2の注目画素a1の画素値を補正するための補正画素値pを取得することである。
第2目的は、現補正処理の後の補正処理において用いる、フレームF1の注目画素a1の画素値を決定することである。この決定方法については、後述する画素値決定部3で説明する。
【0047】
座標(x,y)の遷移量Tは、以下の式(13)に示す通り、後フレーム(フレームF2)の座標(x,y)の注目画素a1の画素値が、前フレーム(フレームF1)の座標(x,y)の注目画素a1の画素値以上である場合には、式(11)のTRとなる。
また、座標(x,y)の遷移量Tは、それ以外の場合には式(12)のTFとなる。換言すると、座標(x,y)の遷移量Tは、後フレーム(フレームF2)の座標(x,y)の注目画素a1の画素値が、前フレーム(フレームF1)の座標(x,y)の注目画素a1の画素値未満である場合には、式(12)のTFとなる。
【0048】
ここで、式(11)には、フリッカー成分推定部1で取得したフリッカー成分値FDEGREEと、CLIP関数と、予め定められる値RAMPと、予め定められる値RCLIPとが用いられる。
また、式(12)には、フリッカー成分推定部1で取得したフリッカー成分値FDEGREEと、CLIP関数と、予め定められる値FAMPと、予め定められる値FCLIPとが用いられる。
・式(10)のCLIP関数(以下、クリップ処理と称する)は、遷移量T(TR及びTF)のとり得る値の範囲に制限を与えている。
・RAMPは、上昇値(RSUM)に対する振り幅のパラメータである。RAMPは、任意の値に設定することが可能である。
・FAMPは、低下値(FSUM)に対する振り幅のパラメータである。FAMPは、任意の値に設定することが可能である。
・RCLIPは、TRに対するクリップ処理のパラメータである。RCLIPは、-1以上、1以下の値に設定することができる。
・FCLIPは、TFに対するクリップ処理のパラメータである。RCLIPは、-1以上、1以下の値に設定することができる。
なお、クリップ処理のパラメータであるRCLIP及びFCLIPの正負は、それぞれ、RAMP及びFAMPに応じて設定することができる。
【0049】
遷移量Tが正である場合には、フレームF2の注目画素a1の画素値の遷移が加速するいわゆるオーバードライブ補正の処理を行う。一方で、遷移量Tが負である場合には、フレームF2の注目画素a1の画素値の遷移が減速するいわゆるアンダードライブ補正の処理を行う。オーバードライブ補正の処理、又はアンダードライブ補正の処理は一例として、後述の式(14)に対応する。
【0050】
【数10】
【0051】
【数11】
【0052】
【数12】
【0053】
【数13】
【0054】
実施形態では、画像表示部20の各画素の画素値が上昇するときの応答速度は、画像表示部20の各画素の画素値が低下するときの応答速度よりも遅いことを前提として説明している。一方で、液晶モニターの応答特性によっては、画像表示部20の各画素の画素値が上昇するときの応答速度は、画像表示部20の各画素の画素値が低下するときの応答速度よりも速い、場合がある。その場合の処理でも、遷移量Tが正である場合には、フレームF2の注目画素a1の画素値の遷移が加速するいわゆるオーバードライブ補正の処理を行う。一方で、遷移量Tが負である場合には、フレームF2の注目画素a1の画素値の遷移が減速するいわゆるアンダードライブ補正の処理を行う。
【0055】
2-2-2 補正画素値p
画素値補正部2は、以下の式(14)に基づいて、補正画素値pを取得することができる。つまり、補正画素値pは、第1フレームの座標(x,y)の注目画素a1の画素値(f'(x,y))と、第2フレームの座標(x,y)の注目画素a1の画素値(f(x,y))と、遷移量Tとに基づいて、取得される。そして、画素値補正部2は、各注目画素a1の補正画素値pを、画像表示部20に出力する。
【0056】
【数14】
【0057】
画素値補正部2は、フレームF1(第1フレームの一例)の注目画素a1と、フレームF2(第2フレームの一例)の注目画素a1に基づいて補正画素値pを取得する。つまり、画素値補正部2は、フレームF1(第1フレームの一例)の注目画素a1と、フレームF2(第2フレームの一例)の注目画素a1との差分に基づいて、補正画素値pを取得する。より具体的には、画素値補正部2は、フレームF1(第1フレームの一例)の座標(x,y)の注目画素a1の画素値(f'(x,y))と、フレームF2(第2フレームの一例)の座標(x,y)の注目画素a1の画素値(f(x,y))との差分に基づいて補正画素値pを取得する。
【0058】
また、実施形態では、フレームF1及びフレームF2に加え、遷移量Tを用いて補正画素値pを取得する。つまり、実施形態では、画素値補正部2は、フレームF1(第1フレームの一例)の座標(x,y)の注目画素a1の画素値(f'(x,y))とフレームF2(第2フレームの一例)の座標(x,y)の注目画素a1の画素値(f(x,y))との差分と、遷移量Tと、に基づいて補正画素値pを取得する。
【0059】
なお、画素値補正部2は、フレームF1(第1フレームの一例)の注目画素a1と、フレームF2(第2フレームの一例)の注目画素a1とに差分がない場合には、補正対象であるフレームF2(第2フレームの一例)の注目画素a1の補正を行わなくてもよい。
【0060】
2-3 画素値決定部3
画素値決定部3は、遷移量Tの大きさに応じて、現補正処理(N番目のフレームとN+1番目のフレームによる補正処理)の後の補正処理(N+1番目のフレームとN+2番目のフレームによる補正処理)において用いる、フレームF1の注目画素a1の画素値を決定する。なお、下記の式(15)のd(x,y)が、画素値決定部3で決定された画素値に対応し、この画素値は、フレームメモリ30に格納される。
つまり、実施形態では、後の補正処理(N+1番目のフレームとN+2番目のフレームによる補正処理)において、補正画素値pを使用するとは限らず、条件によっては、補正していない画素値(N+1番目のフレームの画素値そのもの)を使用する。
【0061】
画素値決定部3は、以下の式(15)に示すように、遷移量Tが予め定められた閾値DTHRESHOLD以上である場合には、現補正処理の後の補正処理で用いるフレームF1の注目画素a1の画素値を、当該現補正処理のフレームF2の注目画素a1の画素値に決定する。つまり、補正していない画素値が使用される。
一方、画素値決定部3は、遷移量Tが予め定められた閾値DTHRESHOLD未満である場合には、当該現補正処理の後の補正処理で用いるフレームF1の注目画素a1の画素値を、画素値補正部2で取得した補正画素値pに決定する。つまり、補正された画素値が使用される。ここで、画素値決定部3が決定する画素値(補正画素値p)は、遷移画素値の一例である。
【0062】
【数15】
【0063】
このように、画素値決定部3は、遷移量Tの大きさに応じて、後の補正処理で用いる画素値を変更することで、後の補正処理におけるフリッカー成分値FDEGREEの算出精度が低下することを抑制している。
つまり、遷移量Tが大きい場合、画像表示部20における遷移の応答時間が1フレームより長くなることがある。そうすると、画像表示部20が次のフレームまでに到達する画素値(輝度)と、フレームメモリ30に格納される画素値(階調)とに差が生じる。この差が、現補正処理の後の補正処理におけるフリッカー成分値FDEGREEの算出精度の低下を招くことがある。そこで、画素値決定部3は、遷移量Tの大きさに応じて、現補正処理の後の補正処理において使用する画素値を選択する構成となっている。換言すると、遷移量Tの大きさに応じて、フレームメモリ30に格納する画素値(階調)を、式(15)に示すf(x,y)にするか(補正されていない画素値にするか)、それとも、式(15)に示すp(x,y)にするか(補正された画素値)が、画素値決定部3によって選択されることになる。
例えば、フレームメモリ30に格納する画素値(階調)が式(15)に示すf(x,y)である場合には、画像表示部20で使用される画素値は補正画素値p(x,y)であるため、フレームメモリ30に格納される画素値と画像表示部20で使用される画素値が異なることになる。
逆に、フレームメモリ30に格納する画素値(階調)が式(15)に示すp(x,y)である場合には、フレームメモリ30に格納される画素値と画像表示部20で使用される画素値は同じである。
【0064】
3 補正画素値pの取得するまでの流れ
図6A図7を参照して、補正画素値pの取得の流れについて説明する。なお、実施形態におけるここでの説明では、bitdepthは8である。
図6Aに示すように、フレームF1に対応するN番目のフレームの領域内画素Rgは、中心に配置された注目画素a1と、その周囲を取り込むように配置された8つの周辺画素a2とを備えている。領域内画素Rgにおける各画素の画素値は、図6Aに示す数値から、図6Bに示す数値となるものとする。例えば、注目画素a1であれば、50から128へ上昇する。つまり、注目画素a1は、上昇画素である。また、例えば、4つの周辺画素a2(数字に下線が付してある画素)は、0から100、0から150、0から255、0から200へ上昇する。つまり、これらの4つの周辺画素a2も、上昇画素である。
【0065】
上述した式を用いてフリッカー成分値FDEGREEを概算する。
第1項((1-|CFAVE-PFAVE|))については次の通りである。
CFAVEは、図6Bに示す数値を用いて算出する。CFAVE=(0+100+0+150+128+255+0+200+0)/(3×3×255)≒0.36
PFAVEは、図6Aに示す数値を用いて算出する。PFAVE=(255+0+100+0+50+0+150+0+255)/(3×3×255)≒0.35
よって、(1-|CFAVE-PFAVE|)=(1-|0.36-0.35|)=0.99
【0066】
第2項(max(RSUM,FSUM))については次の通りである。
SUMは、図6A及び図6Bに示す上昇画素(数字に下線が付してある画素)の数値の差分を用いて算出する。RSUM=(100+150++78+255+200)/(3×3×255)≒0.34
SUMは、図6A及び図6Bに示す低下画素(数字に下線が付していない画素)の数値の差分を用いて算出する。FSUM=(255+100+150+255)/(3×3×255)≒0.33
よって、max(RSUM,FSUM)=0.34
【0067】
以上の計算により、FDEGREE=0.99×0.34≒0.3
次に、遷移量Tを算出する。ここで、注目画素a1は、上昇画素である。このため、式(13)の条件より、遷移量Tは、式(11)のTとなる。
【0068】
式(11)より、T(=T)は、以下の通りである。
T=T=CLIP(FDEGREE×RAMP,RCLIP)=CLIP(0.3×1,1)=0.3
ここで、RAMP及びRCLIPは、共に1としている。
【0069】
そして、式(14)に、図6A及び図6Bの注目画素a1の画素値を代入することで、座標(x,y)の注目画素a1の補正画素値pを取得することができる。
p=128+((128-50)×0.3)≒151
つまり、図7に示すようにN+1番目のフレーム(フレームF2)の注目画素a1の画素値は、128から151へ補正されることになる。この例では、画素値が上昇するときの応答速度は、画素値が低下するときの応答速度よりも遅いことから、画素値が上昇する注目画素a1に対し、オーバードライブ補正処理がなされている。
【0070】
4 実施形態の効果
画素値補正部2が、フリッカー成分値FDEGREEに基づいて補正画素値pを取得するように構成されている。フリッカー成分値FDEGREEは、フレームF1,F2における注目画素a1の画素値だけでなく、注目画素a1の周辺に配置される周辺画素a2の画素値に基づいている。つまり、フリッカー成分値FDEGREEは、フレームF1,F2の内容(種類)を加味した値であることから、対応して補正画素値pも第1及び第2フレームの内容が加味された値となる。
例えば、白ベタ(例えば、画素値が最大)のフレームから黒ベタ(例えば、画素値が最小)のフレームへ遷移する場合は、本来的に、フリッカーが生じにくい。このような場合においても、特許文献1のような技術が一律に適用されると、画素の応答速度を不必要に低下させることになるため、残像が見える、輝度のオーバーシュートやアンダーシュートを誘発する等の画質の低下を招くことがある。
【0071】
それに対して、実施形態の補正処理では、白ベタ(画素値が255)のフレームから黒ベタ(画素値が0)のフレームへ遷移する場合、フリッカー成分値FDEGREEは0であり、補正画素値pについても、0であることから、画素値に変更がなく、画素の応答速度を不必要に低下させることを回避することができ、画質の低下を抑制することが可能である。
また、フリッカーが生じやすいフレームについては、上記の図6A図7で説明したような補正画素値pを用いることで、フリッカーを抑制することが可能である。例えば、図6A及び図6Bのようなフリッカーが生じやすいフレームに対して、補正処理が行われないと、図5に示すように面積T1が増大してしまい、フリッカーが生じやすくなる。それに対し、実施形態では、当該補正処理により、面積T1を小さくする、又は、遷移線L1に対して上に突き出すように画素値の平均値が推移して面積T1を相殺するように作用する(積分効果)。これにより、フリッカーが生じることを抑制することができる。
【0072】
5 変形例
5-1 変形例1:統計値
実施形態では、第1統計値(PFAVE)及び第2統計値(CFAVE)として、フレームF1,F2の領域内画素Rgの画素値の平均値を用いたが、これに限定されるものではない。平均値の代わりに、フレームF1,F2の領域内画素Rgの分散値、フレームF1,F2の領域内画素Rgの中央値、又は、フレームF1,F2の領域内画素Rgの低周波成分値を用いてもよい。
なお、低周波成分値とは、領域内画素Rgの画素間距離及び画素値のうちの少なくとも一方に応じた確率密度分布における重み付け値である。
【0073】
5-2 変形例2:フリッカー成分値FDEGREEの第2項
実施形態では、フリッカー成分値FDEGREEを算出するにあたって、max(RSUM,FSUM)を用いたがこれに限定されるものではない。max(RSUM,FSUM)の代わりに、min(RSUM,FSUM)を用いても、実施形態と同様の作用・効果を得ることができる。
また、max(RSUM,FSUM)の代わりに、max(RSUM,FSUM)とmin(RSUM,FSUM)との間の値を用いても、実施形態と同様の作用・効果を得ることができる。例えば、{max(RSUM,FSUM)+min(RSUM,FSUM)}/2といったように、RSUM及びFSUMの平均に対応する値を用いることができる。
また、(α×RSUM+β×FSUM)/(α+β)といったように、RSUM及びFSUMに対して、フリッカーに対する感度の比重を設定した値を用いることもできる(α,βは0以上の値)。
このように、フリッカー成分値FDEGREEを算出するにあたって、RSUM及びFSUMに基づいた値を用いることもできる。
【0074】
5-3 変形例3:遷移画素値
実施形態では、遷移量Tが予め定められた閾値未満である場合において、画素値決定部3が、遷移画素値として、補正画素値pを用いるものとして説明したが、これに限定されるものではない。例えば、遷移画素値は、現補正処理で取得される補正画素値p、当該現補正処理のフレームF2の注目画素a1(補正前の画素値そのもの)の画素値、又は、これらの2つの間の値であってもよい。なお、これらの2つの間の値とは、現補正処理で取得される補正画素値pと、当該現補正処理のフレームF2の注目画素a1(補正前の画素値そのもの)の画素値との間の値である。
【0075】
5-4 変形例4:画像処理部10等と画像表示部20との関係
実施形態では、画像処理部10及びフレームメモリ30と、画像表示部20とが、一体であるものとして説明(1つの同じ筐体に収められているものとして説明)したが、これに限定されるものではない。画像処理部10及びフレームメモリ30と、画像表示部20とが、別体でもよい。換言すると、画像処理部10及びフレームメモリ30と、画像表示部20とが、独立した異なる筐体に設けられていてもよい。
【0076】
5-5 変形例5:画素値決定部3を備えない形態
実施形態では、画像処理装置100が画素値決定部3を備えるものとして説明したが、画素値決定部3は必須の構成ではない。つまり、画像処理装置100は、図8に示すように、画素値決定部3を備えていなくてもよい。この場合には、画素値d1(x,y)は、画素値決定部3で決定された画素値ではなく、各フレームの画素値そのものである。
例えば、図8に示すように、フレームF2が画像処理装置100に入力されると、フレームF2は、フリッカー成分推定部1だけでなく、フレームメモリ30にも出力され、フレームメモリ30に格納される。また、フリッカー成分推定部1がフリッカー成分値FDEGREEを算出する場合には、入力されたフレームF2と、フレームメモリ30に格納されているフレームF1が用いられる。
【0077】
5-6 変形例6:構成がそれぞれ別体の装置に格納
実施形態では、ビデオ信号を保持する構成(出力装置200)と、ビデオ信号を表示する構成(画像処理装置100)とが別体であるものとして説明しているが、これに限定されるものではなく、これらの構成が一体であってもよい。
また、実施形態では、画像処理装置100が、画像表示部20を備えるものとして説明しているが、これに限定されるものではなく、画像処理装置100は、画像表示部20を備えていなくてもよい。
【符号の説明】
【0078】
1 :フリッカー成分推定部
2 :画素値補正部
3 :画素値決定部
10 :画像処理部
20 :画像表示部
30 :フレームメモリ
100 :画像処理装置
200 :出力装置
【要約】
フリッカーを抑制しつつ、フリッカーを抑制する処理によって画質が低下することを防止する、画像処理装置、画像処理方法及びコンピュータプログラムを提供することを目的としている。
第1フレームと第2フレームとに基づいて第2フレームを補正する補正処理を行う画像処理装置であって、フリッカー成分推定部と、画素値補正部とを備え、前記フリッカー成分推定部は、第1及び第2フレームの領域内画素の画素値に基づいて、フリッカー成分値を取得するように構成され、前記領域内画素は、第1及び第2フレームの予め定められた領域に含まれる複数の画素で構成され、前記複数の画素は、注目画素と、前記注目画素の周辺に配置される周辺画素とを有し、前記フリッカー成分値は、第1フレームから第2フレームに移行するときに、前記領域内画素において画素応答遅延により画像表示部に生じるフリッカーの度合いに対応し、前記画素応答遅延は、第1フレームから第2フレームに移行するときに、前記複数の画素のうち前記画素値が上昇する上昇画素と前記画素値が低下する低下画素との応答速度の差に対応し、前記画素値補正部は、前記フリッカー成分値に基づいて補正画素値を取得するように構成され、前記補正画素値は、第2フレームの前記注目画素の前記画素値を補正した値である、画像処理装置が提供される。
図1
図2
図3
図4
図5
図6
図7
図8