特許第6572001号(P6572001)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧 ▶ 一般財団法人NHKエンジニアリングシステムの特許一覧

特許6572001不快度推定装置及び不快度推定プログラム
<>
  • 特許6572001-不快度推定装置及び不快度推定プログラム 図000002
  • 特許6572001-不快度推定装置及び不快度推定プログラム 図000003
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6572001
(24)【登録日】2019年8月16日
(45)【発行日】2019年9月4日
(54)【発明の名称】不快度推定装置及び不快度推定プログラム
(51)【国際特許分類】
   H04N 17/04 20060101AFI20190826BHJP
   H04N 17/00 20060101ALI20190826BHJP
   G06T 7/00 20170101ALI20190826BHJP
【FI】
   H04N17/04 C
   H04N17/00 Z
   G06T7/00 130
【請求項の数】5
【全頁数】10
(21)【出願番号】特願2015-120514(P2015-120514)
(22)【出願日】2015年6月15日
(65)【公開番号】特開2017-5624(P2017-5624A)
(43)【公開日】2017年1月5日
【審査請求日】2018年5月2日
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(73)【特許権者】
【識別番号】591053926
【氏名又は名称】一般財団法人NHKエンジニアリングシステム
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】蓼沼 眞
(72)【発明者】
【氏名】森田 寿哉
【審査官】 鈴木 隆夫
(56)【参考文献】
【文献】 特開2014−153834(JP,A)
【文献】 特開2015−106191(JP,A)
【文献】 特開2015−106192(JP,A)
【文献】 特開2011−239295(JP,A)
【文献】 特開2011−238121(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 17/00
H04N 17/04
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
映像における輝度変化に対する不快度を推定する不快度推定装置であって、
前記映像に含まれる画像のブロックごとの輝度値であるブロック輝度値を算出するブロック輝度値算出部と、
算出された前記ブロック輝度値に基づいて、映像における被写体の1フレーム間の移動ベクトルを検出する移動ベクトル検出部と、
前記ブロックにおける前記ブロック輝度値と、1フレーム前の前記画像において検出された前記移動ベクトルで補正したブロックにおける前記ブロック輝度値と、の差分であるフレーム間輝度差に基づいて、前記ブロックのそれぞれにおける輝度変化のマグニチュードであるブロック別マグニチュードを計測するブロック別マグニチュード計測部と、
各ブロックを中心とした所定の広さの領域内における前記ブロック輝度値の平均値をさらに所定時間内で平均した値をブロック別平均輝度として算出するブロック別平均輝度算出部と、
ブロックごとに前記ブロック別マグニチュードを前記ブロック別平均輝度で補正した値を全ブロック分用いて前記画像の総マグニチュードに相当する不快度を算出する不快度算出部と、
前記不快度に対して当該不快度の時間蓄積効果を反映するように、前フレームでの補正後不快度に0よりも大きく1よりも小さい定数を乗じ、現フレームでの前記不快度に加算することによって、現フレームでの補正後不快度を得る不快度補正部と、
を備えることを特徴とする不快度推定装置。
【請求項2】
前記ブロック別マグニチュード計測部は、前記フレーム間輝度差に対し、その正負の値とも符号はそのままで絶対値をβ乗する処理を施してから、周波数感度補正フィルタによる補正を行った後、自乗することよって、前記ブロック別マグニチュードを計測する
ことを特徴とする請求項1に記載の不快度推定装置。
【請求項3】
前記不快度算出部は、前記ブロック別マグニチュードを前記ブロック別平均輝度のγ乗によって除する補正をブロックごとに行った後に、全ブロックで加算して前記総マグニチュードに相当する前記不快度を算出する
ことを特徴とする請求項1又は請求項2に記載の不快度推定装置。
【請求項4】
さらに、前記補正後不快度を対数変換して推定不快度として出力する対数変換部を備える
ことを特徴とする請求項1から請求項3のいずれか一項に記載の不快度推定装置。
【請求項5】
コンピュータを請求項1に記載の不快度推定装置として機能させることを特徴とする不快度推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、頻繁に輝度変化する映像に対する不快度を推定する技術に関する。
【背景技術】
【0002】
家庭において放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、点滅等の頻繁な輝度変化が広い面積で発生している映像によって誘発される不快感が増大する傾向があり、場合によっては、視聴者が光感受性発作等を起こして健康被害に至る例もある。
公共放送及び民間放送連盟加盟放送局から放送される映像では、このような健康被害を予防するために、ITU-RのBT.1702で勧告化された「Guidance for the reduction of photosensitive epileptic seizures caused by television」に準拠した「アニメーション等の映像手法に関するガイドライン」に則って、生放送及び速報性の高いニュース番組を除き、最大輝度の10%を超える輝度差を伴う輝度反転が1秒間に7回以上生じている面積が全画面の25%を超えることが無いように制限をかけている。
【0003】
映像がこの規準を満たしているかどうかを判定する装置は、国内外から多数発表及び販売されているが、それらはいずれも、前記した条件を超えることで光感受性発作に至る可能性の高い危険な映像を検出するだけであり、たとえば「全画面で輝度差が9.99%の輝度反転が1秒間に30回生じている映像」は「安全」であると判定されるが、「危険」であると判定される「全画面の25.01%の部分で輝度差が10.01%の輝度反転が1秒間に7回生じている映像」よりも遥かに視聴者の不快感の大きさ(不快度)は高いということが起きる。
【0004】
このような事象を緩和するために、英国CRS社製「Harding FPA」が、光点滅映像解析装置として全世界の放送局等で最も使用されていて、実質的に国際標準装置となっている。英国CRS社製「Harding FPA」では、映像の「危険度」をフレーム単位で表示し、「危険」と判定されなくても「注意」を発する機能が実装されているが、前記2例の映像の「危険度」に関しては、後者が「危険」、前者が「危険」に達しない「注意」と判定されることに変わりない。また、当該解析装置では、明暗の最大輝度と最小輝度との差のみを基準に不感度を推定しているため、明暗が正弦波状に変化した場合も矩形波状に変化した場合も同じ判定結果となるが、実際の評定結果では矩形波状に変化する場合の不快度の方が高く、不快度推定結果に誤差が存在する。さらには、画面が表しうる最大輝度に対する当該時点の輝度の比が1秒間に
0.3→0.1→0.2→0.1→0.3→0.2→0.3
のように遷移する場合、当該解析装置では、輝度差が0.10を超える0.20の輝度反転が2回あったとしか見なされないが、実際に不快度を評定した結果は、単純な
0.3→0.1→0.3
の輝度変化に対する不快度よりも不快度の高い
0.28→0.12→0.28→0.12→0.28→0.12→0.28
の輝度変化に対する不快度と同等になっており、このような例でも当該装置の判定結果は不十分なものとなっている。
【0005】
そこで、本出願人は、映像の良否を判定する基準として視聴者の不快感を数値化した「不快度」を用いることとし、前記のような例を含め、不快度を正確に推定できる不快度推定装置を発明した(特許文献1参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2014−153834号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1の実施形態では、「同じ明滅(単純な点灯・消灯の繰り返しだけではなく、前記の輝度遷移のような輝度変化を含めたものとして、以降は明滅と称する)の輝度差であっても、平均輝度が高いほど不快度は低くなる」という効果を補正するために、明滅のマグニチュード(地震に例えたエネルギー)に対し、全画面での所定時間内の平均輝度をγ乗(0≦γ≦1)した値で除する構成となっている。しかし、計測ブロックがN個の画面を等面積で2つの領域に分割し、明滅輝度差と平均輝度の比が同じながら異なる明滅輝度差と平均輝度が各領域で生じている場合(例えば一方が明滅輝度差=1、平均輝度=0.5で、もう一方が明滅輝度差=0.1、平均輝度=0.05の場合)、特許文献1の実施形態による平均輝度補正後のマグニチュードは1.84Nになるが、評定による実測不快度に相当するマグニチュードは1.10N程度となっており、4が底の対数変換をした不快度には0.37(「やや不快」「不快」「非常に不快」の各カテゴリー間の不快度の差が1)もの差が生じていた。これは、特許文献1の実施形態では、全画面の平均輝度が領域によってあまり異ならない場合の不快度は高精度に推定できるが、領域ごとの平均輝度が大きく異なる場合の推定不快度には大きな誤差が生じてしまうためである。そのため、領域ごとの平均輝度が大きく異なる場合に生じる誤差を改善することが望まれている。
【0008】
本発明は、前記の事情を鑑みて創案されたものであり、頻繁に輝度変化する映像に対する不快度を推定するに際し、領域ごとの平均輝度が大きく異なる場合においても高精度に不快度を推定できる不快度推定装置及び不快度推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【0009】
前記課題を解決するため、本発明の不快度推定装置は、映像における輝度変化に対する不快度を推定する不快度推定装置であって、ブロック輝度値算出部と、移動ベクトル検出部と、ブロック別マグニチュード計測部と、ブロック別平均輝度算出部と、不快度算出部と、不快度補正部と、を備えることを特徴とする。
【0010】
かかる構成により、不快度推定装置は、前記ブロック輝度値算出部によって、前記映像に含まれる画像のブロックごとの輝度値(空間輝度の知覚量に基づいてα乗した値)であるブロック輝度値を算出し、前記移動ベクトル検出部によって、算出された前記ブロック輝度値に基づいて、映像における被写体の1フレーム間の移動ベクトルを検出する。
【0011】
また、不快度推定装置は、前記ブロック別マグニチュード計測部によって、前記ブロックにおける前記ブロック輝度値と、1フレーム前の前記画像において検出された前記移動ベクトルで補正したブロックにおける前記ブロック輝度値と、の差分であるフレーム間輝度差に基づいて、前記ブロックのそれぞれにおける輝度変化のマグニチュードであるブロック別マグニチュードを計測する。
なお、不快度推定装置は、前記ブロック別マグニチュード計測部によって、輝度の時間変化に対する知覚量に相当するように前記フレーム間輝度差をβ乗してから、周波数感度補正フィルタによる補正を行った後、エネルギーに相当するように自乗することよって、前記ブロック別マグニチュードを計測する構成であってもよい。
【0012】
さらに、不快度推定装置は、前記ブロック別平均輝度算出部によって、当該ブロックを中心とした所定の広さの領域内における前記ブロック輝度値の平均値をさらに所定時間内で平均した値をブロック別平均輝度として算出する。
【0013】
さらに、不快度推定装置は、前記不快度算出部によって、ブロックごとに前記ブロック別マグニチュードを前記ブロック別平均輝度で補正した値を全ブロック分用いて前記画像の総マグニチュードに相当する不快度を算出し、前記不快度補正部によって、前記不快度に対して不快度の時間蓄積効果と減衰効果を反映するような補正を施すことによって、補正済み不快度を算出する。
なお、不快度推定装置は、前記不快度算出部によって、前記ブロック別マグニチュードを前記ブロック別平均輝度のγ乗によって除する補正をブロックごとに行った後に、全ブロックで加算して前記総マグニチュードに相当する前記不快度を算出する構成であってもよい。
【0014】
また、本発明は、コンピュータを前記した不快度推定装置として機能させる不快度推定プログラムとしても具現化可能である。
【発明の効果】
【0015】
本発明によれば、複数領域ごとの平均輝度が大きく異なる場合においても高精度に不快度を推定することができる。
【図面の簡単な説明】
【0016】
図1】本発明の実施形態に係る不快度推定装置を示すブロック図である。
図2】フレーム間輝度差による不快度の周波数感度特性を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。図1に示すように、本発明の実施形態に係る不快度推定装置1は、映像における動きベクトルに基づいて輝度変化に対する不快度を推定するものであり、機能部として、ブロック輝度値算出部10と、移動ベクトル検出部20と、ブロック別マグニチュード計測部30と、ブロック別平均輝度算出部40と、不快度算出部50と、不快度補正部60と、対数変換部70と、を備える。
【0018】
<ブロック輝度値算出部>
ブロック輝度値算出部10は、外部装置等から映像信号aが入力されるものであって、映像に含まれる画像を分割した複数のブロックごとにブロック輝度値を算出するものである。ブロック輝度値算出部10は、画素輝度値決定部11と、ブロック輝度値決定部12と、を備える。
【0019】
画素輝度値決定部11は、映像信号aを取得し、取得された映像信号aに基づいて、画像の各画素の輝度値である画素輝度値を決定し、決定された画素輝度値をブロック輝度値決定部12へ出力する。
【0020】
本実施形態において、画素輝度値決定部11は、取得された映像信号aに含まれるRGB値に基づいて、画素ごとの輝度値である画素輝度値Yを決定し、決定結果をブロック輝度値決定部12へ出力する。映像信号においてRGB方式が採用されている場合には、画素輝度値Yは、映像信号に含まれる一画素のR値(0〜255)、G値(0〜255)及びB値(0〜255)を用いて、ハイビジョン映像の場合、以下のように表される。
Y=(0.212・R+0.701・G+0.087・B)α
ここで、αの値は、輝度信号値と表示輝度値とのγ特性(表示輝度値が輝度信号値をγ乗した値に比例する特性)のγの値(γ1=2.22)に、空間上の輝度差に対する知覚量のγ特性のγの値(γ≒0.5)を乗じた値(α=γ1×γ≒1.1)とするのが望ましい。なお、α=1としても、最終的な推定不快度に生じる誤差はマグニチュード換算で±10%未満に収まるので、このγ補正を省略することもできる。
【0021】
ブロック輝度値決定部12は、決定された画素輝度値Yを取得し、取得された画素輝度値Yに基づいて、ブロック輝度値を決定し、決定されたブロック輝度値を移動ベクトル検出部20、ブロック別マグニチュード計測部30及びブロック別平均輝度算出部40へ出力する。
【0022】
本実施形態において、ブロック輝度値決定部12は、標準観視条件での人間の視覚系において輝度変化に最も敏感な空間周波数の半周期に近い正方画素(水平・垂直とも6〜9画素程度)のブロックごとにブロック輝度値を決定する。ここで、標準観視条件とは、ハイビジョン映像を例とした場合、画面の高さの3倍の距離から視聴するような視聴条件のことを言う。本実施形態において、ブロック輝度値決定部12は、ブロックに含まれる画素の画素輝度値Yの平均値(例えば、相加平均値)を算出することによって、当該平均値をブロック輝度値として決定する。なお、ブロック輝度値決定部12によるブロック輝度値の決定手法は、前記したものに限定されず、例えば、ブロック内の各画素の画素輝度値Yに異なる重みを付けて加重平均した値をブロック輝度値として採用する構成であってもよい。
【0023】
<移動ベクトル検出部>
移動ベクトル検出部20は、決定されたブロック輝度値を取得し、取得されたブロック輝度値に基づいて、映像における被写体の1フレーム間の移動ベクトルを検出し、検出された移動ベクトルをブロック別マグニチュード計測部30へ出力する。
【0024】
本実施形態において、移動ベクトル検出部20は、連続する2フレームの画像間に関して、特定サイズのマクロブロック(マクロブロックのサイズは、例えば前記ブロックが8×8から16×16集まった程度)において、ブロックマッチングを用い、例えば、直流分を除去した各画素の輝度値のフレーム間差分の合計(絶対値和又は自乗和)が最小となるブロック移動量を移動ベクトルとして検出する。移動ベクトルの探索範囲は、上下左右両方向とも、視覚系で十分に追従可能な範囲(画面高の1/10〜1/5程度)に制限することが望ましい。
【0025】
<ブロック別マグニチュード計測部>
ブロック別マグニチュード計測部30は、ブロック輝度値及び移動ベクトルを取得し、取得されたブロック輝度値及び移動ベクトルに基づいて、1フレーム前の画像において検出された移動ベクトルで補正したブロックにおけるブロック輝度値と、の差分であるフレーム間輝度差を算出するとともに、算出されたフレーム間輝度差に基づいて、ブロックのそれぞれにおける輝度変化のマグニチュードであるブロック別マグニチュードをブロックごとに計測し、計測されたブロック別マグニチュードを不快度算出部50へ出力する。ブロック別マグニチュード計測部30は、ブロックごとに、ブロック別フレーム間輝度差決定部31(31−1,31−2,…,31−n)と、ブロック別輝度差β乗部32(32−1,32−2,…,32−n)と、ブロック別周波数感度補正フィルタ33(33−1,33−2,…,33−n)と、ブロック別補正輝度差自乗部34(34−1,34−2,…,34−n)と、のセットを備える。
【0026】
ブロック別フレーム間輝度差決定部31は、ブロック輝度値及び移動ベクトルを取得し、現フレーム(m枚目の画像)において対応するブロックのブロック輝度値と、前フレーム(m−1枚目の画像)において移動ベクトル検出部20で検出された移動ベクトルで示されるブロック(すなわち、1フレーム前の画像において検出された移動ベクトルで補正したブロック)のブロック輝度値との差分値、すなわちフレーム間輝度差を算出し、算出されたフレーム間輝度値をブロック別輝度差β乗部32へ出力する。
【0027】
ブロック別輝度差β乗部32は、算出されたフレーム間輝度値を取得し、各ブロックにおけるフレーム間輝度差に対し、その正負の値とも符号はそのままで絶対値をβ乗する処理を施してフレーム間知覚輝度差を算出し、算出されたフレーム間知覚輝度差をブロック別周波数感度補正フィルタ33へ出力する。このβは、輝度の時間変化に対する知覚量のγ特性を反映するように予め設定されたものであり、算出された推定不快度bが体感値と一致するように、1.4≦β≦1.6とするのが望ましく、β≒1.5とするのがより望ましい。本実施形態に係る不快度推定装置1は、特許文献1の実施形態には無いこの処理を加えることにより、不快度の推定精度を向上させることができる。
【0028】
ブロック別周波数感度補正フィルタ33は、算出されたフレーム間知覚輝度差を取得し、各ブロックにおけるフレーム間知覚輝度差の遷移を、図2に示す不快度の周波数感度特性で補正し、当該補正によって得られたブロック別補正輝度差をブロック別補正輝度差自乗部34へ出力する。
【0029】
ここで、図2の周波数感度特性は、後記する地震のエネルギーに見立てたマグニチュードを、明滅の輝度振幅の自乗に明滅の周波数を乗じたものして算出する際、乗じる周波数分をこの周波数感度補正の段階で施してしまうのと同時に、明滅の輝度振幅ではなく輝度差に周波数を乗じた値に相当するフレーム間輝度差を自乗して算出できるようにするための補正も含めた特性となっている。本実施形態に示すこの特性は、特許文献1の実施形態の特性とは異なるものとなっているが、これは、フレーム輝度差をβ乗する処理が加わったことと、特許文献1の実施形態では推定して定めていた10Hz以上での減衰特性を、本実施形態では実測した減衰特性に置き換えたことによる。
【0030】
図2の周波数感度補正を行うブロック別周波数感度補正フィルタ33は、11タップ程度の有限インパルス応答(FIR)型デジタルフィルタによって実現することができる。特許文献1の実施形態では8タップ程度の無限インパルス応答(IIR)型デジタルフィルタを用いていたが、FIR型の方がIIR型よりも周波数感特性をより正確に再現できる分、多くのタップ数を要する上に、実測した10Hz以上の減衰特性が特許文献1の実施形態で推定したものよりも急峻になっていたことによる。
【0031】
ブロック別補正輝度差自乗部34は、算出されたブロック別補正輝度差を取得し、取得されたブロック別補正輝度差を自乗することによって、各ブロックにおける輝度振幅の自乗に周波数を乗じた値、すなわち地震におけるマグニチュードに相当する値(以下、ブロック別マグニチュードSと称する)を算出し、算出されたブロック別マグニチュードSを不快度算出部50へ出力する。
【0032】
このブロック別マグニチュードSは、ブロック別周波数感度補正フィルタ33の説明で前記したとおり、不快度の周波数感度特性(フレーム間知覚輝度差を周波数感度補正した値を自乗した後に周波数を乗じる分を加味した特性)で補正されたものとなっている。かかるマグニチュードは、体感値と線形に対応させるため、最終的には対数変換した値で表されるが、不快度の算出過程では対数変換前の値が用いられる。したがって、本発明でも特許文献1の実施形態と同じく、対数変換前のマグニチュードを「マグニチュード(ブロック別マグニチュード、総和マグニチュード)」と呼び、不快度についても同様に、対数変換前の不快度を「不快度」と称する。
【0033】
<ブロック別平均輝度算出部>
ブロック別平均輝度算出部40は、ブロック輝度値を取得し、各ブロックを中心とした所定の広さの領域(例えば、縦・横とも幅7〜11ブロックの領域)において輝度値を所定計測時間(例えば現フレームまでの1秒間)のフレーム数にわたり平均することで、所定計測時間中のブロック別平均輝度を算出し、不快度算出部50へ出力する。特許文献1の実施形態では全画面の平均輝度でしか不快度の補正を施していなかったが、本実施形態では平均輝度を算出する範囲を視覚特性に即したものに変更することにより、複数領域ごとの平均輝度が大きく異なる場合においても高精度に不快度を推定することが可能になる。
【0034】
<不快度算出部>
不快度算出部50は、ブロック別マグニチュード計測部30によって計測されたブロック別マグニチュードSと、ブロック別平均輝度算出部40によって算出されたブロック別平均輝度と、を取得し、取得されたブロック別マグニチュードS及びブロック別平均輝度を用いて総マグニチュードに相当する不快度を算出し、算出された不快度を不快度補正部60へ出力する。詳細には、不快度算出部50は、ブロックごとにブロック別マグニチュードをブロック別平均輝度で補正した値を全ブロック分用いて画像の総マグニチュードに相当する不快度を算出する。総マグニチュードに相当する不快度は、画像の全てのブロックのブロック別マグニチュード及びブロック別平均輝度を用いた値であり、各ブロックのブロック別マグニチュードが大きいほど、総マグニチュードに相当する不快度は大きくなり、各ブロックのブロック別平均輝度が大きいほど、総マグニチュードに相当する不快度は小さくなる。
【0035】
ブロック別マグニチュード計測部30は、ブロックごとに、ブロック別平均輝度補正部51(51−1,51−2,…,51−n)を備えるとともに、総和マグニチュード算出部52を備える。特許文献1の実施形態では、総和マグニチュードを算出した後に全画面の平均輝度で補正を施していたが、本実施形態では、この順序を入れ替え、かつ、視覚特性に即した範囲の領域で算出した平均輝度を用いることにより、複数領域ごとの平均輝度が大きく異なる場合においても高精度に不快度を推定することが可能になる。
【0036】
ブロック別平均輝度補正部51は、ブロック別マグニチュード及びブロック別平均輝度を取得し、ブロック別マグニチュード計測部30から出力された各ブロックのブロック別マグニチュードSを、輝度変化のコントラストによる影響を補正するためのものであるブロック別平均輝度算出部40から出力されたブロック別平均輝度の値のγ乗(γ≒1)で除する(割り算する)ことにより、現フレームにおける平均輝度補正済みマグニチュードを算出する。すなわち、明滅の輝度差が同じ場合、平均輝度が低い高コントラストな輝度変化ほど、平均輝度補正済みマグニチュードの値は大きくなる。ただし、暗部のノイズを強調して不快度を大きく推定してしまうことを防ぐために、前記ブロック別平均輝度の最低値を100%白の輝度値の2%程度以下にはならないよう設定することが望ましい。なお、γの値は、算出された推定不快度bが体感値と一致するように予め設定されており、0.9≦γ≦1.1とするのが望ましく、γ≒1とするのがより望ましい。なお、γの値による推定不快度bへの影響度は、γ=0の場合が、段落0006の例における推定誤差0.37に相当し、0.9≦γ≦1.1であれば、推定不快度bにおける最小推定誤差からの誤差の増分は、0.015以下(エネルギー換算で±2%以内)に収まる。
【0037】
総和マグニチュード算出部52は、ブロック別平均輝度補正部51から出力された平均輝度補正済みマグニチュードを取得し、取得された平均輝度補正済みマグニチュードを全ブロックで加算することによって総和マグニチュード(すなわち、総マグニチュード)を算出し、算出された総和マグニチュードを不快度として不快度補正部60へ出力する。特許文献1の実施形態では、所定時間(例えば1秒)の間隔ごとにその間隔内の各フレームにおける総和マグニチュードを全フレームで加算して総和マグニチュードを算出していたが、特許文献1の実施形態において省略可能としていた後記する不快度補正部60を必須の構成要素とした上で、推定不快度の時間変化に対する応答性を高めることで、より高精度な推定不快度を得ることができるようにするため、本実施形態では、フレームごとに総和マグニチュードを算出する構成となっている。
【0038】
<不快度補正部>
不快度補正部60は、時間蓄積効果を考慮した不快度を得るためのものである。不快度補正部60は、算出された不快度(すなわち、総和マグニチュード)を取得し、前フレームの補正後不快度が大きいほど現フレームの補正後不快度が大きくなるように、不快度算出部50から出力された現フレームの不快度を補正して補正後不快度を算出し、算出された補正後不快度を対数変換部70へ出力する。本実施形態において、不快度補正部60は、加算部61と、記憶部62と、乗算部63と、を備える。
【0039】
すなわち、不快度補正部60は、前フレームの補正後不快度を記憶部62で1フレーム分だけ記憶しておき、現フレームにおいて、前フレームの補正後不快度に乗算部63で定数α(0<α<1)を乗じたものを、加算部61で不快度算出部50から出力された現フレームの不快度に加算することで現フレームの補正後不快度を得る構成になっている。ここで、定数αの値は明滅が長時間継続する場合の不快度の蓄積効果と明滅が止まった後の減衰効果とを同時に具現化するものであり、α=0.987程度とした場合に不快度の推定誤差が最小となる。なお、不快度補正部60は、1回目の補正時には、前フレームの出力が記憶部62に記憶されていないため、無補正の不快度を出力する。
【0040】
<対数変換部>
対数変換部70は、算出された補正後不快度を取得し、推定不快度と心理評価値との対応がほぼ線形となるように、不快度補正部60から出力された補正後不快度の対数値を計算し、計算された対数値を推定不快度bとして外部装置(ディスプレイ装置等)へ出力する。
【0041】
特許文献1の実施形態では、平均輝度によるマグニチュードの補正を全画面の平均輝度でしか施していなかったため、複数領域ごとに平均輝度が大きく異なる映像に対する不快度の推定誤差が大きくなってしまっていた。これに対し、本実施形態に係る不快度推定装置1は、複数領域ごとに平均輝度が大きく異なる映像に対しても、複数領域の平均輝度があまり違わない映像に対する場合と変わらない精度で不快度を推定することができる。
【0042】
また、不快度推定装置1は、映像の視聴者側で用いられる場合には、頻繁な輝度変化に関して安全、快適であることを保証せずに制作、流通された映像に対して、視聴前又は視聴中の表示直前に不快度を推定してディスプレイ又はスピーカへ出力することによって、視聴時に警告を発することができるので、頻繁な輝度変化による健康被害及び不快感の誘発を防止することが可能になる。
【0043】
以上、本発明の実施形態について実施形態を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記不快度推定装置1として機能させる不快度推定プログラムとして具現化することも可能である。また、対数変換部70によって算出された不快度が閾値を超えた場合に、映像が不快な輝度変化を含んでいると判定し、判定結果をディスプレイ等の外部装置へ出力する構成であってもよい。
【0044】
また、不快度を線形的な知覚量に近似させる必要が無い場合には、対数変換部70を省略し、不快度補正部60によって算出された補正後不快度を不快度として出力することも可能である。
【符号の説明】
【0045】
1 不快度推定装置
10 ブロック輝度値算出部
20 移動ベクトル検出部
30 ブロック別マグニチュード計測部
40 ブロック別平均輝度算出部
50 不快度算出部
60 不快度補正部
70 対数変換部
図1
図2