特許第6583996号(P6583996)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧
<>
  • 特許6583996-映像評価装置、及びプログラム 図000002
  • 特許6583996-映像評価装置、及びプログラム 図000003
  • 特許6583996-映像評価装置、及びプログラム 図000004
  • 特許6583996-映像評価装置、及びプログラム 図000005
  • 特許6583996-映像評価装置、及びプログラム 図000006
  • 特許6583996-映像評価装置、及びプログラム 図000007
  • 特許6583996-映像評価装置、及びプログラム 図000008
  • 特許6583996-映像評価装置、及びプログラム 図000009
  • 特許6583996-映像評価装置、及びプログラム 図000010
  • 特許6583996-映像評価装置、及びプログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6583996
(24)【登録日】2019年9月13日
(45)【発行日】2019年10月2日
(54)【発明の名称】映像評価装置、及びプログラム
(51)【国際特許分類】
   H04N 21/442 20110101AFI20190919BHJP
   H04N 17/00 20060101ALI20190919BHJP
【FI】
   H04N21/442
   H04N17/00 Z
【請求項の数】5
【全頁数】15
(21)【出願番号】特願2015-143185(P2015-143185)
(22)【出願日】2015年7月17日
(65)【公開番号】特開2017-28402(P2017-28402A)
(43)【公開日】2017年2月2日
【審査請求日】2018年5月28日
【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100171446
【弁理士】
【氏名又は名称】高田 尚幸
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100171930
【弁理士】
【氏名又は名称】木下 郁一郎
(74)【代理人】
【識別番号】100064908
【弁理士】
【氏名又は名称】志賀 正武
(74)【代理人】
【識別番号】100108578
【弁理士】
【氏名又は名称】高橋 詔男
(72)【発明者】
【氏名】小峯 一晃
【審査官】 古川 哲也
(56)【参考文献】
【文献】 特開2011−039778(JP,A)
【文献】 国際公開第2012/105196(WO,A1)
【文献】 Xiaoshuai Sun et al.,Toward Statistical Modeling of Saccadic Eye-Movement and Visual Saliency,IEEE Transactions on Image Processing,米国,IEEE,2014年11月,Vol.23, No.11,p.4649-4662
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 − 21/858
H04N 17/00 − 17/06
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
映像視聴中の視点をフレームごとに示す視線データから得られた視点の移動速度に基づいてサッカードの開始から終了までの前記フレームを特定するサッカード抽出部と、
前記移動速度に基づいて、サッカードの終了から次のサッカードが開始するまでの前記フレームから注視された前記フレームを特定し、特定した前記フレームにおける前記視点に基づいて注視領域を抽出する注視領域抽出部と、
前記注視領域が得られた前記フレームにおける前記視点の分布に基づいて前記注視領域における重み係数を表す領域窓関数を算出する窓関数算出部と、
サッカードが終了したときの前記フレームから、内的に注視の対象が決定された状態から視線の移動が開始するまでの遅れ時間である潜時とサッカードに要する時間とを合計した時間分のフレーム数だけ遡った前記フレームを、ターゲットフレームとして抽出するターゲットフレーム抽出部と、
前記ターゲットフレームの画素ごとの特徴量の値を算出したマップに基づいて画素ごと又は画像のブロックごとに顕著性の程度を数値化した顕著性マップを算出する顕著性マップ算出部と、
前記注視領域に該当する前記顕著性マップの部分に前記領域窓関数を適用した値を用いて、誘目性を定量的に表す値である誘目度を算出する誘目度算出部と、
を備えることを特徴とする映像評価装置。
【請求項2】
前記窓関数算出部は、前記注視領域に含まれる前記視点に二次元混合正規分布を当てはめた分布、前記視点から一定の距離内にある領域を、前記注視領域に含まれる全ての前記視点について足し合わせた後に正規化した分布、又は、前記注視領域に含まれる前記視点の重心から一定の距離内を一様の値とする分布により前記領域窓関数を算出する、
ことを特徴とする請求項1に記載の映像評価装置。
【請求項3】
視標の位置を時間的に切り替えて提示したときに測定された視点のデータに基づいて、前記視標ごとに、前記視標の提示が開始された時刻から前記視標へのサッカードが開始された時刻までの差分である遅れ時間を算出し、複数の前記視標について算出した前記遅れ時間を平均して前記潜時を算出する潜時抽出部をさらに備える、
ことを特徴とする請求項1又は請求項2に記載の映像評価装置。
【請求項4】
注視領域抽出部は、注視された前記フレームにおける前記視点に基づいて二次元座標における分布を算出し、算出した分布の値が閾値以上の領域を注視領域として抽出する、
ことを特徴とする請求項1から請求項3のいずれか一項に記載の映像評価装置。
【請求項5】
コンピュータを、
映像視聴中の視点をフレームごとに示す視線データから得られた視点の移動速度に基づいてサッカードの開始から終了までの前記フレームを特定するサッカード抽出手段と、
前記移動速度に基づいて、サッカードの終了から次のサッカードが開始するまでの前記フレームから注視された前記フレームを特定し、特定した前記フレームにおける前記視点に基づいて注視領域を抽出する注視領域抽出手段と、
前記注視領域が得られた前記フレームにおける前記視点の分布に基づいて前記注視領域における重み係数を表す領域窓関数を算出する窓関数算出手段と、
サッカードが終了したときの前記フレームから、内的に注視の対象が決定された状態から視線の移動が開始するまでの遅れ時間である潜時とサッカードに要する時間とを合計した時間分のフレーム数だけ遡った前記フレームを、ターゲットフレームとして抽出するターゲットフレーム抽出手段と、
前記ターゲットフレームの画素ごとの特徴量の値を算出したマップに基づいて画素ごと又は画像のブロックごとに顕著性の程度を数値化した顕著性マップを算出する顕著性マップ算出手段と、
前記注視領域に該当する前記顕著性マップの部分に前記領域窓関数を適用した値を用いて、誘目性を定量的に表す値である誘目度を算出する誘目度算出手段と、
を具備する映像評価装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像評価装置、及びプログラムに関する。
【背景技術】
【0002】
映像の評価は、主に視聴率などの間接的なデータを利用するか、アンケートなどの事後調査を利用しており、時間的に変動する映像コンテンツの評価を表す直接的な指標にはなっていない。
【0003】
時間的な変動を考慮した映像評価の指標として、映像視聴時の視線を測定・分析して利用する例がある。視線の動きは映像が持つ情報の伝達量や視聴後の映像への印象などと関連が深く、映像制作時の演出効果を評価する指標として有効であると考えられる。視線の動きを利用した映像の評価としては、多人数の視聴者の注視点の動きや注視点分布などから演出や表現の効果を評価する方法がある(例えば、特許文献1参照)。
【0004】
また、人の視覚情報処理モデルに基づいて画像の特徴量を分析し、注目されすい領域(顕著性マップ)を推定するモデルが提案されている(例えば、非特許文献1〜3参照)。さらには、映像の顕著性マップと視線分布とを比較して映像を評価する方法も提案されている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−310454号公報
【特許文献2】特許第5306940号公報
【非特許文献】
【0006】
【非特許文献1】L. Itti,外2名,"A Model of Saliency-Based Visual Attention for Rapid Scene Analysis",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,1998年,VOL. 20,NO.11,p.1254-1259
【非特許文献2】O. Le Meur,外2名,"Predicting visual fixations on video based on low-level visual features",Vision Research 47,2007年,p.2483-2498
【非特許文献3】Neil D. B. Bruce,外1名,"Saliency, attention, and visual search: An information theoretic approach",Journal of Vision,2009年,9(3) ,p.1-24
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述した従来技術では、視聴者が映像の特徴によって誘目されている程度を定量的に評価することはできない。
例えば、特許文献1の技術では、映像コンテンツ自体が有する誘目性の影響が考慮されていない。そのため、映像の文脈によるものか、あるいは顕著性の高い部分に誘導されたものかなどの要因が特定できず、演出で用いた映像表現の効果を評価する際に課題がある。また、非特許文献1〜3の技術で得られるモデルは、実際に映像を視聴している際の視線を測定して注視点の分布や停留時間などとの相関からモデルの妥当性を評価しているが、映像自体の評価には至っていない。そして、特許文献2の技術では、視線分布と顕著性マップとを比較する際に眼球運動の時間的な特性(眼球運動の遅れ時間)が考慮されていないため、精度的な課題がある。
【0008】
本発明は、このような事情を考慮してなされたもので、視聴者が映像の特徴によって誘目されている程度を精度よく評価することができる映像評価装置、及びプログラムを提供する。
【課題を解決するための手段】
【0009】
本発明の一態様は、映像視聴中の視点をフレームごとに示す視線データから得られた視点の移動速度に基づいてサッカードの開始から終了までの前記フレームを特定するサッカード抽出部と、前記移動速度に基づいて、サッカードの終了から次のサッカードが開始するまでの前記フレームから注視された前記フレームを特定し、特定した前記フレームにおける前記視点に基づいて注視領域を抽出する注視領域抽出部と、前記注視領域が得られた前記フレームにおける前記視点の分布に基づいて前記注視領域における重み係数を表す領域窓関数を算出する窓関数算出部と、サッカードが終了したときの前記フレームから、内的に注視の対象が決定された状態から視線の移動が開始するまでの遅れ時間である潜時とサッカードに要する時間とを合計した時間分のフレーム数だけ遡った前記フレームを、ターゲットフレームとして抽出するターゲットフレーム抽出部と、前記ターゲットフレームの画素ごとの特徴量の値を算出したマップに基づいて画素ごと又は画像のブロックごとに顕著性の程度を数値化した顕著性マップを算出する顕著性マップ算出部と、前記注視領域に該当する前記顕著性マップの部分に前記領域窓関数を適用した値を用いて、誘目性を定量的に表す値である誘目度を算出する誘目度算出部と、を備えることを特徴とする映像評価装置である。
この発明によれば、映像評価装置は、視聴者が映像を視聴したときのフレームごとの視点を示す視線データから視線の移動速度を求め、求めた移動速度に基づいてサッカードの開始から終了までのフレームを特定する。さらに、映像評価装置は、視点の移動速度に基づいて、サッカードの終了から次のサッカードの開始までに視聴者が注視したフレームを特定し、そのフレームにおける視点の位置に基づいて注視領域を抽出すると、注視領域における視点の分布に基づいて領域窓関数を算出する。映像評価装置は、サッカードが終了したフレームから、潜時分とサッカードに要した時間分のフレーム数だけ遡ったターゲットフレームの顕著性マップを算出し、ターゲットフレームにおける注視領域の部分に領域窓関数を適用した値を用いて誘目度を算出する。
これにより、映像評価装置は、眼球運動の時間的な特性を考慮して、視聴者が映像の特徴によって誘目されている程度を精度よく、定量的な値により評価することができる。
【0010】
本発明の一態様は、上述する映像評価装置であって、前記窓関数算出部は、前記注視領域に含まれる前記視点に二次元混合正規分布を当てはめた分布、前記視点から一定の距離内にある領域を、前記注視領域に含まれる全ての前記視点について足し合わせた後に正規化した分布、又は、前記注視領域に含まれる前記視点の重心から一定の距離内を一様の値とする分布により前記領域窓関数を算出する、ことを特徴とする。
この発明によれば、映像評価装置は、注視領域の中でも、視聴者が特に注視している箇所に近いほど、ターゲットフレームの顕著性マップに適用する係数値が高くなるような領域窓関数を算出することができる。
これにより、映像評価装置は、視聴者の目を惹いたフレーム画像の部分については、顕著性マップの値の重みを高くし、高い誘目度が得られるようにするため、視聴者が映像の特徴によって誘目されている程度を精度よく評価することができる。
【0011】
本発明の一態様は、上述する映像評価装置であって、視標の位置を時間的に切り替えて提示したときに測定された視点のデータに基づいて、前記視標ごとに、前記視標の提示が開始された時刻から前記視標へのサッカードが開始された時刻までの差分である遅れ時間を算出し、複数の前記視標について算出した前記遅れ時間を平均して前記潜時を算出する潜時抽出部をさらに備える、ことを特徴とする。
この発明によれば、映像評価装置は、個人キャリブレーションを行ったときの視点のデータに基づいて、指標の提示からサッカードが開始される時刻までの差分である遅れ時間を複数の指標について算出し、算出したそれらの遅れ時間を平均して潜時を算出する。
これにより、映像評価装置は、視聴者ごとに特有の潜時を用いて、内的に注視の対象が決定されたときのフレームを特定し、誘目度の算出に用いることができる。よって、映像評価装置は、視聴者が映像の特徴によって誘目されている程度を精度よく評価することができる。
【0012】
本発明の一態様は、上述する映像評価装置であって、注視領域抽出部は、注視された前記フレームにおける前記視点に基づいて二次元座標における分布を算出し、算出した分布の値が閾値以上の領域を注視領域として抽出する、ことを特徴とする。
この発明によれば、映像評価装置は、サッカード終了後に注視されたフレームにおける視点の位置に基づいて注視領域を抽出する。
これにより、映像評価装置は、フレーム画像においてサッカードを誘発した部分を注視領域として得ることができる。
【0013】
本発明の一態様は、コンピュータを、映像視聴中の視点をフレームごとに示す視線データから得られた視点の移動速度に基づいてサッカードの開始から終了までの前記フレームを特定するサッカード抽出手段と、前記移動速度に基づいて、サッカードの終了から次のサッカードが開始するまでの前記フレームから注視された前記フレームを特定し、特定した前記フレームにおける前記視点に基づいて注視領域を抽出する注視領域抽出手段と、前記注視領域が得られた前記フレームにおける前記視点の分布に基づいて前記注視領域における重み係数を表す領域窓関数を算出する窓関数算出手段と、サッカードが終了したときの前記フレームから、内的に注視の対象が決定された状態から視線の移動が開始するまでの遅れ時間である潜時とサッカードに要する時間とを合計した時間分のフレーム数だけ遡った前記フレームを、ターゲットフレームとして抽出するターゲットフレーム抽出手段と、前記ターゲットフレームの画素ごとの特徴量の値を算出したマップに基づいて画素ごと又は画像のブロックごとに顕著性の程度を数値化した顕著性マップを算出する顕著性マップ算出手段と、前記注視領域に該当する前記顕著性マップの部分に前記領域窓関数を適用した値を用いて、誘目性を定量的に表す値である誘目度を算出する誘目度算出手段と、を具備する映像評価装置として機能させるためのプログラムである。
【発明の効果】
【0014】
本発明によれば、視聴者が映像の特徴によって誘目されている程度を精度よく評価することができる。
【図面の簡単な説明】
【0015】
図1】本発明の実施形態による映像評価システムの構成を示す機能ブロック図である。
図2】同実施形態による視線データのデータ構成を示す図である。
図3】同実施形態による個人キャリブレーション時に画面に提示される視標の位置を示す図である。
図4】同実施形態による個人キャリブレーション時に画面に提示される視標の時間的変化の例を示す図である。
図5】同実施形態による個人キャリブレーション時において視標が変化した際の視点の変化のタイミングを模式的に示した図である。
図6】同実施形態による映像評価装置の誘目度算出処理を示す処理フローである。
図7】同実施形態によるサッカード及び注視の抽出例を示す図である。
図8】同実施形態によるターゲットフレームの決定方法を示す図である。
図9】同実施形態によるシーン毎のサッカードと領域窓関数の例を示す図である。
図10】同実施形態による評価結果データの例を示す図である。
【発明を実施するための形態】
【0016】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
本発明の実施形態では、映像視聴時の視聴者の眼球運動を測定し、測定したなかで注視点の位置が大きく変化するサッカード(跳躍眼球運動)成分に注目する。映像評価装置は、内的(心的)な注視対象の決定時点における当該サッカード終了地点周辺の顕著性の高さを算出し、当該サッカードを生じさせた誘目性の指標(以下、「誘目度」と記載する)とする。誘目度は、誘目性を定量的に表す値である。映像評価装置は、映像視聴中に得られた全てのサッカードについて算出される誘目度から、映像の各シーンや映像全体の誘目度を算出し、映像の誘目性に関する評価値とする。なお、シーンとは、カットからカットまでの間である。
【0017】
図1は、本発明の実施形態による映像評価システム10の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。映像評価システム10は、映像蓄積部1、映像再生部2、視線測定部3、視線データ蓄積部4、及び、映像評価装置5を備えて構成される。
【0018】
映像蓄積部1は、映像データを蓄積する。映像蓄積部1に蓄積される映像データには、潜時の抽出に用いる映像データと、評価対象の映像データとが含まれる。サッカードとは、眼球を素早く動かして視点を移動することであり、潜時とは、視聴者が内的に注視対象を決定してからその視標へのサッカードが開始されるまでの遅れ時間である。
映像再生部2は、映像蓄積部1に蓄積されている映像データを視聴者に提示する。つまり、映像再生部2は、映像データを再生し、映像データの各フレームの画像をディスプレイまたはスクリーン(以下、「画面」と記載する。)に表示する。
視線測定部3は、視聴者が映像データを視聴している際の眼球運動を測定し、映像再生部2が画面にフレーム画像を表示しているときに、ユーザが視線を向けていた画面上の位置である視点を得る。視点は、例えば、画面の縦と横をそれぞれ、X軸、Y軸としたときの座標により表される。
視線データ蓄積部4は、映像視聴中に視線測定部3が得た画面上の視点をフレームごとに示す視線データを蓄積する。
【0019】
映像評価装置5は、コンピュータ装置により実現することができる。映像評価装置5は、潜時抽出部51、サッカード抽出部52、注視領域抽出部53、窓関数算出部54、ターゲット領域抽出部55、ターゲットフレーム抽出部56、顕著性マップ算出部57、誘目度算出部58、及び記憶部59を備えて構成される。
潜時抽出部51は、映像評価処理に先立って実施される個人キャリブレーション時に得られた視線データを用いて、視聴者の眼球運動の遅れ時間である潜時を抽出する。サッカード抽出部52は、視聴者が評価対象の映像データを視聴したときの視線データを用いて、サッカード成分を抽出する。注視領域抽出部53は、サッカード終了点を含むフレームから次のサッカードが開始されるフレームまでの視点に基づいて注視領域を抽出する。窓関数算出部54は、注視領域における視点の分布に基づいて、注視領域における重み係数を表す領域窓関数を算出する。ターゲット領域抽出部55は、各サッカードについて、サッカード終了点を含む注視領域をターゲット領域として抽出する。ターゲットフレーム抽出部56は、サッカードの開始フレームから、潜時抽出部51が抽出したサッカード潜時分のフレームを時間的に遡ったフレームを、ターゲットフレームとして抽出する。サッカードの開始フレームは、サッカードの終了フレームからサッカードに要する時間分のフレームを遡ったフレームである。つまり、ターゲットフレームは、サッカード終了点を含むフレームから、潜時とサッカードに要する時間とを合計した時間分のフレーム数だけ遡ったフレームに相当する。顕著性マップ算出部57は、ターゲットフレームの顕著性マップを算出する。誘目度算出部58は、顕著性マップのターゲット領域に該当する部分に領域窓関数を適用して誘目性を表す値を算出する。誘目度算出部58は、誘目性を表す値を領域窓関数によって正規化し、誘目度を算出する。記憶部59は、各サッカードについて得られた誘目度など、各種データを記憶する。また、記憶部59は、各部が処理に用いるデータを一時的に記憶する。
【0020】
図2は、視線データの例を示す図である。同図に示すように、視線データは、フレームID(以下、「FID」と記載する。)と、タイムコードと、視点位置情報とを対応付けたデータである。FIDは、映像データのフレームを特定する識別情報である。タイムコードは、FIDにより特定されるフレームの再生時間を示す。視点位置情報は、FIDにより特定されるフレームの画像が提示されていたときにユーザの視線が向いていた画面上の位置である視点を表す座標である。
【0021】
続いて、映像評価システム10の動作を説明する。
まず、映像評価システム10は、映像評価に先立って、潜時を抽出するための個人キャリブレーションを行う。
【0022】
図3は、個人キャリブレーション時に画面に提示される視標の位置を示す図である。同図では、縦の位置を右、中央、左の3種類、横の位置を上、中央、下の3種類としており、9つの視標D1〜D9はそれぞれ、縦の位置と横の位置の組み合わせが異なる。
【0023】
図4は、個人キャリブレーション時に画面に提示される視標の時間的変化の例を示す図である。同図に示す画面は、映像再生部2が潜時抽出用の映像データを再生することにより表示される。同図では、視標D5、視標D1、視標D2、視標D3、視標D6、視標D9、視標D8、視標D7、視標D4、視標D5の順に提示を行う。各視標はそれぞれ2秒程度提示され、次の視標に切り替わる。視聴者はこれらの視標を注視することを求められ、視標の切り替えとともに視点の移動が生じる。
【0024】
図5は、個人キャリブレーション時に視標が変化した際の視点の変化のタイミングを模式的に示した図である。同図では、視線の上下方向の変化に注目するために、視標D1、視標D2、視標D3、視標D1、視標D3の順に表示した場合を示している。表示された時系列の各フレームの画像の下には、視点の上下方向の座標変化を示している。一般的に、視点は内的に注視対象を決定した時からほぼ一定の遅れ(潜時)を伴って移動する。内的に注視対象の決定した時とは、視標が提示された後に視聴者が心的にその視標に注意を向けようとした瞬間である。例えば、時刻t1に視標が表示されると、視聴者は時刻t2に内的にその視標を注視対象として決定する。視聴者は、潜時の後、時刻t3に注視対象(視標)への視線の移動を開始する。これにより、サッカードが開始される。そして、注視対象(視標)への視線の移動が終了した時刻t4に、サッカードが終了する。
【0025】
個人キャリブレーションにおいては、映像中に視標が1点のみ表示されるために顕著性が非常に高い。そのため、視標の表示時刻(t1)≒内的に注視の対象を決定した時刻(t2)とみなすことができる。従って、潜時は、視標の表示からサッカードの開始時刻までの時間(例えば、時刻t3−時刻t1)として算出される。そこで、個人キャリブレーションにより各視標を切り替えて提示した際に得られたこの遅れ時間(潜時1、潜時2、潜時3、潜時4、…)から平均的な潜時と、その平均的な潜時に相当するフレーム数(以下、「潜時相当フレーム数」と記載する。)を算出し、後述するターゲットフレーム抽出処理において利用する。
なお、実際の映像では映像中に様々な注視対象が同時に表示される。従って、ある被写体が映像中に表示された瞬間は必ずしも注視対象として内的に決定される時刻とは一致しない。
【0026】
映像評価システム10における個人キャリブレーション時の動作を説明する。
映像再生部2は、映像蓄積部1に記憶されている潜時抽出用の映像データを読み出して再生し、表示される視標が2秒程度で切り変わっていく画面を提示する。視線測定部3は、視聴者が視標を注視しているときの眼球運動を測定し、測定した時点のフレーム画像のFID及びタイムコードと、測定により得られた視点の視点位置情報とを設定した視線データを視線データ蓄積部4に記録する。映像評価装置5の潜時抽出部51は、視線データ蓄積部4からこの記録された視線データを読み出す。潜時抽出部51は、視線データが示す各タイムコードにおける視点位置情報に基づいて、視点の移動速度(例えば、角速度)を算出する。潜時抽出部51は、視点の移動速度が所定の速度以上である場合、サッカードであると判断する。潜時抽出部51は、視標の提示が開始された時刻から、その視標へのサッカードが開始される時刻までの差分である遅れ時間を視標ごとに算出する。潜時抽出部51は、全ての視標それぞれの遅れ時間の平均を算出し、潜時とする。潜時抽出部51は、さらに、潜時に相当するフレーム数である潜時相当フレーム数を算出する。
【0027】
続いて、映像評価システム10における映像評価時の動作を説明する。
映像再生部2は、映像蓄積部1に記憶されている評価対象の映像データである映像コンテンツを読み出して再生する。視線測定部3は、視聴者が映像コンテンツを視聴しているときの眼球運動を測定し、測定した時点のフレーム画像のFID及びタイムコードと、測定により得られた視点の視点位置情報とを設定した視線データを視線データ蓄積部4に記録する。
【0028】
図6は、映像評価装置5による誘目度算出処理を示す処理フローである。
映像蓄積部1には映像コンテンツのシーンと、そのシーンのFIDまたは再生時間との対応付けを示す情報を予め登録しておく。
【0029】
映像評価装置5のサッカード抽出部52は、映像コンテンツについて生成された視線データを視線データ蓄積部4から読み出す。サッカード抽出部52は、視線データが示す各タイムコードにおける視点位置情報に基づいて、視点の移動速度(例えば、角速度)を算出する。サッカード抽出部52は、算出した移動速度が、所定の速度(例えば5deg/s)以上である時間帯をそれぞれ、サッカードが発生した時間帯として抽出する(ステップS105)。サッカードが発生した時間帯の開始時刻、終了時刻のフレームがそれぞれ、サッカード開始時点、サッカード終了時点のフレームである。ここでは、i番目(iは1以上の整数)に出現したサッカードをサッカード#iと記載する。サッカード抽出部52は、各サッカードに、サッカードを識別するためのサッカードIDを付与する。
なお、個人キャリブレーション時、及び、ステップS105において使用される所定の速度は同じであり、経験値に基づいて事前に設定される。
【0030】
注視領域抽出部53は、サッカードとして抽出されなかった時間帯のフレームから、所定の速度以下で視点移動が生じたフレームを特定する。注視領域抽出部53は、特定したフレームにおける視点に基づき注視領域を抽出する(ステップS110)。
具体的には、注視領域抽出部53は、サッカードの終了時のフレームと次のサッカードの開始時のフレームとの間で、所定の速度以下で視点移動が生じたフレームを特定し、そのフレームの視点位置情報を視線データから読み出す。注視領域抽出部53は、読み出した視点位置情報が示す座標からX軸−Y軸の二次元座標における正規分布を求め、その正規分布における値が閾値以上の領域を注視領域とする。以下では、サッカード#iの終了時のフレームとサッカード#(i+1)の開始時のフレームとの間のフレームから抽出された注視領域を注視領域#iと記載する。
なお、ステップS110において使用される所定の速度及び閾値は、経験値に基づいて事前に設定される。
【0031】
窓関数算出部54は、各注視領域について、その注視領域が得られたフレームにおける視点の分布から、その注視領域に対する重みの分布を算出し、領域窓関数を得る(ステップS115)。以下では、注視領域#iから得られた領域窓関数を領域窓関数#iと記載する。
【0032】
図7は、サッカード及び注視の抽出例を示す図である。
例えば、FID「3」〜FID「5」のフレームにおいてサッカード#1が抽出され、FID「12」〜FID「15」のフレームにおいてサッカード#2が抽出されたとする。そして、サッカード#1とサッカード#2の間で、FID「6」〜FID「11」のフレームが注視され、これらのフレームの視点から注視領域#1が得られたとする。この場合、領域窓関数#1は、注視領域#1におけるFID「6」〜FID「11」のフレームの視点の分布から算出される。
【0033】
窓関数算出部54は、例えば、以下の(1)〜(3)のように、視点の分布から注視領域に対する重みの分布を算出し、領域窓関数とする。
【0034】
(1)注視領域に含まれる視点に二次元混合正規分布を当てはめた分布。
(2)各視点から一定の距離内にある領域を、注視領域に含まれる全ての視点について足し合わせた後、正規化した分布。距離の例として、観測される測定誤差などがある。
(3)注視領域に含まれる各視点の重心から一定の距離内を一様の値とする分布。
【0035】
窓関数算出部54は、上記の(1)〜(3)のいずれかにより算出した分布を、重みの総和が1となるように正規化して領域窓関数とする。
【0036】
ターゲット領域抽出部55は、ステップS105においてサッカード抽出部52が抽出したサッカードのうち未選択のサッカード#iを1つ選択する(ステップS120)。例えば、ターゲット領域抽出部55は、iが小さい順に未選択のサッカードを選択する。ターゲット領域抽出部55は、注視領域抽出部53が算出した注視領域#iをターゲット領域として抽出する(ステップS125)。
【0037】
ターゲットフレーム抽出部56は、サッカード#iの終了時点のフレームから、サッカードに要する時間分のフレーム数と、潜時抽出部51が得た潜時相当フレーム数とを遡ったフレームを、顕著性マップを算出するターゲットフレームに決定する(ステップS130)。ターゲットフレームは、内的に注視の対象を決定したときのフレームである。サッカード#iの終了時点のフレームから、サッカードに要した時間分のフレーム数を遡ったフレームは、サッカード#iの開始時点のフレームに相当する。従って、ターゲットフレームは、サッカード#iの開始時点のフレームから潜時相当フレーム数だけ遡ったフレームとなる。
【0038】
図8は、ターゲットフレームの決定方法を示す図である。同図は、図7に示すサッカード#1のターゲットフレームを決定する場合を例に示している。ターゲットフレーム抽出部56は、サッカード開始時点のFID「03」のフレームを、サッカード終了時点のFID「05」のフレームからサッカードに要した時間分のフレーム数を遡ったフレームとして特定する。さらに、ターゲットフレーム抽出部56は、サッカード開始時点のFID「03」のフレームから、潜時相当フレーム数「2」だけ時間的に遡ったFID「01」フレームを、ターゲットフレームとして決定する。ターゲットフレーム抽出部56は、ターゲットフレームのFIDを顕著性マップ算出部57に出力する。これは、サッカードが終了したときの視点を含む領域に、視聴者の目を惹いた画像があると考えられるためである。
【0039】
図6において、顕著性マップ算出部57は、ステップS130においてターゲットフレーム抽出部56から出力されたFIDにより特定されるフレーム画像であるターゲットフレームを、映像蓄積部1が蓄積している映像コンテンツから読み出す。顕著性マップ算出部57は、読み出したターゲットフレームの顕著性マップを算出する(ステップS135)。顕著性マップの算出には、例えば、非特許文献1〜3を利用することができるが、他の任意の顕著性マップの算出方法を用いてもよい。
【0040】
例えば、顕著性マップは、以下のように算出される。まず、特徴量の種類(色、輝度値、動きベクトルなど)別に、入力画像の画素ごとの特徴量の値を算出したマップを生成し、さらに、入力画像のスケールを1/2、1/4、1/8、…のように小さくしたときの特徴量の値のマップを生成する。そして、特徴量の種類別に、スケール間のマップの差を求めることによって特徴量の値の差分を強調した特徴マップを作成した後、各種類の特徴量について作成した特徴マップを線形結合し、画素ごと又は画像のブロックごとに顕著性の程度を数値化した顕著性マップを算出する。
【0041】
誘目度算出部58は、顕著性マップ算出部57が算出した顕著性マップから、ターゲット領域(注視領域#i)に相当する部分の顕著性マップを抽出する。誘目度算出部58は、ターゲット領域の顕著性マップに領域窓関数#iが示す重み付け係数を乗算して得られた各画素の値を加算することにより顕著性マップの重み付け和を算出し、誘目性を表す値とする(ステップS140)。誘目度算出部58は、ステップS140において算出した値を領域窓関数の総和によって正規化し、誘目度とする(ステップS145)。誘目度算出部58は、サッカード#iが含まれるシーンのシーンIDと、サッカード#iのサッカードIDと、サッカード#iの開始フレームのFID及び終了フレームのFIDとを対応付けて記憶部59に書き込む。サッカード#iが含まれるシーンのシーンIDは、映像蓄積部1から読み出される。
【0042】
ターゲット領域抽出部55は、ステップS105においてサッカード抽出部52が抽出した全てのサッカードについて処理を終了したか否かを判断する(ステップS150)。ターゲット領域抽出部55は、処理をしていないサッカードがあると判断した場合(ステップS150:NO)、現在のiの値に1を加算してステップS120からの処理を繰り返す。
そして、ターゲット領域抽出部55は、全てのサッカードについて処理を終了したと判断した場合(ステップS150:YES)、処理を終了する。
【0043】
上記の誘目度処理を行うことにより、誘目度に関する時系列のベクトルが得られる。誘目度算出部58は、シーンごとあるいは映像コンテンツ全体について、誘目度の平均値を算出し、シーンごとあるいは映像コンテンツ全体の評価値とする。誘目度算出部58は、算出したシーンごとあるいは映像全体の評価値を示す評価結果データを生成し、記憶部59に書き込むなどして出力する。
【0044】
図9は、シーン毎のサッカードと領域窓関数の例を示す図である。同図は、シーン1におけるサッカードID「01」〜「04」の4つのサッカードと、それらサッカードが選択されたときに誘目度の算出に使用した領域窓関数を示している。同様にシーン2、シーン3、…についてもサッカードが得られ、それらの誘目度が算出される。
【0045】
図10は、評価結果データの例を示す図である。同図に示す評価結果は、各サッカードのシーンID、サッカードID、開始フレームのFID、終了フレームのFID、及び、誘目度と、シーン別の誘目度と、映像コンテンツ全体の誘目度とを示す。
【0046】
上記した実施形態は、例えば、視線測定部3が、240fps(フレーム毎秒)や500fbs等の高速カメラを利用した眼球運動測定装置であり、映像再生部2が、60fpsや120fbsなどの高フレームレートの映像表示装置である場合に好適である。高速カメラを利用した眼球運動測定装置の場合、図5に示すように、サッカードの開始の時刻t3と、サッカード終了の時刻t4とを別々に観測することが可能である。
しかし、一般的にサッカードの速度は非常に早く、その所要時間は、30fbsフレームレートの通常のビデオカメラによる1フレーム分(33ミリ秒)以下になる可能性もある。さらに、キャリブレーションの場合は、視標を比較的近い場所に移動して眼球運動を促すためにサッカードの距離は短くなる。そのため、通常のビデオカメラで測定する眼球運動測定装置では、サッカードの開始の時刻t3と、サッカード終了の時刻t4とを別々に捉えにくいと考えられる。つまり、時刻t3≒時刻t4となる。そこで、潜時抽出部51は、視標の提示が開始された時刻から、その視標へのサッカードが終了した時刻(又は開始した時刻)までの差分である遅れ時間を視標ごとに算出する。この遅れ時間は、潜時とサッカードに要する時間とを含んだ時間である。潜時抽出部51は、全ての視標それぞれの遅れ時間の平均を算出し、算出した遅れ時間の平均に相当するフレーム数を算出する。そして、ステップS130において、ターゲットフレーム抽出部56は、サッカード#iの終了時点のフレームから、遅れ時間の平均に相当するフレーム数だけ遡ったフレームを、内的に注視の対象を決定したときのフレームであるターゲットフレームに決定する。
【0047】
以上説明した実施形態によれば、映像コンテンツ視聴時の視線の特徴量(注視点分布、移動速度など)と、画像中の誘目性の高い領域を推定する顕著性マップとから、視聴者が映像表現の顕著性に誘目されている程度を数値化し、映像の質を評価することができる。これにより、映像制作時に試みられる様々な演出に対しての客観的な評価値として利用することが可能である。
【0048】
なお、上述の映像評価装置5は、内部にコンピュータシステムを有している。そして、映像評価装置5の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、CPU及び各種メモリやOS、周辺機器等のハードウェアを含むものである。
【0049】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【0050】
1 映像蓄積部
2 映像再生部
3 視線測定部
4 視線データ蓄積部
5 映像評価装置
10 映像評価システム
51 潜時抽出部
52 サッカード抽出部
53 注視領域抽出部
54 窓関数算出部
55 ターゲット領域抽出部
56 ターゲットフレーム抽出部
57 顕著性マップ算出部
58 誘目度算出部
59 記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10