特開2016-146075(P2016-146075A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特開2016146075-映像評価装置およびそのプログラム 図000015
  • 特開2016146075-映像評価装置およびそのプログラム 図000016
  • 特開2016146075-映像評価装置およびそのプログラム 図000017
  • 特開2016146075-映像評価装置およびそのプログラム 図000018
  • 特開2016146075-映像評価装置およびそのプログラム 図000019
  • 特開2016146075-映像評価装置およびそのプログラム 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-146075(P2016-146075A)
(43)【公開日】2016年8月12日
(54)【発明の名称】映像評価装置およびそのプログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20160715BHJP
   G06F 17/30 20060101ALI20160715BHJP
【FI】
   G06F3/01 310C
   G06F17/30 170D
   G06F17/30 220Z
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】17
(21)【出願番号】特願2015-22807(P2015-22807)
(22)【出願日】2015年2月9日
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】澤畠 康仁
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA48
5E555BA02
5E555BB02
5E555BC08
5E555CB69
5E555CB70
5E555DD06
5E555EA19
5E555EA20
5E555FA02
5E555FA30
(57)【要約】
【課題】映像コンテンツを視聴した推定対象被験者の主観評価を推定する映像評価装置を提供する。
【解決手段】映像評価装置1は、映像コンテンツ視聴中の学習被験者から計測される計測チャンネルごとの時系列の生体信号データと、学習被験者が行った複数の評価項目に対する主観評価値とから、計測チャンネルごとに主観評価推定モデルを生成する主観評価推定モデル生成手段14と、主観評価推定モデルに基づいて、映像コンテンツ視聴中の推定対象被験者から計測される計測チャンネルごとの時系列の生体信号データから、評価項目に対する計測チャンネルごとの推定対象被験者の主観評価値を求める主観評価推定手段21と、その求められた主観評価値を計測チャンネル分統合することで、評価項目ごとに、推定対象被験者の推定主観評価値を求める主観評価統合手段22と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
予め複数の学習被験者により学習した主観評価推定モデルによって、映像コンテンツを視聴した推定対象被験者の主観評価を推定する映像評価装置であって、
前記映像コンテンツ視聴中に、前記学習被験者の複数の部位ごとの計測チャンネルで計測された生体信号を、時系列の数値である生体信号データとして入力する第1生体信号入力手段と、
前記映像コンテンツに対する予め定めた複数の評価項目に対して、前記学習被験者が評価した数値化された評価結果である主観評価値を入力する主観評価入力手段と、
前記複数の学習被験者を対象とした前記計測チャンネルごとの時系列の生体信号データと前記複数の評価項目に対する主観評価値とから、前記計測チャンネルごとに、前記生体信号データから前記主観評価値を求める関数を、前記主観評価推定モデルとして生成する主観評価推定モデル生成手段と、
前記映像コンテンツを視聴する前記推定対象被験者の前記計測チャンネルで計測された生体信号を、時系列の数値である生体信号データとして入力する第2生体信号入力手段と、
前記主観評価推定モデルを用いて、前記計測チャンネルごとに、前記第2生体信号入力手段で入力された生体信号データから前記推定対象被験者の主観評価値を演算により求める主観評価推定手段と、
この主観評価推定手段で求められた主観評価値を予め定めた演算により前記計測チャンネル分統合することで、前記評価項目ごとに、前記推定対象被験者の推定主観評価値を求める主観評価統合手段と、
を備えることを特徴とする映像評価装置。
【請求項2】
前記主観評価統合手段は、前記評価項目の内で主観評価値として連続値を用いた評価項目について、前記主観評価推定手段で演算により求められた前記計測チャンネルごとのすべての主観評価値の平均値を演算し、前記推定主観評価値とすることを特徴とする請求項1に記載の映像評価装置。
【請求項3】
前記主観評価統合手段は、前記評価項目の内で主観評価値として離散値を用いた評価項目について、前記主観評価推定手段で演算により求められた前記計測チャンネルごとの主観評価値で最も頻度の高い数値を前記推定主観評価値とすることを特徴とする請求項1に記載の映像評価装置。
【請求項4】
前記主観評価推定モデル生成手段は、前記計測チャンネルごとに、前記学習被験者の時系列の生体信号データを重み付け加算して前記主観評価値を演算するための前記時系列のサンプル数に対応した重み係数を、前記関数のパラメータとして生成することを特徴とする請求項1から請求項3のいずれか一項に記載の映像評価装置。
【請求項5】
前記主観評価推定手段で演算された主観評価値のうちで、前記推定主観評価値に予め定めた範囲で近似する主観評価値を演算した前記主観評価推定モデルである関数のパラメータを平均化することで、前記評価項目ごとに、前記計測チャンネル分の主観評価推定モデルを統合する推定モデル統合手段と、
この推定モデル統合手段で統合された前記評価項目ごとの主観評価推定モデルの前記時系列のサンプル数に対応したパラメータの大きさが予め定めた閾値よりも大きい時点のシーンを、前記映像コンテンツにおける前記評価項目の評価に貢献するシーンとして同定する主観評価関連シーン同定手段と、
そ備えることを特徴とする請求項4に記載の映像評価装置。
【請求項6】
前記主観評価統合手段は、前記評価項目の内で主観評価値として連続値を用いた評価項目について、さらに、前記推定主観評価値に近い主観評価値を推定した計測チャンネルを、近い順から予め定めた個数分選択し、
前記推定モデル統合手段は、前記選択された計測チャンネルに対応する前記主観評価推定モデルの関数のパラメータを平均化することを特徴とする請求項5に記載の映像評価装置。
【請求項7】
前記主観評価統合手段は、前記評価項目の内で主観評価値として離散値を用いた評価項目について、さらに、前記推定主観評価値と一致する主観評価値を推定した計測チャンネルを選択し、
前記推定モデル統合手段は、前記選択された計測チャンネルに対応する前記主観評価推定モデルのパラメータを平均化することを特徴とする請求項5に記載の映像評価装置。
【請求項8】
コンピュータを、請求項1から請求項7のいずれか一項に記載の映像評価装置として機能させるための映像評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像コンテンツまたは当該映像コンテンツを提示する映像システムを客観的に評価する映像評価装置およびそのプログラムに関する。
【背景技術】
【0002】
従来、映像コンテンツや映像システムの評価は、映像コンテンツを視聴した評価者が、1つまたは複数の評価項目に対して評価値を与えるという主観評価によって行われてきた。この主観評価は、映像コンテンツの印象を調べたり、符号化パラメータと画質の劣化具合を調べたり、等の方法として広く用いられてきた。
しかし、主観評価は、評価者が自ら感じていること(内観)を、自らで数値的に答えるというところに大きな問題がある。なぜなら、測定対象と測定器が、同じ評価者の中に存在すると解釈でき、正確に内観を数値化することは、評価者個人の特性や能力に関ってしまうからである。
【0003】
例えば、ノイズが目立つかどうかを答えるという比較的単純な評価課題であれば、評価者の能力の差はあまり大きくないことが想定できる。一方、「臨場感」や「分かりやすさ」の度合いを答えるという評価課題は、先の比較的単純な評価課題に比べ高度であり、評価者の能力の影響を大きく受けることになる。特に、認知能力が十分でないと想定される子供、高齢者等を測定対象として評価を行う場合、評価結果の品質を確保する際に非常に顕著な問題となる。
【0004】
また、従来の主観評価は、映像コンテンツを視聴しながら同時に評価するという、実質的に2つの動作により行われている。したがって、評価するという行為が、映像コンテンツを視聴するという行為に干渉してしまい、評価者によっては、映像コンテンツや映像システムの評価を正しく行えないという問題がある。この問題は、評価課題が高度になるにつれて顕著になる。
そこで、近年は、内観を評価者に答えてもらうのではなく、評価者の生体信号を計測し、客観的に内観を推定する手法が開示されている(例えば、特許文献1〜9参照)。
この生体信号による内観の推定は、例えば、評価者の脳波等の生体信号を計測し、人の集中度、リラックスの状態等、予め決められた生体信号のパターンが出現するか否かにより行われている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第4370209号公報
【特許文献2】特許第4441345号公報
【特許文献3】特許第4686299号公報
【特許文献4】特許第3991066号公報
【特許文献5】特許第4189440号公報
【特許文献6】特許第5119375号公報
【特許文献7】特許第3048918号公報
【特許文献8】特開2012−73350号公報
【特許文献9】特許第2772413号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、放送番組等の映像コンテンツは種類(ジャンル、内容等)が多種多様であり、評価者の集中度やリラックス状態が把握できても、映像コンテンツの評価には貢献できない場合がある。多種多様な映像コンテンツに対応するためには、多様な評価軸を柔軟に設定できる必要があるが、多様な評価軸に対応する生体信号のパターンを予め設定することは極めて困難であるからである。
すなわち、従来の手法のように、評価者の生体信号そのものだけを利用しても、映像コンテンツの内容を考慮した評価を行うことは困難であるという問題がある。
【0007】
本発明は、このような問題に鑑みてなされたものであり、映像コンテンツの評価軸を柔軟に設定することを可能とし、評価者の生体信号から、映像コンテンツまたは映像コンテンツを提示する映像システムを客観的に評価することが可能な映像評価装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
前記課題を解決するため、本発明に係る映像評価装置は、予め複数の学習被験者により学習した主観評価推定モデルによって、映像コンテンツを視聴した推定対象被験者の主観評価を推定する映像評価装置であって、第1生体信号入力手段と、主観評価入力手段と、主観評価推定モデル生成手段と、第2生体信号入力手段と、主観評価推定手段と、主観評価統合手段と、を備える構成とした。
【0009】
かかる構成において、映像評価装置は、第1生体信号入力手段によって、映像コンテンツ視聴中に、学習被験者の複数の部位ごとの計測チャンネルで計測された生体信号を、時系列の数値である生体信号データとして入力する。これによって、映像評価装置は、学習段階として、映像コンテンツ視聴中の学習被験者の内観を、生体信号による数値データとして入力する。
【0010】
また、映像評価装置は、主観評価入力手段によって、映像コンテンツに対する予め定めた複数の評価項目に対して、学習被験者が評価した数値化された評価結果である主観評価値を入力する。これによって、映像評価装置は、学習段階として、学習被験者の映像コンテンツに対する主観評価値を入力する。また、評価項目は任意の項目を設定することができるため、映像評価装置は、それぞれの評価項目によって映像コンテンツの評価軸を柔軟に設定することができる。
【0011】
そして、映像評価装置は、主観評価推定モデル生成手段によって、計測チャンネルごとの時系列の生体信号データと複数の評価項目に対する主観評価値とから、計測チャンネルごとに主観評価推定モデルを生成する。
この主観評価推定モデルは、生体信号データから主観評価値を求める関数であって、時系列の個々の生体信号データを重み付け加算して主観評価値を演算するための時系列のサンプル数に対応したパラメータで特定される。なお、このパラメータは、複数の学習被験者によって測定された生体信号データと主観評価値とに対して、例えば、最小二乗法を用いることで求めることができる。
これによって、映像評価装置は、計測チャンネルごとに、主観評価推定モデルを学習することができる。
【0012】
また、映像評価装置は、実際の推定対象である推定対象被験者の主観評価値を推定するため、第2生体信号入力手段によって、映像コンテンツを視聴する推定対象被験者の計測チャンネルで計測された生体信号を、時系列の数値である生体信号データとして入力する。
そして、映像評価装置は、主観評価推定手段によって、主観評価推定モデルを用いて、計測チャンネルごとに、第2生体信号入力手段で入力された生体信号データから推定対象被験者の主観評価値を演算により求める。
【0013】
そして、映像評価装置は、主観評価統合手段によって、主観評価推定手段で求められた主観評価値を予め定めた演算により計測チャンネル分統合することで、評価項目ごとに、被験者の推定主観評価値を求める。
これによって、映像評価装置は、評価項目ごとに、推定対象被験者が感じている(内観した)主観評価値を推定することができる。
なお、本発明は、コンピュータを、第1生体信号入力手段、主観評価入力手段、主観評価推定モデル生成手段、第2生体信号入力手段、主観評価推定手段および主観評価統合手段として機能させるための映像評価プログラムで実現することもできる。
【発明の効果】
【0014】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、予め複数の評価項目に対する学習被験者の主観評価によって、映像コンテンツ視聴中における学習被験者の生体信号との関係を学習することができる。そのため、本発明は、推定対象被験者の映像コンテンツの主観評価を、推定対象被験者の生体信号のみで推定することができる。
また、本発明は、従来のような特定の生体信号と主観評価とを対応付けるのではなく、学習によって、任意の生体信号と、評価軸を任意の項目で設定可能な複数の評価項目に対する主観評価とを関連付けるため、任意の映像コンテンツに対する任意の評価軸による主観評価の推定を行うことができる。
【図面の簡単な説明】
【0015】
図1】本発明の第1実施形態に係る映像評価装置の概要を説明するための説明図であって、(a)は学習段階、(b)は推定段階の概要を示す図である。
図2】本発明の第1実施形態に係る映像評価装置の構成を示すブロック構成図である。
図3】本発明の第1実施形態に係る映像評価装置の学習段階の動作を示すフローチャートである。
図4】本発明の第1実施形態に係る映像評価装置の推定段階の動作を示すフローチャートである。
図5】本発明の第2実施形態に係る映像評価装置の構成を示すブロック構成図である。
図6】本発明の第2実施形態に係る映像評価装置の推定段階の動作を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について図面を参照して説明する。
〔映像評価装置の概要〕
最初に、図1を参照して、本発明の実施形態に係る映像評価装置1の概要について説明する。
映像評価装置1は、放送番組等の映像コンテンツを視聴中の複数の被験者の生体信号と、その被験者が複数の評価項目で当該映像コンテンツを主観評価した結果(学習用主観評価値)とから当該映像コンテンツに対する生体信号と主観評価との関係を学習し、その学習結果に基づいて、他の被験者の生体信号から、当該映像コンテンツに対する主観評価を推定するものである。ここで、学習段階における被験者を学習被験者といい、推定段階における被験者を推定対象被験者という。
【0017】
すなわち、映像評価装置1は、図1(a)に示すように、学習段階として、複数の学習被験者Hs,Hs,…から、生体信号測定装置(ここでは、脳波計B)で計測される、テレビ受信機等の映像システムのモニタMに提示される映像コンテンツ視聴中における生体信号(学習用生体信号)を取得する。さらに、映像評価装置1は、学習段階として、映像コンテンツ視聴後に、学習被験者Hs,Hs,…から、当該映像コンテンツに対する複数の評価項目に対する評価(学習用主観評価値)を取得する。
そして、映像評価装置1は、取得した生体信号と主観評価値との関係、すなわち、被験者の映像コンテンツ視聴中の脳波等の生体信号と、被験者の映像コンテンツに対する評価(主観評価値)との関係を学習する。
【0018】
その後、映像評価装置1は、図1(b)に示すように、推定段階として、映像コンテンツに対する主観評価を推定する推定対象被験者Htから、生体信号測定装置(脳波計B)で計測される、モニタMに提示されるコンテンツ視聴中における生体信号(学習用生体信号)を取得し、学習結果に基づいて、推定対象被験者Htの主観評価値を推定する。
ここで、被験者(学習被験者Hs、推定対象被験者Ht)が視聴する映像コンテンツや映像コンテンツを提示する映像システム(モニタM等)は同一である。また、複数の学習被験者Hs,Hs,…に対して行う評価項目の内容は同一である。
【0019】
なお、映像評価装置1は、モニタMを含む映像システムを固定(同一解像度、同一音響環境等)すれば、評価する映像コンテンツを替えることで、映像コンテンツそのものの評価を行うことができる。また、映像評価装置1は、同一の映像コンテンツを提示することとし、映像システムの解像度、音響設備等を替えれば、映像コンテンツの視聴評価を介して、映像システムの評価を行うことができる。
以下、このように、学習と推定により、推定対象被験者Htの主観評価値を推定する映像評価装置1の構成および動作について説明を行う。
【0020】
〔映像評価装置の構成:第1実施形態〕
まず、図2を参照して、本発明の第1実施形態に係る映像評価装置1の構成について説明する。
図2に示すように、映像評価装置1は、事前の学習段階において、推定段階で使用する学習結果(主観評価推定モデル)を学習するための構成として、学習用生体信号入力手段10と、学習用生体信号記憶手段11と、学習用主観評価入力手段12と、学習用主観評価記憶手段13と、主観評価推定モデル生成手段14と、主観評価推定モデル記憶手段15と、推定段階において、推定対象被験者の主観評価値を推定するための構成として、推定用生体信号入力手段20と、主観評価推定手段21と、主観評価統合手段22と、を備える。
【0021】
学習用生体信号入力手段(第1生体信号入力手段)10は、外部に接続された生体信号測定装置(不図示)を介して、生体信号を計測する計測チャンネル(以下、チャンネルという)ごとに、学習被験者の生体信号を入力するものである。この学習用生体信号入力手段10は、複数の学習被験者から入力した生体信号を、それぞれ時系列信号として数値化し、その数値化した生体信号データを、学習被験者とチャンネルとに対応付けて学習用生体信号記憶手段11に書き込み記憶する。
【0022】
ここで、生体信号とは、学習被験者(推定対象被験者についても同様)の生体組織の状態や組織が機能している場合の情報を反映した信号である。この生体信号は、例えば、脳血中酸素依存信号、脳波(EEG:Electroencephalogram)、人体の体表温度等である。
例えば、生体信号測定装置としてfMRI装置を用いることで、学習用生体信号入力手段10は、機能的核磁気共鳴画像法(fMRI:Magnetic Resonance Imaging)により計測される画像の輝度データとして脳血中酸素依存信号を取得することができる。
【0023】
また、例えば、生体信号測定装置としてNIRS脳計測装置を用いることで、近赤外分光法(NIRS:Near Infrared Spectroscopy)により計測される近赤外光の吸収度合いを示すデータとして脳血中酸素依存信号を取得することができる。
また、例えば、生体信号測定装置として脳波計を用いることで、被験者の頭皮上等に置いた電極で計測される電位データとして脳波を取得することができる。
また、例えば、生体信号測定装置としてサーモグラフィを用いることで、熱分布を示す画像データとして体表温度を取得することができる。
【0024】
また、ここで、チャンネル(計測チャンネル)とは、生体信号測定装置で測定される被験者の生体信号の測定部位を示す。例えば、生体信号としてfMRIにより計測されるデータを用いる場合、fMRI装置が脳の複数の断面画像(3次元画像)を生成することから、チャンネルは、画像のピクセル単位(3次元画像であるため、より正確にはボクセル単位)で表された被験者の脳の部位に相当する。また、例えば、生体信号として、近赤外分光法により計測されるデータや脳波を用いる場合、チャンネルは、被験者の頭表上に置かれるプローブ単位または電極単位で表される脳の部位に相当する。
【0025】
なお、fMRI装置は、脳内の酸素依存信号を脳の断面画像として出力するが、その画像は被験者によって大きさ、形状等が異なる。そこで、学習用生体信号入力手段10は、複数の被験者でチャンネルとして指し示す部位を揃えるため、アフィン変換等により、断面画像を圧縮、伸長、回転させ、標準脳と呼ばれるテンプレート脳画像と大きさ、形状等を合わせる正規化処理を行うことが好ましい。
また、学習用生体信号入力手段10は、生体信号データに対して平滑化処理等を行うことで、データのノイズを除去することが好ましい。
このように、学習用生体信号入力手段10は、正規化処理、ノイズ除去等を行った生体信号データを、学習用生体信号記憶手段11に書き込み記憶する。
【0026】
学習用生体信号記憶手段11は、学習用生体信号入力手段10で計測された生体信号(具体的には、数値化された生体信号データ)を記憶するものである。この学習用生体信号記憶手段11は、半導体メモリ、ハードディスク等の一般的な記憶装置で構成することができる。
【0027】
この学習用生体信号記憶手段11には、学習被験者とチャンネルとに対応付けられた時系列信号として、複数の学習被験者の生体信号データが記憶される。例えば、学習用生体信号記憶手段11には、10人の学習被験者に対して、それぞれ10000箇所のチャンネルで計測された生体信号データを記憶する。
ここでは、学習用生体信号記憶手段11に記憶される生体信号データを計測した学習被験者の数をN人とする。また、ここで、チャンネルの識別子をc、学習被験者の識別子をi(1≦i≦N)、映像コンテンツの視聴時刻をt(1≦t≦T)としたとき、学習用生体信号記憶手段11に記憶される時系列の生体信号データ(生体信号時系列)xは、以下の式(1)に示すT次元ベクトルで表すことができる。
【0028】
【数1】
【0029】
なお、式(1)において下付きのtは時刻を表し、上付きのtは転置を示す数学記号である(以下の各式においても同様)。
すなわち、生体信号データxは、学習被験者iが映像コンテンツ視聴中に、最初に計測されたxi,1から、順次、時系列に計測されたxi,Tまでの生体信号データで構成される。
また、学習用生体信号記憶手段11には、学習用生体信号入力手段10によって、学習被験者とチャンネルとが対応付けて記憶されているため、ここでは、チャンネルcに対応する複数の学習被験者の生体信号データを、以下の式(2)の生体信号行列Xで表すこととする。
【0030】
【数2】
【0031】
この学習用生体信号記憶手段11に記憶された生体信号データは、主観評価推定モデル生成手段14によって参照される。
【0032】
学習用主観評価入力手段12は、映像コンテンツ視聴中に生体信号を計測された学習被験者から、当該映像コンテンツを主観評価した結果である学習用主観評価値(以下、主観評価値という)を入力するものである。例えば、学習用主観評価入力手段12は、映像コンテンツを主観評価した結果を、キーボード、タッチパネル等の入力手段(不図示)を介して入力する。
この学習用主観評価入力手段12は、入力した主観評価値を、学習被験者に対応付けて学習用主観評価記憶手段13に書き込み記憶する。
【0033】
ここで、主観評価値は、複数の評価項目に対する学習被験者の評価値である。例えば、主観評価値は、「温かい/冷たい」、「明るい/暗い」、「興奮する/興奮しない」等の複数の評価軸である評価項目に対して、それぞれ予め定めた数値範囲(例えば、“0”〜“100”)で学習被験者が評価した数値である。なお、この主観評価値の数値は、連続値である必要はなく、例えば、離散値(例えば、“1”、“2”、“3”の中で選択)であってもよい。
また、学習用主観評価入力手段12は、入力した主観評価値である数値をそのまま用いてもよいし、ある閾値を超えれば“1”、超えていなければ“0”のように、量子化を行った数値を用いてもよい。
【0034】
学習用主観評価記憶手段13は、学習用主観評価入力手段12で入力された主観評価値を記憶するものである。この学習用主観評価記憶手段13は、半導体メモリ、ハードディスク等の一般的な記憶装置で構成することができる。
ここで、評価項目の数をN個とし、学習被験者の識別子をi(1≦i≦N)としたとき、学習用主観評価記憶手段13に記憶される主観評価値yは、以下の式(3)に示すN次元ベクトルで表すことができる。
【0035】
【数3】
【0036】
また、学習用主観評価記憶手段13には、学習用主観評価入力手段12によって、学習被験者の数(N人)の主観評価値が記憶されているため、ここでは、複数の学習被験者の主観評価値を、以下の式(4)に示す主観評価値行列Yで表すこととする。
【0037】
【数4】
【0038】
この学習用主観評価記憶手段13に記憶された主観評価値は、主観評価推定モデル生成手段14によって参照される。
【0039】
主観評価推定モデル生成手段14は、学習用生体信号記憶手段11に記憶されている生体信号データと、学習用主観評価記憶手段13に記憶されている主観評価値とから、主観評価値を推定する対象となる推定対象被験者Ht(図1参照)の主観評価値を推定するためのチャンネルごとのモデル(主観評価推定モデル)を生成するものである。
すなわち、主観評価推定モデル生成手段14は、主観評価値を推定する推定対象被験者iのj番目の評価項目に対する推定主観評価値をyi,jとしたとき、チャンネルcの生体信号時系列x(前記式(1)参照)から、推定主観評価値yi,jを推定する以下の式(5)に示すような関数fを、主観評価推定モデルとして生成する。
【0040】
【数5】
【0041】
ここでは、関数fを線形関数としたときの例について説明する。
関数fを線形関数であるとすると、前記式(4)の主観評価値行列Yのj番目の列(j番目の評価項目に対するN人の学習被験者の主観評価値に相当)をyとしたとき、yおよび前記式(2)の生体信号行列Xは、以下の式(6)のように表すことができる。
【0042】
【数6】
【0043】
ここで、wj,cは、主観評価推定モデルのパラメータ(パラメータベクトル:T×1次元)であって、映像コンテンツの視聴時刻t(1≦t≦T)に対応する。すなわち、wj,cは、時系列のサンプル数の生体信号データを、重み付け加算するための重み係数である。また、bj,cは補正項(バイアス補正項)であり、“1”は、要素がすべて“1”のN×1次元のベクトルである。
この主観評価推定モデル生成手段14は、式(6)のwj,cおよびbj,cを求めることで、前記式(5)の関数fを特定することができる。
なお、このwj,cおよびbj,cは、種々の手法によって求めることができる。例えば、最小二乗法を用いて解く場合、以下の式(7)とすると、以下の式(8)に示すように、前記式(6)を変形することで、wj,c、すなわち、wj,cおよびbj,cを求めることができる。
【0044】
【数7】
【数8】
【0045】
なお、この式(8)において、“−1”は逆行列を示すが、XXが非正則で逆行列を計算することができない場合、主観評価推定モデル生成手段14は、XXの対角成分に正則化パラメータを加算し正則化することで、逆行列を演算すればよい。
この主観評価推定モデル生成手段14は、生成したチャンネルごとのモデル(主観評価推定モデル)を、主観評価推定モデル記憶手段15に書き込み記憶する。
すなわち、主観評価推定モデル生成手段14は、主観評価推定モデルとして、前記式(5)に示すチャンネルcごとの関数fを主観評価推定モデル記憶手段15に記憶する。より具体的には、主観評価推定モデル生成手段14は、関数fを特定するパラメータベクトルwj,cおよび補正項bj,cを、チャンネルcに対応付けて、主観評価推定モデル記憶手段15に記憶する。
なお、ここでは、主観評価推定モデルを、線形関数でモデル化したが、非線形関数でモデル化しても構わない。
【0046】
主観評価推定モデル記憶手段15は、主観評価推定モデル生成手段14で生成されたチャンネルごとの主観評価推定モデルを記憶するものである。この主観評価推定モデル記憶手段15は、半導体メモリ、ハードディスク等の一般的な記憶装置で構成することができる。
これによって、主観評価推定モデル記憶手段15には、チャンネルごとに、生体信号データと、主観評価値とを関連付けることが可能な主観評価推定モデルが記憶されることになる。
【0047】
推定用生体信号入力手段(第2生体信号入力手段)20は、外部に接続された生体信号測定装置(不図示)を介して、生体信号を計測するチャンネルごとに、映像コンテンツに対する主観評価を推定する推定対象被験者の生体信号を入力するものである。
なお、推定用生体信号入力手段20は、対象とする被験者と、数値化した生体信号の出力先とが異なるだけで、学習用生体信号入力手段10と同様の機能を有する。すなわち、推定用生体信号入力手段20は、チャンネルごとの生体信号を、時系列信号として数値化し、その数値化した生体信号データを、主観評価推定手段21に出力する。
ここでは、チャンネルの識別子をc、映像コンテンツの視聴時刻をt(1≦t≦T)としたとき、推定用生体信号入力手段20から出力される生体信号データ(生体信号時系列)xnewを、以下の式(9)と表すこととする。
【0048】
【数9】
【0049】
主観評価推定手段21は、主観評価推定モデル記憶手段15に記憶されているチャンネルごとの主観評価推定モデルに基づいて、推定用生体信号入力手段20で計測される推定対象被験者の生体信号データから、評価項目に対するチャンネルごとの主観評価値を推定するものである。
すなわち、主観評価推定手段21は、前記式(9)に示した推定対象被験者の生体信号データxnewから、以下の式(10)に示す演算を行うことで、チャンネルcごとに、すべての評価項目j(1≦j≦N:Nは評価項目の総数)についての主観評価値ynew,jを推定する。
【0050】
【数10】
【0051】
なお、この式(10)中、wj,cおよびbj,cは、主観評価推定モデル生成手段14で学習されて、主観評価推定モデル記憶手段15に記憶されているものである。
この主観評価推定手段21は、推定したチャンネルごとの主観評価値ynew,jを、主観評価統合手段22に出力する。
【0052】
主観評価統合手段22は、主観評価推定手段21で評価項目に対してチャンネルごとに推定された主観評価値を、当該評価項目の1つの評価値として統合するものである。
具体的には、主観評価統合手段22は、評価項目の内で主観評価値として連続値を用いた評価項目については、その評価項目に対してチャンネルごとに推定されたすべての主観評価値の平均値を演算し、推定対象被験者の推定主観評価値とする。
【0053】
また、主観評価統合手段22は、評価項目の内で主観評価値として離散値を用いた評価項目については、その評価項目に対してチャンネルごとに推定されたすべての主観評価値のヒストグラムを作成し、最も頻度の高い数値を、推定対象被験者の推定主観評価値とする。
そして、主観評価統合手段22は、評価項目に対する評価値として、推定主観評価値を外部に出力する。
【0054】
以上説明したように映像評価装置1を構成することで、映像評価装置1は、学習段階において、映像コンテンツの評価軸を評価項目として柔軟に設定することができ、推定段階において、推定対象被験者が映像コンテンツに集中した生体信号を取得することができる。
そのため、映像評価装置1は、推定対象被験者の生体信号から、映像コンテンツまたは映像コンテンツを提示する映像システムを客観的に高い精度で評価することができる。
なお、映像評価装置1は、コンピュータを、前記した構成の各手段として機能させるためのプログラム(映像評価プログラム)で動作させることができる。
【0055】
〔映像評価装置の動作:第1実施形態〕
次に、図3および図4を参照して、本発明の第1実施形態に係る映像評価装置1の動作について説明する。ここでは、図3で映像評価装置1の学習段階の動作、図4で学習段階の後に行われる映像評価装置1の推定段階の動作について説明する。
【0056】
(学習段階の動作)
まず、図3を参照(構成については、適宜図2参照)して、映像評価装置1の学習段階の動作について説明する。
映像評価装置1は、学習用生体信号入力手段10によって、外部に接続された生体信号測定装置(不図示)を介して、生体信号を計測するチャンネルごとに、学習被験者の生体信号を入力する(ステップS1)。
【0057】
そして、映像評価装置1は、学習用生体信号入力手段10によって、ステップS1で入力した生体信号を数値化し、時系列信号(生体信号データ)として、学習被験者と、生体信号を測定したチャンネルとに対応付けて学習用生体信号記憶手段11に書き込み記憶する(ステップS2)。
【0058】
また、映像評価装置1は、学習用主観評価入力手段12によって、映像コンテンツ視聴中に生体信号を計測された学習被験者から、当該映像コンテンツを主観評価した評価値(主観評価値)を入力する(ステップS3)。
【0059】
そして、映像評価装置1は、学習用主観評価入力手段12によって、ステップS3で入力した主観評価値を、学習被験者に対応付けて学習用主観評価記憶手段13に書き込み記憶する(ステップS4)。
【0060】
そして、映像評価装置1は、予め定めた学習被験者の数(N人)だけ、生体信号データおよび主観評価値を入力していなければ(ステップS5でNo)、ステップS1に戻って、動作を繰り返す。
【0061】
一方、予め定めた学習被験者の数(N人)だけ、生体信号データおよび主観評価値を入力した場合(ステップS5でYes)、映像評価装置1は、主観評価推定モデル生成手段14によって、ステップS2で学習用生体信号記憶手段11に記憶された生体信号データと、ステップS4で学習用主観評価記憶手段13に記憶された主観評価値とから、推定対象被験者の主観評価値を推定するための評価項目に対するチャンネルごとの主観評価推定モデル(関数)を生成する(ステップS6)。
そして、映像評価装置1は、主観評価推定モデル生成手段14によって、ステップS6で生成された主観評価推定モデルを、主観評価推定モデル記憶手段15に書き込み記憶する(ステップS7)。
【0062】
これによって、映像評価装置1は、映像コンテンツを視聴中に測定した複数の学習被験者の生体信号データと、当該映像コンテンツ視聴後の複数の学習被験者の主観評価(主観評価値値)とから、生体信号の測定のチャンネルごとに、評価項目に対する生体信号データと主観評価値との関係をモデル化することができる。
【0063】
(推定段階の動作)
次に、図4を参照(構成については、適宜図2参照)して、映像評価装置1の推定段階の動作について説明する。
映像評価装置1は、推定用生体信号入力手段20によって、外部に接続された生体信号測定装置(不図示)を介して、生体信号を計測するチャンネルごとに、主観評価値を推定する対象である推定対象被験者の生体信号を、時系列信号(生体信号データ)として入力する(ステップS21)。
【0064】
そして、映像評価装置1は、主観評価推定手段21によって、図3のステップS6で生成され、ステップS7で主観評価推定モデル記憶手段15に記憶されているチャンネルごとの主観評価推定モデルに基づいて、ステップS21で入力された推定対象被験者の生体信号データから、評価項目に対してチャンネルごとの推定した主観評価値を演算(前記式(10)参照)により求める(ステップS22)。
【0065】
さらに、映像評価装置1は、主観評価統合手段22によって、ステップS22で推定された、評価項目に対してチャンネルごとに推定した主観評価値を、評価項目に対する1つの評価値として統合することで、当該評価項目に対する推定主観評価値とする(ステップS23)。ここでは、主観評価統合手段22は、主観評価値が連続値の場合、評価項目に対してチャンネルごとに推定されたすべての主観評価値の平均値を推定主観評価値とする。また、主観評価統合手段22は、主観評価値が離散値の場合、評価項目に対してチャンネルごとに推定されたすべての主観評価値のうちで、最も頻度の高い主観評価値を推定主観評価値とする。
【0066】
これによって、映像評価装置1は、学習段階で学習されたモデル(主観評価推定モデル)から、映像コンテンツを視聴した推定対象被験者の評価項目に対する主観評価値を推定することができる。
【0067】
〔映像評価装置の構成:第2実施形態〕
次に、図5を参照して、本発明の第2実施形態に係る映像評価装置1Bの構成について説明する。
【0068】
映像評価装置1Bは、放送番組等の映像コンテンツを視聴中の複数の被験者(学習被験者)の生体信号と、その被験者が複数の評価項目で当該映像コンテンツを主観評価した結果(学習用主観評価値)とから当該映像コンテンツに対する生体信号と主観評価との関係を学習し、その学習結果に基づいて、他の被験者(推定対象被験者)の生体信号から、当該映像コンテンツに対する主観評価を推定するものであって、映像評価装置1(図2)と同じ機能を有する。
さらに、映像評価装置1Bは、映像コンテンツに対する主観評価を推定する際に、当該主観評価に最も貢献した(影響を与えた)映像コンテンツのシーンを同定する機能を有する。
【0069】
ここでは、図5に示すように、映像評価装置1Bは、学習用生体信号入力手段10と、学習用生体信号記憶手段11と、学習用主観評価入力手段12と、学習用主観評価記憶手段13と、主観評価推定モデル生成手段14と、主観評価推定モデル記憶手段15と、推定用生体信号入力手段20と、主観評価推定手段21と、主観評価統合手段22Bと、推定モデル統合手段23と、主観評価関連シーン同定手段24と、を備える。
なお、主観評価統合手段22B、推定モデル統合手段23および主観評価関連シーン同定手段24以外の構成は、図2で説明した映像評価装置1と同一の構成であるため、同一の符号を付して説明を省略する。
【0070】
主観評価統合手段22Bは、主観評価推定手段21で評価項目に対してチャンネルごとに推定された主観評価値を、当該評価項目の1つの評価値として統合するものであって、図2で説明した映像評価装置1の主観評価統合手段22と同じ機能を有する。
さらに、主観評価統合手段22Bは、チャンネルごとに推定された主観評価値を統合して推定主観評価値を求めるとともに、推定主観評価値の推定に貢献の度合いが大きいチャンネルを特定する機能を有する。
【0071】
具体的には、主観評価統合手段22Bは、評価項目の内で主観評価値として連続値を用いた評価項目については、主観評価統合手段22(図2)と同様、その評価項目に対してチャンネルごとに推定されたすべての主観評価値の平均値を演算し、推定対象被験者の推定主観評価値とする。
このとき、主観評価統合手段22Bは、平均値(推定主観評価値)に近い主観評価値を推定したチャンネルを、近い順から予め定めた個数(M個)分選択する。
【0072】
また、主観評価統合手段22Bは、評価項目の内で主観評価値として離散値を用いた評価項目については、主観評価統合手段22(図2)と同様、その評価項目に対してチャンネルごとに推定されたすべての主観評価値のヒストグラムを作成し、最も頻度の高い数値を、推定対象被験者の推定主観評価値とする。
このとき、主観評価統合手段22Bは、最も頻度の高い数値(推定主観評価値)と一致する主観評価値を推定したチャンネルを選択する。
この主観評価統合手段22Bは、評価項目に対して統合された推定主観評価値を外部に出力するとともに、選択したチャンネルの集合(チャンネルの識別子の集合)を推定モデル統合手段23に出力する。
【0073】
推定モデル統合手段23は、主観評価統合手段22Bで選択された評価項目に対する貢献の度合いが大きいチャンネルに基づいて、当該評価項目に対する主観評価値を推定するチャンネルごとの主観評価推定モデルのパラメータ(モデルパラメータ)を統合するものである。
ここで、主観評価推定モデルである前記式(5)に示す関数fにおいて、関数fを線形関数としたとき、主観評価推定モデルのパラメータは、前記式(6)におけるT×1次元のパラメータベクトルwj,cである。なお、前記式(6)における補正項bj,cは、定数項であるため、モデルパラメータからは除外する。
【0074】
ここでは、推定モデル統合手段23は、選択されたチャンネル分のモデルパラメータを平均化することで、モデルパラメータを統合する。
すなわち、推定モデル統合手段23は、主観評価統合手段22Bで選択された評価項目jに対するチャンネルの集合をCとしたとき、以下の式(11)に示す演算により、評価項目jに対する主観評価推定モデルのパラメータ(モデルパラメータ)wを求める。なお、Mは選択したチャンネルの数である。
【0075】
【数11】
【0076】
この推定モデル統合手段23は、統合した主観評価推定モデルのパラメータ(ここでは、評価項目jごとのモデルパラメータw)を、主観評価関連シーン同定手段24に出力する。
【0077】
主観評価関連シーン同定手段24は、推定モデル統合手段23で統合された主観評価推定モデルのパラメータに基づいて、評価項目に対する映像コンテンツのシーンを同定するものである。
ここで、評価項目jに対するモデルパラメータwは、T次元のベクトル、すなわち、映像コンテンツの視聴時刻t(1≦t≦T)に対応するベクトルである。
また、主観評価値の推定値は、前記式(10)に示したように、計測した生体信号データとモデルパラメータとの積和演算により求められた結果である。そのため、モデルパラメータwの要素のうちで、絶対値が“0”に近いものは、推定主観評価値に対する貢献の度合いが小さく、絶対値が大きいものは、推定主観評価値に対する貢献の度合いが大きいといえる。
そこで、主観評価関連シーン同定手段24は、所定の閾値に基づいて、モデルパラメータwの要素の絶対値と閾値とを比較し、閾値を上回る要素番号の集合Sを求める。
例えば、主観評価関連シーン同定手段24は、閾値thを、以下の式(12)により求める。
【0078】
【数12】
【0079】
ここで、aは予め定めたパラメータであって、0〜1の間の正の実数である。例えば、a=0.1等である。|wj,t|はベクトルwのt番目の要素の絶対値を示す。
このように、主観評価関連シーン同定手段24が求めた閾値を上回る要素番号の集合Sは、各要素番号が、映像コンテンツの視聴時刻tに相当するため、主観評価の推定に貢献度の高いシーンを示す番号(フレーム番号)の集合といえる。
この主観評価関連シーン同定手段24は、求めた要素番号の集合Sを、主観評価の推定に貢献度の高いシーン(主観評価関連シーン)として、外部に出力する。
【0080】
以上説明したように映像評価装置1Bを構成することで、映像評価装置1Bは、映像評価装置1(図2参照)の効果に加え、評価項目に対して推定した主観評価値に貢献している映像コンテンツのシーンを特定することができる。
そのため、映像評価装置1Bは、映像コンテンツのシーンが視聴者に与える影響を評価することができる。
なお、映像評価装置1Bは、コンピュータを、前記した構成の各手段として機能させるためのプログラム(映像評価プログラム)で動作させることができる。
【0081】
〔映像評価装置の動作:第2実施形態〕
次に、本発明の第2実施形態に係る映像評価装置1Bの動作について説明する。なお、映像評価装置1Bの学習段階の動作は、図3で説明した映像評価装置1の動作と同じであるため、説明を省略する。ここでは、図6を参照(構成については、適宜図5参照)して、映像評価装置1Bの推定段階の動作について説明する。
図6において、ステップS21からS23までの動作は、図4で説明した映像評価装置1の動作と同じであるため、説明を省略する。
【0082】
ステップS23の後、映像評価装置1Bは、主観評価統合手段22Bによって、ステップS23における評価項目に対する主観評価値の推定に貢献の大きかったチャンネルを選択する(ステップS24)。ここでは、主観評価統合手段22Bは、主観評価値が連続値の場合、推定主観評価値に近い主観評価値を推定したチャンネルを、近い順から予め定めた個数分選択する。また、主観評価統合手段22Bは、主観評価値が離散値の場合、推定主観評価値を推定したチャンネルを選択する。
【0083】
そして、映像評価装置1Bは、推定モデル統合手段23によって、ステップS24で選択された、評価項目に対する主観評価値の推定に貢献が大きいチャンネルについて、当該評価項目に対する主観評価値を推定するチャンネルごとの主観評価推定モデルのパラメータ(モデルパラメータ)を統合する(ステップS25)。なお、このパラメータは、前記式(11)により演算された、映像コンテンツの視聴時刻t(1≦t≦T)に対応するベクトルである。
【0084】
そして、映像評価装置1Bは、主観評価関連シーン同定手段24によって、ステップS25で統合されたパラメータ(T次元ベクトル)に基づいて、パラメータの要素の値を閾値と比較し、閾値を上回る要素番号に対応するシーンを、推定主観評価値を推定する際に貢献度が大きいシーンとして同定する(ステップS26)。
これによって、映像評価装置1Bは、学習段階で学習されたモデル(主観評価推定モデル)から、映像コンテンツを視聴した推定対象被験者の評価項目に対する主観評価値を推定することができるとともに、評価項目に対して推定した主観評価値に貢献している映像コンテンツのシーンを特定することができる。
【符号の説明】
【0085】
1,1B 映像評価装置
10 学習用生体信号入力手段(第1生体信号入力手段)
11 学習用生体信号記憶手段
12 学習用主観評価入力手段
13 学習用主観評価記憶手段
14 主観評価推定モデル生成手段
15 主観評価推定モデル記憶手段
20 推定用生体信号入力手段(第2生体信号入力手段)
21 主観評価推定手段
22,22B 主観評価統合手段
23 推定モデル統合手段
24 主観評価関連シーン同定出手段
図1
図2
図3
図4
図5
図6