【解決手段】映像評価装置1は、映像コンテンツ視聴中の学習被験者から計測される計測チャンネルごとの時系列の生体信号データと、学習被験者が行った複数の評価項目に対する主観評価値とから、計測チャンネルごとに主観評価推定モデルを生成する主観評価推定モデル生成手段14と、主観評価推定モデルに基づいて、映像コンテンツ視聴中の推定対象被験者から計測される計測チャンネルごとの時系列の生体信号データから、評価項目に対する計測チャンネルごとの推定対象被験者の主観評価値を求める主観評価推定手段21と、その求められた主観評価値を計測チャンネル分統合することで、評価項目ごとに、推定対象被験者の推定主観評価値を求める主観評価統合手段22と、を備える。
前記主観評価統合手段は、前記評価項目の内で主観評価値として連続値を用いた評価項目について、前記主観評価推定手段で演算により求められた前記計測チャンネルごとのすべての主観評価値の平均値を演算し、前記推定主観評価値とすることを特徴とする請求項1に記載の映像評価装置。
前記主観評価統合手段は、前記評価項目の内で主観評価値として離散値を用いた評価項目について、前記主観評価推定手段で演算により求められた前記計測チャンネルごとの主観評価値で最も頻度の高い数値を前記推定主観評価値とすることを特徴とする請求項1に記載の映像評価装置。
前記主観評価推定モデル生成手段は、前記計測チャンネルごとに、前記学習被験者の時系列の生体信号データを重み付け加算して前記主観評価値を演算するための前記時系列のサンプル数に対応した重み係数を、前記関数のパラメータとして生成することを特徴とする請求項1から請求項3のいずれか一項に記載の映像評価装置。
前記主観評価推定手段で演算された主観評価値のうちで、前記推定主観評価値に予め定めた範囲で近似する主観評価値を演算した前記主観評価推定モデルである関数のパラメータを平均化することで、前記評価項目ごとに、前記計測チャンネル分の主観評価推定モデルを統合する推定モデル統合手段と、
この推定モデル統合手段で統合された前記評価項目ごとの主観評価推定モデルの前記時系列のサンプル数に対応したパラメータの大きさが予め定めた閾値よりも大きい時点のシーンを、前記映像コンテンツにおける前記評価項目の評価に貢献するシーンとして同定する主観評価関連シーン同定手段と、
そ備えることを特徴とする請求項4に記載の映像評価装置。
前記主観評価統合手段は、前記評価項目の内で主観評価値として連続値を用いた評価項目について、さらに、前記推定主観評価値に近い主観評価値を推定した計測チャンネルを、近い順から予め定めた個数分選択し、
前記推定モデル統合手段は、前記選択された計測チャンネルに対応する前記主観評価推定モデルの関数のパラメータを平均化することを特徴とする請求項5に記載の映像評価装置。
前記主観評価統合手段は、前記評価項目の内で主観評価値として離散値を用いた評価項目について、さらに、前記推定主観評価値と一致する主観評価値を推定した計測チャンネルを選択し、
前記推定モデル統合手段は、前記選択された計測チャンネルに対応する前記主観評価推定モデルのパラメータを平均化することを特徴とする請求項5に記載の映像評価装置。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について図面を参照して説明する。
〔映像評価装置の概要〕
最初に、
図1を参照して、本発明の実施形態に係る映像評価装置1の概要について説明する。
映像評価装置1は、放送番組等の映像コンテンツを視聴中の複数の被験者の生体信号と、その被験者が複数の評価項目で当該映像コンテンツを主観評価した結果(学習用主観評価値)とから当該映像コンテンツに対する生体信号と主観評価との関係を学習し、その学習結果に基づいて、他の被験者の生体信号から、当該映像コンテンツに対する主観評価を推定するものである。ここで、学習段階における被験者を学習被験者といい、推定段階における被験者を推定対象被験者という。
【0017】
すなわち、映像評価装置1は、
図1(a)に示すように、学習段階として、複数の学習被験者Hs,Hs,…から、生体信号測定装置(ここでは、脳波計B)で計測される、テレビ受信機等の映像システムのモニタMに提示される映像コンテンツ視聴中における生体信号(学習用生体信号)を取得する。さらに、映像評価装置1は、学習段階として、映像コンテンツ視聴後に、学習被験者Hs,Hs,…から、当該映像コンテンツに対する複数の評価項目に対する評価(学習用主観評価値)を取得する。
そして、映像評価装置1は、取得した生体信号と主観評価値との関係、すなわち、被験者の映像コンテンツ視聴中の脳波等の生体信号と、被験者の映像コンテンツに対する評価(主観評価値)との関係を学習する。
【0018】
その後、映像評価装置1は、
図1(b)に示すように、推定段階として、映像コンテンツに対する主観評価を推定する推定対象被験者Htから、生体信号測定装置(脳波計B)で計測される、モニタMに提示されるコンテンツ視聴中における生体信号(学習用生体信号)を取得し、学習結果に基づいて、推定対象被験者Htの主観評価値を推定する。
ここで、被験者(学習被験者Hs、推定対象被験者Ht)が視聴する映像コンテンツや映像コンテンツを提示する映像システム(モニタM等)は同一である。また、複数の学習被験者Hs,Hs,…に対して行う評価項目の内容は同一である。
【0019】
なお、映像評価装置1は、モニタMを含む映像システムを固定(同一解像度、同一音響環境等)すれば、評価する映像コンテンツを替えることで、映像コンテンツそのものの評価を行うことができる。また、映像評価装置1は、同一の映像コンテンツを提示することとし、映像システムの解像度、音響設備等を替えれば、映像コンテンツの視聴評価を介して、映像システムの評価を行うことができる。
以下、このように、学習と推定により、推定対象被験者Htの主観評価値を推定する映像評価装置1の構成および動作について説明を行う。
【0020】
〔映像評価装置の構成:第1実施形態〕
まず、
図2を参照して、本発明の第1実施形態に係る映像評価装置1の構成について説明する。
図2に示すように、映像評価装置1は、事前の学習段階において、推定段階で使用する学習結果(主観評価推定モデル)を学習するための構成として、学習用生体信号入力手段10と、学習用生体信号記憶手段11と、学習用主観評価入力手段12と、学習用主観評価記憶手段13と、主観評価推定モデル生成手段14と、主観評価推定モデル記憶手段15と、推定段階において、推定対象被験者の主観評価値を推定するための構成として、推定用生体信号入力手段20と、主観評価推定手段21と、主観評価統合手段22と、を備える。
【0021】
学習用生体信号入力手段(第1生体信号入力手段)10は、外部に接続された生体信号測定装置(不図示)を介して、生体信号を計測する計測チャンネル(以下、チャンネルという)ごとに、学習被験者の生体信号を入力するものである。この学習用生体信号入力手段10は、複数の学習被験者から入力した生体信号を、それぞれ時系列信号として数値化し、その数値化した生体信号データを、学習被験者とチャンネルとに対応付けて学習用生体信号記憶手段11に書き込み記憶する。
【0022】
ここで、生体信号とは、学習被験者(推定対象被験者についても同様)の生体組織の状態や組織が機能している場合の情報を反映した信号である。この生体信号は、例えば、脳血中酸素依存信号、脳波(EEG:Electroencephalogram)、人体の体表温度等である。
例えば、生体信号測定装置としてfMRI装置を用いることで、学習用生体信号入力手段10は、機能的核磁気共鳴画像法(fMRI:Magnetic Resonance Imaging)により計測される画像の輝度データとして脳血中酸素依存信号を取得することができる。
【0023】
また、例えば、生体信号測定装置としてNIRS脳計測装置を用いることで、近赤外分光法(NIRS:Near Infrared Spectroscopy)により計測される近赤外光の吸収度合いを示すデータとして脳血中酸素依存信号を取得することができる。
また、例えば、生体信号測定装置として脳波計を用いることで、被験者の頭皮上等に置いた電極で計測される電位データとして脳波を取得することができる。
また、例えば、生体信号測定装置としてサーモグラフィを用いることで、熱分布を示す画像データとして体表温度を取得することができる。
【0024】
また、ここで、チャンネル(計測チャンネル)とは、生体信号測定装置で測定される被験者の生体信号の測定部位を示す。例えば、生体信号としてfMRIにより計測されるデータを用いる場合、fMRI装置が脳の複数の断面画像(3次元画像)を生成することから、チャンネルは、画像のピクセル単位(3次元画像であるため、より正確にはボクセル単位)で表された被験者の脳の部位に相当する。また、例えば、生体信号として、近赤外分光法により計測されるデータや脳波を用いる場合、チャンネルは、被験者の頭表上に置かれるプローブ単位または電極単位で表される脳の部位に相当する。
【0025】
なお、fMRI装置は、脳内の酸素依存信号を脳の断面画像として出力するが、その画像は被験者によって大きさ、形状等が異なる。そこで、学習用生体信号入力手段10は、複数の被験者でチャンネルとして指し示す部位を揃えるため、アフィン変換等により、断面画像を圧縮、伸長、回転させ、標準脳と呼ばれるテンプレート脳画像と大きさ、形状等を合わせる正規化処理を行うことが好ましい。
また、学習用生体信号入力手段10は、生体信号データに対して平滑化処理等を行うことで、データのノイズを除去することが好ましい。
このように、学習用生体信号入力手段10は、正規化処理、ノイズ除去等を行った生体信号データを、学習用生体信号記憶手段11に書き込み記憶する。
【0026】
学習用生体信号記憶手段11は、学習用生体信号入力手段10で計測された生体信号(具体的には、数値化された生体信号データ)を記憶するものである。この学習用生体信号記憶手段11は、半導体メモリ、ハードディスク等の一般的な記憶装置で構成することができる。
【0027】
この学習用生体信号記憶手段11には、学習被験者とチャンネルとに対応付けられた時系列信号として、複数の学習被験者の生体信号データが記憶される。例えば、学習用生体信号記憶手段11には、10人の学習被験者に対して、それぞれ10000箇所のチャンネルで計測された生体信号データを記憶する。
ここでは、学習用生体信号記憶手段11に記憶される生体信号データを計測した学習被験者の数をN人とする。また、ここで、チャンネルの識別子をc、学習被験者の識別子をi(1≦i≦N)、映像コンテンツの視聴時刻をt(1≦t≦T)としたとき、学習用生体信号記憶手段11に記憶される時系列の生体信号データ(生体信号時系列)x
ciは、以下の式(1)に示すT次元ベクトルで表すことができる。
【0029】
なお、式(1)において下付きのtは時刻を表し、上付きのtは転置を示す数学記号である(以下の各式においても同様)。
すなわち、生体信号データx
ciは、学習被験者iが映像コンテンツ視聴中に、最初に計測されたx
ci,1から、順次、時系列に計測されたx
ci,Tまでの生体信号データで構成される。
また、学習用生体信号記憶手段11には、学習用生体信号入力手段10によって、学習被験者とチャンネルとが対応付けて記憶されているため、ここでは、チャンネルcに対応する複数の学習被験者の生体信号データを、以下の式(2)の生体信号行列X
cで表すこととする。
【0031】
この学習用生体信号記憶手段11に記憶された生体信号データは、主観評価推定モデル生成手段14によって参照される。
【0032】
学習用主観評価入力手段12は、映像コンテンツ視聴中に生体信号を計測された学習被験者から、当該映像コンテンツを主観評価した結果である学習用主観評価値(以下、主観評価値という)を入力するものである。例えば、学習用主観評価入力手段12は、映像コンテンツを主観評価した結果を、キーボード、タッチパネル等の入力手段(不図示)を介して入力する。
この学習用主観評価入力手段12は、入力した主観評価値を、学習被験者に対応付けて学習用主観評価記憶手段13に書き込み記憶する。
【0033】
ここで、主観評価値は、複数の評価項目に対する学習被験者の評価値である。例えば、主観評価値は、「温かい/冷たい」、「明るい/暗い」、「興奮する/興奮しない」等の複数の評価軸である評価項目に対して、それぞれ予め定めた数値範囲(例えば、“0”〜“100”)で学習被験者が評価した数値である。なお、この主観評価値の数値は、連続値である必要はなく、例えば、離散値(例えば、“1”、“2”、“3”の中で選択)であってもよい。
また、学習用主観評価入力手段12は、入力した主観評価値である数値をそのまま用いてもよいし、ある閾値を超えれば“1”、超えていなければ“0”のように、量子化を行った数値を用いてもよい。
【0034】
学習用主観評価記憶手段13は、学習用主観評価入力手段12で入力された主観評価値を記憶するものである。この学習用主観評価記憶手段13は、半導体メモリ、ハードディスク等の一般的な記憶装置で構成することができる。
ここで、評価項目の数をN
q個とし、学習被験者の識別子をi(1≦i≦N)としたとき、学習用主観評価記憶手段13に記憶される主観評価値y
iは、以下の式(3)に示すN
q次元ベクトルで表すことができる。
【0036】
また、学習用主観評価記憶手段13には、学習用主観評価入力手段12によって、学習被験者の数(N人)の主観評価値が記憶されているため、ここでは、複数の学習被験者の主観評価値を、以下の式(4)に示す主観評価値行列Yで表すこととする。
【0038】
この学習用主観評価記憶手段13に記憶された主観評価値は、主観評価推定モデル生成手段14によって参照される。
【0039】
主観評価推定モデル生成手段14は、学習用生体信号記憶手段11に記憶されている生体信号データと、学習用主観評価記憶手段13に記憶されている主観評価値とから、主観評価値を推定する対象となる推定対象被験者Ht(
図1参照)の主観評価値を推定するためのチャンネルごとのモデル(主観評価推定モデル)を生成するものである。
すなわち、主観評価推定モデル生成手段14は、主観評価値を推定する推定対象被験者iのj番目の評価項目に対する推定主観評価値をy
i,jとしたとき、チャンネルcの生体信号時系列x
ci(前記式(1)参照)から、推定主観評価値y
i,jを推定する以下の式(5)に示すような関数f
cを、主観評価推定モデルとして生成する。
【0041】
ここでは、関数f
cを線形関数としたときの例について説明する。
関数f
cを線形関数であるとすると、前記式(4)の主観評価値行列Yのj番目の列(j番目の評価項目に対するN人の学習被験者の主観評価値に相当)をy
j〜としたとき、y
j〜および前記式(2)の生体信号行列X
cは、以下の式(6)のように表すことができる。
【0043】
ここで、w
j,cは、主観評価推定モデルのパラメータ(パラメータベクトル:T×1次元)であって、映像コンテンツの視聴時刻t(1≦t≦T)に対応する。すなわち、w
j,cは、時系列のサンプル数の生体信号データを、重み付け加算するための重み係数である。また、b
j,cは補正項(バイアス補正項)であり、“1”は、要素がすべて“1”のN×1次元のベクトルである。
この主観評価推定モデル生成手段14は、式(6)のw
j,cおよびb
j,cを求めることで、前記式(5)の関数f
cを特定することができる。
なお、このw
j,cおよびb
j,cは、種々の手法によって求めることができる。例えば、最小二乗法を用いて解く場合、以下の式(7)とすると、以下の式(8)に示すように、前記式(6)を変形することで、w
j,c−、すなわち、w
j,cおよびb
j,cを求めることができる。
【0045】
なお、この式(8)において、“−1”は逆行列を示すが、X
tXが非正則で逆行列を計算することができない場合、主観評価推定モデル生成手段14は、X
tXの対角成分に正則化パラメータを加算し正則化することで、逆行列を演算すればよい。
この主観評価推定モデル生成手段14は、生成したチャンネルごとのモデル(主観評価推定モデル)を、主観評価推定モデル記憶手段15に書き込み記憶する。
すなわち、主観評価推定モデル生成手段14は、主観評価推定モデルとして、前記式(5)に示すチャンネルcごとの関数f
cを主観評価推定モデル記憶手段15に記憶する。より具体的には、主観評価推定モデル生成手段14は、関数f
cを特定するパラメータベクトルw
j,cおよび補正項b
j,cを、チャンネルcに対応付けて、主観評価推定モデル記憶手段15に記憶する。
なお、ここでは、主観評価推定モデルを、線形関数でモデル化したが、非線形関数でモデル化しても構わない。
【0046】
主観評価推定モデル記憶手段15は、主観評価推定モデル生成手段14で生成されたチャンネルごとの主観評価推定モデルを記憶するものである。この主観評価推定モデル記憶手段15は、半導体メモリ、ハードディスク等の一般的な記憶装置で構成することができる。
これによって、主観評価推定モデル記憶手段15には、チャンネルごとに、生体信号データと、主観評価値とを関連付けることが可能な主観評価推定モデルが記憶されることになる。
【0047】
推定用生体信号入力手段(第2生体信号入力手段)20は、外部に接続された生体信号測定装置(不図示)を介して、生体信号を計測するチャンネルごとに、映像コンテンツに対する主観評価を推定する推定対象被験者の生体信号を入力するものである。
なお、推定用生体信号入力手段20は、対象とする被験者と、数値化した生体信号の出力先とが異なるだけで、学習用生体信号入力手段10と同様の機能を有する。すなわち、推定用生体信号入力手段20は、チャンネルごとの生体信号を、時系列信号として数値化し、その数値化した生体信号データを、主観評価推定手段21に出力する。
ここでは、チャンネルの識別子をc、映像コンテンツの視聴時刻をt(1≦t≦T)としたとき、推定用生体信号入力手段20から出力される生体信号データ(生体信号時系列)x
cnewを、以下の式(9)と表すこととする。
【0049】
主観評価推定手段21は、主観評価推定モデル記憶手段15に記憶されているチャンネルごとの主観評価推定モデルに基づいて、推定用生体信号入力手段20で計測される推定対象被験者の生体信号データから、評価項目に対するチャンネルごとの主観評価値を推定するものである。
すなわち、主観評価推定手段21は、前記式(9)に示した推定対象被験者の生体信号データx
cnewから、以下の式(10)に示す演算を行うことで、チャンネルcごとに、すべての評価項目j(1≦j≦N
q:N
qは評価項目の総数)についての主観評価値y
cnew,j〜を推定する。
【0051】
なお、この式(10)中、w
j,cおよびb
j,cは、主観評価推定モデル生成手段14で学習されて、主観評価推定モデル記憶手段15に記憶されているものである。
この主観評価推定手段21は、推定したチャンネルごとの主観評価値y
cnew,j〜を、主観評価統合手段22に出力する。
【0052】
主観評価統合手段22は、主観評価推定手段21で評価項目に対してチャンネルごとに推定された主観評価値を、当該評価項目の1つの評価値として統合するものである。
具体的には、主観評価統合手段22は、評価項目の内で主観評価値として連続値を用いた評価項目については、その評価項目に対してチャンネルごとに推定されたすべての主観評価値の平均値を演算し、推定対象被験者の推定主観評価値とする。
【0053】
また、主観評価統合手段22は、評価項目の内で主観評価値として離散値を用いた評価項目については、その評価項目に対してチャンネルごとに推定されたすべての主観評価値のヒストグラムを作成し、最も頻度の高い数値を、推定対象被験者の推定主観評価値とする。
そして、主観評価統合手段22は、評価項目に対する評価値として、推定主観評価値を外部に出力する。
【0054】
以上説明したように映像評価装置1を構成することで、映像評価装置1は、学習段階において、映像コンテンツの評価軸を評価項目として柔軟に設定することができ、推定段階において、推定対象被験者が映像コンテンツに集中した生体信号を取得することができる。
そのため、映像評価装置1は、推定対象被験者の生体信号から、映像コンテンツまたは映像コンテンツを提示する映像システムを客観的に高い精度で評価することができる。
なお、映像評価装置1は、コンピュータを、前記した構成の各手段として機能させるためのプログラム(映像評価プログラム)で動作させることができる。
【0055】
〔映像評価装置の動作:第1実施形態〕
次に、
図3および
図4を参照して、本発明の第1実施形態に係る映像評価装置1の動作について説明する。ここでは、
図3で映像評価装置1の学習段階の動作、
図4で学習段階の後に行われる映像評価装置1の推定段階の動作について説明する。
【0056】
(学習段階の動作)
まず、
図3を参照(構成については、適宜
図2参照)して、映像評価装置1の学習段階の動作について説明する。
映像評価装置1は、学習用生体信号入力手段10によって、外部に接続された生体信号測定装置(不図示)を介して、生体信号を計測するチャンネルごとに、学習被験者の生体信号を入力する(ステップS1)。
【0057】
そして、映像評価装置1は、学習用生体信号入力手段10によって、ステップS1で入力した生体信号を数値化し、時系列信号(生体信号データ)として、学習被験者と、生体信号を測定したチャンネルとに対応付けて学習用生体信号記憶手段11に書き込み記憶する(ステップS2)。
【0058】
また、映像評価装置1は、学習用主観評価入力手段12によって、映像コンテンツ視聴中に生体信号を計測された学習被験者から、当該映像コンテンツを主観評価した評価値(主観評価値)を入力する(ステップS3)。
【0059】
そして、映像評価装置1は、学習用主観評価入力手段12によって、ステップS3で入力した主観評価値を、学習被験者に対応付けて学習用主観評価記憶手段13に書き込み記憶する(ステップS4)。
【0060】
そして、映像評価装置1は、予め定めた学習被験者の数(N人)だけ、生体信号データおよび主観評価値を入力していなければ(ステップS5でNo)、ステップS1に戻って、動作を繰り返す。
【0061】
一方、予め定めた学習被験者の数(N人)だけ、生体信号データおよび主観評価値を入力した場合(ステップS5でYes)、映像評価装置1は、主観評価推定モデル生成手段14によって、ステップS2で学習用生体信号記憶手段11に記憶された生体信号データと、ステップS4で学習用主観評価記憶手段13に記憶された主観評価値とから、推定対象被験者の主観評価値を推定するための評価項目に対するチャンネルごとの主観評価推定モデル(関数)を生成する(ステップS6)。
そして、映像評価装置1は、主観評価推定モデル生成手段14によって、ステップS6で生成された主観評価推定モデルを、主観評価推定モデル記憶手段15に書き込み記憶する(ステップS7)。
【0062】
これによって、映像評価装置1は、映像コンテンツを視聴中に測定した複数の学習被験者の生体信号データと、当該映像コンテンツ視聴後の複数の学習被験者の主観評価(主観評価値値)とから、生体信号の測定のチャンネルごとに、評価項目に対する生体信号データと主観評価値との関係をモデル化することができる。
【0063】
(推定段階の動作)
次に、
図4を参照(構成については、適宜
図2参照)して、映像評価装置1の推定段階の動作について説明する。
映像評価装置1は、推定用生体信号入力手段20によって、外部に接続された生体信号測定装置(不図示)を介して、生体信号を計測するチャンネルごとに、主観評価値を推定する対象である推定対象被験者の生体信号を、時系列信号(生体信号データ)として入力する(ステップS21)。
【0064】
そして、映像評価装置1は、主観評価推定手段21によって、
図3のステップS6で生成され、ステップS7で主観評価推定モデル記憶手段15に記憶されているチャンネルごとの主観評価推定モデルに基づいて、ステップS21で入力された推定対象被験者の生体信号データから、評価項目に対してチャンネルごとの推定した主観評価値を演算(前記式(10)参照)により求める(ステップS22)。
【0065】
さらに、映像評価装置1は、主観評価統合手段22によって、ステップS22で推定された、評価項目に対してチャンネルごとに推定した主観評価値を、評価項目に対する1つの評価値として統合することで、当該評価項目に対する推定主観評価値とする(ステップS23)。ここでは、主観評価統合手段22は、主観評価値が連続値の場合、評価項目に対してチャンネルごとに推定されたすべての主観評価値の平均値を推定主観評価値とする。また、主観評価統合手段22は、主観評価値が離散値の場合、評価項目に対してチャンネルごとに推定されたすべての主観評価値のうちで、最も頻度の高い主観評価値を推定主観評価値とする。
【0066】
これによって、映像評価装置1は、学習段階で学習されたモデル(主観評価推定モデル)から、映像コンテンツを視聴した推定対象被験者の評価項目に対する主観評価値を推定することができる。
【0067】
〔映像評価装置の構成:第2実施形態〕
次に、
図5を参照して、本発明の第2実施形態に係る映像評価装置1Bの構成について説明する。
【0068】
映像評価装置1Bは、放送番組等の映像コンテンツを視聴中の複数の被験者(学習被験者)の生体信号と、その被験者が複数の評価項目で当該映像コンテンツを主観評価した結果(学習用主観評価値)とから当該映像コンテンツに対する生体信号と主観評価との関係を学習し、その学習結果に基づいて、他の被験者(推定対象被験者)の生体信号から、当該映像コンテンツに対する主観評価を推定するものであって、映像評価装置1(
図2)と同じ機能を有する。
さらに、映像評価装置1Bは、映像コンテンツに対する主観評価を推定する際に、当該主観評価に最も貢献した(影響を与えた)映像コンテンツのシーンを同定する機能を有する。
【0069】
ここでは、
図5に示すように、映像評価装置1Bは、学習用生体信号入力手段10と、学習用生体信号記憶手段11と、学習用主観評価入力手段12と、学習用主観評価記憶手段13と、主観評価推定モデル生成手段14と、主観評価推定モデル記憶手段15と、推定用生体信号入力手段20と、主観評価推定手段21と、主観評価統合手段22Bと、推定モデル統合手段23と、主観評価関連シーン同定手段24と、を備える。
なお、主観評価統合手段22B、推定モデル統合手段23および主観評価関連シーン同定手段24以外の構成は、
図2で説明した映像評価装置1と同一の構成であるため、同一の符号を付して説明を省略する。
【0070】
主観評価統合手段22Bは、主観評価推定手段21で評価項目に対してチャンネルごとに推定された主観評価値を、当該評価項目の1つの評価値として統合するものであって、
図2で説明した映像評価装置1の主観評価統合手段22と同じ機能を有する。
さらに、主観評価統合手段22Bは、チャンネルごとに推定された主観評価値を統合して推定主観評価値を求めるとともに、推定主観評価値の推定に貢献の度合いが大きいチャンネルを特定する機能を有する。
【0071】
具体的には、主観評価統合手段22Bは、評価項目の内で主観評価値として連続値を用いた評価項目については、主観評価統合手段22(
図2)と同様、その評価項目に対してチャンネルごとに推定されたすべての主観評価値の平均値を演算し、推定対象被験者の推定主観評価値とする。
このとき、主観評価統合手段22Bは、平均値(推定主観評価値)に近い主観評価値を推定したチャンネルを、近い順から予め定めた個数(M個)分選択する。
【0072】
また、主観評価統合手段22Bは、評価項目の内で主観評価値として離散値を用いた評価項目については、主観評価統合手段22(
図2)と同様、その評価項目に対してチャンネルごとに推定されたすべての主観評価値のヒストグラムを作成し、最も頻度の高い数値を、推定対象被験者の推定主観評価値とする。
このとき、主観評価統合手段22Bは、最も頻度の高い数値(推定主観評価値)と一致する主観評価値を推定したチャンネルを選択する。
この主観評価統合手段22Bは、評価項目に対して統合された推定主観評価値を外部に出力するとともに、選択したチャンネルの集合(チャンネルの識別子の集合)を推定モデル統合手段23に出力する。
【0073】
推定モデル統合手段23は、主観評価統合手段22Bで選択された評価項目に対する貢献の度合いが大きいチャンネルに基づいて、当該評価項目に対する主観評価値を推定するチャンネルごとの主観評価推定モデルのパラメータ(モデルパラメータ)を統合するものである。
ここで、主観評価推定モデルである前記式(5)に示す関数f
cにおいて、関数f
cを線形関数としたとき、主観評価推定モデルのパラメータは、前記式(6)におけるT×1次元のパラメータベクトルw
j,cである。なお、前記式(6)における補正項b
j,cは、定数項であるため、モデルパラメータからは除外する。
【0074】
ここでは、推定モデル統合手段23は、選択されたチャンネル分のモデルパラメータを平均化することで、モデルパラメータを統合する。
すなわち、推定モデル統合手段23は、主観評価統合手段22Bで選択された評価項目jに対するチャンネルの集合をC
jとしたとき、以下の式(11)に示す演算により、評価項目jに対する主観評価推定モデルのパラメータ(モデルパラメータ)w
jを求める。なお、Mは選択したチャンネルの数である。
【0076】
この推定モデル統合手段23は、統合した主観評価推定モデルのパラメータ(ここでは、評価項目jごとのモデルパラメータw
j)を、主観評価関連シーン同定手段24に出力する。
【0077】
主観評価関連シーン同定手段24は、推定モデル統合手段23で統合された主観評価推定モデルのパラメータに基づいて、評価項目に対する映像コンテンツのシーンを同定するものである。
ここで、評価項目jに対するモデルパラメータw
jは、T次元のベクトル、すなわち、映像コンテンツの視聴時刻t(1≦t≦T)に対応するベクトルである。
また、主観評価値の推定値は、前記式(10)に示したように、計測した生体信号データとモデルパラメータとの積和演算により求められた結果である。そのため、モデルパラメータw
jの要素のうちで、絶対値が“0”に近いものは、推定主観評価値に対する貢献の度合いが小さく、絶対値が大きいものは、推定主観評価値に対する貢献の度合いが大きいといえる。
そこで、主観評価関連シーン同定手段24は、所定の閾値に基づいて、モデルパラメータw
jの要素の絶対値と閾値とを比較し、閾値を上回る要素番号の集合S
tを求める。
例えば、主観評価関連シーン同定手段24は、閾値thを、以下の式(12)により求める。
【0079】
ここで、aは予め定めたパラメータであって、0〜1の間の正の実数である。例えば、a=0.1等である。|w
j,t|はベクトルw
jのt番目の要素の絶対値を示す。
このように、主観評価関連シーン同定手段24が求めた閾値を上回る要素番号の集合S
tは、各要素番号が、映像コンテンツの視聴時刻tに相当するため、主観評価の推定に貢献度の高いシーンを示す番号(フレーム番号)の集合といえる。
この主観評価関連シーン同定手段24は、求めた要素番号の集合S
tを、主観評価の推定に貢献度の高いシーン(主観評価関連シーン)として、外部に出力する。
【0080】
以上説明したように映像評価装置1Bを構成することで、映像評価装置1Bは、映像評価装置1(
図2参照)の効果に加え、評価項目に対して推定した主観評価値に貢献している映像コンテンツのシーンを特定することができる。
そのため、映像評価装置1Bは、映像コンテンツのシーンが視聴者に与える影響を評価することができる。
なお、映像評価装置1Bは、コンピュータを、前記した構成の各手段として機能させるためのプログラム(映像評価プログラム)で動作させることができる。
【0081】
〔映像評価装置の動作:第2実施形態〕
次に、本発明の第2実施形態に係る映像評価装置1Bの動作について説明する。なお、映像評価装置1Bの学習段階の動作は、
図3で説明した映像評価装置1の動作と同じであるため、説明を省略する。ここでは、
図6を参照(構成については、適宜
図5参照)して、映像評価装置1Bの推定段階の動作について説明する。
図6において、ステップS21からS23までの動作は、
図4で説明した映像評価装置1の動作と同じであるため、説明を省略する。
【0082】
ステップS23の後、映像評価装置1Bは、主観評価統合手段22Bによって、ステップS23における評価項目に対する主観評価値の推定に貢献の大きかったチャンネルを選択する(ステップS24)。ここでは、主観評価統合手段22Bは、主観評価値が連続値の場合、推定主観評価値に近い主観評価値を推定したチャンネルを、近い順から予め定めた個数分選択する。また、主観評価統合手段22Bは、主観評価値が離散値の場合、推定主観評価値を推定したチャンネルを選択する。
【0083】
そして、映像評価装置1Bは、推定モデル統合手段23によって、ステップS24で選択された、評価項目に対する主観評価値の推定に貢献が大きいチャンネルについて、当該評価項目に対する主観評価値を推定するチャンネルごとの主観評価推定モデルのパラメータ(モデルパラメータ)を統合する(ステップS25)。なお、このパラメータは、前記式(11)により演算された、映像コンテンツの視聴時刻t(1≦t≦T)に対応するベクトルである。
【0084】
そして、映像評価装置1Bは、主観評価関連シーン同定手段24によって、ステップS25で統合されたパラメータ(T次元ベクトル)に基づいて、パラメータの要素の値を閾値と比較し、閾値を上回る要素番号に対応するシーンを、推定主観評価値を推定する際に貢献度が大きいシーンとして同定する(ステップS26)。
これによって、映像評価装置1Bは、学習段階で学習されたモデル(主観評価推定モデル)から、映像コンテンツを視聴した推定対象被験者の評価項目に対する主観評価値を推定することができるとともに、評価項目に対して推定した主観評価値に貢献している映像コンテンツのシーンを特定することができる。