特許 5841538 関心度推定装置および関心度推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5841538

(24)【登録日】2015年11月20日

(45)【発行日】2016年1月13日

(54)【発明の名称】関心度推定装置および関心度推定方法

(51)【国際特許分類】

   H04N 17/00 20060101AFI20151217BHJP

   G06T 7/60 20060101ALI20151217BHJP

   H04N 5/44 20110101ALI20151217BHJP

【ＦＩ】

   H04N17/00 Z

   G06T7/60 150P

   H04N5/44 Z

【請求項の数】19

【全頁数】28

(21)【出願番号】特願2012-535534(P2012-535534)

(86)(22)【出願日】2012年1月26日

(86)【国際出願番号】JP2012000508

(87)【国際公開番号】WO2012105196

(87)【国際公開日】20120809

【審査請求日】2014年8月25日

(31)【優先権主張番号】特願2011-23271(P2011-23271)

(32)【優先日】2011年2月4日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】坂田 幸太郎

(72)【発明者】

【氏名】前田 茂則

(72)【発明者】

【氏名】米谷 竜

(72)【発明者】

【氏名】川嶋 宏彰

(72)【発明者】

【氏名】平山 高嗣

(72)【発明者】

【氏名】松山 隆司

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 国際公開第２０１２／１０５１９６（ＷＯ，Ａ１）

【文献】 特開２００６−０２０１３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １７／００

Ｇ０６Ｔ ７／６０

Ｈ０４Ｎ ５／４４

(57)【特許請求の範囲】

【請求項1】

画面に表示された映像に対するユーザの関心度を推定する関心度推定装置であって、
前記ユーザの視線方向を検出する視線検出部と、
前記映像中の誘目性が顕著な領域である顕著領域に関する顕著性情報を取得する顕著性情報取得部と、
取得された前記顕著性情報から特定される顕著領域と検出された前記視線方向との相関を算出し、算出された前記相関が高いほど関心度が高くなるように、前記映像に対する前記ユーザの関心度を推定するユーザ反応分析部とを備え、
顕著領域の数および動きのうちの少なくとも一方に基づいて分類される複数の顕著パターンの各々には、相関の高さを評価するための少なくとも１つの評価基準があらかじめ対応付けられており、
前記ユーザ反応分析部は、前記顕著性情報から特定される顕著パターンに対応する評価基準に従って前記相関を算出する
関心度推定装置。

【請求項2】

前記複数の顕著パターンは、顕著領域の位置が変化しない状態であることを示す静的パターンを含み、
前記静的パターンには、顕著領域内におけるサッケードの発生回数が前記少なくとも１つの評価基準として対応付けられており、
前記ユーザ反応分析部は、前記顕著性情報から特定される顕著パターンが静的パターンである場合に、検出された前記視線方向から特定される、前記顕著領域内におけるサッケードの発生回数が多いほど前記相関が高くなるように、前記相関を算出する
請求項１に記載の関心度推定装置。

【請求項3】

前記顕著性情報取得部は、前記映像を示す信号に付与されたタグから前記顕著性情報を取得する
請求項１または２に記載の関心度推定装置。

【請求項4】

前記顕著性情報取得部は、画像の物理的な特徴に基づいて前記映像を解析することにより前記顕著性情報を取得する
請求項１または２に記載の関心度推定装置。

【請求項5】

前記顕著領域は、前記映像に付随した音声情報に関連するオブジェクトの領域である
請求項１〜４のいずれか１項に記載の関心度推定装置。

【請求項6】

前記オブジェクトは、話者の顔または口である
請求項５に記載の関心度推定装置。

【請求項7】

前記顕著領域は、前記音声情報に対応するテキストが表示される領域である
請求項５に記載の関心度推定装置。

【請求項8】

前記顕著領域は、移動するオブジェクトの領域である
請求項１〜７のいずれか１項に記載の関心度推定装置。

【請求項9】

前記オブジェクトは、人である
請求項８に記載の関心度推定装置。

【請求項10】

前記オブジェクトは、動物である
請求項８に記載の関心度推定装置。

【請求項11】

前記相関は、時間的な同期度である
請求項１〜１０のいずれか１項に記載の関心度推定装置。

【請求項12】

前記相関は、空間的な類似度である
請求項１〜１１のいずれか１項に記載の関心度推定装置。

【請求項13】

前記ユーザ反応分析部は、前記顕著領域の出現タイミングと、前記顕著領域に対する視線のサッケードの発生タイミングとの時間差を、前記相関の低さを表す値として算出し、
前記ユーザ反応分析部は、前記時間差が小さいほど関心度が高くなるように、前記関心度を推定する
請求項１〜１２のいずれか１項に記載の関心度推定装置。

【請求項14】

前記ユーザ反応分析部は、
前記顕著領域が所定の速度以上で前記画面上を移動するタイミングと、前記顕著領域に対する視線のサッケードの発生タイミングとの時間差を、前記相関の低さを表す値として算出し、
前記時間差が小さいほど関心度が高くなるように、前記関心度を推定する
請求項１〜１３のいずれか１項に記載の関心度推定装置。

【請求項15】

前記ユーザ反応分析部は、前記顕著領域の前記画面上の移動速度と、前記視線方向から特定される前記画面上の注視位置の移動速度との速度差を、前記相関の低さを表す値として算出し、
前記ユーザ反応分析部は、前記速度差が小さいほど関心度が高くなるように、前記関心度を推定する
請求項１〜１４のいずれか１項に記載の関心度推定装置。

【請求項16】

前記ユーザ反応分析部は、前記映像内の顕著領域の数、各顕著領域の面積、および視線のサッケードの発生回数に基づいて、前記相関を算出する
請求項１〜１５のいずれか１項に記載の関心度推定装置。

【請求項17】

前記関心度推定装置は、集積回路として構成されている
請求項１〜１６のいずれか１項に記載の関心度推定装置。

【請求項18】

画面に表示された映像に対するユーザの関心度を推定する関心度推定方法であって、
前記ユーザの視線方向を検出する視線検出ステップと、
前記映像中の誘目性が顕著な領域である顕著領域に関する顕著性情報を取得する顕著性情報取得ステップと、
取得された前記顕著性情報から特定される顕著領域と検出された前記視線方向との相関を算出する相関算出ステップと、
算出された前記相関が高いほど関心度が高くなるように、前記映像に対する前記ユーザの関心度を推定する関心度推定ステップとを含み、
顕著領域の数および動きのうちの少なくとも一方に基づいて分類される複数の顕著パターンの各々には、相関の高さを評価するための少なくとも１つの評価基準があらかじめ対応付けられており、
前記相関算出ステップでは、前記顕著性情報から特定される顕著パターンに対応する評価基準に従って前記相関を算出する
関心度推定方法。

【請求項19】

請求項１８に記載の関心度推定方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示されている映像に対する視聴者（以下、「ユーザ」ともいう）の関心度を推定する関心度推定装置および関心度推定方法に関する。

【背景技術】

【0002】

情報爆発時代を迎え、情報が溢れかえるとともに、人々の関心も多様化し、従来の画一的な情報提示では、ユーザの心をつかむことは困難になりつつある。潜在的に関心のある情報をさりげなく顕在化するような、パーソナライズした情報提示が望まれる。

【0003】

例えば、表示装置としてテレビに着目すると、近年のテレビ放送のデジタル化に伴い、チャンネル数は急激に増加している。また、インターネット配信によるネットコンテンツも急増している。その結果、ユーザは、大量のコンテンツの中からコンテンツを選択できるようになっている。しかし、大量のコンテンツの中からユーザ自身が視聴したい番組を選択することは非常に困難である。そのため、ユーザの興味や関心に合わせた番組推薦システムに関する研究が盛んに行われている。

【0004】

こうしたユーザの興味や関心に合わせてコンテンツを提示するためには、普段からユーザが視聴している各コンテンツにどの程度の関心を持っているのかを把握しておく必要がある。つまり、視聴映像に対するユーザの関心度の推定が必要となる。

【0005】

従来の関心度を推定する方法としては、特許文献１に記載の方法が知られている。特許文献１に記載の方法では、ユーザによるコンテンツの視聴状況や眼球運動を調査することにより、瞬目回数、反応時間、サッケードの速度および継続時間、ならびに視線の位置的な偏差等を解析する。そして、それぞれの解析結果を計算要素として、その視聴者のコンテンツへの関心の程度を算出する。また、その計算結果と、データ格納装置に格納された他の計算結果とをもとに、特定のコンテンツへの視聴者の関心の程度を算出する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００６−２０１３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に記載の方法では、単に映像視聴時の瞬目回数等を特徴量として関心度を推定するだけであり、映像の構成によっては高精度に視聴者の関心度を推定することができないという課題があった。

【0008】

そこで、本発明は、前記従来の課題を解決するものであって、画面に表示された映像に対する視聴者の関心度を精度良く推定することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の一態様に係る関心度推定装置は、画面に表示された映像に対するユーザの関心度を推定する関心度推定装置であって、前記ユーザの視線方向を検出する視線検出部と、前記映像中の誘目性が顕著な領域である顕著領域に関する顕著性情報を取得する顕著性情報取得部と、取得された前記顕著性情報から特定される顕著領域と検出された前記視線方向との相関を算出し、算出された前記相関が高いほど関心度が高くなるように、前記映像に対する前記ユーザの関心度を推定するユーザ反応分析部とを備える。

【0010】

また、上記目的を達成するために、本発明の一態様に係る関心度推定方法は、画面に表示された映像に対するユーザの関心度を推定する関心度推定方法であって、前記ユーザの視線方向を検出する視線検出ステップと、前記映像中の誘目性が顕著な領域である顕著領域に関する顕著性情報を取得する顕著性情報取得ステップと、取得された前記顕著性情報から特定される顕著領域と検出された前記視線方向との相関を算出する相関算出ステップと、算出された前記相関が高いほど関心度が高くなるように、前記映像に対する前記ユーザの関心度を推定する関心度推定ステップとを含む。

【発明の効果】

【0011】

本発明によれば、画面に表示された映像に対する視聴者の関心度を精度良く推定することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、本発明の実施の形態における関心度推定装置の機能構成を示すブロック図である。

【図2】図２は、本発明の実施の形態における関心度推定装置の処理動作を示すフローチャートである。

【図3】図３は、本発明の実施の形態における顕著構造の概念図である。

【図4A】図４Ａは、本発明の実施の形態における顕著パターンの種類を説明するための図である。

【図4B】図４Ｂは、本発明の実施の形態における顕著パターンの種類を説明するための図である。

【図4C】図４Ｃは、本発明の実施の形態における顕著パターンの種類を説明するための図である。

【図4D】図４Ｄは、本発明の実施の形態における顕著パターンの種類を説明するための図である。

【図4E】図４Ｅは、本発明の実施の形態における顕著パターンの種類を説明するための図である。

【図5】図５は、本発明の実施の形態における顕著パターンの時系列の一例を示す図である。

【図6A】図６Ａは、本発明の実施の形態における視線方向検出処理において取得される画像を撮像する撮像装置の設置例を示す図である。

【図6B】図６Ｂは、本発明の実施の形態における視線方向検出処理において取得される画像を撮像する撮像装置の設置例を示す図である。

【図6C】図６Ｃは、本発明の実施の形態における視線方向検出処理において取得される画像を撮像する撮像装置の設置例を示す図である。

【図7】図７は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。

【図8】図８は、本発明の実施の形態における視線方向検出処理において顔向きを検出する処理を説明するための図である。

【図9】図９は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。

【図10】図１０は、本発明の実施の形態における黒目中心の検出について説明するための図である。

【図11】図１１は、本発明の実施の形態における黒目中心の検出について説明するための図である。

【図12】図１２は、本発明の実施の形態における視線運動とその構成要素とを説明するための図である。

【図13】図１３は、本発明の実施の形態における顕著性変動と注視反応との関係を説明するための図である。

【図14】図１４は、本発明の実施の形態における複数の顕著パターンの各々に対応付けられた評価基準を示す図である。

【図15A】図１５Ａは、本発明の実施の形態における顕著パターンに対応付けられた評価基準を説明するための図である。

【図15B】図１５Ｂは、本発明の実施の形態における顕著パターンに対応付けられた評価基準を説明するための図である。

【図15C】図１５Ｃは、本発明の実施の形態における顕著パターンに対応付けられた評価基準を説明するための図である。

【図15D】図１５Ｄは、本発明の実施の形態における顕著パターンに対応付けられた評価基準を説明するための図である。

【図15E】図１５Ｅは、本発明の実施の形態における顕著パターンに対応付けられた評価基準を説明するための図である。

【発明を実施するための形態】

【0013】

映像製作者は、一般的に、映像中の特定の人物やモノを通して、視聴者に何らかの印象を与えることを意図している。したがって、映像製作者は、視聴者の注意を引きたい領域を画面上に設定しようとする。つまり、映像製作者は、映像中に誘目性（視覚的注意の引きやすさ）が顕著な領域（以下、「顕著領域」という）が含まれるように、映像を製作することが多い。

【0014】

例えば、映像の内容がドラマである場合、映像製作者は、主演俳優の表示領域が顕著領域となるように映像を製作する。また、映像の内容が広告である場合、映像製作者は、広告対象となる商品の表示領域が顕著領域となるように映像を製作する。

【0015】

このことから、映像製作者が設定した、視聴者の注意を引きたい領域に、視聴者が視覚的注意を向けるということは、視聴者が映像製作者の意図通りの視聴行動をとっていることを意味する。つまり、映像中の顕著領域に視覚的注意が向けられていれば、その映像に対する視聴者の関心度が高いと推定することができる。

【0016】

そこで、本発明の一態様に係る関心度推定装置は、画面に表示された映像に対するユーザの関心度を推定する関心度推定装置であって、前記ユーザの視線方向を検出する視線検出部と、前記映像中の誘目性が顕著な領域である顕著領域に関する顕著性情報を取得する顕著性情報取得部と、取得された前記顕著性情報から特定される顕著領域と検出された前記視線方向との相関を算出し、算出された前記相関が高いほど関心度が高くなるように、前記映像に対する前記ユーザの関心度を推定するユーザ反応分析部とを備える。

【0017】

この構成によれば、映像内の顕著領域とユーザの視線方向との相関に基づいて、映像に対するユーザの関心度を推定することができる。つまり、映像の特性を考慮して関心度を推定できるので、単に視線方向に基づいて関心度を推定する場合よりも、精度良く関心度を推定することが可能となる。特に、映像に対する関心度が高い場合に顕著領域と視線方向との相関が高くなることを利用することができるので、より高精度に関心度を推定することができる。

【0018】

また、本発明の別の一態様に係る関心度推定装置において、顕著領域の数および動きのうちの少なくとも一方に基づいて分類される複数の顕著パターンの各々には、相関の高さを評価するための少なくとも１つの評価基準があらかじめ対応付けられており、前記ユーザ反応分析部は、前記顕著性情報から特定される顕著パターンに対応する評価基準に従って前記相関を算出する。

【0019】

この構成によれば、顕著パターンに適した評価基準に従って、顕著領域と視線方向との相関を算出することができる。したがって、より精度良く関心度を推定することが可能となる。

【0020】

また、本発明の別の一態様に係る関心度推定装置において、前記複数の顕著パターンは、顕著領域の位置が変化しない状態であることを示す静的パターンを含み、前記静的パターンには、顕著領域内におけるサッケードの発生回数が前記少なくとも１つの評価基準として対応付けられており、前記ユーザ反応分析部は、前記顕著性情報から特定される顕著パターンが静的パターンである場合に、検出された前記視線方向から特定される、前記顕著領域内におけるサッケードの発生回数が多いほど前記相関が高くなるように、前記相関を算出する。

【0021】

この構成によれば、顕著パターンが静的パターンの場合に、顕著領域内のサッケードの発生回数に基づいて相関を算出することができる。顕著領域内におけるサッケードは、ユ顕著領域から情報を獲得するための視線運動である。したがって、この顕著領域内におけるサッケードの発生回数が多いほど相関が高くなるように相関を算出することにより、より精度良く関心度を推定することが可能となる。

【0022】

また、本発明の別の一態様に係る関心度推定装置において、前記顕著性情報取得部は、前記映像を示す信号に付与されたタグから前記顕著性情報を取得する。

【0023】

この構成によれば、タグから顕著性情報を容易に取得することができる。

【0024】

また、本発明の別の一態様に係る関心度推定装置において、前記顕著性情報取得部は、画像の物理的な特徴に基づいて前記映像を解析することにより前記顕著性情報を取得する。

【0025】

この構成によれば、映像を解析することにより顕著性情報を取得することができる。したがって、顕著性情報が不明な映像が入力された場合であっても、その映像の顕著性情報を取得することができ、その映像に対する関心度を精度良く推定することが可能となる。

【0026】

また、本発明の別の一態様に係る関心度推定装置において、前記顕著領域は、前記映像に付随した音声情報に関連するオブジェクトの領域である。

【0027】

この構成によれば、ユーザの関心度に対する関係性が大きい領域が顕著領域となるので、より精度良く関心度を推定することができる。

【0028】

また、本発明の別の一態様に係る関心度推定装置において、前記オブジェクトは、話者の顔または口である。

【0029】

この構成によれば、ユーザの関心度に対する関係性が大きい領域が顕著領域となるので、より精度良く関心度を推定することができる。

【0030】

また、本発明の別の一態様に係る関心度推定装置において、前記顕著領域は、前記音声情報に対応するテキストが表示される領域である。

【0031】

この構成によれば、ユーザの関心度に対する関係性が大きい領域が顕著領域となるので、より精度良く関心度を推定することができる。

【0032】

また、本発明の別の一態様に係る関心度推定装置において、前記顕著領域は、移動するオブジェクトの領域である。

【0033】

この構成によれば、ユーザの関心度に対する関係性が大きい領域が顕著領域となるので、より精度良く関心度を推定することができる。

【0034】

また、本発明の別の一態様に係る関心度推定装置において、前記オブジェクトは、人である。

【0035】

この構成によれば、ユーザの関心度に対する関係性が大きい領域が顕著領域となるので、より精度良く関心度を推定することができる。

【0036】

また、本発明の別の一態様に係る関心度推定装置において、前記オブジェクトは、動物である。

【0037】

この構成によれば、ユーザの関心度に対する関係性が大きい領域が顕著領域となるので、より精度良く関心度を推定することができる。

【0038】

また、本発明の別の一態様に係る関心度推定装置において、前記相関は、時間的な同期度である。

【0039】

この構成によれば、時間的な同期度を相関として算出することができるので、より精度良く関心度を推定することができる。

【0040】

また、本発明の別の一態様に係る関心度推定装置において、前記相関は、空間的な類似度である。

【0041】

この構成によれば、空間的な類似度を相関として算出することができるので、より精度良く関心度を推定することができる。

【0042】

また、本発明の別の一態様に係る関心度推定装置において、前記ユーザ反応分析部は、前記顕著領域の出現タイミングと、前記顕著領域に対する視線のサッケードの発生タイミングとの時間差を、前記相関の低さを表す値として算出し、前記ユーザ反応分析部は、前記時間差が小さいほど関心度が高くなるように、前記関心度を推定する。

【0043】

この構成によれば、顕著領域の出現タイミングと、顕著領域に対するサッケードの発生タイミングとの時間差を、顕著領域と視線方向との相関の低さを表す値として算出することができる。したがって、より適切に相関を算出することができ、より精度良く関心度を推定することができる。

【0044】

また、本発明の別の一態様に係る関心度推定装置において、前記ユーザ反応分析部は、前記顕著領域が所定の速度以上で前記画面上を移動するタイミングと、前記顕著領域に対する視線のサッケードの発生タイミングとの時間差を、前記相関の低さを表す値として算出し、前記時間差が小さいほど関心度が高くなるように、前記関心度を推定する。

【0045】

この構成によれば、顕著領域の移動タイミングとサッケードの発生タイミングとの時間差を、顕著領域と視線方向との相関の低さを表す値として算出することができる。したがって、より適切に相関を算出することができ、より精度良く関心度を推定することができる。

【0046】

また、本発明の別の一態様に係る関心度推定装置において、前記ユーザ反応分析部は、前記顕著領域の前記画面上の移動速度と、前記視線方向から特定される前記画面上の注視位置の移動速度との速度差を、前記相関の低さを表す値として算出し、前記ユーザ反応分析部は、前記速度差が小さいほど関心度が高くなるように、前記関心度を推定する。

【0047】

この構成によれば、顕著領域の移動速度と注視位置の移動速度との速度差を、顕著領域と視線方向との相関の低さを表す値として算出することができる。したがって、より適切に相関を算出することができ、より精度良く関心度を推定することができる。

【0048】

また、本発明の別の一態様に係る関心度推定装置において、ユーザ反応分析部は、前記映像内の顕著領域の数、各顕著領域の面積、および視線のサッケードの発生回数に基づいて、前記相関を算出する。

【0049】

この構成によれば、映像内の顕著領域の数、各顕著領域の面積、および視線のサッケードの発生回数に基づいて、適切に相関を算出することができる。

【0050】

また、本発明の別の一態様に係る関心度推定装置は、集積回路として構成されてもよい。

【0051】

また、本発明の一態様に係る関心度推定方法は、画面に表示された映像に対するユーザの関心度を推定する関心度推定方法であって、前記ユーザの視線方向を検出する視線検出ステップと、前記映像中の誘目性が顕著な領域である顕著領域に関する顕著性情報を取得する顕著性情報取得ステップと、取得された前記顕著性情報から特定される顕著領域と検出された前記視線方向との相関を算出する相関算出ステップと、算出された前記相関が高いほど関心度が高くなるように、前記映像に対する前記ユーザの関心度を推定する関心度推定ステップとを含む。

【0052】

これによれば、上記関心度推定装置と同様の効果を奏することができる。

【0053】

なお、本発明は、関心度推定方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

【0054】

以下本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、本発明の一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲の記載に基づいて特定される。したがって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、本発明の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

【0055】

（実施の形態）
図１は、本発明の実施の形態における関心度推定装置の機能構成を示すブロック図である。

【0056】

関心度推定装置１００は、画面に表示された映像に対するユーザ（視聴者）の関心度を推定する。

【0057】

図１に示すように、関心度推定装置１００は、視線検出部１０１と、顕著性情報取得部１０２と、ユーザ反応分析部１０３とを備える。

【0058】

視線検出部１０１は、ユーザの視線方向を検出する。つまり、視線検出部１０１は、ユーザが見ている方向を検出する。

【0059】

本実施の形態では、さらに、視線検出部１０１は、上記のようにして検出された視線方向に基づいて、画面上におけるユーザの注視位置の移動軌跡である注視座標系列を算出する。具体的には、視線検出部１０１は、視線方向とユーザの位置とを利用して、ユーザから視線方向に伸びる直線と画面との交点を注視位置として算出する。そして、視線検出部１０１は、このように算出された注視位置を示す座標の時系列を注視座標系列として算出する。つまり、視線検出部１０１は、視線方向の時間変化を算出する。

【0060】

なお、ユーザの位置は、例えば、ステレオカメラなどによって撮影されたステレオ画像におけるユーザ像の視差を利用して検出されればよい。また例えば、ユーザ位置は、画面の前方の床面に設置された圧力センサによって検出される圧力を利用して検出されてもよい。

【0061】

顕著性情報取得部１０２は、顕著領域（Ｓａｌｉｅｎｃｙ Ａｒｅａ）に関する顕著性情報を取得する。例えば、顕著性情報取得部１０２は、映像を解析することにより顕著性情報を取得する。また例えば、顕著性情報取得部１０２は、映像を示す信号に付与されたタグから顕著性情報を取得してもよい。タグとは、映像を示す信号に付加される情報、あるいはその情報が格納される領域である。このタグは、ヘッダあるいはヘッダ情報と呼ばれることもある。

【0062】

なお、顕著領域とは、映像中の誘目性が顕著な領域である。つまり、顕著領域とは、映像中の、ユーザから視覚的な注意を引きやすい領域である。

【0063】

顕著性情報は、例えば、顕著領域の位置を示す情報を含む。また、顕著性情報は、顕著領域の時間変化パターンである顕著性変動に関する情報を含んでもよい。

【0064】

ユーザ反応分析部１０３は、取得された顕著性情報から特定される顕著領域と、検出された視線方向との相関を算出する。すなわち、ユーザ反応分析部１０３は、映像中の顕著領域と検出された視線方向との相関の高さまたは低さを表す値を算出する。

【0065】

具体的には、ユーザ反応分析部１０３は、例えば、顕著領域と視線方向との時間的な同期度を相関として算出する。また、ユーザ反応分析部１０３は、例えば、顕著領域と視線方向との空間的な類似度を相関として算出してもよい。なお、ユーザ反応分析部１０３は、時間的な同期度と空間的な類似度との両方に基づいて相関を算出してもよい。

【0066】

ユーザ反応分析部１０３は、このように算出された相関が高いほど関心度が高くなるように、映像に対するユーザの関心度を推定する。

【0067】

次に、以上のように構成された関心度推定装置１００における各種動作について説明する。

【0068】

図２は、本発明の実施の形態における関心度推定装置の処理動作を示すフローチャートである。

【0069】

まず、顕著性情報取得部１０２は、映像中の顕著領域の位置を示す情報と、その顕著領域の時間変化パターンである顕著性変動に関する情報とを含む顕著性情報を取得する（Ｓ１１）。

【0070】

視線検出部１０１は、ユーザの視線方向を検出する（Ｓ１２）ここでは、視線検出部１０１は、検出された視線方向に基づいて注視座標系列を算出する。

【0071】

そして、ユーザ反応分析部１０３は、顕著性情報取得部１０２が取得した顕著性情報から特定される顕著領域と、視線検出部１０１が検出した視線方向との相関を算出する（Ｓ１３）。

【0072】

そして、ユーザ反応分析部１０３は、顕著性変動と視線検出部１０１が検出した視線変化との相関を算出する（Ｓ１４）。ユーザ反応分析部１０３は、算出された相関に基づいて、当該映像に対する関心度を推定する（Ｓ１５）。具体的には、ユーザ反応分析部１０３は、算出された相関が高いほど関心度が高くなるように、ユーザの映像に対する関心度を推定する。

【0073】

なお、ステップＳ１１の処理と、ステップＳ１２およびＳ１３の処理とは、並行して行われてもよい。また、ステップＳ１１の処理と、ステップＳ１２およびＳ１３の処理とは逆順で行われてもよい。つまり、ステップＳ１１の処理が、ステップＳ１２およびＳ１３の処理の後に行われてもよい。また、ステップＳ１３の処理は行われなくてもよい。

【0074】

以上のように、関心度推定装置１００は、画面に表示された映像に対するユーザの関心度を推定する。

【0075】

以下に、上記の関心度推定装置１００の処理動作について、図面を用いてさらに詳細に説明する。

【0076】

＜１、顕著性情報取得＞
まず、顕著性情報取得処理の詳細について説明する。ここでは、顕著性情報取得部１０２が、映像を解析することにより、顕著性情報を取得する場合について説明する。

【0077】

図３は、本発明の実施の形態における顕著構造の概念図である。

【0078】

顕著領域は、映像に含まれる各フレームにおいて視覚的注意を引きやすい領域である（図３の（ａ））。映像において、顕著領域の顕著度と位置とは、時間変化に伴って変化する。

【0079】

このような変化を伴う顕著領域の時空間ボリュームを、顕著フロー（Ｓａｌｉｅｎｃｙ Ｆｌｏｗ）と呼ぶ。そして、映像中に存在する複数の顕著フローをまとめて、映像の顕著構造（Ｓａｌｉｅｎｃｙ Ｓｔｒｕｃｔｕｒｅ)と呼ぶことにする（図３の（ｂ））。

【0080】

顕著領域は、映像に含まれる各フレームに対して顕著性マップ（Ｓａｌｉｅｎｃｙ Ｍａｐ）を計算することによって得られる。顕著性マップは、非特許文献「Ｉｔｔｉ，Ｌ． ａｎｄ Ｋｏｃｈ，Ｃ．：Ｃｏｍｐｕｔａｔｉｏｎａｌ ｍｏｄｅｌｉｎｇ ｏｆ ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ．Ｎａｔｕｒｅ Ｒｅｖｉｅｗｓ Ｎｅｕｒｏｓｃｉｅｎｃｅ，２（３），ｐｐ．１９４−２０３．」に記載されている算出方法により取得できる。

【0081】

つまり、ここでは、顕著性情報取得部１０２は、画像の物理的な特徴に基づいて映像を解析することにより、顕著領域を特定する。画像の物理的な特徴とは、例えば、輝度、色あるいは明度などである。

【0082】

顕著領域の典型的な例として、移動するオブジェクトの領域をあげることができる。移動するオブジェクトは、人であるとよい。移動するオブジェクトは、動物であってもよい。

【0083】

また、顕著領域の他の例として、映像に付随した音声情報と関連の深いオブジェクトの領域をあげることもできる。ここでオブジェクトは、例えば、映像中の話者の顔または口である。さらに、顕著領域は、音声情報に対応するテキストが表示される領域であってもよい。

【0084】

顕著性情報取得部１０２は、こういった各フレームに含まれる顕著領域を、さらに時間方向の隣接関係に基づいてクラスタリングすることによって、顕著フローを得る。顕著フローは、時間変化する顕著領域の顕著度、重心位置、および面積を属性として持つ。

【0085】

そして、顕著性情報取得部１０２は、顕著フローを「位置が時間変化するダイナミックな状態」と「位置が時間変化しないスタティックな状態」とからなる状態系列に分節化する。

【0086】

顕著構造は、複数の顕著フローを持っている。顕著構造は、顕著領域の数および動きの少なくとも一方に基づいて、複数の顕著パターン（Ｓａｌｉｅｎｃｙ Ｐａｔｔｅｒｎ）に分類することができる。

【0087】

図４Ａ〜図４Ｅは、本発明の実施の形態における顕著パターンの種類を説明するための図である。図４Ａ〜図４Ｅの各グラフは、顕著領域の位置の時間変化を示す。各グラフにおいて、縦軸は画面上の位置を示し、横軸は時間を示す。

【0088】

ここでは、複数の顕著パターンには、単数静的パターン（ｓｓ：ｓｉｎｇｌｅ−ｓｔａｔｉｃ）（図４Ａ）と、単数動的パターン（ｓｄ：ｓｉｎｇｌｅ−ｄｙｎａｍｉｃ）（図４Ｂ）と、複数静的パターン（ｍｓ：ｍｕｌｔｉ−ｓｔａｔｉｃ）（図４Ｃ）と、複数静止動的パターン（ｍｓｄ：ｍｕｌｔｉ−ｓｔａｔｉｃ／ｄｙｎａｍｉｃ）（図４Ｄ）と、複数動的パターン（ｍｄ：ｍｕｌｔｉ−ｄｙｎａｍｉｃ）（図４Ｅ）との５種類の顕著パターンが含まれる。

【0089】

顕著構造は、これらの顕著パターンからなる系列へと分節化する。なお、ｍｕｌｔｉ−ｓｔａｔｉｃ／ｄｙｎａｍｉｃでは、複数のフローのうちいくつかがｄｙｎａｍｉｃな状態で、残りがｓｔａｔｉｃな状態となる。

【0090】

図５は、本発明の実施の形態における顕著パターンの時系列の一例を示す図である。具体的には、図５の（ａ）は、顕著領域の位置の時間推移を示すグラフである。ここでは、説明の便宜のため、顕著領域の位置は、１次元で表わされている。

【0091】

図５の（ｂ）は、各顕著フローの状態の時間推移を示すグラフである。各棒グラフは、１つの顕著フローの状態を示す。具体的には、棒グラフの白抜き部分は、顕著フローが静的状態（ｓｔａｔｉｃ）であることを示す。また、棒グラフのハッチング部分は、顕著フローが動的状態（ｄｙｎａｍｉｃ）であることを示す。

【0092】

図５の（ｃ）は、顕著パターンの時間推移を示すグラフである。ここでは、はじめは、顕著パターンが複数静的パターン（ｍｓ）であり、次に複数動的パターン（ｍｄ）に推移することが示されている。

【0093】

以上のように、顕著性情報取得部１０２は、映像を解析することにより顕著領域を特定する。したがって、顕著性情報が不明な映像が入力された場合であっても、その映像の顕著性情報を取得することができ、その映像に対する関心度を精度良く推定することが可能となる。

【0094】

そして、顕著性情報取得部１０２は、特定された顕著領域の数および動きに基づいて、顕著パターンを決定する。このように特定された顕著領域の位置を示す情報および顕著パターンを示す情報が顕著性情報に相当する。

【0095】

なお、顕著性情報取得部１０２は、必ずしも映像を解析する必要はない。例えば、顕著性情報取得部１０２は、映像を示す信号に付与されたタグから顕著性情報を取得してもよい。これにより、顕著性情報取得部１０２は、容易に顕著性情報を取得することができる。

【0096】

なおこの場合、タグには、例えば、あらかじめ映像を解析することにより得られた顕著領域に関する情報が含まれる必要がある。また、タグには、映像製作者があらかじめ入力した顕著領域に関する情報が含まれてもよい。

【0097】

＜２、視線方向の検出＞
次に、視線方向を検出する視線方向検出処理（Ｓ１２）の詳細について説明する。

【0098】

本実施の形態において、視線方向は、ユーザの顔の向き（以下、「顔向き」と記載）と、ユーザの顔向きに対する目の中の黒目部分の方向（以下、「黒目方向」と記載）との組み合わせを基に計算される。そこで、視線検出部１０１は、まず人物の３次元の顔向きを推定する。次に、視線検出部１０１は、黒目方向の推定を行う。最後に、視線検出部１０１は、顔向きおよび黒目方向の２つを統合して視線方向を計算する。

【0099】

なお、視線検出部１０１は、必ずしも、顔向きと黒目方向との組み合わせを基に視線方向を計算しなくてもよい。例えば、視線検出部１０１は、眼球中心と虹彩（黒目）中心とに基づいて視線方向を計算してもよい。つまり、視線検出部１０１は、眼球中心の３次元位置と虹彩（黒目）中心の３次元位置とを結ぶ３次元ベクトルを視線方向として計算してもよい。

【0100】

図６Ａ〜図６Ｃの各々は、本発明の実施の形態における視線方向検出処理において取得される画像を撮像する撮像装置（カメラ）の設置例を示す図である。図６Ａ〜図６Ｃに示すように、撮像装置は、表示装置が備える画面の前方に位置するユーザを撮像可能なように、画面の近傍に設置される。

【0101】

図７は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。

【0102】

まず、視線検出部１０１は、撮像装置が画面の前方に存在するユーザを撮像した画像を取得する（Ｓ５０１）。続いて、視線検出部１０１は、取得された画像から顔領域の検出を行う（Ｓ５０２）。次に、視線検出部１０１は、検出された顔領域に対し、各基準顔向きに対応した顔部品特徴点の領域を当てはめ、各顔部品特徴点の領域画像を切り出す（Ｓ５０３）。

【0103】

そして、視線検出部１０１は、切り出された領域画像と、あらかじめ保持されたテンプレート画像の相関度を計算する（Ｓ５０４）。続いて、視線検出部１０１は、各基準顔向きが示す角度を、計算された相関度の比に応じて重み付けして加算した重み付け和を求め、これを検出した顔領域に対応するユーザの顔向きとして検出する（Ｓ５０５）。

【0104】

図８は、本発明の実施の形態における視線方向検出処理において顔向きを検出する処理を説明するための図である。

【0105】

視線検出部１０１は、図８の（ａ）に示すように、各基準顔向きに対応した顔部品特徴点の領域を記憶している顔部品領域データベース（ＤＢ）から、顔部品特徴点の領域を読み出す。続いて、視線検出部１０１は、図８の（ｂ）に示すように、撮影された画像の顔領域に対し顔部品特徴点の領域を基準顔向きごとに当てはめ、顔部品特徴点の領域画像を基準顔向きごとに切り出す。

【0106】

そして、視線検出部１０１は、図８の（ｃ）に示すように、切り出された領域画像と、顔部品領域テンプレートＤＢに保持されたテンプレート画像との相関度を基準顔向きごとに計算する。また、視線検出部１０１は、このように計算された相関度が示す相関度合いの高さに応じて、基準顔向きごとの重みを算出する。例えば、視線検出部１０１は、基準顔向きの相関度の総和に対する各基準顔向きの相関度の比を重みとして算出する。

【0107】

続いて、視線検出部１０１は、図８の（ｄ）に示すように、基準顔向きが示す角度に、算出された重みを乗算した値の総和を計算し、計算結果をユーザの顔向きとして検出する。

【0108】

図８の（ｄ）の例では、基準顔向き＋２０度に対する重みが「０．８５」、正面向きに対する重みが「０．１４」、−２０度に対する重みが「０．０１」であるので、視線検出部１０１は、顔向きを１６．８度（＝２０×０．８５＋０×０．１４＋（−２０）×０．０１）と検出する。

【0109】

なお、図８では、視線検出部１０１は、顔部品特徴点の領域画像を対象として相関度を計算したが、これには限らない。例えば、視線検出部１０１は、顔領域全体の画像を対象として相関度を計算してもよい。

【0110】

また、顔向きを検出するその他の方法としては、顔画像から目・鼻・口などの顔部品特徴点を検出し、顔部品特徴点の位置関係から顔向きを計算する方法がある。

【0111】

顔部品特徴点の位置関係から顔向きを計算する方法としては、１つのカメラから得られた顔部品特徴点に最も一致するように、あらかじめ用意した顔部品特徴点の３次元モデルを回転・拡大縮小してマッチングし、得られた３次元モデルの回転量から顔向きを計算する方法がある。

【0112】

また、顔部品特徴点の位置関係から顔向きを計算する他の方法としては、２台のカメラにより撮影された画像を基にステレオ視の原理を用いて、左右のカメラにおける顔部品特徴点位置の画像上のずれから各顔部品特徴点の３次元位置を計算し、得られた顔部品特徴点の位置関係から顔向きを計算する方法がある。具体的には、例えば、両目および口の３次元座標点で張られる平面の法線方向を顔向きとして検出する方法などがある。

【0113】

図７のフローチャートの説明に戻る。

【0114】

視線検出部１０１は、撮像装置によって撮像されたステレオ画像を用いて、ユーザの左右の目頭の３次元位置を検出し、検出した左右の目頭の３次元位置を用いて視線方向基準面を算出する（Ｓ５０６）。続いて、視線検出部１０１は、撮像装置によって撮像されたステレオ画像を用いて、ユーザの左右の黒目中心の３次元位置を検出する（Ｓ５０７）。そして、視線検出部１０１は、視線方向基準面と左右の黒目中心の３次元位置とを用いて、黒目方向を検出する（Ｓ５０８）。

【0115】

そして、視線検出部１０１は、検出されたユーザの顔向きと黒目方向とを用いて、ユーザの視線方向を検出する（Ｓ５０９）。

【0116】

次に、黒目方向を検出する方法の詳細について、図９〜図１１を用いて説明する。

【0117】

本実施の形態では、視線検出部１０１は、まず、視線方向基準面を算出する。続いて、視線検出部１０１は、黒目中心の３次元位置を検出する。そして最後に、視線検出部１０１は、黒目方向を検出する。

【0118】

まず、視線方向基準面の算出について説明する。

【0119】

図９は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。

【0120】

視線方向基準面とは、黒目方向を検出する際に基準となる面のことであり、図９に示すように顔の左右対称面と同一である。なお、目頭の位置は、目尻、口角、または眉など他の顔部品に比べて、表情による変動が少なく、また誤検出が少ない。そこで、視線検出部１０１は、顔の左右対称面である視線方向基準面を目頭の３次元位置を用いて算出する。

【0121】

具体的には、視線検出部１０１は、撮像装置であるステレオカメラで撮像した２枚の画像（ステレオ画像）のそれぞれにおいて、顔検出モジュールと顔部品検出モジュールとを用いて、左右の目頭領域を検出する。そして、視線検出部１０１は、検出した目頭領域の画像間の位置のずれ（視差）を利用して、左右の目頭それぞれの３次元位置を計測する。さらに、視線検出部１０１は、図９に示すように、検出した左右の目頭の３次元位置を端点とする線分の垂直二等分面を視線方向基準面として算出する。

【0122】

次に、黒目中心の検出に関して説明する。

【0123】

図１０および図１１は、本発明の実施の形態における黒目中心の検出について説明するための図である。

【0124】

対象物からの光が瞳孔を通って網膜に届き電気信号に変換され、その電気信号が脳に伝達されることにより、人は対象物を視覚的に認識する。したがって、瞳孔の位置を用いれば、視線方向を検出することができる。しかし、日本人の虹彩は、黒または茶色であるので、画像処理によって瞳孔と虹彩とを判別することが難しい。そこで、本実施の形態では、瞳孔の中心と黒目（瞳孔および虹彩の両方を含む）の中心とがほぼ一致することから、視線検出部１０１は、黒目方向を検出する際に、黒目中心の検出を行う。

【0125】

視線検出部１０１は、まず、撮影された画像から目尻と目頭との位置を検出する。そして、視線検出部１０１は、図１０のような、目尻と目頭とを含む領域から輝度が小さい領域を、黒目領域として検出する。具体的には、視線検出部１０１は、例えば、輝度が所定閾値以下なる領域であって、所定の大きさよりも大きい領域を黒目領域として検出する。

【0126】

次に、視線検出部１０１は、図１１のような、第１領域と第２領域とからなる黒目検出フィルタを黒目領域の任意の位置に設定する。そして、視線検出部１０１は、第１領域内の画素の輝度と第２領域内の画素の輝度との領域間分散が最大となるような黒目検出フィルタの位置を探索し、探索結果が示す位置を黒目中心として検出する。最後に、視線検出部１０１は、上記と同様に、ステレオ画像における黒目中心の位置のずれを利用して、黒目中心の３次元位置を検出する。

【0127】

さらに、黒目方向の検出について説明する。

【0128】

視線検出部１０１は、算出した視線方向基準面と、検出した黒目中心の３次元位置とを用いて、黒目方向を検出する。成人の眼球直径は、ほとんど個人差がないことが知られており、例えば日本人の場合約２４ｍｍである。したがって、基準となる方向（例えば正面）を向いたときの黒目中心の位置が分かっていれば、そこから現在の黒目中心の位置までの変位を求めることで黒目方向に変換算出することができる。

【0129】

ユーザが正面を向いたときは、左右の黒目中心の中点が顔の中心、すなわち視線方向基準面上に存在することを利用して、視線検出部１０１は、左右の黒目中心の中点と視線方向基準面との距離を算出することにより、黒目方向を検出する。

【0130】

具体的には、視線検出部１０１は、眼球半径Ｒと左右の黒目中心を結んだ線分の中点と視線方向基準面との距離ｄとを用いて、式（１）に示すように、顔向きに対する左右方向の回転角θを黒目方向として検出する。

【0131】

【数1】

【0132】

以上のように、視線検出部１０１は、視線方向基準面と黒目中心の３次元位置とを用いて、黒目方向を検出する。そして、視線検出部１０１は、検出された顔向きと黒目方向とを用いて、実空間におけるユーザの視線方向を検出する。

【0133】

なお、視線方向の検出方法は、角膜反射法、ＥＯＧ（Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｐｈｙ）法、サーチコイル法および強膜反射法など多種多様な方法がある。したがって、視線検出部１０１は、必ずしも上述した方法によって視線方向を検出する必要はない。例えば、視線検出部１０１は、角膜反射法を用いて、視線方向を検出してもよい。

【0134】

角膜反射法は、点光源照明を角膜に照射した際に明るく現れる角膜反射像（プルキニエ像）の位置をもとに、眼球運動を計測する手法である。眼球回転中心と角膜の凸面の中心とが一致しないため、角膜を凸面鏡とし光源の反射点を凸レンズなどで集光すると、この集光点は眼球の回転にともなって移動する。この点を撮像装置で撮影することで、眼球運動を計測するものである。

【0135】

＜３、視線運動の検出と分類＞
次に、上記のようにして検出された視線データ（注視座標系列）から視線運動を検出し、分類する方法について説明する。

【0136】

ところで、映像に対する「関心」は、映像に対して「注意を向ける」という意味で定義できる。注意は処理資源として定義される。あるタスクに対して要求される処理資源量は、その難易度に応じて異なる。「注意を向ける」ことは、タスクに対する処理資源の割り当てとして表現できる。

【0137】

すなわち、映像に対して「注意を向ける」という現象は、映像視聴タスクに対する処理資源の割り当てとして考えることができる。このことは、カーネマン（Ｋａｈｎｅｍａｎ）の「注意の容量モデル」として知られている。また、処理資源という概念を用いて関心度というパラメータを説明すると、関心度とは映像視聴タスクに対して割り当てられる処理資源の多寡である。

【0138】

一方、人間が行う情報処理は、意識的な制御処理と無意識的な自動処理とに分類できる。制御処理は、人間が意識的に行う処理であり、駆動にあたっては処理資源を必要とする。映像視聴タスクにおいて制御処理として行われる視線運動を内因性視線運動と呼ぶ。また、自動処理として行われる視線運動を外因性視線運動と呼ぶ。

【0139】

ここで、関心度が視線運動に及ぼす影響を以下のようにモデル化する。

【0140】

まず、ユーザの意図などの心理的要因や疲労などの生理的要因に基づいて、ユーザの関心度に応じた処理資源が映像視聴タスクに割り当てられる。この処理資源に応じて制御処理が駆動され、内因性視線運動が発生する。一方で、映像（顕著フロー）が持つ視覚刺激によって、自動処理として外因性視線運動が発生する。ただし、既に内因性視線運動が発生している場合には、この外因性視線運動は抑制されうる。このようにして発生した視線運動が、実際の表示装置上での注視座標系列として物理的に観測されることになる。ユーザ反応分析部１０３は、この「処理資源消費−視線運動駆動」の逆問題として、物理的に観測された視線運動から、映像視聴タスクに割り当てられた処理資源量を見積り、映像に対する関心度を推定する。

【0141】

図１２は、本発明の実施の形態における視線運動とその構成要素とを説明するための図である。

【0142】

人間は、映像視聴において、対象が持つ視覚情報の獲得と対象の切り替えとを繰り返し行う。対象（顕著フロー）が持つ状態や視線運動が引き起こされる要因を考慮し、ここでは、映像視聴時の視線運動として、以下の４種類の視線運動に分類する。

【0143】

１種類目の視線運動は、動く対象からの情報獲得運動（ＰＡ：Ｐｕｒｓｕｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ）である。２種類目の視線運動は、静止対象からの情報獲得運動（ＦＡ：Ｆｉｘａｔｉｏｎ Ａｃｑｕｉｓｉｔｉｏｎ）である。３種類目の視線運動は、意図的な対象切り替え運動（ＮＣ：ｅＮｄｏｇｅｎｏｕｓ Ｃｈａｎｇｅ）である。４種類目の視線運動は、外因的な対象切り替え運動（ＸＣ：ｅＸｏｇｅｎｏｕｓ Ｃｈａｎｇｅ）である。

【0144】

一般的に、人間は、情報の獲得を、ある点の注視および注視点の移動の組み合わせによって実現している。すなわち映像視聴時における視線運動は、内部にダイナミクスを持っており、図１２に示すように単純な視線運動（構成要素）の組み合わせによって構成される。ここでは、以下の４つの単純な視線運動を構成要素として、映像視聴時の視線運動を表現する。

【0145】

１つ目の構成要素は、滑動性眼球運動（Ｐ：Ｐｕｒｓｕｉｔ）である。滑動性眼球運動とは、眼球が、動いている対象の動きに追従してゆっくり動く運動である。

【0146】

２つ目の構成要素は、固視運動（Ｆ：Ｆｉｘａｔｉｏｎ）である。固視運動とは、静止対象をじっと見続けるために、眼球が動かないことを示す。

【0147】

３つ目の構成要素は、内因性サッケード（ＮＳ：ｅＮｄｏｇｅｎｏｕｓ Ｓａｃｃａｄｅ）である。サッケードとは、解像度が低い周辺網膜に映った対象を、解像度が高い網膜中心窩で捉えるために行われるすばやい眼球運動である。そして、内因性サッケードとは、サッケードのうちの意識的なサッケードである。

【0148】

４つ目の構成要素は、外因性サッケード（ＸＳ：ｅＸｏｇｅｎｏｕｓ Ｓａｃｃａｄｅ）である。外因性サッケードとは、サッケードのうちの無意識的なサッケードである。

【0149】

ここで、視線検出部１０１は、関心度推定の前段階として、注視座標系列から上述の視線運動を検出する。すなわち、視線検出部１０１は、注視座標系列を単独の視線運動が発生しうる時区間へと分節化する。具体的には、視線検出部１０１は、注視座標系列を注視対象のフローに基づいて分節化し、対応するフローの状態がｓｔａｔｉｃかｄｙｎａｍｉｃのいずれであるかに基づいてさらに分節化する。そして、視線検出部１０１は、高い相関を示す顕著フロー群を単一の対象と扱うために、相関が高い２フロー間の注視移動が起こっている時区間を併合する。

【0150】

＜４、顕著性変動と注視反応との相関分析（関心度推定）＞
次に、顕著性変動と注視反応の相関分析による関心度推定の詳細について説明する。

【0151】

図１３は、本発明の実施の形態における顕著性変動と注視反応との関係を説明するための図である。具体的には、図１３の（ａ）は、関心度が高い場合の各フレームにおける時間的なずれと、関心度が低い場合の各フレームにおける時間的なずれとを示す。また、図１３の（ｂ）は、関心度が高い場合の各フレームにおける空間的なずれと、関心度が低い場合の各フレームにおける空間的なずれとを示す。

【0152】

映像に対する関心度が高い場合には、そのフレームにおいて顕著性変動とそれに対応して生じると期待される視線運動の時間的なずれおよび空間的なずれは小さくなる。一方で、映像に対する関心度が低い場合には、そのフレームにおいて顕著性変動と注視反応との時間的なずれおよび空間的なずれは大きくなる。

【0153】

つまり、これらの時間的なずれおよび空間的なずれは、顕著領域と視線方向との相関の低さを示す。そこで、本実施の形態では、ユーザ反応分析部１０３は、これらの時間的なずれおよび空間的なずれの少なくとも一方を表す値を、顕著領域と視線方向との相関の低さを表す値として算出する。

【0154】

この時間的なずれの一例としては、顕著領域の出現タイミングと、その顕著領域に対する視線のサッケードの発生タイミングとの時間差がある。また、時間的なずれの他の一例としては、顕著領域が所定の速度以上で画面上を移動するタイミングと、その顕著領域に対する視線のサッケードの発生タイミングとの時間差がある。また、時間的なずれおよび空間的なずれの一例としては、顕著領域の画面上の移動速度と、視線方向から特定される画面上の注視位置の移動速度との速度差がある。

【0155】

なお、視線運動がサッケードであるか否かは、例えば、視線方向の変化度を示す値が閾値を超えるか否かにより判定することができる。具体的には、注視位置が所定速度以上で移動したタイミングが、サッケードの発生タイミングとして検出されればよい。

【0156】

このような特性に注目し、下記のように映像に対する関心度を推定する。

【0157】

図１４は、本発明の実施の形態における複数の顕著パターンの各々に対応付けられた評価基準を示す図である。

【0158】

図１４に示すように、複数の顕著パターンの各々には、相関の高さを評価するための少なくとも１つの評価基準があらかじめ対応付けられている。このような顕著パターンと評価基準との対応関係を示す情報は、例えば、図示されていない記憶部（メモリ）に保持されればよい。この場合、記憶部は、例えば、関心度推定装置１００に備えられる。また、記憶部は、関心度推定装置１００と接続された外部デバイスに備えられてもよい。

【0159】

ユーザ反応分析部１０３は、図１４に示すような情報を参照することにより、取得された顕著性情報から特定される顕著パターンに対応する評価基準に従って相関を算出する。

【0160】

以下に、評価基準について具体的に説明する。

【0161】

図１５Ａ〜図１５Ｅは、本発明の実施の形態における顕著パターンに対応付けられた評価基準を説明するための図である。

【0162】

図１４および図１５Ａに示すように、映像に対するユーザの関心度が高い場合には、ｓｉｎｇｌｅ−ｓｔａｔｉｃでは、ＦＡが視線運動として観測されることが期待される。また、図１４および図１５Ｂに示すように、映像に対するユーザの関心度が高い場合には、ｓｉｎｇｌｅ−ｄｙｎａｍｉｃでは、ＰＡが視線運動として観測されることが期待される。また、図１４および図１５Ｃに示すように、映像に対するユーザの関心度が高い場合には、ｍｕｌｔｉ−ｓｔａｔｉｃでは、ＦＡおよびＮＳが視線運動として観測されることが期待される。また、図１４および図１５Ｄに示すように、映像に対するユーザの関心度が高い場合には、ｍｕｌｔｉ−ｓｔａｔｉｃ／ｄｙｎａｍｉｃでは、ＦＡ、ＰＡ、およびＮＳが視線運動として観測されることが期待される。また、図１４および図１５Ｅに示すように、映像に対するユーザの関心度が高い場合には、ｍｕｌｔｉ−ｄｙｎａｍｉｃでは、ＰＡおよびＮＳが視線運動として観測されることが期待される。

【0163】

そこで、図１４に示すように、ｓｉｎｇｌｅ−ｓｔａｔｉｃには、サッケード数と、サッケードのストローク長と、対象フロー面積とが、評価基準として対応付けられている。

【0164】

ここで、サッケード数とは、顕著パターンがｓｉｎｇｌｅ−ｓｔａｔｉｃのときに検出されるサッケードの発生回数である。サッケードは、例えば、視線方向の変化率を示す値を閾値と比較することにより検出される。具体的には例えば、画面上の顕著領域内において注視位置が所定速度以上で移動した回数が、サッケード数として検出される。

【0165】

また、サッケードのストローク長とは、サッケードによる視線方向の変化量を示す値である。具体的には、サッケードのストローク長は、例えば、サッケードによる画面上の注視位置の移動量に相当する。

【0166】

対象フロー面積は、顕著領域の面積に相当する。顕著フローを構成する顕著領域の面積が変化している場合には、対象フロー面積は、例えば、顕著領域の面積の平均値が用いられる。また、対象フロー面積は、顕著領域の面積の中央値、最大値、あるいは最小値などであってもよい。

【0167】

ｓｉｎｇｌｅ−ｄｙｎａｍｉｃには、対象フローおよび視線運動の速度差と、対象の運動速度とが評価基準として対応付けられている。

【0168】

対象フローおよび視線運動の速度差とは、顕著領域の移動速度と注視位置の移動速度との速度差に相当する。ここで移動速度とは、移動ベクトルの大きさおよび方向を意味する。また、対象の運動速度とは、顕著領域の移動速度に相当する。

【0169】

ｍｕｌｔｉ−ｓｔａｔｉｃには、ｓｉｎｇｌｅ−ｓｔａｔｉｃに対応付けられた評価基準と、ＮＳの発生頻度とが、評価基準として対応付けられている。

【0170】

ＮＳの発生頻度とは、複数の顕著領域間におけるサッケードの発生回数に相当する。つまり、ＮＳの発生頻度とは、ある一の顕著領域から他の一の顕著領域に注視位置を移動させるサッケードの発生回数に相当する。

【0171】

ｍｕｌｔｉ−ｓｔａｔｉｃ／ｄｙｎａｍｉｃには、ｓｉｎｇｌｅ−ｓｔａｔｉｃに対応付けられた評価基準と、ｓｉｎｇｌｅ−ｄｙｎａｍｉｃに対応付けられた評価基準と、ＮＳの発生頻度と、ＰＡおよびＦＡの比率とが、評価基準として対応付けられている。

【0172】

ｍｕｌｔｉ−ｄｙｎａｍｉｃには、ｓｉｎｇｌｅ−ｄｙｎａｍｉｃに対応付けられた評価基準と、ＮＳの発生頻度とが評価基準として対応付けられている。

【0173】

そして、ユーザ反応分析部１０３は、顕著パターンに対応付けられたこれらの評価基準に従って、評価値（ベクトル）Ｅを算出する。この評価値Ｅは、顕著領域と視線方向との相関に相当し、相関の高さを定量的に示す値である。

【0174】

ＦＡでは、ユーザが対象をどれだけ積極的にスキャンしていたかの指標として、１）対象の内部でどれだけサッケードが起こっていたか、２）どの程度の大きさのサッケードが発生したかが評価される。

【0175】

つまり、顕著パターンが、静的パターン（ｓｉｎｇｌｅ−ｓｔａｔｉｃ、ｍｕｌｔｉ−ｓｔａｔｉｃ、またはｍｕｌｔｉ−ｓｔａｔｉｃ／ｄｙｎａｍｉｃ）である場合に、ユーザ反応分析部１０３は、顕著領域内におけるサッケードの発生回数が多いほど相関が高くなるように相関を算出する。

【0176】

これにより、ユーザ反応分析部１０３は、顕著パターンが静的パターンの場合に、顕著領域内のサッケードの発生回数に基づいて相関を算出することができる。顕著領域内におけるサッケードは、顕著領域から情報を獲得するための視線運動である。したがって、ユーザ反応分析部１０３は、この顕著領域内におけるサッケードの発生回数が多いほど相関が高くなるように、顕著領域と視線方向との相関を算出することにより、より精度良く関心度を推定することが可能となる。

【0177】

さらに、顕著パターンが、静的パターンである場合に、ユーザ反応分析部１０３は、顕著領域内におけるサッケードによる視線方向の変化量（サッケードのストローク長）が大きいほど相関が高くなるように、顕著領域と視線方向との相関を算出する。この場合、ユーザ反応分析部１０３は、顕著領域の大きさ（例えば面積など）を用いて、視線方向の変化量を正規化することが好ましい。

【0178】

これにより、顕著領域内の広い領域から情報を獲得するための視線運動が行われている場合に算出される相関が高くなる。したがって、関心度推定装置１００は、より精度良く関心度を推定することが可能となる。

【0179】

ＰＡでは、ユーザが対象にどれだけ同期して追従できていたかの指標として、３）対象フローと視線運動との速度差が評価される。つまり、顕著パターンが、動的パターン（ｓｉｎｇｌｅ−ｄｙｎａｍｉｃ、ｍｕｌｔｉ−ｄｙｎａｍｉｃ、またはｍｕｌｔｉ−ｓｔａｔｉｃ／ｄｙｎａｍｉｃ）である場合に、ユーザ反応分析部１０３は、顕著領域の画面上の移動速度と、視線方向から特定される画面上の注視位置の移動速度との速度差が小さいほど相関が高くなるように相関を算出する。この場合、ユーザ反応分析部１０３は、顕著領域の移動速度を用いて、速度差を正規化することが好ましい。

【0180】

これにより、顕著領域の動きに追随して顕著領域から情報を獲得するための視線運動が行われている場合に算出される相関が高くなる。したがって、関心度推定装置１００は、より精度良く関心度を推定することが可能となる。

【0181】

複数のフローが存在する顕著パターンに対しては、ＮＳの発生頻度が評価基準に加えられる。つまり、顕著パターンが複数パターン（ｍｕｌｔｉ−ｓｔａｔｉｃ、ｍｕｌｔｉ−ｄｙｎａｍｉｃ、またはｍｕｌｔｉ−ｓｔａｔｉｃ／ｄｙｎａｍｉｃ）である場合に、ユーザ反応分析部１０３は、ある一の顕著領域から他の一の顕著領域に注視位置を移動させるサッケードの発生回数が多いほど相関が高くなるように相関を算出する。この場合、ユーザ反応分析部１０３は、顕著領域の数を用いて、サッケードの発生回数を正規化することが好ましい。

【0182】

これにより、より多くの顕著領域から情報を獲得するための視線運動が行われている場合に算出される相関が高くなる。したがって、関心度推定装置１００は、より精度良く関心度を推定することが可能となる。

【0183】

各顕著パターンに対する評価値Ｅの、高関心度時（Ｈ）における分布と低関心度時（Ｌ）における分布とは、あらかじめ学習される。この学習結果を用いて、ユーザ反応分析部１０３は、新たに獲得された評価値Ｅ＊の後に高関心度時および低関心度時となる確率を、事後確率Ｐ（Ｈ｜Ｅ＊）およびＰ（Ｌ｜Ｅ＊）として算出することができる。ユーザ反応分析部１０３は、このように算出された事後確率Ｐ（Ｈ｜Ｅ＊）およびＰ（Ｌ｜Ｅ＊）を比較することで、映像に対する関心度を推定する。

【0184】

以上のように、本実施の形態に係る関心度推定装置によれば、映像からユーザの視覚的注意を引きやすい顕著領域と、その時間変化パターンである顕著性変動に関する情報を取得し、顕著性変動と注視反応の相関に基づき、映像に対する関心度を推定することにより、画面に映像が表示されている際に、その映像への関心度を精度良く推定することができる。

【0185】

つまり、本実施の形態に係る関心度推定装置によれば、映像内の顕著領域とユーザの視線方向との相関に基づいて、映像に対するユーザの関心度を推定することができる。つまり、映像の特性を考慮して関心度を推定できるので、単に視線方向に基づいて関心度を推定する場合よりも、精度良く関心度を推定することが可能となる。特に、映像に対する関心度が高い場合に顕著領域と視線方向との相関が高くなることを利用することができるので、より高精度に関心度を推定することができる。

【0186】

また、本実施の形態に係る関心度推定装置によれば、ユーザの皮膚電位などを測定しなくても、映像に対するユーザの関心度を推定することができる。したがって、簡易に関心度を推定することができるとともに、ユーザの負担が増大することを抑制することもできる。

【0187】

また、本実施の形態に係る関心度推定装置によれば、顕著パターンに適した評価基準に従って、顕著領域と視線方向との相関を算出することができる。したがって、より精度良く関心度を推定することが可能となる。

【0188】

なお、上記実施の形態において、映像に対する「関心」とは、映像に対して「注意を向ける」という意味で定義しているが、本発明における「関心」は「集中」という用語で置き換えることができる。すなわち、本発明は、映像に対するユーザの集中度を推定する発明ということもできる。

【0189】

また、上記実施の形態において、関心度推定装置１００は、関心度を推定していたが、「推定」という用語は、「算出」と置き換えることもできる。つまり、関心度を推定する関心度推定装置は、関心度を算出する関心度算出装置と置き換えられても構わない。

【0190】

なお、上記関心度推定装置１００により推定された関心度は、例えば、ユーザに提示すべき情報を適切に表示するために利用される。例えば、関心度が低い場合に、表示装置は、ユーザに提示すべき情報を画面の中央部に表示する。これにより、表示装置は、ユーザが表示された情報を見逃すことを抑制することができる。一方、関心度が高い場合には、表示装置は、ユーザに提示すべき情報を、画面の端部に表示する、または表示しない。これにより、表示装置は、ユーザに不快感を与えることを抑制することができる。

【0191】

また、上記関心度推定装置１００により推定された関心度に基づいて表示装置の輝度が調整されてもよい。例えば、関心度が低い場合に、関心度が高い場合よりも輝度が低くなるように、表示装置の輝度が表示されてもよい。この場合、表示装置の消費電力を低減することができ、省エネルギー化に貢献することができる。

【0192】

以上、本発明の一態様に係る関心度推定装置について、実施の形態およびその変形例に基づいて説明したが、本発明は、これらの実施の形態またはその変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態またはその変形例に施したもの、あるいは異なる実施の形態またはその変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

【0193】

例えば、上記実施の形態において、ユーザ反応分析部１０３は、顕著パターンを利用して顕著領域と視線方向との相関を算出していたが、必ずしも顕著パターンが利用される必要はない。例えば、ユーザ反応分析部１０３は、顕著パターンに関係なく、顕著領域内におけるサッケードの発生回数に基づいて、顕著領域と視線方向との相関を算出してもよい。この場合であっても、関心度推定装置１００は、映像の特性を考慮して関心度を推定できるので、単に視線方向に基づいて関心度を推定する場合よりも、精度良く関心度を推定することが可能となる。

【0194】

また、上記実施の形態において、複数の顕著パターンは、顕著領域の数および動きの両方に基づいて分類されていたが、顕著領域の数および動きの一方だけに基づいて分類されても構わない。つまり、複数の顕著パターンは、顕著領域の数および動きのうちの少なくとも一方に基づいて分類されればよい。

【0195】

さらに、本発明は、以下のように変形することもできる。

【0196】

（１）上記の関心度推定装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＯＭまたは前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記ＲＡＭに展開された前記コンピュータプログラムに従って動作することにより、関心度推定装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、関心度推定装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。

【0197】

（２）上記の関心度推定装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記ＲＡＭに展開された前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

【0198】

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

【0199】

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0200】

（３）上記の関心度推定装置を構成する構成要素の一部または全部は、関心度推定装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

【0201】

（４）本発明は、上記に示す関心度推定装置が備える特徴的な構成部の動作をステップとする方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

【0202】

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラムまたは前記デジタル信号であるとしてもよい。

【0203】

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

【0204】

また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

【0205】

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

【0206】

（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

【産業上の利用可能性】

【0207】

本発明は、表示された映像に対するユーザの関心度を推定する関心度推定装置として有用であり、例えば、ユーザインタフェース装置あるいは映像表示装置に適用することができる。

【符号の説明】

【0208】

１００ 関心度推定装置
１０１ 視線検出部
１０２ 顕著性情報取得部
１０３ ユーザ反応分析部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図15C】

【図15D】

【図15E】