特開2020-25745(P2020-25745A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
特開2020-25745瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム
<>
  • 特開2020025745-瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム 図000006
  • 特開2020025745-瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム 図000007
  • 特開2020025745-瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム 図000008
  • 特開2020025745-瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム 図000009
  • 特開2020025745-瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム 図000010
  • 特開2020025745-瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム 図000011
  • 特開2020025745-瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム 図000012
  • 特開2020025745-瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム 図000013
  • 特開2020025745-瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム 図000014
  • 特開2020025745-瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-25745(P2020-25745A)
(43)【公開日】2020年2月20日
(54)【発明の名称】瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム
(51)【国際特許分類】
   A61B 3/11 20060101AFI20200124BHJP
【FI】
   A61B3/10 A
【審査請求】未請求
【請求項の数】5
【出願形態】OL
【全頁数】16
(21)【出願番号】特願2018-152192(P2018-152192)
(22)【出願日】2018年8月13日
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】山岸 慎平
(72)【発明者】
【氏名】米家 惇
(72)【発明者】
【氏名】古川 茂人
【テーマコード(参考)】
4C316
【Fターム(参考)】
4C316AA06
4C316AA07
4C316AA28
4C316AB16
4C316FB26
4C316FZ03
(57)【要約】
【課題】カメラと眼球の位置関係の影響を受けにくい瞳孔の大きさに関する特徴量を抽出する技術を提供する。
【解決手段】対象者の眼球を撮影した画像から、対象者の瞳孔の大きさを表す瞳孔情報を取得する瞳孔情報取得部と、対象者の眼球を撮影した画像から、対象者の虹彩の大きさを表す虹彩情報を取得する虹彩情報取得部と、瞳孔情報と虹彩情報の比を瞳孔特徴量として計算する瞳孔特徴量計算部とを含む。
【選択図】図4
【特許請求の範囲】
【請求項1】
対象者の眼球を撮影した画像から、前記対象者の瞳孔の大きさを表す瞳孔情報を取得する瞳孔情報取得部と、
前記画像から、前記対象者の虹彩の大きさを表す虹彩情報を取得する虹彩情報取得部と、
前記瞳孔情報と前記虹彩情報の比を瞳孔特徴量として計算する瞳孔特徴量計算部と
を含む瞳孔特徴量抽出装置。
【請求項2】
請求項1に記載の瞳孔特徴量抽出装置であって、
前記瞳孔情報取得部は、前記画像における瞳孔領域の外縁上の2つの点を用いて、前記瞳孔情報を取得し、
前記虹彩情報取得部は、前記画像における虹彩領域の外縁上の2つの点を用いて、前記虹彩情報を取得する
ことを特徴とする瞳孔特徴量抽出装置。
【請求項3】
請求項2に記載の瞳孔特徴量抽出装置であって、
前記瞳孔情報取得部又は前記虹彩情報取得部は、
前記画像を変換して得られる二値画像において、その強度が所定の閾値より小さい又は以下である領域を前記瞳孔領域または前記虹彩領域として抽出し、前記瞳孔領域または前記虹彩領域の中心を通る線上のピクセルのグレイ値を計算し、前記グレイ値の1次微分のピークを抽出し、前記ピークの近くにある、前記グレイ値の2次微分のゼロクロスポイントを前記瞳孔領域または前記虹彩領域の外縁上の点として抽出する
ことを特徴とする瞳孔特徴量抽出装置。
【請求項4】
瞳孔特徴量抽出装置が、対象者の眼球を撮影した画像から、前記対象者の瞳孔の大きさを表す瞳孔情報を取得する瞳孔情報取得ステップと、
前記瞳孔特徴量抽出装置が、前記画像から、前記対象者の虹彩の大きさを表す虹彩情報を取得する虹彩情報取得ステップと、
前記瞳孔特徴量抽出装置が、前記瞳孔情報と前記虹彩情報の比を瞳孔特徴量として計算する瞳孔特徴量計算ステップと
を含む瞳孔特徴量抽出方法。
【請求項5】
請求項1ないし3のいずれか1項に記載の瞳孔特徴量抽出装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、瞳孔の大きさに関する特徴量を抽出する技術に関する。
【背景技術】
【0002】
瞳孔は、人が見ている領域の輝度や心理状態に応じて大きさが変化することが知られている。この瞳孔の大きさの変化を用いることにより、例えば、音の顕著度合いを推定することができる(参考特許文献1)。
(参考特許文献1:特開2015−132783号公報)
【0003】
参考特許文献1で用いた瞳孔の大きさの変化の推定には、例えば、眼球運動計測器と呼ばれる専用の装置(非特許文献1)を用いることができる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】tobii pro, [online], [平成30年6月6日検索], インターネット<URL:https://www.tobiipro.com/ja/?gclid=EAIaIQobChMI9dzRgfq92wIVlYePCh2l1ge6EAAYASAAEgLqy_D_BwE>
【発明の概要】
【発明が解決しようとする課題】
【0005】
一般的な眼球運動計測器では、カメラで撮像した画像を用いて瞳孔径を計測する。この方法ではカメラと眼球の位置関係によって瞳孔の形状が歪んで捉えられるため、瞳孔径が見かけ上変化したように計測されてしまう。そのため、例えば、サッカード中の瞳孔径や視線位置が異なるときの瞳孔径については正確に計測することができないことがある。つまり、カメラと眼球の位置関係が時間的に変化してしまう場合、瞳孔の大きさの変化を正しく推定することができないという問題がある。
【0006】
そこで本発明では、カメラと眼球の位置関係の影響を受けにくい瞳孔の大きさに関する特徴量を抽出する技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様は、対象者の眼球を撮影した画像から、前記対象者の瞳孔の大きさを表す瞳孔情報を取得する瞳孔情報取得部と、前記画像から、前記対象者の虹彩の大きさを表す虹彩情報を取得する虹彩情報取得部と、前記瞳孔情報と前記虹彩情報の比を瞳孔特徴量として計算する瞳孔特徴量計算部とを含む。
【発明の効果】
【0008】
本発明によれば、カメラと眼球の位置関係に影響されることがない、瞳孔の大きさを示す特徴量を抽出することが可能となる。
【図面の簡単な説明】
【0009】
図1】実験の様子を示す図。
図2】実験結果を示す図。
図3】実験結果を示す図。
図4】瞳孔特徴量抽出装置100の構成の一例を示すブロック図。
図5】瞳孔特徴量抽出装置100の動作の一例を示すフローチャート。
図6】エッジ抽出アルゴリズムを説明する図。
図7】瞳孔の大きさの変化を表す図。
図8】音顕著度推定装置200の構成の一例を示すブロック図。
図9】音顕著度推定装置200の動作の一例を示すフローチャート。
図10】速度が最大となる時刻Taと立ち上がり時間Tpとを説明するための図。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【0011】
<技術的背景>
瞳孔の大きさは様々な要因により変化する。例えば、視覚入力の明るさによる変化(対光反射)や、タスクへの集中度、情動の状態のような内的要因による変化がある。また、先述の通り、カメラと眼球の位置関係のような幾何的要因によっても瞳孔の大きさは見かけ上変化する。
【0012】
これに対して、虹彩の大きさは視覚入力の明るさや内的要因によって変化しないと考えられる一方で、カメラと眼球の位置関係のような幾何的要因については、瞳孔と同様、虹彩もその大きさが見かけ上変化するものと考えられる。
【0013】
そこで、瞳孔の大きさと虹彩の大きさの比を瞳孔の大きさに関する特徴量として用いることにすれば、カメラと眼球の位置関係が時間的に変化するような場合であっても、カメラと眼球の位置関係による見かけ上の変化の影響を排除した、本来の瞳孔の大きさの変化(対光反射や内的要因による変化)を正確に推定することが可能になると考えられる。
【0014】
以下、“瞳孔の大きさと虹彩の大きさの比は、カメラと眼球の位置関係が変化しても、その影響を受けにくい”という仮説を確かめることを目的とする実験について説明する。
【0015】
[実験]
被験者の前に置かれたディスプレイに視覚的合図となる注視点の画像を表示し、一定時間後に注視点の位置が左または右に移動するので、それを追従するように眼を動かすよう被験者に指示しておく。
【0016】
注視点の画像を初期位置(中央)に一定時間表示し、注視点の画像を一定時間消去した後、注視点の位置を左または右のいずれかへ移動させた画像を表示する(図1参照)。ここで、初期位置に注視点の画像を表示している時間区間を“第1呈示区間”、注視点の画像を消去している時間区間を“無呈示区間”、移動後の注視点の画像を表示している時間区間を“第2呈示区間”と呼ぶこととする。第1呈示区間と第2呈示区間での被験者の眼の動きをカメラで撮影し、大きさの変化を計測する。撮影には2台のカメラを使用する。右目を計測するためのカメラをディスプレイの右側に、左目を計測するためのカメラをディスプレイの左側に設置する。
【0017】
なお、注視点の画像は-13°〜13°の範囲で左右に移動させる。注視点の方向へ眼を動かすことで、カメラと眼(瞳孔や虹彩)の位置関係が変わる。つまり、注視点ごとの瞳孔や虹彩の大きさを比較することで、幾何的要因による大きさの変化の影響をどの程度受けるかをみることができるのである。
【0018】
[実験結果]
図2及び図3は、実験結果を示す図である。まず、図2について説明する。図2(A)は、右目の瞳孔の大きさの変化を示す比、図2(B)は、左目の瞳孔の大きさの変化を示す比を示している。これらの比は、第2呈示区間の直前の値に対する比を表している。図2(A)と図2(B)を比べると、注視点の画像が移動する方向に対して、右目の瞳孔の大きさの変化を示す比と左目の瞳孔の大きさの変化を示す比が反対の関係にあることが分かる。つまり、注視点の画像が右方向に移動する場合、右目の瞳孔の大きさの変化を示す比が大きくなる一方で、左目の瞳孔の大きさの変化を示す比は小さくなる。また、注視点の画像が左方向に移動する場合、右目の瞳孔の大きさの変化を示す比が小さくなる一方で、左目の瞳孔の大きさの変化を示す比は大きくなる。これは視線の向きとカメラの向きが平行に近づくほどカメラで撮像された瞳孔の大きさが見かけ上大きくなり、カメラ正面から視線が離れるほど見かけ上小さくなることを意味している(例えば、右目を計測するカメラはディスプレイの右側に設置しているため、注視点画像が13°の位置に呈示されたとき視線とカメラの角度は最も平行に近くなる)。ちなみに、経過時間がゼロの付近で比の値が1になっているのは、眼を移動させる前にディスプレイの中央を見ていることに対応している。
【0019】
次に、図3について説明する。図3は、虹彩の大きさに対する瞳孔の大きさの比(瞳孔の大きさ/虹彩の大きさ)の時間変化を示す図である。図3からわかるように、虹彩の大きさに対する瞳孔の大きさの比(zスコア)の視線位置による違いはなくなる。これは、虹彩の大きさの見かけ上の変化と瞳孔の大きさの見かけ上の変化が比をとることにより相殺するためと考えられる。したがって、当該比を用いることにより、視線位置によらず瞳孔の大きさの変化を評価できるようになる。
【0020】
<第1実施形態>
以下、図4図5を参照して、瞳孔特徴量抽出装置100を説明する。図4は、瞳孔特徴量抽出装置100の構成を示すブロック図である。図5は、瞳孔特徴量抽出装置100の動作を示すフローチャートである。図4に示すように瞳孔特徴量抽出装置100は、画像取得部110と、瞳孔情報取得部120と、虹彩情報取得部130と、瞳孔特徴量計算部140と、記録部190を含む。記録部190は、瞳孔特徴量抽出装置100の処理に必要な情報を適宜記録する構成部である。
【0021】
図5に従い瞳孔特徴量抽出装置100の動作について説明する。
【0022】
[画像取得部110]
S110において、画像取得部110は、対象者の眼球を撮影した画像を取得し、出力する。画像撮影に用いるカメラとして、例えば、赤外線カメラを用いることができる。なお、カメラは、左右両方の眼球を撮影するように設定してもよいし、いずれか一方の眼球のみを撮影するように設定してもよい。以下では、一方の眼球のみを撮影するように設定しているものとする。
【0023】
[瞳孔情報取得部120]
S120において、瞳孔情報取得部120は、S110で取得した画像を入力とし、当該画像から対象者の瞳孔の大きさを表す瞳孔情報を取得し、出力する。瞳孔情報として瞳孔径(瞳孔の半径)を用いる場合、対象者の眼球を撮影した画像における瞳孔領域(瞳孔に対応する領域)にフィッティングした円の半径を用いればよい。なお、瞳孔径の他、瞳孔の面積や瞳孔の直径など、瞳孔の大きさを表す値であればどのような値であっても瞳孔情報として用いることができる。
【0024】
[虹彩情報取得部130]
S130において、虹彩情報取得部130は、S110で取得した画像を入力とし、当該画像から対象者の虹彩の大きさを表す虹彩情報を取得し、出力する。虹彩情報の取得方法は、S120における瞳孔情報の取得方法と同様でよい(ただし、瞳孔の場合と比較して、瞼などの影響により虹彩に対して円フィッティングを行うのは難しい。そのため、別の方法が望ましい場合も考えられる(後述する変形例参照))。したがって、虹彩径(虹彩の半径)、虹彩の面積、虹彩の直径など、虹彩の大きさを表す値であればどのような値であっても虹彩情報として用いることができる。
【0025】
[瞳孔特徴量計算部140]
S140において、瞳孔特徴量計算部140は、S120で取得した瞳孔情報とS130で取得した虹彩情報を入力とし、当該瞳孔情報と当該虹彩情報から瞳孔情報と虹彩情報の比(瞳孔情報/虹彩情報)を瞳孔特徴量として計算し、出力する。ここで、瞳孔情報の取得方法と虹彩情報の取得方法には同じ方法を用いるのが好ましい。例えば、瞳孔情報として瞳孔径を用いる場合は、虹彩情報として虹彩径を用いるようにする。
【0026】
なお、左右両方の眼球を撮影した画像を用いる場合は、S120〜S140までの処理を各眼球に対して実行するようにすればよい。
【0027】
本実施形態の発明によれば、カメラと眼球の位置関係に影響されることがない、瞳孔の大きさを示す特徴量を抽出することが可能となる。
【0028】
<変形例>
画像における瞳孔領域や虹彩領域の外縁上の点(エッジ)を用いることにより、瞳孔や虹彩の大きさを取得することもできる。以下、画像における瞳孔領域や虹彩領域のエッジを抽出するためのアルゴリズム(エッジ抽出アルゴリズム)について、説明する(図6参照)。
【0029】
(エッジ抽出アルゴリズム)
ステップ1:対象者の眼球を撮影した画像を変換して得られる二値画像において、その強度が所定の閾値より小さい又は以下である領域を瞳孔領域または虹彩領域として抽出する。なお、所定の閾値は、対象者ごとに定まる値であり、瞳孔領域を抽出する場合と虹彩領域を抽出する場合とでは異なる値となる。
ステップ2:瞳孔領域または虹彩領域の中心を通る線(図6(A)における水平方向の線)上のピクセルのグレイ値を計算する。具体的には、瞳孔領域または虹彩領域の中心を挟む上下の2行の平均値を上記中心を通る線上のピクセルのグレイ値として計算する。
ステップ3:グレイ値の1次微分のピークを抽出する。なお、上記中心を通る線上を左からピークを探索すると、左側のエッジは1次微分のピークが正になり、右側のエッジは1次微分のピークが負になる。これは、左側のエッジ付近では明るい所から暗い所へ、右側のエッジ付近では暗い所から明るい所へ探索が進むためである。この情報を用いることにより、ピークの誤検出を低減することができる。
ステップ4:ステップ3で抽出したピークの近くにある、グレイ値の2次微分のゼロクロスポイント(図6(B)における丸印)をエッジとして抽出する。図6(B)の例では、235.8863という値がエッジのピクセル値として抽出されている。このように2次微分のゼロクロスポイントを用いれば、サブピクセルレベルでエッジを推定することが可能となる。
【0030】
瞳孔領域/虹彩領域に対してそれぞれ2つのエッジを求めるように、ステップ1〜4の手続きを実行する。したがって、上記手続きを4回実行することになる。
【0031】
最後に、瞳孔領域に対する2つのエッジ、虹彩領域に対する2つのエッジを用いて、それぞれ瞳孔情報、虹彩情報を計算すればよい。例えば、瞳孔領域に対する2つのエッジのピクセルの値の差を採ることにより瞳孔の直径を求めることができる。
【0032】
したがって、瞳孔情報取得部120は、S110で取得した画像を入力とし、当該画像における瞳孔領域の外縁上の2つの点を用いて、対象者の瞳孔の大きさを表す瞳孔情報を取得し、出力する。同様に、虹彩情報取得部130は、S110で取得した画像を入力とし、当該画像における虹彩領域の外縁上の2つの点を用いて、対象者の虹彩の大きさを表す虹彩情報を取得し、出力する。
【0033】
<第2実施形態>
本実施形態では、瞳孔の大きさの変化に基づいて、音の目立ち度合いを推定する。その際、瞳孔の大きさの変化を第1実施形態の瞳孔特徴量に基づいて抽出する。
【0034】
なお、以下では、音の目立ち度合いのことを音の顕著度ともいう。また、「顕著度の高い音」としては、注意深く聴いているときに目立つ音だけでなく、注意せずに不意に聞こえて目立つ音も含む。
【0035】
まず、瞳孔の大きさの変化について説明する。人がある一点を注視しているとき、瞳孔の大きさは一定ではなく、変化している。図7は瞳孔の大きさの変化を表す図であり、横軸は時間(秒)を、縦軸は瞳孔の大きさ(zスコア)を表す。
【0036】
瞳孔の大きさは、交感神経系の支配を受けた瞳孔散大筋によって拡大(散瞳)し、副交感神経系の支配を受けた瞳孔括約筋によって収縮(縮瞳)する。図7では、破線部分は縮瞳を表し、二重線部分は散瞳を表す。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の3つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動(輻輳運動)に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。
【0037】
目立つ音の知覚に際しても、驚きに近い感覚によって交感神経が優位となり、散瞳が生じやすいものと考えられる。そのため、縮瞳よりも散瞳に関する特徴のほうが、音の目立ち度合いの推定に適しているので、本実施形態では、瞳孔の大きさの変化のうち、散瞳に関する特徴に基づいて、顕著音を推定する。
【0038】
以下、図8図9を参照して、音顕著度推定装置200を説明する。図8は、音顕著度推定装置200の構成を示すブロック図である。図9は、音顕著度推定装置200の動作を示すフローチャートである。図8に示すように音顕著度推定装置200は、音呈示部210と、瞳孔情報取得部220と、虹彩情報取得部230と、瞳孔特徴量計算部240と、瞳孔変化特徴量抽出部250と、顕著度推定部260と、記録部190を含む。記録部190は、音顕著度推定装置200の処理に必要な情報を適宜記録する構成部である。
【0039】
図9に従い音顕著度推定装置200の動作について説明する。
【0040】
[音呈示部210]
S210において、音呈示部210は、第1時間区間においては、所定の音(推定対象の音であり、以下、対象音ともいう)を受聴可能なように対象者に呈示し、第1時間区間と異なる第2時間区間においては、上記所定の音が受聴可能でないものとする。例えば、第1時間区間においては、ヘッドホンやスピーカなどにより、受聴可能な音量で所定の音を呈示する。ただし、所定の音の呈示時間が短い場合(〜数十ms程度など)、第1時間区間の中に散瞳を含むように、所定の音が呈示された直後の時間帯についても、所定の音以外の音を呈示していないという条件を満たす限り、数秒程度までであれば第1時間区間の定義として含めてもよい。第2時間区間においては、所定の音と異なる音を受聴可能なように対象者に呈示してもよいし、何も音を呈示しなくてもよい。あるいは、所定の音を出力していても、音量が極めて小さいなど、対象者にとって受聴可能な状態でなければよい。ただし、第2時間区間は第1時間区間とは重複しないように設定され、第1時間区間と同じ長さの時間帯として設定される。
【0041】
[瞳孔情報取得部220]
S220において、瞳孔情報取得部220は、第1時間区間および第2時間区間のそれぞれに対応する、対象者の瞳孔の大きさを表す瞳孔情報の時系列(以下、第1の瞳孔情報の時系列、第2の瞳孔情報の時系列という)を取得し、出力する。例えば、瞳孔の大きさとして、瞳孔径(瞳孔の半径)を用いる場合には、瞳孔径は、赤外線カメラを用いた画像処理法で計測される。第1時間区間および第2時間区間において、対象者には、ある1点を注視してもらうようにし、そのときの瞳孔を赤外線カメラを用いて撮像する。そして、撮像した結果を画像処理することで、時間毎(例えば、1000Hz)の瞳孔径の時系列を取得する。なお、左右両方の瞳孔の大きさを取得してもよいし、いずれか一方の瞳孔の大きさのみを取得してもよい。本実施形態では、一方の瞳孔の大きさのみを取得するものとする。例えば、撮影した画像に対して、瞳孔にフィッティングした円の半径を用いる。また、瞳孔径は微細に変動するため、所定の時間区間ごとにスムージング(平滑化)した値を用いてもよい。ここで、図7における瞳孔の大きさは、各時刻について取得した瞳孔径の全データの平均を0、標準偏差を1としたときのzスコアを用いて表したものであり、約150ms間隔でスムージングしたものである。ただし、瞳孔情報取得部220で取得する瞳孔径はzスコアでなくとも、瞳孔径の値そのものであってもよいし、瞳孔の面積や直径など、瞳孔の大きさに対応する値であれば何でもよい。瞳孔の面積や直径を用いる場合も、時間の経過とともに瞳孔の面積または直径が大きくなる区間が散瞳に対応し、時間の経過とともに瞳孔の面積または直径が小さくなる区間が縮瞳に対応する。すなわち、時間の経過とともに瞳孔の大きさが大きくなる区間が散瞳に対応し、時間の経過とともに瞳孔の大きさが小さくなる区間が縮瞳に対応する。
【0042】
なお、一般に、対光反射に伴う瞳孔の大きさの変化量は、感情による変化量と比較して数倍程度の大きさとなり、瞳孔の大きさの変化量全体に対する大きな要因となる。対光反射および輻輳反射による変化を抑え、目立つ音の知覚に関する成分のみに着目しやすくするために、瞳孔径を取得するときの対象者に呈示する画面の輝度および画面から対象者までの距離は一定に保つものとする。
【0043】
[虹彩情報取得部230]
S230において、虹彩情報取得部230は、第1時間区間および第2時間区間のそれぞれに対応する、対象者の虹彩の大きさを表す虹彩情報の時系列(以下、第1の虹彩情報の時系列、第2の虹彩情報の時系列という)を取得し、出力する。虹彩の大きさを取得する方法は、S220における瞳孔の大きさの取得方法と同様でよい。したがって、虹彩の大きさは虹彩径のzスコア、虹彩径の値そのもの、虹彩の面積、虹彩の直径など、虹彩の大きさに対応する値であれば何を用いてもよい。
【0044】
[瞳孔特徴量計算部240]
S240において、瞳孔特徴量計算部240は、S220で取得した第1の瞳孔情報の時系列、第2の瞳孔情報の時系列とS230で取得した第1の虹彩情報の時系列、第2の虹彩情報の時系列を入力とし、第1の瞳孔情報の時系列と第1の虹彩情報の時系列に含まれる瞳孔情報と虹彩情報、第2の瞳孔情報の時系列と第2の虹彩情報の時系列に含まれる瞳孔情報と虹彩情報から、瞳孔情報と虹彩情報の比(瞳孔情報/虹彩情報)を瞳孔特徴量として計算し、第1時間区間および第2時間区間のそれぞれに対応する瞳孔特徴量の時系列(以下、第1の瞳孔特徴量の時系列、第2の瞳孔特徴量の時系列という)を生成し、出力する。なお、瞳孔特徴量計算部140と同様、瞳孔情報の取得方法と虹彩情報の取得方法には同じ方法を用いるのが好ましい。
【0045】
[瞳孔変化特徴量抽出部250]
S250において、瞳孔変化特徴量抽出部250は、S240で生成した第1の瞳孔特徴量の時系列、第2の瞳孔特徴量の時系列を入力とし、第1の瞳孔特徴量の時系列、第2の瞳孔特徴量の時系列から、第1時間区間および第2時間区間のそれぞれに対応する対象者の瞳孔の大きさの変化を表す特徴量(以下、第1瞳孔変化特徴量、第2瞳孔変化特徴量という)を抽出し、出力する。
【0046】
瞳孔の大きさの変化を表す特徴量(瞳孔変化特徴量)は、顕著度推定するための指標ともいえる。言い換えれば、瞳孔特徴量の時系列(瞳孔の大きさを示す特徴量の時系列)のうち、散瞳が起きている区間における瞳孔の大きさの変化を表す特徴量であり、具体的には、散瞳の平均速度V、散瞳の振幅A、散瞳が起きているときの瞳孔径の時系列を位置制御系のステップ応答としてモデル化したときの減衰係数ζの少なくともいずれか1つ以上を含む特徴量である。振幅Aは、極大点から極小点までの瞳孔径の差である(図7参照)。散瞳の平均速度Vは、(振幅A)/(立ち上がり時間Tp)である。立ち上がり時間Tpは極大点から極小点までの時間である(図7参照)。例えば、瞳孔変化特徴量抽出部250は、瞳孔特徴量の時系列から極大点及び極小点を検出し、それを用いて、振幅A、平均速度V、立ち上がり時間Tpを算出する。このとき、振幅が一定の値以上のもののみを算出する構成としてもよい。
【0047】
なお、縮瞳及び散瞳は、サーボ系としての特徴を示し、面積制御系(三次遅れ系)のステップ応答として記述でき、本実施形態では位置制御系(二次遅れ系)のステップ応答として近似して考える。位置制御系のステップ応答は、固有角振動数をωとして、
【0048】
【数1】
【0049】
と表される。ここでG(s)は伝達係数、y(t)は位置、y'(t)は速度を表す。減衰係数ζの導出には、速度が最大となる時刻Taと立ち上がり時間Tpとの比を用いて(図10参照)、
【0050】
【数2】
【0051】
となることを利用する。そして、減衰係数ζ及び固有角振動数ωは、それぞれ
【0052】
【数3】
【0053】
と表される。ただし、tは時刻を表すインデックスであり、sはラプラス変換によるパラメタ(複素数)である。固有角振動数ωは瞳孔の大きさの変化における応答の速さを表す指標に相当し、減衰係数ζは、瞳孔の大きさの変化における応答の振動性に対応する指標に相当する。
【0054】
なお、第1時間区間において、複数回の散瞳が含まれる場合には、それぞれの散瞳について求めた平均速度V、振幅Aまたは減衰係数ζの代表値を第1時間区間に対応する散瞳の特徴として用いる。代表値とは、例えば平均値、最大値、最小値、最初の散瞳に対応する値などである。特に平均値を用いることが好ましい。また、第1時間区間の中に1回も散瞳が含まれない場合は、第1時間区間の直後の散瞳(第1時間区間よりも時間的に後ろで、かつ、最も第1時間区間に近い時刻に生じる散瞳)について求めた平均速度V、振幅Aまたは減衰係数ζの代表値を第1時間区間に対応する散瞳の特徴として用いる。つまり、第1時間区間に対応する瞳孔の大きさに関する情報は、少なくとも1回散瞳を含むように取得されているものとする。第2時間区間についても同様のことが言える。
【0055】
[顕著度推定部260]
S260において、顕著度推定部260は、S250で抽出した第1瞳孔変化特徴量と、第2瞳孔変化特徴量との相違の度合いに基づいて、所定の音(対象音)の目立ち度合い(顕著度)を推定する。
【0056】
具体的には、特徴量が散瞳の平均速度V及び散瞳の振幅Aである場合には、第1瞳孔変化特徴量が第2瞳孔変化特徴量よりも大きく、かつ、その差が大きいほど、顕著度が高いと推定する。
【0057】
あるいは、特徴量が散瞳の減衰係数ζである場合には、第1瞳孔変化特徴量が第2瞳孔変化特徴量よりも小さく、かつ、その差が大きいほど、顕著度が高いと推定する。
【0058】
これは、減衰係数ζや散瞳の平均速度V、振幅Aと対象音の顕著度との間に、以下のような相関関係があることが、実験により明らかになったことに基づく。
(1)散瞳の平均速度Vが増加するほど、顕著度が大きい。
(2)散瞳の振幅Aが増加するほど、顕著度が大きい。
(3)散瞳の減衰係数ζが減少するほど、顕著度が大きい。
【0059】
なお、平均速度V、振幅A、減衰係数ζのいずれか1つを単独で用いてもよいし、組み合わせて用いてもよい。例えば、いずれか二つを満たせばよい、三つすべてを満たせばよい、等と設定してもよい。すなわち、第1時間区間と第2時間区間についての、平均速度V、振幅A、減衰係数ζのいずれか1つ以上の特徴量の各々についての相違の度合いに基づき、対象音の目立ち度合いを推定してもよい。
【0060】
散瞳の平均速度Vや振幅Aは交感神経の活動強度を反映するため、音の顕著度との相関がみられるものと考えられる。減衰係数ζは、散瞳を位置制御系(二次遅れ系)のステップ応答としてみたときの応答の振動性に対応する指標である。顕著度の高い音(顕著音)を聴いたときは、音に意識が向けられることで、瞳孔の制御に関わる脳の中枢あるいは瞳孔散大筋(または瞳孔括約筋)にも一時的な影響があらわれ、応答の振動性(減衰係数)の変化として観測できると考えられる。
【0061】
この知見、つまり(1)〜(3)の相関関係に基づき、顕著度推定部260は、所定の音が受聴可能なように呈示されている第1時間区間における瞳孔の大きさの変化の特徴量である第1瞳孔変化特徴量と、所定の音が受聴可能でない第2時間区間における瞳孔の大きさの変化の特徴である第2瞳孔変化特徴量との相違の度合いに基づいて、所定の音の顕著度を推定する。
【0062】
具体的には、特徴量が散瞳の減衰係数ζである場合には、第1瞳孔変化特徴量の方が第2瞳孔変化特徴量よりも小さい場合に、音の顕著度が高いと推定する。また、第1瞳孔変化特徴量と第2瞳孔変化特徴量の差の絶対値が大きいほど、音の顕著度合いが高いと推定する。第2時間区間において所定の音(第1時間区間の音)とは異なる音が呈示されているとすれば、第1瞳孔変化特徴量と第2瞳孔変化特徴量のうち小さい方の特徴量に対応する時間区間に呈示されている音の方が顕著度が高いと推定されることになる。
【0063】
特徴量が散瞳の平均速度Vまたは振幅Aである場合には、第1瞳孔変化特徴量の方が第2瞳孔変化特徴量よりも大きい場合に、音の顕著度が高いと推定する。また、第1瞳孔変化特徴量と第2瞳孔変化特徴量の差の絶対値が大きいほど、音の顕著度合いが高いと推定する。第2時間区間において所定の音(第1時間区間の音)とは異なる音が呈示されているとすれば、第1瞳孔変化特徴量と第2瞳孔変化特徴量のうち大きい方の特徴量に対応する時間区間に呈示されている音の方が顕著度が高いと推定されることになる。
【0064】
本実施形態の発明によれば、瞳孔の大きさの変化に基づいて、対象者にとっての所定の音の目立ち度合いを推定することが可能となる。その際、瞳孔情報と虹彩情報の比である瞳孔特徴量を用いることにより、カメラと眼球の位置関係に影響されることなく、瞳孔の大きさの変化を正確に推定することが可能となる。
【0065】
<補記>
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD−ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【0066】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている(外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくこととしてもよい)。また、これらのプログラムの処理によって得られるデータなどは、RAMや外部記憶装置などに適宜に記憶される。
【0067】
ハードウェアエンティティでは、外部記憶装置(あるいはROMなど)に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にCPUで解釈実行・処理される。その結果、CPUが所定の機能(上記、…部、…手段などと表した各構成要件)を実現する。
【0068】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【0069】
既述のように、上記実施形態において説明したハードウェアエンティティ(本発明の装置)における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【0070】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD−RAM(Random Access Memory)、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto-Optical disc)等を、半導体メモリとしてEEP−ROM(Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。
【0071】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0072】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
【0073】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10