知財求人 - 知財ポータルサイト「IP Force」
特許7386438生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-16
(45)【発行日】2023-11-27
(54)【発明の名称】生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
(51)【国際特許分類】
A61B 5/026 20060101AFI20231117BHJP
G01N 21/49 20060101ALI20231117BHJP
A61B 5/16 20060101ALI20231117BHJP
A61B 3/113 20060101ALI20231117BHJP
【ＦＩ】
A61B5/026 120
G01N21/49 Z
A61B5/16 200
A61B5/16 100
A61B3/113 ZDM
【請求項の数】
14
(21)【出願番号】P 2019182724
(22)【出願日】2019-10-03
(65)【公開番号】P2020099670
(43)【公開日】2020-07-02
【審査請求日】2022-09-20
(31)【優先権主張番号】P 2018238349
(32)【優先日】2018-12-20
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100180529
【弁理士】
【氏名又は名称】梶谷 美道
(74)【代理人】
【識別番号】100125922
【弁理士】
【氏名又は名称】三宅 章子
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100184985
【弁理士】
【氏名又は名称】田中 悠
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(74)【代理人】
【識別番号】100218981
【弁理士】
【氏名又は名称】武田 寛之
(72)【発明者】
【氏名】大野 優美子
(72)【発明者】
【氏名】鳴海 建治
(72)【発明者】
【氏名】是永 継博
(72)【発明者】
【氏名】村岡 仁
(72)【発明者】
【氏名】有本 聡
(72)【発明者】
【氏名】安藤 貴真
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開２０１８－０９６９８８（ＪＰ，Ａ）
【文献】特開２０１２－２３４４０５（ＪＰ，Ａ）
【文献】特開２０１３－２５８５５５（ＪＰ，Ａ）
【文献】国際公開第２０１２／１５０６５７（ＷＯ，Ａ１）
【文献】国際公開第２０１４／０５４２９３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００ －５／０３
Ａ６１Ｂ ５／１４５－５／２２
Ａ６１Ｂ １０／００
(57)【特許請求の範囲】
【請求項1】
対象者の頭部を含む対象部に照射される光パルスを繰り返し出射する光源と、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受け、前記対象者の顔の外観を示す第１の画像データ、および前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力するイメージセンサと、
信号処理回路と、
を備え、
前記信号処理回路は、
前記第１の画像データの経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも１つを示す外観情報の経時変化を検出し、
前記外観情報の前記経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力する、
生体計測装置。
【請求項2】
前記イメージセンサは、前記反射光パルスの強度が減少を開始してから減少が終了するまでの期間である立ち下がり期間の開始後であって、前記立ち下がり期間の少なくとも一部を含む期間における前記反射光パルスの成分を検出することによって前記第２の画像データを生成する、請求項１に記載の生体計測装置。
【請求項3】
前記イメージセンサは、前記反射光パルスの前記立ち下がり期間の開始前の少なくとも一部の期間を含む期間における前記反射光パルスの成分を検出することによって前記第１の画像データを生成する、請求項２に記載の生体計測装置。
【請求項4】
前記第１の画像データの解像度と前記第２の画像データの解像度とが異なる、請求項１から３のいずれかに記載の生体計測装置。
【請求項5】
前記第１の画像データの解像度は、前記第２の画像データの解像度よりも高い、請求項１から４のいずれかに記載の生体計測装置。
【請求項6】
前記信号処理回路は、前記第１の画像データが示す画像の少なくとも一部の解像度、および前記第２の画像データが示す画像の少なくとも一部の解像度からなる群から選択される少なくとも１つを変化させる処理をさらに行い、前記信号処理回路は、前記処理を行った後の前記第１の画像データの前記経時変化および前記第２の画像データの前記経時変化に基づき、前記対象者の状態を示す前記データを生成する、
請求項１から３のいずれかに記載の生体計測装置。
【請求項7】
前記イメージセンサは前記第１の画像データを第１のフレームレートで出力し、前記イメージセンサは前記第２の画像データを第２のフレームレートで出力し、
前記第１のフレームレートと前記第２のフレームレートとが異なる、
請求項１から６のいずれかに記載の生体計測装置。
【請求項8】
前記イメージセンサは前記第１の画像データを第１のフレームレートで出力し、前記イメージセンサは前記第２の画像データを第２のフレームレートで出力し、
前記第１のフレームレートは、前記第２のフレームレートよりも高い、
請求項１から７のいずれかに記載の生体計測装置。
【請求項9】
前記イメージセンサは、２次元に配列された複数の光検出セルを含み、前記複数の光検出セルの各々は、光電変換素子と、第１の電荷蓄積部と、第２の電荷蓄積部とを含み、
前記第１の電荷蓄積部は、前記第１の画像データの元となる第１の電荷を蓄積し、
前記第２の電荷蓄積部は、前記第２の画像データの元となる第２の電荷を蓄積する、
請求項１から８のいずれかに記載の生体計測装置。
【請求項10】
前記対象者に刺激が与えられている状態で、前記光源は前記光パルスを出射し、前記イメージセンサは前記第１の画像データおよび前記第２の画像データを生成し、前記対象者の状態を示す前記データは、前記対象者の前記刺激に対する興味、前記対象者の快感、前記対象者の眠気、および前記対象者の集中からなる群から選択される少なくとも１つの状態を示す、
請求項１から９のいずれかに記載の生体計測装置。
【請求項11】
前記信号処理回路は、前記対象者の状態を示す前記データを、情報機器を介して前記対象者に提示する、請求項１から１０のいずれかに記載の生体計測装置。
【請求項12】
光源に、対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第１の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させることと、
前記第１の画像データの経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも１つを示す外観情報の経時変化を検出することと、
前記外観情報の前記経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
を含む、
生体計測方法。
【請求項13】
対象者の状態を計測するためのプログラムを格納したコンピュータ読み取り可能な記録媒体であって、前記プログラムが前記コンピュータに実行されるときに、
光源に、前記対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第１の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させることと、
前記第１の画像データの経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも１つを示す外観情報の経時変化を検出することと、
前記外観情報の前記経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
が実行される、
コンピュータ読み取り可能な記録媒体。
【請求項14】
光源に、対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第１の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させることと、
前記第１の画像データの経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも１つを示す外観情報の経時変化を検出することと、
前記外観情報の前記経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラムに関する。
【背景技術】
【0002】
対象者の脳活動に起因する生体信号を計測する種々の方法が知られている。
【0003】
例えば特許文献１は、視覚刺激を消費者に提示しながら、消費者から視線データと、眼球とは無関係のバイオメトリックデータとを非束縛方式で取得し、それらのデータに基づいて、消費者の反応を評価する技術を開示している。
【0004】
特許文献２は、対象物に接触しない状態で、対象者の脳血流の経時変化を示す情報を取得する撮像装置の例を開示している。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第２００８／０３０５４２号
【文献】特開２０１７－００９５８４号公報
【非特許文献】
【0006】
【文献】ASHIT TALUKDER et al., "A Real-time Non-Intrusive Eyetracking and Gaze-point Determination for Human-Computer Interaction and Biomedicine", SPIE Defense and Security Symposium, Optical Patter Recognition XV, Orlando, FL, April 12-16, 2004
【文献】Hirokazu Doi et al., "NIRS as a tool for assaying emotional function in the prefrontal cortex", Front Hum Neurosci. 2013
【文献】Suda M et al., "Decreased cortical reactivity underlies subjective daytime light sleepiness in healthy subjects: a multichannel near-infrared spectroscopy study", Neurosci Res. 60: 319-326, 2008
【文献】Suda M et al., "Subjective feeling of psychological fatigue is related to decreased reactivity in ventrolateral prefrontal cortex", Brain Res. 1252 152-160, 2009
【文献】Mototaka Yoshioka et al., "Brain signal pattern of engrossed subjects using near infrared spectroscopy (NIRS) and its application to TV commercial evaluation", IJCNN 2012: 1-6
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示は、対象者の顔の外観を示す情報と、脳血流の状態を示す情報とを、単一の装置を用いて非接触で取得し、それらの情報に基づいて対象者の状態を推定するための技術を提供する。
【課題を解決するための手段】
【0008】
本開示の一態様に係る生体計測装置は、対象者の頭部を含む対象部に照射される光パルスを出射する光源と、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受け、前記対象者の顔の外観を示す第１の画像データ、および前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力するイメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、信号処理回路とを備える。前記制御回路は、前記光源に、前記光パルスを繰り返し出射させ、前記イメージセンサに、前記第１の画像データを出力させ、前記イメージセンサに、前記第２の画像データを出力させる。前記信号処理回路は、前記第１の画像データの経時変化および前記第２の画像データの経時変化に基づき、前記被検者の状態を示すデータを生成して出力する。
【0009】
本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ‐Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
【発明の効果】
【0010】
本開示の技術によれば、対象者の顔の外観を示す情報と、脳血流の状態を示す情報とを、単一の装置を用いて非接触で取得し、それらの情報に基づいて対象者の状態を推定することが可能になる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
本開示は、以下の各項目に記載の生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラムを含む。
【0013】
［項目１］
第１の項目に係る生体計測装置は、対象者の頭部を含む対象部に照射される光パルスを出射する光源と、
前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受け、前記画像データ顔の外観を示す第１の画像データ、および前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力するイメージセンサと、
前記光源および前記イメージセンサを制御する制御回路と、
信号処理回路と、
を備える。
第１の項目に係る生体計測装置は、対象者の頭部を含む対象部に照射される光パルスを出射する光源と、
前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受け、前記画像データ顔の外観を示す第１の画像データ、および前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力するイメージセンサと、
前記光源および前記イメージセンサを制御する制御回路と、
信号処理回路と、
を備える。
【0014】
前記制御回路は、
前記光源に、前記光パルスを繰り返し出射させ、
前記イメージセンサに、前記第１の画像データを出力させ、
前記イメージセンサに、前記第２の画像データを出力させ、
前記信号処理回路は、前記第１の画像データの経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力する。
前記光源に、前記光パルスを繰り返し出射させ、
前記イメージセンサに、前記第１の画像データを出力させ、
前記イメージセンサに、前記第２の画像データを出力させ、
前記信号処理回路は、前記第１の画像データの経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力する。
【0015】
［項目２］
第１の項目に係る生体計測装置において、前記制御回路は、前記イメージセンサに、前記反射光パルスの強度が減少を開始してから減少が終了するまでの期間である立ち下がり期間の開始後であって、前記立ち下がり期間の少なくとも一部を含む期間における前記反射光パルスの成分を検出させることによって前記第２の画像データを生成させてもよい。
第１の項目に係る生体計測装置において、前記制御回路は、前記イメージセンサに、前記反射光パルスの強度が減少を開始してから減少が終了するまでの期間である立ち下がり期間の開始後であって、前記立ち下がり期間の少なくとも一部を含む期間における前記反射光パルスの成分を検出させることによって前記第２の画像データを生成させてもよい。
【0016】
［項目３］
第２の項目に係る生体計測装置において、前記制御回路は、前記イメージセンサに、前記反射光パルスの前記立ち下がり期間の開始前の少なくとも一部の期間を含む期間における前記反射光パルスの成分を検出させることによって前記第１の画像データを生成させてもよい。
第２の項目に係る生体計測装置において、前記制御回路は、前記イメージセンサに、前記反射光パルスの前記立ち下がり期間の開始前の少なくとも一部の期間を含む期間における前記反射光パルスの成分を検出させることによって前記第１の画像データを生成させてもよい。
【0017】
［項目４］
第１から第３の項目のいずれかに係る生体計測装置において、前記第１の画像データの解像度と前記第２の画像データの解像度とが異なっていてもよい。
第１から第３の項目のいずれかに係る生体計測装置において、前記第１の画像データの解像度と前記第２の画像データの解像度とが異なっていてもよい。
【0018】
［項目５］
第１から第４の項目のいずれかに係る生体計測装置において、前記第１の画像データの解像度は、前記第２の画像データの解像度よりも高くてもよい。
第１から第４の項目のいずれかに係る生体計測装置において、前記第１の画像データの解像度は、前記第２の画像データの解像度よりも高くてもよい。
【0019】
［項目６］
第１から第３の項目のいずれかに係る生体計測装置において、
前記信号処理回路は、前記第１の画像データが示す画像の少なくとも一部の解像度、および前記第２の画像データが示す画像の少なくとも一部の解像度からなる群から選択される少なくとも１つを変化させる処理をさらに行い、
前記信号処理回路は、前記処理を行った後の前記第１の画像データの前記経時変化および前記第２の画像データの前記経時変化に基づき、前記対象者の状態を示す前記データを生成してもよい。
第１から第３の項目のいずれかに係る生体計測装置において、
前記信号処理回路は、前記第１の画像データが示す画像の少なくとも一部の解像度、および前記第２の画像データが示す画像の少なくとも一部の解像度からなる群から選択される少なくとも１つを変化させる処理をさらに行い、
前記信号処理回路は、前記処理を行った後の前記第１の画像データの前記経時変化および前記第２の画像データの前記経時変化に基づき、前記対象者の状態を示す前記データを生成してもよい。
【0020】
［項目７］
第１から第６の項目のいずれかに係る生体計測装置において、
前記イメージセンサは前記第１の画像データを第１のフレームレートで出力し、
前記イメージセンサは前記第２の画像データを第２のフレームレートで出力し、
前記第１のフレームレートと前記第２のフレームレートとが異なっていてもよい。
第１から第６の項目のいずれかに係る生体計測装置において、
前記イメージセンサは前記第１の画像データを第１のフレームレートで出力し、
前記イメージセンサは前記第２の画像データを第２のフレームレートで出力し、
前記第１のフレームレートと前記第２のフレームレートとが異なっていてもよい。
【0021】
［項目８］
第１から第７の項目のいずれかに係る生体計測装置において、
前記イメージセンサは前記第１の画像データを第１のフレームレートで出力し、
前記イメージセンサは前記第２の画像データを第２のフレームレートで出力し、
前記第１のフレームレートは、前記第２のフレームレートよりも高くてもよい。
第１から第７の項目のいずれかに係る生体計測装置において、
前記イメージセンサは前記第１の画像データを第１のフレームレートで出力し、
前記イメージセンサは前記第２の画像データを第２のフレームレートで出力し、
前記第１のフレームレートは、前記第２のフレームレートよりも高くてもよい。
【0022】
［項目９］
第１から第８の項目のいずれかに係る生体計測装置において、
前記イメージセンサは、２次元に配列された複数の光検出セルを含み、
前記複数の光検出セルの各々は、光電変換素子と、第１の電荷蓄積部と、第２の電荷蓄積部とを含み、
前記制御回路は、
前記第１の電荷蓄積部に、前記第１の画像データの元となる第１の電荷を蓄積させ、
前記第２の電荷蓄積部に、前記第２の画像データの元となる第２の電荷を蓄積させてもよい。
第１から第８の項目のいずれかに係る生体計測装置において、
前記イメージセンサは、２次元に配列された複数の光検出セルを含み、
前記複数の光検出セルの各々は、光電変換素子と、第１の電荷蓄積部と、第２の電荷蓄積部とを含み、
前記制御回路は、
前記第１の電荷蓄積部に、前記第１の画像データの元となる第１の電荷を蓄積させ、
前記第２の電荷蓄積部に、前記第２の画像データの元となる第２の電荷を蓄積させてもよい。
【0023】
［項目１０］
第１から第９の項目のいずれかに係る生体計測装置において、
前記信号処理回路は、
前記第１の画像データの前記経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも１つを示す外観情報の経時変化を検出し、
前記外観情報の前記経時変化と、前記第２の画像データの前記経時変化とに基づいて、前記対象者の状態を示す前記データを生成してもよい。
第１から第９の項目のいずれかに係る生体計測装置において、
前記信号処理回路は、
前記第１の画像データの前記経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも１つを示す外観情報の経時変化を検出し、
前記外観情報の前記経時変化と、前記第２の画像データの前記経時変化とに基づいて、前記対象者の状態を示す前記データを生成してもよい。
【0024】
［項目１１］
第１から第１０の項目のいずれかに係る生体計測装置において、
前記制御回路は、前記対象者に刺激が与えられている状態で、前記光源に前記光パルスを出射させ、前記イメージセンサに前記第１の画像データおよび前記第２の画像データを生成させ、
前記対象者の状態を示す前記データは、前記対象者の前記刺激に対する興味、前記対象者の快感、前記対象者の眠気、および前記対象者の集中からなる群から選択される少なくとも１つの状態を示していてもよい。
第１から第１０の項目のいずれかに係る生体計測装置において、
前記制御回路は、前記対象者に刺激が与えられている状態で、前記光源に前記光パルスを出射させ、前記イメージセンサに前記第１の画像データおよび前記第２の画像データを生成させ、
前記対象者の状態を示す前記データは、前記対象者の前記刺激に対する興味、前記対象者の快感、前記対象者の眠気、および前記対象者の集中からなる群から選択される少なくとも１つの状態を示していてもよい。
【0025】
［項目１２］
第１から第１１の項目のいずれかに係る生体計測装置において、前記信号処理回路は、前記対象者の状態を示す前記データを、情報機器を介して前記対象者に提示してもよい。
第１から第１１の項目のいずれかに係る生体計測装置において、前記信号処理回路は、前記対象者の状態を示す前記データを、情報機器を介して前記対象者に提示してもよい。
【0026】
［項目１３］
第１３の項目に係る生体計測方法は、
光源に、対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第１の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させることと、
前記第１の画像データの経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
を含む。
第１３の項目に係る生体計測方法は、
光源に、対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第１の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させることと、
前記第１の画像データの経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
を含む。
【0027】
［項目１４］
第１４の項目に係るコンピュータ読み取り可能な記録媒体は、
対象者の状態を計測するためのプログラムを格納したコンピュータ読み取り可能な記録媒体であって、
前記プログラムが前記コンピュータに実行されるときに、
光源に、前記対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第１の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させることと、
前記第１の画像データの経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
が実行される。
第１４の項目に係るコンピュータ読み取り可能な記録媒体は、
対象者の状態を計測するためのプログラムを格納したコンピュータ読み取り可能な記録媒体であって、
前記プログラムが前記コンピュータに実行されるときに、
光源に、前記対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第１の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させることと、
前記第１の画像データの経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
が実行される。
【0028】
［項目１５］
第１５の項目に係るプログラムは、
光源に、対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第１の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させることと、
前記第１の画像データの経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
をコンピュータに実行させる。
第１５の項目に係るプログラムは、
光源に、対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第１の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させることと、
前記第１の画像データの経時変化および前記第２の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
をコンピュータに実行させる。
【0029】
以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、およびステップの順序は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号を付している。重複する説明は省略または簡略化されることがある。
【0030】
本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。
【0031】
さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、
ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
【0032】
まず、本開示の実施形態による生体計測装置の基本的な構成の例を説明する。
【0033】
【0034】
生体計測装置１００は、光源２０と、イメージセンサ３０と、制御回路６０と、信号処理回路７０とを備える。光源２０は、対象者の頭部を含む対象部に照射される光パルスを出射する。イメージセンサ３０は、対象部に光パルスが照射されることによって生じた反射光パルスを受け、画像データを出力する。制御回路６０は、光源２０およびイメージセンサ３０を制御する。信号処理回路７０は、イメージセンサ３０から出力された画像データを処理し、対象者の脳活動に関する信号を生成して出力する。制御回路６０および信号処理回路７０は、統合された１つの電気回路によって実現されていてもよい。
【0035】
制御回路６０は、以下の動作を実行する。
（１）光源２０に、光パルスを繰り返し出射させる。
（２）イメージセンサ３０に、対象者の顔の外観を示す第１の画像データを出力させる。
（３）イメージセンサ３０に、反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させる。
（１）光源２０に、光パルスを繰り返し出射させる。
（２）イメージセンサ３０に、対象者の顔の外観を示す第１の画像データを出力させる。
（３）イメージセンサ３０に、反射光パルスの一部の成分の光量分布に応じた第２の画像データを出力させる。
【0036】
信号処理回路７０は、第１の画像データの経時変化および第２の画像データの経時変化に基づき、対象者の状態を示すデータを生成して出力する。対象者の状態を示すデータは、後に詳しく説明するように、例えば、対象者の心理的または身体的な状態を反映する。当該データは、例えば、対象者に与えられている刺激に対する興味、快感、眠気、および集中度からなる群から選択される少なくとも１つの状態を示し得る。信号処理回路７０から出力された対象者の状態を示すデータは、例えば他の機器を制御するために利用され得る。
【0037】
上記の構成により、生体計測装置１００は、対象者の顔の外観を示す情報と、脳血流の状態を示す情報とを、単一の装置を用いて非接触で取得することができる。さらに、取得した情報に基づいて、対象者の心理的または身体的な状態を推定することができる。
【0038】
第１の画像データおよび第２の画像データは、例えば以下の方法によって生成され得る。
【0039】
第１の画像データは、例えば、反射光パルスの立ち下がり期間が開始する前の少なくとも一部の期間を含む期間における反射光パルスの成分に基づいて生成され得る。ここで「立ち下がり期間」とは、イメージセンサ３０の受光面の位置において、光パルスの強度が減少を開始してから減少が終了するまでの期間を意味する。制御回路６０は、イメージセンサ３０に、反射光パルスの立ち下がり期間の開始前の少なくとも一部の期間を含む期間における反射光パルスの成分を検出させることによって第１の画像データを生成させることができる。「反射光パルスの立ち下がり期間の開始前の少なくとも一部の期間を含む期間」は、反射光パルスがイメージセンサ３０に入射する期間の全体を含んでいてもよい。
【0040】
第１の画像データは、光源２０から出射された光パルスとは異なる光に基づいて生成することも可能である。例えば、光源２０とは異なる照明装置からの光、または太陽光などの背景光の元で撮影された顔画像のデータを第１の画像データとしてもよい。
【0041】
第２の画像データは、例えば、反射光パルスの立ち下がり期間に含まれる一部の反射光パルスの成分に基づいて生成され得る。制御回路６０は、イメージセンサ３０に、立ち下がり期間の開始後であって、立ち下がり期間の少なくとも一部を含む期間における反射光パルスの成分を検出させることによって第２の画像データを生成させることができる。
【0042】
後に詳しく説明するように、反射光パルスにおける立ち下がり期間の開始後の成分、すなわちパルスの後端成分は、対象者の脳活動に起因してその強度が変動する。その変動成分に基づいて、対象者の心理的または身体的な状態を推定することができる。
【0043】
上記構成によれば、第１の画像データおよび第２の画像データを、１つのイメージセンサ３０を用いて、非接触で生成することができる。複数のイメージセンサを設ける必要がなく、低コストで省スペースの生体計測装置１００を構成することができる。また、1つのイメージセンサを用いることにより、複数のイメージセンサの同期制御を不要にできる。また、光源２０から出射される光パルスが例えば赤外線のパルスである場合、当該赤外線の反射光パルスが、顔画像を生成するための他のイメージセンサに入射することによる信号の干渉を抑制することができる。
【0044】
イメージセンサ３０は、第１の画像データを第１のフレームレートで出力し、第２の画像データを第２のフレームレートで出力するように制御され得る。第１のフレームレートは、第２のフレームレートよりも高くてもよいし、同一であってもよいし、低くてもよい。顔の外観の変化は、脳血流の変化よりも速いことが多い。このため、第１のフレームレートが第２のフレームレートよりも高い場合、相対的に変化の速い外観情報のために多くのフレームを割くことができる。また、第２のフレームレートが第１のフレームレートよりも低くても、脳血流の変化は相対的に遅いため、処理に影響しないことが多い。
【0045】
第１の画像データと第２の画像データとで、解像度が異なっていてもよい。特に注目したい方の画像の解像度を上げることで、データ容量の有効活用が可能になる。
【0046】
第１の画像データの解像度は、第２の画像のデータの解像度よりも高くてもよい。第１の画像データが高い解像度を有することにより、顔の外観の変化をとらえやすくなる。第１の画像データは、エッジが強調またはエッジが抽出された画像データであってもよい。第１の画像データは、注目したい外観情報のみが抽出された画像を示していてもよい。例えば、視線または瞬きに注目する場合は、第１の画像データは、片目のみの画像を示していてもよいし、両目の画像を示していてもよい。注目する箇所を限定することで、データ量を減らし、データの処理速度を上げることができる。撮像時には、対象者は、メガネまたはコンタクトレンズなどの視力矯正具またはアイウェアを着用していてもよい。
【0047】
第１の画像データは、対象部に照射される光パルスのうちの少なくとも一つの光パルスに基づいて生成され得る。第２の画像データは、第１の画像データよりも低い解像度の画像を表していてもよい。第２の画像データの解像度を下げることによって、データ量を減らすことができ、データの処理速度を上げることができる。解像度を下げるために、５０×５０サイズなどの空間フィルタを用いて第２の画像データを平滑化してもよい。平滑化することで、微弱な脳血流信号に含まれるノイズを低減することができる。また、画像の階調数（すなわちビット数）を下げる処理をすることにより、データ量を削減してもよい。別の方法として、画像から空間的に画素を間引く処理、またはリサイズ処理することにより低い解像度の画像を生成し、データ量を削減しても良い。階調数を下げたり、画素数を下げたりすることによりデータ処理速度を上げることができる。
【0048】
第１の画像データおよび第２の画像データのそれぞれの解像度は、信号処理回路７０が信号処理の過程で変化させてもよいし、制御回路６０が光源２０および／またはイメージセンサ３０の動作または出力を調整することで変化させてもよい。
【0049】
イメージセンサは、２次元に配列された複数の光検出セルを備え得る。複数の光検出セルの各々は、光電変換素子と、第１の電荷蓄積部と、第２の電荷蓄積部とを含み得る。制御回路６０は、光源２０に、例えば以下の動作を実行させる。
（ａ）光パルスを出射させる。
（ｂ）複数の光検出セルのうちの少なくとも一部の光検出セルにおける第１の電荷蓄積部に、反射光パルスの立ち下がり期間の開始前の少なくとも一部の期間を含む期間における反射光パルスの成分が光電変換素子に入射することによって生じた第１の電荷を蓄積させる。
（ｃ）上記少なくとも一部の光検出セルにおける第２の電荷蓄積部に、反射光パルスの立ち下がり期間の開始後であって、立ち下がり期間の少なくとも一部を含む期間における反射光パルスの成分が光電変換素子に入射することによって生じた第２の電荷を蓄積させる。
（ｄ）イメージセンサに、上記少なくとも一部の光検出セルにおける第１の電荷蓄積部に蓄積された第１の電荷に基づいて第１の画像データを生成させる。
（ｅ）イメージセンサに、上記少なくとも一部の光検出セルにおける第２の電荷蓄積部に蓄積された第２の電荷に基づいて第２の画像データを生成させる。
（ａ）光パルスを出射させる。
（ｂ）複数の光検出セルのうちの少なくとも一部の光検出セルにおける第１の電荷蓄積部に、反射光パルスの立ち下がり期間の開始前の少なくとも一部の期間を含む期間における反射光パルスの成分が光電変換素子に入射することによって生じた第１の電荷を蓄積させる。
（ｃ）上記少なくとも一部の光検出セルにおける第２の電荷蓄積部に、反射光パルスの立ち下がり期間の開始後であって、立ち下がり期間の少なくとも一部を含む期間における反射光パルスの成分が光電変換素子に入射することによって生じた第２の電荷を蓄積させる。
（ｄ）イメージセンサに、上記少なくとも一部の光検出セルにおける第１の電荷蓄積部に蓄積された第１の電荷に基づいて第１の画像データを生成させる。
（ｅ）イメージセンサに、上記少なくとも一部の光検出セルにおける第２の電荷蓄積部に蓄積された第２の電荷に基づいて第２の画像データを生成させる。
【0050】
上記（ａ）から（ｃ）の動作は、複数回に亘って繰り返し実行されてもよい。その場合、上記（ｄ）および（ｅ）の動作において、イメージセンサは、第１の電荷蓄積部に複数回に亘って蓄積された第１の電荷に基づいて１フレーム分の第１の画像データを生成し、第２の電荷蓄積部に複数回に亘って蓄積された第２の電荷に基づいて１フレーム分の第２の画像データを生成する。
【0051】
このような構成によれば、第１の画像データおよび第２の画像データを効率的に生成することができる。
【0052】
信号処理回路７０は、第１の画像データの経時変化に基づき、対象者の外観の変化を検出することができる。外観の変化の検出には、例えば公知の認識アルゴリズムが用いられ得る。信号処理回路７０は、例えば対象者の視線、瞳孔の大きさ、瞬きの頻度、瞬きの時間間隔、および表情からなる群から選択される少なくとも１つを示す外観情報の経時変化を検出してもよい。信号処理回路７０は、当該外観情報の経時変化と、第２の画像データの経時変化とに基づいて、対象者の状態を示すデータを生成することができる。
【0053】
制御回路６０は、対象者に例えば視覚または聴覚の刺激が与えられている状態で、光源２０に光パルスを出射させ、イメージセンサ３０に第１の画像データおよび第２の画像データを生成させてもよい。対象者の状態を示すデータは、対象者の、当該刺激に対する興味、快感、眠気、および集中度からなる群から選択される少なくとも１つの状態の程度を示していてもよい。
【0054】
信号処理回路７０または制御回路６０は、対象者の状態に応じて決定される情報を、情報機器を介して前記対象者に提示してもよい。
【0055】
以下、本開示の実施形態をより具体的に説明する。以下の説明において、同一または類似の構成要素には同一の符号を付す。
【0056】
（実施形態）
［１．生体計測システム］
図１Ｂは、本開示の例示的な実施形態に係る生体計測システムを示す模式図である。生体計測システムは、生体計測装置１００と、サーバ２００とを備える。生体計測装置１００は、刺激装置１０と、光源２０と、イメージセンサ３０と、制御回路６０と、信号処理回路７０と、通信回路８０と、記録媒体９０とを備える。サーバ２００は、生体計測装置１００とは異なる場所に配置されたコンピュータである。サーバ２００は、例えば、ローカルエリアネットワーク（ＬＡＮ）またはインターネットなどのネットワークを介して、生体計測装置１００に接続され得る。
［１．生体計測システム］
図１Ｂは、本開示の例示的な実施形態に係る生体計測システムを示す模式図である。生体計測システムは、生体計測装置１００と、サーバ２００とを備える。生体計測装置１００は、刺激装置１０と、光源２０と、イメージセンサ３０と、制御回路６０と、信号処理回路７０と、通信回路８０と、記録媒体９０とを備える。サーバ２００は、生体計測装置１００とは異なる場所に配置されたコンピュータである。サーバ２００は、例えば、ローカルエリアネットワーク（ＬＡＮ）またはインターネットなどのネットワークを介して、生体計測装置１００に接続され得る。
【0057】
刺激装置１０は、対象者であるユーザに、例えば視覚または聴覚などの刺激を付与する装置である。刺激装置１０は、例えばディスプレイ、スピーカ、またはその他の電子機器であり得る。刺激装置１０は、生体計測装置１００の外部の要素であってもよい。光源２０は、ユーザの頭部および顔を含む対象部に照射される光パルスを出射する。光源２０は、単一の発光装置に限らず、複数の発光装置の組み合わせによって実現されていてもよい。イメージセンサ３０は、ユーザの対象部から戻ってきた光パルスの少なくとも一部を検出し、画像データを出力する。イメージセンサ３０は、複数の画素を備える。複数の画素の各々は、光電変換素子３２と、１つ以上の電荷蓄積部３４を含む。信号処理回路７０は、イメージセンサ３０から出力された画像データに基づく各種の処理を行う。通信回路８０は、例えばネットワークインターフェースコントローラを含み、外部の装置、例えばサーバ２００との間で通信を行う。記録媒体９０は、ＲＡＭおよびＲＯＭなどのメモリを含む。記録媒体９０は、制御回路６０および信号処理回路７０によって実行される処理を規定するプログラム、および処理の過程で生成される種々のデータを格納する。制御回路６０は、刺激装置１０、光源２０、イメージセンサ３０、信号処理回路７０、通信回路８０、および記録媒体９０に接続されている。制御回路６０は、生体計測装置１００の全体の動作を制御する。
【0058】
本実施形態における制御回路６０は、光源２０を制御する光源制御部６１と、イメージセンサ３０を制御するセンサ制御部６２と、刺激装置１０を制御する刺激制御部６３とを含む。光源制御部６１、センサ制御部６２、および刺激制御部６３は、分離された３つの回路によって実現されていてもよいし、単一の回路によって実現されていてもよい。光源制御部６１、およびセンサ制御部６２、および刺激制御部６３の各々は、制御回路６０が記録媒体９０、例えばメモリに格納された制御用のプログラムを実行することによって実現されてもよい。
【0059】
光源制御部６１は、光源２０から出射される光パルスの強度、パルス幅、出射タイミング、および／または波長を制御する。センサ制御部６２は、イメージセンサ３０の各画素における信号蓄積のタイミングを制御する。刺激制御部６３は、刺激装置１０に付与させる刺激の内容およびタイミングを制御する。刺激制御部６３は、例えば、刺激として付与される映像の色相、彩度、および輝度の少なくとも１つ、または音声の音質および大きさの少なくとも１つを制御する。
【0060】
信号処理回路７０は、イメージセンサ３０から出力される画像データに基づいて、対象者の状態を示すデータを生成する。信号処理回路７０は、当該データを、通信回路８０を介してサーバ２００に送信することができる。信号処理回路７０は、サーバ２００に蓄積されたデータを、通信回路８０を介して読み出すこともできる。制御回路６０は、信号処理回路７０によって生成されたデータに基づいて刺激装置１０に付与させる刺激の内容を決定することができる。
【0061】
サーバ２００は、信号処理回路７０によって生成されたデータと、ユーザに提示される候補となるコンテンツのデータとを蓄積する。候補となるコンテンツは、例えば、文字、映像、および音声の少なくとも１つの情報を含み得る。
【0062】
本明細書において、「生体情報」とは、刺激によって変化する生体の計測可能な量を意味する。生体情報には、例えば、血流量、血圧、心拍数、脈拍数、呼吸数、体温、脳波、血液中の酸素化ヘモグロビン濃度、血液中の脱酸素化ヘモグロビン濃度、血中酸素飽和度、皮膚の反射スペクトルなどの、種々の量が含まれる。生体情報の一部は、バイタルサインと呼ばれることがある。
【0063】
以下に、生体計測装置１００の各構成要素をより具体的に説明する。
【0064】
［１－１．刺激装置１０］
刺激装置１０は、ユーザに刺激を付与する。刺激装置１０は、複数のユーザに刺激を付与するように構成されていてもよい。刺激装置１０から付与される刺激は、ユーザの生体反応を引き起こす。刺激装置１０は、ユーザの生体反応に基づいて決定されたコンテンツなどの情報をユーザまたはユーザ以外の人に提示してもよい。図１Ｂの例では、生体計測装置１００が刺激装置１０を備えるが、刺激装置１０の一部または全体が、生体計測装置１００の外部に設けられていてもよい。
刺激装置１０は、ユーザに刺激を付与する。刺激装置１０は、複数のユーザに刺激を付与するように構成されていてもよい。刺激装置１０から付与される刺激は、ユーザの生体反応を引き起こす。刺激装置１０は、ユーザの生体反応に基づいて決定されたコンテンツなどの情報をユーザまたはユーザ以外の人に提示してもよい。図１Ｂの例では、生体計測装置１００が刺激装置１０を備えるが、刺激装置１０の一部または全体が、生体計測装置１００の外部に設けられていてもよい。
【0065】
刺激装置１０は、例えばヘッドマウント装置、ゴーグルおよびヘッドセット装置、またはスマートフォンなどのディスプレイを備えた装置であり得る。刺激装置１０は、オーディオ機器、照明装置、または空調機器であってもよい。刺激装置１０は、異なる刺激を付与する複数の装置を含んでいてもよい。刺激装置１０は、例えば、ユーザに映像、文字、音楽もしくは声などの音、明るさ、熱、冷感、湿潤、乾燥、振動、または風のうちの少なくとも１つの刺激を付与することができる。映像および文字は視覚に対する刺激である。音は聴覚に対する刺激である。ディスプレイを備えた刺激装置１０が、刺激として画像、映像、または音声のコンテンツをユーザに付与してもよい。視覚的な刺激は、例えば、Ｗｅｂ広告、動画、ゲームであり得る。計算問題、言語の問題、パズル、またはクイズなどの、種々の課題が視覚的な刺激として付与されてもよい。課題は、対象者の脳活動の状態を診断するために特別に作成されたものであってもよい。刺激装置１０は、課題の提示と同時に、課題に関連付けられた音を出力してもよい。映像または音のコンテンツの他に、視覚的な刺激は、室内における照明の明るさ、または色の変化であってもよい。
【0066】
視覚または聴覚に対する刺激以外に、触覚、嗅覚、または味覚に対する刺激が付与されてもよい。刺激装置１０は、ユーザに与える刺激の種類に応じて異なる構造および機能を有する。例えば、ユーザに触覚刺激を与える場合、刺激装置１０は、振動または熱を発生させる装置であり得る。ユーザに嗅覚刺激を与える場合、刺激装置１０は、匂いを発生させる装置であり得る。
【0067】
［１－２．光源２０］
光源２０は、ユーザの頭部、例えば額を含む対象部に光を照射する。光源２０から出射されてユーザに到達した光は、ユーザの表面で反射される表面反射成分Ｉ１と、ユーザの内部で散乱される内部散乱成分Ｉ２とに分かれる。内部散乱成分Ｉ２は、生体内部で１回反射もしくは散乱、または多重散乱する成分である。ユーザの頭部に向けて光を出射する場合、内部散乱成分Ｉ２は、ユーザの頭部の表面から奥に８ｍｍから１６ｍｍほどの部位、例えば脳に到達し、再び生体計測装置１００に戻る成分を指す。表面反射成分Ｉ１は、直接反射成分、拡散反射成分、および散乱反射成分の３つの成分を含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状によって拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。ユーザの頭部に向けて光を出射する場合、散乱反射成分は、表皮内部で散乱して反射する成分である。ユーザの表面で反射する表面反射成分Ｉ１は、これら３つの成分を含み得る。表面反射成分Ｉ１および内部散乱成分Ｉ２は、反射または散乱によって進行方向が変化し、その一部がイメージセンサ３０に到達する。
光源２０は、ユーザの頭部、例えば額を含む対象部に光を照射する。光源２０から出射されてユーザに到達した光は、ユーザの表面で反射される表面反射成分Ｉ１と、ユーザの内部で散乱される内部散乱成分Ｉ２とに分かれる。内部散乱成分Ｉ２は、生体内部で１回反射もしくは散乱、または多重散乱する成分である。ユーザの頭部に向けて光を出射する場合、内部散乱成分Ｉ２は、ユーザの頭部の表面から奥に８ｍｍから１６ｍｍほどの部位、例えば脳に到達し、再び生体計測装置１００に戻る成分を指す。表面反射成分Ｉ１は、直接反射成分、拡散反射成分、および散乱反射成分の３つの成分を含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状によって拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。ユーザの頭部に向けて光を出射する場合、散乱反射成分は、表皮内部で散乱して反射する成分である。ユーザの表面で反射する表面反射成分Ｉ１は、これら３つの成分を含み得る。表面反射成分Ｉ１および内部散乱成分Ｉ２は、反射または散乱によって進行方向が変化し、その一部がイメージセンサ３０に到達する。
【0068】
本実施形態では、ユーザの頭部から戻って来る反射光のうち、表面反射成分Ｉ１および内部散乱成分Ｉ２が検出される。表面反射成分Ｉ１は、ユーザの顔の外観を反映する。このため、表面反射成分Ｉ１の経時変化を解析することによってユーザの顔の外観の変化を推定することができる。一方、内部散乱成分Ｉ２は、ユーザの脳活動を反映してその強度が変動する。このため、内部散乱成分Ｉ２の経時変化を解析することによってユーザの脳活動の状態を推定することができる。
【0069】
まず、内部散乱成分Ｉ２の取得方法について説明する。光源２０は、制御回路６０からの指示に従い、光パルスを所定の時間間隔または所定のタイミングで複数回繰り返し出射する。光源２０から出射される光パルスは、例えば立ち下がり期間がゼロに近い矩形波であり得る。本明細書において、「立ち下がり期間」とは、光パルスの強度が減少を開始してから減少が終了するまでの期間を意味する。一般に、ユーザに入射した光は、様々な経路でユーザ内を伝搬し、時間差を伴ってユーザの表面から出射する。このため、光パルスの内部散乱成分Ｉ２の後端は、広がりを有する。ユーザの対象部が額である場合、内部散乱成分Ｉ２の後端の広がりは、４ｎｓ程度である。このことを考慮すると、光パルスの立ち下がり期間は、例えばその半分以下である２ｎｓ以下に設定され得る。立ち下がり期間は、さらにその半分の１ｎｓ以下であってもよい。光源２０から出射される光パルスの立ち上がり期間の長さは任意である。「立ち上がり期間」とは、光パルスの強度が増加を開始してから増加が終了するまでの期間である。本実施形態における内部散乱成分Ｉ２の検出では、光パルスの立ち下がり部分が使用され、立ち上がり部分は使用されない。光パルスの立ち上がり部分は、表面反射成分Ｉ１の検出に用いられ得る。光源２０は、例えば、ＬＤなどのレーザであり得る。レーザから出射される光は、光パルスの立ち下がり部分が時間軸に略直角である、急峻な時間応答特性を有する。
【0070】
光源２０から出射される光の波長は、例えば６５０ｎｍ以上９５０ｎｍ以下の波長範囲に含まれる任意の波長であり得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。上記の波長範囲は、「生体の窓」と呼ばれており、光が生体内の水分および皮膚に比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。本実施形態のように、ユーザの脳の血流変化を検出する場合、使用される光は、主に酸素化ヘモグロビン（ＨｂＯ２）および脱酸素化ヘモグロビン（Ｈｂ）に吸収されると考えられる。酸素化ヘモグロビンと脱酸素化ヘモグロビンとでは、光吸収の波長依存性が異なる。一般に、血流に変化が生じると、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度が変化する。この変化に伴い、光の吸収度合いも変化する。したがって、血流が変化すると、検出される光量も時間的に変化する。
【0071】
光源２０は、上記の波長範囲に含まれる単一の波長の光を出射してもよいし、２つ以上の波長の光を出射してもよい。複数の波長の光は、複数の光源からそれぞれ出射されてもよい。
【0072】
一般に、生体組織は波長に応じて吸収特性および散乱特性が異なる。このため、内部散乱成分Ｉ２による光信号の波長依存性を検出することで測定対象のより詳細な成分分析が可能となる。例えば、生体組織においては、波長８０５ｎｍ以上では酸素化ヘモグロビン（ＨｂＯ２）による吸光度が脱酸素化ヘモグロビン（Ｈｂ）による吸光度に比べ大きい。一方、波長８０５ｎｍ以下では、その逆の特性を示す。したがって、例えば、光源２０は、７５０ｎｍ近辺の波長の光と、８５０ｎｍ近辺の波長の光とを出射するように構成されていてもよい。この場合、７５０ｎｍ近辺の波長の光による内部散乱成分Ｉ２の光強度と、８５０ｎｍ近辺の波長の光による内部散乱成分Ｉ２の光強度とが計測される。信号処理回路７０は、画素ごとに入力された光強度の信号値に基づいて、予め定められた連立方程式を解くことにより、血液中のＨｂＯ２とＨｂの各濃度の、初期値からの変化量を求めることができる。
【0073】
本実施形態における生体計測装置１００では、非接触でユーザの脳血流が計測される。このため、網膜への影響を考慮して設計された光源２０が用いられ得る。例えば、各国で策定されているレーザ安全基準のクラス１を満足する光源２０が用いられ得る。クラス１が満足されている場合、被爆放出限界（ＡＥＬ）が１ｍＷを下回るほどの低照度の光が、ユーザに照射される。なお、光源２０自体はクラス１を満たしていなくてもよい。例えば、拡散板またはＮＤフィルタを光源２０の前に設置して光を拡散または減衰することにより、レーザ安全基準のクラス１が満たされていてもよい。
【0074】
従来、生体内部の深さ方向において異なる場所における吸収係数または散乱係数などの情報を区別して検出するために、ストリークカメラが使用されていた。例えば、特開平４－１８９３４９は、そのようなストリークカメラの一例を開示している。これらのストリークカメラでは、所望の空間分解能で測定するために、パルス幅がフェムト秒またはピコ秒の極超短光パルスが用いられていた。
【0075】
これに対し、本実施形態の生体計測装置１００は、表面反射成分Ｉ１と内部散乱成分Ｉ２とを区別して検出することができる。したがって、光源２０が発する光パルスは、極超短光パルスである必要はなく、パルス幅を任意に選択できる。
【0076】
脳血流を計測するためにユーザの頭部を光で照射する場合、内部散乱成分Ｉ２の光量は、表面反射成分Ｉ１の光量の数千分の１から数万分の１程度の非常に小さい値になり得る。さらに、レーザの安全基準を考慮すると、照射できる光の光量は、極めて小さくなる。したがって、内部散乱成分Ｉ２の検出は非常に難しい。その場合でも、光源２０が、比較的パルス幅の大きい光パルスを出射すれば、時間遅れを伴う内部散乱成分Ｉ２の積算量を増加させることができる。それにより、検出光量を増やし、ＳＮ比を向上させることができる。
【0077】
光源２０は、例えばパルス幅が３ｎｓ以上の光パルスを出射する。一般に、脳などの生体組織内で散乱された光の時間的な広がりは４ｎｓ程度である。図２は、イメージセンサ３０に到達する光の強度の時間変化の例を示す図である。図２には、光源２０から出射される入力光パルスの幅が、０ｎｓ、３ｎｓ、および１０ｎｓである３つの場合の例が示されている。図２に示すように、光源２０からの光パルスの幅を広げるにつれて、ユーザから戻った光パルスの後端部に現れる内部散乱成分Ｉ２の光量が増加する。
【0078】
図３は、入力光パルスの幅を横軸に、イメージセンサ３０での検出光量を縦軸に表した図である。イメージセンサ３０は、電子シャッタを備える。図３の結果は、光パルスの後端がユーザの表面で反射されてイメージセンサ３０に到達した時刻から１ｎｓ経過した後に電子シャッタを開いた条件で得られた。この条件を選択した理由は、光パルスの後端が到達した直後は、内部散乱成分Ｉ２と比較して、表面反射成分Ｉ１の比率が高いためである。図３に示すように、光源２０から出射される光パルスのパルス幅を３ｎｓ以上にすると、検出光量を最大化することができる。
【0079】
光源２０は、パルス幅５ｎｓ以上、さらには１０ｎｓ以上の光パルスを出射してもよい。一方、パルス幅が大きすぎても使用しない光が増えて無駄となる。このため、光源２０は、例えば、パルス幅５０ｎｓ以下の光パルスを出射する。あるいは、光源２０は、パルス幅３０ｎｓ以下、さらには２０ｎｓ以下の光パルスを出射してもよい。
【0080】
光源２０の照射パターンは、例えば、照射領域内において、均一な強度分布をもつパターンであってもよい。この点で、本実施形態は、例えば特開平１１－１６４８２６号公報等に開示された従来の生体計測装置とは異なる。特開平１１－１６４８２６号公報に開示された装置では、イメージセンサと光源とを３ｃｍ程度離し、空間的に表面反射成分を内部散乱成分から分離する。このため、離散的な光照射とせざるを得ない。これに対し、本実施形態の生体計測装置１００は、時間的に表面反射成分Ｉ１を内部散乱成分Ｉ２から分離して低減できる。このため、均一な強度分布をもつ照射パターンの光源２０を用いることができる。均一な強度分布をもつ照射パターンは、光源２０が発する光を拡散板により拡散することによって形成してもよい。
【0081】
本実施形態では、従来技術とは異なり、ユーザの照射点直下でも、内部散乱成分Ｉ２を検出することができる。ユーザを空間的に広い範囲にわたって光で照射することにより、計測解像度を高めることもできる。
【0082】
［１－３．イメージセンサ３０］
イメージセンサ３０は、ユーザの頭部から戻った反射光パルスの少なくとも一部を画素ごとに検出する。イメージセンサ３０は、検出した光の強度に応じた複数の信号を画素ごとに出力する。複数の信号は、反射光パルスのうち、立ち上り期間の少なくとも一部に含まれる強度に応じた信号と、立ち下がり期間の少なくとも一部に含まれる強度に応じた信号とを含む。
イメージセンサ３０は、ユーザの頭部から戻った反射光パルスの少なくとも一部を画素ごとに検出する。イメージセンサ３０は、検出した光の強度に応じた複数の信号を画素ごとに出力する。複数の信号は、反射光パルスのうち、立ち上り期間の少なくとも一部に含まれる強度に応じた信号と、立ち下がり期間の少なくとも一部に含まれる強度に応じた信号とを含む。
【0083】
イメージセンサ３０は、２次元に配置された複数の光検出セルを備え、ユーザの２次元情報を一度に取得することができる。各光検出セルは、光電変換素子と、１つ以上の電荷蓄積部とを含む。本明細書において、光検出セルを「画素」とも称する。イメージセンサ３０は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの任意の撮像素子であり得る。
【0084】
イメージセンサ３０は、電子シャッタを備える。電子シャッタは、撮像のタイミングを制御する回路である。本実施形態では、制御回路６０におけるセンサ制御部６２が、電子シャッタの機能を有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する１回の信号蓄積の期間と、信号蓄積を停止する期間とを制御する。信号蓄積期間は、「露光期間」と称することもできる。以下の説明において、露光期間の幅を、「シャッタ幅」と称することがある。１回の露光期間が終了し次の露光期間が開始するまでの時間を、「非露光期間」と称することがある。以下、露光している状態を「ＯＰＥＮ」、露光を停止している状態を「ＣＬＯＳＥ」と称することがある。
【0085】
イメージセンサ３０は、電子シャッタにより、露光期間および非露光期間を、サブナノ秒、例えば、３０ｐｓから１ｎｓの範囲で調整できる。距離計測を目的としている従来のＴＯＦカメラは、被写体の明るさによらず距離を計測するために、光源２０から出射され被写体で反射されて戻ってきた光の全てを検出する。したがって、従来のＴＯＦカメラでは、シャッタ幅が光のパルス幅よりも大きい必要があった。これに対し、本実施形態の生体計測装置１００では、被写体の光量を補正する必要がない。このため、シャッタ幅がパルス幅よりも大きい必要はない。シャッタ幅を、例えば、１ｎｓ以上３０ｎｓ以下の値に設定することができる。本実施形態の生体計測装置１００によれば、シャッタ幅を縮小できるため、検出信号に含まれる暗電流の影響を低減することができる。
【0086】
ユーザの額を光で照射して脳血流などの情報を検出する場合、生体内部での光の減衰率が非常に大きい。例えば、入射光に対して出射光が、１００万分の１程度にまで減衰し得る。このため、内部散乱成分Ｉ２を検出するには、１パルスの照射だけでは光量が不足する場合がある。レーザ安全性基準のクラス１での照射では特に光量が微弱である。この場合、光源２０が光パルスを複数回発光し、それに応じてイメージセンサ３０も電子シャッタによって複数回露光することにより、検出信号を積算して感度を向上させることができる。
【0087】
以下、イメージセンサ３０の構成例を説明する。
【0088】
イメージセンサ３０は、撮像面上に２次元的に配列された複数の画素を備え得る。各画素は、例えばフォトダイオードなどの光電変換素子と、１つまたは複数の電荷蓄積部とを備え得る。以下、各画素が、光電変換によって受光量に応じた信号電荷を発生させる光電変換素子と、光パルスの表面反射成分Ｉ１によって生じた信号電荷を蓄積する電荷蓄積部と、光パルスの内部散乱成分Ｉ２によって生じた信号電荷を蓄積する電荷蓄積部とを備える例を説明する。以下の例では、制御回路６０は、イメージセンサ３０に、ユーザの頭部から戻ってきた光パルス中の立ち下がり開始前の部分を検出させることにより、表面反射成分Ｉ１を検出させる。制御回路６０はまた、イメージセンサ３０に、ユーザの頭部から戻ってきた光パルス中の立ち下がり開始後の部分を検出させることにより、内部散乱成分Ｉ２を検出させる。この例における光源２０は２種類の波長の光を出射する。
【0089】
図４Ａは、イメージセンサ３０の１つの画素２０１の概略的な構成例を示す図である。なお、図４Ａは、１つの画素２０１の構成を模式的に示しており、実際の構造を必ずしも反映していない。この例における画素２０１は、光電変換を行うフォトダイオード２０３と、電荷蓄積部である第１の浮遊拡散層（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７と、信号電荷を排出するドレイン２０２とを含む。
【0090】
１回の光パルスの出射に起因して各画素に入射したフォトンは、フォトダイオード２０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路６０から入力される制御信号に従って、ドレイン２０２に排出されるか、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７のいずれかに振り分けられる。
【0091】
光源２０からの光パルスの出射と、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７への信号電荷の蓄積と、ドレイン２０２への信号電荷の排出が、この順序で繰り返し行われる。この繰り返し動作は高速であり、例えば動画像の１フレームの時間（例えば約１／３０秒）内に数万回から数億回繰り返され得る。画素２０１は、最終的に、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７に蓄積された信号電荷に基づく４つの画像信号を生成して出力する。
【0092】
この例における制御回路６０は、光源２０に、第１の波長をもつ第１の光パルスと、第２の波長をもつ第２の光パルスとを、順に繰り返し出射させる。第１の波長および第２の波長として、ユーザの内部組織に対する吸収率が異なる２波長を選択することで、ユーザの状態を分析することができる。例えば、第１の波長として８０５ｎｍよりも長い波長を選択し、第２の波長として８０５ｎｍよりも短い波長を選択してもよい。これにより、ユーザの血液中の酸素化ヘモグロビン濃度および脱酸素化ヘモグロビン濃度のそれぞれの変化を検出することが可能になる。
【0093】
図５に示すように、制御回路６０は、まず、光源２０に、第１の光パルスを出射させる。制御回路６０は、第１の光パルスの表面反射成分Ｉ１がフォトダイオード２０３に入射している第１の期間に、第１の浮遊拡散層２０４に信号電荷を蓄積させる。続いて、制御回路６０は、第１の光パルスの内部散乱成分Ｉ２がフォトダイオード２０３に入射している第２の期間に、第２の浮遊拡散層２０５に信号電荷を蓄積させる。次に、制御回路６０は、光源２０に、第２の光パルスを出射させる。制御回路６０は、第２の光パルスの表面反射成分Ｉ１がフォトダイオード２０３に入射している第３の期間に、第３の浮遊拡散層２０６に信号電荷を蓄積させる。続いて、制御回路６０は、第２の光パルスの内部散乱成分Ｉ２がフォトダイオード２０３に入射している第４の期間に、第４の浮遊拡散層２０７に信号電荷を蓄積させる。
【0094】
このように、制御回路６０は、第１の光パルスの発光を開始した後、所定の時間差を空けて、第１の浮遊拡散層２０４および第２の浮遊拡散層２０５に、フォトダイオード２０３からの信号電荷を順次蓄積させる。その後、制御回路６０は、第２の光パルスの発光を開始した後、上記所定の時間差を空けて、第３の浮遊拡散層２０６および第４の浮遊拡散層２０７に、フォトダイオード２０３からの信号電荷を順次蓄積させる。以上の動作を複数回繰り返す。外乱光および環境光の光量を推定するために、光源２０を消灯した状態で不図示の他の浮遊拡散層に信号電荷を蓄積する期間を設けてもよい。第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７の信号電荷量から、上記他の浮遊拡散層の信号電荷量を差し引くことで、外乱光および環境光成分を除去した信号を得ることができる。
【0095】
なお、本実施形態では、電荷蓄積部の数を４としているが、目的に応じて２以上の複数の数に設計してよい。例えば、１種類の波長のみを用いる場合には、電荷蓄積部の数は２であってよい。また、使用する波長が１種類で、表面反射成分Ｉ１を検出しない用途では、画素ごとの電荷蓄積部の数は１であってもよい。また、２種類以上の波長を用いる場合であっても、それぞれの波長を用いた撮像を別のフレームで行えば、電荷蓄積部の数は１であってもよい。表面反射成分Ｉ１の検出と内部散乱成分Ｉ２の検出とをそれぞれ別のフレームで行う場合には、電荷蓄積部の数は１であってもよい。
【0096】
図４Ｂは、イメージセンサ３０の構成の一例を示す図である。図４Ｂにおいて、二点鎖線の枠で囲まれた領域が１つの画素２０１に相当する。画素２０１には１つのフォトダイオードが含まれる。図４Ｂでは２行２列に配列された４画素のみを示しているが、実際にはさらに多数の画素が配置され得る。画素２０１は、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７を含む。第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７に蓄積される信号は、あたかも一般的なＣＭＯＳイメージセンサの４画素の信号のように取り扱われ、イメージセンサ３０から出力される。
【0097】
各画素２０１は、４つの信号検出回路を有する。各信号検出回路は、ソースフォロワトランジスタ３０９と、行選択トランジスタ３０８と、リセットトランジスタ３１０とを含む。この例では、リセットトランジスタ３１０が図４Ａに示すドレイン２０２に対応し、リセットトランジスタ３１０のゲートに入力されるパルスがドレイン排出パルスに対応する。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ３０９の入力端子および出力端子の一方（典型的にはソース）と、行選択トランジスタ３０８の入力端子および出力端子のうちの一方（典型的にはドレイン）とが接続されている。ソースフォロワトランジスタ３０９の制御端子であるゲートは、フォトダイオード２０３に接続されている。フォトダイオード２０３によって生成された信号電荷（すなわち正孔または電子）は、フォトダイオード２０３とソースフォロワトランジスタ３０９との間の電荷蓄積部である浮遊拡散層に蓄積される。
【0098】
第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７はフォトダイオード２０３に接続される。フォトダイオード２０３と、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７との間には、スイッチが設けられ得る。このスイッチは、制御回路６０からの信号蓄積パルスに応じて、フォトダイオード２０３と、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７の各々との間の導通状態を切り替える。これにより、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７の各々への信号電荷の蓄積の開始と停止とが制御される。本実施形態における電子シャッタは、このような露光制御のための機構を有する。
【0099】
第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７に蓄積された信号電荷は、行選択回路３０２によって行選択トランジスタ３０８のゲートがＯＮにされることにより、読み出される。この際、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７の信号電位に応じて、ソースフォロワ電源３０５からソースフォロワトランジスタ３０９およびソースフォロワ負荷３０６へ流入する電流が増幅される。垂直信号線３０４から読み出されるこの電流によるアナログ信号は、列毎に接続されたアナログ－デジタル（ＡＤ）変換回路３０７によってデジタル信号データに変換される。このデジタル信号データは、列選択回路３０３によって列ごとに読み出され、イメージセンサ３０から出力される。行選択回路３０２および列選択回路３０３は、１つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、全ての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路６０は、全ての信号電荷を読み出した後、リセットトランジスタ３１０のゲートをオンにすることで、全ての浮遊拡散層をリセットする。これにより、１つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、イメージセンサ３０による一連のフレームの撮像が完結する。
【0100】
本実施形態では、ＣＭＯＳ型のイメージセンサ３０の例を説明したが、イメージセンサ３０は他の種類の撮像素子であってもよい。イメージセンサ３０は、例えば、ＣＣＤ型であっても、単一光子計数型素子であっても、増幅型イメージセンサ（例えば、ＥＭＣＣＤまたはＩＣＣＤ）であってもよい。
【0101】
図５は、本実施形態における１フレーム内の動作の例を示す図である。図５に示すように、１フレーム内で、第１の光パルスの発光と第２の光パルスの発光とを交互に複数回切り替えてもよい。このようにすると、２種類の波長による検出画像の取得タイミングの時間差を低減でき、動きがあるユーザであっても、ほぼ同時に第１および第２の光パルスでの撮影が可能である。
【0102】
本実施形態では、イメージセンサ３０が、光パルスの表面反射成分Ｉ１と内部散乱成分Ｉ２の両方を検出する。表面反射成分Ｉ１の時間的または空間的な変化から、ユーザの第１の生体情報を取得することができる。第１の生体情報は、ユーザの顔の外観を示し、例えば、視線、瞳孔径、瞬き、または表情に関する情報であり得る。一方、内部散乱成分Ｉ２の時間的または空間的な変化から、ユーザの第２の生体情報である脳活動情報を取得することができる。
【0103】
本明細書において、第１の生体情報を示す信号を「第１の生体信号」と称することがある。また、脳活動情報を示す信号を「脳活動信号」と称することがある。
【0104】
［１－４．制御回路６０および信号処理回路７０］
制御回路６０は、光源２０の光パルスの出射タイミングと、イメージセンサ３０のシャッタタイミングとの時間差を調整する。本明細書では、当該時間差を「位相差」と称することがある。光源２０の「出射タイミング」とは、光源２０から出射される光パルスが立ち上がりを開始するタイミングである。「シャッタタイミング」とは、露光を開始するタイミングである。制御回路６０は、出射タイミングを変化させて位相差を調整してもよいし、シャッタタイミングを変化させて位相差を調整してもよい。
制御回路６０は、光源２０の光パルスの出射タイミングと、イメージセンサ３０のシャッタタイミングとの時間差を調整する。本明細書では、当該時間差を「位相差」と称することがある。光源２０の「出射タイミング」とは、光源２０から出射される光パルスが立ち上がりを開始するタイミングである。「シャッタタイミング」とは、露光を開始するタイミングである。制御回路６０は、出射タイミングを変化させて位相差を調整してもよいし、シャッタタイミングを変化させて位相差を調整してもよい。
【0105】
制御回路６０は、イメージセンサ３０の各画素によって検出された信号からオフセット成分を取り除くように構成されてもよい。オフセット成分は、太陽光もしくは蛍光灯などの環境光、または外乱光による信号成分である。光源２０の駆動をＯＦＦにして光源２０から光が出射されない状態で、イメージセンサ３０によって信号を検出することにより、環境光または外乱光によるオフセット成分が見積もられる。
【0106】
制御回路６０は、例えばプロセッサおよびメモリの組み合わせ、またはプロセッサおよびメモリを内蔵するマイクロコントローラなどの集積回路であり得る。制御回路６０は、例えばプロセッサがメモリに記録されたプログラムを実行することにより、例えば出射タイミングとシャッタタイミングとの調整を行う。
【0107】
信号処理回路７０は、イメージセンサ３０から出力された画像信号を処理する回路である。信号処理回路７０は、画像処理などの演算処理を行う。信号処理回路７０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。制御回路６０および信号処理回路７０は、統合された１つの回路であってもよいし、分離された個別の回路であってもよい。信号処理回路７０は、例えば遠隔地に設けられたサーバなどの外部の装置の構成要素であってもよい。この場合、サーバなどの外部の装置は、無線通信または有線通信により、光源２０、イメージセンサ３０、および制御回路６０と相互にデータの送受信を行う。
【0108】
本実施形態における信号処理回路７０は、イメージセンサ３０からフレームごとに出力された画像データに基づき、脳血流の時間変化を示す動画像データおよび顔の外観の時間変化を示す動画像データを生成することができる。信号処理回路７０は、そのような動画像データに限らず、他の情報を生成してもよい。例えば、他の機器と同期させることにより、脳における血流量、血圧、血中酸素飽和度、または心拍数などの生体情報を生成してもよい。信号処理回路７０は、外乱光によるオフセット成分の見積り、およびオフセット成分の除去を行ってもよい。
【0109】
脳血流量またはヘモグロビンなどの血液内成分の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の興味度に応じて神経細胞の活動が変化することにより、脳血流量または血液内の成分が変化する。したがって、脳血流量または顔の外観情報などの生体情報を計測できれば、ユーザの心理状態または身体状態を推定することができる。ユーザの心理状態は、例えば、気分、感情、健康状態、または温度感覚であり得る。気分は、例えば、快、または不快といった気分を含み得る。感情は、例えば、安心、不安、悲しみ、または憤りといった感情を含み得る。健康状態は、例えば、元気、または倦怠といった状態を含み得る。温度感覚は、例えば、暑い、寒い、または蒸し暑いといった感覚を含み得る。これらに派生して、脳活動の程度を表す指標、例えば興味度、熟練度、習熟度、および集中度も、心理状態に含まれ得る。さらに、疲労度、眠気、または飲酒による酔いの程度などの身体状態も、信号処理回路７０による推定の対象に含まれる。信号処理回路７０は、脳血流状態の変化、および顔の外観の変化に基づいて、ユーザの心理状態または身体状態を推定し、推定結果を示す信号を出力することができる。
【0110】
図６Ａは、制御回路６０による光源２０およびイメージセンサ３０の制御の概要を示すフローチャートである。ここでは簡単のため、１種類の波長の光を用いて、反射光の表面反射成分Ｉ１および内部散乱成分Ｉ２を、画素ごとに検出する場合の動作を説明する。この例では、イメージセンサ３０の各画素は、表面反射成分Ｉ１による電荷を蓄積する第１の電荷蓄積部と、内部散乱成分Ｉ２による電荷を蓄積する第２の電荷蓄積部とを含む。
【0111】
ステップＳ１０１において、制御回路６０は、まず、光源２０に所定時間だけ光パルスを発光させる。このとき、イメージセンサ３０の電子シャッタは露光を停止した状態にある。制御回路６０は、光パルスがユーザの表面で反射されてイメージセンサ３０に到達し始めるまで、電子シャッタに露光を停止させる。
【0112】
次に、ステップＳ１０２において、制御回路６０は、反射光パルスがイメージセンサ３０に到達し始めてから、立ち下がり期間が開始するまでの所定のタイミングで、電子シャッタに露光を開始させる。この露光を「第１の露光」と称する。第１の露光を開始するタイミングは、予め対象部までの距離を画素ごとに計測しておくことにより、画素ごとに適切に設定することができる。第１の露光の開始タイミングは、対象部の表面の湾曲の程度に応じて、画素ごとに異なっていてもよいし、全ての画素で同一であってもよい。第１の露光によって検出される光は、主に対象部の皮膚の表面で散乱されてイメージセンサ３０に到達する光である。
【0113】
所定時間経過後、ステップＳ１０３において、制御回路６０は、電子シャッタに第１の露光を停止させる。露光停止のタイミングは、例えば反射光パルスの立ち下がり期間が開始する前であり得る。
【0114】
次に、ステップＳ１０４において、制御回路６０は、光パルスの一部がユーザの内部で散乱されてイメージセンサ３０に到達するタイミングで、電子シャッタに第２の露光を開始させる。より具体的には、制御回路６０は、反射光パルスの立ち下がり期間の開始後に第２の露光を開始させる。第２の露光の開始タイミングも、予め画素ごとに計測された対象部までの距離に基づいて計算され得る。第２の露光の開始タイミングも、対象部の表面の湾曲の程度に応じて、画素ごとに異なっていてもよいし、全ての画素で同一であってもよい。
【0115】
所定時間経過後、ステップＳ１０５において、制御回路６０は、電子シャッタに第２の露光を停止させる。第１の露光の時間長と第２の露光の時間長とは同一でもよいし異なっていてもよい。一般に、第１の露光で検出される表面反射成分Ｉ１の光量は、第２の露光で検出される内部散乱成分Ｉ２の光量よりも大きい。したがって、第１の露光の時間長を第２の露光の時間長よりも短く設定してもよい。
【0116】
続いて、ステップＳ１０６において、制御回路６０は、上記の信号蓄積を実行した回数が所定の回数に達したか否かを判定する。この判定がＮｏの場合、Ｙｅｓと判定するまで、ステップＳ１０１からＳ１０５を繰り返す。この回数は、内部散乱成分Ｉ２の検出感度に依存して適切な回数に設定される。ステップＳ１０６においてＹｅｓと判定すると、ステップＳ１０７において、制御回路６０は、各電荷蓄積部に蓄積された信号電荷に基づく画像信号を、イメージセンサ３０に生成させる。イメージセンサ３０は、各画素の第１の電荷蓄積部に蓄積された電荷に基づく第１の画像データと、各画素の第２の電荷蓄積部に蓄積された電荷に基づく第２の画像データとを出力する。
【0117】
以上の動作により、対象部の表面付近で散乱された光の成分と、対象部の内部で散乱された光の成分とを高い感度で検出することができる。なお、複数回の発光および露光は必須ではなく、必要に応じて行われる。
【0118】
信号処理回路７０は、第１の画像データに色調補正、画素補間、またはフレーム補間などの必要な画像処理を行うことにより、ユーザの顔の外観の変化を示す第１の動画像データを生成する。信号処理回路７０はまた、第２の画像データに必要な画像処理を行うことにより、ユーザの脳血流の状態の変化を示す第２の動画像データを生成する。信号処理回路７０は、さらに、第１の動画像データと第２の動画像データとに基づいて、ユーザの心理状態または身体状態の推定も行う。例えば、第１の動画像データから推定される表情または視線の変化と、第２の動画像データから推定される脳活動状態の変化とに基づいて、ユーザの興味または集中といった状態を推定することができる。これらの処理の詳細については後述する。
【0119】
信号処理回路７０は、第１の画像データおよび第２の画像データの少なくとも一方の解像度を変化させる処理を行ってもよい。例えば、第１の画像データが第２の画像データよりも高い解像度を有するように処理してもよい。解像度を変化させる処理は、それぞれの画像の一部分のみに対して行ってもよい。すなわち、信号処理回路は、第１の画像データが示す画像の少なくとも一部の解像度、および／または第２の画像データが示す画像の少なくとも一部の解像度を変化させる処理を行ってもよい。その場合、信号処理回路７０は、当該処理後の第１の画像データおよび第２の画像データのそれぞれの経時変化に基づき、対象者の状態を示すデータを生成する。以下、そのような処理の例を説明する。
【0120】
図６Ｂは、第１の画像データと第２の画像データの解像度を変化させる処理の一例を示すフローチャートである。この例における信号処理回路７０は、図６Ｂに示すステップＳ１０８からＳ１１４の処理を実行することにより、第１および第２の画像データの解像度を変化させる。上記処理により、信号処理回路７０は、第１の画像データが第２の画像データよりも高い解像度を有するようにすることができる。以下、各ステップの動作を説明する。
【0121】
ステップＳ１０８において、信号処理回路７０は、イメージセンサ３０によって生成された第１の画像データおよび第２の画像データを取得する。
【0122】
ステップＳ１０９において、信号処理回路７０は、第１の画像データから必要な領域を選択する。例えば、視線データを取得する場合は、眼球付近の領域が選択される。
【0123】
ステップＳ１１０において、信号処理回路７０は、第１の画像データの選択した領域のデータについて、高解像度処理を行う。例えば公知の超解像処理を行うことにより、第１の画像データを第２の画像データよりも高い解像度を有するように処理する。なお、信号処理回路７０は、第１の画像データについて、解像度を低下させる処理を行ってもよい。その場合、第１の画像データの解像度の低下率を抑えることにより、第１の画像データが第２の画像データよりも高い解像度を有するようにしてもよい。
【0124】
ステップＳ１１１において、信号処理回路７０は、第２の画像データから必要な領域を選択する。例えば、対象者の額の一部の領域が選択される。
【0125】
ステップＳ１１２において、信号処理回路７０は、第２の画像データに低解像度処理を行う。低解像度化するために、近隣の画素間で信号値の加算平均が行われ得る。加算平均処理を行うことにより、微弱な脳血流信号に含まれるノイズを低減することができる。
【0126】
ステップＳ１１３において、信号処理回路７０は、処理後の第１の画像データおよび第２の画像データを出力する。例えば、信号処理回路７０は、処理後の第１の画像データおよび第２の画像データを記録媒体９０に記録する。
【0127】
ステップＳ１１４において、信号処理回路７０は、処理が終了したか否かを判定する。この判定がＮｏの場合、Ｙｅｓと判定するまで、信号処理回路７０は、ステップＳ１０８からＳ１１３を繰り返す。処理が終了したかの判定は、例えばイメージセンサ３０による画像データの出力が終了したか否か、またはユーザからの停止指示があったか否かに基づいて行われ得る。あるいは、計測開始からの経過時間が既定の時間に達したか否か、または計測開始からのデータの蓄積量が既定のデータ量に達したか否か等に基づいて終了の判定を行ってもよい。
【0128】
信号処理回路７０は、第１の画像データおよび第２の画像データの一方のみについて、解像度を変更する処理を行ってもよい。第１の画像データの解像度を上げ、第２の画像データの解像度を下げる場合、データ量を削減でき、かつ高解像度の顔の外観情報も同時に取得することができる。
【0129】
イメージセンサ３０が第１の画像データを出力する第１のフレームレートと、イメージセンサ３０が第２の画像データを出力する第２のフレームレートとが異なっていてもよい。
【0130】
図６Ｃは、イメージセンサ３０でフレームレートを変化させて画像データを出力し、信号処理回路７０が動画像データを生成する処理の概要を示すフローチャートである。
【0131】
ステップＳ１１５において、イメージセンサ３０は、表面反射成分I１に基づく第１の画像データを高フレームレートで出力する。この場合、フレームレートを高くするために、制御回路６０は、イメージセンサ３０のシャッタタイミングを調整し、１フレーム内の積算露光時間を短くする。フレームレートを高くするために、制御回路６０は、光源２０の発光タイミングを調整して１回の発光時間を長くし、1フレーム内の発光回数を少なくしてもよい。１フレーム内で連続発光を行うことによって、1フレーム内の発光回数を１回にしてもよい。
【0132】
なお、顔の外観情報を取得するためには、光源２０は、ＬＥＤでもよい。顔の外観情報の取得には、光パルスの立ち下がり部分が時間軸に略直角であるＬＤなどのレーザ光は必ずしも必要ではなく、急峻な時間応答特性は必須ではない。
【0133】
ステップＳ１１６において、信号処理回路７０は、ステップＳ１１５で出力された第１の画像データに基づき、顔の外観データを生成して出力する。
【0134】
ステップＳ１１７において、イメージセンサ３０は、内部散乱成分I２に基づく第２の画像データを低フレームレートで出力する。この場合、フレームレートを低くするために、制御回路６０は、イメージセンサ３０のシャッタタイミングを調整し、１フレーム内の積算露光時間を第１の画像データを取得したときよりも長くする。
【0135】
ステップＳ１１８において、信号処理回路７０は、ステップＳ１１７で取得された第２の画像データに基づき、脳血流データを生成する。
【0136】
なお、イメージセンサ３０が低いフレームレートで第２の画像データを出力する代わりに、イメージセンサ３０が全フレームを高フレームレートで出力した後、信号処理回路７０が事後的に複数回分の画像データを積算させて１回分の画像データとして出力してもよい。
【0137】
イメージセンサ３０および信号処理回路７０は、ステップＳ１１９において計測終了の指示を受けるまで、ステップＳ１１５からＳ１１８の処理を繰り返す。なお、第１の画像と第２の画像とで、繰り返し回数が異なっていてもよい。
【0138】
［１－５．サーバ２００および刺激装置１０の制御］
本実施形態における生体計測装置１００は、外部のサーバ２００と連携して使用され得る。サーバ２００は、映像もしくは音声などのコンテンツ、ゲーム、テスト、または課題のデータを蓄積する記憶装置を備える。サーバ２００は、生体計測装置１００の通信回路８０と通信する通信回路も備える。サーバ２００は、ユーザに提供され得る動画またはアプリケーションなどのデータに加えて、信号処理回路７０によって生成された動画像データおよび脳活動の診断データも蓄積する。サーバ２００の一部または全ての機能が生体計測装置１００に内蔵されていてもよい。逆に、生体計測装置１００における信号処理回路７０の一部の機能をサーバ２００が行ってもよい。
本実施形態における生体計測装置１００は、外部のサーバ２００と連携して使用され得る。サーバ２００は、映像もしくは音声などのコンテンツ、ゲーム、テスト、または課題のデータを蓄積する記憶装置を備える。サーバ２００は、生体計測装置１００の通信回路８０と通信する通信回路も備える。サーバ２００は、ユーザに提供され得る動画またはアプリケーションなどのデータに加えて、信号処理回路７０によって生成された動画像データおよび脳活動の診断データも蓄積する。サーバ２００の一部または全ての機能が生体計測装置１００に内蔵されていてもよい。逆に、生体計測装置１００における信号処理回路７０の一部の機能をサーバ２００が行ってもよい。
【0139】
制御回路６０は、刺激制御部６３を備える。刺激制御部６３は、刺激装置１０を制御して、ユーザに映像または音声などの刺激を提供することができる。刺激制御部６３は、例えば、刺激として提供される映像のコンテンツの色相、彩度、もしくは輝度、または音声の種類、音質、もしくは音量を制御することができる。
【0140】
制御回路６０は、信号処理回路７０が推定したユーザの心理状態または身体状態に基づいて、ユーザに次に提供する刺激を決定することができる。例えば、あるコンテンツを視聴しているユーザが、興味または集中力を失っていると判断した場合、異なるコンテンツを表示するように決定することができる。この決定の処理は、サーバ２００が備えるプロセッサが行ってもよい。制御回路６０は、サーバ２００から必要な映像または音声などのデータを取得し、刺激装置１０に当該データに基づく刺激を提供させることができる。
【0141】
［１－６．その他］
生体計測装置１００は、ユーザの２次元像をイメージセンサ３０の受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、イメージセンサ３０の受光面に対して略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化するとユーザの２次元像の拡大率が変更し、イメージセンサ３０上の２次元像の解像度が変化する。したがって、ユーザまでの距離が遠くても測定したい領域を拡大して詳細に観察することが可能となる。
生体計測装置１００は、ユーザの２次元像をイメージセンサ３０の受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、イメージセンサ３０の受光面に対して略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化するとユーザの２次元像の拡大率が変更し、イメージセンサ３０上の２次元像の解像度が変化する。したがって、ユーザまでの距離が遠くても測定したい領域を拡大して詳細に観察することが可能となる。
【0142】
生体計測装置１００は、ユーザとイメージセンサ３０の間に光源２０から発する波長の帯域またはその近傍の光のみを通過させる帯域通過フィルタを備えてもよい。これにより、環境光などの外乱成分の影響を低減することができる。帯域通過フィルタは、多層膜フィルタまたは吸収フィルタによって構成される。光源２０の温度およびフィルタへの斜入射に伴う帯域シフトを考慮して、帯域通過フィルタの帯域幅は２０ｎｍから１００ｎｍ程度の幅を持たせてもよい。
【0143】
生体計測装置１００は、光源２０とユーザとの間、およびイメージセンサ３０とユーザとの間にそれぞれ偏光板を備えてもよい。この場合、光源２０側に配置される偏光板とイメージセンサ３０側に配置される偏光板の偏光方向は直交ニコルの関係である。これにより、ユーザの表面反射成分Ｉ１のうち正反射成分、すなわち入射角と反射角が同じ成分がイメージセンサ３０に到達することを防ぐことができる。つまり、表面反射成分Ｉ１がイメージセンサ３０に到達する光量を低減させることができる。
【0144】
［２．時間分解撮像の動作］
本実施形態における生体計測装置１００は、前述のように、対象部に照射された光の表面反射成分Ｉ１と内部散乱成分Ｉ２とを区別して検出することができる。このような撮像を、本明細書では「時間分解撮像」と称する。
本実施形態における生体計測装置１００は、前述のように、対象部に照射された光の表面反射成分Ｉ１と内部散乱成分Ｉ２とを区別して検出することができる。このような撮像を、本明細書では「時間分解撮像」と称する。
【0145】
以下、本実施形態における生体計測装置１００の動作の例を説明する。
【0146】
図１Ｂに示すように、光源２０がユーザに光パルスを照射すると、表面反射成分Ｉ１および内部散乱成分Ｉ２が発生する。表面反射成分Ｉ１および内部散乱成分Ｉ２の一部が、イメージセンサ３０に到達する。内部散乱成分Ｉ２は、光源２０から発せられてイメージセンサ３０に到達するまでにユーザの内部を通過する。すなわち、内部散乱成分Ｉ２の光路長は、表面反射成分Ｉ１の光路長に比べて長くなる。したがって、内部散乱成分Ｉ２は、イメージセンサ３０に到達する時間が表面反射成分Ｉ１に対して平均的に遅れる。
【0147】
表面反射成分Ｉ１は、例えば以下の動作によって検出され得る。
【0148】
図７は、光源２０から矩形の光パルスが発せられてユーザから戻ってきた光がイメージセンサ３０に到達する光信号の一例を表す図である。横軸は部分（ａ）から（ｄ）においていずれも時間（ｔ）を表す。縦軸は、部分（ａ）から（ｃ）においては強度、部分（ｄ）においては電子シャッタのＯＰＥＮまたはＣＬＯＳＥの状態を表す。部分（ａ）は、表面反射成分Ｉ１を示す。部分（ｂ）は、内部散乱成分Ｉ２を示す。部分（ｃ）は、表面反射成分Ｉ１を示す部分（ａ）と内部散乱成分Ｉ２を示す部分（ｂ）との合算成分を示す。部分（ｄ）は、ユーザの表面反射成分Ｉ１を取得するためのシャッタタイミングを示す。
【0149】
図７の部分（ｄ）に示すようにシャッタをＯＰＥＮにすることにより、イメージセンサ３０に入射する反射光のうち、早く到達する成分を効率的に収集することができる。早く到達する成分は、対象部での散乱が少ないことを意味し、対象部の表面情報を含む。実質的に光が蓄積される時間はパルス波の前端のわずかな時間であるが、シャッタは必ずしもその期間だけである必要はない。図７の部分（ｄ）に示すように、パルス波の前端がイメージセンサ３０に到達するよりも早い段階でシャッタをＯＰＥＮしてもよい。図７の部分（ｄ）に示す例では、露光期間が終了する直前に、反射光パルスの前端部分が検出される。このようなシャッタ制御を採用する場合、ピコセカンドオーダの露光が可能な高価なイメージセンサを用いる必要はない。本実施形態における生体計測装置１００は、安価なイメージセンサ３０によって構成することができる。
【0150】
図７の例において、光源２０は、矩形のパルス波を照射する。このとき、パルス幅はｐｓオーダである必要はなく数ｎｓでよい。したがって、安価な光源を用いることができる。
【0151】
この例では、反射光パルスの前端部分のみが検出されるが、このような検出方法に限定されない。例えば、立ち上がり期間が終了してから、立ち下がり期間が開始するまでの期間が露光期間に含まれていてもよい。そのような検出方法であっても、ユーザの顔の外観を示す画像データを取得することができる。
【0152】
続いて、内部散乱成分Ｉ２の検出方法の例を説明する。
【0153】
図８は、光源２０から矩形の光パルスが発せられてユーザから戻ってきた光がイメージセンサ３０に到達する光信号の他の例を表す図である。図８における部分（ａ）から（ｃ）は、それぞれ図７における部分（ａ）から（ｃ）と同様の時間変化を示している。図８における部分（ｄ）は、内部散乱成分Ｉ２を取得するためのシャッタタイミングを示している。
【0154】
図８における部分（ａ）に示すように、表面反射成分Ｉ１は矩形を維持する。一方、図８における部分（ｂ）に示すように、内部散乱成分Ｉ２はさまざまな光路長の光の合算であるため、光パルスの後端で尾を引いたような特性を示す。すなわち、表面反射成分Ｉ１よりも立ち下がり期間が長くなる。図８における部分（ｃ）の光信号から内部散乱成分Ｉ２の割合を高めて抽出するために、図８における部分（ｄ）に示すように、表面反射成分Ｉ１の後端以降に電子シャッタが電荷蓄積を開始する。表面反射成分Ｉ１の後端以降とは、表面反射成分Ｉ１が立ち下がった時またはその後である。このシャッタタイミングは、制御回路６０によって調整される。前述した通り、本実施形態における生体計測装置１００は表面反射成分Ｉ１と内部散乱成分Ｉ２とを区別して検出する。このため、発光パルス幅およびシャッタ幅は任意である。したがって、従来のストリークカメラを使用した方法と異なり、簡便な構成によって内部散乱成分Ｉ２の取得を実現でき、コストを低下させることができる。
【0155】
図８の部分（ｄ）に示す動作を実行するために、制御回路６０は、イメージセンサ３０に、反射光パルスのうち、立ち下がり期間の少なくとも一部の成分を検出させ、ユーザの２次元像を示す信号を出力させる。本実施形態において、イメージセンサ３０から出力される信号は、反射光パルスのうち、立ち下がり期間の少なくとも一部の成分の光量を示す信号を含み得る。
【0156】
図８の部分（ａ）では、表面反射成分Ｉ１の後端が垂直に立ち下がっている。言い換えると、表面反射成分Ｉ１が立ち下がりを開始してから終了するまでの時間がゼロである。しかし、現実的には光源２０が照射する光パルス自体が完全な垂直でなかったり、ユーザの表面に微細な凹凸があったり、表皮内での散乱により、表面反射成分Ｉ１の後端が垂直に立ち下がらないことがある。また、ユーザは不透明な物体であることから、表面反射成分Ｉ１の光量は、内部散乱成分Ｉ２の光量よりも非常に大きい。したがって、表面反射成分Ｉ１の後端が垂直な立ち下がり位置からわずかにはみ出した場合であっても、内部散乱成分Ｉ２が埋もれてしまう可能性がある。さらに、電子シャッタの読み出し期間中に、電子の移動に伴う時間遅れが発生する場合もある。以上のことから、図８の部分（ｄ）に示すような理想的なバイナリな読み出しが実現できないことがある。その場合には、制御回路６０は、電子シャッタのシャッタタイミングを表面反射成分Ｉ１の立ち下がり開始直後よりもやや遅らせてもよい。例えば、０．５ｎｓから５ｎｓ程度遅らせてもよい。電子シャッタのシャッタタイミングを調整する代わりに、制御回路６０は光源２０の発光タイミングを調整してもよい。言い換えれば、制御回路６０は、電子シャッタのシャッタタイミングと光源２０の発光タイミングとの時間差を調整してもよい。あまりにもシャッタタイミングを遅らせすぎると、もともと小さい内部散乱成分Ｉ２がさらに減少してしまう。このため、表面反射成分Ｉ１の後端近傍にシャッタタイミングを留めておいてもよい。前述のように、額内部の散乱による時間遅れが４ｎｓであるため、シャッタイミングの最大の遅らせ量は４ｎｓ程度であり得る。
【0157】
光源２０から出射された複数の光パルスの各々を、同じ時間差のシャッタタイミングで露光して信号を蓄積してもよい。これにより、内部散乱成分Ｉ２の検出光量が増幅される。
【0158】
ユーザとイメージセンサ３０との間に帯域通過フィルタを配置することに替えて、またはそれに加えて、光源２０に光を出射させない状態で、同じ露光期間で撮影することによってオフセット成分を見積もってもよい。見積もったオフセット成分は、イメージセンサ３０の各画素によって検出された信号から差分によって除去される。これにより、イメージセンサ３０上で発生する暗電流成分および／または外乱光の影響を除去することができる。
【0159】
次に、１フレーム当たりの表面反射成分Ｉ１および内部散乱成分Ｉ２の検出方法の例を説明する。
【0160】
図９Ａは、表面反射成分Ｉ１を検出する場合のタイミングチャートの一例を示している。表面反射成分Ｉ１の検出のために、例えば図９Ａに示すように、光パルスがイメージセンサ３０に到達する前にシャッタをＯＰＥＮにし、光パルスの後端が到達するよりも前にシャッタをＣＬＯＳＥにしてもよい。このようにシャッタを制御することにより、内部散乱成分Ｉ２の混入を少なくすることができる。ユーザの表面近傍を通過した光の割合を大きくすることができる。特に、シャッタＣＬＯＳＥのタイミングを、イメージセンサ３０への光の到達直後にしてもよい。これにより、光路長が比較的短い表面反射成分Ｉ１の割合を高めた信号検出が可能となる。他の表面反射成分Ｉ１の取得方法として、イメージセンサ３０が光パルス全体を取得したり、光源２０から連続光を照射して検出したりしてもよい。
【0161】
図９Ｂは、内部散乱成分Ｉ２を検出する場合のタイミングチャートの一例を示している。この例では、パルスの後端部分がイメージセンサ３０に到達し始めた後、シャッタがＯＰＥＮにされる。このような制御により、内部散乱成分Ｉ２の信号を取得することができる。
【0162】
本実施形態のように、同一のイメージセンサによる時間分割撮像を行えば、時間的および空間的なずれが発生しにくい。同一のイメージセンサで表面反射成分Ｉ１および内部散乱成分Ｉ２の両方の信号を取得する場合、図９Ａおよび図９Ｂに示すように、１フレームごとに取得する成分を切り替えてもよい。あるいは、図５および図６Ａを参照して説明したように、１フレーム内で取得する成分を高速に交互に切り替えてもよい。その場合、表面反射成分Ｉ１と内部散乱成分Ｉ２の検出時間差を低減できる。
【0163】
さらに、表面反射成分Ｉ１と内部散乱成分Ｉ２のそれぞれの信号を、２つの波長の光を用いて取得してもよい。表面反射成分Ｉ１と内部散乱成分Ｉ２を、それぞれ２波長で取得する場合、例えば図４Ａから図５を参照して説明したように、４種類の電荷蓄積を１フレーム内で高速に切り替える方法が利用され得る。そのような方法により、検出信号の時間的なずれを低減できる。
【0164】
［３．脳血流量の変化の検出例］
次に、ユーザの脳血流量の変化を検出する方法の例を説明する。
次に、ユーザの脳血流量の変化を検出する方法の例を説明する。
【0165】
図１０Ａは、脳血流量の時間変化の一例を模式的に示す図である。図１０Ａに示すように、ユーザの対象部が光源２０からの光で照射され、その戻り光が検出される。この場合、表面反射成分Ｉ１は、内部散乱成分Ｉ２に比べ非常に大きい。しかし、前述したシャッタ調整により、内部散乱成分Ｉ２のみを抽出することができる。図１０Ａに示すグラフは、脳血液中の酸素化ヘモグロビン（ＨｂＯ２）および脱酸素化ヘモグロビン（Ｈｂ）のそれぞれの濃度の経時変化の例を示している。この例における内部散乱成分Ｉ２は、２波長の光を用いて取得される。図１０Ａに示す濃度は、平常時における量を基準とする変化量を示している。この変化量は、光の強度信号に基づいて、信号処理回路７０によって算出される。平常状態、集中状態、またはリラックス状態などの脳活動状態に応じて、脳血流量に変化が見られる。対象部内の場所ごとに、例えば、脳活動の違い、または吸収係数もしくは散乱係数の違いがある。このため、ユーザの対象部内の同じ位置で脳血流の経時変化が計測される。脳活動の経時変化を検出する場合、脳血流の絶対量がわからなくても、脳血流の時間的な相対変化から、ユーザの状態を推定することが可能である。
【0166】
図１０Ｂは、ユーザの対象部内の複数箇所で計測を同時に行う場合の例を模式的に示す図である。この例では、２次元の領域が撮像されるため、脳血流量の２次元分布を取得することが可能である。この場合、光源２０の照射パターンは、例えば、均一強度の一様な分布、ドット状の分布、またはドーナツ状の分布であってもよい。均一強度の一様な分布の照射であれば、対象部の照射位置の調整が不要、または簡便にできる。一様な分布の照射であれば、広範囲からユーザの対象部に光が入射する。このため、イメージセンサ３０によって検出される信号を増強することができる。さらに、照射領域内であれば任意の位置で計測できる。ドット状の分布、またはドーナツ状の分布のような部分的な照射であれば、対象部をその照射領域から外すだけで表面反射成分Ｉ１の影響を低減できる。
【0167】
図１１Ａは、光の照射領域２２の例を模式的に示す図である。非接触での脳血流測定では、装置から対象部までの距離の２乗に反比例して検出光量が減衰する。そこで、イメージセンサ３０によって検出される各画素の信号を近傍の複数の画素の信号を積算することによって増強してもよい。このようにすることでＳＮ比を維持したまま積算パルス数を低減できる。これにより、フレームレートを向上させることができる。
【0168】
図１１Ａは、ユーザの頭部のみに光が照射される例を示しているが、ユーザの顔画像を同一の光を用いて取得する場合、顔も照射領域に含まれる。顔画像を他の光を用いて取得する場合は、光源２０からの光が頭部以外の領域を照射する必要はない。
【0169】
図１１Ｂは、ユーザの対象部が横方向にシフトした場合における信号の変化を模式的に示す図である。前述のように、平常状態から脳活動状態が変化したときの脳血流量と、平常状態における脳血流量との差分を検出することにより、脳活動の変化が読み取られる。２次元的に配列された複数の光電変換素子を備えるイメージセンサ３０を使用する場合、図１１Ｂの上段に示すように、２次元の脳活動分布を取得することができる。この場合、平常状態における信号を事前に取得しなくても、２次元分布内での相対的な強度分布から脳活動が活発な部位を検出することができる。本実施形態では非接触で計測が行われるため、図１１Ｂの下段に示すように、対象部の位置が計測中に変化してしまうことがある。これは、例えばユーザが呼吸のために僅かに動いた場合に生じ得る。一般に、脳血流量の２次元分布は微小時間内で急激に変化しない。このため、例えば、検出された２次元分布のフレーム間でのパターンマッチングにより、対象部の位置ずれを補正することができる。あるいは、呼吸のような周期的な動きであれば、その周波数成分のみを抽出し補正または除去をしてもよい。対象部は、単一の領域である必要はなく、複数の領域であってもよい。当該複数の領域は、例えば、左右１個ずつ、あるいは、２×６のマトリックス状のドット分布であってもよい。
【0170】
［４．ユーザの状態の推定］
次に、上記の生体計測装置１００を用いてユーザの状態を推定する方法の例を説明する。生体計測装置１００は、例えば映像または音声のコンテンツを、インターネットなどのネットワークを介して提供するシステムにおいて用いられ得る。そのようなシステムは、例えば、事業者が運営するサーバと、ユーザが保有するパーソナルコンピュータ（ＰＣ）、スマートフォン、またはタブレットなどの各種のコンピュータとを含み得る。図１Ｂに示すサーバ２００は、そのようなシステムにおけるサーバであってもよい。
次に、上記の生体計測装置１００を用いてユーザの状態を推定する方法の例を説明する。生体計測装置１００は、例えば映像または音声のコンテンツを、インターネットなどのネットワークを介して提供するシステムにおいて用いられ得る。そのようなシステムは、例えば、事業者が運営するサーバと、ユーザが保有するパーソナルコンピュータ（ＰＣ）、スマートフォン、またはタブレットなどの各種のコンピュータとを含み得る。図１Ｂに示すサーバ２００は、そのようなシステムにおけるサーバであってもよい。
【0171】
そのようなシステムは、複数のユーザが利用することができる。各ユーザは、生体計測装置１００を利用する。各ユーザは、例えばスマートフォンなどのコンピュータを用いて、サーバから配信されるアプリケーション、動画、またはゲームなどのコンテンツを、刺激装置１０を通じて閲覧することができる。生体計測装置１００は、ユーザが保有するコンピュータに内蔵または外付けされていてもよい。
【0172】
［４－１．ユーザの興味の判定］
一例として、ユーザの興味を判定する方法の例を説明する。この例では、ユーザは、ディスプレイに表示された映像のコンテンツを視聴しており、その間に、前述の方法により、ユーザの顔の外観を示す画像データと、ユーザの脳血流の状態を示す画像データとが繰り返し生成される。この例では、図４Ａから図５を参照して説明したように、２波長の光を用いて、各波長の光による表面反射成分Ｉ１および内部散乱成分Ｉ２に基づく合計４種類の画像データが、フレームごとに生成される。以下、表面反射成分Ｉ１に基づく２種類の画像データを「第１の画像データ」と呼び、内部散乱成分Ｉ２に基づく２種類の画像データを「第２の画像データ」と呼ぶ。信号処理回路７０は、第１の画像データの経時変化に基づき、ユーザの視線の変化を検出し、第２の画像データに基づき、ユーザの脳活動の変化を検出する。信号処理回路７０は、それらの検出結果に基づき、ユーザの興味度が高いタイミングと、そのときにユーザが注視している箇所を特定する。これにより、ユーザが視聴しているコンテンツの中で、どの部分にユーザが強い興味を抱いているかを推定することができる。
一例として、ユーザの興味を判定する方法の例を説明する。この例では、ユーザは、ディスプレイに表示された映像のコンテンツを視聴しており、その間に、前述の方法により、ユーザの顔の外観を示す画像データと、ユーザの脳血流の状態を示す画像データとが繰り返し生成される。この例では、図４Ａから図５を参照して説明したように、２波長の光を用いて、各波長の光による表面反射成分Ｉ１および内部散乱成分Ｉ２に基づく合計４種類の画像データが、フレームごとに生成される。以下、表面反射成分Ｉ１に基づく２種類の画像データを「第１の画像データ」と呼び、内部散乱成分Ｉ２に基づく２種類の画像データを「第２の画像データ」と呼ぶ。信号処理回路７０は、第１の画像データの経時変化に基づき、ユーザの視線の変化を検出し、第２の画像データに基づき、ユーザの脳活動の変化を検出する。信号処理回路７０は、それらの検出結果に基づき、ユーザの興味度が高いタイミングと、そのときにユーザが注視している箇所を特定する。これにより、ユーザが視聴しているコンテンツの中で、どの部分にユーザが強い興味を抱いているかを推定することができる。
【0173】
【0174】
ステップＳ２０１において、信号処理回路７０は、表面反射成分Ｉ１に基づく第１の画像データを取得する。第１の画像データは、前述のように、イメージセンサ３０から第１のフレームレートで繰り返し出力される。
【0175】
ステップＳ２０２において、信号処理回路７０は、第１の画像データに基づき、視線データＪ１を生成する。視線データＪ１は、ユーザの視線の方向を示すデータである。視線データＪ１は、例えば、ユーザの瞳孔中心の座標を示すデータであり得る。ユーザの瞳孔中心の座標は、例えば公知の角膜反射法を用いて、ユーザの瞳孔の中心位置と、角膜反射像であるプルキニエ像との位置関係から計算され得る。角膜反射法による眼球位置の計算方法には種々の方法が存在する。例えば、非特許文献１に開示されているように、カメラから見た瞳孔中心の水平方向および垂直方向における移動量をディスプレイ平面に写像する方法を用いることができる。本実施形態では、第１の画像データは、８０５ｎｍよりも短い波長の光による画像データと、８０５ｎｍよりも長い波長の光による画像データとを含む。視線データの生成は、これらの２種類の画像データの一方のみに基づいて生成してもよいし、両方に基づいて生成してもよい。
【0176】
ステップＳ２０３において、信号処理回路７０は、内部散乱成分Ｉ１に基づく第２の画像データを取得する。第２の画像データは、前述のように、イメージセンサ３０から第２のフレームレートで繰り返し出力される。
【0177】
ステップＳ２０４において、信号処理回路７０は、第２の画像データに基づき、脳血流データＪ２を生成する。脳血流データＪ２は、ユーザの脳血流の状態を示すデータである。脳血流データＪ２は、例えば、脳血液中の酸素化ヘモグロビン（ＨｂＯ２）および脱酸素化ヘモグロビン（Ｈｂ）の濃度のそれぞれの濃度を示すデータであり得る。本実施形態においては、第２の画像データは、８０５ｎｍよりも短い波長の光による画像データと、８０５ｎｍよりも長い波長の光による画像データとを含む。前述のように、波長８０５ｎｍよりも長い波長の光については、ＨｂＯ２による吸光度がＨｂによる吸光度に比べて大きい。逆に、波長８０５ｎｍよりも短い波長の光については、Ｈｂによる吸光度がＨｂＯ２による吸光度に比べて大きい。したがって、各画素におけるそれらの検出光量の値を用いて、予め定められた連立方程式を解くことにより、血液中のＨｂＯ２とＨｂの各濃度の、基準値からの変化量を求めることができる。それらの変化量のデータを、脳血流データＪ２として用いることができる。あるいは、ＨｂＯ２とＨｂの一方の濃度を示すデータを脳血流データＪ２としてもよい。
【0178】
ステップＳ２０５において、信号処理回路７０は、視線データＪ１および脳血流データＪ２に基づき、ユーザの興味を判定し、判定結果を示すデータを記録する。この判定処理の詳細は、図１２Ｂを参照して後述する。
【0179】
信号処理回路７０は、ステップＳ２０６において計測終了の指示を受けるまで、ステップＳ２０１からＳ２０５の処理を繰り返す。
【0180】
【0181】
ステップＳ３０１において、信号処理回路７０は、視線データＪ１に基づき、視線座標の動きを算出する。視線座標の動きは、例えば、視線座標と、前回のサンプリングのタイミングにおける視線座標との差分であり得る。
【0182】
ステップＳ３０３において、信号処理回路７０は、差分が閾値未満であるかを判定する。例えば、水平方向をＸ軸方向、垂直方向をＹ軸方向として、信号処理回路７０は、Ｘ座標とＹ座標のそれぞれについて、視線座標の差分が±１０などの所定の閾値未満であるかを判定する。
【0183】
視線位置の差分が閾値以上の場合、視線が移動していると判断できる。その場合、その後の処理を省略してステップＳ２０６に進む。一方、視線位置の差分が閾値未満の場合、ステップＳ３０５に進む。
【0184】
ステップＳ３０５において、信号処理回路７０は、その視線位置での滞留時間を算出する。滞留時間は、前回のサンプリングのタイミングで計算した滞留時間に、サンプリングの時間間隔を加算することによって計算され得る。
【0185】
ステップＳ３０７において、信号処理回路７０は、計算した滞留時間が、所定の閾値を超えているか否かを判断する。滞留時間が閾値未満である場合には、以降の処理を省略し、ステップＳ２０６に進む。一方、滞留時間が閾値以上である場合には、ユーザがその箇所を注視していると判断し、ステップＳ３１３に進む。
【0186】
ステップＳ３１３において、信号処理回路７０は、ステップＳ２０４で生成した脳血流データＪ２に基づき、脳血流の基準値からの変化量が閾値以上であるかを判定する。例えば、脳血液中の酸素化ヘモグロビン濃度および脱酸素化ヘモグロビン濃度のそれぞれについて、基準値からの変化量の閾値が予め設定され得る。信号処理回路７０は、脳血液中の酸素化ヘモグロビン濃度および脱酸素化ヘモグロビン濃度のそれぞれについて、基準値からの変化量が、それぞれの閾値以上であるかを判定する。この判定がＮｏの場合、ユーザの興味度が低いと推定されるため、その後の処理を省略してステップＳ２０６に進む。この判定がＹｅｓの場合、ユーザの興味度が高いと推定され、ステップＳ３１５に進む。
【0187】
ここで、図１３を参照して、脳血流データＪ２に基づく判定処理の一例を説明する。図１３は、脳血液中の酸素化ヘモグロビン（Ｏｘｙ－Ｈｂ）および脱酸素化ヘモグロビン（Ｄｅｏｘｙ－Ｈｂ）のそれぞれの濃度の経時変化の一例を示している。横軸は時間、縦軸は、基準値からのそれぞれの濃度の変化量を示している。このデータは、視線を固定した状態で、本実施形態の生体計測装置１００を用いて前頭葉の血流量を計測することによって得られた。視線は動かさずに、視線の先に、興味を持つものと、持たないものとを順次提示する実験が行われた。図１３に示す結果から、興味があるものを見ているときと、興味がないものを見ているときとで、脳血流の経時変化の傾向が異なることがわかる。図１３に示す結果によると、興味があるものを見ているときには、Ｏｘｙ－Ｈｂの濃度が増加し、Ｄｅｏｘｙ－Ｈｂの濃度が減少する傾向がある。したがって、Ｏｘｙ－Ｈｂの濃度およびＤｅｏｘｙ－Ｈｂの濃度の一方または両方の、基準値からの変化量に基づいて、ユーザの興味度を推定することができる。
【0188】
なお、本実施形態では、ユーザの興味の有無が推定されるが、同様の方法で、恐怖、眠気、快感、または疲労感などの、他の心理状態または身体状態を推定することもできる。例えば非特許文献２には、不快な刺激でＯｘｙ－Ｈｂが増加し、恐怖刺激による不安で右前頭全皮質（ＰＦＣ）のＯｘｙ－Ｈｂが増加することが報告されている。さらに、暗算課題による認知的負荷に対して、右側のｏｘｙ－Ｈｂが増加し、笑顔を見たときには眼窩前頭皮質（ＯＦＣ）領域でのＯｘｙ－Ｈｂの脳血流が増加するなどの報告がある。非特許文献３は、自覚的な眠気が強いほど、眠気を感じていない場合に比べて言語流暢性課題を実施している時の前頭葉背外側部（ＤＬＰＦＣ）のＯｘｙ－Ｈｂの増加量が小さい、または、Ｏｘｙ－Ｈｂが減少することを開示している。非特許文献４は、言語流暢性課題による前頭葉の賦活を近赤外分光法（ＮＩＲＳ）で検討すると、疲労感を自覚しているほど、両側の前頭葉腹外側部（ＶＬＰＦＣ）のＯｘｙ－Ｈｂの増加量が小さいことを開示している。さらに、非特許文献５は、課題に夢中になり、集中しているときには、前頭皮質のＯｘｙ－Ｈｂが減少することを開示している。したがって、本実施形態の生体計測方法は、ユーザの興味の程度に限らず、他の心理状態または身体状態を推定する目的でも利用することができる。
【0189】
再び図１２Ｂを参照する。ステップＳ３１３において、Ｙｅｓと判断されると、ステップＳ３１５に進む。ステップＳ３１５において、信号処理回路７０は、ユーザが視聴しているコンテンツにおけるそのときの時刻情報を取得する。
【0190】
ステップＳ３１７において、信号処理回路７０は、そのときの視線座標と時刻とを統合してサーバ２００に保存する。これにより、ユーザが注視しているコンテンツ中の対象の位置と、時刻とが関連付けられて保存される。
【0191】
なお、図１２Ｂに示す動作は、一例に過ぎず、様々な改変が可能である。例えば、図１２Ｃに示すように、ステップＳ３０１からＳ３０７の処理と、ステップＳ３１３の処理とを入れ替えてもよい。図１２Ｃの例では、まずステップＳ３１３において、脳血流の基準値からの変化量が閾値以上であるかが判定される。この判定がＮｏの場合には、以降の処理を省略し、ステップＳ２０６に進む。この判定がＹｅｓの場合にのみ、ステップＳ３０１以降の処理に進む。このような動作であっても、同様の効果を得ることができる。図１２Ａの例では、ステップＳ２０５の動作が、ユーザがコンテンツを視聴している最中にリアルタイムで行われる。ステップＳ２０５の動作は、視聴中のステップＳ２０１からＳ２０４の動作が全て完了してから行われてもよい。その場合、信号処理回路７０は、図１２Ａまたは図１２Ｂの動作を、所定のサンプリング間隔で、繰り返し行ってもよい。
【0192】
以上の動作により、ユーザが視聴しているコンテンツ中で、ユーザがどの対象に興味を抱いているかを特定することができる。サーバ２００は、ユーザごとに、かつコンテンツごとに、視線座標と時刻とを関連付けたデータを蓄積してもよい。各ユーザの生体計測装置１００における制御回路６０は、サーバ２００に蓄積されたデータに基づいて、ユーザに提示される刺激またはコンテンツを変更するなどの制御を行ってもよい。
【0193】
［４－２．ユーザの興味の判定後の応用処理１］
次に、ユーザの興味の判定後の処理の例を説明する。
次に、ユーザの興味の判定後の処理の例を説明する。
【0194】
図１４Ａは、コンテンツ中でユーザが興味を抱いているオブジェクトを特定する処理の一例を示すフローチャートである。
【0195】
ステップＳ４０１において、信号処理回路７０は、サーバ２００からコンテンツのデータＤ１を読み込む。データＤ１は、ユーザに提示される映像、音声、アプリケーション、ゲーム、課題などのコンテンツのデータである。
【0196】
ステップＳ４０２において、信号処理回路７０は、視線座標および時刻のデータＤ２をサーバ２００から読み込む。データＤ２は、前述のステップＳ３１７において予め記録されている。
【0197】
ステップＳ４０３において、信号処理回路７０は、データＤ１およびＤ２に基づき、コンテンツ中で、ユーザが興味をもっている１つ以上のオブジェクトを特定する。オブジェクトは、例えば特定の人物、動物、植物、機械、建造物、または景色であり得る。ステップＳ４０３の処理の詳細については図１４Ｂを参照して後述する。
【0198】
ステップＳ４０４において、信号処理回路７０は、コンテンツ中でユーザが興味をもっている１つ以上のオブジェクトの特定結果をサーバ２００に記録する。
【0199】
以下、ステップＳ４０３の動作の詳細を説明する。
【0200】
図１４Ｂは、ステップＳ４０３の動作の詳細を示すフローチャートである。信号処理回路７０は、図１４Ｂに示すステップＳ５１１からＳ５１４の処理を、コンテンツの全シーンにわたって繰り返す。その後、信号処理回路７０は、ステップＳ５２１の処理を実行する。
【0201】
ステップＳ５１１において、信号処理回路７０は、コンテンツ中の各オブジェクトの位置情報を取得する。オブジェクトは、例えば、アプリケーションまたは動画中に登場する人物、動物、植物などのオブジェクトであり得る。各オブジェクトの位置情報は、コンテンツのデータＤ１に含まれていてもよいし、信号処理回路７０がデータＤ１を解析することによって生成してもよい。
【0202】
ステップＳ５１２において、信号処理回路７０は、各オブジェクトの提示時間の情報を取得する。ここで提示時間は、コンテンツ中のどのタイミングで当該オブジェクトが登場するかを示す。この時間情報についても、データＤ１に予め含まれていてもよいし、信号処理回路７０がデータＤ１を解析することによって生成してもよい。
【0203】
ステップＳ５１３において、信号処理回路７０は、オブジェクトの位置情報と時間情報とを統合してメモリまたはサーバ２００に記録する。
【0204】
ステップＳ５１１からＳ５１３の処理は、ステップＳ５１４においてコンテンツの全シーンについて完了したと判定されるまで、繰り返される。コンテンツの全シーンについてステップＳ５１１からＳ５１３の処理が完了すると、ステップＳ５２１に進む。
【0205】
ステップＳ５２１において、信号処理回路７０は、データＤ２が示す視線座標および時間と、各オブジェクトの位置および提示時間とを照合することにより、ユーザが興味をもっているオブジェクトを特定する。例えば、視線座標とオブジェクトの位置座標とが、ともに同一のディスプレイ座標系で表現されている場合には、単純に比較するだけで座標の照合が可能である。ステップＳ５２１が終了すると、図１４Ａに示すステップＳ４０４に進み、特定結果が記録される。
【0206】
［４－３．ユーザの興味の判定後の応用処理２］
次に、ユーザの興味対象に応じて、ユーザに提示するコンテンツを変更する処理の例を説明する。
次に、ユーザの興味対象に応じて、ユーザに提示するコンテンツを変更する処理の例を説明する。
【0207】
本実施形態では、ユーザにアプリケーションまたは動画などのコンテンツが提示されている間、生体計測装置１００は、ユーザの顔の外観を示すデータと、脳血流の状態を示すデータの生成を開始する。生成したデータに基づいてユーザの興味の対象が明らかとなれば、興味の対象に応じて、次に提示するアプリケーションまたは動画などのコンテンツの内容を適切に変化させることができる。例えば、ユーザが旅行紹介動画の視聴中に、当該ユーザが宿泊先に興味があることがわかった場合、動画の内容を宿泊先情報に焦点を当てた内容に変化させる、といった制御が可能である。一方、ユーザがアプリケーションまたは動画を見ている最中に興味の反応を一切示さない場合には、事前に決められたテンプレートの内容が提示されるようにすることも可能である。
【0208】
このように、ユーザの顔の外観を示す動画像データと、ユーザの脳血流の状態を示す動画像データとに基づいて、ユーザに付与される刺激を制御することができる。その際、制御回路６０における刺激制御部６３は、刺激装置１０に、生体反応の分類に関連付けられた映像および音の少なくとも一方を出力させることができる。生体反応の分類は、例えば、「興味あり」および「興味なし」といった２値の分類であり得る。他にも、興味その他の状態の程度を３段階以上に分類したものであってもよい。
【0209】
図１５は、ユーザの興味対象に応じてコンテンツの内容を変化させる処理の一例を示すフローチャートである。
【0210】
ステップＳ６０１において、信号処理回路７０は、ユーザに提示されているコンテンツの情報をサーバ２００から読み込む。ステップＳ６０２において、信号処理回路７０は、図１４ＡのステップＳ４０４で記録されたユーザが興味をもっているオブジェクトの情報を読み込む。
【0211】
ステップＳ６０３において、信号処理回路７０は、サーバ２００にアクセスし、興味対象のコンテンツを検索する。例えば、ユーザが不動産に興味を持っていることがわかった場合には、信号処理回路７０は、不動産情報を含むコンテンツを検索する。
【0212】
ステップＳ６０４において、信号処理回路７０は、ユーザの興味対象に該当するコンテンツが存在するか否かを判断する。該当するコンテンツがない場合には、ステップＳ６０６に進み、事前に決められたテンプレートのコンテンツが提示される。該当するコンテンツがある場合には、ステップＳ６０５に進み、興味対象のコンテンツが提示される。
【0213】
以上の動作が、ステップＳ６０７において、コンテンツが終了したと判断されるまで繰り返される。以上の動作により、ユーザの興味対象に応じた適切なコンテンツをユーザに提示することができる。
【0214】
【0215】
図１６は、ネットワークに接続可能なディスプレイを備えた刺激装置１０が、サーバ２００によって提示された動画を刺激としてユーザに付与している状況を模式的に示している。ユーザは、ＰＣまたはテレビ等の刺激装置１０から動画等の刺激を付与される。ユーザが動画を視聴している間に、ＰＣまたはテレビに内蔵または外付けされた生体計測装置１００が、ユーザの脳血流情報および外観情報を取得する。
【0216】
図１７は、ユーザの興味対象に応じて、ユーザに提示するコンテンツの内容を変えるシステムの一例を示す図である。この例では、ＰＣ、テレビ、タブレット、スマートフォン、ヘッドマウントディスプレイなどの情報機器に内蔵または外付けされた生体計測装置１００と、信号処理回路７０およびサーバ２００とが、異なる場所に配置され、ネットワーク５００を介して互いに接続されている。この例のように、図１Ｂに示す信号処理回路７０は、生体計測装置１００の外部に設けられていてもよい。
【0217】
この例では、生体計測装置１００によってユーザから取得された脳血流情報と外観情報は、ネットワーク５００を介して信号処理回路７０に送信される。信号処理回路７０は、受信した情報を用いてユーザの興味対象を判定する。判定された興味対象に基づいて、次にユーザに提示される動画中のシーンが決定され、そのシーンを示すデータがディスプレイなどの刺激装置１０に送信される。ユーザに提示される映像の刺激は、ユーザの興味対象に応じて、リアルタイムに、または一定の時間ごとに変化し得る。例えば、動画は、連続的に再生される複数のシーンによって構成される。シーン２以降については、前のシーンでのユーザの興味の分類に応じてその内容を決定することができる。
【0218】
［５．他の実施形態］
上記の実施形態は一例に過ぎず、各種の変更を行ってもよい。以下、前述した構成および動作の例とは異なる点を中心に説明し、共通する部分の説明は省略する。
上記の実施形態は一例に過ぎず、各種の変更を行ってもよい。以下、前述した構成および動作の例とは異なる点を中心に説明し、共通する部分の説明は省略する。
【0219】
［５－１．瞳孔径による理解度判定］
例えば、イメージセンサ３０から出力された信号に基づき、ユーザの瞳孔径を検出しても良い。脳が必死に稼働しようとすると自律神経系の働きで瞳孔径が拡張され、そうでないときは縮小する。ユーザの瞳孔径の情報は、瞳認識技術を搭載した信号処理回路７０によって取得され得る。信号処理回路７０は、検出した瞳孔径と、図１２Ａに示すステップＳ２０４で生成した脳血流の変化を示す情報とを基に、学習中のユーザの理解度を判定することもできる。例えば、生体計測装置１００は、外国語のレッスン中のユーザの瞳孔径と脳血流変化を検出することで、会話についていっているのかを判定することができる。瞳孔径が小さくなり脳血流変化が検出されない場合は、ユーザが頷いていても内容を理解していない可能性がある。その場合には、その旨を講師に知らせるシステムを構築することができる。あるいは、生体計測装置１００が搭載された情報発信端末またはＡＩロボットが、イメージセンサ３０によって取得された画像データから検出されたユーザの瞳孔径と脳血流変化の情報に基づきユーザの理解度を読み取ってもよい。読み取った理解度に応じて、ユーザに提示する情報または会話の内容を臨機応変に変更するヒューマンマシーンインターフェースに本開示の技術を応用することができる。ユーザの瞳孔径が大きくなった場合には、ユーザが理解に窮している可能性がある。その場合には、情報の提供または会話を繰り返したり遅くしたりしてもよい。
例えば、イメージセンサ３０から出力された信号に基づき、ユーザの瞳孔径を検出しても良い。脳が必死に稼働しようとすると自律神経系の働きで瞳孔径が拡張され、そうでないときは縮小する。ユーザの瞳孔径の情報は、瞳認識技術を搭載した信号処理回路７０によって取得され得る。信号処理回路７０は、検出した瞳孔径と、図１２Ａに示すステップＳ２０４で生成した脳血流の変化を示す情報とを基に、学習中のユーザの理解度を判定することもできる。例えば、生体計測装置１００は、外国語のレッスン中のユーザの瞳孔径と脳血流変化を検出することで、会話についていっているのかを判定することができる。瞳孔径が小さくなり脳血流変化が検出されない場合は、ユーザが頷いていても内容を理解していない可能性がある。その場合には、その旨を講師に知らせるシステムを構築することができる。あるいは、生体計測装置１００が搭載された情報発信端末またはＡＩロボットが、イメージセンサ３０によって取得された画像データから検出されたユーザの瞳孔径と脳血流変化の情報に基づきユーザの理解度を読み取ってもよい。読み取った理解度に応じて、ユーザに提示する情報または会話の内容を臨機応変に変更するヒューマンマシーンインターフェースに本開示の技術を応用することができる。ユーザの瞳孔径が大きくなった場合には、ユーザが理解に窮している可能性がある。その場合には、情報の提供または会話を繰り返したり遅くしたりしてもよい。
【0220】
［５－２．ヘッドマウントディスプレイまたはスマートフォンを用いた応用例］
生体計測装置１００をヘッドマウントディスプレイまたはスマートフォンなどのデバイスに組み込んでもよい。
生体計測装置１００をヘッドマウントディスプレイまたはスマートフォンなどのデバイスに組み込んでもよい。
【0221】
【0222】
ヘッドマウントディスプレイまたはスマートフォンの実施形態では、ヘッドマウントディスプレイまたはスマートフォンに内蔵または外付けされているカメラが、脳血流情報と顔の外観情報とを取得する。ヘッドマウントディスプレイまたはスマートフォンの実施形態では、以下のような利用が可能である。
【0223】
例えば、図１２ＡのステップＳ２０２における視線データＪ１と、ステップＳ２０４における脳血流データＪ２とに基づいて、ユーザが興味を抱いているディスプレイ上の位置を特定することができる。特定した位置の情報に基づいて、例えば以下のような制御が可能である。
・ユーザが興味を抱いているディスプレイ上の位置を強調表示する。
・当該位置の付近の解像度を上げる。
・当該位置にポインタまたはカーソルを表示する。
・興味のあるオブジェクトを特定し、そのオブジェクトの詳細情報を表示する。なお、オブジェクトは、実物でも仮想的なのもでもよい。
・興味のあるオブジェクトの情報を情報発信元にフィードバックする。例えば、サーバにフィードバックした内容を示すデータを記録する。
・ユーザ情報と結びつけてサーバに興味情報を記録する。
・ユーザが長時間余所見をしている場合にスマートフォンの電源をＯＦＦまたはスリープ状態にする。
・ユーザが興味を抱いているディスプレイ上の位置を強調表示する。
・当該位置の付近の解像度を上げる。
・当該位置にポインタまたはカーソルを表示する。
・興味のあるオブジェクトを特定し、そのオブジェクトの詳細情報を表示する。なお、オブジェクトは、実物でも仮想的なのもでもよい。
・興味のあるオブジェクトの情報を情報発信元にフィードバックする。例えば、サーバにフィードバックした内容を示すデータを記録する。
・ユーザ情報と結びつけてサーバに興味情報を記録する。
・ユーザが長時間余所見をしている場合にスマートフォンの電源をＯＦＦまたはスリープ状態にする。
【0224】
他にも、図１２ＡのステップＳ２０２における視線データＪ１の代わりに、ユーザの瞬きの頻度または時間間隔を示す情報を顔の外観の変化を示す情報として利用してもよい。瞬きの頻度または時間間隔を示す情報と、脳血流の変化を示す情報とに基づいて、ユーザの疲労度または集中度を推定することができる。推定した疲労度または集中度の情報に基づいて、例えば以下のような制御が可能である。
・休憩を促すメッセージを表示する。
・リラックス効果のある画像を表示する。
・使用者の疲労度、作業負荷、作業の難易度、または作業の習熟度をモニタする。
・ディスプレイの照度を下げる。
・アプリケーションまたはゲームに対する使用者の習熟度をモニタする。
・スマートフォンの電源をＯＦＦまたはＯＮする。
・休憩を促すメッセージを表示する。
・リラックス効果のある画像を表示する。
・使用者の疲労度、作業負荷、作業の難易度、または作業の習熟度をモニタする。
・ディスプレイの照度を下げる。
・アプリケーションまたはゲームに対する使用者の習熟度をモニタする。
・スマートフォンの電源をＯＦＦまたはＯＮする。
【0225】
他にも、瞬きの頻度または時間間隔の情報と、脳血流の変化情報とに基づいて、ユーザの眠気を推定することもできる。推定した眠気の情報に基づいて、例えば以下のような制御が可能である。
・ヘッドマウント装置の電源をＯＦＦまたはＯＮにする。
・リフレッシュを促すメッセージを表示する。
・覚醒効果のある画像を表示する。
・ヘッドマウント装置の電源をＯＦＦまたはＯＮにする。
・リフレッシュを促すメッセージを表示する。
・覚醒効果のある画像を表示する。
【0226】
さらに、瞳孔径の情報と、脳血流の変化情報とに基づいて、コンテンツに対する興味度合い、または、照度の適正評価に関わる情報を取得することができる。コンテンツに対する興味度合い、または、照度の適正評価に関わる情報に基づいて、コンテンツを切り換えるか否かを決定したり、照度を上げたり、照度を下げたりするなどの制御が可能である。
【0227】
本開示の実施形態では、顔画像の経時変化を示すデータと、脳血流の経時変化を示すデータとを取得することができる。これらのデータに基づいて、ユーザの特定または認証に関する情報を取得することもできる。ユーザの特定または認証に関する情報に基づいて、例えば以下のような制御が可能である。
・表示するコンテンツを選択する。
・対象外の使用者の場合、装置を起動しない。
・使用時間の上限を設け疲労蓄積を抑制する。
・表示するコンテンツを選択する。
・対象外の使用者の場合、装置を起動しない。
・使用時間の上限を設け疲労蓄積を抑制する。
【0228】
顔画像だけでなく、脳血流情報を利用することにより、特殊メイクなどで使われるシリコンマスクを用いた変装、写真、またはマネキンを利用した本人なりすましを防止することができる。
【0229】
［５－３．車載用途への応用例］
生体計測装置１００を車両に搭載して利用することもできる。図２０は、車両に搭載された生体計測装置１００をユーザが利用している状況を模式的に示す図である。
生体計測装置１００を車両に搭載して利用することもできる。図２０は、車両に搭載された生体計測装置１００をユーザが利用している状況を模式的に示す図である。
【0230】
この例において、生体計測装置１００は、車両に内蔵されていてもよし、外付けされていてもよい。生体計測装置１００は、生体計測に特化した装置でもよいし、ドライビングレコーダまたはカーナビゲーションなどの他の装置に内蔵されていてもよい。刺激は、ユーザ以外の人を対象に提示されてもよい。
【0231】
車両に生体計測装置１００を搭載した場合、以下のような利用が考えられる。例えば、顔の外観の変化を示す情報として視線または瞬きに関する情報が取得され得る。視線または瞬きに関する情報と、脳血流の変化情報とに基づいて、例えば、心筋梗塞または脳卒中などの急な病気、または飲酒などの正常ではない意識状態を示す情報を取得することができる。急な病気、または正常ではない意識状態を示す情報に基づいて、例えば以下のような制御が可能である。
・車両を停止させる。
・ハザードランプまたはバスの青ランプを点滅させる。
・バスの電光掲示板を「緊急事態発生」と切り替える。
・自動運転に切り換えて車を安全に停止させる。
・休憩または注意を促す音声メッセージを発する。
・最高速度にリミットをかける。
・エンジンを動作させない。
・車両を停止させる。
・ハザードランプまたはバスの青ランプを点滅させる。
・バスの電光掲示板を「緊急事態発生」と切り替える。
・自動運転に切り換えて車を安全に停止させる。
・休憩または注意を促す音声メッセージを発する。
・最高速度にリミットをかける。
・エンジンを動作させない。
【0232】
このような例においては、刺激装置１０は、例えば車のライトまたは電光掲示板であり得る。その場合、刺激はユーザ以外の人を対象に提示され得る。
【0233】
さらに、瞳孔径または視線の情報と脳血流の変化情報とに基づいて、注視点への興味を示す情報を取得することもできる。注視点への興味を示す情報に基づいて、例えば、注視点のオブジェクトの詳細情報、例えばおすすめ情報または駐車場の空き情報を表示したり、当該オブジェクトに関するメッセージを発したりするなどの制御を行うことができる。
【0234】
他にも、顔画像の変化情報と、脳血流の変化情報とを基に、使用者の特定または認証に関わる情報を取得することができる。使用者の特定または認証に関わる情報に基づいて、対象外の使用者が運転しようとしている場合には、装置を起動しない、またはエンジンの稼働を止めるなどの制御を行うことができる。
【0235】
［５－４．介護または入院時での応用例］
さらに、介護または入院時のベッド上に生体計測装置１００を設置して利用してもよい。図２１は、対象者すなわち患者が生体計測装置１００をベッド上で利用する例を示している。
さらに、介護または入院時のベッド上に生体計測装置１００を設置して利用してもよい。図２１は、対象者すなわち患者が生体計測装置１００をベッド上で利用する例を示している。
【0236】
このような例では、顔外観の変化情報として、患者の視線または表情に関する情報が取得され得る。視線または表情に関する情報と、脳血流の変化情報とに基づいて、認知状態、痛み、尿意、または便意などの患者の身体状態を示す情報を取得することができる。患者の身体状態を示す情報に基づいて、介護者、看護師、または医師に情報を送信するなどの制御が可能である。
【0237】
顔外観の変化情報として、瞳孔径に関する情報を取得することもできる。取得した瞳孔径に関する情報と、脳血流の変化情報とに基づいて、意識レベルまたはバイタル状態を示す情報を取得することができる。意識レベルまたはバイタル状態を示す情報に基づいて、介護者、看護師、または医師に情報を送信するなどの制御が可能である。
【産業上の利用可能性】
【0238】
本開示における生体計測装置は、非接触でユーザの内部情報を取得するカメラ、測定機器、または情報機器などの種々の装置に利用可能である。
【符号の説明】
【0239】
１０ 刺激装置
２０ 光源
３０ イメージセンサ
６０ 制御回路
７０ 信号処理回路
８０ 通信回路
９０ 記録媒体
１００ 生体計測装置
２００ サーバ
２０ 光源
３０ イメージセンサ
６０ 制御回路
７０ 信号処理回路
８０ 通信回路
９０ 記録媒体
１００ 生体計測装置
２００ サーバ
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12A】
【図12B】
【図12C】
【図13】
【図14A】
【図14B】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】