特許 5923180 生体情報計測装置及びそれを用いた入力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5923180

(24)【登録日】2016年4月22日

(45)【発行日】2016年5月24日

(54)【発明の名称】生体情報計測装置及びそれを用いた入力装置

(51)【国際特許分類】

   A61B 5/0245 20060101AFI20160510BHJP

   A61B 5/00 20060101ALI20160510BHJP

   A61B 5/11 20060101ALI20160510BHJP

【ＦＩ】

   A61B5/02 710Z

   A61B5/00 101A

   A61B5/10 310A

【請求項の数】15

【全頁数】15

(21)【出願番号】特願2014-545770(P2014-545770)

(86)(22)【出願日】2013年11月8日

(86)【国際出願番号】JP2013080265

(87)【国際公開番号】WO2014073645

(87)【国際公開日】20140515

【審査請求日】2015年5月1日

(31)【優先権主張番号】特願2012-247983(P2012-247983)

(32)【優先日】2012年11月12日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000010098

【氏名又は名称】アルプス電気株式会社

(74)【代理人】

【識別番号】100085453

【弁理士】

【氏名又は名称】野▲崎▼ 照夫

(74)【代理人】

【識別番号】100120204

【弁理士】

【氏名又は名称】平山 巌

(74)【代理人】

【識別番号】100108006

【弁理士】

【氏名又は名称】松下 昌弘

(74)【代理人】

【識別番号】100135183

【弁理士】

【氏名又は名称】大窪 克之

(72)【発明者】

【氏名】山下 龍麿

(72)【発明者】

【氏名】鎌田 智也

【審査官】 伊藤 幸仙

(56)【参考文献】

【文献】 特開平０９−２６２２１３（ＪＰ，Ａ）

【文献】 特開２００８−１２５６１９（ＪＰ，Ａ）

【文献】 特開２０１０−０５１５９２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／２３８０８７（ＵＳ，Ａ１）

【文献】 欧州特許出願公開第２９１８２２５（ＥＰ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０２ − ５／０３

Ａ６１Ｂ ５／００

Ａ６１Ｂ ５／１１

(57)【特許請求の範囲】

【請求項1】

対象者の瞳孔を検出することが可能な撮像部と、
前記撮像部により得られた画像データから瞳孔領域を検出することが可能な検出部と、
前記瞳孔領域の周囲の少なくとも一部の肌領域の輝度を取得する輝度取得部と、
前記肌領域の輝度から前記対象者の生体情報を計測する生体計測部と、
を有することを特徴とする生体情報計測装置。

【請求項2】

前記撮像部は、撮像素子と、前記対象者に向けて光を照射可能な発光素子と、を有して構成される請求項１記載の生体情報計測装置。

【請求項3】

前記撮像素子は、複数設けられる請求項２記載の生体情報計測装置。

【請求項4】

前記発光素子は、第１の波長を有する赤外線を照射する第１の発光素子と、前記第１の波長よりも長い第２の波長を有する赤外線を照射する第２の発光素子と、を有し、
前記第１の波長を有する赤外線を照射した条件で明瞳孔画像が撮像され、前記第２の波長を有する赤外線を照射して、あるいは前記赤外線を照射せずに暗瞳孔画像が撮像され、
前記検出部では、前記明瞳孔画像と前記暗瞳孔画像との差分画像により前記瞳孔領域を検出する請求項２に記載の生体情報計測装置。

【請求項5】

前記検出部では、角膜反射像を検出可能である請求項２に記載の生体情報計測装置。

【請求項6】

前記輝度取得部では、複数の前記撮像素子、あるいは、異なる波長で撮影された前記肌領域の輝度の平均値を取得して、前記生体計測部に入力する請求項１に記載の生体情報計測装置。

【請求項7】

前記検出部では、瞳孔追跡が実行される請求項１に記載の生体情報計測装置。

【請求項8】

前記検出部では、前記対象者の視線が検出される請求項１に記載の生体情報計測装置。

【請求項9】

前記検出部では、前記対象者の顔の向きが検出される請求項１に記載の生体情報計測装置。

【請求項10】

前記輝度取得部では、前記瞳孔領域の下側に位置する前記肌領域の輝度を取得する請求項１に記載の生体情報計測装置。

【請求項11】

前記対象者の両目の前記瞳孔領域を取得した際に、前記輝度取得部が前記肌領域の輝度を取得する請求項１に記載の生体情報計測装置。

【請求項12】

前記生体情報計測装置が車両内に配置される請求項１に記載の生体情報計測装置。

【請求項13】

請求項１の生体情報計測装置と、入力操作部と、を有し、
前記生体情報計測装置からの情報に基づいて、所定の入力操作あるいは所定の情報発信が実行されることを特徴とする入力装置。

【請求項14】

前記入力操作は、前記対象者の行動を予測して実行される請求項１３記載の入力装置。

【請求項15】

前記入力操作は運転支援に供される請求項１３記載の入力装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体情報を計測することが可能な生体情報計測装置に関する。

【背景技術】

【0002】

下記特許文献１には、眉間や額等の特定領域の平均輝度を検出し、平均輝度に基づいて被験者の脈拍等の生体情報を得ることが可能な生体活動計測装置に関する発明が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−１３０９９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１記載の発明では、眉間を特定するために、顔画像上全体の二次元座標あるいは三次元座標を取得し、座標上の３つの特徴点により、眉間を特定している。

【0005】

しかしながら、特許文献１の手法では顔画像全体から眉間算出を行うため制御部への負担が非常に大きくなると考えられる。また、３つの特徴点から眉間を検出するが、対象者によっては特徴点が表れにくい人もいると考えられ、かかる場合には、眉間検出が困難となり、ひいては生体情報の計測誤差や計測エラーに繋がる。

【0006】

そこで本発明は上記従来の課題を解決するものであり、特に、従来に比べて高精度にかつ安定して生体情報を計測できる生体情報計測装置及びそれを用いた入力装置を提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明における入力装置は、対象者の瞳孔を検出することが可能な撮像部と、
前記撮像部により得られた画像データから瞳孔領域を検出することが可能な検出部と、前記瞳孔領域の周囲の少なくとも一部の肌領域の輝度を取得する輝度取得部と、前記肌領域の輝度から前記対象者の生体情報を計測する生体計測部と、を有することを特徴とするものである。

【0008】

本発明では、瞳孔領域を基準として輝度検知に供される肌領域を特定するため、肌領域を安定して得ることができ、それに伴い、肌領域の輝度を高精度にかつ安定して得ることができる。したがって、肌領域の輝度に基づいて得られる生体情報も高精度でかつ安定して得ることができる。瞳孔は対象者の顔の他の部位と違って必ず正確に検出できるから、逆に瞳孔が検出できない場合は、対象者が横を向いているか、居眠りしていると断定できる。したがって瞳孔が検出できない場合には警告を発するなどして対象者の姿勢を正すこともできる。

【0009】

また本発明によれば特許文献１に記載されているような顔画像全体から３次元データを構築するといったことが必要ではない。したがって従来に比べて装置に対する制御負担（算出負担）を低減でき、スムースに生体情報の計測まで行うことができる。

【0010】

本発明では、前記撮像部は、撮像素子と、前記対象者に向けて光を照射可能な発光素子と、を有して構成されることが好ましい。これにより適切に対象者の瞳孔を検出することができる。

【0011】

また本発明では、前記撮像素子は、複数設けられることが好ましい。これにより、三角法に基づいて前記撮像部と対象者との距離を求めることができる。

【0012】

また本発明では、前記発光素子は、第１の波長を有する赤外線を照射する第１の発光素子と、前記第１の波長よりも長い第２の波長を有する赤外線を照射する第２の発光素子と、を有し、前記第１の波長を有する赤外線を照射した条件で明瞳孔画像が撮像され、前記第２の波長を有する赤外線を照射して、あるいは前記赤外線を照射せずに暗瞳孔画像が撮像され、前記検出部では、前記明瞳孔画像と前記暗瞳孔画像との差分画像により前記瞳孔領域を検出することが好ましい。上記により簡単かつ安定して瞳孔領域を検出することができる。また例えば暗瞳孔画像を、肌領域を特定するための画像として用いることも可能である。また赤外線を用いたことで夜間でも生体情報検出が可能になる。

【0013】

また本発明では、前記検出部では、角膜反射像を検出可能であることが好ましい。光を照射した状態で得られた顔画像には角膜反射像も写し出されているので、適切かつ簡単に角膜反射像を得ることができる。そして角膜反射像を用いて対象者の視線等を検知することが可能になる。

【0014】

また、前記輝度取得部では、複数の前記撮像素子、あるいは、異なる波長で撮影された前記肌領域の輝度の平均値を取得して、前記生体計測部に入力することが好ましい。このように肌領域の輝度の平均値を取得して、生体情報の計測に供することで、精度よく生体情報の計測を実行することができる。

【0015】

また、前記検出部では、瞳孔追跡が実行されることが好ましい。瞳孔追跡を行うことで対象者の視線等の測定を精度よく行うことができる。

【0016】

また、前記検出部では、前記対象者の視線を検出することができる。
また、前記検出部では、前記対象者の顔の向きを検出することができる。

【0017】

また、前記輝度取得部では、前記瞳孔領域の下側に位置する前記肌領域の輝度を取得することが好ましい。瞳孔領域の下側に位置する肌領域は、瞳孔領域の上側と違って、瞬きによる肌領域の変化が起こりにくく、輝度を安定して取得できる。

【0018】

また本発明では、前記対象者の両目の前記瞳孔領域を取得した際に、前記輝度取得部が前記肌領域の輝度を取得することが好ましい。片目の瞳孔領域しか得られない場合には、対象者が前方（撮像部側）を向いていないと判断でき、かかる場合には、よそ見をしていると注意を喚起するなどできる。両目の瞳孔領域が得られた場合は、対象者が前方を向いた状態であり、かかる場合に、肌領域の輝度を取得し、生体情報を計測するようにすることで、対象者の姿勢を正すとともに、安定して生体情報の計測を行うことができる。

【0019】

また本発明では、前記生体情報計測装置が車両内に配置される構成にできる。このように生体情報計測装置を、車両内に配置することで例えば運転中に運転者の生体情報を得ることができ、それに基づいて運転支援等を行うことが可能である。

【0020】

また本発明における入力装置は、上記に記載の生体情報計測装置と、入力操作部と、を有し、前記生体情報計測装置からの情報に基づいて、所定の入力操作あるいは所定の情報発信が実行されることを特徴とするものである。

【0021】

本発明では、前記入力操作は、前記対象者の行動を予測して実行されることが好ましい。
また、前記入力操作は運転支援に供されることが好ましい。

【0022】

本発明では、生体情報計測装置からの情報（生体情報や瞳孔情報、視線情報など）に基づいて、対象者の行動を予測し、この予測をもとに、所定の入力操作を発揮させることができる。これにより、手などの操作体が直接、操作部に触れなくても、スピーディに入力操作を実行できる。例えば本発明の生体情報計測装置が車両内に配置される構成であれば、瞳孔の大きさから周囲の明るさを判断して、オートライトの応答を早めることができる。また、居眠りをしているか否かを判断でき、居眠りをしていると判断された場合には、音声で注意を促すこと等ができ安全性を高めることができる。

【発明の効果】

【0023】

本発明によれば、瞳孔領域を基準として輝度検知に供される肌領域を特定するため、肌領域を安定して得ることができ、肌領域の輝度を高精度にかつ安定して得ることができる。したがって、肌領域の輝度に基づいて得られる生体情報も高精度でかつ安定して得ることができる。瞳孔は対象者の顔の他の部位と違って必ず正確に検出できるから、逆に瞳孔が検出できない場合は、対象者が横を向いているとか、居眠りしていると断定できる。したがって瞳孔が検出できない場合には警告を発するなどして対象者の姿勢を正すこともできる。

【0024】

また本発明によれば特許文献１に記載されているような顔画全体から３次元データを構築するといったことが必要ではない。したがって従来に比べて装置に対する制御負担（算出負担）を低減でき、スムースに生体情報の計測まで行うことができる。

【図面の簡単な説明】

【0025】

【図1】図１は、近赤外線カメラ（撮像部）により運転者（対象者）を撮像している状態を示す模式図である。

【図2】図２（ａ）は、本実施形態における近赤外線カメラ（撮像部）の正面図であり、図２（ｂ）は近赤外線カメラの内部構造を示す側面図である。

【図3】図３（ａ）は、明瞳孔画像であり、図３（ｂ）は、暗瞳孔画像であり、図３（ｃ）は、明瞳孔画像と暗瞳孔画像との差分画像を示す模式図である。

【図4】図４（ａ）は、瞳孔領域の周囲領域を、輝度を測定するための肌領域として特定した模式図であり、図４（ｂ）は、図４（ａ）に示す肌領域のうち、瞳孔領域の下側に位置する領域のみを、輝度を測定するための肌領域として特定した模式図である。

【図5】図５は、本実施形態における生体情報計測装置、及びそれを用いた入力装置のブロック図である。

【図6】図６（ａ）は、明瞳孔画像及び暗瞳孔画像の取得から所定の入力操作を起動させるまでのフローチャート図であり、図６（ｂ）は、瞳孔追跡から視線ベクトルの算出までのフローチャート図であり、図６（ｃ）は、鼻孔検出から顔向き検出までのフローチャート図である。

【図7】図７は、瞳孔画像、角膜反射像、及び視線演算の関係を示す関係図である。

【図8】図８は、角膜反射像を示す模式図である。

【図9】図９は（ａ）〜（ｄ−３）は、視線演算のアルゴリズムを説明するための説明図であり、図９（ｅ）は、瞳孔中心と角膜反射との間の距離ｒと、カメラ瞳孔ベクトルと視線ベクトルとの間の角度θとの関係を示すグラフである。

【図10】図１０は、顔の向きを測定するための手法を説明するための模式図である。

【図11】図１１は、２台の近赤外線カメラと、視点との関係を示す模式図である。

【図12】図１２は、別の実施形態（第２の発明）における生体情報計測装置を用いた入力装置のフローチャート図である。

【図13】図１３は、角膜反射像の周囲領域を、輝度を測定するための肌領域として特定した模式図である。

【発明を実施するための形態】

【0026】

図１は、近赤外線カメラ（撮像部）により運転者（対象者）を撮像している状態を示す模式図である。本実施形態では図１に示すように近赤外線カメラ２を用いて、車両の運転席に座席した運転者１を撮像し、その画像データを用いて、運転者１の瞳孔を検出する。

【0027】

近赤外線カメラ２は、運転席正面に配置されており、例えば、インストルメント・パネルに配置されている。あるいは、ステアリング支持部３の部分に設置されていてもよい。

【0028】

図２（ａ）に示すように近赤外線カメラ２ａ，２ｂは２台、設けられている。図２（ａ）（ｂ）に示すように、近赤外線カメラ２ａ，２ｂはそれぞれ、レンズ４と、複数の第１の発光素子５と、複数の第２の発光素子６と、レンズ４の後方に位置する撮像素子（センサ基板）７と、レンズ４、各発光素子５，６及び撮像素子７を支持するシャーシ８とを有して構成される。

【0029】

ここで第１の発光素子５は、８７０ｎｍＬＥＤであり、第２の発光素子６は９４０ｎｍＬＥＤである。なお波長については一例であり、これ以外の波長であってもよい。

【0030】

各発光素子５，６は基板９に設置されており、基板９上に発光素子５，６が配置されたＬＥＤ基板と撮像素子７とは平行に配置されている。また、２台の近赤外線カメラ２ａ，２ｂを同期させて用いる。

【0031】

図５のブロック図に示すように、本実施形態における生体情報計測装置１０は、近赤外線カメラ２ａ，２ｂと、検出部１１と、輝度取得部１２と、生体計測部１３と、モニタ１４とを有して構成される。また検出部１１、輝度取得部１２、生体計測部１３を合わせて制御部１５が構成される。

【0032】

図５に示すように検出部１１には、瞳孔検出部１６、肌領域検出部１７、及び視線検出部２３が設けられる。

【0033】

瞳孔検出部１６では、明瞳孔画像と暗瞳孔画像との差分画像を作成する。明瞳孔画像、及び暗瞳孔画像について以下に説明する。

【0034】

図３（ａ）は、運転者（対象者）１の明瞳孔画像１８であり、図３（ｂ）は、運転者（対象者）１の暗瞳孔画像１９である。

【0035】

まず第１の発光素子５により波長８７０ｎｍの近赤外線を運転者１の顔に照射した状態で撮像素子７により顔画像を撮影する。このようにして撮影された顔画像では、図３（ａ）に示すように瞳孔２０が他の部位よりも特に明るく撮影された明瞳孔画像１８が得られる。一方、第２の発光素子６により波長９４０ｎｍの近赤外線を運転者１の顔に照射した状態で撮像素子７により顔画像を撮影する。このようにして撮影された顔画像では、図３（ｂ）に示すように瞳孔２０が図３（ａ）の明瞳孔画像１８に比べて暗く撮影された暗瞳孔画像１９が得られる。発光素子の波長については、明瞳孔及び暗瞳孔が得られる波長とされる。

【0036】

明瞳孔画像１８の撮影と、暗瞳孔画像１９の撮影とは時分割で行われる。また本実施形態では、近赤外線カメラ２ａ，２ｂは２台あるので、近赤外線カメラ２ａ及び近赤外線カメラ２ｂのそれぞれにて、明瞳孔画像１８及び暗瞳孔画像１９を取得する。

【0037】

図５に示す瞳孔検出部１６では、明瞳孔画像１８と暗瞳孔画像１９との差分画像を作成する。差分画像２１が図３（ｃ）に示されている。差分画像２１は、例えば、明瞳孔画像１８の各画素の輝度値から暗瞳孔画像１９の各画素の輝度値を減算することで得ることができる。

【0038】

図３（ｃ）に示すように、差分画像２１では運転者（対象者）１の瞳孔２０が周囲に比べて明るい画像として残される。図３（ｃ）に示す明るい部分を瞳孔領域２２と特定する。ここで図３（ｃ）に示すように瞳孔領域２２を、２つ取得できる。上記してきた明瞳孔画像、及び暗瞳孔画像については、特開２００８−１２５６１９号公報に類似した手法を用いて説明したものである。上記した手法で瞳孔領域を得た結果、仮にひとつの瞳孔領域２２しか得られない場合は、片目の瞳孔領域しか取得できない状態であり、運転者１が前方（撮像部側）を向いていないと判断でき、かかる場合には、よそ見をしていると注意を喚起するなどできる。両目の瞳孔領域２２を取得できて初めて、生体情報の計測を行うように制御できる。

【0039】

上記では、差分画像２１を得るのに使用する暗瞳孔画像１９を、波長９４０ｎｍの近赤外線を照射して撮影した顔画像としたが、例えば、赤外線などの光を照射せずに撮影した顔画像を暗瞳孔画像１９とすることもできる。

【0040】

次に肌領域検出部１７では、瞳孔領域２２に基づいて、生体情報の測定に供するための肌領域を取得する。

【0041】

図４（ａ）は、例えば、暗瞳孔画像１９に示される目の付近を拡大した模式図である。図３（ｃ）により瞳孔領域２２が特定されたので、その瞳孔領域２２の周囲に、輝度を取得するための肌領域２４を特定する。肌領域２４は、瞳孔領域２２から外側に所定距離だけ離れた位置に特定する。

【0042】

また瞳孔領域２２から瞳（黒目部分）の領域２５を特定し、瞳の領域２５から輝度を取得するための肌領域２４を特定してもよい。

【0043】

瞳孔領域２２を特定できれば、瞳孔領域２２の周囲の画像の輝度等によって目の領域を推測でき、したがって瞳孔領域２２から離れた肌領域２４を検出するのに検出部１１の負担を小さく抑えることができる。

【0044】

なお検出部１１では、二値化処理、ラベリング処理、ふるいがけ処理等が適宜実行される。

【0045】

図５に示す輝度取得部１２では、肌領域２４の輝度を取得する。このとき、例えば、近赤外線カメラ２ａと近赤外線カメラ２ｂのそれぞれにて撮影した画像から、あるいは異なる波長で撮影した画像から得られた輝度の平均値を連続的に取得する。また、この際、肌領域２４の全画素の輝度を取得しなくてもよい。このように肌領域２４の一部分から輝度を取得する場合には、図４（ｂ）に示すように、瞳孔領域２２よりも下側に位置する肌領域２６の輝度を取得することが好ましい。瞳孔領域２２の上側は瞼側であり、瞬きにより安定した輝度を得にくいため、瞳孔領域２２の下側に位置する涙袋側の肌領域２６の輝度を取得することで輝度を安定して取得することができる。

【0046】

図５に示す生体計測部１３では、輝度取得部１２より得られた肌領域の輝度から運転者（対象者）１の生体情報を計測する。この生体情報の計測は、一定時間における肌領域の輝度変化値を用意する。次に、体の動きなどによる低周波雑音を取り除き、独立成分分析法により独立信号を取り出す。この独立信号のパワースペクトルを算出し、心拍や呼吸数付近の周波数ピークを持つ信号を取得することで、これを出力信号する手法がある。しかし、ここで生体情報やその計測方法について特に限定するものではない。

【0047】

図５に示すように入力装置３０は、生体情報計測装置１０と、入力操作部３１とを有して構成される。ここで、入力操作部３１はモニタ１４を兼ねていてもよい。よって、生体情報計測装置１０の構成要素としてモニタ１４はあってもなくてもよい。

【0048】

入力操作部３１に生体計測部１３から生体情報が送信される。あるいは、図５に示す検出部１１からの情報（瞳孔情報や視線情報など）が送信される。入力操作部３１では、生体情報計測装置１０から送信されるこれらの情報に基づいて、所定の入力操作や所定の情報発信が実行される。どのような入力操作や情報発信がされるのかについては後述する。

【0049】

入力操作部３１では、運転者（対象者）１の行動を予測して入力操作を実行することができる。例えば運転者１の視線に着目して、視線の方向に基づいて行動予測をし、その行動予測に基づく入力操作を実行する。

【0050】

本実施形態における図５に示す入力装置３０は、車両内に搭載されるものであり、図５に示す生体情報計測装置１０からの情報に基づく入力操作は、運転支援に供されるものであることが好適である。例えば運転者１の瞳孔の大きさから判断して、オートライトの応答を早めるがごとくである。

【0051】

本実施形態では肌領域２４，２６を特定するために瞳孔領域２２を基準としているため、肌領域２４，２６を安定して得ることができ、肌領域２４，２６の輝度を高精度にかつ安定して得ることができる。したがって、輝度に基づいて得られる生体情報も高精度でかつ安定して得ることができる。瞳孔は対象者の顔の他の部位と違って必ず正確に検出できるから、逆に瞳孔が検出できない場合は、対象者が横を向いているか、居眠りしていると断定できる。したがって瞳孔が検出できない場合には対象者に目を開いて前方（近赤外線カメラ２側）を向くように注意を促すこともできる。

【0052】

また本実施形態によれば特許文献１に記載されているような顔画全体から３次元データを構築するといったことが必要ではない。したがって従来に比べて装置に対する制御負担（算出負担）を低減でき、スムースに生体情報の計測まで行うことができる。

【0053】

次に図６に示すフローチャートを用いて、画像の取得から入力操作の起動までのステップを説明する。

【0054】

図６（ａ）のステップＳＴ１では、明瞳孔画像１８及び暗瞳孔画像１９を取得する（図３（ａ）（ｂ）参照）。図７にも示すように、第１の発光素子５により波長８７０ｎｍの近赤外線を照射した条件で撮影することで明瞳孔画像１８を得ることができる。また第２の発光素子６により波長９４０ｎｍの近赤外線を照射した条件で撮影することで暗瞳孔画像１９を得ることができる。なお暗瞳孔画像１９は、発光素子から光を照射しないで撮影したものであってもよい。

【0055】

次に図６（ａ）のステップＳＴ２では、図３（ａ）の明瞳孔画像１８と図３（ｂ）の暗瞳孔画像１９との差分画像２１により瞳孔領域２２を特定する。

【0056】

次に図６（ａ）に示すようにステップＳＴ３で、角膜反射像を取得する。図７に示すように角膜反射像を例えば、波長９４０ｎｍの近赤外線を照射した条件にて撮影された暗瞳孔画像１９により取得することができる。

【0057】

図８には、角膜反射像３５が示されている。図８は暗瞳孔画像の瞳孔部分を拡大して示したものである。暗瞳孔画像に示すように暗く映る瞳孔３６よりも明るい角膜反射像３５が映し出されていることがわかる。角膜反射像３５は、運転者１の角膜で反射した光源の反射像である。

【0058】

続いて図６（ａ）に示すステップＳＴ４で視線演算を行う。視線演算は図７に示すように瞳孔領域と角膜反射像とを用いて行うことが可能である。視線演算のアルゴリズムについて図９を用いて説明する。ここで、図９に示す視線演算のアルゴリズムはＷＯ２０１２−２０７６０号に類似した手法を用いて説明する。

【0059】

図９（ａ）に示すように、運転者（対象者）１の前方に視対象平面４０があるとする。この視対象平面４０は例えばディスプレイである。この視対象平面４０はＸＹ平面に平行な面であるとする。符号Ｐは運転者（対象者）１の瞳孔中心であり、ＰＴが視線ベクトルである。Ｑが注視点である。

【0060】

近赤外線カメラ２はＸ´Ｙ´平面と平行な面である仮想視点平面４１と平行に設置される。すなわち仮想視点平面４１の直交方向がカメラの光軸方向である。Ｔは仮想視点平面４１上の注視点である。ＰＴ´はカメラ瞳孔ベクトルである。

【0061】

図９（ａ）に示すように、視線ベクトルＰＴとカメラ瞳孔ベクトルＰＴ´との間の角度はθである。また、カメラ中心から仮想視点平面４１上の注視点Ｔへの方向とＸ´軸との間の角度はφである。

【0062】

図９（ｂ）は瞳孔周辺画像の模式図である。Ｇは角膜反射像である。角膜反射像Ｇと瞳孔中心Ｐとを直線状に結んだ線とＸ軸との間の角度はφ´である。

【0063】

図９（ｃ−１）〜（ｃ−３）に示すＥは運転者（対象者）１の眼球を模式図的に示したものである。図９（ｃ−１）〜（ｃ−３）では眼球の向きが異なっている。図９（ｃ−１）では、視線ベクトルＰＴとカメラ瞳孔ベクトルＰＴ´との方向が一致している。すなわち図９（ａ）に示すθはゼロである。このとき図９（ｄ−１）の画像では、瞳孔中心Ｐと角膜反射像Ｇとが一致している。すなわち、瞳孔中心Ｐと角膜反射像Ｇとの間隔｜ｒ_０｜＝０である。

【0064】

次に、図９（ｃ−２）では、視線ベクトルＰＴとカメラ瞳孔ベクトルＰＴ´とが一致せず、視線ベクトルＰＴとカメラ瞳孔ベクトルＰＴ´との間に角度θが生じている。このとき図９（ｄ−２）の画像では、瞳孔中心Ｐと角膜反射像Ｇとの間に、間隔｜ｒ_１｜が生じている。

【0065】

また、図９（ｃ−３）では、視線ベクトルＰＴとカメラ瞳孔ベクトルＰＴ´との間の角度θが、図９（ｃ−２）よりも大きくなっている。このとき図９（ｄ−３）の画像では、瞳孔中心Ｐと角膜反射像Ｇとの間に、間隔｜ｒ_２｜が生じ、この間隔｜ｒ_２｜は、図９（ｄ−２）に示す間隔｜ｒ_１｜よりも大きくなっている。

【0066】

ここで図９（ａ）（ｃ）に示す（θ，φ）と、図９（ｂ）（ｄ）に示す（｜ｒ｜，φ´）との関係は一対一に対応している。

【0067】

すなわち視線がカメラ光軸から離れるほど（θが大きくなるほど）、瞳孔中心Ｐと角膜反射像Ｇとの間の間隔（距離）｜ｒ｜は大きくなる。したがって、θと｜ｒ｜との間には図９（ｅ）に示す関係がある。この関係に基づいて視線を推定することができる。

【0068】

具体的には、図６（ｂ）（図６（ａ）のステップＳＴ４の具体的ステップ）に示すステップＳＴ１０で、角膜反射像のずれ量の算出を行う。角膜反射像のずれ量は、図９（ｄ−１）〜（ｄ−３）に示す瞳孔中心Ｐと角膜反射像Ｇとの間の間隔（距離）｜ｒ｜として示される。

【0069】

なお高分解能化による瞳孔追跡を実行して瞳孔中心Ｐを決定することができる（ステップＳＴ１１）。

【0070】

また図６（ｂ）のステップＳＴ１２では、瞳孔中心Ｐ、角膜反射像ＧをＸＹ座標系に変換する。続いて、図６（ｂ）に示すステップＳＴ１３では、瞳孔中心Ｐ−角膜反射像Ｇのベクトルを算出し、図９（ａ）（ｂ）の関係図に示すように三角法に基づいて、仮想視点平面４１上の注視点Ｔを算出する（ステップＳＴ１４）。そしてステップＳＴ１５にて視線ベクトルＰＴを算出する。

【0071】

また図６（ａ）のステップＳＴ４では、顔向きを推定することも可能である。図１０は、運転者（対象者）１の顔を斜め前方から見た斜視図である。図６（ａ）のステップＳＴ１，ＳＴ２により検出された瞳孔４５の位置から鼻孔の存在範囲を推定し、その存在範囲（領域）から左右の鼻孔４７，４８を検出する（図６（ｃ）のステップＳＴ２０）。このとき、片方の鼻孔のみを検出してもよい。なお前画像（前フレーム）で鼻孔を検出したら、その次の画像についても、前画像の鼻孔位置から推定して鼻孔位置を追跡する。また前画像で鼻孔を検出していないときは、画像全体から鼻孔の探索を実行する。

【0072】

さて鼻孔４７，４８の検出であるが、瞳孔４５の位置から鼻孔の存在範囲を大凡、決めることができ、その範囲内での輝度測定により鼻孔を確定することができる。また画像に対して２値化処理を行うことで鼻孔が検出しやすくなる。

【0073】

続いて、鼻孔４７，４８を結ぶ中点４３と中点瞳孔４５との３次元座標をステレオ計算により算出する（図６（ｃ）に示すステップＳＴ２１）。

【0074】

そして図１０に示すように、左右両側の瞳孔４５，４５と中点４３とを結ぶ三角形の法線４４を求め、この法線４４を顔の向きとして推定する（図６（ｃ）のステップＳＴ２２）。

【0075】

続いて、図６（ａ）のステップＳＴ５では、瞳孔領域２２周辺の肌領域２４を特定する（図４参照）。図４（ｂ）に示すように、肌領域２６は瞳孔領域２２の周囲の一部であってもよく、その場合は、瞳孔領域２２の下側の位置の肌領域２６を選択することが好適である。そして、図６（ａ）のステップＳＴ６では、肌領域２４，２６の輝度を取得する。輝度は平均値であることが好適である。輝度の平均値は、複数の撮像素子で撮影された肌領域の輝度の平均、あるいは異なる波長で撮影された肌領域の輝度の平均で求めることができる。そして、ステップＳＴ７では、肌領域の輝度に基づいて生体情報を計測する。本実施形態によれば、心拍、呼吸数、脈拍等の生体情報を得ることが可能である。

【0076】

そして図６（ａ）に示すステップＳＴ８では、生体情報がモニタ１４に送られ、モニタ１４に表示がなされる。モニタ１４は例えば、図２（ａ）に示す近赤外線カメラ２ａ，２ｂの中間部に設けられている。あるいは、モニタ１４は、入力装置３０を構成する操作パネル等であってもよい。操作パネルとしては、センターコンソールに配置されるカーナビゲーション装置のタッチパネル等が該当する。

【0077】

また図６（ａ）のステップＳＴ９に示すように、生体情報は、入力装置３０を構成する入力操作部３１に送信される。また、ステップＳＴ１で取得した顔画像（明瞳孔画像、暗瞳孔画像）、ステップＳＴ２で取得した瞳孔領域、ステップＳＴ３で取得した角膜反射像、及びステップＳＴ４で取得した視線方向や図６（ｃ）での顔向き等の情報が入力操作部３１に送信される。入力操作部３１に送信される情報は１つであってもよいし複数であってもよい。

【0078】

入力操作部３１では、生体情報計測装置１０からの情報に基づいて、所定の入力操作あるいは所定の情報発信が実行される。以下、具体例を示す。

【0079】

まず、図６（ａ）のステップＳＴ４で得られた視線方向に基づいて、入力補助（運転支援）を行うことができる。例えば、視線検知による入力として、ステアリングスイッチを押している間は、視線で音量などを設定可能とする。また視線による選択として、視線で制御機器を選択などできるようにする。また、方向指示器補助として、例えば、サイドミラーを見たらウインカーを出し、また左後方画面をモニタに映す。またサイドミラーを見ずにウインカーを出したら警告音を出す。またモニタに警告表示をした後、運転者１がそれを見たらアラート解除を実行する。また周囲を見る頻度が少なくなったら、「周囲に注意してください」、「休憩してください」などの警告を発したり、シートを震わせるなどの処置をとることができる。

【0080】

また瞳孔検知による入力として、瞳孔サイズから周囲の明るさを判断し、オートライトの応答を早める。また瞳孔サイズでミラー角度をコントロールする。また瞳孔サイズでフロントガラスの透過率を調整する。

【0081】

また瞳孔が確認できない場合には居眠りをしている恐れがあるので、メータ等に警告を表示した後、その表示を見たかどうかをその後の瞳孔検出により確認できる。

【0082】

また、瞳孔の位置から口唇を検出し、口唇の動きにより音声入力精度を向上させることもできる。

【0083】

また片目の瞳孔しか確認できない場合等、よそ見、わき見を検知したら、安全性を高めるために、警告音を発したり、視線ナビゲートを実行する。

【0084】

またそのほかに、視線方向に基づいて、メータ等の表示高さを調整したり、座席高さやハンドル高さの調整等が自動で行われるようにできる。また左右瞳孔間の距離や鼻孔との距離、鼻孔の形などで個人認証を実行することもできる。

【0085】

本実施形態では、近赤外線カメラ２ａ，２ｂが２台、設けられている。本実施形態では、近赤外線カメラを１台としてもよいが、近赤外線カメラ２ａ，２ｂを複数（最低２台）、設置することで、三角法により、運転者（対象者）１との距離を求めることができる。図１１に示すように近赤外線カメラ２ａにより対象物Ｒを映した画像５０による見え方と、近赤外線カメラ２ｂにより対象物Ｒを映した画像５１による見え方とは異なっている。この見え方のずれから三角法により対象物Ｒの位置を特定できる。したがって本実施形態においても近赤外線カメラ２ａ，２ｂにより撮影された画像から三角法を用いて運転者（対象者）１との距離を求めることが可能である。

【0086】

また図６（ａ）の実施形態において、ステップＳＴ３，４，８，９は必須でなく選択的なステップである。

【0087】

上記した実施形態（第１の実施形態）では、図６（ａ）のステップＳＴ２で瞳孔領域を特定し、この瞳孔領域に基づいて輝度を測定するための肌領域を特定した。

【0088】

これに対して図１２に示す第２の実施形態では、ステップＳＴ３０で角膜反射像３５を取得し、ステップＳＴ３１で、角膜反射像３５に基づいて肌領域２４を特定している。角膜反射像３５は図７に示す通り、例えば暗瞳孔画像１９により得ることができる。

【0089】

この第２の実施形態では、第１の実施形態と異なって、瞳孔領域２２の取得を必須とはしていないが、その代わりに角膜反射像３５の取得を必須とする。そして図１３に示すように、角膜反射像３５の周囲に肌領域２４を特定する。肌領域２４は角膜反射像３５から所定距離離れた位置に設定される。角膜反射像３５から対象者の目の領域を画像の輝度等により特定でき、特定された目の周りに肌領域２４を設定することができる。

【0090】

図１２に示すステップＳＴ３２は図６（ａ）のステップＳＴ６に該当し、図１２のステップＳＴ３３は、図６（ａ）のステップＳＴ７に該当し、図１２のステップＳＴ３４は、図６（ａ）のステップＳＴ８に該当し、図１２のステップＳＴ３５は、図６（ａ）のステップＳＴ９に該当する。

【0091】

なお図１２に示す第２実施形態においても、図６（ａ）のステップＳＴ１，ＳＴ２に示すように、明瞳孔画像１８と暗瞳孔画像１９との差分画像により瞳孔領域２２を特定することができる。かかる場合には図７に示すように視線演算等を行うことが可能になる。

【0092】

本実施形態の生体情報計測装置１０及びそれを用いた入力装置３０は、車両用に限定するものでないが、車両用として使用することで、運転中に運転者の生体情報を得ることができ、それに基づいて運転支援等を行うことができる。
行動予測は、例えば瞳孔を追跡し、その追跡結果に基づいて判断することができる。

【0093】

また、生体情報計測装置１０から得られる情報（瞳孔情報、視線情報、生体情報等）に基づいて、例えば居眠りをしているか否かの判断ができ、かかる場合、早めに音声等で注意を喚起でき、また運転者（対象者）の行動を予測して、所定の入力操作を実行することも可能である。

【0094】

上記の実施形態では、運転者を、生体情報を計測する対象者としたが、運転者に限るものでなく、助手席の乗員等を対象者としてもよい。

【符号の説明】

【0095】

Ｇ、３５ 角膜反射像
Ｐ 瞳孔中心
ＰＴ 視線ベクトル
１ 運転者
２、２ａ、２ｂ 近赤外線カメラ
５ 第１の発光素子
６ 第２の発光素子
７ 撮像素子
１０ 生体情報計測装置
１１ 検出部
１２ 輝度取得部
１３ 生体計測部
１４ モニタ
１６ 瞳孔検出部
１７ 肌領域検出部
１８ 明瞳孔画像
１９ 暗瞳孔画像
２０、４５ 瞳孔
２１ 差分画像
２２ 瞳孔領域
２４、２６ 肌領域
３０ 入力装置
３１ 入力操作部
４７、４８ 鼻孔

【図4】

【図5】

【図6】

【図1】

【図2】

【図3】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】