知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023036691
(43)【公開日】2023-03-14
(54)【発明の名称】生体情報検出装置
(51)【国際特許分類】
A61B 5/11 20060101AFI20230307BHJP
A61B 5/113 20060101ALI20230307BHJP
A61B 5/0245 20060101ALI20230307BHJP
A61B 5/02 20060101ALI20230307BHJP
A61B 5/00 20060101ALI20230307BHJP
G08B 21/04 20060101ALI20230307BHJP
A61B 5/1171 20160101ALN20230307BHJP
A61B 5/1455 20060101ALN20230307BHJP
A61B 5/16 20060101ALN20230307BHJP
【ＦＩ】
A61B5/11 120
A61B5/113
A61B5/0245 100T
A61B5/02 310A
A61B5/00 102A
A61B5/00 102C
G08B21/04
A61B5/1171
A61B5/1455
A61B5/16 120
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022198302
(22)【出願日】2022-12-13
(62)【分割の表示】P 2017110918の分割
【原出願日】2017-06-05
(31)【優先権主張番号】P 2016130137
(32)【優先日】2016-06-30
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100184985
【弁理士】
【氏名又は名称】田中 悠
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(74)【代理人】
【識別番号】100218981
【弁理士】
【氏名又は名称】武田 寛之
(72)【発明者】
【氏名】渡邉 尚志
(57)【要約】
【課題】被検者の生体を拘束することなく、高い精度で生体情報を検出する。
【解決手段】コンピュータによって実行される方法は、光源に、第１領域に向けて第１の光を出射させることと、前記第１の光に起因して生じる第２の光に基づき、前記第１領域における第１の生体の存在を検知することと、前記第２の光に基づき、前記第１の生体の体動を検知することと、前記第１の生体の存在を検知した後、一定時間以上前記体動が無いと判定された場合、前記第１の生体に対する注意喚起を含む第１警報を発することと、と含む。
【選択図】図１Ａ
【解決手段】コンピュータによって実行される方法は、光源に、第１領域に向けて第１の光を出射させることと、前記第１の光に起因して生じる第２の光に基づき、前記第１領域における第１の生体の存在を検知することと、前記第２の光に基づき、前記第１の生体の体動を検知することと、前記第１の生体の存在を検知した後、一定時間以上前記体動が無いと判定された場合、前記第１の生体に対する注意喚起を含む第１警報を発することと、と含む。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
コンピュータによって実行される方法であって、
光源に、第１領域に向けて第１の光を出射させることと、
前記第１の光に起因して生じる第２の光に基づき、前記第１領域における第１の生体の存在を検知することと、
前記第２の光に基づき、前記第１の生体の体動を検知することと、
前記第１の生体の存在を検知した後、一定時間以上前記体動が無いと判定された場合、前記第１の生体に対する注意喚起を含む第１警報を発することと、と含む、
方法。
光源に、第１領域に向けて第１の光を出射させることと、
前記第１の光に起因して生じる第２の光に基づき、前記第１領域における第１の生体の存在を検知することと、
前記第２の光に基づき、前記第１の生体の体動を検知することと、
前記第１の生体の存在を検知した後、一定時間以上前記体動が無いと判定された場合、前記第１の生体に対する注意喚起を含む第１警報を発することと、と含む、
方法。
【請求項2】
前記第２の光に基づき、前記第１の生体の心拍に関する情報を含む生体情報を生成することと、
一定時間以上前記体動が無いと判定された後、前記生体情報に基づき前記心拍の異常を検知した場合に、前記第１領域とは異なる第２領域に存在する第２の生体に対し、第２警報を発することと、を更に含む、
請求項１に記載の方法。
一定時間以上前記体動が無いと判定された後、前記生体情報に基づき前記心拍の異常を検知した場合に、前記第１領域とは異なる第２領域に存在する第２の生体に対し、第２警報を発することと、を更に含む、
請求項１に記載の方法。
【請求項3】
前記第２警報は、前記第２の生体に対し、前記第１の生体の救援を依頼する情報を含む、
請求項２に記載の方法。
請求項２に記載の方法。
【請求項4】
前記第１領域は、浴室、トイレ、および寝室からなる群から選択されるいずれかの空間の内部に含まれる領域であり、
前記第２領域は、前記空間の外部に含まれる領域である、
請求項２に記載の方法。
前記第２領域は、前記空間の外部に含まれる領域である、
請求項２に記載の方法。
【請求項5】
前記第１の光は、複数の点像を形成し、
前記第２の光に基づいて、前記第１の生体を含む画像を示す画像信号を生成することと、をさらに含み、
前記生体情報は、前記画像信号に基づいて生成される、
請求項２に記載の方法。
前記第２の光に基づいて、前記第１の生体を含む画像を示す画像信号を生成することと、をさらに含み、
前記生体情報は、前記画像信号に基づいて生成される、
請求項２に記載の方法。
【請求項6】
第１領域に向けて第１の光を出射する光源と、
前記第１の光に起因して生じる第２の光を検出する検出器と、
演算回路と、を備え、
前記演算回路は、
前記第２の光に基づき、前記第１領域における第１の生体の存在を検知し、
前記第２の光に基づき、前記第１の生体の体動を検知し、
前記第１の生体の存在を検知した後、一定時間以上前記体動が無いと判定した場合、前記第１の生体に対する注意喚起を含む第１警報を示す信号を出力する、
システム。
前記第１の光に起因して生じる第２の光を検出する検出器と、
演算回路と、を備え、
前記演算回路は、
前記第２の光に基づき、前記第１領域における第１の生体の存在を検知し、
前記第２の光に基づき、前記第１の生体の体動を検知し、
前記第１の生体の存在を検知した後、一定時間以上前記体動が無いと判定した場合、前記第１の生体に対する注意喚起を含む第１警報を示す信号を出力する、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、生体情報検出装置に関する。例えば、非接触で心拍等の生体情報を検出する生体情報検出装置に関する。
【背景技術】
【0002】
人間の健康状態を判断するための基礎的なパラメータとして、心拍、血流量、血圧、血中酸素飽和度などが広く用いられている。血液に関するこれらの生体情報は、通常、接触型の測定器によって測定される。接触型の測定器は、被検者の生体を拘束するため、特に長時間にわたって連続して測定する場合に被検者の不快感を招いていた。
【0003】
人間の健康状態を判断するための基礎的な生体情報を簡単に測定する様々な試みがなされている。例えば、特許文献１は、カメラで撮影した顔などの画像情報から非接触で心拍数を検出する方法を開示している。特許文献２は、白色光源とレーザー光源とを用いて、生体表面の後方で散乱したレーザー光のレーザドップラー効果を利用して血中酸素飽和度を測定する方法を開示している。特許文献３は、通常のカラーカメラを用いて周辺光の影響を除外して血中酸素飽和度を測定する方法を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００５－２１８５０７号公報
【特許文献2】特表２００３－５１７３４２号公報
【特許文献3】特表２０１４－５２７８６３号公報
【特許文献4】特開平６－５４８３６号公報
【特許文献5】特開２００８－２３７２４４号公報
【特許文献6】特開２００２－２０００５０号公報
【非特許文献】
【0005】
【非特許文献1】青木、他２名、「近赤外輝点マトリックス照影による非接触・無拘束就寝者呼吸監視システム」電気学会論文誌．Ｃ、電子・情報・システム部門誌、２００４年６月１日、１２４（６）、 ｐｐ．１２５１～１２５８
【非特許文献2】黒田、他１名、「情動変動に伴う顔色と顔面皮膚温の分析とその顔色合成」、ヒューマンインタフェース学会研究報告集、１９９９年２月１６日、１（１）、１５－２０
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記従来の技術では、取得される生体情報の精度もしくは安定性、または生体情報の取得の簡便性に課題があった。特に、体の動きおよび環境光の変動に伴う測定の不安定性が、実用化に向けて大きな課題となっていた。
【0007】
本開示は、被検者の生体を拘束することなく、高い精度で安定して生体情報を検出することができる技術を提供する。
【課題を解決するための手段】
【0008】
本開示の一態様に係る生体情報検出装置は、第１の光による複数の第１のドットを、生体を含む対象物に投影する第１の光源と、
前記複数の第１のドットが投影された前記対象物からの第２の光を検出する複数の第１
の光検出セルを含み、前記複数の第１のドットが投影された前記対象物の第１の画像を示す第１の画像信号を生成して出力する撮像装置と、
第１演算回路と、
第２演算回路と、
を備える。
前記複数の第１のドットが投影された前記対象物からの第２の光を検出する複数の第１
の光検出セルを含み、前記複数の第１のドットが投影された前記対象物の第１の画像を示す第１の画像信号を生成して出力する撮像装置と、
第１演算回路と、
第２演算回路と、
を備える。
【0009】
前記第１の画像は複数の画素を含む。
【0010】
前記第１演算回路は、前記第１の画像信号を用いて、前記第１の画像のうち、前記生体に対応する第１部分を検出する。
【0011】
前記第２演算回路は、前記複数の画素のうち、前記第１の画像の前記第１部分内の画素のデータを用いて、前記生体に関する生体情報を算出する。
【0012】
上記の包括的または具体的な態様は、素子、装置、システム、方法、集積回路、コンピュータプログラム、記録媒体、またはこれらの任意の組み合わせで実現されてもよい。
【発明の効果】
【0013】
本開示の一態様によれば、被検者の生体を拘束することなく、高速に安定して生体の心拍、血流量、または血中酸素飽和度等の生体情報を検出することが可能になる。さらに、本開示の他の態様によれば、上記のような血液に関する情報から、被検者の体調または感情等の状態を判定することもできる。
【図面の簡単な説明】
【0014】
【図1A】本開示のある実施形態における生体情報の取得の基本的な考え方を説明するための図
【図1B】撮像装置によって取得される生体表面の画像の特性を説明するための図
【図2】実施形態１の生体情報検出装置の構成を示す図
【図3A】実施形態１における撮像装置の構成および出力される画像および生体情報の例を示す図
【図3B】実施形態１におけるコンピュータ２０の構成を示すブロック図
【図3C】実施形態１における呼吸センシングの方法を説明するための図
【図4A】実施形態１における人体検知の実験例を示す第１の図
【図4B】実施形態１における人体検知の実験例を示す第１の図
【図5】実施形態１における人体検知に用いられるコントラストの計算方法の例を示す図
【図6】実施形態１における画像処理の流れを示すフローチャート
【図7A】実施形態３における生体情報検出装置およびその処理を模式的に示す図
【図7B】実施形態３における見守りシステムのアルゴリズムを説明するための図
【図7C】実施形態３における見守りシステムのアルゴリズムを示すフローチャート
【図8】実施形態４における生体情報検出装置の構成を示す図
【図9】実施形態４における２台の撮像装置を用いた生体情報センシングの概要を示す図
【図10】実施形態４における２つのバンドパスフィルタの透過特性を示す図
【図11】実施形態４の方法で測定した脈波の例を示す図
【図12】実施形態４の方法および従来の方法で血中酸素飽和度を測定した結果を示す図
【図13】実施形態４におけるステレオカメラ方式の生体情報検出装置の構成を示す図
【図14】実施形態５におけるステレオレンズ方式の生体情報検出装置の構成を示す図
【図15A】実施形態６の生体情報検出装置を用いてストレスセンシングを行った結果を示す図
【図15B】実施形態６における画像中の鼻部と頬部とを示す図
【図15C】実施形態６の生体情報検出装置を用いて得られた血流量および血中酸素飽和度の変化を示す図
【図16】実施形態７における生体情報検出装置の構成を模式的に示す断面図
【図17A】実施形態７における画像中の鼻部と額部とを示す図
【図17B】実施形態７における笑いの感情を誘起した場合の総血流量（酸化ヘモグロビンおよび脱酸素化ヘモグロビン）の時間変化と、酸化ヘモグロビンの血流量の割合（酸素飽和度）の時間変化とを示す図
【図18】情動と総血流量および酸素飽和度との関係を示す図
【図19A】実施形態８における生体情報検出装置の構成を模式的に示す図
【図19B】実施形態８における複数のカラーフィルタを示す図
【図19C】実施形態８において生成される画像の例を示す図
【図20A】実施形態９における生体情報検出装置の構成を示す図
【図20B】実施形態９における複数のカラーフィルタを示す図
【図20C】実施形態９において生成される画像の例を示す図
【図20D】Ｒ、Ｇ、Ｂ、ＩＲの４種類のカラーフィルタを有するマルチスペクトルセンサーの構成例を示す図
【図21】撮像装置を用いた生体情報センシングシステムの構成例（比較例）を示す図
【図22】生体の主要な成分であるヘモグロビン、メラニン、水の、可視光から近赤外光の波長域での吸光係数と散乱係数を示す図
【発明を実施するための形態】
【0015】
本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。
【0016】
カメラを用いた遠隔生体情報センシングは、拘束感なく連続して長時間の測定ができることから、さまざまな用途での活用が期待されている。例えば、病院等の医療機関では、患者の状態を定常的にモニタし容体の急変に迅速に対応すること、および長時間のモニタリングによって得られるデータを診断に活用することが期待されている。また、医療機関での活用だけでなく、家庭内での就寝時の突然死の防止、および睡眠時無呼吸症候群のモニタなどの用途が期待されている。さらに、家庭内または職場で定常的に取得される日常生活における身体情報データを取得し、クラウド経由でサーバーに蓄積したデータを解析することにより、身体状況の変化を定常的にモニタリングして健康管理に役立てるような用途、および取得データを医療機関と共有して医療に役立てるというような用途が期待されている。このような定常的な生体情報取得のためには、拘束感がなく、特に意識することなしに定常的に生体情報を測定するシステムが求められる。カメラを用いたシステムは、非拘束な遠隔計測が可能であるため、このような用途に最適であると考えられている。
【0017】
しかしながら、カメラを用いて日常生活での生体情報のセンシングを行う場合、プライバシーへの配慮が必要となる。カメラで取得された本人を特定できるような高い解像度の画像が記憶装置に記録されるようなシステムは、画像流出のリスクを生じるため、できるだけ避ける必要がある。取得された画像自体が記録されない場合であっても、測定システムからカメラ（またはカメラレンズ）が見えるようなシステムは、被検者に心理的な抵抗を生じさせ得る。このため、カメラが見えないようなシステムが望ましい。
【0018】
上述のような医療およびヘルスケア分野の強い要請により、カメラを用いた遠隔生体情報センシングを実現するためのシステムの開発はさまざまな研究機関で行われ、いくつか
の製品が市販されている。従来のカメラを用いた遠隔生体情報センシングシステムの最大の課題は、測定の精度および安定性にある。人体をカメラで撮影する場合、カメラに入射する光の大部分は、肌の表面または表面近傍で反射された光である。皮膚最表面の角質層には血管が無く代謝も起こらないため、表面反射の成分から生体情報を取得することはできない。皮膚の内部まで透過し、血管のある表皮部で反射した光を検出する必要がある。皮膚から反射される光においては、皮膚の表面で反射された成分が支配的で、皮膚内部まで透過した光は、生体の強い光吸収によって急速に失われる。このため、反射光に占める生体情報を含む光の割合は低い。さらに、測定用の照明系をもたず、環境光を用いて画像を取得するシステムでは、周囲の環境光の変化に伴い、取得される画像信号が変化することによる不安定性が課題となっていた。
の製品が市販されている。従来のカメラを用いた遠隔生体情報センシングシステムの最大の課題は、測定の精度および安定性にある。人体をカメラで撮影する場合、カメラに入射する光の大部分は、肌の表面または表面近傍で反射された光である。皮膚最表面の角質層には血管が無く代謝も起こらないため、表面反射の成分から生体情報を取得することはできない。皮膚の内部まで透過し、血管のある表皮部で反射した光を検出する必要がある。皮膚から反射される光においては、皮膚の表面で反射された成分が支配的で、皮膚内部まで透過した光は、生体の強い光吸収によって急速に失われる。このため、反射光に占める生体情報を含む光の割合は低い。さらに、測定用の照明系をもたず、環境光を用いて画像を取得するシステムでは、周囲の環境光の変化に伴い、取得される画像信号が変化することによる不安定性が課題となっていた。
【0019】
さらに、遠隔センシングの場合、体動による測定の不安定性が大きな課題となる。体動に伴う測定領域の変化およびカメラに対する向き（角度）の変化により、取得される信号が変動するため、安定した測定ができなくなる。すでに述べたように、カメラで取得される信号の大半は、生体情報を含まない皮膚での表面反射に起因する成分であり、生体情報を含む信号成分は微弱である。体動に伴う測定領域の変化および向きの変化により、表面反射が大きく変化するため、微弱な生体情報は取得できなくなる。このことが、カメラを用いた遠隔生体情報センシングの最大の課題である。安定した計測のためには、体動を止め静止した状態で測定する必要があり、非拘束というメリットを十分に活かすことができなかった。
【0020】
カメラを用いた遠隔生体センシングにおいては、被検者の画像が得られるため、この画像を用いて体動の影響を低減する方法が用いられる場合があった。そのような方法では、カメラから得られる画像から、顔認識機能を利用して顔部分を検出し、さらに顔の部位認識を行って測定すべき部位を認識し、体動があっても常に画像上で測定部位を捕捉して生体情報を検知する。例えば部位認識により額部を検出できれば、額部が体動により画像上で移動しても、常に額部の情報を取得することができる。
【0021】
しかしながら、画像認識を用いる方法には二つの課題がある。一つは、画像全体から特徴抽出によって顔部位を認識するため、計算負荷が大きいことである。したがって、高性能で高価な演算装置を用いて高速な画像処理を行うか、１つのフレームの処理が終わってから次のフレームを処理できるようにフレームレートを下げて使用する必要があった。高速な処理には費用がかかり、装置の大型化および高価格化を招く。低速な処理を採用した場合には測定精度が低下する。もう一つの課題は、画像認識を行って体動の影響を低減したとしても、体動に伴う被検部の向き（カメラの正面方向に対する被検部表面の法線方向の角度）の変化により、検出精度の向上には限界があることである。表面反射光の反射率には角度依存性があるため、体動によって測定対象部位の向きが変化すると、カメラに到達する表面反射光の量が変動するため、検出精度が低下する。
【0022】
このように、カメラを用いて遠隔生体情報センシングを行う際の最大の課題は、体動による測定の不安定性である。この不安定性に起因する信頼性の低さのため、現在まで、カメラを用いた遠隔生体情報センシングが様々な用途で広く用いられるようにはなっていない。
【0023】
前述のように、人間の健康状態を判断するための基礎的な生体情報を測定する様々な試みがなされている。例えば、特許文献１は、カメラで撮影した顔などの画像の情報から非接触で心拍数を検出する方法を提案している。特許文献１の方法は、取得したカラー画像の空間周波数成分を分析することによって心拍数を求める。しかし、この方法では、室内の照明光等の外乱光の影響によって精度が低下するため、安定な検出ができない。
【0024】
血中酸素飽和度の測定にはパルスオキシメータが一般に用いられる。パルスオキシメータは、指を挟みこむようにして赤色～近赤外の波長域に含まれる２つの波長の光を指に照射し、その透過率を測定する。これにより、血液中の酸化ヘモグロビンの濃度と還元ヘモグロビンの濃度との比を求めることができる。パルスオキシメータは、簡便な構成で血中酸素飽和度を測定できる。しかし、接触型の装置であるため、拘束感があるという課題がある。
【0025】
非接触型の血中酸素飽和度測定装置の一例が特許文献２に開示されている。この装置は、白色光源とレーザー光源とを用いて、生体表面の後方で散乱したレーザー光によるレーザドップラー効果を利用して血中酸素飽和度を測定する。しかし、この方法では装置の構成が複雑になり、得られる信号も微弱であるという課題がある。
【0026】
特許文献３は、通常のカラーカメラを用いて周辺光の影響を除外して血中酸素飽和度を測定する方法を提案している。この方法でも皮膚の表面での反射光の影響が大きいため、高い精度で安定して血中酸素飽和度を測定することは困難である。
【0027】
このように、従来の非接触型の心拍、血流量、血中酸素飽和度等の生体情報の測定方法は、精度および安定性に課題がある。
【0028】
さらに、カメラを用いて生体情報を測定するためには、カメラ画像の中から測定領域（例えば額領域）を特定し、その領域内の画像情報を用いて生体情報を検出する必要がある。測定領域の特定のための方法には、測定前に測定領域を指定する方法と、画像から測定領域を自動的に設定する方法とがある。測定前に測定領域を指定する方法では、測定者は、測定を開始する前に被検者の画像から測定領域を指定し、測定中は同一の箇所の測定を続ける。この方法は簡単であるが、測定中被測定者は動くことを許されず、非接触測定における非拘束というメリットが失われる。これを避けるために、自動的に測定領域を設定する方法が用いられることがある。そのような方式では、例えば、測定領域が額の領域である場合、カメラは、取得した画像から顔認識を行い、さらに顔の部位認識を行って、画像上の額部を特定し、その部分の計測を行うことができる。
【0029】
図２１は、そのようなシステムの一例（比較例）を模式的に示す図である。このシステムにおけるカメラである撮像装置２は、イメージセンサ７を有するカメラ筐体６と、レンズである光学系５とを備えている。撮像装置２におけるイメージセンサ７には、演算装置（または演算回路）が内蔵または接続されている。演算装置は、取得された画像（例えば図２１の部分（ａ））について顔認識を行い、額部を特定した上で額部の画像データ（例えば図２１の部分（ｂ））を抽出する。そして、額部の画像データから、心拍変動等の生体情報（例えば図２１の部分（ｃ））を生成する。図２１の部分（ｃ）は、図２１の部分（ｂ）に示す額部の画像データを、額部の領域内で平均化した値の時間変動を示している。ここで用いられる顔の部位認識アルゴリズムは、コンピュータの画像処理に大きな負荷をかける。このため、高速な処理のためには演算装置のコストが大きくなる。また、画像認識を用いる方法には、体の向きが変化した場合および顔の一部が隠れた場合には認識率が低下するという課題があった。さらに、環境光の影響を受けやすいという課題もあった。このことから、連続的に安定して計測することは困難であった。
【0030】
顔認識を用いる方法では、上記の課題の他にも、顔以外の部位（腕または胸など）の測定を行うことができないという課題もあった。さらに、プライバシーへの配慮が必要であるという課題もあった。被検者は常にカメラで画像を取得されていることに心理的なストレスを受ける。しかし、高い精度の画像認識のためには、高い解像度のカメラを用いて撮影することが必要である。このため、カメラで常に撮影されていることが被検者に心理的な負担を感じさせるおそれがある。
【0031】
本発明者は、上記の課題に着目し、上記課題を解決するための構成を検討した。その結果、光によるドットパターンを生体表面に投影する光源を用いて画像を取得し、その画像における直接反射光（「表面反射光」とも称する。）による成分と生体内部での散乱光（「体内散乱光」と称する。）による成分との比率（例えば後述するコントラスト）に基づいて、画像上の生体領域（例えば人体領域）を検出し、検出された生体領域において直接反射光による成分と生体内部での散乱光による成分とを信号処理によって分離することによって上記課題を解決することができることを見出した。すなわち、生体情報検出装置は、まず画像上で生体であると推定される領域を検出し、その領域内で生体情報を計測する。このような方法により、後に詳しく説明するように、画像処理の演算量を大幅に低減し、高速で安定した生体情報の検出が可能となる。
【0032】
本開示の一態様に係る生体情報検出装置は、
第１の光による複数の第１のドットを、生体を含む対象物に投影する第１の光源と、
前記複数の第１のドットが投影された前記対象物からの第２の光を検出する複数の第１の光検出セルを含み、前記複数の第１のドットが投影された前記対象物の第１の画像を示す第１の画像信号を生成して出力する撮像装置と、
第１演算回路と、
第２演算回路と、
を備える。
第１の光による複数の第１のドットを、生体を含む対象物に投影する第１の光源と、
前記複数の第１のドットが投影された前記対象物からの第２の光を検出する複数の第１の光検出セルを含み、前記複数の第１のドットが投影された前記対象物の第１の画像を示す第１の画像信号を生成して出力する撮像装置と、
第１演算回路と、
第２演算回路と、
を備える。
【0033】
前記第１の画像は複数の画素を含む。
【0034】
前記第１演算回路は、前記第１の画像信号を用いて、前記第１の画像のうち、前記生体に対応する第１部分を検出する。
【0035】
前記第２演算回路は、前記複数の画素のうち、前記第１の画像の前記第１部分内の画素のデータを用いて、前記生体に関する生体情報を算出する。
【0036】
前記第１演算回路は、ドットパターンが投影されている領域における画素の信号と、当該領域の周辺の領域における画素の信号との比率に基づいて、生体領域を検出することができる。例えば、前記画像に含まれる特定の画素、および前記特定の画素の周辺に配置された複数の画素における画素値の標準偏差と平均値との比（「コントラスト」と称する。）に基づいて、前記特定の画素に対応する位置に生体が存在するか否かを決定することができる。前記第２演算回路は、前記画像信号のうち、主に前記ドットパターンが投影されていない領域の信号を用いて、前記生体に関する情報を生成して出力する。このような構成により、生体情報を高い精度で取得することができる。
【0037】
本明細書において、「生体情報」とは、心拍、血流量、血圧、血中酸素飽和度、呼吸などの、生体に関する種々の情報を意味する。本明細書では、これらの情報から得られる、人の集中度または情動などの状態を示す情報も、「生体情報」に含まれる。
【0038】
（原理）
以下、生体情報の高精度な取得を可能とする生体情報検出装置の原理を説明する。
以下、生体情報の高精度な取得を可能とする生体情報検出装置の原理を説明する。
【0039】
本開示の実施形態における生体情報検出装置では、例えば略６５０ｎｍ以上略９５０ｎｍ以下の波長範囲の光が使用される。この波長範囲は、赤色～近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。上記の波長範囲は、「生体の窓」と呼ばれ、体内での吸収率が低いことで知られている。
【0040】
図２２は、酸化ヘモグロビン、還元ヘモグロビン、メラニン、および水のそれぞれの光の吸収係数、ならびに体内での光の散乱係数の波長依存性を示す図である。６５０ｎｍ以下の可視光領域では血液（即ちヘモグロビン）による吸収が大きく、９５０ｎｍよりも長い波長域では水による吸収が大きい。よって、これらの波長域の光は生体内の情報の取得には適していない。一方、略６５０ｎｍ以上略９５０ｎｍ以下の波長範囲内では、ヘモグロビンおよび水の吸収係数が比較的低く、散乱係数は大きい。散乱係数が吸収係数よりも１桁以上大きく、「生体の窓」の波長帯では皮膚と近赤外光との相互作用は散乱が支配的になる。このため、この波長範囲内の光は、体内に侵入した後、強い散乱を受けて体表面に戻ってくる。このような光学特性は肌に特有であるため、この拡散反射特性を用いて人体と他の物質を区別することが可能になる。
【0041】
本開示の実施形態における生体情報検出装置は、主にこの「生体の窓」に該当する波長域の光を利用する。例えばドットアレー光源を用いることにより、生体表面で直接反射された光と体内で散乱して戻ってきた光とを高い精度で空間的に分離して検出できるため、生体の情報を効率的に取得することができる。
【0042】
図１Ａは、本開示の例示的な実施形態における生体情報検出装置の概略的な構成を示す図である。この装置は、離散的に配列された複数の点像（本明細書において、「配列点像」または「ドットパターン」と称することがある。）を、生体を含む対象物に投影する配列点像光源である光源１と、カメラである２とを備える。光源１は、複数の点像を生体３に投影するように配置される。撮像装置２は、イメージセンサ（「撮像素子」とも称する。）を有し、生体表面４を撮像し、画像信号を生成して出力する。
【0043】
図１Ｂは、撮像装置２によって取得される生体表面の画像の特性を説明するための図である。光源１から出射された光Ｌ０は生体表面４で反射される。生体表面４で反射された表面反射光Ｌ１は、光源１による配列点像のイメージを保っている。これに対し、生体３の内部に侵入し生体内部で散乱されて生体表面４から出ていく体内散乱光Ｌ２は、生体内での強い散乱によって光源１の配列点像のイメージを失っている。光源１を用いることにより、表面反射光Ｌ１と体内散乱光Ｌ２とを空間的に容易に分離できる。
【0044】
図１Ａに示す生体３は人間の皮膚であり、表皮３３、真皮３４、および皮下組織３５を含む。表皮３３には血管がないが、真皮３４には毛細血管３１および細動静脈３２が存在する。表皮３３には血管がないため、表面反射光Ｌ１は血液に関する情報を含まない。表皮３３は光を強く吸収するメラニン色素を含むため、表皮３３からの表面反射光Ｌ１は血液の情報を取得する上ではノイズとなる。よって、表面反射光Ｌ１は、血液情報の取得に役立たないだけでなく、正確な血液情報の取得を妨げる。高い精度で生体情報を検知するためには、表面反射光の影響を抑制し、体内散乱光の情報を効率よく取得することが極めて重要である。
【0045】
本開示の実施形態は、上記の課題を解決するために、配列点像を生体に投影する光源と撮像装置（または撮像システム）とを用いて、直接反射光と体内散乱光とを空間的に分離するという新規な構成を有する。これにより、生体内の情報を非接触で高い精度で測定することが可能である。
【0046】
従来、このような生体表面の直接反射光を分離するために、例えば特許文献６に開示されているような偏光照明を用いた方法が用いられてきた。偏光照明を用いた方法では、撮影対象から反射された照明光の偏光方向と直交する偏光透過軸をもつ偏光子が用いられる。そのような偏光子を通してカメラで撮像することにより、表面反射光の影響を抑制することができる。しかしながら、肌のような凹凸を有する表面からの反射に関しては、表面反射光の偏光度が位置によって異なり、十分に直接反射光を分離できないという課題があ
った。本開示の方法によれば、直接反射光と散乱光とを空間的に分離できるため、表面反射光の影響をより効果的に抑制することができる。
った。本開示の方法によれば、直接反射光と散乱光とを空間的に分離できるため、表面反射光の影響をより効果的に抑制することができる。
【0047】
本開示は、例えば以下の項目に記載の態様を含む。
【0048】
［項目１］
本開示の項目１に係る生体情報検出装置は、
第１の光による複数の第１のドットを、生体を含む対象物に投影する第１の光源と、
前記複数の第１のドットが投影された前記対象物からの第２の光を検出する複数の第１の光検出セルを含み、前記複数の第１のドットが投影された前記対象物の第１の画像を示す第１の画像信号を生成して出力する撮像装置と、
第１演算回路と、
第２演算回路と、
を備え、
前記第１の画像は複数の画素を含み、
前記第１演算回路は、前記第１の画像信号を用いて、前記第１の画像のうち、前記生体に対応する第１部分を検出し、
前記第２演算回路は、前記複数の画素のうち、前記第１の画像の前記第１部分内の画素のデータを用いて、前記生体に関する生体情報を算出する。
本開示の項目１に係る生体情報検出装置は、
第１の光による複数の第１のドットを、生体を含む対象物に投影する第１の光源と、
前記複数の第１のドットが投影された前記対象物からの第２の光を検出する複数の第１の光検出セルを含み、前記複数の第１のドットが投影された前記対象物の第１の画像を示す第１の画像信号を生成して出力する撮像装置と、
第１演算回路と、
第２演算回路と、
を備え、
前記第１の画像は複数の画素を含み、
前記第１演算回路は、前記第１の画像信号を用いて、前記第１の画像のうち、前記生体に対応する第１部分を検出し、
前記第２演算回路は、前記複数の画素のうち、前記第１の画像の前記第１部分内の画素のデータを用いて、前記生体に関する生体情報を算出する。
【0049】
［項目２］
項目１に記載の生体情報検出装置において、
前記第２の光は、前記対象物の前記表面の、前記複数の第１のドットのうち少なくとも１つの第１のドットが投影された位置からの第３の光と、前記対象物の前記表面の、前記複数の第１のドットが投影された位置と異なる位置であって、前記少なくとも１つの第１のドットを囲む位置からの第４の光とを含み、
前記第１演算回路は、前記第１の画像信号のうち、前記第３の光に対応する第１の画像信号および前記第４の光に対応する第１の画像信号を用いて、前記第１の画像の前記第１部分を検出し、
前記第２演算回路は、前記第１の画像の前記第１部分内の画素のうち、前記第４の光に対応する画素のデータを用いて、前記生体に関する生体情報を算出してもよい。
項目１に記載の生体情報検出装置において、
前記第２の光は、前記対象物の前記表面の、前記複数の第１のドットのうち少なくとも１つの第１のドットが投影された位置からの第３の光と、前記対象物の前記表面の、前記複数の第１のドットが投影された位置と異なる位置であって、前記少なくとも１つの第１のドットを囲む位置からの第４の光とを含み、
前記第１演算回路は、前記第１の画像信号のうち、前記第３の光に対応する第１の画像信号および前記第４の光に対応する第１の画像信号を用いて、前記第１の画像の前記第１部分を検出し、
前記第２演算回路は、前記第１の画像の前記第１部分内の画素のうち、前記第４の光に対応する画素のデータを用いて、前記生体に関する生体情報を算出してもよい。
【0050】
［項目３］
項目２に記載の生体情報検出装置において、
前記第１演算回路は、前記第３の光に対応する第１の画像信号の強度と、前記第４の光に対応する第１の画像信号の強度との割合を求め、前記割合を用いて、前記第１の画像の前記第１部分を検出してもよい。
項目２に記載の生体情報検出装置において、
前記第１演算回路は、前記第３の光に対応する第１の画像信号の強度と、前記第４の光に対応する第１の画像信号の強度との割合を求め、前記割合を用いて、前記第１の画像の前記第１部分を検出してもよい。
【0051】
［項目４］
項目２に記載の生体情報検出装置において、
前記第１演算回路は、前記第３の光に対応する第１の画像信号の強度、および前記第４の光に対応する第１の画像信号の強度の標準偏差と平均値との比を用いて、前記第１の画像の前記第１部分を検出してもよい。
項目２に記載の生体情報検出装置において、
前記第１演算回路は、前記第３の光に対応する第１の画像信号の強度、および前記第４の光に対応する第１の画像信号の強度の標準偏差と平均値との比を用いて、前記第１の画像の前記第１部分を検出してもよい。
【0052】
［項目５］
項目１から４のいずれかに記載の生体情報検出装置において、
前記第１の光は、６５０ｎｍ以上９５０ｎｍ以下の波長の光を含んでいてもよい。
項目１から４のいずれかに記載の生体情報検出装置において、
前記第１の光は、６５０ｎｍ以上９５０ｎｍ以下の波長の光を含んでいてもよい。
【0053】
［項目６］
項目１から５のいずれかに記載の生体情報検出装置において、
前記生体情報は、前記生体の心拍数、前記生体の血圧、前記生体の血流量、および前記生体の血中酸素飽和度、前記生体の皮膚におけるメラニン色素の濃度、前記生体の皮膚におけるしみの有無、および前記生体の皮膚におけるあざの有無からなる群から選択される少なくとも１つを含んでいてもよい。
項目１から５のいずれかに記載の生体情報検出装置において、
前記生体情報は、前記生体の心拍数、前記生体の血圧、前記生体の血流量、および前記生体の血中酸素飽和度、前記生体の皮膚におけるメラニン色素の濃度、前記生体の皮膚におけるしみの有無、および前記生体の皮膚におけるあざの有無からなる群から選択される少なくとも１つを含んでいてもよい。
【0054】
［項目７］
項目１から６のいずれかに記載の生体情報検出装置において、
前記撮像装置は、
前記第２の光を透過させる第１のバンドパスフィルタと、
前記複数の第１の光検出セルが配置された撮像面を有し、前記第１のバンドパスフィルタを透過した光が前記撮像面に入射するイメージセンサと、
をさらに含んでいてもよい。
項目１から６のいずれかに記載の生体情報検出装置において、
前記撮像装置は、
前記第２の光を透過させる第１のバンドパスフィルタと、
前記複数の第１の光検出セルが配置された撮像面を有し、前記第１のバンドパスフィルタを透過した光が前記撮像面に入射するイメージセンサと、
をさらに含んでいてもよい。
【0055】
［項目８］
項目１から７のいずれかに記載の生体情報検出装置において、
前記第２演算回路は、前記画素のデータの少なくとも一部にローパスフィルタリング処理を施して得られる値の時間変化を用いて、前記生体の心拍数、前記生体の血圧、および前記生体の血流量からなる群から選択される少なくとも１つを前記生体情報として算出してもよい。
項目１から７のいずれかに記載の生体情報検出装置において、
前記第２演算回路は、前記画素のデータの少なくとも一部にローパスフィルタリング処理を施して得られる値の時間変化を用いて、前記生体の心拍数、前記生体の血圧、および前記生体の血流量からなる群から選択される少なくとも１つを前記生体情報として算出してもよい。
【0056】
［項目９］
項目１から８のいずれかに記載の生体情報検出装置は、
第２の光による複数の第２のドットを、前記対象物に投影する第２の光源をさらに備え、
前記第１の光は、６５０ｎｍ以上８００ｎｍ以下の波長の光を含み、
前記第２の光は、８００ｎｍ以上９５０ｎｍ以下の波長の光を含み、
前記撮像装置は、前記複数の第２のドットが投影された前記対象物からの第５の光を検出する複数の第２の光検出セルをさらに含み、
前記撮像装置は、前記複数の第２のドットが投影された前記対象物の第２の画像を示す第２の画像信号を生成して出力してもよい。
項目１から８のいずれかに記載の生体情報検出装置は、
第２の光による複数の第２のドットを、前記対象物に投影する第２の光源をさらに備え、
前記第１の光は、６５０ｎｍ以上８００ｎｍ以下の波長の光を含み、
前記第２の光は、８００ｎｍ以上９５０ｎｍ以下の波長の光を含み、
前記撮像装置は、前記複数の第２のドットが投影された前記対象物からの第５の光を検出する複数の第２の光検出セルをさらに含み、
前記撮像装置は、前記複数の第２のドットが投影された前記対象物の第２の画像を示す第２の画像信号を生成して出力してもよい。
【0057】
［項目１０］
項目９に記載の生体情報検出装置において、
前記撮像装置は、
前記複数の第１の光検出セルが配置された第１の領域と、前記複数の第２の光検出セルが配置された第２の領域とに分割された撮像面を有するイメージセンサと、
前記第１の領域に前記第１の画像を形成する第１の光学系と、
前記第２の領域に前記第２の画像を形成する第２の光学系と、
をさらに含んでいてもよい。
項目９に記載の生体情報検出装置において、
前記撮像装置は、
前記複数の第１の光検出セルが配置された第１の領域と、前記複数の第２の光検出セルが配置された第２の領域とに分割された撮像面を有するイメージセンサと、
前記第１の領域に前記第１の画像を形成する第１の光学系と、
前記第２の領域に前記第２の画像を形成する第２の光学系と、
をさらに含んでいてもよい。
【0058】
［項目１１］
項目１０に記載の生体情報検出装置において、
前記撮像装置は、
前記第２の光の経路上に配置され、前記第２の光を透過させる第１のバンドパスフィルタと、
前記第５の光の経路上に配置され、前記第５の光を透過させる第２のバンドパスフィルタと、
をさらに含んでいてもよい。
項目１０に記載の生体情報検出装置において、
前記撮像装置は、
前記第２の光の経路上に配置され、前記第２の光を透過させる第１のバンドパスフィルタと、
前記第５の光の経路上に配置され、前記第５の光を透過させる第２のバンドパスフィルタと、
をさらに含んでいてもよい。
【0059】
［項目１２］
項目９に記載の生体情報検出装置において、
前記撮像装置は、
前記複数の第１の光検出セルおよび前記複数の第２の光検出セルが配置された撮像面と、
前記複数の第１の光検出セルに対向し前記第２の光を透過させる複数の第１のバンドパスフィルタと、
前記複数の第２の光検出セルに対向し前記第５の光を透過させる複数の第２のバンドパスフィルタと、を含むイメージセンサと、
前記撮像面に前記第１の画像および前記第２の画像を形成する光学系と、
をさらに含んでいてもよい。
項目９に記載の生体情報検出装置において、
前記撮像装置は、
前記複数の第１の光検出セルおよび前記複数の第２の光検出セルが配置された撮像面と、
前記複数の第１の光検出セルに対向し前記第２の光を透過させる複数の第１のバンドパスフィルタと、
前記複数の第２の光検出セルに対向し前記第５の光を透過させる複数の第２のバンドパスフィルタと、を含むイメージセンサと、
前記撮像面に前記第１の画像および前記第２の画像を形成する光学系と、
をさらに含んでいてもよい。
【0060】
［項目１３］
項目９に記載の生体情報検出装置において、
前記撮像装置は、
前記複数の第１の光検出セル、前記複数の第２の光検出セル、および複数の第３の光検出セルが配置された撮像面と、
前記複数の第１の光検出セルに対向し前記第２の光を透過させる複数の第１のバンドパスフィルタと、
前記複数の第２の光検出セルに対向し前記第５の光を透過させる複数の第２のバンドパスフィルタと、
前記複数の第３の光検出セルに対向し可視光を透過させる複数の第３のバンドパスフィルタと、を含むイメージセンサと、
前記撮像面に前記第１の画像および前記第２の画像を形成する光学系と、
をさらに含み、
前記複数の第３のバンドパスフィルタは、互いに透過波長域の異なる複数の色フィルタを含み、
前記イメージセンサは、前記複数の第３の光検出セルを用いてカラー画像信号を生成して出力してもよい。
項目９に記載の生体情報検出装置において、
前記撮像装置は、
前記複数の第１の光検出セル、前記複数の第２の光検出セル、および複数の第３の光検出セルが配置された撮像面と、
前記複数の第１の光検出セルに対向し前記第２の光を透過させる複数の第１のバンドパスフィルタと、
前記複数の第２の光検出セルに対向し前記第５の光を透過させる複数の第２のバンドパスフィルタと、
前記複数の第３の光検出セルに対向し可視光を透過させる複数の第３のバンドパスフィルタと、を含むイメージセンサと、
前記撮像面に前記第１の画像および前記第２の画像を形成する光学系と、
をさらに含み、
前記複数の第３のバンドパスフィルタは、互いに透過波長域の異なる複数の色フィルタを含み、
前記イメージセンサは、前記複数の第３の光検出セルを用いてカラー画像信号を生成して出力してもよい。
【0061】
［項目１４］
項目９から１３のいずれかに記載の生体情報検出装置において、
前記第２演算回路は、前記第１の画像信号および前記第２の画像信号を用いて、前記生体の血中酸素飽和度を示す情報を算出してもよい。
項目９から１３のいずれかに記載の生体情報検出装置において、
前記第２演算回路は、前記第１の画像信号および前記第２の画像信号を用いて、前記生体の血中酸素飽和度を示す情報を算出してもよい。
【0062】
［項目１５］
項目９から１３のいずれかに記載の生体情報検出装置において、
前記第２演算回路は、
前記第１の画像信号および前記第２の画像信号を用いて、前記生体の血流量および前記生体の血中酸素飽和度を算出し、
前記生体の血流量および前記生体の血中酸素飽和度を用いて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成してもよい。
項目９から１３のいずれかに記載の生体情報検出装置において、
前記第２演算回路は、
前記第１の画像信号および前記第２の画像信号を用いて、前記生体の血流量および前記生体の血中酸素飽和度を算出し、
前記生体の血流量および前記生体の血中酸素飽和度を用いて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成してもよい。
【0063】
［項目１６］
項目９から１３のいずれかに記載の生体情報検出装置において、
前記第１の画像および前記第２の画像に、前記生体の額および鼻からなる群から選択される少なくとも１つが含まれるとき、
前記第２演算回路は、前記第１の画像信号および前記第２の画像信号を用いて、前記額および前記鼻からなる群から選択される前記少なくとも１つにおける血流量の時間変化および血中酸素飽和度の時間変化を算出し、
前記血流量の時間変化および前記血中酸素飽和度の時間変化を用いて、前記生体の体調
、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成してもよい。
項目９から１３のいずれかに記載の生体情報検出装置において、
前記第１の画像および前記第２の画像に、前記生体の額および鼻からなる群から選択される少なくとも１つが含まれるとき、
前記第２演算回路は、前記第１の画像信号および前記第２の画像信号を用いて、前記額および前記鼻からなる群から選択される前記少なくとも１つにおける血流量の時間変化および血中酸素飽和度の時間変化を算出し、
前記血流量の時間変化および前記血中酸素飽和度の時間変化を用いて、前記生体の体調
、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成してもよい。
【0064】
［項目１７］
項目９から１３のいずれかに記載の生体情報検出装置において、
前記第１の画像および前記第２の画像に、前記生体の額および鼻が含まれるとき、
前記第２演算回路は、前記第１の画像信号および前記第２の画像信号を用いて、前記額における血流量の時間変化および血中酸素飽和度の時間変化、並びに前記鼻における血流量の時間変化および血中酸素飽和度の時間変化を算出し、
前記額における前記血流量の時間変化および前記血中酸素飽和度の時間変化と、前記鼻における前記血流量の時間変化および前記血中酸素飽和度の時間変化との比較に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成してもよい。
項目９から１３のいずれかに記載の生体情報検出装置において、
前記第１の画像および前記第２の画像に、前記生体の額および鼻が含まれるとき、
前記第２演算回路は、前記第１の画像信号および前記第２の画像信号を用いて、前記額における血流量の時間変化および血中酸素飽和度の時間変化、並びに前記鼻における血流量の時間変化および血中酸素飽和度の時間変化を算出し、
前記額における前記血流量の時間変化および前記血中酸素飽和度の時間変化と、前記鼻における前記血流量の時間変化および前記血中酸素飽和度の時間変化との比較に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成してもよい。
【0065】
［項目１８］
項目１から１７のいずれかに記載の生体情報検出装置において、
前記第１の光源は、レーザー光源であってもよい。
項目１から１７のいずれかに記載の生体情報検出装置において、
前記第１の光源は、レーザー光源であってもよい。
【0066】
［項目１９］
項目１から１８のいずれかに記載の生体情報検出装置において、
前記撮像装置は、
前記複数の第１の光検出セルが配置された撮像面を有するイメージセンサと、
前記撮像面に前記第１の画像を形成する光学系と、
前記光学系の焦点を調整する調整機構と、
をさらに含み、
前記調整機構は、前記焦点を調整することにより、前記第１の画像のコントラストを最大にしてもよい。
項目１から１８のいずれかに記載の生体情報検出装置において、
前記撮像装置は、
前記複数の第１の光検出セルが配置された撮像面を有するイメージセンサと、
前記撮像面に前記第１の画像を形成する光学系と、
前記光学系の焦点を調整する調整機構と、
をさらに含み、
前記調整機構は、前記焦点を調整することにより、前記第１の画像のコントラストを最大にしてもよい。
【0067】
［項目２０］
項目１から１９のいずれかに記載の生体情報検出装置において、
前記第１演算回路は、前記第１の画像信号を用いて、前記第１の画像に前記生体の額、鼻、口、眉毛、および毛髪からなる群から選択される少なくとも１つが含まれているか否かを決定し、
前記第１の画像に前記生体の額、鼻、口、眉毛、および毛髪からなる群から選択される前記少なくとも１つが含まれていると決定されたとき、
前記第２演算回路は、前記生体に関する生体情報を算出して、もよい。
項目１から１９のいずれかに記載の生体情報検出装置において、
前記第１演算回路は、前記第１の画像信号を用いて、前記第１の画像に前記生体の額、鼻、口、眉毛、および毛髪からなる群から選択される少なくとも１つが含まれているか否かを決定し、
前記第１の画像に前記生体の額、鼻、口、眉毛、および毛髪からなる群から選択される前記少なくとも１つが含まれていると決定されたとき、
前記第２演算回路は、前記生体に関する生体情報を算出して、もよい。
【0068】
［項目２１］
項目１から２０のいずれかに記載の生体情報検出装置において、
前記第１演算回路は、さらに、前記複数の画素のうち、前記第１の画像の前記第１部分と異なる第２部分内の画素のデータを用いて、前記生体に関する他の生体情報を算出してもよい。
項目１から２０のいずれかに記載の生体情報検出装置において、
前記第１演算回路は、さらに、前記複数の画素のうち、前記第１の画像の前記第１部分と異なる第２部分内の画素のデータを用いて、前記生体に関する他の生体情報を算出してもよい。
【0069】
［項目２２］
項目１から２０のいずれかに記載の生体情報検出装置において、
前記第２演算回路は、さらに、第１の時刻における、前記第１の画像内の前記第１部分の位置と、第２の時刻における、前記第１の画像内の前記第１部分の位置とを比較することにより、前記生体が動いたか否かを決定してもよい。
項目１から２０のいずれかに記載の生体情報検出装置において、
前記第２演算回路は、さらに、第１の時刻における、前記第１の画像内の前記第１部分の位置と、第２の時刻における、前記第１の画像内の前記第１部分の位置とを比較することにより、前記生体が動いたか否かを決定してもよい。
【0070】
本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図
の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。 ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。
の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。 ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。
【0071】
さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインタフェース、を備えていても良い。
【0072】
以下、本開示の実施形態をより詳細に説明する。以下の実施形態は、主に人の顔面を生体表面として、非接触で生体情報を測定する生体情報検出装置に関する。ただし、本開示の技術は人間の顔面に限らず、顔面以外の部位または人間以外の動物の皮膚の部分にも適用可能である。
【0073】
（実施形態１）
第１の実施形態として、本開示の技術を非接触の心拍計測に応用したシステムを説明する。ヘルスケア意識の高まりにより、定常的な生体情報センシングの重要性が増している。非接触で常時生体情報が測定可能なシステムは、病院だけでなく日常生活における健康管理にも重要である。本実施形態のシステムは、非接触で心拍数および心拍変動をモニタリングすることができる。
第１の実施形態として、本開示の技術を非接触の心拍計測に応用したシステムを説明する。ヘルスケア意識の高まりにより、定常的な生体情報センシングの重要性が増している。非接触で常時生体情報が測定可能なシステムは、病院だけでなく日常生活における健康管理にも重要である。本実施形態のシステムは、非接触で心拍数および心拍変動をモニタリングすることができる。
【0074】
図２は、本実施形態の生体検知システムの概略的な構成を示す図である。本実施形態の生体検知システムは、図２に示すように、生体３から離れて位置する近赤外の波長域の光線を射出する光源１と、照射された生体表面４の画像を記録可能なカメラである撮像装置２と、光源１および撮像装置２とに接続されたコンピュータ２０とを備えている。コンピュータ２０は、撮像された画像から生体表面での表面反射光Ｌ１の成分と体内散乱光Ｌ２の成分とを分離して測定することができる。コンピュータ２０は、表面反射光Ｌ１の強度と体内散乱光Ｌ２の強度とに基づいて画像中に生体が含まれるかを検出することができる。また、画像中の生体の領域における信号から、心拍数などの生体情報を算出して出力することができる。
【0075】
光源１は、ドットパターンを生体表面４に投影するように設計されている。ドットパターンは、典型的には２次元に配列された微小な輝点の集合である。用途によっては１次元に配列されたドットパターンを用いてもよい。本実施形態では、例えば米国Ｏｓｅｌａ社のランダムドットパターンレーザープロジェクターＲＰＰ０１７ＥＳを光源１として使用できる。このレーザー光源は８３０ｎｍの近赤外レーザー光を発する光源であり、４５°×４５°の視野角内に５７４４６点のレーザードットパターンを投影する。
【0076】
図３Ａは、撮像装置の構成および生成される画像および生体情報の一例を示す図である。カメラである撮像装置２は、光学系５とカメラ筐体６とを有する。光学系５は複数のレンズの集合体であり得る。カメラ筐体６の内部にはイメージセンサ７と、光源１からの光の波長である８３０ｎｍ±１０ｎｍの波長の光のみを透過させるバンドパスフィルタ８とが搭載されている。
【0077】
人を被検体とする場合、イメージセンサ７は、位置ごとの赤外線反射率に応じた輝度をもつ複数の点像を含む画像の信号を取得する。図３Ａの部分（ａ）は、そのような画像信号が示す画像の一例を示している。この画像信号から、コンピュータ２０内の演算回路は、図３Ａの部分（ｂ）に示すように、信号処理によって人体の領域のみを検出する。この検出は、表面反射光Ｌ１による信号成分と、体内散乱光Ｌ２による信号成分との比率に基づいて行われる。
【0078】
既に述べたように、生体は赤色～近赤外線の波長に対して「生体の窓」と呼ばれる特異な光学特性を持つ。人体の肌はこの波長範囲では吸収係数が小さく、散乱係数が大きい。よって、生体表面４である皮膚の表面を透過した光は体内で多重散乱を繰り返して拡散して広範囲にわたって生体表面４から射出される。このため、図３Ａの部分（ｃ）の拡大図に示されるように、画像中の人体の領域では、表面反射光Ｌ１に起因する各輝点の周囲に、体内散乱光Ｌ２に起因する領域が生じる。上記波長範囲では、直接反射光に対して散乱光の割合が高いことが生体の特徴である。これに対し、生体以外の物体では、散乱光よりも表面反射光の割合の方が圧倒的に多い。よって、直接光と散乱光との比率に基づいて生体領域を検出することが可能である。さらに、得られた画像内の生体領域に含まれる複数の画素の信号を用いて生体情報を高速に取得することができる。肌の光学特性を利用した本実施形態における人体領域の検出は、従来の画像認識を用いた方法に比べて高速かつ高精度である。人体領域の検出およびその情報を用いた高精度な人体検出により、高速かつ高精度な生体情報センシングが可能となった。
【0079】
図３Ｂは、コンピュータ２０の構成を示すブロック図である。コンピュータ２０は、撮像装置２に電気的に接続された入力インタフェース（ＩＦ）２１と、画像内の人体の領域を検出するための信号処理を行う第１演算回路２２と、検出された人体領域内の画像データを用いて生体情報（本実施形態では脈動）を算出する第２演算回路２３と、各種のデータを記録するメモリ２５と、装置全体の動作を制御する制御回路２６と、第２演算回路２３によって生成されたデータを出力する出力インタフェース（ＩＦ）２４と、処理結果を表示するディスプレイ２７とを備えている。演算回路２２、２３の各々は、例えばデジタルシグナルプロセッサ（ＤＳＰ）等の画像処理回路であり得る。図３Ｂでは、演算回路２２、２３を異なるブロックで表しているが、両者が１つの回路によって実現されていてもよい。制御回路２６は、例えば中央演算処理装置（ＣＰＵ）またはマイクロコンピュータ（マイコン）等の集積回路であり得る。制御回路２６は、例えばメモリ２５に記録された制御プログラムを実行することにより、光源１への点灯指示、撮像装置２への撮像指示、および演算回路２２、２３への演算指示等の制御を行う。制御回路２６と演算回路２２、２３とは、統合された１つの回路によって実現されていてもよい。図３Ｂの例ではコンピュータ２０がディスプレイ２７を備えているが、ディスプレイは有線または無線で電気的に接続された外部の装置であってもよい。コンピュータ２０は、不図示の通信回路によって遠隔地の撮像装置２から画像情報を取得してもよい。
【0080】
図３Ａに示す例では、第２演算回路２３は、第１演算回路２２が検出した人体領域内で、体内散乱光Ｌ２の信号成分を平均化する。この平均化は、例えば動画像のフレームごとに実行される。これにより、図３Ａの部分（ｄ）に例示するように、体内散乱光Ｌ２の信号成分の平均値の時間変動のデータが得られる。このデータから、周期または周波数を求
めることにより、心拍数（単位時間あたりの拍動数）を求めることができる。
めることにより、心拍数（単位時間あたりの拍動数）を求めることができる。
【0081】
さらに、同様のシステム構成により、心拍数の測定と同時に、呼吸の測定も実現できる。図３Ｃは、そのような呼吸センシングを行うシステムを模式的に示す図である。この例におけるハードウェアは図３Ａに示すものとまったく同一である。この構成により、画像信号処理によって非接触での呼吸のモニタリングを実現できる。
【0082】
人の呼吸の間隔は、およそ３～４秒（１５～２０回／分）であり、呼吸による胸部および腹壁の膨張および収縮は、成人の場合およそ５ｍｍ程度である。撮像装置でこの胸部の動きを測定できれば、呼吸をモニタリングすることができる。
【0083】
近赤外ドットアレー光源を用いて、胸部の移動量から呼吸をモニタリングする方法は、例えば非特許文献１に開示されている。非特許文献１のシステムは、静止している被検者に対してあらかじめ検査領域を決定しておくことで高精度な呼吸の非接触センシングを実現している。非特許文献１のシステムは、就寝時の非接触呼吸モニタリングを想定しており、大型のシステムで呼吸のみをモニタしている。
【0084】
これに対し、図３Ｃに示す本実施形態のシステムを用いると、小型かつ安価に心拍センシングと同時に呼吸センシングが可能になる。さらに、被検者の体動に追従して安定した測定が可能になる。
【0085】
以下、図３Ｃを参照して、本実施形態における呼吸の測定方法を説明する。第１演算回路２２は、イメージセンサ７によって取得された近赤外画像（図３Ｃの部分（ａ））から前述の方法で人体検知を行い、人体領域のデータ（図３Ｃの部分（ｂ））から顔領域を推定する。さらに、顔領域の中心から胸の位置を推定する。例えば、顔の中心から顔領域の縦方向の長さの１倍から１．２倍程度下にシフトした位置を胸領域と推定する。そして、この胸領域のドットアレー（図３Ｃの部分（ｄ））の時間的な位置変動を測定する。その際、複数のドットの位置変動を平均化することで、画素ピッチ以下の位置変動を測定することができる。ここで注意すべきは、対象（胸）が横方向に移動しても撮像されたドットの位置は殆ど変化せず、奥行き方向に変化したときのみドットの位置が移動して測定されることである。通常の画像を用いた方法では、対象の横方向の移動と縦方向の移動が両方とも画素上の移動として検出され、横方向の移動がより高感度に検出されるため、測定精度が低かった。これに対し、本実施形態では、ドットアレー光源を用いることで、対象の横方向の移動は検出されず縦方向の動きのみが検出される。このため、高精度な呼吸のモニタリングが可能になる。胸領域のドットアレーパターンのフレーム間の変化量を、ドットアレーパターンの自己相関を計算することによって求めることができる。この平均的な移動量が呼吸による胸の上下動を表している。図３Ｃの部分（ｅ）に示すように、ドットパターンの平均的な移動量を時間軸にプロットすることで、呼吸のモニタリングが可能になる。本実施形態の構成によれば、体動がある場合でも、胸領域を追尾しながら高精度の呼吸センシングが可能である。
【0086】
図３Ｃに示す例において、画像中の額領域における画素のデータを用いて心拍数を測定する方法は、図３Ａに示す方法と同じである。図３Ｃの例では、心拍数および呼吸の両方を測定しているが、呼吸のみを測定してもよい。
【0087】
次に、実際のデータを用いて行った生体検知方法の一例を説明する。
【0088】
図４Ａは、可視光を検出する通常の撮像装置によって取得された画像の一例を示している。中央部に人の顔Ｆが見えている。図４Ｂの左側の図は、本実施形態の撮像装置２によって取得された８３０ｎｍの波長の光源１で照明された図４Ａと同一のシーンを示してい
る。この画像では手前に配置されている箱Ｂによる強い反射により、顔Ｆを認識することが困難である。そこで、人体を検知するために、第１演算回路２２は、近赤外の画像から直接反射光と散乱光とのコントラストを計算する。
る。この画像では手前に配置されている箱Ｂによる強い反射により、顔Ｆを認識することが困難である。そこで、人体を検知するために、第１演算回路２２は、近赤外の画像から直接反射光と散乱光とのコントラストを計算する。
【0089】
図５は、コントラストの計算に用いる画素領域の一例を示す図である。画像データは２次元の強度データとしてメモリ２５に記録されている。横（ｘ）方向にｉ番目、縦（ｙ）方向にｊ番目の画素のデータをＰｉｊとする。この（ｉ，ｊ）画素のコントラストＣｉｊを以下のように定義する。
Ｃｉｊ ＝ Ｓｉｊ ／ Ａｉｊ
Ｃｉｊ ＝ Ｓｉｊ ／ Ａｉｊ
【0090】
ここで、ＳｉｊおよびＡｉｊは、それぞれ、（ｉ，ｊ）画素を中心とする７×７画素の領域内の画素データの標準偏差値および平均値である。直接反射光に対する散乱光の比率が高まるほど標準偏差値Ｓｉｊが小さくなるため、Ｃｉｊの値は小さくなる。この処理を全画素について繰り返した上で、第１演算回路２２は、Ｃｉｊの値が所定の範囲内である画素のみを抽出する。一例として、０．２ ＜ Ｃｉｊ ＜ ０．４７となる領域の一部を表示したのが、図４Ｂの右側の図である。この図では、Ｃｉｊの値が上記の範囲内にある画素を白く表示し、それ以外の画素を黒く表示している。生体（即ち顔Ｆ）の部分が正しく抽出されていることがわかる。
【0091】
このように、本実施形態における第１演算回路２２は、画像に含まれる特定の画素、およびその画素の周辺に配置された複数の画素における画素値の標準偏差と平均値との比であるコントラストＣｉｊを計算する。その値に基づいて、上記特定の画素に対応する位置に生体が存在するか否かを判定し、その存否を示す情報を出力することができる。
【0092】
本実施形態によれば、生体の特異な光学特性を利用して、多くの物体の中に隠れた生体を効率的に検出することが可能である。ここでは画像のコントラスト（即ち直接反射光と散乱光とのコントラスト）を求めるために７×７画素の領域内の平均値と標準偏差値とを求めたが、これは一例である。コントラストの演算に用いられる画素領域のサイズ（即ち画素数）は、光源１によって形成される複数の点像の密度と撮像装置２の解像度に応じて適切に設定される。計算結果のばらつきを抑えるために、演算対象の画素領域内に複数（例えば３個以上）の点像が含まれ得る。演算対象の領域の画素数を増加させることによってコントラストの計算値の精度は向上するが、得られる生体のイメージの解像度は低下する。このため、演算対象の領域の画素数は、システムの構成と使用目的とに応じて適切に設定される。さらに、演算対象の画素数だけでなく、この処理を繰り返す画素の間隔も処理速度を左右する。上記の処理では全画素について順次計算を繰り返したが、演算を行う画素間隔を増やすことで解像度は低下するが処理速度を高めることができる。この画素間隔についても、システムの構成と使用目的とに応じて適切に設定すればよい。同様に、コントラストの所定の範囲も、０．２＜Ｃｉｊ＜０．４７に限らず、システムの構成と使用目的とに応じて適切に設定すればよい。
【0093】
以上の方法により、第１演算回路２２は、撮像装置２が取得した２次元画像から、画像内の人体の領域を検出する。次に、第２演算回路２３は、生体情報の取得を行う。既に第１演算回路２２によって画像内の人体領域が特定されているため、この領域内の画素データを用いて、生体情報が生成される。第２演算回路２３は、例えば図３Ｃに示すように、心拍数および呼吸の時間変動のデータを生体情報として生成する。これにより、非接触で心拍数および心拍変動をモニタリングすることが可能である。
【0094】
従来のカメラを用いた生体情報センシングシステムでは、画像中の生体領域の画素データを平均化して生体情報を検出するという方法が一般的であった。これに対して、本実施形態の生体情報センシングシステムは、ドットアレー光源を用いているため、２次元画像
から不必要な肌表面での表面反射光成分を除去し、生体情報を含む体内散乱光を選択的に抽出することが可能になる。投影されたドットアレーの像（表面反射光）は高い画素値をもつ点として検出され、体内で散乱する成分（体内散乱光）はドットを中心に、当該ドットに比べて低い画素値として検出される。光強度に閾値を設けて、一定以上の光強度の画素のデータを除いた画素のデータを平均化することで、体内散乱光を効率的に抽出できる。このような処理により、高精度に生体情報を取得することが可能になった。
から不必要な肌表面での表面反射光成分を除去し、生体情報を含む体内散乱光を選択的に抽出することが可能になる。投影されたドットアレーの像（表面反射光）は高い画素値をもつ点として検出され、体内で散乱する成分（体内散乱光）はドットを中心に、当該ドットに比べて低い画素値として検出される。光強度に閾値を設けて、一定以上の光強度の画素のデータを除いた画素のデータを平均化することで、体内散乱光を効率的に抽出できる。このような処理により、高精度に生体情報を取得することが可能になった。
【0095】
図６は、本実施形態における第１演算回路２２および第２演算回路２３によって実行される動作の一例を示すフローチャートである。ここでは、イメージセンサ７によって動画像が取得される場合を例に、演算回路２２、２３の動作を説明する。なお、以下の動作は、メモリに格納されたコンピュータプログラムを１つまたは複数のプロセッサが実行することによって実現され得る。
【0096】
まず、第１演算回路２２は、取得された動画像から、人体の領域を抽出する（ステップＳ１０１）。人体領域の抽出方法は、前述のとおりである。次に、第２演算回路２３は、抽出された人体領域内の画素値のデータのうち、直接反射光成分に相当するドットアレーの中心部分のデータを、予め設定した閾値を用いて除去する（ステップＳ１０２）。その上で、第２演算回路２３は、人体領域内の画素値（体内散乱成分に相当）の平均値を計算する（ステップＳ１０３）。以上のステップＳ１０１～Ｓ１０３は、動画像のフレームごとに行われる。第２演算回路２３は、所定の期間（例えば、数秒から数十秒）のフレームのデータを用いて、上記平均値の時間変動の周期および振幅を算出する（ステップＳ１０４）。これにより、生体内の血流の情報を取得することができる。心臓から拍出された動脈血が脈波と呼ばれる波動を持って血管内を移動するため、近赤外線の吸収率および反射率が脈動に連動して変化する。この反射率の変動の周期から心拍数を求めることができる。さらに、脈動の振幅から血圧または血流量を推定することができる。
【0097】
予め設定した閾値を用いて直接反射光成分を除去する工程（ステップＳ１０２）では、撮像装置と被検者との距離が一定である場合は固定の閾値を用いることができる。しかし、通常は、撮像装置と被検者との距離が変動する場合が多いため、そのような場合に対応できるようにすることが望まれる。そこで、例えば演算対象の生体領域全体の画素値の平均値を計算し、その平均値に応じて閾値を変化させるようにしてもよい。そのような形態では、画素値の平均値が高いほど閾値が高く設定され得る。
【0098】
本実施形態によれば、例えば図３Ａの部分（ｄ）に示されているような心拍のデータを得ることができる。通常の可視カメラおよび近赤外カメラを用いて心拍を非接触でモニタする方法については数多くの方法が提案されている。これらの従来の方法では、表面反射光の成分と散乱光の成分との分離が不十分なため、非接触では外乱光の影響を受けやすく、安定かつ高精度な測定は困難であった。これに対し、本実施形態では、取得した画像信号における表面反射光成分と散乱光成分とを空間的に分離することにより、安定かつ高精度な心拍測定が可能になった。例えば、従来のカメラを用いた遠隔心拍測定では、会話時には発声に伴う体動により検出が不安定になり、精度の高い心拍測定は不可能であった。本実施形態の方法を用いることにより、会話程度の体動であれば安定して心拍を測定することが可能になった。
【0099】
本実施形態によれば、被検者の心理的ストレスも推定できる。心拍数の時間的なゆらぎから心理的ストレスが推定できることが知られている。自律神経が正常に機能している場合、心拍の間隔は揺らぐが、ストレスにより心拍の間隔の揺らぎが減少することが知られている。本実施形態における第２演算回路２３は、この心拍の間隔の揺らぎの変化に基づいて、心理的ストレスの有無または程度を検出することもできる。ストレスセンシングを生活の中で定常的に行うためには、本実施形態のような非拘束で非接触な心拍センシング
技術が重要である。
技術が重要である。
【0100】
以上のように、本実施形態のシステムを用いることで、拘束されることなく、就寝時を含め、常時心拍数または血圧をモニタすることが可能になった。これにより、例えば病院で患者の状態を常時モニタリングし、異常発生時に医療スタッフに警告を発するようなシステムを構築できる。一般家庭においても、例えば無呼吸症候群を罹患した患者の夜間の心拍数のモニタリングが可能である。さらに、日常生活においても、上述のように簡便にストレスセンシングを行うことができるため、より充実した日常生活をおくることが可能になる。
【0101】
（実施形態２）
実施形態１では画像から人体領域を検知し、画像内の人体領域から生体情報を取得するシステムについて説明した。以下に第２の実施形態として、人体検知を用いた代表的な適用例を説明する。人体検知は、例えば災害現場で瓦礫等に埋もれた被災者を探知する目的で開発が進んでいる。災害後７２時間以内に被災者を発見することが被災者の生存率を決定づける。このため、簡単で安定した生体検知システムが必要とされている。生体検知技術は、セキュリティ分野および交通分野でも利用される。セキュリティ分野では侵入者を発見するために、交通分野では歩行者を検知するために、生体検知技術は重要な役割を果たす。様々な構造物または物体が含まれる画像の中から生体（特に人間）を選択的に検知可能なシステムの必要性が高まっている。実施形態１における第１演算回路２２の動作によって生体を検知することができるが、さらに生体が検知された領域に対し、生体情報（例えば脈動の有無）をセンシングすることで、より確実でより高度な生体検知が可能となる。以下、用途ごとに、本実施形態の動作を説明する。本実施形態における物理構成は、実施形態１における物理構成と同じである。
実施形態１では画像から人体領域を検知し、画像内の人体領域から生体情報を取得するシステムについて説明した。以下に第２の実施形態として、人体検知を用いた代表的な適用例を説明する。人体検知は、例えば災害現場で瓦礫等に埋もれた被災者を探知する目的で開発が進んでいる。災害後７２時間以内に被災者を発見することが被災者の生存率を決定づける。このため、簡単で安定した生体検知システムが必要とされている。生体検知技術は、セキュリティ分野および交通分野でも利用される。セキュリティ分野では侵入者を発見するために、交通分野では歩行者を検知するために、生体検知技術は重要な役割を果たす。様々な構造物または物体が含まれる画像の中から生体（特に人間）を選択的に検知可能なシステムの必要性が高まっている。実施形態１における第１演算回路２２の動作によって生体を検知することができるが、さらに生体が検知された領域に対し、生体情報（例えば脈動の有無）をセンシングすることで、より確実でより高度な生体検知が可能となる。以下、用途ごとに、本実施形態の動作を説明する。本実施形態における物理構成は、実施形態１における物理構成と同じである。
【0102】
（１）災害時の被災者の発見
地震、津波、土石流などの自然災害の発生時に、瓦礫に埋もれた被災者を早期に発見することは、人命救助の観点から特に重要である。３日を越えると生存率が大幅に低下するといわれる「７２時間の壁」があり、混乱した状況下で速やかに被災者を発見することが必要とされている。本実施形態のシステムを用いることにより、瓦礫が散乱するような状況の中でも撮像してリアルタイムで瓦礫に隠れた被災者を検知することが可能になる。システムが小型であるため、例えばＵＡＶ（Ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ、所謂ドローン）に搭載することもできる。これにより、２次災害の危険がありアクセスが困難な災害現場であっても、遠隔地からリモートコントロールで画像を取得し生存者を探査することが可能である。
地震、津波、土石流などの自然災害の発生時に、瓦礫に埋もれた被災者を早期に発見することは、人命救助の観点から特に重要である。３日を越えると生存率が大幅に低下するといわれる「７２時間の壁」があり、混乱した状況下で速やかに被災者を発見することが必要とされている。本実施形態のシステムを用いることにより、瓦礫が散乱するような状況の中でも撮像してリアルタイムで瓦礫に隠れた被災者を検知することが可能になる。システムが小型であるため、例えばＵＡＶ（Ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ、所謂ドローン）に搭載することもできる。これにより、２次災害の危険がありアクセスが困難な災害現場であっても、遠隔地からリモートコントロールで画像を取得し生存者を探査することが可能である。
【0103】
実施形態１における第１演算回路２２による生体検知処理によって人体検知を行うことが可能であるが、精度を向上させるため、本実施形態では、さらに第２演算回路２３の処理結果を利用する。第１演算回路２２によって生体であると推定された領域（生体領域と称する。）について、第２演算回路２３は、生体情報（例えば脈動の有無）をセンシングする。これにより、より確実に人体を検知することが可能となる。生体領域について、体動の有無を判定することで、誤検出を減らし信頼性を高めることができる。体動の有無は、例えば連続する複数のフレームを比較し、生体領域において時間的に変動が生じているか否かに基づいて判定できる。さらに、生体領域における画素データを用いて、心拍の有無を判定することにより、人体の検出精度を飛躍的に向上することができる。本実施形態によれば、皮膚の光学特性を利用した生体検知、生体領域の移動による体動検知、生体領域における信号強度から算出される心拍測定を併用することで高速で信頼性の高い生体検知が可能となる。さらに、生体情報から被災者の身体状態がわかるので、そのデータに基づいて救援の優先度を決定することが可能になる。
【0104】
以下に述べる人体検知の用途においても、本実施形態における（１）生体検知、（２）体動検知、（３）心拍数検知の情報を併用することで、より信頼性の高い生体検知を実現することができる。
【0105】
（２）監視用途
監視カメラが広く普及し、市民生活の安全および安心に貢献している。監視カメラの台数が増えるほど、その監視カメラの映像を誰がどのように確認するかが重要になる。現状では、人が画像を常時確認することは困難であるため、画像を蓄積しておき、問題（事件）が発生した後でその画像を確認することで状況を把握するような使われ方が多い。例えば、リアルタイムの画像から問題発生の瞬間を捉え、即時に問題に対応できるような利用方法が考えられる。本開示の技術を用いることで、監視カメラの画面に人が入ってきたときにそれを認識して、担当者に警告を発してその画像をリアルタイムに確認させるようなシステムを構築できる。担当者は必ずしも監視カメラのモニタ前に待機する必要は無く、人を検知した場合に担当者のもつ携帯端末に警告が現れ、画像が表示されるようなシステムを構築することが可能である。通常人の立ち入らないような、倉庫もしくは建物の裏口、または立ち入りが制限されているような場所の監視にはこのようなシステムが適している。また、ビル等の、多数のカメラを集中的に監視しているような場所では、人を検知したカメラ映像をハイライト表示することで、異常の見逃し防止、異常の早期発見および対策に役立てることができる。
監視カメラが広く普及し、市民生活の安全および安心に貢献している。監視カメラの台数が増えるほど、その監視カメラの映像を誰がどのように確認するかが重要になる。現状では、人が画像を常時確認することは困難であるため、画像を蓄積しておき、問題（事件）が発生した後でその画像を確認することで状況を把握するような使われ方が多い。例えば、リアルタイムの画像から問題発生の瞬間を捉え、即時に問題に対応できるような利用方法が考えられる。本開示の技術を用いることで、監視カメラの画面に人が入ってきたときにそれを認識して、担当者に警告を発してその画像をリアルタイムに確認させるようなシステムを構築できる。担当者は必ずしも監視カメラのモニタ前に待機する必要は無く、人を検知した場合に担当者のもつ携帯端末に警告が現れ、画像が表示されるようなシステムを構築することが可能である。通常人の立ち入らないような、倉庫もしくは建物の裏口、または立ち入りが制限されているような場所の監視にはこのようなシステムが適している。また、ビル等の、多数のカメラを集中的に監視しているような場所では、人を検知したカメラ映像をハイライト表示することで、異常の見逃し防止、異常の早期発見および対策に役立てることができる。
【0106】
監視目的においても、不審者の検知だけでなく、第２演算回路２３を用いて生体情報（脈動の有無）をセンシングすることでより重要な情報を取得することが可能になる。監視画像に現れた不審者の心拍数または心拍変動から、心理的な緊張状態を推定することができる。推定した緊張状態から、その人物の危険度（注意レベル）を推定することが可能になる。空港または商業施設等における群集の中で犯罪を犯す潜在的可能性の高い人物を、カメラ映像によって検知するセキュリティシステムの開発が進められている。本実施形態の生体検知・生体センシングシステムはこのような目的にも適用可能である。
【0107】
監視用途においては、従来の監視画像を人間が判断する方式から、画像認識技術の進展によりコンピュータによる物体認識を行う方式の開発が進められている。このような用途では、画像をホストコンピュータに送りホストコンピュータ側で認識を行う方式が一般的である。しかし、画像データをコンピュータに送る必要があり、通信量の増大・通信速度の低下、ホストコンピュータの負荷増大といった問題が発生していた。監視カメラで一次的な画像の認識と判定が可能であれば、通信・記録・演算の負荷を大幅に軽減できる。ただし、この認識に十分な信頼性がないと事象の見逃しにつながるという課題があった。本実施形態の人検知方式では、高い信頼性で人間を検知できるため、人を検知した場合に人を含む部分画像のみを選択的にホストコンピュータに送ることが可能になる。その結果、監視システムの効率的な運用が可能になる。
【0108】
また、画像認識技術の進化により、画像によって個人を高精度に特定することが可能になってきている。画像からの個人特定についても現状では、画像をホストコンピュータに送りホストコンピュータ側で認識を行う方式が一般的であるが、前述のように通信・記録・演算の負荷が課題になっている。演算時に、顔認識のために顔部を抽出する作業に大きな負荷がかかっている。本実施形態の検知方式を用いれば、画像内から容易に顔部分を抽出できる。このため、顔部分のみをホストコンピュータに送り個人特定を行うことが可能になり、個人特定の負荷を大幅に低減できる。さらに、限定された人数であれば特徴をあらかじめ監視カメラ側に登録しておくことでホストコンピュータを介さずに、即時にカメラ側で個人の特定が可能になる。
【0109】
（３）車載用途
本実施形態のシステムを自動車に搭載することで、路上の歩行者を常に認識し、より安全な運転を実現することができる。人が物陰に隠れていて、視認性の悪い場合でも人を検知してドライバーに警告することが可能である。自動運転においては、ブレーキで停止ができず、左右どちらに方向転換しても事故が避けられないような局面でどちらに避けるかという問題が発生することが想定される。そのような場合、本システムで人体を検知し人を避ける方向に進路を変更することが有効になる。このような用途の場合、高い精度で高速に人体を検知することが求められるため、本実施形態のシステムは特に適している。
本実施形態のシステムを自動車に搭載することで、路上の歩行者を常に認識し、より安全な運転を実現することができる。人が物陰に隠れていて、視認性の悪い場合でも人を検知してドライバーに警告することが可能である。自動運転においては、ブレーキで停止ができず、左右どちらに方向転換しても事故が避けられないような局面でどちらに避けるかという問題が発生することが想定される。そのような場合、本システムで人体を検知し人を避ける方向に進路を変更することが有効になる。このような用途の場合、高い精度で高速に人体を検知することが求められるため、本実施形態のシステムは特に適している。
【0110】
（４）人体検知スイッチ
人体を検知して電源のオンおよびオフを切り替えるというような用途は幅広く存在する。例えば、室内の人間を検知してエアコンまたは電灯等の機器のスイッチを制御したり、自動ドアを高い精度で制御したり、横断歩道で歩行者を検知して歩行者信号を制御したり、自動販売機の照明の照度を変更したりするなどの用途が存在する。本実施形態は、それらの用途に適用可能である。本実施形態のシステムを用いて、物およびペットには反応せず人だけに感応する高機能なスイッチを実現することができる。このような用途では、本システムにおける光源、撮像装置、および演算回路を一体化した小型の人体検知センサーユニットを構成することができる。
人体を検知して電源のオンおよびオフを切り替えるというような用途は幅広く存在する。例えば、室内の人間を検知してエアコンまたは電灯等の機器のスイッチを制御したり、自動ドアを高い精度で制御したり、横断歩道で歩行者を検知して歩行者信号を制御したり、自動販売機の照明の照度を変更したりするなどの用途が存在する。本実施形態は、それらの用途に適用可能である。本実施形態のシステムを用いて、物およびペットには反応せず人だけに感応する高機能なスイッチを実現することができる。このような用途では、本システムにおける光源、撮像装置、および演算回路を一体化した小型の人体検知センサーユニットを構成することができる。
【0111】
（５）生体認証
指紋認証、虹彩認証、および静脈認証などの生体認証が個人認証の方法として広く用いられている。利用が拡大するにつれ、生体認証の成りすましの事例およびリスクが増加している。画像を用いた認証においては、これまでコピー等の画像複製技術が用いられてきた。近年、虹彩認証および３Ｄプリンターの利用の拡大とともに、さらに高精度な複製を用いた成りすましのリスクが拡大している。このようなリスクの対策として、２段階の認証システムが有効である。例えば、本実施形態の生体検知システムで対象が生体であることを確認したうえで、通常の生体認証を行うという方式が有効である。本システムの生体検知システムを用いて生体であることの確認を行うことで、生体認証の信頼性を高めることが可能になる。
指紋認証、虹彩認証、および静脈認証などの生体認証が個人認証の方法として広く用いられている。利用が拡大するにつれ、生体認証の成りすましの事例およびリスクが増加している。画像を用いた認証においては、これまでコピー等の画像複製技術が用いられてきた。近年、虹彩認証および３Ｄプリンターの利用の拡大とともに、さらに高精度な複製を用いた成りすましのリスクが拡大している。このようなリスクの対策として、２段階の認証システムが有効である。例えば、本実施形態の生体検知システムで対象が生体であることを確認したうえで、通常の生体認証を行うという方式が有効である。本システムの生体検知システムを用いて生体であることの確認を行うことで、生体認証の信頼性を高めることが可能になる。
【0112】
以上説明した用途のうち、（１）～（４）の用途においては、第２演算回路２３は、人体であると判断された領域を可視画像に重ね合わせた画像データを生成し、ディスプレイに表示してもよい。人体領域を示す単独の画像、または、赤外画像と人体領域を示す近赤外画像とを重ねあわせた画像では、人間の視覚イメージと異なるため、人体が検出された場合でも人間が人体位置を認識する際に課題があった。この課題を解決するために、図３Ａに示すシステムに可視カメラを追加してもよい。第２演算回路２３は、可視カメラから得られる可視画像と、イメージセンサ７から得られる赤外画像との重ねあわせを行い、可視画像上に人体領域を重ね合わせた画像データを生成してもよい。可視画像上に人体領域を強調して示すことにより、視認性を高めることができる。人体を検出した後の判断を人間が行うような用途では、可視画像と人体領域の画像との重ね合わせが可能なシステムがより有効である。
【0113】
さらに、可視カメラを追加したシステムを用いる場合、第２演算回路２３は、可視画像から画像の輪郭線を抽出し、人体領域であると推定される領域から輪郭線に相当する部分を除去してもよい。物体の輪郭部分で赤外線の反射率が大きく変化する場合があり、それによって物体の輪郭領域を人体と誤検出する場合があるからである。輪郭領域を除去することで、ノイズの少ない人体領域画像を得ることができる。
【0114】
カメラ１台で可視画像と人体検知のための近赤外画像とを取得するためには、例えば、カメラから可視カットフィルタを取り外し、照明光をカメラのフレームレートと連動させて可視光と近赤外光とを１フレーム毎に切り替えればよい。そのような構成により、１台
のカメラで可視画像と近赤外画像とを取得することができる。この方法の利点は、一台のカメラで可視画像と近赤外画像とが取得可能であるため、カメラ間の視差が無く、画像の重ね合わせが容易であることである。
のカメラで可視画像と近赤外画像とを取得することができる。この方法の利点は、一台のカメラで可視画像と近赤外画像とが取得可能であるため、カメラ間の視差が無く、画像の重ね合わせが容易であることである。
【0115】
（実施形態３）
第３の実施形態として、人体検知と人体情報センシングとを組み合わせて用いるより具体的な応用例を説明する。前述のように、本開示のシステムによれば、人体を迅速に検出し、検出された人体領域のデータから心拍等の生体情報を高速かつ高精度に取得することができる。これを利用して、浴室、トイレ、および寝室等の個人空間における見守りシステムを実現することができる。個人空間においてはプライバシーへの配慮が特に重要である。高い解像度のカメラで常時対象者を撮影し、その画像を用いるようなシステムでは、画像の流出によるプライバシー侵害の懸念、およびカメラの存在による撮影時の心理的な負荷が発生する。このような課題は、本実施形態の見守りシステムによって解決される。
第３の実施形態として、人体検知と人体情報センシングとを組み合わせて用いるより具体的な応用例を説明する。前述のように、本開示のシステムによれば、人体を迅速に検出し、検出された人体領域のデータから心拍等の生体情報を高速かつ高精度に取得することができる。これを利用して、浴室、トイレ、および寝室等の個人空間における見守りシステムを実現することができる。個人空間においてはプライバシーへの配慮が特に重要である。高い解像度のカメラで常時対象者を撮影し、その画像を用いるようなシステムでは、画像の流出によるプライバシー侵害の懸念、およびカメラの存在による撮影時の心理的な負荷が発生する。このような課題は、本実施形態の見守りシステムによって解決される。
【0116】
高齢化の進行に伴い、日本国内における入浴中の死亡者は、年間１万から２万人といわれている。この数は、交通事故死者数の４千から５千人よりもはるかに多い。浴室での死亡の原因には、事故（溺死）および病気（心疾患および脳疾患による発作）がある。死亡者は高齢者に多く、冬季に多く発生しており、高齢化に伴い年間件数も増加している。浴室内での死亡については、事故および病気のいずれの場合も異常発生時に早期に発見できれば救命が可能であった可能性のある事案が多数含まれている。浴室は閉鎖されたプライバシー空間であるために、発見が遅れ死亡に至るケースが多くある。プライバシーに配慮しながら浴室内の対象者を見守ることができるシステムが強く望まれている。
【0117】
図７Ａは、本実施形態における生体情報検出装置およびその処理を模式的に示す図である。本実施形態の生体情報検出装置の構成は、基本的には、図３Ａに示す構成と同じである。ただし、本実施形態では、浴室での使用を考慮して、光源１およびカメラである撮像装置２が、防水機能を有する筐体１５に格納されている。筐体１５は、光源１からの光および被検者３から戻ってくる光を遮らないように、正面に開口を有している。開口には、可視光をカットし、近赤外光を透過させるフィルタ１６が設けられている。光源１から出射した近赤外光は、フィルタ１６を通過して被検者３に入射する。被検者３で反射された当該近赤外光は、再びフィルタ１６を通過して撮像装置２のレンズである光学系５およびバンドパスフィルタ８を通過し、イメージセンサ７に入射する。
【0118】
図７Ａに示す生体情報検出装置は、さらに、警報（警告音）を発するスピーカ１８と、制御装置１７とを備えている。制御装置１７は、撮像装置２、光源１、およびスピーカ１８に接続され、これらを制御する。制御装置１７は、図２に示すコンピュータ２０に相当する要素であり、図３Ｂに示す第１演算回路２２、第２演算回路２３、メモリ２５、および制御回路２６などを有している。制御装置１７における制御回路２６は、異常を検知したとき、スピーカ１８に、警報を発するように指示する。
【0119】
本実施形態では、システムの防水化が図られ、撮像装置２が人間の眼から見えないように配慮されている。これにより、浴室内で撮影されているという心理的な負荷を低減することが可能となった。基本的なシステムの構成および信号処理に関しては、実施形態１とほぼ同じである。
【0120】
以下、図７Ｂおよび図７Ｃを参照して、本実施形態における実際の見守りのアルゴリズムを説明する。本実施形態では、図７Ａに示す生体情報検出装置（「見守りシステム」とも称する。）が浴室の隅に設置されており、図７Ｂの部分（ａ）に示すように、浴室全体を監視できるようになっている。撮像によって取得された近赤外画像のデータから、人体検知（図７Ｂの部分（ｂ））、体動検知（図７Ｂの部分（ｃ））、および心拍異常の検知
（図７Ｂの部分（ｄ））が行われる。人体が検知された後、体動が無い場合、第１の警報（警報１）が例えば入浴中の本人に発せられ、注意喚起が行われる。さらに、心拍異常が検知された場合、例えば浴室外の人に、第２の警報（警報２）が発せられる。以下、図７Ｃのフローチャートを参照しながら、本実施形態の見守りシステムの動作をより詳細に説明する。
（図７Ｂの部分（ｄ））が行われる。人体が検知された後、体動が無い場合、第１の警報（警報１）が例えば入浴中の本人に発せられ、注意喚起が行われる。さらに、心拍異常が検知された場合、例えば浴室外の人に、第２の警報（警報２）が発せられる。以下、図７Ｃのフローチャートを参照しながら、本実施形態の見守りシステムの動作をより詳細に説明する。
【0121】
図７Ｃは、本実施形態の見守りシステムの動作を示すフローチャートである。まず、第１演算回路２２は、取得された近赤外画像のデータに基づいて、実施形態１と同じ方法により、人体の検知を行う（ステップＳ２０１）。ここで人体が検知された場合、次の体動検知のステップＳ２０２に移る。この際、人体検知に用いられた画像のデータは記憶装置（例えば、図３Ｂに示すメモリ２５）に記録されず、人体領域のデータのみを残して動画の次フレームの画像のデータで書き換えられる。このように、個人を特定できるような画像データを残さないため、プライバシーが保護される。
【0122】
次に、第２演算回路２３は、検出された人体領域について、連続する複数のフレーム間のデータを比較することにより、体動を検知する（ステップＳ２０２）。例えば、一定時間（例えば３０秒）以上体動が無い場合、本人に対し警報１が発せられる（ステップＳ２０３）。これは、例えば「起きていますか？お風呂で危険です。起きていたらＯＫボタンを押してください。」といった警報であり得る。警報１は、本人に対する注意喚起と状態の確認を行うことを目的としている。体動が無い場合には、さらに、第２演算回路２３は脈動を測定する（ステップＳ２０４）。脈動が少ない場合または脈動を検知できない場合には、警報２が発せられる（ステップＳ２０５）。これは、浴室外の人（家族、介護者、救急車など）に対する警報である。システムであらかじめ設定された対象者に対して、音声警報、電話、またはインターネットを通じた確認および救援依頼を目的とする警報であり得る。
【0123】
本実施形態によれば、簡単なシステム構成で、（１）人体検知、（２）体動検知、（３）心拍測定の３段階の検知が可能である。このため、信頼性の高い見守りを実現することができる。
【0124】
上述の例では、（１）人体検知、（２）体動検知、（３）心拍測定の３段階の検知を、ステップを追って行っているが、このような順序で行わなくてもよい。例えば、人体検知のあと、体動検知および心拍測定を並行して行ってもよい。これにより、入浴者の心拍を定常的にモニタすることができ、入浴者に対して適切なアドバイスを行うことができる。脱衣場と浴室との温度差による血管収縮に伴う心拍変化、および体表面血流の上昇に伴う脳および心臓の血流の低下とそれに伴う起立性低血圧の発生による立ち眩み（湯のぼせ）による溺死が多数発生している。本実施形態のように心拍を定常的にモニタすることにより、入浴者の体調変化をリアルタイムに検出できる。体調変化を検出したときに、入浴者にフィードバックすることにより、前述のような事故を防ぐことができる。例えば、心拍数の上昇が大きい場合、「立ち眩みに注意が必要です。立ち上がる際には手すりにつかまり、ゆっくりと立ち上がってください。」というようなメッセージを発信することができる。
【0125】
浴室、トイレ、および寝室等のプライバシー空間での見守りシステムでは、プライバシーの保護が特に重要である。本実施形態では、カメラで取得された近赤外画像は人体検知にのみ用いられ、画像データ自体は記憶媒体に記録されること無く人体検知処理後に次フレームのデータで常時書き換えられる。また、本実施形態のシステムは画像データの出力機構を持たないように設計されている。このため、外部から画像データを取得することは不可能である。悪意を持つハッカー等の攻撃にあってもプライバシーが侵害されないように配慮されている。また、近赤外光を用いることでカメラを外部から不可視化できるため
、撮影されているという感覚をもたれることなく見守りが可能となっている。プライバシー空間での見守りシステムでは、このようなハードウェア面での、および心理面でのプライバシー確保が特に重要である。本実施形態により、プライバシーに配慮した家庭内の見守りが可能になった。
、撮影されているという感覚をもたれることなく見守りが可能となっている。プライバシー空間での見守りシステムでは、このようなハードウェア面での、および心理面でのプライバシー確保が特に重要である。本実施形態により、プライバシーに配慮した家庭内の見守りが可能になった。
【0126】
（実施形態４）
第４の実施形態として、非接触で血中酸素飽和度を測定するシステムを説明する。血液の大きな役割は、酸素を肺から受け取って組織へと運び、組織からは二酸化炭素を受け取ってこれを肺に循環させることである。血液１００ｍｌの中には約１５ｇのヘモグロビンが存在している。酸素と結合したヘモグロビンを酸化ヘモグロビン（ＨｂＯ2）と呼び、
酸素と結合していないヘモグロビンを還元ヘモグロビン（Ｈｂ）と呼ぶ。図２に示したように、酸化ヘモグロビンおよび還元ヘモグロビンの光吸収特性は異なる。酸化ヘモグロビンは約８３０ｎｍを超える波長の 赤外線を比較的よく吸収し、還元ヘモグロビンは赤色
光（例えば６６０ｎｍの波長）を比較的強く吸収する。８３０ｎｍの波長の近赤外線については、両者の吸収率に差異はない。そこで、本実施形態では、６６０ｎｍおよび８３０ｎｍのこれら２つの波長における透過光を測定する。これらの赤外光と赤色光の透過光の比率から２種類のヘモグロビンの比率（酸素飽和度）を求めることができる。酸素飽和度とは、血液中のヘモグロビンのうちどれだけが酸素と結びついているかを示す値である。酸素飽和度は、下記の数式で定義される。
酸素飽和度＝Ｃ（ＨｂＯ２）／［Ｃ（ＨｂＯ２）＋Ｃ（Ｈｂ）］×１００（％）
ここで、Ｃ（Ｈｂ）は還元ヘモグロビンの濃度を、Ｃ（ＨｂＯ２）は酸化ヘモグロビンの濃度を表している。
第４の実施形態として、非接触で血中酸素飽和度を測定するシステムを説明する。血液の大きな役割は、酸素を肺から受け取って組織へと運び、組織からは二酸化炭素を受け取ってこれを肺に循環させることである。血液１００ｍｌの中には約１５ｇのヘモグロビンが存在している。酸素と結合したヘモグロビンを酸化ヘモグロビン（ＨｂＯ2）と呼び、
酸素と結合していないヘモグロビンを還元ヘモグロビン（Ｈｂ）と呼ぶ。図２に示したように、酸化ヘモグロビンおよび還元ヘモグロビンの光吸収特性は異なる。酸化ヘモグロビンは約８３０ｎｍを超える波長の 赤外線を比較的よく吸収し、還元ヘモグロビンは赤色
光（例えば６６０ｎｍの波長）を比較的強く吸収する。８３０ｎｍの波長の近赤外線については、両者の吸収率に差異はない。そこで、本実施形態では、６６０ｎｍおよび８３０ｎｍのこれら２つの波長における透過光を測定する。これらの赤外光と赤色光の透過光の比率から２種類のヘモグロビンの比率（酸素飽和度）を求めることができる。酸素飽和度とは、血液中のヘモグロビンのうちどれだけが酸素と結びついているかを示す値である。酸素飽和度は、下記の数式で定義される。
酸素飽和度＝Ｃ（ＨｂＯ２）／［Ｃ（ＨｂＯ２）＋Ｃ（Ｈｂ）］×１００（％）
ここで、Ｃ（Ｈｂ）は還元ヘモグロビンの濃度を、Ｃ（ＨｂＯ２）は酸化ヘモグロビンの濃度を表している。
【0127】
生体内には、血液以外にも赤～近赤外の波長の光を吸収する成分が含まれているが、光の吸収率が時間的に変動するのは、主に動脈血中のヘモグロビンに起因する。よって、吸収率の変動に基づいて、高い精度で血中酸素飽和度を測定することができる。心臓から拍出された動脈血は脈波となって血管内を移動する。一方、静脈血は脈波を持たない。生体に照射した光は、動静脈および血液以外の組織など生体の各層で吸収を受けて生体を透過する。この際、動脈以外の組織は時間的に厚さが変動しない。このため、生体内からの散乱光は、脈動による動脈血層の厚さの変化に応じて時間的な強度変化を示す。この変化は動脈血層の厚さの変化を反映しており、静脈血および組織の影響を含まない。よって、散乱光の変動成分だけに着目することで動脈血の情報を得ることができる。時間に応じて変化する成分の周期を測定することにより、脈拍も求めることができる。
【0128】
図８は、本実施形態のシステムの構成を示す図である。本システムは、生体３から離れた位置に配置された近赤外の波長の光線（例えば波長８３０ｎｍ）および赤色の波長の光線（例えば波長６６０ｎｍ）をそれぞれ射出する２つの配列点像光源である光源１０１、１０２と、照射された生体表面を記録可能な２つのカメラである撮像装置２０１、２０２と、取得された画像から生体表面での直接反射光強度と体内での散乱光の強度とを分離して測定し、直接反射光の強度と散乱光の強度とから生体情報を算出するコンピュータ２０とを備えている。ここでは、血中酸素飽和度を測定するために、波長の異なる２個の光源１０１、１０２と、それぞれの光源に対応した撮像装置２０１、２０２を装備している。
【0129】
図９は、撮像装置の構成を示す図である。撮像装置２０１、２０２の各々は、レンズである光学系５とカメラ筐体６とを有する。カメラ筐体６には、イメージセンサ７と、近赤外光（波長８３０ｎｍ）を選択的に透過させるバンドパスフィルタ８０２とが搭載されている。カメラ筐体６には、イメージセンサ７と、赤色の光（波長６６０ｎｍ）を選択的に透過させるバンドパスフィルタ８０１とが搭載されている。
【0130】
光源１０１には、例えば米国Ｏｓｅｌａ社のランダムドットパターンレーザープロジェ
クターＲＰＰ０１７ＥＳを使用できる。このレーザー光源は、８３０ｎｍの近赤外レーザー光源であり、４５×４５°の視野角内に５７４４６点のレーザードットパターンを投影する。光源１０２には、例えば米国Ｏｓｅｌａ社のランダムドットパターンレーザープロジェクターＲＰＰ０１６ＥＳを使用できる。このレーザー光源は、６６０ｎｍの赤色レーザー光源であり、３５×３５°の視野角内に２３８８０点のレーザードットパターンを投影する。
クターＲＰＰ０１７ＥＳを使用できる。このレーザー光源は、８３０ｎｍの近赤外レーザー光源であり、４５×４５°の視野角内に５７４４６点のレーザードットパターンを投影する。光源１０２には、例えば米国Ｏｓｅｌａ社のランダムドットパターンレーザープロジェクターＲＰＰ０１６ＥＳを使用できる。このレーザー光源は、６６０ｎｍの赤色レーザー光源であり、３５×３５°の視野角内に２３８８０点のレーザードットパターンを投影する。
【0131】
コンピュータ２０は、２台の撮像装置２０１、２０２が連動して同時に撮像するようにこれらの撮像装置および光源１０１、１０２を制御する。これにより、例えば図９の右側に示すように撮像装置２０１、２０２から２つの波長の異なる光の画像が生成される。
【0132】
図１０は、バンドパスフィルタ８０１、８０２の透過率特性を示す図である。バンドパスフィルタ８０１は、透過中心波長が８３０ｎｍでバンド幅が１０ｎｍの透過特性を有する。バンドパスフィルタ８０２は、透過中心波長が６６０ｎｍでバンド幅が１０ｎｍの特性を有する。バンドパスフィルタ８０１、８０２の透過中心波長は、光源１０１、１０２の波長の中心値とそれぞれ一致している。このため、撮像装置２０１では８３０ｎｍの波長の光による画像が取得され、撮像装置２０２では６６０ｎｍの波長の光による画像が取得される。
【0133】
コンピュータ２０内の第１演算回路２２は、実施形態１と同様に、まず動画像から人体領域を抽出する。その領域内の画素のデータに閾値によるデータ選択を行い、直接反射光成分を除去する。その上で、測定領域内の画素値の平均値を計算する。以上の処理を、８３０ｎｍ、６６０ｎｍのそれぞれの撮像装置について実行する。このようにして計算された平均値は生体からの拡散反射光の強度を示す。
【0134】
図１１は、得られた拡散反射光強度の時間変化の一例を示す図である。近赤外光（波長８３０ｎｍ）、赤色光（波長６６０ｎｍ）の双方について、反射光強度は時間的に変動している。ここで、光源１０１、１０２からの光の生体表面での強度をそれぞれＩｉ（８３０）、Ｉｉ（６６０）とし、生体からの拡散反射光の変動成分の時間平均値をそれぞれΔＩ（８３０）、ΔＩ（６６０）とする。血中酸素飽和度ＳｐＯ２は、以下の式で計算される。
SpO2 = a+b*(log(ΔI(660)/Ii(660)))/(log(ΔI(830)/Ii(830)))
上式のａ、ｂは、既存のパルスオキシメータの測定値との関係から決定することができる。
SpO2 = a+b*(log(ΔI(660)/Ii(660)))/(log(ΔI(830)/Ii(830)))
上式のａ、ｂは、既存のパルスオキシメータの測定値との関係から決定することができる。
【0135】
測定装置の精度を確認するために、本システムを用いて額ではなく指先の酸素飽和度を測定した。血圧測定に用いられるベルト（カフ）を用いて上腕部を一定圧力（２００ｍｍＨｇ）で加圧して、血流を止めて指先で酸素飽和度を測定した。
【0136】
比較のため、人差し指に市販の指を挟みこむ方式のパルスオキシメータを装着し、本システムで中指の酸素飽和度を非接触で測定した。最初の測定で上述のａ、ｂを決定し、２回目以降の測定で血中酸素飽和度ＳｐＯ２を測定した。
【0137】
図１２は、接触式のパルスオキシメータを用いた場合の測定値と本実施形態における測定値の比較結果を示している。両者の結果が概ね一致していることから、精度よく測定できていることがわかる。本実施形態の方式では、血中酸素飽和度だけでなく、図１１に示す脈波から脈拍数も同時に測定することができる。
【0138】
脈波の揺らぎまたは周波数特性からストレスおよび疲れが測定できることが知られている。本実施形態のシステムを用いることで、脈波から非接触で被検者のストレス等の心理
状態および体調を推定することが可能である。
状態および体調を推定することが可能である。
【0139】
（実施形態５）
第５の実施形態として、１台のカメラを用いて血中酸素飽和度を測定する方式について説明する。第４の実施形態では２台のカメラを用いてそれぞれのカメラで異なる光源波長の信号を取得していた。この方式は既存のカメラを流用できるというメリットがあるが、２台のカメラを連動して撮像するためシステム構成が複雑になる。取得されるデータも２台分の独立した動画データとなるため、時間を合わせたデータ処理が複雑になるという課題もある。これを避けるために、本実施形態では、１台のカメラで同時に２波長分の画像のデータを取得可能なカメラを実現した。
第５の実施形態として、１台のカメラを用いて血中酸素飽和度を測定する方式について説明する。第４の実施形態では２台のカメラを用いてそれぞれのカメラで異なる光源波長の信号を取得していた。この方式は既存のカメラを流用できるというメリットがあるが、２台のカメラを連動して撮像するためシステム構成が複雑になる。取得されるデータも２台分の独立した動画データとなるため、時間を合わせたデータ処理が複雑になるという課題もある。これを避けるために、本実施形態では、１台のカメラで同時に２波長分の画像のデータを取得可能なカメラを実現した。
【0140】
図１３は、本実施形態の生体情報検出装置の構成を示す図である。この装置は、２つの撮像装置２０１、２０２を有する２眼ステレオカメラの構造を備える。そこで、本明細書では、このような方式を「ステレオカメラ方式」と称する。カメラである生体情報検出装置は、第１のレーザー点像光源である光源１０１（波長８３０ｎｍ）と第２のレーザー点像光源である光源１０２（波長７６０ｎｍ）とを有している。光源１０１、１０２で照明された生体からの反射光は、それぞれ、バンドパスフィルタ８０１、８０２を通過し、進行方向がミラー９０１、９０２で９０度折り曲げられ、レンズである光学系５０１、５０２によって、イメージセンサ７０１、７０２の撮像面に結像する。バンドパスフィルタ８０１、８０２は、それぞれ、２つの光源の波長に対応する８３０±１５ｎｍ、７６０±１５ｎｍの波長の光のみを透過させる狭帯域バンドパスフィルタである。
【0141】
シャッターボタン１１が押されると、２つの光源１０１、１０２が点灯し、同時にイメージセンサ７０１、７０２が生体の画像を取得する。取得された画像は画像処理プロセッサ（図３Ｂにおける演算回路２２または２３に相当）によってステレオ画像のフォーマットに変換され、画像信号処理が行われた上で記憶装置（図３Ｂにおけるメモリ２４に相当）に蓄積される。その後の処理は、実施形態３または４と同様である。
【0142】
本実施形態によれば、撮像系を一台のステレオカメラの構成とすることで、システム全体がコンパクトになり、後段の画像信号処理から酸素飽和度計算までの信号処理系の構成をシンプルにできる。これにより、操作の簡便性と高速性を両立できる。
【0143】
２つの光源の波長として、例えば近赤外領域の７６０ｎｍおよび８３０ｎｍが用いられ得る。酸化ヘモグロビンと還元ヘモグロビンとの吸収差は、実施形態２および３で用いた６６０ｎｍの方が７６０ｎｍよりも大きいため、酸素飽和度をより高精度に測定可能である。しかし、６６０ｎｍの波長は可視領域であるため、この波長を用いると被検者に負担を与える可能性がある。さらに、蛍光灯およびＬＥＤ照明には６６０ｎｍの波長の成分が含まれているため、環境光の影響を受けやすいという問題がある。本実施形態では、このことを考慮して７６０ｎｍの波長を選択した。還元ヘモグロビンの吸収ピークが７６０ｎｍにあるため、短波長側の光源を近赤外領域に設定する場合、７６０－７８０ｎｍの波長を用いることが有効である。使用される波長は、上記のものに限定されず、用途と使用環境に応じて適切に選択すればよい。
【0144】
（実施形態６）
第６の実施形態として、１台のカメラを用いて血中酸素飽和度を測定する他の方式を説明する。第５の実施形態では１台のカメラが２つの光学系と２つのイメージセンサとを含むステレオカメラ方式の構成であった。本実施形態では、複数のレンズを用いて画像を分割することで、２波長に対応する異なる２つの画像を１つのイメージセンサで取得するシステムを採用した。本実施形態の方式を、「ステレオレンズ方式」と称する。ステレオレンズ方式のシステムについて、図１４を参照しながら説明する。
第６の実施形態として、１台のカメラを用いて血中酸素飽和度を測定する他の方式を説明する。第５の実施形態では１台のカメラが２つの光学系と２つのイメージセンサとを含むステレオカメラ方式の構成であった。本実施形態では、複数のレンズを用いて画像を分割することで、２波長に対応する異なる２つの画像を１つのイメージセンサで取得するシステムを採用した。本実施形態の方式を、「ステレオレンズ方式」と称する。ステレオレンズ方式のシステムについて、図１４を参照しながら説明する。
【0145】
図１４は、本実施形態の生体情報検出装置の一部を模式的に示す断面図である。図１４では省略されているが、生体情報検出装置は、８３０ｎｍおよび７６０ｎｍの２波長の光によるドットパターンを投影する２つの光源を、例えばカメラ筐体６内に備えている。図１４に示すように、光学系５は、内部に２組のレンズである光学系５０１、５０２を有する。光学系５０１、５０２は、イメージセンサ７の撮像面の異なる２つの領域にそれぞれ結像するように設計されている。光学系５０１、５０２の前方には、２つの光源の波長に対応する８３０ｎｍおよび７６０ｎｍの光をそれぞれ透過させる２つの狭帯域バンドパスフィルタ８０１、８０２がそれぞれ配置されている。
【0146】
このような構成により、１つのイメージセンサ７を用いて同時刻の２波長の光による２つの画像を取得できる。第２制御回路２３は、実施形態３～５と同様の方法で、この２つの画像から血中酸素飽和度を計算する。本実施形態によれば、１つの画像信号に、異なる２つの波長に対応する同時刻の２つの画像の情報が含まれるため、演算処理が容易になる。
【0147】
このステレオレンズ方式のシステムを用いて、ストレスセンシングを行った結果について以下に説明する。特許文献４および特許文献５は、人がストレス（緊張）を感じたり集中したりすることによって発生する鼻の周辺部分の温度の低下をサーモグラフィによって検知する方法を開示している。心理的変化により鼻部の血流が低下し、それに伴って鼻部の温度低下が起こる。これをサーモグラフィにより検知する方法は一般に行われている。顔面の温度の変化は血流の変化によって生じる。血流の変化を高い精度で測定できれば、血流の変化の結果として起こる表面温度の変化を測定するよりも高い精度で応答性良くストレスセンシングが可能になる。
【0148】
図１５Ａは、本実施形態の生体情報検出装置を用いてストレスセンシングを行った結果を示す図である。ストレスとして、右手を冷水（氷水）に入れる冷水負荷を行った。比較のために、図１５Ｂに点線で囲んだ鼻部と頬部の温度変化をサーモグラフィを用いて測定した。図１５Ａは、この測定結果を示している。鼻部の温度は冷水負荷開始後、３分ほどかけて徐々に低下し、約１．２℃低下して安定した。負荷終了後、やはり３分ほどかけて温度は元に戻っていることがわかる。一方、頬部の温度は冷水負荷の影響をほとんど受けず、安定していることがわかる。
【0149】
図１５Ｃは、ステレオレンズ方式を採用した本実施形態の生体情報検出装置を用いて得られた血流量および血中酸素飽和度の変化を示す図である。顔部における血流量と酸素飽和度（ＳｐＯ２）のデータから、図１５Ｂに点線で示す鼻部と頬部の領域のデータを抽出した。実線は血流量の時間変化を示し、点線は酸素飽和度（ΔＳｐＯ２）の時間変化を示している。図１５Ｃに示すように、鼻部の血流量は冷温刺激直後から低下傾向を示しており、時間応答性が高いことを示している。一方、頬部の血流量はほとんど変化していない。酸素飽和度については、鼻部では血流量の低下とともに酸素飽和度の低下も観測されたが、頬部ではほとんど変化がなかった。
【0150】
本結果からわかるように、顔の異なる部位で、血流量および酸素飽和度を測定することによって多くのデータが得られる。これらのデータに基づいて、高い精度で情動（即ち感情）、体調、または集中度 の検知が可能である。自律神経系の影響による血流量の変化
は顔の部位により異なるため、カメラを用いて特定の部位の血流量の変化を測定することは特に重要である。その際、血流量の変化の少ない部位を同時に測定してリファレンスとすることで測定の精度を高めることができる。
は顔の部位により異なるため、カメラを用いて特定の部位の血流量の変化を測定することは特に重要である。その際、血流量の変化の少ない部位を同時に測定してリファレンスとすることで測定の精度を高めることができる。
【0151】
（実施形態７）
第７の実施形態として、１台のカメラを用いて血中酸素飽和度を測定する他の方式を説明する。
第７の実施形態として、１台のカメラを用いて血中酸素飽和度を測定する他の方式を説明する。
【0152】
図１６は、本実施形態における生体情報検出装置の構成を模式的に示す断面図である。この装置は、通常のレンズである光学系５に取り付け可能なステレオアダプター１０を備えている。ステレオアダプター１０は、４枚のミラー１５１、１５２、１５３、１５４と、２つのバンドパスフィルタ８０１、８０２とを備えるアタッチメントである。ステレオアダプター１０を用いることにより、２つの波長に対応する２つの画像をイメージセンサ７の撮像面の異なる２つの領域にそれぞれ形成することができる。この方式を、「ステレオアダプター方式」と称する。
【0153】
ステレオアダプター方式では、２組の対向するミラーを用いて、２つの波長に対応する異なる２つの画像を１つのイメージセンサ７で取得することができる。図１６では省略されているが、実際には８３０ｎｍおよび７６０ｎｍの２波長の光をそれぞれ発する２つの光源がカメラ筐体６に内蔵されている。ステレオアダプター１０は光学系５の先端に装着される。２組のミラー（ミラー１５１、１５２の対と、ミラー１５３、１５４の対）は、光路を２回曲げて光学系５に導入する。光学系５とミラー１５１、１５２、１５３、１５４との間には光源の波長に対応する８３０ｎｍおよび７６０ｎｍの波長の光を透過させる狭帯域バンドパスフィルタ８０１、８０２が搭載されている。
【0154】
この生体情報検出装置は、１つのイメージセンサ７で同時刻の２波長の画像を取得できる。基本的な考え方は、実施形態５と同様である。ステレオレンズ方式は、レンズを小型にできるため、システム全体を小型化できるというメリットがある。一方、ステレオアダプター方式では、システム全体は大型化するが、高性能なカメラレンズを使用することができ解像度を向上できること、並びに、倍率の異なるレンズおよびズームレンズを使用することができるという利点がある。システムの自由度をあげることができる点がステレオアダプター方式の利点である。
【0155】
本実施形態の、カメラである生体情報検出装置を用いて人間の情動を検知するための検討を行った。実施形態５で説明したように、血流量に基づいて人間のストレス等の感情または情動を安定して検出することが可能である。人間の感情または情動の変化により、自律神経が活性化して皮膚表面の血流量が変化する。この血流量の変化によって顔色が変化する。この顔色の微妙な変化から対象人物の情動または体調を検知することを、人間は普通に行っている。名医と呼ばれる医師が患者の顔を見ただけで体調または病因を診断できるのは、患者の微妙な顔色の変化から身体の変化を見分けることができるためであると考えられている。また、感覚の鋭い人が、相手の感情を読み取る際にも微妙な表情の変化とともに、微妙な顔色の変化が重要な役割を果たしていると言われている。さらに、近年進歩の著しいゲーム、アニメーション、およびコンピュータグラフィックスの分野では、自然な印象またはリアリティを場面に与えるために、人物の顔色を微妙に変化させることについての研究が広く行われている。これらの例からわかるように、顔色は人の情動および体調を表しており、顔色を計測することで感情を読み取ろうとする検討が進められている（例えば、非特許文献２）。しかしながら、顔色から直接的に情動を計測する試みは、安定した測定が難しく実用には適さない。これは、顔色の変化に個人差があり、顔色の変化が微妙で外乱光およびカメラの影響を強く受けることから、安定した測定が困難であるためである。顔色の変化を測色以外の方法で、より安定にかつ高精度に測定する方法が求められている。
【0156】
人の顔色は主として、皮膚表面（真皮）に含まれるメラニン色素の量と、血液中のヘモグロビン（酸化ヘモグロビンおよび脱酸素化（還元）ヘモグロビン）の濃度で決まることが知られている。メラニン色素は短時間では変動しないため（経年変化、日焼け等によっ
ては変化する）、情動の変化は血流量を測定することによって安定に測定できる。本実施形態は、情動の変化を検知するために、顔色を計測するのではなく、顔色を変化させている酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの血流量を直接測定する。実施形態５において説明したように、顔面の血流量の変化は部位によって異なる。これは、顔面の部位によって、自律神経系の影響の受け易さが異なるからである。例えば、鼻部には動静脈吻合血管が多く自律神経系の影響を受けやすいのに対し、前額部は皮膚血管収縮神経の影響を受けにくいといった特徴がある。本実施形態における演算回路２２は、異なる複数の部位の血流量を演算によって求め、それらを比較することにより、高い精度で情動の変化を検知することが可能である。
ては変化する）、情動の変化は血流量を測定することによって安定に測定できる。本実施形態は、情動の変化を検知するために、顔色を計測するのではなく、顔色を変化させている酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの血流量を直接測定する。実施形態５において説明したように、顔面の血流量の変化は部位によって異なる。これは、顔面の部位によって、自律神経系の影響の受け易さが異なるからである。例えば、鼻部には動静脈吻合血管が多く自律神経系の影響を受けやすいのに対し、前額部は皮膚血管収縮神経の影響を受けにくいといった特徴がある。本実施形態における演算回路２２は、異なる複数の部位の血流量を演算によって求め、それらを比較することにより、高い精度で情動の変化を検知することが可能である。
【0157】
以下、情動の変化に伴う血流量の変化の計測について説明する。図１６に示すステレオアダプター方式のカメラを血流量の測定に用いた。被検者はカメラの正面に座り、顔面をカメラによって撮像した。安定した状態から、被検者は恐怖、笑い、驚き、嫌悪感等を与えるようなビデオを視聴し、被検者の顔のカラー画像を取得した。ビデオのシーンとカラー画像における表情の変化から情動の変動を読み取り、そのときの血流量の変化を測定した。血流量は、図１７Ａに点線で示すように、鼻部および額部について測定した。
【0158】
図１７Ｂは、笑いの感情を誘起した場合の総血流量（酸化ヘモグロビンおよび脱酸素化ヘモグロビン）の時間変化と、酸化ヘモグロビンの血流量の割合（酸素飽和度）の時間変化とを示す図である。笑いの情動変化により、血液総血流量とともに血中酸素飽和度の値も大きく変化していることがわかる。同様の検討を他の情動についても行った。結果を図１８に示す。図１８は、酸素飽和度を横軸に総血流量を横軸にとって、それぞれの情動変化の際に生じた血流と酸素飽和度との関係をプロットした図である。悲しみ、驚き、憂鬱、恐れ、嫌悪、怒り、集中、幸福といった笑い以外の他の情動を誘起した場合の総血流量および血中酸素飽和度の変化量を上記と同様に計算によって求めた。１２人の被検者について、同じ測定を行った。図１８は、１２人の実験結果の平均値を示している。個人差はあるが、ほぼ全員の被検者で総血流量および血中酸素飽和度の変化は同様の傾向を示した。この結果から、情動の変化を血流量および酸素飽和度の少なくとも一方により検知することが可能であることが示された。
【0159】
図１７Ｂに示すように顔の部位によって酸素飽和度と血流量の関係は異なる。このため、顔の複数の部位の血流量と酸素飽和度とを求めることにより、より高精度に情動のセンシングを行うことができる。本実施形態について行った情動センシングの試験では、額と頬と鼻の３点の測定を行った。情動変化による酸素飽和度および血流量の変化は、額と頬と鼻とで異なっていた。このため、それぞれの部位の酸素飽和度および血流量の変化量の関係を示すテーブルをあらかじめ作成しておき、酸素飽和度と血流量の実測値と相関を計算することにより 、高精度に情動の変化を検知することが可能である。
【0160】
（実施形態８）
第８の実施形態として、光学系で画像分割することなく１台のカメラを用いて血中酸素飽和度を測定する方式について説明する。実施形態３～７では、２つの波長に対応する２つの光源からの光を分割してセンシングし、酸素飽和度等の生体情報を演算によって求める方法を説明した。本実施形態の生体情報検出装置は、画像の分割を行わず、イメージセンサによって異なる波長の２つの画像信号を取得する。
第８の実施形態として、光学系で画像分割することなく１台のカメラを用いて血中酸素飽和度を測定する方式について説明する。実施形態３～７では、２つの波長に対応する２つの光源からの光を分割してセンシングし、酸素飽和度等の生体情報を演算によって求める方法を説明した。本実施形態の生体情報検出装置は、画像の分割を行わず、イメージセンサによって異なる波長の２つの画像信号を取得する。
【0161】
図１９Ａは、本実施形態における生体情報検出装置の構成を模式的に示す図である。この装置は、２波長に対応する２つの画像を光学系ではなくイメージセンサ７０３で分離する。図１９Ａでは点像光源は省略されているが、実際には８３０ｎｍと７６０ｎｍの２波長の光をそれぞれ発する２つの光源がカメラ筐体６内に内蔵されている。カメラのレンズである光学系５の前面には、７３０ｎｍ以上８５０ｎｍ以下の波長の光を透過させるバン
ドパスフィルタ８が配置されている。バンドパスフィルタ８は、可視光および長波長の赤外線をカットする。バンドパスフィルタ８を透過した光は光学系５でイメージセンサ７０３の撮像面上に結像する。ここで用いられているイメージセンサ７０３は、通常のイメージセンサとは異なり、近赤外線を透過させる２種類のバンドパスフィルタを有している。
ドパスフィルタ８が配置されている。バンドパスフィルタ８は、可視光および長波長の赤外線をカットする。バンドパスフィルタ８を透過した光は光学系５でイメージセンサ７０３の撮像面上に結像する。ここで用いられているイメージセンサ７０３は、通常のイメージセンサとは異なり、近赤外線を透過させる２種類のバンドパスフィルタを有している。
【0162】
図１９Ｂは、イメージセンサ７０３の撮像面上に配列された複数の光検出セルに対向する複数のフィルタを示す図である。イメージセンサ７０３は、６８０－８００ｎｍの光を選択的に透過させるフィルタＩＲ１と、８００ｎｍ以上の波長の光を選択的に透過させるフィルタＩＲ２とを有している。フィルタＩＲ１、ＩＲ２は、市松状に配列されている。図１９Ｂの下の図は、フィルタＩＲ１、ＩＲ２の透過率の波長依存性の一例を示す図である。イメージセンサ７０３は、２つの光源の波長である７６０ｎｍおよび８３０ｎｍの光による２つの画像を、複数の光検出セル（画素とも称する。）によって検出する。
【0163】
第１演算回路２２（図３Ｂ）は、イメージセンサ７０３から７６０ｎｍの波長に対応する複数の光検出セルのデータと、８３０ｎｍの波長に対応する複数の光検出セルのデータとを個別に読み出す。それぞれの画像について、人体領域を検出する。その後、第２演算回路２３（図３Ｂ）は、図１９Ｃに示すように、それぞれのデータにおける不足する画素のデータを補間して７６０ｎｍの波長の画像と８３０ｎｍの波長の画像とを生成する。第２演算回路２３は、これらの２枚の画像から、血流量および酸素飽和度を計算する。これらの２枚の画像は完全に重なっているため、分割した２枚の画像から血流量と酸素飽和度を計算するのに比べて演算は簡単になる。この方法の課題は、それぞれの光源に対応したバンドパスフィルタを用いるのに比べてフィルタの遮蔽能力が低いために、光源間の混色が起こる懸念がある点である。
【0164】
（実施形態９）
第９の実施形態として、画像を分割せずに２波長の光源に対応する２つの画像だけでなく、カラー画像も併せて取得可能な生体情報検出装置を説明する。
第９の実施形態として、画像を分割せずに２波長の光源に対応する２つの画像だけでなく、カラー画像も併せて取得可能な生体情報検出装置を説明する。
【0165】
図２０Ａは、本実施形態における生体情報検出装置の構成を示す図である。図２０Ａでも点像光源は省略されているが、８３０ｎｍと７６０ｎｍの２波長の光をそれぞれ発する２つの光源がカメラ筐体６に内蔵されている。本実施形態ではカラー画像を取得するためにレンズである光学系５の前面にバンドパスフィルタは設けられていない。可視光およびレーザー光源の照明光は、光学系５によってイメージセンサ７０４の撮像面上に結像する。ここで用いられているイメージセンサ７０４は、通常のイメージセンサとは異なり、カラー画像を取得するための光検出セルと、近赤外画像を取得するための２種類の光検出セルとを含む。
【0166】
図２０Ｂは、イメージセンサ７０４の撮像面に配列された複数のバンドパスフィルタ（またはカラーフィルタ）を示す図である。図２０Ｂの下の図は、各フィルタに対向する画素の相対感度の波長依存性を示している。図２０Ｂに示されるように、青色、緑色、赤色の光をそれぞれ透過する３種類のカラーフィルタ（Ｒ、Ｇ、Ｂフィルタ）と、６５０ｎｍ以上の光を透過させるフィルタＩＲ－１と、８００ｎｍ以上の光を透過させるフィルタＩＲ－２とが撮像面上に配列されている。斜め方向に隣接して２つの緑フィルタが配置され、その対角側に赤および青のフィルタが配置される配列は通常のイメージセンサのベイヤー配列と同じである。ベイヤー配列の４つのフィルタの基本単位の横に、２つのフィルタＩＲ－１、ＩＲ－２が配置されている点が従来のイメージセンサと異なる。
【0167】
実施形態８におけるフィルタＩＲ１と、本実施形態におけるフィルタＩＲ－１とでは、透過波長域が異なっている。実施形態８におけるフィルタＩＲ１は、６５０－８００ｎｍの波長域の光を透過させる比較的狭帯域のフィルタであったのに対し、本実施形態では、
６５０ｎｍ以上の波長域の光を透過させるフィルタを用いた。これはイメージセンサ７０３の製造工程を簡素化するためである。ただしこれに限られず、実施形態８に示すフィルタを用いることも可能である。本実施形態のフィルタＩＲ－１は７６０ｎｍおよび８３０ｎｍの両方に感度を持つ。このため、第２演算回路２３は、フィルタＩＲ－１に対向する光検出セルの信号からフィルタＩＲ－２に対向する光検出セルの信号を引いて７６０ｎｍに相当する信号を計算した上で血中酸素飽和度を求める。これにより、図２０Ｃに示すように、イメージセンサ７０４から、赤・青・緑の画像（カラー画像）と、７６０ｎｍ、８３０ｎｍの各波長の画像とが求められる。
６５０ｎｍ以上の波長域の光を透過させるフィルタを用いた。これはイメージセンサ７０３の製造工程を簡素化するためである。ただしこれに限られず、実施形態８に示すフィルタを用いることも可能である。本実施形態のフィルタＩＲ－１は７６０ｎｍおよび８３０ｎｍの両方に感度を持つ。このため、第２演算回路２３は、フィルタＩＲ－１に対向する光検出セルの信号からフィルタＩＲ－２に対向する光検出セルの信号を引いて７６０ｎｍに相当する信号を計算した上で血中酸素飽和度を求める。これにより、図２０Ｃに示すように、イメージセンサ７０４から、赤・青・緑の画像（カラー画像）と、７６０ｎｍ、８３０ｎｍの各波長の画像とが求められる。
【0168】
この方式では、実施形態８に比べてもさらに混色が発生し易い。しかし、簡単な１台のカメラを用いたシステムでカラー画像と血流量および血中酸素飽和度の情報とを同時に得ることができる。本システムの利点は、１台のカメラで可視画像および近赤外画像を取得するため、視差のない可視画像および近赤外画像を取得できる点である。これは可視画像と近赤外画像とを重ね合わせて表示するような用途では特に有効である。
【0169】
ここでは、赤外域の２波長および可視域の３波長（赤、青、緑）の５波長に対応するマルチスペクトルセンサーを用いた生体情報センシングカメラの構成例について述べた。実施形態１で説明した人体検知方式のカメラであれば、赤外域１波長および可視域３波長（赤、青、緑）の４波長の計測でカラー撮像と人体検知が可能となる。このような用途には、例えば図２０Ｄに示される、４波長に対応した４種類のカラーフィルタを有するマルチスペクトルセンサーを利用できる。カラーフィルタはイメージセンサで通常用いられるベイヤー配列の２つの緑画素のうちの１つの画素に近赤外（ＩＲ）画素を割り付けている。ここでは８５０ｎｍの近赤外照明を点灯するシステムに対応するカメラを想定し、近赤外フィルタとしては、８５０ｎｍを選択的に透過するようなフィルタを選択した。このようなカメラを用いることにより、１台のカメラシステムで通常のカラーカメラと生体検知カメラとを兼用することが可能となる。監視カメラが１台で済み、人体を検知した部分のカラー画像を切り出すことも２台のカメラを用いるよりも容易になる。ここでは８５０ｎｍに対応したカラーフィルタを用いたが、用いる近赤外光源に応じて近赤外フィルタを変更することが可能である。
【0170】
（他の実施形態）
以上、本開示の実施形態を例示したが、本開示は上記の実施形態に限定されず、多様な変形が可能である。上述した各実施形態について説明した処理は、他の実施形態においても適用できる場合がある。以下、他の実施形態の例を説明する。
以上、本開示の実施形態を例示したが、本開示は上記の実施形態に限定されず、多様な変形が可能である。上述した各実施形態について説明した処理は、他の実施形態においても適用できる場合がある。以下、他の実施形態の例を説明する。
【0171】
以上の実施形態では、配列点像光源にレーザー光源を用いているが、他の種類の光源を用いてもよい。例えば、より安価なＬＥＤ光源を用いることも可能である。ただし、レーザー光源に比べてＬＥＤ光源は直進性が低く広がりやすい。このため、ＬＥＤ光源を用いる場合、専用の集光光学系を用いるか、撮像対象物とカメラとの距離を制約してもよい。
【0172】
生体情報検出装置は、光学系の焦点を調整する調整機構を備えていてもよい。そのような調整機構は、例えば不図示のモータおよび図３Ｂに示す制御回路２６によって実現され得る。そのような調整機構は、光源によって対象物に投影されるドットパターンの像のコントラストを最大にするように光学系の焦点を調整する。これにより、実施形態１において説明したコントラストの計算の精度が向上する。
【0173】
第１演算回路２２は、イメージセンサから出力された画像信号を用いて生体領域を検出する。その際、画像内に複数の生体領域（別人あるいは同人物の顔と手の領域）が検知された場合、その検知領域の大きさまたは形状に基づいて検出すべき生体領域を決定しても良い。
【0174】
第２演算回路２３は、画像信号に基づいて、メラニン色素の濃度、しみの有無、あざの有無の少なくとも１つを含む表皮内の情報を生成してもよい。前述のように、表皮は光を強く吸収するメラニン色素を含む。しみおよびあざは、メラニン色素の増加によって生じる。したがって、生体の表面からの光の強度分布に基づいてメラニン色素の濃度、しみ、あざを検出することができる。第２演算回路２３は、例えば、画像信号から、生体の表面からの直接反射光成分を抽出し、この直接反射光成分に基づいて、メラニン色素の濃度、しみの有無、あざの有無の少なくとも１つを含む表皮内の情報を生成してもよい。直接反射光成分は、例えば実施形態１におけるコントラストが所定の閾値を超えたか否か、または、画像信号における低周波成分を除去することによって得ることができる。
【0175】
本開示では、２台のカメラを用いるダブルカメラ方式（図８）、二組の光学系と二組のイメージセンサが一台のカメラに搭載されたステレオカメラ方式（図１３）、二組のレンズと一つのイメージセンサを用いるステレオレンズ方式（図１４）、レンズアダプタを用いて一つのレンズと一つのイメージセンサを用いるステレオアダプター方式（図１６）、イメージセンサを用いて画像を分割する方式（図１９Ａ、図２０Ａ）を説明した。既に述べたようにそれぞれの方式には利点と欠点があるため、用途に応じて最適な方式を選択することができる。
【0176】
以上説明したように、本開示の実施形態によれば、被検者を拘束せず、かつセンサ等の検出装置を被検者に接触させることなく、心拍数および血流量だけでなく血中酸素飽和度も測定することができる。被検者の異なる部位の血流量および酸素飽和度の測定値から、被検者の情動または体調を推定することもできる。
【産業上の利用可能性】
【0177】
本開示の生体情報検出装置は、例えば、被検者の心拍数、血流量、血圧、血中酸素飽和度、情動、および体調等の生体情報を検出する用途に有用である。
【符号の説明】
【0178】
１、１０１、１０２ 光源
２、２０１、２０２ 撮像装置
３ 生体
４ 生体表面
５、５０１、５０２ 光学系
６ カメラ筐体
７、７０１、７０２、７０３、７０４ イメージセンサ
８、８０１、８０２ バンドパスフィルタ
９０１、９０２、１５１、１５２、１５３、１５４ ミラー
１１ シャッターボタン
１５ 筐体
１６ フィルタ
２０ コンピュ－タ
２１ 入力インタフェース
２２ 第１演算回路
２３ 第２演算回路
２４ 出力インタフェース
２５ メモリ
２６ 制御回路
２７ ディスプレイ
３１ 毛細血管
３２ 細動静脈
３３ 表皮
３４ 真皮
３５ 皮下組織
Ｌ０ 光源からの光
Ｌ１ 表面反射光
Ｌ２ 体内散乱光
２、２０１、２０２ 撮像装置
３ 生体
４ 生体表面
５、５０１、５０２ 光学系
６ カメラ筐体
７、７０１、７０２、７０３、７０４ イメージセンサ
８、８０１、８０２ バンドパスフィルタ
９０１、９０２、１５１、１５２、１５３、１５４ ミラー
１１ シャッターボタン
１５ 筐体
１６ フィルタ
２０ コンピュ－タ
２１ 入力インタフェース
２２ 第１演算回路
２３ 第２演算回路
２４ 出力インタフェース
２５ メモリ
２６ 制御回路
２７ ディスプレイ
３１ 毛細血管
３２ 細動静脈
３３ 表皮
３４ 真皮
３５ 皮下組織
Ｌ０ 光源からの光
Ｌ１ 表面反射光
Ｌ２ 体内散乱光
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図16】
【図17A】
【図17B】
【図18】
【図19A】
【図19B】
【図19C】
【図20A】
【図20B】
【図20C】
【図20D】
【図21】
【図22】