(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-24
(45)【発行日】2023-12-04
(54)【発明の名称】生体情報取得装置及び生体情報取得方法
(51)【国際特許分類】
A61B 5/0245 20060101AFI20231127BHJP
A61B 5/1171 20160101ALI20231127BHJP
A61B 5/11 20060101ALI20231127BHJP
A61B 5/113 20060101ALI20231127BHJP
【FI】
A61B5/0245 C
A61B5/1171 200
A61B5/11 120
A61B5/11 110
A61B5/113
(21)【出願番号】P 2022513715
(86)(22)【出願日】2020-04-06
(86)【国際出願番号】 JP2020015517
(87)【国際公開番号】W WO2021205508
(87)【国際公開日】2021-10-14
【審査請求日】2022-05-11
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】岸 千弘
(72)【発明者】
【氏名】坂本 浩隆
(72)【発明者】
【氏名】松本 篤
(72)【発明者】
【氏名】渡邉 信太郎
(72)【発明者】
【氏名】石井 純
【審査官】牧尾 尚能
(56)【参考文献】
【文献】特開2019-170967(JP,A)
【文献】特開2016-077890(JP,A)
【文献】特開2018-117740(JP,A)
【文献】米国特許出願公開第2015/0367780(US,A1)
【文献】特開2017-171078(JP,A)
【文献】国際公開第2015/098977(WO,A1)
【文献】国際公開第2019/132772(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/02- 5/03
A61B 5/06- 5/22
A61B 5/00- 5/01
(57)【特許請求の範囲】
【請求項1】
非接触生体センサによる検出値を取得する検出値取得部と、
前記検出値を用いて対象者のバイタルを測定するバイタル測定部と、
カメラによる撮像画像を示す画像データを取得する画像データ取得部と、
前記対象者を含む前記撮像画像に対する画像処理を実行することにより、前記対象者の状態を推定する状態推定処理、前記対象者の属性を推定する属性推定処理又は前記対象者を識別する個人識別処理のうちの少なくとも一つを実行する画像処理部と、
前記画像処理の結果に応じて前記バイタルの測定におけるパラメータを設定するパラメータ設定部とを備え、
前記パラメータは、
前記非接触生体センサによる前記検出値の範囲であって、前記バイタルを測定する対象とする数値範囲である測定範囲に対応する第4パラメータを含
み、
前記状態推定処理は、前記対象者の表情を推定する処理を含み、
前記属性推定処理は、前記対象者の年齢を推定する処理又は前記対象者の性別を推定する処理のうちの少なくとも一方を含み、
前記個人識別処理が実行されることにより、前記対象者に対応する個人識別情報が取得されるものであり、
前記パラメータ設定部は、
前記状態推定処理にて推定された前記表情
を示す表情情報、
前記属性推定処理にて推定された前記年齢
を示す年齢情報、
前記属性推定処理にて推定された前記性別
を示す性別情報又は
前記個人識別処理にて取得された前記個人識別情報のうちの少なくとも一つに応じて前記第4パラメータを設定する
ことを特徴とする生体情報取得装置。
【請求項2】
前記パラメータは、前記非接触生体センサによる測定波の照射位置に対応する第1パラメータを含み、
前記パラメータ設定部は、前記状態推定処理の結果又は前記個人識別処理の結果のうちの少なくとも一方に応じて前記第1パラメータを設定する
ことを特徴とする請求項1記載の生体情報取得装置。
【請求項3】
前記状態推定処理は、前記対象者の心臓位置を推定する処理を含み、
前記個人識別処理が実行されることにより、前記対象者に対応する前記個人識別情報が取得されるものであり、
前記パラメータ設定部は、前記心臓位置又は前記個人識別情報のうちの少なくとも一方に応じて前記第1パラメータを設定する
ことを特徴とする請求項2記載の生体情報取得装置。
【請求項4】
前記パラメータは、前記測定に用いられるフレームに対応する第2パラメータを含み、
前記パラメータ設定部は、前記状態推定処理の結果に応じて前記第2パラメータを設定する
ことを特徴とする請求項1記載の生体情報取得装置。
【請求項5】
前記状態推定処理は、前記対象者の体動量を推定する処理又は前記対象者の開口度を推定する処理のうちの少なくとも一方を含み、
前記パラメータ設定部は、前記体動量又は前記開口度のうちの少なくとも一方に応じて前記第2パラメータを設定する
ことを特徴とする請求項4記載の生体情報取得装置。
【請求項6】
前記パラメータは、前記測定における移動平均処理の区間幅に対応する第3パラメータを含み、
前記パラメータ設定部は、前記状態推定処理の結果に応じて前記第3パラメータを設定する
ことを特徴とする請求項1記載の生体情報取得装置。
【請求項7】
前記状態推定処理は、前記対象者の体動量を推定する処理又は前記対象者の開口度を推定する処理のうちの少なくとも一方を含み、
前記パラメータ設定部は、前記体動量又は前記開口度のうちの少なくとも一方に応じて前記第3パラメータを設定する
ことを特徴とする請求項6記載の生体情報取得装置。
【請求項8】
前記バイタル測定部は、前記第1パラメータに基づき前記照射位置を前記心臓位置に合わせる照射位置制御を実行する第1照射位置制御部を有することを特徴とする請求項3記載の生体情報取得装置。
【請求項9】
前記照射位置制御は、前記対象者が対象座席に着座しているとき、前記対象座席を操作することにより実現されることを特徴とする請求項8記載の生体情報取得装置。
【請求項10】
前記照射位置制御は、前記非接触生体センサを回動させることにより実現されることを特徴とする請求項8記載の生体情報取得装置。
【請求項11】
前記照射位置制御は、前記非接触生体センサに対するビームフォーミング処理を実行することにより実現されることを特徴とする請求項8記載の生体情報取得装置。
【請求項12】
前記バイタル測定部は、前記第1パラメータに基づき前記対象者の心臓を前記照射位置に誘導する誘導制御を実行する誘導制御部を有することを特徴とする請求項3記載の生体情報取得装置。
【請求項13】
前記誘導制御は、誘導用のレーザ光、誘導用の音声又は誘導用の表示を用いるものであることを特徴とする請求項12記載の生体情報取得装置。
【請求項14】
前記バイタル測定部は、前記非接触生体センサによる前記測定波の照射範囲を前記心臓位置の信頼度に応じて制御する照射範囲制御部を有することを特徴とする請求項3記載の生体情報取得装置。
【請求項15】
前記バイタル測定部は、前記照射位置を前記心臓位置の信頼度に応じて制御する第2照射位置制御部を有することを特徴とする請求項3記載の生体情報取得装置。
【請求項16】
前記非接触生体センサ及び前記カメラは、車両に搭載されるものであり、
前記対象者は、前記車両の運転者又は前記車両の同乗者のうちの少なくとも一方を含む
ことを特徴とする請求項1記載の生体情報取得装置。
【請求項17】
前記非接触生体センサは、電波式であることを特徴とする請求項1記載の生体情報取得装置。
【請求項18】
前記バイタルは、心拍数又は呼吸数のうちの少なくとも一方を含むことを特徴とする請求項1記載の生体情報取得装置。
【請求項19】
検出値取得部が、非接触生体センサによる検出値を取得するステップと、
バイタル測定部が、前記検出値を用いて対象者のバイタルを測定するステップと、
画像データ取得部が、カメラによる撮像画像を示す画像データを取得するステップと、
画像処理部が、前記対象者を含む前記撮像画像に対する画像処理を実行することにより、前記対象者の状態を推定する状態推定処理、前記対象者の属性を推定する属性推定処理又は前記対象者を識別する個人識別処理のうちの少なくとも一つを実行するステップと、
パラメータ設定部が、前記画像処理の結果に応じて前記バイタルの測定におけるパラメータを設定するステップとを備え、
前記パラメータは、
前記非接触生体センサによる前記検出値の範囲であって、前記バイタルを測定する対象とする数値範囲である測定範囲に対応する第4パラメータを含
み、
前記状態推定処理は、前記対象者の表情を推定する処理を含み、
前記属性推定処理は、前記対象者の年齢を推定する処理又は前記対象者の性別を推定する処理のうちの少なくとも一方を含み、
前記個人識別処理が実行されることにより、前記対象者に対応する個人識別情報が取得されるものであり、
前記パラメータ設定部は、
前記状態推定処理にて推定された前記表情
を示す表情情報、
前記属性推定処理にて推定された前記年齢
を示す年齢情報、
前記属性推定処理にて推定された前記性別
を示す性別情報又は
前記個人識別処理にて取得された前記個人識別情報のうちの少なくとも一つに応じて前記第4パラメータを設定するステップを有する
ことを特徴とする生体情報取得方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、生体情報取得装置及び生体情報取得方法に関する。
【背景技術】
【0002】
従来、車載用の電波式の非接触生体センサが開発されている。特許文献1には、かかる非接触生体センサを用いて運転者の心拍数を測定する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1には、車両における運転席の位置に基づき運転者の心臓の位置を推定する技術が開示されている。また、特許文献1には、当該推定された位置に応じて非接触生体センサの指向性を調整する技術が開示されている(例えば、特許文献1の段落[0015]参照。)。これにより、車両における運転席の位置にかかわらず心拍数を精度良く測定することが期待される。
【0005】
しかしながら、測定精度の向上のために調整されるべきパラメータは、非接触生体センサの指向性に限定されるものではない。測定精度を向上する観点から、多様なパラメータを調整するのが好適である。車両における運転席の位置に基づく調整においては、かかる多様なパラメータの調整を実現することが困難であるという問題があった。
【0006】
本開示は、上記のような課題を解決するためになされたものであり、非接触生体センサを用いた測定における多様なパラメータの調整に対応した生体情報取得装置及び生体情報取得方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示に係る生体情報取得装置は、非接触生体センサによる検出値を取得する検出値取得部と、検出値を用いて対象者のバイタルを測定するバイタル測定部と、カメラによる撮像画像を示す画像データを取得する画像データ取得部と、対象者を含む撮像画像に対する画像処理を実行することにより、対象者の状態を推定する状態推定処理、対象者の属性を推定する属性推定処理又は対象者を識別する個人識別処理のうちの少なくとも一つを実行する画像処理部と、画像処理の結果に応じてバイタルの測定におけるパラメータを設定するパラメータ設定部と、を備え、パラメータは、非接触生体センサによる検出値の範囲であって、バイタルを測定する対象とする数値範囲である測定範囲に対応する第4パラメータを含み、状態推定処理は、対象者の表情を推定する処理を含み、属性推定処理は、対象者の年齢を推定する処理又は対象者の性別を推定する処理のうちの少なくとも一方を含み、個人識別処理が実行されることにより、対象者に対応する個人識別情報が取得されるものであり、パラメータ設定部は、状態推定処理にて推定された表情を示す表情情報、属性推定処理にて推定された年齢を示す年齢情報、属性推定処理にて推定された性別を示す性別情報又は個人識別処理にて取得された個人識別情報のうちの少なくとも一つに応じて前記第4パラメータを設定することを特徴とするものである。
【0008】
本開示に係る生体情報取得方法は、検出値取得部が、非接触生体センサによる検出値を取得するステップと、バイタル測定部が、検出値を用いて対象者のバイタルを測定するステップと、画像データ取得部が、カメラによる撮像画像を示す画像データを取得するステップと、画像処理部が、対象者を含む撮像画像に対する画像処理を実行することにより、対象者の状態を推定する状態推定処理、対象者の属性を推定する属性推定処理又は対象者を識別する個人識別処理のうちの少なくとも一つを実行するステップと、パラメータ設定部が、画像処理の結果に応じてバイタルの測定におけるパラメータを設定するステップと、を備え、パラメータは、非接触生体センサによる検出値の範囲であって、バイタルを測定する対象とする数値範囲である測定範囲に対応する第4パラメータを含み、状態推定処理は、対象者の表情を推定する処理を含み、属性推定処理は、対象者の年齢を推定する処理又は対象者の性別を推定する処理のうちの少なくとも一方を含み、個人識別処理が実行されることにより、対象者に対応する個人識別情報が取得されるものであり、パラメータ設定部は、状態推定処理にて推定された表情を示す表情情報、属性推定処理にて推定された年齢を示す年齢情報、属性推定処理にて推定された性別を示す性別情報又は個人識別処理にて取得された個人識別情報のうちの少なくとも一つに応じて第4パラメータを設定するステップを有することを特徴とするものである。
【発明の効果】
【0009】
本開示によれば、上記のように構成したので、非接触生体センサを用いた測定における多様なパラメータの調整に対応した生体情報取得装置及び生体情報取得方法を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】実施の形態1に係る生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
【
図2】実施の形態1に係る生体情報取得装置における画像処理部の要部を示すブロック図である。
【
図3】実施の形態1に係る生体情報取得装置におけるパラメータ設定部の要部を示すブロック図である。
【
図4A】車両における非接触生体センサ及びカメラの設置位置の例を示す説明図であって、車両に対する左方から見た状態を示す説明図である。
【
図4B】車両における非接触生体センサ及びカメラの設置位置の例を示す説明図であって、車両に対する上方から見た状態を示す説明図である。
【
図5】画像処理部により出力される情報とパラメータ設定部により設定されるパラメータとの対応関係を示す説明図である。
【
図6】実施の形態1に係る生体情報取得装置の要部のハードウェア構成を示すブロック図である。
【
図7】実施の形態1に係る生体情報取得装置の要部の他のハードウェア構成を示すブロック図である。
【
図8】実施の形態1に係る生体情報取得装置の要部の他のハードウェア構成を示すブロック図である。
【
図9A】実施の形態1に係る生体情報取得装置の動作を示すフローチャートである。
【
図9B】実施の形態1に係る生体情報取得装置の動作を示すフローチャートである。
【
図10】実施の形態2に係る生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
【
図11】実施の形態2に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
【
図12】実施の形態2に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
【
図13】実施の形態2に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
【
図14】実施の形態2に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、この開示をより詳細に説明するために、この開示を実施するための形態について、添付の図面に従って説明する。
【0012】
実施の形態1.
図1は、実施の形態1に係る生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
図2は、実施の形態1に係る生体情報取得装置における画像処理部の要部を示すブロック図である。
図3は、実施の形態1に係る生体情報取得装置におけるパラメータ設定部の要部を示すブロック図である。
図1~
図3を参照して、実施の形態1に係る生体情報取得装置について説明する。
【0013】
図1に示す如く、車両1は、モニタリングシステム2を有している。モニタリングシステム2は、非接触生体センサ3、カメラ4、生体情報取得装置5及び制御装置6を含むものである。生体情報取得装置5は、検出値取得部11、バイタル測定部12、画像データ取得部13、画像処理部14及びパラメータ設定部15を含むものである。
【0014】
図2に示す如く、画像処理部14は、状態推定部21、属性推定部22及び個人識別部23を含むものである。状態推定部21は、頭位置推定部31、骨格推定部32、心臓位置推定部33、体動量推定部34、開口度推定部35及び表情推定部36を含むものである。属性推定部22は、年齢推定部41及び性別推定部42を含むものである。
【0015】
図3に示す如く、パラメータ設定部15は、第1パラメータ設定部51、第2パラメータ設定部52、第3パラメータ設定部53及び第4パラメータ設定部54を含むものである。
【0016】
モニタリングシステム2は、DMS(Driver Monitoring System)又はOMS(Occupant Monitoring System)により構成されている。すなわち、モニタリングシステム2は、車両1の運転席に着座している運転者を監視するものである。または、モニタリングシステム2は、車両1の助手席に着座している同乗者を監視するものである。または、モニタリングシステム2は、車両1の運転席に着座している運転者及び車両1の助手席に着座している同乗者の各々を監視するものである。
【0017】
以下、モニタリングシステム2による監視の対象となる者を「対象者」ということがある。また、対象者に「TP」の符号を用いることがある。すなわち、対象者TPは、非接触生体センサ3を用いたバイタル(心拍数又は呼吸数のうちの少なくとも一方を含む。以下同じ。)の測定の対象となる者である。また、対象者TPは、カメラ4による撮像の対象となる者である。
【0018】
以下、対象者TPが着座している座席を「対象座席」ということがある。また、対象座席に「TS」の符号を用いることがある。
【0019】
非接触生体センサ3は、例えば、車載用の電波式の非接触生体センサにより構成されている。非接触生体センサ3は、例えば、車両1のダッシュボードD又は車両1のステアリングコラムに設置されている。
図4は、車両1における非接触生体センサ3の設置位置の例を示している。図中、RW1は、非接触生体センサ3により送信される電波を示している。当該送信された電波RW1は、対象者TPに照射される。当該照射された電波RW1は、対象者TPにより反射される。当該反射された電波RW2は、非接触生体センサ3により受信される。
【0020】
これにより、バイタル測定用の値が検出される。具体的には、例えば、ドップラレーダ、FM-CW(Frequency Modulated Continuous Wave)レーダ又はTоF(Time оf Flight)による値が検出される。すなわち、個々のフレームに対応する値が検出される。個々のフレームは、所定の時間区間に対応するものである。
【0021】
なお、
図4に示す例において、非接触生体センサ3は、車両1の左右方向に対する中央部に配置されている。すなわち、非接触生体センサ3は、ダッシュボードDにおける運転席と助手席間の位置に設けられている。しかしながら、非接触生体センサ3の配置は、かかる配置に限定されるものではない。非接触生体センサ3は、電波RW1が対象者TPに照射される位置であって、電波RW2が非接触生体センサ3により受信される位置に設けられたものであれば良い。
【0022】
カメラ4は、例えば、車載用の動画撮像用の赤外線カメラにより構成されている。カメラ4は、例えば、ダッシュボードDに設置されている。
図4は、車両1におけるカメラ4の設置位置の例を示している。カメラ4は、車両1の運転席を含む範囲、車両1の助手席を含む範囲、又は車両1の運転席及び車両1の助手席を含む範囲を撮像するものである。これにより、カメラ4により撮像される画像は、対象者TPが対象座席TSに着座しているとき、対象者TPを含むものとなる。より具体的には、カメラ4により撮像される画像は、このとき、少なくとも対象者TPの顔を含むものとなる。
【0023】
なお、
図4に示す例において、カメラ4は、車両1の左右方向に対する中央部に配置されている。すなわち、カメラ4は、ダッシュボードDにおける運転席と助手席間の位置に設けられている。しかしながら、カメラ4の配置は、かかる配置に限定されるものではない。カメラ4は、カメラ4により対象者TPが撮像される位置に設けられたものであれば良い。
【0024】
検出値取得部11は、非接触生体センサ3により検出された値(以下「検出値」という。)を取得するものである。検出値取得部11は、当該取得された検出値をバイタル測定部12に出力するものである。
【0025】
バイタル測定部12は、検出値取得部11により出力された検出値を取得するものである。バイタル測定部12は、当該取得された検出値を用いて、対象者TPのバイタルを測定するものである。これにより、当該測定されたバイタルを示す情報(以下「生体情報」という。)が生成される。バイタル測定部12は、当該生成された生体情報を制御装置6に出力するものである。
【0026】
バイタル測定部12によるバイタルの測定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0027】
ここで、バイタル測定部12によるバイタルの測定は、複数種類のパラメータに基づくものである。複数種類のパラメータは、後述するパラメータ設定部15により設定されるものである。複数種類のパラメータは、例えば、以下のような第1パラメータ、第2パラメータ、第3パラメータ及び第4パラメータを含むものである。
【0028】
〈第1パラメータ〉
バイタル測定部12は、対象者TPのバイタルを測定するにあたり、非接触生体センサ3による電波RW1の送信方向を制御する機能を有し得るものである。換言すれば、バイタル測定部12は、電波RW1が照射される位置(以下「照射位置」という。)を制御する機能を有し得るものである。かかる機能については、実施の形態2にて
図10及び
図11を参照して後述する。第1パラメータは、照射位置に対応するものである。
【0029】
〈第2パラメータ〉
バイタル測定部12は、時間的に連続する複数個のフレームのうちの1個以上のフレームを選択して、当該選択されたフレームに対応する検出値をバイタルの測定に用いる機能を有している。第2パラメータは、かかる複数個のフレームのうちのバイタル測定部12により選択されるフレームに対応するものである。すなわち、第2パラメータは、かかる複数個のフレームのうちのバイタル測定部12によるバイタルの測定に用いられるフレーム(以下「測定用フレーム」ということがある。)に対応するものである。
【0030】
〈第3パラメータ〉
バイタル測定部12は、時間的に連続する複数個のフレームに対応する検出値に対する移動平均処理を実行することにより、個々のフレームに対応する検出値に含まれるノイズを除去する機能を有している。第3パラメータは、かかる移動平均処理における区間幅(以下「移動平均区間幅」ということがある。)に対応するものである。
【0031】
〈第4パラメータ〉
バイタル測定部12は、所定の数値範囲内にてバイタルを測定する機能を有している。第4パラメータは、かかる数値範囲(以下「測定範囲」という。)に対応するものである。
【0032】
画像データ取得部13は、カメラ4により撮像された画像(以下「撮像画像」という。)を示す画像データを取得するものである。画像データ取得部13は、当該取得された画像データを画像処理部14に出力するものである。
【0033】
画像処理部14は、画像データ取得部13により出力された画像データを取得するものである。画像処理部14は、当該取得された画像データを用いて、撮像画像に対する複数種類の画像処理を実行するものである。より具体的には、以下のように、画像処理部14の各部が対応する画像処理を実行するものである。
【0034】
第一に、上記のとおり、撮像画像は、少なくとも対象者TPの顔を含むものである。頭位置推定部31は、撮像画像における対象者TPの顔に対応する領域(以下「顔領域」という。)を検出するものである。具体的には、例えば、頭位置推定部31は、個々の時刻における顔領域を検出するものである。これにより、頭位置推定部31は、対象者TPの頭の位置(以下「頭位置」という。)を推定するものである。具体的には、例えば、頭位置推定部31は、個々の時刻における頭位置を推定するものである。
【0035】
頭位置推定部31は、上記検出された顔領域を示す情報(以下「顔領域情報」という。)を心臓位置推定部33及び体動量推定部34に出力するものである。また、頭位置推定部31は、上記推定された頭位置を示す情報(以下「頭位置情報」という。)を心臓位置推定部33及び体動量推定部34に出力するものである。
【0036】
頭位置推定部31による顔領域の検出には、公知の種々の技術を用いることができる。また、頭位置推定部31による頭位置の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0037】
第二に、撮像画像は、対象者TPの上半身を含み得るものである。骨格推定部32は、撮像画像に対象者TPの上半身が含まれる場合、対象者TPの骨格を推定するものである。具体的には、例えば、骨格推定部32は、個々の時刻における骨格を推定するものである。骨格推定部32は、当該推定された骨格を示す情報(以下「骨格情報」という。)を心臓位置推定部33及び体動量推定部34に出力するものである。
【0038】
骨格推定部32による骨格の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0039】
第三に、心臓位置推定部33は、頭位置推定部31により出力された顔領域情報及び頭位置推定部31により出力された頭位置情報を取得するものである。心臓位置推定部33は、当該取得された顔領域情報を用いて、対象者TPの頭頂と対象者TPの顎先間の距離に対応する値を演算するものである。心臓位置推定部33は、当該取得された頭部位置情報及び当該演算された値を用いて、対象者TPの心臓の位置(以下「心臓位置」という。)を推定するものである。
【0040】
または、心臓位置推定部33は、骨格推定部32により出力された骨格情報を取得するものである。心臓位置推定部33は、当該取得された骨格情報を用いて、対象者TPの心臓位置を推定するものである。
【0041】
心臓位置推定部33は、上記推定された心臓位置(すなわち顔領域情報及び頭位置情報を用いて推定された心臓位置又は骨格情報を用いて推定された心臓位置)を示す情報(以下「心臓位置情報」という。)をパラメータ設定部15に出力するものである。より具体的には、心臓位置推定部33は、心臓位置情報を第1パラメータ設定部51に出力するものである。
【0042】
ここで、心臓位置は、3個の距離値(x,y,z)により表されるものあっても良い。xは、カメラ4を基準とする奥行き方向に対する距離を示す値である。yは、カメラ4を基準とする上下方向に対する距離を示す値である。zは、カメラ4を基準とする左右方向に対する距離を示す値である。個々の距離値(x,y,z)の単位には、例えば、メートルが用いられる。
【0043】
または、心臓位置は、2個の角度値(yaw,pitch)により表されるものであっても良い。yawは、カメラ4を基準とするヨー方向に対する角度を示す値である。pitchは、カメラ4を基準とするピッチ方向に対する角度を示す値である。個々の角度値(yaw,pitch)の単位には、例えば、度が用いられる。
【0044】
このほか、心臓位置推定部33による心臓位置の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0045】
第四に、体動量推定部34は、頭位置推定部31により出力された顔領域情報を取得するものである。体動量推定部34は、当該取得された顔領域情報を用いて、個々のフレームに含まれる複数個の時刻の各々における対象者TPの顔の位置(以下「顔位置」という。)を推定するものである。体動量推定部34は、当該推定された顔位置に基づき、個々のフレームにおける顔位置の変化量を演算するものである。かかる変化量の単位には、例えば、メートル毎秒が用いられる。
【0046】
または、体動量推定部34は、頭位置推定部31により出力された頭位置情報を取得するものである。体動量推定部34は、当該取得された頭位置情報を用いて、個々のフレームにおける頭位置の変化量を演算するものである。かかる変化量の単位には、例えば、メートル毎秒が用いられる。
【0047】
または、体動量推定部34は、骨格推定部32により出力された骨格情報を取得するものである。体動量推定部34は、当該取得された骨格情報を用いて、個々のフレームに含まれる複数個の時刻の各々における対象者TPの体の位置(以下「体位置」という。)を推定するものである。体動量推定部34は、当該推定された体位置に基づき、個々のフレームにおける体位置の変化量を演算するものである。かかる変化量の単位には、例えば、メートル毎秒が用いられる。
【0048】
体動量推定部34は、上記推定された変化量(すなわち顔位置の変化量、頭位置の変化量又は体位置の変化量)に基づき、個々のフレームにおける対象者TPの体動量を推定するものである。体動量推定部34は、当該推定された体動量を示す情報(以下「体動量情報」という。)をパラメータ設定部15に出力するものである。より具体的には、体動量推定部34は、体動量情報を第2パラメータ設定部52及び第3パラメータ設定部53に出力するものである。
【0049】
このほか、体動量推定部34による体動量の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0050】
第五に、開口度推定部35は、対象者TPの開口度を推定するものである。具体的には、例えば、開口度推定部35は、個々のフレームにおける開口度を推定するものである。開口度推定部35は、当該推定された開口度を示す情報(以下「開口度情報」という。)をパラメータ設定部15に出力するものである。より具体的には、開口度推定部35は、開口度情報を第2パラメータ設定部52及び第3パラメータ設定部53に出力するものである。
【0051】
開口度推定部35による開口度の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0052】
第六に、表情推定部36は、対象者TPの表情を推定するものである。これにより、対象者TPの表情に対応する値(以下「表情値」という。)が演算される。表情推定部36は、当該推定された表情を示す情報、すなわち当該演算された表情値を含む情報(以下「表情情報」という。)をパラメータ設定部15に出力するものである。より具体的には、表情推定部36は、表情情報を第4パラメータ設定部54に出力するものである。
【0053】
表情推定部36による表情の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0054】
第七に、年齢推定部41は、対象者TPの年齢を推定するものである。年齢推定部41は、当該推定された年齢を示す情報(以下「年齢情報」という。)をパラメータ設定部15に出力するものである。より具体的には、年齢推定部41は、年齢情報を第4パラメータ設定部54に出力するものである。
【0055】
年齢推定部41による年齢の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0056】
第八に、性別推定部42は、対象者TPの性別を推定するものである。性別推定部42は、当該推定された性別を示す情報(以下「性別情報」という。)をパラメータ設定部15に出力するものである。より具体的には、性別推定部42は、性別情報を第4パラメータ設定部54に出力するものである。
【0057】
性別推定部42による性別の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0058】
第九に、個人識別部23は、所定のデータベース(以下「個人識別用データベース」という。)に登録されている情報を用いて、対象者TPを識別するものである。すなわち、個人識別部23は、車両1が複数人のユーザにより使用されるものであるとき、複数人のユーザのうちのいずれのユーザが現在の対象者TPであるかを特定するものである。個人識別部23は、当該識別された対象者TPに関する情報、すなわち当該特定されたユーザに関する情報(以下「個人識別情報」という。)を個人識別用データベースから取得するものである。個人識別部23は、当該取得された個人識別情報をパラメータ設定部15に出力するものである。より具体的には、個人識別部23は、個人識別情報を第1パラメータ設定部51及び第4パラメータ設定部54に出力するものである。
【0059】
個人識別部23による対象者TPの識別には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0060】
ここで、個人識別情報は、上記識別された対象者TPの心臓位置を示す情報を含むものである。かかる情報は、例えば、上記特定されたユーザが過去に車両1に搭乗したとき、心臓位置推定部33により生成されたものである。または、かかる情報は、例えば、上記特定されたユーザにより予め入力されたものである。
【0061】
また、個人識別情報は、上記識別された対象者TPの年齢を示す情報を含むものである。かかる情報は、例えば、上記特定されたユーザが過去に車両1に搭乗したとき、年齢推定部41により生成されたものである。または、かかる情報は、例えば、上記特定されたユーザにより予め入力されたものである。
【0062】
また、個人識別情報は、上記識別された対象者TPの性別を示す情報を含むものである。かかる情報は、例えば、上記特定されたユーザが過去に車両1に搭乗したとき、性別推定部42により生成されたものである。または、かかる情報は、例えば、上記特定されたユーザにより予め入力されたものである。
【0063】
このように、画像処理部14によりパラメータ設定部15に出力される情報は、心臓位置情報、体動量情報、開口度情報、表情情報、年齢情報、性別情報及び個人識別情報を含むものである。画像処理部14は、これらの情報のうちの少なくとも一部の情報を制御装置6に出力するようになっている。
【0064】
なお、顔領域の検出、頭位置の推定、骨格の推定、心臓位置の推定、体動量の推定、開口度の推定及び表情の推定は、対象者TPの状態の推定であるといえる。すなわち、状態推定部21は、対象者TPの状態を推定するものである。また、年齢の推定及び性別の推定は、対象者TPの属性の推定であるといえる。すなわち、属性推定部22は、対象者TPの属性を推定するものである。
【0065】
パラメータ設定部15は、画像処理部14により出力された情報(心臓位置情報、体動量情報、開口度情報、表情情報、年齢情報、性別情報及び個人識別情報を含む。)を取得するものである。パラメータ設定部15は、これらの情報を用いて、バイタル測定部12における複数種類のパラメータを設定するものである。
図5は、画像処理部14により出力される情報とパラメータ設定部15により設定されるパラメータとの対応関係を示している。複数種類のパラメータは、以下のようにして設定される。
【0066】
〈第1パラメータの設定方法〉
第一に、第1パラメータ設定部51は、心臓位置推定部33により出力された心臓位置情報を取得するものである。第1パラメータ設定部51は、当該取得された心臓位置情報を用いて、バイタル測定部12における第1パラメータを設定するものである。
【0067】
すなわち、第1パラメータ設定部51は、電波RW1の照射位置を上記取得された心臓位置情報が示す心臓位置に対応する位置に制御するようにバイタル測定部12を設定する。これにより、電波RW1の照射位置をバイタル(特に心拍数)の測定に適した位置に調整することができる。かかる調整については、実施の形態2にて
図10及び
図11を参照して後述する。
【0068】
または、第1パラメータ設定部51は、個人識別部23により出力された個人識別情報を含むものである。第1パラメータ設定部51は、当該取得された個人識別情報を用いて、バイタル測定部12における第1パラメータを設定するものである。
【0069】
すなわち、上記のとおり、個人識別情報には、対象者TPの心臓位置を示す情報が含まれている。第1パラメータ設定部51は、電波RW1の照射位置を当該情報が示す心臓位置に対応する位置に制御するようにバイタル測定部12を設定する。これにより、電波RW1の照射位置をバイタル(特に心拍数)の測定に適した位置に調整することができる。かかる調整については、実施の形態2にて
図10及び
図11を参照して後述する。
【0070】
なお、第1パラメータ設定部51は、心臓位置情報及び個人識別情報を取得するものであっても良い。第1パラメータ設定部51は、当該取得された心臓位置情報及び個人識別情報のうちのいずれか一方を選択的に用いて第1パラメータを設定するものであっても良い。
【0071】
〈第2パラメータの設定方法〉
第二に、第2パラメータ設定部52は、体動量推定部34により出力された体動量情報を取得するものである。第2パラメータ設定部52は、当該取得された体動量情報を用いて、バイタル測定部12における第2パラメータを設定するものである。
【0072】
すなわち、第2パラメータ設定部52は、所定の閾値Th1以下の体動量に対応するフレームを測定用フレームに選択するようにバイタル測定部12を設定する。換言すれば、第2パラメータ設定部52は、閾値Th1を超える体動量に対応するフレームをバイタルの測定から除外するようにバイタル測定部12を設定する。これにより、バイタルの測定に不適なフレーム(すなわち対象者TPが体を動かしているときのフレーム)がバイタルの測定に用いられるのを回避するような調整を実現することができる。
【0073】
または、第2パラメータ設定部52は、開口度推定部35により出力された開口度情報を取得するものである。第2パラメータ設定部52は、当該取得された開口度情報を用いて、バイタル測定部12における第2パラメータを設定するものである。
【0074】
すなわち、第2パラメータ設定部52は、所定の閾値Th2以下の開口度に対応するフレームを測定用フレームに選択するようにバイタル測定部12を設定する。換言すれば、第2パラメータ設定部52は、閾値Th2を超える開口度に対応するフレームをバイタルの測定から除外するようにバイタル測定部12を設定する。これにより、バイタルの測定に不適なフレーム(すなわち対象者TPが会話をしているときのフレーム)がバイタルの測定に用いられるのを回避するような調整を実現することができる。
【0075】
なお、第2パラメータ設定部52は、体動量情報及び開口度情報を取得して、当該取得された体動量情報及び開口度情報を用いて第2パラメータを設定するものであっても良い。この場合、第2パラメータ設定部52は、閾値Th1以下の体動量に対応しており、かつ、閾値Th2以下の開口度に対応しているフレームを測定用フレームに選択するようにバイタル測定部12を設定するものであっても良い。
【0076】
〈第3パラメータの設定方法〉
第三に、第3パラメータ設定部53は、体動量推定部34により出力された体動量情報を取得するものである。第3パラメータ設定部53は、当該取得された体動量情報を用いて、バイタル測定部12における第3パラメータを設定するものである。
【0077】
すなわち、第3パラメータ設定部53は、所定時間に対応する複数個のフレーム(移動平均処理による平均値の算出対象となる1個のフレームを含む。)について、所定の閾値Th3以下の体動量に対応するフレームの個数nを演算する。第3パラメータ設定部53は、当該複数個のフレームの個数Nに対する当該演算された個数nの比率R1を演算する(R1=n/N)。当該演算された比率R1が大きい場合、第3パラメータ設定部53は、対応する移動平均区間幅を小さくするようにバイタル測定部12を設定する。他方、当該演算された比率R1が小さい場合、第3パラメータ設定部53は、対応する移動平均区間幅を大きくするようにバイタル測定部12を設定する。これにより、移動平均区間幅を体動量に応じて適切な幅に調整することができる。
【0078】
または、第3パラメータ設定部53は、開口度推定部35により出力された開口度情報を取得するものである。第3パラメータ設定部53は、当該取得された開口度情報を用いて、バイタル測定部12における第3パラメータを設定するものである。
【0079】
すなわち、第3パラメータ設定部53は、所定時間に対応する複数個のフレーム(移動平均処理による平均値の算出対象となる1個のフレームを含む。)について、所定の閾値Th4以下の開口度に対応するフレームの個数mを演算する。第3パラメータ設定部53は、当該複数個のフレームの個数Mに対する当該演算された個数mの比率R2を演算する(R2=m/M)。当該演算された比率R2が大きい場合、第3パラメータ設定部53は、対応する移動平均区間幅を小さくするようにバイタル測定部12を設定する。他方、当該演算された比率R2が小さい場合、第3パラメータ設定部53は、対応する移動平均区間幅を大きくするようにバイタル測定部12を設定する。これにより、移動平均区間幅を開口度に応じて適切な幅に調整することができる。
【0080】
なお、第3パラメータ設定部53は、体動量情報及び開口度情報を取得して、当該取得された体動量情報及び開口度情報を用いて第3パラメータを設定するものであっても良い。この場合、第3パラメータ設定部53は、比率R1,R2を演算して、当該演算された比率R1,R2による統計値(例えば合計値又は平均値)に応じて移動平均区間幅を調整するようにバイタル測定部12を設定するものであっても良い。
【0081】
〈第4パラメータの設定方法〉
第四に、第4パラメータ設定部54は、表情推定部36により出力された表情情報を取得するものである。第4パラメータ設定部54は、当該取得された表情情報を用いて、バイタル測定部12における第4パラメータを設定するものである。
【0082】
すなわち、第4パラメータ設定部54は、上記取得された表情情報に含まれる表情値に基づき、対象者TPの興奮度を推定する。当該推定された興奮度が高い場合、第4パラメータ設定部54は、より高い数値を含む数値範囲を測定範囲に用いるようにバイタル測定部12を設定する。他方、当該推定された興奮度が低い場合、第4パラメータ設定部54は、より低い数値を含む数値範囲を測定範囲に用いるようにバイタル測定部12を設定する。
【0083】
または、第4パラメータ設定部54は、年齢推定部41により出力された年齢情報を取得するものである。第4パラメータ設定部54は、当該取得された年齢情報を用いて、バイタル測定部12における第4パラメータを設定するものである。
【0084】
すなわち、通常、標準的なバイタルは年齢に応じて異なるものである。より具体的には、年齢が上がるにつれて次第に数値が下がるものである。そこで、複数個の年齢層とバイタルに係る複数個の数値範囲との対応関係を示すテーブルが予め用意されている。第4パラメータ設定部54は、当該複数個の数値範囲のうちの上記取得された年齢情報が示す年齢を含む年齢層に対応する数値範囲を選択する。第4パラメータ設定部54は、当該選択された数値範囲を測定範囲に用いるようにバイタル測定部12を設定する。
【0085】
または、第4パラメータ設定部54は、性別推定部42により出力された性別情報を取得するものである。第4パラメータ設定部54は、当該取得された性別情報を用いて、バイタル測定部12における第4パラメータを設定するものである。
【0086】
すなわち、通常、標準的なバイタルは性別に応じて異なるものである。そこで、複数個の性別とバイタルに係る複数個の数値範囲との対応関係を示すテーブルが予め用意されている。第4パラメータ設定部54は、当該複数個の数値範囲のうちの上記取得された性別情報が示す性別に対応する数値範囲を選択する。第4パラメータ設定部54は、当該選択された数値範囲を測定範囲に用いるようにバイタル測定部12を設定する。
【0087】
なお、第4パラメータ設定部54は、年齢情報及び性別情報を取得して、当該取得された年齢情報及び性別情報を用いて第4パラメータを設定するものであっても良い。例えば、複数個の年齢層と複数個の性別とバイタルに係る複数個の数値範囲との対応関係を示すテーブルが予め用意されている。第4パラメータ設定部54は、当該複数個の数値範囲のうち、当該取得された年齢情報が示す年齢を含む年齢層に対応しており、かつ、当該取得された性別情報が示す性別に対応している数値範囲を選択する。第4パラメータ設定部54は、当該選択された数値範囲を測定範囲に用いるようにバイタル測定部12を設定する。
【0088】
また、第4パラメータ設定部54は、表情情報及び年齢情報を取得して、当該取得された表情情報及び年齢情報を用いて第4パラメータを設定するものであっても良い。例えば、第4パラメータ設定部54は、年齢情報に基づき選択された数値範囲を興奮度に応じて補正(例えばシフト、拡大又は縮小)する。第4パラメータ設定部54は、当該補正された数値範囲を測定範囲に用いるようにバイタル測定部12を設定する。
【0089】
また、第4パラメータ設定部54は、表情情報及び性別情報を取得して、当該取得された表情情報及び性別情報を用いて第4パラメータを設定するものであっても良い。例えば、第4パラメータ設定部54は、性別情報に基づき選択された数値範囲を興奮度に応じて補正(例えばシフト、拡大又は縮小)する。第4パラメータ設定部54は、当該補正された数値範囲を測定範囲を用いるようにバイタル測定部12を設定する。
【0090】
または、第4パラメータ設定部54は、個人識別部23により出力された個人識別情報を取得するものである。第4パラメータ設定部54は、当該取得された個人識別情報を用いて、バイタル測定部12における第4パラメータを設定するものである。
【0091】
すなわち、上記のとおり、個人識別情報は、対象者TPの年齢を示す情報及び対象者TPの性別を示す情報を含むものである。そこで、第4パラメータ設定部54は、当該年齢を示す情報を用いて、年齢情報を用いた設定方法と同様の設定方法により第4パラメータを設定する。または、第4パラメータ設定部54は、当該性別を示す情報を用いて、性別情報を用いた設定方法と同様の設定方法により第4パラメータを設定する。または、第4パラメータ設定部54は、当該年齢を示す情報及び当該性別を示す情報を用いて、年齢情報及び性別情報を用いた設定方法と同様の設定方法により第4パラメータを設定する。
【0092】
なお、第4パラメータ設定部54は、表情情報及び個人識別情報を取得して、当該取得された表情情報及び個人識別情報を用いて第4パラメータを設定するものであっても良い。例えば、第4パラメータ設定部54は、表情情報と個人識別情報に含まれる年齢を示す情報とを用いて、表情情報及び年齢情報を用いた設定方法と同様の設定方法により第4パラメータを設定する。または、第4パラメータ設定部54は、表情情報と個人識別情報に含まれる性別を示す情報とを用いて、表情情報及び性別情報を用いた設定方法と同様の設定方法により第4パラメータを設定する。または、第4パラメータ設定部54は、表情情報と個人識別情報に含まれる年齢を示す情報及び性別を示す情報とを用いて、表情情報、年齢情報及び性別情報を用いた設定方法と同様の設定方法により第4パラメータを設定する。
【0093】
このようにして、生体情報取得装置5の要部が構成されている。
【0094】
制御装置6は、例えば、ECU(Electronic Control Unit)により構成されている。制御装置6は、バイタル測定部12により出力された生体情報を取得するとともに、画像処理部14により出力された情報を取得するものである。制御装置6は、これらの情報を用いて、DMS用の各種制御又はOMS用の各種制御を実行するものである。
【0095】
例えば、制御装置6は、対象者TPのうちの運転者について、これらの情報を用いて、覚醒度を監視するとともに、快適度を監視する。制御装置6は、かかる覚醒度が低下したとき、運転者に対する警告を出力する制御、又は車両1を操作することにより車両1を停止させる制御を実行する。制御装置6は、かかる快適度が低下したとき、車両1の設備(例えば空気調和機)を操作する制御を実行する。
【0096】
また、例えば、制御装置6は、対象者TPのうちの同乗者について、これらの情報を用いて、快適度を監視する。制御装置6は、かかる快適度が低下したとき、車両1の設備(例えば空気調和機)を操作する制御を実行する。
【0097】
このほか、制御装置6によるDMS用の制御には、公知の種々の技術を用いることができる。また、制御装置6によるOMS用の制御には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
【0098】
以下、検出値取得部11により実行される処理を総称して「検出値取得処理」ということがある。また、バイタル測定部12により実行される処理を総称して「バイタル測定処理」ということがある。また、画像データ取得部13により実行される処理を総称して「画像データ取得処理」ということがある。また、パラメータ設定部15により実行される処理を総称して「パラメータ設定処理」ということがある。また、状態推定部21により実行される処理を総称して「状態推定処理」ということがある。また、属性推定部22により実行される処理を総称して「属性推定処理」ということがある。また、個人識別部23により実行される処理を総称して「個人識別処理」ということがある。
【0099】
以下、検出値取得部11の機能に「F1」の符号を用いることがある。また、バイタル測定部12の機能に「F2」の符号を用いることがある。また、画像データ取得部13の機能に「F3」の符号を用いることがある。また、画像処理部14の機能に「F4」の符号を用いることがある。また、パラメータ設定部15の機能に「F5」の符号を用いることがある。
【0100】
次に、
図6~
図8を参照して、生体情報取得装置5の要部のハードウェア構成について説明する。
【0101】
図6に示す如く、生体情報取得装置5は、プロセッサ61及びメモリ62を有している。メモリ62には、複数個の機能F1~F5に対応するプログラムが記憶されている。プロセッサ61は、メモリ62に記憶されているプログラムを読み出して実行する。これにより、複数個の機能F1~F5が実現される。
【0102】
または、
図7に示す如く、生体情報取得装置5は、処理回路63を有している。処理回路63は、複数個の機能F1~F5に対応する処理を実行する。これにより、複数個の機能F1~F5が実現される。
【0103】
または、
図8に示す如く、生体情報取得装置5は、プロセッサ61、メモリ62及び処理回路63を有している。メモリ62には、複数個の機能F1~F5のうちの一部の機能に対応するプログラムが記憶されている。プロセッサ61は、メモリ62に記憶されているプログラムを読み出して実行する。これにより、かかる一部の機能が実現される。また、処理回路63は、複数個の機能F1~F5のうちの残余の機能に対応する処理を実行する。これにより、かかる残余の機能が実現される。
【0104】
プロセッサ61は、1個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)を用いたものである。
【0105】
メモリ62は、1個以上の不揮発性メモリにより構成されている。または、メモリ62は、1個以上の不揮発性メモリ及び1個以上の揮発性メモリにより構成されている。すなわち、メモリ62は、1個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、個々の揮発性メモリは、例えば、RAM(Random Access Memory)を用いたものである。また、個々の不揮発性メモリは、例えば、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ソリッドステートドライブ又はハードディスクドライブを用いたものである。
【0106】
処理回路63は、1個以上のデジタル回路により構成されている。または、処理回路63は、1個以上のデジタル回路及び1個以上のアナログ回路により構成されている。すなわち、処理回路63は、1個以上の処理回路により構成されている。個々の処理回路は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)、SoC(System on a Chip)又はシステムLSI(Large Scale Integration)を用いたものである。
【0107】
ここで、プロセッサ61が複数個のプロセッサにより構成されているとき、複数個の機能F1~F5と複数個のプロセッサとの対応関係は任意である。すなわち、複数個のプロセッサの各々は、複数個の機能F1~F5のうちの対応する1個以上の機能に対応するプログラムを読み出して実行するものであっても良い。プロセッサ61は、個々の機能F1~F5に対応する専用のプロセッサを含むものであっても良い。
【0108】
また、メモリ62が複数個のメモリにより構成されているとき、複数個の機能F1~F5と複数個のメモリとの対応関係は任意である。すなわち、複数個のメモリの各々は、複数個の機能F1~F5のうちの対応する1個以上の機能に対応するプログラムを記憶するものであっても良い。メモリ62は、個々の機能F1~F5に対応する専用のメモリを含むものであっても良い。
【0109】
また、処理回路63が複数個の処理回路により構成されているとき、複数個の機能F1~F5と複数個の処理回路との対応関係は任意である。すなわち、複数個の処理回路の各々は、複数個の機能F1~F5のうちの対応する1個以上の機能に対応する処理を実行するものであっても良い。処理回路63は、個々の機能F1~F5に対応する専用の処理回路を含むものであっても良い。
【0110】
次に、
図9Aに示すフローチャートを参照して、生体情報取得装置5の動作について、画像データ取得部13、画像処理部14及びパラメータ設定部15の動作を中心に説明する。
【0111】
まず、画像データ取得部13が画像データ取得処理を実行する(ステップST1)。これにより、カメラ4による撮像画像を示す画像データが取得される。
【0112】
次いで、画像処理部14が複数種類の画像処理を実行する(ステップST2)。これにより、状態推定処理、属性推定処理及び個人識別処理が実行される。
【0113】
次いで、パラメータ設定部15がパラメータ設定処理を実行する(ステップST3)。これにより、バイタル測定部12における複数種類のパラメータが設定される。具体的には、例えば、第1パラメータ、第2パラメータ、第3パラメータ及び第4パラメータが設定される。
【0114】
次に、
図9Bに示すフローチャートを参照して、生体情報取得装置5の動作について、検出値取得部11及びバイタル測定部12の動作を中心に説明する。
【0115】
まず、検出値取得部11が検出値取得処理を実行する(ステップST4)。これにより、非接触生体センサ3による検出値が取得される。
【0116】
次いで、バイタル測定部12がバイタル測定処理を実行する(ステップST5)。これにより、対象者TPのバイタルが測定されて、生体情報が生成される。このとき、バイタル測定部12は、ステップST3にて設定された複数種類のパラメータに基づき対象者TPのバイタルを測定する。
【0117】
次に、生体情報取得装置5による効果について説明する。
【0118】
第一に、従来技術においては、車両における座席(より具体的には運転席)の位置に応じて非接触生体センサの指向性が調整される。これに対して、生体情報取得装置5においては、画像処理(より具体的には状態推定処理又は個人識別処理)の結果に応じて第1パラメータ(すなわち電波RW1の照射位置)が調整される。画像処理の結果に応じた調整により、座席の位置に応じた調整に比して、より正確に電波RW1を目標位置(例えば心臓位置)に照射することができる。
【0119】
第二に、画像処理の結果に応じた調整により、座席の位置に応じた調整に比して、多様なパラメータの調整を実現することができる。例えば、照射位置の調整を実現することができるのはもちろんのこと、測定用フレーム、移動平均区間幅及び測定範囲の調整を実現することができる。
【0120】
第三に、画像処理が属性推定処理及び個人識別処理を含むことにより、複数種類のパラメータについて、個人差を考慮した調整を実現することができる。具体的には、例えば、第1パラメータ及び第4パラメータについて、個人差を考慮した調整を実現することができる。
【0121】
これらの効果により、バイタルの測定精度を向上することができる。
【0122】
次に、生体情報取得装置5の変形例について説明する。
【0123】
パラメータ設定部15は、第1パラメータ設定部51を含まないものであっても良い。この場合、画像処理部14は、心臓位置推定部33を含まないものであっても良い。
【0124】
または、パラメータ設定部15は、第2パラメータ設定部52を含まないものであっても良い。
【0125】
または、パラメータ設定部15は、第3パラメータ設定部53を含まないものであっても良い。
【0126】
または、パラメータ設定部15は、第4パラメータ設定部54を含まないものであっても良い。この場合、画像処理部14は、表情推定部36、年齢推定部41及び性別推定部42を含まないものであっても良い。
【0127】
または、パラメータ設定部15は、第1パラメータ設定部51及び第2パラメータ設定部52を含まないものであっても良い。この場合、画像処理部14は、心臓位置推定部33を含まないものであっても良い。
【0128】
または、パラメータ設定部15は、第1パラメータ設定部51及び第3パラメータ設定部53を含まないものであっても良い。この場合、画像処理部14は、心臓位置推定部33を含まないものであっても良い。
【0129】
または、パラメータ設定部15は、第1パラメータ設定部51及び第4パラメータ設定部54を含まないものであっても良い。この場合、画像処理部14は、心臓位置推定部33、表情推定部36、年齢推定部41、性別推定部42及び個人識別部23を含まないものであっても良い。
【0130】
または、パラメータ設定部15は、第2パラメータ設定部52及び第3パラメータ設定部53を含まないものであっても良い。この場合、画像処理部14は、体動量推定部34及び開口度推定部35を含まないものであっても良い。
【0131】
または、パラメータ設定部15は、第2パラメータ設定部52及び第4パラメータ設定部54を含まないものであっても良い。この場合、画像処理部14は、表情推定部36、年齢推定部41及び性別推定部42を含まないものであっても良い。
【0132】
または、パラメータ設定部15は、第3パラメータ設定部53及び第4パラメータ設定部54を含まないものであっても良い。この場合、画像処理部14は、表情推定部36、年齢推定部41及び性別推定部42を含まないものであっても良い。
【0133】
または、パラメータ設定部15は、第1パラメータ設定部51、第2パラメータ設定部52及び第3パラメータ設定部53を含まないものであっても良い。この場合、画像処理部14は、頭位置推定部31、骨格推定部32、心臓位置推定部33、体動量推定部34及び開口度推定部35を含まないものであっても良い。
【0134】
または、パラメータ設定部15は、第1パラメータ設定部51、第2パラメータ設定部52及び第4パラメータ設定部54を含まないものであっても良い。この場合、画像処理部14は、心臓位置推定部33、表情推定部36、年齢推定部41、性別推定部42及び個人識別部23を含まないものであっても良い。
【0135】
または、パラメータ設定部15は、第1パラメータ設定部51、第3パラメータ設定部53及び第4パラメータ設定部54を含まないものであっても良い。この場合、画像処理部14は、心臓位置推定部33、表情推定部36、年齢推定部41、性別推定部42及び個人識別部23を含まないものであっても良い。
【0136】
または、パラメータ設定部15は、第2パラメータ設定部52、第3パラメータ設定部53及び第4パラメータ設定部54を含まないものであっても良い。この場合、画像処理部14は、体動量推定部34、開口度推定部35、表情推定部36、年齢推定部41及び性別推定部42を含まないものであっても良い。
【0137】
すなわち、パラメータ設定部15は、第1パラメータ、第2パラメータ、第3パラメータ又は第4パラメータのうちの少なくとも一つを設定するものであっても良い。また、画像処理部14は、状態推定部21、属性推定部22又は個人識別部23のうちの少なくとも一つを含むものであっても良い。換言すれば、画像処理部14は、状態推定処理、属性推定処理又は個人識別処理のうちの少なくとも一つを実行するものであっても良い。また、状態推定処理は、心臓位置を推定する処理、体動量を推定する処理、開口度を推定する処理又は表情を推定する処理のうちの少なくとも一つを含むものであっても良い。また、属性推定処理は、年齢を推定する処理又は性別を推定する処理のうちの少なくとも一方を含むものであっても良い。
【0138】
次に、生体情報取得装置5の他の変形例について説明する。
【0139】
バイタル測定部12により測定されたバイタルを示す情報(すなわち生体情報)は、個人識別用データベースに登録されるものであっても良い。当該登録された生体情報は、次回以降の個人識別処理に用いられるものであっても良い。
【0140】
次に、生体情報取得装置5の他の変形例について説明する。
【0141】
車両1にセンサ類(不図示)が搭載されているものであっても良い。センサ類は、例えば、車両1における対象座席TSの位置を検出するセンサ(以下「座席位置センサ」という。)を含むものである。また、センサ類は、例えば、車両1における操舵角を検出するセンサ(以下「操舵角センサ」という。)を含むものである。
【0142】
心臓位置推定部33は、対象者TPの心臓位置を推定するとき、頭位置推定部31により出力された情報(すなわち顔領域情報及び頭位置情報)又は骨格推定部32により出力された情報(すなわち骨格情報)を用いるのに加えて、座席位置センサにより検出された値を用いるものであっても良い。これにより、心臓位置の推定精度の向上を図ることができる。
【0143】
体動量推定部34は、対象者TPの体動量を推定するとき、頭位置推定部31により出力された情報(すなわち顔領域情報又は頭位置情報)又は骨格推定部32により出力された情報(すなわち骨格情報)を用いるのに加えて、操舵角センサにより検出された値を用いるものであっても良い。これにより、体動量の推定精度の向上を図ることができる。
【0144】
次に、生体情報取得装置5の他の変形例について説明する。
【0145】
生体情報取得装置5は、電波式の非接触生体センサ3に代えて、他の方式の非接触生体センサ3を用いるものであっても良い。例えば、非接触生体センサ3は、電波に代えて光、レーザ又は超音波を用いるものであっても良い。以下、電波、光、レーザ又は超音波などを総称して「測定波」ということがある。
【0146】
次に、生体情報取得装置5の他の変形例について説明する。
【0147】
生体情報取得装置5の用途は、DMS又はOMSに限定されるものではない。すなわち、非接触生体センサ3及びカメラ4は、車載用に限定されるものではない。また、対象者TPは、車両1の搭乗者に限定されるものではない。生体情報取得装置5は、非接触生体センサ3及びカメラ4を含むシステムであれば、如何なるシステムに用いられるものであっても良い。
【0148】
以上のように、実施の形態1に係る生体情報取得装置5は、非接触生体センサ3による検出値を取得する検出値取得部11と、検出値を用いて対象者TPのバイタルを測定するバイタル測定部12と、カメラ4による撮像画像を示す画像データを取得する画像データ取得部13と、対象者TPを含む撮像画像に対する画像処理を実行することにより、対象者TPの状態を推定する状態推定処理、対象者TPの属性を推定する属性推定処理又は対象者TPを識別する個人識別処理のうちの少なくとも一つを実行する画像処理部14と、画像処理の結果に応じてバイタルの測定におけるパラメータを設定するパラメータ設定部15と、を備える。これにより、非接触生体センサ3を用いたバイタルの測定において、多様なパラメータの調整に対応することができる。
【0149】
また、パラメータは、非接触生体センサ3による測定波の照射位置に対応する第1パラメータを含み、パラメータ設定部15は、状態推定処理の結果又は個人識別処理の結果のうちの少なくとも一方に応じて第1パラメータを設定する。これにより、照射位置の調整を実現することができる。
【0150】
また、状態推定処理は、対象者TPの心臓位置を推定する処理を含み、個人識別処理が実行されることにより、対象者TPに対応する個人識別情報が取得されるものであり、パラメータ設定部15は、心臓位置又は個人識別情報のうちの少なくとも一方に応じて第1パラメータを設定する。これにより、照射位置の調整を実現することができる。
【0151】
また、パラメータは、測定におけるバイタルの測定範囲に対応する第4パラメータを含み、パラメータ設定部15は、状態推定処理の結果、属性推定処理の結果又は個人識別処理の結果のうちの少なくとも一つに応じて第4パラメータを設定する。これにより、測定範囲の調整を実現することができる。
【0152】
また、状態推定処理は、対象者TPの表情を推定する処理を含み、属性推定処理は、対象者TPの年齢を推定する処理又は対象者TPの性別を推定する処理のうちの少なくとも一方を含み、個人識別処理が実行されることにより、対象者TPに対応する個人識別情報が取得されるものであり、パラメータ設定部15は、表情、年齢、性別又は個人識別情報のうちの少なくとも一つに応じて第4パラメータを設定する。これにより、測定範囲の調整を実現することができる。
【0153】
また、パラメータは、測定に用いられるフレームに対応する第2パラメータを含み、パラメータ設定部15は、状態推定処理の結果に応じて第2パラメータを設定する。これにより、測定用フレームの調整を実現することができる。
【0154】
また、状態推定処理は、対象者TPの体動量を推定する処理又は対象者TPの開口度を推定する処理のうちの少なくとも一方を含み、パラメータ設定部15は、体動量又は開口度のうちの少なくとも一方に応じて第2パラメータを設定する。これにより、測定用フレームの調整を実現することができる。
【0155】
また、パラメータは、測定における移動平均処理の区間幅に対応する第3パラメータを含み、パラメータ設定部15は、状態推定処理の結果に応じて第3パラメータを設定する。これにより、移動平均区間幅の調整を実現することができる。
【0156】
また、状態推定処理は、対象者TPの体動量を推定する処理又は対象者TPの開口度を推定する処理のうちの少なくとも一方を含み、パラメータ設定部15は、体動量又は開口度のうちの少なくとも一方に応じて第3パラメータを設定する。これにより、移動平均区間幅の調整を実現することができる。
【0157】
また、実施の形態1に係る生体情報取得方法は、検出値取得部11が、非接触生体センサ3による検出値を取得するステップST4と、バイタル測定部12が、検出値を用いて対象者TPのバイタルを測定するステップST5と、画像データ取得部13が、カメラ4による撮像画像を示す画像データを取得するステップST1と、画像処理部14が、対象者TPを含む撮像画像に対する画像処理を実行することにより、対象者TPの状態を推定する状態推定処理、対象者TPの属性を推定する属性推定処理又は対象者TPを識別する個人識別処理のうちの少なくとも一つを実行するステップST2と、パラメータ設定部15が、画像処理の結果に応じてバイタルの測定におけるパラメータを設定するステップST3と、を備える。これにより、非接触生体センサ3を用いたバイタルの測定において、多様なパラメータの調整に対応することができる。
【0158】
実施の形態2.
図10は、実施の形態2に係る生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
図11は、実施の形態2に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
図12は、実施の形態2に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
図13は、実施の形態2に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
図14は、実施の形態2に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
【0159】
図10~
図14の各々を参照して、実施の形態2に係る生体情報取得装置を含むモニタリングシステムについて説明する。なお、
図10~
図14の各々において、
図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
【0160】
図10又は
図11に示す如く、バイタル測定部12は、第1照射位置制御部71を含むものであっても良い。第1照射位置制御部71は、第1パラメータ設定部51により設定された第1パラメータに基づき、照射位置を心臓位置に合わせる制御(以下「照射位置制御」という。)を実行するものである。以下、照射位置制御の具体例について説明する。
【0161】
〈照射位置制御の第1具体例(
図10参照)〉
第1照射位置制御部71は、現在の照射位置と第1パラメータが示す心臓位置との差分に応じて、対象座席TSを操作する制御を実行する。より具体的には、第1照射位置制御部71は、前後方向に対する対象座席TSの位置、左右方向に対する対象座席TSの位置、上下方向に対する対象座席TSの位置、対象座席TSの回転角度又は対象座席TSのリクライニング角度のうちの少なくとも一つを操作する制御を実行する。これにより、照射位置が心臓位置に対応する位置に調整される。より具体的には、照射位置が心臓位置と略同一の位置に調整される。
【0162】
〈照射位置制御の第2具体例(
図11参照)〉
第1照射位置制御部71は、現在の照射位置と第1パラメータが示す心臓位置との差分に応じて、非接触生体センサ3を機械的に回動させる制御を実行する。これにより、照射位置が心臓位置に対応する位置に調整される。より具体的には、照射位置が心臓位置と略同一の位置に調整される。
【0163】
〈照射位置制御の第3具体例(
図11参照)〉
第1照射位置制御部71は、現在の照射位置と第1パラメータが示す心臓位置との差分に応じて、非接触生体センサ3に対するビームフォーミング処理を実行する。これにより、照射位置が心臓位置に対応する位置に調整される。より具体的には、照射位置が心臓位置と略同一の位置に調整される。
【0164】
〈照射位置制御の第4具体例〉
照射位置制御は、対象座席TSの操作及び非接触生体センサ3の回動を組み合わせてなるものであっても良い。または、照射位置制御は、対象座席TSの操作及び非接触生体センサ3に対するビームフォーミング処理を組み合わせてなるものであっても良い。または、照射位置制御は、非接触生体センサ3の回動及び非接触生体センサ3に対するビームフォーミング処理を組み合わせてなるものであっても良い。または、照射位置制御は、対象座席TSの操作、非接触生体センサ3の回動及び非接触生体センサ3に対するビームフォーミング処理を組み合わせてなるものであっても良い。
【0165】
なお、非接触生体センサ3が車両1のステアリングコラムに設置されている場合、照射位置制御には、車両1におけるステアリングコラムの取付け角度を示す情報が用いられるものであっても良い。
【0166】
図12に示す如く、バイタル測定部12は、誘導制御部72を含むものであっても良い。誘導制御部72は、第1パラメータ設定部51により設定された第1パラメータに基づき、対象者TPの心臓を測定波の照射位置に誘導する制御(以下「誘導制御」という。)を実行するものである。誘導制御には、出力装置7が用いられる。出力装置7は、レーザポインタ、スピーカ、ディスプレイ又はインジケータのうちの少なくとも一つを含むものである。以下、誘導制御の具体例について説明する。
【0167】
〈誘導制御の第1具体例〉
誘導制御部72は、測定波の照射位置と第1パラメータが示す心臓位置とのずれが生じているとき、レーザポインタを用いて、測定波の照射位置(すなわち適切な心臓位置)にレーザ光を照射する制御を実行する。
【0168】
対象者TPは、かかるレーザ光を基準にして、自身の胸部(すなわち自身の心臓)を測定波の照射位置に合わせるように対象座席TSを操作する。すなわち、対象者TPは、照射位置制御の第1具体例における操作と同様の操作を手動により実行する。このようにして、対象者TPの心臓が測定波の照射位置に誘導される。
【0169】
〈誘導制御の第2具体例〉
誘導制御部72は、スピーカを用いて、測定波の照射位置と第1パラメータが示す心臓位置との差分に応じた音声を出力する制御を実行する。かかる音声は、例えば、測定波の照射位置と第1パラメータが示す心臓位置とのずれ量に応じて断続間隔が変化する断続音を用いたものである。または、かかる音声は、例えば、当該心臓位置に対する当該照射位置の方向を示すテキストを読み上げる音声である。
【0170】
対象者TPは、かかる音声を基準にして、自身の胸部(すなわち自身の心臓)を測定波の照射位置に合わせるように対象座席TSを操作する。すなわち、対象者TPは、照射位置制御の第1具体例における操作と同様の操作を手動により実行する。このようにして、対象者TPの心臓が測定波の照射位置に誘導される。
【0171】
〈誘導制御の第3具体例〉
誘導制御部72は、ディスプレイ又はインジケータを用いて、測定波の照射位置と第1パラメータが示す心臓位置とのずれの有無を表示する制御を実行する。
【0172】
対象者TPは、かかる表示を基準にして、自身の胸部(すなわち自身の心臓)を測定波の照射位置に合わせるように対象座席TSを操作する。すなわち、対象者TPは、照射位置制御の第1具体例における操作と同様の操作を手動により実行する。このようにして、対象者TPの心臓が測定波の照射位置に誘導される。
【0173】
図13に示す如く、バイタル測定部12は、照射範囲制御部73を含むものであっても良い。照射範囲制御部73は、心臓位置推定部33により推定された心臓位置の信頼度を示す情報(以下「信頼度情報」という。)を心臓位置推定部33から取得するものである。又は、照射範囲制御部73は、かかる信頼度を算出するものである。具体的には、例えば、照射範囲制御部73は、バイタル測定部12により測定されたバイタルに対応する信号の信号強度に基づき、かかる信頼度を算出する。照射範囲制御部73は、当該取得された信頼度情報が示す信頼度に応じて、又は当該算出された信頼度に応じて、非接触生体センサ3により測定波が照射される範囲(以下「照射範囲」ということがある。)を制御するものである。
【0174】
具体的には、例えば、信頼度が所定値(以下「基準値」という。)以上の値である場合、照射範囲制御部73は、より狭い範囲を照射範囲に設定する。他方、信頼度が基準値未満の値である場合、照射範囲制御部73は、より広い範囲を照射範囲に設定する。
【0175】
対象者TPの体の向き又は対象者TPの腕の位置などにより、心臓位置推定部33による心臓位置の推定に誤差が生ずることがある。かかる誤差が生じたとき、照射範囲制御部73が上記のように照射範囲を制御することにより、対象者TPの心臓に測定波が照射されなくなるのを抑制することができる。
【0176】
図14に示す如く、バイタル測定部12は、第2照射位置制御部74を含むものであっても良い。第2照射位置制御部74は、信頼度情報を心臓位置推定部33から取得するものである。又は、第2照射位置制御部74は、照射範囲制御部73による算出方法と同様の算出方法により信頼度を算出するものである。第2照射位置制御部74は、当該取得された信頼度情報が示す信頼度に応じて、又は当該算出された信頼度に応じて、測定波の照射位置を制御するものである。
【0177】
具体的には、例えば、信頼度が基準値未満の値である場合、第2照射位置制御部74は、測定波の照射位置を所定の初期位置に設定する。換言すれば、第2照射位置制御部74は、測定波の照射位置をリセットする。
【0178】
または、例えば、信頼度が基準値未満の値である場合、第2照射位置制御部74は、測定波の照射位置を以下のような位置に設定する。すなわち、第2照射位置制御部74は、測定波の照射位置を、基準値以上の信頼度に対応する心臓位置に基づき設定された最後の照射位置と同様の位置に設定する。
【0179】
対象者TPの体の向き又は対象者TPの腕の位置などにより、心臓位置推定部33による心臓位置の推定に誤差が生ずることがある。かかる誤差が生じたとき、第2照射位置制御部74が上記のように照射位置を制御することにより、対象者TPの心臓に測定波が照射されなくなるのを抑制することができる。
【0180】
以上のように、実施の形態2に係る生体情報取得装置5において、バイタル測定部12は、第1パラメータに基づき照射位置を心臓位置に合わせる照射位置制御を実行する第1照射位置制御部71を有する。これにより、照射位置をバイタル(特に心拍数)の測定に適した位置に調整することができる。
【0181】
また、バイタル測定部12は、第1パラメータに基づき対象者TPの心臓を照射位置に誘導する誘導制御を実行する誘導制御部72を有する。これにより、対象者TPの心臓をバイタル(特に心拍数)の測定に適した位置に誘導することができる。
【0182】
また、バイタル測定部12は、非接触生体センサ3による測定波の照射範囲を心臓位置の信頼度に応じて制御する照射範囲制御部73を有する。これにより、心臓位置の推定に誤差が生じたとき、対象者TPの心臓に測定波が照射されなくなるのを抑制することができる。
【0183】
また、バイタル測定部12は、照射位置を心臓位置の信頼度に応じて制御する第2照射位置制御部74を有する。これにより、心臓位置の推定に誤差が生じたとき、対象者TPの心臓に測定波が照射されなくなるのを抑制することができる。
【0184】
なお、本願開示はその開示の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0185】
本開示に係る生体情報取得装置は、例えば、DMS又はOMSに用いることができる。
【符号の説明】
【0186】
1 車両、2 モニタリングシステム、3 非接触生体センサ、4 カメラ、5 生体情報取得装置、6 制御装置、11 検出値取得部、12 バイタル測定部、13 画像データ取得部、14 画像処理部、15 パラメータ設定部、21 状態推定部、22 属性推定部、23 個人識別部、31 頭位置推定部、32 骨格推定部、33 心臓位置推定部、34 体動量推定部、35 開口度推定部、36 表情推定部、41 年齢推定部、42 性別推定部、51 第1パラメータ設定部、52 第2パラメータ設定部、53 第3パラメータ設定部、54 第4パラメータ設定部、61 プロセッサ、62 メモリ、63 処理回路、71 第1照射位置制御部、72 誘導制御部、73 照射範囲制御部、74 第2照射位置制御部。