特開2023-42716生体情報検出システム、生体情報検出方法、及び、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023042716
(43)【公開日】2023-03-28
(54)【発明の名称】生体情報検出システム、生体情報検出方法、及び、プログラム
(51)【国際特許分類】
A61B 5/11 20060101AFI20230320BHJP
G06T 7/70 20170101ALI20230320BHJP
G06T 7/00 20170101ALI20230320BHJP
A61B 5/00 20060101ALN20230320BHJP
【ＦＩ】
A61B5/11 100
G06T7/70 A
G06T7/00 350B
A61B5/00 101R
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021149989
(22)【出願日】2021-09-15
(71)【出願人】
【識別番号】899000079
【氏名又は名称】慶應義塾
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100124800
【弁理士】
【氏名又は名称】諏澤 勇司
(74)【代理人】
【識別番号】100206966
【弁理士】
【氏名又は名称】崎山 翔一
(72)【発明者】
【氏名】大槻 知明
(72)【発明者】
【氏名】モンデル ボアジジ
【テーマコード（参考）】
4C038
4C117
5L096
【Ｆターム（参考）】
4C038VA04
4C038VB02
4C038VB32
4C038VB33
4C038VC20
4C117XB01
4C117XD01
4C117XD22
4C117XE13
4C117XE24
4C117XE43
5L096BA06
5L096BA13
5L096FA14
5L096FA66
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】生体情報の検出精度が高精度に確保され得る生体情報検出システムを提供する。
【解決手段】生体情報検出システム１は、深度画像取得部８１と、格納部８２と、部位検出部８３とを備えている。深度画像取得部８１は、生体Ｍを撮像した深度画像の情報を取得する。格納部８２は、特徴検出モデルを格納する。特徴検出モデルは、生体における対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている。部位検出部８３は、深度画像取得部８１によって取得された深度画像の情報と特徴検出モデルとに基づいて、生体における対象部位の位置を検出する。
【選択図】図１
【解決手段】生体情報検出システム１は、深度画像取得部８１と、格納部８２と、部位検出部８３とを備えている。深度画像取得部８１は、生体Ｍを撮像した深度画像の情報を取得する。格納部８２は、特徴検出モデルを格納する。特徴検出モデルは、生体における対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている。部位検出部８３は、深度画像取得部８１によって取得された深度画像の情報と特徴検出モデルとに基づいて、生体における対象部位の位置を検出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
生体を撮像した深度画像の情報を取得する深度画像取得部と、
生体における対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている特徴検出モデルを格納する格納部と、
前記深度画像取得部によって取得された前記深度画像の情報と前記特徴検出モデルとに基づいて、前記対象部位の位置を検出する部位検出部と、を備える、生体情報検出システム。
生体における対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている特徴検出モデルを格納する格納部と、
前記深度画像取得部によって取得された前記深度画像の情報と前記特徴検出モデルとに基づいて、前記対象部位の位置を検出する部位検出部と、を備える、生体情報検出システム。
【請求項2】
前記特徴情報は、前記深度画像の情報に対応する生体を撮像したＲＧＢ画像において、前記ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち前記対象部位に関するＲＧＢ画素の位置を示す情報を含んでいる、請求項１に記載の生体情報検出システム。
【請求項3】
前記特徴情報は、生体における複数の特徴点の位置を示す位置情報を含んでおり、
前記部位検出部は、前記深度画像取得部によって取得された前記深度画像の情報と前記特徴検出モデルとに基づいて、前記深度画像取得部によって取得された前記深度画像の情報における前記複数の特徴点の位置を検出し、検出された前記複数の特徴点の位置に対応する前記対象部位の位置を検出する、請求項１又は２に記載の生体情報検出システム。
前記部位検出部は、前記深度画像取得部によって取得された前記深度画像の情報と前記特徴検出モデルとに基づいて、前記深度画像取得部によって取得された前記深度画像の情報における前記複数の特徴点の位置を検出し、検出された前記複数の特徴点の位置に対応する前記対象部位の位置を検出する、請求項１又は２に記載の生体情報検出システム。
【請求項4】
前記生体における前記複数の特徴点の位置は、生体における互いに異なる部位の位置を示している、請求項３に記載の生体情報検出システム。
【請求項5】
前記対象部位は、前記生体の胸部又は頭部である、請求項１から４のいずれか一項に記載の生体情報検出システム。
【請求項6】
少なくとも、前記部位検出部によって検出された前記対象部位の位置において反射した反射波を示す信号情報を取得する情報取得部と、
前記情報取得部によって取得された信号情報に基づいて、生体活動情報を取得する生体活動情報取得部と、をさらに備えている、請求項１から５のいずれか一項に記載の生体情報検出システム。
前記情報取得部によって取得された信号情報に基づいて、生体活動情報を取得する生体活動情報取得部と、をさらに備えている、請求項１から５のいずれか一項に記載の生体情報検出システム。
【請求項7】
前記反射波を受信する受信部をさらに備えており、
前記部位検出部は、前記深度画像取得部によって取得された前記深度画像の情報と前記特徴検出モデルとに基づいて、前記生体の部位と前記受信部との位置関係を示す相対情報を演算し、
前記生体活動情報取得部は、前記相対情報に基づいて前記生体活動情報を取得する、請求項６に記載の生体情報検出システム。
前記部位検出部は、前記深度画像取得部によって取得された前記深度画像の情報と前記特徴検出モデルとに基づいて、前記生体の部位と前記受信部との位置関係を示す相対情報を演算し、
前記生体活動情報取得部は、前記相対情報に基づいて前記生体活動情報を取得する、請求項６に記載の生体情報検出システム。
【請求項8】
複数の学習用の前記深度画像の情報と、各前記学習用の深度画像における学習用の生体の対象部位の位置に関する学習用特徴情報とを用いた学習によって、前記深度画像の情報の入力に応じて、入力された前記深度画像における生体の前記対象部位の位置に関する前記特徴情報を出力するモデルを前記特徴検出モデルとして作成するモデル作成部をさらに備え、
前記複数の学習用の深度画像の情報は、互いに異なるシーンにおいて撮像された深度画像の情報を含んでおり、
前記格納部は、前記モデル作成部によって作成された前記モデルを格納する、請求項１から７のいずれか一項に記載の生体情報検出システム。
前記複数の学習用の深度画像の情報は、互いに異なるシーンにおいて撮像された深度画像の情報を含んでおり、
前記格納部は、前記モデル作成部によって作成された前記モデルを格納する、請求項１から７のいずれか一項に記載の生体情報検出システム。
【請求項9】
生体を撮像した深度画像の情報を取得することと、
生体における対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている特徴検出モデルと、取得された前記深度画像の情報とに基づいて、前記対象部位の位置を検出することと、を含んでいる、生体情報検出方法。
生体における対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている特徴検出モデルと、取得された前記深度画像の情報とに基づいて、前記対象部位の位置を検出することと、を含んでいる、生体情報検出方法。
【請求項10】
複数の学習用の前記深度画像の情報を取得することと、
各々が、前記学習用の深度画像における学習用の生体の対象部位の位置に関する複数の学習用特徴情報を取得することと、
前記複数の学習用の深度画像の情報と、前記複数の学習用特徴情報とを用いた学習によって、前記深度画像の情報の入力に応じて前記特徴情報を出力するモデルを前記特徴検出モデルとして作成することと、をさらに含んでいる、請求項９に記載の生体情報検出方法。
各々が、前記学習用の深度画像における学習用の生体の対象部位の位置に関する複数の学習用特徴情報を取得することと、
前記複数の学習用の深度画像の情報と、前記複数の学習用特徴情報とを用いた学習によって、前記深度画像の情報の入力に応じて前記特徴情報を出力するモデルを前記特徴検出モデルとして作成することと、をさらに含んでいる、請求項９に記載の生体情報検出方法。
【請求項11】
前記学習用の深度画像の情報に対応する学習用の生体を撮像したＲＧＢ画像の情報を取得することと、
前記ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち前記対象部位に関するＲＧＢ画素の位置を示す情報を前記学習用特徴情報として取得することと、をさらに含んでいる、請求項１０に記載の生体情報検出方法。
前記ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち前記対象部位に関するＲＧＢ画素の位置を示す情報を前記学習用特徴情報として取得することと、をさらに含んでいる、請求項１０に記載の生体情報検出方法。
【請求項12】
各前記学習用特徴情報は、学習用の生体における複数の特徴点の位置を示す学習用位置情報を含んでおり、
前記特徴検出モデルの作成において、前記複数の学習用の深度画像の情報と、前記複数の学習用位置情報とを用いた学習によって、前記深度画像の情報の入力に応じて、生体における複数の特徴点の位置を示す位置情報を出力するモデルが前記特徴検出モデルとして作成される、請求項１０に記載の生体情報検出方法。
前記特徴検出モデルの作成において、前記複数の学習用の深度画像の情報と、前記複数の学習用位置情報とを用いた学習によって、前記深度画像の情報の入力に応じて、生体における複数の特徴点の位置を示す位置情報を出力するモデルが前記特徴検出モデルとして作成される、請求項１０に記載の生体情報検出方法。
【請求項13】
前記学習用の深度画像は、前記学習用の深度画像に対応する前記複数の特徴点がそれぞれ位置する複数の特徴画素を含んでおり、
前記学習用位置情報は、前記学習用の深度画像における前記複数の特徴画素の位置を示す画素位置情報を含んでいる、請求項１２に記載の生体情報検出方法。
前記学習用位置情報は、前記学習用の深度画像における前記複数の特徴画素の位置を示す画素位置情報を含んでいる、請求項１２に記載の生体情報検出方法。
【請求項14】
前記学習用位置情報の取得において、
前記学習用の深度画像の情報に対応する生体を撮像したＲＧＢ画像の情報が取得され、
前記ＲＧＢ画像に基づいて、前記ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち、前記学習用の深度画像の情報に対応する生体における前記複数の特徴点がそれぞれ位置する複数のＲＧＢ画素の位置が演算され、
演算された前記複数のＲＧＢ画素の位置に基づいて、前記画素位置情報が演算される、請求項１３に記載の生体情報検出方法。
前記学習用の深度画像の情報に対応する生体を撮像したＲＧＢ画像の情報が取得され、
前記ＲＧＢ画像に基づいて、前記ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち、前記学習用の深度画像の情報に対応する生体における前記複数の特徴点がそれぞれ位置する複数のＲＧＢ画素の位置が演算され、
演算された前記複数のＲＧＢ画素の位置に基づいて、前記画素位置情報が演算される、請求項１３に記載の生体情報検出方法。
【請求項15】
前記複数の特徴点の位置は、生体における互いに異なる部位の位置に対応しており、
前記学習用位置情報は、前記特徴点が示す前記部位に応じて、各前記特徴点をラベリングしたラベリング情報を含んでいる、請求項１２から１４のいずれか一項に記載の生体情報検出方法。
前記学習用位置情報は、前記特徴点が示す前記部位に応じて、各前記特徴点をラベリングしたラベリング情報を含んでいる、請求項１２から１４のいずれか一項に記載の生体情報検出方法。
【請求項16】
生体を撮像した深度画像の情報を取得することと、
生体における対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている特徴検出モデルと、取得された前記深度画像の情報とに基づいて、前記対象部位の位置を検出することと、をコンピュータに実行させる、プログラム。
生体における対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている特徴検出モデルと、取得された前記深度画像の情報とに基づいて、前記対象部位の位置を検出することと、をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体情報検出システム、生体情報検出方法、及び、プログラムに関する。
【背景技術】
【0002】
人、又は、動物のなどの生体に関する生体活動情報を非接触で検出する技術が知られている（例えば、特許文献１）。特許文献１には、生体の動きに関する信号情報を取得し、取得された信号情報に基づいて、生体活動情報を非接触で検出することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－１２７３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
生体における所望の部位の位置を検出することが考えられている。例えば、生体活動情報が非接触で検出される場合において、生体の部位の位置を検出することが検討されている。本明細書において、「生体」は、生物の全般を意味し、例えば、人、及び、動物を含んでいる。「生体情報」は、生体に関する情報を意味し、生体の位置情報、及び、生体活動情報を含んでいる。「生体活動情報」は、生体における活動に関する情報を意味し、生体の心拍、瞬き、又は、呼吸などを含んでいる。
【0005】
例えば、生体へパルス波を送信波として照射し、生体からの反射波に基づく信号情報を取得し、取得された信号情報を処理することによって生体活動情報を検出する技術が考えられている。この場合、例えば、ドップラーセンサを用いて生体からのドップラー信号を取得することによって、生体活動情報が検出され得る。
【0006】
上記生体活動情報の検出においては、生体の所望の部位が特定されれば、生体活動情報の検出精度が飛躍的に向上され得る。予め所望の部位の位置が分かっていなければ、互いに異なる位置において反射した複数の反射波の情報を取得したとしても、生体活動情報の導出に用いるべき反射波の情報が判断され難い。生体活動情報の検出前において部位の位置が分かっていたとしても、生体活動情報の導出に適した反射波の情報は、身体の動揺、及び、生体の体勢の変化などのために時間とともに変化するおそれがある。したがって、この場合も、生体における所望の部位の位置を逐次検出することが検討されている。例えば、生体の心拍の検出においては、生体の胸部の位置を検出することが検討されている。
【0007】
生体における所望の部位の検出については、検出精度の向上が求められている。ＬｉＤＡＲ（Light Detection and Ranging）による検出においては、生体全体の位置が検出されたとしても生体における所望の部位の位置は検出され難い。生体における所望の部位の位置が検出されなければ、生体活動情報の検出精度が確保され難い。したがって、生体における部位の位置の検出も含めた生体情報について、検出精度の向上が検討されている。
【0008】
本発明の一つの態様は、生体情報の検出精度が高精度に確保され得る生体情報検出システムを提供することを目的とする。本発明の別の態様は、生体情報の検出精度が高精度に確保され得る生体情報検出方法を提供することを目的とする。本発明のさらに別の態様は、生体情報の検出精度が高精度に確保され得るプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一つの態様における生体情報検出システムは、深度画像取得部と、格納部と、部位検出部とを備えている。深度画像取得部は、生体を撮像した深度画像の情報を取得する。格納部は、特徴検出モデルを格納する。特徴検出モデルは、生体における対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている。部位検出部は、深度画像取得部によって取得された深度画像の情報と特徴検出モデルとに基づいて、生体における対象部位の位置を検出する。
【0010】
上記一つの態様において、部位検出部は、深度画像の情報と特徴検出モデルとに基づいて、対象部位の位置を検出する。この場合、深度画像における深度情報も考慮して対象部位の位置が検出されるため、対象部位の位置の検出精度が向上され得る。対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている特徴検出モデルが用いられているため、深度画像の情報から対象部位の位置が検出され得る。この結果、生体における対象部位の位置の検出を含めた生体情報の検出について、検出精度が高精度に確保され得る。
【0011】
上記一つの態様において、特徴情報は、ＲＧＢ画像において、当該ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち対象部位に関するＲＧＢ画素の位置を示す情報を含んでいてもよい。ＲＧＢ画像は、深度画像の情報に対応する生体を撮像した画像であってもよい。この場合、特徴検出モデルは、対象部位に関するＲＧＢ画素の位置と深度画像の情報とを関連付けている。このため、ＲＧＢ画像の情報と深度画像の情報とに基づいて、対象部位の位置が検出される。この結果、対象部位の位置の検出精度がより向上し得る。
【0012】
上記一つの態様において、特徴情報は、生体における複数の特徴点の位置を示す位置情報を含んでいてもよい。部位検出部は、深度画像取得部によって取得された深度画像の情報と特徴検出モデルとに基づいて、深度画像取得部によって取得された深度画像の情報における複数の特徴点の位置を検出してもよい。部位検出部は、検出された複数の特徴点の位置に対応する対象部位の位置を検出してもよい。この場合、特徴検出モデルは、生体における複数の特徴点の位置を示す位置情報と深度画像の情報とを関連付けている。深度画像の情報における複数の特徴点の位置は、上記特徴検出モデルに基づいて検出される。深度画像の情報に基づいて各特徴点の位置が検出されているため、対象部位の位置の検出精度がより向上し得る。
【0013】
上記一つの態様において、生体における複数の特徴点の位置は、生体における互いに異なる部位の位置を示していてもよい。この場合、対象部位の位置の検出精度がより向上し得る。
【0014】
上記一つの態様において、対象部位は、生体の胸部又は頭部であってもよい。生体の胸部が対象部位である場合には、対象部位の検出結果を用いることによって、心拍又は呼吸などの生体活動情報の検出精度が向上し得る。生体の頭部が対象部位である場合には、対象部位の検出結果を用いることによって、瞬きなどの生体活動情報の検出精度が向上し得る。
【0015】
上記一つの態様において、生体情報検出システムは、情報取得部と、生体活動情報取得部とをさらに備えていてもよい。情報取得部は、少なくとも、部位検出部によって検出された対象部位の位置において反射した反射波を示す信号情報を取得してもよい。生体活動情報取得部は、情報取得部によって取得された信号情報に基づいて、生体活動情報を取得してもよい。この場合、対象部位の検出結果を用いることによって、生体活動情報の検出精度が向上し得る。
【0016】
上記一つの態様において、生体情報検出システムは、反射波を受信する受信部をさらに備えていてもよい。部位検出部は、深度画像情報における複数の特徴点の位置に基づいて、生体の部位と受信部との関係を示す相対情報を演算してもよい。生体活動情報取得部は、上記相対情報に基づいて生体活動情報を検出してもよい。この場合、生体活動情報の検出精度がさらに向上し得る。
【0017】
上記一つの態様において、生体情報検出システムは、モデル作成部をさらに備えてもよい。モデル作成部は、複数の学習用の深度画像の情報と、各学習用の深度画像の情報における学習用の生体の対象部位の位置に関する学習用位置情報とを用いた学習によって、深度画像の情報の入力に応じて、入力された深度画像における生体の対象部位の位置に関する特徴情報を出力するモデルを特徴検出モデルとして作成してもよい。複数の学習用の深度画像情報は、互いに異なるシーンにおいて撮像された深度画像の情報を含んでいてもよい。格納部は、モデル作成部によって作成された上記モデルを格納してもよい。この場合、深度画像の情報によって、生体の対象部位の位置に関する特徴情報がより高精度に検出され得る。この結果、対象部位の位置の検出精度がさらに向上し得る。
【0018】
本発明の別の態様における生体情報検出方法は、生体を撮像した深度画像の情報を取得することと、生体の対象部位の位置を検出することと、を含んでいる。生体の対象部位の位置は、特徴検出モデルと取得された深度画像の情報とに基づいて、検出される。特徴検出モデルは、生体における対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている。
【0019】
上記別の態様において、深度画像の情報と特徴検出モデルとに基づいて、生体の対象部位の位置が検出される。この場合、深度画像における深度情報も考慮して対象部位の位置が検出されるため、対象部位の位置の検出精度が向上され得る。対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている特徴検出モデルが用いられているため、深度画像の情報から対象部位の位置が検出され得る。生体における対象部位の位置の検出を含めた生体情報について、検出精度が高精度に確保され得る。
【0020】
上記別の態様において、生体情報検出方法は、複数の学習用の深度画像の情報を取得することと、複数の学習用位置情報を取得することと、特徴検出モデルとしてモデルを作成することと、をさらに含んでいてもよい。各学習用特徴情報は、学習用の深度画像における学習用の生体の対象部位の位置に関する情報であってもよい。特徴検出モデルとして作成されるモデルは、複数の学習用の深度画像の情報と、複数の学習用特徴情報とを用いた学習によって、深度画像の情報の入力に応じて特徴情報を出力する。この場合、深度画像の情報によって、生体の対象部位の位置に関する特徴情報がより高精度に検出され得る。この結果、対象部位の位置の検出精度がさらに向上し得る。
【0021】
上記別の態様において、生体情報検出方法は、ＲＧＢ画像を取得することと、ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち対象部位に関するＲＧＢ画素の位置を示す情報を学習用特徴情報として取得することと、をさらに含んでいてもよい。ＲＧＢ画像は、学習用の深度画像の情報に対応する学習用の生体を撮像した画像である。この場合、特徴検出モデルは、対象部位に関するＲＧＢ画素の位置と学習用の深度画像の情報とに基づいて学習される。このため、ＲＧＢ画像の情報と深度画像の情報とに基づいて、対象部位の位置が検出される。この結果、対象部位の位置の検出精度がより向上し得る。
【0022】
上記別の態様において、各学習用特徴情報は、学習用の生体における複数の特徴点の位置を示す学習用位置情報を含んでいてもよい。特徴検出モデルの作成において、複数の学習用の深度画像の情報と、複数の学習用位置情報とを用いた学習によって、深度画像の情報の入力に応じて、生体における複数の特徴点の位置を示す位置情報を出力するモデルが特徴検出モデルとして作成されてもよい。この場合、特徴検出モデルは、学習用の生体における複数の特徴点の位置を示す学習用位置情報と学習用の深度画像の情報とを用いて学習される。深度画像の情報における複数の特徴点の位置は、上記特徴検出モデルに基づいて検出される。深度画像の情報に基づいて各特徴点の位置が検出されているため、対象部位の位置の検出精度がより向上し得る。
【0023】
上記別の態様において、学習用の深度画像は、複数の特徴画素を含んでいてもよい。複数の特徴画素において、学習用の深度画像に対応する複数の特徴点がそれぞれ位置してもよい。学習用位置情報は、画素位置情報を含んでいてもよい。画素位置情報は、学習用の深度画像における複数の特徴画素の位置を示していてもよい。この場合、特徴検出モデルは、学習用の深度画像における複数の特徴画素の位置を示す画素位置情報と学習用の深度画像の情報とを用いて学習される。この場合、対象部位の検出精度がより確実に確保され得る。
【0024】
上記別の態様において、学習用位置情報の取得において、学習用の深度画像の情報に対応する生体を撮像したＲＧＢ画像の情報が取得されてもよい。ＲＧＢ画像に基づいて、ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち、学習用の深度画像の情報に対応する生体における複数の特徴点がそれぞれ位置する複数のＲＧＢ画素の位置が演算されてもよい。演算された複数のＲＧＢ画素の位置に基づいて、画素位置情報が演算されてもよい。この場合、学習用の深度画像において複数の特徴点がそれぞれ位置する複数の特徴画素が、ＲＧＢ画像に基づいて演算される。したがって、生体における複数の特徴点の位置を示す位置情報を出力するモデルがより容易に作成されると共に、当該モデルから出力される位置情報の精度が向上し得る。
【0025】
上記別の態様において、複数の特徴点の位置は、生体における互いに異なる部位の位置に対応していてもよい。学習用位置情報は、特徴点が示す部位に応じて、各特徴点をラベリングしたラベリング情報を含んでいてもよい。この場合、各特徴点が示す部位の情報が含まれているため、対象部位の位置の検出精度がより向上し得る。
【0026】
本発明のさらに別の態様におけるプログラムは、生体を撮像した深度画像の情報を取得することと、生体における複数の特徴点の位置を示す位置情報と深度画像の情報とを関連付けている特徴検出モデルと、取得された深度画像の情報とに基づいて、複数の特徴点に対応する生体の対象部位の位置を検出することと、をコンピュータに実行させる。
【発明の効果】
【0027】
本発明の一つの態様は、生体情報の検出精度が高精度に確保され得る生体情報検出システムを提供する。本発明の別の態様は、生体情報の検出精度が高精度に確保され得る生体情報検出方法を提供する。本発明のさらに別の態様は、生体情報の検出精度が高精度に確保され得るプログラムを提供する。
【図面の簡単な説明】
【0028】
【図1】本実施形態における生体情報検出システムのブロック図である。
【図2】生体活動検出システムの概略図である。
【図3】ピークグループ演算部における演算処理の一例を説明するための図である。
【図4】ピークグループ選出部における演算処理の一例を説明するための図である。
【図5】フィルタ設定部において設定された周波数フィルタによるフィルタリング処理の結果の一例を示す図である。
【図6】生体活動検出システムのブロック図である。
【図7】生体活動検出システムと生体部位検出システムとの関係を説明するための図である。
【図8】深度画像の一例を示す図である。
【図9】（ａ）は深度画像における特徴点の位置を示す図であり、（ｂ）は深度画像におけるアフィニティフィールドの位置を示す図であり、（ｃ）は深度画像における検出部位の位置を示す図である。
【図10】特徴点と生体の対象部位との関係を説明するための図である。
【図11】（ａ）はＲＧＢ画像における特徴点の位置を示す図であり、（ｂ）はＲＧＢ画像におけるアフィニティフィールドの位置を示す図であり、（ｃ）はＲＧＢ画像における検出部位の位置を示す図である。
【図12】生体情報検出システムの信号処理部のハードウェア構成の一例を示す図である。
【図13】特徴検出モデルの作成方法の一例を示すフローチャートである。
【図14】生体情報検出方法の一例を示すフローチャートである。
【図15】生体情報導出処理の一例を示すフローチャートである。
【図16】本実施形態における生体情報検出方法による検証結果を示す図である。
【図17】（ａ）及び（ｂ）は、比較例における生体情報検出方法による検証結果を示す図である。
【図18】（ａ）及び（ｂ）は、比較例における生体情報検出方法による検証結果を示す図である。
【発明を実施するための形態】
【0029】
以下、図面を参照しつつ本発明における生体情報検出システムの実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。まず、図１から図１１（ｃ）を参照して、本発明の実施形態における生体情報検出システムの概略構成について説明する。図１は、本実施形態における生体情報検出システムのブロック図である。図２は、生体活動検出システムの概略図である。
【0030】
生体情報検出システム１は、生体活動検出システム２と、生体部位検出システム３とを備えている。生体部位検出システム３は、生体における所定の部位を検出する。以下、生体部位検出システム３によって検出する部位を「対象部位」という。生体活動検出システム２は、生体部位検出システム３によって検出される対象部位からの情報に基づいて、生体に関する生体活動情報を非接触で検出する。生体活動検出システム２は、例えば、生体部位検出システム３によって検出された対象部位の方位から受信した信号波に基づいて、生体活動情報を検出する。
【0031】
「生体活動情報」は、生体において周期的に繰り返される動作の情報であり、例えば、心拍、瞬き、及び、呼吸の情報を含んでいる。生体活動検出システム２は、電磁波又は音波などを生体に向けて照射し、生体からの複数の反射波に関する情報を取得する。電磁波は、可視光を含んでいてもよい。「反射波に関する情報」とは、反射波の位相変化を示す情報である。換言すれば、「反射波に関する情報」とは、反射波の振幅の時間変化を示す情報である。生体活動検出システム２は、取得された複数の反射波に関する情報に基づいて、複数の反射波によるダイバーシチ効果を利用して、生体活動情報を検出する。
【0032】
生体活動検出システム２は、複数の反射波に関する情報に基づいて生体活動情報の時間変化の周期を示す複数のピークを推定することによって、生体活動情報を検出する。「生体活動情報の時間変化の周期」とは、例えば、生体の動作の周期である。例えば、生体活動情報として、心拍の周期、瞬きの周期、又は、呼吸の周期などの生体の動作の周期が検出される。
【0033】
次に、図１から図５を参照して、生体活動検出システム２の構成の一例について詳細に説明する。生体活動検出システム２は、信号制御部５と、信号処理部７とを含んでいる。図２に示されているように、信号制御部５は、ビームフォーミングを行う。信号制御部５は、電磁波又は音波などの送信波Ｔを生体Ｍに向けて照射し、生体Ｍからの反射波Ｒに関する情報を取得する。信号制御部５は、互いに異なる複数の反射波Ｒに関する情報を取得する。
【0034】
信号制御部５は、センシングデバイス１０を含んでいる。信号制御部５は、センシングデバイス１０として、例えば、ドップラーレーダーを含んでいる。ドップラーレーダーは、例えば、ＭＩＭＯドップラーレーダーである。この場合、信号制御部５は、ドップラー効果によって生じる周波数シフトを観測することによって、生体活動情報を検出する。センシングデバイス１０は、信号送信部１１と少なくとも１つの信号受信部１２とを含んでいる。ドップラーレーダーは、信号波を対象物に向かって送信し、ドップラーレーダーから対象物までの距離に応じた信号波の位相変化を取得する。上記対象物は、検出する対象の生体Ｍを含んでいる。本実施形態の変形例として、センシングデバイス１０は、例えば、周波数変調連続波（ＦＭＣＷ：Frequency Modulated Continuous Wave radar）レーダーであってもよい。
【0035】
信号送信部１１は、送信波Ｔを発振する。送信波Ｔは、例えば、無変調連続波（ＣＷ：Continuous Wave）である。図２に示されているように、信号送信部１１は、ソース２１と、パワーアンプ２２と、送信アンテナ２３とを含んでいる。ソース２１は、送信アンテナ２３から送信される送信波Ｔの信号を生成する。ソース２１は、送信波Ｔの信号を生成する発信源である。パワーアンプ２２は、ソース２１において生成された信号を増幅する。送信アンテナ２３は、パワーアンプ２２からの信号を送信波Ｔに変換し、生体Ｍに向けて送信する。
【0036】
信号受信部１２は、送信波Ｔの反射波Ｒを受信する。信号受信部１２は、生体Ｍからの反射波Ｒを受信する。反射波Ｒは、生体Ｍの生体活動情報に応じて変調されている。信号受信部１２は、受信アンテナ３１と、調整器３２と、ミキサー３３と、バンドパスフィルタ３４と、電圧利得制御アンプ３５と、ＡＤコンバータ３６とを含んでいる。受信アンテナ３１は、変調された反射波Ｒを信号に変換する。調整器３２は、反射波Ｒから変換された信号からのノイズ除去等の処理を行う。ミキサー３３は、ソース２１が生成した信号と、調整器３２から出力された信号をミキシングする。バンドパスフィルタ３４は、ミキサー３３において生成された信号からノイズを除去する。電圧利得制御アンプ３５は、バンドパスフィルタ３４から出力された信号を増幅する。ＡＤコンバータ３６は、電圧利得制御アンプ３５から出力された信号をアナログ信号からデジタル信号に変換する。この結果、信号受信部１２から受信信号の情報を含むデジタル信号が出力される。信号受信部１２は、デジタル信号に変換した信号を信号処理部７に出力する。
【0037】
信号制御部５の信号送信部１１は、所定の範囲の空間に送信波Ｔを送信する。送信波Ｔが送信される範囲は、少なくとも、生体の対象部位を含んでいる。例えば、信号送信部１１は、信号制御部５のうち送信波Ｔが発信される部分を原点として、上下方向において所定の角度の方位に送信波Ｔを送信する。本実施形態において、信号送信部１１は、信号制御部５の送信アンテナ２３を原点として、上下方向において＋６０°から－６０°の範囲の方位に送信波Ｔを送信する。上方向及び下方向は、いずれも鉛直方向と平行な方向である。
【0038】
信号送信部１１は、同様に、送信アンテナ２３を原点として、左右方向において所定の角度の方位に送信波Ｔを送信する。左方向及び右方向は、いずれも鉛直方向と直交する方向であり、送信波Ｔの伝搬方向と交差する方向である。例えば、送信波Ｔは、例えば、所定の範囲の空間に伝搬する１つの信号波である。信号送信部１１は、互いに異なる角度又は互いに異なる時間において、それぞれ独立して複数の信号波を送信してもよい。この場合、複数の信号波の各々が、上記所定の範囲内の互いに異なる範囲に送信されてもよい。
【0039】
信号受信部１２は、複数の反射波Ｒを受信する。複数の反射波Ｒは、例えば、互いに異なる経路によって信号受信部１２に到達する受信波を意味する。例えば、複数の反射波Ｒは、互いに異なる実空間位置において反射している。以下、「実空間位置」を単に「位置」ともいう。複数の反射波Ｒは、例えば、互いに異なる方位から信号受信部１２に到達する。換言すれば、複数の反射波Ｒは、信号受信部１２の受信アンテナ３１に対する入射角がそれぞれ異なる。信号受信部１２は、所定の範囲の空間から受信アンテナ３１に到達する複数の反射波Ｒを受信する。信号受信部１２は、少なくとも、生体の対象部位からの反射波Ｒを受信する。
【0040】
例えば、信号受信部１２は、基準点を原点として、上下方向において所定の角度の方位からの反射波Ｒを受信する。基準点は、例えば、複数の受信アンテナ３１の重心である。本実施形態において、信号受信部１２は、基準点を原点として、上下方向において＋６０°から－６０°の範囲の方位からの反射波Ｒを受信する。換言すれば、信号受信部１２は、受信アンテナ３１に対する入射角が上下方向においても＋６０°から－６０°の範囲の反射波Ｒを受信する。
【0041】
各反射波Ｒは、例えば、互いに異なる複数の受信アンテナ３１によって受信される。例えば、信号送信部１１が互いに異なる周波数を有する複数の送信波Ｔを発振する場合、信号送信部１１が互いに異なる時間に複数の送信波Ｔを発振する場合、及び、信号送信部１１が互いに異なる位置に複数の送信波Ｔを発振する場合などには、複数の反射波Ｒは、１つの受信アンテナ３１によって受信されてもよい。例えば、反射波Ｒは、生体Ｍの心拍、瞬き、又は、呼吸に起因する胸壁の変動ｘ（ｔ）に応じて変調されている。以下、一例として、ドップラーレーダーによって生体Ｍの心拍を検出する場合を主として説明する。
【0042】
信号処理部７は、信号受信部１２から取得された信号に基づいて、生体活動情報を示す情報を取得する。信号処理部７は、例えば、信号受信部１２において取得されたドップラー信号を処理し、生体Ｍの生体活動情報を示す情報を生成する。図１に示されているように、信号処理部７は、情報取得部４１と、生体活動情報導出部４２とを備えている。情報取得部４１は、信号受信部１２から出力された情報を取得する。生体活動情報導出部４２は、情報取得部４１において取得された情報に基づいて、生体活動情報を導出する。
【0043】
例えば、情報取得部４１は、信号受信部１２から取得した情報に対して各種処理を行うことによって、検出対象の生体活動情報に対応する周波数成分に応じた信号を生成し、生成された信号の情報（以下、「信号情報」ともいう）を取得する。情報取得部４１は、例えば、信号受信部１２から出力された情報に基づいて、複数の信号情報を取得し出力する。複数の信号情報の各々は、生体Ｍからの互いに異なる反射波Ｒを示している。情報取得部４１は、例えば、複数の信号受信部１２の受信アンテナ３１から取得された信号に基づいて、信号処理によって、互いに異なる部位に対応する複数の信号情報を抽出する。情報取得部４１は、少なくとも、対象部位の位置において反射した反射波Ｒを示す信号情報を取得する。
【0044】
複数の信号情報の各々は、時間領域において複数のピークを有する情報である。本明細書において、「時間領域」とは、信号情報の強度の時間変化について、強度と時間とをそれぞれ互いに直交する軸方向に示した状態をいう。本実施形態の変形例として、情報取得部４１は、信号受信部１２から出力された情報をそのまま出力してもよい。本実施形態において、情報取得部４１は、受信情報取得部５１と、第一フィルタ部５２と、フーリエ変換部５３と、積分部５４と、第二フィルタ部５５とを含んでいる。
【0045】
受信情報取得部５１は、信号受信部１２から出力された情報を取得する。受信情報取得部５１は、例えば、信号受信部１２において受信した反射波Ｒに関するドップラー信号を取得する。取得されたドップラー信号は、送信波Ｔを生成する信号と、反射波Ｒから生成された信号との間における周波数シフトを表す。取得されたドップラー信号は、例えば、Ｉ／Ｑ信号によって構成されている。Ｉ信号は、送信波Ｔを生成する信号の位相と同一の位相である同相（In-phase）成分を有している信号である。Ｑ信号は、送信波Ｔを生成する信号の位相に対して直交する直交位相（Quadrature）成分を有している信号である。
【0046】
受信情報取得部５１は、互いに異なる位置において反射した複数の反射波Ｒをそれぞれ示す複数の信号の信号情報を取得する。信号情報は、反射波Ｒの位相変化に関する情報を含んでいる。以下、「反射波Ｒを示す信号の信号情報」を「反射波Ｒに対応する信号情報」という。受信情報取得部５１は、例えば、上述した基準点を原点として、上下左右方向において所定の範囲の方位からの反射波Ｒに対応する複数の信号情報を取得する。受信情報取得部５１は、少なくとも、生体部位検出システム３によって検出された生体の対象部位からの反射波Ｒに対応する信号情報を取得する。受信情報取得部５１は、例えば、基準点を原点として、上下方向において＋６０°から－６０°の範囲の方位からの反射波Ｒに対応する信号情報を取得する。受信情報取得部５１は、例えば、基準点から所定距離の範囲からの反射波Ｒに対応する複数の信号情報を取得する。
【0047】
第一フィルタ部５２は、受信情報取得部５１において取得された情報に対して、フィルタリング処理を行う。第一フィルタ部５２は、例えば、受信情報取得部５１において取得されたドップラー信号に対して、フィルタリング処理を行う。例えば、第一フィルタ部５２は、ドップラー信号からノイズ成分を除去するバンドパスフィルタを含んでいる。第一フィルタ部５２は、ドップラー信号に対して、バンドパスフィルタを用いてノイズ成分を除去する。このバンドパスフィルタの通過帯域は、検出する生体活動情報に応じて決定される。例えば、生体活動検出システム２が心拍を検出する場合には、上記バンドパスフィルタの通過帯域は、５．０Ｈｚ以上３０Ｈｚ以下に設定される。
【0048】
フーリエ変換部５３は、入力された情報に対して短時間フーリエ変換（STFT：Short-Time Fourier Transform）を行う。本明細書において、「短時間フーリエ変換」とは、入力された情報から複数の時間区分の情報を作成し、時間区分毎にフーリエ変換を行うことをいう。例えば、短時間フーリエ変換において、入力された情報に窓関数をずらしながら掛けることによって、複数の時間区分の情報が作成される。この結果、フーリエ変換部５３は、短時間フーリエ変換によって、時間区分毎に、入力された情報を時間領域から周波数領域に変換する。各時間区分は、例えば、互いに同一の時間幅を有している。例えば、短時間フーリエ変換において、ウィンドウサイズは５１２ｍｓであり、ステップサイズは１０ｍｓである。
【0049】
フーリエ変換部５３は、受信情報取得部５１及び第一フィルタ部５２を介して、信号受信部１２から入力された情報に対して短時間フーリエ変換を行う。フーリエ変換部５３は、受信情報取得部５１において取得された複数の信号情報ごとに短時間フーリエ変換を行う。例えば、フーリエ変換部５３は、互いに異なる位置において反射した複数の反射波Ｒの各々の位相変化情報に対して短時間フーリエ変換を行う。フーリエ変換部５３は、例えば、基準点を原点として、上下左右方向において所定の範囲の方位からの反射波Ｒに対応する複数の信号情報に対して短時間フーリエ変換を行う。複数の信号情報に対して短時間フーリエ変換を行う。フーリエ変換部５３は、例えば、基準点から＋６０°から－６０°の範囲の方位及び基準点から０ｍ～５ｍの範囲からの反射波Ｒに対応する複数の信号情報に対して短時間フーリエ変換を行う。
【0050】
フーリエ変換部５３は、入力された情報に対して短時間フーリエ変換を行うことによって、時間区分毎に、各周波数のパワーを示す情報を演算し、出力する。フーリエ変換部５３は、入力された情報に対して短時間フーリエ変換を行うことによって、スペクトログラムを作成し、出力する。スペクトログラムは、時間区分毎に周波数スペクトルを示す。
【0051】
フーリエ変換部５３は、例えば、受信情報取得部５１において取得された複数の信号情報の各々に対して、スペクトログラムを作成する。換言すれば、フーリエ変換部５３は、互いに異なる位置において反射した複数の反射波Ｒのそれぞれに対して、スペクトログラムを作成する。
【0052】
積分部５４は、入力された情報に対して、時間区分毎に予め設定された周波数範囲においてスペクトル積分を行い、出力する。積分部５４は、例えば、入力された情報から複数の時間区分の情報を作成し、時間区分毎にスペクトル積分を行う。例えば、入力された情報に窓関数をずらしながら掛けることによって複数の時間区分の情報が作成される。積分部５４は、例えば、入力された情報を複数の時間区分に分割し、分割された時間区分毎にスペクトル積分を行う。「スペクトル積分」とは、周波数スペクトルの周波数積分である。換言すれば、スペクトル積分とは、周波数領域における周波数方向の積分である。
【0053】
積分部５４は、例えば、フーリエ変換部５３から出力された情報に対して、時間区分毎に予め設定された周波数範囲においてスペクトル積分を行う。スペクトル積分を行う周波数範囲は、例えば、第一フィルタ部５２におけるフィルタリング処理の通過帯域に対応している。スペクトル積分を行う周波数範囲は、例えば、５．０Ｈｚ以上３０Ｈｚ以下である。積分部５４は、例えば、フーリエ変換部５３から出力された情報に対して、フーリエ変換部５３において設定された時間区分毎にスペクトル積分を行う。
【0054】
第二フィルタ部５５は、積分部５４から出力された情報に対して、フィルタリング処理を行う。例えば、第二フィルタ部５５は、積分部５４から出力された情報からノイズ成分を除去するバンドパスフィルタを含んでいる。このバンドパスフィルタのカットオフ周波数は、検出する生体活動情報に応じて決定される。平常時の人の心拍は、例えば、４０ｂｐｍ（beat per minute）～１２０ｂｐｍ程度である。この場合、人の心拍の周波数は、０．８～２．０Ｈｚ程度である。このため、例えば、生体活動検出システム２が心拍を検出する場合には、上記バンドパスフィルタの通過帯域は、０．８Ｈｚ以上２．０Ｈｚ以下に設定される。
【0055】
生体活動情報導出部４２は、仮ピーク検出部６１と、ピークグループ演算部６２と、ピークグループ選出部６３と、ピーク間隔演算部６４と、フィルタ設定部６５と、情報演算部６６と、生体活動情報取得部６７と、格納部６８とを含んでいる。例えば、情報取得部４１は、第二フィルタ部５５から出力された情報を、信号情報として、生体活動情報導出部４２に出力する。第二フィルタ部５５から出力された情報は、例えば、信号情報として、仮ピーク検出部６１及び情報演算部６６に入力される。情報取得部４１は、例えば、複数の信号情報を、第二フィルタ部５５から仮ピーク検出部６１及び情報演算部６６に出力する。第二フィルタ部５５から出力された情報は、積分部５４から出力された情報に対応する。したがって、情報取得部４１から出力される各信号情報は、反射波Ｒに対応する情報に短時間フーリエ変換を行った情報に対して、時間区分毎にスペクトル積分を行った情報である。情報取得部４１は、第二フィルタ部５５を含まず、積分部５４から出力される情報を、信号情報として、仮ピーク検出部６１及び情報演算部６６に出力してもよい。仮ピーク検出部６１に出力される信号情報と、情報演算部６６に出力される信号情報とは、異なっていてもよい。
【0056】
仮ピーク検出部６１は、第二フィルタ部５５から入力された複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３の各々について、図３に示されている複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３を検出する。少なくとも信号情報Ｂ０は、生体部位検出システム３によって検出された対象部位からの信号波に対応する信号情報である。仮ピーク検出部６１は、情報取得部４１において取得された全ての信号情報を用いなくてもよい。仮ピーク検出部６１において検出される複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３は、生体活動情報の時間変化の周期を示すピークを推定するのに用いられる仮のピークである。仮ピーク検出部６１は、例えば、信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３のそれぞれにおいて、時間方向における複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の位置を取得する。「時間方向」とは、時間領域における時間軸方向を意味する。例えば、仮ピーク検出部６１は、信号情報Ｂ０において、時間方向における複数の仮ピークＰＥ０の位置を取得し、信号情報Ｂ１において、時間方向における複数の仮ピークＰＥ１の位置を取得する。「時間方向におけるピークの位置」とは、ピークが発生した時間を意味する。以下、「時間方向における位置」を単に「位置」ともいう。
【0057】
ピークグループ演算部６２は、仮ピーク検出部６１において検出された各仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の位置に基づいて、複数のピークグループＧＲを設定する。各ピークグループＧＲは、複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の少なくとも１つを含んでいる。ピークグループ演算部６２は、例えば、複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３に含まれる複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３から、各ピークグループＧＲを構成する少なくとも１つの仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３を特定する。
【0058】
ピークグループ演算部６２は、例えば、複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３のうち基準となる基準信号情報を決定する。基準信号情報は、例えば、信号情報Ｂ０である。ピークグループ演算部６２は、例えば、基準信号情報に含まれる複数の仮ピークＰＥ０の各々から所定の時間範囲Ｗ内にある少なくとも１つの仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３を、各ピークグループＧＲを構成するピークとして特定する。この時間範囲Ｗは、例えば、仮ピークＰＥ０から±０．０５秒である。
【0059】
ピークグループ演算部６２は、複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３における複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の位置に基づいて、各ピークグループＧＲの時間方向における位置Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８を演算する。ピークグループ演算部６２は、例えば、各ピークグループＧＲに含まれる仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３に基づいて、各ピークグループＧＲの位置Ｐ１～Ｐ８を演算する。ピークグループ演算部６２は、ピークグループＧＲ毎に、ピークグループＧＲに含まれる少なくとも１つの仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の時間方向における位置の平均をピークグループＧＲの位置Ｐ１～Ｐ８として演算する。本明細書において、「平均」は、相加平均に限定されず、例えば、加重平均なども含んでいる。
【0060】
ピークグループ選出部６３は、各ピークグループＧＲの位置に基づいて、複数のピークグループＧＲから複数の代表ピークグループを選出する。「代表ピークグループ」は、ピークグループ選出部６３によって選出される複数のピークグループＧＲである。代表ピークグループは、ピークグループ演算部６２において設定された複数のピークグループＧＲの一部であってもよいし、全てであってもよい。「複数の代表ピークグループの選出」は、代表ピークグループ自体の選出と、代表ピークグループの時間方向における位置の選出との少なくとも一方を含んでいる。代表ピークグループは、生体Ｍの動作の周期に対して尤もらしい間隔で時間方向に位置するピークグループＧＲである。ピークグループ選出部６３は、複数のピークグループＧＲのうち、生体Ｍの動作の周期に対して尤もらしい間隔で時間方向に位置するピークグループＧＲの組み合わせを、複数の代表ピークグループとして選出する。生体Ｍの動作は、例えば、心拍である。
【0061】
ピークグループ選出部６３は、例えば、ビタビアルゴリズム（Viterbi Algorithm）を用いて、尤もらしい間隔で時間方向に位置するピークグループＧＲの組み合わせを特定し、特定された組み合わせに含まれるピークグループＧＲを複数の代表ピークグループとして選出する。ビタビアルゴリズムは、複数の系列から最も確からしい系列を選択する最尤推定法の１つである。「最も確からしい」と「尤もらしい」とは、同一の意味である。
【0062】
ピークグループ選出部６３は、ビタビアルゴリズムにおいて、隣接ＲＲＩ（R-R interval）に基づいてブランチメトリックを演算する。「ＲＲＩ」は、ノードの間隔である。本実施形態において、ノードは、図４に示されているように、各ピークグループＧＲの位置Ｐ１～Ｐ８を含んでいる。図４において、ピークグループＧＲの位置として、位置Ｐ１～Ｐ８に加えて、位置Ｐ１７～Ｐ１９が示されている。「メトリック」は、系列内の状態の確からしさを示す指標である。「ブランチメトリック」とは、各状態間の確からしさを示す指標である。例えば、ブランチメトリックは、隣接ＲＲＩに基づいて演算される。ブランチメトリックは、例えば、隣接ＲＲＩの差の二乗である。本実施形態において、隣接ＲＲＩの差は、平均ゼロの正規分布に従うことが確認されている。
【0063】
ピークグループ選出部６３は、ビタビアルゴリズムによって、ピークグループＧＲの位置Ｐ１～Ｐ１９において、パスメトリックが最小又は最大となるピークグループＧＲの組み合わせを特定する。「パスメトリック」とは、系列におけるブランチメトリックの累積である。パスメトリックが最小又は最大である系列が、最も確からしい系列である。ピークグループ選出部６３は、最も確からしい系列に含まれる各ノードを、代表ピークグループ、又は、代表ピークグループの位置として特定する。本実施形態において、ノード間を連結する線のうち太線によって接続されるノードの系列が、最も確からしい系列として特定された系列である。換言すれば、図４に示されている例において、位置Ｐ１，Ｐ２，Ｐ４・・・Ｐ１９に位置するピークグループＧＲが代表ピークグループとして選出される。
【0064】
ピーク間隔演算部６４は、時間方向における複数の代表ピークグループの間隔を示す代表ピークグループ間隔を演算する。図４に示されている例において、位置Ｐ１と位置Ｐ２との差、位置Ｐ２と位置Ｐ４との差が、各代表ピークグループの間隔である。ピーク間隔演算部６４は、複数の代表ピークグループ間隔の平均を代表ピークグループ間隔として出力する。
【0065】
フィルタ設定部６５は、情報取得部４１において取得された複数の信号情報に基づいて、周波数フィルタを設定する。フィルタ設定部６５は、複数の信号情報の複数の仮ピークの時間方向における位置に基づいて、周波数フィルタを設定する。周波数フィルタは、信号情報からフィルタリング処理によって所望の周波数成分を除去する。周波数フィルタは、例えば、バンドパスフィルタである。「周波数フィルタの設定」は、可変フィルタの帯域設定を含んでいる。以下、フィルタ設定部６５によって設定される周波数フィルタを単に「周波数フィルタ」という。
【0066】
フィルタ設定部６５は、ピークグループ演算部６２において演算された各ピークグループＧＲの時間方向における位置に基づいて、周波数フィルタを設定する。フィルタ設定部６５は、例えば、ピーク間隔演算部６４から出力された代表ピークグループ間隔に基づいて、周波数フィルタを設定する。フィルタ設定部６５は、各ピークグループＧＲの位置に基づいて演算される中心周波数を有するように周波数フィルタを設定する。例えば、フィルタ設定部６５は、ピーク間隔演算部６４から出力された代表ピークグループの間隔の逆数を中心周波数とするように周波数フィルタを設定する。
【0067】
情報演算部６６は、情報取得部４１から出力された信号情報に基づいて、例えば、複数の信号情報の組み合わせを演算し、出力する。例えば、情報演算部６６は、情報取得部４１において取得された全ての信号情報を用いなくてもよい。情報演算部６６は、情報取得部４１において取得された複数の信号情報のうち少なくとも２つを組み合わせる。信号情報の組み合わせは、例えば、複数の信号情報の平均である。この場合、情報演算部６６は、情報取得部４１において取得された複数の信号情報のうち少なくとも２つを平均する。本実施形態の変形例として、信号情報の組み合わせは、複数の信号情報の和などの複数の信号情報の合成であってもよい。
【0068】
情報演算部６６には、例えば、複数の反射波Ｒが反射した位置のうち、検出対象の生体活動情報に対応する皮膚変動が最も大きい位置において反射した反射波Ｒに対応する信号情報が入力される。情報演算部６６には、生体部位検出システム３によって検出された対象部位からの反射波Ｒに対応する情報が入力される。本実施形態において、情報演算部６６には、情報取得部４１において取得された複数の信号情報のうち、一部の信号情報が入力される。例えば、情報演算部６６は、複数の反射波Ｒに対応する複数の信号情報を取得し、これらの信号情報を平均する。本実施形態の変形例として、情報演算部６６に１つの信号情報が入力されてもよい。この場合、情報演算部６６は、入力された信号情報をそのまま出力する。
【0069】
生体活動情報取得部６７は、情報取得部４１によって取得された信号情報に基づいて、生体活動情報を取得する。生体活動情報取得部６７は、複数の信号情報の少なくとも１つに基づく情報に対して、周波数フィルタを用いてフィルタリング処理を行うことによって、生体Ｍの生体活動情報を取得する。生体活動情報取得部６７は、生体部位検出システム３によって検出された対象部位からの反射波Ｒに対応する信号情報に基づいて、生体活動情報を取得する。本実施形態の変形例として、生体活動情報取得部６７は、生体部位検出システム３によって互いに異なる対象部位が検出された場合、検出された複数の対象部位からの反射波Ｒに対応する信号情報に基づいて、複数の生体の生体活動情報が取得されてもよい。この場合、生体活動情報取得部６７は、反射波Ｒに対応する信号情報ごとに生体活動情報を取得してもよい。
【0070】
図５は、周波数フィルタによるフィルタリング処理の結果の一例を示す図である。生体活動情報取得部６７は、例えば、周波数フィルタによるフィルタリング処理の結果から、生体活動情報の時間変化の周期を示すピークを取得する。生体活動情報取得部６７は、例えば、周波数フィルタによるフィルタリング処理の結果から、取得されたピークの数及びピーク間隔を生体活動情報として取得する。例えば、生体活動情報取得部６７は、周波数フィルタによるフィルタリング処理の結果から、取得されたピークの数及びピーク間隔を、心拍数、及び、心拍間隔として取得してもよい。生体活動情報取得部６７は、フィルタリング処理の結果をそのまま生体活動情報として出力してもよい。生体活動情報取得部６７は、取得された生体活動情報を格納部６８に出力する。生体活動情報取得部６７は、取得された生体活動情報を、生体情報検出システム１の外部に出力してもよい。
【0071】
生体活動情報取得部６７においてフィルタリング処理が行われる、複数の信号情報の少なくとも１つに基づく情報は、例えば、情報演算部６６から出力された情報である。本実施形態の変形例として、生体活動情報取得部６７は、情報演算部６６を介さずに、情報取得部４１から直接的に信号情報を取得してもよい。生体活動情報取得部６７においてフィルタリング処理が行われる、複数の信号情報の少なくとも１つに基づく情報は、例えば、複数の反射波Ｒが反射した位置のうち、検出対象の生体活動情報に対応する皮膚変動が最も大きい位置において反射した反射波Ｒに対応する信号情報に基づいている。生体活動情報取得部６７においてフィルタリング処理が行われる、複数の信号情報の少なくとも１つに基づく情報は、例えば、生体部位検出システム３によって検出された対象部位からの反射波Ｒに対応する信号情報に基づいている。
【0072】
格納部６８は、各機能部に用いられる情報を予め格納している。格納部６８は、各機能部からの出力を格納する。格納部６８は、例えば、情報取得部４１において取得された情報を格納する。格納部６８は、例えば、フーリエ変換部５３、積分部５４、ピークグループ演算部６２、ピークグループ選出部６３、ピーク間隔演算部６４、及び、情報演算部６６などにおける演算結果を格納する。格納部６８は、例えば、周波数フィルタの帯域情報を格納する。格納部６８は、生体活動情報取得部６７において取得された生体活動情報を格納する。
【0073】
次に、図６から図１１（ｃ）を参照して、生体部位検出システム３の構成について詳細に説明する。図６は、生体部位検出システムのブロック図である。図７は、生体活動検出システムと生体部位検出システムとの関係を説明するための図である。生体部位検出システム３は、例えば、撮像システム７０を含んでいる。図７に示されているように、生体活動検出システム２のセンシングデバイス１０と生体部位検出システム３の撮像システム７０とは、互いに隣り合って配置される。センシングデバイス１０が信号波を送受信する範囲α１と撮像システム７０の撮像範囲α２とは、重複している。例えば、センシングデバイス１０の信号受信部１２と撮像システム７０の撮像部とは、同じ方位角、及び、同じ傾きを有している。
【0074】
撮像システム７０は、深度画像を撮像する撮像装置とＲＧＢ画像を取得する撮像装置との少なくとも１つを含んでいる。撮像システム７０は、例えば、深度画像を撮像する撮像装置として、Ｌｉｄａｒを含んでいる。撮像システム７０は、例えば、ＲＧＢ画像を撮像する撮像装置として、カラーカメラを含んでいる。撮像システム７０は、例えば、３０ｆｐｓで深度画像を撮像する。撮像システム７０は、例えば、３０ｆｐｓでＲＧＢ画像を撮像する。
【0075】
生体部位検出システム３は、深度画像に基づいて、生体における所定の部位を検出する。生体部位検出システム３によって検出される対象部位は、生体活動検出システム２が検出する生体活動情報に関する部位である。対象部位は、例えば、生体Ｍの胸部である。本実施形態の変形例として、対象部位は、生体Ｍの頭部である。生体情報検出システム１が生体Ｍの心拍を検出する場合には、対象部位は生体Ｍの胸部である。例えば、生体情報検出システム１が生体Ｍの瞬きを検出する場合には、対象部位は生体Ｍの頭部である。対象部位は、生体情報検出システム１によって検出する生体活動情報に応じて、胸部又は頭部以外に設定されてもよい。
【0076】
生体活動検出システム２は、生体部位検出システム３によって検出された対象部位からの信号波に基づいて、生体活動情報を検出する。対象部位からの信号波は、例えば、対象部位において反射した反射波Ｒである。生体活動検出システム２は、例えば、生体部位検出システム３によって検出された対象部位の方位から受信した反射波Ｒに基づいて、生体活動情報を検出する。
【0077】
生体部位検出システム３は、深度画像と特徴検出モデルとに基づいて、生体Ｍにおける対象部位を検出する。例えば、特徴検出モデルは、機械学習によって学習された学習モデルである。本実施形態において、生体部位検出システム３は、機械学習によって特徴検出モデルを作成する学習フェーズと、生体における対象部位を特定する推定フェーズとを実行する。生体部位検出システム３は、学習フェーズにおいて作成された特徴検出モデルに基づいて、推定フェーズを実行する。生体部位検出システム３は、推定フェーズにおいて取得された情報に基づいて、さらに学習フェーズを実行してもよい。
【0078】
機械学習とは、与えられた情報に基づいて反復的に学習することで法則又はルールを自律的に見つけ出す手法である。たとえば、生体部位検出システム３において行われる機械学習では、学習データセットを用いた学習によって、活性化関数、重み付け値等のモデルのパラメータが最適化される。これによって、特徴検出モデルが作成される。
【0079】
生体部位検出システム３において行われる機械学習は、ディープラーニングである。この機械学習は、多層パーセプトロン（ＭＬＰ：Multilayer perceptron）によって構成される教師あり学習である。生体部位検出システム３は、ニューラルネットワークを含むように構成される機械学習を用いる。生体部位検出システム３において行われる機械学習は、教師あり学習に限定されない。生体部位検出システム３において行われる機械学習は、ランダムフォレスト、サポートベクトルマシン、ニューラルネットワーク（ＮＮ）、ディープニューラルネットワーク（ＤＮＮ）などを含むように構成されてもよい。ニューラルネットワークとは、人間の脳神経系の仕組みを模した情報処理モデルをいう。
【0080】
生体部位検出システム３は、推定フェーズにおいて動作する推定部８０と学習フェーズにおいて動作する学習部９０とを備えている。推定部８０は、特徴検出モデルを用いて、生体の部位を検出する。学習部９０は、特徴検出モデルの学習を行う。生体部位検出システム３は、推定部８０として、深度画像取得部８１と、格納部８２と、部位検出部８３と、出力部８４とを備えている。生体部位検出システム３は、学習部９０として、深度画像取得部８１と、格納部８２と、特徴情報取得部９３と、モデル作成部９４とを備えている。本実施形態において、深度画像取得部８１と、格納部８２とは、推定部８０と学習部９０との双方に含まれている。
【0081】
本実施形態の変形例として、推定部８０と学習部９０とは互いに分離していてもよい。この場合、推定部８０と学習部９０とは、それぞれ異なる深度画像取得部８１、及び、格納部８２を備えていてもよい。推定部８０と学習部９０とは、互いに異なる撮像システム７０を含んでいてもよい。推定部８０の撮像システム７０は、ＲＧＢ画像を撮像する撮像装置を含んでいなくてもよい。
【0082】
次に、推定フェーズにおける生体部位検出システム３の各機能部について、より詳細に説明する。推定フェーズにおいては、推定部８０が動作する。推定部８０は、深度画像取得部８１と、格納部８２と、部位検出部８３と、出力部８４とによって、生体の対象部位の位置を検出し、出力する。推定部８０は、深度画像取得部８１によって深度画像を取得し、生体の対象部位の位置を推定する。
【0083】
深度画像取得部８１は、例えば、撮像システム７０の少なくとも一部を含んでいる。深度画像取得部８１は、撮像システム７０によって、生体を撮像した深度画像の情報を取得する。深度画像取得部８１は、例えば、Ｌｉｄａｒによって、生体の深度画像の情報を取得する。深度画像取得部８１は、格納部８２又は生体部位検出システム３の外部から深度画像の情報を取得してもよい。深度画像取得部８１は、例えば、深度画像の情報として、図８に示されている深度画像Ｖ１を取得する。深度画像Ｖ１は、複数の画素を含んでいる。深度画像Ｖ１の各画素は、例えば、画素が示す被写体から撮像システム７０までの距離に応じて、色相、彩度、及び、明度のいずれか又はそれらの組み合わせによって表される。図８に示されている深度画像Ｖ１は、各画素が被写体から撮像システム７０までの距離に応じた色を示す画像を、グレースケールとした画像である。
【0084】
格納部８２は、生体部位検出システム３の各種機能部において取得された各種情報を格納している。推定フェーズにおいて、格納部８２は、特徴検出モデルを格納している。格納部８２は、深度画像取得部８１によって取得された深度画像、及び、特徴情報取得部９３によって取得された特徴情報を格納してもよい。格納部８２は、部位検出部８３によって検出された対象部位の位置を格納してもよい。
【0085】
特徴検出モデルは、生体Ｍにおける対象部位の位置に関する特徴情報と、深度画像Ｖ１の情報とを関連付けている。生体Ｍの特徴情報は、各生体Ｍにおける複数の特徴点の位置を示す位置情報を含んでいる。各生体Ｍにおける複数の特徴点の位置は、例えば、当該生体Ｍにおける互いに異なる部位の位置を示している。本実施形態において、各深度画像は、深度画像に対応する複数の特徴点がそれぞれ位置する複数の特徴画素を含んでいる。
【0086】
例えば、特徴情報は、深度画像の情報に対応する生体を撮像したＲＧＢ画像において、ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち対象部位に関するＲＧＢ画素の位置を示す情報である。対象部位に関するＲＧＢ画素の位置を示す情報は、例えば、各生体Ｍにおける上記複数の特徴点が位置するＲＧＢ画素の位置を示す情報である。
【0087】
特徴検出モデルは、モデル作成部９４において作成される。特徴検出モデルは、深度画像Ｖ１の情報の入力に応じて、入力された深度画像Ｖ１における生体Ｍの対象部位の位置に関する特徴情報を出力する。例えば、特徴検出モデルは、深度画像Ｖ１の情報の入力に応じて、入力された深度画像Ｖ１における複数の特徴点の位置を示す位置情報を出力する。例えば、特徴検出モデルは、複数の学習用の深度画像の情報と、各学習用の深度画像における生体Ｍの対象部位の位置に関する特徴情報を示す学習用特徴情報とを用いて学習されている。例えば、特徴検出モデルは、ＲＧＢ画像から特徴情報を検出する既存の学習モデルの転位学習によって作成されている。
【0088】
部位検出部８３は、深度画像取得部８１によって取得された深度画像Ｖ１の情報と特徴検出モデルとに基づいて、生体Ｍの対象部位の位置を検出する。部位検出部８３によって検出される対象部位の位置は、特徴検出モデルから出力された位置情報における複数の特徴点に対応している。例えば、部位検出部８３は、深度画像Ｖ１と特徴検出モデルとに基づいて、深度画像取得部８１によって取得された深度画像Ｖ１の情報における複数の特徴点の位置を検出し、検出された複数の特徴点の位置に対応する対象部位の位置を検出する。
【0089】
部位検出部８３は、深度画像Ｖ１の情報における複数の特徴点の位置に基づいて、対象部位の位置を示す位置情報を検出する。部位検出部８３は、深度画像取得部８１によって取得された深度画像Ｖ１の情報と特徴検出モデルとに基づいて、生体Ｍの部位と信号受信部１２との位置関係を示す相対情報を演算する。例えば、部位検出部８３は、深度画像Ｖ１の情報における複数の特徴点の位置と、撮像システム７０と信号受信部１２との相対位置とに基づいて、生体の部位と信号受信部１２との位置関係を示す相対情報を演算する。
【0090】
生体活動検出システム２の情報取得部４１は、少なくとも、部位検出部８３によって検出された対象部位の位置において反射した反射波Ｒを示す信号情報を取得する。生体活動検出システム２の情報取得部４１は、上記相対情報に基づいて、対象部位の位置において反射した反射波Ｒを示す信号情報を取得し、生体活動情報を取得する。相対情報は、例えば、対象部位の位置において反射した反射波Ｒが信号受信部１２に入射する入射角であり、基準点に対する対象部位の方位を含んでいる。
【0091】
出力部８４は、部位検出部８３によって検出された対象部位の位置を生体部位検出システム３に出力する。出力部８４は、部位検出部８３によって検出された対象部位の位置を生体情報検出システム１の外部に出力してもよい。出力部８４は、例えば、部位検出部８３によって検出された対象部位の位置を不図示のモニタに表示する。出力部８４は、部位検出部８３によって検出された対象部位の位置を、通信ネットワークなどを介して、サーバ端末又は他の端末に出力してもよい。
【0092】
次に、図９（ａ）から図９（ｃ）、及び、図１０を参照して、部位検出部８３について、さらに詳細に説明する。部位検出部８３は、キーポイント検出部８６と、アフィニティフィールド検出部８７と、部位エリア検出部８８とを含んでいる。
【0093】
キーポイント検出部８６は、深度画像取得部８１によって取得された深度画像Ｖ１の情報における複数の特徴点Ｈの位置を検出する。キーポイント検出部８６によって検出される各特徴点Ｈは、上記深度画像に示されている生体Ｍにおける特徴点Ｈである。キーポイント検出部８６によって検出される複数の特徴点Ｈの位置は、生体Ｍにおける互いに異なる部位の位置に対応している。
【0094】
キーポイント検出部８６は、深度画像取得部８１によって取得された深度画像Ｖ１の情報と特徴検出モデルとに基づいて、上記複数の特徴点Ｈの位置を示す位置情報を検出する。キーポイント検出部８６は、深度画像取得部８１によって取得された深度画像Ｖ１の情報を特徴検出モデルに入力し、特徴検出モデルから出力された複数の特徴点Ｈの位置を示す位置情報を取得する。
【0095】
例えば、キーポイント検出部８６は、図９（ａ）に示されているように、検出された複数の特徴点Ｈを深度画像Ｖ１の情報にプロットする。キーポイント検出部８６は、例えば、深度画像Ｖ１上に複数の特徴点Ｈがプロットされた画像Ｖ２を作成してもよい。例えば、キーポイント検出部８６によって検出された複数の特徴点の位置を示す位置情報は、深度画像Ｖ１における各特徴点Ｈの座標を含んでいる。例えば、特徴検出モデルは、深度画像Ｖ１の情報の入力に応じて、画像Ｖ２の情報を出力する。
【0096】
キーポイント検出部８６は、特徴点Ｈが示す部位に応じて、各特徴点Ｈをラベリングしたラベリング情報を作成する。ラベリング情報は、各特徴点Ｈが生体のどの部位の特徴点Ｈであるかを示す。キーポイント検出部８６が取得する位置情報は、各特徴点Ｈのラベリング情報を含んでいる。例えば、キーポイント検出部８６は、各特徴点Ｈが示す部位に応じて、深度画像Ｖ１に含まれる複数の特徴画素のうち各特徴点Ｈが示されている特徴画素をラベリングする。
【0097】
図１０に示されているように、キーポイント検出部８６は、例えば、深度画像Ｖ１に示される複数の生体Ｍに対して、生体Ｍごとに、複数の特徴点Ｈを検出する。例えば、キーポイント検出部８６は、頭部において、鼻、左目、右目、左耳、及び、右耳の部位をそれぞれ示す複数の特徴点Ｈの位置を検出し、各部位の種別を示すラベリング情報と共に格納部８２に格納する。例えば、キーポイント検出部８６は、上半身において、左肩、右肩、左肘、右肘、左手、及び、右手の部位をそれぞれ示す複数の特徴点Ｈの位置を検出し、各部位の種別を示すラベリング情報と共に格納部８２に格納する。例えば、キーポイント検出部８６は、下半身において、左尻、右尻、左膝、右膝、左足首、及び、右足首の部位をそれぞれ示す複数の特徴点Ｈの位置を検出し、各部位の種別を示すラベリング情報と共に格納部８２に格納する。
【0098】
アフィニティフィールド検出部８７は、キーポイント検出部８６によって検出された複数の特徴点Ｈの位置に基づいて、アフィニティフィールドＦを検出する。アフィニティフィールド検出部８７は、複数の特徴点Ｈのうち一対の特徴点Ｈを互いに関係付けた関係情報を取得する。例えば、アフィニティフィールドＦは、例えば、画像Ｖ２上において、互いに関係付けられた一対の特徴点Ｈを連結する線である。例えば、アフィニティフィールド検出部８７は、図９（ｂ）に示されているように、検出された複数のアフィニティフィールドＦを深度画像Ｖ１の情報にプロットする。アフィニティフィールド検出部８７は、複数の特徴点Ｈと共に、深度画像Ｖ１上に複数のアフィニティフィールドＦがプロットされた画像Ｖ３を作成してもよい。
【0099】
アフィニティフィールド検出部８７は、例えば、深度画像Ｖ１に示される複数の生体Ｍに対して、生体Ｍごとに、複数のアフィニティフィールドＦを検出する。各アフィニティフィールドＦは、生体Ｍごとに、生体Ｍにおいて互いに隣り合う特徴点Ｈを連結する。各生体Ｍにおける複数の特徴点Ｈは、検出された複数のアフィニティフィールドＦによって、直接的又は間接的に接続される。アフィニティフィールドＦは、互いに異なる生体Ｍにおける特徴点Ｈを連結しない。各生体Ｍにおける複数のアフィニティフィールドＦは、各生体Ｍの姿勢を示す。アフィニティフィールド検出部８７は、例えば、各特徴点Ｈのラベリング情報に基づいて、アフィニティフィールドＦを検出する。
【0100】
本実施形態の変形例として、アフィニティフィールド検出部８７は、例えば、特徴検出モデルと異なるモデルに基づいて、複数のアフィニティフィールドＦを検出してもよい。このモデルは、例えば、各特徴点Ｈの位置を示す位置情報の入力に応じて、一対の特徴点Ｈを互いに関係付けた関係情報を出力する。この場合、アフィニティフィールド検出部８７は、モデルから出力された関係情報に基づいて、画像Ｖ３を作成してもよい。
【0101】
本実施形態のさらなる変形例として、特徴検出モデルが、深度画像取得部８１によって取得された深度画像の情報の入力に応じて、上記複数の特徴点Ｈの位置を示す位置情報及び一対の特徴点Ｈを互いに関係付けた関係情報を出力してもよい。例えば、特徴検出モデルが、深度画像Ｖ１の入力に応じて、画像Ｖ３を出力してもよい。
【0102】
部位エリア検出部８８は、生体における複数の特徴点Ｈの位置に基づいて、生体Ｍにおける対象部位の位置を検出する。例えば、部位エリア検出部８８は、キーポイント検出部８６によって検出された複数の特徴点Ｈの位置情報に基づいて、生体Ｍにおける対象部位の位置を示す位置情報を検出する。部位エリア検出部８８は、生体Ｍにおける対象部位の位置を示すエリアＲ１を検出する。例えば、部位エリア検出部８８は、図９（ｃ）に示されているように、検出された対象部位の位置を示すエリアＲ１を深度画像Ｖ１の情報にプロットする。例えば、対象部位の位置を示す位置情報は、深度画像Ｖ１におけるエリアＲ１の座標を含んでいる。エリアＲ１は、例えば、矩形状を呈している。部位エリア検出部８８は、例えば、深度画像Ｖ１上に対象部位のエリアＲ１がプロットされた画像Ｖ４を作成してもよい。
【0103】
対象部位が胸部である場合、部位エリア検出部８８は、例えば、左肩に対応する特徴点Ｈ１と右肩に対応する特徴点Ｈ２と、左尻に対応する特徴点Ｈ３と、右尻に対応する特徴点Ｈ４とに基づいて、エリアＲ１を検出する。例えば、部位エリア検出部８８は、特徴点Ｈ１と特徴点Ｈ３とを連結する直線上において、特徴点Ｈ１から第１距離の位置に特徴点Ｈ５を設定する。例えば、部位エリア検出部８８は、特徴点Ｈ２と特徴点Ｈ４とを連結する直線上において、特徴点Ｈ２から第２距離の位置に特徴点Ｈ６を設定する。エリアＲ１は、例えば、特徴点Ｈ１，Ｈ２，Ｈ５，Ｈ６に囲まれる領域である。第１距離は、例えば、特徴点Ｈ１と特徴点Ｈ３とを連結する直線の長さに対して所定の比率の長さの距離である。第２距離は、例えば、特徴点Ｈ２と特徴点Ｈ４とを連結する直線の長さに対して所定の比率の長さの距離である。
【0104】
部位エリア検出部８８は、例えば、深度画像Ｖ１に示される複数の生体Ｍに対して、生体Ｍごとに、複数の対象部位の位置を検出する。部位エリア検出部８８は、例えば、生体Ｍごとに、エリアＲ１の座標を検出する。
【0105】
本実施形態の変形例として、部位エリア検出部８８は、アフィニティフィールド検出部８７によって検出されたアフィニティフィールドＦに基づいて、生体における対象部位の位置を検出してもよい。部位エリア検出部８８は、複数のアフィニティフィールドＦ及び複数の特徴点Ｈに基づいて、生体Ｍにおける対象部位の位置を検出してもよい。
【0106】
本実施形態の変形例として、部位エリア検出部８８は、例えば、特徴検出モデルと異なるモデルに基づいて、生体Ｍにおける対象部位の位置を検出してもよい。このモデルは、例えば、各特徴点Ｈの位置を示す位置情報の入力に応じて、対象部位の位置を示す位置情報を出力する。この場合、部位エリア検出部８８は、出力された情報に基づいて、画像Ｖ４を作成してもよい。
【0107】
本実施形態のさらなる変形例として、特徴検出モデルが、深度画像取得部８１によって取得された深度画像Ｖ１の情報の入力に応じて、対象部位の位置を示す位置情報を出力してもよい。例えば、特徴検出モデルが、深度画像Ｖ１の入力に応じて、画像Ｖ４を出力してもよい。
【0108】
次に、学習フェーズにおける生体部位検出システム３の各機能部について、より詳細に説明する。学習フェーズにおいては、学習部９０が動作する。学習部９０は、深度画像取得部８１と、格納部８２と、特徴情報取得部９３と、モデル作成部９４とによって、特徴検出モデルを作成する。学習部９０は、種々の情報を含む学習データセットを用いて学習された特徴検出モデルを作成する。学習部９０は、深度画像取得部８１と、特徴情報取得部９３とによって、特徴検出モデルを学習するための学習データセットを取得する。学習部９０は、格納部８２に予め格納されていた学習データセットを取得してもよいし、生体情報検出システム１の外部から通信ネットワーク等を介して学習データセットを取得してもよい。
【0109】
学習部９０が動作する場合、深度画像取得部８１は、特徴検出モデルの学習に用いられる複数の学習用の深度画像の情報を取得する。複数の学習用の深度画像の情報は、互いに異なるシーンにおいて撮像された深度画像の情報を含んでいる。本実施形態において、各学習用の深度画像は、当該学習用の深度画像に対応する複数の特徴点がそれぞれ位置する複数の特徴画素を含んでいる。
【0110】
特徴情報取得部９３は、特徴検出モデルの学習に用いられる複数の学習用特徴情報を取得する。学習用特徴情報は、学習用の生体における対象部位の位置に関する情報である。本実施形態において、特徴情報取得部９３は、各学習用特徴情報として、学習用の深度画像における複数の特徴点の位置を示す学習用位置情報を取得する。学習用位置情報は、学習用の深度画像における複数の特徴画素の位置を示す画素位置情報を含んでいる。画素位置情報は、例えば、学習用の深度画像における各特徴画素の座標である。学習用位置情報は、例えば、キーポイント検出部９６によって検出される複数の特徴点の位置をキャリブレーションした位置情報である。
【0111】
図９（ａ）から図９（ｃ）、及び、図１１（ａ）から図１１（ｃ）を参照して、特徴情報取得部９３について、詳細に説明する。特徴情報取得部９３は、ＲＧＢ画像取得部９５と、キーポイント検出部９６と、アフィニティフィールド検出部９７と、部位エリア検出部９８とを含んでいる。特徴情報取得部９３は、アフィニティフィールド検出部９７と、部位エリア検出部９８とを含んでいなくてもよい。学習用位置情報は、キーポイント検出部９６と、アフィニティフィールド検出部９７と、部位エリア検出部９８との少なくとも１つにおいて検出される情報である。
【0112】
ＲＧＢ画像取得部９５は、例えば、撮像システム７０の少なくとも一部を含んでいる。ＲＧＢ画像取得部９５は、撮像システム７０によって、学習用の生体を撮像したＲＧＢ画像の情報を取得する。ＲＧＢ画像取得部９５は、例えば、カラーカメラによって、学習用の生体ＭのＲＧＢ画像の情報を取得する。ＲＧＢ画像の情報は、深度画像取得部８１によって取得された学習用の深度画像の情報に対応している。ＲＧＢ画像は、複数のＲＧＢ画素を含んでいる。各ＲＧＢ画素は、学習用の深度画像に含まれる画素に対応している。本実施形態の変形例として、ＲＧＢ画像取得部９５は、格納部８２又は生体部位検出システム３の外部からＲＧＢ画像の情報を取得してもよい。
【0113】
ＲＧＢ画像取得部９５は、互いに異なるシーンにおいて撮像されたＲＧＢ画像の情報を取得する。互いに異なるシーンにおいて撮像されたＲＧＢ画像とは、ＲＧＢ画像に示される学習用の生体の姿勢、位置、及び、数の少なくとも１つが異なる状況によって撮像されたＲＧＢ画像を意味する。ＲＧＢ画像取得部９５は、深度画像取得部８１によって取得される学習用の深度画像の情報と同一のシーンにおいて撮像されたＲＧＢ画像の情報を取得する。換言すれば、ＲＧＢ画像取得部９５は、学習用の深度画像の情報に対応する学習用の生体を撮像したＲＧＢ画像の情報を取得する。
【0114】
キーポイント検出部９６は、図１１（ａ）に示されているように、ＲＧＢ画像取得部９５によって取得されたＲＧＢ画像の情報における複数の特徴点Ｊの位置を検出する。キーポイント検出部９６によって検出される各特徴点Ｊは、上記ＲＧＢ画像に示されている学習用の深度画像の生体Ｍにおける特徴点に相当する。キーポイント検出部９６によって検出される複数の特徴点Ｊの位置は、学習用の生体Ｍにおける互いに異なる部位の位置に対応している。
【0115】
キーポイント検出部９６は、ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち、学習用の生体Ｍの対象部位に関するＲＧＢ画素の位置を示す情報を学習用特徴情報として取得する。ＲＧＢ画像に含まれる各ＲＧＢ画素は、学習用の深度画像に含まれる画素に対応しているため、キーポイント検出部９６によって検出される複数の特徴点Ｊの位置を示す位置情報は、学習用の深度画像における複数の特徴点の位置を示す学習用位置情報に対応する。換言すれば、キーポイント検出部９６よるＲＧＢ画像の情報における複数の特徴点Ｊの位置の検出によって、学習用の深度画像における複数の特徴画素の位置を示す画素位置情報が演算される。さらに換言すれば、キーポイント検出部９６は、ＲＧＢ画像取得部９５によって取得されたＲＧＢ画像の情報に基づいて、学習用の深度画像における複数の特徴画素の位置を示す画素位置情報を演算する。
【0116】
具体的には、キーポイント検出部９６は、ＲＧＢ画像取得部９５によって取得されたＲＧＢ画像の情報に基づいて、ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち、学習用の深度画像の情報に対応する学習用の生体Ｍにおける複数の特徴点Ｊがそれぞれ位置する複数のＲＧＢ画素の位置を演算する。キーポイント検出部９６は、演算された複数のＲＧＢ画素の位置と対応する学習用の深度画像の画素位置情報を演算する。
【0117】
キーポイント検出部９６は、例えば、ＲＧＢ画像取得部９５によって取得されるＲＧＢ画像と、深度画像取得部８１によって取得される深度画像との違いに応じて、キーポイント検出部９６によって検出される複数の特徴点Ｊの位置をキャリブレーションした位置情報を、学習用位置情報として出力する。
【0118】
キーポイント検出部９６は、ＲＧＢ画像取得部９５によって取得されたＲＧＢ画像の情報と既存モデルとに基づいて、上記複数の特徴点Ｊの位置を示す位置情報を検出する。キーポイント検出部９６は、ＲＧＢ画像取得部９５によって取得されたＲＧＢ画像の情報を既存モデルに入力し、既存モデルから出力された複数の特徴点Ｊの位置を示す位置情報を取得する。既存モデルは、例えば、既に学習された学習モデルである。既存モデルは、例えば、“Open Pose”である。
【0119】
例えば、キーポイント検出部９６は、図１１（ａ）に示されているように、検出された複数の特徴点ＪをＲＧＢ画像の情報にプロットする。キーポイント検出部９６は、例えば、ＲＧＢ画像上に複数の特徴点Ｊがプロットされた画像Ｖ６を作成してもよい。例えば、キーポイント検出部９６によって検出された複数の特徴点Ｊの位置を示す位置情報は、ＲＧＢ画像における各特徴点Ｊの座標を含んでいる。例えば、既存出モデルは、ＲＧＢ画像の情報の入力に応じて、画像Ｖ６の情報を出力する。
【0120】
キーポイント検出部９６は、特徴点Ｊが示す部位に応じて、各特徴点Ｊをラベリングしたラベリング情報を作成する。ラベリング情報は、各特徴点Ｊが学習用の生体のどの部位の特徴点であるかを示す。キーポイント検出部９６が取得する学習用位置情報は、各特徴点Ｊのラベリング情報を含んでいる。例えば、キーポイント検出部９６は、各特徴点Ｊをラベリングする。換言すれば、キーポイント検出部９６は、各特徴点Ｊが示す部位に応じて、学習用の深度画像における各特徴画素をラベリングする。
【0121】
キーポイント検出部９６は、例えば、ＲＧＢ画像に示される学習用の複数の生体Ｍに対して、生体Ｍごとに、複数の特徴点Ｊを検出する。例えば、キーポイント検出部９６は、キーポイント検出部８６と同様に、頭部、上半身、及び、下半身の各々において、複数の部位をそれぞれ示す複数の特徴点の位置を検出し、各部位の種別を示すラベリング情報と共に格納部８２に格納する。
【0122】
アフィニティフィールド検出部９７は、図１１（ｂ）に示されているように、キーポイント検出部９６によって検出された複数の特徴点Ｊの位置に基づいて、アフィニティフィールドＧを検出する。アフィニティフィールド検出部９７は、複数の特徴点Ｊのうち一対の特徴点Ｊを互いに関係付けた関係情報を検出する。例えば、アフィニティフィールドＧは、この関係情報に基づいて、画像上において、互いに関係付けられた一対の特徴点Ｊを連結する線である。アフィニティフィールド検出部９７によって検出される上記関係情報は、例えば、学習用位置情報に対応する。アフィニティフィールド検出部９７によって検出される複数のアフィニティフィールドＧの位置を示す位置情報が、学習用位置情報に相当してもよい。アフィニティフィールド検出部９７は、例えば、ＲＧＢ画像取得部９５によって取得されるＲＧＢ画像と、深度画像取得部８１によって取得される深度画像との違いに応じて、アフィニティフィールド検出部９７によって検出される複数のアフィニティフィールドＧの位置をキャリブレーションした位置情報を、学習用位置情報として出力する。
【0123】
例えば、アフィニティフィールド検出部９７は、図１１（ｂ）に示されているように、検出された複数のアフィニティフィールドＧをＲＧＢ画像の情報にプロットする。アフィニティフィールド検出部９７は、複数の特徴点Ｊと共に、ＲＧＢ画像上に複数のアフィニティフィールドＧがプロットされた画像Ｖ７を作成してもよい。アフィニティフィールド検出部９７によって検出される複数のアフィニティフィールドＧは、それぞれ、アフィニティフィールド検出部８７によって検出される複数のアフィニティフィールドＦに対応している。各アフィニティフィールドＧは、学習用の生体Ｍごとに、学習用の生体Ｍにおいて互いに隣り合う特徴点Ｊを連結する。アフィニティフィールド検出部９７は、例えば、上述した既存モデルに基づいて、複数のアフィニティフィールドＧを検出する。
【0124】
部位エリア検出部９８は、学習用の生体における複数の特徴点Ｊの位置に基づいて、各学習用の生体Ｍにおける対象部位の位置を検出する。例えば、部位エリア検出部９８は、キーポイント検出部９６によって検出された複数の特徴点Ｊの位置情報に基づいて、学習用の生体Ｍにおける対象部位の位置を示す位置情報を検出する。部位エリア検出部９８は、例えば、図１１（ｃ）に示されているように、学習用の生体Ｍにおける対象部位の位置を示すエリアＲ２を検出する。部位エリア検出部９８によって検出される上記エリアＲ２の位置情報は、例えば、学習用位置情報に相当する。部位エリア検出部９８は、例えば、ＲＧＢ画像取得部９５によって取得されるＲＧＢ画像と、深度画像取得部８１によって取得される深度画像との違いに応じて、部位エリア検出部９８によって検出される上記エリアの位置をキャリブレーションした位置情報を、学習用位置情報として出力する。
【0125】
例えば、部位エリア検出部９８は、図１１（ｃ）に示されているように、検出された対象部位の位置を示すエリアＲ２をＲＧＢ画像の情報にプロットする。例えば、対象部位の位置を示す位置情報は、ＲＧＢ画像におけるエリアＲ２の座標を含んでいる。エリアＲ２は、エリアＲ１に対応している。エリアＲ２は、例えば、矩形状を呈している。部位エリア検出部９８は、例えば、ＲＧＢ画像上に対象部位のエリアＲ２がプロットされた画像Ｖ８を作成してもよい。
【0126】
本実施形態の変形例として、部位エリア検出部９８は、アフィニティフィールド検出部９７によって検出されたアフィニティフィールドＧに基づいて、学習用の生体における対象部位の位置を検出してもよい。部位エリア検出部９８は、複数のアフィニティフィールドＧ及び複数の特徴点Ｊに基づいて、学習用の生体Ｍにおける対象部位の位置を検出してもよい。
【0127】
部位エリア検出部９８は、上述した既存モデルと異なるモデルに基づいて、学習用の生体Ｍにおける対象部位の位置を検出する。このモデルは、例えば、各特徴点Ｊの位置を示す位置情報の入力に応じて、対象部位の位置を示す位置情報を出力する。この場合、部位エリア検出部９８は、出力された情報に基づいて、画像Ｖ８を作成してもよい。
【0128】
格納部８２は、特徴検出モデルの学習に用いられる学習データセットを格納する。特徴検出モデルの学習に用いられる学習データセットは、深度画像取得部８１に取得された複数の学習用の深度画像の情報と、特徴情報取得部９３によって取得された複数の学習用位置情報とを含んでいる。
【0129】
学習データセットは、複数の学習用の深度画像の情報と、各学習用の深度画像における複数の特徴点Ｊの位置を示す学習用位置情報とを含んでいる。複数の学習用の深度画像の情報は、互いに異なるシーンにおいて撮像された学習用の深度画像の情報を含んでいる。互いに異なるシーンにおいて撮像された学習用の深度画像とは、学習用の深度画像に示される学習用の生体の姿勢、位置、及び、数の少なくとも１つが異なる状況によって撮像された学習用の深度画像を意味する。各学習用位置情報は、複数の学習用の深度画像の情報のうち対応する学習用の深度画像における複数の特徴点Ｊの位置を示している。格納部８２は、予め上記学習データセットを格納していてもよい。格納部８２は、モデル作成部９４によって作成された特徴検出モデルを格納している。各学習用の深度画像における複数の特徴点Ｊの位置を示す学習用位置情報は、ＲＧＢ画像取得部によって取得されたＲＧＢ画像に対して、キーポイント検出部９６、アフィニティフィールド検出部９７、及び、部位エリア検出部９８の少なくとも１つから出力された学習用位置情報を含んでいる。
【0130】
モデル作成部９４は、上述した学習データセットを用いて、特徴検出モデルを作成する。モデル作成部９４は、複数の学習用の深度画像の情報と、各学習用の深度画像における学習用の生体Ｍの対象部位の位置に関する学習用特徴情報とを用いた学習によって、深度画像の情報の入力に応じて、入力された深度画像における生体の対象部位の位置に関する特徴情報を出力するモデルを特徴検出モデルとして作成する。モデル作成部９４は、例えば、深度画像の情報の入力に応じて、入力された深度画像の情報における複数の特徴点を示す位置情報を出力するモデルを特徴検出モデルとして作成する。この場合、各学習用の深度画像における学習用の生体Ｍの対象部位の位置に関する学習用特徴情報は、例えば、各学習用の深度画像の情報における複数の特徴点の位置を示す学習用位置情報を含んでいる。モデル作成部９４は、推定フェーズにおいて取得された情報に基づいて、特徴検出モデルを再作成、又は、更新してもよい。特徴情報取得部９３及びモデル作成部９４の少なくとも１つは、学習フェーズの終了後に、生体情報検出システム１から除外されてもよい。
【0131】
【0132】
生体情報検出システム１は、プロセッサ１０１と、主記憶装置１０２と、補助記憶装置１０３と、通信装置１０４と、入力装置１０６と、出力装置１０５とを備えている。生体情報検出システム１は、これらのハードウェアと、プログラム等のソフトウェアとにより構成された、１又は複数のコンピュータを含んでいる。生体活動検出システム２及び生体部位検出システム３のそれぞれは、１つのコンピュータによって構成されていてもよいし、複数のコンピュータによって構成されていてもよい。生体情報検出システム１は、ハードウェアと協働して実現されている。
【0133】
生体情報検出システム１が、複数のコンピュータによって構成される場合には、これらのコンピュータはローカルで接続されてもよいし、インターネット又はイントラネットなどの通信ネットワークを介して接続されてもよい。この接続によって、論理的に１つの生体情報検出システム１が構築される。
【0134】
プロセッサ１０１は、オペレーティングシステム及びアプリケーション・プログラムなどを実行する。主記憶装置１０２は、ＲＯＭ（Read Only Memory)及びＲＡＭ（Random Access Memory）により構成される。例えば、信号制御部５、信号処理部７、深度画像取得部８１、部位検出部８３、出力部８４、特徴情報取得部９３、及び、モデル作成部９４の各種機能部の少なくとも一部は、プロセッサ１０１及び主記憶装置１０２によって実現され得る。
【0135】
補助記憶装置１０３は、ハードディスク及びフラッシュメモリなどにより構成される記憶媒体である。補助記憶装置１０３は、一般的に主記憶装置１０２よりも大量のデータを記憶する。例えば、格納部６８，８２の少なくとも一部は、補助記憶装置１０３によって実現され得る。
【0136】
通信装置１０４は、ネットワークカード又は無線通信モジュールにより構成される。例えば、情報取得部４１の少なくとも一部は、通信装置１０４によって実現され得る。出力装置１０５は、プリンタ、及び、ディスプレイなどにより構成される。例えば、生体活動情報導出部４２及び出力部８４の少なくとも一部は、出力装置１０５によって実現され得る。
【0137】
入力装置１０６は、キーボード、マウス、及び、タッチパネルなどにより構成される。例えば、情報取得部４１の少なくとも一部は、入力装置１０６によって実現され得る。入力装置１０６は、さらに、信号制御部５のセンシングデバイスを含んでいる。入力装置１０６は、ソース２１と、パワーアンプ２２と、送信アンテナ２３と、受信アンテナ３１と、調整器３２と、ミキサー３３と、バンドパスフィルタ３４と、電圧利得制御アンプ３５と、ＡＤコンバータ３６とを含んでいる。入力装置１０６は、さらに、撮像システム７０を含んでいる。撮像システム７０は、深度画像を撮像する撮像装置と、ＲＧＢ画像を撮像する撮像装置とのうち少なくとも１つを含んでいる。
【0138】
補助記憶装置１０３は、予め、プログラム及び処理に必要なデータを格納している。このプログラムは、生体情報検出システム１の各機能要素をコンピュータに実行させる。このプログラムによって、例えば、後述する生体情報検出方法における各処理がコンピュータにおいて実行される。このプログラムは、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどの有形の記録媒体に記録された上で提供されてもよい。このプログラムは、データ信号として通信ネットワークを介して提供されてもよい。
【0139】
次に、図１３から図１５を参照して、本実施形態における生体情報検出方法の一例について説明する。例えば、生体情報検出方法は、特徴検出モデルの作成方法を含んでおり、特徴検出モデルを作成する学習フェーズと、作成された特徴検出モデルを用いて生体活動情報を検出する推定フェーズとを実行する。まず、図１３を参照して、学習フェーズにおける特徴検出モデルの作成方法の一例について説明する。図１３は、特徴検出モデルの作成方法の一例を示すフローチャートである。
【0140】
まず、学習用の深度画像の情報が取得される（処理Ｓ１）。処理Ｓ１において、深度画像取得部８１が、複数の学習用の深度画像の情報を取得する。本実施形態において、学習用の深度画像の情報は、撮像システム７０によって撮像された深度画像である。学習用の深度画像は、学習用の深度画像に対応する複数の特徴点がそれぞれ位置する複数の特徴画素を含んでいる。複数の特徴点の位置は、生体における互いに異なる部位の位置に対応している。
【0141】
次に、学習用ＲＧＢ画像の情報が取得される（処理Ｓ２）。処理Ｓ２において、特徴情報取得部９３が、複数の学習用ＲＧＢ画像の情報を取得する。各学習用ＲＧＢ画像は、処理において取得された学習用の深度画像の情報に対応する生体を撮像した画像である。本実施形態において、学習用ＲＧＢ画像の情報は、撮像システム７０によって撮像されたＲＧＢ画像である。
【0142】
次に、学習用特徴情報が検出される（処理Ｓ３）。処理Ｓ３において、特徴情報取得部９３が、複数の学習用ＲＧＢ画像に基づいて、複数の学習用特徴情報を取得する。本実施形態において、各学習用特徴情報は、学習用の生体における複数の特徴点の位置を示す学習用位置情報を含んでいる。学習用位置情報は、学習用の深度画像における複数の特徴画素の位置を示す画素位置情報を含んでいる。例えば、特徴情報取得部９３が、処理Ｓ２において取得されたＲＧＢ画像の情報に基づいて、学習用の深度画像における複数の特徴画素の位置を示す画素位置情報を演算する。具体的には、特徴情報取得部９３は、処理Ｓ２において取得されたＲＧＢ画像に基づいて、当該ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち、処理Ｓ１において取得された学習用の深度画像の情報に対応する生体における複数の特徴点がそれぞれ位置する複数のＲＧＢ画素の位置を演算し、演算された複数のＲＧＢ画素の位置に基づいて、画素位置情報を演算する。学習用位置情報は、特徴点が示す部位に応じて、各特徴点又は各特徴点を示している特徴画素をラベリングしたラベリング情報を含んでいる。
【0143】
次に、特徴検出モデルが作成される（処理Ｓ４）。処理Ｓ４において、モデル作成部９４が、処理Ｓ１によって取得された複数の学習用の深度画像の情報と、処理Ｓ３によって取得された複数の学習用特徴情報とに基づいて、特徴検出モデルを作成する。本実施形態において、モデル作成部９４が、複数の学習用の深度画像の情報と、複数の学習用位置情報とを用いた学習によって、深度画像の情報の入力に応じて、生体における複数の特徴点の位置を示す位置情報を出力するモデルを特徴検出モデルとして作成する。
【0144】
処理Ｓ４において作成された特徴検出モデルは、格納部８２に格納される。処理Ｓ４が終了すると、特徴検出モデルの作成方法の一連の処理が終了される。以上、特徴検出モデルの作成方法の一例について説明したが、各処理の順序はこれに限定されない。例えば、処理Ｓ１は、処理Ｓ４の前であればいつ実行されてもよい。処理Ｓ１から処理Ｓ３の代わりに、特徴検出モデルの学習に用いられる学習データセットが生体部位検出システム３の外部から取得されてもよい。特徴検出モデルの学習に用いられる学習データセットは、予め格納部８２に格納されてもよい。
【0145】
次に、図１４を参照して、推定フェーズにおける生体情報検出方法の一例について説明する。図１４は、生体情報検出方法の一例を示すフローチャートである。図１４に示されている生体情報検出方法は、生体情報検出方法と、生体活動情報検出方法とを含んでいる。
【0146】
まず、深度画像が取得される（処理Ｓ１１）。処理Ｓ１１において、深度画像取得部８１が、複数の深度画像の情報を取得する。本実施形態において、深度画像の情報は、撮像システム７０によって撮像された深度画像である。
【0147】
次に、特徴点が検出される（処理Ｓ１２）。処理Ｓ１２において、キーポイント検出部８６が、処理Ｓ１１において取得された深度画像と特徴検出モデルとに基づいて、複数の特徴点を検出する。キーポイント検出部８６が、処理Ｓ１１において取得された深度画像と特徴検出モデルとに基づいて、処理Ｓ１１において取得された深度画像における複数の特徴点を検出する。キーポイント検出部８６は、処理Ｓ１１において取得された深度画像の情報を特徴検出モデルに入力し、特徴検出モデルから出力された複数の特徴点の位置を取得する。
【0148】
次に、アフィニティフィールドが検出される（処理Ｓ１３）。処理Ｓ１３において、アフィニティフィールド検出部８７が、処理Ｓ１２において検出された複数の特徴点に基づいて、アフィニティフィールドを検出する。
【0149】
次に、生体の対象部位が検出される（処理Ｓ１４）。処理Ｓ１４において、部位検出部８３が、処理Ｓ１３において検出されたアフィニティフィールドに基づいて、生体の対象部位の位置を検出する。本実施形態の変形例として、部位検出部８３は、処理Ｓ１２において検出された複数の特徴点に基づいて、生体の対象部位の位置を検出してもよい。
【0150】
次に、生体活動情報導出処理が実行される（処理Ｓ１５）。処理Ｓ１５において、生体活動検出システム２が、処理Ｓ１４において検出された生体の対象部位の位置に基づいて、生体活動情報を導出する。
【0151】
処理Ｓ１５において導出された生体活動情報は、格納部６８に格納される。処理Ｓ１５が終了すると、生体情報検出方法の一連の処理が終了される。以上、生体情報検出方法の一例について説明したが、各処理の順序はこれに限定されない。本実施形態の変形例として、処理Ｓ２は実行されてなくてもよい。この変形例において、例えば、特徴検出モデルが、処理Ｓ１１において取得された深度画像の入力に応じて、アフィニティフィールドを出力する。本実施形態の別の変形例として、処理Ｓ３は実行されなくてもよい。この変形例において、例えば、部位検出部８３は、処理Ｓ１２において検出された複数の特徴点の位置に基づいて、対象部位の位置を検出する。本実施形態のさらに別の変形例として、処理Ｓ２及び処理Ｓ３の双方が実行されなくてもよい。この変形例において、例えば、特徴検出モデルが、処理Ｓ１１において取得された深度画像の入力に応じて、対象部位の位置を出力する。
【0152】
【0153】
まず、ビームフォーミングが行われる（処理Ｓ２１）。処理Ｓ２１において、信号制御部が、処理Ｓ１４において検出された生体の対象部位の位置に基づいて、ビームフォーミングを行う。例えば、処理Ｓ２１において、信号送信部１１が送信波Ｔを生体の対象部位に向けて送信し、信号受信部１２が生体の対象部位からの反射波Ｒを受信する。信号受信部１２が受信した情報は、受信情報取得部５１によって取得される。受信情報取得部５１は、少なくとも、処理Ｓ１４において検出された生体の対象部位の位置からの反射波Ｒを示す信号情報を取得する。
【0154】
次に、第一フィルタ部５２が、受信情報取得部５１において取得された情報に対して、フィルタリング処理を行う（処理Ｓ２２）。生体情報検出システム１が心拍を検出する場合には、処理Ｓ２２におけるフィルタリング処理によって、受信情報取得部５１において取得された情報から５．０Ｈｚ以上３０Ｈｚ以下の周波数帯域が抽出される。
【0155】
次に、フーリエ変換部５３が、第一フィルタ部５２から出力された情報に対して短時間フーリエ変換を行う（処理Ｓ２３）。フーリエ変換部５３は、処理Ｓ２３において、第一フィルタ部５２から出力された情報に対して短時間フーリエ変換を行うことによって、時間区分毎に、各周波数の強度を示す情報を作成し、出力する。フーリエ変換部５３は、例えば、第一フィルタ部５２から出力された情報に対して短時間フーリエ変換を行うことによって、スペクトログラムを作成し、出力する。
【0156】
次に、積分部５４が、フーリエ変換部５３から出力された情報に対して、時間区分毎に予め設定された周波数範囲においてスペクトル積分を行う（処理Ｓ２４）。積分部５４は、例えば、処理Ｓ２４において、フーリエ変換部５３から出力された情報に対して、時間区分毎に第一フィルタ部５２におけるフィルタリング処理の通過帯域と同一の周波数範囲においてスペクトル積分を行う。
【0157】
次に、第二フィルタ部５５が、積分部５４から出力された情報に対して、フィルタリング処理を行う（処理Ｓ２５）。生体情報検出システム１が心拍を検出する場合には、処理Ｓ５におけるフィルタリング処理によって、積分部５４から出力された情報から０．８Ｈｚ以上２．０Ｈｚ以下の周波数帯域が抽出される。処理Ｓ２５が終了すると、処理Ｓ２６及び処理Ｓ３２が実行される。処理Ｓ２６から処理Ｓ３１と処理Ｓ３２は、並行して実行されてもよい。処理Ｓ２６から処理Ｓ３１と、処理Ｓ３２とは、いずれか一方が先に実行されてもよい。
【0158】
次に、仮ピーク検出部６１が、第二フィルタ部５５から出力された複数の信号情報の各々について、複数の仮ピークを検出する（処理Ｓ２６）。仮ピーク検出部６１は、処理Ｓ２６において、例えば、第二フィルタ部５５から出力された複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３の各々について、複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３を検出する。
【0159】
処理Ｓ２６が終了すると、ピークグループ演算部６２が、仮ピーク検出部６１において検出された各仮ピークの位置に基づいて、複数のピークグループＧＲを設定する（処理Ｓ２７）。ピークグループ演算部６２は、処理Ｓ２７において、例えば、処理Ｓ１４によって検出された対象部位の位置からの反射波Ｒに対応する信号情報Ｂ０を基準信号情報に決定する。ピークグループ演算部６２は、処理Ｓ２７において、例えば、基準信号情報に含まれる複数の仮ピークＰＥ０の各々から所定の時間範囲Ｗ内にある少なくとも１つの仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３を、各ピークグループＧＲを構成するピークとして特定する。この時間範囲Ｗは、例えば、仮ピークＰＥ０から±０．０５秒である。
【0160】
処理Ｓ２７が終了すると、ピークグループ演算部６２が、複数のピークグループＧＲの時間方向における位置を演算する（処理Ｓ２８）。ピークグループ演算部６２は、処理Ｓ２８において、たとえば、ピークグループＧＲ毎に、ピークグループＧＲに含まれる少なくとも１つの仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の時間方向における位置の平均をピークグループＧＲの位置Ｐ１～Ｐ８として演算する。
【0161】
処理Ｓ２８が終了すると、ピークグループ選出部６３が、各ピークグループＧＲの位置に基づいて、複数のピークグループＧＲから代表ピークグループを選出する（処理Ｓ２９）。ピークグループ選出部６３は、処理Ｓ２９において、例えば、ビタビアルゴリズムによって、ピークグループＧＲの位置Ｐ１～Ｐ１９において、パスメトリックが最小又は最大となるピークグループＧＲの組み合わせを特定する。図７に示されている例において、位置Ｐ１，Ｐ２，Ｐ４・・・Ｐ１９に位置するピークグループＧＲが代表ピークグループとして選出される。
【0162】
処理Ｓ２９が終了すると、ピーク間隔演算部６４が、時間方向における複数の代表ピークグループの間隔を示す代表ピークグループ間隔を演算する（処理Ｓ３０）。ピーク間隔演算部６４は、処理Ｓ３０において、例えば、複数の代表ピークグループ間隔の平均を代表ピークグループ間隔として出力する。
【0163】
処理Ｓ３０が終了すると、フィルタ設定部６５が、複数の仮ピークの時間方向における位置に基づいて、周波数フィルタを設定する。（処理Ｓ３１）。フィルタ設定部６５は、処理Ｓ３１において、例えば、ピーク間隔演算部６４から出力された代表ピークグループの間隔の逆数を中心周波数とするように周波数フィルタを設定する。
【0164】
処理Ｓ２５が終了すると、情報演算部６６が信号情報の平均を演算する（処理Ｓ３２）。情報演算部６６は、処理Ｓ３２において、処理Ｓ２５において処理された複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３を取得し、これらの信号情報を平均する。
【0165】
処理Ｓ３１及び処理Ｓ３２が終了すると、生体活動情報取得部６７が生体活動情報を取得する（処理Ｓ３３）。生体活動情報取得部６７は、処理Ｓ３３において、処理Ｓ３２において情報演算部６６から出力された情報に対して、処理Ｓ３１において設定された周波数フィルタを用いてフィルタリング処理を行うことによって、生体の生体活動情報を取得する。生体活動情報取得部６７は、例えば、生体活動情報として、心拍数及び心拍間隔の少なくとも１つ、又は、呼吸数及び呼吸間隔の少なくとも１つを示す情報を取得する。
【0166】
次に、上述した実施形態における生体情報検出システム１、生体情報検出方法、及び、プログラムによる作用効果について説明する。
【0167】
上述した生体情報検出システム１、生体情報検出方法、及び、プログラムにおいて、深度画像の情報と特徴検出モデルとに基づいて、生体の対象部位の位置が検出される。この場合、深度画像における深度情報も考慮して対象部位の位置が検出されるため、対象部位の位置の検出精度が向上され得る。深度情報が考慮されれば、比較的離れていても、生体が検出され得る。さらには、複数人の対象部位の位置を同時に検出することも可能である。対象部位の位置に関する特徴情報と深度画像の情報とを関連付けている特徴検出モデルが用いられているため、深度画像の情報から対象部位の位置が検出され得る。生体における対象部位の位置の検出を含めた生体情報について、検出精度が高精度に確保され得る。
【0168】
特徴情報は、ＲＧＢ画像において、当該ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち対象部位に関するＲＧＢ画素の位置を示す情報を含んでいる。ＲＧＢ画像は、深度画像の情報に対応する生体を撮像した画像である。この場合、特徴検出モデルは、対象部位に関するＲＧＢ画素の位置と深度画像の情報とを関連付けている。このため、ＲＧＢ画像の情報と深度画像の情報とに基づいて、対象部位の位置が検出される。この結果、対象部位の位置の検出精度がより向上し得る。
【0169】
特徴情報は、生体における複数の特徴点の位置を示す位置情報を含んでいる。部位検出部８３は、深度画像取得部８１によって取得された深度画像の情報と特徴検出モデルとに基づいて、深度画像取得部８１によって取得された深度画像の情報における複数の特徴点の位置を検出する。部位検出部８３は、検出された複数の特徴点の位置に対応する対象部位の位置を検出する。この場合、特徴検出モデルは、生体における複数の特徴点の位置を示す位置情報と深度画像の情報とを関連付けている。深度画像の情報における複数の特徴点の位置は、上記特徴検出モデルに基づいて検出される。深度画像の情報に基づいて各特徴点の位置が検出されているため、対象部位の位置の検出精度がより向上し得る。
【0170】
生体における複数の特徴点の位置は、生体における互いに異なる部位の位置を示している。この場合、対象部位の位置の検出精度がより向上し得る。
【0171】
対象部位は、生体の胸部又は頭部である。生体の胸部が対象部位である場合には、対象部位の検出結果を用いることによって、心拍又は呼吸などの生体活動情報の検出精度が向上し得る。生体の頭部が対象部位である場合には、対象部位の検出結果を用いることによって、瞬きなどの生体活動情報の検出精度が向上し得る。
【0172】
生体情報検出システム１は、情報取得部４１と、生体活動情報取得部６７とをさらに備えている。情報取得部４１は、少なくとも、部位検出部８３によって検出された対象部位の位置において反射した反射波Ｒを示す信号情報を取得する。生体活動情報取得部６７は、情報取得部４１によって取得された信号情報に基づいて、生体活動情報を取得する。この場合、対象部位の検出結果を用いることによって、生体活動情報の検出精度が向上し得る。
【0173】
生体情報検出システム１は、反射波Ｒを受信する信号受信部１２を備えている。部位検出部８３は、深度画像情報における複数の特徴点の位置に基づいて、生体の部位と信号受信部１２との関係を示す相対情報を演算する。生体活動情報取得部６７は、上記相対情報に基づいて生体活動情報を検出する。この場合、生体活動情報の検出精度がさらに向上し得る。
【0174】
生体情報検出システム１は、モデル作成部９４をさらに備えている。モデル作成部９４は、複数の学習用の深度画像の情報と、各学習用の深度画像の情報における学習用の生体の対象部位の位置に関する学習用位置情報とを用いた学習によって、深度画像の情報の入力に応じて、入力された深度画像における生体の対象部位の位置に関する特徴情報を出力するモデルを特徴検出モデルとして作成する。複数の学習用の深度画像情報は、互いに異なるシーンにおいて撮像された深度画像の情報を含んでいる。格納部８２は、モデル作成部９４によって作成された上記モデルを格納している。この場合、深度画像の情報によって、生体の対象部位の位置に関する特徴情報がより高精度に検出され得る。この結果、対象部位の位置の検出精度がさらに向上し得る。
【0175】
生体情報検出方法は、ＲＧＢ画像を取得することと、ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち対象部位に関するＲＧＢ画素の位置を示す情報を学習用特徴情報として取得することと、をさらに含んでいる。ＲＧＢ画像は、学習用の深度画像の情報に対応する学習用の生体を撮像した画像である。この場合、特徴検出モデルは、対象部位に関するＲＧＢ画素の位置と学習用の深度画像の情報とに基づいて学習される。このため、ＲＧＢ画像の情報と深度画像の情報とに基づいて、対象部位の位置が検出される。この結果、対象部位の位置の検出精度がより向上し得る。
【0176】
各学習用特徴情報は、学習用の生体における複数の特徴点の位置を示す学習用位置情報を含んでいる。特徴検出モデルの作成において、複数の学習用の深度画像の情報と、複数の学習用位置情報とを用いた学習によって、深度画像の情報の入力に応じて、生体における複数の特徴点の位置を示す位置情報を出力するモデルが特徴検出モデルとして作成される。この場合、特徴検出モデルは、学習用の生体における複数の特徴点の位置を示す学習用位置情報と学習用の深度画像の情報とを用いて学習される。深度画像の情報における複数の特徴点の位置は、上記特徴検出モデルに基づいて検出される。深度画像の情報に基づいて各特徴点の位置が検出されているため、対象部位の位置の検出精度がより向上し得る。
【0177】
学習用の深度画像は、複数の特徴画素を含んでいる。複数の特徴画素において、学習用の深度画像に対応する複数の特徴点がそれぞれ位置している。学習用位置情報は、画素位置情報を含んでいる。画素位置情報は、学習用の深度画像における複数の特徴画素の位置を示している。この場合、特徴検出モデルは、学習用の深度画像における複数の特徴画素の位置を示す画素位置情報と学習用の深度画像の情報とを用いて学習される。この場合、対象部位の検出精度がより確実に確保され得る。
【0178】
学習用位置情報の取得において、学習用の深度画像の情報に対応する生体を撮像したＲＧＢ画像の情報が取得されている。ＲＧＢ画像に基づいて、ＲＧＢ画像に含まれる複数のＲＧＢ画素のうち、学習用の深度画像の情報に対応する生体における複数の特徴点がそれぞれ位置する複数のＲＧＢ画素の位置が演算されている。演算された複数のＲＧＢ画素の位置に基づいて、画素位置情報が演算されている。この場合、学習用の深度画像において複数の特徴点がそれぞれ位置する複数の特徴画素が、ＲＧＢ画像に基づいて演算される。したがって、生体における複数の特徴点の位置を示す位置情報を出力するモデルがより容易に作成されると共に、当該モデルから出力される位置情報の精度が向上し得る。
【0179】
複数の特徴点の位置は、生体における互いに異なる部位の位置に対応している。学習用位置情報は、特徴点が示す部位に応じて、各特徴点をラベリングしたラベリング情報を含んでいる。この場合、各特徴点が示す部位の情報が含まれているため、象部位の位置の検出精度がより向上し得る。
【0180】
生体情報検出システム１は、情報取得部４１と、フィルタ設定部６５と、生体活動情報取得部６７とを備えている。情報取得部４１は、生体からの互いに異なる反射波Ｒに対応する複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３を取得する。信号情報Ｂ０は、生体の対象部位からの反射波Ｒに対応している。フィルタ設定部６５は、複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３の複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の時間方向における位置に基づいて周波数フィルタを設定する。生体活動情報取得部６７は、複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３の少なくとも１つに基づく情報に対して周波数フィルタを用いてフィルタリング処理を行うことによって、生体の生体活動情報を取得する。
【0181】
以上のように、互いに異なる反射波Ｒに対応する複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３が用いられる。このため、信号送信部１１と生体との間における送信波Ｔ及び反射波Ｒの伝搬によって生じたノイズ又は生体の体勢に起因して捉えづらくなった生体活動情報の抽出精度が、ダイバーシチ効果によって改善され得る。さらに、複数の反射波Ｒに対応する複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３に基づいて周波数フィルタが設定されるため、生体活動情報に対応する周波数帯域が周波数フィルタによって正確に抽出され得る。この結果、非接触で生体活動情報が検出されながら、生体活動情報の検出精度が確保され得る。
【0182】
ピークグループ演算部６２は、複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３の複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の時間方向おける位置に基づいて、複数のピークグループＧＲを設定する。複数のピークグループＧＲの各々は、複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の少なくとも１つを含んでいる。ピークグループ演算部６２は、各ピークグループＧＲの位置Ｐ１～Ｐ８を演算する。フィルタ設定部６５は、ピークグループ演算部６２において演算された各ピークグループＧＲの位置Ｐ１～Ｐ８に基づいて、周波数フィルタを設定する。この場合、複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の少なくとも１つを含むピークグループＧＲの位置Ｐ１～Ｐ８に基づいて、周波数フィルタが設定される。このため、周波数フィルタによって、生体活動情報に対応する周波数帯域がさらに正確に抽出され得る。
【0183】
ピークグループ選出部６３は、各ピークグループＧＲの位置Ｐ１～Ｐ８に基づいて、複数のピークグループＧＲのうち少なくとも２つのピークグループＧＲを代表ピークグループとして選出する。ピーク間隔演算部６４は、時間方向における複数の代表ピークグループの間隔を示す代表ピークグループ間隔を演算する。フィルタ設定部６５は、ピーク間隔演算部６４によって演算された代表ピークグループ間隔に基づいて、周波数フィルタを設定する。この場合、周波数フィルタによって、生体活動情報に対応する周波数帯域がさらに正確に抽出され得る。
【0184】
生体活動情報は、生体において周期的に繰り返される動作である。ピークグループ選出部６３は、複数のピークグループＧＲのうち、生体の動作の周期に対して尤もらしい間隔で時間方向に位置するピークグループＧＲの組み合わせを、複数の代表ピークグループとして選出する。この場合、生体の動作の周期により近い間隔で位置するピークグループＧＲの組み合わせが選出されるため、周波数フィルタによって、生体活動情報に対応する周波数帯域がさらに正確に抽出され得る。
【0185】
フィルタ設定部６５は、複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３の複数のピークグループＧＲの時間方向における位置Ｐ１～Ｐ８に基づいて演算される中心周波数を有するように周波数フィルタを設定する。この場合、生体活動情報に対応する周波数帯域がさらに正確に抽出され得る。
【0186】
フィルタ設定部６５は、複数の代表ピークグループの間隔の平均の逆数を中心周波数とするように周波数フィルタを設定する。この場合、生体活動情報に対応する周波数帯域がさらに正確に抽出され得る。
【0187】
ピークグループ演算部６２は、複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３に含まれる複数の仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３から、基準信号情報に含まれる複数の仮ピークＰＥ０の各々から所定の時間範囲Ｗ内にある少なくとも１つの仮ピークを特定する。ピークグループ演算部６２は、特定された仮ピークに基づいて各ピークグループＧＲの時間方向における位置Ｐ１～Ｐ８を演算する。この場合、複数の反射波Ｒにそれぞれ対応する複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂの仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３に関するの情報が一つに纏められ、各ピークグループＧＲの時間方向における位置Ｐ１～Ｐ８の間隔が、生体の動作の周期により近づくと考えられる。この結果、生体活動情報に対応する周波数帯域をさらに正確に抽出できる周波数フィルタが設定され得る。
【0188】
ピークグループ演算部６２は、ピークグループＧＲ毎に、ピークグループＧＲに含まれる仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３の時間方向における位置の平均をピークグループＧＲの位置Ｐ１～Ｐ８として演算する。この場合、複数の反射波Ｒにそれぞれ対応する複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂの仮ピークＰＥ０，ＰＥ１，ＰＥ２，ＰＥ３に関するの情報が一つに纏められ、各ピークグループＧＲの時間方向における位置Ｐ１～Ｐ８の間隔が、生体の動作の周期により近づくと考えられる。この結果、生体活動情報に対応する周波数帯域をさらに正確に抽出できる周波数フィルタが設定され得る。
【0189】
各信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３は、反射波に対応する情報に短時間フーリエ変換を行った情報に対して、時間区分毎にスペクトル積分した情報である。この場合、信号情報からノイズが除去され得る。
【0190】
生体活動情報取得部６７においてフィルタリング処理が行われる複数の信号情報の少なくとも１つに基づく情報は、複数の信号情報Ｂ０，Ｂ１，Ｂ２，Ｂ３のうち少なくとも２つを組み合わせた情報である。この場合、ダイバーシチ効果などによって、信号情報におけるノイズがさらに低減され得る。
【0191】
生体活動情報取得部６７においてフィルタリング処理が行われる複数の信号情報の少なくとも１つに関する情報は、複数の反射波Ｒが反射した位置のうち、検出対象の生体活動情報に対応する皮膚変動が最も大きい位置において反射した反射波Ｒに対応する信号情報Ｂ０に基づいている。この場合、生体活動情報の検出精度がさらに向上し得る。例えば、心拍を検出する場合には、心臓に近い位置において反射した反射波Ｒに対応する信号情報Ｂ０によれば、より心拍の検出精度が向上され得る。例えば、呼吸を検出する場合には、肺に近い位置において反射した反射波Ｒに対応する信号情報Ｂ０によれば、より呼吸の検出精度が向上され得る。
【0192】
次に、図１６、図１７（ａ）から図１７（ｂ）、及び、図１８（ａ）から図１８（ｂ）を参照して、上述した生体情報検出システム１及び処理Ｓ１から処理Ｓ３３による生体情報検出方法の検証の一例を説明する。以下、上述した生体情報検出システム１を用いた生体情報検出方法、及び、処理Ｓ１から処理Ｓ３３による生体情報検出方法を「本提案手法」という。
【0193】
本検証は、本提案方法による生体活動情報の検出結果と、比較例による生体活動情報の検出結果とを比較した。本検証において、生体活動情報の検出として、心拍の検出が行われた。信号制御部５として、マルチビームドップラーレーダーが用いられた。送信アンテナ２３及び受信アンテナ３１から生体までの距離は、１ｍであった。
【0194】
図１６は、本提案方法による生体活動情報の検出結果を示している。図１７（ａ）から図１７（ｂ）、及び、図１８（ａ）から図１８（ｂ）は、比較例による生体活動情報の検出結果を示している。図１６、図１７（ａ）から図１７（ｂ）、及び、図１８（ａ）から図１８（ｂ）において、縦軸はＲＲＩ（R-R Interval）であり、横軸は時間である。
【0195】
本提案方法において、生体の対象部位は、基準点から上下方向に－１．５９度から８．０９度の方位に位置していると検出された。図１６において示される検出結果は、本提案方法において検出された対象部位からの反射波Ｒを示す信号情報を基準信号情報とした。本検証において、基準点から３度の方位における反射波Ｒを示す信号情報が基準信号情報とされた。図１７（ａ）において示される検出結果は、基準点から＋３０度の方位における反射波Ｒを示す信号情報が基準信号情報とされた。図１７（ｂ）において示される検出結果は、基準点から＋１５度の方位における反射波Ｒを示す信号情報が基準信号情報とされた。図１８（ａ）において示される検出結果は、基準点から－３０度の方位における反射波Ｒを示す信号情報が基準信号情報とされた。図１８（ｂ）において示される検出結果は、基準点から－１５度の方位における反射波Ｒを示す信号情報が基準信号情報とされた。
【0196】
各検出結果において、データＤ１，Ｄ４，Ｄ７，Ｄ１０，Ｄ１３は、真値を示している。真値は、心電図による測定値である。
【0197】
各検証結果において、データＤ２，Ｄ５，Ｄ８，Ｄ１１，Ｄ１４は、各基準信号情報を用いて検出された生体活動情報に相当する。換言すれば、データＤ２，Ｄ５，Ｄ８，Ｄ１１，Ｄ１４は、それぞれの方位における反射波Ｒを示す信号情報のみを用いて検出された生体活動情報に相当する。例えば、データＤ５は、＋３０度の方位における反射波Ｒを示す信号情報のみを用いて検出された生体活動情報に相当する。各検証結果において、データＤ２，Ｄ５，Ｄ８，Ｄ１１，Ｄ１４は、各基準信号情報にビタビアルゴリズムが適用されている。各データＤ２，Ｄ５，Ｄ８，Ｄ１１，Ｄ１４は、周波数フィルタが適用されていないデータである。
【0198】
データＤ３，Ｄ６，Ｄ９，Ｄ１２，Ｄ１５は、それぞれ、データＤ２，Ｄ５，Ｄ８，Ｄ１１，Ｄ１４に周波数フィルタが適用されたデータである。周波数フィルタは、各データＤ３，Ｄ６，Ｄ９，Ｄ１２，Ｄ１５に対応する基準信号情報に基づいている。
【0199】
検出精度を示す指標として、“ＲＭＳＥ（Root Mean Squared Error）”が算出された。“ＲＭＳＥ”は、以下の式（１）によって求められる。
【数1】
【0200】
“Ｎ”は、観測されたＲＲＩの数である。ＲＲＩｅｓｔ（ｎ）は、ｎ番目に推定されたＲＲＩである。ＲＲＩｒｅｆ（ｎ）は、真値としてｎ番目に測定されたＢＢＩである。
【0201】
データＤ２において、ＲＭＳＥは２２０ｍｓであった。データＤ３において、ＲＭＳＥは１２６ｍｓであった。データＤ５において、ＲＭＳＥは３２２ｍｓであった。データＤ６において、ＲＭＳＥは１３１ｍｓであった。データＤ８において、ＲＭＳＥは３４７ｍｓであった。データＤ９において、ＲＭＳＥは１４６ｍｓであった。データＤ１０において、ＲＭＳＥは３６５ｍｓであった。データＤ１１において、ＲＭＳＥは１３１ｍｓであった。データＤ１３において、ＲＭＳＥは４０４ｍｓであった。データＤ１４において、ＲＭＳＥは１７８ｍｓであった。
【0202】
データＤ２と、データＤ５、Ｄ８、Ｄ１１、及び、Ｄ１４との比較によって、本提案方法によって検出された対象部位からの反射波Ｒを示す信号情報が基準信号情報として用いられた場合に、ＲＲＩの検出精度の向上が確認された。さらに、データＤ３と、データＤ６、Ｄ９、Ｄ１２、及び、Ｄ１５との比較によって、周波数フィルタが用いられた場合に、ＲＲＩの検出精度の向上が確認された。
【0203】
以上、本発明の実施形態及び変形例について説明してきたが、本発明は必ずしも上述した実施形態及び変形例に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
【0204】
例えば、生体情報検出システム１は、ＭＩＭＯ ＦＭＣＷレーダーに限らず、ＳＩＭＯ、ＭＩＳＯなどのレーダーであってもよい。生体情報検出システム１は、互いに異なる複数種のレーダーを含んでいてもよい。
【符号の説明】
【0205】
１…生体情報検出システム、１２…信号受信部、４１…情報取得部、６７…生体活動情報取得部、８２…格納部、８１…深度画像取得部、８３…部位検出部、９４…モデル作成部、Ｂ，Ｂ０，Ｂ１，Ｂ２，Ｂ３…信号情報、Ｈ，Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６，Ｊ…特徴点、Ｍ…生体、Ｒ…反射波、Ｖ１…深度画像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】