(58)【調査した分野】(Int.Cl.,DB名)
前記信号処理システムは、前記身体領域内の前記画像位置の少なくとも予め定められた一部における動きベクトル又はこの一部が、閾サイズを超えているかどうかを検出し、そうでない場合、前記寝返り動きの尺度を低減するようさらに構成されている、請求項1記載のモニタリングシステム。
前記信号処理システムは、前記身体領域内の前記画像位置の少なくとも第1の予め定められた一部における動きベクトルが、閾サイズを超えているかどうかと、前記主軸に沿った前記身体領域の第1の端部における前記画像位置の少なくとも第2の予め定められた一部における動きベクトルが、前記閾サイズを超えているかどうかと、を検出し、両方ともそうでない場合、前記寝返り動きの尺度を低減するようさらに構成されている、請求項1記載のモニタリングシステム。
前記信号処理システムは、時間の関数として、それぞれの位置からの動きベクトルの合計を累積し、累積された前記合計をローパスフィルタリングすることにより、前記寝返り動きの尺度を決定するようさらに構成されている、請求項1記載のモニタリングシステム。
前記信号処理システムは、前記主軸の前記方向に依存する顔検出及び/又は心拍検出のために、前記カメラからの画像内の関心領域を選択するようさらに構成されている、請求項2記載のモニタリングシステム。
【発明の概要】
【発明が解決しようとする課題】
【0005】
1つの目的は、とりわけ、ベッド上で睡眠している間の乳幼児等の人をモニタリングするためのモニタリング方法及びモニタリングシステムであって、睡眠状態のより信頼性の高い判別が可能であるモニタリング方法及びモニタリングシステムを提供することである。
【課題を解決するための手段】
【0006】
請求項1に従ったモニタリングシステムが提供される。本モニタリングシステムにおいて、動きベクトルが、寝返り動き(turning motion)の尺度(measure)を得るために使用される。動きベクトル推定は、例えばMPEGビデオ符号化から、それ自体が既知である。画像内の異なるブロックについて検出された動きベクトルの合計を使用することにより、寝返り動きのより信頼性の高い尺度を実現することができる。動きベクトルの合計を使用して、呼吸に起因する動きを検出することもでき、これから、睡眠姿勢に関連付けられる状態を決定することができる。予め定められた状態の検出、及び/又は、予め定められた時間期間を超える時間の間中の同じ検出状態の継続を用いて、ユーザへのアラート信号を生成することができる。
【0007】
一実施形態において、画像内の身体領域の主軸(major axis)に対して垂直な方向の、動きベクトルの成分の合計が、寝返り動きの尺度の算出において使用される。これは、寝返りでない動きとの区別を容易にする。さらなる実施形態において、身体領域は、画像を撮影した時点又はこの時点に隣接する時点を含む時間ウィンドウ中に撮影された、カメラからの画像のセットにおける画像コンテンツ変化に基づいて決定される。特に乳幼児の場合、身体領域の主軸は、ベッドの長手方向から著しくずれ得ることが見出されている。画像変化データに基づいて主軸を適応させることにより、寝返り動きの尺度をより信頼性の高いものにすることができる。検出された身体領域を使用して、主軸の方向に依存する呼吸検出、顔検出、及び/又は心拍検出のために、カメラからの画像内の関心領域を選択することができる。
【0008】
一実施形態において、信号処理システムは、寝返り動きの尺度が予め定められた動き量未満であることを示す不活発である(quiescent)時間間隔を検出し;検出された時間間隔のうちの連続する時間間隔に、連続する時間間隔のうちの1つの時間間隔を囲む周囲のさらなる時間間隔における寝返り動きの尺度のしるし(sign)、及び/又は、検出された時間間隔が生じた一連の時間間隔における連続する時間間隔のうちの1つの時間間隔の位置、にそれぞれ基づいて、異なる姿勢状態を割り当てるよう構成されている。
【0009】
したがって、例えば、異なる姿勢状態は、寝返り動きの周囲時間間隔における動きのしるしが、不活発である時間間隔が寝返り動きの累積尺度の極大値を示すか又は極小値を示すかに応じて、不活発である時間間隔に割り当てられ得る。前の不活発である時間間隔が「仰向け状態」に関連付けられていた場合、「うつ伏せ」姿勢状態が、不活発である時間間隔に割り当てられ得る、等である。極大値/極小値を含む別個の不活発である時間間隔が、他の不活発である時間間隔から、任意的に予め定められた時間期間中、測定された寝返り動きの閾量を超える量が生じた、寝返り動きの時間間隔だけ離れている時間間隔として検出され得る。
【0010】
一実施形態において、姿勢状態は、うつ伏せ姿勢状態、仰向け姿勢状態、及び横向き姿勢状態を含む。この実施形態において、不活発である時間間隔の間の寝返り動きの尺度の累積サイズ、及び/又は、不活発である時間間隔の間の寝返り動きの検出された継続時間、を使用して、異なる姿勢状態を割り当てることの間で選択することができる。一実施形態において、不活発である時間間隔の間の寝返り動きの尺度のしるしを使用して、左横向き姿勢状態への遷移を使用することと、右横向き姿勢状態への遷移を使用することと、の間で選択する。
【0011】
一実施形態において、信号処理システムは、カメラからの画像に基づいて、顔検出及び/又は呼吸検出を実行し、顔検出及び/又は呼吸検出の結果に基づいて、割り当てられた姿勢状態の部分を設定するよう構成されている。このようにして、不活発である時間間隔のシーケンスにおける仰向け姿勢状態とうつ伏せ姿勢状態とのスワップに対応する曖昧さを排除することができる。代替実施形態において、曖昧さは、不活発である時間間隔における状態を特定するユーザ入力を使用することにより、排除することができる。
【0012】
一実施形態において、信号処理システムは、「うつ伏せ」等の予め定められた姿勢状態が割り当てられているとき、例えば、この状態が、予め定められた時間期間より長く継続していたという条件に応じて、アラート信号を生成する。これは、乳幼児突然死症候群のリスクに対して警告するために、使用することができる。任意的に、信号処理システムは、測定された呼吸パラメータを伴う変化及び予め定められた姿勢状態の継続を検出したとき、アラート信号を生成するよう構成されている。同様に、同じ姿勢状態が、フラットヘッド症候群のリスクに対して警告するための第2の予め定められた時間間隔の間割り当てられたままであるとき、アラームが生成され得る。第2の時間間隔の継続時間は、乳幼児突然死のリスクに対して警告するために使用される時間間隔の継続時間よりも長いものであり得る。他の実施形態において、睡眠評価における使用のために、状態統計量が収集されてレポートされ得る。
【0013】
一実施形態において、寝返り動きの尺度の決定は、身体領域内の画像位置の少なくとも予め定められた一部における動きベクトル又はこの動きベクトルの一部が、閾サイズを超えているかどうかを検出することと、閾サイズを超えていない場合、寝返り動きの尺度を低減することと、を含む。身体領域の十分な一部における動きの欠如は、動きが、寝返りではなく脚の蹴りに起因し得ることを示す。したがって、寝返りに関連しない動きの検出を無効にすることができる。例えば、身体領域の十分な一部が、動きを示さない場合、寝返り動きの尺度は、ゼロに低減され得る。さらなる実施形態において、十分な動きが、それぞれの領域内で検出されなかったとき、寝返り動きの尺度は低減される。したがって、乳幼児の脚を示していない領域におけるテストが含まれ得る。
【0014】
一実施形態において、寝返り動きの尺度は、時間の関数として、それぞれの位置からの動きベクトルの合計を累積し、任意的に、十分大きな領域において動きが検出されなかった時点について、ゼロ又は別の低い値により合計を置換した後、累積された合計をローパスフィルタリングすることにより、決定される。これは、信頼性の高い寝返り検出結果をもたらすことが見出されている。
【0015】
本方法は、磁気ディスク、光ディスク、又は半導体メモリ等の有体の媒体といったコンピュータプログラム製品上のコンピュータプログラムを使用して実施されてもよい。
【発明を実施するための形態】
【0017】
図1は、カメラ10、任意的な光源12、任意的な送信機18、及び信号処理システム14を有するモニタリングシステムを示している。信号処理システム14は、動きベクトル推定器140及び評価モジュール142を有する。動作中、カメラ10、及び任意的に光源12は、ベッド16の寝床面上の人の連続画像を撮影するために、ベッド16の寝床面に向けられる。評価モジュール142は、アラート信号を生成するよう構成され得る、且つ/又は、任意的に、例えば寝床面上の人がうつ伏せであるとき、カメラ画像から、寝床面上の人が望ましくない位置にいることが検出されたとき、送信機18にアラートメッセージを送信させるように構成されてもよい。人が乳幼児である場合、これを使用して、乳幼児突然死(SID)のリスクを低減させるように介入することができる。評価モジュール142は、寝返りの頻度や人がそれぞれの位置にいる平均継続時間等の、身体位置の統計量を算出するよう構成され得る。
【0018】
そのようなモニタリングシステムにおいて、身体の動き及び/又は身体位置の検出の信頼性は、重要な要点である。システムの有効性は、望ましくない位置を検出しない頻度が増すにつれ、低下する。頻繁な誤アラームは、アラートが追跡されなくなるリスクを増大させる。
【0019】
図2は、身体回転検出のフローチャートを示している。このフローチャートは、連続する時点において得られた画像に対して反復的に実行される。第1のステップ21において、信号処理システム14は、カメラ10から画像を受信する。第2のステップ22において、動きベクトル推定器140は、画像位置のそれぞれのブロックの動きベクトルを決定する。
【0020】
第3のステップ23において、評価モジュール142は、受信された画像及び/又は動きベクトルを使用して、画像内の人の身体領域に関連付けられている、画像内の位置のマップをアップデートする、又は、そのような位置のセットの輪郭(outline)のマップを少なくともアップデートする。第4のステップ24において、評価モジュール142は、身体領域に関連付けられている、画像内の位置のマップを使用して、身体領域の主軸の方向を決定する(
図2a参照)。
【0021】
第5のステップ25において、評価モジュール142は、身体領域の主軸に対して垂直な方向の、画像内のそれぞれのブロックにおいて検出された垂直動きベクトル成分の合計を算出する。第5のステップ25から、このプロセスは、次の時点において撮影された次の画像に対して、第1のステップ21から反復する。このように、第5のステップ25の連続する実行で得られた合計値が、時間の関数として得られる。垂直動きベクトル成分の合計は、(例えば、50Hz又は60Hzのフレームレートで)撮影された各画像について算出され得るが、例えば、0.1秒ごとに1つの画像又はさらに低頻度な画像を使用して、画像のサブサンプリングされたセットに対してこのようにすることが十分な場合もある。これは、必要とされる処理量を低減させる。垂直動きベクトル成分の合計は、寝返り動きの尺度として直接的に使用され得る。
【0022】
任意的に、評価モジュール142は、この合計を、垂直動きベクトルの累積合計に加算する第6のステップを実行してもよい。このように、第6のステップ26の連続する実行で得られた累積合計値が、時間の関数として得られる。
【0023】
図3は、時間の関数としての、乳幼児の画像から得られた垂直動きの累積合計値の平滑化プロットの一例を示している。傾きが大きい時間範囲において、観察された人は寝返りしている。これらの寝返りしている時間範囲の間には、不活発である時間範囲が存在する。不活発である時間範囲は、極小値及び極大値を含んでいた。不活発である時間範囲において、観察された人の身体は、例えば仰向け又はうつ伏せといった固定姿勢である。例えば、極大値は全て、うつ伏せ姿勢に対応し得、極小値は全て、仰向け姿勢に対応し得る。
【0024】
平滑化は、予め定められた数の連続する時点(例えば、5つの時点)にわたって累積値を平均化する等、時間ローパスフィルタリングにより実現され得る。累積合計値とそのローパスフィルタリングされたバージョン又はその時間微分係数とは、寝返り動きの尺度として垂直動きの合計を直接的に使用する代わりに、寝返り動きの尺度として使用され得る。
【0025】
第4のステップ24は、寝返り動きの尺度が成人に関して算出される場合には、予め設定されている方向の使用により置換され得る。この場合、主軸の方向の決定は、ベッドの主方向(頭部端から足部端への方向)に対応する方向の使用により置換され得る。しかしながら、小さな子供の睡眠姿勢をモニタリングするためには、身体の主軸の方向の決定が必要である。なぜならば、小さな子供は、寝返りに関連しない相当の動きを示し、ベッドに対して多様な向きを取り得るからである。
【0026】
さらなる実施形態において、テストステップが実行される。このテストステップにおいて、予め定められた動きベクトル閾値(例えば、ゼロ)を超える動きベクトルが検出された画像位置ブロックの第1の総数が算出される。さらに、位置のマップにより示される身体領域の上側部分にある画像位置ブロックの第2の総数が算出される。ここで、前記上側部分は、主軸上の選択点を使用して、主軸上の選択点を超える主軸上の射影点を有する画像点からなる領域として選択され得る。主軸上の選択点は、主軸に沿った身体の長さの少なくとも中間に存在し、より好ましくは、主軸の頭部端から長さの40パーセント未満である位置に存在する。一実施形態において、予め定められた動きベクトル閾値を超える、主軸の垂線(normal)上の動きベクトル射影を有する位置のみがカウントされる。第1の総数及び第2の総数が、それぞれ、予め定められた第1の閾値及び第2の閾値を超えない場合、垂直動きベクトルの合計値のサイズが、ゼロにより置換される。代替的に、合計値は、ある係数(factor)だけ低減されてもよい。好ましくは、テストステップは、第5のステップ25の前に実行され、第1の総数及び第2の総数が、それぞれ、予め定められた第1の閾値及び第2の閾値を超えない場合には、第5のステップ25の算出がスキップされる。しかしながら、代替的に、第5のステップ25は、いずれの場合にも実行されてもよい。したがって、寝返り動きの尺度として垂直動きの合計を直接的に使用する代わりに、テストステップに応じて合計が低減された又はゼロにより置換された時間の関数が、寝返り動きの尺度として使用され得る。合計の算出を伴う及び伴わないゼロの使用、及びある係数だけ低減することは、全て、寝返り動きの尺度の低減と呼ばれる。
【0027】
テストステップの追加は、動きベクトルが、身体全体の回転ではなく局所的動きのみに起因する場合には、回転検出を無効にすることができる、という利点を有する。特に乳幼児は、脚の蹴り等の、回転に対応しない動きをする傾向がある。テストステップを使用することにより、そのような動きに起因する誤回転検出のリスクを低減させることができる。
【0028】
第2のステップ22の動きベクトル検出は、それ自体が既知である方法を使用して実行され得る。方法は、例えば、ビデオ符号化(例えばMPEG)、又は、「真の」動きが重要な特性であるピクチャレート変換アルゴリズムから、それ自体が既知である。例えば、画像内の8×8画素ブロックのアレイにおける各それぞれのブロックについて、動きベクトル推定器140は、以前に受信された画像内の8×8画素ソースブロック間を探索して、どのソースブロックが、それぞれのブロックの画像コンテンツと最も異ならない画像コンテンツを有するかを特定することができる。それぞれのブロックの動きベクトルは、それぞれのブロックの位置と特定されたソースブロックの位置との間の差から決定され得る。
【0029】
図2aは、身体領域に関連付けられている、画像内の位置のマップ200内の身体領域210の一例を示している。直線220は、身体領域210の主軸を示している。画像内の人の身体領域に関連付けられている、画像内の位置のマップの第3のステップ23のアップデートは、局所的画像コンテンツ変化の検出及び/又は動きベクトルサイズに基づき得る。それぞれの位置に関連付けられている画像コンテンツの変化が、画像を撮影する前の予め定められた長さの時間間隔(例えば、少なくとも0.5秒であり、1分未満である時間間隔)中の任意の時間に閾値を超えたとき、それぞれの位置がマーク付けされ得る。
【0030】
一実施形態において、動き履歴画像(motion history image)が使用され得、ここで、画像位置のセットの各画像位置が、画像コンテンツ変化が当該画像位置に関して検出された最後の時点の時間値(又は、画像コンテンツ変化が検出されなかった場合若しくは予め定められた長さの先行する時間間隔内で検出が生じなかった場合にはヌル値)に関連付けられる。この実施形態において、第3のステップ23は、現在の画像内の画像位置に関する局所的画像コンテンツと前の画像内の画像位置に関する局所的画像コンテンツとを比較すること、及び、予め定められた変化量を超える変化量が検出されたときには、画像位置に関する時間値を現在時間にアップデートすること、を含み得る。この場合、現時点の身体領域は、過去において時間値が予め定められた時間的距離より大きくない画像位置を含む領域であるとみなされ得る。
【0031】
それぞれの位置に関連付けられる画像コンテンツとして、それぞれの位置における画素値が使用され得る、あるいは、それぞれの位置に対する予め定められた空間位置における画素値のブロックのコンテンツが使用され得る。それぞれの位置の動きベクトルは、例えば、画像コンテンツの変化の検出量として使用され得る。
【0032】
身体領域の主軸は、ある方向に身体領域を通って伸びる直線であって、この方向は、当該方向に沿った身体領域のサイズが、身体領域のサイズの少なくとも半分よりも大きくなるように選択され、より好ましくは、全ての可能な方向の少なくとも3分の2よりも大きくなるように選択される、直線に対応する。好ましくは、この直線は、身体領域を等しいサイズの部分に分割するように位置決めされる。好ましくは、ある方向に沿った身体領域のサイズが、全ての他の方向におけるサイズより大きい又は少なくとも小さくない当該方向の主軸が使用される。そのような好ましい主軸が使用される場合、この好ましい主軸に対して(斜めに)横断する(transverse)斜め横断動き成分が、垂直動きの代わりに使用され得、ここで、横断は、平行ではないことを意味するものであり、好ましくは、好ましい主軸に対して90度プラス45度(135度)から90度マイナス45度(45度)の間であり、より好ましくは、90度プラス30度(120度)から90度マイナス30度(60度)の間を意味する。
【0033】
主軸を決定する様々な方法のうちの任意の1つの方法が使用され得る。身体領域の主軸の方向の決定は、例えば、画像マップに従った身体領域にある画像位置又は身体領域の境界上の画像位置に対して最小二乗法を適用して直線を近似することにより実行され得る。モーメントの計算が使用され得る(平均線形x,y画像位置値及び平均双線形値Rxx=(x−<x>*(x−<x>),Rxy=(x−<x>)*(y−<y>),Ryy=(y−<y>*(y−<y>))。この場合、主軸は、行列((Rxx,Rxy),(Rxy,Ryy))の固有ベクトルとして決定され得、最大固有値を有する固有ベクトルが選択される。代替的に、複数の方向に沿ったサイズが決定され、最大サイズをもたらす方向が選択されてもよい。
【0034】
第5のステップ25における合計の算出は、主軸の方向と、各ブロックの動きベクトルのx成分及びy成分と、を使用して、動きベクトルの、主軸に対して垂直な成分を算出し、次いで、ブロックにわたってこれらの成分を合計することにより実行され得る。代替的に、ブロックの動きベクトルのx成分及びy成分が合計され、動きベクトルの、主軸に対して垂直な成分が、この合計から算出されてもよい。
【0035】
寝返り動きの累積尺度(垂直動きの平滑化された累積合計値であって、任意的に、テストステップが身体全体の動きを示さなかった時点における合計が低減されている累積合計値)において、極大値及び極小値が、大まかに言えば、異なる身体姿勢に関連付けられ得る。
図3の例において、人は、各極大値のときにうつ伏せであり、各極小値のときに仰向けであった。
【0036】
図3は、垂直動きの累積合計値の平滑化プロットにおける極大値及び極小値を示している。一実施形態において、評価モジュール142は、寝返り動きの尺度から不活発である時間間隔を検出し、不活発である時間間隔を、身体姿勢に関連付けられた状態に関連付けるよう構成されている。この状態及び/又はその継続時間に応じて、例えば、「うつ伏せ」姿勢を有する状態が選択されているとき、アラート信号が生成され得る。
【0037】
不活発である時間間隔は、例えば、間隔において累積されている寝返り動きが予め定められた閾値未満である場合、検出され得る。評価モジュール142は、各不活発である時間間隔の前及び後の、寝返り動きの周囲時間間隔における動き方向に従って、状態を各不活発である時間間隔に関連付けるよう構成され得る。前の寝返りしている時間間隔が第1の方向の動きを有するときには、第1の状態が関連付けられ、後の寝返りしている時間間隔が第1の方向とは逆の第2の方向を有するときには、第2の状態が関連付けられる。逆も同様に、前の寝返りしている時間間隔及び後の寝返りしている時間間隔がそれぞれ第1の方向及び第2の方向の動きを有するときには、不活発である時間間隔は、第2の状態に関連付けられ得る。ここで、ある方向の動きを有することは、例えば、寝返りしている時間間隔における累積動きから判定され得る。不活発である時間間隔の周囲時間間隔が、同じ方向の動きを有するときには、1周のターン(turn through)が生じており、この不活発である時間間隔の状態が、次の又は前の不活発である時間間隔の逆として選択され得る。
【0038】
しかしながら、一方では極大値及び極小値に応じた状態と、他方では異なる身体姿勢と、の間の関係は、明白ではない。いくつかの場合において、この関係は逆転することがある。一実施形態において、本システムは、所与の時間における本当の姿勢を示すユーザ入力を使用して、その姿勢を、その時間に関して検出された極小値又は極大値のうちの1つに関連付けるよう構成され得る。本システムは、乳幼児をベッド上に横たわらせた後、且つ/又は、姿勢と極小値又は極大値との間の関連付けをまだ確立できていないとき、本システムをアクティブ化するためにこのユーザ入力を要求するよう構成され得る。一実施形態において、本システムは、例えば、乳幼児が寝かせつけられたとき、又は、姿勢と極小値又は極大値との間の関連付けをまだ確立できていないとき、この入力をユーザに促すよう構成され得る。
【0039】
さらに、又は、別の実施形態において、コンピュータにより実施される視覚的顔検出及び/又は呼吸検出を使用して、極小値及び極大値に関連付けられる状態と異なる姿勢との間の関係の曖昧さをなくすことができる。
【0040】
原則的に、コンピュータにより実施される視覚的顔検出を使用して、異なる姿勢を自然に区別することができる。カメラが、下向きに向けられているとき、又は、ベッド16の寝床面に向けて主として下向き方向にあるとき、正面顔の検出が、「仰向け」姿勢に関連付けられ得、顔の不検出が、「うつ伏せ」姿勢に関連付けられ得る。横顔の検出も使用されてよい。しかしながら、睡眠している人(特に乳幼児)の正面顔の不検出は、しばしば、「うつ伏せ」姿勢に起因するものではないことが見出されている。さらに、誤検出が頻繁に生じる。
【0041】
コンピュータにより実施される視覚的顔検出は、それ自体が既知である。例えば、「P. Viola et al, Rapid Object Detection using a Boosted Cascade of Simple Features, CVPR 2001」を参照されたい。この文献においては、学習アルゴリズムを使用して、効率的な分類器を形成するために、より大きなセットから複数の特徴を選択する。さらに、ますます複雑な分類器のカスケードが形成され、これは、画像の背景領域が迅速に破棄されることを可能にする。例えば、正面顔検出のための分類器は、両眼に対応する類似する画像領域のペアと、両眼領域を通る直線に対して平行な、口に対応するさらなる画像領域と、を含む特徴の組合せの検出に依拠し得るものであり、任意的に、これらの間の鼻に対応する画像領域の検出に依拠する。横顔検出のための分類器は、顎、鼻、及び片眼領域、並びに両眼に対応する連続する画像領域と、片耳に対応する画像領域と、を含む特徴の組合せの検出に依拠し得る。
【0042】
図4は、身体回転検出に基づく顔検出のフローチャートを示している。第1のステップ41において、評価モジュール142は、受信された画像を使用して、関心領域を選択する。一実施形態において、評価モジュール142は、主軸に沿った検出された身体領域の端部における領域を選択することにより、この目的のために、
図2のフローチャートの第3のステップ23において得られた身体領域マップを使用する。
【0043】
第2のステップ42において、評価モジュール142は、主軸の方向に、主軸に対する予め定められたオフセット角度を加えたものに対応する角度を使用して、関心領域内の画像コンテンツの複数の異なる回転バージョンを生成する。例えば、±15度の範囲内にある3度刻みのオフセット角度が使用され得る。
【0044】
第3のステップ43において、評価モジュール142は、正面顔検出アルゴリズムと、任意的に横顔正面顔検出アルゴリズムと、を画像コンテンツの回転バージョンに適用する。
【0045】
第4のステップ44において、評価モジュール142は、顔検出アルゴリズムが回転バージョンのいずれかにおいて顔を検出したか否かに応じた顔検出結果を設定する。任意的に、評価モジュール142は、正面顔が検出されたか、横顔が検出されたか、又は顔が検出されなかったかに応じた顔検出結果を設定する。
【0046】
第4のステップ44から、このプロセスは、次の時点において撮影された次の画像に対して、第1のステップ41から反復する。したがって、時間の関数としての顔検出結果が生成される。
【0047】
図5は、乳幼児に関する正面顔検出結果及び正面顔不検出結果だけを伴って得られた顔検出関数の平滑化バージョンのプロットを示している。平滑化は、ローパスフィルタリングにより実行され得る。高平滑化値は、多くの時点において顔が検出されたことを示しており、漸減しているより小さな平滑化値は、それほど頻繁には顔が検出されなかったことを示している。参考までに、観察された乳幼児が仰向けであったか否かを示した矩形関数が図示されている。確認できるように、「仰向け」位置と顔検出との間には何らかの相関性があるが、1対1関係はない。
【0048】
しかしながら、
図2を用いて説明した寝返り動きの検出と組み合わせると、顔検出を使用して、寝返り動き検出の結果の曖昧さをなくすことができる、すなわち、寝返り動きの累積尺度の極大値が、「仰向け」姿勢に対応するか又は「うつ伏せ」姿勢に対応するかを判別することができる。
【0049】
図6は、姿勢を判別するために一実施形態において使用される状態機械モデルを示している。状態機械モデルは、「仰向け」状態60及び「うつ伏せ」状態62を有する。評価モジュール142は、これらの状態のうちの1つを、連続する時点に割り当てる。割り当てられる状態は、寝返りが検出されない限り又は顔が閾信頼度をもって検出されない限り、前の時点の割り当てられた状態のコピーである。寝返りが検出されたとき、評価モジュール142は、状態を変更し、顔が閾信頼度をもって検出されたとき、評価モジュール142は、状態を「仰向け」に設定する。評価モジュール142は、割り当てられた状態を使用して、状態のうちの1つが割り当てられた時点の総数の推定値(これは、対応する姿勢にかかった総時間を示す)や、状態が寝返りの間で割り当てられている時間間隔の平均継続時間等の統計量を算出することができる。
【0050】
この目的のために、評価モジュール142は、寝返り動きの累積尺度において不活発である時間間隔とは区別される寝返りしている時間間隔を検出することにより、寝返りを検出することができる。様々な方法を使用して、寝返りしている時間間隔を検出することができる。寝返り動きの累積尺度が、極大値又は極小値付近の最大値又は最小値から予め定められた量より多くずれている時間間隔(任意的に、少なくとも予め定められた最小継続時間を有する時間間隔に制限される)が、例えば、不活発である時間間隔とみなされ得る。別の例として、寝返り動きの尺度(又は寝返り動きの累積尺度の時間微分係数)が閾値を超えている時点を含む寝返りしている時間間隔、又は、予め定められた時間的距離未満だけ離れてこれが生じた時点の間にある時点を含む寝返りしている時間間隔が、識別され得る。任意的に、動き及び/又は時間間隔の継続時間を有する当該時間間隔における寝返り動きの累積サイズが、予め定められた閾値又は閾値を超えているかどうかのテストが、寝返りしている時間間隔として当該時間間隔を識別するための条件として使用され得る。
【0051】
評価モジュール142は、顔検出結果が、選択された時点を含む時間ウィンドウ内の閾数より多い数の周囲時点について顔が検出されたことを示す場合、顔が閾信頼度をもって検出されたかどうかを検出することができる。例えば、時間ウィンドウの90%という閾値が使用され得、より一般的には、予め定められた閾値未満にフォルスポジティブ検出の可能性を低減させる閾値が、フォルスネガティブの可能性にかかわらず、使用され得る。
【0052】
図6の状態機械モデルは、一例に過ぎない。1以上の「横向き」状態を含むより複雑な状態機械モデルが使用されてもよい。
【0053】
寝返りが検出されたとき、評価モジュール142は、寝返り量(例えば、寝返りしている時間間隔中の寝返り動きの尺度の累積)及び/又はその継続時間が、全ターン(full turn)に関連付けられている予め定められた範囲内にあるか又は半ターン(half turn)に関連付けられている範囲内にあるかを判定することができる。例えば、予め定められた閾値を使用して、全ターンを半ターンと区別することができる。一実施形態において、この範囲は、例えば、最大検出寝返り量、及び/又は検出された寝返り事象における寝返り継続時間の4分の3という閾値を使用して、適応的に設定される。別の例として、クラスタリングアルゴリズムを使用して、寝返り動きの量及び/又は継続時間に基づいて、全ターンクラスタ及び半ターンクラスタを含む、関連付けられている範囲を有する寝返り事象のクラスタを識別する。
【0054】
寝返り量が、全ターン範囲であるか又は半ターン範囲であるかの判定の結果に応じて、評価モジュール142は、全ターン(例えば、仰向けからうつ伏せ、又はその逆)により状態を変更することと、半ターン(例えば、仰向けから横向き)により状態を変更することと、の間で選択することができる。さらに、一実施形態において、評価モジュール142は、動きの方向(寝返り動きの尺度のしるし)を使用して、ある方向(例えば、横向きからうつ伏せ)における状態を変更することと、別の方向(例えば、横向きから仰向け)における状態を変更することと、の間で選択することができる。
【0055】
さらに、顔の横ビューの検出が、横向き姿勢のインジケーションとして使用され得るが、身体がうつ伏せ又は仰向けであるときに、頭部の向きが横に変えられることがあるため、これは確実ではない。任意的に、顔検出が使用されるとき、顔の横ビューの検出が、寝返り動きの尺度からの寝返りしている時間間隔の検出の後の予め定められた時間間隔中に開始する、又は、この予め定められた時間間隔を超えずに開始するという条件で、顔の横ビューの検出が使用される。
【0056】
この種のプロセスを表現するために状態機械が説明されたが、評価モジュール142は、曖昧さのない状態機械を使用しなくても、このプロセスを実装することができることを理解されたい。例えば、評価モジュール142は、単に、寝返している周囲時間間隔に関して寝返り動きの累積尺度の最小値又は最大値を有する不活発である時間間隔が、「仰向け」姿勢に関連付けられているかどうかを示すフラグを設定し、寝返りの累積尺度の極小値の間に検出が生じたか又は極大値の間に検出が生じたかに応じて、顔が閾信頼度をもって検出されたときに、このフラグをアップデートしてもよい。評価モジュール142は、単に、寝返り動きの累積尺度の極大値付近の不活発である時間間隔を選択し、顔が閾信頼度をもって検出された場合には、「仰向け」姿勢を上記時間間隔に割り当て、そうでなければ、近傍の不活発である時間間隔に割り当てられている姿勢の逆をコピーしてもよい。
【0057】
さらなる実施形態において、信号処理システム14は、呼吸検出器及び/又は心拍検出器を有することができる。呼吸検出器は、身体の胴体部分の表面を示す画像部分内の小さな周期的動きから、呼吸を検出するよう構成され得る。心拍検出器は、身体の露出している部分を示す画像部分における周期的な強度(intensity)及び/又は色の変化から、心拍を検出するよう構成され得る。これらの変化は、パルス状の血流に起因するものである。視覚的心拍検出を実行するための技術は、米国特許第8542877号、米国特許第8542878号、及び米国特許第8553940号にそれ自体が開示されている。
【0058】
心拍検出器は、検出された顔の位置を使用して、関心領域を選択するよう構成され得る、又は、第1のステップ41に従って選択された領域を少なくとも使用するよう構成され得る。心拍検出器は、選択された領域内の画像の画像強度値を合計することができる。したがって、連続する時点の画像は、時間の関数としての画像強度の合計をもたらす。この関数の時間自己相関又はフーリエ変換が、算出され得、心拍周波数が、自己相関度又はフーリエ変換振幅におけるピークから検出され得る。任意的に、心拍検出結果は、寝返り動きの尺度から検出された不活発である時間間隔外では無効にされてもよい。
【0059】
呼吸検出器は、人の身体領域に関連付けられている、画像内の位置のマップに基づいて、身体胴体領域を選択するよう構成され得る。呼吸検出器は、選択された領域内の動きベクトル又は動きベクトルの合計から、時間の関数として検出関数を算出することができる。一実施形態において、呼吸検出器は、選択された領域内の異なる画像の画像コンテンツ間の空間相関性から、時間の関数として検出関数を算出することができる。代替的又は追加的に、(連続する)画像内の画素値の間の差が算出される動き検出方法を使用して、呼吸波形を抽出してもよい。呼吸検出器は、検出関数から、心拍周波数決定のために使用されるのと類似する方法により、呼吸周波数を算出することができる。
【0060】
光源12は、例えばLEDを含むランプであり得る。光源12は、例えば赤外線光源であり得る。一実施形態において、光源12は、例えば、ブロック若しくはストライプのパターンの形態で、又は、それぞれの分離された方向への光線のアレイの形態で、あるいは、互いから分離された光面(light plane)のアレイの形態で、ある角度の構造化光をカメラ視方向に投影するよう構成され得る。これを使用して、ビデオシーケンスにおける呼吸動きの検出可能性を高めることができる。構造化光は、寝返り動きの検出において使用されてもよい。しかしながら、構造化光は、心拍検出を妨げることがある。
【0061】
さらなる実施形態において、光源12は、構造化光源を含み、本モニタリングシステムは、周期的なパターンで構造化光源のオンとオフとを交互に切り替える、好ましくは、第1の数のカメラ画像が構造化光を使用して撮影され、第2の数のカメラ画像が構造化光を使用せずに撮影されるようにカメラ10による画像撮影と同期して、オンとオフとを交互に切り替えるよう構成されている制御回路を有する。この実施形態において、心拍検出器は、制御回路による切り替えと同期して動作し、構造化光を使用せずに撮影された画像のみを使用して心拍周期数を決定するよう構成され得る。同様に、呼吸検出器は、制御回路による切り替えと同期して動作し、構造化光を使用して撮影された画像のみを使用して呼吸周期数を決定するよう構成され得る。
【0062】
一実施形態において、呼吸検出器を使用して、姿勢検出を支援することができる。原則的に、コンピュータにより実施される視覚的呼吸検出を使用して、異なる姿勢を自然に区別することができる。なぜならば、呼吸に起因する動きは、姿勢が一定のままである間に生じ、動きパターンは、姿勢に応じて異なるからである。呼吸に起因する動きは、主として腹ばい及び胸ばいで生じる。カメラが、画像内で上下方向の身体主軸に対して垂直な角度に向けられているとき、「仰向け」姿勢での観察される呼吸動きは、主として上下方向である。「横向き」姿勢において、この動きは、主として横方向である。評価モジュール142は、観察された呼吸動きの方向を分析して、それに応じて姿勢を識別することができる。
【0063】
呼吸に起因する動きは、寝返りに起因する動きよりもはるかに小さいが、呼吸検出器は、呼吸に関連付けられることが予期される、検出された身体領域の部分(頭部より下の身体領域の上側部分及び両サイド)からの画像データを選択的に使用することにより、且つ/又は、呼吸動きの周期性を利用して、呼吸動きをバンドパスフィルタリングすることにより、呼吸を検出することができる。
【0064】
姿勢を検出するために、検出された呼吸動きの位置及び/又はその動きの方向が使用され得る。評価モジュール142は、呼吸動きが、身体領域のマップにより示される身体領域内の少なくとも予め定められた領域にわたって検出されたかどうかを評価し、そうである場合には「うつ伏せ」姿勢を割り当てるよう構成され得る。評価モジュール142は、呼吸動きが、身体領域のエッジに沿った直線領域内で主として検出されたかどうかを評価し、そうである場合には「横向き」姿勢を割り当てるよう構成され得る。
【0065】
代替的又は追加的に、評価モジュール142は、検出された呼吸動きベクトル方向が、身体領域の主軸に沿った方向により近いか又はこの主軸に直交する方向により近いかを識別して、「うつ伏せ」姿勢又は「横向き」姿勢をそれぞれ割り当てるよう構成されてもよい。さらに、評価モジュール142は、呼吸動き振幅が閾値未満であるとき、且つ/又は、身体寝返りが検出されたとき、呼吸検出を無効にするよう構成され得る。領域及び/又は方向に加えて呼吸動き振幅の予め定められた範囲が、評価モジュール142が様々な姿勢を割り当てるための基準として使用するために、規定され得る。
【0066】
呼吸検出器は、上述したように、呼吸周波数を検出し、検出された呼吸周波数を使用して、バンドパスフィルタの中心周波数を制御し、バンドパスフィルタを使用して検出された動きベクトルをフィルタリングして、姿勢検出において使用するための検出された呼吸動きベクトルを得るよう構成され得る。
【0067】
顔検出を使用する姿勢検出と同様に、呼吸を使用する姿勢検出は、信頼性が低いという問題があり得る。顔検出を使用する姿勢検出と同様に、呼吸を使用する姿勢検出を使用して、寝返り動きの尺度から得られた結果の曖昧さをなくすことができる。例えば、少なくとも予め定められた継続時間中、呼吸が一貫して検出されているとき、評価モジュール142は、顔検出に関して説明したように、顔検出の代わりに、検出された呼吸パターンと対応するように状態をアップデートすることができる。一実施形態において、顔検出と呼吸検出との組合せが、この目的のために使用され得る。
【0068】
評価モジュール142は、頭部が、「横向き位置」において左を向いているか又は右を向いているかを検出するよう構成され得る。これは、顔検出及び/又は呼吸検出から直接的に判定されてもよいし、これらの検出が利用可能でない場合には、寝返り動きに基づいて判定されてもよい。評価モジュール142は、寝返り動きの尺度が、「仰向け」姿勢から「横向き」姿勢への遷移における左の動きを示すか又は右の動きを示すかに応じて、横向き状態を、それぞれ左を向いている又は右を向いているとして、はっきりとマーク付けすることができる。同様に、評価モジュール142は、寝返り動きの尺度が、「うつ伏せ」姿勢から「横向き」姿勢への遷移における右の動きを示すか又は左の動きを示すかに応じて、横向き姿勢を、それぞれ左を向いている又は右を向いているとして、はっきりとマーク付けすることができる。
【0069】
評価モジュール142は、検出された姿勢に基づいて、
−夜中の間に各身体位置において乳幼児が横たわっていた時間期間、
−寝返り動きの総数、
−乳幼児の頭部が、どれくらいの時間の間同じ位置にあったかの時間測定値、
−頭部が、ほとんどの時間一方向に向きを変えていたかどうかの検出、
−頭部が、ほとんどの時間一つのサイドに傾いていたかどうかの検出、
−呼吸データ、心拍データ、活発である睡眠と不活発である睡眠との相対量、睡眠タイミングデータ、
−乳幼児の発達、及び、乳幼児突然死症候群やフラットヘッド症候群等の健康リスクの進展に関連し得る上記ファクタの経時的な変化、
を算出するよう構成され得る。
【0070】
評価モジュール142は、これらの情報項目のうちの1以上に基づいて、測定結果画像を生成するよう構成され得る。評価モジュール142は、検出された姿勢に基づいて、乳幼児がうつ伏せで横たわっているとき、且つ/又は、頭部が、予め定められた時間時間よりも長く同じ位置にあるとき、信号を生成するよう構成され得る。
【0071】
評価モジュール142は、呼吸検出の結果に応じて、信号の生成を行うよう構成され得る。例えば、評価モジュール142は、検出された呼吸周波数の予め定められた変化を超えている変化がその状態中に生じたとき、且つ/又は、予め定められた範囲内のパラメータを伴う呼吸が検出されなかったときに限り、条件付きで、検出された姿勢に基づいて信号を生成するよう構成され得る。これは、姿勢検出のための呼吸検出を使用することなく使用され得るが、姿勢検出のための使用との組合せは、追加オーバーヘッドがそれほどなく姿勢検出をより信頼性の高いものにすることができるという利点を有する。
【0072】
開示した実施形態に対する他の変形が、図面、本開示、及び請求項を検討することから、特許請求される発明を実施する際に、当業者により理解され、もたらされ得る。請求項において、「備える、含む、有する(comprising)」という用語は、他の要素又はステップを排除せず、不定冠詞「a」又は「an」は、複数を排除しない。単一のプロセッサ又は他のユニットが、請求項中に記載された複数のアイテムの機能を満たしてもよい。所定の手段が相互に異なる従属請求項に記載されるという単なる事実は、これらの手段の組合せが有利に使用され得ないことを示すものではない。コンピュータプログラムは、他のハードウェアと一緒に又は他のハードウェアの一部として提供される光記憶媒体又はソリッドステート媒体等の適切な媒体上に記憶/配布され得るが、インターネット又は他の有線若しくは無線電気通信システムを介して等、他の形で配布されることもある。請求項中のいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。