知財求人 - 知財ポータルサイト「IP Force」
▶ エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2021-511598(P2021-511598A)
(43)【公表日】2021年5月6日
(54)【発明の名称】眠っている人の体の動きを検出する方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20210409BHJP
【ＦＩ】
G06T7/20 300Z
【審査請求】未請求
【予備審査請求】未請求
【全頁数】24
(21)【出願番号】特願2020-540462(P2020-540462)
(86)(22)【出願日】2019年1月21日
(85)【翻訳文提出日】2020年9月1日
(86)【国際出願番号】AT2019060019
(87)【国際公開番号】WO2019140476
(87)【国際公開日】20190725
(31)【優先権主張番号】A50049/2018
(32)【優先日】2018年1月22日
(33)【優先権主張国】AT
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】507313412
【氏名又は名称】エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】ＡＩＴ Ａｕｓｔｒｉａｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ ＧｍｂＨ
(74)【代理人】
【識別番号】110000095
【氏名又は名称】特許業務法人Ｔ．Ｓ．パートナーズ
(74)【代理人】
【識別番号】100082887
【弁理士】
【氏名又は名称】小川 利春
(74)【代理人】
【識別番号】100181331
【弁理士】
【氏名又は名称】金 鎭文
(74)【代理人】
【識別番号】100183597
【弁理士】
【氏名又は名称】比企野 健
(74)【代理人】
【識別番号】100161997
【弁理士】
【氏名又は名称】横井 大一郎
(74)【代理人】
【識別番号】100090918
【弁理士】
【氏名又は名称】泉名 謙治
(72)【発明者】
【氏名】コーン ベルンハルト
(72)【発明者】
【氏名】ガル マルクス
(72)【発明者】
【氏名】ヴィースマイヤー クリストフ
(72)【発明者】
【氏名】ガルン ハインリッヒ
(72)【発明者】
【氏名】ヴァサー マルクス
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096BA02
5L096CA04
5L096DA02
5L096FA66
5L096FA69
5L096GA51
5L096HA02
5L096HA09
(57)【要約】
本発明は、眠っている人（１）の体の動きを検出する方法に関する。この方法では、連続した撮像時点（ｔ１，．．．，ｔｐ）において、前記人（１）に向けられた撮像ユニットによって、前記人（１）の三次元の撮像を連続的に行い、求められた間隔測定値（ｄ１，．．．，ｄｎ）を、具体的には画素単位で用意する。この方法は、ａ）前記人（１）の二次元又は三次元の高さプロファイル（Ｈ）を作成するステップであって、前記高さプロファイル（Ｈ）には、前記人（１）の表面上、又は、前記人（１）の上若しくは横に存在する物体の表面上にある少なくとも２つの点が、空間内に規定され、各前記撮像時点（ｔ１，．．．，ｔｐ）について、それぞれの高さプロファイル（Ｈ）が、データ構造で記憶されると共に利用可能であり、前記人（１）の所定の体部分又は体領域を、参照点又は参照領域（２１）に応じて示す領域が、第１の関心領域（ＲＯＩ１）として選択されるステップと、ｂ）第１の関心領域（ＲＯＩ１）の高さプロファイル（Ｈ）が変化し、その値が所定の第１の閾値（ＴＨＺ）を超えた時間区域（Ｚ１，Ｚ２，Ｚ３）、及び、前記時間区域（Ｚ１，Ｚ２，Ｚ３）間の時間間隙（Ｌ１，Ｌ２，Ｌ３）を定めるステップと、ｃ）各前記時間間隙（Ｌ１，Ｌ２，Ｌ３）について、画素単位で、前記高さプロファイル（Ｈ）のノイズ値（ｎ（ｘ，ｙ））を定めるステップと、ｄ）前記時間区域（Ｙ１，Ｙ２，Ｙ３）において、各前記ノイズ値（ｎ（ｘ，ｙ））を画素単位で考慮して、前記高さプロファイル（Ｈ）が変化し、その値が第２の閾値（ＴＨＹ）を超えたさらなる時間区域（Ｙ１，Ｙ２，Ｙ３）を定めるステップと、ｅ）前記ステップｂ）及び前記ステップｄ）においてそれぞれ特定された、高さプロファイル（Ｈ）が変化した前記時間区域（Ｚ１，Ｚ２，Ｚ３）及び前記さらなる時間区域（Ｙ１，Ｙ２，Ｙ３）を、前記人（１）の体の動きとして登録するステップと、を備える。
【特許請求の範囲】
【請求項1】
眠っている人（１）の体の動きを検出する方法であって、連続した撮像時点（ｔ１，．．．，ｔｐ）において、前記人（１）に向けられた撮像ユニットによって、前記人（１）の三次元の撮像を連続的に行い、求められた間隔測定値（ｄ１，．．．，ｄｎ）を具体的には画素単位で用意する、方法において、
ａ）前記人（１）の二次元又は三次元の高さプロファイル（Ｈ）を作成するステップであって、
前記高さプロファイル（Ｈ）には、前記人（１）の表面上、又は、前記人（１）の上若しくは横に存在する物体の表面上にある少なくとも２つの点が、空間内に規定され、
各前記撮像時点（ｔ１，．．．，ｔｐ）において、それぞれ、前記高さプロファイル（Ｈ）がデータ構造で記憶されると共に利用可能であり、
前記人（１）の所定の体部分又は体領域を、参照点又は参照領域（２１）に応じて示す領域が、第１の関心領域（ＲＯＩ１）として選択されるステップと、
ｂ）前記第１の関心領域（ＲＯＩ１）の高さプロファイル（Ｈ）が変化し、その範囲が所定の第１の閾値（ＴＨＺ）を超えた時間区域（Ｚ１，Ｚ２，Ｚ３）、及び、前記時間区域（Ｚ１，Ｚ２，Ｚ３）間の時間間隙（Ｌ１，Ｌ２，Ｌ３）を決定するステップと、
ｃ）各前記時間間隙（Ｌ１，Ｌ２，Ｌ３）について、画素単位で、前記高さプロファイル（Ｈ）のノイズ値（ｎ（ｘ，ｙ））を決定するステップと、
ｄ）前記時間間隙（Ｌ１，Ｌ２，Ｌ３）において、各前記ノイズ値（ｎ（ｘ，ｙ））を画素単位で考慮して、前記高さプロファイル（Ｈ）が変化し、その範囲が第２の閾値（ＴＨＹ）を超えたさらなる時間区域（Ｙ１，Ｙ２，Ｙ３）を決定するステップと、
ｅ）前記ステップｂ）及び前記ステップｄ）においてそれぞれ特定された、高さプロファイル（Ｈ）が変化した前記時間区域（Ｚ１，Ｚ２，Ｚ３）及び前記さらなる時間区域（Ｙ１，Ｙ２，Ｙ３）を、前記人（１）の体の動きとして登録するステップと、を特徴とする方法。
ａ）前記人（１）の二次元又は三次元の高さプロファイル（Ｈ）を作成するステップであって、
前記高さプロファイル（Ｈ）には、前記人（１）の表面上、又は、前記人（１）の上若しくは横に存在する物体の表面上にある少なくとも２つの点が、空間内に規定され、
各前記撮像時点（ｔ１，．．．，ｔｐ）において、それぞれ、前記高さプロファイル（Ｈ）がデータ構造で記憶されると共に利用可能であり、
前記人（１）の所定の体部分又は体領域を、参照点又は参照領域（２１）に応じて示す領域が、第１の関心領域（ＲＯＩ１）として選択されるステップと、
ｂ）前記第１の関心領域（ＲＯＩ１）の高さプロファイル（Ｈ）が変化し、その範囲が所定の第１の閾値（ＴＨＺ）を超えた時間区域（Ｚ１，Ｚ２，Ｚ３）、及び、前記時間区域（Ｚ１，Ｚ２，Ｚ３）間の時間間隙（Ｌ１，Ｌ２，Ｌ３）を決定するステップと、
ｃ）各前記時間間隙（Ｌ１，Ｌ２，Ｌ３）について、画素単位で、前記高さプロファイル（Ｈ）のノイズ値（ｎ（ｘ，ｙ））を決定するステップと、
ｄ）前記時間間隙（Ｌ１，Ｌ２，Ｌ３）において、各前記ノイズ値（ｎ（ｘ，ｙ））を画素単位で考慮して、前記高さプロファイル（Ｈ）が変化し、その範囲が第２の閾値（ＴＨＹ）を超えたさらなる時間区域（Ｙ１，Ｙ２，Ｙ３）を決定するステップと、
ｅ）前記ステップｂ）及び前記ステップｄ）においてそれぞれ特定された、高さプロファイル（Ｈ）が変化した前記時間区域（Ｚ１，Ｚ２，Ｚ３）及び前記さらなる時間区域（Ｙ１，Ｙ２，Ｙ３）を、前記人（１）の体の動きとして登録するステップと、を特徴とする方法。
【請求項2】
前記ステップａ）において、前記高さプロファイル（Ｈ）は、空間における各点（Ｐ）を規定するための少なくとも２つの間隔測定値（ｄ１，．．．，ｄｎ）を有し、個々の前記間隔測定値（ｄ１，．．．，ｄｎ）は、それぞれ、前記間隔測定値を求める検出ユニット（２）に対して事前に規定された、具体的には前記検出ユニットから放出されたビーム（Ｓ）と、前記人（１）の表面又は前記人（１）の上若しくは横に存在する物体の表面との交点の、参照点又は参照平面（２１）からの間隔を示すものであり、
ｂ）各前記撮像時点（ｔ１，．．．，ｔｐ）について、それぞれ、各前記高さプロファイル（Ｈ）を含む１つのデータ構造が作成され、このようにして作成された全てのデータ構造は、いずれも同じサイズを有し、いずれも、前記高さプロファイル（Ｈ）の個々の前記間隔測定値用の記憶場所を有することを特徴とする、請求項１に記載の方法。
ｂ）各前記撮像時点（ｔ１，．．．，ｔｐ）について、それぞれ、各前記高さプロファイル（Ｈ）を含む１つのデータ構造が作成され、このようにして作成された全てのデータ構造は、いずれも同じサイズを有し、いずれも、前記高さプロファイル（Ｈ）の個々の前記間隔測定値用の記憶場所を有することを特徴とする、請求項１に記載の方法。
【請求項3】
前記高さプロファイル（Ｈ）は、多数の行及び列を有する二次元マトリックスデータ構造によって特徴付けられ、
行及び列のラスター状に配置された多数の位置が予め設定されており、前記多数の位置には、それぞれ、前記高さプロファイル（Ｈ）の前記間隔測定値（ｄ１，．．．，ｄｎ）が定められており、
前記マトリックスデータ構造は、同一のサイズ及び構造を有するラスターを備え、
前記マトリックスデータ構造は、各前記位置において求められた間隔測定値（ｄ１，．．．，ｄｎ）を、前記ラスター内の位置に対応する、マトリックスデータ構造内の記憶場所に記憶し、利用可能とすることによって作成されており、
前記人（１）の所定の体部分又は体領域の、参照点又は参照領域（２１）に応じた間隔を示す間隔測定値（ｄ１，．．．，ｄｎ）が記憶される前記データ構造の多数の記憶場所を、前記高さプロファイル（Ｈ）における第１の関心領域（ＲＯＩ１）として規定することを特徴とする、請求項１又は２に記載の方法。
行及び列のラスター状に配置された多数の位置が予め設定されており、前記多数の位置には、それぞれ、前記高さプロファイル（Ｈ）の前記間隔測定値（ｄ１，．．．，ｄｎ）が定められており、
前記マトリックスデータ構造は、同一のサイズ及び構造を有するラスターを備え、
前記マトリックスデータ構造は、各前記位置において求められた間隔測定値（ｄ１，．．．，ｄｎ）を、前記ラスター内の位置に対応する、マトリックスデータ構造内の記憶場所に記憶し、利用可能とすることによって作成されており、
前記人（１）の所定の体部分又は体領域の、参照点又は参照領域（２１）に応じた間隔を示す間隔測定値（ｄ１，．．．，ｄｎ）が記憶される前記データ構造の多数の記憶場所を、前記高さプロファイル（Ｈ）における第１の関心領域（ＲＯＩ１）として規定することを特徴とする、請求項１又は２に記載の方法。
【請求項4】
前記ステップｂ）において、個々の時点につきそれぞれ１つの動きカード（ＭＭ１）を作成し、前記動きカード（ＭＭ１）は、局所的な時間変化範囲値を、前記第１の関心領域（ＲＯＩ１）における前記高さプロファイル（Ｈ）の各点の個々の間隔測定値（ｄ１，．．．，ｄｎ）の変化についての範囲値として要素単位又は画素単位で形成することによって作成されるものであることを特徴とする、請求項１乃至３のいずれか１項に記載の方法。
【請求項5】
前記ステップｂ）において、個々の時点につきそれぞれ１つの前記第１の関心領域（ＲＯＩ１）用の動きカード（ＭＭ１）を作成し、前記動きカード（ＭＭ１）は、各時点を中心とした時間間隔内で各画素において算出された前記高さプロファイル（Ｈ）の各点の間隔測定値（ｄ１，．．．，ｄｎ）を、具体的には画素単位又は要素単位で、場合によっては重み付けして積算又は減算することによって作成されるものであることを特徴とする、請求項１乃至４のいずれか１項に記載の方法。
【請求項6】
前記ステップｂ）において、所定の関数を、前記第１の関心領域（ＲＯＩ１）の前記動きカード（ＭＭ１）の所定の要素に使用し、各時点で、前記動きカード（ＭＭ１）の得られた値について積算を行い、これによって、時間的動き関数ｇ（ｔ）を得ることを特徴とする、請求項４または５に記載の方法。
【請求項7】
前記動きカード（ＭＭ１）の得られた値についての積算として、前記第１の関心領域（ＲＯＩ１）についての合計形成を行い、これによって、前記時間的動き関数ｇ（ｔ）を得ることを特徴とする、請求項６に記載の方法。
【請求項8】
積算の前に、関数（ｈ）を、前記動きカード（ＭＭ１）の個々の値に使用し、前記関数（ｈ）は、所定の閾値（ＴＨ１）との閾値比較を行い、前記関数（ｈ）は、前記閾値（ＴＨ１）を下回った場合には、ゼロ値を返し、前記閾値（ＴＨ１）を超えた場合には、
所定の値を返す、
独立変数若しくは前記動きカード（ＭＭ１）の各値を返す、又は、
前記動きカード（ＭＭ１）の各値が前記閾値を超えた範囲を返すことを特徴とする、請求項１乃至７のいずれか１項に記載の方法。
所定の値を返す、
独立変数若しくは前記動きカード（ＭＭ１）の各値を返す、又は、
前記動きカード（ＭＭ１）の各値が前記閾値を超えた範囲を返すことを特徴とする、請求項１乃至７のいずれか１項に記載の方法。
【請求項9】
前記ステップｂ）において、前記時間的動き関数ｇ（ｔ）における前記第１の関心領域（ＲＯＩ１）の前記高さプロファイル（Ｈ）の変化を特定するために、パターン比較又は閾値比較を行い、前記時間的動き関数ｇ（ｔ）が所定のパターンに対応するか、又は、所定の閾値（ＴＨＺ）を超えた時間区域を、変化のあった時間区域として認識することを特徴とする、請求項４〜８のいずれか１項に記載の方法。
【請求項10】
前記ステップｃ）において、第２の関心領域（ＲＯＩ２）における個々の間隔測定値（ｄ１，．．．，ｄｎ）のノイズを画素単位で求めることによって、各前記時間間隙（Ｌ１，Ｌ２，Ｌ３）用のノイズカード（ＲＭ）を作成し、
具体的には、各期間内で個々の各時間間隔について、前記間隔測定値（ｄ１，．．．，ｄｎ）の標準偏差を算出し、前記期間内にこうして算出された全ての標準偏差の平均値を求め、各画素についての前記ノイズカードの値として使用することを特徴とする、請求項１乃至９のいずれか１項に記載の方法。
具体的には、各期間内で個々の各時間間隔について、前記間隔測定値（ｄ１，．．．，ｄｎ）の標準偏差を算出し、前記期間内にこうして算出された全ての標準偏差の平均値を求め、各画素についての前記ノイズカードの値として使用することを特徴とする、請求項１乃至９のいずれか１項に記載の方法。
【請求項11】
第１のステップにおいて、求められた前記間隔測定値（ｄ１，．．．，ｄｎ）を加重値で重み付けし、これによって、前記ノイズカード（ＲＭ）の各画素について求められたノイズ値に間接比例する正規化された間隔測定値（ｅ１，．．．，ｅｎ）を作成し、
第２のステップにおいて、
個々の時点につきそれぞれ１つのさらなる動きカード（ＭＭ２）を作成し、前記さらなる動きカード（ＭＭ２）は、前記第２の関心領域（ＲＯＩ２）における前記正規化された間隔測定値（ｅ１，．．．，ｅｎ）の時間的変化の範囲を画素単位で形成することによって作成されるものであり、及び／又は、
個々の時点につきそれぞれ１つの前記第２の関心領域（ＲＯＩ２）用のさらなる動きカード（ＭＭ２）を作成し、前記さらなる動きカード（ＭＭ２）は、各時点を中心とした時間間隔内で各画素において算出された前記高さプロファイル（Ｈ）の各点の正規化された間隔測定値（ｅ１，．．．，ｅｎ）を、画素単位で、場合によっては重み付けして積算することによって作成されるものであることを特徴とする、請求項１乃至１０のいずれか１項に記載の方法。
第２のステップにおいて、
個々の時点につきそれぞれ１つのさらなる動きカード（ＭＭ２）を作成し、前記さらなる動きカード（ＭＭ２）は、前記第２の関心領域（ＲＯＩ２）における前記正規化された間隔測定値（ｅ１，．．．，ｅｎ）の時間的変化の範囲を画素単位で形成することによって作成されるものであり、及び／又は、
個々の時点につきそれぞれ１つの前記第２の関心領域（ＲＯＩ２）用のさらなる動きカード（ＭＭ２）を作成し、前記さらなる動きカード（ＭＭ２）は、各時点を中心とした時間間隔内で各画素において算出された前記高さプロファイル（Ｈ）の各点の正規化された間隔測定値（ｅ１，．．．，ｅｎ）を、画素単位で、場合によっては重み付けして積算することによって作成されるものであることを特徴とする、請求項１乃至１０のいずれか１項に記載の方法。
【請求項12】
所定の関数を、前記第２の関心領域（ＲＯＩ２）の前記さらなる動きカード（ＭＭ２）の所定の点に使用し、各時点で、前記さらなる動きカード（ＭＭ２）の得られた値について積算を行い、これによって、さらなる時間的動き関数ｇ’（ｔ）を得ることを特徴とする、請求項１１に記載の方法。
【請求項13】
前記さらなる動きカード（ＭＭ２）の得られた値についての積算として、前記第２の関心領域（ＲＯＩ２）についての合計形成を行い、これによって、前記さらなる時間的動き関数ｇ’（ｔ）を得ることを特徴とする、請求項１２に記載の方法。
【請求項14】
積算の前に、関数（ｈ）を、前記さらなる動きカード（ＭＭ２）の個々の値に使用し、前記前記関数（ｈ）は、所定のさらなる閾値（ｔ’ｈ）との閾値比較を行い、前記関数（ｈ）は、前記閾値（ｔ’ｈ）を下回った場合には、ゼロ値を返し、前記閾値（ｔ’ｈ）を超えた場合には、
所定の値を返す、
独立変数若しくは前記さらなる動きカード（ＭＭ２）の各値を返す、又は、
前記独立変数又は前記さらなる動きカード（ＭＭ２）の各値が前記閾値を越えた範囲を返すことを特徴とする、請求項１乃至１３のいずれか１項に記載の方法。
所定の値を返す、
独立変数若しくは前記さらなる動きカード（ＭＭ２）の各値を返す、又は、
前記独立変数又は前記さらなる動きカード（ＭＭ２）の各値が前記閾値を越えた範囲を返すことを特徴とする、請求項１乃至１３のいずれか１項に記載の方法。
【請求項15】
前記ステップｄ）において、前記さらなる関数ｇ’（ｔ）における前記第２の関心領域（ＲＯＩ２）の前記高さプロファイル（Ｈ）の変化を特定するために、パターン比較又は閾値比較を行い、前記さらなる時間的動き関数ｇ’（ｔ）が所定のパターンに対応するか、又は、所定の第２の閾値（ＴＨＹ）を超える時間区域を、変化のあったさらなる時間区域（Ｙ１，Ｙ２，Ｙ３）として認識することを特徴とする、請求項１乃至１４のいずれか１項に記載の方法。
【請求項16】
前記さらなる関心領域（ＲＯＩ２）は、前記第１の関心領域（ＲＯＩ１）よりも大きく、及び／又は、
前記さらなる関心領域（ＲＯＩ２）は、前記第１の関心領域（ＲＯＩ１）を含み、及び／又は、
前記さらなる関心領域（ＲＯＩ２）は、前記第１の関心領域（ＲＯＩ１）に適合することを特徴とする、請求項１乃至１５のいずれか１項に記載の方法。
前記さらなる関心領域（ＲＯＩ２）は、前記第１の関心領域（ＲＯＩ１）を含み、及び／又は、
前記さらなる関心領域（ＲＯＩ２）は、前記第１の関心領域（ＲＯＩ１）に適合することを特徴とする、請求項１乃至１５のいずれか１項に記載の方法。
【請求項17】
前記第１の関心領域（ＲＯＩ１）及び／又は前記さらなる関心領域（ＲＯＩ２）は、前記高さプロファイル（Ｈ）において予め規定されており、
具体的には、前記第１の関心領域（ＲＯＩ１）及び／又は前記さらなる関心領域（ＲＯＩ２）は、前記人（１）の体の所定の領域に対応する、前記高さプロファイル（Ｈ）の領域を含むように規定されていることを特徴とする、請求項１乃至１６のいずれか１項に記載の方法。
具体的には、前記第１の関心領域（ＲＯＩ１）及び／又は前記さらなる関心領域（ＲＯＩ２）は、前記人（１）の体の所定の領域に対応する、前記高さプロファイル（Ｈ）の領域を含むように規定されていることを特徴とする、請求項１乃至１６のいずれか１項に記載の方法。
【請求項18】
体モデルが予め設定されており、前記高さプロファイル（Ｈ）における関心領域（ＲＯＩ１ａ，ＲＯＩ１ｂ，．．．，ＲＯＩ１ｃ）が自動的に規定され、これは、
ａ）前記人（１）の撮影画像において、前記体モデル及び物体分類アルゴリズムを用いて、所定の体部分又は所定の体領域に対応する領域を探し、特定された領域又はそこから導き出される領域を、前記関心領域（ＲＯＩ１ａ，ＲＯＩ１ｂ，．．．，ＲＯＩ１ｃ）として規定することによって、又は、
ｂ）複数の時点について、前記人（１）の各撮影画像において、体モデル及び物体分類アルゴリズムを用いて画素単位で、前記人（１）の頭に対応する領域を探すことによって、各撮影画像における前記人（１）の体の姿勢を判定することによって、行われ、
前記関心領域（ＲＯＩ１ａ，ＲＯＩ１ｂ，．．．，ＲＯＩ１ｃ）は、算出された体の姿勢、具体的には頭までの所定の距離に関連して既定されることを特徴とする、請求項１乃至１６のいずれか１項に記載の方法。
ａ）前記人（１）の撮影画像において、前記体モデル及び物体分類アルゴリズムを用いて、所定の体部分又は所定の体領域に対応する領域を探し、特定された領域又はそこから導き出される領域を、前記関心領域（ＲＯＩ１ａ，ＲＯＩ１ｂ，．．．，ＲＯＩ１ｃ）として規定することによって、又は、
ｂ）複数の時点について、前記人（１）の各撮影画像において、体モデル及び物体分類アルゴリズムを用いて画素単位で、前記人（１）の頭に対応する領域を探すことによって、各撮影画像における前記人（１）の体の姿勢を判定することによって、行われ、
前記関心領域（ＲＯＩ１ａ，ＲＯＩ１ｂ，．．．，ＲＯＩ１ｃ）は、算出された体の姿勢、具体的には頭までの所定の距離に関連して既定されることを特徴とする、請求項１乃至１６のいずれか１項に記載の方法。
【請求項19】
考慮される各撮影画像の領域を、体部分又は体領域に画素単位で割り当てることに、単に、考慮される各撮像画像の撮像時点（ｔ１，．．．，ｔｐ）の前に作成された前記人（１）の撮影画像からの割り当てを使用することを特徴とする、請求項１８に記載の方法。
【請求項20】
各撮影画像は、所定の数のラスター要素（Ｒ）に分割され、
各ラスター要素（Ｒ）について、請求項１〜１４のいずれか１項に記載の方法が実施され、各前記ラスター要素（Ｒ）は、関心領域（ＲＯＩ１ａ，ＲＯＩ１ｂ，．．．，ＲＯＩ１ｃ）として規定され、
前記体モデルを用いて各ラスター要素（Ｒ）における前記高さプロファイル（Ｈ）の変化を検出する際に、該当するラスター要素を体部分に割り当て、前記体部分の動きを規定することを特徴とする、請求項１乃至１９のいずれか１項に記載の方法。
各ラスター要素（Ｒ）について、請求項１〜１４のいずれか１項に記載の方法が実施され、各前記ラスター要素（Ｒ）は、関心領域（ＲＯＩ１ａ，ＲＯＩ１ｂ，．．．，ＲＯＩ１ｃ）として規定され、
前記体モデルを用いて各ラスター要素（Ｒ）における前記高さプロファイル（Ｈ）の変化を検出する際に、該当するラスター要素を体部分に割り当て、前記体部分の動きを規定することを特徴とする、請求項１乃至１９のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、請求項１の上位概念に記載の眠っている人の体の動きを検出する方法に関する。
【背景技術】
【0002】
従来技術からは、眠っている人を監視するための様々な方法、具体的には、人の睡眠中の動きを検出するための方法が知られている。これらの方法では、基本的に、眠っている人の病理学的状態を確認し、それに応じて処置することが可能である。このような監視システムの本質的な課題は、睡眠中の動きがめったにしか起こらず、人の睡眠中の動作を完全に把握しようとすれば、一般にデータ量が多くなりすぎ、そのうちの大部分は、人の睡眠中の動きがないため、破棄され得る点である。さらに、睡眠中の個々の動きは、様々な質を有しており、様々な強度で生じ得る。したがって、本発明の課題は、睡眠中に生じる人の個々の動きを、具体的には、通常の睡眠時には一般的であるように、その人が布団で覆われている場合にも、確実かつ容易に検出することにある。平均的な人は通常、睡眠中、布団で覆われているので、布団無しで測定技術的に正確に測定することは、実験結果のエラーを招き得る。そのため、人をできるだけ自然な睡眠状態において監視することを可能にするためには、布団で覆われた状態で眠っている人を全体的に測定することが望ましい。
【発明の概要】
【0003】
本発明は、この課題を、請求項１の特徴を有する、冒頭部分に記載した種類の方法によって解決する。
【0004】
ここで具体的には、ａ）人の二次元又は三次元の高さプロファイルを作成するステップであって、
該高さプロファイルには、人の表面上、又は、人の上若しくは横に存在する物体の表面上にある少なくとも２つの点が、空間内に規定され、
各撮像時点において、それぞれ、該高さプロファイルがデータ構造で記憶されると共に利用可能であり、
人の所定の体部分又は体領域を、参照点又は参照領域に応じて示す領域が、第１の関心領域として選択されるステップと、
ｂ）第１の関心領域の高さプロファイルが変化し、その範囲が所定の第１の閾値を超えた時間区域、及び、これらの時間区域間の時間間隙を決定するステップと、
ｃ）各時間間隙について、画素単位で、高さプロファイルのノイズ値を決定するステップと、
ｄ）これらの時間間隙において、該ノイズ値を画素単位で考慮して、高さプロファイルが変化し、その範囲が第２の閾値を超えたさらなる時間区域を決定するステップと、
ｅ）ステップｂ）及びステップｄ）においてそれぞれ特定された、高さプロファイルが変化した時間区域及びさらなる時間区域を、人の体の動きとして登録するステップと、が提供される。
【0005】
また、ここに記載する方法の本質的な利点は、睡眠中の比較的小さな体の動きも、測定構造体又は三次元測定に関連する測定機器のノイズと区別され、動きを、容易かつ効率よく認識可能な点である。
【0006】
高さプロファイルの様々な形態を実現可能な本発明の特に有効な２つの発展形態は、ステップａ）において、高さプロファイルは、空間における各点を規定するための少なくとも２つの間隔測定値を有し、個々の間隔測定値は、それぞれ、間隔測定値を求める検出ユニットに対して事前に規定された、具体的には検出ユニットから放出されたビームと、人の表面又は人の上若しくは横に存在する物体の表面との交点の、参照点又は参照平面からの間隔を示すものであり、ｂ）各撮像時点について、それぞれ、各高さプロファイルを含む１つのデータ構造が作成され、このようにして作成された全てのデータ構造は、いずれも同じサイズを有し、いずれも、高さプロファイルの個々の間隔測定値用の記憶場所を有することである。
【0007】
あるいは、次の構成も可能である。すなわち、高さプロファイルは、多数の行及び列を有する二次元マトリックスデータ構造によって特徴付けられ、行及び列のラスター状に配置された多数の位置が予め設定されており、該多数の位置には、それぞれ、高さプロファイルの間隔測定値が定められており、
マトリックスデータ構造は、同一のサイズ及び構造を有するラスターを備え、
マトリックスデータ構造は、各位置において求められた間隔測定値を、ラスター内の位置に対応する、マトリックスデータ構造内の記憶場所に記憶し、利用可能とすることによって作成されており、
人の所定の体部分又は体領域の、参照点又は参照領域に応じた間隔を示す間隔測定値が記憶されるデータ構造の多数の記憶場所を、高さプロファイルにおける第１の関心領域として規定する。
【0008】
高さプロファイルにおける変化を特に好適に検出することは、ステップｂ）において、個々の時点につきそれぞれ１つの動きカードを作成し、該動きカードは、局所的な時間変化範囲値を、第１の関心領域における高さプロファイルの各点の個々の間隔測定値の変化についての範囲値として要素単位又は画素単位で形成することによって作成されるものである。
【0009】
あるいは、同じ目的のために、次のように構成されていてもよい。すなわち、ステップｂ）において、個々の時点につきそれぞれ１つの第１の関心領域用の動きカードを作成し、該動きカードは、各時点を中心とした時間間隔内で各画素において算出された高さプロファイルの各点の間隔測定値を、具体的には画素単位又は要素単位で、場合によっては重み付けして積算又は減算することによって作成されるものである。
【0010】
人の動きの強度を時間と共に示す関数を特に好適に作成することは、ステップｂ）において、所定の関数を、第１の関心領域の動きカードの所定の要素に使用し、各時点で、動きカードの得られた値について積算を行い、これによって、時間的動き関数ｇ（ｔ）を得ることにより可能である。
【0011】
ここで具体的には、この時間関数を作成するために、該動きカードの得られた値についての積算として、第１の関心領域についての合計形成を行い、これによって、該時間的動き関数ｇ（ｔ）を得ることが可能である。
【0012】
特に有利には、閾値を超えたことを検出するために、人の動きを特徴付ける時間関数を提供することとして、画素単位での閾値超過、又は、画素単位での閾値比較を利用することが可能である。
【0013】
ここで、次の構成も可能である。すなわち、積算の前に、関数を、動きカードの個々の値に使用し、ここでこの関数は、所定の閾値との閾値比較を行い、この関数は、該閾値を下回った場合には、ゼロ値を返し、該閾値を超えた場合には、所定の値を返す、
独立変数若しくは動きカードの各値を返す、又は、
動きカードの各値が閾値を超えた範囲を返すことが可能である。
【0014】
さらに、高さプロファイルの変化を特定するために、パターン比較を行ってもよい。ここで詳細には、ステップｂ）において、時間的動き関数ｇ（ｔ）における第１の関心領域の高さプロファイルの変化を特定するために、パターン比較又は閾値比較を行い、時間的動き関数ｇ（ｔ）が所定のパターンに対応するか、又は、所定の閾値を超えた時間区域を、変化のあった時間区域として認識することが可能である。
【0015】
高さプロファイルを設定する際の個々のセンサのノイズの検出及び補償の特に有効な種類、並びに、高さプロファイルのノイズを含む測定値を有効に処理することは、ステップｃ）において、第２の関心領域における個々の間隔測定値のノイズを画素単位で求めることによって、各時間間隙用のノイズカードを作成し、具体的には、各期間内で個々の各時間間隔について、間隔測定値の標準偏差を算出し、該期間内にこうして算出された全ての標準偏差の平均値を求め、各画素についての該ノイズカードの値として使用することが可能である。
【0016】
ノイズ補償における幾つかの有効な方法は、詳細には、第１のステップにおいて、求められた間隔測定値を加重値で重み付けし、これによって、ノイズカードの各画素について求められたノイズ値に間接比例する正規化された間隔測定値を作成し、第２のステップにおいて、
個々の時点につきそれぞれ１つのさらなる動きカードを作成し、該さらなる動きカードは、第２の関心領域における正規化された間隔測定値の時間的変化の範囲を画素単位で形成することによって作成されるものであり、及び／又は、
個々の時点につきそれぞれ１つの第２の関心領域用のさらなる動きカードを作成し、該さらなる動きカードは、各時点を中心とした時間間隔内で各画素において算出された高さプロファイルの各点の正規化された間隔測定値を、画素単位で、場合によっては重み付けして積算することによって作成されるものである。
【0017】
人の動きの強度を時間と共に示す関数を特に好適に作成することは、所定の関数を、第２の関心領域のさらなる動きカードの所定の点に使用し、各時点で、さらなる動きカードの得られた値について積算を行い、これによって、さらなる時間的動き関数ｇ’（ｔ）を得ることにより可能である。
【0018】
ここで具体的には、この時間関数を作成するために、該さらなる動きカードの得られた値についての積算として、第２の関心領域についての合計形成を行い、これによって、該さらなる時間的動き関数ｇ’（ｔ）を得ることが可能である。
【0019】
特に有利には、閾値を超えたことを検出するために、人の動きを特徴付ける時間関数を提供すすることとして、画素単位での閾値超過、又は、画素単位での閾値比較を利用することが可能である。
【0020】
ここで、次の構成も可能である。すなわち、積算の前に、関数を、さらなる動きカードの個々の値に使用し、ここでこの関数は、所定のさらなる閾値との閾値比較を行い、この関数は、該閾値を下回った場合には、ゼロ値を返し、該閾値を超えた場合には、所定の値を返す、
独立変数若しくはさらなる動きカードの各値を返す、又は、
独立変数又はさらなる動きカードの各値が閾値を越えた範囲を返すことが可能である。
【0021】
また、高さプロファイルの変化を特定するために、パターン比較を行ってもよい。ここで詳細には、ステップｄ）において、さらなる関数ｇ’（ｔ）における第２の関心領域の高さプロファイルの変化を特定するために、パターン比較又は閾値比較を行い、さらなる時間的動き関数ｇ’（ｔ）が所定のパターンに対応するか、又は、所定の第２の閾値を超える時間区域を、変化のあったさらなる時間区域として認識することが可能である。
【0022】
ステップｂ）及びステップｃ）において関心領域を規定することは、好適には、さらなる関心領域は、第１の関心領域よりも大きく、及び／又は、
さらなる関心領域は、第１の関心領域を含み、及び／又は、
さらなる関心領域は、第１の関心領域に適合する、ように行うことが可能である。
【0023】
対応する検査に関連する、予め知られた所定の体領域を設定するために、第１の関心領域及び／又はさらなる関心領域は、高さプロファイルにおいて予め規定されており、具体的には、第１の関心領域及び／又はさらなる関心領域は、人の体の所定の領域に対応する、高さプロファイルの領域を含むように規定されていることが可能である。
【0024】
関心のある体領域を自動的に規定可能にするために、体モデルが予め設定されており、高さプロファイルにおける関心領域が自動的に規定され、これは、ａ）人の撮影画像において、体モデル及び物体分類アルゴリズムを用いて、所定の体部分又は所定の体領域に対応する領域を探し、特定された領域又はそこから導き出される領域を、関心領域として規定することによって、又は、
ｂ）複数の時点について、人の各撮影画像において、体モデル及び物体分類アルゴリズムを用いて画素単位で、人の頭に対応する領域を探すことによって、各撮影画像における人の体の姿勢を判定することによって、行われ、
関心領域は、算出された体の姿勢、具体的には頭までの所定の距離に関連して既定される。
【0025】
関心領域を時間的に適合させることを制御可能であり、これは、考慮される各撮影画像の領域を体部分又は体領域に画素単位で割り当てることに、単に、考慮される各撮像画像の撮像時点の前に作成された人の撮影画像からの割り当てを使用することによって行われる。
【0026】
個々の動きを個々の体部分に効率よく割り当てることは、各撮影画像が、所定の数のラスター要素に分割され、
各ラスター要素について、請求項１〜１４のいずれか１項に記載の方法が実施され、各ラスター要素は、関心領域として規定され、
体モデルを用いて各ラスター要素における高さプロファイルの変化を検出する際に、該当するラスター要素を体部分に割り当て、この体部分の動きを規定することによって可能である。
【図面の簡単な説明】
【0027】
本発明に係る幾つかの好ましい実施形態を、以下の図面を参照しながら説明する。これらの好ましい実施形態は、限定的なものと理解されるべきではない。【図1】眠っている人の体の動きを把握及び検出するための構成を示す図である。
【図2】高さプロファイルの様々な仕様のうちの１つを示す図である。
【図3】高さプロファイルの様々な仕様のうちの１つを示す図である。
【図4】高さプロファイルの様々な仕様のうちの１つを示す図である。
【図5】高さプロファイルを絵の形で概略的に示す図である。
【図6】体の動きを算出するための、動き関数、さらなる動き関数、及び、それらの分析を概略的に示す図である。
【図7】関心領域の幾つかの設定例を概略的に示す図である。
【発明を実施するための形態】
【0028】
図１には、側方から見た、眠っている人１の体の動きを把握及び検出するための構成が示されている。この構成は、通常、睡眠検査室又は類似の医学的監視設備内に設置可能である。ここで、人１は、特定の睡眠障害の有無について検査されることになっており、このため、ベッド１０に眠った状態で横になっている間監視される。睡眠の快適さを高めるために、この人は、少なくとも部分的にベッド用布団で覆われることも可能である。
【0029】
人１の上方には、人１の三次元の撮影画像を作成するように構成された撮像ユニット２が配置されている。この三次元の撮影画像は、撮像ステップａ）の範囲において、通常、高さプロファイルＨ（図４）の形で作成される。高さプロファイルＨは、多数の様々なビームにつき１つのサンプルを有している。この高さプロファイルは、例えば、図２に示されるように、撮像ユニット２から放出された、ラスター状に配置される多数のビームＳについて、それぞれ別々の間隔測定値ｄ１、．．．、ｄｎを取得することによって得ることが可能である。これらの間隔測定値は、人１の表面とビームＳとの交点Ｐから撮像ユニット２までの、所定のビームＳに沿った間隔を示すものである。
【0030】
高さプロファイルＨでは、通常、ラスター状に配置されるビームＳ上に位置する少なくとも２つの点、好ましくは多数の点Ｐが、空間内に規定される。これらの点Ｐは、人１の表面上に、又は、人１の上若しくは横に存在する物体、例えばベッド用布団１１若しくはベッド１０の表面上に存在する。
【0031】
つまり、高さプロファイルＨを規定することは、図２に示されるように、高さプロファイルＨの間隔測定値ｄ１、ｄ２、．．．、ｄｎを、人１の表面上にあるビームＳ上の点Ｐの、撮像ユニット２に対する間隔として規定することによって可能である。ここで、間隔の測定は、例えば３Ｄカメラを用いた方法といった様々な方法で行うことが可能である。
【0032】
あるいは、図３に示されるように、高さプロファイルを作成する際に、個々の間隔測定値ｄ１’、ｄ２’、ｄｎ’を、人１の表面上の算出された点Ｐの、別の物体、具体的には検査室の天井２１からの間隔として規定することが可能である。
【0033】
同様に、図４に示されるように、幾つかの点について、高さプロファイルＨとして使用される補間曲線を設定することも可能である。また、この補間曲線は、多数の三次元の点において評価されることが可能であり、多数のラスター状に配置されたｘ座標値及びｙ座標値について、同じく当該曲線上に位置するそれぞれ１つのｚ座標値が利用可能である。
【0034】
ここで、個々の撮像時点につき１つの高さプロファイルＨが、別々に算出されて、１つのデータ構造において記憶される。図４に概略的に示されるこの高さプロファイルＨは、多数のラスター状又は画像の形に配置された要素又は画素につき、それぞれ１つの間隔測定値ｄ１、．．．、ｄｎを有する。これらの間隔測定値は、上述のように規定可能である。
【0035】
図５に示されるように、高さプロファイル内において、関心領域ＲＯＩ１が選択される。関心領域ＲＯＩ１には、通常、人１の、動きを監視すべき部分が存在する。この場合、人１の脚の動きを監視することになっているため、関心領域は、高さプロファイルの下部領域内に配置されている。これに対して、高さプロファイルＨ内の別の体領域又は他の領域を監視する場合は、対応して、高さプロファイルの別の選択がなされ得る。
【0036】
しかしながら、基本的に、この関心領域ＲＯＩ１の選択は手動で規定可能であり、動きを具体的に監視すべき体領域を含んでいればよい。
【0037】
各撮像時点においてそれぞれ１つの高さプロファイルＨが算出されれば、個々の撮像時点ｔ１、．．．、ｔｐについて、各高さプロファイルＨを含むそれぞれ１つのデータ構造が利用可能となる。こうして得られた全データ構造は、互いにそれぞれ同じ大きさを有し、高さプロファイルの測定された個々の間隔測定値ｄ１、．．．、ｄｎについて記憶場所を有する。
【0038】
この高さプロファイルの作成は、検出ユニットから放出されたビームＳのそれぞれがラスター状に配置されて、各間隔測定値がマトリックスデータ構造で登録される場合に、特に容易に行うことが可能である。このマトリックスデータ構造は、個々のビームＳのラスターを再現するものであるか、又は、個々のビームＳのラスターの構造に対応する構造を有している。ラスターが例えば３００×３００のビームを含むならば、マトリックスデータ構造は、３００×３００の入力値を含み、これは、マトリックスデータ構造の内容を画像とみなす場合には、画素と呼ぶことも可能である。
【0039】
各位置で得られた間隔測定値ｄ１、．．．、ｄｎをマトリックスデータ構造におけるラスターの位置に対応する記憶場所に記憶して利用可能にすることによって、各撮像時点ｔ１、．．．、ｔｐにおいて１つの別々のマトリックスデータ構造が作成される。
【0040】
高さプロファイルの関心領域にある間隔測定値ｄ１、．．．、ｄｎが記憶されたデータ構造の記憶場所は、同様に、データ構造の関心領域ＲＯＩ１とも呼ばれる。
【0041】
このようにして、複数の時点について、眠っている人や眠っている人１の表面、又は、人１を覆っている布団１１若しくはその横に存在するベッド１０の高さプロファイルをそれぞれ作成することが可能である。これによって、眠っている人１の実質的な動きを採取することが可能なデータ構造が提供される。
【0042】
ここで示した撮像ステップａ）の後の第１の処理ステップｂ）では、第１の関心領域内において、高さプロファイルＨが変化した時間区域Ｚ１、．．．、Ｚ３、すなわち、高さプロファイルＨの時間的変化の範囲が所定の第１の閾値を超えた区域を測定する。さらに、これらの時間区域Ｚ１、．．．、Ｚ３の間に存在する時間間隙Ｌ１、Ｌ２、．．．を算出する。
【0043】
ここで、高さプロファイルＨの時間的変化の範囲を規定及び決定することは、様々な方法で行われ得る。特に容易な例は、個々の時点、特に全ての時点ｔ１、．．．、ｔｐについて、それぞれ１つの動きカードＭＭ１を作成するということに関連している。この方法では、各間隔測定値ｄ１、．．．、ｄｎや各ビームＳ、又は、マトリックスデータ構造の各入力値ｋ（ｘ，ｙ，ｔ）について、要素単位又は画素単位で、局地的な変化範囲値ｍｍ（ｘ，ｙ，ｔ）がそれぞれ求められる。局地的な変化範囲値ｍｍ（ｘ，ｙ，ｔ）とは、各間隔測定値ｄ１、．．．、ｄｎ、又は、各データ構造に登録された入力値ｋ（ｘ，ｙ，ｔ）の時間的変化についての値である。
【0044】
このようにして第１の動きカードＭＭ１を、多数の時点ｔ１、．．．、ｔｐについて作成した後に、個々の時点ｔ１、．．．、ｔｐについてそれぞれ１つの動き値を算出することが可能である。この動き値は、関心領域ＲＯＩ１内の動きカードＭＭ１において得られた局地的な変化範囲値ｍｍ（ｘ，ｙ，ｔ）を積算することによって算出される。
【0045】
時間的動き関数ｇ（ｔ）に登録される、所定の時点についての積算された動き値を決定する際には、基本的に、全ての利用可能な又は様々に形成された局地的な変化範囲値ｍｍ（ｘ，ｙ，ｔ）を使用することが可能である。具体的には、関心領域ＲＯＩ１内の動きカードＭＭ１の個々の局地的な変化範囲値ｍｍ（ｘ，ｙ，ｔ）を画素単位で求めることも可能であり、ここでは、各時点ｔ１、．．．、ｔｐを中心とする所定の時間間隔内にある、データ構造の同一の画素又は要素に割り当てられた入力値ｋ（ｘ，ｙ，ｔ）又は変化範囲値が、加重加算される。こうして、例えば、前回の間隔測定値又は入力値ｋ（ｘ，ｙ，ｔ）が加重加算される、関心領域ＲＯＩ１のラスター位置ｘ、ｙにおける所定の画素又は入力値における局地的な変化範囲値ｍｍ（ｘ，ｙ，ｔ）が決定されることが可能である。この場合、個々の加重は様々な方法で決定され得る。
【0046】
最も容易な例では、時間変化は、例えば、同一地点において直接連続する時点で測定された２つの間隔測定値又は入力値ｋ（ｘ，ｙ，ｔ）；ｋ（ｘ，ｙ，ｔ−１）を減算することによって求めることが可能である。場合によっては、動きの種類が重要ではない場合、これら２つの入力値ｋ（ｘ，ｙ，ｔ）；ｋ（ｘ，ｙ，ｔ−１）又は間隔測定値の差分値を、時点ｔにおける位置ｘ、ｙの対応する入力値又は対応する画素についての局地的な変化範囲値ｍｍ（ｘ，ｙ，ｔ）として使用してもよい。
【0047】
同様に、変化範囲値ｍｍ（ｘ，ｙ，ｔ）の決定のために、位置ｘ，ｙの同一の画素における各時点ｔの前の時間間隔内において得られた多数の入力値ｋ（ｘ，ｙ，ｔ）を使用し、これらの入力値ｋ（ｘ，ｙ，ｔ）から平均値ｋｍ１（ｘ，ｙ，ｔ）、又は、場合によっては加重和ｋｍ１（ｘ，ｙ，ｔ）を求めることも可能である。同様に、位置ｘ，ｙの同一の画素における各時点ｔの後の時間間隔内において得られた多数の入力値ｋ（ｘ，ｙ，ｔ）を使用し、これらの入力値ｋ（ｘ，ｙ，ｔ）から平均値ｋｍ２（ｘ，ｙ，ｔ）、又は、場合によっては加重和ｋｍ２（ｘ，ｙ，ｔ）を求めることも可能である。次に、このように得られた２つの平均値又は和ｋｍ１（ｘ，ｙ，ｔ）；ｋｍ２（ｘ，ｙ，ｔ）の差を形成することによって、変化値を形成して、変化範囲値ｍｍ（ｘ，ｙ，ｔ）として使用する。
【0048】
関心領域ＲＯＩ１のある時点ｔ１、．．．、ｔｐにおける高さプロファイルＨの時間的変化のために、積算された全範囲を決定するための最も容易な例は、例えば、１つの時点に含まれる、又は、１つの動きカードＭＭ１（ｔ）に含まれる全ての局地的な変化範囲値ｍｍ（ｘ，ｙ，ｔ）を合計又は加算することによって行われ得る。加えて、積算のための別の手順を選択してもよい。具体的には、合計する前に、動きカードＭＭ１（ｔ）の個々の値に関数ｈを使用してもよい。
【0049】
この関数ｈ（ｘ）は、様々に構成されていることが可能である。ここでは、特に、閾値比較を含み、各動き値を所定の閾値ＴＨ１と比較する関数が推奨される。該当する関数ｈ（ｘ）は、この閾値ＴＨ１を下回った場合、積算に貢献しないゼロ値、具体的には値０を返すことが可能である。しかしながら、閾値ＴＨ１を超えると、関数ｈ（ｘ）は様々な値を返し、具体的には、この関数は、積算に寄与するゼロ値ではない所定の固定値、例えば１を返すことが可能である。加算を使用する際には、閾値を超えたことが確定した画素又は入力値の数に対応する、時間的動き関数ｇ（ｔ）用の関数値が得られる。
【0050】
加えて、関数ｈ（ｘ）を設定するためのさらに別の方法もある。例えば、閾値ＴＨ１を超えた場合には、関数ｈ（ｘ）の独立変数によって、独立変数も、すなわち、具体的に言えば動きカードＭＭ１の各値を返すことも可能である。その結果、関数ｈは、例えば次の形を有する。ｈ（ｘ）＝｛もしｘ＜ＴＨ１ならば０、それ以外はｘ｝
【0051】
また、関数ｈ（ｘ）は、以下のように規定されることも可能である。すなわち、閾値ＴＨ１を超えた場合に、独立変数ｘ自体ではなく、独立変数ｘ又は動きカードＭＭ１の各値が閾値ＴＨ１を超えた範囲を返すことが可能である。ｈ（ｘ）＝｛もしｘ＜ＴＨ１ならば０、それ以外はｘ−ＴＨ１｝
【0052】
積算された変化値の経過の一例、又は、動き関数ｇ（ｔ）の一例が、図６に示されている。図６はさらに、体の動きが生じた時間区域を求めることも示している。基本的に、大きな変化や閾値を超えた変化を有する時間区域Ｚ１、Ｚ２、Ｚ３の検出のために、時間的動き関数ｇ（ｔ）と所定の閾値ＴＨｚとの比較を行うことが可能である。動き関数ｇ（ｔ）がこの閾値ＴＨＺを超えると、動き関数ｇ（ｔ）が当該閾値ＴＨＺを超えた時間区域が、高さプロファイルＨの著しい変化を有する、又は、人１の動きがあった時間区域Ｚ１、Ｚ２、Ｚ３として特定され、そのようなものとして利用可能になる。
【0053】
あるいは、時間的動き関数ｇ（ｔ）の具体的な範囲ではなく、時間的動き関数ｇ（ｔ）の公知のパターンの出現が、人１の関連のある動きが存在することについての決定的なものとして見なされる可能性もある。この場合、様々なパターン比較が行われ、時間的動き関数ｇ（ｔ）が所定の各パターンに対応した時間区域Ｚ１、Ｚ２、Ｚ３は、人１の著しい変化又は動きを有する時間区域Ｚ１、Ｚ２、Ｚ３として認識され得る。
【0054】
上述の第１の処置ステップｂ）では、少なくとも、対応する人１についての高さプロファイルに動きがあった又は変化があった個々の時間区域を特定した。次は、時間区域Ｚ１、Ｚ２、Ｚ３の間にある時間領域における、同じく人１の関連のあるさらなる動きを確認する方法について説明する。なおここでは、特に、閾値ＴＨＺをさらに低下させることにより、場合によっては、次のような事態が生じ得る。すなわち、撮像ユニット２はノイズが多いため、閾値ＴＨＺを低下させることにより、多数の測定結果が、人１の閾値を超える動きを示すものではなく、単に必然的に存在する撮像ユニット２のセンサノイズに基づいたものとなる場合がある。
【0055】
この種のノイズに基づく不自然な結果を回避するためには、次のステップｃ）において、時間区域Ｚ１、Ｚ２、Ｚ３の間の時間間隙Ｌ１，Ｌ２，Ｌ３において、画素単位で、高さプロファイルＨのノイズ値ｒ（ｘ，ｙ；Ｌ１）；ｒ（ｘ，ｙ；Ｌ２）；ｒ（ｘ，ｙ；Ｌ３）を求める。この画素単位でノイズ値ｒ（ｘ，ｙ；Ｌ）を求めることは、各時点において別々に行われるのではなく、いずれも、全ての時間間隙Ｌ１，Ｌ２，Ｌ３の間に行われる。
【0056】
全体として、この較正の後には、具体的には第１の関心領域ＲＯＩ１に対応し得るが第１の関心領域よりも大きく形成された、又は、第１の関心領域を含み得る第２の関心領域ＲＯＩ２について、多数のノイズ値ｒ（ｘ，ｙ；Ｌ１）をノイズカードＲＭ（Ｌ１）の形で提供する。ノイズカードＲＭ（Ｌ１）のノイズ値ｒ（ｘ，ｙ；Ｌ１）は、例えば、時間間隙Ｌ１内の各間隔測定値又は入力値ｋ（ｘ，ｙ，ｔ）の、個々の位置までの各画素又は各入力値についてそれぞれ求められた標準偏差に対応し得る。各時間間隙Ｌ１，Ｌ２，Ｌ３について、それぞれ別々のノイズカードＲＭ（Ｌ１），ＲＭ（Ｌ２），ＲＭ（Ｌ２）が利用可能である。
【0057】
同じく、各時間間隙Ｌ１，Ｌ２，Ｌ３に存在する重複した又は互いに隣り合った各時間間隔についての、時間間隙Ｌ１，Ｌ２，Ｌ３内の各画素について、それぞれ、間隔測定値（ｄ１，．．．，ｄｎ）又はデータ構造の入力値の標準偏差を求めることが可能である。時間間隙Ｌ１，Ｌ２，Ｌ３内でこのように求められた標準偏差の全ての値の平均値が算出され、画素毎のノイズカードＲＭの値ｒ（ｘ，ｙ，Ｌ）として使用される。
【0058】
処置ステップｃ）においてノイズカードを算出した後には、さらなる処置ステップｄ）において、個々の時間間隙Ｌ１，Ｌ２，Ｌ３において得られた間隔測定値ｋ（ｘ，ｙ，ｔ）を加重値で重み付けする。加重値は、ノイズカードＲＭ（Ｌ１），ＲＭ（Ｌ２），ＲＭ（Ｌ２）の各画素又は各位置ｘ，ｙについて求められたノイズ値ｒ（ｘ，ｙ；Ｌ１）；ｒ（ｘ，ｙ；Ｌ２）；ｒ（ｘ，ｙ；Ｌ３）に間接比例し、こうして、データ構造の各画素又は各入力値についてそれぞれ１つの正規化された間隔測定値ｅ（ｘ，ｙ，ｔ）が設定される。最も簡単な方法は、各間隔測定値ｅ（ｘ，ｙ，ｔ）を各時間間隙及び各位置について求められたノイズ値ｒ（ｘ，ｙ；Ｌ１）で割ることによって、正規化された各間隔測定値ｅ（ｘ，ｙ，ｔ）を求めることである。
【0059】
次に、時間間隙Ｌ１，Ｌ２，Ｌ３内の個々の時点ｔにつきそれぞれ１つのさらなる動きカードＭＭ２（ｔ）を作成する。これは、正規化された各間隔測定値ｅ（ｘ，ｙ，ｔ）の時間的変化を算出して、さらなる局所的な変化範囲値ｍｍ２（ｘ，ｙ，ｔ）を画素単位で形成することによって行われる。さらなる動きカードを決定することは、第２の関心領域ＲＯＩ２の各画素又は入力値ごとに行われる。
【0060】
さらにそのため、時間的動き関数ｇ（ｔ）に対応するさらなる時間的動き関数ｇ’（ｔ）が作成される。これは、しかしながら、動きカードＭＭ１ではなく、さらなる動きカードＭＭ２に基づいて作成されるものである。しかし、ここでは、時間的動き関数ｇ（ｔ）を作成する際にも使用された原則と同じ原則が使用される。
【0061】
ここでも、関心領域ＲＯＩ２内のさらなる動きカードＭＭ２の個々のさらなる局地的な変化範囲値ｍｍ２（ｘ，ｙ，ｔ）を積算することが可能であり、このようにして得られた積算値が、さらなる時間的動き関数ｇ’（ｔ）に割り当てられることが可能である。上述の時間的動き関数の作成のために使用された関数ｈ（ｘ）を、個々のさらなる局地的な変化範囲値ｍｍ２（ｘ，ｙ，ｔ）の重み付けのためにも使用可能である。しかしながらこの場合、閾値ＴＨ１の代わりに、別の閾値ＴＨ２を使用可能である。
【0062】
その結果、このさらなる動き関数ｇ’（ｔ）を、閾値ＴＨＹと用いた閾値比較やパターン比較によって分析することによって、人１の体の動きに起因する高さプロファイルＨの変化があったさらなる時間区域Ｙ１、Ｙ２，Ｙ３を特定することが可能である。
【0063】
基本的に、時間区域Ｚ１、Ｚ２、Ｚ３、及び、さらなる時間区域Ｙ１、Ｙ２，Ｙ３において検出された動きを、対応する人１の体の動きとして特定可能である。
【0064】
上述のように、関心領域ＲＯＩ１、ＲＯＩ２をはっきりと選択することは、基本的には様々な方法で行うことが可能である。具体的には、通常、関心のある体の一部が正常な睡眠位置において存在するベッド内の関心領域ＲＯＩ１、ＲＯＩ２を選択することによって、これらの領域ＲＯＩ１、ＲＯＩ２を選択することが可能である。
【0065】
好ましくは、第２の関心領域ＲＯＩ２は、第１の関心領域ＲＯＩ１よりも大きく形成されてもよいし、又は、第１の関心領域ＲＯＩ１を含んでもよい。これは、このような場合、第１の領域を、一般にノイズが少ないセンサ又は間隔値に限定することが可能であるという利点を有している。これは、具体的には、撮像ユニット２の撮像領域の中央にある間隔センサの場合に相当する。これに対して、センサノイズが多い可能性がある周辺領域では、ノイズに起因して閾値を超えることが、動きであると過大評価されることを招いたり、又は、得られた結果が、体の動きではなくセンサノイズに起因する不自然な結果を含んだりする危険がある。しかしながら、処置ステップｃ）及びｄ）において正規化された後、すなわち、ノイズを除去した測定値が得られた後には、全体的にノイズの割合がより高いセンサ測定値も、さらなる処理に使用される。
【0066】
具体的には頭の動きを検出可能な関心領域を規定する特に好ましいさらなる変形例は、各高さプロファイルＨにおいて、体モデル及び物体分類アルゴリズムを用いて、画素単位で人の頭に対応する領域を探すことによって、各撮影画像における人１の体の姿勢を特定する。こうして得られた体の姿勢に基づいて、対応する体領域が存在する領域を、関心領域ＲＯＩ１、又は、ＲＯＩ１ａ、ＲＯＩ１ｂ、．．．として規定することが可能である。
【0067】
あるいはさらに、人を撮像する度に、又は、一回の撮像において、体モデル及び物体分類アルゴリズムを用いて、画素単位で、所定の体部分又は所定の体領域に対応する領域を探すことが可能である。特定された領域が存在する領域を、最終的に、関心領域ＲＯＩ１ａ、ＲＯＩ１ｂ、．．．、ＲＯＩ１ｄとして規定することが可能である。
【0068】
さらなる関心領域ＲＯＩ２の規定は、上述のように、さらなる関心領域ＲＯＩ２が、各関心領域と適合するものとして、又は、これを含むものとして規定することによって可能である。
【0069】
本発明の好ましい一実施形態では、図７に示されるように、高さプロファイルＨは、多数の様々なタイル状のラスター要素Ｒに分割される。各ラスター要素Ｒは、高さプロファイルＨにおいて、好ましくは四角形に形成されており、それぞれが、好適な関心領域ＲＯＩ１ａ、ＲＯＩ１ｂ、ＲＯＩ１ｃ、ＲＯＩ１ｄに対応する。関心のある各ラスター要素Ｒに、上述の本発明に係る方法を使用することによって、ラスター要素内に全体として関連のある体の動きが存在するかどうかを、それぞれ別々に決定することが可能になる。
【0070】
高さプロファイルＨ内の対応するラスター要素Ｒにおいて、動きが検出された場合、体モデル及び物体分類アルゴリズムを当該ラスター要素に使用して、当該ラスター要素にはどの体部分が形成されているかを判定する。その後、この明らかとなった体部分が動いたものと、判定する。
【0071】
個々の撮像ステップを、基本的に連続して実行する場合にも、撮像ステップａ）において個々の高さプロファイルＨを撮像することと並行して、既に求めた高さプロファイルの処理を行うことも可能である。具体的には、対応する高さプロファイルをリアルタイムで、又は、ほんのわずかだけ時間的に遅延させて処理してもよく、具体的には、いずれも前回の時間間隙Ｌ１、Ｌ２、Ｌ３について、この時間間隙Ｌ１、Ｌ２、Ｌ３を終了させる時間区域Ｚ１、Ｚ２、Ｚ３に変化が検出されたならば、全ての処置ステップを行ってもよい。この場合、既に、各時間間隙Ｌ１、Ｌ２、Ｌ３についてノイズ値は算出されており、さらなる時間区域Ｙ１、Ｙ２、Ｙ３の決定も行われている。これは、具体的には、この人を監視する医者に睡眠中に動きが発生したことを素早く通知することができ、又は、ここで、動きの発生と医者への通知との間にわずかな遅延時間しか生じないという本質的な利点を有している。
【手続補正書】
【提出日】2020年10月1日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【0056】
全体として、この較正の後には、具体的には第１の関心領域ＲＯＩ１に対応し得るが第１の関心領域よりも大きく形成された、又は、第１の関心領域を含み得る第２の関心領域ＲＯＩ２について、多数のノイズ値ｒ（ｘ，ｙ；Ｌ１）をノイズカードＲＭ（Ｌ１）の形で提供する。ノイズカードＲＭ（Ｌ１）のノイズ値ｒ（ｘ，ｙ；Ｌ１）は、例えば、時間間隙Ｌ１内の各間隔測定値又は入力値ｋ（ｘ，ｙ，ｔ）の、個々の位置までの各画素又は各入力値についてそれぞれ求められた標準偏差に対応し得る。各時間間隙Ｌ１，Ｌ２，Ｌ３について、それぞれ別々のノイズカードＲＭ（Ｌ１），ＲＭ（Ｌ２），ＲＭ（Ｌ３）が利用可能である。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【0058】
処置ステップｃ）においてノイズカードを算出した後には、さらなる処置ステップｄ）において、個々の時間間隙Ｌ１，Ｌ２，Ｌ３において得られた間隔測定値ｋ（ｘ，ｙ，ｔ）を加重値で重み付けする。加重値は、ノイズカードＲＭ（Ｌ１），ＲＭ（Ｌ２），ＲＭ（Ｌ３）の各画素又は各位置ｘ，ｙについて求められたノイズ値ｒ（ｘ，ｙ；Ｌ１）；ｒ（ｘ，ｙ；Ｌ２）；ｒ（ｘ，ｙ；Ｌ３）に間接比例し、こうして、データ構造の各画素又は各入力値についてそれぞれ１つの正規化された間隔測定値ｅ（ｘ，ｙ，ｔ）が設定される。最も簡単な方法は、各間隔測定値ｋ（ｘ，ｙ，ｔ）を各時間間隙及び各位置について求められたノイズ値ｒ（ｘ，ｙ；Ｌ１）で割ることによって、正規化された各間隔測定値ｅ（ｘ，ｙ，ｔ）を求めることである。
【国際調査報告】