特許 7743924 睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-09-16

(45)【発行日】2025-09-25

(54)【発明の名称】睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20250917BHJP

   A61B 5/11 20060101ALI20250917BHJP

   A61B 5/113 20060101ALI20250917BHJP

【ＦＩ】

A61B5/16 130

A61B5/11 120

A61B5/113

【請求項の数】 13

(21)【出願番号】P 2024514284

(86)(22)【出願日】2023-04-04

(86)【国際出願番号】 JP2023013983

(87)【国際公開番号】W WO2023195473

(87)【国際公開日】2023-10-12

【審査請求日】2024-09-05

(31)【優先権主張番号】P 2022063542

(32)【優先日】2022-04-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】100121441

【弁理士】

【氏名又は名称】西村 竜平

(74)【代理人】

【識別番号】100154704

【弁理士】

【氏名又は名称】齊藤 真大

(74)【代理人】

【識別番号】100206151

【弁理士】

【氏名又は名称】中村 惇志

(74)【代理人】

【識別番号】100218187

【弁理士】

【氏名又は名称】前田 治子

(74)【代理人】

【識別番号】100227673

【弁理士】

【氏名又は名称】福田 光起

(74)【代理人】

【識別番号】100231038

【弁理士】

【氏名又は名称】正村 智彦

(72)【発明者】

【氏名】吉田 康紀

(72)【発明者】

【氏名】古田 雅史

(72)【発明者】

【氏名】永島 知貴

(72)【発明者】

【氏名】外口 秋絵

(72)【発明者】

【氏名】赤澤 礼子

(72)【発明者】

【氏名】阪本 充輝

(72)【発明者】

【氏名】岡田 志麻

(72)【発明者】

【氏名】家門 優光

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】韓国公開特許第１０－２０２１－００１７００４（ＫＲ，Ａ）

【文献】特開２０１５－２１７１３０（ＪＰ，Ａ）

【文献】特開２０１８－１６４６１５（ＪＰ，Ａ）

【文献】特開２０１０－２０７４９９（ＪＰ，Ａ）

【文献】特開２０１６－２０９３２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０６ － ５／２２

(57)【特許請求の範囲】

【請求項1】

睡眠時の被測定者を含んだフレーム画像を時系列で取得するフレーム画像取得部と、
異なる時刻での２つのフレーム画像間の差分を示す情報である差分情報を算出する差分情報算出部と、
前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、
前記被測定者属性情報に応じて、前記差分情報または前記差分情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えており、
被測定者の全部または特定部位の前記フレーム画像中に占める相対的な大きさに関する情報である大きさ関連情報を取得する大きさ関連情報取得部をさらに備え、
前記睡眠状態関連情報算出部は、前記大きさ関連情報をも説明変数として、前記睡眠状態関連情報を算出することを特徴とする睡眠状態計測システム。

【請求項2】

前記睡眠状態関連情報算出部は、互いに同種であり、または互いに異種の複数の学習済モデルのうちから、前記被測定者属性情報の内容に応じた１または複数の学習済モデルを選定し、該学習済モデルに前記差分情報を与えて前記睡眠状態関連情報を算出する請求項１に記載の睡眠状態計測システム。

【請求項3】

前記被測定者属性情報として、被測定者の年齢を用いている請求項２に記載の睡眠状態計測システム。

【請求項4】

前記睡眠状態関連情報算出部は、前記大きさ関連情報によって前記差分情報を正規化し、この正規化された差分情報と前記被測定者属性情報とに基づいて、前記睡眠状態関連情報を算出する請求項１に記載の睡眠状態計測システム。

【請求項5】

前記フレーム画像において被測定者の全部または特定部位が含まれる所定形状の対象領域を特定する対象領域特定部をさらに備えており、
前記差分情報算出部が、２つのフレーム画像における前記対象領域間の差分情報を算出するように構成されているものであって、
前記大きさ関連情報取得部が、前記対象領域の面積画素数または前記対象領域の所定方向に沿った長さ画素数を前記大きさ関連情報として取得する請求項１に記載の睡眠状態計測システム。

【請求項6】

前記睡眠状態関連情報には、睡眠深度が含まれる請求項１に記載の睡眠状態計測システム。

【請求項7】

睡眠時の被測定者から生体情報を抽出する抽出部と、
前記生体情報の時間変動情報を算出する算出部とをさらに備えており、
前記睡眠状態関連情報算出部は、前記被測定者属性情報に応じて、前記差分情報または前記差分情報を処理して得られた情報と、前記時間変動情報または前記時間変動情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する請求項１に記載の睡眠状態計測システム。

【請求項8】

前記生体情報は、体動、呼吸数、呼吸数の分散、呼吸波形の振幅、心拍数、脈拍数、脈拍間隔および脈拍間隔の時間変動のうちの１つ以上を含む請求項７に記載の睡眠状態計測システム。

【請求項9】

前記抽出部は、前記フレーム画像におけるランドマークを検出し、前記ランドマークを基準として特定部位を決定し、前記特定部位において前記生体情報を抽出する請求項７に記載の睡眠状態計測システム。

【請求項10】

前記抽出部は、前記フレーム画像におけるランドマークを検出し、前記ランドマークを基準として特定部位を決定し、前記特定部位の周囲を対象領域として決定し、前記対象領域において前記生体情報を抽出する請求項７記載の睡眠状態計測システム。

【請求項11】

前記ランドマークは被測定者の顔であり、
前記特定部位は胸腹部であり、
前記生体情報は呼吸情報である請求項１０記載の睡眠状態計測システム。

【請求項12】

睡眠時の被測定者を含んだフレーム画像を時系列で取得し、
異なる時刻でのフレーム画像同士の比較結果に基づいて、それらの差分を示す情報である差分情報を算出し、
前記被測定者の属性を示す情報である被測定者属性情報を取得し、
前記被測定者属性情報に応じて、前記差分情報または前記差分情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出し、
被測定者の全部または特定部位の前記フレーム画像中に占める相対的な大きさに関する情報である大きさ関連情報を取得し、
前記睡眠状態関連情報の算出において、前記大きさ関連情報をも説明変数として、前記睡眠状態関連情報を算出することを特徴とする睡眠状態計測方法。

【請求項13】

睡眠時の被測定者を含んだフレーム画像を時系列で取得するフレーム画像取得部と、
異なる時刻でのフレーム画像同士の比較結果に基づいて、それらの差分を示す情報である差分情報を算出する差分情報算出部と、
前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、
前記被測定者属性情報に応じて、前記差分情報または前記差分情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部と、
被測定者の全部または特定部位の前記フレーム画像中に占める相対的な大きさに関する情報である大きさ関連情報を取得する大きさ関連情報取得部と、としての機能をコンピュータに発揮させるとともに、
前記睡眠状態関連情報算出部は、前記大きさ関連情報をも説明変数として、前記睡眠状態関連情報を算出するものであることを特徴とする睡眠状態計測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被測定者の睡眠状態を非接触で計測する睡眠状態計測システムに関するものである。

【背景技術】

【0002】

睡眠は脳や身体機能の維持や成長・発達と深い関係があり、近年、日常的に睡眠の状態を把握するニーズが高まっている。一方で、睡眠不足や不眠などの睡眠障害が問題視されている。特に、小児期の睡眠は本被測定者の成長だけでなく、成人後の生活習慣にも影響すると言われており重要である。
睡眠障害の一般的なスクリーニング/診断は、患者にとって負担の高い装着型装置での測定、及び睡眠外来での問診を通じた睡眠状況の把握による。

【0003】

装着型装置による計測は患者への負担が高く、通常時と同様の睡眠データが取れないリスクもある。また、問診では、患者自身が自己の睡眠中の状態を伝えることはできないので、養育者や配偶者などからの情報となるが、これでは正確な判断が難しい。

【0004】

そこで、近時、家庭等で容易に設置して計測できる非接触型の睡眠状態計測システムが求められている。特許文献１には、睡眠中の被測定者をカメラで撮影した動画の画像フレーム間の差分から、体動に関するパラメータ（体動量、体動持続時間、静止持続時間など）を算出し、これらパラメータに基づいて機械学習により睡眠深度を推定している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－１６４６１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の睡眠深度推定モデルでは、被験者の年齢等が考慮されておらず、精度において改善の余地がある。

【0007】

本発明は、この点に初めて着目してなされたものであって、被測定者の年齢等によらず、睡眠状態を精度よく測定できる非接触型の睡眠状態計測システムを提供すべく図ったものである。

【課題を解決するための手段】

【0008】

本睡眠状態計測システムは、睡眠時の被測定者を含んだフレーム画像を時系列で取得するフレーム画像取得部と、異なる時刻での２つのフレーム画像間の差分を示す情報である差分情報を算出する差分情報算出部と、前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、前記差分情報及び被測定者属性情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えていることを特徴とする。

【発明の効果】

【0009】

以上の構成によれば、被測定者に負担がかからず、自然な睡眠状態での計測が可能であることに加え、年齢等の被測定者属性情報をも説明変数として睡眠状態を計測するので、従来に比べ、計測精度を向上させることができるようになる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態における睡眠深度計測システムの全体模式図である。

【図2】同実施形態の情報処理装置の機能ブロック図である。

【図3】同実施形態の差分情報の修正処理を説明するための説明図である。

【図4】同実施形態の睡眠深度計測システムの動作を説明するフローチャートである。

【図5】本発明の他の実施形態の睡眠深度計測システムの動作説明図である。

【図6】同実施形態の睡眠深度計測システムの動作説明図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態を、図面を参照して説明する。

【0012】

第１ 概要
本実施形態に係る睡眠深度計測システム１００は、図１に示すように、例えば寝室等の部屋に設置されたカメラ１と、このカメラ１で撮像された画像データを受信し、これを解析して被測定者Ｐの睡眠深度を算出する情報処理装置２とを備えたものである。

【0013】

第２ 各部構成
１．カメラ
カメラ１は、レンズや、ＣＣＤなどの二次元センサ等を備えたものであり、睡眠中の被測定者Ｐを撮像し、その画像データ（動画データ）を出力するように構成されている。なお、カメラ１は、固定設置式のものでもよいし、リモートで撮像角度やズームを調整可能なものでもかまわないし、三次元情報を取得可能なデプスカメラでもよい。

【0014】

２．情報処理装置
情報処理装置２は、ＣＰＵやＧＰＵ、メモリ（ＤＲＡＭ等の揮発性メモリ、ＨＤＤ等の不揮発性メモリを含む。）、入出力インタフェース、通信インタフェース、ディスプレイ、入力手段（タッチパネル、マウス、キーボード等）を備えたものであり、この実施形態では、同図に示すように、前記カメラ１と有線ないし無線で通信可能に接続された本体装置２１と、この本体装置２１にインターネット等を介して相互通信可能に接続された（携帯）端末２２とから構成されている。

【0015】

なお、この情報処理装置２は、たとえば、いわゆるパーソナルコンピュータのように、物理的に一体のものでもかまわないし、本体装置２１と携帯端末２２との間に介在させたクラウドなどと称されるサーバシステムをさらに備えたものなどでもかまわない。また、情報処理装置２は、カメラ１と一体となっていてもよい。要するに、カメラ１および情報処理装置２は、同等の機能が発揮されるものであれば、その物理的な態様に限定されるものではない。

【0016】

３．プログラム構成
この情報処理装置２は、前記メモリに格納されたプログラムに従って前記ＣＰＵやその周辺機器が協動することにより、図２に示すように、フレーム画像取得部、対象領域特定部、大きさ関連情報取得部、被測定者属性情報取得部、差分情報算出部、睡眠状態関連情報算出部等としての機能を発揮する。これら各部について、以下に説明する。

【0017】

（１）フレーム画像取得部
このフレーム画像取得部は、例えば、前記カメラ１から動画データを受信し、この動画データから一定間隔ごと（ここでは例えば０．５秒ごと）の時系列で並ぶ一連の静止画像（フレーム画像）を抽出または生成し、そのデータをメモリの所定領域に格納するものである。なお、カメラ１側でフレーム画像を生成し、これをフレーム画像取得部が受信し取得するようにしてもかまわない。

【0018】

（２）対象領域特定部
この対象領域特定部は、前記フレーム画像取得部が取得したフレーム画像において、被測定者Ｐの全部または特定部位を含んだ一定の画像領域である対象領域（ＲＯＩ）を特定するものである。この対象領域の位置および範囲は、各フレーム画像において共通である。

【0019】

ここでの対象領域特定部は、図３に示すように、ディスプレイに表示された撮影画像（初期のフレーム画像）において、オペレータが被測定者Ｐの全部を含むように設定入力した矩形領域をもって、前記対象領域として特定するようにしている。

【0020】

なお、オペレータによる設定入力によらず、例えば、セマンティックセグメンテーションなどの機械学習による画像認識によって被測定者Ｐの写り込み領域を特定し、この写り込み領域を含んだ矩形等の適宜の一定形状領域を対象領域として自動設定するようにしてもよい。フレーム画像全体に対する対象領域の大きさや位置は、被測定者の動きなどに応じてフレーム画像ごとに変動してもよい。もっとも、対象領域の大きさは写り込んでいる被測定者Ｐの大きさに対する比率が等しくなるようにすることが好ましい。また、この対象領域は矩形等に限られず、画素（ピクセル）単位の形状であってもよい。

【0021】

（３）大きさ関連情報取得部
この大きさ関連情報取得部は、被測定者Ｐの全部または特定部位の前記フレーム画像中に占める相対的な大きさに関する情報である大きさ関連情報を取得するものである。

【0022】

ここでは、大きさ関連情報として、前記対象領域の面積画素数または前記対象領域の所定方向に沿った長さ画素数を簡易的に用いているが、前述のように、被測定者Ｐの画像範囲を、セマンティックセグメンテーションなどの機械学習による画像認識手法等によって特定し、そこから、被測定者Ｐの身長に対応する画素数を算出するなど、より正確な大きさ関連情報を算出するようにしてもかまわない。

【0023】

（４）被測定者属性情報取得部
この被測定者属性情報取得部は、例えばオペレータによって入力された、被測定者Ｐの属性を示す情報である被測定者属性情報を取得するものである。ここでいう被測定者属性情報には、年齢、性別、身長、体重、疾患の有無、体調などが含まれる。

【0024】

なお、この被測定者属性情報を、オペレータの入力によらず、例えば既存のＰＨＲ（Personal Health Record）との連携によって取得することも可能である。計測データとセットで扱われていれば、取得タイミングは計測時でも解析時でもよい。
また、画像認識技術により、被測定者Ｐの身体に関する特徴点を抽出し、これから年齢などの被測定者属性情報を推定してもよい。

【0025】

例えば、画像認識により被測定者Ｐの眼球位置を抽出し、瞳孔間距離を求める。瞳孔間距離は子供の身長体格・年齢や発達の程度と相関があることがわかってきており、被測定者属性情報を推定することができる。

【0026】

（５）差分情報取得部
前記差分情報取得部は、異なる時刻での２つのフレーム画像間の差分、より具体的には、前記２つのフレーム画像のうちの最初のフレーム画像（以下、基準フレーム画像ともいう。）に対して、一定の時間間隔経過後のフレーム画像（以下、比較フレーム画像ともいう。）の差分を示す情報である差分情報を、各フレーム画像について算出するものである。

【0027】

ここでいう差分情報の意味としては、基準フレーム画像の全体と比較フレーム画像の全体同士の差分情報のみならず、その一部の比較したい領域同士の差分情報も含まれる。この実施形態では、演算の負荷やノイズ低減等のため、前記対象領域のみについての差分情報を算出するようにしている。

【0028】

この実施形態での差分情報は、例えば基準フレーム画像の対象領域と比較フレーム画像の対象領域とにおいて、対応する画素同士を比較した場合に、画素値が所定の閾値を越えて異なる画素数のことである。画素値とは、フレーム画像がグレースケールであれば、明度のみの一次元値で表され、カラー画像であれば、ＲＧＢ、ＣＹＫなどの三次元値で表されるものである。なお差分情報は、画素数のみならず、フレーム画像の総画数に対する相違画素数の比率などでもかまわない。また、画素値の変化でなく、特徴点（例えば、身体の各部位や、上記のように瞳孔）の移動量を基準としてもよい。

【0029】

また、この実施形態では差分情報を得るためのフレーム画像間の時間間隔として、複数（２つ）が設定されている。ここでは、その一方である第１時間間隔が、例えば０．５秒、他方の第２時間間隔が３秒にしてある。そして、第１時間間隔でのフレーム画像間の差分情報（以下、第１差分情報ともいう。）と、第２時間間隔でのフレーム画像間の差分情報（以下、第２差分情報ともいう。）が、この差分情報算出部によって逐次算出されるように構成されている。なお、以下において、第１差分情報と第２差分情報とを区別する必要がないときには、単に差分情報という場合がある。

【0030】

（６）睡眠状態関連情報算出部
前記睡眠状態関連情報算出部は、前記差分情報及び被測定者属性情報を説明変数として、前記被測定者Ｐの睡眠状態に関する情報である睡眠状態関連情報を算出するものである。なお、ここでいう睡眠状態関連情報とは、体動、姿勢、脈拍、呼吸、表情、睡眠深度、睡眠深度の占有率(一回の睡眠における各睡眠深度の占める時間帯比率)、睡眠周期などを挙げることができる。

【0031】

第３ 動作
次に、前記各部のさらに詳細な説明も兼ねて、本睡眠深度計測システム１００の動作について、図４のフローチャートを参照しながら詳述する。

【0032】

１．初期設定
最初に、オペレータが睡眠深度計測システム１００を起動すると、カメラ１の映像が端末２２のディスプレイに表示される。
オペレータは、端末２２で映像を確認しながらカメラ１の視野や角度、位置を被測定者Ｐの全部が写るように調整する。この調整は、直接カメラ１を操作してもよいし、ＰＴＺカメラ１を利用して端末２２からリモートで調整してもよい。

【0033】

２．対象領域と被測定者属性情報の取得
次にオペレータは、端末２２の画面において、被測定者Ｐが含まれるように矩形状の対象領域を指定入力する。このことにより、この対象領域の画像中での位置および範囲を示す対象領域情報が特定され、これを対象領域情報取得部が取得してメモリの所定領域に格納する（ステップＳ１）。

【0034】

また、オペレータは、端末２２において前記被測定者属性情報を入力する。入力された被測定者属性情報は、被測定者属性情報取得部が取得しメモリの所定領域に格納する（同ステップＳ１）。
３．大きさ関連情報の取得

【0035】

次に、大きさ関連情報取得部が、被測定者Ｐのフレーム画像中に占める大きさ関連情報を取得する（ステップＳ２）。ここでは、前述したように、前記対象領域の面積画素数または前記対象領域の長手方向に沿った長さ画素数を大きさ関連情報としている。

【0036】

オペレータの操作により計測が開始されると、まず、前記フレーム画像取得部が、カメラ１から送信されてくる動画データから、一定間隔ごと（ここでは例えば０．５秒ごと）の時系列で並ぶ静止画像、すなわちフレーム画像のデータを逐次抽出または生成し、これらフレーム画像データをメモリの所定領域に格納する（ステップＳ３）。

【0037】

４．差分情報の算出
次に、差分情報算出部が、各フレーム画像を基準として、その一定時間間隔後のフレーム画像との差分情報をそれぞれ算出する（ステップＳ５）。ここでは、前述したように、２つの時間間隔（第１時間間隔および第２時間間隔）が設定されており、一連のフレーム画像の対象領域について、それぞれ２種類の差分情報（第１差分情報および第２差分情報）が算出される。

【0038】

このとき差分情報算出部は、明らかなノイズやエラーを削除する。その例としては、第１時間間隔（０．５秒）では、ありえない差分画素数（移動）が検出された場合である。このような場合、当該フレーム画像をエラーとしてカウントしないなどの処理を施す。

【0039】

他方、前記睡眠状態関連情報算出部が、前記大きさ関連情報によって前記差分情報を正規化する。この実施形態では、差分情報の正規化は、差分情報の算出に先立って行われる。（ステップＳ４）。

【0040】

ここでは大きさ関連情報として前記対象領域の面積画素数や縦横の長さ画素数を用いており、かつ、当該対象領域と被測定者Ｐの画像上での大きさ比率を可及的に等しくしているので、この対象領域を画像フレームの大きさにする。そして、この対象領域について、前記差分情報算出部が差分情報を算出する。

【0041】

ここで、差分情報の正規化の必要性について簡単に説明する。画像内で小さく写っている被測定者Ｐと大きく写っている被測定者Ｐを比べた場合、同じ体動があっても、小さく写っている被測定者Ｐの場合は、画素数で表される差分情報の値が小さくなる。その結果、ある条件での差分情報が１０画素が片腕の動きに相当したとしても、別の条件では体幹の動き(寝返り)に相当する場合や、体動ではなくノイズとみなされる場合があり、そしてこのような差分情報をそのまま用いて睡眠状態関連情報の算出を行うと、計測精度の低下につながるので、前記正規化によって差分情報を補正することにより、このような不具合を解決している。

【0042】

なお、正規化手法については、前述に限られず、これと均等な演算処理が施されればよい。例えば、差分情報を算出した後に行っても構わない。一例として、予め大きさ関連情報の基準値が設定しておき、この基準値に対する大きさ関連情報の取得値の比の逆数を前記差分情報の値にかけて差分情報を補正する、といった処理を施すことが挙げられる。

【0043】

また、解析対象とする差分情報(体動量の時系列推移)を算出した後に、一連の差分情報全体を平均0分散1にする正規化を行い、学習器の入力パラメータ（説明変数）としてもよい。解析対象データごとに正規化することで、差分情報の値がデータごとにばらつくことを抑制できる。

【0044】

５．睡眠状態情報の算出
次に、前記睡眠状態関連情報算出部は、補正された（正規化された）２種類の差分情報に基づいて、中間パラメータ（請求項でいう差分情報を処理して得られた情報の一例。）を算出する（ステップＳ６）。具体的には、前記第１差分情報（差分画素数）は、早い体動を示し、第２差分情報は遅い体動を示していると考えられる。そして、これら第１差分情報および第２差分情報の値の、一定期間（複数エポック数に相当する期間、例えば３０秒）での平均値、分散値、差分画素数が所定の閾値以下を継続した時間などを中間パラメータとして算出する。なお、この中間パラメータも睡眠状態関連情報に含まれる。
一方で、前記睡眠状態関連情報算出部は、前記被測定者属性情報に基づいて学習済みモデルを選択する（ステップＳ７）。

【0045】

学習済みモデルとは、前記差分情報および／または中間パラメータを入力すると、睡眠深度を出力する、予め機械学習によって生成したアルゴリズムである。ここでは、前記被測定者属性情報の値によって学習用データ（前記差分情報および／または中間パラメータ）を複数に分け、それぞれで機械学習を実行することにより、被測定者属性情報の値ごとに学習済みモデルを生成している。

【0046】

より具体的には、この実施形態では、被測定者属性情報として年齢を用いており、年齢層ごとに学習済みモデルが予め生成されている。年齢層とは、０～２歳、２歳～８歳などである。
次に、睡眠状態関連情報算出部は、この学習済みモデルに前記中間パラメータを入力することにより睡眠深度を算出する（ステップＳ８）。

【0047】

第４ 他の実施形態
なお、本発明は前記実施形態に限られるものではない。
例えば、体動を、骨格推定によって推定される身体のキーポイント座標の変動を利用して算出しても良い。
被測定者Ｐの身体全部ではなく、顔、手、足などの特定部位のみによって睡眠状態関連情報を計測してもかまわない。
体動情報をカメラ動画フレーム間の差分情報から算出しているが、接触型センサなどの所定時間毎の出力値の変動から算出してもよい。

【0048】

前記実施形態では、大きさ関連情報を、被測定者Ｐの画像に写り込んだ領域の画素数で設定していたが、これに被測定者Ｐまでの距離をパラメータとして補正してもかまわない。例えば、斜めから撮像している場合、画像手前側はカメラ１との距離が短く、奥に行くほどカメラ１からの距離が長くなる。そのため、同じ被測定者Ｐでも、画像の手前側に写っている場合は、大きく写り、奥側になれば小さく写る。そこで、被測定者Ｐの画像中における位置によって、大きさ関連情報の値を補正すればよい。具体的には、被測定者Ｐが手前側の場合は、写り込み画素数を小さくなるように補正し、奥側の場合はその逆を行う。

【0049】

この場合、大きさ関連情報を、画像フレームごとに算出するようにすればなおよい。例えば、被測定者Ｐが小児の場合、寝相による移動範囲が大きく、就寝中に生じるカメラ１との相対位置関係（特に距離）の変化を無視できないからである。
また、被測定者Ｐの身体部位を特定するプログラムである身体部位特定部を設けるようにしてもよい。
例えば、オペレータが、顔領域をタップ等で指定することで、前記身体部位特定部は、“指定領域内に顔がある前提”で顔検出できる。

【0050】

属性情報の取得についても、大きさ関連情報から推定してもよい。例えば、被測定者Ｐの瞳孔間距離（または眼球間距離）や頭部サイズから身長・年齢などの属性情報を推定することが可能である。このステップを介することで、大きさ関連情報によって学習済モデルを選択してもよい。

【0051】

学習済モデルは、年齢等に応じていずれか１つを選択してもよいし、複数を選択してアンサンブル学習を行ってもよい。例えば、被測定者Ｐの成長が平均より早い場合には、年齢に基づく学習済みモデルと体型（身長、体重）に基づく学習済みモデルの両方を用いることが考えられる。

【0052】

ユーザインタフェースとしては、年齢、体型の入力項目に加え、「被測定者Ｐの体型が平均に対して大きい／小さい」などの入力項目があってもよい。被測定者Ｐの体型を身体発育曲線のデータと紐づけるなどして、自動で判定してもよい。

【0053】

“複数の学習済モデルを選択する”ことについても、同じ機械学習手法で学習データが異なる学習器(モデル)を用意してもよいし、異なる機械学習手法で作成された学習器(モデル)を用いてもよい。

【0054】

年齢などの属性情報に応じて、睡眠状態関連情報の推定精度が高くなる機械学習手法が異なる場合がある。例えば、睡眠リズムを獲得した幼児期以降では、睡眠ステージに応じた体動表出の特徴がはっきりしてくる。睡眠ステージごとに明確な特徴があるので、ExtraTree (多数決法)での睡眠深度判定と相性がよい。一方で、睡眠リズムを獲得できていない乳児期の睡眠深度推定には、ニューラルネットワークを用いた学習モデルで睡眠深度を推定するほうが、正答率が高くなる。

【0055】

また、予め学習した学習済モデルを被測定者Ｐの情報で更新してもよい。例えば、被測定者Ｐの親が睡眠深度の情報をアノテーションすることが考えられる。学習データをすべて計測対象者について準備してもよい。この場合、データオーギュメンテーションにより学習データを増やすことが好ましい。

【0056】

前記実施形態では、一連のフレーム画像を取得した後、差分情報を算出し睡眠深度を計測していたが、ストリーミングのように、フレーム画像を取り込みながら、同時並行的に睡眠深度を算出するようにしてもかまわない。
上記構成では、被測定者の画像データに基づいて、睡眠状態関連情報を算出していたが、画像データに限られるものではない。

【0057】

例えば、被測定者から生体情報を抽出し、前記生体情報の時間変動情報を算出し、この時間変動情報または前記時間変動情報を処理して得られた情報を説明変数として、前記被測定者属性情報に応じて、前記睡眠状態関連情報を算出するようにしてもよい。

【0058】

ここでいう生体情報とは、たとえば、体動、呼吸数（またはその分散）、呼吸波形の振幅、心拍数、脈脈拍数、脈拍間隔および脈拍間隔の時間変動のうちの１つ以上である。この生体情報を計測するための生体情報センサとしては、赤外線などの電磁波の透過量や反射量から心拍や脈波などを検出する電磁波センサや、荷重変化や荷重移動を検出する圧力センサなどを挙げることができる。この生体情報センサの形式としては、シート型、装着型、マイクロ波レーダ型などを用いてよい。

【0059】

生体情報は、前記フレーム画像におけるランドマークを検出し、前記ランドマークを基準として特定部位を決定し、前記特定部位において抽出されてもよい。
生体情報が例えば呼吸情報（呼吸数や呼吸波形の振幅）であれば、ランドマークを顔や首とすることができる。ランドマークの位置は、オペレータの入力に基づいてもよいし、フレーム画像を入力としてランドマークの位置を出力する学習済モデルを用いた機械学習により行ってもよい。

【0060】

図５（ａ）～（ｄ）にその具体例を示す。ここでは、フレーム画像（同図（ａ）に示す。）を、面内で一定角度で回転させながら（同図（ｂ）に示す。）、複数の角度でランドマークの推定を機械学習により行い（同図（ｃ）に示す。）、最も確信度が高い角度でのランドマークの検出結果を採用する（同図（ｄ）に示す。）。

【0061】

ランドマークが顔で生体情報が呼吸情報であれば、顔領域の位置から胸腹部領域を決定する。推定された胸腹部領域の動きから呼吸情報を生体情報として抽出してもよい。もっとも、顔が体の軸に対して傾いている場合には、実際の胸腹部領域の位置は決定位置からずれていることがある。そこで、胸腹部領域の決定位置の周囲を対象領域として決定し、この対象領域において生体情報としての呼吸情報を抽出してもよい。

【0062】

前記胸腹部領域や対象領域で生体情報を抽出することで、ノイズとなる他部位の動きを除外できる。
対象領域の形状は、決定したランドマークの位置を回転中心として一定の角度範囲にドーナツ状に設定してもよい。その具体例を、図６を参照して説明する。確信度の高い角度画像での顔検出結果のＲＯＩ（関心領域）を算出し（図６（ａ））、その中心点を算出する（図６（ｂ））。そして、その中心点から二重の同心円を描き、二重同心円で囲まれたドーナツ領域から一定角度の扇形状を設定する（図６（ｃ））。この形状を、確信度の高い角度画像に当てはめ、扇形状の範囲を、胸部（腹部）が存在し得る範囲に設定する（図６（ｄ））。
このように対象領域を限定することで、計算量を削減するとともに、ノイズとなる他部位の動きを除外できるという利点がある。

【0063】

なお、前述したカメラもその画像データを処理する情報処理装置と併せて考えれば、生体情報を検出する生体情報センサとしての機能を担っているということもできる。

【0064】

また、時間変動情報または前記時間変動情報を処理して得られた情報とは、前記生体情報の時間変動のことであるから、前述した差分情報またはこの差分情報を処理して得られた情報も、この時間変動情報等に含まれているということができる。

【0065】

その他、本発明は前記実施形態や図示例に限られることはないし、例えば実施形態や変形例の一部同士を組み合わせるなど、その趣旨を逸脱しない範囲で変形可能である。

【0066】

第５ まとめ
以上に述べた実施態様の特徴をまとめると以下のようになる。

【0067】

［１］
睡眠時の被測定者を含んだフレーム画像を時系列で取得するフレーム画像取得部と、異なる時刻での２つのフレーム画像間の差分を示す情報である差分情報を算出する差分情報算出部と、前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、前記差分情報及び被測定者属性情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えていることを特徴とする睡眠状態計測システム。

【0068】

このようなものであれば、被測定者に負担がかからず、自然な睡眠状態での計測が可能であることに加え、年齢等の被測定者属性情報をも説明変数として睡眠状態を計測するので、従来に比べ、計測精度を向上させることができるようになる。

【0069】

［２］
前記睡眠状態関連情報算出部は、複数の学習済モデルのうちから、前記被測定者属性情報の内容に応じた１または複数の学習済モデルを選定し、該学習済モデルに前記差分情報を与えて前記睡眠状態関連情報を算出することを特徴とする［１］に記載の睡眠状態計測システム。

【0070】

このようなものであれば、機械学習によって複数種類の学習済みモデルを生成すれば本睡眠状態計測システムを実現できるので、実現性に富み、かつ計測精度を担保できる。特に、データオーギュメンテーションにより学習データを増加させることで計測精度の向上を促進できる。

【0071】

［３］
前記被測定者属性情報として、被測定者の年齢を用いることを特徴とする［１］または［２］に記載の睡眠状態計測システム。
このようなものであれば、睡眠深度の変化パターン(睡眠サイクル、占有率など)は、小児や幼児、一般成人、高齢者によって異なりうるので、被測定者属性情報として年齢（または年齢層）を用い、その値に応じて学習済みモデル生成するなど、睡眠状態算出のアルゴリズムを変えることにより、計測精度の顕著な向上を期待できる。

【0072】

［４］
被測定者の全部または特定部位の前記フレーム画像中に占める相対的な大きさに関する情報である大きさ関連情報を取得する大きさ関連情報取得部をさらに備え、前記睡眠状態関連情報算出部は、前記大きさ関連情報をも説明変数として、前記睡眠状態関連情報を算出することを特徴とする［１］～［３］いずれかに記載の睡眠状態計測システム。

【0073】

［５］
前記睡眠状態関連情報算出部は、前記大きさ関連情報によって前記差分情報を正規化し、この正規化された差分情報と前記被測定者属性情報とに基づいて、前記睡眠状態関連情報を算出することを特徴とする［４］に記載の睡眠状態計測システム。

【0074】

このようなものであれば、画像に写り込んだ被測定者の大きさにかかわらず、差分情報およびこれに基づき算出される体動量の基準を安定させることができるので、睡眠深度など睡眠状態関連情報の計測精度を向上させることができる。

【0075】

［６］
前記フレーム画像において被測定者の全部または特定部位が含まれる所定形状の対象領域を特定する対象領域特定部をさらに備えており、前記差分情報算出部が、２つのフレーム画像における前記対象領域間の差分情報を算出するように構成されているものであって、前記大きさ関連情報取得部が、前記対象領域の面積画素数または前記対象領域の所定方向の長さ画素数に沿った長さ画素数を前記大きさ関連情報として取得することを特徴とする［４］または［５］に記載の睡眠状態計測システム。
このようなものであれば、前記［４］または［５］の構成を簡易に実現できる。

【0076】

［７］
前記睡眠状態関連情報には、睡眠深度や睡眠サイクル、占有率が含まれることを特徴とする。
このようなものであれば、本構成の効果がより顕著となる。

【0077】

［８］
睡眠時の被測定者から生体情報を抽出する抽出部と、
前記生体情報の時間変動情報を算出する算出部と、
前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、
前記被測定者属性情報に応じて、前記時間変動情報または前記時間変動情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えていることを特徴とする［１］に記載の睡眠状態計測システム。
このようなものであれば、生体情報から睡眠状態関連情報を算出することができる。

【0078】

［９］
前記生体情報は、体動、呼吸数、呼吸数の分散、呼吸波形の振幅、心拍数、脈脈拍数、脈拍間隔および脈拍間隔の時間変動のうちの１つ以上を含む［８］に記載の睡眠状態計測システム。
このような生体情報を用いれば、睡眠状態の計測精度を向上させることができる。

【0079】

［１０］
前記抽出部は、前記フレーム画像におけるランドマークを検出し、前記ランドマークを基準として特定部位を決定し、前記特定部位において前記生体情報を抽出する［１］～［９］いずれかに記載の睡眠状態計測システム。
このように対象領域を限定することで、計算量を削減するとともに、ノイズとなる他部位の動きを除外できる。

【0080】

［１１］
前記抽出部は、前記フレーム画像におけるランドマークを検出し、前記ランドマークを基準として特定部位を決定し、前記特定部位の周囲を対象領域として決定し、前記対象領域において前記生体情報を抽出する［１］～［９］いずれかに記載の睡眠状態計測システム。
このようにして対象領域を限定するもでき、前述同様、計算量を削減するとともに、ノイズとなる他部位の動きを除外できる。

【0081】

［１２］
前記ランドマークは被測定者の顔であり、
前記特定部位は胸腹部であり、
前記生体情報は呼吸情報である［１１］記載の睡眠状態計測システム。
このようなものであれば、睡眠状態の計測精度を向上させることができる。

【0082】

［１３］
睡眠時の被測定者から生体情報を抽出する抽出部と、
前記生体情報の時間変動情報を算出する算出部と、
前記被測定者の属性を示す情報である被測定者属性情報を取得する被測定者属性情報取得部と、
前記被測定者属性情報に応じて、前記時間変動情報または前記時間変動情報を処理して得られた情報を説明変数として、前記被測定者の睡眠状態に関する情報である睡眠状態関連情報を算出する睡眠状態関連情報算出部とを備えていることを特徴とする睡眠状態計測システム。
このようなものであれば、前述した［１］の構成と同様の作用効果を奏し得る。

【産業上の利用可能性】

【0083】

被測定者に負担がかからず、自然な睡眠状態での計測が可能であることに加え、年齢等の被測定者属性情報をも説明変数として睡眠状態を計測するので、従来に比べ、計測精度を向上させることができるようになる。

【符号の説明】

【0084】

１００・・・睡眠状態計測システム
１・・・カメラ
２・・・情報処理装置
Ｐ・・・被測定者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】