特開 2022-136066 睡眠段階推定システム、睡眠段階推定方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022136066

(43)【公開日】2022-09-15

(54)【発明の名称】睡眠段階推定システム、睡眠段階推定方法およびプログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20220908BHJP

   A61B 5/11 20060101ALI20220908BHJP

【ＦＩ】

A61B5/16 130

A61B5/11 100

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022034655

(22)【出願日】2022-03-07

(31)【優先権主張番号】63/156,934

(32)【優先日】2021-03-05

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100152272

【弁理士】

【氏名又は名称】川越 雄一郎

(74)【代理人】

【識別番号】100181722

【弁理士】

【氏名又は名称】春田 洋孝

(72)【発明者】

【氏名】▲高▼玉 圭樹

(72)【発明者】

【氏名】千住 太希

(72)【発明者】

【氏名】▲陳▼ 怡恒

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038PP05

4C038VA15

4C038VB31

4C038VC20

(57)【要約】

【課題】２クラス分類の学習器を用いた被験者の睡眠段階の推定の精度を向上させる。
【解決手段】被験者の睡眠段階をマットセンサ上の被験者の振動を示すデータから推定する睡眠段階推定システムは、２クラス分類モデルと統合部とを備え、２クラス分類モデルには、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類を行うＷＡＫＥ分類モデルと、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類を行うＲＥＭ分類モデルと、被験者の振動を示すデータがＮＲＥＭ睡眠段階に分類されるか否かの分類を行うＮＲＥＭ分類モデルとが含まれ、統合部は、予め定められた統合ルールに基づいて、ＷＡＫＥ分類モデルによる分類とＲＥＭ分類モデルによる分類とＮＲＥＭ分類モデルによる分類とが行われた被験者の振動を示すデータがどの睡眠段階に該当するかを推定する。
【選択図】図４

【特許請求の範囲】

【請求項1】

被験者の睡眠段階が複数の睡眠段階のうちのいずれの睡眠段階に該当するかを、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータから推定する睡眠段階推定システムであって、
２クラス分類モデルと統合部とを備え、
前記２クラス分類モデルには、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＷＡＫＥ睡眠段階に分類されるか否かの分類を行うＷＡＫＥ分類モデルと、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＲＥＭ睡眠段階に分類されるか否かの分類を行うＲＥＭ分類モデルと、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ睡眠段階に分類されるか否かの分類を行うＮＲＥＭ分類モデルとが含まれ、
前記ＷＡＫＥ分類モデルは、ＷＡＫＥ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、
前記ＲＥＭ分類モデルは、ＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、
前記ＮＲＥＭ分類モデルは、ＮＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、
前記統合部は、予め定められた統合ルールに基づいて、前記ＷＡＫＥ分類モデルによる分類と前記ＲＥＭ分類モデルによる分類と前記ＮＲＥＭ分類モデルによる分類とが行われた被験者の振動を示すデータが、前記複数の睡眠段階のうちのいずれの睡眠段階に該当するかを推定する、
睡眠段階推定システム。

【請求項2】

前記複数の睡眠段階には、ＷＡＫＥ睡眠段階と、ＲＥＭ睡眠段階と、ＮＲＥＭ１睡眠段階と、ＮＲＥＭ２睡眠段階と、ＮＲＥＭ３＆４睡眠段階とが含まれ、
前記ＮＲＥＭ分類モデルには、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ１睡眠段階に分類されるか否かの分類を行うＮＲＥＭ１分類モデルと、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ２睡眠段階に分類されるか否かの分類を行うＮＲＥＭ２分類モデルと、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類を行うＮＲＥＭ３＆４分類モデルとが含まれ、
前記ＮＲＥＭ１分類モデルは、ＮＲＥＭ１睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、
前記ＮＲＥＭ２分類モデルは、ＮＲＥＭ２睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、
前記ＮＲＥＭ３＆４分類モデルは、ＮＲＥＭ３＆４睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、
前記統合部は、予め定められた統合ルールに基づいて、前記ＷＡＫＥ分類モデルによる分類と前記ＲＥＭ分類モデルによる分類と前記ＮＲＥＭ１分類モデルによる分類と前記ＮＲＥＭ２分類モデルによる分類と前記ＮＲＥＭ３＆４分類モデルによる分類とが行われた被験者の振動を示すデータが、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のうちのいずれの睡眠段階に該当するかを推定する、
請求項１に記載の睡眠段階推定システム。

【請求項3】

前記ＷＡＫＥ分類モデル、前記ＲＥＭ分類モデル、前記ＮＲＥＭ１分類モデル、前記ＮＲＥＭ２分類モデルおよび前記ＮＲＥＭ３＆４分類モデルのそれぞれには、
マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータとして、
マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形を対数パワースペクトルに変換し、次いで、スペクトログラムに変換した画像データが入力される、
請求項２に記載の睡眠段階推定システム。

【請求項4】

前記ＷＡＫＥ分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、
前記ＷＡＫＥ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＷＡＫＥ分類モデルの全結合層は前記ＷＡＫＥ分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、
前記ＷＡＫＥ分類モデルの出力層は、前記ＷＡＫＥ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力し、
前記ＲＥＭ分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、
前記ＲＥＭ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＲＥＭ分類モデルの全結合層は前記ＲＥＭ分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、
前記ＲＥＭ分類モデルの出力層は、前記ＲＥＭ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果を出力し、
前記ＮＲＥＭ１分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、
前記ＮＲＥＭ１分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＮＲＥＭ１分類モデルの全結合層は前記ＮＲＥＭ１分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、
前記ＮＲＥＭ１分類モデルの出力層は、前記ＮＲＥＭ１分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力し、
前記ＮＲＥＭ２分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、
前記ＮＲＥＭ２分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＮＲＥＭ２分類モデルの全結合層は前記ＮＲＥＭ２分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、
前記ＮＲＥＭ２分類モデルの出力層は、前記ＮＲＥＭ２分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力し、
前記ＮＲＥＭ３＆４分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、
前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＮＲＥＭ３＆４分類モデルの全結合層は前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、
前記ＮＲＥＭ３＆４分類モデルの出力層は、前記ＮＲＥＭ３＆４分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力する、
請求項３に記載の睡眠段階推定システム。

【請求項5】

前記ＷＡＫＥ分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、
前記ＷＡＫＥ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＷＡＫＥ分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＷＡＫＥ分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、
前記ＷＡＫＥ分類モデルの全結合層は前記ＷＡＫＥ分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、 前記ＷＡＫＥ分類モデルの出力層は、前記ＷＡＫＥ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力し、
前記ＲＥＭ分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、
前記ＲＥＭ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＲＥＭ分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＲＥＭ分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、
前記ＲＥＭ分類モデルの全結合層は前記ＲＥＭ分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、
前記ＲＥＭ分類モデルの出力層は、前記ＲＥＭ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果を出力し、
前記ＮＲＥＭ１分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、
前記ＮＲＥＭ１分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＮＲＥＭ１分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＮＲＥＭ１分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、
前記ＮＲＥＭ１分類モデルの全結合層は前記ＮＲＥＭ１分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、
前記ＮＲＥＭ１分類モデルの出力層は、前記ＮＲＥＭ１分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力し、
前記ＮＲＥＭ２分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、
前記ＮＲＥＭ２分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＮＲＥＭ２分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＮＲＥＭ２分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、
前記ＮＲＥＭ２分類モデルの全結合層は前記ＮＲＥＭ２分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、
前記ＮＲＥＭ２分類モデルの出力層は、前記ＮＲＥＭ２分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力し、
前記ＮＲＥＭ３＆４分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、
前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＮＲＥＭ３＆４分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、
前記ＮＲＥＭ３＆４分類モデルの全結合層は前記ＮＲＥＭ３＆４分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、
前記ＮＲＥＭ３＆４分類モデルの出力層は、前記ＮＲＥＭ３＆４分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力する、
請求項３に記載の睡眠段階推定システム。

【請求項6】

前記ＷＡＫＥ分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、
前記ＷＡＫＥ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＷＡＫＥ分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＷＡＫＥ分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、
前記ＷＡＫＥ分類モデルの全結合層は前記ＷＡＫＥ分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、
前記ＷＡＫＥ分類モデルの出力層は、前記ＷＡＫＥ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力し、
前記ＲＥＭ分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、
前記ＲＥＭ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＲＥＭ分類モデルの全結合層は前記ＲＥＭ分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、
前記ＲＥＭ分類モデルの出力層は、前記ＲＥＭ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果を出力し、
前記ＮＲＥＭ１分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、
前記ＮＲＥＭ１分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＮＲＥＭ１分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＮＲＥＭ１分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、
前記ＮＲＥＭ１分類モデルの全結合層は前記ＮＲＥＭ１分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、
前記ＮＲＥＭ１分類モデルの出力層は、前記ＮＲＥＭ１分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力し、
前記ＮＲＥＭ２分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、
前記ＮＲＥＭ２分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＮＲＥＭ２分類モデルの全結合層は前記ＮＲＥＭ２分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、
前記ＮＲＥＭ２分類モデルの出力層は、前記ＮＲＥＭ２分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力し、
前記ＮＲＥＭ３＆４分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、
前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、
前記ＮＲＥＭ３＆４分類モデルの全結合層は前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、
前記ＮＲＥＭ３＆４分類モデルの出力層は、前記ＮＲＥＭ３＆４分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力する、
請求項３に記載の睡眠段階推定システム。

【請求項7】

前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つの分類結果のみがＰｏｓｉｔｉｖｅ（肯定的）である場合に、
前記統合部は、被験者の振動を示すデータが、Ｐｏｓｉｔｉｖｅな分類結果に対応する睡眠段階に該当すると推定する、
請求項４から請求項６のいずれか一項に記載の睡眠段階推定システム。

【請求項8】

前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果と、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果とが共にＰｏｓｉｔｉｖｅである場合であって、
前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つ以上の分類結果がＰｏｓｉｔｉｖｅである場合に、
前記統合部は、被験者の振動を示すデータがＲＥＭ睡眠段階に該当すると推定する、
請求項７に記載の睡眠段階推定システム。

【請求項9】

前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果のみがＰｏｓｉｔｉｖｅである場合に、
前記統合部は、被験者の振動を示すデータがＷＡＫＥ睡眠段階に該当すると推定する、
請求項８に記載の睡眠段階推定システム。

【請求項10】

前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つの分類結果のみがＰｏｓｉｔｉｖｅである場合に該当せず、かつ、
前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果と、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果とが共にＰｏｓｉｔｉｖｅであって、
前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つ以上の分類結果がＰｏｓｉｔｉｖｅである場合に該当せず、かつ、
前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果のみがＰｏｓｉｔｉｖｅである場合に該当せず、かつ、
前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちのＰｏｓｉｔｉｖｅである分類結果が複数存在するときに、
前記統合部は、
Ｐｏｓｉｔｉｖｅである分類結果に対応する複数の睡眠段階に「ＮＲＥＭ２睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＷＡＫＥ睡眠段階、ＮＲＥＭ３＆４睡眠段階」の順序で優先順位をつけ、
被験者の振動を示すデータが、Ｐｏｓｉｔｉｖｅである分類結果に対応する複数の睡眠段階のうちの最も高い優先順位を有する睡眠段階に該当すると推定する、
請求項９に記載の睡眠段階推定システム。

【請求項11】

前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅ（否定的）であって、前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅである場合に、
前記統合部は、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に該当すると推定する、
請求項１０に記載の睡眠段階推定システム。

【請求項12】

被験者の睡眠段階が複数の睡眠段階のうちのいずれの睡眠段階に該当するかを、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータから推定する睡眠段階推定方法であって、
２クラス分類ステップと統合ステップとを備え、
前記２クラス分類ステップには、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＷＡＫＥ睡眠段階に分類されるか否かの分類を行うＷＡＫＥ分類ステップと、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＲＥＭ睡眠段階に分類されるか否かの分類を行うＲＥＭ分類ステップと、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ睡眠段階に分類されるか否かの分類を行うＮＲＥＭ分類ステップとが含まれ、
前記ＷＡＫＥ分類ステップの実行前には、ＷＡＫＥ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、
前記ＲＥＭ分類ステップの実行前には、ＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、
前記ＮＲＥＭ分類ステップの実行前には、ＮＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、
前記統合ステップでは、予め定められた統合ルールに基づいて、前記ＷＡＫＥ分類ステップにおける分類と前記ＲＥＭ分類ステップにおける分類と前記ＮＲＥＭ分類ステップによる分類とが行われた被験者の振動を示すデータが、前記複数の睡眠段階のうちのいずれの睡眠段階に該当するかが推定される、
睡眠段階推定方法。

【請求項13】

コンピュータに、
２クラス分類ステップと統合ステップとを実行させることによって、被験者の睡眠段階が複数の睡眠段階のうちのいずれの睡眠段階に該当するかを、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータから推定させるためのプログラムであって、
前記２クラス分類ステップには、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＷＡＫＥ睡眠段階に分類されるか否かの分類を行うＷＡＫＥ分類ステップと、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＲＥＭ睡眠段階に分類されるか否かの分類を行うＲＥＭ分類ステップと、
被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ睡眠段階に分類されるか否かの分類を行うＮＲＥＭ分類ステップとが含まれ、
前記ＷＡＫＥ分類ステップの実行前には、ＷＡＫＥ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、
前記ＲＥＭ分類ステップの実行前には、ＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、
前記ＮＲＥＭ分類ステップの実行前には、ＮＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、
前記統合ステップでは、予め定められた統合ルールに基づいて、前記ＷＡＫＥ分類ステップにおける分類と前記ＲＥＭ分類ステップにおける分類と前記ＮＲＥＭ分類ステップによる分類とが行われた被験者の振動を示すデータが、前記複数の睡眠段階のうちのいずれの睡眠段階に該当するかが推定される、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、睡眠段階推定システム、睡眠段階推定方法およびプログラムに関する。

【背景技術】

【0002】

経済協力開発機構「GENDER EQUALITY」Gender Data Portal 2019.（https://www.oecd.org/gender/data/）によると、日本の睡眠時間は最短である。また、厚生労働省の国民調査（厚生労働省、平成２６年「国民健康・栄養調査」（https://www.mhlw.go.jp/stf/houdou/0000106405.html）によると、一般成人の５人に１人が何らかの睡眠の悩みを持ち、十分な睡眠を取れていないと推計される。睡眠不足が積み重なると、睡眠負債という状態になり、うつ病、認知症、生活習慣病などの病気の発症リスクを高める可能性がある。個人が健康でいるためや、国の医療費を削減するためにも睡眠に関する問題は早期に改善されるべきである。
睡眠に関する問題を発見するためには、終夜睡眠ポリグラフ（Polysomnography：ＰＳＧ）検査によって取得された脳波計、筋電図、眼球運動などの生体データを用いて、ＷＡＫＥ（覚醒）、ＲＥＭ（レム）、Ｎｏｎ－ＲＥＭ（ＮＲＥＭ）（ノンレム）１～ＮＲＥＭ４の６段階に分類される睡眠段階を導出して分析する必要がある。しかし、このＰＳＧ検査には、頭部や身体に複数の電極を取り付ける必要があり、被験者に対する身体・精神的負担が非常に大きく、普段の睡眠のデータを取得できない問題がある。このような問題から、ＰＳＧ検査に代わるマットセンサの上に寝るだけで睡眠段階を推定できるような簡易的な検査方法に対する需要が高まっている。例えば、無拘束型の睡眠段階推定法として、マットセンサをマットレスの下に設置し、取得したセンサ値（生体振動データ）を分析することで睡眠の質を解析することや、アクチグラフ（腕時計型の加速度センサ）を被験者に取り付けて生体振動データを分析することがあげられる。

【0003】

それらの先行研究として、非特許文献１には、マットセンサから得られた生体振動データから抽出された心拍の中周波成分と睡眠段階に相関性があることが記載されている。
非特許文献２に記載された技術では、アクチグラフから取得した心拍変動から時間領域と周波数領域の特徴量が設計され、Ｒａｎｄｏｍ Ｆｏｒｅｓｔによって、ＷＡＫＥ、ＲＥＭ、ＮＲＥＭの３段階の分類が行われている。
しかし、これらの方法は推定精度に限界があり、実応用に展開できるレベルに至っていないため、より精度の高い推定精度の実現が求められる。特に、心拍や体動のみでは生体振動データに含まれる他の情報を活用できないため、マットセンサなどから取得できる全ての生体振動データ（呼吸、心拍、体動の振動などの複数の振動を混合した生体振動データ）を分析することが重要となる。

【0004】

特許文献１には、眠りの深さを表す指標である睡眠段階を推定する技術について記載されている。詳細には、特許文献１には、推定フェーズにおいて、心電計から入力された心電図データをもとに心拍変動特徴量算出部により算出された心拍変動特徴ベクトルと、加速度計から入力された加速度データをもとに加速度特徴量算出部により算出された加速度特徴ベクトルと、モデルデータベースの各テーブルに記憶されている情報、姿勢判定部による加速度データから判定した覚醒状態とを用いて、ｎ秒ごとの睡眠段階（ＷＡＫＥ、ＲＥＭ、ＮＲＥＭ）を推定する旨が記載されている。
また、特許文献１には、学習フェーズでは、被験者の脳波、筋電、心電波形、加速度を計測しながら、医療従事者等の測定者がｎ秒ごとに被験者の睡眠段階を目視観察してその観察結果を「睡眠段階の正解ラベル」として入力部により入力する旨が記載されている。

【0005】

しかしながら、各睡眠段階の特徴は全く異なり、１つの分類器・学習器（例えばＣＮＮ（畳み込みニューラルネットワーク）等）で多クラス分類を学習させることは難しい。つまり、例えば、あるＣＮＮは、ＷＡＫＥの分類は得意だが、ＲＥＭの分類は不得意であるなどの得意・不得意を有する。
そのため、従来技術によっては、２クラス分類の学習器を用いた被験者の睡眠段階の推定の精度を十分に向上させることができない。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－０４８１５０号公報

【非特許文献】

【0007】

【非特許文献1】T. Watanabe and K. Watanabe. “Estimation of the Sleep Stages by the Non-Restrictive Air Mattress Sensor” Transactions of the Society of Instrument and Control Engineers, Vol. 37, No. 9, pp. 821-828, 2001.

【非特許文献2】Xiao, Meng, et al. “Sleep stages classification based on heart rate variability and random forest” Biomedical Signal Processing and Control 8.6 (2013): 624-633.

【非特許文献3】A. Rechtschaffen and A. Kales, “A manual of Stand-ardized terminology, Techniques and Scoring System for Sleep Stages of Human Subjects,” Public Health Service US Gov. Printing Office, Washington, DC, 1968.

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述した点に鑑み、本発明は、２クラス分類の学習器を用いた被験者の睡眠段階の推定の精度を向上させることができる睡眠段階推定システム、睡眠段階推定方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様は、被験者の睡眠段階が複数の睡眠段階のうちのいずれの睡眠段階に該当するかを、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータから推定する睡眠段階推定システムであって、２クラス分類モデルと統合部とを備え、前記２クラス分類モデルには、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＷＡＫＥ睡眠段階に分類されるか否かの分類を行うＷＡＫＥ分類モデルと、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＲＥＭ睡眠段階に分類されるか否かの分類を行うＲＥＭ分類モデルと、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ睡眠段階に分類されるか否かの分類を行うＮＲＥＭ分類モデルとが含まれ、前記ＷＡＫＥ分類モデルは、ＷＡＫＥ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、前記ＲＥＭ分類モデルは、ＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、前記ＮＲＥＭ分類モデルは、ＮＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、前記統合部は、予め定められた統合ルールに基づいて、前記ＷＡＫＥ分類モデルによる分類と前記ＲＥＭ分類モデルによる分類と前記ＮＲＥＭ分類モデルによる分類とが行われた被験者の振動を示すデータが、前記複数の睡眠段階のうちのいずれの睡眠段階に該当するかを推定する、睡眠段階推定システムである。

【0010】

本発明の一態様の睡眠段階推定システムでは、前記複数の睡眠段階には、ＷＡＫＥ睡眠段階と、ＲＥＭ睡眠段階と、ＮＲＥＭ１睡眠段階と、ＮＲＥＭ２睡眠段階と、ＮＲＥＭ３＆４睡眠段階とが含まれ、前記ＮＲＥＭ分類モデルには、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ１睡眠段階に分類されるか否かの分類を行うＮＲＥＭ１分類モデルと、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ２睡眠段階に分類されるか否かの分類を行うＮＲＥＭ２分類モデルと、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類を行うＮＲＥＭ３＆４分類モデルとが含まれ、前記ＮＲＥＭ１分類モデルは、ＮＲＥＭ１睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、前記ＮＲＥＭ２分類モデルは、ＮＲＥＭ２睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、前記ＮＲＥＭ３＆４分類モデルは、ＮＲＥＭ３＆４睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行い、前記統合部は、予め定められた統合ルールに基づいて、前記ＷＡＫＥ分類モデルによる分類と前記ＲＥＭ分類モデルによる分類と前記ＮＲＥＭ１分類モデルによる分類と前記ＮＲＥＭ２分類モデルによる分類と前記ＮＲＥＭ３＆４分類モデルによる分類とが行われた被験者の振動を示すデータが、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のうちのいずれの睡眠段階に該当するかを推定してもよい。

【0011】

本発明の一態様の睡眠段階推定システムでは、前記ＷＡＫＥ分類モデル、前記ＲＥＭ分類モデル、前記ＮＲＥＭ１分類モデル、前記ＮＲＥＭ２分類モデルおよび前記ＮＲＥＭ３＆４分類モデルのそれぞれには、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータとして、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形を対数パワースペクトルに変換し、次いで、スペクトログラムに変換した画像データが入力されてもよい。

【0012】

本発明の一態様の睡眠段階推定システムでは、前記ＷＡＫＥ分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、前記ＷＡＫＥ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＷＡＫＥ分類モデルの全結合層は前記ＷＡＫＥ分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、前記ＷＡＫＥ分類モデルの出力層は、前記ＷＡＫＥ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力し、前記ＲＥＭ分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、前記ＲＥＭ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＲＥＭ分類モデルの全結合層は前記ＲＥＭ分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、前記ＲＥＭ分類モデルの出力層は、前記ＲＥＭ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果を出力し、前記ＮＲＥＭ１分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、前記ＮＲＥＭ１分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＮＲＥＭ１分類モデルの全結合層は前記ＮＲＥＭ１分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、前記ＮＲＥＭ１分類モデルの出力層は、前記ＮＲＥＭ１分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力し、前記ＮＲＥＭ２分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、前記ＮＲＥＭ２分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＮＲＥＭ２分類モデルの全結合層は前記ＮＲＥＭ２分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、前記ＮＲＥＭ２分類モデルの出力層は、前記ＮＲＥＭ２分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力し、前記ＮＲＥＭ３＆４分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＮＲＥＭ３＆４分類モデルの全結合層は前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、前記ＮＲＥＭ３＆４分類モデルの出力層は、前記ＮＲＥＭ３＆４分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力してもよい。

【0013】

本発明の一態様の睡眠段階推定システムでは、前記ＷＡＫＥ分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、前記ＷＡＫＥ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＷＡＫＥ分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＷＡＫＥ分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、前記ＷＡＫＥ分類モデルの全結合層は前記ＷＡＫＥ分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、前記ＷＡＫＥ分類モデルの出力層は、前記ＷＡＫＥ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力し、前記ＲＥＭ分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、前記ＲＥＭ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＲＥＭ分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＲＥＭ分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、前記ＲＥＭ分類モデルの全結合層は前記ＲＥＭ分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、前記ＲＥＭ分類モデルの出力層は、前記ＲＥＭ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果を出力し、前記ＮＲＥＭ１分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、前記ＮＲＥＭ１分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＮＲＥＭ１分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＮＲＥＭ１分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、前記ＮＲＥＭ１分類モデルの全結合層は前記ＮＲＥＭ１分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、前記ＮＲＥＭ１分類モデルの出力層は、前記ＮＲＥＭ１分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力し、前記ＮＲＥＭ２分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、前記ＮＲＥＭ２分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＮＲＥＭ２分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＮＲＥＭ２分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、前記ＮＲＥＭ２分類モデルの全結合層は前記ＮＲＥＭ２分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、前記ＮＲＥＭ２分類モデルの出力層は、前記ＮＲＥＭ２分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力し、前記ＮＲＥＭ３＆４分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＮＲＥＭ３＆４分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、前記ＮＲＥＭ３＆４分類モデルの全結合層は前記ＮＲＥＭ３＆４分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、前記ＮＲＥＭ３＆４分類モデルの出力層は、前記ＮＲＥＭ３＆４分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力してもよい。

【0014】

本発明の一態様の睡眠段階推定システムでは、前記ＷＡＫＥ分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、前記ＷＡＫＥ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＷＡＫＥ分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＷＡＫＥ分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、前記ＷＡＫＥ分類モデルの全結合層は前記ＷＡＫＥ分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、前記ＷＡＫＥ分類モデルの出力層は、前記ＷＡＫＥ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力し、前記ＲＥＭ分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、前記ＲＥＭ分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＲＥＭ分類モデルの全結合層は前記ＲＥＭ分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、前記ＲＥＭ分類モデルの出力層は、前記ＲＥＭ分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果を出力し、前記ＮＲＥＭ１分類モデルは、インセプションモジュールと、全結合層と、出力層と、アテンション機構とを備え、前記ＮＲＥＭ１分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＮＲＥＭ１分類モデルのアテンション機構は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、前記ＮＲＥＭ１分類モデルのインセプションモジュールで学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習し、前記ＮＲＥＭ１分類モデルの全結合層は前記ＮＲＥＭ１分類モデルのアテンション機構で学習した注目すべき領域を考慮した特徴量をすべて結合し、前記ＮＲＥＭ１分類モデルの出力層は、前記ＮＲＥＭ１分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力し、前記ＮＲＥＭ２分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、前記ＮＲＥＭ２分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＮＲＥＭ２分類モデルの全結合層は前記ＮＲＥＭ２分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、前記ＮＲＥＭ２分類モデルの出力層は、前記ＮＲＥＭ２分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力し、前記ＮＲＥＭ３＆４分類モデルは、インセプションモジュールと、全結合層と、出力層とを備え、前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールは、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴を特徴量として学習し、前記ＮＲＥＭ３＆４分類モデルの全結合層は前記ＮＲＥＭ３＆４分類モデルのインセプションモジュールで学習した特徴量をすべて結合し、前記ＮＲＥＭ３＆４分類モデルの出力層は、前記ＮＲＥＭ３＆４分類モデルの全結合層で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力してもよい。

【0015】

本発明の一態様の睡眠段階推定システムでは、前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つの分類結果のみがＰｏｓｉｔｉｖｅ（肯定的）である場合に、前記統合部は、被験者の振動を示すデータが、Ｐｏｓｉｔｉｖｅな分類結果に対応する睡眠段階に該当すると推定してもよい。

【0016】

本発明の一態様の睡眠段階推定システムでは、前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果と、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果とが共にＰｏｓｉｔｉｖｅである場合であって、前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つ以上の分類結果がＰｏｓｉｔｉｖｅである場合に、前記統合部は、被験者の振動を示すデータがＲＥＭ睡眠段階に該当すると推定してもよい。

【0017】

本発明の一態様の睡眠段階推定システムでは、前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果のみがＰｏｓｉｔｉｖｅである場合に、前記統合部は、被験者の振動を示すデータがＷＡＫＥ睡眠段階に該当すると推定してもよい。

【0018】

本発明の一態様の睡眠段階推定システムでは、前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つの分類結果のみがＰｏｓｉｔｉｖｅである場合に該当せず、かつ、前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果と、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果とが共にＰｏｓｉｔｉｖｅであって、前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つ以上の分類結果がＰｏｓｉｔｉｖｅである場合に該当せず、かつ、前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果のみがＰｏｓｉｔｉｖｅである場合に該当せず、かつ、前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果、および、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちのＰｏｓｉｔｉｖｅである分類結果が複数存在するときに、前記統合部は、Ｐｏｓｉｔｉｖｅである分類結果に対応する複数の睡眠段階に「ＮＲＥＭ２睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＷＡＫＥ睡眠段階、ＮＲＥＭ３＆４睡眠段階」の順序で優先順位をつけ、被験者の振動を示すデータが、Ｐｏｓｉｔｉｖｅである分類結果に対応する複数の睡眠段階のうちの最も高い優先順位を有する睡眠段階に該当すると推定してもよい。

【0019】

本発明の一態様の睡眠段階推定システムでは、前記ＷＡＫＥ分類モデルの出力層から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅ（否定的）であって、前記ＲＥＭ分類モデルの出力層から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、前記ＮＲＥＭ１分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、前記ＮＲＥＭ２分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、前記ＮＲＥＭ３＆４分類モデルの出力層から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅである場合に、前記統合部は、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に該当すると推定してもよい。

【0020】

本発明の一態様は、被験者の睡眠段階が複数の睡眠段階のうちのいずれの睡眠段階に該当するかを、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータから推定する睡眠段階推定方法であって、２クラス分類ステップと統合ステップとを備え、前記２クラス分類ステップには、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＷＡＫＥ睡眠段階に分類されるか否かの分類を行うＷＡＫＥ分類ステップと、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＲＥＭ睡眠段階に分類されるか否かの分類を行うＲＥＭ分類ステップと、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ睡眠段階に分類されるか否かの分類を行うＮＲＥＭ分類ステップとが含まれ、前記ＷＡＫＥ分類ステップの実行前には、ＷＡＫＥ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、前記ＲＥＭ分類ステップの実行前には、ＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、前記ＮＲＥＭ分類ステップの実行前には、ＮＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、前記統合ステップでは、予め定められた統合ルールに基づいて、前記ＷＡＫＥ分類ステップにおける分類と前記ＲＥＭ分類ステップにおける分類と前記ＮＲＥＭ分類ステップによる分類とが行われた被験者の振動を示すデータが、前記複数の睡眠段階のうちのいずれの睡眠段階に該当するかが推定される、睡眠段階推定方法である。

【0021】

本発明の一態様は、コンピュータに、２クラス分類ステップと統合ステップとを実行させることによって、被験者の睡眠段階が複数の睡眠段階のうちのいずれの睡眠段階に該当するかを、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータから推定させるためのプログラムであって、前記２クラス分類ステップには、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＷＡＫＥ睡眠段階に分類されるか否かの分類を行うＷＡＫＥ分類ステップと、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＲＥＭ睡眠段階に分類されるか否かの分類を行うＲＥＭ分類ステップと、被験者の振動を示すデータが、前記複数の睡眠段階のうちのＮＲＥＭ睡眠段階に分類されるか否かの分類を行うＮＲＥＭ分類ステップとが含まれ、前記ＷＡＫＥ分類ステップの実行前には、ＷＡＫＥ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、前記ＲＥＭ分類ステップの実行前には、ＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、前記ＮＲＥＭ分類ステップの実行前には、ＮＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習が行われ、前記統合ステップでは、予め定められた統合ルールに基づいて、前記ＷＡＫＥ分類ステップにおける分類と前記ＲＥＭ分類ステップにおける分類と前記ＮＲＥＭ分類ステップによる分類とが行われた被験者の振動を示すデータが、前記複数の睡眠段階のうちのいずれの睡眠段階に該当するかが推定される、プログラムである。

【発明の効果】

【0022】

本発明によれば、２クラス分類の学習器を用いた被験者の睡眠段階の推定の精度を向上させることができる睡眠段階推定システム、睡眠段階推定方法およびプログラムを提供することができる。

【図面の簡単な説明】

【0023】

【図1】一夜分の睡眠段階の例を示す図である。

【図2】インセプションモジュールを説明するための図である。

【図3】アテンション機構を有するニューラルネットワークの一例を示す図である。

【図4】第１実施形態の睡眠段階推定システム１の一例を示す図である。

【図5】睡眠段階推定システム１に入力される被験者の振動を示すデータを生成する処理の一例を示す図である。

【図6】第１実施形態の睡眠段階推定システム１において実行される処理の一例を示すフローチャートである。

【図7】第２実施形態の睡眠段階推定システム１の一例を示す図である。

【図8】第３実施形態の睡眠段階推定システム１の一例を示す図である。

【図9】実施例において検証した第１実施形態の睡眠段階推定システム１におけるスペクトログラムの画像データの流れを示す図である。

【図10】実施例において第１～第３実施形態の睡眠段階推定システム１の各分類モデルの教師あり学習に用いられた生体振動データを提供した被験者の年齢、各睡眠段階の数を示す図である。

【図11】実施例において行われた２クラス分類の正解率（accuracy）、適合率（precision）、再現率（recall）、Ｆ値（f-measure）の３回の平均を示す図である。

【図12】５クラス分類のＣＮＮの正確性と第１～第３実施形態の睡眠段階推定システム１の正確性とを比較して示した図である。

【図13】実施例において検証した第２実施形態の睡眠段階推定システム１におけるスペクトログラムの画像データの流れを示す図である。

【図14】ＷＡＫＥ分類モデル１１Ａのアテンション機構１１Ａ４によって生成されたアテンションマスク（１３×１３）とＷＡＫＥ分類モデル１１Ａに入力された正規化対数スペクトログラムの画像データ（１２８×５１２）とを示す図である。

【図15】ＮＲＥＭ１分類モデル１１Ｃ－１のアテンション機構１１Ｃ－１４によって生成されたアテンションマスク（１３×１３）とＮＲＥＭ１分類モデル１１Ｃ－１に入力された正規化対数スペクトログラムの画像データ（１２８×５１２）とを示す図である。

【図16】ＲＥＭ分類モデル１１Ｂのアテンション機構１１Ｂ４によって生成されたアテンションマスク（１３×１３）とＲＥＭ分類モデル１１Ｂに入力された正規化対数スペクトログラムの画像データ（１２８×５１２）とを示す図である。

【図17】ＮＲＥＭ２分類モデル１１Ｃ－２のアテンション機構１１Ｃ－２４によって生成されたアテンションマスク（１３×１３）とＮＲＥＭ２分類モデル１１Ｃ－２に入力された正規化対数スペクトログラムの画像データ（１２８×５１２）とを示す図である。

【図18】第１実施形態の睡眠段階推定システム１にアンサンブル学習の概念を当てはめた図である。

【図19】第４実施形態の睡眠段階推定システム１の一例を示す図である。

【発明を実施するための形態】

【0024】

本発明の睡眠段階推定システム、睡眠段階推定方法およびプログラムの実施形態について説明する前に、本発明の睡眠段階推定システム、睡眠段階推定方法およびプログラムによって推定される睡眠段階などについて説明する。

【0025】

睡眠段階は、脳波、眼球運動図、 筋電図などの生体データをもとに、Rechtscaffen and Kales法（非特許文献３参照）よって推定され、浅い睡眠から深い睡眠にかけて、ＷＡＫＥ（浅い睡眠）、ＲＥＭ、ＮＲＥＭ１～ＮＲＥＭ４の６段階で表現される（ＮＲＥＭ３とＮＲＥＭ４をＮＲＥＭ３＆４と合わせることも多い）。

【0026】

図１は一夜分の睡眠段階の例を示す図である。図１において、縦軸は睡眠段階、横軸は時間を表す。
各睡眠段階に現れる一般的な生理学的特徴は次の通りである。ＷＡＫＥは最も浅い睡眠段階であり、寝返りなどの体動が出現しやすい。ＲＥＭは急速眼球運動を伴う睡眠段階であり、筋肉の緊張がなくなり、体動が生じにくい特徴と、心拍や呼吸などの自律神経機能が乱れやすい特徴がある。ＮＲＥＭは筋肉の緊張が保たれ、ＮＲＥＭの内で最も睡眠が浅いＮＲＥＭ１に体動が出現しやすく、ＮＲＥＭ２～ＮＲＥＭ３＆４では、体動が出現しにくくなる。また、睡眠が深くなるほど、心拍や呼吸などの自律神経機能が安定する特徴がある。

【0027】

畳み込みニューラルネットワーク（ＣＮＮ）は画像認識タスクに対して高い性能を示すニューラルネットワークである。このニューラルネットワークは全結合のニューラルネットワークと比較してスパースな結合を持っている。画像の位置（ｉ，ｊ）の値をｚ_ｉｊ、サイズＨ×Ｈの畳み込みフィルタの画像の位置（ｐ，ｑ）の値をｈ_ｐｑとすると畳み込み後の新しい入力は（１）式のように表せる。

【0028】

【数1】

【0029】

モデルの活性化関数をｆとすると次の層の入力ｚ’は（２）式のように表せる。

【0030】

【数2】

【0031】

またプーリング層では畳み込み層で得られた局所的なパターンを平行移動などの位置ずれにロバストにするために用いられる。入力画像の（ｉ，ｊ）の位置を中心としたＨ×Ｈの大きさのＰ_ｉｊに対して、最大プーリングは入力ｚ’_ｐｑに対して出力ｕ’_ｉｊは（３）式のように表せる。

【0032】

【数3】

【0033】

以上のような畳み込み層→活性化関数→プーリング層の処理を繰り返すことで畳み込みニューラルネットワークは構築される。
インセプションモジュール（Inception module）はGoogLeNetで最初に導入されたネットワークの幅を活用したモデルである。

【0034】

図２はインセプションモジュールを説明するための図である。
図２では、Previous layerからの入力に対して４箇所で処理をする。このモジュール１つで様々なスケールでの畳み込み演算を同時に行うことができ、深層化せずとも高いパターン認識能力を実現できる。後述する本発明者等の鋭意研究においては、インセプションモジュールを複数重ねたInception-v3と呼ばれるモデルの一部を使用した。Inception-v3とは深さが４８層の畳み込みニューラルネットワークである。１００万枚を超えるイメージで学習させた事前学習済みのネットワークを、ImageNetデータベースから読み込むことができる。この事前学習済みのネットワークは、イメージを１０００個のオブジェクトカテゴリに分類できる。本発明者等の鋭意研究においてはInception-v3の中間層を取り出し全結合層（ＦＣ）で結合し、睡眠段階を分類するモデルを作成する。

【0035】

図３はアテンション機構を有するニューラルネットワークの一例を示す図である。アテンション機構は、入力の重要なポイントを可視化するネットワーク構造である。
図３に示す例では、アテンション機構が、画像データを基に多クラス分類を行うニューラルネットワーク内に備えられ、画像データのある領域に注目を当てて分類の根拠を学習する。
詳細には、図３に示す例では、インセプションモジュールが、入力された画像に対して処理を行い、特徴量マップを作成する。アテンション機構は、特徴量マップに対して畳み込み演算を行い、アテンションマスクを出力する。アテンション機構から出力されたアテンションマスクおよびインセプションモジュールから出力された特徴量マップの要素同士の積を取ることによって、注目すべき領域を考慮した特徴量マップが作成される。

【0036】

以下、本発明の睡眠段階推定システム、睡眠段階推定方法およびプログラムの実施形態について説明する。

【0037】

［第１実施形態］
図４は第１実施形態の睡眠段階推定システム１の一例を示す図である。
図４に示す例では、第１実施形態の睡眠段階推定システム１が、被験者の睡眠段階が複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）のうちのいずれの睡眠段階に該当するかを、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータから推定する。睡眠段階推定システム１による被検者の睡眠段階の推定に使用されるマットセンサは、例えば一般名称「体動センサ」と称されているセンサ等である。睡眠段階推定システム１による被検者の睡眠段階の推定には、例えば下記のＵＲＬが示すマットセンサ等を用いることができる。
https://www.tanita.co.jp/product/g/_TSL504WH/
https://www.sumitomoriko.co.jp/wordpress/wp-content/uploads/2019/03/n51910487.pdf
http://www.artdata.co.jp/it_product/it_pr_seitai.html
https://www.hosoda-sensor.com/system/micro/
http://hero-x.jp/article/10636/

【0038】

睡眠段階推定システム１による被検者の睡眠段階の推定に使用されるマットセンサのサンプリング周波数は例えば１６Ｈｚである。そのため、例えば周波数解析を行うことによって０～８Ｈｚに含まれる生体データ（呼吸・心拍・体動）を取得することができる。

【0039】

図５は睡眠段階推定システム１に入力される被験者の振動を示すデータを生成する処理の一例を示す図である。
図５に示す例では、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形（図５の左上側部分）に対して周波数解析および正規化が行われる。まず、離散フーリエ変換（ＤＳＴ）をするために短時間窓（ハニング窓）（図５の中央上側部分）が取られ、次に高速フーリエ変換（ＦＦＴ）（図５の右上側部分）が行われる。
ＰＳＧ検査では、３０秒間の様々な生体データを総合して睡眠段階が決定される点に鑑み、図５に示す例では、ハニング窓の幅が例えば６４秒に設定されている（詳細には、ＦＦＴの計算のために２の累乗に設定されている）。

【0040】

また、図５に示す例では、ストライド間隔が、データの重複を避けるために６４秒間隔に設定されている。つまり、マットセンサによって検出されたマットセンサ上の被験者の振動の連続的な時間波形（図５の左上側部分）から、６４秒間分のサンプルが、６４秒間隔で抽出される。
図５に示す例では、次に、細かい成分を拡大するために、高速フーリエ変換（ＦＦＴ）の結果であるパワースペクトル（図５の右上側部分）が対数スケールに変換され、最大値・最小値を［１，最小値／最大値］にスケールするように正規化が行われ、対数パワースペクトル（図５の右下側部分）が生成される。図５の右下側部分に示す対数パワースペクトルは、図５の左上側部分に示す６４秒間の被験者の振動の時間波形を変換することによって得られたものである。
次に、図５の右下側部分に示す対数パワースペクトルを上部から並べたものが、図５の左下側部分に示すスペクトログラムの矩形枠で囲まれた部分に相当する。図５の左下側部分に示すスペクトログラムでは、高い値ほど図５の左下側部分の上側に位置する。図５の右下側部分に示すような対数パワースペクトルを上部から並べる操作を０．２５秒ずつ１２８回ずらしながら行うことによって、図５の左下側部分に示すスペクトログラム（詳細には、縦軸５１２個×横軸１２８個の正規化対数スペクトログラム）が生成される。

【0041】

図４および図５に示す例では、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータとして、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形（図５の左上側部分）を対数パワースペクトル（図５の右下側部分）に変換し、次いで、スペクトログラム（図５の左下側部分）に変換した画像データが、睡眠段階推定システム１に入力される（詳細には、後述するＷＡＫＥ分類モデル１１Ａ、ＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ１分類モデル１１Ｃ－１、ＮＲＥＭ２分類モデル１１Ｃ－２およびＮＲＥＭ３＆４分類モデル１１Ｃ－３のそれぞれに入力される）。
図４および図５に示す例では、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータとして、スペクトログラム（図５の左下側部分）に変換した画像データが睡眠段階推定システム１に入力されるが、他の例では、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータとして、スペクトログラム以外のデータ（例えば対数パワースペクトル（図５の右下側部分）など）が睡眠段階推定システム１に入力されてもよい。

【0042】

図４に示す例では、睡眠段階推定システム１が、２クラス分類モデル１１と、統合部１２とを備えている。２クラス分類モデル１１は、被験者の振動を示すデータが所定のクラスに分類されるか否かの２クラス分類を行う（詳細には、後述するように、ＷＡＫＥ睡眠段階に分類されるか否か、ＲＥＭ睡眠段階に分類されるか否か、ＮＲＥＭ１睡眠段階に分類されるか否か、ＮＲＥＭ２睡眠段階に分類されるか否か、および、ＮＲＥＭ３＆４睡眠段階に分類されるか否かの２クラス分類を行う）。２クラス分類モデル１１は、ＷＡＫＥ分類モデル１１Ａと、ＲＥＭ分類モデル１１Ｂと、ＮＲＥＭ分類モデル１１Ｃとを備えている。
ＷＡＫＥ分類モデル１１Ａは、被験者の振動を示すデータ（詳細には、睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）のうちのＷＡＫＥ睡眠段階に分類されるか否かの分類を行う。詳細には、ＷＡＫＥ分類モデル１１Ａは、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類を行う前に、ＷＡＫＥ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。つまり、ＷＡＫＥ分類モデル１１Ａは、２クラス分類の学習器によって構成される。
ＷＡＫＥ分類モデル１１Ａは、インセプションモジュール１１Ａ１と、全結合層１１Ａ２と、出力層１１Ａ３とを備えている。インセプションモジュール１１Ａ１は、ＷＡＫＥ分類モデル１１Ａに入力された被験者の振動を示すデータ（詳細には、図５の左下側部分に示すようなスペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ａ１から出力された特徴量マップは、全結合層１１Ａ２に入力される。全結合層１１Ａ２は、ニューラルネットワークの構成要素の１つであり、出力層１１Ａ３に接続されている。出力層１１Ａ３は、被験者の振動を示すデータ（スペクトログラムの画像データ）がＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＷＡＫＥ分類モデル１１Ａのインセプションモジュール１１Ａ１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習し、ＷＡＫＥ分類モデル１１Ａの全結合層１１Ａ２はＷＡＫＥ分類モデル１１Ａのインセプションモジュール１１Ａ１で学習した特徴量をすべて結合し、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３は、ＷＡＫＥ分類モデルの全結合層１１Ａ２で結合した特徴量から、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力する。

【0043】

ＲＥＭ分類モデル１１Ｂは、被験者の振動を示すデータが、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）のうちのＲＥＭ睡眠段階に分類されるか否かの分類を行う。詳細には、ＲＥＭ分類モデル１１Ｂは、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類を行う前に、ＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。つまり、ＲＥＭ分類モデル１１Ｂは、２クラス分類の学習器によって構成される。
ＲＥＭ分類モデル１１Ｂは、インセプションモジュール１１Ｂ１と、全結合層１１Ｂ２と、出力層１１Ｂ３とを備えている。インセプションモジュール１１Ｂ１は、ＲＥＭ分類モデル１１Ｂに入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ｂ１から出力された特徴量マップは、全結合層１１Ｂ２に入力される。全結合層１１Ｂ２は、出力層１１Ｂ３に接続されている。出力層１１Ｂ３は、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＲＥＭ分類モデル１１Ｂのインセプションモジュール１１Ｂ１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習し、ＲＥＭ分類モデル１１Ｂの全結合層１１Ｂ２はＲＥＭ分類モデル１１Ｂのインセプションモジュール１１Ｂ１で学習した特徴量をすべて結合し、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３は、ＮＲＥＭ１分類モデル１１Ｃ－１の全結合層１１Ｃ－１２で結合した特徴量から、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果を出力する。

【0044】

ＮＲＥＭ分類モデル１１Ｃは、被験者の振動を示すデータが、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）のうちのＮＲＥＭ睡眠段階（ＮＲＥＭ睡眠段階には、ＮＲＥＭ１睡眠段階とＮＲＥＭ２睡眠段階とＮＲＥＭ３＆４睡眠段階とが含まれる。）に分類されるか否かの分類を行う。詳細には、ＮＲＥＭ分類モデル１１Ｃは、被験者の振動を示すデータがＮＲＥＭ睡眠段階に分類されるか否かの分類を行う前に、ＮＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。
ＮＲＥＭ分類モデル１１Ｃは、ＮＲＥＭ１分類モデル１１Ｃ－１と、ＮＲＥＭ２分類モデル１１Ｃ－２と、ＮＲＥＭ３＆４分類モデル１１Ｃ－３とを備えている。

【0045】

ＮＲＥＭ１分類モデル１１Ｃ－１は、被験者の振動を示すデータが、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）のうちのＮＲＥＭ１睡眠段階に分類されるか否かの分類を行う。詳細には、ＮＲＥＭ１分類モデル１１Ｃ－１は、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類を行う前に、ＮＲＥＭ１睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。つまり、ＮＲＥＭ１分類モデル１１Ｃ－１は、２クラス分類の学習器によって構成される。
ＮＲＥＭ１分類モデル１１Ｃ－１は、インセプションモジュール１１Ｃ－１１と、全結合層１１Ｃ－１２と、出力層１１Ｃ－１３とを備えている。インセプションモジュール１１Ｃ－１１は、ＮＲＥＭ１分類モデル１１Ｃ－１に入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ｃ－１１から出力された特徴量マップは、全結合層１１Ｃ－１２に入力される。全結合層１１Ｃ－１２は、出力層１１Ｃ－１３に接続されている。出力層１１Ｃ－１３は、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＮＲＥＭ１分類モデル１１Ｃ－１のインセプションモジュール１１Ｃ－１１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習し、ＮＲＥＭ１分類モデル１１Ｃ－１の全結合層１１Ｃ－１２はＮＲＥＭ１分類モデル１１Ｃ－１のインセプションモジュール１１Ｃ－１１で学習した特徴量をすべて結合し、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３は、ＮＲＥＭ１分類モデル１１Ｃ－１の全結合層１１Ｃ－１２で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力する。

【0046】

ＮＲＥＭ２分類モデル１１Ｃ－２は、被験者の振動を示すデータが、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）のうちのＮＲＥＭ２睡眠段階に分類されるか否かの分類を行う。詳細には、ＮＲＥＭ２分類モデル１１Ｃ－２は、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類を行う前に、ＮＲＥＭ２睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。つまり、ＮＲＥＭ２分類モデル１１Ｃ－２は、２クラス分類の学習器によって構成される。
ＮＲＥＭ２分類モデル１１Ｃ－２は、インセプションモジュール１１Ｃ－２１と、全結合層１１Ｃ－２２と、出力層１１Ｃ－２３とを備えている。インセプションモジュール１１Ｃ－２１は、ＮＲＥＭ２分類モデル１１Ｃ－２に入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ｃ－２１から出力された特徴量マップは、全結合層１１Ｃ－２２に入力される。全結合層１１Ｃ－２２は、出力層１１Ｃ－２３に接続されている。出力層１１Ｃ－２３は、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＮＲＥＭ２分類モデル１１Ｃ－２のインセプションモジュール１１Ｃ－２１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習し、ＮＲＥＭ２分類モデル１１Ｃ－２の全結合層１１Ｃ－２２はＮＲＥＭ２分類モデル１１Ｃ－２のインセプションモジュール１１Ｃ－２１で学習した特徴量をすべて結合し、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３は、ＮＲＥＭ２分類モデル１１Ｃ－２の全結合層１１Ｃ－２２で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力する。

【0047】

ＮＲＥＭ３＆４分類モデル１１Ｃ－３は、被験者の振動を示すデータが、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）のうちのＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類を行う。詳細には、ＮＲＥＭ３＆４分類モデル１１Ｃ－３は、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類を行う前に、ＮＲＥＭ３＆４睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。つまり、ＮＲＥＭ３＆４分類モデル１１Ｃ－３は、２クラス分類の学習器によって構成される。
ＮＲＥＭ３＆４分類モデル１１Ｃ－３は、インセプションモジュール１１Ｃ－３１と、全結合層１１Ｃ－３２と、出力層１１Ｃ－３３とを備えている。インセプションモジュール１１Ｃ－３１は、ＮＲＥＭ３＆４分類モデル１１Ｃ－３に入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ｃ－３１から出力された特徴量マップは、全結合層１１Ｃ－３２に入力される。全結合層１１Ｃ－３２は、出力層１１Ｃ－３３に接続されている。出力層１１Ｃ－３３は、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＮＲＥＭ３＆４分類モデル１１Ｃ－３のインセプションモジュール１１Ｃ－３１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習し、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の全結合層１１Ｃ－３２はＮＲＥＭ３＆４分類モデル１１Ｃ－３のインセプションモジュール１１Ｃ－３１で学習した特徴量をすべて結合し、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３は、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の全結合層１１Ｃ－３２で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力する。

【0048】

統合部１２は、予め定められた統合ルールに基づいて、ＷＡＫＥ分類モデル１１Ａによる分類とＲＥＭ分類モデル１１Ｂによる分類とＮＲＥＭ分類モデル１１Ｃによる分類とが行われた被験者の振動を示すデータ（詳細には、ＷＡＫＥ分類モデル１１Ａによる分類とＲＥＭ分類モデル１１Ｂによる分類とＮＲＥＭ１分類モデル１１Ｃ－１による分類とＮＲＥＭ２分類モデル１１Ｃ－２による分類とＮＲＥＭ３＆４分類モデル１１Ｃ－３による分類とが行われた被験者の振動を示すデータ）が、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）のうちのいずれの睡眠段階に該当するかを推定する。

【0049】

本発明者等は、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のいずれに分類されるかの正解が既知の被験者の振動を示すデータを用いた鋭意研究において、ＷＡＫＥ分類モデル１１Ａ、ＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ１分類モデル１１Ｃ－１、ＮＲＥＭ２分類モデル１１Ｃ－２およびＮＲＥＭ３＆４分類モデル１１Ｃ－３のうちの１つの分類モデルのみが、被験者の振動を示すデータが自らの分類モデルに対応する睡眠段階に分類されると判断する場合（つまり、Ｐｏｓｉｔｉｖｅ（肯定的）な分類結果を出力する場合）に、被験者の実際の睡眠段階（ＰＳＧ検査結果などに基づいて分類される睡眠段階）と、Ｐｏｓｉｔｉｖｅな分類結果を出力した分類モデルに対応する睡眠段階とが一致する確率が最も高いことを見い出した。
すなわち、本発明者等は、ＷＡＫＥ分類モデル１１ＡのみがＰｏｓｉｔｉｖｅな分類結果を出力する時には被験者の実際の睡眠段階がＷＡＫＥ睡眠段階であり、ＲＥＭ分類モデル１１ＢのみがＰｏｓｉｔｉｖｅな分類結果を出力する時には被験者の実際の睡眠段階がＲＥＭ睡眠段階であり、ＮＲＥＭ１分類モデル１１Ｃ－１のみがＰｏｓｉｔｉｖｅな分類結果を出力する時には被験者の実際の睡眠段階がＮＲＥＭ１睡眠段階であり、ＮＲＥＭ２分類モデル１１Ｃ－２のみがＰｏｓｉｔｉｖｅな分類結果を出力する時には被験者の実際の睡眠段階がＮＲＥＭ２睡眠段階であり、ＮＲＥＭ３＆４分類モデル１１Ｃ－３のみがＰｏｓｉｔｉｖｅな分類結果を出力する時には被験者の実際の睡眠段階がＮＲＥＭ３＆４睡眠段階である確率が最も高いことを見い出した。

【0050】

その点に鑑み、第１実施形態の睡眠段階推定システム１では、統合部１２は、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３のみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＷＡＫＥ睡眠段階に該当すると推定し、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３のみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＲＥＭ睡眠段階に該当すると推定し、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３のみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に該当すると推定し、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３のみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に該当すると推定し、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３のみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に該当すると推定する（「第１統合ルール」）。
換言すれば、第１実施形態の睡眠段階推定システム１では、統合部１２は、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果、および、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つの分類結果のみがＰｏｓｉｔｉｖｅである場合に、被験者の振動を示すデータが、Ｐｏｓｉｔｉｖｅな分類結果に対応する睡眠段階に該当すると推定する（「第１統合ルール」）。

【0051】

また、本発明者等は、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のいずれに分類されるかの正解が既知の被験者の振動を示すデータを用いた鋭意研究において、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３がＰｏｓｉｔｉｖｅな分類結果（被験者の振動を示すデータがＲＥＭ睡眠段階に分類される旨の分類結果）を出力すると共に、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３がＰｏｓｉｔｉｖｅな分類結果（被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類される旨の分類結果）を出力する場合であって、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３が出力する分類結果、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３が出力する分類結果およびＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３が出力する分類結果のうちの１つ以上の分類結果がＰｏｓｉｔｉｖｅである場合に、被験者の実際の睡眠段階がＲＥＭ睡眠段階である確率が最も高いことを見い出した。

【0052】

その点に鑑み、第１実施形態の睡眠段階推定システム１では、統合部１２は、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３がＰｏｓｉｔｉｖｅな分類結果を出力すると共に、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３がＰｏｓｉｔｉｖｅな分類結果を出力する場合であって、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３が出力する分類結果、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３が出力する分類結果およびＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３が出力する分類結果のうちの１つ以上の分類結果がＰｏｓｉｔｉｖｅである場合に、被験者の振動を示すデータがＲＥＭ睡眠段階に該当すると推定する（「第２統合ルール」）。
換言すれば、第１実施形態の睡眠段階推定システム１では、統合部１２は、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果と、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果とが共にＰｏｓｉｔｉｖｅである場合であって、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、および、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つ以上の分類結果がＰｏｓｉｔｉｖｅである場合に、被験者の振動を示すデータがＲＥＭ睡眠段階に該当すると推定する（「第２統合ルール」）。

【0053】

また、本発明者等は、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のいずれに分類されるかの正解が既知の被験者の振動を示すデータを用いた鋭意研究において、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３がＰｏｓｉｔｉｖｅな分類結果（被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類される旨の分類結果）を出力し、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３がＮｅｇａｔｉｖｅ（否定的）な分類結果（被験者の振動を示すデータがＲＥＭ睡眠段階に分類されない旨の分類結果）を出力し、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３がＰｏｓｉｔｉｖｅな分類結果（被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類される旨の分類結果）を出力し、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３がＮｅｇａｔｉｖｅな分類結果（被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されない旨の分類結果）を出力し、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３がＮｅｇａｔｉｖｅな分類結果（被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されない旨の分類結果）を出力する場合に、被験者の実際の睡眠段階がＷＡＫＥ睡眠段階である確率が最も高いことを見い出した。
すなわち、本発明者等は、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される分類結果およびＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される分類結果のみがＰｏｓｉｔｉｖｅな分類結果である場合に、被験者の実際の睡眠段階がＷＡＫＥ睡眠段階であることを見い出した。

【0054】

その点に鑑み、第１実施形態の睡眠段階推定システム１では、統合部１２は、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３がＰｏｓｉｔｉｖｅな分類結果を出力し、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３がＮｅｇａｔｉｖｅな分類結果を出力し、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３がＰｏｓｉｔｉｖｅな分類結果を出力し、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３がＮｅｇａｔｉｖｅな分類結果を出力し、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３がＮｅｇａｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＷＡＫＥ睡眠段階に該当すると推定する（「第３統合ルール」）。
換言すれば、第１実施形態の睡眠段階推定システム１では、統合部１２は、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、および、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果のみがＰｏｓｉｔｉｖｅである場合に、被験者の振動を示すデータがＷＡＫＥ睡眠段階に該当すると推定する（「第３統合ルール」）。

【0055】

また、本発明者等は、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のいずれに分類されるかの正解が既知の被験者の振動を示すデータを用いた鋭意研究において、「第１統合ルール」に当てはまらず、かつ、「第２統合ルール」に当てはまらず、かつ、「第３統合ルール」に当てはまらない場合、被験者の実際の睡眠段階（ＰＳＧ検査結果などに基づいて分類される睡眠段階）とＮＲＥＭ２睡眠段階とが一致する確率が最も高く、被験者の実際の睡眠段階とＲＥＭ睡眠段階とが一致する確率が２番目に高く、被験者の実際の睡眠段階とＮＲＥＭ１睡眠段階とが一致する確率が３番目に高く、被験者の実際の睡眠段階とＷＡＫＥ睡眠段階とが一致する確率が４番目に高く、被験者の実際の睡眠段階とＮＲＥＭ３＆４睡眠段階とが一致する確率が最も低いことを見い出した。

【0056】

その点に鑑み、第１実施形態の睡眠段階推定システム１では、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果、および、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つの分類結果のみがＰｏｓｉｔｉｖｅである場合に該当せず（つまり、「第１統合ルール」に当てはまらず）、かつ、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果と、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果とが共にＰｏｓｉｔｉｖｅであって、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、および、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちの１つ以上の分類結果がＰｏｓｉｔｉｖｅである場合に該当せず（つまり、「第２統合ルール」に当てはまらず）、かつ、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、および、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果のみがＰｏｓｉｔｉｖｅである場合に該当せず（つまり、「第３統合ルール」に当てはまらず）、かつ、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果、および、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちのＰｏｓｉｔｉｖｅである分類結果が複数存在するときに、統合部１２は、Ｐｏｓｉｔｉｖｅである分類結果に対応する複数の睡眠段階に「ＮＲＥＭ２睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＷＡＫＥ睡眠段階、ＮＲＥＭ３＆４睡眠段階」の順序で優先順位をつけ、被験者の振動を示すデータが、Ｐｏｓｉｔｉｖｅである分類結果に対応する複数の睡眠段階のうちの最も高い優先順位を有する睡眠段階に該当すると推定する（「第４統合ルール」）。

【0057】

また、本発明者等は、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のいずれに分類されるかの正解が既知の被験者の振動を示すデータを用いた鋭意研究において、ＷＡＫＥ分類モデル１１ＡがＮｅｇａｔｉｖｅな分類結果を出力し、かつ、ＲＥＭ分類モデル１１ＢがＮｅｇａｔｉｖｅな分類結果を出力し、かつ、ＮＲＥＭ１分類モデル１１Ｃ－１がＮｅｇａｔｉｖｅな分類結果を出力し、かつ、ＮＲＥＭ２分類モデル１１Ｃ－２がＮｅｇａｔｉｖｅな分類結果を出力し、かつ、ＮＲＥＭ３＆４分類モデル１１Ｃ－３がＮｅｇａｔｉｖｅな分類結果を出力する場合に、被験者の実際の睡眠段階（ＰＳＧ検査結果などに基づいて分類される睡眠段階）とＮＲＥＭ２睡眠段階とが一致する確率が最も高いことを見い出した。

【0058】

その点に鑑み、第１実施形態の睡眠段階推定システム１では、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅである場合に、統合部１２は、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に該当すると推定する（「第５統合ルール」）。

【0059】

図６は第１実施形態の睡眠段階推定システム１において実行される処理の一例を示すフローチャートである。
図６（Ａ）に示す例では、ステップＳ１において、学習ステップが実行される。詳細には、ステップＳ１Ａにおいて、ＷＡＫＥ分類モデル１１Ａが、ＷＡＫＥ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。
ステップＳ１Ｂでは、ＲＥＭ分類モデル１１Ｂが、ＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。
ステップＳ１Ｃ－１では、ＮＲＥＭ１分類モデル１１Ｃ－１が、ＮＲＥＭ１睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。
ステップＳ１Ｃ－２では、ＮＲＥＭ２分類モデル１１Ｃ－２が、ＮＲＥＭ２睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。
ステップＳ１Ｃ－３では、ＮＲＥＭ３＆４分類モデル１１Ｃ－３が、ＮＲＥＭ３＆４睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。

【0060】

図６（Ｂ）に示す例では、ステップＳ１とは独立して、ステップＳ２において、学習ステップが適用された被験者とは異なる被験者に対して、分類ステップが実行される。詳細には、ステップＳ２Ａにおいて、ＷＡＫＥ分類モデル１１Ａが、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類を行う。
ステップＳ２Ｂでは、ＲＥＭ分類モデル１１Ｂが、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類を行う。
ステップＳ２Ｃ－１では、ＮＲＥＭ１分類モデル１１Ｃ－１が、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類を行う。
ステップＳ２Ｃ－２では、ＮＲＥＭ２分類モデル１１Ｃ－２が、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類を行う。
ステップＳ２Ｃ－３では、ＮＲＥＭ３＆４分類モデル１１Ｃ－３が、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類を行う。

【0061】

次いで、ステップＳ３では、ステップＳ２Ａにおける分類結果とステップＳ２Ｂにおける分類結果とステップＳ２Ｃ－１における分類結果とステップＳ２Ｃ－２における分類結果とステップＳ２Ｃ－３における分類結果とを統合する統合ステップが実行される。詳細には、ステップＳ３において、統合部１２は、「第１統合ルール」～「第５統合ルール」と、ステップＳ２Ａにおける分類結果と、ステップＳ２Ｂにおける分類結果と、ステップＳ２Ｃ－１における分類結果と、ステップＳ２Ｃ－２における分類結果と、ステップＳ２Ｃ－３における分類結果とに基づいて、被験者の振動を示すデータが、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のうちのいずれの睡眠段階に該当するかを推定する。

【0062】

上述したように、第１実施形態の睡眠段階推定システム１では、「第１統合ルール」～「第５統合ルール」を適用することにより、２クラス分類の学習器（ＷＡＫＥ分類モデル１１Ａ、ＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ１分類モデル１１Ｃ－１、ＮＲＥＭ２分類モデル１１Ｃ－２、ＮＲＥＭ３＆４分類モデル１１Ｃ－３）を用いた被験者の睡眠段階の推定の精度を向上させることができる。

【0063】

［第２実施形態］
以下、本発明の睡眠段階推定システム、睡眠段階推定方法およびプログラムの第２実施形態について説明する。
第２実施形態の睡眠段階推定システム１は、後述する点を除き、上述した第１実施形態の睡眠段階推定システム１と同様に構成されている。従って、第２実施形態の睡眠段階推定システム１によれば、後述する点を除き、上述した第１実施形態の睡眠段階推定システム１と同様の効果を奏することができる。

【0064】

図７は第２実施形態の睡眠段階推定システム１の一例を示す図である。
図７に示す例では、第２実施形態の睡眠段階推定システム１が、図４に示す第１実施形態の睡眠段階推定システム１と同様に、被験者の睡眠段階が複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）のうちのいずれの睡眠段階に該当するかを、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータから推定する。

【0065】

図７に示す例では、睡眠段階推定システム１が、図４に示す例と同様に、２クラス分類モデル１１と、統合部１２とを備えている。２クラス分類モデル１１は、図４に示す２クラス分類モデル１１と同様に、被験者の振動を示すデータが所定のクラスに分類されるか否かの２クラス分類を行う（詳細には、ＷＡＫＥ睡眠段階に分類されるか否か、ＲＥＭ睡眠段階に分類されるか否か、ＮＲＥＭ１睡眠段階に分類されるか否か、ＮＲＥＭ２睡眠段階に分類されるか否か、および、ＮＲＥＭ３＆４睡眠段階に分類されるか否かの２クラス分類を行う）。２クラス分類モデル１１は、ＷＡＫＥ分類モデル１１Ａと、ＲＥＭ分類モデル１１Ｂと、ＮＲＥＭ分類モデル１１Ｃとを備えている。

【0066】

ＷＡＫＥ分類モデル１１Ａは、図４に示すＷＡＫＥ分類モデル１１Ａと同様に、被験者の振動を示すデータ（睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのＷＡＫＥ睡眠段階に分類されるか否かの分類を行う。
ＷＡＫＥ分類モデル１１Ａは、インセプションモジュール１１Ａ１と、全結合層１１Ａ２と、出力層１１Ａ３と、アテンション機構１１Ａ４とを備えている。インセプションモジュール１１Ａ１は、図４に示すインセプションモジュール１１Ａ１と同様に、ＷＡＫＥ分類モデル１１Ａに入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ａ１から出力された特徴量マップは、アテンション機構１１Ａ４に入力される。アテンション機構１１Ａ４は、スペクトログラムの画像データに対して注目すべき領域を考慮した特徴量を得るために、アテンションマスクを生成し、インセプションモジュール１１Ａ１から出力された特徴量マップと掛け合わせた（要素同士の積を取った）結果を全結合層１１Ａ２に出力する。全結合層１１Ａ２は、図４に示す全結合層１１Ａ２と同様に、出力層１１Ａ３に接続されている。出力層１１Ａ３は、全結合層１１Ａ２で結合した特徴量から被験者の振動を示すデータ（スペクトログラムの画像データ）がＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＷＡＫＥ分類モデル１１Ａのインセプションモジュール１１Ａ１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習する。ＷＡＫＥ分類モデル１１Ａのアテンション機構１１Ａ４は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、ＷＡＫＥ分類モデル１１Ａのインセプションモジュール１１Ａ１で学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習する。ＷＡＫＥ分類モデル１１Ａの全結合層１１Ａ２はアテンション機構１１Ａ４で学習した注目すべき領域を考慮した特徴量をすべて結合し、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３は、ＷＡＫＥ分類モデル１１Ａの全結合層１１Ａ２で結合した特徴量から、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力する。

【0067】

ＲＥＭ分類モデル１１Ｂは、図４に示すＲＥＭ分類モデル１１Ｂと同様に、被験者の振動を示すデータ（睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのＲＥＭ睡眠段階に分類されるか否かの分類を行う。
ＲＥＭ分類モデル１１Ｂは、インセプションモジュール１１Ｂ１と、全結合層１１Ｂ２と、出力層１１Ｂ３と、アテンション機構１１Ｂ４とを備えている。インセプションモジュール１１Ｂ１は、図４に示すインセプションモジュール１１Ｂ１と同様に、ＲＥＭ分類モデル１１Ｂに入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ｂ１から出力された特徴量マップは、アテンション機構１１Ｂ４に入力される。アテンション機構１１Ｂ４は、スペクトログラムの画像データに対して注目すべき領域を考慮した特徴量を得るために、アテンションマスクを生成し、インセプションモジュール１１Ｂ１から出力された特徴量マップと掛け合わせた（要素同士の積を取った）結果を全結合層１１Ｂ２に出力する。全結合層１１Ｂ２は、図４に示す全結合層１１Ｂ２と同様に、出力層１１Ｂ３に接続されている。出力層１１Ｂ３は、全結合層１１Ｂ２で結合した特徴量から、被験者の振動を示すデータ（スペクトログラムの画像データ）がＲＥＭ睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＲＥＭ分類モデル１１Ｂのインセプションモジュール１１Ｂ１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習する。ＲＥＭ分類モデル１１Ｂのアテンション機構１１Ｂ４は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、ＲＥＭ分類モデル１１Ｂのインセプションモジュール１１Ｂ１で学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習する。ＲＥＭ分類モデル１１Ｂの全結合層１１Ｂ２はＲＥＭ分類モデル１１Ｂのアテンション機構１１Ｂ４で学習した注目すべき領域を考慮した特徴量をすべて結合する。ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３は、ＲＥＭ分類モデル１１Ｂの全結合層１１Ｂ２で結合した特徴量から、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果を出力する。

【0068】

ＮＲＥＭ１分類モデル１１Ｃ－１は、図４に示すＮＲＥＭ１分類モデル１１Ｃ－１と同様に、被験者の振動を示すデータ（睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのＮＲＥＭ１睡眠段階に分類されるか否かの分類を行う。
ＮＲＥＭ１分類モデル１１Ｃ－１は、インセプションモジュール１１Ｃ－１１と、全結合層１１Ｃ－１２と、出力層１１Ｃ－１３と、アテンション機構１１Ｃ－１４とを備えている。インセプションモジュール１１Ｃ－１１は、図４に示すインセプションモジュール１１Ｃ－１１と同様に、ＮＲＥＭ１分類モデル１１Ｃ－１に入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ｃ－１１から出力された特徴量マップは、アテンション機構１１Ｃ－１４に入力される。アテンション機構１１Ｃ－１４は、スペクトログラムの画像データに対して注目すべき領域を考慮した特徴量を得るために、アテンションマスクを生成し、インセプションモジュール１１Ｃ－１１から出力された特徴量マップと掛け合わせた（要素同士の積を取った）結果を全結合層１１Ｃ－１２に出力する。全結合層１１Ｃ－１２は、図４に示す全結合層１１Ｃ－１２と同様に、出力層１１Ｃ－１３に接続されている。出力層１１Ｃ－１３は、全結合層１１Ｃ－１２で結合した特徴量から、被験者の振動を示すデータ（スペクトログラムの画像データ）がＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＮＲＥＭ１分類モデル１１Ｃ－１のインセプションモジュール１１Ｃ－１１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習する。ＮＲＥＭ１分類モデル１１Ｃ－１のアテンション機構１１Ｃ－１４は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、ＮＲＥＭ１分類モデル１１Ｃ－１のインセプションモジュール１１Ｃ－１１で学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習する。ＮＲＥＭ１分類モデル１１Ｃ－１の全結合層１１Ｃ－１２はＮＲＥＭ１分類モデル１１Ｃ－１のアテンション機構１１Ｃ－１４で学習した注目すべき領域を考慮した特徴量をすべて結合する。ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３は、ＮＲＥＭ１分類モデル１１Ｃ－１の全結合層１１Ｃ－１２で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力する。

【0069】

ＮＲＥＭ２分類モデル１１Ｃ－２は、図４に示すＮＲＥＭ２分類モデル１１Ｃ－２と同様に、被験者の振動を示すデータ（睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのＮＲＥＭ２睡眠段階に分類されるか否かの分類を行う。
ＮＲＥＭ２分類モデル１１Ｃ－２は、インセプションモジュール１１Ｃ－２１と、全結合層１１Ｃ－２２と、出力層１１Ｃ－２３と、アテンション機構１１Ｃ－２４とを備えている。インセプションモジュール１１Ｃ－２１は、図４に示すインセプションモジュール１１Ｃ－２１と同様に、ＮＲＥＭ２分類モデル１１Ｃ－２に入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ｃ－２１から出力された特徴量マップは、アテンション機構１１Ｃ－２４に入力される。アテンション機構１１Ｃ－２４は、スペクトログラムの画像データに対して注目すべき領域を考慮した特徴量を得るために、アテンションマスクを生成し、インセプションモジュール１１Ｃ－２１から出力された特徴量マップと掛け合わせた（要素同士の積を取った）結果を全結合層１１Ｃ－２２に出力する。全結合層１１Ｃ－２２は、図４に示す全結合層１１Ｃ－２２と同様に、出力層１１Ｃ－２３に接続されている。出力層１１Ｃ－２３は、全結合層１１Ｃ－２２で結合した特徴量から、被験者の振動を示すデータ（スペクトログラムの画像データ）がＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＮＲＥＭ２分類モデル１１Ｃ－２のインセプションモジュール１１Ｃ－２１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習する。ＮＲＥＭ２分類モデル１１Ｃ－２のアテンション機構１１Ｃ－２４は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、ＮＲＥＭ２分類モデル１１Ｃ－２のインセプションモジュール１１Ｃ－２１で学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習する。ＮＲＥＭ２分類モデル１１Ｃ－２の全結合層１１Ｃ－２２はＮＲＥＭ２分類モデル１１Ｃ－２のアテンション機構１１Ｃ－２４で学習した注目すべき領域を考慮した特徴量をすべて結合する。ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３は、ＮＲＥＭ２分類モデル１１Ｃ－２の全結合層１１Ｃ－２２で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力する。

【0070】

ＮＲＥＭ３＆４分類モデル１１Ｃ－３は、図４に示すＮＲＥＭ３＆４分類モデル１１Ｃ－３と同様に、被験者の振動を示すデータ（睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類を行う。
ＮＲＥＭ３＆４分類モデル１１Ｃ－３は、インセプションモジュール１１Ｃ－３１と、全結合層１１Ｃ－３２と、出力層１１Ｃ－３３と、アテンション機構１１Ｃ－３４とを備えている。インセプションモジュール１１Ｃ－３１は、図４に示すインセプションモジュール１１Ｃ－３１と同様に、ＮＲＥＭ３＆４分類モデル１１Ｃ－３に入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ｃ－３１から出力された特徴量マップは、アテンション機構１１Ｃ－３４に入力される。アテンション機構１１Ｃ－３４は、スペクトログラムの画像データに対して注目すべき領域を考慮した特徴量を得るために、アテンションマスクを生成し、インセプションモジュール１１Ｃ－３１から出力された特徴量マップと掛け合わせた（要素同士の積を取った）結果を全結合層１１Ｃ－３２に出力する。全結合層１１Ｃ－３２は、図４に示す全結合層１１Ｃ－３２と同様に、出力層１１Ｃ－３３に接続されている。出力層１１Ｃ－３３は、全結合層１１Ｃ－３２で結合した特徴量から、被験者の振動を示すデータ（スペクトログラムの画像データ）がＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＮＲＥＭ３＆４分類モデル１１Ｃ－３のインセプションモジュール１１Ｃ－３１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習する。ＮＲＥＭ３＆４分類モデル１１Ｃ－３のアテンション機構１１Ｃ－３４は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、ＮＲＥＭ３＆４分類モデル１１Ｃ－３のインセプションモジュール１１Ｃ－３１で学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習する。ＮＲＥＭ３＆４分類モデル１１Ｃ－３の全結合層１１Ｃ－３２はＮＲＥＭ３＆４分類モデル１１Ｃ－３のアテンション機構１１Ｃ－３４で学習した注目すべき領域を考慮した特徴量をすべて結合する。ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３は、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の全結合層１１Ｃ－３２で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力する。

【0071】

統合部１２は、予め定められた統合ルールに基づいて、ＷＡＫＥ分類モデル１１Ａによる分類とＲＥＭ分類モデル１１Ｂによる分類とＮＲＥＭ１分類モデル１１Ｃ－１による分類とＮＲＥＭ２分類モデル１１Ｃ－２による分類とＮＲＥＭ３＆４分類モデル１１Ｃ－３による分類とが行われた被験者の振動を示すデータが、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのいずれの睡眠段階に該当するかを推定する。

【0072】

本発明者等は、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のいずれに分類されるかの正解が既知の被験者の振動を示すデータを用いた鋭意研究において、第２実施形態の睡眠段階推定システム１に対し、第１実施形態の睡眠段階推定システム１と同様に、「第１統合ルール」～「第５統合ルール」を適用可能であることを見い出した。
その点に鑑み、第２実施形態の睡眠段階推定システム１では、第１実施形態の睡眠段階推定システム１と同様に、統合部１２が、「第１統合ルール」～「第５統合ルール」と、ＷＡＫＥ分類モデル１１Ａによる分類結果と、ＲＥＭ分類モデル１１Ｂによる分類結果と、ＮＲＥＭ１分類モデル１１Ｃ－１による分類結果と、ＮＲＥＭ２分類モデル１１Ｃ－２による分類結果と、ＮＲＥＭ３＆４分類モデル１１Ｃ－３による分類結果とに基づいて、被験者の振動を示すデータが、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のうちのいずれの睡眠段階に該当するかを推定する。

【0073】

すなわち、第２実施形態の睡眠段階推定システム１では、第１実施形態の睡眠段階推定システム１と同様に、「第１統合ルール」～「第５統合ルール」を適用することにより、２クラス分類の学習器（ＷＡＫＥ分類モデル１１Ａ、ＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ１分類モデル１１Ｃ－１、ＮＲＥＭ２分類モデル１１Ｃ－２、ＮＲＥＭ３＆４分類モデル１１Ｃ－３）を用いた被験者の睡眠段階の推定の精度を向上させることができる。

【0074】

［第３実施形態］
以下、本発明の睡眠段階推定システム、睡眠段階推定方法およびプログラムの第３実施形態について説明する。
第３実施形態の睡眠段階推定システム１は、後述する点を除き、上述した第１実施形態の睡眠段階推定システム１と同様に構成されている。従って、第３実施形態の睡眠段階推定システム１によれば、後述する点を除き、上述した第１実施形態の睡眠段階推定システム１と同様の効果を奏することができる。

【0075】

本発明者等は、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のいずれに分類されるかの正解が既知の被験者の振動を示すデータを用いた鋭意研究において、後で詳細に説明するように、ＷＡＫＥ分類モデル１１ＡおよびＮＲＥＭ１分類モデル１１Ｃ－１については、アテンション機構を適用した場合にＷＡＫＥ分類モデル１１ＡおよびＮＲＥＭ１分類モデル１１Ｃ－１による分類精度が向上するものの、ＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ２分類モデル１１Ｃ－２およびＮＲＥＭ３＆４分類モデル１１Ｃ－３については、アテンション機構を適用すると、ＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ２分類モデル１１Ｃ－２およびＮＲＥＭ３＆４分類モデル１１Ｃ－３による分類精度が低下するおそれがあることを見い出した。
その点に鑑み、第３実施形態の睡眠段階推定システム１は、例えば図８に示す例のように構成されている。

【0076】

図８は第３実施形態の睡眠段階推定システム１の一例を示す図である。
図８に示す例では、第３実施形態の睡眠段階推定システム１が、図４に示す第１実施形態の睡眠段階推定システム１と同様に、被験者の睡眠段階が複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）のうちのいずれの睡眠段階に該当するかを、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータから推定する。

【0077】

図８に示す例では、睡眠段階推定システム１が、図４に示す例と同様に、２クラス分類モデル１１と、統合部１２とを備えている。２クラス分類モデル１１は、図４に示す２クラス分類モデル１１と同様に、被験者の振動を示すデータが所定のクラスに分類されるか否かの２クラス分類を行う（詳細には、ＷＡＫＥ睡眠段階に分類されるか否か、ＲＥＭ睡眠段階に分類されるか否か、ＮＲＥＭ１睡眠段階に分類されるか否か、ＮＲＥＭ２睡眠段階に分類されるか否か、および、ＮＲＥＭ３＆４睡眠段階に分類されるか否かの２クラス分類を行う）。２クラス分類モデル１１は、ＷＡＫＥ分類モデル１１Ａと、ＲＥＭ分類モデル１１Ｂと、ＮＲＥＭ分類モデル１１Ｃとを備えている。

【0078】

ＷＡＫＥ分類モデル１１Ａは、図４に示すＷＡＫＥ分類モデル１１Ａと同様に、被験者の振動を示すデータ（睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのＷＡＫＥ睡眠段階に分類されるか否かの分類を行う。
ＷＡＫＥ分類モデル１１Ａは、インセプションモジュール１１Ａ１と、全結合層１１Ａ２と、出力層１１Ａ３と、アテンション機構１１Ａ４とを備えている。インセプションモジュール１１Ａ１は、図４に示すインセプションモジュール１１Ａ１と同様に、ＷＡＫＥ分類モデル１１Ａに入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ａ１から出力された特徴量マップは、アテンション機構１１Ａ４に入力される。アテンション機構１１Ａ４は、スペクトログラムの画像データに対して注目すべき領域を考慮した特徴量を得るために、アテンションマスクを生成し、インセプションモジュール１１Ａ１から出力された特徴量マップと掛け合わせた（要素同士の積を取った）結果を全結合層１１Ａ２に出力する。全結合層１１Ａ２は、図４に示す全結合層１１Ａ２と同様に、出力層１１Ａ３に接続されている。出力層１１Ａ３は、全結合層１１Ａ２で結合した特徴量から、被験者の振動を示すデータ（スペクトログラムの画像データ）がＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＷＡＫＥ分類モデル１１Ａのインセプションモジュール１１Ａ１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習する。ＷＡＫＥ分類モデル１１Ａのアテンション機構１１Ａ４は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、ＷＡＫＥ分類モデル１１Ａのインセプションモジュール１１Ａ１で学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習する。ＷＡＫＥ分類モデル１１Ａの全結合層１１Ａ２はＷＡＫＥ分類モデル１１Ａのアテンション機構１１Ａ４で学習した注目すべき領域を考慮した特徴量をすべて結合する。ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３は、ＷＡＫＥ分類モデル１１Ａの全結合層１１Ａ２で結合した特徴量から、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果を出力する。

【0079】

ＲＥＭ分類モデル１１Ｂは、図４に示すＲＥＭ分類モデル１１Ｂと同様に、被験者の振動を示すデータ（睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのＲＥＭ睡眠段階に分類されるか否かの分類を行う。
ＲＥＭ分類モデル１１Ｂは、インセプションモジュール１１Ｂ１と全結合層１１Ｂ２と出力層１１Ｂ３とを備えており、アテンション機構を備えていない。
すなわち、ＲＥＭ分類モデル１１Ｂは、図４に示すＲＥＭ分類モデル１１Ｂと同様に構成されている。
つまり、ＲＥＭ分類モデル１１Ｂのインセプションモジュール１１Ｂ１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習する。ＲＥＭ分類モデル１１Ｂの全結合層１１Ｂ２はＲＥＭ分類モデル１１Ｂのインセプションモジュール１１Ｂ１で学習した特徴量をすべて結合する。ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３は、ＲＥＭ分類モデル１１Ｂの全結合層１１Ｂ２で結合した特徴量から、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果を出力する。

【0080】

ＮＲＥＭ１分類モデル１１Ｃ－１は、図４に示すＮＲＥＭ１分類モデル１１Ｃ－１と同様に、被験者の振動を示すデータ（睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのＮＲＥＭ１睡眠段階に分類されるか否かの分類を行う。
ＮＲＥＭ１分類モデル１１Ｃ－１は、インセプションモジュール１１Ｃ－１１と、全結合層１１Ｃ－１２と、出力層１１Ｃ－１３と、アテンション機構１１Ｃ－１４とを備えている。インセプションモジュール１１Ｃ－１１は、図４に示すインセプションモジュール１１Ｃ－１１と同様に、ＮＲＥＭ１分類モデル１１Ｃ－１に入力された被験者の振動を示すデータ（スペクトログラムの画像データ）に対して様々なスケールでの畳み込み演算を同時に行い、特徴量マップを生成して出力する。インセプションモジュール１１Ｃ－１１から出力された特徴量マップは、アテンション機構１１Ｃ－１４に入力される。アテンション機構１１Ｃ－１４は、スペクトログラムの画像データに対して注目すべき領域を考慮した特徴量を得るために、アテンションマスクを生成し、インセプションモジュール１１Ｃ－１１から出力された特徴量マップと掛け合わせた（要素同士の積を取った）結果を全結合層１１Ｃ－１２に出力する。全結合層１１Ｃ－１２は、図４に示す全結合層１１Ｃ－１２と同様に、出力層１１Ｃ－１３に接続されている。出力層１１Ｃ－１３は、全結合層１１Ｃ－１２で結合した特徴量から、被験者の振動を示すデータ（スペクトログラムの画像データ）がＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力する。
つまり、ＮＲＥＭ１分類モデル１１Ｃ－１のインセプションモジュール１１Ｃ－１１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習する。ＮＲＥＭ１分類モデル１１Ｃ－１のアテンション機構１１Ｃ－１４は、入力された画像データに対して注目すべき領域を考慮した特徴量を得るために、ＮＲＥＭ１分類モデル１１Ｃ－１のインセプションモジュール１１Ｃ－１１で学習した特徴量を用いて、所定の領域に注目を当てて分類の根拠を学習する。ＮＲＥＭ１分類モデル１１Ｃ－１の全結合層１１Ｃ－１２はＮＲＥＭ１分類モデル１１Ｃ－１のアテンション機構１１Ｃ－１４で学習した注目すべき領域を考慮した特徴量をすべて結合する。ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３は、ＮＲＥＭ１分類モデル１１Ｃ－１の全結合層１１Ｃ－１２で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果を出力する。

【0081】

ＮＲＥＭ２分類モデル１１Ｃ－２は、図４に示すＮＲＥＭ２分類モデル１１Ｃ－２と同様に、被験者の振動を示すデータ（睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのＮＲＥＭ２睡眠段階に分類されるか否かの分類を行う。
ＮＲＥＭ２分類モデル１１Ｃ－２は、インセプションモジュール１１Ｃ－２１と全結合層１１Ｃ－２２と出力層１１Ｃ－２３とを備えており、アテンション機構を備えていない。
すなわち、ＮＲＥＭ２分類モデル１１Ｃ－２は、図４に示すＮＲＥＭ２分類モデル１１Ｃ－２と同様に構成されている。
つまり、ＮＲＥＭ２分類モデル１１Ｃ－２のインセプションモジュール１１Ｃ－２１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習する。ＮＲＥＭ２分類モデル１１Ｃ－２の全結合層１１Ｃ－２２はＮＲＥＭ２分類モデル１１Ｃ－２のインセプションモジュール１１Ｃ－２１で学習した特徴量をすべて結合する。ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３は、ＮＲＥＭ２分類モデル１１Ｃ－２の全結合層１１Ｃ－２２で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果を出力する。

【0082】

ＮＲＥＭ３＆４分類モデル１１Ｃ－３は、図４に示すＮＲＥＭ３＆４分類モデル１１Ｃ－３と同様に、被験者の振動を示すデータ（睡眠段階推定システム１に入力されたスペクトログラムの画像データ）が、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類を行う。
ＮＲＥＭ３＆４分類モデル１１Ｃ－３は、インセプションモジュール１１Ｃ－３１と全結合層１１Ｃ－３２と出力層１１Ｃ－３３とを備えており、アテンション機構を備えていない。
すなわち、ＮＲＥＭ３＆４分類モデル１１Ｃ－３は、図４に示すＮＲＥＭ３＆４分類モデル１１Ｃ－３と同様に構成されている。
つまり、ＮＲＥＭ３＆４分類モデル１１Ｃ－３のインセプションモジュール１１Ｃ－３１は、マットセンサによって検出されたマットセンサ上の被験者の振動の時間波形からスペクトログラムに変換された画像データの重要な複数の特徴（呼吸、心拍、体動などの異なる特徴）を特徴量として学習する。ＮＲＥＭ３＆４分類モデル１１Ｃ－３の全結合層１１Ｃ－３２はＮＲＥＭ３＆４分類モデル１１Ｃ－３のインセプションモジュール１１Ｃ－３１で学習した特徴量をすべて結合する。ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３は、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の全結合層１１Ｃ－３２で結合した特徴量から、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果を出力する。

【0083】

統合部１２は、予め定められた統合ルールに基づいて、ＷＡＫＥ分類モデル１１Ａによる分類とＲＥＭ分類モデル１１Ｂによる分類とＮＲＥＭ１分類モデル１１Ｃ－１による分類とＮＲＥＭ２分類モデル１１Ｃ－２による分類とＮＲＥＭ３＆４分類モデル１１Ｃ－３による分類とが行われた被験者の振動を示すデータが、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階のうちのいずれの睡眠段階に該当するかを推定する。

【0084】

本発明者等は、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のいずれに分類されるかの正解が既知の被験者の振動を示すデータを用いた鋭意研究において、第３実施形態の睡眠段階推定システム１に対し、第１実施形態の睡眠段階推定システム１と同様に、「第１統合ルール」～「第５統合ルール」を適用可能であることを見い出した。
その点に鑑み、第３実施形態の睡眠段階推定システム１では、第１実施形態の睡眠段階推定システム１と同様に、統合部１２が、「第１統合ルール」～「第５統合ルール」と、ＷＡＫＥ分類モデル１１Ａによる分類結果（詳細には、アテンション機構１１Ａ４の学習結果が反映されたＷＡＫＥ分類モデル１１Ａによる分類結果）と、ＲＥＭ分類モデル１１Ｂによる分類結果と、ＮＲＥＭ１分類モデル１１Ｃ－１による分類結果（詳細には、アテンション機構１１Ｃ－１４の学習結果が反映されたＮＲＥＭ１分類モデル１１Ｃ－１による分類結果）と、ＮＲＥＭ２分類モデル１１Ｃ－２による分類結果と、ＮＲＥＭ３＆４分類モデル１１Ｃ－３による分類結果とに基づいて、被験者の振動を示すデータが、ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のうちのいずれの睡眠段階に該当するかを推定する。

【0085】

すなわち、第３実施形態の睡眠段階推定システム１では、第１実施形態の睡眠段階推定システム１と同様に、「第１統合ルール」～「第５統合ルール」を適用することにより、２クラス分類の学習器（ＷＡＫＥ分類モデル１１Ａ、ＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ１分類モデル１１Ｃ－１、ＮＲＥＭ２分類モデル１１Ｃ－２、ＮＲＥＭ３＆４分類モデル１１Ｃ－３）を用いた被験者の睡眠段階の推定の精度を向上させることができる。

【0086】

＜実施例＞
本発明者等は、第１～第３実施形態の睡眠段階推定システム１の有効性を検証するために、下記の第１実験および第２実験を実施した。

【0087】

第１実験：各睡眠段階におけるアテンションの効果
ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階のそれぞれの２クラス分類についてアテンション機能無し分類とアテンション機能有り分類との比較を行った。

【0088】

第２実験：ＣＮＮ（比較例）と第１～第３実施形態の睡眠段階推定システム１との比較
アテンション機能無しＣＮＮによる５クラス分類（第１比較例）と、アテンション機能有りＣＮＮによる５クラス分類（第２比較例）と、第１～第３実施形態の睡眠段階推定システム１のそれぞれによる５クラス分類との比較を行った。

【0089】

https://www.tanita.co.jp/product/g/_TSL504WH/
実施例では、上記のＵＲＬが示すマットセンサ（サンプリング周波数は１６Ｈｚ）を用い、それをベッドの下に敷くことで体動、心拍、呼吸などの生体振動データを時系列データとして得た。同時にＰＳＧ検査を実施し、各時刻の正解となる睡眠段階を取得することで、それらと各時刻のマットセンサの出力信号から得られた生体振動データを紐づけることで教師あり学習のためのデータセットを作成した。具体的には、生体振動データに対して６４秒間の短時間窓を取り、フーリエ変換を行うことで８Ｈｚの５１２次元のデータを得て、細かいスケール変化を捉えられるように対数に変換をした。このデータに対して正規化したものを１秒の対数スペクトログラムとし、この処理を０．２５秒ずつずらし、３２秒間繰り返すことで、縦軸５１２個×横軸１２８（＝３２×４）個の正規化対数スペクトログラムの画像を得た（つまり、図５に示す処理を行った）。この正規化対数スペクトログラムの画像を入力、正解となる睡眠段階を出力として、ＣＮＮに学習させた。

【0090】

ＣＮＮの学習モデルとして、第１実施形態の睡眠段階推定システム１のＷＡＫＥ分類モデル１１Ａ、ＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ１分類モデル１１Ｃ－１、ＮＲＥＭ２分類モデル１１Ｃ－２およびＮＲＥＭ３＆４分類モデル１１Ｃ－３（アテンション付きでない２クラス分類モデル）を作成した。
また、ＣＮＮの学習モデルとして、第２実施形態の睡眠段階推定システム１のＷＡＫＥ分類モデル１１Ａ、ＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ１分類モデル１１Ｃ－１、ＮＲＥＭ２分類モデル１１Ｃ－２およびＮＲＥＭ３＆４分類モデル１１Ｃ－３（アテンション付きの２クラス分類モデル）を作成した。
更に、ＣＮＮの学習モデルとして、第３実施形態の睡眠段階推定システム１のＷＡＫＥ分類モデル１１ＡおよびＮＲＥＭ１分類モデル１１Ｃ－１（アテンション付きの２クラス分類モデル）を作成し、第３実施形態の睡眠段階推定システム１のＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ２分類モデル１１Ｃ－２およびＮＲＥＭ３＆４分類モデル１１Ｃ－３（アテンション付きでない２クラス分類モデル）を作成した。

【0091】

また、睡眠段階のラベルを２クラス分類に変更した。つまり、ＷＡＫＥ分類モデル１１ＡではＷＡＫＥ睡眠段階とそれ以外の睡眠段階とでクラスを分類するようなラベル付けにし、ＲＥＭ分類モデル１１ＢではＲＥＭ睡眠段階とそれ以外の睡眠段階とでクラスを分類するようなラベル付けにし、ＮＲＥＭ１分類モデル１１Ｃ－１ではＮＲＥＭ１睡眠段階とそれ以外の睡眠段階とでクラスを分類するようなラベル付けにし、ＮＲＥＭ２分類モデル１１Ｃ－２ではＮＲＥＭ２睡眠段階とそれ以外の睡眠段階とでクラスを分類するようなラベル付けにし、ＮＲＥＭ３＆４分類モデル１１Ｃ－３ではＮＲＥＭ３＆４睡眠段階とそれ以外の睡眠段階とでクラスを分類するようなラベル付けにした。

【0092】

そして、２クラス分類の学習器の分類結果が競合した場合、その中から１つを選ぶ必要があるため、実施例の第１実験により求めた各学習器の推定精度（Ｆ値）に基づいて優先順位をつけた。

【0093】

図９は実施例において検証した第１実施形態の睡眠段階推定システム１におけるスペクトログラムの画像データの流れを示す図である。
図９において、ＷＡＫＥ分類モデル１１Ａのインセプションモジュール１１Ａ１に入力される矩形で示すデータおよびＮＲＥＭ３＆４分類モデル１１Ｃ－３のインセプションモジュール１１Ｃ－３１に入力される矩形で示すデータは、生体振動データの正規化対数スペクトログラムの画像データである。
実施例においては、２クラス分類のネットワーク構造が、４８層のインセプションモジュール、全結合層、出力層からなる。第１実施形態では、アテンション無しのＣＮＮを用いて各睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階、ＮＲＥＭ３＆４睡眠段階）の２クラス分類を行った後に、それらの分類結果を基に統合部１２（Multi class classification）で５クラスに分類する。

【0094】

図１０は実施例において第１～第３実施形態の睡眠段階推定システム１の各分類モデルの教師あり学習に用いられた生体振動データを提供した被験者の年齢、各睡眠段階の数を示す図である。図１１は実施例において行われた２クラス分類の正解率（accuracy）、適合率（precision）、再現率（recall）、Ｆ値（f-measure）の３回の平均を示す図である。図１２はアテンション機能有りＣＮＮによる５クラス分類の正解率とアテンション機能無しＣＮＮによる５クラス分類の正解率と第１～第３実施形態の睡眠段階推定システム１のそれぞれによる５クラス分類の正解率とを比較して示した図である。
図１１に示すように、第１実験では２クラス分類の正解率、適合率、再現率、Ｆ値を評価し、図１２に示すように、第２実験では５クラス分類の正解率を評価した。図１１に示す値は、図１０に示す被験者８名（ＳｕｂｊｅｃｔＡ～ＳｕｂｊｅｃｔＩ）の生体振動データを用いた教師あり学習が行われた各分類モデルが、図１０に示す被験者以外の被験者の生体振動データの２クラス分類を行った結果を示しており、図１２に示す値は、図１０に示す被験者以外の被験者の生体振動データの５クラス分類を行った結果を示している。

【0095】

図１１に示すように、ＷＡＫＥ睡眠段階およびＮＲＥＭ１睡眠段階については、アテンションがある方が高いＦ値（４１．２％）（４３．７％）を示した。ＲＥＭ睡眠段階およびＮＲＥＭ２睡眠段階については、アテンションがない方が高いＦ値（６３．５％）（８０．４％）を示した。これらのＦ値はＮＲＥＭ２睡眠段階（８０．４％）、ＲＥＭ睡眠段階（６３．５％）、ＮＲＥＭ１睡眠段階（４３．７％）、ＷＡＫＥ睡眠段階（４１．２％）の順に低くなった。ＮＲＥＭ３＆４睡眠段階については、テストデータが１つしかないためＦ値を算出できない。

【0096】

図１１に示す第１実験の結果に鑑み、図９に示す第１実施形態の睡眠段階推定システム１の実施例では、統合部１２による睡眠段階の推定に用いられる統合ルールにおける睡眠段階の基本的な優先順位を「ＮＲＥＭ２睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＷＡＫＥ睡眠段階、ＮＲＥＭ３＆４睡眠段階」の順序に設定した。

【0097】

具体的には、図９に示す第１実施形態の睡眠段階推定システム１の実施例では、統合部１２が、「第１統合ルール」として、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３のみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＷＡＫＥ睡眠段階に該当すると推定し、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３のみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＲＥＭ睡眠段階に該当すると推定し、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３のみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＮＲＥＭ１睡眠段階に該当すると推定し、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３のみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に該当すると推定し、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３のみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に該当すると推定した。
つまり、５つの分類モデルの予測が１つのみＰｏｓｉｔｉｖｅであるとき、その予測を睡眠段階と推定した。

【0098】

また、図９に示す第１実施形態の睡眠段階推定システム１の実施例では、統合部１２が、「第２統合ルール」として、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３がＰｏｓｉｔｉｖｅな分類結果を出力すると共に、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３がＰｏｓｉｔｉｖｅな分類結果を出力する場合であって、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３が出力する分類結果、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３が出力する分類結果およびＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３が出力する分類結果のうちの１つ以上の分類結果がＰｏｓｉｔｉｖｅである場合に、被験者の振動を示すデータがＲＥＭ睡眠段階に該当すると推定した。
つまり、ＲＥＭ分類モデル１１Ｂによる予測とＮＲＥＭ２分類モデル１１Ｃ－２による予測とが共にＰｏｓｉｔｉｖｅであって、予測がＰｏｓｉｔｉｖｅである他の分類モデルが１つ以上存在する場合に、被験者の振動を示すデータがＲＥＭ睡眠段階に該当すると推定した。

【0099】

また、図９に示す第１実施形態の睡眠段階推定システム１の実施例では、統合部１２が、「第３統合ルール」として、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３がＰｏｓｉｔｉｖｅな分類結果を出力し、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３がＮｅｇａｔｉｖｅな分類結果を出力し、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３がＰｏｓｉｔｉｖｅな分類結果を出力し、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３がＮｅｇａｔｉｖｅな分類結果を出力し、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３がＮｅｇａｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＷＡＫＥ睡眠段階に該当すると推定した。
つまり、ＷＡＫＥ分類モデル１１Ａによる予測およびＮＲＥＭ１分類モデル１１Ｃ－１による予測のみがＰｏｓｉｔｉｖｅである場合に、被験者の振動を示すデータがＷＡＫＥ睡眠段階に該当すると推定した。

【0100】

また、図９に示す第１実施形態の睡眠段階推定システム１の実施例では、統合部１２が、「第４統合ルール」として、「第１統合ルール」に当てはまらず、かつ、「第２統合ルール」に当てはまらず、かつ、「第３統合ルール」に当てはまらず、かつ、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果、および、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果のうちのＰｏｓｉｔｉｖｅである分類結果が複数存在するときに、Ｐｏｓｉｔｉｖｅである分類結果に対応する複数の睡眠段階に「ＮＲＥＭ２睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＷＡＫＥ睡眠段階、ＮＲＥＭ３＆４睡眠段階」の順序で優先順位をつけ、被験者の振動を示すデータが、Ｐｏｓｉｔｉｖｅである分類結果に対応する複数の睡眠段階のうちの最も高い優先順位を有する睡眠段階に該当すると推定した。

【0101】

また、図９に示す第１実施形態の睡眠段階推定システム１の実施例では、統合部１２が、「第５統合ルール」として、ＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３から出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、ＲＥＭ分類モデル１１Ｂの出力層１１Ｂ３から出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、ＮＲＥＭ１分類モデル１１Ｃ－１の出力層１１Ｃ－１３から出力される被験者の振動を示すデータがＮＲＥＭ１睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、ＮＲＥＭ２分類モデル１１Ｃ－２の出力層１１Ｃ－２３から出力される被験者の振動を示すデータがＮＲＥＭ２睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、ＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３から出力される被験者の振動を示すデータがＮＲＥＭ３＆４睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅである場合に、被験者の振動を示すデータがＮＲＥＭ２睡眠段階に該当すると推定した。
その結果、図１２に「Ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ １」で示すように、第１実施形態の睡眠段階推定システム１による５クラス分類の正解率が７２．８９％になった。

【0102】

図１３は実施例において検証した第２実施形態の睡眠段階推定システム１におけるスペクトログラムの画像データの流れを示す図である。
図１３に示すように、第２実施形態の睡眠段階推定システム１では、ＷＡＫＥ分類モデル１１Ａがアテンション機構１１Ａ４を備えており、ＮＲＥＭ３＆４分類モデル１１Ｃ－３がアテンション機構１１Ｃ－３４を備えている。
図１３には図示しないが、ＲＥＭ分類モデル１１Ｂはアテンション機構１１Ｂ４を備えており、ＮＲＥＭ１分類モデル１１Ｃ－１はアテンション機構１１Ｃ－１４を備えており、ＮＲＥＭ２分類モデル１１Ｃ－２はアテンション機構１１Ｃ－２４を備えている。
アテンション機構のネットワーク構造は、１層の畳み込み層と１層の活性化関数からなる。
図１２に「Ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ２」で示すように、第２実施形態の睡眠段階推定システム１による５クラス分類の正解率は６６．１２％になった。

【0103】

実施例において検証した第３実施形態の睡眠段階推定システム１は、第１実施形態の睡眠段階推定システム１と第２実施形態の睡眠段階推定システム１とを組み合わせたものである。
具体的には、各分類モデルによる２クラス分類ではアテンション機構が有効に働く場合と働かない場合があるため、上述した第１実験により求めた結果より、アテンション機構が有効に働くＷＡＫＥ分類モデル１１Ａにアテンション機構１１Ａ４が備えられると共に、アテンション機構が有効に働くＮＲＥＭ１分類モデル１１Ｃ－１にアテンション機構１１Ｃ－１４が備えられている。アテンション機構が有効に働かないＲＥＭ分類モデル１１Ｂ、ＮＲＥＭ２分類モデル１１Ｃ－２およびＮＲＥＭ３＆４分類モデル１１Ｃ－３には、アテンション機構が備えられていない。
第３実施形態の睡眠段階推定システム１におけるＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ１睡眠段階、ＮＲＥＭ２睡眠段階およびＮＲＥＭ３＆４睡眠段階の基本的な優先順位は、第１および第２実施形態の睡眠段階推定システム１と同様になる。
図１２に「Ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ３」で示すように、第３実施形態の睡眠段階推定システム１による５クラス分類の正解率は７３．４０％になった。

【0104】

図１１に示すように各睡眠段階によってアテンションの有無の効果は異なったが、この原因としては体動の影響が考えられる。

【0105】

図１４はＷＡＫＥ分類モデル１１Ａのアテンション機構１１Ａ４によって生成されたアテンションマスク（１３×１３）とＷＡＫＥ分類モデル１１Ａに入力された正規化対数スペクトログラムの画像データ（１２８×５１２）とを示す図である。
図１４の左側に示すアテンションマスクの左右方向の中央部分（丸で囲われた部分）は分類にとって重要な部分であり、図１４の左側に示すアテンションマスクの左端部分は分類にとって重要ではない部分である。
図１４の右側に示す正規化対数スペクトログラムの画像データの縦軸は周波数（０～８Ｈｚ）を示しており、横軸は時間（０～３２秒）を示している。図１４の右側に示す正規化対数スペクトログラムの画像データは、０秒～１６秒の時間に、０Ｈｚ～０．２Ｈｚの周波数成分（被験者の呼吸などの緩やかな波の成分）が多いことを示している。
詳細には、図１４の右側に示す正規化対数スペクトログラムの画像データでは、２４秒付近において緩やかな波の成分が途切れ、縦方向に線が入っている。これは被験者の体動の影響によりマットセンサが呼吸などの成分の特徴を取れなかったことを表している。図１４の左側に示すアテンションマスクは、図１４の右側に示す正規化対数スペクトログラムの画像データに表れている被験者の体動に、アテンション機構１１Ａ４が注目していることを示している。つまり、アテンション機構１１Ａ４がＷＡＫＥ睡眠段階の特徴を適切に捉えていることを示している。

【0106】

図１５はＮＲＥＭ１分類モデル１１Ｃ－１のアテンション機構１１Ｃ－１４によって生成されたアテンションマスク（１３×１３）とＮＲＥＭ１分類モデル１１Ｃ－１に入力された正規化対数スペクトログラムの画像データ（１２８×５１２）とを示す図である。
図１５の左側に示すアテンションマスクの２か所の丸で囲われた部分は分類にとって重要な部分である。
図１５の右側に示す正規化対数スペクトログラムの画像データの縦軸は周波数（０～８Ｈｚ）を示しており、横軸は時間（０～３２秒）を示している。図１５の右側に示す正規化対数スペクトログラムの画像データは、８秒付近の時間に被験者の体動が生じたことを示しており、１６秒～２４秒の時間に被験者の体動が生じたことを示している。
図１４および図１５に示すように、ＷＡＫＥ睡眠段階およびＮＲＥＭ１睡眠段階は他の睡眠段階と比べて被験者の体動が起こりやすい。このように被験者の体動が比較的多いＷＡＫＥ睡眠段階およびＮＲＥＭ１睡眠段階では、アテンション機構が分類に貢献する。

【0107】

図１６はＲＥＭ分類モデル１１Ｂのアテンション機構１１Ｂ４によって生成されたアテンションマスク（１３×１３）とＲＥＭ分類モデル１１Ｂに入力された正規化対数スペクトログラムの画像データ（１２８×５１２）とを示す図である。
図１６の右側に示す正規化対数スペクトログラムの画像データでは、０．２Ｈｚ付近に横方向に伸びる線が確認でき、被験者が比較的安定した呼吸をしているように見える。一方、図１６の左側に示すアテンションマスクでは、アテンション機構１１Ｂ４が、その領域だけでなく、他の領域も重視している。
つまり、図１６の右側に示す正規化対数スペクトログラムの画像データには、被験者の心拍の揺らぎの特徴が表れないため、図１６の左側に示すアテンションマスクのように、ＲＥＭ分類モデル１１Ｂのアテンション機構１１Ｂ４がＲＥＭ睡眠段階の特徴を適切に捉えられていないと言える。
生理学的にもＲＥＭ睡眠段階では被験者の心拍と呼吸が乱れることが分かっており、それらの影響によるものであることが分かる。ＲＥＭ分類モデル１１Ｂには、アテンション機構を導入しない方がよいと言え、そのことが図１１の結果として表れている。

【0108】

図１７はＮＲＥＭ２分類モデル１１Ｃ－２のアテンション機構１１Ｃ－２４によって生成されたアテンションマスク（１３×１３）とＮＲＥＭ２分類モデル１１Ｃ－２に入力された正規化対数スペクトログラムの画像データ（１２８×５１２）とを示す図である。
図１７の右側に示す正規化対数スペクトログラムの画像データでは、被験者の呼吸および心拍が確認できる。一方、図１７の左側に示すアテンションマスクでは、アテンション機構１１Ｃ－２４が、被験者の呼吸および心拍に対応する領域だけでなく、他の周波数領域も分散的に重視している。つまり、重視位置が分散していることから、アテンションの効果はさほどないと言える。
図１２に示すように、第２実験において、５クラス分類を行うＣＮＮよりも第１～第３実施形態の睡眠段階推定システム１の方が正解率が改善された。これは第１～第３実施形態の睡眠段階推定システム１がアンサンブル学習の役割を果たしたためと考えられる。

【0109】

アンサンブル学習とは統計的機械学習の手法の一種であり、個々に学習した複数の学習器を組み合わせることで汎化性能を上げる学習アルゴリズムである。アンサンブル学習の枠組みでは個々の学習器を弱学習器ｈ、学習器をＨと表す。

【0110】

図１８は第１実施形態の睡眠段階推定システム１にアンサンブル学習の概念を当てはめた図である。
図１８に示すように、図９に示すＷＡＫＥ分類モデル１１Ａの出力層１１Ａ３（wake class classification）およびＮＲＥＭ３＆４分類モデル１１Ｃ－３の出力層１１Ｃ－３３（ＮＲＥＭ３＆４ class classification）が図１８では弱学習器ｈに変わり、図９に示す統合部１２（Multi class classification）が、図１８では学習器Ｈに変わる。本発明者等の鋭意研究においては、弱学習器ｈから学習器Ｈを事前実験により統合ルール（分類ルール）を作成することで、５クラス分類を行うＣＮＮと比べて汎化性能を向上することができた。更なる拡張としては、アンサンブル学習の枠組みでバギングやブースティングを利用することで事前実験を必要としない分類ルールを生成できると考えられる。

【0111】

［第４実施形態］
以下、本発明の睡眠段階推定システム、睡眠段階推定方法およびプログラムの第４実施形態について説明する。
第４実施形態の睡眠段階推定システム１は、後述する点を除き、上述した第１実施形態の睡眠段階推定システム１と同様に構成されている。従って、第４実施形態の睡眠段階推定システム１によれば、後述する点を除き、上述した第１実施形態の睡眠段階推定システム１と同様の効果を奏することができる。

【0112】

図１９は第４実施形態の睡眠段階推定システム１の一例を示す図である。
図１９に示す例では、第４実施形態の睡眠段階推定システム１が、被験者の睡眠段階が複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ睡眠段階）のうちのいずれの睡眠段階に該当するかを、マットセンサによって検出されたマットセンサ上の被験者の振動を示すデータから推定する。
図１９に示す例では、睡眠段階推定システム１が、被験者の睡眠段階が３段階の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ睡眠段階）のうちのいずれの睡眠段階に該当するかを推定するが、他の例では、睡眠段階推定システム１が、被験者の睡眠段階が例えば４段階の睡眠段階のうちのいずれの睡眠段階に該当するかを推定してもよい。

【0113】

図１９に示す例では、睡眠段階推定システム１が、２クラス分類モデル１１と、統合部１２とを備えている。２クラス分類モデル１１は、被験者の振動を示すデータが所定のクラスに分類されるか否かの２クラス分類を行う（詳細には、ＷＡＫＥ睡眠段階に分類されるか否か、ＲＥＭ睡眠段階に分類されるか否か、および、ＮＲＥＭ睡眠段階に分類されるか否かの２クラス分類を行う）。２クラス分類モデル１１は、ＷＡＫＥ分類モデル１１Ａと、ＲＥＭ分類モデル１１Ｂと、ＮＲＥＭ分類モデル１１Ｃとを備えている。
ＷＡＫＥ分類モデル１１Ａは、被験者の振動を示すデータ（スペクトログラムの画像データ）が、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ睡眠段階）のうちのＷＡＫＥ睡眠段階に分類されるか否かの分類を行う。詳細には、ＷＡＫＥ分類モデル１１Ａは、被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類を行う前に、ＷＡＫＥ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。つまり、ＷＡＫＥ分類モデル１１Ａは、２クラス分類の学習器によって構成される。

【0114】

ＲＥＭ分類モデル１１Ｂは、被験者の振動を示すデータが、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ睡眠段階）のうちのＲＥＭ睡眠段階に分類されるか否かの分類を行う。詳細には、ＲＥＭ分類モデル１１Ｂは、被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類を行う前に、ＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。つまり、ＲＥＭ分類モデル１１Ｂは、２クラス分類の学習器によって構成される。

【0115】

ＮＲＥＭ分類モデル１１Ｃは、被験者の振動を示すデータが、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ睡眠段階）のうちのＮＲＥＭ睡眠段階に分類されるか否かの分類を行う。詳細には、ＮＲＥＭ分類モデル１１Ｃは、被験者の振動を示すデータがＮＲＥＭ睡眠段階に分類されるか否かの分類を行う前に、ＮＲＥＭ睡眠段階に分類されるか否かの正解が既知の被験者の振動を示すデータを用いた教師あり学習を行う。つまり、ＮＲＥＭ分類モデル１１Ｃは、２クラス分類の学習器によって構成される。

【0116】

統合部１２は、予め定められた統合ルールに基づいて、ＷＡＫＥ分類モデル１１Ａによる分類とＲＥＭ分類モデル１１Ｂによる分類とＮＲＥＭ分類モデル１１Ｃによる分類とが行われた被験者の振動を示すデータが、複数の睡眠段階（ＷＡＫＥ睡眠段階、ＲＥＭ睡眠段階、ＮＲＥＭ睡眠段階）のうちのいずれの睡眠段階に該当するかを推定する。

【0117】

第４実施形態の睡眠段階推定システム１では、統合部１２は、ＷＡＫＥ分類モデル１１ＡのみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＷＡＫＥ睡眠段階に該当すると推定し、ＲＥＭ分類モデル１１ＢのみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＲＥＭ睡眠段階に該当すると推定し、ＮＲＥＭ分類モデル１１ＣのみがＰｏｓｉｔｉｖｅな分類結果を出力する場合に、被験者の振動を示すデータがＮＲＥＭ睡眠段階に該当すると推定する。

【0118】

また、第４実施形態の睡眠段階推定システム１では、ＷＡＫＥ分類モデル１１Ａから出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果、ＲＥＭ分類モデル１１Ｂから出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果、および、ＮＲＥＭ分類モデル１１Ｃから出力される被験者の振動を示すデータがＮＲＥＭ睡眠段階に分類されるか否かの分類結果のうちのＰｏｓｉｔｉｖｅである分類結果が複数存在するときに、統合部１２は、Ｐｏｓｉｔｉｖｅである分類結果に対応する複数の睡眠段階に例えば「ＮＲＥＭ睡眠段階、ＲＥＭ睡眠段階、ＷＡＫＥ睡眠段階」の順序で優先順位をつけ、被験者の振動を示すデータが、Ｐｏｓｉｔｉｖｅである分類結果に対応する複数の睡眠段階のうちの最も高い優先順位を有する睡眠段階に該当すると推定する。

【0119】

また、第４実施形態の睡眠段階推定システム１では、ＷＡＫＥ分類モデル１１Ａ出力される被験者の振動を示すデータがＷＡＫＥ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、ＲＥＭ分類モデル１１Ｂから出力される被験者の振動を示すデータがＲＥＭ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅであって、ＮＲＥＭ分類モデル１１Ｃから出力される被験者の振動を示すデータがＮＲＥＭ睡眠段階に分類されるか否かの分類結果がＮｅｇａｔｉｖｅである場合に、統合部１２は、被験者の振動を示すデータが例えばＮＲＥＭ睡眠段階に該当すると推定する。

【0120】

以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。

【0121】

なお、上記の実施形態における睡眠段階推定システム１の全部または一部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、睡眠段階推定システム１の全部または一部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各システムが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、睡眠段階推定システム１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【符号の説明】

【0122】

１…睡眠段階推定システム、１１…２クラス分類モデル、１１Ａ…ＷＡＫＥ分類モデル、１１Ａ１…インセプションモジュール、１１Ａ２…全結合層、１１Ａ３…出力層、１１Ａ４…アテンション機構、１１Ｂ…ＲＥＭ分類モデル、１１Ｂ１…インセプションモジュール、１１Ｂ２…全結合層、１１Ｂ３…出力層、１１Ｂ４…アテンション機構、１１Ｃ…ＮＲＥＭ分類モデル、１１Ｃ－１…ＮＲＥＭ１分類モデル、１１Ｃ－１１…インセプションモジュール、１１Ｃ－１２…全結合層、１１Ｃ－１３…出力層、１１Ｃ－１４…アテンション機構、１１Ｃ－２…ＮＲＥＭ２分類モデル、１１Ｃ－２１…インセプションモジュール、１１Ｃ－２２…全結合層、１１Ｃ－２３…出力層、１１Ｃ－２４…アテンション機構、１１Ｃ－３…ＮＲＥＭ３＆４分類モデル、１１Ｃ－３１…インセプションモジュール、１１Ｃ－３２…全結合層、１１Ｃ－３３…出力層、１１Ｃ－３４…アテンション機構、１２…統合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】