知財求人 - 知財ポータルサイト「IP Force」
▶ ザ ジャクソン ラボラトリーの特許一覧 ▶ ザ トラスティーズ オブ ザ ユニバーシティ オブ ペンシルバニアの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-22
(54)【発明の名称】睡眠状態の視覚的決定
(51)【国際特許分類】
A61B 5/16 20060101AFI20240815BHJP
G06T 7/00 20170101ALI20240815BHJP
G06V 10/82 20220101ALI20240815BHJP
G06T 7/246 20170101ALI20240815BHJP
A01K 29/00 20060101ALI20240815BHJP
【ＦＩ】
A61B5/16 130
G06T7/00 350C
G06V10/82
G06T7/246
A01K29/00 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023580368
(86)(22)【出願日】2022-06-27
(85)【翻訳文提出日】2024-01-19
(86)【国際出願番号】 US2022035112
(87)【国際公開番号】W WO2023278319
(87)【国際公開日】2023-01-05
(31)【優先権主張番号】63/215,511
(32)【優先日】2021-06-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】398066918
【氏名又は名称】ザ ジャクソン ラボラトリー
【氏名又は名称原語表記】ＴＨＥ ＪＡＣＫＳＯＮ ＬＡＢＯＲＡＴＯＲＹ
(71)【出願人】
【識別番号】500429103
【氏名又は名称】ザ トラスティーズ オブ ザ ユニバーシティ オブ ペンシルバニア
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(72)【発明者】
【氏名】クマール，ビベック
(72)【発明者】
【氏名】パック，アラン・アイ
(72)【発明者】
【氏名】ゴイター，ブライアン
(72)【発明者】
【氏名】ジョージ，ジョシー
(72)【発明者】
【氏名】チェン，マンディ
【テーマコード（参考）】
4C038
5L096
【Ｆターム（参考）】
4C038PP05
4C038PS07
5L096AA02
5L096AA06
5L096BA06
5L096CA02
5L096FA04
5L096FA23
5L096FA55
5L096FA69
5L096GA10
5L096HA05
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
本明細書に記載のシステムおよび方法は、対象の映像データを処理することによって睡眠状態データを決定するための技術を提供する。システムおよび方法は、映像データから複数の特徴を決定してもよく、複数の特徴を使用して、対象の睡眠状態データを決定してもよい。一部の実施形態では、睡眠状態データは、複数の特徴に対応する周波数領域特徴および／または時間領域特徴に基づいてもよい。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピュータ実装方法であって、対象の映像を表す映像データを受信することと、
前記映像データを使用して、前記対象に対応する複数の特徴を決定することと、
前記複数の特徴を使用して、前記対象についての睡眠状態データを決定することと、を含む、コンピュータ実装方法。
【請求項2】
機械学習モデルを使用して、前記映像データを処理して、前記対象に対応するピクセルの第一のセットおよび背景に対応するピクセルの第二のセットを示すセグメンテーションデータを決定することをさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記セグメンテーションデータを処理して、前記対象に対応する楕円適合データを決定することをさらに含む、請求項２に記載のコンピュータ実装方法。
【請求項4】
前記複数の特徴を決定することが、前記セグメンテーションデータを処理して、前記複数の特徴を決定することを含む、請求項２に記載のコンピュータ実装方法。
【請求項5】
前記複数の特徴が、前記映像データの各映像フレームに対する複数の視覚的特徴を含む、請求項１に記載のコンピュータ実装方法。
【請求項6】
前記複数の視覚的特徴の各視覚的特徴に対して時間領域特徴を決定することをさらに含み、前記複数の特徴が、前記時間領域特徴を含む、請求項５に記載のコンピュータ実装方法。
【請求項7】
前記時間領域特徴を決定することが、尖度データ、平均データ、中央値データ、標準偏差データ、最大データ、および最小データのうちの１つを決定することを含む、請求項６に記載のコンピュータ実装方法。
【請求項8】
前記複数の視覚的特徴の各視覚的特徴に対して周波数領域特徴を決定することをさらに含み、前記複数の特徴が、前記周波数領域特徴を含む、請求項５に記載のコンピュータ実装方法。
【請求項9】
前記周波数領域特徴を決定することが、パワースペクトル密度の尖度、パワースペクトル密度の歪度、平均パワースペクトル密度、合計パワースペクトル密度、パワースペクトル密度の最大データ、最小データ、平均データ、および標準偏差のうちの１つを決定することを含む、請求項８に記載のコンピュータ実装方法。
【請求項10】
前記複数の特徴の各々について時間領域特徴を決定することと、前記複数の特徴の各々について周波数領域特徴を決定することと、
機械学習分類器を使用して、前記時間領域特徴および前記周波数領域特徴を処理して、前記睡眠状態データを決定することと、をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項11】
機械学習分類器を使用して、前記複数の特徴を処理して、前記映像データの映像フレームに対する睡眠状態を決定することを含み、前記睡眠状態が、覚醒状態、レム睡眠状態、およびノンレム睡眠状態のうちの１つである、請求項１に記載のコンピュータ実装方法。
【請求項12】
前記睡眠状態データが、睡眠状態の持続時間、覚醒状態、レム状態、およびノンレム状態のうちの１つまたは複数の持続時間および／または周波数間隔のうちの１つまたは複数、ならびに１つまたは複数の睡眠状態の変化を示す、請求項１に記載のコンピュータ実装方法。
【請求項13】
前記複数の特徴を使用して、前記対象の複数の身体領域を決定することであって、前記複数の身体領域の各身体領域が、前記映像データの映像フレームに対応する、決定することと、前記映像中の前記複数の身体領域の変化に基づいて、前記睡眠状態データを決定することと、をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項14】
前記複数の特徴を使用して、複数の幅長比を決定することであって、前記複数の幅長比の各幅長比が、前記映像データの映像フレームに対応する、決定することと、前記映像中の前記複数の幅長比の変化に基づいて、前記睡眠状態データを決定することと、をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項15】
前記睡眠状態データを決定することが、前記対象の身体領域または体形の変化に基づいて、ノンレム状態からレム状態への移行を検出することを含み、前記身体領域または体形の前記変化が、筋脱力の結果である、請求項１に記載のコンピュータ実装方法。
【請求項16】
前記対象について複数の幅長比を決定することであって、前記複数の幅長比の幅長比が、前記映像データの映像フレームに対応する、決定することと、前記複数の幅長比を使用して、時間領域特徴を決定することと、
前記複数の幅長比を使用して、周波数領域特徴を決定することであって、前記時間領域特徴および前記周波数領域特徴が、前記対象の腹部の動きを表す、決定することと、
前記時間領域特徴および前記周波数領域特徴を使用して、前記睡眠状態データを決定することと、をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項17】
前記映像が、前記対象の自然な状態において前記対象を捕捉する、請求項１に記載のコンピュータ実装方法。
【請求項18】
前記対象の自然な状態が、前記対象内または対象上に侵襲的検出手段がないことを含む、請求項１７に記載のコンピュータ実装方法。
【請求項19】
前記侵襲的検出手段が、前記対象に取り付けられた電極および前記対象に挿入された電極のうちの一方または両方を含む、請求項１８に記載のコンピュータ実装方法。
【請求項20】
前記映像が高解像度映像である、請求項１に記載のコンピュータ実装方法。
【請求項21】
機械学習分類器を使用して、前記複数の特徴を処理して、前記映像データの１つの映像フレーム各々について複数の睡眠状態予測を決定することと、移行モデルを使用して、前記複数の睡眠状態予測を処理して、第一の睡眠状態と第二の睡眠状態の間の移行を決定することと、をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項22】
前記移行モデルが、隠れマルコフモデルである、請求項２１に記載のコンピュータ実装方法。
【請求項23】
前記映像が、少なくとも第一の対象および第二の対象を含む２つ以上の対象の映像であり、前記方法が、前記映像データを処理して、前記第一の対象に対応するピクセルの第一のセットを示す第一のセグメンテーションデータを決定することと、
前記映像データを処理して、前記第二の対象に対応するピクセルの第二のセットを示す第二のセグメンテーションデータを決定することと、
前記第一のセグメンテーションデータを使用して、前記第一の対象に対応する第一の複数の特徴を決定することと、
前記第一の複数の特徴を使用して、前記第一の対象についての第一の睡眠状態データを決定することと、
前記第二のセグメンテーションデータを使用して、前記第二の対象に対応する第二の複数の特徴を決定することと、
前記第二の複数の特徴を使用して、前記第二の対象についての第二の睡眠データを決定することと、をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項24】
前記対象が齧歯類であり、任意選択的にマウスである、請求項１に記載のコンピュータ実装方法。
【請求項25】
前記対象が遺伝子操作された対象である、請求項１に記載のコンピュータ実装方法。
【請求項26】
対象の睡眠状態を決定する方法であって、前記対象の応答を監視することを含み、前記監視することの手段が、請求項１に記載のコンピュータ実装方法を含む、方法。
【請求項27】
前記睡眠状態が、睡眠の段階、睡眠間隔の期間、睡眠段階の変化、および非睡眠間隔の期間のうちの１つまたは複数を含む、請求項２６に記載の方法。
【請求項28】
前記対象が、睡眠障害または病態を有する、請求項２６に記載の方法。
【請求項29】
前記睡眠障害または病態が、睡眠時無呼吸、不眠症、およびナルコレプシーのうちの１つまたは複数を含む、請求項２８に記載の方法。
【請求項30】
前記睡眠障害または病態が、脳損傷、うつ病、精神疾患、神経変性疾患、レストレスレッグ症候群、アルツハイマー病、パーキンソン病、肥満、過体重、投与された薬物の作用、および／またはアルコール摂取の作用、睡眠状態を変化させることができる神経学的状態、または睡眠状態を変化させることができる代謝障害もしくは病態の結果である、請求項２９に記載の方法。
【請求項31】
前記映像データの前記受信前に、治療薬を前記対象に投与することをさらに含む、請求項２６に記載の方法。
【請求項32】
前記治療薬が、睡眠促進剤、睡眠阻害剤、および前記対象の１つまたは複数の睡眠段階を変化させることができる薬剤のうちの１つまたは複数を含む、請求項３１に記載の方法。
【請求項33】
前記対象が遺伝子操作された対象である、請求項２６に記載の方法。
【請求項34】
前記対象が齧歯類であり、任意選択的にマウスである、請求項２６に記載の方法。
【請求項35】
前記マウスが遺伝子操作されたマウスである、請求項３４に記載の方法。
【請求項36】
前記対象が、睡眠病態の動物モデルである、請求項２６に記載の方法。
【請求項37】
前記対象について前記決定された睡眠状態データが、対照睡眠状態データと比較される、請求項２６に記載の方法。
【請求項38】
前記対照睡眠状態データが、前記コンピュータ実装方法で決定された対照対象からの睡眠状態データである、請求項３７に記載の方法。
【請求項39】
前記対照対象が、前記対象の睡眠障害または病態を有しない、請求項３８に記載の方法。
【請求項40】
前記対照対象が、前記対象に投与される治療薬を投与されない、請求項３８に記載の方法。
【請求項41】
前記対照対象が、前記対象に投与される前記治療薬の用量とは異なる前記治療薬の用量を投与される、請求項３８に記載の方法。
【請求項42】
対象における睡眠障害または病態を治療するための候補治療薬の有効性を識別するための方法であって、試験対象に前記候補治療薬を投与することと、
前記試験対象についての睡眠状態データを決定することと、を含み、前記決定の手段が、請求項１に記載のコンピュータ実装方法を含み、前記試験対象における前記睡眠状態データの変化を示す決定が、前記対象における前記睡眠障害または病態に対する前記候補治療薬の効果を識別する、方法。
【請求項43】
前記睡眠状態データが、睡眠の段階、睡眠間隔の期間、睡眠段階の変化、および非睡眠間隔の期間のうちの１つまたは複数のデータを含む、請求項４２に記載の方法。
【請求項44】
前記試験対象が、睡眠障害または病態を有する、請求項４２に記載の方法。
【請求項45】
前記睡眠障害または病態が、睡眠時無呼吸、不眠症、およびナルコレプシーのうちの１つまたは複数を含む、請求項４４に記載の方法。
【請求項46】
前記睡眠障害または病態が、脳損傷、うつ病、精神疾患、神経変性疾患、レストレスレッグ症候群、アルツハイマー病、パーキンソン病、肥満、過体重、投与された薬物の作用、および／またはアルコール摂取の作用、睡眠状態を変化させることができる神経学的状態、または睡眠状態を変化させることができる代謝障害もしくは病態の結果である、請求項４５に記載の方法。
【請求項47】
前記候補治療薬が、前記映像データの前記受信前または受信中のうちの１つまたは複数において、前記試験対象に投与される、請求項４２に記載の方法。
【請求項48】
前記候補治療薬が、睡眠促進剤、睡眠阻害剤、および前記試験対象の１つまたは複数の睡眠段階を変化させることができる薬剤のうちの１つまたは複数を含む、請求項４７に記載の方法。
【請求項49】
前記試験対象が遺伝子操作された対象である、請求項４２に記載の方法。
【請求項50】
前記試験対象が齧歯類であり、任意選択的にマウスである、請求項４２に記載の方法。
【請求項51】
前記マウスが遺伝子操作されたマウスである、請求項５０に記載の方法。
【請求項52】
前記試験対象が、睡眠病態の動物モデルである、請求項４２に記載の方法。
【請求項53】
前記試験対象について前記決定された睡眠状態データが、対照睡眠状態データと比較される、請求項４２に記載の方法。
【請求項54】
前記対照睡眠状態データが、前記コンピュータ実装方法で決定された対照対象からの睡眠状態データである、請求項５３に記載の方法。
【請求項55】
前記対照対象が、前記試験対象の前記睡眠障害または病態を有しない、請求項５４に記載の方法。
【請求項56】
前記対照対象が、前記試験対象に投与される前記候補治療薬を投与されない、請求項５４に記載の方法。
【請求項57】
前記対照対象が、前記試験対象に投与される前記候補治療薬の用量とは異なる前記候補治療薬の用量を投与される、請求項５４に記載の方法。
【請求項58】
システムであって、少なくとも１つのプロセッサと、
命令を含む少なくとも１つのメモリであって、前記少なくとも１つのプロセッサによって実行される時に、前記システムに、
対象の映像を表す映像データを受信させる、
前記映像データを使用して、前記対象に対応する複数の特徴を決定させる、
前記複数の特徴を使用して、前記対象についての睡眠状態データを決定させる、命令を含む少なくとも１つのメモリと、を備えるシステム。
【請求項59】
前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによって実行される時に、前記システムに、機械学習モデルを使用して、前記映像データを処理して、前記対象に対応するピクセルの第一のセットおよび背景に対応するピクセルの第二のセットを示すセグメンテーションデータを決定させるさらなる命令を含む、請求項５８に記載のシステム。
【請求項60】
前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによって実行される時に、前記システムに、前記セグメンテーションデータを処理して、前記対象に対応する楕円適合データを決定させるさらなる命令を含む、請求項５９に記載のシステム。
【請求項61】
前記システムに前記複数の特徴を決定させる前記命令が、さらに前記システムに、前記セグメンテーションデータを処理して前記複数の特徴を決定させる、請求項５９に記載のシステム。
【請求項62】
前記複数の特徴が、前記映像データの各映像フレームに対して複数の視覚的特徴を含む、請求項５８に記載のシステム。
【請求項63】
前記少なくとも１つのプロセッサによって実行される時に、前記システムに、前記複数の視覚的特徴の各視覚的特徴に対して時間領域特徴を決定させるさらなる命令を、前記少なくとも１つのメモリが含み、
前記複数の特徴が、前記時間領域特徴を含む、請求項５に記載のコンピュータ実装方法。
【請求項64】
前記システムに前記時間領域特徴を決定させる前記命令が、尖度データ、平均データ、中央値データ、標準偏差データ、最大データ、および最小データのうちの１つを決定することを含む、請求項６３に記載のシステム。
【請求項65】
前記少なくとも１つのプロセッサによって実行される時に、前記システムに、前記複数の視覚的特徴の各視覚的特徴に対して周波数領域特徴を決定させるさらなる命令を、前記少なくとも１つのメモリが含み、
前記複数の特徴が、前記周波数領域特徴を含む、請求項６２に記載のコンピュータ実装方法。
【請求項66】
前記システムに前記周波数領域特徴を決定させる前記命令が、さらに前記システムに、パワースペクトル密度の尖度、パワースペクトル密度の歪度、平均パワースペクトル密度、合計パワースペクトル密度、パワースペクトル密度の最大データ、最小データ、平均データ、および標準偏差のうちの１つを決定させる、請求項６５に記載のシステム。
【請求項67】
前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによって実行される時に、前記システムに、前記複数の特徴の各々について時間領域特徴を決定させる、
前記複数の特徴の各々について周波数領域特徴を決定させる、
機械学習分類器を使用して、前記時間領域特徴および前記周波数領域特徴を処理して、前記睡眠状態データを決定させるさらなる命令を含む、請求項５８に記載のシステム。
【請求項68】
前記少なくとも１つのプロセッサによって実行される時に、前記システムに、機械学習分類器を使用して、前記複数の特徴を処理して、前記映像データの映像フレームに対する睡眠状態を決定させるさらなる命令を、前記少なくとも１つのメモリが含み、前記睡眠状態が、覚醒状態、レム睡眠状態、およびノンレム睡眠状態のうちの１つである、請求項５８に記載のシステム。
【請求項69】
前記睡眠状態データが、睡眠状態の持続時間、覚醒状態、レム状態、およびノンレム状態のうちの１つまたは複数の持続時間および／または周波数間隔のうちの１つまたは複数、ならびに１つまたは複数の睡眠状態の変化を示す、請求項５８に記載のコンピュータ実装方法。
【請求項70】
前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによって実行される時に、前記システムに、前記複数の特徴を使用して、前記対象の複数の身体領域を決定させて、前記複数の身体領域の各身体領域が、前記映像データの映像フレームに対応する、
前記映像中の前記複数の身体領域の変化に基づいて、前記睡眠状態データを決定させる、さらなる命令を含む、請求項５８に記載のシステム。
【請求項71】
前記少なくとも１つのプロセッサによって実行される時に、前記システムに、前記複数の特徴を使用して、複数の幅長比を決定させて、前記複数の幅長比の各幅長比が、前記映像データの映像フレームに対応する、
前記映像中の前記複数の幅長比の変化に基づいて、前記睡眠状態データを決定させる、さらなる命令を含む、請求項５８に記載のシステム。
【請求項72】
前記システムに、前記睡眠状態データを決定させる前記命令が、さらに前記システムに、前記対象の身体領域または体形の変化に基づいて、ノンレム状態からレム状態への移行を検出させて、前記身体領域または体形の前記変化が、筋脱力の結果である、請求項５８に記載のシステム。
【請求項73】
前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによって実行される時に、前記システムに、
前記対象について複数の幅長比を決定させて、前記複数の幅長比の幅長比が、前記映像データの映像フレームに対応する、
前記複数の幅長比を使用して、時間領域特徴を決定させる、
前記複数の幅長比を使用して、周波数領域特徴を決定させて、
前記時間領域特徴および前記周波数領域特徴が、前記対象の腹部の動きを表す、決定することと、
時間領域特徴および周波数領域特徴を使用して、睡眠状態データを決定させる、さらなる命令を含む、請求項５８に記載のシステム。
【請求項74】
前記映像が、前記対象の自然な状態において前記対象を捕捉する、請求項５８に記載のシステム。
【請求項75】
前記対象の自然な状態が、前記対象内または対象上に侵襲的検出手段がないことを含む、請求項７４に記載のシステム。
【請求項76】
前記侵襲的検出手段が、前記対象に取り付けられた電極および前記対象に挿入された電極のうちの一方または両方を含む、請求項７５に記載のシステム。
【請求項77】
前記映像が高解像度映像である、請求項５８に記載のシステム。
【請求項78】
前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによって実行される時に、前記システムに、機械学習分類器を使用して、前記複数の特徴を処理して、前記映像データの１つの映像フレーム各々について複数の睡眠状態予測を決定させる、
移行モデルを使用して、前記複数の睡眠状態予測を処理して、第一の睡眠状態と第二の睡眠状態の間の移行を決定させる、さらなる命令を含む、請求項５８に記載のシステム。
【請求項79】
前記移行モデルが、隠れマルコフモデルである、請求項７８に記載のシステム。
【請求項80】
前記映像が、少なくとも第一の対象および第二の対象を含む２つ以上の対象の映像であり、前記少なくとも１つのメモリが、前記少なくとも１つのプロセッサによって実行されるとき、前記システムに、前記映像データを処理して、前記第一の対象に対応するピクセルの第一のセットを示す第一のセグメンテーションデータを決定させる、
前記映像データを処理して、前記第二の対象に対応するピクセルの第二のセットを示す第二のセグメンテーションデータを決定させる、
前記第一のセグメンテーションデータを使用して、前記第一の対象に対応する第一の複数の特徴を決定させる、
前記第一の複数の特徴を使用して、前記第一の対象についての第一の睡眠状態データを決定させる、
前記第二のセグメンテーションデータを使用して、前記第二の対象に対応する第二の複数の特徴を決定させる、
前記第二の複数の特徴を使用して、前記第二の対象についての第二の睡眠データを決定させる、さらなる命令を含む、請求項５８に記載のシステム。
【請求項81】
前記対象が齧歯類であり、任意選択的にマウスである、請求項５８に記載のシステム。
【請求項82】
前記対象が遺伝子操作された対象である、請求項５８に記載のシステム。【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本出願は、２０２１年６月２７日に出願された米国仮出願番号第６３／２１５，５１１号の米国特許法（３５ Ｕ．Ｓ．Ｃ）第１１９条（ｅ）項に基づく利益を主張するものであり、その開示は、その全体が参照により本明細書に組み込まれる。
本出願は、２０２１年６月２７日に出願された米国仮出願番号第６３／２１５，５１１号の米国特許法（３５ Ｕ．Ｓ．Ｃ）第１１９条（ｅ）項に基づく利益を主張するものであり、その開示は、その全体が参照により本明細書に組み込まれる。
【0002】
本発明は、一部の態様では、機械学習モデルを使用して映像データを処理することによって、対象の睡眠状態を決定することに関する。
【0003】
（政府による支援）
本発明は、国立衛生研究所により授与されたＤＡ０４１６６８（ＮＩＤＡ）、ＤＡ０４８６３４（ＮＩＤＡ）、およびＨＬ０９４３０７（ＮＨＬＢＩ）の下で政府の助成を受けてなされたものである。政府は、本発明について特定の権利を有している。
本発明は、国立衛生研究所により授与されたＤＡ０４１６６８（ＮＩＤＡ）、ＤＡ０４８６３４（ＮＩＤＡ）、およびＨＬ０９４３０７（ＮＨＬＢＩ）の下で政府の助成を受けてなされたものである。政府は、本発明について特定の権利を有している。
【背景技術】
【0004】
睡眠は、恒常性プロセスによって調節され、その機能が生存にとって重要である複雑な行動である。睡眠障害および概日障害は、神経精神障害、神経発達障害、神経変性障害、生理学的障害、および代謝障害を含む多くの疾患に見られる。睡眠機能および概日機能は、これらの疾患と双方向の関係を有し、睡眠および概日パターンの変化は、疾患状態につながり得るか、または疾患状態の原因となり得る。睡眠と多くの疾患の間の双方向の関係は十分に説明されているが、それらの遺伝的病因は完全には解明されていない。実際に、睡眠障害に対する治療は、睡眠機構についての知識の欠如のために限定されている。齧歯類は、睡眠生物学における類似性のために、ヒトの睡眠の容易に利用可能なモデルとしての役割を果たし、特にマウスは、睡眠および潜在的治療薬の機構研究のための遺伝的に追跡可能なモデルである。治療におけるこの重要なギャップの理由の１つは、睡眠状態の評価のための多数のマウスの確かな表現型決定を妨げる技術的障壁によるものである。齧歯類における睡眠解析のゴールドスタンダードでは、脳波図／筋電図（ＥＥＧ／ＥＭＧ）記録を利用する。この方法は、電極移植のための手術を必要とし、しばしば記録の手動スコアリングを必要とするため、スループットが低い。機械学習モデルを利用する新しい方法は、ＥＥＧ／ＥＭＧスコアリングを自動化し始めているが、データ生成は依然としてスループットが低い。加えて、係留式電極の使用は、動物の動きを制限し、動物の行動を変える可能性がある。
【0005】
一部の既存のシステムでは、低スループット制限を克服するために、睡眠分析のためのいくつかの非侵襲的アプローチを調査してきた。これらには、ビームブレークシステムによる活動評価、または一定量の無活動が睡眠として解釈される映像撮影術が含まれる。ピエゾ圧力センサも、活動にアクセスするより単純でより敏感な方法として使用されてきた。しかしながら、これらの方法は、睡眠状態に対する覚醒状態のみを評価し、覚醒状態、急速眼球運動（レム）状態、およびノンレム状態を区別することができない。これは、睡眠状態の活動決定が、ヒトならびに低い一般的活動を有する齧歯類において不正確であり得るため、重要である。睡眠状態を評価する他の方法には、動きおよび呼吸にアクセスするパルスドップラーベースの方法、ならびに呼吸パターンを直接測定する全身プレチスモグラフィーが含まれる。これらのアプローチは両方とも、特殊な機器を必要とする。呼吸およびその他の動きを検出する電界センサも、睡眠状態を評価するために使用されてきた。
【発明の概要】
【0006】
本発明の実施形態によれば、コンピュータ実装方法が提供され、方法は、対象の映像を表す映像データを受信することと、映像データを使用して、対象に対応する複数の特徴を決定することと、複数の特徴を使用して、対象についての睡眠状態データを決定することと、を含む。一部の実施形態では、方法はまた、機械学習モデルを使用して、映像データを処理して、対象に対応するピクセルの第一のセットおよび背景に対応するピクセルの第二のセットを示すセグメンテーションデータを決定することを含む。一部の実施形態では、方法はまた、セグメンテーションデータを処理して、対象に対応する楕円適合データを決定することを含む。一部の実施形態では、複数の特徴を決定することは、セグメンテーションデータを処理して、複数の特徴を決定することを含む。一部の実施形態では、複数の特徴は、映像データの各映像フレームに対する複数の視覚的特徴を含む。一部の実施形態では、方法はまた、複数の視覚的特徴の各視覚的特徴について時間領域特徴を決定することを含み、複数の特徴は、時間領域特徴を含む。一部の実施形態では、時間領域特徴を決定することは、尖度データ、平均データ、中央値データ、標準偏差データ、最大データ、および最小データのうちの１つを決定することを含む。一部の実施形態では、方法はまた、複数の視覚的特徴の各視覚的特徴について周波数領域特徴を決定することを含み、複数の特徴は、周波数領域特徴を含む。一部の実施形態では、周波数領域特徴を決定することは、パワースペクトル密度の尖度、パワースペクトル密度の歪度、平均パワースペクトル密度、合計パワースペクトル密度、最大データ、最小データ、平均データ、およびパワースペクトル密度の標準偏差のうちの１つを決定することを含む。一部の実施形態では、方法はまた、複数の特徴の各々について時間領域特徴を決定することと、複数の特徴の各々について周波数領域特徴を決定することと、機械学習分類器を使用して、時間領域特徴および前記周波数領域特徴を処理して、睡眠状態データを決定することと、をさらに含む。一部の実施形態では、方法はまた、機械学習分類器を使用して、複数の特徴を処理し、映像データの映像フレームに対する睡眠状態を決定することを含み、睡眠状態は、覚醒状態、レム睡眠状態、およびノンレム睡眠状態のうちの１つである。一部の実施形態では、睡眠状態データは、睡眠状態の持続時間、覚醒状態、レム状態、およびノンレム状態のうちの１つまたは複数の持続時間および／または周波数間隔のうちの１つまたは複数、ならびに１つまたは複数の睡眠状態の変化を示す。一部の実施形態では、方法はまた、複数の特徴を使用して、対象の複数の身体領域を決定することであって、複数の身体領域の各身体領域が、映像データの映像フレームに対応する、決定することと、映像中の複数の身体領域の変化に基づいて、睡眠状態データを決定することと、を含む。一部の実施形態では、方法はまた、複数の特徴を使用して、複数の幅長比を決定することであって、複数の幅長比の各幅長比が、映像データの映像フレームに対応する、決定することと、映像中の複数の幅長比の変化に基づいて、睡眠状態データを決定することと、を含む。一部の実施形態では、睡眠状態データを決定することは、対象の身体領域または体形の変化に基づいて、ノンレム状態からレム状態への移行を検出することを含み、身体領域または体形の変化は、筋脱力の結果である。一部の実施形態では、方法はまた、対象について複数の幅長比を決定することであって、複数の幅長比のうちの幅長比が、映像データの映像フレームに対応する、決定することと、複数の幅長比を使用して、時間領域特徴を決定することと、複数の幅長比を使用して、周波数領域特徴を決定することであって、時間領域特徴および周波数領域特徴が、対象の腹部の動きを表す、決定することと、時間領域特徴および周波数領域特徴を使用して、睡眠状態データを決定することと、を含む。一部の実施形態では、映像は、対象の自然な状態において対象を捕捉する。一部の実施形態では、対象の自然な状態は、対象内または対象上に侵襲的検出手段がないことを含む。一部の実施形態では、侵襲的検出手段は、対象に取り付けられた電極および対象に挿入された電極のうちの一方または両方を含む。一部の実施形態では、映像は高解像度映像である。一部の実施形態では、方法はまた、 機械学習分類器を使用して、複数の特徴を処理して、映像データの１つの映像フレーム各々について複数の睡眠状態予測を決定することと、移行モデルを使用して、複数の睡眠状態予測を処理して、第一の睡眠状態と第二の睡眠状態の間の移行を決定することと、を含む。一部の実施形態では、移行モデルは、隠れマルコフモデルである。一部の実施形態では、対象は齧歯類であり、任意選択的にマウスである。一部の実施形態では、対象は遺伝子操作された対象である。
【0007】
本発明の別の態様によれば、対象の睡眠状態を決定する方法が提供されており、方法は、対象の応答を監視することを含み、監視することの手段は、前述したコンピュータ実装方法のいずれかの実施形態を含む。一部の実施形態では、睡眠状態は、睡眠段階、睡眠間隔の期間、睡眠段階の変化、および非睡眠間隔の期間のうちの１つまたは複数を含む。一部の実施形態では、対象は、睡眠障害または病態を有する。一部の実施形態では、睡眠障害または病態は、睡眠時無呼吸、不眠症、およびナルコレプシーのうちの１つまたは複数を含む。一部の実施形態では、睡眠障害または病態は、脳損傷、うつ病、精神疾患、神経変性疾患、レストレスレッグ症候群、アルツハイマー病、パーキンソン病、肥満、過体重、投与された薬物の作用、および／またはアルコール摂取の作用、睡眠状態を変化させることができる神経学的状態、または睡眠状態を変化させることができる代謝障害もしくは病態の結果である。一部の実施形態では、方法はまた、映像データを受信する前に、治療薬を対象に投与することを含む。一部の実施形態では、治療薬は、睡眠促進剤、睡眠阻害剤、および対象の１つまたは複数の睡眠段階を変化させることができる薬剤のうちの１つまたは複数を含む。一部の実施形態では、方法はまた、行動治療を対象に実施することを含む。一部の実施形態では、行動治療は、感覚療法を含む。一部の実施形態では、感覚療法は、光曝露療法である。一部の実施形態では、対象は遺伝子操作された対象である。一部の実施形態では、対象は齧歯類であり、任意選択的にマウスである。一部の実施形態では、マウスは遺伝子操作されたマウスである。一部の実施形態では、対象は、睡眠病態の動物モデルである。一部の実施形態では、対象について決定された睡眠状態データは、対照睡眠状態データと比較される。一部の実施形態では、対照睡眠状態データは、コンピュータ実装方法で決定された対照対象からの睡眠状態データである。一部の実施形態では、対照対象は、対象の睡眠障害または病態を有しない。一部の実施形態では、対照対象は、対象に投与される治療薬または行動治療を投与されない。一部の実施形態では、対照対象は、対象に投与される治療薬の用量とは異なる治療薬の用量を投与される。
【0008】
本発明の別の態様によれば、対象の睡眠障害または病態を治療するための候補治療薬および／または候補行動治療の有効性を識別する方法が提供され、方法は、候補治療薬および／または候補行動治療を試験対象に投与することと、試験対象についての睡眠状態データを決定することとを含み、決定の手段は、任意の前述のコンピュータ実装方法のいずれかの実施形態を含み、試験対象における睡眠状態データの変化を示す決定は、対象の睡眠障害または病態に対する、候補治療薬または候補行動治療それぞれの効果を識別する。一部の実施形態では、睡眠状態データは、睡眠段階、睡眠間隔の期間、睡眠段階の変化、および非睡眠間隔の期間のうちの１つまたは複数のデータを含む。一部の実施形態では、試験対象は、睡眠障害または病態を有する。一部の実施形態では、睡眠障害または病態には、睡眠時無呼吸、不眠症、およびナルコレプシーのうちの１つまたは複数を含む。一部の実施形態では、睡眠障害または病態は、脳損傷、うつ病、精神疾患、神経変性疾患、レストレスレッグ症候群、アルツハイマー病、パーキンソン病、肥満、過体重、投与された薬物の作用、および／またはアルコール摂取の作用、睡眠状態を変化させることができる神経学的状態、または睡眠状態を変化させることができる代謝障害もしくは病態の結果である。一部の実施形態では、候補治療薬および／または候補行動治療は、映像データの受信前または受信中のうちの１つまたは複数において、試験対象に投与される。一部の実施形態では、候補治療薬は、睡眠促進剤、睡眠阻害剤、および試験対象の１つまたは複数の睡眠段階を変化させることができる薬剤のうちの１つまたは複数を含む。一部の実施形態では、行動治療は、感覚療法を含む。一部の実施形態では、感覚療法は、光曝露療法である。一部の実施形態では、対象は遺伝子操作された対象である。一部の実施形態では、試験対象は、齧歯類であり、任意選択的にマウスである。一部の実施形態では、マウスは遺伝子操作されたマウスである。一部の実施形態では、試験対象は、睡眠病態の動物モデルである。一部の実施形態では、試験対象について決定された睡眠状態データは、対照睡眠状態データと比較される。一部の実施形態では、対照睡眠状態データは、コンピュータ実装方法で決定された対照対象からの睡眠状態データである。一部の実施形態では、対照対象は、試験対象の睡眠障害または病態を有しない。一部の実施形態では、対照対象は、試験対象に投与される候補治療薬を投与されない。一部の実施形態では、対照対象は、試験対象に投与される候補治療薬の用量とは異なる候補治療薬の用量を投与される。一部の実施形態では、対照対象は、試験対象に投与される候補治療薬のレジメンとは異なる候補行動治療のレジメンを投与される。一部の実施形態では、行動治療のレジメンは、行動治療の長さ、行動治療の強度、行動治療における光強度、および行動治療の頻度のうちの１つまたは複数などの治療の特徴を含む。
【図面の簡単な説明】
【0009】
本開示のより完全な理解のために、ここで添付図面と併せて以下の説明を参照する。
【0010】
【図6B】図６Ｂは、視覚的特徴のために使用されるフレームレベルの情報の概略図を示し、本開示の実施形態によると、訓練されたニューラルネットワークは、下流分類で使用するためのマウスに関連するピクセルのセグメンテーションマスクを生成するために使用された。
【図6C】図６Ｃは、複数の対象を含む映像の複数のフレームの概略図を示し、本開示の実施形態によると、インスタンスセグメンテーション技術は、対象が互いに近接している時でさえも、個々の対象に対するセグメンテーションマスクを生成するために使用される。
【図7A】図７Ａは、覚醒、ノンレム、レム状態に対するｍ００（セグメンテーションマスクの領域）（左端の列）、対応する信号のＦＦＴ（中央の列）、および信号の自己相関（右端の列）を示す、１つのエポック内の時間および周波数領域における選択された信号の例示的なグラフを示す。
【図8A】図８Ａ～Ｂは、映像からの呼吸信号の抽出を示すプロットを示す。図８Ａは、レムおよびノンレムエポックについての例示的なスペクトル分析プロットを示す。連続ウェーブレット変換スペクトル応答（上のパネル）および関連する優位信号（それぞれの左下パネル）、ならびに優位信号のヒストグラム（それぞれの右下パネル）。ノンレムエポックは、典型的には、レムエポックよりも低い平均および標準偏差を示した。
【図9A】図９Ａ～Ｃは、ｗｌ＿ｒａｔｉｏ測定のための映像データにおける呼吸信号の検証を示すグラフを示す。図９Ａは、Ｃ５７ＢＬ／６Ｊ対Ｃ３Ｈ／ＨｅＪ呼吸数分析における睡眠エポックについて選択するために使用された可動性カットオフを示す。１０％分位カットオフ閾値（黒色の垂直線）未満では、エポックは、９０．２％のノンレム（赤色線）、８．１％のレム（緑色線）、および１．７％の覚醒（青色線）から構成された。
【図10A】図１０Ａ～Ｄは、分類器の性能指標を示すグラフおよび表を示す。図１０Ａは、ＸｇＢｏｏｓｔ分類器で始まり、ＨＭＭモデルを追加し、特徴を増加させて７つのＨｕモーメントを含め、ＳＩＮＤＬＥ注釈を統合してエポック品質を改善する、異なる段階で比較された分類器性能を示す。これらの工程のそれぞれを加えることによって、全体的な正解率が改善されたことが観察された。
【発明を実施するための形態】
【0011】
本開示は、１つまたは複数の機械学習モデルを使用して、対象についての映像データを処理することによって、対象の睡眠状態を決定することに関する。対象の呼吸、動き、または姿勢は、それら自体が睡眠状態を区別するのに有用である。本開示の一部の実施形態では、呼吸、動き、および姿勢の特徴の組み合わせを使用して、対象の睡眠状態を決定する。これらの特徴の組み合わせを使用することにより、睡眠状態を予測する正解率が増大する。「睡眠状態」という用語は、急速眼球運動（レム）睡眠状態および非急速眼球運動（ノンレム）睡眠状態に関して使用される。本発明の方法およびシステムを使用して、対象のレム睡眠状態、ノンレム睡眠状態、および覚醒（非睡眠）状態を評価し、区別することができる。
【0012】
覚醒状態、ノンレム状態、およびレム状態を識別するために、一部の実施形態では、高解像度映像を用いた映像ベースの方法が、睡眠状態に関する情報が映像データにコードされていると決定することに基づいて使用される。ノンレム状態からレム状態に移行する際に、おそらくレム状態の脱力に起因して、対象の領域および形状にわずかな変化が観察される。過去数年間にわたり、主に機械学習、特に深層学習の分野の進歩により、コンピュータビジョンの分野で大きな改善がなされてきた。一部の実施形態は、高度なマシンビジョン方法を使用して、視覚的睡眠状態分類を大幅に改善する。一部の実施形態は、対象の呼吸、動き、および／または姿勢に関連する映像データから特徴を抽出することを伴う。一部の実施形態は、これらの特徴を組み合わせて、例えばマウスなどの対象における睡眠状態を決定する。本開示の実施形態は、低いハードウェア投資で実装することができ、かつ高品質の睡眠状態データをもたらす、非侵襲的な映像ベースの方法が関わる。睡眠状態に確実に、非侵襲的に、かつハイスループット様式でアクセスする能力は、治療上の発見に必要な大規模な機構研究を可能にする。
【0013】
図１は、映像データを使用して対象の睡眠状態データを決定するためのシステム１００（例えば、自動睡眠状態システム１００）を概念的に図示する。自動睡眠状態システム１００は、図１に示す様々な構成要素を使用して動作してもよい。自動睡眠状態システム１００は、１つもしくは複数のネットワーク１９９を介して接続された、画像捕捉デバイス１０１と、デバイス１０２と、１つまたは複数のシステム１０５と、を含んでもよい。画像捕捉デバイス１０１は、別のデバイス（例えば、図４に示すデバイス４００）の一部であってもよく、またはそのようなデバイス内に含まれてもよく、またはそのようなデバイスに対して接続されてもよく、さらに、カメラ、もしくは高速映像カメラ、もしくは画像や映像を捕捉し得る他のタイプのデバイスであってもよい。デバイス１０１は、画像捕捉デバイスに加えてまたは画像捕捉デバイスに代えて、動き検出センサ、赤外線センサ、温度センサ、周囲条件検出センサ、および様々な特性／環境条件を検出するように構成された他のセンサ、を含んでもよい。デバイス１０２は、ラップトップ、デスクトップ、タブレット、スマートフォン、またはデータを表示できる他のタイプのコンピューティングデバイスでもよく、また下記のデバイス４００に関連して説明される１つまたは複数の構成要素を含んでもよい。
【0014】
画像捕捉デバイス１０１は、対象の映像（または１つまたは複数の画像）を取り込んでもよく、本明細書に記載されるように処理するために、映像を表す映像データ１０４をシステム１０５に送信してもよい。映像は、オープンフィールドアリーナにおける対象のものであってもよい。一部の事例では、映像データ１０４は、特定の時間間隔でデバイス１０１によって捕捉された画像（画像データ）に対応してもよく、その結果、画像はある期間にわたって対象を捕捉する。一部の実施形態では、映像データ１０４は、対象の高解像度映像であってもよい。
【0015】
システム１０５は、図１に示す１つまたは複数の構成要素を含んでもよく、対象の睡眠状態データを決定するために、映像データ１０４を処理するように構成されてもよい。システム１０５は、対象に対応する睡眠状態データ１５２を生成してもよく、睡眠状態データ１５２は、映像中に観察された対象の１つまたは複数の睡眠状態（例えば、覚醒／非睡眠状態、ノンレム状態、およびレム状態）を示してもよい。システム１０５は、映像データ１０４の処理結果を観察するため、ユーザに対する出力用に睡眠状態データ１５２をデバイス１０２に送信してもよい。
【0016】
一部の実施形態では、映像データ１０４は、２つ以上対象の映像を含んでもよく、システム１０５は、映像データ１０４に表される各対象の睡眠状態データを決定するために、映像データ１０４を処理してもよい。
【0017】
システム１０５は、対象についての映像データ１０４からの様々なデータを決定するように構成されてもよい。これらのデータを決定するため、および睡眠状態データ１５２を決定するために、システム１０５は、複数の異なる構成要素を含んでもよい。図１に示すように、システム１０５は、セグメンテーション構成要素１１０、特徴抽出構成要素１２０、スペクトル分析構成要素１３０、睡眠状態分類構成要素１４０、および分類後構成要素１５０を含んでもよい。システム１０５は、図１に示すものより少ないか、または多い構成要素を含んでもよい。一部の実施形態では、これらの様々な構成要素は、同じ物理的システム１０５上に位置してもよい。他の実施形態では、様々な構成要素のうちの１つまたは複数は、異なる／別個の物理的システム１０５上に位置してもよい。様々な構成要素同士間の通信は、直接的にまたはネットワーク１９９を介して、行われてもよい。デバイス１０１と、システム１０５と、デバイス１０２と、の間における通信は、直接的にまたはネットワーク１９９を介して、行われてもよい。
【0018】
一部の実施形態では、システム１０５の一部として示される１つまたは複数の構成要素は、デバイス１０２、または画像捕捉デバイス１０１に接続されたコンピューティングデバイス（例えば、デバイス４００）に位置しうる。
【0019】
高レベルでは、システム１０５は、映像データ１０４を処理して、対象に対応する複数の特徴を決定し、複数の特徴を使用して、対象の睡眠状態データ１５２を決定するように構成されてもよい。
【0020】
図２Ａは、本開示の実施形態による、対象の睡眠状態データ１５２を決定するためのプロセス２００を示すフローチャートである。プロセス２００のステップのうちの１つまたは複数は、図２Ａに示すものとは別の順序／シーケンスで行われてもよい。プロセス２００の１つまたは複数のステップは、図１に示すシステム１０５の構成要素によって行われてもよい。
【0021】
図２Ａに示すプロセス２００のステップ２０２で、システム１０５は、対象の映像を表す映像データ１０４を受信してもよい。一部の実施形態では、映像データ１０４は、セグメンテーション構成要素１１０によって受信されてもよく、または処理のためにシステム１０５によってセグメンテーション構成要素１１０に提供されてもよい。一部の実施形態では、映像データ１０４は、その自然状態において対象を捕捉する映像であってもよい。対象に適用される侵襲的方法がない（例えば、電極が対象に挿入されていない、または対象に取り付けられていない、染料／カラーマーキングが対象に適用されていない、外科手術方法が対象に実施されていない、侵襲的検出手段が対象内または対象上にないなど）とき、対象はその自然状態にあり得る。映像データ１０４は、対象の高解像度映像であってもよい。
【0022】
図２Ａに示すプロセス２００のステップ２０４で、セグメンテーション構成要素１１０は、映像データ１０４を使用してセグメンテーション処理を実施して、楕円データ１１２を決定してもよい（図１に示す）。セグメンテーション構成要素１１０は、映像データ１０４を処理して、映像データ１０４内の対象を識別するセグメンテーションマスクを生成し、次いで対象に対する楕円適合／表現を生成するための技術を採用してもよい。セグメンテーション構成要素１１０は、映像／画像データの物体追跡のために、１つまたは複数の技術（例えば、１つまたは複数のＭＬモデル）を用いてもよく、対象を識別するように構成されてもよい。セグメンテーション構成要素１１０は、映像データ１０４の各映像フレームに対してセグメンテーションマスクを生成してもよい。セグメンテーションマスクは、映像フレームのどのピクセルが対象に対応するか、および／または映像フレームのどのピクセルが背景／非対象に対応するかを示してもよい。セグメンテーション構成要素１１０は、機械学習モデルを使用して、映像データ１０４を処理して、対象に対応するピクセルの第一のセットおよび背景に対応するピクセルの第二のセットを示すセグメンテーションデータを決定してもよい。
【0023】
映像フレームは、本明細書で使用される場合、映像データ１０４の一部分であってもよい。映像データ１０４は、同じ長さ／時間の複数の部分／フレームに分割され得る。例えば、映像フレームは、映像データ１０４の１ミリ秒であってもよい。映像データ１０４の映像フレームについて、セグメンテーションマスクのようなデータを決定する際に、セグメンテーション構成要素１１０のようなシステム１０５の構成要素は、映像フレームのセット（映像フレームのウィンドウ）を処理してもよい。例えば、インスタント映像フレームに対するセグメンテーションマスクを決定するために、セグメンテーション構成要素１１０は、（ｉ）インスタント映像フレームの前に（時間に関して）発生する映像フレームのセット（例えば、インスタント映像フレームの前の３つの映像フレーム）、（ｉｉ）インスタント映像フレーム、および（ｉｉｉ）インスタント映像フレームの後に（時間に関して）発生する映像フレームのセット（例えば、インスタント映像フレームの後の３つの映像フレーム）を処理してもよい。そのため、この実施例では、セグメンテーション構成要素１１０は、１つの映像フレームに対するセグメンテーションマスクを決定するために、７つの映像フレームを処理してもよい。こうした処理は、本明細書では、映像フレームのウィンドウベースの処理と呼ばれ得る。
【0024】
映像データ１０４のセグメンテーションマスクを使用して、セグメンテーション構成要素１１０は、楕円データ１１２を決定してもよい。楕円データ１１２は、対象に対する楕円適合（対象の身体の周りに描かれた楕円）であってもよい。異なるタイプの対象について、システム１０５は、異なる形状適合／表現（例えば、円適合、長方形適合、正方形適合など）を決定するように構成されてもよい。セグメンテーション構成要素１１０は、対象に対応するセグメンテーションマスクのピクセルのサブセットとして、楕円データ１１２を決定してもよい。楕円データ１１２は、ピクセルのサブセットを含んでもよい。セグメンテーション構成要素１１０は、映像データ１０４の各映像フレームに対して対象の楕円適合を決定してもよい。セグメンテーション構成要素１１０は、上述の映像フレームのウィンドウベースの処理を使用して、映像フレームに対する楕円適合を決定してもよい。楕円データ１１２は、映像データ１０４のすべての映像フレームに対して楕円適合を表すベクトルまたはピクセルの行列であってもよい。セグメンテーション構成要素１１０は、セグメンテーションデータを処理して、対象に対応する楕円適合データ１１２を決定してもよい。
【0025】
一部の実施形態では、対象に対する楕円適合１１２は、対象の一部のパラメータを規定してもよい。例えば、楕円適合は、対象の位置に対応してもよく、映像データ１０４の映像フレームにおける対象のピクセル位置（例えば、楕円の中心）を表す座標（例えば、ｘおよびｙ）を含んでもよい。楕円適合は、対象の長軸の長さおよび短軸の長さに対応してもよい。楕円適合は、長軸のベクトル角度の正弦および余弦を含んでもよい。角度は、長軸の方向に対して規定されてもよい。長軸は、対象の頭または鼻の先端から、尾の付け根などの対象の身体の端部まで延在してもよい。楕円適合はまた、対象の長軸の長さと短軸の長さの間の比に対応してもよい。一部の実施形態では、楕円データ１１２は、映像データ１０４のすべての映像フレームに対する前述の測定値を含んでもよい。
【0026】
一部の実施形態では、セグメンテーション構成要素１１０は、映像データ１０４を処理するために１つまたは複数のニューラルネットワークを使用して、セグメンテーションマスクおよび／または楕円データ１１２を決定してもよい。他の実施形態では、セグメンテーション構成要素１１０は、エンコーダデコーダアーキテクチャなどの他のＭＬモデルを使用して、セグメンテーションマスクおよび／または楕円データ１１２を決定してもよい。
【0027】
楕円データ１１２はまた、映像フレームに対する楕円適合を決定する際に、セグメンテーション構成要素１１０の信頼スコアを含んでもよい。楕円データ１１２は、代替的に、対象に対応する楕円適合の確率または尤度を含んでもよい。
【0028】
映像データ１０４が２つ以上の対象を捕捉する実施形態では、セグメンテーション構成要素１１０は、捕捉された対象の各々を識別してもよく、捕捉された対象の各々に対する楕円データ１１２を決定してもよい。対象の各々に対する楕円データ１１２は、処理のために特徴抽出構成要素１２０に（並行してまたは連続的に）別々に提供されてもよい。
【0029】
図２Ａに示すプロセス２００のステップ２０６で、特徴抽出構成要素１２０は、楕円データ１１２を使用して複数の特徴を決定してもよい。特徴抽出構成要素１２０は、映像データ１０４の各映像フレームに対して複数の特徴を決定してもよい。一部の例示的な実施形態では、特徴抽出構成要素１２０は、映像データ１０４の各映像フレームに対して１６個の特徴を決定してもよい。決定された特徴は、図１に示すフレーム特徴データ１２２として保存されてもよい。フレーム特徴データ１２２は、映像データ１０４の各映像フレームに対応する複数の特徴の値を含むベクトルまたは行列であってもよい。特徴抽出構成要素１２０は、（セグメンテーション構成要素１１０によって決定される）セグメンテーションデータおよび／または楕円データ１１２を処理することによって、複数の特徴を決定してもよい。
【0030】
特徴抽出１２０は、映像データ１０４の各映像フレームに対する対象の複数の視覚的特徴を含むように、複数の特徴を決定してもよい。以下は、特徴抽出構成要素１２０によって決定され、フレーム特徴データ１２２に含まれ得る、例示的な特徴である。
【0031】
特徴抽出構成要素１２０は、楕円データ１１２に含まれるピクセル情報を処理してもよい。一部の実施形態では、特徴抽出構成要素１２０は、映像データ１０４の各映像フレームについて、長軸長さ、短軸長さ、および長軸長さと短軸長さの比を決定してもよい。これらの特徴は、既に楕円データ１１２に含まれていてもよく、または特徴抽出構成要素１２０は、楕円データ１１２に含まれるピクセル情報を使用して、これらの特徴を決定してもよい。特徴抽出構成要素１２０はまた、楕円データ１１２に含まれる楕円適合情報を使用して、対象の面積（例えば、表面積）を決定してもよい。特徴抽出構成要素１２０は、楕円適合の中心ピクセルとして表される対象の位置を決定してもよい。特徴抽出構成要素１２０はまた、映像データ１０４の１つの映像フレームから別の（後に発生する）映像フレームまでの楕円適合の中心ピクセルの変化に基づいて、対象の位置の変化を決定してもよい。特徴抽出構成要素１２０はまた、楕円適合の周囲（例えば、円周）を決定してもよい。
【0032】
特徴抽出構成要素１２０は、１つまたは複数（例えば、７つ）のＨｕモーメントを決定してもよい。Ｈｕモーメント（Ｈｕモーメント不変量としても知られる）は、画像変換に対して不変である、画像／映像フレームの中心モーメントを使用して計算された７つの数字のセットであってもよい。最初の６モーメントは、並進運動、スケール、回転、および反転に対して不変であることが証明されいる一方で、第７のモーメントの符号は、画像反転に対して変化する。画像処理、コンピュータビジョン、および関連分野において、画像モーメントは、画像ピクセルの強度のある特定の加重平均（モーメント）、またはこうしたモーメントの関数であり、通常、何らかの魅力的な特性または解釈を有するように選択される。画像モーメントは、セグメンテーション後に対象を説明するために有用である。特徴抽出構成要素１２０は、中央画像モーメントの積分および線形結合を通して、対象のセグメンテーションマスクの数値記述であるＨｕ画像モーメントを決定してもよい。
【0033】
図２Ａに示すプロセス２００のステップ２０８で、スペクトル分析構成要素１３０は、複数の特徴を使用してスペクトル分析を実施して、周波数領域特徴１３２および時間領域特徴１３４を決定してもよい。スペクトル分析構成要素１３０では、信号処理技術を使用して、フレーム特徴データ１２２から周波数領域特徴１３２および時間領域特徴１３４を決定してもよい。一部の実施形態では、スペクトル分析構成要素１３０は、エポックにおける映像データ１０４の各映像フレームの（特徴データ１２２からの）各特徴について、時間領域特徴のセットおよび周波数領域特徴のセットを決定してもよい。例示的な実施形態では、スペクトル分析構成要素１３０は、エポックの各映像フレームの各特徴に対する６つの時間領域特徴を決定してもよい。一部の実施形態では、スペクトル分析構成要素１３０は、エポックの各映像フレームの各特徴に対する１４個の周波数領域特徴を決定してもよい。エポックは、映像データ１０４の持続時間、例えば、１０秒、５秒などであってもよい。周波数領域特徴１３２は、特徴データ１２２の各特徴について、および映像フレームの各エポックについて決定された周波数領域特徴を表すベクトルまたは行列であってもよい。時間領域特徴１３４は、特徴データ１２２の各特徴について、および映像フレームの各エポックについて決定された時間領域特徴を表すベクトルまたは行列であってもよい。周波数領域特徴１３２は、例えば、図７Ａ～７Ｂ、図８Ａ～８Ｂに示すような、グラフデータであってもよい。
【0034】
例示的な実施形態では、周波数領域特徴１３２は、電力スペクトル密度の尖度、パワースペクトル密度の歪度、０．１～１Ｈｚの平均パワースペクトル密度、１～３Ｈｚの平均パワースペクトル密度、３～５Ｈｚの平均パワースペクトル密度、５～８Ｈｚの平均パワースペクトル密度、８～１５Ｈｚの平均パワースペクトル密度、合計パワースペクトル密度、パワースペクトル密度の最大値、パワースペクトル密度の最小値、パワースペクトル密度の平均、およびパワースペクトル密度の標準偏差であってもよい。
【0035】
例示的な実施形態では、時間領域特徴１３４は、尖度、特徴信号の平均、特徴信号の中央値、特徴信号の標準偏差、特徴信号の最大値、および特徴信号の最小値であってもよい。
【0036】
図２Ａに示すプロセス２００のステップ２１０で、睡眠状態分類構成要素１４０は、周波数領域特徴１３２および時間領域特徴１３４を処理して、映像データ１０４の映像フレームに対する睡眠予測を決定してもよい。睡眠状態分類構成要素１４０は、映像データ１０４の各映像フレームについて、睡眠状態を表す標識を決定してもよい。睡眠状態分類構成要素１４０は、各映像フレームを、覚醒状態、ノンレム状態、およびレム状態の３つの睡眠状態のうちの１つに分類してもよい。覚醒状態は、非睡眠状態であってもよく、または非睡眠状態と類似していてもよい。睡眠状態分類構成要素１４０は、周波数領域特徴１３２および時間領域特徴１３４を使用して、映像フレームの睡眠状態標識を決定してもよい。一部の実施形態では、睡眠状態分類構成要素１４０は、上述の映像フレームに対してウィンドウベースの処理を使用してもよい。例えば、インスタント映像フレームの睡眠状態標識を決定するために、睡眠状態分類構成要素１４０は、インスタント映像フレームの前に発生する映像フレームのセットに対するデータ（時間および周波数領域特徴１３２、１３４）、およびインスタント映像フレームの後に発生する映像フレームのセットに対するデータを処理してもよい。睡眠状態分類構成要素１４０は、フレーム予測データ１４２を出力してもよく、これは、映像データ１０４の各映像フレームに対する睡眠状態標識のベクトルまたは行列であってもよい。睡眠状態分類構成要素１４０はまた、睡眠状態標識に関連付けられた信頼スコアを決定してもよく、信頼スコアは、示された睡眠状態に対応する映像フレームの尤度、または映像フレームの睡眠状態標識を決定する際の睡眠状態分類構成要素１４０の信頼性を表してもよい。信頼スコアは、フレーム予測データ１４２に含まれてもよい。
【0037】
睡眠状態分類構成要素１４０は、１つまたは複数のＭＬモデルを用いて、周波数領域特徴１３２および時間領域特徴１３４からフレーム予測データ１４２を決定してもよい。一部の実施形態では、睡眠状態分類構成要素１４０は、勾配ブーストＭＬ技術（例えば、ＸＧＢｏｏｓｔ技術）を使用してもよい。他の実施形態では、睡眠状態分類構成要素１４０は、ランダムフォレストＭＬ技術を使用してもよい。さらに他の実施形態では、睡眠状態分類構成要素１４０は、ニューラルネットワークＭＬ技術（例えば、多層パーセプトロン（ＭＬＰ））を使用してもよい。さらに他の実施形態では、睡眠状態分類構成要素１４０は、ロジスティック回帰技術を使用してもよい。さらに他の実施形態では、睡眠状態分類構成要素１４０は、特異値分解（ＳＶＤ）技術を使用してもよい。一部の実施形態では、睡眠状態分類構成要素１４０は、前述のＭＬ技術のうちの１つまたは複数の組み合わせを使用してもよい。ＭＬ技術は、以下の図３に関連して記載するように、対象についての映像データの映像フレームを睡眠状態に分類するように訓練されてもよい。
【0038】
一部の実施形態では、睡眠状態分類構成要素１４０は、追加的または代替的なデータ／特徴（例えば、映像データ１０４、楕円データ１１２、フレーム特徴データ１２２など）を使用して、フレーム予測データ１４２を決定してもよい。
【0039】
睡眠状態分類構成要素１４０は、周波数領域特徴１３２と時間領域特徴１３４の間の変動に基づいて、１つの睡眠状態と別の睡眠状態の間の移行を認識するように構成されてもよい。例えば、対象の領域に対する周波数領域信号および時間領域信号は、覚醒状態、ノンレム状態、およびレム状態に対して時間および周波数が異なる。別の例として、対象の幅長比（長軸長と短軸長の比）に対する周波数領域信号および時間領域信号は、覚醒状態、ノンレム状態、およびレム状態に対して時間および周波数が異なる。一部の実施形態では、睡眠状態分類構成要素１４０は、複数の特徴（例えば、対象の身体領域または幅長比）のうちの１つを使用して、フレーム予測データ１４２を決定してもよい。他の実施形態では、睡眠状態分類構成要素１４０は、複数の特徴（例えば、対象の身体領域および幅長比）からの特徴の組み合わせを使用して、フレーム予測データ１４２を決定してもよい。
【0040】
図２Ａに示すプロセス２００のステップ２１２で、分類後構成要素１５０は、分類後処理を実施して、映像の持続時間中の対象の睡眠状態および睡眠状態間の移行を表す睡眠状態データ１５２を決定してもよい。分類後構成要素１５０は、各映像フレームに対する睡眠状態標識（および対応する信頼スコア）を含むフレーム予測データ１４２を処理して、睡眠状態データ１５２を決定してもよい。分類後構成要素１５０は、移行モデルを使用して、第一の睡眠状態から第二の睡眠状態への移行を決定してもよい。
【0041】
覚醒状態、ノンレム状態、およびレム状態間の移行は、ランダムではなく、一般的に予想されるパターンに従う。例えば、一般的に、対象は、覚醒状態からノンレム状態に移行し、次いで、ノンレム状態からレム状態に移行する。分類後構成要素１５０は、これらの移行パターンを認識し、所与の状態に対して移行確率行列および発生確率を使用するように構成されてもよい。分類後構成要素１５０は、睡眠状態分類構成要素１４０によって決定されるフレーム予測データ１４２の検証構成要素としての役目を果たしてもよい。例えば、場合によっては、睡眠状態分類構成要素１４０は、第一の映像フレームが覚醒状態に対応し、後続の第二の映像フレームがレム状態に対応すると決定してもよい。このような場合、分類後構成要素１５０は、特に映像フレームでカバーされる短期間では、覚醒状態からレム状態への移行の可能性が低いことが分かっていることに基づいて、第一の映像フレームまたは第二の映像フレームの睡眠状態を更新してもよい。分類後構成要素１５０は、映像フレームのウィンドウベースの処理を使用して、映像フレームの睡眠状態を決定してもよい。一部の実施形態では、分類後構成要素１５０はまた、別の睡眠状態に移行する前の睡眠状態の持続時間を考慮に入れてもよい。例えば、分類後構成要素１５０は、レム状態に移行する前に、ノンレム状態が映像データ１０４中の対象に対してどのくらい持続するかに基づいて、睡眠状態分類構成要素１４０によって決定された、映像フレームの睡眠状態が正確であるかを決定してもよい。一部の実施形態では、分類後構成要素１５０は、例えば、統計モデル（例えば、マルコフモデル、隠れマルコフモデルなど）、確率モデルなどの様々な技術を用いてもよい。統計モデルまたは確率モデルは、睡眠状態（覚醒状態、ノンレム状態、およびレム状態）間の依存関係をモデル化してもよい。
【0042】
分類後構成要素１５０は、フレーム予測データ１４２を処理して、映像データ１０４に表された対象の１つまたは複数の睡眠状態（覚醒状態、ノンレム状態、レム状態）の持続時間を決定してもよい。分類後構成要素１５０は、フレーム予測データ１４２を処理して、映像データ１０４に表された対象の１つまたは複数の睡眠状態（覚醒状態、ノンレム状態、レム状態）の頻度（映像データ１０４に発生する睡眠状態の回数）を決定してもよい。分類後構成要素１５０は、フレーム予測データ１４２を処理して、対象の１つまたは複数の睡眠状態の変化を決定してもよい。睡眠状態データ１５２は、対象の１つまたは複数の睡眠状態の持続時間、対象の１つまたは複数の睡眠状態の頻度、および／または対象の１つまたは複数の睡眠状態の変化を含んでもよい。
【0043】
分類後構成要素１５０は、睡眠状態データ１５２を出力することができ、これは映像データ１０４の各映像フレームに対する睡眠状態標識を含むベクトルまたは行列であってもよい。例えば、睡眠状態データ１５２は、第一の映像フレームに対応する第一の標識「覚醒状態」、第二の映像フレームに対応する第二の標識「覚醒状態」、第三の映像フレームに対応する第三の標識「ノンレム状態」、第四の映像フレームに対応する第四の標識「レム状態」などを含んでもよい。
【0044】
システム１０５は、表示のために睡眠状態データ１５２をデバイス１０２に送信してもよい。睡眠状態データ１５２は、例えば、図１１Ａ～Ｄに示すように、グラフデータとして提示されてもよい。
【0045】
本明細書に記載されるように、一部の実施形態では、自動睡眠状態システム１００は、（特徴抽出構成要素１２０によって決定された）複数の特徴を使用して、対象の複数の身体領域を決定してもよく、各身体領域は、映像データ１０４の映像フレームに対応し、自動睡眠状態システム１００は、映像中の複数の身体領域の変化に基づいて、睡眠状態データ１５２を決定してもよい。
【0046】
本明細書に記載されるように、一部の実施形態では、自動睡眠状態システム１００は、（特徴抽出構成要素１２０によって決定された）複数の特徴を使用して、複数の幅長比を決定してもよく、複数の幅長比の各幅長比は、映像データ１０４の映像フレームに対応し、自動睡眠状態システム１００は、映像中の複数の幅長比の変化に基づいて、睡眠状態データ１５２を決定してもよい。
【0047】
一部の実施形態では、自動睡眠状態システム１００は、対象の身体領域または体形の変化に基づいて、ノンレム状態からレム状態への移行を検出してもよく、身体領域または体形の変化は、筋弛緩の結果であってもよい。このような移行情報は、睡眠状態データ１５２に含まれてもよい。
【0048】
自動睡眠状態システム１００を使用し得る、映像データ１０４から導出された他の特徴と対象の睡眠状態との間の相関を、実施例のセクションで以下に説明する。
【0049】
一部の実施形態では、自動睡眠状態システム１００は、映像データ１０４を処理することによって、対象の呼吸／呼吸数を決定するように構成されてもよい。自動睡眠状態システム１００は、（特徴抽出構成要素１２０によって決定された）複数の特徴を処理することによって、対象の呼吸数を決定してもよい。一部の実施形態では、自動睡眠状態システム１００は、呼吸数を使用して、対象の睡眠状態データ１５２を決定してもよい。一部の実施形態では、自動睡眠状態システム１００は、スペクトル分析構成要素１３０によって決定された周波数領域および／または時間領域特徴に基づいて、呼吸数を決定してもよい。
【0050】
対象の呼吸数は、睡眠状態間で異なる場合があり、映像データ１０４から導出された特徴を使用して検出されてもよい。例えば、対象の身体領域および／または幅長比は、身体領域および／または幅長比の信号表現（時間または周波数）が２．５～３Ｈｚの一貫した信号であり得るように、ある期間の間に変化してもよい。こうした信号表現は、換気波形のように見える場合がある。自動睡眠状態システム１００は、映像データ１０４を処理して、対象による呼吸に相関する／対応する、体形の変化および／または胸部サイズの変化を表す特徴を抽出してもよい。こうした変化は、映像で視認可能である場合があり、時間領域および周波数領域特徴として抽出され得る。
【0051】
ノンレム状態の間、対象は、例えば、２．５～３Ｈｚの特定の呼吸数を有してもよい。自動睡眠状態システム１００は、呼吸数と睡眠状態の間の特定の相関性を認識するように構成されてもよい。例えば、幅長比信号は、レム状態よりもノンレム状態でより顕著／明白であってもよい。さらなる例として、幅長比の信号は、レム状態の間により大きく変化してもよい。前述の例示的な相関性は、対象の呼吸数が、ノンレム状態よりもレム状態中により変化することの結果であってもよい。別の例示的な相関性は、ノンレム状態中に幅長比信号で捕捉される低周波数ノイズであってもよい。こうした相関性は、ノンレム状態中にその睡眠姿勢を調整するための対象の動作／動きに起因する場合があり、対象は、筋弛緩のためにレム状態中には動かない場合がある。
【0052】
映像データ１０４から導出された少なくとも幅長比信号（および他の特徴に対する他の信号）は、映像データ１０４が対象の腹部および／または胸部の視覚的動きを捕捉することを例証し、これは対象の呼吸数を決定するために使用され得る。
【0053】
図２Ｂは、本開示の実施形態による、映像に表された複数の対象についての睡眠状態データ１５２を決定するためのプロセス２５０を示すフローチャートである。プロセス２５０のステップのうちの１つまたは複数は、図２Ｂに示すものとは別の順序／シーケンスで行われてもよい。プロセス２５０の１つまたは複数のステップは、図１に示すシステム１０５の構成要素によって行われてもよい。
【0054】
【0055】
ステップ２５４で、セグメンテーション構成要素１１０は、映像データ１０４を使用してインスタンスセグメンテーション処理を実施して、映像に表される個々の対象を識別してもよい。セグメンテーション構成要素１１０は、インスタンスセグメンテーション技術を用いて、映像データ１０４を処理し、映像データ１０４の個々の対象を識別するセグメンテーションマスクを生成してもよい。セグメンテーション構成要素１１０は、第一の対象に対する第一のセグメンテーションマスク、第二の対象に対する第二のセグメンテーションマスクなどを生成してもよく、個々のセグメンテーションマスクは、映像フレーム中のどのピクセルがそれぞれの対象に対応するかを示してもよい。セグメンテーション構成要素１１０はまた、映像フレーム中のどのピクセルが背景／非対象に対応するかを決定してもよい。セグメンテーション構成要素１１０は、１つまたは複数の機械学習モデルを用いて、映像データ１０４を処理し、第一の対象に対応する映像フレームのピクセルの第一のセットを示す第一のセグメンテーションデータ、第二の対象に対応する映像フレームのピクセルの第二のセットを示す第二のセグメンテーションデータなどを決定してもよい。
【0056】
セグメンテーション構成要素１１０は、「対象１」、「対象２」などの標識（例えば、テキスト標識、数値標識、または他のデータ）を使用して、個々の対象に対するそれぞれのセグメンテーションマスクを追跡してもよい。セグメンテーション構成要素１１０は、映像データ１０４の様々な映像フレームから決定されたセグメンテーションマスクにそれぞれの標識を割り当て、したがって、複数の映像フレームを通して個々の対象に対応するピクセルのセットを追跡してもよい。セグメンテーション構成要素１１０は、対象が動く、位置を変える、場所を変えるときでさえも、複数の映像フレームにわたって個々の対象を追跡するように構成されてもよい。セグメンテーション構成要素１１０はまた、例えば、図６Ｃに示すように、対象が互いに近接しているときに、個々の対象を識別するように構成されてもよい。場合によっては、対象は、互いに近接して、または近くで眠ることを好む場合があり、インスタンスセグメンテーション技術は、これが発生した場合でも個々の対象を識別することができる。
【0057】
インスタンスセグメンテーション技術は、コンピュータビジョン技術、アルゴリズム、モデルなどの使用を伴い得る。インスタンスセグメンテーションは、画像／映像フレーム内の各対象インスタンスを識別することを伴い、映像フレームの各ピクセルに標識を割り当てることを伴い得る。インスタンスセグメンテーションは、物体検出技術を使用して、映像フレーム中のすべての対象を識別し、個々の対象を分類し、セグメンテーションマスクを使用して各対象インスタンスをローカライズしてもよい。
【0058】
一部の実施形態では、システム１０５は、身体サイズ、体形、身体／毛の色など、対象についてのいくつかの指標に基づいて、複数の対象から個々の対象を識別し、追跡してもよい。
【0059】
プロセス２５０のステップ２５６で、セグメンテーション構成要素１１０は、個々の対象に対するセグメンテーションマスクを使用して、個々の対象に対する楕円データ１１２を決定してもよい。例えば、セグメンテーション構成要素１１０は、第一の対象に対する第一のセグメンテーションマスクを使用して第一の楕円データ１１２を、第二の対象に対する第二のセグメンテーションマスクを使用して第二の楕円データ１１２などを決定してもよい。セグメンテーション構成要素１１０は、図２Ａに示すプロセス２００に関連して上述したのと同様の方法で、楕円データ１１２を決定してもよい。
【0060】
プロセス２５０のステップ２５８で、特徴抽出構成要素１２０は、それぞれの楕円データ１１２を使用して、個々の対象に対する複数の特徴を決定してもよい。複数の特徴は、フレームベースの特徴であってもよく、すなわち、複数の特徴は、映像データ１０４の各個々の映像フレームに対するものであってもよく、フレーム特徴データ１２２として提供されてもよい。特徴抽出構成要素１２０は、第一の楕円データ１１２を使用して、かつ第一の対象に対応する第一のフレーム特徴データ１２２を、第二の楕円データ１１２を使用して、かつ第二の対象に対応する第二のフレーム特徴データ１２２などを決定してもよい。特徴抽出構成要素１２０は、図２Ａに示すプロセス２００に関連して上述したのと同様の方法で、フレーム特徴データ１２２を決定してもよい。
【0061】
プロセス２５０のステップ２６０で、スペクトル分析構成要素１３０は、複数の特徴を使用して、（図２Ａに示すプロセス２００に関連して上述したのと同様の方法で）スペクトル分析を実施して、個々の対象に対する周波数領域特徴１３２および時間領域特徴１３４を決定してもよい。スペクトル分析構成要素１３０は、第一の対象に対する第一の周波数領域特徴１３２、第二の対象に対する第二の周波数領域特徴１３２、第一の対象に対する第一の時間領域特徴１３４、第二の対象に対する第二の時間領域特徴１３４などを決定してもよい。
【0062】
プロセス２５０のステップ２６２で、睡眠状態分類構成要素１４０は、個々の対象に対して、それぞれの周波数領域特徴１３２および時間領域特徴１３４を処理して、映像データ１０４の映像フレームついて個々の対象の睡眠予測を（図２Ａに示すプロセス２００に関連して上述したのと同様の方法で）決定してもよい。例えば、睡眠状態分類構成要素１４０は、第一の対象に対する第一のフレーム予測データ１４２、第二の対象に対する第二のフレーム予測データ１４２などを決定してもよい。
【0063】
プロセス２５０のステップ２６４で、分類後構成要素１５０は、（図２Ａに示すプロセス２００に関連して上述したのと同様の方法で）分類後処理を実施して、映像の持続時間および睡眠状態間の移行の間の個々の対象の睡眠状態を表す睡眠状態データ１５２を決定してもよい。例えば、分類後構成要素１５０は、第一の対象に対する第一の睡眠状態データ１５２、第二の対象に対する第二の睡眠状態データ１５２などを決定してもよい。
【0064】
このようにして、インスタンスセグメンテーション技術を使用して、システム１０５は、映像中の複数の対象を識別し、それぞれの対象に対応する特徴データ（および他のデータ）を使用して、個々の対象の睡眠状態データを決定してもよい。各対象が互いに近いときでさえも、各対象を識別することができることによって、システム１０５は、一緒に収容された複数の対象（すなわち、同じ囲いに含まれる複数の対象）の睡眠状態を決定することができる。この利点の１つは、別の対象との同居を伴い得る、自然条件下の、自然環境で対象を観察し得ることである。場合によっては、他の対象の行動も、対象の同居に基づいて識別／研究され得る（例えば、睡眠状態に対する同居の影響、同居により対象が同じ／類似の睡眠パターンに従うか、など）。別の利点は、同じ／１つの映像を処理することによって、複数の対象についての睡眠状態データを決定し得ることであり、これは、各々が１つの対象を表す複数の別個の映像を処理するために使用されるリソースと比較して、使用されるリソース（例えば、時間、計算リソースなど）を低減することができる。
【0065】
図３は、図１に示す睡眠状態分類構成要素１４０を構成するために使用され得る構成要素およびデータを概念的に示す。本明細書に記載されるように、睡眠状態分類構成要素１４０は、映像データ１０４から導出された特徴を処理するための１つまたは複数のＭＬモデルを含んでもよい。ＭＬモデルは、様々なタイプの訓練データおよび訓練技術を使用して訓練／構成されてもよい。
【0066】
一部の実施形態では、スペクトル訓練データ３０２は、モデル構築構成要素３１０によって処理されて、訓練された分類器３１５を訓練／構成してもよい。一部の実施形態では、モデル構築構成要素３１０はまた、ＥＥＧ／ＥＭＧ訓練データを処理して、訓練された分類器３１５を訓練／構成してもよい。訓練された分類器３１５は、映像フレームに対応する１つまたは複数の特徴に基づいて、映像フレームの睡眠状態標識を決定するように構成されてもよい。
【0067】
スペクトル訓練データ３０２は、訓練に使用される映像データに表される対象の１つまたは複数の特徴に対する周波数領域信号および／または時間領域信号を含んでもよい。こうした特徴は、特徴抽出構成要素１２０によって決定された特徴に対応してもよい。例えば、スペクトル訓練データ３０２は、映像中の対象の身体領域に対応する周波数領域信号および／または時間領域信号を含んでもよい。周波数領域信号および／または時間領域信号は、対応する睡眠状態で注釈付け／標識されてもよい。スペクトル訓練データ３０２は、対象の幅長比、対象の幅、対象の長さ、対象の位置、Ｈｕ画像モーメント、および他の特徴などの他の特徴に対する周波数領域信号および／または時間領域信号を含んでもよい。
【0068】
ＥＥＧ／ＥＭＧ訓練データ３０４は、睡眠状態分類構成要素１４０を訓練／構成するために使用される対象に対応する脳波図（ＥＥＧ）データおよび／または筋電図（ＥＭＧ）データであってもよい。ＥＥＧデータおよび／またはＥＭＧデータは、対応する睡眠状態で注釈付け／標識されてもよい。
【0069】
スペクトル訓練データ３０２およびＥＥＧ／ＥＭＧ訓練データ３０４は、同じ対象の睡眠に対応てもよい。モデル構築構成要素３１０は、スペクトル訓練データ３０２およびＥＥＧ／ＥＭＧ訓練データ３０４を相関させて、訓練された分類器３１５を訓練／構成し、スペクトルデータ（周波数領域特徴および時間領域特徴）から睡眠状態を識別してもよい。
【0070】
対象が睡眠中にレム状態よりも多くのノンレム状態を経験することに起因して、訓練データセットに不均衡がある場合がある。訓練された分類器３１５を訓練／構成するために、バランスの取れた訓練データセットを生成して、同じ／類似の数のレム状態、ノンレム状態、および覚醒状態を含てもよい。
【0071】
対象
本発明の一部の態様は、対象の睡眠状態データを決定することを含む。本明細書で使用した際には、「対象」という用語は、ヒト、非ヒト霊長類、ウシ、ウマ、ブタ、ヒツジ、ヤギ、イヌ、ネコ、ブタ、鳥、齧歯類、または他の適切な脊椎動物もしくは無脊椎動物、を指し得る。本発明の特定の実施形態では、対象は、哺乳類であり、本発明の特定の実施形態では、対象は、ヒトである。いくつかの実施形態では、本発明の方法で使用される対象は、齧歯類であり、マウス、ラット、アレチネズミ、ハムスター、等を含むが、これらに限定されるものではない。本発明のいくつかの実施形態では、対象は、正常で健康な対象であり、いくつかの実施形態では、対象は、疾患もしくは病態を有することが知られている、または疾患もしくは病態を有するリスクがある、または疾患もしくは病態を有する疑いがある。本発明の特定の実施形態では、対象は、疾患または病態に関する動物モデルである。例えば、限定することを意図するものではないが、本発明のいくつかの実施形態では、対象は、睡眠時無呼吸に関する動物モデルをなすマウスである。
本発明の一部の態様は、対象の睡眠状態データを決定することを含む。本明細書で使用した際には、「対象」という用語は、ヒト、非ヒト霊長類、ウシ、ウマ、ブタ、ヒツジ、ヤギ、イヌ、ネコ、ブタ、鳥、齧歯類、または他の適切な脊椎動物もしくは無脊椎動物、を指し得る。本発明の特定の実施形態では、対象は、哺乳類であり、本発明の特定の実施形態では、対象は、ヒトである。いくつかの実施形態では、本発明の方法で使用される対象は、齧歯類であり、マウス、ラット、アレチネズミ、ハムスター、等を含むが、これらに限定されるものではない。本発明のいくつかの実施形態では、対象は、正常で健康な対象であり、いくつかの実施形態では、対象は、疾患もしくは病態を有することが知られている、または疾患もしくは病態を有するリスクがある、または疾患もしくは病態を有する疑いがある。本発明の特定の実施形態では、対象は、疾患または病態に関する動物モデルである。例えば、限定することを意図するものではないが、本発明のいくつかの実施形態では、対象は、睡眠時無呼吸に関する動物モデルをなすマウスである。
【0072】
非限定的な例として、本発明の方法およびシステムで評価される対象は、睡眠時無呼吸、不眠症、ナルコレプシー、脳損傷、うつ病、精神疾患、神経変性疾患、レストレスレッグ症候群、アルツハイマー病、パーキンソン病、睡眠状態のステータスを変化させることができる神経学的状態、および睡眠状態を変化させることができる代謝障害もしくは病態のうちの１つまたは複数などの状態を有する対象、有することが疑われる対象、および／またはその病態に関する動物モデルであってもよい。睡眠状態を変化させることができる代謝障害または病態の非限定的な例は、高脂肪食である。追加的な身体状態もまた、本発明の方法を使用して評価されてもよく、その非限定的な例は、肥満、過体重、投与された薬剤の効果、および／またはアルコール摂取の効果である。慢性疾患、薬物乱用、傷害などから生じる睡眠病態を含むが、これらに限定されない、追加の疾患および病態も、本発明の方法を使用して評価することができる。
【0073】
また本発明の方法およびシステムを使用して、睡眠時無呼吸、不眠症、ナルコレプシー、脳損傷、うつ病、精神疾患、神経変性疾患、レストレスレッグ症候群、アルツハイマー病、パーキンソン病、睡眠状態のステータスを変化させることができる神経学的状態、および睡眠状態を変化させることができる代謝障害もしくは病態のうちの１つまたは複数を有しない対象または試験対象を評価してもよい。一部の実施形態では、本発明の方法は、肥満、過体重、アルコール摂取のない対象の睡眠状態を評価するために使用される。こうした対象は、対照対象としての役割を果たすことができ、本発明の方法を用いた評価の結果は、対照データとして使用され得る。
【0074】
本発明の方法のいくつかの実施形態では、対象は、野生型対象である。本明細書で使用した際には、「野生型」という用語は、自然界で起こる種の典型的な形態の表現型および／または遺伝子型を意味する。本発明の特定の実施形態では、対象は、非野生型の対象であり、例えば、対象の種の野生型の遺伝子型および／または表現型と比較して、１つまたは複数の遺伝子改変を有する対象である。いくつかの実例では、野生型と比較した際の、対象の遺伝子型／表現型の差異は、遺伝性（生殖系列）変異または後天性（体細胞性）変異に起因する。１つまたは複数の体細胞変異を呈する対象をもたらしうる因子としては、以下に限定されないが、環境因子、毒素、紫外線放射、細胞分裂において生じる自然発生的エラー、放射線、母親感染、化学物質などであるがこれらに限定されない催奇形性事象が挙げられる。
【0075】
本発明の方法における特定の実施形態では、対象は、遺伝子改変生物であり、遺伝子操作対象とも称される。遺伝子操作対象は、予め選択されたおよび／または意図的な遺伝子改変を含んでもよく、そのため、操作されていない対象における形質とは異なるような、１つもしくは複数の遺伝子型および／または表現型の形質を示す。本発明のいくつかの実施形態では、通常的な遺伝子操作技術を使用することにより、その種の非操作対象と比較して、遺伝子型および／または表現型の差異を呈する遺伝子操作対象を作製することができる。非限定的な例として、機能的遺伝子産物が欠損しているまたは減少したレベルでマウス内に存在する遺伝子操作マウス、および、本発明の方法またはシステムを使用することにより、遺伝子操作マウスの表現型を評価することができ、その結果を、対照から得られた結果（対照結果）と比較してもよい。
【0076】
本発明の一部の実施形態では、対象は、本発明の自動睡眠状態決定方法またはシステムを使用して監視されてもよく、睡眠障害または病態の有無を検出することができる。本発明の特定の実施形態では、睡眠病態の動物モデルである試験対象を使用して、睡眠病態に対する試験対象の反応を評価してもよい。加えて、睡眠および／または活動病態の動物モデルである試験対象は、本発明の自動睡眠状態決定方法および／またはシステムを使用して監視される候補治療薬または方法を投与されてもよく、結果を使用して、その病態を治療する候補治療薬の有効性を決定することができる。
【0077】
本明細書の他の箇所で説明するように、本発明の方法およびシステムは、対象の身体的特徴に関係なく、対象の睡眠状態を決定するように構成されてもよい。本発明のいくつかの実施形態では、対象の１つまたは複数の身体的特徴は、事前に特定された特徴であってもよい。例えば、限定することを意図するものではないけれども、事前に特定された身体的特徴は、体型、体格、毛色、性別、年齢、および、疾患もしくは病態の表現型、の一つあるいは複数であってもよい。
【0078】
対照および候補化合物の試験ならびにスクリーニング
本発明の方法またはシステムを使用して対象に関して得られた結果は、対照に関する結果と比較することができる。本発明の方法は、また、対象と対照との間における表現型の差異を評価するために、使用することもできる。よって、本発明の一部の態様は、対照と比較して、対象における１つまたは複数の睡眠状態の変化の有無を決定する方法を提供する。本発明の一部の実施形態は、疾患または病態の表現型特徴を識別するために本発明の方法を使用することを含み、本発明の特定の実施形態では、自動表現型解析は、対象に対する候補治療化合物の効果を評価するために使用される。
本発明の方法またはシステムを使用して対象に関して得られた結果は、対照に関する結果と比較することができる。本発明の方法は、また、対象と対照との間における表現型の差異を評価するために、使用することもできる。よって、本発明の一部の態様は、対照と比較して、対象における１つまたは複数の睡眠状態の変化の有無を決定する方法を提供する。本発明の一部の実施形態は、疾患または病態の表現型特徴を識別するために本発明の方法を使用することを含み、本発明の特定の実施形態では、自動表現型解析は、対象に対する候補治療化合物の効果を評価するために使用される。
【0079】
本発明の方法またはシステムを使用して得られた結果は、有利に対照と比較することができる。本発明の一部の実施形態では、１つまたは複数の対象を、本発明の方法を使用して評価し、その後、対象に候補治療化合物を投与した後に、対象を再検定することができる。本発明の方法またはシステムを使用して評価される対象に関連して、本明細書では、「対象」および「試験対象」という用語が使用されてもよく、本明細書では、「対象」および「試験対象」という用語が互換的に使用される。本発明の特定の実施形態では、試験対象を評価するための本発明の方法を使用して得られた結果は、他の試験対象に対して実施された方法から得られた結果と比較される。本発明の一部の実施形態では、試験対象の結果は、異なる時間に試験対象に対して実施された睡眠状態評価の結果と比較される。本発明の一部の実施形態では、対象を評価するために本発明の方法を使用して得られた結果を、対照結果と比較する。
【0080】
本明細書で使用される場合、対照結果は、様々な形態を取ることができる所定の値であってもよい。それは、中央値または平均値などの、単一のカットオフ値とすることができる。これは、試験対象と類似した条件下で本発明のシステムまたは方法を使用して評価された対象などの比較群に基づいて確立されてもよく、試験対象は候補治療薬を投与され、比較群は候補治療薬を投与されていない。比較群の別の例は、疾患または病態を有することが知られている対象と、疾患または病態を有していない群と、を含んでもよい。別の比較群は、疾患または病態に関する家族歴を有した対象と、そのような家族歴を有していない群からの対象と、であってもよい。所定値は、例えば、試験された集団が試験結果に基づいて均等に（または不均等に）グループ分けされるように、設定することができる。当業者であれば、本発明の比較方法において使用するための適切な対照群および値を選択することができる。
【0081】
本発明の方法またはシステムを使用して評価された対象は、対照条件と比較して、試験条件で発生する１つまたは複数の睡眠状態特徴の変化の有無について監視され得る。非限定的な例として、対象において、発生する変化には、睡眠状態の期間、２つの睡眠状態間の時間間隔、睡眠期間中の１つまたは複数の睡眠状態の数、ＲＭ睡眠状態とＮＲＭ睡眠状態の比率、睡眠状態に入る前の期間などの、１つまたは複数の睡眠状態特徴が含まれ得るが、これらに限定されない。本発明の方法およびシステムは、試験対象の疾患または病態の影響を評価するために、試験対象に使用することができ、また候補治療薬の有効性を評価するためにも使用できる。候補治療薬の有効性を識別する手段としての、対象の睡眠状態の１つまたは複数の特徴における変化の有無を評価する本発明の方法の非限定的な例として、対象の睡眠状態に影響を与える疾患または病態を有することが知られている対象が、本発明の方法を使用して評価される。次いで、対象は、候補治療薬を投与され、方法を使用して再び評価される。試験対象の結果の変化の有無は、それぞれ、睡眠状態に影響を与える疾患または病態に対する候補治療薬の効果の有無を示す。
【0082】
本発明の一部の実施形態では、対象は、例えば、本発明の方法を使用して二回以上評価され、異なる評価のうちの二回以上で取得された結果を比較することによって、それ自体の対照として機能しうることが理解されよう。本発明の方法およびシステムは、本発明の方法またはシステムの実施形態を使用して、対象の二つ以上の評価を使用して、経時的な対象の睡眠状態特徴などの表現型特徴の変化を識別および比較することによって、対象の疾患または状態の進行または退行を評価するために使用され得る。
【0083】
例示的なデバイスおよびシステム
自動睡眠状態システム１００の一つまたは複数の構成要素は、ＸｇＢｏｏｓｔモデル、ランダムフォレストモデル、ニューラルネットワーク、サポートベクターマシン、または他のモデル、またはこれらのモデルのいずれかの組み合わせを含む、多くの形態をとり得るＭＬモデルを実装してもよい。
自動睡眠状態システム１００の一つまたは複数の構成要素は、ＸｇＢｏｏｓｔモデル、ランダムフォレストモデル、ニューラルネットワーク、サポートベクターマシン、または他のモデル、またはこれらのモデルのいずれかの組み合わせを含む、多くの形態をとり得るＭＬモデルを実装してもよい。
【0084】
様々な機械学習技術を使用して、セグメンテーションマスクの決定、楕円データの決定、特徴データの決定、睡眠状態データの決定など、本明細書に記載の様々なステップを実施するためにモデルを訓練および動作させてもよい。モデルは、様々な機械学習技術に従って訓練および操作されてもよい。このような技術には、例えば、ニューラルネットワーク（深層ニューラルネットワークおよび／またはリカレントニューラルネットワーク、など）、推論エンジン、訓練された分類器、等が含まれてもよい。訓練された分類器の例としては、サポートベクターマシン（ＳＶＭ）、ニューラルネットワーク、決定木、決定木と組み合わせたＡｄａＢｏｏｓｔ（「適応ブースト」の略）、およびランダムフォレスト、が挙げられる。例としてＳＶＭに焦点を当てると、ＳＶＭは、データを分析してデータ内のパターンを認識する関連学習アルゴリズムを有する教師あり学習モデルであり、この教師あり学習モデルは、分類および回帰分析のために一般的に使用される。２つのカテゴリーのいずれかに属するものとしてそれぞれがマークされた一組をなす複数の訓練例が与えられると、ＳＶＭ訓練アルゴリズムは、新たな例を一方のカテゴリーまたは他方のカテゴリーに割り当てるモデルを構築し、それを非確率的なバイナリ線形分類器とする。より複雑なＳＶＭモデルは、３つ以上のカテゴリーを識別する訓練セットを有して構築されてもよく、ＳＶＭは、どのカテゴリーが入力データに対して最も類似しているかを決定する。ＳＶＭモデルは、別個のカテゴリーの例が明確なギャップによって分割されるようにマッピングされてもよい。次に、新たな例が同じ空間にマッピングされ、ギャップのどちら側に該当するかに基づいてカテゴリーに属すると予測される。分類器は、データがどのカテゴリーに最も一致するかを示す「スコア」を発行してもよい。スコアは、データがどの程度密接にカテゴリーに対して一致しているかの指数を提供してもよい。
【0085】
ニューラルネットワークは、入力層から出力層までにわたって、いくつかの層を含んでもよい。各層は、特定タイプのデータを入力として導入するように、さらに、別のタイプのデータを出力するように、構成されている。ある層からの出力は、次の層に対する入力として導入される。特定の層における入力データ／出力データの値は、ニューラルネットワークが実行時に実際に動作するまで不明であるけれども、ニューラルネットワークを記述するデータは、ニューラルネットワークの層の構造、パラメータ、および動作を記述する。
【0086】
ニューラルネットワークの中間層の１つまたは複数は、また、隠れ層として知られ得る。隠れ層の各ノードは、入力層の各ノードに対して、および出力層の各ノードに対して、接続される。ニューラルネットワークが複数の中間ネットワークを含む場合、隠れ層の各ノードは、次の上位層内の、および次の下位層内の、各ノードに対して接続されることとなる。入力層の各ノードは、ニューラルネットワークに対する電位入力を表し、出力層の各ノードは、ニューラルネットワークからの電位出力を表す。あるノードから次の層内の別のノードに対する各接続は、重みまたはスコアと関連付けられてもよい。ニューラルネットワークは、単一の出力または可能性のある出力の重み付けされたセットを出力してもよい。異なるタイプのニューラルネットワーク、例えば、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、深層ニューラルネットワーク（ＤＮＮ）、長短期メモリ（ＬＳＴＭ）、および／または他のものを使用してもよい。
【0087】
ニューラルネットワークによる処理は、各ノード入力の学習された重みと、ネットワークの構造と、によって決定される。特定の入力が与えられると、ニューラルネットワークは、ネットワーク全体の出力層が計算されるまで、一度に１層ずつ出力を決定する。
【0088】
接続重みは、訓練時にニューラルネットワークによって最初に学習されることができ、与えられた入力が既知の出力と関連付けられる。訓練データのセットでは、様々な訓練例が、ネットワーク内へと供給される。各例では、通常、入力から出力までの正しい接続の重みを、１に設定し、すべての接続に対して、０の重みを与える。訓練データの例が、ニューラルネットワークによって処理された際には、入力が、ネットワークに対して送信されてもよく、関連付けられた出力と比較されることで、ネットワーク性能を標的性能と比較するための方法が決定されてもよい。バックプロパゲーションなどの訓練技術を使用して、ニューラルネットワークの重みを更新して、訓練データを処理する時にニューラルネットワークによって生じる誤差を低減してもよい。
【0089】
機械学習技術を適用するためには、機械学習プロセス自体を訓練する必要がある。この場合、第一のモデルまたは第二のモデルの一方などの機械学習構成要素を訓練するためには、訓練例に関する「グランドトゥルース」を確立する必要がある。機械学習において、「グランドトゥルース」という用語は、教師あり学習技術に関する訓練セットの分類の正解率を指す。バックプロパゲーション、統計学習、教師あり学習、半教師あり学習、確率学習、または他の既知の技術を含めた、様々な技術が、モデルを訓練するために使用されてもよい。
【0090】
図４は、システムとともに使用され得るデバイス４００を概念的に図示するブロック図である。図５は、映像データの処理、対象の行動の識別などを支援し得る、システム１０５などの遠隔装置の例示的な構成要素を概念的に図示したブロック図である。システム１０５は、１つまたは複数のサーバを含んでもよい。本明細書で使用された際には、「サーバ」は、サーバ／クライアントコンピューティング構造で理解されるような従来的なサーバを指し得るけれども、本明細書で説明する動作を補助し得る多数の異なるコンピューティング構成要素を指す場合もある。例えば、サーバは、物理的におよび／またはネットワークを介して他のデバイス／構成要素に対して接続されているとともにコンピューティング動作を実行し得るような、１つまたは複数の物理的コンピューティング構成要素（ラックサーバなど）を含んでもよい。サーバは、また、コンピュータシステムをエミュレートするとともに１つのデバイス上で実行されるまたは複数のデバイスにわたって実行される、１つまたは複数の仮想マシンを含んでもよい。サーバは、また、本明細書で説明する動作を実行するための、ハードウェア、ソフトウェア、ファームウェア、または同種のもの、に関する他の組合せを含んでもよい。サーバは、クライアントサーバモデル、コンピュータビューロモデル、グリッドコンピューティング技術、フォグコンピューティング技術、メインフレーム技術、ユーティリティコンピューティング技術、ピアツーピアモデル、サンドボックス技術、もしくは他のコンピューティング技術のうち１つまたは複数を使用して動作するように構成されてもよい。
【0091】
楕円データを決定するための１つまたは複数のシステム１０５、フレーム特徴を決定するための１つまたは複数のシステム１０５、周波数領域特徴を決定するための１つまたは複数のシステム１０５、時間領域特徴を決定するための１つまたは複数のシステム１０５、フレームベースの睡眠標識予測を決定するための１つまたは複数のシステム１０５、睡眠状態データを決定する１つまたは複数のシステム１０５など、複数のシステム１０５が本開示の全体システムに含まれてもよい。動作時には、これらのシステムのそれぞれは、以下でさらに説明するように、それぞれのデバイス１０５上に存在するコンピュータ可読命令およびコンピュータ実行可能命令を含んでもよい。
【0092】
これらのデバイス（４００／１０５）のそれぞれは、データおよびコンピュータ可読命令を処理するための中央処理装置（ＣＰＵ）を含み得る１つまたは複数のコントローラ／プロセッサ（４０４／５０４）と、それぞれのデバイスのデータおよび命令を格納するためのメモリ（４０６／５０６）と、を含んでもよい。メモリ（４０６／５０６）は、揮発性ランダムアクセスメモリ（ＲＡＭ）、不揮発性読み出し専用メモリ（ＲＯＭ）、不揮発性磁気抵抗メモリ（ＭＲＡＭ）、および／または他のタイプのメモリを、個々に含んでもよい。各デバイス（４００／１０５）は、また、データおよびコントローラ／プロセッサ実行可能命令を格納するためのデータ記憶構成要素（４０８／５０８）を含んでもよい。各データ記憶構成要素（４０８／５０８）は、磁気記憶装置、光記憶装置、ソリッドステートストレージなどの、１つまたは複数の不揮発性記憶タイプを個々に含んでもよい。各デバイス（４００／１０５）は、また、それぞれの入力／出力デバイスインターフェース（４０２／５０２）を介して、リムーバブルなもしくは外部の不揮発性メモリおよび／またはストレージ（リムーバブルメモリカード、メモリキードライブ、ネットワークストレージ等）に対して接続されてもよい。
【0093】
各デバイス（４００／１０５）およびその様々な構成要素を動作させるためのコンピュータ命令は、実行時にメモリ（４０６／５０６）を一時的な「作業」ストレージとして使用して、それぞれのデバイスのコントローラ／プロセッサ（４０４／５０４）によって実行されてもよい。デバイスのコンピュータ命令は、不揮発性メモリ（４０６／５０６）内に、ストレージ（４０８／５０８）内に、または外部デバイス内に、非一時的様式で格納されてもよい。代替的に、実行可能命令の一部または全部は、ソフトウェアに加えてまたはソフトウェアの代わりに、それぞれのデバイス上のハードウェアまたはファームウェア内に埋め込まれてもよい。
【0094】
各デバイス（４００／１０５）は、入力／出力デバイスインターフェース（４０２／５０２）を含む。以下でさらに説明するように、様々な構成要素が、入力／出力デバイスインターフェース（４０２／５０２）を介して接続されてもよい。加えて、各デバイス（４００／１０５）は、各デバイスの構成要素どうしの間でデータを伝送するためのアドレス／データバス（４２４／５２４）を含んでもよい。デバイス（４００／１０５）内の各構成要素は、また、バス（４２４／５２４）を介して他の構成要素に対して接続されることに加えて（またはその代わりに）、他の構成要素に対して直接的に接続されてもよい。
【0095】
図４を参照すると、デバイス４００は、スピーカ４１２、有線ヘッドセットもしくは無線ヘッドセット（図示せず）、またはオーディオを出力し得る他の構成要素といったようなオーディオ出力構成要素などの、様々な構成要素に対して接続する入力／出力デバイスインターフェース４０２を含んでもよい。デバイス４００は、追加的に、コンテンツを表示するためのディスプレイ４１６を含んでもよい。デバイス４００は、カメラ４１８をさらに含んでもよい。
【0096】
アンテナ４１４を介して、入力／出力デバイスインターフェース４０２は、無線ローカルエリアネットワーク（ＷＬＡＮ）（ＷｉＦｉなど）ラジオ、Ｂｌｕｅｔｏｏｔｈ、および／または、無線ネットワークラジオ、例えば、ロングタームエボリューション（ＬＴＥ）ネットワーク、ＷｉＭＡＸネットワーク、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワークなどの無線通信ネットワークと通信可能なラジオ、を介して、１つまたは複数のネットワーク１９９に対して接続されてもよい。イーサネットなどの有線接続も、また、サポートされてもよい。ネットワーク１９９を介して、システムは、ネットワーク環境にわたって分散されてもよい。Ｉ／Ｏデバイスインターフェース（４０２／５０２）は、また、サーバまたは他の構成要素の集合において、異なる物理サーバなどのデバイスどうしの間でデータを交換することを可能とする通信構成要素を含んでもよい。
【0097】
デバイス４００またはシステム１０５の構成要素は、それら自身の専用プロセッサ、メモリ、および／またはストレージを含んでもよい。代替的に、デバイス４００またはシステム１０５の構成要素の一つあるいは複数は、デバイス４００、またはシステム１０５の、Ｉ／Ｏインターフェース（４０２／５０２）、プロセッサ（４０４／５０４）、メモリ（４０６／５０６）、および／またはストレージ（４０８／５０８）を、それぞれ利用してもよい。
【0098】
上述のように、複数のデバイスが、単一のシステム内で採用されてもよい。このようなマルチデバイスシステムでは、デバイスのそれぞれは、システムの処理の異なる態様を実行するための異なる構成要素を含んでもよい。複数のデバイスは、重複した構成要素を含んでもよい。本明細書で説明するデバイス４００およびシステム１０５の構成要素は、例示的であり、スタンドアローンデバイスとして配置されてもよく、あるいは、より大きなデバイスまたはシステムの構成要素として全体的にもしくは部分的に含まれてもよい。
【0099】
本明細書で開示する概念は、例えば、汎用コンピューティングシステム、映像／画像処理システム、および分散コンピューティング環境を含めた、多数の異なるデバイスならびにコンピュータシステム内で適用されてもよい。
【0100】
本開示の上記の態様は、例示的であることを意味している。それらは、本開示の原理および用途を説明するために選択されたものであり、網羅的であることまたは本開示を限定することを意図するものではない。開示する態様に関する多くの修正および変形は、当業者には明らかであり得る。コンピュータおよび音声処理の分野における当業者であれば、本明細書で説明する構成要素およびプロセスステップが、他の構成要素もしくはステップに対して、または構成要素もしくはステップの組合せに対して、互換性があり得ること、それでもなお本開示の利点および利益を達成し得ることは、認識するはずである。その上、本開示が、本明細書で開示する特定の詳細およびステップの一部あるいは全部がなくても実施され得ることは、当業者には明らかなはずである。
【0101】
開示するシステムの態様は、コンピュータ方法として、または、メモリデバイスもしくは非一時的コンピュータ可読記憶媒体などの製造物品として、実装されてもよい。コンピュータ可読記憶媒体は、コンピュータによって可読であってもよく、コンピュータまたは他のデバイスに本開示で説明するプロセスを実行させるための命令を含んでもよい。コンピュータ可読記憶媒体は、揮発性コンピュータメモリ、不揮発性コンピュータメモリ、ハードドライブ、ソリッドステートメモリ、フラッシュドライブ、リムーバブルディスク、および／または他の媒体、によって実装されてもよい。加えて、システムの構成要素は、ファームウェアまたはハードウェアとして実装されてもよい。
【実施例】
【0102】
実施例１．マウス睡眠状態分類器モデルの開発
方法
動物飼育、手術、および実験セットアップ
１７匹のＣ５７ＢＬ／６Ｊ（Ｔｈｅ Ｊａｃｋｓｏｎ Ｌａｂｏｒａｔｏｒｙ、メリーランド州バーハーバー）オスマウスにおいて睡眠試験を実施した。Ｃ３Ｈ／ＨｅＪ（Ｔｈｅ Ｊａｃｋｓｏｎ Ｌａｂｏｒａｔｏｒｙ、米国メリーランド州バーハーバー）マウスも、特徴検査のために手術なしで撮像した。すべてのマウスは、１０～１２週齢で取得された。すべての動物試験は、実験動物の管理と使用に関して国立衛生研究所が公開したガイドラインに従って実施され、ペンシルバニア大学動物実験委員会によって承認された。試験方法は、以前に記載されたように行った［Ｐａｃｋ， Ａ．Ｉ． ｅｔ ａｌ． Ｐｈｙｓｉｏｌ． Ｇｅｎｏｍｉｃｓ． ２８（２）：２３２－２３８ （２００７）；ＭｃＳｈａｎｅ， Ｂ．Ｂ． ｅｔ ａｌ．， Ｓｌｅｅｐ． ３５（３）：４３３－４４２ （２０１２）］。
方法
動物飼育、手術、および実験セットアップ
１７匹のＣ５７ＢＬ／６Ｊ（Ｔｈｅ Ｊａｃｋｓｏｎ Ｌａｂｏｒａｔｏｒｙ、メリーランド州バーハーバー）オスマウスにおいて睡眠試験を実施した。Ｃ３Ｈ／ＨｅＪ（Ｔｈｅ Ｊａｃｋｓｏｎ Ｌａｂｏｒａｔｏｒｙ、米国メリーランド州バーハーバー）マウスも、特徴検査のために手術なしで撮像した。すべてのマウスは、１０～１２週齢で取得された。すべての動物試験は、実験動物の管理と使用に関して国立衛生研究所が公開したガイドラインに従って実施され、ペンシルバニア大学動物実験委員会によって承認された。試験方法は、以前に記載されたように行った［Ｐａｃｋ， Ａ．Ｉ． ｅｔ ａｌ． Ｐｈｙｓｉｏｌ． Ｇｅｎｏｍｉｃｓ． ２８（２）：２３２－２３８ （２００７）；ＭｃＳｈａｎｅ， Ｂ．Ｂ． ｅｔ ａｌ．， Ｓｌｅｅｐ． ３５（３）：４３３－４４２ （２０１２）］。
【0103】
簡潔に述べると、マウスを、蓋なし標準マウスケージ（６×６インチ）に個別に収容した。各ケージの高さを１２インチに延長し、マウスがケージから飛び出るのを防止した。この設計により、映像によるマウスの行動およびＥＧ／ＥＭＧ記録による睡眠／覚醒段階の同時評価が可能となった。動物に水および食物を自由に与え、１２時間の明暗サイクルを行った。明期の間、カゴの底部のルクスレベルは８０ルクスであった。ＥＥＧ記録のために、４つの銀ボール電極を、頭蓋骨（２つを前頭および２つを頭頂側頭）に配置した。ＥＭＧ記録については、２本の銀線を背側項筋に縫合した。すべてのリード線を頭蓋骨の中心に皮下に配設し、歯科用セメントで頭蓋骨に固定されたプラスチックソケットペデスタル（Ｐｌａｓｔｉｃｓ Ｏｎｅ、コネチカット州トーリントン）に接続した。電極は全身麻酔下で移植した。手術後、記録前に１０日間の回復期間を動物に与えた。
【0104】
ＥＥＧ／ＥＭＧ取得
ＥＥＧ／ＥＭＧの記録のために、Ｇｒａｓｓ Ｇａｍｍａ Ｓｏｆｔｗａｒｅ（Ａｓｔｒｏ－Ｍｅｄ、ロードアイランド州ウェストウォリック）を使用して未加工信号を読み取り、増幅した（２０，０００×）。ＥＥＧの信号フィルタ設定は、低カットオフ周波数が０．１Ｈｚおよび高カットオフ周波数が１００Ｈｚであった。ＥＭＧの信号フィルタ設定は、低カットオフ周波数が１０Ｈｚおよび高カットオフ周波数が１００Ｈｚであった。記録を、２５６Ｈｚサンプル／秒／チャネルでデジタル化した。
ＥＥＧ／ＥＭＧの記録のために、Ｇｒａｓｓ Ｇａｍｍａ Ｓｏｆｔｗａｒｅ（Ａｓｔｒｏ－Ｍｅｄ、ロードアイランド州ウェストウォリック）を使用して未加工信号を読み取り、増幅した（２０，０００×）。ＥＥＧの信号フィルタ設定は、低カットオフ周波数が０．１Ｈｚおよび高カットオフ周波数が１００Ｈｚであった。ＥＭＧの信号フィルタ設定は、低カットオフ周波数が１０Ｈｚおよび高カットオフ周波数が１００Ｈｚであった。記録を、２５６Ｈｚサンプル／秒／チャネルでデジタル化した。
【0105】
映像の取得
Ｒａｓｐｂｅｒｒｙ Ｐｉ ３モデルＢ（Ｒａｓｐｂｅｒｒｙ Ｐｉ Ｆｏｕｎｄａｔｉｏｎ、英国ケンブリッジ）の暗視セットアップを使用して、昼夜両方の条件で高品質の映像データを記録した。ＳａｉｎＳｍａｒｔ（ＳａｉｎＳｍａｒｔ、ネバダ州ラスベガス）赤外線暗視監視カメラを使用し、可視光がないときに場面を照らすために赤外線ＬＥＤを随伴した。カメラは、ホームケージの床の１８インチ上に取り付けられ、観察のためにマウスを上から見下ろす視界を提供した。日中は、映像データはカラーであった。夜間、映像データは白黒であった。ｖ４ｌ２－ｃｔｌキャプチャソフトウェアを使用して、１９２０×１０８０ピクセル解像度および３０フレーム／秒で映像を記録した。Ｖ４１２－ＣＴＬソフトウェアの態様に関する情報については、例えば、ｗｗｗ．ｋｅｒｎｅｌ．ｏｒｇ／ｄｏｃ／ｈｔｍｌ／ｌａｔｅｓｔ／ｕｓｅｒｓｐａｃｅ－ａｐｉ／ｍｅｄｉａ／ｖ４ｌ／ｖ４ｌ２．ｈｔｍｌまたは代替的に縮約版：ｗｗｗ．ｋｅｒｎｅｌ．ｏｒｇ／を参照されたい。
Ｒａｓｐｂｅｒｒｙ Ｐｉ ３モデルＢ（Ｒａｓｐｂｅｒｒｙ Ｐｉ Ｆｏｕｎｄａｔｉｏｎ、英国ケンブリッジ）の暗視セットアップを使用して、昼夜両方の条件で高品質の映像データを記録した。ＳａｉｎＳｍａｒｔ（ＳａｉｎＳｍａｒｔ、ネバダ州ラスベガス）赤外線暗視監視カメラを使用し、可視光がないときに場面を照らすために赤外線ＬＥＤを随伴した。カメラは、ホームケージの床の１８インチ上に取り付けられ、観察のためにマウスを上から見下ろす視界を提供した。日中は、映像データはカラーであった。夜間、映像データは白黒であった。ｖ４ｌ２－ｃｔｌキャプチャソフトウェアを使用して、１９２０×１０８０ピクセル解像度および３０フレーム／秒で映像を記録した。Ｖ４１２－ＣＴＬソフトウェアの態様に関する情報については、例えば、ｗｗｗ．ｋｅｒｎｅｌ．ｏｒｇ／ｄｏｃ／ｈｔｍｌ／ｌａｔｅｓｔ／ｕｓｅｒｓｐａｃｅ－ａｐｉ／ｍｅｄｉａ／ｖ４ｌ／ｖ４ｌ２．ｈｔｍｌまたは代替的に縮約版：ｗｗｗ．ｋｅｒｎｅｌ．ｏｒｇ／を参照されたい。
【0106】
映像およびＥＥＧ／ＥＭＧデータの同期
コンピュータクロック時間を使用して、映像およびＥＥＧ／ＥＭＧデータを同期した。ＥＥＧ／ＥＭＧデータ収集コンピュータをソースクロックとして使用した。ＥＥＧ／ＥＭＧコンピュータ上の既知の時点で、視覚的合図を映像に追加した。視覚的合図は、典型的には、映像中の２～３個のフレーム持続し、同期における可能性のある誤差が最大１００ミリ秒であり得ることを示唆している。ＥＥＧ／ＥＭＧデータを１０秒（１０ｓ）間隔で分析したため、時間的アライメントの可能性のある誤差は無視できるであろう。
コンピュータクロック時間を使用して、映像およびＥＥＧ／ＥＭＧデータを同期した。ＥＥＧ／ＥＭＧデータ収集コンピュータをソースクロックとして使用した。ＥＥＧ／ＥＭＧコンピュータ上の既知の時点で、視覚的合図を映像に追加した。視覚的合図は、典型的には、映像中の２～３個のフレーム持続し、同期における可能性のある誤差が最大１００ミリ秒であり得ることを示唆している。ＥＥＧ／ＥＭＧデータを１０秒（１０ｓ）間隔で分析したため、時間的アライメントの可能性のある誤差は無視できるであろう。
【0107】
訓練データのＥＥＧ／ＥＭＧ注釈
２４時間の同期映像およびＥＥＧ／ＥＭＧデータを、Ｊａｃｋｓｏｎ Ｌａｂｏｒａｔｏｒｙからの１０～１２週齢の１７匹のＣ５７ＢＬ／６Ｊオスマウスについて収集した。ＥＥＧ／ＥＭＧデータおよび映像の両方を１０秒のエポックに分割し、各エポックを訓練されたスコア記録者によってスコア化し、ＥＥＧおよびＥＭＧシグナルに基づいてレム、ノンレム、または覚醒段階として標識した。合計１７，７００個のＥＥＧ／ＥＭＧエポックを、ヒト専門家によってスコア化した。その中で、エポックの４８．３％＋／－６．９％が覚醒として、４７．６％＋／－６．７％がノンレムとして、４．１％＋／－１．２％がレム段階として注釈付けされた。加えて、ＳＰＩＮＤＬＥの方法を、第二の注釈のために適用した［Ｍｉｌａｄｉｎｏｖｉｃ, Ｄ. ｅｔ ａｌ．， ＰＬｏＳ Ｃｏｍｐｕｔ Ｂｉｏｌ． １５， ｅ１００６９６８ （２０１９）］。ヒト専門家と同様に、エポックの５２％は覚醒として、４４％はノンレムとして、４％はレムとして注釈付けされた。ＳＰＩＮＤＬＥは４秒（４ｓ）エポックを注釈付けしたので、３つの連続エポックを結合して１０秒エポックと比較し、３つの４秒エポックが変化しなかったときにのみエポックを比較した。特定のエポックが相関する場合、ヒトの注釈とＳＰＩＮＤＬＥの間の一致は、９２％（８９％覚醒、９５％ノンレム、８０％レム）であった。
２４時間の同期映像およびＥＥＧ／ＥＭＧデータを、Ｊａｃｋｓｏｎ Ｌａｂｏｒａｔｏｒｙからの１０～１２週齢の１７匹のＣ５７ＢＬ／６Ｊオスマウスについて収集した。ＥＥＧ／ＥＭＧデータおよび映像の両方を１０秒のエポックに分割し、各エポックを訓練されたスコア記録者によってスコア化し、ＥＥＧおよびＥＭＧシグナルに基づいてレム、ノンレム、または覚醒段階として標識した。合計１７，７００個のＥＥＧ／ＥＭＧエポックを、ヒト専門家によってスコア化した。その中で、エポックの４８．３％＋／－６．９％が覚醒として、４７．６％＋／－６．７％がノンレムとして、４．１％＋／－１．２％がレム段階として注釈付けされた。加えて、ＳＰＩＮＤＬＥの方法を、第二の注釈のために適用した［Ｍｉｌａｄｉｎｏｖｉｃ, Ｄ. ｅｔ ａｌ．， ＰＬｏＳ Ｃｏｍｐｕｔ Ｂｉｏｌ． １５， ｅ１００６９６８ （２０１９）］。ヒト専門家と同様に、エポックの５２％は覚醒として、４４％はノンレムとして、４％はレムとして注釈付けされた。ＳＰＩＮＤＬＥは４秒（４ｓ）エポックを注釈付けしたので、３つの連続エポックを結合して１０秒エポックと比較し、３つの４秒エポックが変化しなかったときにのみエポックを比較した。特定のエポックが相関する場合、ヒトの注釈とＳＰＩＮＤＬＥの間の一致は、９２％（８９％覚醒、９５％ノンレム、８０％レム）であった。
【0108】
データの前処理
映像データから開始して、前述のセグメンテーションニューラルネットワークアーキテクチャを適用して、マウスのマスクを生成した ［Ｗｅｂｂ Ｊ．Ｍ． ａｎｄ Ｆｕ Ｙ－Ｈ．， Ｃｕｒｒ． Ｏｐｉｎ． Ｎｅｕｒｏｂｉｏｌ． ６９：１９－２４ （２０２１）］。セグメンテーションネットワークを訓練するために、３１３個のフレームを注釈付けした。４×４のダイヤモンド膨張に続いて、５×５のダイヤモンド収縮フィルタを、未加工の予測セグメンテーションに適用した。これらの定常操作を使用して、セグメンテーション品質を改善した。予測セグメンテーションおよび結果として得られる楕円適合を用いて、表１に記載されるように、様々なフレーム当たりの画像測定信号を各フレームから抽出した。
映像データから開始して、前述のセグメンテーションニューラルネットワークアーキテクチャを適用して、マウスのマスクを生成した ［Ｗｅｂｂ Ｊ．Ｍ． ａｎｄ Ｆｕ Ｙ－Ｈ．， Ｃｕｒｒ． Ｏｐｉｎ． Ｎｅｕｒｏｂｉｏｌ． ６９：１９－２４ （２０２１）］。セグメンテーションネットワークを訓練するために、３１３個のフレームを注釈付けした。４×４のダイヤモンド膨張に続いて、５×５のダイヤモンド収縮フィルタを、未加工の予測セグメンテーションに適用した。これらの定常操作を使用して、セグメンテーション品質を改善した。予測セグメンテーションおよび結果として得られる楕円適合を用いて、表１に記載されるように、様々なフレーム当たりの画像測定信号を各フレームから抽出した。
【0109】
これらのすべての測定値（表１）は、ニューラルネットワーク予測セグメンテーションマスクにＯｐｅｎＣＶ輪郭関数を適用することによって計算した。使用したＯｐｅｎＣＶ関数には、ｆｉｔＥｌｌｉｐｓｅ、ｃｏｎｔｏｕｒＡｒｅａ、ａｒｃＬｅｎｇｔｈ、ｍｏｍｅｎｔｓ、およびｇｅｔＨｕＭｏｍｅｎｔｓが含まれた。ＯｐｅｎＣＶソフトウェアの詳細については、例えば、／／ｏｐｅｎｃｖ．ｏｒｇを参照されたい。エポック内のすべての測定信号値を使用して、２０個の周波数および時間領域特徴のセットを導出した（表２）。これらは、標準的な信号処理アプローチを使用して計算され、例示的なコード［ｇｉｔｈｕｂ．ｃｏｍ／ＫｕｍａｒＬａｂＪａｘ／ＭｏｕｓｅＳｌｅｅｐ］に見出すことができる。
【0110】
分類器の訓練
本来備わっているデータセットの不均衡、すなわち、レム睡眠と比較してより多くのノンレムのエポックのために、同数のレム、ノンレム、および覚醒エポックをランダムに選択して、バランスの取れたデータセットを生成した。交差検証アプローチを使用して、分類器の性能を評価した。訓練用のバランスの取れたデータセットからの動物１３匹からの全てのエポックを無作為に選択し、残りの４匹の動物からの不均衡なデータを試験に使用した。プロセスを１０回繰り返して、様々な正解率測定値を生成した。このアプローチにより、バランスの取れたデータで分類器を訓練することを上手く利用しながら、実際の不均衡なデータの性能を観察することができた。
本来備わっているデータセットの不均衡、すなわち、レム睡眠と比較してより多くのノンレムのエポックのために、同数のレム、ノンレム、および覚醒エポックをランダムに選択して、バランスの取れたデータセットを生成した。交差検証アプローチを使用して、分類器の性能を評価した。訓練用のバランスの取れたデータセットからの動物１３匹からの全てのエポックを無作為に選択し、残りの４匹の動物からの不均衡なデータを試験に使用した。プロセスを１０回繰り返して、様々な正解率測定値を生成した。このアプローチにより、バランスの取れたデータで分類器を訓練することを上手く利用しながら、実際の不均衡なデータの性能を観察することができた。
【0111】
処理後の予測
より大規模な時間情報を統合して予測品質を向上させるために、隠れマルコフモデル（ＨＭＭ）アプローチを適用した。ＨＭＭモデルは、睡眠状態移行の確率を統合することによって分類器によってなされた誤った予測を修正し、したがって、より正確な予測結果を得ることができる。ＨＭＭモデルの隠れた状態は、睡眠段階であるのに対し、観測量は、ＸｇＢｏｏｓｔアルゴリズムからの確率ベクトル結果から得られる。移行行列は、睡眠状態の訓練セットシーケンスに次いで、Ｖｉｔｅｒｂｉアルゴリズム［Ｖｉｔｅｒｂｉ ＡＪ （Ａｐｒｉｌ １９６７） ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ ｖｏｌ． １３（２）： ２６０-２６９］を適用し、ＸｇＢｏｏｓｔのアウトオブバッグクラス投票のシーケンスを考慮して、段階のシーケンスを推定することから、経験的に算出した。本研究では、移行行列は、３×３行列Ｔ＝｛Ｓ＿ｉｊ｝であり、式中、Ｓ＿ｉｊは、状態Ｓ＿ｉから状態Ｓ＿ｊへの移行確率を表した。Ｔ（表２）。
より大規模な時間情報を統合して予測品質を向上させるために、隠れマルコフモデル（ＨＭＭ）アプローチを適用した。ＨＭＭモデルは、睡眠状態移行の確率を統合することによって分類器によってなされた誤った予測を修正し、したがって、より正確な予測結果を得ることができる。ＨＭＭモデルの隠れた状態は、睡眠段階であるのに対し、観測量は、ＸｇＢｏｏｓｔアルゴリズムからの確率ベクトル結果から得られる。移行行列は、睡眠状態の訓練セットシーケンスに次いで、Ｖｉｔｅｒｂｉアルゴリズム［Ｖｉｔｅｒｂｉ ＡＪ （Ａｐｒｉｌ １９６７） ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ ｖｏｌ． １３（２）： ２６０-２６９］を適用し、ＸｇＢｏｏｓｔのアウトオブバッグクラス投票のシーケンスを考慮して、段階のシーケンスを推定することから、経験的に算出した。本研究では、移行行列は、３×３行列Ｔ＝｛Ｓ＿ｉｊ｝であり、式中、Ｓ＿ｉｊは、状態Ｓ＿ｉから状態Ｓ＿ｊへの移行確率を表した。Ｔ（表２）。
【0112】
分類器の性能分析
正解率の指標ならびに分類性能のいくつかの指標：適合率、再現率、およびＦ１スコアを使用して、性能を評価した。適合率は、所与の睡眠段階について分類器およびヒトスコア記録者の両方によって分類されたエポックと、その睡眠段階として分類器が割り当てたすべてのエポックとの比として定義された。再現率は、所与の睡眠段階について分類器およびヒトスコア記録者の両方によって分類されたエポックと、ヒトスコア記録者がその所与の睡眠段階として分類したエポックのすべてとの比として定義された。Ｆ１は、適合率と再現率を組み合わせて、再現率と適合率の調和平均を測定した。正解率および性能行列の平均および標準偏差を、１０分割交差検証から算出した。
正解率の指標ならびに分類性能のいくつかの指標：適合率、再現率、およびＦ１スコアを使用して、性能を評価した。適合率は、所与の睡眠段階について分類器およびヒトスコア記録者の両方によって分類されたエポックと、その睡眠段階として分類器が割り当てたすべてのエポックとの比として定義された。再現率は、所与の睡眠段階について分類器およびヒトスコア記録者の両方によって分類されたエポックと、ヒトスコア記録者がその所与の睡眠段階として分類したエポックのすべてとの比として定義された。Ｆ１は、適合率と再現率を組み合わせて、再現率と適合率の調和平均を測定した。正解率および性能行列の平均および標準偏差を、１０分割交差検証から算出した。
【0113】
結果
実験設計
図６Ａの概略図に示すように、本明細書に記載される研究の目的は、マウスの睡眠状態を分類するために映像データのみを使用することの妥当性を定量化することであった。実験パラダイムは、視覚的分類器を訓練および評価するための標識として、睡眠状態分類の現在の標準基準、ＥＥＧ／ＥＭＧ記録を利用するように設計された。全体で、同期されたＥＥＧ／ＥＭＧおよび映像データを１７匹のマウスについて記録した（動物当たり２４時間）。データを１０秒エポックに分割した。各エポックを、ヒト専門家によって手動でスコア化した。同時に、機械学習分類器で使用され得る映像データからの特徴を設計した。これらの特徴は、個々の映像フレームにおける動物の視覚的外観を記述したフレームごとの測定値に基づいて構築された（表１）。次いで、時間情報を統合し、機械学習分類器で使用するための特徴のセットを生成するために、信号処理技術をフレーム当たりの測定値に適用した（表２）。最後に、個々の動物を訓練および検証データセット（それぞれ８０：２０）に提供することによって、ヒトが標識したデータセットを分割した。訓練データセットを使用して、機械学習分類器を訓練して、映像の１０秒エポックを、覚醒、睡眠ノンレム、および睡眠レムの３つの状態に分類した。提供された動物のセットを、分類器の性能を定量化するために検証データセットで使用した。検証セットを訓練セットから分離するとき、示された動物のみについてうまく予測することを学習する代わりに、分類器が動物にわたってうまく一般化されたことを確実にするために、動物データ全体が提供された。
実験設計
図６Ａの概略図に示すように、本明細書に記載される研究の目的は、マウスの睡眠状態を分類するために映像データのみを使用することの妥当性を定量化することであった。実験パラダイムは、視覚的分類器を訓練および評価するための標識として、睡眠状態分類の現在の標準基準、ＥＥＧ／ＥＭＧ記録を利用するように設計された。全体で、同期されたＥＥＧ／ＥＭＧおよび映像データを１７匹のマウスについて記録した（動物当たり２４時間）。データを１０秒エポックに分割した。各エポックを、ヒト専門家によって手動でスコア化した。同時に、機械学習分類器で使用され得る映像データからの特徴を設計した。これらの特徴は、個々の映像フレームにおける動物の視覚的外観を記述したフレームごとの測定値に基づいて構築された（表１）。次いで、時間情報を統合し、機械学習分類器で使用するための特徴のセットを生成するために、信号処理技術をフレーム当たりの測定値に適用した（表２）。最後に、個々の動物を訓練および検証データセット（それぞれ８０：２０）に提供することによって、ヒトが標識したデータセットを分割した。訓練データセットを使用して、機械学習分類器を訓練して、映像の１０秒エポックを、覚醒、睡眠ノンレム、および睡眠レムの３つの状態に分類した。提供された動物のセットを、分類器の性能を定量化するために検証データセットで使用した。検証セットを訓練セットから分離するとき、示された動物のみについてうまく予測することを学習する代わりに、分類器が動物にわたってうまく一般化されたことを確実にするために、動物データ全体が提供された。
【表1】
【表2】
【0114】
フレーム当たりの特徴
コンピュータビジョン技術を適用して、各フレームのマウスの詳細な視覚的測定値を抽出した。使用された第一のコンピュータビジョン技術は、マウスピクセルと背景ピクセルに関連するピクセルのセグメンテーションであった（図６Ｂ）。セグメンテーションニューラルネットワークは、明暗条件、ならびにマウスアリーナに見られる移動敷床などの動的かつ困難な環境でうまく動作するアプローチとして訓練された［Ｗｅｂｂ， Ｊ．Ｍ． ａｎｄ Ｆｕ， Ｙ－Ｈ．， Ｃｕｒｒ． Ｏｐｉｎ． Ｎｅｕｒｏｂｉｏｌ． ６９：１９－２４ （２０２１）］。セグメンテーションはまた、各マウスの頭部上の器具から出るＥＥＧ／ＥＭＧケーブルの除去を可能にし、その結果、頭部の動きに関する情報を用いた視覚的測定値に影響を与えなかった。セグメンテーションネットワークは、マウスのみであったピクセルを予測し、そのため、測定値は、マウスの頭蓋骨に接続されたワイヤの動きではなく、マウスの動きのみに基づいていた。すべての映像からランダムにサンプリングされたフレームは、前述のネットワークを使用して、この高品質のセグメンテーションおよび楕円適合を達成するために注釈付けされた［Ｇｅｕｔｈｅｒ， Ｂ．Ｑ． ｅｔ ａｌ．， Ｃｏｍｍｕｎ． Ｂｉｏｌ． ２：１２４ （２０１９）］（図６Ｂ）。ニューラルネットワークは、マウスをセグメンテーションする良好な性能を達成するために、３１３個の注釈付きフレームのみを必要とした。オリジナルの映像上で、マウスではないと予測されるピクセルを赤で、マウスとして予測されるピクセルを青で色付けすることによる、セグメンテーションネットワーク（図示せず）の性能の例。セグメンテーションに続いて、マウスの形状および位置を記述した、ニューラルネットワーク予測セグメンテーションからの１６個の測定値を計算した（表１）。これらには、マウスの形状を記述した楕円適合からのマウスの大きい長さ、小さい長さ、および比が含まれた。マウスの位置（ｘ、ｙ）およびｘ、ｙの変化（ｄｘ、ｄｙ）を、楕円適合の中心について抽出した。セグメント化されたマウスの領域（ｍ００）、周囲、および回転不変の７つのＨｕ画像モーメント（ＨＵ０－６）［Ｓｃａｍｍｅｌｌ， Ｔ．Ｅ． ｅｔ ａｌ．， Ｎｅｕｒｏｎ． ９３（４）：７４７－７６５（２０１７）］も計算した。Ｈｕ画像モーメントは、中央画像モーメントの積分および線形結合を通したマウスのセグメンテーションの数値説明である［Ａｌｌａｄａ， Ｒ． ａｎｄ Ｓｉｅｇｅｌ， Ｊ．Ｍ． Ｃｕｒｒ． Ｂｉｏｌ． １８（１５）：Ｒ６７０－Ｒ６７９ （２００８）］。
コンピュータビジョン技術を適用して、各フレームのマウスの詳細な視覚的測定値を抽出した。使用された第一のコンピュータビジョン技術は、マウスピクセルと背景ピクセルに関連するピクセルのセグメンテーションであった（図６Ｂ）。セグメンテーションニューラルネットワークは、明暗条件、ならびにマウスアリーナに見られる移動敷床などの動的かつ困難な環境でうまく動作するアプローチとして訓練された［Ｗｅｂｂ， Ｊ．Ｍ． ａｎｄ Ｆｕ， Ｙ－Ｈ．， Ｃｕｒｒ． Ｏｐｉｎ． Ｎｅｕｒｏｂｉｏｌ． ６９：１９－２４ （２０２１）］。セグメンテーションはまた、各マウスの頭部上の器具から出るＥＥＧ／ＥＭＧケーブルの除去を可能にし、その結果、頭部の動きに関する情報を用いた視覚的測定値に影響を与えなかった。セグメンテーションネットワークは、マウスのみであったピクセルを予測し、そのため、測定値は、マウスの頭蓋骨に接続されたワイヤの動きではなく、マウスの動きのみに基づいていた。すべての映像からランダムにサンプリングされたフレームは、前述のネットワークを使用して、この高品質のセグメンテーションおよび楕円適合を達成するために注釈付けされた［Ｇｅｕｔｈｅｒ， Ｂ．Ｑ． ｅｔ ａｌ．， Ｃｏｍｍｕｎ． Ｂｉｏｌ． ２：１２４ （２０１９）］（図６Ｂ）。ニューラルネットワークは、マウスをセグメンテーションする良好な性能を達成するために、３１３個の注釈付きフレームのみを必要とした。オリジナルの映像上で、マウスではないと予測されるピクセルを赤で、マウスとして予測されるピクセルを青で色付けすることによる、セグメンテーションネットワーク（図示せず）の性能の例。セグメンテーションに続いて、マウスの形状および位置を記述した、ニューラルネットワーク予測セグメンテーションからの１６個の測定値を計算した（表１）。これらには、マウスの形状を記述した楕円適合からのマウスの大きい長さ、小さい長さ、および比が含まれた。マウスの位置（ｘ、ｙ）およびｘ、ｙの変化（ｄｘ、ｄｙ）を、楕円適合の中心について抽出した。セグメント化されたマウスの領域（ｍ００）、周囲、および回転不変の７つのＨｕ画像モーメント（ＨＵ０－６）［Ｓｃａｍｍｅｌｌ， Ｔ．Ｅ． ｅｔ ａｌ．， Ｎｅｕｒｏｎ． ９３（４）：７４７－７６５（２０１７）］も計算した。Ｈｕ画像モーメントは、中央画像モーメントの積分および線形結合を通したマウスのセグメンテーションの数値説明である［Ａｌｌａｄａ， Ｒ． ａｎｄ Ｓｉｅｇｅｌ， Ｊ．Ｍ． Ｃｕｒｒ． Ｂｉｏｌ． １８（１５）：Ｒ６７０－Ｒ６７９ （２００８）］。
【0115】
時間周波数特徴
次に、フレーム当たりの特徴を使用して、各１０秒エポックで時間および周波数ベースの分析を実施した。この分析により、信号処理技術を適用することによって、時間情報の統合が可能となった。表３に示すように、６つの時間領域特徴（尖度、平均、中央値、標準偏差、各信号の最大、および最小）および１４個の周波数領域特徴（パワースペクトル密度の尖度、パワースペクトル密度の歪度、０．１～１Ｈｚ、１～３Ｈｚ、３～５Ｈｚ、５～８Ｈｚ、８～１５Ｈｚの平均パワースペクトル密度、合計パワースペクトル密度、パワースペクトル密度の最大、最小、平均、および標準偏差）を、エポックの各フレーム当たりの特徴について抽出し、各１０秒エポックに対して、３２０個の合計特徴（１６個の測定値×２０個の時間－周波数特徴）という結果をもたらした。
次に、フレーム当たりの特徴を使用して、各１０秒エポックで時間および周波数ベースの分析を実施した。この分析により、信号処理技術を適用することによって、時間情報の統合が可能となった。表３に示すように、６つの時間領域特徴（尖度、平均、中央値、標準偏差、各信号の最大、および最小）および１４個の周波数領域特徴（パワースペクトル密度の尖度、パワースペクトル密度の歪度、０．１～１Ｈｚ、１～３Ｈｚ、３～５Ｈｚ、５～８Ｈｚ、８～１５Ｈｚの平均パワースペクトル密度、合計パワースペクトル密度、パワースペクトル密度の最大、最小、平均、および標準偏差）を、エポックの各フレーム当たりの特徴について抽出し、各１０秒エポックに対して、３２０個の合計特徴（１６個の測定値×２０個の時間－周波数特徴）という結果をもたらした。
【表3】
【0116】
これらのスペクトルウィンドウ特徴を視覚的に調べ、それらが覚醒状態、レム状態、およびノンレム状態の間で異なったかどうかを決定した。図７Ａ～Ｂは、覚醒状態、ノンレム状態、およびレム状態について時間および周波数領域が異なる、ｍ００（領域、図７Ａ）およびｗｌ＿ｒａｔｉｏ（楕円の長軸および短軸の幅長比、図７Ｂ）特徴の代表的エポック例を示す。ｍ００およびｗｌ＿ｒａｔｉｏの未加工信号は、ノンレムおよびレム状態で明確な振動を示し（左パネル、図７Ａおよび図７Ｂ）、これはＦＦＴ（中央パネル、図７Ａおよび図７Ｂ）および自己相関（右パネル、図７Ａおよび図７Ｂ）で見ることができる。ノンレムエポックでは単一の優位周波数が存在し、レムではより広いピークが存在した。加えて、ＦＦＴピーク周波数は、ノンレム（２．６Ｈｚ）とレム（２．９Ｈｚ）との間でわずかに変化し、概してより規則的かつ一貫した振動が、レムエポックよりもノンレムエポックにおいて観察された。したがって、特徴の初期調査により、睡眠状態間の差が明らかになり、視覚的睡眠分類器で使用するための有用な指標が特徴にコードされていたという確信がもたらされた。
【0117】
呼吸数
ヒトおよび齧歯類の両方における以前の研究は、呼吸および動きが睡眠段階間で異なることを実証している［Ｓｔｒａｄｌｉｎｇ， Ｊ．Ｒ． ｅｔ ａｌ．， Ｔｈｏｒａｘ． ４０（５）：３６４－３７０ （１９８５）； Ｇｏｕｌｄ， Ｇ．Ａ． ｅｔ ａｌ．， Ａｍ． Ｒｅｖ Ｒｅｓｐｉｒ． Ｄｉｓ． １３８（４）：８７４－８７７ （１９８８）；Ｄｏｕｇｌａｓ， Ｎ．Ｊ． ｅｔ ａｌ．， Ｔｈｏｒａｘ． ３７（１１）：８４０－８４４ （１９８２）；Ｋｉｒｊａｖａｉｎｅｎ， Ｔ． ｅｔ ａｌ．， Ｊ． Ｓｌｅｅｐ． Ｒｅｓ． ５（３）：１８６－１９４ （１９９６）；Ｆｒｉｅｄｍａｎ， Ｌ． ｅｔ ａｌ．， Ｊ． Ａｐｐｌ． Ｐｈｙｓｉｏｌ． ９７（５）：１７８７－１７９５ （２００４）］。ｍ００およびｗｌ＿ｒａｔｉｏの特徴を調べると、換気波形として現れた２．５～３Ｈｚの一貫した信号が発見された（図７Ａ～７Ｂ）。映像の調査により、呼吸による体形の変化および胸部サイズの変化が明らかになり、時間周波数特徴によって捕捉された可能性があった。この信号を可視化するために、ｗｌ＿ｒａｔｉｏ特徴に対して連続ウェーブレット変換（ＣＷＴ）スペクトログラムを実施した（図８Ａ、上部パネル）。これらのＣＷＴスペクトログラムからのデータを要約するために、ＣＷＴの優位信号を識別し（図８Ａ、それぞれの左下パネル）、信号の優位周波数のヒストグラム（図８Ａ、それぞれの右下パネル）をプロットした。優位信号に含まれる周波数の平均および分散を、対応するヒストグラムから計算した。
ヒトおよび齧歯類の両方における以前の研究は、呼吸および動きが睡眠段階間で異なることを実証している［Ｓｔｒａｄｌｉｎｇ， Ｊ．Ｒ． ｅｔ ａｌ．， Ｔｈｏｒａｘ． ４０（５）：３６４－３７０ （１９８５）； Ｇｏｕｌｄ， Ｇ．Ａ． ｅｔ ａｌ．， Ａｍ． Ｒｅｖ Ｒｅｓｐｉｒ． Ｄｉｓ． １３８（４）：８７４－８７７ （１９８８）；Ｄｏｕｇｌａｓ， Ｎ．Ｊ． ｅｔ ａｌ．， Ｔｈｏｒａｘ． ３７（１１）：８４０－８４４ （１９８２）；Ｋｉｒｊａｖａｉｎｅｎ， Ｔ． ｅｔ ａｌ．， Ｊ． Ｓｌｅｅｐ． Ｒｅｓ． ５（３）：１８６－１９４ （１９９６）；Ｆｒｉｅｄｍａｎ， Ｌ． ｅｔ ａｌ．， Ｊ． Ａｐｐｌ． Ｐｈｙｓｉｏｌ． ９７（５）：１７８７－１７９５ （２００４）］。ｍ００およびｗｌ＿ｒａｔｉｏの特徴を調べると、換気波形として現れた２．５～３Ｈｚの一貫した信号が発見された（図７Ａ～７Ｂ）。映像の調査により、呼吸による体形の変化および胸部サイズの変化が明らかになり、時間周波数特徴によって捕捉された可能性があった。この信号を可視化するために、ｗｌ＿ｒａｔｉｏ特徴に対して連続ウェーブレット変換（ＣＷＴ）スペクトログラムを実施した（図８Ａ、上部パネル）。これらのＣＷＴスペクトログラムからのデータを要約するために、ＣＷＴの優位信号を識別し（図８Ａ、それぞれの左下パネル）、信号の優位周波数のヒストグラム（図８Ａ、それぞれの右下パネル）をプロットした。優位信号に含まれる周波数の平均および分散を、対応するヒストグラムから計算した。
【0118】
以前の研究は、Ｃ５７ＢＬ／６Ｊマウスが、ノンレム状態中に２．５～３Ｈｚの呼吸数を有することを実証していた［Ｆｒｉｅｄｍａｎ，Ｌ．ｅｔ ａｌ．，Ｊ．Ａｐｐｌ． Ｐｈｙｓｉｏｌ． ９７（５）：１７８７－１７９５（２００４）； Ｆｌｅｕｒｙ Ｃｕｒａｄｏ， Ｔ． ｅｔ ａｌ．， Ｓｌｅｅｐ． ４１（８）：ｚｓｙ０８９ （２０１８）］。レムおよびノンレムの両方を含む長いひとしきりの睡眠（１０分）の調査では、ｗｌ＿ｒａｔｉｏ信号が、レムよりもノンレムでより顕著であったが、両方で明らかに存在したことが示された（図８Ｂ）。加えて、レム状態は、ノンレム状態よりも高くより変化しやすい呼吸数を引き起こしたので、信号は、レム状態の間、２．５～３．０Ｈｚの範囲内でより変化した。その睡眠姿勢を調整するなどの、マウスのより大きな動きによる、ノンレム状態のこの信号の低周波数ノイズも観察された。これは、ｗｌ＿ｒａｔｉｏ信号がマウス腹部の視覚的動きを捕捉していることを示唆した。
【0119】
呼吸数の検証
ｍ００およびｗｌ＿ｒａｔｉｏ特徴についてレムおよびノンレムエポックで観察された信号が腹部の動きであり、呼吸数と相関することを確認するために、遺伝子検証試験を実施した。Ｃ３Ｈ／ＨｅＪマウスは、Ｃ５７ＢＬ／６Ｊマウスの覚醒呼吸周波数よりもおよそ３０％少ない覚醒呼吸周波数を有し、Ｃ５７ＢＬ／６ＪおよびＣ３Ｈ／ＨｅＪについてそれぞれ、４．５Ｈｚ対３．１８Ｈｚ［Ｂｅｒｎｄｔ， Ａ． ｅｔ ａｌ．， Ｐｈｙｓｉｏｌ． Ｇｅｎｏｍｉｃｓ． ４３（１）：１－１１ （２０１１）］、３．０１対２．２７ Ｈｚ［Ｇｒｏｅｂｅｎ， Ｈ． ｅｔ ａｌ．， Ｂｒ． Ｊ． Ａｎａｅｓｔｈ． ９１（４）：５４１－５４５ （２００３）］、および２．６８ Ｈｚ対１．８８ Ｈｚ［Ｖｉｕｍ， Ｉｎｃ．， Ｂｒｅａｔｈｉｎｇ Ｒａｔｅ Ｃｈａｎｇｅｓ Ｍｏｎｉｔｏｒｅｄ Ｎｏｎ－Ｉｎｖａｓｉｖｅｌｙ ２４／７． （２０１９）］に及ぶことが以前に実証されている。機器を装着していないＣ３Ｈ／ＨｅＪマウス（オス５匹、メス５匹）を映像録画し、古典的な睡眠／覚醒の動きの経験則（移動した距離）［Ｐａｃｋ，Ａ．Ｉ．ｅｔ ａｌ． Ｐｈｙｓｉｏｌ． Ｇｅｎｏｍｉｃｓ． ２８（２）：２３２－２３８（２００７）］を適用して、睡眠エポックを識別した。エポックは、動きに対して最低１０％の分位数内で保守的に選択した。注釈付きＣ５７ＢＬ／６Ｊ ＥＥＧ／ＥＭＧデータを使用して、動きベースのカットオフが睡眠期間を正確に識別できることを確認した。Ｃ５７ＢＬ／６ＪマウスのＥＥＧ／ＥＭＧ注釈データを使用して、このカットオフは、主にノンレムおよびレムエポックを識別することが見出された（図９Ａ）。注釈付きデータにおいて選択されたエポックは、９０．２％のノンレム、８．１％のレム、および１．７％の覚醒エポックから構成された。したがって、予想通り、この移動性ベースのカットオフ方法は、睡眠／覚醒を正しく区別したが、レム／ノンレムは正しく区別しなかった。これらの低動作睡眠エポックから、ｗｌ＿ｒａｔｉｏ信号における優位周波数の平均値を計算した。この測定値は、胸部領域の動きに対するその感度のために選択された。各マウスの平均優位周波数の分布をプロットし、動物間で一貫した分布が観察された。例えば、Ｃ５７ＢＬ／６Ｊ動物は、２．２～２．８Ｈｚの平均周波数の振動範囲を有し、一方でＣ３Ｈ／ＨｅＪ動物は、１．５～２．０Ｈｚの範囲であり、Ｃ３Ｈ／ＨｅＪの呼吸数は、Ｃ５７ＢＬ／６Ｊの呼吸数よりも約３０％低かった。これは、２つの系統、すなわち、Ｃ５７ＢＬ／６ＪおよびＣ３Ｈ／ＨｅＪの間の統計的に有意な差であり（ｐ＜０．００１、図９Ｂ）、および以前に報告されたものと同様の範囲である［Ｂｅｒｎｄｔ， Ａ． ｅｔ ａｌ．， Ｐｈｙｓｉｏｌ． Ｇｅｎｏｍｉｃｓ． ４３（１）：１－１１（２０１１）； Ｇｒｏｅｂｅｎ，Ｈ．ｅｔ ａｌ．，Ｂｒ． Ｊ． Ａｎａｅｓｔｈ ９１（４）：５４１－５４５ （２００３）； Ｖｉｕｍ， Ｉｎｃ．， Ｂｒｅａｔｈｉｎｇ Ｒａｔｅ Ｃｈａｎｇｅｓ Ｍｏｎｉｔｏｒｅｄ Ｎｏｎ－Ｉｎｖａｓｉｖｅｌｙ ２４／７． （２０１９）］。したがって、この遺伝的検証方法を使用して、観察された信号は、呼吸数と強く相関すると結論付けられた。
ｍ００およびｗｌ＿ｒａｔｉｏ特徴についてレムおよびノンレムエポックで観察された信号が腹部の動きであり、呼吸数と相関することを確認するために、遺伝子検証試験を実施した。Ｃ３Ｈ／ＨｅＪマウスは、Ｃ５７ＢＬ／６Ｊマウスの覚醒呼吸周波数よりもおよそ３０％少ない覚醒呼吸周波数を有し、Ｃ５７ＢＬ／６ＪおよびＣ３Ｈ／ＨｅＪについてそれぞれ、４．５Ｈｚ対３．１８Ｈｚ［Ｂｅｒｎｄｔ， Ａ． ｅｔ ａｌ．， Ｐｈｙｓｉｏｌ． Ｇｅｎｏｍｉｃｓ． ４３（１）：１－１１ （２０１１）］、３．０１対２．２７ Ｈｚ［Ｇｒｏｅｂｅｎ， Ｈ． ｅｔ ａｌ．， Ｂｒ． Ｊ． Ａｎａｅｓｔｈ． ９１（４）：５４１－５４５ （２００３）］、および２．６８ Ｈｚ対１．８８ Ｈｚ［Ｖｉｕｍ， Ｉｎｃ．， Ｂｒｅａｔｈｉｎｇ Ｒａｔｅ Ｃｈａｎｇｅｓ Ｍｏｎｉｔｏｒｅｄ Ｎｏｎ－Ｉｎｖａｓｉｖｅｌｙ ２４／７． （２０１９）］に及ぶことが以前に実証されている。機器を装着していないＣ３Ｈ／ＨｅＪマウス（オス５匹、メス５匹）を映像録画し、古典的な睡眠／覚醒の動きの経験則（移動した距離）［Ｐａｃｋ，Ａ．Ｉ．ｅｔ ａｌ． Ｐｈｙｓｉｏｌ． Ｇｅｎｏｍｉｃｓ． ２８（２）：２３２－２３８（２００７）］を適用して、睡眠エポックを識別した。エポックは、動きに対して最低１０％の分位数内で保守的に選択した。注釈付きＣ５７ＢＬ／６Ｊ ＥＥＧ／ＥＭＧデータを使用して、動きベースのカットオフが睡眠期間を正確に識別できることを確認した。Ｃ５７ＢＬ／６ＪマウスのＥＥＧ／ＥＭＧ注釈データを使用して、このカットオフは、主にノンレムおよびレムエポックを識別することが見出された（図９Ａ）。注釈付きデータにおいて選択されたエポックは、９０．２％のノンレム、８．１％のレム、および１．７％の覚醒エポックから構成された。したがって、予想通り、この移動性ベースのカットオフ方法は、睡眠／覚醒を正しく区別したが、レム／ノンレムは正しく区別しなかった。これらの低動作睡眠エポックから、ｗｌ＿ｒａｔｉｏ信号における優位周波数の平均値を計算した。この測定値は、胸部領域の動きに対するその感度のために選択された。各マウスの平均優位周波数の分布をプロットし、動物間で一貫した分布が観察された。例えば、Ｃ５７ＢＬ／６Ｊ動物は、２．２～２．８Ｈｚの平均周波数の振動範囲を有し、一方でＣ３Ｈ／ＨｅＪ動物は、１．５～２．０Ｈｚの範囲であり、Ｃ３Ｈ／ＨｅＪの呼吸数は、Ｃ５７ＢＬ／６Ｊの呼吸数よりも約３０％低かった。これは、２つの系統、すなわち、Ｃ５７ＢＬ／６ＪおよびＣ３Ｈ／ＨｅＪの間の統計的に有意な差であり（ｐ＜０．００１、図９Ｂ）、および以前に報告されたものと同様の範囲である［Ｂｅｒｎｄｔ， Ａ． ｅｔ ａｌ．， Ｐｈｙｓｉｏｌ． Ｇｅｎｏｍｉｃｓ． ４３（１）：１－１１（２０１１）； Ｇｒｏｅｂｅｎ，Ｈ．ｅｔ ａｌ．，Ｂｒ． Ｊ． Ａｎａｅｓｔｈ ９１（４）：５４１－５４５ （２００３）； Ｖｉｕｍ， Ｉｎｃ．， Ｂｒｅａｔｈｉｎｇ Ｒａｔｅ Ｃｈａｎｇｅｓ Ｍｏｎｉｔｏｒｅｄ Ｎｏｎ－Ｉｎｖａｓｉｖｅｌｙ ２４／７． （２０１９）］。したがって、この遺伝的検証方法を使用して、観察された信号は、呼吸数と強く相関すると結論付けられた。
【0120】
遺伝学による呼吸周波数の全体的な変化に加えて、睡眠中の呼吸は、ヒトおよび齧歯類の両方において、レムよりもノンレム中はより組織化され、変動が少ないことが示されている［Ｍａｎｇ， Ｇ．Ｍ． ｅｔ ａｌ．， Ｓｌｅｅｐ． ３７（８）：１３８３－１３９２ （２０１４）； Ｔｅｒｚａｎｏ， Ｍ．Ｇ． ｅｔ ａｌ．， Ｓｌｅｅｐ． ８（２）：１３７－１４５ （１９８５）］。検出された呼吸信号は、ノンレムエポックよりもレムエポックにおいてより大きな変動を示すであろうと仮定された。ＥＥＧ／ＥＥＧ注釈付きＣ５７ＢＬ／６Ｊデータを調べて、レム状態およびノンレム状態にわたるエポックにおいてＣＷＴピーク信号の変動の変化があったかどうかを決定した。Ｃ５７ＢＬ／６Ｊデータのみを使用して、エポックをノンレムおよびレム状態によって分割し、ＣＷＴピーク信号の変動を観察した（図９Ｃ）。ノンレム状態は、この信号のより小さな標準偏差を示し、一方でレム状態は、より広く高いピークを有した。ノンレム状態は、複数の分布を含むように見え、おそらくは、ノンレム睡眠状態の再分割を示す［Ｋａｔｓａｇｅｏｒｇｉｏｕ， Ｖ－Ｍ． ｅｔ ａｌ．， ＰＬｏＳ Ｂｉｏｌ． １６（５）：ｅ２００３６６３ （２０１８）］。ノンレム分布のこの奇妙な形状が、複数の動物からのデータを組み合わせたアーチファクトではないことを確認するために、各動物についてデータをプロットしたところ、各マウスが、ノンレムからレム状態への標準偏差の増加を示した（図９Ｄ）。個々の動物はまた、この尾の長いノンレム分布を示した。これらの実験の両方は、観察された信号が呼吸数信号であることを示した。これらの結果は、良好な分類器の性能を示唆した。
【0121】
分類
最後に、機械学習分類器を訓練し、３２０の視覚的特徴を使用して睡眠状態を予測した。検証のために、映像内の相関データによって導入される可能性のあるすべてのバイアスを避けるために、動物からのすべてのデータを提供した。訓練および試験正解率の計算のために、どの動物が提供されるかをシャッフリングすることによって１０分割交差検証を実施した。本明細書の上記の材料および方法に記載されるようにバランスの取れたデータセットを作成し、ＸｇＢｏｏｓｔ、ランダムフォレスト、ＭＬＰ、ロジスティック回帰、およびＳＶＤを含む複数の分類アルゴリズムを比較した。性能は分類器間で大きく異なることが観察された（表４）。ＸｇＢｏｏｓｔおよびランダムフォレストの両方が、提供試験データにおいて良好な正確度を達成した。しかしながら、ランダムフォレストアルゴリズムは、１００％の訓練正解率を達成し、訓練データを過剰適合したことを示した。全体として、最も性能の高いアルゴリズムは、ＸｇＢｏｏｓｔ分類器であった。
最後に、機械学習分類器を訓練し、３２０の視覚的特徴を使用して睡眠状態を予測した。検証のために、映像内の相関データによって導入される可能性のあるすべてのバイアスを避けるために、動物からのすべてのデータを提供した。訓練および試験正解率の計算のために、どの動物が提供されるかをシャッフリングすることによって１０分割交差検証を実施した。本明細書の上記の材料および方法に記載されるようにバランスの取れたデータセットを作成し、ＸｇＢｏｏｓｔ、ランダムフォレスト、ＭＬＰ、ロジスティック回帰、およびＳＶＤを含む複数の分類アルゴリズムを比較した。性能は分類器間で大きく異なることが観察された（表４）。ＸｇＢｏｏｓｔおよびランダムフォレストの両方が、提供試験データにおいて良好な正確度を達成した。しかしながら、ランダムフォレストアルゴリズムは、１００％の訓練正解率を達成し、訓練データを過剰適合したことを示した。全体として、最も性能の高いアルゴリズムは、ＸｇＢｏｏｓｔ分類器であった。
【表4】
【0122】
覚醒、ノンレム、およびレム状態間の移行は、ランダムではなく、一般的に予想されるパターンに従う。例えば、覚醒は一般的にノンレムに移行し、これはその後、レム睡眠に移行する。隠れマルコフモデルは、睡眠状態間の依存関係をモデル化するための理想的な候補である。所与の状態における移行確率行列および発生確率は、訓練データを使用して学習される。ＨＭＭモデルを追加することによって、全体的な分類器の正解率が、０．８３９＋／－０．０２２から０．９０６＋／－０．０２１に７％改善したことが観察された（図１０Ａ、＋ＨＭＭ）。
【0123】
分類器の性能を高めるために、Ｈｕモーメント測定値を、分類のための入力特徴に含めるためにセグメンテーションから採用した［Ｈｕ， Ｍ－Ｋ． ＩＲＥ Ｔｒａｎｓ Ｉｎｆ Ｔｈｅｏｒｙ． ８（２）：１７９－１８７ （１９６２）］。これらの画像モーメントは、中央画像モーメントの積分および線形結合を通したマウスのセグメンテーションの数値説明であった。Ｈｕモーメント特徴の追加は、交差検証性能の変動が０．９０６＋／－０．０２１から０．９１３＋／－０．０１９に減少することによって、全体的な正解率のわずかな増加および分類器の堅牢性の増加を達成した（図１０Ａ、＋Ｈｕモーメント）。
【0124】
ＥＥＧ／ＥＭＧスコアリングは、訓練を受けたヒト専門家によって実施されたが、訓練された注釈者の間にはしばしば不一致がある［Ｐａｃｋ， Ａ．Ｉ． ｅｔ ａｌ． Ｐｈｙｓｉｏｌ． Ｇｅｎｏｍｉｃｓ． ２８（２）：２３２－２３８ （２００７）］。実際に、２人の専門家は、概して、レムおよびノンレムについて８８～９４％の確率でのみ一致した［Ｐａｃｋ， Ａ．Ｉ． ｅｔ ａｌ． Ｐｈｙｓｉｏｌ． Ｇｅｎｏｍｉｃｓ． ２８（２）：２３２－２３８（２００７）］。最近公開された機械学習方法を使用して、ＥＥＧ／ＥＭＧデータをスコア化して、ヒトスコア記録者からのデータを補完した［Ｍｉｌａｄｉｎｏｖｉｃ, Ｄ. ｅｔ ａｌ．， ＰＬｏＳ Ｃｏｍｐｕｔ． Ｂｉｏｌ． １５（４）：ｅ１００６９６８ （２０１９）］。ＳＰＩＮＤＬＥ注釈とヒト注釈を比較し、全エポックの９２％で一致することが見出された。次いで、ヒトおよび機械ベースの方法の両方が一致したエポックのみを、視覚的分類器訓練の標識として使用した。ＳＰＩＮＤＬＥおよびヒトが一致したエポックのみを使用した分類器の訓練により、正解率がさらに１％増加した（図１０Ａ、＋フィルタ注釈）。したがって、最終分類器は、０．９２＋／－０．０５の３状態分類正解率を達成した。
【0125】
使用した分類特徴を調査して、どれが最も重要であったかを決定した。マウスの領域および動き測定値が、最も重要な特徴として識別された（図１０Ｂ）。制限することを意図するものではないが、動きがバイナリ睡眠覚醒分類アルゴリズムで使用される唯一の特徴であるため、この結果が観察されたと考えられる。加えて、上位５つの特徴のうちの３つは、低周波数（０．１～１．０Ｈｚ）パワースペクトル密度であった（図７Ａおよび図７Ｂ、ＦＦＴ列）。さらに、覚醒エポックは、低周波数で最もパワーを有し、レムは、低周波数で低パワーを有し、ノンレムは、低周波数信号で最小パワーを有したことも観察された。
【0126】
最も性能の高い分類器を使用して、良好な性能が観察された（図１０Ｃ）。図１０Ｃに示す行列の行は、ヒトスコア記録者によって割り当てられた睡眠状態を表し、列は分類器によって割り当てられた段階を表す。覚醒は９６．１％の正解率でクラスの中で最も高い正解率を有した。行列の対角線外を観察することによって、分類器は、睡眠状態間よりも、いずれかの睡眠状態から覚醒を区別することにおいてより良好に機能し、ノンレムからレムを区別することは困難な作業であったことを示す。
【0127】
最終分類器では、平均０．９２＋／－０．０５の全体的正解率が達成された。覚醒段階の予測正解率は０．９７＋／－０．０１であり、平均適合再現率は０．９８であった。ノンレム段階の予測正解率は０．９２＋／０．０４であり、平均適合再現率は０．９３であった。レム段階の予測正解率は０．８８＋／－０．０５であり、平均適合再現率は０．５３５であった。レムに対するより低い適合再現率は、レム段階として標識されたエポックの割合が非常に少なかったためであった（４％）。
【0128】
予測正解率に加えて、適合率、再現率、およびＦ１スコアを含む性能指標を測定して、１０分割交差検証からモデルを評価した（図１０Ｄ）。不均衡なデータを考慮すると、適合率－再現率は分類器性能に対するより良い指標であった［Ｐｏｗｅｒｓ， Ｄ．Ｍ．Ｗ．， Ｊ． Ｍａｃｈ． Ｌｅａｒｎ． Ｔｅｃｈｎｏｌ． ２（１）：３７－６３ （２０１１） ＡｒＸｉｖ：２０１０．１６０６１；Ｓａｉｔｏ， Ｔ． ａｎｄ Ｒｅｈｍｓｍｅｉｅｒ， Ｍ． ＰＬｏＳ ＯＮＥ． １０（３）：ｅ０１１８４３２ （２０１５）］。適合率は、正しく予測された陽性項目の割合を測定し、一方で再現率は、正しく識別された実際の陽性の割合を測定した。Ｆ１スコアは、適合率および再現率の加重平均であった。
ＴＰ、ＴＮ、ＦＰ、およびＦＮはそれぞれ真陽性、真陰性、偽陽性、および偽陰性である。
【数1】
【数2】
【数3】
【0129】
最終分類器は、覚醒状態およびノンレム状態の両方に対して優れていた。しかしながら、レム段階について最も不良な性能が指摘され、０．５３５の適合率および０．６６４のＦ１を有した。誤って分類された段階の大部分は、ノンレムとレムの間であった。レム状態は少数クラス（データセットの４％のみ）であったため、比較的小さな偽陽性率でさえも、まれな真陽性を圧倒するであろう多数の偽陽性を引き起こすことになる。例えば、レム期間の９．７％は、視覚的分類器によってノンレムとして誤って識別され、予測されたレム期間の７．１％は、実際にはノンレムであった（図１０Ｃ）。これらの誤分類誤差は小さいように思われるが、レムとノンレムの間の不均衡により、分類器の適合率に不釣り合いに影響を与える可能性がある。これにもかかわらず、分類器はまた、検証データセットに存在するレムエポックの８９．７％を正しく識別することができた。
【0130】
ＥＥＧ／ＥＭＧ記録の他の既存の代替案の文脈内で、このモデルは性能が優れていた。表５は、以前に報告されたモデルのそれぞれの性能を、本明細書に記載の分類器モデルの性能と比較している。以前に報告されたモデルの各々は、異なる特徴を有する異なるデータセットを使用したことに留意されたい。特に、ピエゾシステムは、偽陽性の可能性が低いために、より高い適合率を示し得るバランスの取れたデータセットで評価された。本明細書で開発された分類器アプローチは、覚醒およびノンレム状態予測のための全てのアプローチよりも優れていた。レム予測は、全てのアプローチに対してより困難な作業であった。機械学習アプローチのうち、本明細書に記載のモデルは、最高の正解率を達成した。図１１Ａおよび図１１Ｂは、我々の分類器と、ヒト専門家による手動スコアリングの視覚的性能比較を示す（ヒプノグラム）。ｘ軸は時間であり、連続エポックからなり、ｙ軸は３つの段階に対応する。各サブ図について、上のパネルはヒトのスコアリング結果を表し、下のパネルは分類器のスコアリング結果を表す。ヒプノグラムは、単離された偽陽性の頻度と共に、段階間の正確な移行を示す（図１１Ａ）。また、２４時間にわたる単一の動物についての視覚的およびヒトスコアリングもプロットする（図１１Ｂ）。ラスタープロットは、状態分類間のより優れた全体的な相関を示す（図１１Ｂ）。次いで、Ｃ５７ＢＬ／６Ｊ動物すべてを、ヒトＥＥＧ／ＥＭＧスコアリングと視覚スコアリングの間で比較する（図１１Ｃ、Ｄ）。すべての状態にわたって高い相関が観察され、我々の視覚的分類器スコアリング結果がヒトスコアと一致すると結論付ける。
【表5】
【0131】
分類器性能を改善するために、様々なデータ拡張アプローチも試みた。２４時間における異なる睡眠状態の割合は、著しく不均衡であった（覚醒４８％、ノンレム４８％、およびレム４％）。時系列データに使用される典型的な拡張技術には、ジッタリング、スケーリング、回転、並べ替え、およびクロッピングが含まれる。これらの方法は、互いに組み合わせて適用することができる。分類正解率は、４つのデータ拡張技術を組み合わせることにより訓練データを拡張することによって増加させ得ることが以前に示されている［Ｒａｓｈｉｄ， Ｋ．Ｍ． ａｎｄ Ｌｏｕｉｓ， Ｊ． Ａｄｖ Ｅｎｇ Ｉｎｆｏｒｍ． ４２：１００９４４ （２０１９）］。しかしながら、時系列から抽出された特徴はスペクトル組成に依存していたため、分類器を改善するために、動的時間伸縮ベースのアプローチを使用して訓練データセットのサイズを拡張する［Ｆａｗａｚ， Ｈ．Ｉ．， ｅｔ ａｌ．， ａｒＸｉｖ ：１８０８：０２４５５］ことが決定された。データ拡張後、データセットのサイズは（１４Ｋエポックから１７Ｋエポックに）約２５％増加した。拡張アルゴリズムを通してデータを追加することで、予測正解率が低下することが観察された。覚醒状態、ノンレム状態、およびレム状態の平均予測平均は、７７％、３４％、および３１％であった。いかなる特定の理論にも束縛されることを望むものではないが、データ拡張後の性能は、レム状態データからのより多くのノイズの導入および分類器の性能の低下に起因し得る。性能は、１０分割交差検証で示された。このデータ拡張適用の結果を図１２および表６に示す（表６は、データ拡張の数値結果を示す）。このデータ拡張アプローチは、分類器性能を改善しなかったため、さらに追求しなかった。全体として、視覚的睡眠状態分類器は、視覚的データのみを使用して、睡眠状態を正確に識別することができた。ＨＭＭ、Ｈｕモーメント、および非常に正確な標識を含めることは、性能を改善した一方、動的時間伸縮および動作増幅を使用したデータ拡張は、性能を改善しなかった。
【表6】
【0132】
考察
睡眠障害は、多くの疾患の特徴であり、モデル生物におけるハイスループット研究は、新しい治療薬の発見のために重要である［Ｗｅｂｂ， Ｊ．Ｍ． ａｎｄ Ｆｕ， Ｙ－Ｈ．， Ｃｕｒｒ． Ｏｐｉｎ． Ｎｅｕｒｏｂｉｏｌ． ６９：１９－２４ （２０２１）； Ｓｃａｍｍｅｌｌ，Ｔ．Ｅ．ｅｔ ａｌ．，Ｎｅｕｒｏｎ． ９３（４）：７４７－７６５ （２０１７）； Ａｌｌａｄａ， Ｒ． ａｎｄ Ｓｉｅｇｅｌ， Ｊ．Ｍ． Ｃｕｒｒ． Ｂｉｏｌ． １８（１５）：Ｒ６７０－Ｒ６７９ （２００８）］。マウスにおける睡眠研究は、手術の実施、回復時間、および記録されたＥＥＧ／ＥＭＧ信号のスコアリングのための時間投資により、大規模に実施することが困難である。本明細書に記載されるシステムは、マウスの睡眠行動のＥＥＧ／ＥＭＧスコアリングの低コストの代替手段を提供し、研究者が、以前はコストがひどく高かったであろうより大きなスケールの睡眠実験を行うことを可能にする。以前のシステムは、こうした実験を実施するために提案されてきたが、覚醒状態と睡眠状態とを適切に区別することのみが示されている。本明細書に記載されるシステムは、これらのアプローチに基づいて構築され、睡眠状態をレムおよびノンレム状態に区別することもできる。
睡眠障害は、多くの疾患の特徴であり、モデル生物におけるハイスループット研究は、新しい治療薬の発見のために重要である［Ｗｅｂｂ， Ｊ．Ｍ． ａｎｄ Ｆｕ， Ｙ－Ｈ．， Ｃｕｒｒ． Ｏｐｉｎ． Ｎｅｕｒｏｂｉｏｌ． ６９：１９－２４ （２０２１）； Ｓｃａｍｍｅｌｌ，Ｔ．Ｅ．ｅｔ ａｌ．，Ｎｅｕｒｏｎ． ９３（４）：７４７－７６５ （２０１７）； Ａｌｌａｄａ， Ｒ． ａｎｄ Ｓｉｅｇｅｌ， Ｊ．Ｍ． Ｃｕｒｒ． Ｂｉｏｌ． １８（１５）：Ｒ６７０－Ｒ６７９ （２００８）］。マウスにおける睡眠研究は、手術の実施、回復時間、および記録されたＥＥＧ／ＥＭＧ信号のスコアリングのための時間投資により、大規模に実施することが困難である。本明細書に記載されるシステムは、マウスの睡眠行動のＥＥＧ／ＥＭＧスコアリングの低コストの代替手段を提供し、研究者が、以前はコストがひどく高かったであろうより大きなスケールの睡眠実験を行うことを可能にする。以前のシステムは、こうした実験を実施するために提案されてきたが、覚醒状態と睡眠状態とを適切に区別することのみが示されている。本明細書に記載されるシステムは、これらのアプローチに基づいて構築され、睡眠状態をレムおよびノンレム状態に区別することもできる。
【0133】
本明細書に記載されるシステムは、睡眠中のマウスの動きおよび姿勢の感度の高い測定を達成する。このシステムは、視覚的測定値のみを使用して、マウスの呼吸数と相関する特徴を観察することが示されている。この感度レベルを達成できる以前に公開されたシステムには、プレチスモグラフィー［Ｂａｓｔｉａｎｉｎｉ， Ｓ． ｅｔ ａｌ．， Ｓｃｉ． Ｒｅｐ． ７：４１６９８ （２０１７）］またはピエゾシステム［Ｍａｎｇ， Ｇ．Ｍ． ｅｔ ａｌ．， Ｓｌｅｅｐ． ３７（８）：１３８３－１３９２ （２０１４）； Ｙａｇｈｏｕｂｙ， Ｆ．， ｅｔ ａｌ．， Ｊ． Ｎｅｕｒｏｓｃｉ． Ｍｅｔｈｏｄｓ． ２５９：９０－１００ （２０１６）］を含む。加えて、本明細書では、使用される特徴に基づいて、この新規システムは、ノンレム睡眠エポックのサブクラスターを識別することができ得ることが示されており、これはマウス睡眠の構造をさらに解き明かす可能性がある。
【0134】
結論として、マウスにおける睡眠状態決定のための、本明細書に上述されるハイスループットの、非侵襲的な、コンピュータビジョンベースの方法は、社会に有用である。
【0135】
等価物
本発明のいくつかの実施形態が本明細書に説明および図示されているが、当業者であれば、機能を実施するための、ならびに／あるいは、本明細書で説明する結果および／または１つまたは複数の利点を取得するための、様々な他の手段および／または構造を容易に思い描くことができ、このような変形および／または修正のそれぞれは、本発明の範囲内であると見なされる。より一般的には、当業者であれば、本明細書で説明するすべてのパラメータ、寸法、材料、および構成が、例示的であることを意味していることは、また、実際のパラメータ、寸法、材料、および／または構成が、本発明の教示が使用される特定の１つまたは複数の用途に依存することは、容易に理解されよう。当業者であれば、本明細書で説明する本発明の特定の実施形態に対する多くの等価物を理解されよう、あるいは、それら等価物を、日常的な実験のみを使用して確認し得るであろう。したがって、前述の実施形態が、例示のみによって提示されていることは、理解されよう、また、添付の特許請求の範囲内においておよびその等価物の範囲内において、本発明が、具体的に記載されて特許請求の範囲に記載されているもの以外の方法で実施され得ることは、理解されよう。 本発明は、本明細書で説明する個々の、特徴、システム、物品、材料、および／または方法、を対象とする。加えて、そのような特徴、システム、物品、材料、および／または方法が相互に矛盾しない場合には、２つ以上のそのような特徴、システム、物品、材料、および／または方法に関する任意の組合せは、本発明の範囲内に含まれる。本明細書で定義して使用されるすべての定義が、辞書の定義、参照により援用される文書における定義、および／または、定義された用語に関する通常的な意味合いを統制することは、理解されよう。
本発明のいくつかの実施形態が本明細書に説明および図示されているが、当業者であれば、機能を実施するための、ならびに／あるいは、本明細書で説明する結果および／または１つまたは複数の利点を取得するための、様々な他の手段および／または構造を容易に思い描くことができ、このような変形および／または修正のそれぞれは、本発明の範囲内であると見なされる。より一般的には、当業者であれば、本明細書で説明するすべてのパラメータ、寸法、材料、および構成が、例示的であることを意味していることは、また、実際のパラメータ、寸法、材料、および／または構成が、本発明の教示が使用される特定の１つまたは複数の用途に依存することは、容易に理解されよう。当業者であれば、本明細書で説明する本発明の特定の実施形態に対する多くの等価物を理解されよう、あるいは、それら等価物を、日常的な実験のみを使用して確認し得るであろう。したがって、前述の実施形態が、例示のみによって提示されていることは、理解されよう、また、添付の特許請求の範囲内においておよびその等価物の範囲内において、本発明が、具体的に記載されて特許請求の範囲に記載されているもの以外の方法で実施され得ることは、理解されよう。 本発明は、本明細書で説明する個々の、特徴、システム、物品、材料、および／または方法、を対象とする。加えて、そのような特徴、システム、物品、材料、および／または方法が相互に矛盾しない場合には、２つ以上のそのような特徴、システム、物品、材料、および／または方法に関する任意の組合せは、本発明の範囲内に含まれる。本明細書で定義して使用されるすべての定義が、辞書の定義、参照により援用される文書における定義、および／または、定義された用語に関する通常的な意味合いを統制することは、理解されよう。
【0136】
本明細書および特許請求の範囲において本明細書で使用された際には、不定冠詞「ａ」および「ａｎ」が、明確に反対の趣旨が示されていない限り、「少なくとも１つの」を意味することは、理解されよう。本明細書および特許請求の範囲において本明細書で使用された際には、「および／または」という語句が、そのように結合される要素の「いずれかまたは両方」を、すなわち、一部の事例では結合的に存在しており他の事例には分離的に存在している要素の「いずれかまたは両方」を、意味することは、理解されよう。明示的にこれと異なることが示される場合を除き、具体的に識別された要素と関連しているかまたは無関係であるかに関わらず、他の要素は、任意選択的に、「および／または」という語句によって具体的に識別された要素以外に存在してもよい。
【0137】
本明細書で使用される、とりわけ「ｃａｎ」、「ｃｏｕｌｄ」、「ｍｉｇｈｔ」、「ｍａｙ」、「ｅ．ｇ．，」、および同種のものなどの、条件付き文言は、特に別段の記載がない限りまたは使用される文脈内で別途に理解されない限り、特定の実施形態が、特定の特徴、要素および／またはステップを含む一方で、他の実施形態はそれらを含まないことを伝えることが概して意図されている。よって、このような条件付き文言は、特徴、要素、および／またはステップが１つまたは複数の実施形態に関して何らかの態様で必要とされること、あるいは、１つまたは複数の実施形態が、他の入力または促しの有無にかかわらずこれらの特徴、要素、および／またはステップが任意の特定の実施形態に含まれるかあるいは任意の特定の実施形態の中で実行されるかどうかを決定するための論理を必ず含むことを意味することを、一般的に意図するものではない。「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」および同種の用語は、同義であり、包括的に、オープンエンドの様式で使用され、追加の要素、特徴、行為、操作、および同種のものを排除するものではない。また、「または（ｏｒ）」という用語は、その包括的意味において使用される（かつ排他的意味ではない）ため、例えば、要素のリストを接続するために、「または（ｏｒ）」という用語は、リスト中の要素の１つ、一部、または全てを意味する。
【0138】
本出願において引用または言及される全ての参考文献、特許、および特許出願ならびに刊行物は、その全体が参照により本明細書に組み込まれる。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図9D】
【図10A】
【図10B】
【図10C】
【図10D】
【図11A】
【図11B】
【図11C】
【図11D】
【図12】
【国際調査報告】