特許 7480914 睡眠時動画解析方法および睡眠時動画解析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-30

(45)【発行日】2024-05-10

(54)【発明の名称】睡眠時動画解析方法および睡眠時動画解析装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240501BHJP

   G06T 7/70 20170101ALI20240501BHJP

   G06V 10/70 20220101ALI20240501BHJP

   A61B 5/11 20060101ALI20240501BHJP

   A61B 5/16 20060101ALI20240501BHJP

   A61B 5/107 20060101ALI20240501BHJP

【ＦＩ】

G06T7/00 660B

G06T7/70 Z

G06V10/70

A61B5/11 120

A61B5/16 130

A61B5/107 300

【請求項の数】 16

(21)【出願番号】P 2023520839

(86)(22)【出願日】2022-03-04

(86)【国際出願番号】 JP2022009521

(87)【国際公開番号】W WO2022239415

(87)【国際公開日】2022-11-17

【審査請求日】2023-05-22

(31)【優先権主張番号】P 2021081445

(32)【優先日】2021-05-13

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】100104433

【弁理士】

【氏名又は名称】宮園 博一

(72)【発明者】

【氏名】赤澤 礼子

(72)【発明者】

【氏名】永島 知貴

(72)【発明者】

【氏名】外口 秋絵

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０２１－５２０７（ＪＰ，Ａ）

【文献】特開２０２０－１１６３０４（ＪＰ，Ａ）

【文献】特開２０１８－１６４６１５（ＪＰ，Ａ）

【文献】国際公開第２０１７／１８３６０３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

Ｇ０６Ｖ １０／７０

Ａ６１Ｂ ５／１１

Ａ６１Ｂ ５／１６

Ａ６１Ｂ ５／１０７

(57)【特許請求の範囲】

【請求項1】

制御部が、被検体の睡眠時の動画である睡眠時動画に基づいて、前記被検体の睡眠時における寝姿勢を推定する寝姿勢推定ステップと、
前記制御部が、前記寝姿勢推定ステップにおける寝姿勢推定結果に基づいて、前記被検体の睡眠時における寝姿勢を分類する寝姿勢分類ステップと、
前記制御部が、前記寝姿勢推定ステップにおける前記寝姿勢推定結果に基づいて、前記被検体の睡眠時における体動を計測する体動計測ステップと、
前記制御部が、前記寝姿勢分類ステップにおける寝姿勢分類結果と前記体動計測ステップにおける体動計測結果とのうち、少なくとも一方を表示部に表示させる表示ステップと、を備える、睡眠時動画解析方法。

【請求項2】

前記睡眠時動画の各フレームの画像を順次読み込み、前記睡眠時動画のフレーム間における画像の差異が選定閾値以上のフレームを、前記睡眠時動画において前記被検体の寝姿勢が変化した選定フレームとして選定する選定ステップをさらに備える、請求項１に記載の睡眠時動画解析方法。

【請求項3】

前記寝姿勢推定ステップは、前記選定ステップにおいて、前記寝姿勢推定ステップに先立って選定された前記選定フレームの画像を用いて、前記被検体の睡眠時における寝姿勢を推定するステップを含む、請求項２に記載の睡眠時動画解析方法。

【請求項4】

前記選定ステップは、前記選定フレームに加えて、前記選定フレームの前後のフレームも、前記寝姿勢推定ステップにおける寝姿勢の推定に用いる画像のフレームとして選定するステップを含む、請求項３に記載の睡眠時動画解析方法。

【請求項5】

前記選定ステップは、
前記睡眠時動画の各フレームの画像を順次読み込み、前記睡眠時動画の隣接する各フレーム間における画像の差異が第１選定閾値以上のフレームを第１選定フレームとして選定するステップと、
前記睡眠時動画の各フレームにおいて、直前の前記第１選定フレームの画像との差異が第２選定閾値以上の画像のフレームを第２選定フレームとして選定するステップとを含む、請求項２に記載の睡眠時動画解析方法。

【請求項6】

前記選定ステップは、前記第１選定フレームおよび前記第２選定フレームに加えて、前記第２選定フレームの直前の前記第１選定フレームから前記第２選定フレームまでの間のフレームを、所定の間隔毎に前記寝姿勢推定ステップにおける寝姿勢の推定に用いる画像のフレームとして選定するステップをさらに含む、請求項５に記載の睡眠時動画解析方法。

【請求項7】

前記表示ステップは、前記寝姿勢分類ステップにおける寝姿勢分類結果、および、前記体動計測ステップにおける体動計測結果の各々を時系列表示するステップを含む、請求項１に記載の睡眠時動画解析方法。

【請求項8】

前記選定ステップにおいて前記睡眠時動画から選定された複数の前記選定フレームの画像を合成した短縮動画を生成する動画短縮ステップをさらに備える、請求項２に記載の睡眠時動画解析方法。

【請求項9】

前記寝姿勢推定ステップに先立って、前記短縮動画の各フレームの画像を複数の角度に回転させ、複数の方向に回転させた画像毎に、前記被検体の睡眠時における寝姿勢を推定し、前記寝姿勢推定ステップにおける寝姿勢の推定に用いる画像の回転角度を決定する回転角度決定ステップをさらに備える、請求項８に記載の睡眠時動画解析方法。

【請求項10】

前記回転角度決定ステップは、前記短縮動画の一定時間毎と、前記短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎とのうち、少なくとも一方に基づいて、前記短縮動画の各フレームの画像を複数の角度に回転させ、前記寝姿勢推定ステップにおける寝姿勢の推定に用いる画像の回転角度を決定する処理を行うステップを含む、請求項９に記載の睡眠時動画解析方法。

【請求項11】

前記寝姿勢推定ステップは、機械学習された学習済モデルに基づいて、前記被検体の睡眠時における寝姿勢推定を行うステップを含み、
前記被検体の睡眠時における寝姿勢推定の際に得られる前記学習済モデルによる寝姿勢推定の確信度と、予め設定された妥当性閾値とに基づいて、前記学習済モデルによる前記寝姿勢推定結果が妥当であるか否かを判定する推定結果判定ステップをさらに備える、請求項１に記載の睡眠時動画解析方法。

【請求項12】

前記寝姿勢分類ステップは、前記推定結果判定ステップにおいて、前記寝姿勢推定ステップにおける前記寝姿勢推定結果が妥当であると判定された場合に、前記被検体の寝姿勢の分類を行うステップであり、
前記表示ステップは、
前記推定結果判定ステップの判定結果に基づいて、前記寝姿勢分類ステップによる寝姿勢の分類が行われた場合には、前記寝姿勢分類ステップによる寝姿勢分類結果を表示するステップと、
前記推定結果判定ステップの前記判定結果に基づいて、前記寝姿勢分類ステップによる寝姿勢の分類が行われなかった場合には、分類が行われなかったことを示す表示、および、前記学習済モデルによる寝姿勢推定の確信度を示す表示のうち、少なくとも一方を行うステップとを含む、請求項１１に記載の睡眠時動画解析方法。

【請求項13】

請求項１に記載された睡眠時動画解析方法をコンピュータに実行させる、プログラム。

【請求項14】

請求項１３に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。

【請求項15】

被検体の睡眠時の動画である睡眠時動画の解析を行う制御部と、
前記制御部による解析結果を表示する表示部と、を備え、
前記制御部は、
前記睡眠時動画に基づいて、前記被検体の睡眠時における寝姿勢を推定する寝姿勢推定制御と、
前記寝姿勢推定制御による寝姿勢推定結果に基づいて、前記被検体の睡眠時における寝姿勢を分類する寝姿勢分類制御と、
前記寝姿勢推定制御による前記寝姿勢推定結果に基づいて、前記被検体の睡眠時における体動を計測する体動計測制御と、
前記寝姿勢分類制御による寝姿勢分類結果と前記体動計測制御による体動計測結果とのうち、少なくとも一方を前記表示部に表示させる制御を行う表示制御とを行うように構成されている、睡眠時動画解析装置。

【請求項16】

前記制御部は、前記睡眠時動画の各フレームの画像を順次読み込み、前記睡眠時動画のフレーム間における画像の差異が選定閾値以上のフレームを、前記睡眠時動画において前記被検体の寝姿勢が変化した選定フレームとして選定する選定制御を行うように構成されている、請求項１５に記載の睡眠時動画解析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、睡眠時動画解析方法および睡眠時動画解析装置に関する。

【背景技術】

【0002】

従来、人物が撮影された画像（動画）から人物の姿勢を推定する姿勢推定方法（動画解析方法）が知られている。このような姿勢推定方法（動画解析方法）は、たとえば、特開２０１９－２１９９８９号公報に開示されている。

【0003】

上記特開２０１９－２１９９８９号公報には、人物が撮影された対象画像から人物の姿勢を推定する姿勢推定方法が開示されている。上記特開２０１９－２１９９８９号公報に記載の姿勢推定方法では、人物の姿勢の推定が容易な向きに対象画像を回転させた回転後画像を生成する。そして、対象画像の向きを回転させた回転後画像から人物の姿勢を推定し、人物の関節点の位置を表す姿勢推定結果を生成する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２１９９８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、睡眠障害などの治療や調査のために、人物（被検体）の睡眠時の動画を撮影し、撮影した睡眠時の動画（睡眠時動画）から、仰向け寝、うつぶせ寝、および、横向き寝などの睡眠中における被検体の寝姿勢（睡眠時の体勢）を医師などのユーザが確認する場合がある。上記のように睡眠時動画を確認する場合では、長時間の睡眠時動画中における被検体の寝姿勢の変化をユーザ自身が随時判断する必要がある。そのため、睡眠時動画中における被検体の寝姿勢の変化をユーザが容易に把握することができないという問題点がある。

【0006】

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、睡眠時動画中における被検体の寝姿勢の変化をユーザが容易に把握することが可能な睡眠時動画解析方法および睡眠時動画解析装置を提供することである。

【課題を解決するための手段】

【0007】

この発明の第１の局面における睡眠時動画解析方法は、制御部が、被検体の睡眠時の動画である睡眠時動画に基づいて、被検体の睡眠時における寝姿勢を推定する寝姿勢推定ステップと、制御部が、寝姿勢推定ステップにおける寝姿勢推定結果に基づいて、被検体の睡眠時における寝姿勢を分類する寝姿勢分類ステップと、制御部が、寝姿勢推定ステップにおける寝姿勢推定結果に基づいて、被検体の睡眠時における体動を計測する体動計測ステップと、制御部が、寝姿勢分類ステップにおける寝姿勢分類結果と体動計測ステップにおける体動計測結果とのうち、少なくとも一方を表示部に表示させる表示ステップと、を備える。

【0008】

この発明の第２の局面における睡眠時動画解析装置は、被検体の睡眠時の動画である睡眠時動画の解析を行う制御部と、制御部による解析結果を表示する表示部と、を備え、制御部は、睡眠時動画に基づいて、被検体の睡眠時における寝姿勢を推定する寝姿勢推定制御と、寝姿勢推定制御による寝姿勢推定結果に基づいて、被検体の睡眠時における寝姿勢を分類する寝姿勢分類制御と、寝姿勢推定制御による寝姿勢推定結果に基づいて、被検体の睡眠時における体動を計測する体動計測制御と、寝姿勢分類制御による寝姿勢分類結果と体動計測制御による体動計測結果とのうち、少なくとも一方を表示部に表示させる制御を行う表示制御とを行うように構成されている。

【発明の効果】

【0009】

本発明によれば、寝姿勢推定結果に基づいて分類された寝姿勢分類結果を表示させることにより、ユーザは、寝姿勢分類結果を視認して、被検体の睡眠時の寝姿勢の分類を確認することができる。その結果、寝姿勢分類結果が表示されない場合と異なり、睡眠動画中における被検体の寝姿勢の分類および分類の変化をユーザが容易に把握することができる。また、寝姿勢推定結果に基づいて計測された体動計測結果を表示させることにより、ユーザは、体動計測結果を視認して、被検体の睡眠時の体動の変化量を確認することができる。その結果、体動計測結果が表示されない場合と異なり、睡眠動画中における被検体の体動の変化をユーザが容易に把握することができる。これらの結果、寝姿勢分類結果および体動計測結果の少なくとも一方の表示によって、睡眠時動画中における被検体の寝姿勢（睡眠時の体勢）の変化をユーザが容易に把握することが可能な睡眠時動画解析方法および睡眠時動画解析装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態による睡眠時動画解析装置の全体構成を示したブロック図である。

【図2】睡眠時動画からのフレームの選定を説明するための第１図である。

【図3】睡眠時動画からのフレームの選定を説明するための第２図である。

【図4】睡眠時動画からのフレームの選定を説明するための第３図である。

【図5】睡眠時動画からのフレームの選定を説明するための第４図である。

【図6】睡眠時動画からのフレームの選定を説明するための第５図である。

【図7】睡眠時動画からの短縮動画の生成を示した図である。

【図8】回転方向の決定方法を説明するための図である。

【図9】寝姿勢推定から寝姿勢分類結果および体動計測結果の取得までの流れを示した図である。

【図10】表示部による表示の一例を示した図である。

【図11】表示部による表示の他の一例を示した図である。

【図12】睡眠時画像解析時のＰＣによる制御を示した第１フローチャートである。

【図13】睡眠時画像解析時のＰＣによる制御を示した第２フローチャートである。

【図14】第１変形例による表示部による表示の一例を示した図である。

【図15】第２変形例による回転方向決定のための処理の一例を示した図である。

【発明を実施するための形態】

【0011】

以下、本発明を具体化した実施形態を図面に基づいて説明する。

【0012】

図１に示すように、解析装置１００は、ＰＣ１およびディスプレイ２を備える。解析装置１００は、カメラ１０１によって撮影された被検体２００の睡眠時の動画（睡眠時動画）を解析する装置である。カメラ１０１は、たとえば、夜間撮影用の暗視カメラである。なお、カメラ１０１は、常時ＰＣ１に接続されていなくてもよい。たとえば、撮影した被検体２００の睡眠時の動画（睡眠時動画）が、カメラ１０１に内蔵または外付けされた記録媒体に保存され、後日（撮影後）、保存された睡眠時動画をＰＣ１によって解析する形態でもよい。なお、解析装置１００は、請求の範囲の「睡眠時動画解析装置」の一例である。

【0013】

また、被検体２００は、たとえば、小児（子供）である。本実施形態による解析装置１００（睡眠時動画解析方法）では、被検体２００の睡眠時に撮影された動画（睡眠時動画）に基づいて、睡眠中の被検体２００の体の動き（体動）の解析を行うので、加速度センサや位置センサなどのセンサを体に付けずに睡眠時における体の動き（体動）の解析（非接触の解析）を行うことができる。これにより、体にセンサを付けることを小児（子供）が嫌がる場合、または、小児（子供）が体からセンサを外してしまうような場合でも、小児（子供）の睡眠時における体の動き（体動）の解析を容易に行うことができる。なお、被検体２００は、子供に限られない。

【0014】

ＰＣ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されたパーソナルコンピュータである。また、ＰＣ１は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置（内部ストレージ）を備える。ＰＣ１は、被検体２００の睡眠時の動画である睡眠時動画の解析を行うように構成されている。ＰＣ１は、カメラ１０１が撮影した睡眠時動画の動画データを取り込むように構成されている。なお、ＰＣ１は、請求の範囲の「制御部」の一例である。

【0015】

また、ＰＣ１には、後述する睡眠時動画解析方法（睡眠時動画解析するための各制御）を実行させるプログラムが記録（格納）されている。なお、睡眠時動画解析方法を解析装置１００（ＰＣ１）に実行させるプログラムは、ネットワーク上のサーバに記録されてもよい。

【0016】

ディスプレイ２は、たとえば、液晶ディスプレイ、または、有機ＥＬディスプレイなどである。ディスプレイ２は、たとえば、ＨＤＭＩ（登録商標）等の映像インターフェースによりＰＣ１と接続される。なお、ディスプレイ２は、請求の範囲の「表示部」の一例である。

【0017】

（選定制御）
ＰＣ１は、睡眠時動画の各フレームの画像を順次読み込み、睡眠時動画のフレーム間における画像の差異が選定閾値以上のフレームを、睡眠時動画において被検体の寝姿勢（被検体２００の関節点の位置）が変化した選定フレームとして選定する制御（選定制御）を行う。ＰＣ１によるフレーム選定（フレームピックアップ）の制御について、図２～図６を参照して説明する。

【0018】

本実施形態では、ＰＣ１は、図２に示すように、睡眠時動画の各フレームの画像を順次読み込み、睡眠時動画のフレーム間における画像の差異が選定閾値以上のフレームを、睡眠時動画において被検体２００の寝姿勢が変化した選定フレームとして選定する。また、ＰＣ１は、選定フレームに加えて、選定フレームの前後のフレームも、後述する寝姿勢推定における寝姿勢の推定（関節点の推定）に用いる画像のフレームとして選定する。

【0019】

具体的には、ＰＣ１は、睡眠時動画の各フレームの画像を順次読み込み、睡眠時動画の隣接する各フレーム間における画像の差異が第１選定閾値以上のフレームを第１選定フレーム１０（図２参照）として選定する。

【0020】

画像間の差異の計算には、画素差分や画像間の相関をとる手法が用いられる。画像間の差異はスカラー値で与えられ、ＰＣ１は、設定した範囲の値となったフレームを寝姿勢の推定に用いる画像のフレームとして選定する。睡眠時動画のフレーム間の差異を計算する手法として、たとえば、ＺＮＣＣ（Ｚｅｒｏ‐Ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ：ゼロ平均正規化相互相関）が用いられる。なお、ＺＮＣＣ（ゼロ平均正規化相互相関）では、フレーム間の画像の相関が算出される。ＺＮＣＣ（ゼロ平均正規化相互相関）における計算値は、－１．０以上１．０以下に収まり、計算値が低いほどマッチ度が低い（差異が大きい）。

【0021】

ＺＮＣＣ（ゼロ平均正規化相互相関）を画素差分や画像間の相関をとる手法に用いる場合では、睡眠時動画の隣接する各フレーム間における計算値（マッチ度）に対して閾値を設定し、計算値（マッチ度）閾値以下となった場合（画像の差異が第１選定閾値以上になった場合）に、読み込み中のフレーム（現在のフレーム）が選定フレーム（第１選定フレーム１０）として選定される。

【0022】

また、ＰＣ１は、図３に示すように、第１選定フレーム１０に加えて、第１選定フレーム１０の前後のフレーム（フレーム１１および１２）も、寝姿勢推定における寝姿勢の推定に用いる画像のフレームとして選定する。

【0023】

そして、ＰＣ１は、図３に示すように、睡眠時動画の各フレームにおいて、直前の第１選定フレーム１０の画像との差異が第２選定閾値以上の画像のフレームを第２選定フレーム２０として選定する。なお、第２選定閾値は、第１選定閾値と同じ値に設定されてもよいし、異なる値に設定されてもよい。

【0024】

また、ＰＣ１は、図４に示すように、第２選定フレーム２０に加えて、第２選定フレーム２０の前後のフレーム（フレーム２１および２２）も、寝姿勢推定における寝姿勢の推定に用いる画像のフレームとして選定する。

【0025】

さらに、ＰＣ１は、第１選定フレーム１０および第２選定フレーム２０に加えて、第２選定フレーム２０の直前の第１選定フレーム１０から第２選定フレーム２０までの間のフレームを、所定の間隔毎に寝姿勢推定における寝姿勢の推定に用いる画像のフレームとして選定する。

【0026】

具体的には、ＰＣ１は、図５に示すように、第２選定フレーム２０の直前の第１選定フレーム１０から第２選定フレーム２０までの間のフレームを所定の間隔毎に寝姿勢推定における寝姿勢の推定に用いる画像のフレーム（フレーム３０、４０および５０）として選定する。

【0027】

また、ＰＣ１は、図６に示すように、フレーム３０の前後のフレーム（フレーム３１および３２）、フレーム４０の前後のフレーム（フレーム４１および４２）、および、フレーム５０の各々の前後のフレーム（フレーム５１および５２）も、寝姿勢推定における寝姿勢の推定に用いる画像のフレームとして選定する。

【0028】

なお、前述した説明および図３～図６では、説明の簡略化のために、第１選定フレーム１０、第２選定フレーム２０、フレーム３０、フレーム４０およびフレーム５０の各々の前後１つずつのフレームを選定する例を示した。しかし、実際には、前後のフレームを選定する際には、各々のフレーム（第１選定フレーム１０、第２選定フレーム２０、フレーム３０、フレーム４０およびフレーム５０）の前後において、１つ以上のフレーム（前後にマージンを取った一定枚数のフレーム）が選択される。

【0029】

すなわち、寝姿勢推定における寝姿勢の推定に用いる画像のフレームとして、第１選定フレーム１０、第２選定フレーム２０、フレーム３０、フレーム４０およびフレーム５０の各々の前後のフレームを選定する際には、選定するフレームは、直前および直後のフレームだけでなくてもよい。

【0030】

具体的には、ＰＣ１は、第１選定フレーム１０、第２選定フレーム２０、フレーム３０、フレーム４０およびフレーム５０の各々から、所定の数のフレーム、または、所定の時間内のフレームを、寝姿勢推定における寝姿勢の推定に用いる画像のフレームとして選定する。たとえば、第１選定フレーム１０、第２選定フレーム２０、フレーム３０、フレーム４０およびフレーム５０の各々の数秒前のフレームから数秒後までのフレームが、第１選定フレーム１０、第２選定フレーム２０、フレーム３０、フレーム４０およびフレーム５０に加えて、寝姿勢推定における寝姿勢の推定に用いる画像のフレームとして選定される。

【0031】

（動画短縮制御）
また、ＰＣ１は、図７に示すように、選定制御において睡眠時動画から選定された複数の選定フレームの画像を合成した短縮動画を生成し、出力する制御（動画短縮制御）を行う。

【0032】

具体的には、ＰＣ１は、短縮動画の生成において、睡眠時動画から選定した複数の選定フレーム（複数の第１選定フレーム１０および複数の第２選定フレーム２０）の画像に加えて、第２選定フレーム２０の直前の第１選定フレーム１０から第２選定フレーム２０までの間のフレームにおいて、所定の間隔毎に選定したフレーム（フレーム３０、フレーム４０およびフレーム５０）の画像を用いる。さらに、ＰＣ１は、短縮動画の生成において、第１選定フレーム１０、第２選定フレーム２０、フレーム３０、フレーム４０およびフレーム５０に加えて、各々のフレームの前後のフレームの画像も用いる。なお、動画のＦＰＳ(Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ)は短縮前後で同一である。また、ＰＣ１は、選定されたフレームの睡眠時動画（元の動画）における箇所（フレーム数または時間帯）を一時的または長期的に保持しておき、睡眠時動画（元の動画）に対する短縮動画（短縮後の動画）のフレームの対応を記録（格納）および出力してもよい。

【0033】

（回転方向決定制御）
ＰＣ１は、短縮動画の一定時間毎と、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎とのうち、少なくとも一方に基づいて、短縮動画の各フレームの画像を複数の角度に回転させ、寝姿勢推定における寝姿勢の推定に用いる画像の回転角度を決定する制御（回転方向決定制御）を行う。

【0034】

本実施形態では、ＰＣ１は、短縮動画の各フレームの画像を順次読み込み、短縮動画の一定時間毎、および、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎に、短縮動画の各フレームの画像を複数の角度に回転させ、寝姿勢推定における寝姿勢の推定に用いる画像の回転角度を決定する処理（制御）を行う。すなわち、ＰＣ１は、短縮動画の各フレームの画像を順次読み込み、読み込んだフレームの画像が、所定の条件を満たした場合（短縮動画の一定時間毎、および、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎）に、寝姿勢推定に先立って、寝姿勢推定における寝姿勢の推定に用いる画像の回転角度を決定する。

【0035】

なお、読み込んだフレームの画像が、所定の条件を満していない場合には、ＰＣ１は、回転方向決定制御を行わず、直前のフレームの回転において回転させた際の回転角度と同じ回転角度で、寝姿勢推定に先立って、画像を回転させる。すなわち、短縮動画の各フレームの画像を順次読み込み、所定の条件を満たした場合（短縮動画の一定時間毎、および、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎）にのみ、寝姿勢推定における寝姿勢の推定に用いる画像の回転角度が変更（決定）される。

【0036】

本実施形態では、ＰＣ１は、短縮動画の一定時間毎、および、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎に、短縮動画の各フレームの画像を複数の角度に回転させ、複数の方向に回転させた画像毎に、被検体２００の睡眠時における寝姿勢を推定する。寝姿勢推定における寝姿勢の推定に用いる画像の回転角度の決定は、後述する寝姿勢推定制御と同様の手法（寝姿勢推定モデル）を用いて行われる。

【0037】

具体的には、ＰＣ１は、各回転角度に回転させた画像を入力として、後述する関節点および確信度を出力とする学習済モデルである寝姿勢推定モデルが出力した関節点ごとの確信度に基づいて、最も寝姿勢推定の精度が高まる画像の回転角度を回転角度として決定する。たとえば、図８に示すように、短縮動画の各フレームの画像を複数の角度（０°、９０°、１８０°、および、－９０°）に回転させた画像から、寝姿勢推定モデルが出力した関節点ごとの確信度の平均値が最大となる回転角度を最も寝姿勢推定の精度が高まる回転角度とし、変更後の回転角度を決定する。図８のような場合には、確信度の平均値が最も高い－９０°に回転角度を決定する。なお、回転角度を決定する際に、画像を回転させる角度は、４５°刻みなど任意の角度でよい。

【0038】

（寝姿勢推定制御）
ＰＣ１は、睡眠時動画に基づいて、被検体２００の睡眠時における寝姿勢を推定する制御（寝姿勢推定制御）を行う。ＰＣ１は、機械学習された学習済モデルに基づいて、被検体２００の睡眠時における寝姿勢推定を行う。

【0039】

本実施形態では、ＰＣ１は、選定制御において選定された選定フレームの画像を用いて、被検体２００の睡眠時における寝姿勢を推定する。ＰＣ１は、画像を入力として、機械学習された学習済モデル（寝姿勢推定モデル）を用いて、被検体２００の睡眠時における寝姿勢を推定する。

【0040】

具体的には、ＰＣ１は、関節点および確信度を出力とする寝姿勢推定モデルを用いる。たとえば、ＰＣ１は、Ｈｉｇｈｅｒ ＨＲＮｅｔ、ＯｐｅｎＰｏｓｅなどの深層学習モデルを寝姿勢推定モデルとして用いる。寝姿勢推定モデルは、図９に示すように、回転処理後の短縮動画の各フレームの画像を入力とし、被検体２００の関節点の位置および確信度を出力とする。関節点の定義はモデルを学習したデータによって異なる。たとえば、寝姿勢推定モデルは、関節点の位置として、目、鼻、耳、肩、ひじ、手首、腰、ひざおよび足首などの位置を出力とする。

【0041】

なお、寝姿勢推定結果はノイズを含む（動画内で被検体２００が動いていない場合でも、ノイズなどの影響で結果が変動する）ため、寝姿勢推定結果には、ノイズ除去処理が行われてもよい。

【0042】

（推定結果判定制御）
ここで、寝姿勢推定の精度が低い場合、後述する寝姿勢分類および体動計測に影響を及ぼす。そのため、精度の低い寝姿勢推定結果を入力することによって、精度の低い寝姿勢分類や体動計測結果が出力されることを防止するために、寝姿勢推定結果が利用可能であるか（妥当であるか否か）の判定を寝姿勢推定結果（図９参照）に対して行う。

【0043】

本実施形態では、ＰＣ１は、被検体２００の睡眠時における寝姿勢推定の際に得られる寝姿勢推定モデル（学習済モデル）による寝姿勢推定の確信度と、予め設定された妥当性閾値とに基づいて、寝姿勢推定モデルによる寝姿勢推定結果が妥当であるか否かを判定する。

【0044】

具体的には、寝姿勢推定モデルの出力（寝姿勢推定結果）である各関節点の位置の確信度に対して閾値（妥当性閾値）を設け、出力された寝姿勢推定結果（各関節点の位置）から寝姿勢分類および体動計測を行うことが妥当であるかを妥当性閾値との比較に基づいて判定する。

【0045】

（寝姿勢分類制御）
また、ＰＣ１は、寝姿勢推定制御による寝姿勢推定結果に基づいて、被検体２００の睡眠時における寝姿勢を分類する制御（寝姿勢分類制御）を行うように構成されている。

【0046】

ＰＣ１は、寝姿勢分類制御において、寝姿勢推定結果を入力とし、仰臥位（仰向け寝）、腹臥位（うつぶせ寝）、および、側臥位（横向き寝）などの睡眠時の被検体２００の寝姿勢の分類（寝姿勢分類結果）を出力（図９参照）する。

【0047】

具体的には、ＰＣ１は、仰臥位（仰向け寝）、腹臥位（うつぶせ寝）、および、側臥位（横向き寝）などの睡眠時の寝姿勢の分類を出力とする寝姿勢分類モデルを用いる。たとえば、ＰＣ１は、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、または、ＧＣＮ（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）などの深層学習モデルを寝姿勢分類モデルとして用いる。本実施形態では、寝姿勢分類モデルは、寝姿勢推定結果（各関節点の位置）を入力とし、被検体２００の仰臥位（仰向け寝）、腹臥位（うつぶせ寝）、および、側臥位（横向き寝）などの睡眠時の寝姿勢の分類を出力する。

【0048】

なお、寝姿勢分類の手法として、深層学習モデルを用いずに、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やロジスティックス回帰が用いられてもよい。また、寝姿勢推定結果を入力とした寝姿勢分類に加えて、ＣＮＮ（Ｃｏｍｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの深層学習モデルなどを用いて、短縮動画または睡眠時動画の画像を直接入力することによって、寝姿勢分類が行われてもよい。

【0049】

なお、本実施形態では、ＰＣ１による被検体２００の寝姿勢の分類は、推定結果判定において、寝姿勢推定における寝姿勢推定結果が妥当であると判定された場合に行われる。

【0050】

（体動計測制御）
また、ＰＣ１は、寝姿勢推定制御による寝姿勢推定結果に基づいて、被検体２００の睡眠時における体動を計測する制御（体動計測制御）を行うように構成されている。ＰＣ１は、体動計測制御において、図９に示すように、短縮動画の前フレーム（あるいは一定枚数間隔、任意の条件で指定した過去のフレーム）の寝姿勢推定結果との差分を体動（体動計測結果）として出力する。

【0051】

体動計測制御においては、図９に示すように、短縮動画のフレーム間における寝姿勢推定結果（各関節点の位置）の差分が、短縮動画の各フレームおいて、各関節点（目、鼻、耳、肩、ひじ、手首、腰、ひざおよび足首など）毎に、体動（体動計測結果）として出力される。

【0052】

（表示制御）
ＰＣ１は、寝姿勢分類制御による寝姿勢分類結果と体動計測制御による体動計測結果とのうち、少なくとも一方をディスプレイ２に表示させる制御を行う表示制御を行うように構成されている。本実施形態では、図１０に示すように、ディスプレイ２には、ＰＣ１の制御によって、寝姿勢分類結果および体動計測結果の両方が表示される。

【0053】

ディスプレイ２には、図１０に示すように、ＰＣ１の制御によって、寝姿勢分類結果および体動計測結果の各々が時系列表示される。寝姿勢分類結果は、寝姿勢の分類ごとに色を変えた帯グラフで表示することで、寝姿勢の変化を示す。また、体動計測結果は、全身の体動と、部位ごと（頭、手足など）の体動とが分けて表示される。また、ユーザの必要性（ユーザが必要とする情報）に応じて、手だけ、足だけなど、表示する部位が切り替えられてもよい。体動計測結果の部位ごとの表示は、部位ごとに色を変えて表示することによって、部位ごとの変化を示す。また、ディスプレイ２には、部位ごとに時系列の変化のグラフが表示されてもよい。体動の出力結果は連続値で表示してもよく、体動の大小に基づく離散値として表示させてもよい。

【0054】

また、推定結果判定の判定結果に基づいて、寝姿勢分類による寝姿勢の分類が行われた場合には、寝姿勢分類結果がディスプレイ２に表示される。一方で、推定結果判定の判定結果に基づいて、寝姿勢分類における寝姿勢の分類が行われなかった場合には、ディスプレイ２には、分類が行われなかったことを示す表示（図１０参照）が行われる。たとえば、図１０に示すように、『不可』といった表示や判定不可などいった表示を帯グラフ上に表示させる制御が行われる。

【0055】

また、本実施形態では、解析装置１００は、推定結果判定の判定結果に基づいて、寝姿勢分類における寝姿勢の分類が行われなかった場合には、ディスプレイ２に、寝姿勢推定モデルによる寝姿勢推定の確信度を示す表示（図１１参照）が行われるように表示方法を切り替え可能に構成されている。たとえば、表示方法の切り替えによって、図１１に示すように、『０．２』といった予め設定された閾値（妥当性閾値）以下の値を帯グラフ上に表示させる制御が行われる。

【0056】

（睡眠時動画解析処理）
次に、本実施形態の解析装置１００（ＰＣ１）による睡眠時動画解析の処理フローについて、図１２および図１３を参照して説明する。

【0057】

図１２に示すように、最初に、ステップ３０１において、睡眠時動画の動画フレームの読み込み（動画フレーム読込）が行われる。そして、処理ステップが、ステップ３０２に移行する。

【0058】

ステップ３０２では、フレーム間の差異が計算される。ステップ３０２では、順次読み込まれた睡眠時動画の各フレーム間の差異が、前述した手法（ＺＮＣＣ：ゼロ平均正規化相互相関）を用いて計算される。そして、処理ステップが、ステップ３０３に移行する。

【0059】

ステップ３０３では、フレーム間の差異が閾値以上であるか否か判定される。前述したように、フレーム間の差異が閾値以上（第１選定閾値以上または第２選定閾値以上）であると判定された場合には、処理ステップは、ステップ３０４に移行する。また、フレーム間の差異が閾値以上（第１選定閾値以上または第２選定閾値以上）でないと判定された場合には、処理ステップは、ステップ３０１に戻る。

【0060】

ステップ３０４では、フレームの選定が行われる。具体的には、ステップ３０４では、睡眠時動画の隣接する各フレーム間における画像の差異が第１選定閾値以上のフレームを第１選定フレーム１０として選定する。また、ステップ３０４では、睡眠時動画の各フレームにおいて、直前の第１選定フレーム１０の画像との差異が第２選定閾値以上の画像のフレームを第２選定フレーム２０として選定する。

【0061】

なお、ステップ３０４では、前述したように、第２選定フレーム２０が選定された場合には、直前の第１選定フレーム１０と第２選定フレーム２０との間の所定の間隔毎のフレームが寝姿勢の推定に用いる画像のフレームとして選定される。さらに、第１選定フレーム１０、第２選定フレーム２０、および、第１選定フレーム１０と第２選定フレーム２０の間の所定の間隔毎のフレームが選定された際には、各々の前後のフレームが寝姿勢の推定に用いる画像のフレームとして選定される。フレームの選定後（ステップ３０４の完了後）、処理ステップは、ステップ３０５に移行する。

【0062】

ステップ３０５において、動画が終了（睡眠時動画の全フレームの読み込みが完了）したか否かを判定する。動画が終了（睡眠時動画の全フレームの読み込みが完了）したと判定された場合には、処理ステップは、ステップ３０６に移行する。また、動画が終了（睡眠時動画の全フレームの読み込みが完了）していないと判定された場合には、処理ステップは、ステップ３０１に戻る。なお、ステップ３０１～３０５は、請求の範囲の「選定ステップ」の一例である。すなわち、睡眠時動画のフレーム間における画像の差異が選定閾値以上（第１選定閾値以上または第２選定閾値以上）のフレームは、ステップ３０１～３０５において、睡眠時動画において被検体２００の寝姿勢が変化した選定フレームとして選定される。

【0063】

そして、ステップ３０６において、短縮動画が出力される。ステップ３０６では、ステップ３０４（選定ステップ）において睡眠時動画から選定された複数の選定フレーム（第１選定フレーム１０および第２選定フレーム２０）の画像を合成した短縮動画が生成され、出力される。本実施形態では、前述したように、第１選定フレーム１０、第２選定フレーム２０、第１選定フレーム１０と第２選定フレーム２０の間の所定の間隔毎のフレーム、および、各々の前後のフレームが短縮動画の生成に用いられる。なお、ステップ３０６は、請求の範囲の「動画短縮ステップ」の一例である。短縮動画の出力後（ステップ３０６完了後）、処理ステップは、ステップ３０７（図１３参照）に移行する。

【0064】

ステップ３０７において、短縮動画の各フレームの画像が、寝姿勢推定モデル（図９参照）に順次入力される。そして、処理ステップは、ステップ３０８に移行する。

【0065】

ステップ３０８において、回転角度変更の条件を満たしているか否かが判定される。本実施形態では、短縮動画の一定時間毎、または、前後のフレーム間の画像の差異が回転閾値以上になった場合には、回転角度変更の条件を満たしたと判定される。回転角度変更の条件を満たしていると判定された場合には、処理ステップは、ステップ３０９に移行する。また、回転角度変更の条件を満たしてないと判定された場合には、処理ステップは、ステップ３１０に移行する。

【0066】

ステップ３０９において、画像回転角度が決定される。ステップ３０９では、寝姿勢推定に先立って、短縮動画の各フレームの画像を複数の角度に回転させ、寝姿勢推定における寝姿勢の推定に用いる画像の回転角度が決定される。ステップ３０９では、前述したように、複数の方向に回転させた画像毎に、被検体２００の睡眠時における寝姿勢が推定される。そして、寝姿勢推定モデルが出力した関節点ごとの確信度に基づいて、最も寝姿勢推定の精度が高まる画像の回転角度を回転角度として決定する。なお、ステップ３０９は、請求の範囲の「回転角度決定ステップ」の一例である。そして、ステップ３０９の完了後、処理ステップは、ステップ３１０に移行する。

【0067】

ステップ３１０において、画像の回転が行われる。ステップ３１０では、ステップ３０９において、画像回転角度が決定（変更）された場合には、決定された画像回転角度に、画像を回転させる。なお、ステップ３０９が行われなかった場合（読み込んだフレームの画像が所定の条件を満していなかった場合）には、直前のフレームの回転において回転させた際の回転角度と同じ回転角度で、寝姿勢推定に先立って、画像が回転させられる。画像の回転後、処理ステップは、ステップ３１１に移行する。

【0068】

ステップ３１１において、寝姿勢推定が行われる。ステップ３１１では、被検体２００の睡眠時の動画である睡眠時動画に基づいて、被検体２００の睡眠時における寝姿勢が推定される。なお、ステップ３１１は、請求の範囲の「寝姿勢推定ステップ」の一例である。

【0069】

ステップ３１１では、前述したように寝姿勢推定モデルによって、被検体２００の睡眠時における寝姿勢推定が行われる。また、ステップ３１１では、前述したように、ステップ３０４において、ステップ３１１に先立って選定された選定フレームの画像（短縮動画の各フレームの画像）を用いて、被検体２００の睡眠時における寝姿勢が推定される。ステップ３１１（寝姿勢推定）の完了後、処理ステップは、ステップ３１２に移行する。

【0070】

そして、ステップ３１２において、寝姿勢推定結果の判定が行われる。ステップ３１２では、被検体２００の睡眠時における寝姿勢推定の際に得られる寝姿勢推定モデル（学習済モデル）による寝姿勢推定の確信度と、予め設定された妥当性閾値とに基づいて、寝姿勢推定モデル（学習済モデル）による寝姿勢推定結果が妥当であるか否かが判定される。なお、ステップ３１２は、請求の範囲の「推定結果判定ステップ」の一例である。ステップ３１２の完了後、処理ステップは、ステップ３１３および３１４に移行する。

【0071】

ステップ３１３において、寝姿勢分類が行われる。ステップ３１３では、ステップ３１１における寝姿勢推定結果に基づいて、被検体２００の睡眠時における寝姿勢が分類される。なお、被検体２００の寝姿勢の分類は、ステップ３１２（推定結果判定ステップ）において、ステップ３１１（寝姿勢推定ステップ）における寝姿勢推定結果が妥当であると判定された場合に行われる。ステップ３１３は、請求の範囲の「寝姿勢分類ステップ」の一例である。

【0072】

また、ステップ３１４において、体動計測が行われる。ステップ３１４では、ステップ３１１（寝姿勢推定ステップ）における寝姿勢推定結果に基づいて、被検体２００の睡眠時における体動が計測される。なお、ステップ３１４は、請求の範囲の「体動計測ステップ」の一例である。ステップ３１３および３１４の完了後、処理ステップは、ステップ３１５に移行する。

【0073】

ステップ３１５では、寝姿勢分類結果と体動計測結果とのうち、少なくとも一方の結果が表示される。本実施形態では、ディスプレイ２には、ＰＣ１の制御によって、寝姿勢分類結果および体動計測結果の両方が表示される。なお、ステップ３１５は、請求の範囲の「表示ステップ」の一例である。

【0074】

また、ステップ３１５では、前述したように、推定結果判定の判定結果に基づいて、寝姿勢の分類が行われた場合には、寝姿勢分類結果（寝姿勢の分類）が表示される。また、ステップ３１５では、寝姿勢分類結果、および、体動計測ステップにおける体動計測結果の各々が時系列表示（図１０および図１１参照）される。

【0075】

そして、ステップ３１５では、推定結果判定の判定結果に基づいて、寝姿勢の分類が行われなかった場合には、前述したように、分類が行われなかったことを示す表示（図１０参照）、または、寝姿勢推定の確信度を示す表示（図１１参照）が行われる。

【0076】

（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。

【0077】

本実施形態では、寝姿勢推定結果に基づいて分類された寝姿勢分類結果をディスプレイ２に表示させることにより、ユーザは、寝姿勢分類結果を視認して、被検体２００の睡眠時の寝姿勢の分類を確認することができる。その結果、寝姿勢分類結果が表示されない場合と異なり、睡眠動画中における被検体２００の寝姿勢の分類および分類の変化をユーザが容易に把握することができる。また、寝姿勢推定結果に基づいて計測された体動計測結果をディスプレイ２に表示させることにより、ユーザは、体動計測結果を視認して、被検体２００の睡眠時の体動の変化量を確認することができる。その結果、体動計測結果が表示されない場合と異なり、睡眠動画中における被検体２００の体動の変化をユーザが容易に把握することができる。これらの結果、寝姿勢分類結果および体動計測結果の表示によって、睡眠時動画中における被検体２００の寝姿勢（睡眠時の体勢）の変化をユーザが容易に把握することが可能な睡眠時動画解析方法および睡眠時動画解析装置を提供することができる。

【0078】

また、上記実施形態による睡眠時動画解析方法では、以下のように構成したことによって、下記のような更なる効果が得られる。

【0079】

また、本実施形態による睡眠時動画解析方法は、睡眠時動画の各フレームの画像を順次読み込み、睡眠時動画のフレーム間における画像の差異が選定閾値以上のフレームを、睡眠時動画において被検体２００の寝姿勢が変化した選定フレームとして選定するステップ３０４（選定ステップ）を備える。これにより、睡眠時動画の各フレームの中から、被検体２００の寝姿勢が変化したフレームが選定される。その結果、睡眠時動画が長時間になる場合でも、被検体２００の寝姿勢が変化した時間帯の画像を容易に確認することができる。

【0080】

また、本実施形態による睡眠時動画解析方法では、ステップ３１１（寝姿勢推定ステップ）は、ステップ３０４（選定ステップ）において、ステップ３１１（寝姿勢推定ステップ）に先立って選定された選定フレームの画像を用いて、被検体２００の睡眠時における寝姿勢を推定する。これにより、睡眠時動画の各フレーム（全フレーム）の画像を用いて、被検体２００の睡眠時における寝姿勢を推定する場合に比べて、睡眠時動画における寝姿勢推定のための処理数を削減することができる。

【0081】

また、本実施形態による睡眠時動画解析方法では、ステップ３０４（選定ステップ）において、選定フレーム（第１選定フレーム１０および第２選定フレーム２０）に加えて、選定フレームの前後のフレームも、ステップ３１１（寝姿勢推定ステップ）における寝姿勢の推定に用いる画像のフレームとして選定される。これにより、選定フレーム（第１選定フレーム１０および第２選定フレーム２０）のみを、寝姿勢の推定に用いる画像のフレームとして選定する場合と異なり、フレーム間における画像の差異が、大きくなる前および大きくなった後のフレームも寝姿勢の推定に用いる画像のフレームとして選定することができる。その結果、被検体２００の寝姿勢が大きく変化する直前および大きく変化した直後の微小な被検体２００の体の動き（体動）が写ったフレームの画像に基づいて、寝姿勢推定を行うことができる。したがって、選定フレーム（第１選定フレーム１０および第２選定フレーム２０）のみを、寝姿勢の推定に用いる画像のフレームとして選定する場合と異なり、被検体２００の寝姿勢の変化を正確に把握することができる。

【0082】

また、本実施形態による睡眠時動画解析方法では、ステップ３０１～３０５（選定ステップ）において、睡眠時動画の各フレームの画像を順次読み込み、睡眠時動画の隣接する各フレーム間における画像の差異が第１選定閾値以上のフレームが第１選定フレーム１０として選定される。そして、ステップ３０４（選定ステップ）において、睡眠時動画の各フレームにおいて、直前の第１選定フレーム１０の画像との差異が第２選定閾値以上の画像のフレームが第２選定フレーム２０として選定される。これにより、隣接する各フレーム間における画像の差異のみに基づいてフレームを選定する場合と異なり、被検体２００の寝姿勢が、複数のフレームを跨いで少しずつ変化した場合でも、被検体２００の寝姿勢が変化したフレームを選定（取得）することができる。

【0083】

また、本実施形態による睡眠時動画解析方法では、ステップ３０４（選定ステップ）において、第１選定フレーム１０および第２選定フレーム２０に加えて、第２選定フレーム２０の直前の第１選定フレーム１０から第２選定フレーム２０までの間のフレームが、所定の間隔毎にステップ３１１（寝姿勢推定ステップ）における寝姿勢の推定に用いる画像のフレームとして選定される。これにより、第１選定フレーム１０から第２選定フレーム２０までの間のフレームを寝姿勢の推定に用いることができるので、第１選定フレーム１０から第２選定フレーム２０までの寝姿勢の変化を段階的に推定することができる。その結果、第１選定フレーム１０から第２選定フレーム２０までの間の被検体２００の寝姿勢（睡眠時の体勢）の変化をユーザが容易に把握することができる。

【0084】

また、本実施形態による睡眠時動画解析方法では、ステップ３１５（表示ステップ）において、寝姿勢分類結果および体動計測結果の各々が時系列表示される。これにより、寝姿勢分類結果および体動計測結果の各々が時系列に沿って表示されるので、ユーザは、被検体２００の寝姿勢および体動の変化を時系列に沿って容易に確認することができる。

【0085】

また、本実施形態による睡眠時動画解析方法は、ステップ３０４（選定ステップ）において睡眠時動画から選定された複数の選定フレームの画像を合成した短縮動画を生成するステップ３０６（動画短縮ステップ）を備える。これにより、睡眠時動画から被検体２００の寝姿勢が変化した時間帯の画像を抽出した動画を生成することができる。その結果、ユーザは、被検体２００の睡眠時動画全体を確認する場合に比べて、被検体２００の寝姿勢の時間変化を短縮動画によって、効率的に確認することができる。

【0086】

また、本実施形態による睡眠時動画解析方法は、ステップ３１１（寝姿勢推定ステップ）に先立って、短縮動画の各フレームの画像を複数の角度に回転させ、複数の方向に回転させた画像毎に、被検体２００の睡眠時における寝姿勢を推定し、ステップ３１１（寝姿勢推定ステップ）における寝姿勢の推定に用いる画像の回転角度を決定するステップ３０９（回転角度決定ステップ）を備える。これにより、複数の回転角度に回転させた画像の中から、寝姿勢推定の精度が高まる画像を選択して、寝姿勢の推定に用いることができるので、寝姿勢の推定を精度よく行うことができる。

【0087】

また、本実施形態による睡眠時動画解析方法では、ステップ３０９（回転角度決定ステップ）において、短縮動画の一定時間毎、および、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎に、短縮動画の各フレームの画像を複数の角度に回転させ、ステップ３１１（寝姿勢推定ステップ）における寝姿勢の推定に用いる画像の回転角度を決定する処理が行われる。これにより、短縮動画の各フレーム（全フレーム）の画像において、寝姿勢の推定に用いる画像の回転角度を決定する場合に比べて、短縮動画の各フレームの画像を複数の角度に回転させ、ステップ３１１（寝姿勢推定ステップ）における寝姿勢の推定に用いる画像の回転角度を決定するための処理数を削減することができる。また、短縮動画の一定時間毎、および、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎に、寝姿勢の推定に用いる画像の回転角度を決定する処理を行うので、いずれか一方のみにおいて、寝姿勢の推定に用いる画像の回転角度を決定する処理を行う場合に比べて、寝姿勢の推定を精度よく行うことができる。

【0088】

また、本実施形態による睡眠時動画解析方法は、被検体２００の睡眠時における寝姿勢推定の際に得られる寝姿勢推定モデル（学習済モデル）による寝姿勢推定の確信度と、予め設定された妥当性閾値とに基づいて、寝姿勢推定モデルによる寝姿勢推定結果が妥当であるか否かを判定するステップ３１２（推定結果判定ステップ）を備える。これにより、寝姿勢推定モデルによる寝姿勢推定結果が妥当であるか否かを判定することができるので、寝姿勢推定結果を寝姿勢の分類および体動計測に用いる際に、寝姿勢推定結果が十分な精度を有するか否かを容易に判断することができる。

【0089】

また、本実施形態による睡眠時動画解析方法では、ステップ３１３（寝姿勢分類ステップ）は、ステップ３１２（推定結果判定ステップ）において、ステップ３１１（寝姿勢推定ステップ）における寝姿勢推定結果が妥当であると判定された場合に、被検体２００の寝姿勢の分類を行う。そして、ステップ３１５（表示ステップ）では、ステップ３１２（推定結果判定ステップ）の判定結果に基づいて、ステップ３１３（寝姿勢分類ステップ）による寝姿勢の分類が行われた場合には、ステップ３１３（寝姿勢分類ステップ）による寝姿勢分類結果を表示する。これにより、ユーザは、寝姿勢分類結果の表示によって、被検体２００の寝姿勢の分類を容易に確認することができる。また、ステップ３１５（表示ステップ）では、ステップ３１２（推定結果判定ステップ）の判定結果に基づいて、ステップ３１３（寝姿勢分類ステップ）による寝姿勢の分類が行われなかった場合には、寝姿勢の分類が行われなかったことを示す表示、および、寝姿勢推定モデル（学習済モデル）による寝姿勢推定の確信度を示す表示のうち、少なくとも一方を切り替えて行う。これにより、寝姿勢の分類が行われなかったことを示す表示を行う場合には、ユーザは、ステップ３１３（寝姿勢分類ステップ）における寝姿勢の分類が行われなかったことを容易に確認することができる。また、寝姿勢推定モデル（学習済モデル）による寝姿勢推定の確信度を示す表示を行う場合には、ユーザは、寝姿勢推定モデルによる寝姿勢推定の確信度が低いことによって、ステップ３１３（寝姿勢分類ステップ）における寝姿勢の分類が行われなかったことを容易に確認することができる。

【0090】

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

【0091】

たとえば、上記実施形態では、睡眠時動画のフレーム間の差異を計算する手法として、ＺＮＣＣ（ゼロ平均正規化相互相関）を用いて、フレーム（第１選定フレーム１０）を選定する例を示したが、本発明はこれに限られない。本発明では、睡眠時動画のフレーム間の差異を計算する手法は、フレーム間の画像の相関を算出する手法であってもよいし、フレーム間の画素の差分を算出する手法であってもよい。たとえば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）およびＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）などの手法を用いて、計算値が設定した閾値以上（あるいは閾値以下）場合に、画像間の差異が第１閾値以上であるとして、フレーム（第１選定フレームまたは第２選定フレーム）を選定するようにしてもよい。また、フレームの選定において、複数の手法が用いられてもよい。

【0092】

また、上記実施形態では、寝姿勢分類結果および体動計測結果の両方を表示する例を示したが、本発明はこれに限られない。本発明では、寝姿勢分類結果と体動計測結果とのうち、いずれか一方が切り替えて表示されてもよい。また、寝姿勢分類結果と体動計測結果とのうち、いずれか一方のみが表示されてもよい。たとえば、表示ステップにおいて、寝姿勢分類結果のみが表示されてもよい。この場合、表示される被検体の睡眠時の寝姿勢の分類結果から、睡眠動画中における被検体の寝姿勢をユーザが容易に把握することができる。また、表示ステップにおいて、体動計測結果のみが表示されてもよい。この場合、表示される被検体の睡眠時の体動計測結果から、睡眠動画中における被検体の体動の変化をユーザが容易に把握することができる。

【0093】

また、上記実施形態では、寝姿勢推定に先立って選定されたフレームの画像（短縮動画の画像）を用いて、被検体２００の睡眠時における寝姿勢を推定する例を示したが、本発明はこれに限られない。本発明では、睡眠時動画の各フレーム（全フレーム）の画像を用いて、被検体の睡眠時における寝姿勢が推定されてもよい。

【0094】

また、上記実施形態では、選定フレーム（睡眠時動画のフレーム間における画像の差異が選定閾値以上のフレーム）に加えて、選定フレームの前後のフレームも、寝姿勢推定ステップにおける寝姿勢の推定に用いる画像のフレームとして選定する例を示したが、本発明はこれに限られない。本発明では、選定フレーム（睡眠時動画のフレーム間における画像の差異が選定閾値以上のフレーム）の画像のみが寝姿勢推定ステップにおける寝姿勢の推定に用いられてもよい。

【0095】

また、上記実施形態では、睡眠時動画の各フレームにおいて、直前の第１選定フレーム１０の画像との差異が第２選定閾値以上の画像のフレームを第２選定フレーム２０として選定する例を示したが、本発明はこれに限られない。本発明では、第１選定フレームのみが寝姿勢の推定に用いる画像のフレームとして選定されてもよい。

【0096】

また、上記実施形態では、第１選定フレーム１０および第２選定フレーム２０に加えて、第２選定フレーム２０の直前の第１選定フレーム１０から第２選定フレーム２０までの間のフレームを、所定の間隔毎にステップ３１１（寝姿勢推定ステップ）における寝姿勢の推定に用いる画像のフレームとして選定する例を示したが、本発明はこれに限られない。本発明では、第１選定フレームおよび第２選定フレームのみが寝姿勢の推定に用いる画像のフレームとして選定されてもよい。また、上記実施形態では、ＰＣ１は、睡眠時動画の各フレームの画像を順次読み込み、睡眠時動画の隣接する各フレーム間における画像の差異が第１選定閾値以上のフレームを第１選定フレーム１０として選定する例を示したが、本発明はこれに限られない。本発明では、画像の差異を計算するフレームは、必ずしも隣接しているフレームでなくてもよく、一定間隔ごとにピックアップしたフレーム間で画像の差異を計算し、選定フレーム（睡眠時動画のフレーム間における画像の差異が選定閾値以上のフレーム）を選定してもよい。

【0097】

また、上記実施形態では、睡眠時動画から選定された複数の選定フレームの画像を合成した短縮動画を生成する例を示したが、本発明はこれに限られない。本発明では、睡眠時動画において被検体の寝姿勢が変化した選定フレームの箇所（フレーム数または時間帯）を睡眠時動画に対応付けて表示するだけでもよい。この場合、ユーザが、睡眠時動画における選定フレームの箇所（フレーム数または時間帯）を選択することによって、各選定フレームにおける結果（寝姿勢推定結果、寝姿勢分類結果または体動計測結果）が表示されるようにしてもよい。また、本発明では、短縮動画の各フレームに対する寝姿勢分類結果、または、体動計測結果が、前述したような睡眠時動画（長時間動画）と短縮動画との間の対応付け（段落［００３２］参照）に基づき、睡眠時動画（長時間動画）の時刻に戻して表示されてもいい。元の睡眠時動画（長時間動画）において、寝姿勢分類結果、または、体動計測結果が無いフレームについては、たとえば、直前の結果が存在するフレームと同じ結果（寝姿勢分類結果、または、体動計測結果）を表示する。または、時系列的に前方、または、後方の結果が存在するフレームの内、時系列が近いほうのフレームの結果を選択してもよい。

【0098】

また、上記実施形態では、ステップ３１１（寝姿勢推定ステップ）に先立って、短縮動画の各フレームの画像を回転させる処理を行う例を示したが、本発明はこれに限られない。本発明では、寝姿勢の推定に先立って、寝姿勢の推定に用いる画像を回転させることなく、寝姿勢の推定が行われてもよい。

【0099】

また、上記実施形態では、回転角度決定ステップは、短縮動画の一定時間毎、および、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎に、短縮動画の各フレームの画像を複数の角度に回転させ、寝姿勢推定ステップにおける寝姿勢の推定に用いる画像の回転角度を決定する処理を行う例を示したが、本発明はこれに限られない。本発明では、回転角度決定ステップは、短縮動画の各フレーム（全フレーム）の画像において、短縮動画の各フレームの画像を複数の角度に回転させ、寝姿勢推定ステップにおける寝姿勢の推定に用いる画像の回転角度を決定する処理を行ってもよい。

【0100】

また、上記実施形態では、短縮動画の一定時間毎、および、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎に、短縮動画の各フレームの画像を複数の角度に回転させ、ステップ３１１（寝姿勢推定ステップ）における寝姿勢の推定に用いる画像の回転角度を決定する例を示したが、本発明はこれに限られない。本発明では、短縮動画の一定時間毎と、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎とのうち、少なくとも一方に基づいて、寝姿勢の推定に用いる画像の回転角度を決定してもよい。たとえば、短縮動画の一定時間毎に、寝姿勢の推定に用いる画像の回転角度が決定されてもよい。これにより、短縮動画の各フレーム（全フレーム）の画像において、寝姿勢の推定に用いる画像の回転角度を決定する場合に比べて、短縮動画の各フレームの画像を複数の角度に回転させ、寝姿勢の推定に用いる画像の回転角度を決定のための処理数を削減することができる。また、短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎に、寝姿勢の推定に用いる画像の回転角度を決定してもよい。この場合においても、短縮動画の各フレーム（全フレーム）の画像において、寝姿勢の推定に用いる画像の回転角度を決定する場合に比べて、短縮動画の各フレームの画像を複数の角度に回転させ、寝姿勢の推定に用いる画像の回転角度を決定のための処理数を削減することができる。

【0101】

また、上記実施形態では、ステップ３１３（寝姿勢分類ステップ）に先立って、被検体２００の睡眠時における寝姿勢推定の際に得られる姿勢推定モデルによる寝姿勢推定の確信度と、予め設定された妥当性閾値とに基づいて、姿勢推定モデルによる寝姿勢推定結果が妥当であるか否かを判定するステップ３１２（推定結果判定ステップ）を備える例を示したが、本発明はこれに限られない。本発明では、学習済モデルによる寝姿勢推定結果が妥当であるか否かを判定せずに、寝姿勢分類ステップにおける寝姿勢分類または体動計測ステップにおける体動計測を行うようにしてもよい。

【0102】

また、上記実施形態では、寝姿勢の分類が行われなかったことを示す表示と、寝姿勢推定モデル（学習済モデル）による寝姿勢推定の確信度を示す表示とを切り替え可能とする例を示したが、本発明はこれに限られない。本発明では、推定結果判定ステップの判定結果に基づいて、寝姿勢分類ステップによる寝姿勢の分類が行われなかった場合には、寝姿勢の分類が行われなかったことを示す表示のみを行うようにしてもよい。また、推定結果判定ステップの判定結果に基づいて、寝姿勢分類ステップによる寝姿勢の分類が行われなかった場合には、学習済モデルによる寝姿勢推定の確信度を示す表示のみを行うようにしてもよい。

【0103】

また、上記実施形態では、寝姿勢分類結果および体動計測結果を表示する例を示したが、本発明はこれに限られない。本発明では、図１４に示すように、寝姿勢分類結果および体動計測結果に加えて、布団の有無（被検体に布団が掛かっているか否か）が表示されてもよい。

【0104】

また、上記実施形態では、寝姿勢の推定に先立って、寝姿勢の推定に用いる画像の回転角度を決定する際に、寝姿勢推定モデル（学習済モデル）が出力した関節点ごとの確信度の平均値が最大になる回転角度を寝姿勢の推定に用いる画像の回転角度として決定する構成する例を示したが、本発明はこれに限られない。本発明では、寝姿勢の推定に先立って、睡眠時動画または短縮動画のフレームを順次解析し、寝姿勢推定の結果などから体の向きを計算することによって、被検体の体の向きが画像に対して横向き、逆さまであれば、そのフレームあるいは次のフレームから、被検体の体の向きが適切になる角度（頭が上になる角度）に画像を回転させてもよい。たとえば、図１５に示すように、頭部関節点（目、耳、鼻など）の中心位置２０１と、足部関節点（腰、膝、足首など）の中心位置２０２を計算し、頭部関節点の中心位置２０１が足部関節点の中心位置２０２より上になる角度に画像を回転させる。この場合に求める回転角度は、９０°ごとに設定してもよく、頭部と足部が垂直になるような任意の角度に設定してもよい。

【0105】

また、上記実施形態では、説明の便宜上、本発明の睡眠時動画解析方法における処理を処理フローに沿って順番に処理を行うフロー駆動型のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、睡眠時動画解析方法における処理が、イベント単位で処理を実行するイベント駆動型（イベントドリブン型）の処理により行われてもよい。この場合、睡眠時動画解析方法における処理は、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。

【0106】

［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。

【0107】

（項目１）
被検体の睡眠時の動画である睡眠時動画に基づいて、前記被検体の睡眠時における寝姿勢を推定する寝姿勢推定ステップと、
前記寝姿勢推定ステップにおける寝姿勢推定結果に基づいて、前記被検体の睡眠時における寝姿勢を分類する寝姿勢分類ステップと、
前記寝姿勢推定ステップにおける前記寝姿勢推定結果に基づいて、前記被検体の睡眠時における体動を計測する体動計測ステップと、
前記寝姿勢分類ステップにおける寝姿勢分類結果と前記体動計測ステップにおける体動計測結果とのうち、少なくとも一方を表示する表示ステップと、を備える、睡眠時動画解析方法。

【0108】

（項目２）
前記睡眠時動画の各フレームの画像を順次読み込み、前記睡眠時動画のフレーム間における画像の差異が選定閾値以上のフレームを、前記睡眠時動画において前記被検体の寝姿勢が変化した選定フレームとして選定する選定ステップをさらに備える、項目１に記載の睡眠時動画解析方法。

【0109】

（項目３）
前記寝姿勢推定ステップは、前記選定ステップにおいて、前記寝姿勢推定ステップに先立って選定された前記選定フレームの画像を用いて、前記被検体の睡眠時における寝姿勢を推定するステップを含む、項目２に記載の睡眠時動画解析方法。

【0110】

（項目４）
前記選定ステップは、前記選定フレームに加えて、前記選定フレームの前後のフレームも、前記寝姿勢推定ステップにおける寝姿勢の推定に用いる画像のフレームとして選定するステップを含む、項目３に記載の睡眠時動画解析方法。

【0111】

（項目５）
前記選定ステップは、
前記睡眠時動画の各フレームの画像を順次読み込み、前記睡眠時動画の隣接する各フレーム間における画像の差異が第１選定閾値以上のフレームを第１選定フレームとして選定するステップと、
前記睡眠時動画の各フレームにおいて、直前の前記第１選定フレームの画像との差異が第２選定閾値以上の画像のフレームを第２選定フレームとして選定するステップとを含む、項目２～４のいずれか１項に記載の睡眠時動画解析方法。

【0112】

（項目６）
前記選定ステップは、前記第１選定フレームおよび前記第２選定フレームに加えて、前記第２選定フレームの直前の前記第１選定フレームから前記第２選定フレームまでの間のフレームを、所定の間隔毎に前記寝姿勢推定ステップにおける寝姿勢の推定に用いる画像のフレームとして選定するステップをさらに含む、項目５に記載の睡眠時動画解析方法。

【0113】

（項目７）
前記表示ステップは、前記寝姿勢分類ステップにおける寝姿勢分類結果、および、前記体動計測ステップにおける体動計測結果の各々を時系列表示するステップを含む、項目１～６のいずれか１項に記載の睡眠時動画解析方法。

【0114】

（項目８）
前記選定ステップにおいて前記睡眠時動画から選定された複数の前記選定フレームの画像を合成した短縮動画を生成する動画短縮ステップをさらに備える、項目２～６のいずれか１項に記載の睡眠時動画解析方法。

【0115】

（項目９）
前記寝姿勢推定ステップに先立って、前記短縮動画の各フレームの画像を複数の角度に回転させ、複数の方向に回転させた画像毎に、前記被検体の睡眠時における寝姿勢を推定し、前記寝姿勢推定ステップにおける寝姿勢の推定に用いる画像の回転角度を決定する回転角度決定ステップをさらに備える、項目８に記載の睡眠時動画解析方法。

【0116】

（項目１０）
前記回転角度決定ステップは、前記短縮動画の一定時間毎と、前記短縮動画において前後のフレーム間の画像の差異が回転閾値以上になる毎とのうち、少なくとも一方に基づいて、前記短縮動画の各フレームの画像を複数の角度に回転させ、前記寝姿勢推定ステップにおける寝姿勢の推定に用いる画像の回転角度を決定する処理を行うステップを含む、項目９に記載の睡眠時動画解析方法。

【0117】

（項目１１）
前記寝姿勢推定ステップは、機械学習された学習済モデルに基づいて、前記被検体の睡眠時における寝姿勢推定を行うステップを含み、
前記被検体の睡眠時における寝姿勢推定の際に得られる前記学習済モデルによる寝姿勢推定の確信度と、予め設定された妥当性閾値とに基づいて、前記学習済モデルによる前記寝姿勢推定結果が妥当であるか否かを判定する推定結果判定ステップをさらに備える、項目１～１０のいずれか１項に記載の睡眠時動画解析方法。

【0118】

（項目１２）
前記寝姿勢分類ステップは、前記推定結果判定ステップにおいて、前記寝姿勢推定ステップにおける前記寝姿勢推定結果が妥当であると判定された場合に、前記被検体の寝姿勢の分類を行うステップであり、
前記表示ステップは、
前記推定結果判定ステップの判定結果に基づいて、前記寝姿勢分類ステップによる寝姿勢の分類が行われた場合には、前記寝姿勢分類ステップによる寝姿勢分類結果を表示するステップと、
前記推定結果判定ステップの前記判定結果に基づいて、前記寝姿勢分類ステップによる寝姿勢の分類が行われなかった場合には、分類が行われなかったことを示す表示、および、前記学習済モデルによる寝姿勢推定の確信度を示す表示のうち、少なくとも一方を行うステップとを含む、項目１１に記載の睡眠時動画解析方法。

【0119】

（項目１３）
項目１～１２のいずれか１項に記載された睡眠時動画解析方法をコンピュータに実行させる、プログラム。

【0120】

（項目１４）
項目１３に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。

【0121】

（項目１５）
被検体の睡眠時の動画である睡眠時動画の解析を行う制御部と、
前記制御部による解析結果を表示する表示部と、を備え、
前記制御部は、
前記睡眠時動画に基づいて、前記被検体の睡眠時における寝姿勢を推定する寝姿勢推定制御と、
前記寝姿勢推定制御による寝姿勢推定結果に基づいて、前記被検体の睡眠時における寝姿勢を分類する寝姿勢分類制御と、
前記寝姿勢推定制御による前記寝姿勢推定結果に基づいて、前記被検体の睡眠時における体動を計測する体動計測制御と、
前記寝姿勢分類制御による寝姿勢分類結果と前記体動計測制御による体動計測結果とのうち、少なくとも一方を前記表示部に表示させる制御を行う表示制御とを行うように構成されている、睡眠時動画解析装置。

【0122】

（項目１６）
前記制御部は、前記睡眠時動画の各フレームの画像を順次読み込み、前記睡眠時動画のフレーム間における画像の差異が選定閾値以上のフレームを、前記睡眠時動画において前記被検体の寝姿勢が変化した選定フレームとして選定する選定制御を行うように構成されている、項目１５に記載の睡眠時動画解析装置。

【符号の説明】

【0123】

１ ＰＣ（制御部）
２ ディスプレイ（表示部）
１０ 第１選定フレーム
２０ 第２選定フレーム
１００ 解析装置（睡眠時動画解析装置）
２００ 被検体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】