特表 2025-502810 遠隔ＰＰＧ方式を用いて心拍数を測定するためのデジタルヘルスケア装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-28

(54)【発明の名称】遠隔ＰＰＧ方式を用いて心拍数を測定するためのデジタルヘルスケア装置

(51)【国際特許分類】

   A61B 5/00 20060101AFI20250121BHJP

   A61B 5/11 20060101ALI20250121BHJP

   A61B 5/113 20060101ALI20250121BHJP

   A61B 5/08 20060101ALI20250121BHJP

   A61B 5/0245 20060101ALI20250121BHJP

   A61B 5/02 20060101ALI20250121BHJP

   A61B 5/16 20060101ALI20250121BHJP

【ＦＩ】

A61B5/00 G

A61B5/11 120

A61B5/113

A61B5/08

A61B5/0245 A

A61B5/00 102C

A61B5/02 310Z

A61B5/16 110

A61B5/16 130

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024539652

(86)(22)【出願日】2022-12-21

(85)【翻訳文提出日】2024-06-27

(86)【国際出願番号】 KR2022020971

(87)【国際公開番号】W WO2023128454

(87)【国際公開日】2023-07-06

(31)【優先権主張番号】10-2021-0192187

(32)【優先日】2021-12-30

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0046601

(32)【優先日】2022-04-15

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】520494954

【氏名又は名称】エマヘルスケア カンパニー リミテッド

【氏名又は名称原語表記】Ｅｍｍａ Ｈｅａｌｔｈｃａｒｅ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】ソン リャン ヒ

【テーマコード（参考）】

4C017

4C038

4C117

【Ｆターム（参考）】

4C017AA02

4C017AA10

4C017AB07

4C017AC28

4C017BC11

4C038SS08

4C038SS09

4C038VA04

4C038VB03

4C038VB33

4C038VC05

4C117XA01

4C117XB02

4C117XB18

4C117XC01

4C117XC02

4C117XD04

4C117XE13

4C117XE24

4C117XE26

4C117XE42

4C117XE52

4C117XK05

4C117XR01

(57)【要約】

本発明に係るデジタルヘルスケア装置は、所定の時間帯、又は周辺が所定の明るさ以下であるか否かに基づいて、対象者の顔をカラーイメージとして取得するか又は赤外線（ＩＲ）イメージとして取得するかを決定するプロセッサと、前記プロセッサの決定によって対象者の顔を撮影して顔イメージを取得するカメラと、を含み、前記プロセッサは、前記顔イメージから、顔に該当する関心領域（ＲＯＩ）を検出し、前記検出された関心領域から、第１部位に対する第１イメージを取得し、第２部位に対する第２イメージを取得し、前記取得した第１イメージ及び第２イメージを所定の学習されたアルゴリズムモデルに適用し、前記対象者の遠隔ＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ，ｒＰＰＧ）信号波形及び呼吸数信号波形を出力できる。
【選択図】図４

【特許請求の範囲】

【請求項1】

所定の時間帯、又は周辺が所定の明るさ以下であるか否かに基づいて、対象者の顔をカラーイメージとして取得するか又は赤外線（ＩＲ）イメージとして取得するかを決定するプロセッサと、
前記プロセッサの決定によって対象者の顔を撮影して顔イメージを取得するカメラと、を含み、
前記プロセッサは、前記顔イメージから、顔に該当する関心領域（ＲＯＩ）を検出し、
前記検出された関心領域から、第１部位に対する第１イメージを取得し、第２部位に対する第２イメージを取得し、
前記取得した第１イメージ及び第２イメージを所定の学習されたアルゴリズムモデルに適用し、前記対象者の遠隔ＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ，ｒＰＰＧ）信号波形及び呼吸数信号波形を出力する、デジタルヘルスケア装置。

【請求項2】

前記対象者の心弾動図（Ｂａｌｌｉｓｔｏｃａｒｄｉｏｇｒａｍ，ＢＣＧ）信号をセンシングするためのＢＣＧセンサーをさらに含み、
前記プロセッサは、前記センシングされたＢＣＧ信号波形から第１心拍数を、前記出力された遠隔ＰＰＧ信号波形から第２心拍数を算出し、前記第１心拍数及び前記第２心拍数に基づいて前記対象者の心拍数を出力する、請求項１に記載のデジタルヘルスケア装置。

【請求項3】

前記出力された心拍数は、前記第１心拍数及び前記第２心拍数を平均した心拍数に該当する、請求項２に記載のデジタルヘルスケア装置。

【請求項4】

前記所定の学習されたアルゴリズムモデルは、多重作業学習（Ｍｕｌｔｉ－ｔａｓｋ Ｌｅａｒｎｉｎｇ）のＳＮＮ（Ｓｉａｍｅｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）モデルを利用する、請求項１に記載のデジタルヘルスケア装置。

【請求項5】

前記プロセッサは、
前記関心領域から二つの目部位イメージを検出し、検出された二つの目部位イメージから二つの瞳イメージを検出し、
前記検出された二つの瞳イメージから二つの虹彩を検出して全て認識した場合に、前記対象者がウェイク（Ｗａｋｅ）状態であると判断する、請求項１に記載のデジタルヘルスケア装置。

【請求項6】

前記プロセッサは、前記検出された二つの瞳イメージから二つの虹彩が全て認識されない状態が所定時間経つと、前記対象者がスリープ（ｓｌｅｅｐ）状態であると判断する、請求項５に記載のデジタルヘルスケア装置。

【請求項7】

前記対象者に該当する乳幼児が横たわるためのベッドをさらに含み、
前記プロセッサは、前記対象者がウェイク状態であると判断される場合に、前記ベッドに動作中のバウンス機能を維持するように制御する、請求項５に記載のデジタルヘルスケア装置。

【請求項8】

前記対象者が横たわるためのベッドを含み、
前記プロセッサは、前記対象者がスリープ状態であると判断される場合に、前記ベッドの垂直及び水平の動きを制御してバウンス機能を徐々に止まらせる、請求項６に記載のデジタルヘルスケア装置。

【請求項9】

本体フレームをさらに含み、
前記カメラは、前記対象者の横たわっている姿勢及び方向を考慮して前記対象者の顔が撮影されるように前記本体フレーム上で移動可能である、請求項１に記載のデジタルヘルスケア装置。

【請求項10】

前記第１部位は額（ｆｏｒｅｈｅａｄ）に該当し、前記第２部位は頬（ｃｈｅｅｋ）に該当する、請求項１に記載のデジタルヘルスケア装置。

【請求項11】

前記対象者が横たわるためのベッドをさらに含み、
前記ＢＣＧセンサーは、前記ベッドをカバーするカバーの内部表面に付着するように備えられている、請求項１に記載のデジタルヘルスケア装置。

【請求項12】

前記プロセッサは、前記出力された呼吸数信号波形に基づいて呼吸数を算出し、前記算出された呼吸数に基づいて前記対象者の睡眠時無呼吸の有無を判断する、請求項１に記載のデジタルヘルスケア装置。

【請求項13】

前記算出された呼吸数を、連動している端末機に送信するための通信部をさらに含む、請求項１２に記載のデジタルヘルスケア装置。

【請求項14】

遠隔ＰＰＧ方式で対象者のヘルスケアのためのモニタリングを行う方法であって、
所定の時間帯、又は周辺が所定の明るさ以下であるか否かに基づいて、対象者の顔をカラーイメージとして取得するか又は赤外線（ＩＲ）イメージとして取得するかを決定する段階と、
前記プロセッサの決定によって対象者の顔を撮影して顔イメージを取得する段階と、
前記顔イメージから、顔に該当する関心領域（ＲＯＩ）を検出する段階と、
前記検出された関心領域から、第１部位に対する第１イメージを取得し、第２部位に対する第２イメージを取得する段階と、
前記取得した第１イメージ及び第２イメージを所定の学習されたアルゴリズムモデルに適用し、前記対象者の遠隔ＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ，ｒＰＰＧ）信号波形及び呼吸数信号波形を出力する段階と、を含む、ヘルスケアのためのモニタリング方法。

【請求項15】

前記対象者の心弾動図（Ｂａｌｌｉｓｔｏｃａｒｄｉｏｇｒａｍ，ＢＣＧ）信号をセンシングする段階と、
前記センシングされたＢＣＧ信号波形から第１心拍数を、前記出力された遠隔ＰＰＧ信号波形から第２心拍数を算出し、前記第１心拍数及び前記第２心拍数に基づいて前記対象者の心拍数を出力する段階と、をさらに含む、請求項１４に記載のヘルスケアのためのモニタリング方法。

【請求項16】

前記関心領域から二つの目部位イメージを検出し、検出された二つの目部位の領域から二つの瞳イメージを検出する段階と、
前記検出された二つの瞳イメージから二つの虹彩が全て認識された場合に、前記対象者がウェイク（Ｗａｋｅ）状態であると判断する段階をさらに含む、請求項１５に記載のヘルスケアのためのモニタリング方法。

【請求項17】

前記検出された二つの瞳イメージから二つの虹彩が全て認識されない状態が所定時間経つと、前記対象者がスリープ（ｓｌｅｅｐ）状態であると判断する段階をさらに含む、請求項１５に記載のヘルスケアのためのモニタリング方法。

【請求項18】

前記出力された呼吸数信号波形に基づいて呼吸数を算出する段階と、
前記算出された呼吸数に基づいて前記対象者の睡眠時無呼吸の有無を判断する段階と、をさらに含む、請求項１４に記載のヘルスケアのためのモニタリング方法。

【請求項19】

前記第１部位は額（ｆｏｒｅｈｅａｄ）部位に該当し、前記第２部位は頬（ｃｈｅｅｋ）部位に該当する、請求項１８に記載のヘルスケアのためのモニタリング方法。

【請求項20】

請求項１４～１９のいずれか一項に記載のヘルスケアのためのモニタリング方法をコンピュータで実行するコンピュータプログラムを記録した、コンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルヘルスケア装置に関し、より詳細には、非接触式方式で赤ん坊などの対象者の心拍数、呼吸数、睡眠状態などを遠隔ＰＰＧ方式を用いて測定するためのデジタルヘルスケア装置に関する。

【背景技術】

【0002】

非侵襲的な方式でＰＰＧセンサーを用いて生体信号をセンシングし、人間の疾病に対する事項を把握する研究は存在している。しかし、現在、ＣＯＶＩＤ－１９の大流行をきっかけに、非侵襲的な方式で遠隔で健康をモニターできる技術が格段に重要になってきている。各国は、医療環境においてＣＯＶＩＤ－１９の危険を減らすために、可能な限り遠隔健康戦略を利用するように勧告している。そこで、既存の身体への接触が必要なセンサーを用いた生体情報モニタリング方法ではなく新しい方法が要求される。

【0003】

遠隔健康モニタリング技術は、携帯電話やオンライン健康ポータルのような通信システムをベースにしている。このような遠隔健康モニタリング技術は、ＣＯＶＩＤ－１９のような流行病が終わった後にも持続的な患者モニタリングに非常に密接に要求され得る。カメラを用いて顔面ビデオストリームに基づいてユーザーの生理学的信号を測定するために用いられる。このような技術は、伝染病の他にも乳幼児の生体情報モニタリングや高齢者或いは精神健康モニタリングにも利用可能である。

【0004】

しかしながら、現在、遠隔健康モニタリング技術として、人の生体信号を推定し、心拍数、ストレス指数、呼吸数などを予測する研究とヘルスケア製品は皆無な状況である。この発明は、韓国保健福祉部、韓国保健産業振興院が支援する老人・障害者補助機器研究開発事業である、車椅子連動が可能なスマート揺籃開発課題（課題固有番号（１４６５０３６５９９）、課題番号（ＨＪ２１Ｃ００１４０３００２２）、研究期間（２０２２．０１．０１～２０２２．１２．３１））の支援によってなされたものである。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明で遂げようとする技術的課題は、遠隔ＰＰＧ方式で心拍数の測定のためのデジタルヘルスケア装置を提供することにある。

【0006】

本発明で遂げようとする他の技術的課題は、遠隔ＰＰＧ方式で対象者のヘルスケアのためのモニタリング方法を提供することにある。

【0007】

本発明で遂げようとするさらに他の技術的課題は、遠隔ＰＰＧ方式で対象者のヘルスケアのためのモニタリングを行う方法をコンピュータで実行するコンピュータプログラムを記録したコンピュータ可読記録媒体を提供することにある。

【0008】

本発明で遂げようとする技術的課題は、以上で言及した技術的課題に限定されず、言及していない別の技術的課題は、以下の記載から、本発明の属する技術の分野における通常の知識を有する者に明確に理解されるであろう。

【課題を解決するための手段】

【0009】

上記の技術的課題を達成するための、本発明の一実施例に係るデジタルヘルスケア装置は、所定の時間帯、又は周辺が所定の明るさ以下であるか否かに基づいて、対象者の顔をカラーイメージとして取得するか又は赤外線（ＩＲ）イメージとして取得するかを決定するプロセッサと、前記プロセッサの決定によって対象者の顔を撮影して顔イメージを取得するカメラと、を含み、前記プロセッサは、前記顔イメージから、顔に該当する関心領域（ＲＯＩ）を検出し、前記検出された関心領域から、第１部位に対する第１イメージを取得し、第２部位に対する第２イメージを取得し、前記取得した第１イメージ及び第２イメージを所定の学習されたアルゴリズムモデルに適用し、前記対象者の遠隔ＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ，ｒＰＰＧ）信号波形及び呼吸数信号波形を出力することができる。前記第１部位は額（ｆｏｒｅｈｅａｄ）部位に該当し、前記第２部位は頬（ｃｈｅｅｋ）部位に該当してよい。

【0010】

前記デジタルヘルスケア装置は、前記対象者の心弾動図（Ｂａｌｌｉｓｔｏｃａｒｄｉｏｇｒａｍ，ＢＣＧ）信号をセンシングするためのＢＣＧセンサーをさらに含み、前記プロセッサは、前記センシングされたＢＣＧ信号波形から第１心拍数を、前記出力された遠隔ＰＰＧ信号波形から第２心拍数を算出し、前記第１心拍数及び前記第２心拍数に基づいて前記対象者の心拍数を出力することができる。前記出力された心拍数は、前記第１心拍数及び前記第２心拍数を平均した心拍数に該当する。前記所定の学習されたアルゴリズムモデルは、多重作業学習（Ｍｕｌｔｉ－ｔａｓｋ Ｌｅａｒｎｉｎｇ）のＳＮＮ（Ｓｉａｍｅｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）モデルを利用する。前記プロセッサは、前記関心領域から二つの目部位イメージを検出し、検出された二つの目部位イメージから二つの瞳イメージを検出し、前記検出された二つの瞳イメージから二つの虹彩を検出して全て認識された場合に、前記対象者がウェイク（Ｗａｋｅ）状態であると判断できる。前記プロセッサは、前記検出された二つの瞳イメージから二つの虹彩が全て認識されない状態が所定時間経つと、前記対象者がスリープ（ｓｌｅｅｐ）状態であると判断できる。前記対象者に該当する乳幼児が横たわるためのベッドをさらに含み、前記プロセッサは、前記対象者がウェイク状態であると判断される場合に、前記ベッドに動作中のバウンス機能を維持するように制御できる。前記デジタルヘルスケア装置は、前記対象者が横たわるためのベッドを含み、前記プロセッサは、前記対象者がスリープ状態であると判断される場合に、前記ベッドの垂直及び水平の動きを制御してバウンス機能を徐々に止まらせることができる。前記デジタルヘルスケア装置は、本体フレームをさらに含み、前記カメラは、前記対象者の横たわっている姿勢及び方向を考慮し、前記対象者の顔が撮影されるように前記本体フレーム上で移動可能である。前記デジタルヘルスケア装置は、前記出力された心拍数を連動している端末機に送信するための通信部をさらに含んでよい。前記デジタルヘルスケア装置は、前記対象者が横たわるためのベッドをさらに含み、前記ＢＣＧセンサーは、ベッドをカバーするカバーの内部表面に付着するように備えられる。前記プロセッサは、前記出力された呼吸数信号波形に基づいて呼吸数を算出し、前記算出された呼吸数に基づいて前記対象者の睡眠時無呼吸の有無を判断できる。前記デジタルヘルスケア装置は、前記算出された呼吸数を、連動している端末機に送信するための通信部をさらに含んでよい。

【0011】

上記の技術的課題を達成するための、本発明の他の実施例に係る遠隔ＰＰＧ方式を用いる対象者のヘルスケアのためのモニタリング方法は、所定の時間帯、又は周辺が所定の明るさ以下であるか否かに基づいて、対象者の顔をカラーイメージとして取得するか又は赤外線（ＩＲ）イメージとして取得するかを決定する段階と、前記プロセッサの決定によって対象者の顔を撮影して顔イメージを取得する段階と、前記顔イメージから、顔に該当する関心領域（ＲＯＩ）を検出する段階と、前記検出された関心領域から、第１部位に対する第１イメージを取得し、第２部位に対する第２イメージを取得する段階と、前記取得した第１イメージ及び第２イメージを所定の学習されたアルゴリズムモデルに適用し、前記対象者の遠隔ＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ，ｒＰＰＧ）信号波形及び呼吸数信号波形を出力する段階と、を含んでよい。前記第１部位は額（ｆｏｒｅｈｅａｄ）部位に該当し、前記第２部位は頬（ｃｈｅｅｋ）部位に該当してよい。

【0012】

前記方法は、前記対象者の心弾動図（Ｂａｌｌｉｓｔｏｃａｒｄｉｏｇｒａｍ，ＢＣＧ）信号をセンシングする段階と、前記センシングされたＢＣＧ信号波形から第１心拍数を、前記出力された遠隔ＰＰＧ信号波形から第２心拍数を算出し、前記第１心拍数及び前記第２心拍数に基づいて前記対象者の心拍数を出力する段階と、をさらに含んでよい。前記方法は、前記関心領域から二つの目部位イメージを検出し、検出された二つの目部位の領域から二つの瞳イメージを検出する段階と、前記検出された二つの瞳イメージから二つの虹彩が全て認識された場合に、前記対象者がウェイク（Ｗａｋｅ）状態であると判断する段階をさらに含んでよい。前記方法は、前記検出された二つの瞳イメージから二つの虹彩が全て認識されない状態が所定時間経つと、前記対象者がスリープ（ｓｌｅｅｐ）状態であると判断する段階をさらに含んでよい。前記方法は、前記出力された呼吸数信号波形に基づいて呼吸数を算出する段階と、前記算出された呼吸数に基づいて前記対象者の睡眠時無呼吸の有無を判断する段階と、をさらに含んでよい。

【発明の効果】

【0013】

本発明の一実施例に係るヘルスケア装置は、対象者の心拍数、呼吸数、ストレス指数、睡眠状態（睡眠時無呼吸）などに関する情報を非接触式で測定するが、正確度を非常に向上させることができる。

【0014】

本発明の一実施例に係るヘルスケア装置は、対象者の虹彩認識方式でウェイク（ｗａｋｅ）／スリープ（ｓｌｅｅｐ）状態の把握に対する正確度を非常に向上させることができる。

【0015】

本発明の一実施例に係るヘルスケア装置は、顔の映像に基づいて乳幼児、高齢者及び疾患者をＰＰＧ及び呼吸数（ＲＲ）を予測する方式で生体信号を推定することによって持続した健康モニタリングを行うことができる。

【0016】

本発明の一実施例に係るヘルスケア装置は、ＣＯＶＩＤ－１９のような伝染病が持続する状況で非接触式で映像に基づいて生体信号を推定し、乳幼児、患者などの健康をモニターできる効果がある。

【0017】

本発明から得られる効果は、以上で言及した効果に限定されず、言及していない別の効果は、以下の記載から、本発明の属する技術の分野における通常の知識を有する者に明確に理解されるであろう。

【図面の簡単な説明】

【0018】

本発明に関する理解を助けるために詳細な説明の一部として含まれる添付の図面は、本発明に関する実施例を提供し、詳細な説明と共に本発明の技術的思想を説明する。

【図1】人工神経網の階層構造（ｌａｙｅｒ ｓｔｒｕｃｔｕｒｅ）を例示する図である。

【図2】心弾動図（信号）波形を例示する図である。

【図3】ｒＰＰＧ（ｒｅｍｏｔｅ ＰＰＧ）を説明するための例示図である。

【図4】本発明の一実施例に係るヘルスケア装置（４００）の構成を説明するためのブロック図である。

【図5】ｒＰＰＧ手法を用いてＭＴＬアルゴリズム学習モデルにおいてＰＰＧ信号、呼吸数（ＲＲ）信号を出力する事項を説明するための図である。

【図6】対象者のストレス指数の算出のためのＰＰＧ信号周波数の分析及びＬＦ点数／ＨＦ点数の分布を例示する図である。

【図7】本発明に係るヘルスケア装置（４００）を例示する図である。

【図8】本発明に係るヘルスケア装置（４００）が対象者の虹彩を検出する段階を例示する図である。

【図9】本発明に係るヘルスケア装置（４００）が対象者の瞳（虹彩）を検出する方法を詳細に説明する図である。

【発明を実施するための形態】

【0019】

以下、本発明に係る好ましい実施の形態を、添付の図面を参照して詳細に説明する。添付の図面と共に以下に開示される詳細な説明は、本発明の例示的な実施の形態を説明するためのもので、本発明が実施され得る唯一の実施の形態を示すものではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。ただし、当業者は、本発明がこのような具体的細部事項なしにも実施され得ることが分かる。

【0020】

いくつかの場合、本発明の概念が曖昧になることを避けるために公知の構造及び装置が省略されるか、各構造及び装置の中枢機能を中心にしたブロック図の形式で示されてもよい。また、本明細書全体を通じて同一の構成要素には同一の図面符号を付して説明する。

【0021】

本発明を説明するに先立ち、人工知能（ＡＩ）、マシンラーニング、ディープラーニングについて説明する。このような三つの概念の関係を容易に把握する方法は、３個の同心円を仮想すればよい。人工知能が最も大きい円であり、その次がマシンラーニングであり、現在の人工知能ブームを主導するディープラーニングが最も小さい円であるといえる。

【0022】

以下、ディープラーニングについてより具体的に説明する。

【0023】

ディープラーニングとは、人間の神経網（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）理論を用いた人工神経網（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＡＮＮ）の一種で、階層構造（Ｌａｙｅｒ Ｓｔｒｕｃｔｕｒｅ）で構成されるとともに、入力層（Ｉｎｐｕｔ ｌａｙｅｒ）と出力層（Ｏｕｔｐｕｔ ｌａｙｅｒ）との間に一つ以上の隠れた層（Ｈｉｄｄｅｎ ｌａｙｅｒ）（以下、中間層という。）を有する深層神経網（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＤＮＮ）を指すマシンラーニング（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）モデル又はアルゴリズムの集合である。簡単にいうと、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）は、深層階層を有する人工神経網といえる。

【0024】

深層神経網（Ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、人工神経網の後身と見なされてよく、既存の限界を跳び越え、過去に数多くの人工知能技術が失敗を経た領域において成功事例を収めている人工神経網の最新バージョンである。生物学的神経網を模倣して人工神経網をモデリングした内容について説明すると、処理単位（Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）側面では生物的なニューロン（ｎｅｕｒｏｎｓ）がノード（ｎｏｄｅｓ）として、連結性（Ｃｏｎｎｅｃｔｉｏｎｓ）ではシナプス（Ｓｙｎａｐｓｅ）が加重値（ｗｅｉｇｈｔｓ）として、次の表１のようにモデリングされた。

【0025】

【表1】

【0026】

図１は、人工神経網の階層構造（ｌａｙｅｒ ｓｔｒｕｃｔｕｒｅ）を例示する図である。人間の生物学的神経細胞が１個ではなく複数個が連結されて有意の作業を行うように、人工神経網においても個別ニューロンを互いにシナプスで連結させることで複数枚の層（ｌａｙｅｒ）が互いに連結され、各層間の連結強度は加重値で修正（ｕｐｄａｔｅ）可能である。このように多層構造及び連結強度は学習及び認知のための分野に活用される。各ノードは加重値のあるリンクで連結されており、全体モデルは加重値を繰り返し調整しながら学習をする。加重値は長期記憶のための基本手段であり、各ノードの重要度を表現する。人工神経網は、これらの加重値を初期化し、訓練させるデータセットに加重値を更新して調整し、全体モデルを訓練（ｔｒａｉｎｉｎｇ）させるものである。訓練が完了した後に新しい入力値が入ると、適切な出力値を推論する。人工神経網の学習原理は、経験の一般化から知能が形成される過程であるといえ、ボトムアップ（ｂｏｔｔｏｍ－ｕｐ）方式でなされる。図１で、中間層が２個以上（すなわち、５～１０個）である場合を、層が深くなると見なして深層神経網（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）といい、このような深層神経網を通じてなされた学習及び推論モデルをディープラーニングと称することができる。人工神経網は、入力と出力を除いて一つの中間層（通常、隠匿層（ｈｉｄｄｅｎ ｌａｙｅｒ）という。）を有しているだけでもある程度の役割を果たすことはできるが、問題の複雑度が大きくなると、ノードの数又は層の数を増加させなければならない。このうち、層の数を増加させて多層構造モデルにすることが効果的であるが、効率的な学習ができず、ネットワークを学習するための計算量が多いという限界から、活用範囲が制限される。

【0027】

以前の深層神経網は一般に順伝播型神経網として設計されてきたが、最近の研究は、深層学習構造を回帰型神経網（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）に成功的に適用した。例えは、言語モデリング（ｌａｎｇｕａｇｅ ｍｏｄｅｌｉｎｇ）分野に深層神経網構造を適用した事例などがある。畳み込み神経網（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）は、コンピュータビジョン（ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）分野においてよく適用されているだけでなく、それぞれの成功的な適用事例に対する文書化もよくできている。より最近では、畳み込み神経網が自動音声認識（Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ，ＡＳＲ）のための音響モデリング（ａｃｏｕｓｔｉｃ ｍｏｄｅｌｉｎｇ）分野に適用されており、既存のモデルに比べてより成功的に適用されたという評価を受けている。深層神経網は、標準誤差逆伝搬アルゴリズムで学習されてよい。このとき、加重値（ｗｅｉｇｈｔ）は、次の等式を用いた確率的勾配降下法（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）によって更新されてよい。

【0028】

本発明では、所定の学習されたアルゴリズムモデルを用いて非接触状態で顔イメージの情報のみによって生体に関連した情報（心拍数、睡眠時無呼吸などの睡眠状態、ウェイク（ｗａｋｅ）／スリープ（ｓｌｅｅｐ）状態など）及びストレス指数を予測するヘルスケア装置を提案しようとする。非接触式で顔映像に基づいてＰＰＧと呼吸数（ＲＲ）を予測する健康モニタリング方式は、乳幼児、糖尿などの疾病を持つ成人などの持続的な健康モニタリングが必要な対象者に適するだけでなく、接触によって伝染されるＣＯＶＩＤ－１９が流行する環境において安全な健康モニタリング方式になり得る。本発明では、ｒＰＰＧ（ｒｅｍｏｔｅ ＰＰＧ）信号及び心弾動図（ＢＣＧ）信号を用いて対象者（ｓｕｂｊｅｃｔ）の心拍数、ストレス指数、睡眠時無呼吸の有無、ウェイク（ｗａｋｅ）／スリープ（ｓｌｅｅｐ）状態を予測する方法を提案する。次に、本発明で用いる生体情報として人体に対してセンシングによって取得する心弾動図、ＰＰＧについてまず簡略に説明する。

【0029】

《心拍数（Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈ，ＰＰＧ）センサー》

【0030】

心拍数センサーの一例としてＰＰＧ（Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈ）センサーを説明する。ＰＰＧセンサーは、光電式容積脈波センサーという。光電式容積脈波測定法（Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈ，ＰＰＧ）は、生体組織の光学的特性を用いて血管に流れる血流量を測定することによって心拍活動状態或いは心拍数が分かる脈波測定方法である。脈波は、血液が心臓から送り出されながら示される脈動性波形であり、心臓の弛緩・収縮作用によって示される血流量の変化、すなわち血管の容積変化から測定可能である。光電式容積脈波測定法は、光を用いて脈波を測定する方法であり、容積変化時に現れる生体組織の反射、吸収透過比などの光学的特性の変化を光センサーで感知して測定し、これによって脈拍測定が可能である。この方法は、非侵襲的な脈拍測定が可能であり、小型化、使用便宜性などの長所から広く使用されており、ウェアラブル（ｗｅａｒａｂｌｅ）デバイスにおいて生体信号感知センサーとして使用可能である。

【0031】

《心弾動図（Ｂａｌｌｉｓｔｏｃａｒｄｉｏｇｒａｍ，ＢＣＧ）センサー》

【0032】

図２は、心弾動図（信号）波形を例示する図である。

【0033】

心臓周期において心室から排出された血液が大動脈を通過する瞬間に体に反動を伝達する。これと関連した心臓及び血管における血流変化による振動（弾動）を計測した信号を心弾動図（Ｂａｌｌｉｓｔｏｃａｒｄｉｏｇｒａｍ，ＢＣＧ）という。心弾動図は、心臓の収縮及び弛緩に従って心臓と血管における血流変化による弾動を計測した信号を意味し、心電図と類似に心臓の活動状態を示す指標である。

【0034】

心弾動図は、心電図と類似に、心臓の活動状態を示す指標として心拍出量、心筋機能損傷による逆流及び異常血流現象に関する情報を含むものと知られている。したがって、この生体信号は、心臓機能の評価、心臓病（心筋障害など）の診断、治療効果の確認及び回復程度の観察など、臨床的に活用できる潜在性を有している。心弾動図信号は、加速度センサー、ロードセルセンサー、ＰＶＤＦフィルムセンサー、ＥＭＦｉセンサーなどによって測定できる。このようなセンサーを用いる場合には身体に電極を付着させずに済むため、無拘束／無自覚状態で信号が計測でき、長時間に又は日常生活中に健康モニタリングに有用に活用可能である。

【0035】

図２に示すように、心弾動図信号において心拍パターンは、Ｈ、Ｉ、Ｊ、Ｋピークで表現され、実際の心拍として認める部分はＪピークである。心弾動図信号において心拍パターンは、雑音、環境、個人的影響によって様々な形態で現れるが、通常、Ｉピークが環境及び測定条件、個人差によって明確に大差を示し、Ｈピーク及びＪピークの大きさが一定でない。また、Ｉピークが小さい場合に、Ｈピーク又はＪピークのいずれか一方のみが大きい形態で現れる場合がある。

【0036】

遠隔測定方法について簡略に説明する。

【0037】

図３は、ｒＰＰＧ（ｒｅｍｏｔｅ ＰＰＧ）を説明するための例示図である。

【0038】

ｒＰＰＧを用いて遠隔で心拍数及び心拍数変動性を測定することができる。図３に示すように、遠隔で心拍数などを測定するために、高解像度カメラで動画撮影をすればいい。運転手、老人、乳幼児のモニタリングなど、様々な身体的、健康的、感情的なモニタリングに有用であり得る。ｒＰＰＧは、ＰＰＧと原理は同一であるが、非接触式の測定である。正反射（ｓｐｅｃｕｌａｒ ｒｅｆｌｅｃｔｉｏｎ）と乱反射との対比として、皮膚で変化する赤色、緑色、赤色の光の反射の変化を測定する。正反射は、皮膚からの純粋な光反射である。拡散反射（ｄｉｆｆｕｓｅ ｒｅｆｌｅｃｔｉｏｎ）は、血液量変化によって変わる皮膚組織の吸収及び散乱によって残っている反射である。ヘモグロビンが赤色光は反射し、緑色光は吸収することを利用する原理である。図３では、ｒＰＰＧ手法を用いて信号処理（ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）した後に検出された赤色光、緑色光、青色光の波形を例示しており、これらの各光別に検出されたｒＰＰＧ波形も差異があることが分かる。遠隔で生体情報をモニターするための遠隔測定（Ｒｅｍｏｔｅ Ｍｅａｓｕｒｅｍｅｎｔ）技術は、乳幼児モニタリング、ＣＯＶＩＤ－１９のような伝染病のような、非接触モニタリングが要求される環境において非接触式で顔の情報のみによって生体情報を予測できるという点でその活用度が高い。顔イメージは、対象者の周辺にある周辺光（ａｍｂｉｅｎｔ ｌｉｇｈｔ）を光源として用いて取得される。

【0039】

《ＭＴＬ（Ｍｕｌｔｉ－Ｔａｓｋ Ｌｅａｒｎｉｎｇ）》

【0040】

深層神経網とマシンラーニングとを用いて生体情報を予測することが多く試みられている。モバイル医療システムの具現において多重作業学習（Ｍｕｌｔｉ－Ｔａｓｋ Ｌｅａｒｎｉｎｇ，ＭＴＬ）は、限られたリソースで多数の作業を行う重要な接近法である。顔面ビデオストリームからＭＴＬを用いてＰＰＧ信号及び呼吸数信号を同時に抽出する。本発明では、ビデオストリームを同時に処理する複雑な価値基準多重作業学習（Ｍｕｌｔｉ－Ｔａｓｋ Ｌｅａｒｎｉｎｇ，ＭＴＬ）アルゴリズムモデルを提案する。２つの顔面領域は、複雑な値の神経網アーキテクチャーで同時に処理される複雑な番号データで構成される。この複雑なプロセスを用いて、ＰＰＧ信号と呼吸数信号を実際値単一作業学習アルゴリズムと比較してより効率的で正確に抽出することができる。

【0041】

ＭＴＬ（Ｍｕｌｔｉ Ｔａｓｋ Ｌｅａｒｎｉｎｇ）は、共有している層（Ｌａｙｅｒ）を通じて２つ以上の複数の作業を同時に学習し予測するモデル学習方法である。連関性のある作業を同時に学習することによって、学習されたレプリゼンテーション（ｌｅａｒｎｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を共有し、これで、良いレプリゼンテーションを持って互いの作業（ｔａｓｋ）がモデル学習に手助けになり得る。学習しながら得た有用な情報が他の作業に良い影響を与え、より良いモデルになることに寄与できる。そして、複数の作業を同時に予測することにより、過学習（ｏｖｅｒｆｉｔｔｉｎｇ）に一層強い一般化されたモデルとして学習され、既存では２つの作業を各自で作らなければならなかったが、１つのモデルとして作られたため、モデルを軽量化するのに大きく役立ち、スマートフォンのようなモバイル機器に適用するのにより有利である。

【0042】

図４は、本発明の一実施例に係るヘルスケア装置４００の構成を説明するためのブロック図であり、図５は、ｒＰＰＧ手法を用いてＭＴＬアルゴリズム学習モデルにおいてＰＰＧ信号、呼吸数（ＲＲ）信号を出力する事項を説明するための図である。

【0043】

図４を参照すると、本発明に係るヘルスケア装置４００は、プロセッサ４１０、カメラ４２０、ベッド４３０、ＢＣＧセンサー４４０、ディスプレイ部４５０、通信部４６０、本体フレーム４７０、及びベッド動き制御部４８０を含んでよい。

【0044】

カメラ４２０は、対象者（例えば、ベッド４３０に横たわっている乳幼児）の顔を撮影する。カメラ４２０、撮影した対象者の顔イメージを通信部４６０を介してプロセッサ４１０に送信することもできる。プロセッサ４１０は対象者の顔イメージを取得することができる。ここで、撮影された対象者の顔イメージはカラーイメージであり、ＲＧＢイメージであってよい。

【0045】

図５を参照すると、プロセッサ４１０は、対象者の顔を撮影したオリジナルデータ５１０を取得し、オリジナルデータ５１０から対象者の顔イメージ５２０を検出することができる。プロセッサ４１０は、検出された顔イメージ５２０から関心領域フレーム５３０，５４０を取得し、各関心領域フレーム５３０，５４０から第１部位（例えば、額（ｆｏｒｅｈｅａｄ））領域４３０と第２部位（例えば、頬（ｃｈｅｅｋ）領域）５６０を検出することができる。プロセッサ４１０は、イメージプロセシングに用いられるディープラーニングネットワークであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＳＮＮ（Ｓｉａｍｅｓｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを用いて顔イメージを学習し、ＰＰＧ信号、呼吸数信号を予測することができる。本発明では、多重学習アルゴリズムの学習モデルがＳＮＮ（Ｓｉａｍｅｓｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を利用することが好ましいだろう。プロセッサ４１０は、顔イメージ５２０から抽出した額及び頬のイメージの全ての領域にフィルター（カーネル）を反復適用し、パターンを見出して学習する。額及び頬を抽出した理由は、心臓から上がってくる血液の時間差による身体の両方の部位間の差異を有意の情報として活用し、モデルを学習するためである。

【0046】

検出された額（ｆｏｒｅｈｅａｄ）領域に対するイメージ、頬領域に対するイメージはカラーイメージである。説明の便宜のために、額領域に対するイメージ５５０を第１カラーイメージ、頬領域に対するイメージ５６０を第２カラーイメージと称する。このとき、プロセッサ４１０は、第１カラーイメージと第２カラーイメージとを白黒映像に変換し、第１カラーイメージから第１白黒イメージを、第２カラーイメージから第２白黒イメージを取得する。プロセッサ４１０は、白黒に変換した後にＭＴＬ（例えば、Ｍｕｌｔｉ－ｔａｓｋ Ｓｉａｍｅｓｅ ｎｅｔｗｏｒｋ）によって学習し、ＰＰＧ信号と呼吸数信号を予測する。

【0047】

図５に示すように、プロセッサ４１０は、額部位に対する第１カラーイメージと頬部位に対する第２カラーイメージとをそれぞれ第１白黒イメージ及び第２白黒イメージに変換し、ＳＮＮ（Ｓｉａｍｅｓｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を利用する所定の学習された多重作業学習（Ｍｕｌｔｉ－ｔａｓｋ Ｌｅａｒｎｉｎｇ）アルゴリズムモデルに入力する。プロセッサ４１０は、前記第１白黒イメージ及び前記第２白黒イメージを所定の学習された多重作業学習（Ｍｕｌｔｉ－ｔａｓｋ Ｌｅａｒｎｉｎｇ）アルゴリズムモデルに適用し、対象者の遠隔ＰＰＧ信号波形（或いは、ｒＰＰＧ手法で出力したＰＰＧ信号波形ともいう。）、呼吸数（ＲＲ）波形を出力する。上述したように、プロセッサ４１０が額部位及び頬部位に対してそれぞれカラーイメージを白黒イメージに変換し、それを所定の学習されたアルゴリズムモデルに入力することは、所定の設定された昼時間であるか、又は周辺が所定の明るさ以上である場合に適用することが好ましい。プロセッサ４１０は、カメラ４２０が前記所定の設定された昼時間であるか、又は周辺が所定の明るさ以上である場合には、対象者の顔を撮影し、カラーイメージを取得するように制御できる。

【0048】

これと違い、所定の設定された夜時間であるか、又は周辺が所定の明るさ以下である場合には、プロセッサ４１０は、カメラ４２０又は赤外線映像の撮影のための別に備えられたカメラが対象者の顔を撮影し、赤外線（ＩＲ）映像を取得するように制御できる。所定の設定された夜時間であるか、又は周辺が所定の明るさ以下である場合には、カメラ４２０は、対象者の顔を撮影して赤外線（ＩＲ）映像を取得し、プロセッサ４１０は、赤外線映像から、顔に該当する関心領域（ＲＯＩ）を検出し、検出された関心領域から、額（ｆｏｒｅｈｅａｄ）部位に対する第１イメージを取得し、頬（ｃｈｅｅｋ）部位に対する第２イメージを取得できる。そして、プロセッサ４１０は、赤外線映像からそれぞれ取得された前記第１イメージ及び前記第２イメージを、所定の学習された多重作業学習（Ｍｕｌｔｉ－ｔａｓｋ Ｌｅａｒｎｉｎｇ）アルゴリズムモデルに適用し、前記対象者の遠隔ＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ，ｒＰＰＧ）信号波形を出力できる。その後、プロセッサ４１０は、前記センシングされたＢＣＧ信号波形から第１心拍数を、前記出力された遠隔ＰＰＧ信号波形から第２心拍数を算出し、前記第１心拍数及び前記第２心拍数に基づいて前記対象者の心拍数を出力することができる。

【0049】

このように、プロセッサ４１０は、時間帯或いは周辺の明るい程度によって、対象者の顔をカラーイメージとして取得するか又は赤外線映像として取得するかを選択できる。プロセッサ４１０は、時間帯或いは周辺の明るい程度に基づく選択によって、カラーイメージを白黒イメージに変換し、所定の学習されたアルゴリズム（ＭＴＬアルゴリズム）モデルに入力して適用するか、又は赤外線映像から取得したイメージを所定の学習されたアルゴリズムモデルに入力して適用することができる。

【0050】

本発明に係るヘルスケア装置４００は、対象者（例えば、乳幼児）が横たわるためのベッド４３０を含んでよい。ベッド４３０のカバー内部にＢＣＧセンサー４４０が付着していてよい。ＢＣＧセンサー４４０はベッドカバーの内部表面に備えられているので、対象者が横たわっている時などに、横腹などから心弾動図信号をセンシングすることができる。

【0051】

プロセッサ４１０は、ＢＣＧセンサー４４０から取得した心弾動図信号波形から心拍数を算出し、所定の学習されたＭＴＬアルゴリズムモデルからＰＰＧ信号波形を取得し、取得したＰＰＧ信号波形から心拍数を算出することができる。ここで、心弾動図信号波形から算出した心拍数を第１心拍数、ＰＰＧ信号波形から算出した心拍数を第２心拍数と称する。第１心拍数は、単位時間（例えば、１分）当たりにＢＣＧ信号波形のうちＪ－ピークの検出回数で算出され、第２心拍数は、単位時間（例えば、１分）当たりにｒＰＰＧ信号波形のピーク回数で算出されてよい。プロセッサ４１０は、心弾動図信号波形から算出した前記第１心拍数、及びｒＰＰＧ手法を用いて取得したＰＰＧ信号波形から算出した前記第２心拍数に基づいて、対象者の心拍数を出力できる。例えば、プロセッサ４１０は、前記第１心拍数及び前記第２心拍数を平均した心拍数を出力できる。

【0052】

また、プロセッサ４１０は、心弾動図信号波形から心拍変移度（Ｈｅａｒｔ Ｒａｔｅ Ｖａｒｉａｂｉｌｉｔｙ，ＨＲＶ）を算出することができる。心拍変移度は、例えば、次の式１によって算出できる。ここで、心弾動図信号波形から算出された心拍変移度を第１心拍変移度と称する。

【0053】

【数1】

【0054】

プロセッサ４１０は、次の式２に基づいて、ｒＰＰＧ手法で算出されたＰＰＧ波形から心拍変移度を算出できる。ここで、ＰＰＧ信号波形から算出された心拍変移度を第２心拍変移度と称する。

【0055】

【数2】

【0056】

図６は、対象者のストレス指数算出のためのＰＰＧ信号周波数分析及びＬＦ点数／ＨＦ点数の分布を例示する図である。

【0057】

プロセッサ４１０は、ストレス指数の算出のためにＰＰＧ信号波形の周波数分析、ＢＣＧ信号波形の周波数分析が必要である。図６では、一例としてＰＰＧ信号波形の周波数分析を示した。プロセッサ４１０は、第１心拍変移度に基づいて対象者の第１ストレス指数（点数）を算出し、第２心拍変移度に基づいて対象者の第２ストレス指数を算出できる。ここで、第１ストレス指数及び第２ストレス指数を算出する方法は、次の式３の通りである。

【0058】

【数3】

【0059】

式３で、交感神経系の信号（ＬＦ）、副交感神経系の信号（ＨＦ）を計算し、ストレス指数に換算する。

【0060】

上記の式３及び図６の（ａ）を参照して説明する。ＬＦ（交感神経）は、低周波数（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）０．０４～０．１５Ｈｚの範囲における心拍変移度のパワースペクトル密度（ｐｏｗｅｒ ｓｐｅｃｔｒａｌ ｄｅｎｓｉｔｙ）の積分値である。ＨＦ（副交感神経）は、高周波数（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）０．１５～０．４０Ｈｚの範囲における心拍変移度のパワースペクトル密度グラフにおいて積分値である。ストレス指数（点数）は、ＬＦパワー（ＬＦ ｐｏｗｅｒ）とＨＦパワー（ＨＦ ｐｏｗｅｒ）に自然ログを取った後、範囲にしたがってＬＦ点数とＨＦ点数を計算してストレス点数換算する。５番領域が正常であり、５番からどれくらい離れているかを示す点数である。

【0061】

プロセッサ４１０は、上記の式１及び式３に基づいて対象者の第１ストレス指数（点数）を算出し、上記の式２及び式３に基づいて第２ストレス指数を算出できる。プロセッサ４１０は、前記第１ストレス指数及び前記第２ストレス指数に基づいて対象者のストレス指数を出力することができる。例えば、プロセッサ４１０は、前記第１及び第２ストレス指数を平均した値を対象者のストレス指数として出力できる。

【0062】

プロセッサ４１０は、ＳＮＮ（Ｓｉａｍｅｓｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いる所定の学習された多重作業学習（Ｍｕｌｔｉ－ｔａｓｋ Ｌｅａｒｎｉｎｇ）アルゴリズムモデルに基づいて、ＰＰＧ信号波形の他に呼吸数（ＲＲ）信号波形も出力する。プロセッサ４１０は、出力された呼吸数信号波形に基づいて対象者（例えば、乳幼児）の睡眠時無呼吸の有無などを判断するなど、対象者の健康モニタリング機能も行う。プロセッサ４１０は、出力された呼吸数信号波形、呼吸数などを、対象者をモニターする人が確認できるようにディスプレイ部４５０にディスプレイするように制御できる。また、プロセッサ４１０は、出力された心拍数、出力されたストレス指数、出力された（或いは、算出された）呼吸数を、ディスプレイ部４５０にディスプレイされるように制御することによって、外部から対象者の健康状態がモニターできるようにする。

【0063】

通信部４６０は、出力された心拍数、出力されたストレス指数、出力された呼吸数などの情報を、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを通じて、対象者の健康モニタリングを行うユーザーの端末機或いはサーバーに周期的或いは非周期的に送信できる。非周期的に送信するとは、出力された心拍数、出力されたストレス指数、出力された呼吸数の少なくともいずれか一つが所定の閾値を超える場合にのみ送信することをいう。例えば、出力された呼吸数が睡眠時無呼吸状態であると判断される場合にのみ、通信部４６０が連動端末機に送信できる。ユーザーは、自分の連動している端末機を用いて対象者の健康モニタリング情報を周期的或いは非周期的に受信し、対象者の健康状態をチェックできる。

【0064】

図７は、本発明に係るヘルスケア装置４００を例示する図である。

【0065】

図７を参照すると、ヘルスケア装置４００の本体フレーム４７０は、ベッド４３０を下部から支持する下部支持部、ベッド４３０を取り囲んで対象者がベッド４３０から落傷しないようにガードの役割を担う側面支持部４７５を含んでよい。側面支持部４７５にカメラ４２０が位置し、対象者の顔を撮影できる。対象者がベッド４３０で横たわっている状態で動きに沿って対象者の顔を追跡するために、側面支持部４７５にカメラ４２０を移動可能にする移動部材が備えられていてもよい。カメラ４２０は、対象者の横たわっている姿勢及び方向を考慮して本体フレーム４７０の側面支持部４７５で移動しながら対象者の顔を撮影できる。

【0066】

図８は、本発明に係るヘルスケア装置４００が対象者の虹彩を検出する段階を例示する図であり、図９は、本発明に係るヘルスケア装置４００が対象者の瞳（虹彩）を検出する方法を詳細に説明するための図である。

【0067】

図８を参照すると、カメラ４２０は対象者の顔を撮影する。プロセッサ４１０は、関心領域である対象者の顔領域のイメージ８１０を検出し、検出された顔イメージ８１０から対象者の二つの目（Ｅｙｅ）部位イメージ８２０を抽出する。そして、プロセッサ４１０は、検出された二つの目部位イメージ８２０から二つの虹彩を検出する。このとき、プロセッサ４１０は、検出された二つの目部位イメージ８２０から二つの虹彩が全て検出或いは認識された場合に、対象者がウェイク（Ｗａｋｅ）状態であると判断する。これと違い、プロセッサ４１０は、検出された二つの目部位イメージ８２０から二つの虹彩が全て認識されない状態が所定時間経つと、対象者が睡眠或いはスリープ（ｓｌｅｅｐ）状態であると判断できる。

【0068】

図９を参照すると、プロセッサ４１０は、対象者の顔イメージから目部位の領域を検出し、目部位イメージ９１０を取得できる。プロセッサ４１０は、取得した目部位イメージ９１０から瞳を検出して瞳部位イメージ９２０を取得し、瞳部位イメージ９２０から眉毛及びノイズを除去して瞳イメージ９３０を取得する。プロセッサ４１０が瞳イメージ９３０に基づいて虹彩９５０を検出し、目部位イメージ９４０において表示できる。

【0069】

図９では説明の便宜のために一方の目のみを示しているが、カメラ４２０及びプロセッサ４１０は対象者の両方の目に対して撮影、イメージプロセシングなどを行う。

【0070】

プロセッサ４１０は、対象者（例えば、乳幼児）がウェイク状態であると判断される場合に、ベッド動き制御部４８０を制御し、ベッド４３０において動作中のバウンス機能を維持するように制御できる。ベッド動き制御部４８０は、ベッド４３０の下部に備えられ、プロセッサ４１０の制御によってベッド４３０の床板の水平、垂直の動きを制御することにより、ベッド４３０のバウンス機能を行う。これと違い、プロセッサ４１０は、対象者がスリープ状態であると判断される場合に、ベッド動き制御部４８０を制御し、ベッド４１０の床板の水平、垂直の動きを制御し、バウンス機能を徐々に止まらせることができる。

【0071】

既存では目の周辺の明暗と眉毛の位置などを用いて目の位置を検出したため、顔の他の部位を目として誤って認識するなどの問題があった。しかし、上述したような本発明に係るプロセッサ４１０は、対象者の目の位置を探すものではなく、二つの目部位イメージ８２０における虹彩を検出し、虹彩が認識されるか否かを把握した後、対象者がウェイク状態か又はスリープ状態かを推定するので、対象者のウェイク／スリープ状態の把握に対する正確度が非常に向上する。

【0072】

以上で説明された実施例は、本発明の構成要素及び特徴が所定の形態で結合しているものである。各構成要素又は特徴は、特に明示的言及がない限り、選択的なものとして考慮されるべきである。各構成要素又は特徴は、他の構成要素や特徴と結合しない形態で実施されてよい。また、一部の構成要素及び／又は特徴を結合させて本発明の実施例を構成することも可能である。本発明の実施例で説明される動作の順序は変更されてよい。ある実施例の一部の構成や特徴は他の実施例に含まれてよく、又は他の実施例の対応する構成又は特徴に代替されてよい。特許請求の範囲において明示的な引用関係を有しない請求項を結合させて実施例を構成するか、出願後の補正によって新しい請求項として含めてよいことは明らかである。

【0073】

本発明において、プロセッサ４１０は、ハードウェア（ｈａｒｄｗａｒｅ）、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの結合によって具現されてよい。ハードウェアを用いて本発明の実施例を具現する場合には、本発明を実行するように構成されたＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などがプロセッサ４１０に備えられてよい。本発明に係るヘルスケアのためのモニタリング方法をコンピュータで実行させるためのプログラムを記録しているコンピュータ可読記録媒体として具現されてもよい。

【0074】

本発明は、本発明の必須特徴から逸脱しない範囲で他の特定の形態で具体化され得ることは当業者にとって明らかである。したがって、上述した詳細な説明は、いかなる面においても制限的に解釈されてはならず、例示的なものとして考慮されるべきである。本発明の範囲は、添付する請求項の合理的解釈によって決定されるべきであり、本発明の等価的範囲内における全ての変更は本発明の範囲に含まれる。

【産業上の利用可能性】

【0075】

遠隔ＰＰＧ方式を用いて心拍数を測定するためのデジタルヘルスケア装置は産業上に利用が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-07-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

所定の時間帯、又は周辺が所定の明るさ以下であるか否かに基づいて、対象者の顔をカラーイメージとして取得するか又は赤外線（ＩＲ）イメージとして取得するかを決定するプロセッサと、
前記プロセッサの決定によって対象者の顔を撮影して顔イメージを取得するカメラと、を含み、
前記プロセッサは、前記顔イメージから、顔に該当する関心領域（ＲＯＩ）を検出し、
前記検出された関心領域から、第１部位に対する第１イメージを取得し、第２部位に対する第２イメージを取得し、
前記取得した第１イメージ及び第２イメージを所定の学習されたアルゴリズムモデルに適用し、前記対象者の遠隔ＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ，ｒＰＰＧ）信号波形及び呼吸数信号波形を出力する、デジタルヘルスケア装置。

【請求項2】

前記対象者の心弾動図（Ｂａｌｌｉｓｔｏｃａｒｄｉｏｇｒａｍ，ＢＣＧ）信号をセンシングするためのＢＣＧセンサーをさらに含み、
前記プロセッサは、前記センシングされたＢＣＧ信号波形から第１心拍数を、前記出力された遠隔ＰＰＧ信号波形から第２心拍数を算出し、前記第１心拍数及び前記第２心拍数に基づいて前記対象者の心拍数を出力する、請求項１に記載のデジタルヘルスケア装置。

【請求項3】

前記出力された心拍数は、前記第１心拍数及び前記第２心拍数を平均した心拍数に該当する、請求項２に記載のデジタルヘルスケア装置。

【請求項4】

前記所定の学習されたアルゴリズムモデルは、多重作業学習（Ｍｕｌｔｉ－ｔａｓｋ Ｌｅａｒｎｉｎｇ）のＳＮＮ（Ｓｉａｍｅｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）モデルを利用する、請求項１に記載のデジタルヘルスケア装置。

【請求項5】

前記プロセッサは、
前記関心領域から二つの目部位イメージを検出し、検出された二つの目部位イメージから二つの瞳イメージを検出し、
前記検出された二つの瞳イメージから二つの虹彩を検出して全て認識した場合に、前記対象者がウェイク（Ｗａｋｅ）状態であると判断する、請求項１に記載のデジタルヘルスケア装置。

【請求項6】

前記プロセッサは、前記検出された二つの瞳イメージから二つの虹彩が全て認識されない状態が所定時間経つと、前記対象者がスリープ（ｓｌｅｅｐ）状態であると判断する、請求項５に記載のデジタルヘルスケア装置。

【請求項7】

前記対象者に該当する乳幼児が横たわるためのベッドをさらに含み、
前記プロセッサは、前記対象者がウェイク状態であると判断される場合に、前記ベッドに動作中のバウンス機能を維持するように制御する、請求項５に記載のデジタルヘルスケア装置。

【請求項8】

前記対象者が横たわるためのベッドを含み、
前記プロセッサは、前記対象者がスリープ状態であると判断される場合に、前記ベッドの垂直及び水平の動きを制御してバウンス機能を徐々に止まらせる、請求項６に記載のデジタルヘルスケア装置。

【請求項9】

本体フレームをさらに含み、
前記カメラは、前記対象者の横たわっている姿勢及び方向を考慮して前記対象者の顔が撮影されるように前記本体フレーム上で移動可能である、請求項１に記載のデジタルヘルスケア装置。

【請求項10】

前記第１部位は額（ｆｏｒｅｈｅａｄ）に該当し、前記第２部位は頬（ｃｈｅｅｋ）に該当する、請求項１に記載のデジタルヘルスケア装置。

【請求項11】

前記対象者が横たわるためのベッドをさらに含み、
前記ＢＣＧセンサーは、前記ベッドをカバーするカバーの内部表面に付着するように備えられている、請求項２に記載のデジタルヘルスケア装置。

【請求項12】

前記プロセッサは、前記出力された呼吸数信号波形に基づいて呼吸数を算出し、前記算出された呼吸数に基づいて前記対象者の睡眠時無呼吸の有無を判断する、請求項１に記載のデジタルヘルスケア装置。

【請求項13】

前記算出された呼吸数を、連動している端末機に送信するための通信部をさらに含む、請求項１２に記載のデジタルヘルスケア装置。

【請求項14】

遠隔ＰＰＧ方式で対象者のヘルスケアのためのモニタリングを行う方法であって、
所定の時間帯、又は周辺が所定の明るさ以下であるか否かに基づいて、対象者の顔をカラーイメージとして取得するか又は赤外線（ＩＲ）イメージとして取得するかを決定する段階と、
プロセッサの決定によって対象者の顔を撮影して顔イメージを取得する段階と、
前記顔イメージから、顔に該当する関心領域（ＲＯＩ）を検出する段階と、
前記検出された関心領域から、第１部位に対する第１イメージを取得し、第２部位に対する第２イメージを取得する段階と、
前記取得した第１イメージ及び第２イメージを所定の学習されたアルゴリズムモデルに適用し、前記対象者の遠隔ＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ，ｒＰＰＧ）信号波形及び呼吸数信号波形を出力する段階と、を含む、ヘルスケアのためのモニタリング方法。

【請求項15】

前記対象者の心弾動図（Ｂａｌｌｉｓｔｏｃａｒｄｉｏｇｒａｍ，ＢＣＧ）信号をセンシングする段階と、
前記センシングされたＢＣＧ信号波形から第１心拍数を、前記出力された遠隔ＰＰＧ信号波形から第２心拍数を算出し、前記第１心拍数及び前記第２心拍数に基づいて前記対象者の心拍数を出力する段階と、をさらに含む、請求項１４に記載のヘルスケアのためのモニタリング方法。

【請求項16】

前記関心領域から二つの目部位イメージを検出し、検出された二つの目部位の領域から二つの瞳イメージを検出する段階と、
前記検出された二つの瞳イメージから二つの虹彩が全て認識された場合に、前記対象者がウェイク（Ｗａｋｅ）状態であると判断する段階をさらに含む、請求項１５に記載のヘルスケアのためのモニタリング方法。

【請求項17】

前記第１部位は額（ｆｏｒｅｈｅａｄ）部位に該当し、前記第２部位は頬（ｃｈｅｅｋ）部位に該当する、請求項１４に記載のヘルスケアのためのモニタリング方法。

【請求項18】

デジタルヘルスケア装置のヘルスケアのためのモニタリング方法であって、
対象者の心弾動図（Ｂａｌｌｉｓｔｏｃａｒｄｉｏｇｒａｍ，ＢＣＧ）信号をセンシングする段階と、
所定の時間帯、又は周辺が所定の明るさ以下であるか否かに基づいて、対象者の顔をカラーイメージとして取得するか又は赤外線（ＩＲ）イメージとして取得するかを決定する段階と、
プロセッサの決定によって対象者の顔を撮影して顔イメージを取得する段階と、
前記顔イメージから、顔に該当する関心領域（ＲＯＩ）を検出し、前記検出された関心領域から、第１部位に対する第１イメージを取得し、第２部位に対する第２イメージを取得する段階と、
前記取得した第１イメージ及び第２イメージを所定の学習されたアルゴリズムモデルに適用し、前記対象者の遠隔ＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ，ｒＰＰＧ）信号波形及び呼吸数信号波形を出力する段階と、
前記センシングされたＢＣＧ信号波形から第１心拍変移度を算出し、前記第１心拍変移度に基づいて第１ストレス指数を算出し、前記出力された遠隔ＰＰＧ信号波形から第２心拍変移度を算出し、前記第２心拍変移度に基づいて第２ストレス指数を算出する段階と、
前記第１ストレス指数及び前記第２ストレス指数に基づいて前記対象者のストレス指数を出力する段階と、を含む、ヘルスケアのためのモニタリング方法。

【請求項19】

対象者の心弾動図（Ｂａｌｌｉｓｔｏｃａｒｄｉｏｇｒａｍ，ＢＣＧ）信号をセンシングするためのＢＣＧセンサーと、
所定の時間帯、又は周辺が所定の明るさ以下であるか否かに基づいて、対象者の顔をカラーイメージとして取得するか又は赤外線（ＩＲ）イメージとして取得するかを決定するプロセッサと、
前記プロセッサの決定によって対象者の顔を撮影して顔イメージを取得するカメラと、を含み、
前記プロセッサは、
前記顔イメージから、顔に該当する関心領域（ＲＯＩ）を検出し、
前記検出された関心領域から、第１部位に対する第１イメージを取得し、第２部位に対する第２イメージを取得し、
前記取得した第１イメージ及び第２イメージを所定の学習されたアルゴリズムモデルに適用し、前記対象者の遠隔ＰＰＧ（ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ，ｒＰＰＧ）信号波形及び呼吸数信号波形を出力し、
前記センシングされたＢＣＧ信号波形から第１心拍変移度を算出し、前記第１心拍変移度に基づいて第１ストレス指数を算出し、
前記出力された遠隔ＰＰＧ信号波形から第２心拍変移度を算出し、前記第２心拍変移度に基づいて第２ストレス指数を算出し、
前記第１ストレス指数及び前記第２ストレス指数に基づいて前記対象者のストレス指数を出力する、デジタルヘルスケア装置。

【請求項20】

請求項１４～１８のいずれか一項に記載のヘルスケアのためのモニタリング方法をコンピュータで実行するコンピュータプログラムを記録した、コンピュータ可読記録媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００４５

【補正方法】変更

【補正の内容】

【0045】

図５を参照すると、プロセッサ４１０は、対象者の顔を撮影したオリジナルデータ５１０を取得し、オリジナルデータ５１０から対象者の顔イメージ５２０を検出することができる。プロセッサ４１０は、検出された顔イメージ５２０から関心領域フレーム５３０，５４０を取得し、各関心領域フレーム５３０，５４０から第１部位（例えば、額（ｆｏｒｅｈｅａｄ））領域５５０と第２部位（例えば、頬（ｃｈｅｅｋ）領域）５６０を検出することができる。プロセッサ４１０は、イメージプロセシングに用いられるディープラーニングネットワークであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＳＮＮ（Ｓｉａｍｅｓｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを用いて顔イメージを学習し、ＰＰＧ信号、呼吸数信号を予測することができる。本発明では、多重学習アルゴリズムの学習モデルがＳＮＮ（Ｓｉａｍｅｓｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を利用することが好ましいだろう。プロセッサ４１０は、顔イメージ５２０から抽出した額及び頬のイメージの全ての領域にフィルター（カーネル）を反復適用し、パターンを見出して学習する。額及び頬を抽出した理由は、心臓から上がってくる血液の時間差による身体の両方の部位間の差異を有意の情報として活用し、モデルを学習するためである。

【国際調査報告】