特表 2024-542010 スケルトンモデルを活用した健康状態評価方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-13

(54)【発明の名称】スケルトンモデルを活用した健康状態評価方法及び装置

(51)【国際特許分類】

   G16H 30/00 20180101AFI20241106BHJP

   G06T 7/00 20170101ALI20241106BHJP

【ＦＩ】

G16H30/00

G06T7/00 660B

G06T7/00 300E

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525530

(86)(22)【出願日】2022-11-14

(85)【翻訳文提出日】2024-04-26

(86)【国際出願番号】 KR2022017839

(87)【国際公開番号】W WO2023096235

(87)【国際公開日】2023-06-01

(31)【優先権主張番号】10-2021-0162426

(32)【優先日】2021-11-23

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

２．ＷＣＤＭＡ

(71)【出願人】

【識別番号】521377524

【氏名又は名称】ロワン インコーポレーテッド

【氏名又は名称原語表記】ＲＯＷＡＮ Ｉｎｃ．

【住所又は居所原語表記】１７Ｆ，Ｙｏｎｓｅｉ Ｓｅｖｅｒａｎｃｅ Ｂｌｄｇ．，１０，Ｔｏｎｇｉｌ－ｒｏ，Ｊｕｎｇ－ｇｕ Ｓｅｏｕｌ ０４５２７，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(71)【出願人】

【識別番号】515131404

【氏名又は名称】アジュ ユニバーシティー インダストリー－アカデミック コーオペレイション ファウンデーション

【氏名又は名称原語表記】ＡＪＯＵ ＵＮＩＶＥＲＳＩＴＹ ＩＮＤＵＳＴＲＹ－ＡＣＡＤＥＭＩＣ ＣＯＯＰＥＲＡＴＩＯＮ ＦＯＵＮＤＡＴＩＯＮ

(71)【出願人】

【識別番号】517154199

【氏名又は名称】インハ ユニバーシティ リサーチ アンド ビジネス ファウンデーション

【氏名又は名称原語表記】ＩＮＨＡ ＵＮＩＶＥＲＳＩＴＹ ＲＥＳＥＡＲＣＨ ＡＮＤ ＢＵＳＩＮＥＳＳ ＦＯＵＮＤＡＴＩＯＮ

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】ハン、スン ヒョン

(72)【発明者】

【氏名】パク、ヨン ウク

(72)【発明者】

【氏名】チェ、ムン ジョン

(72)【発明者】

【氏名】ムン、ソ ヨン

(72)【発明者】

【氏名】チェ、ソン ヘ

(72)【発明者】

【氏名】ソン、ホン ソン

【テーマコード（参考）】

5L096

5L099

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA02

5L096EA03

5L096EA13

5L096FA08

5L096FA66

5L096FA67

5L096FA69

5L096JA03

5L096JA11

5L099AA26

(57)【要約】

健康管理サーバによって行われる、スケルトンモデルを活用した健康状態評価方法を提供する。ユーザ装置に、トレーナが標準動作を行う標準動作画像を提供するステップ；ユーザ装置から、ユーザが前記標準動作を真似するユーザ動作に対するユーザ動作画像を受信するステップ；前記標準動作画像と前記ユーザ動作画像とを比較して標準動作とユーザ動作との間の類似度を算出するステップ；及び、算出された類似度に基づいて前記ユーザの健康状態を評価するステップとを含む。
【選択図】図９

【特許請求の範囲】

【請求項1】

健康管理サーバによって行われる、スケルトンモデルを活用した健康状態評価方法であって、
ユーザ装置に、トレーナが標準動作を行う標準動作画像を提供するステップ；
ユーザ装置から、ユーザが前記標準動作を真似するユーザ動作に対するユーザ動作画像を受信するステップ；
前記標準動作画像と前記ユーザ動作画像とを比較して標準動作とユーザ動作との間の類似度を算出するステップ；及び、
算出された類似度に基づいて前記ユーザの健康状態を評価するステップを含む
ことを特徴とするスケルトンモデルを活用した健康状態評価方法。

【請求項2】

前記類似度を算出するステップは、
前記標準動作画像から標準動作を行うトレーナに対するトレーナスケルトン動作モデルを獲得するステップ；
前記ユーザ動作画像からユーザ動作を行うユーザに対するユーザスケルトン動作モデルを獲得するステップ；及び、
前記トレーナスケルトン動作モデルと前記ユーザスケルトン動作モデルの互いに対応する身体部位別の特徴点を比較して前記類似度を算出するステップを含み、前記身体部位別の特徴点は前記スケルトン動作モデルを構成するノードである
請求項１に記載のスケルトンモデルを活用した健康状態評価方法。

【請求項3】

前記身体部位別の特徴点を比較して類似度を算出するステップは、
前記標準動作に対する身体部位別の重みをデータベースから取得するステップ；及び、
前記身体部位別の重みを前記類似度算出に適用するステップを含む
請求項２に記載のスケルトンモデルを活用した健康状態評価方法。

【請求項4】

前記健康状態を評価するステップは、
前記ユーザの体力消耗程度又は認知障害レベルを評価するものであり、
前記認知障害レベルは、標準動作別の認知障害時に現れる行動特徴データに基づいて評価する
請求項２に記載のスケルトンモデルを活用した健康状態評価方法。

【請求項5】

前記体力消耗程度は、ユーザスケルトン動作モデルの身体部位別の特徴点における移動軌跡の合計；及び既に定義された身体部位別の移動量に応じた体力消耗評価の重みに基づいて決定する
請求項４に記載のスケルトンモデルを活用した健康状態評価方法。

【請求項6】

複数のユーザ装置から、複数のユーザのそれぞれに対するユーザ動作画像を受信するステップ；
受信された複数のユーザ動作画像をディスプレー装置に表示するステップ；
受信された複数のユーザ動作画像における複数のユーザ動作と前記標準動作との類似度をそれぞれ算出するステップ；及び、
算出された類似度に基づいて前記ディスプレー装置に表示される複数のユーザ動作画像のうち少なくとも１つをハイライトするステップを含む
請求項２又は３に記載のスケルトンモデルを活用した健康状態評価方法。

【請求項7】

前記ハイライトするステップは、
複数のユーザ動作画像のうち算出された類似度が所定の基準より低い又は高い範囲に属する所定数のユーザ動作画像をハイライト表示する
請求項６に記載のスケルトンモデルを活用した健康状態評価方法。

【請求項8】

前記ハイライトするステップは、
前記複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出するステップ；
算出されたユーザ間の類似度に基づいて複数のユーザ動作画像をグループ化するステップ；及び、
グループ化したユーザ動作画像を区別して表示するステップを含む
請求項６に記載のスケルトンモデルを活用した健康状態評価方法。

【請求項9】

前記複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出するステップは、前記標準動作に対する身体部位別の重みを適用しない
請求項８に記載のスケルトンモデルを活用した健康状態評価方法。

【請求項10】

ハードウェアと組み合わされて請求項１ないし５のいずれかに記載の方法を実行するためにコンピュータで読み取り可能な記録媒体に格納された
ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は健康状態を評価するための方法及び装置に関し、より具体的には、標準動作モデルのスケルトンモデルとユーザのスケルトンモデルの動作情報とを比較して認知障害、体力消耗程度などを評価する方法及び装置に関する。

【背景技術】

【0002】

非対面文化が拡散しながら、遠隔医療に対するニーズが高まっている。その中で、認知障害などの神経系関連疾患の臨床的判断のためには、ユーザの動作を目視で確認することが必要である。しかし、病院の来院が減少しながら、これに伴って検査と治療が減少する問題がある。

【0003】

一方、運動施設に訪問せずに自宅で運動するホームトレーニングが非対面文化と相まって流行しており、関連産業が発展している。ホームトレーニングサービスの品質向上で様々な運動に触れる機会が増し、持続的な運動に対する動機が与えられている。しかし、前述したように神経系疾患を判断するために来院することを代替するサービスは提示されていない。

【0004】

このような問題を解決するために、各家庭で神経系関連疾患を判断するための動作を行い、その画像を医療機関に伝送することで、健康状態を確認できるサービスが必要である。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】韓国特許公開第１０－２０２０－００７３７６５号公報（２０２０．０６．２４）

【発明の概要】

【発明が解決しようとする課題】

【0006】

本明細書はユーザ動作と標準動作とを比較してユーザの動作模擬能力を評価することを一目的とする。

【0007】

本明細書はユーザ動作と標準動作とを比較してユーザの認知障害又は体力消耗程度を評価することを他の目的とする。

【0008】

本明細書はユーザ動作と標準動作のスケルトンモデルを用いて２つの動作を比較することをまた他の目的とする。

【0009】

本明細書は複数のユーザに対する動作とその分析結果を一つの画面に構成することで、迅速な臨床的判断を可能にすることをまた他の目的とする。

【0010】

本明細書は標準動作別の主要身体部位に対して重みを適用して２つの動作間の類似度をより正確に判別することを更に他の目的とする。

【0011】

本明細書の解決しようとする課題は前述したものに限定されず、以下に説明する発明の実施形態によって導き出すことができる様々な事項に拡張することができる。

【課題を解決するための手段】

【0012】

本明細書の一実施形態に係るスケルトンモデルを活用した健康状態評価方法は健康管理サーバによって行われるものであり、前記方法は、ユーザ装置に、トレーナが標準動作を行う標準動作画像を提供するステップ；ユーザ装置から、ユーザが前記標準動作を真似するユーザ動作に対するユーザ動作画像を受信するステップ；前記標準動作画像と前記ユーザ動作画像とを比較して標準動作とユーザ動作との間の類似度を算出するステップ；及び算出された類似度に基づいて前記ユーザの健康状態を評価するステップを含む。

【0013】

一実施形態において、前記類似度を算出するステップは、前記標準動作画像から標準動作を行うトレーナに対するトレーナスケルトン動作モデルを獲得するステップ；前記ユーザ動作画像からユーザ動作を行うユーザに対するユーザスケルトン動作モデルを獲得するステップ；及び前記トレーナスケルトン動作モデルと前記ユーザスケルトン動作モデルの互いに対応する身体部位別の特徴点を比較して前記類似度を算出するステップを含み、前記身体部位別の特徴点は前記スケルトン動作モデルを構成するノードであり得る。

【0014】

一実施形態において、前記身体部位別の特徴点を比較して類似度を算出するステップは、前記標準動作に対する身体部位別の重みをデータベースから取得するステップ；及び前記身体部位別の重みを前記類似度算出に適用するステップを含むことができる。

【0015】

一実施形態において、前記健康状態を評価するステップは、前記ユーザの体力消耗程度又は認知障害レベルを評価するものであり、前記認知障害レベルは、標準動作別の認知障害時に現れる行動特徴データに基づいて評価することができる。

【0016】

一実施形態において、前記体力消耗程度は、ユーザスケルトン動作モデルの身体部位別の特徴点における移動軌跡の合計；及び既に定義された身体部位別の移動量に応じた体力消耗評価の重みに基づいて決定することができる。

【0017】

一実施形態において、複数のユーザ装置から、複数のユーザのそれぞれに対するユーザ動作画像を受信するステップ；受信された複数のユーザ動作画像をディスプレー装置に表示するステップ；受信された複数のユーザ動作画像における複数のユーザ動作と前記標準動作との類似度をそれぞれ算出するステップ；及び算出された類似度に基づいて前記ディスプレー装置に表示される複数のユーザ動作画像のうち少なくとも１つをハイライトするステップを含むことができる。

【0018】

一実施形態において、前記ハイライトするステップは、複数のユーザ動作画像のうち算出された類似度が所定の基準より低い又は高い範囲に属する所定数のユーザ動作画像をハイライト表示することができる。

【0019】

一実施形態において、前記ハイライトするステップは、前記複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出するステップ；算出されたユーザ間の類似度に基づいて複数のユーザ動作画像をグループ化するステップ；及びグループ化したユーザ動作画像を区別して表示するステップを含むことができる。

【0020】

一実施形態において、前記複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出するステップは、前記標準動作に対する身体部位別の重みを適用しないことができる。

【0021】

本明細書の一実施形態に係るコンピュータで読み取り可能な記録媒体に格納されたプログラムであって、前述した方法を実行するための命令語で構成されることができる。

【発明の効果】

【0022】

本明細書はユーザ動作と標準動作とを比較してユーザの動作模擬能力を評価することができる。

【0023】

本明細書はユーザ動作と標準動作とを比較してユーザの認知障害又は体力消耗程度を評価することができる。

【0024】

本明細書はユーザ動作と標準動作のスケルトンモデルを用いて２つの動作を比較することができる。

【0025】

本明細書は複数のユーザに対する動作とその分析結果を一つの画面に構成することで、迅速な臨床的判断を可能にすることができる。

【0026】

本明細書は標準動作別の主要身体部位に対して重みを適用して２つの動作間の類似度をより正確に判別することができる。

【0027】

本明細書の効果は前述した事項に限定されず、以下の発明の実施形態についての詳細な説明から導き出すことができる様々な内容に拡張することができる。

【図面の簡単な説明】

【0028】

【図1】本明細書の一実施形態に係るシステムの動作環境の一例を示す図である。

【図2】本明細書の一実施形態におけるコンピューティング装置２００の内部構成を説明するためのブロック図である。

【図3】本明細書の一実施形態に係るスケルトンモデルを活用した健康状態評価方法が行われるシステム環境を示す。

【図4】本明細書の一実施形態に係り、ユーザが標準動作によって姿勢をとる場面を示す。

【図5】本明細書の一実施形態に係り、標準動作画像及びユーザ動作画像からトレーナ５００及びユーザ４００のそれぞれに対するスケルトンモデルが抽出された結果を示す。

【図6a】本明細書で類似度を算出するためにトレーナスケルトン動作モデルとユーザスケルトン動作モデルとを比較する例を示す図である。

【図6b】本明細書で類似度を算出するためにトレーナスケルトン動作モデルとユーザスケルトン動作モデルとを比較する例を示す図である。

【図6c】本明細書で類似度を算出するためにトレーナスケルトン動作モデルとユーザスケルトン動作モデルとを比較する例を示す図である。

【図7】本明細書の一実施形態に係り、身体部位別の重みを説明するための図である。

【図8】本明細書の一実施形態に係り、ノードによって形成される身体部位（姿勢）の角度を示す。

【図9】本明細書の一実施形態に係り、健康管理サーバ３００によって提供される複数のユーザ動作画像とその分析結果を示す。

【図10】本明細書の一実施形態における標準動作に対する類似度の低いユーザ動作画像をハイライトする例を示す。

【図11】本明細書の一実施形態に係り、関連性のある２つ以上のユーザ動作画像をグループ化して表示する例を示す。

【図12】本明細書の一実施形態に係るスケルトンモデルを活用した健康状態評価方法のフローチャートである。

【発明を実施するための形態】

【0029】

本明細書の実施形態を説明する際に、公知の構成又は機能についての具体的な説明が本明細書の実施形態の要旨を曖昧にすることがあると判断される場合は、その詳細な説明は省略する。なお、図面において本明細書の実施形態についての説明と関係のない部分は省略し、類似した部分については類似した符号をつけた。

【0030】

本明細書の実施形態において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されていると言及する際、これは直接的な連結関係だけでなく、その中間に他の構成要素が介在する間接的な連結関係も含むことができる。更に、ある構成要素が他の構成要素を「含む」又は「有する」と 言及する際、これは特に反対の記載がない限り、他の構成要素を排除するものではなく、また他の構成要素を更に含むこともできることを意味する。

【0031】

本明細書の実施形態において、第１、第２などの用語はある構成要素を他の構成要素と区別する目的でのみ使用され、特に言及しない限り、構成要素の間の順序や重要度などを限定しない。従って、本明細書の実施形態の範囲内で実施形態における第１構成要素は他の実施形態で第２構成要素と称することもでき、同様に実施形態における第２構成要素を他の実施形態では第１構成要素と称することもできる。

【0032】

本明細書の実施形態において、互いに区別される構成要素はそれぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。即ち、複数の構成要素が統合して１つのハードウェア又はソフトウェア単位でなることもでき、１つの構成要素が分散して複数のハードウェア又はソフトウェア単位でなることもできる。従って、別に言及しなくても、このように統合又は分散した実施形態も本明細書の実施形態の範囲に含まれる。

【0033】

本明細書におけるネットワークは有無線ネットワークの両方を含む概念であり得る。この時、ネットワークとはデバイスとシステム及びデバイス相互間でデータ交換を行うことができる通信網を意味し得、特定のネットワークに限定されるものではない。

【0034】

本明細書に記載の実施形態は全てがハードウェアであるか、部分的にハードウェアであり部分的にソフトウェアであるか、又は全てがソフトウェアである側面を有することができる。本明細書における「部（ｕｎｉｔ）」、「装置」又は「システム」などはハードウェア、ハードウェアとソフトウェアの組み合わせ、又はソフトウェアなどのコンピュータ関連エンティティ（ｅｎｔｉｔｙ）を称する。例えば、本明細書における部、モジュール、装置又はシステムなどは実行中のプロセス、プロセッサ、オブジェクト（ｏｂｊｅｃｔ）、実行ファイル（ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（ｔｈｒｅａｄ ｏｆ ｅｘｅｃｕｔｉｏｎ）、プログラム（ｐｒｏｇｒａｍ）、及び／又はコンピュータ（ｃｏｍｐｕｔｅｒ）であり得るが、これに限定されるものではない。例えば、コンピュータで実行中のアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）及びコンピュータの両方が、全て本明細書における部、モジュール、装置、又はシステムなどに該当し得る。

【0035】

なお、本明細書において、デバイスはスマートフォン、タブレットＰＣ、ウェアラブルデバイス、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などのようなモバイルデバイスだけでなく、ＰＣやディスプレイ機能を備えた家電のように固定されたデバイスであり得る。また、一例として、デバイスは車内のクラスタ又はＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）デバイスであり得る。即ち、本明細書におけるデバイスはアプリケーション動作が可能な機器を称することができ、特定のタイプに限定されない。以下では、説明の便宜上、アプリケーションが動作する機器をデバイスと称する。

【0036】

本明細書においてネットワークの通信方式は限定されず、各構成要素間の連結が同じネットワーク方式で連結されないこともあり得る。ネットワークは、通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を活用する通信方式だけでなく、機器間の近距離無線通信も含むことができる。例えば、ネットワークは、オブジェクトとオブジェクトがネットワーキングすることができる全ての通信方法を含むことができ、有線通信、無線通信、３Ｇ、４Ｇ、５Ｇ、又はそれ以外の方法に限定されない。例えば、有線及び／又はネットワークは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｎｅｔｗｏｒｋ）、ＥＤＧＥ（Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＴＤＭＡ（Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、ＺｉｇＢｅｅ（Ｚｉｇｂｅｅ）、ワイ・ファイ（Ｗｉ－Ｆｉ）、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）、ＬＴＥ Ａｄｖａｎｃｅｄ、ＩＥＥＥ８０２．１６ｍ、ＷｉｒｅｌｅｓｓＭＡＮ－Ａｄｖａｎｃｅｄ、ＨＳＰＡ＋、３ＧＰＰ（登録商標） Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ （ＬＴＥ）、Ｍｏｂｉｌｅ ＷｉＭＡＸ （ＩＥＥＥ ８０２．１６ｅ）、ＵＭＢ （ｆｏｒｍｅｒｌｙ ＥＶ－ＤＯ Ｒｅｖ． Ｃ）、 Ｆｌａｓｈ－ＯＦＤＭ、ｉＢｕｒｓｔ ａｎｄ ＭＢＷＡ （ＩＥＥＥ ８０２．２０） ｓｙｓｔｅｍｓ、ＨＩＰＥＲＭＡＮ、 Ｂｅａｍ－Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ （ＢＤＭＡ）、Ｗｉ－ＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、超音波活用通信からなる群から選択される１つ以上の通信方法による通信ネットワークを称することができるが、これに限定されるものではない。

【0037】

様々な実施形態で説明する構成要素が必ずしも必須である構成要素を意味するものではなく、一部は選択的は構成要素であり得る。従って、実施形態で説明する構成要素のサブセットで構成される実施形態も、本明細書の実施形態の範囲に含まれる。なお、様々な実施形態で説明する構成要素に追加的に他の構成要素を含む実施形態も本明細書の実施形態の範囲に含まれる。

【0038】

以下では、図面を参照して本明細書の実施形態について詳細に説明する。

【0039】

図１は本明細書の一実施形態に係るシステムの動作環境の一例を示す図である。図１を参照すると、ユーザデバイス１１０、１つ以上のサーバ１２０、１３０、１４０がネットワーク１を通じて連結されている。図１は本明細書を説明するための一例であり、ユーザデバイスの数やサーバの数は図１のように限定されるものではない。

【0040】

ユーザデバイス１１０はコンピュータシステムで実現される固定型端末でも移動型端末でもよい。ユーザデバイス１１０は例えば、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ナビゲーション、コンピュータ、ノートブック、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットＰＣ、ゲームコンソール（ｇａｍｅ ｃｏｎｓｏｌｅ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、スマートリング、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）デバイス、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイスなどがある。一例として、実施形態においてユーザデバイス１１０は実質的に無線又は有線通信方式を用いてネットワーク１を通じて他のサーバ１２０～１４０と通信することができる様々な物理的なコンピュータシステムのうち１つを意味することができる。

【0041】

各サーバはユーザデバイス１１０とネットワーク１を通じて通信して命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置又は複数のコンピュータ装置で実現することができる。例えば、サーバはネットワーク１を通じて接続したユーザデバイス１１０にそれぞれのサービスを提供するシステムであり得る。より具体的な例として、サーバはユーザデバイス１１０にインストールされて駆動されるコンピュータプログラムとしてのアプリケーションを通じて、当該アプリケーションが目的とするサービス（一例として、情報提供など）をユーザデバイス１１０に提供することができる。他の例として、サーバは前述したアプリケーションのインストール及び駆動のためのファイルをユーザデバイス１１０に配布し、ユーザ入力情報を受信して対応するサービスを提供することができる。

【0042】

図２は本明細書の一実施形態におけるコンピューティング装置２００の内部構成を説明するためのブロック図である。このようなコンピューティング装置２００は図１を参照して前述した１つ又は複数のユーザデバイス１１０－１、１１０－２、又はサーバ１２０－１４０に適用することができ、各装置及びサーバは一部の構成要素を追加又は除外して構成することで、同一又は同様の内部構成を有することができる。

【0043】

図２を参照すると、コンピューティング装置２００はメモリ２１０、プロセッサ２２０、通信モジュール２３０、及び送受信部２４０を含むことができる。メモリ２１０は非一時的なコンピュータ読み取り可能な記録媒体であり、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような非消滅性大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含むことができる。ここで、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブなどのような非消滅性大容量記憶装置はメモリ２１０とは区分される別の永久記憶装置として前述した装置や サーバに含まれてもよい。また、メモリ２１０にはオペレーティングシステムと少なくとも１つのプログラムコード（一例として、ユーザデバイス１１０などにインストールされて駆動されるブラウザや特定サービスを提供するためにユーザデバイス１１０などにインストールされたアプリケーションなどのためのコード）とが格納されることができる。これらのソフトウェア構成要素はメモリ２１０とは別のコンピュータで読み取り可能な記録媒体からロードすることができる。このような別のコンピュータで読み取り可能な記録媒体はフロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含むことができる。

【0044】

他の実施形態においてソフトウェア構成要素はコンピュータで読み取り可能な記録媒体ではなく通信モジュール２３０を通じてメモリ２１０にロードすることもできる。例えば、少なくとも１つのプログラムは開発者又はアプリケーションのインストールファイルを配布するファイル配布システム（一例として、前述したサーバ）がネットワーク１を通じて提供するファイルによってインストールされるコンピュータプログラム（一例として、前述したアプリケーション）に基づいてメモリ２１０にロードすることができる。

【0045】

プロセッサ２２０は基本的な算術、論理、及び入出力演算を行うことで、コンピュータプログラムの命令を処理するように構成することができる。命令はメモリ２１０又は通信モジュール２３０によってプロセッサ２２０に提供することができる。例えば、プロセッサ２２０はメモリ２１０のような記録装置に格納されたプログラムコードによって受信される命令を実行するように構成することができる。

【0046】

通信モジュール２３０はネットワーク１を通じてユーザデバイス１１０とサーバ１２０～１４０とが互いに通信する機能を提供することができ、デバイス１１０及び／又はサーバ１２０～１４０のそれぞれが他の電子機器と通信するための機能を提供することができる。

【0047】

送受信部２４０は外部入力／出力装置（図示せず）とのインターフェースのための手段であり得る。例えば、外部入力装置はキーボード、マウス、マイクロホン、カメラなどの装置を含み、外部出力装置はディスプレイ、スピーカー、ハプティックフィードバックデバイス（ｈａｐｔｉｃ ｆｅｅｄｂａｃｋ ｄｅｖｉｃｅ）などのような装置を含むことができる。

【0048】

更に、他の実施形態においてコンピューティング装置２００は適用される装置の 特性に応じて図２の構成要素よりも多くの構成要素を含むことができる。例えば、コンピューティング装置２００がユーザデバイス１１０に適用される場合、前述した入出力装置の少なくとも一部を含むように実現するか、又はトランシーバ（ｔｒａｎｓｃｅｉｖｅｒ）、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素を更に含むことができる。より具体的な例として、ユーザデバイスがスマートフォンである場合、一般にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、各種物理的なボタン、タッチパネルを用いたボタン、入出力ポート、振動のためのバイブレータなどの様々な構成要素を更に含むように実現することができる。

【0049】

図３は本明細書の一実施形態に係るスケルトンモデルを活用した健康状態評価方法が行われるシステム環境を示す。図３を参照すると、健康管理サーバ３００は１つ以上のユーザ装置３１０～３３０と通信することができ、健康管理サーバ３００は医療機関サーバ３０１とも通信することができる。図３の健康管理サーバ３００、ユーザ装置３１０～３３０、及び医療機関サーバ３０１は図２で説明したコンピューティング装置として実現することができる。更に、図３には３つのユーザ装置が示されているが、これより少なくても多くてもよく、これに限定されるものではない。

【0050】

一実施形態において、健康管理サーバ３００はユーザ装置に様々な標準動作画像を提供し、ユーザ装置からユーザ動作画像を受信して分析した後のユーザ動作に基づいて健康情報を生成してユーザ装置又は医療機関サーバに提供することができる。又は、健康管理サーバ３００は一次的にユーザ動作画像を加工又は分析して医療機関サーバ３０１に提供し、医療機関サーバから臨床判断情報を受信してユーザ動作画像を追加的に分析することもできる。

【0051】

一実施形態において、健康管理サーバ３００はトレーナが標準動作を行う標準動作画像をユーザ装置３１０に提供することができる。以下では、１つのユーザ装置３１０を例として説明するが、他のユーザ装置についても同じ手順を行うことができる。

【0052】

図４は本明細書の一実施形態に係り、ユーザが標準動作によって姿勢をとる場面を示す。図４を参照すると、ユーザ４００はユーザ装置４０１を用いてトレーナ５００が標準動作を行う標準動作画像５１０に応じて行うことができる。このようなユーザ４００の行為はユーザ装置４０１のカメラ４０１ｃによってキャプチャして画像として記録することができる。

【0053】

一例においてカメラ４０１ｃによってキャプチャする画像はカラー画像、深度画像、色深度画像など様々な形態であり得る。従って、カメラ４０１ｃは深度カメラを含むか、ステレオカメラで構成されてもよいが、これに限定されるものではない。

【0054】

このような画像を本明細書ではユーザ動作画像４１０と称する。ユーザ動作画像４１０はユーザ装置のディスプレー部に表示しても表示しなくてもよい。

【0055】

前述した標準動作画像の再生とユーザ動作の撮影は健康管理サーバ３００から提供するアプリケーション又はウェブサービスを通じてユーザ装置で実行することができる。従って、健康管理サーバは標準動作画像だけでなく、ユーザ動作画像及びユーザ動作前後の情報及びユーザに関する基本的な情報（ユーザの年齢、性別、基礎疾患、生活パターンなど）を保持することもできる。

【0056】

図４における標準動作は両手を集め、２本の足を適度に広げたまま膝を曲げる姿勢であると示したが、様々な標準動作をユーザの健康状態評価のために提供することができる。健康管理サーバ３００はユーザ装置３１０からユーザが前記標準動作を真似するユーザ動作に対するユーザ動作画像を受信することができる。

【0057】

その後、健康管理サーバ３００は標準動作画像と前記ユーザ動作画像とを比較して標準動作とユーザ動作との間の類似度を算出することができる。次に、算出された類似度に基づいてユーザの健康状態を評価することができる。例えば、健康管理サーバ３００はユーザ動作と標準動作とを比較してユーザの運動能力、認知能力、体力などを評価することができるが、これに限定されるものではない。

【0058】

一実施形態において、健康管理サーバ３００は画像内オブジェクトのスケルトンモデルを適用して前述した類似度を算出することができる。図５は本明細書の一実施形態に係り、標準動作画像及びユーザ動作画像からトレーナ５００及びユーザ４００のそれぞれに対してスケルトンモデルを抽出した結果を示す。このようなスケルトンモデルはユーザ装置のディスプレー部に表示しても表示しなくてもよい。

【0059】

一例において健康管理サーバ３００は人体画像に基づいて人体関節又は他の身体部位の位置を確認する学習モデルを用いて標準動作画像又はユーザ動作画像からトレーナ及びユーザのスケルトン動作モデルを抽出することができる。このようなスケルトン動作モデルは複数のノード（身体部位別の特徴点）で構成されることができる。ノードが割り当てられる身体部位の種類及びノードの数は必要に応じて様々に設定することができるが、好ましくは２４個のノードを各関節部位に適用することができる。ただし、図面では発明の特徴を簡易に、かつ明瞭に図式化するためにこれより少ない数のノードを示した。

【0060】

また本明細書において、スケルトン動作モデルは二次元空間上に配置するか、三次元空間上に配置することもできる。これは獲得される画像の種類によって決定することができる。即ち、標準動作画像の視点とユーザ動作画像の視点が正確に一致することは難しいため、標準動作画像とユーザ動作画像の少なくとも一つは三次元スケルトン動作モデルで構成して他の画像のスケルトン動作モデルの視点と一致させる必要がある。この場合、健康管理サーバ３００は３次元で獲得されたスケルトン動作モデルの視点を他の２次元で獲得されたスケルトン動作モデルの視点に切り替えて２つのスケルトン動作モデルを比較することができる。

【0061】

具体的には、一実施形態において、健康管理サーバ３００は前記標準動作画像から標準動作を行うトレーナ対するトレーナスケルトン動作モデルを獲得するステップを行うことができる。また、ユーザ動作画像からユーザ動作を行うユーザに対するユーザスケルトン動作モデルを獲得するステップも行うことができる。その後、健康管理サーバ３００は前記トレーナスケルトン動作モデルと前記ユーザスケルトン動作モデルの互いに対応する身体部位別の特徴点を比較して前記類似度を算出することができる。ここで、前記身体部位別の特徴点は前記スケルトン動作モデルを構成するノードであり得る。

【0062】

一例において類似度はユークリディアン距離（Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ）であって、ユークリディアン距離に関する所定の数式に基づいて決定することができる。即ち、ユーザスケルトン動作モデルとトレーナスケルトン動作モデルの互いに対応する身体部位特徴点の位置を比較して類似度を測定することができる。この時、類似度を％で表現することもできる。

【0063】

一例として、２つのスケルトンモデルを比較するために、２つのスケルトンモデルを１つの平面に投影又は重ね合わせることで、対応するノード間の距離を算出することもできる。

【0064】

図６Ａ乃至図６Ｂは本明細書で類似度を算出するためにトレーナスケルトン動作モデルとユーザスケルトン動作モデルとを比較する例を示す図である。図６Ａを参照すると、健康管理サーバ３００は獲得したトレーナスケルトン動作モデル５２０とユーザスケルトン動作モデル４２０の各ノードの位置に基づいて２つのモデル間の類似度を算出することができる。一方、前述したように、ユーザ動作画像の視点は標準動作画像の視点とは異なり得る。この場合、２次元平面上に配置されるスケルトン動作モデルのノードの位置を比較するためには、２つのスケルトンモデル間の整合が必要である。以下では、トレーナスケルトン動作モデルに基づいてユーザスケルトン動作モデルを変形することを説明するが、その逆に、トレーナスケルトン動作モデルをユーザスケルトン動作モデルに合わせて変形することもできる。

【0065】

図６Ｂを参照すると、健康管理サーバ３００はユーザスケルトン動作モデル４２０を回転させてトレーナスケルトン動作モデルと同じ時点に変換することができる。このような回転が可能になるためにはユーザスケルトン動作モデルを三次元モデルで構成しなければならないこともある。

【0066】

一例において、トレーナとユーザの身体状態は互いに異なり得る。この場合、２つのスケルトンモデルをそのまま比較する場合、姿勢の一致可否にかかわらず類似度の高い結果が得られる恐れがある。このような問題を解決するためには、２つのスケルトンモデルのサイズを同じに合わせる必要がある。

【0067】

図６Ｃを参照すると、健康管理サーバ３００はユーザスケルトン動作モデル４２０の規模（サイズ）をトレーナスケルトン動作モデル５２０に対応させるために、そのサイズを正規化（ｎｏｒｍａｌｉｚｅ）することができる。具体的には、図６Ｃはユーザの足がもっと長い場合に該当するので、ユーザの足首と膝との間の距離をトレーナの身体条件に等しくなるように調節することができる。これにより、各脚の膝と足首との距離をｄ１とｄ２だけ短くすることができる。

【0068】

図６Ａ乃至図６Ｃで説明したこのような正規化過程は２つのスケルトンモデルのうちいずれか又は両方に適用することができる。両方に適用する場合、基準となるモデルの比率又は長さの値に従うように変換することができる。

【0069】

図７は本明細書の一実施形態に係り、身体部位別の重みを説明するための図である。図７を参照すると、一例において健康管理サーバ３００は身体部位別の特徴点を比較して類似度を算出するにあたって、前記標準動作に対する身体部位別の重みをデータベースから取得し、動作の種類による身体部位別の重みを前記類似度算出に適用することもできる。即ち、標準動作の種類によっては重要度の高い身体部位とそうでない部分が存在することができる。図７を参照すると、当該標準動作は首と腰ノード、両膝ノード（識別番号７１０）の位置と角度の重要度が高く、両腕首と手首（識別番号７２０）の位置と角度は重要度が低いことがあり得る。このような重要度の違いに基づいて標準動作別の身体部位に対する重みを反映して類似度を算出する際に利用できる。

【0070】

表１は例示的な標準動作別の身体部位に対する重み値を示す表であって、ノードｎは各身体部位を示す。例えば、ノード３は右肘であり、ノード５は右肩であり得るが、これは例示的なものである。なお、表１で重み３、２、１の数値は例示的なものに過ぎない。

【0071】

【表1】

【0072】

このような身体部位別の重みは標準動作別に与えるが、認知障害別に細分化することもできる。例えば、標準動作４に対して認知障害Ａを評価するためにはノード８とノード９に重みを与えるが、認知障害Ｂを評価するためには標準動作４においてノード１０とノード１２に重みを与えてもよい。なお、本明細書で前述した類似度は対応するノード間の距離だけでなく、３つ以上のノードが形成する角度を更に用いて決定することもできる。図８を参照すると、ユーザスケルトン動作モデルにおいて２つの脚の間の角度ａ１、右脚の曲げ角度ａ２、左脚の曲げ角度ａ３の値をトレーナスケルトン動作モデルの対応する部位の角度とそれぞれ比較することができる。

【0073】

また、スケルトン動作モデルは時間的要素を有するので、類似度の算出は時間的要素を更に考慮して行うこともできる。例えば２ｃｍ差を１ｓｅｃ維持する場合と０．５ｃｍ差を５ｓｅｃ間維持する場合、後者の方がより低い類似度値を算出することもできる。一例として、距離差と時間の積又はこれらの値にそれぞれの重みを適用して類似度を判断することができる。また他の例として、距離差の上に、ひいては方向値を更に反映して類似度を決定することができる。基本姿勢のノードの回転方向と実際のノードの回転方向とがなす角度を反映して類似度を判別することもできる。

【0074】

一実施形態において、健康管理サーバ３００は前述した類似度算出に基づいてユーザの健康状態を評価することができる。ここで、健康状態を評価することは、ユーザの体力消耗程度又は認知障害レベルを評価するものであり得る。

【0075】

一例において認知障害レベルは算出された類似度のレベルによって決定することができる。即ち、特定の標準姿勢に対する類似度が所定値以下に低いと、特定の標準姿勢に対応する認知障害に対する保持確率を算定することができる。又は、特定の標準姿勢別に認知障害レベルによるノードの位置－移動値を規定し、これらの規定値と比較して認知障害保持確率及び障害の程度を決定することができる。

【0076】

これはより具体的に、標準動作別の認知障害時に現れる行動特徴データに基づいて評価することができる。即ち、標準動作を一定レベル以上真似できない場合、認知障害確率を与えることもでき、より正確な判断のために標準動作別の認知障害者の行動特徴データを更に用いることもできる。

【0077】

例えば、行動特徴データは以下の表２に示したように、標準動作別の認知障害タイプ別に患者の行動特徴をノードのデータとして表現したものであり得る。この標準動作に対する身体部位別の重みはデータベース化して健康管理サーバ３００又は他の外部装置に格納することもできるし。

【0078】

【表2】

【0079】

類似度の％値は評価者の入力によって決定するか、既に定義された基準によって決定するか、又は人工知能学習モデルを通じて継続的にアップデートすることもできる。なお、一例として健康管理サーバ３００はユーザの健康状態を評価するにあたって、ユーザの体力消耗程度を評価することもできる。具体的に、体力消耗程度は標準動作に応じて行うにあたって、不要な動作や姿勢で運動量を増加させることを把握するためのものである。

【0080】

例えば、前記体力消耗程度はユーザスケルトン動作モデルの身体部位別の特徴点における移動軌跡の合計；及び既に定義された身体部位別の移動量に応じた体力消耗評価の重みに基づいて決定することもできる。即ち、ユーザが足を座った起こる標準動作を真似する時、両腕を回す（回転する）場合、両腕部分のノードの移動軌跡を考慮して体力消耗程度を算出することができる。また他の一例においては、身体部位別の移動量に応じた重みを与えることもできる。身体部位別の移動量に応じた重みは具体的に、腕を上げることと足を上げることのうち、足を上げる動作がより大きなエネルギーを消耗するので、足を上げる行為に対してより大きな体力消耗の重みを与えるようになる。なお、太ももを前方に突き出す姿勢と後方に突き出す姿勢のうち、後方に突き出す姿勢がより多くのエネルギーを消耗するため、このような差を反映するために前述した身体部位別の体力消耗の重みを用いることができる。

【0081】

図３を再び参照すると、健康管理サーバ３００は複数のユーザ装置からユーザ動作画像を受信することができる。受信される複数のユーザ動作画像はリアルタイム画像であり得、互いに異なる時間に撮影した画像であり得る。

【0082】

健康管理サーバ３００は受信された複数のユーザ動作画像をディスプレー装置に表示することができる。ここで、ディスプレー装置はユーザ装置又は医療機関サーバ３０１のディスプレー装置であり得る。健康管理サーバ３００はウェブ又はアプリを通じてユーザ又は医療機関に当該画像を提供することができる。以下では、健康管理サーバ３００が医療機関サーバ３０１に複数のユーザ動作画像と標準動作画像を提供する場合について説明する。より具体的には、各画像を処理して分析した結果を画像と共に医療機関サーバに提供する例について説明するようにする。このように提供する情報に基づいて医療人は複数のユーザに対する動作画像を確認及び診断するために用いることができる。

【0083】

図９は本明細書の一実施形態に係り、健康管理サーバ３００によって提供される複数のユーザ動作画像とその分析結果を示す。図９を参照すると、標準動作画像５１０が表示され、これと共に複数のユーザ動作画像９０１～９０５がディスプレー装置９０Ｄ上に表示される。

【0084】

健康管理サーバ３００は受信された複数のユーザ動作画像における複数のユーザ動作と前記標準動作との類似度をそれぞれ算出することができる。このステップは上で詳細に説明した。類似度算出及びそれによる評価を通じて各ユーザ動作について標準動作との類似度（正確度）９１０を表示し、認知障害の有無、種類及び確率９２０を表示し、体力消耗程度９３０を表示することができる。専門医はこれらの画面を通じて複数の患者の動作を確認及び相互比較することができる。

【0085】

図１０は本明細書の一実施形態における標準動作に対する類似度の低いユーザ動作画像をハイライトする例を示す。

【0086】

一例において健康管理サーバ３００は算出された類似度に基づいて前記ディスプレー装置に表示される複数のユーザ動作画像のうち少なくとも１つをハイライト表示することができる。具体的には、図１０に示したように、健康管理サーバ３００は複数のユーザ動作画像のうち算出された類似度が所定の基準よりも低い又は高い範囲に属する所定数のユーザ動作画像をハイライト表示ｈ１することができる。これにより、専門医は標準動作をよく真似できないユーザを迅速に確認することができる。具体的には、専門医はハイライト表示されたユーザの全般的な身体行動を目視で確認して迅速な臨床的判断を行うことができる。このようなガイドがなければ、一つ一つの画像の全体再生時間を全て確認しなければならない不便さが存在する。

【0087】

図１１は本明細書の一実施形態に係り、関連性のある２つ以上のユーザ動作画像をグループ化して表示する例を示す。一例において健康管理サーバ３００は前記複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出し、算出されたユーザ間の類似度に基づいて複数のユーザ動作画像をグループ化することができる。その後、グループ化したユーザ動作画像を区別して表示することができる。即ち、同じ認知障害を有するとデータ上で把握されるユーザ動作画像をグループ化して表示することができる。図１１では点線のボックスでハイライトを表示したが、これは例示的なものであり、ラベルを表示したり、シェーディングを変化したり、画像の大きさを異なるようにするなど、様々な視覚効果を前述した「ハイライト」に含んでもよい。また、一例において、健康管理サーバ３００は複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出するにあたって、前記標準動作に対する身体部位別の重みを適用しなくてもよい。標準動作において身体部位別の重みを適用する場合、標準動作とマッチングされる認知障害を迅速に、かつ正確に把握できるという長所がある。しかし、確認されていない障害やユーザの行動パターンを発見するためには、このような重みを適用しない方が役に立つ場合もある。例えば、前述したような身体部位別の重みを適用しないことで、標準動作Ａを真似する時、首が後ろにわずかに反るパターンを有するユーザグループが発見され、専門医はこれらに対して目視評価を行って臨床的判断を行うことができる。例えば、これにより認知障害Ｃを有したユーザであるという結論が臨床的判断によって下されることができる。

【0088】

図１２は本明細書の一実施形態に係るスケルトンモデルを活用した健康状態評価方法のフローチャートである。このような評価方法は前述した健康管理サーバによって実行することができる。図１２を参照すると、スケルトンモデルを活用した健康状態評価方法はユーザ装置に、トレーナが標準動作を行う標準動作画像を提供するステップ（Ｓ１００）、ユーザ装置から、ユーザが前記標準動作を真似するユーザ動作に対するユーザ動作画像を受信するステップ（Ｓ２００）、前記標準動作画像と前記ユーザ動作画像とを比較して標準動作とユーザ動作との間の類似度を算出するステップ（Ｓ３００）、及び算出された類似度に基づいて前記ユーザの健康状態を評価するステップ（Ｓ４００）を含むことができる。ここで、類似度を算出するステップ（Ｓ３００）は、前記標準動作画像から標準動作を行うトレーナに対するトレーナスケルトン動作モデルを獲得するステップ、前記ユーザ動作画像からユーザ動作を行うユーザに対するユーザスケルトン動作モデルを獲得するステップ、及び前記トレーナスケルトン動作モデルと前記ユーザスケルトン動作モデルの互いに対応する身体部位別の特徴点を比較して前記類似度を算出するステップを含み、前記身体部位別の特徴点は前記スケルトン動作モデルを構成するノードであり得る。より具体的には、前記身体部位別の特徴点を比較して類似度を算出するステップは、前記標準動作に対する身体部位別の重みをデータベースから取得するステップ、及び前記身体部位別の重みを前記類似度算出に適用するステップを含むこともできる。前記健康状態を評価するステップは、前記ユーザの体力消耗程度又は認知障害レベルを評価するものであり、前記認知障害レベルは標準動作別の認知障害時に現れる行動特徴データに基づいて評価を行うこともできる。

【0089】

以上で説明した実施形態は少なくとも部分的にコンピュータプログラムで実現され、コンピュータで読み取り可能な記録媒体に記録することができる。実施形態を実現するためのプログラムが記録されコンピュータで読み取り可能な記録媒体はコンピュータによって読み取り可能なデータが格納される全ての種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、光データ記憶装置などがある。また、コンピュータが読み取り可能な記録媒体はネットワークを介して連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが格納されて実行されることもできる。また、本実施形態を実現するための機能的なプログラム、コード及びコードセグメント（ｓｅｇｍｅｎｔ）は、本明細書が属する技術分野における通常の技術者なら容易に理解することができる。

【0090】

以上で調べてみた本明細書は図面に示した実施形態を参照して説明したが、これは例示的なものに過ぎず、当該分野における通常の知識を有する者であれば、これにより様々な変形及び均等な他の実施形態が可能であることを理解することができる。しかし、このような変形は本明細書の技術的保護範囲内にあると見なすべきである。従って、本明細書の真正な技術的保護範囲は、添付した特許請求範囲の技術的思想によって定められる。

【産業上の利用可能性】

【0091】

本明細書はユーザ動作と標準動作とを比較してユーザの動作模擬能力を評価することができる。本明細書はユーザ動作と標準動作とを比較してユーザの認知障害又は体力消耗程度を評価することができる。本明細書はユーザ動作と標準動作のスケルトンモデルを用いて２つの動作を比較することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6a】

【図6b】

【図6c】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】