特許 7459658 身体能力提示方法および身体能力提示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-25

(45)【発行日】2024-04-02

(54)【発明の名称】身体能力提示方法および身体能力提示装置

(51)【国際特許分類】

   A61B 5/107 20060101AFI20240326BHJP

   A61B 5/11 20060101ALI20240326BHJP

   A61B 5/389 20210101ALI20240326BHJP

   A61B 5/0245 20060101ALI20240326BHJP

   A61B 5/02 20060101ALI20240326BHJP

【ＦＩ】

A61B5/107 300

A61B5/11 230

A61B5/389

A61B5/0245 A

A61B5/02 310Z

【請求項の数】 10

(21)【出願番号】P 2020091411

(22)【出願日】2020-05-26

(65)【公開番号】P2021185999

(43)【公開日】2021-12-13

【審査請求日】2022-09-28

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】外口 秋絵

(72)【発明者】

【氏名】中井 裕介

(72)【発明者】

【氏名】大野 義典

(72)【発明者】

【氏名】小川 薫

(72)【発明者】

【氏名】松岡 諭史

(72)【発明者】

【氏名】山田 洋平

(72)【発明者】

【氏名】大野 剛士

(72)【発明者】

【氏名】玉井 雄介

(72)【発明者】

【氏名】今井 慎司

(72)【発明者】

【氏名】小林 哲哉

【審査官】高松 大

(56)【参考文献】

【文献】特開２０２０－０４８８２７（ＪＰ，Ａ）

【文献】特開２０１９－０６３０９１（ＪＰ，Ａ）

【文献】特表２０１６－５２２０４９（ＪＰ，Ａ）

【文献】特開２０１９－２００６７３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０３０７９２７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／１０７

Ａ６１Ｂ ５／１１

Ａ６１Ｂ ５／３８９

Ａ６１Ｂ ５／０２４５

Ａ６１Ｂ ５／０２

(57)【特許請求の範囲】

【請求項1】

対象者の身体能力に関する情報を提示する身体能力提示方法であって、
対象者を含む画像から前記対象者の姿勢情報を生成するステップと、
前記対象者の生体情報を取得するステップと、
前記姿勢情報に基づいて対象者の姿勢を特定するステップと、
前記生体情報に基づいて前記対象者の姿勢に対する前記対象者の負荷を特定するステップと、
前記姿勢情報に基づいて特定された前記対象者の姿勢と、前記生体情報に基づいて特定された前記対象者の姿勢に対する前記対象者の負荷と、を組み合わせて、前記対象者の身体能力に関する特定情報を提示するステップとを備え、
前記生体情報は、前記対象者の顔に取り付けた表情筋センサまたは前記対象者に取り付けた心拍計の計測値により取得される、身体能力提示方法。

【請求項2】

前記特定情報は、前記対象者の身体能力を評価するための基準情報を含む、請求項１に記載の身体能力提示方法。

【請求項3】

前記特定情報は、前記対象者の評価スコアを含む、請求項２に記載の身体能力提示方法。

【請求項4】

前記姿勢情報を取得するステップは、前記対象者の動作から前記姿勢情報を取得するステップを含む、請求項１から請求項３のいずれか１項に記載の身体能力提示方法。

【請求項5】

前記特定情報は、前記対象者の過去の複数の前記姿勢情報および前記生体情報を含む、請求項１から請求項４のいずれか１項に記載の身体能力提示方法。

【請求項6】

前記姿勢情報は、前記対象者の関節の角度に関する情報を含む、請求項１から請求項５のいずれか１項に記載の身体能力提示方法。

【請求項7】

前記姿勢情報は、前記対象者の関節の速度に関する情報を含む、請求項１から請求項５のいずれか１項に記載の身体能力提示方法。

【請求項8】

前記姿勢情報は、前記対象者に対して左右対称の動作を行わせたときに対象者から得られた姿勢情報を含む、請求項１から請求項３のいずれか１項に記載の身体能力提示方法。

【請求項9】

対象者の身体能力に関する情報を提示する身体能力提示装置であって、
対象者を含む画像から前記対象者の姿勢情報を生成する生成部と、
前記対象者の生体情報を取得する取得部と、
前記姿勢情報に基づいて対象者の姿勢を特定する姿勢特定部と、
前記生体情報に基づいて前記対象者の姿勢に対する前記対象者の負荷を特定する負荷特定部と、
前記姿勢特定部により特定された姿勢と、前記負荷特定部により特定された負荷と、を組み合わせて、前記対象者の身体能力に関する特定情報を提示する提示部とを備え、
前記生体情報は、前記対象者の顔に取り付けた表情筋センサまたは前記対象者に取り付けた心拍計の計測値により取得される、身体能力提示装置。

【請求項10】

対象者の身体能力に関する情報を提示する身体能力提示方法であって、
対象者を含む画像から前記対象者の姿勢情報を生成するステップと、
前記対象者の生体情報を取得するステップと、
前記姿勢情報に基づいて対象者の姿勢を特定するステップと、
前記生体情報に基づいて前記対象者の姿勢に対する前記対象者の負荷を特定するステップと、
前記姿勢情報に基づいて特定された前記対象者の姿勢と、前記生体情報に基づいて特定された前記対象者の姿勢に対する前記対象者の負荷と、を組み合わせて、前記対象者の身体能力に関する特定情報を提示するステップとを備え、
前記特定情報は、前記対象者の身体能力を評価するための基準情報を含み、
前記基準情報は、前記対象者の姿勢と、前記対象者の姿勢に対する前記対象者の負荷との関係を示す情報である、身体能力提示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、身体能力提示方法および身体能力提示装置に関する。

【背景技術】

【0002】

近年、人の姿勢を推定する技術の開発が進んでいる。非特許文献１には、ラジオ体操をする人の関節の角度をモーションセンサデバイスで計算し、計算した角度と理想の角度との差分を、リハビリテーションシステムでのトレーニング前後で比較することが開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】大野翔平，外4名，“Kinectを用いたフィジカルトレーニング効果の分析手法の提案”，第3分冊,第367頁～368頁［online］,平成30年，FIT2018（第17回情報科学技術フォーラム），［令和2年3月26日検索］，インターネット３０＜URL：https://www.ieice.org/publications/conference-FIT-DVDs/FIT2018/data/pdf/K-027.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１に記載された技術によれば、トレーニング後の対象者の身体能力を評価することができる。しかし、例えば、対象者が良い評価を得ようとして無理をし過ぎることは、対象者の体に良くない。また、対象者が無理をして取得した評価をベースに立てた新たな目標は、対象者にとって必要以上にハードルの高い目標になる。このため、対象者が無理をして取得した評価は、対象者の身体能力に対する適切な評価であるといえない。一方、対象者が無理なく出し切ることのできる力を発揮せずに取得した評価も、対象者の身体能力に対する適切な評価であるといえない。

【0005】

本開示の目的は、対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる情報を提示することである。

【課題を解決するための手段】

【0006】

本開示のある局面に従う身体能力提示方法は、対象者を含む画像から対象者の姿勢情報を生成するステップと、対象者の生体情報を取得するステップと、姿勢情報に基づいて対象者の姿勢を特定するステップと、生体情報に基づいて対象者の姿勢に対する対象者の負荷を特定するステップと、姿勢情報に基づいて特定された対象者の姿勢と、生体情報に基づいて特定された対象者の姿勢に対する対象者の負荷と、を組み合わせて、対象者の身体能力に関する特定情報を提示するステップとを備える。

【0007】

本開示の他の局面に従う身体能力提示装置は、対象者を含む画像から対象者の姿勢情報を生成する生成部と、対象者の生体情報を取得する取得部と、姿勢情報に基づいて対象者の姿勢を特定する姿勢特定部と、生体情報に基づいて対象者の姿勢に対する対象者の負荷を特定する負荷特定部と、姿勢特定部により特定された姿勢と、負荷特定部により特定された負荷と、を組み合わせて、対象者の身体能力に関する特定情報を提示する提示部とを備える。

【発明の効果】

【0008】

本開示によれば、対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる情報を提示可能である。

【図面の簡単な説明】

【0009】

【図1】本実施の形態に係るシステム全体の構成を示す図である。

【図2】対象者の特徴点の位置と右肩の関節角度の関係を示す図である。

【図3】対象者の肩の動き具合を示すヒストグラムである。

【図4】対象者の肩の関節角度の変化を示すグラフである。

【図5】強度の段階と評価の段階とを示す図である。

【図6】対象者の肩の関節角度および強度と、目標角度および目標強度との関係を示す表である。

【図7】対象者の肩の関節角度および強度と、目標角度および目標強度との関係を示すグラフである。

【図8】対象者の過去の測定結果と現在の測定結果とを示す表である。

【図9】対象者の過去の測定結果を基準とした場合の、対象者の肩の関節角度および強度と、目標角度および目標強度との関係を示すグラフである。

【図10】対象者の身体能力を評価するための制御の内容を示すフローチャートである。

【図11】一致度の評価画面の一例を示す図である。

【図12】対称性の評価画面の一例を示す図である。

【図13】対象者の身体能力を示す第１評価シートである。

【図14】対象者の身体能力を示す第２評価シートである。

【図15】対象者の身体能力を評価するための制御の内容を示すフローチャートである。

【図16】対象者の身体能力を評価するための制御の内容を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
[実施の形態１]
＜システム構成＞
図１は、実施の形態１に係るシステム全体の構成を示す図である。制御装置１００は、身体能力が評価される対象の者（以下、これを対象者と称する。）２０の身体能力に関する情報を収集する。制御装置１００は、対象者２０から収集した情報に基づいて、対象者２０の身体能力を評価する。

【0011】

制御装置１００は、インターネット３０などの通信網を介して、対象者２０の家１０に設置された通信装置１２と接続されている。通信装置１２は、対象者２０を撮影するためのカメラ１３と接続されている。対象者２０には、対象者２０の表情を検出するための複数の表情筋センサ１４が取り付けられている。表情筋センサ１４は、対象者２０の顔の筋肉から発せられる電位信号を検出する。表情筋センサ１４は、通信装置１２と無線接続されている。複数の表情筋センサ１４の検出値によって特定される表情は、対象者２０の生体情報の一例である。

【0012】

カメラ１３は、対象者２０を撮影するために最適な場所に設置されている。たとえば、対象者２０の肩の関節の動きを評価の対象とする場合、対象者２０の肩の動きを撮影し易い位置にカメラ１３を設置することが望ましい。たとえば、その位置がキッチンである場合には、図１に示すようにカメラ１３をキッチンに設置する。カメラ１３の撮影方向は、対象者２０の肩付近とする。対象者２０がキッチン内を移動したときに、対象者２０の肩付近に撮影方向を自動的に切り替える機能をカメラ１３に設けてもよい。

【0013】

以下、第１実施の形態では、対象者２０の身体能力の評価の一例として、対象者２０の肩の動きを評価することを採り上げて説明することとする。

【0014】

カメラ１３は、撮影した動画を通信装置１２へ送信する。表情筋センサ１４は対象者２０の表情筋の検出値を通信装置１２へ送信する。通信装置１２は、カメラ１３によって撮影された動画、および表情筋センサ１４の検出値をインターネット３０などの通信網を介して制御装置１００へ送信する。

【0015】

制御装置１００は、プロセッサ１０１と、メモリ１０２と、通信部１０３とを有する。これらの各部は互いに通信可能に接続される。

【0016】

プロセッサ１０１は、典型的には、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Multi Processing Unit）などの演算処理部である。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することで、制御装置１００の処理を実現する。なお、図１の例では、プロセッサが単数である構成を例示しているが、制御装置１００は複数のプロセッサを有する構成としてもよい。

【0017】

メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）およびフラッシュメモリなどの不揮発性メモリによって実現される。メモリ１０２は、プロセッサ１０１によって実行されるプログラム、またはプロセッサ１０１によって用いられるデータなどを記憶する。

【0018】

なお、メモリ１０２は、コンピュータの一種である制御装置１００が可読可能な形式で非一時的にプログラムを記録することができれば、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk - Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ、メモリーカード、ＦＤ（Flexible Disk）、ハードディスク、ＳＳＤ（Solid State Drive）、磁気テープ、カセットテープ、ＭＯ（Magnetic Optical Disc）、ＭＤ（Mini Disc）、ＩＣ（Integrated Circuit）カード（メモリーカードを除く）、光カード、マスクＲＯＭ、またはＥＰＲＯＭであってもよい。

【0019】

通信部１０３は、インターネット３０に接続されるとともに、表示部２００に接続される。通信部１０３は、対象者２０の家１０に設置された通信装置１２および表示部２００と通信するためのインターフェイスである。

【0020】

表示部２００は、液晶表示パネルなどによって構成される。表示部２００は、たとえば、プロセッサ１０１が実行した演算結果などを表示する。典型的には、表示部２００は、対象者２０の身体能力に関する評価などが表示される。

【0021】

制御装置１００は、対象者２０を撮影した動画と表情筋センサ１４の検出値とを通信装置１２から受信する。対象者２０を撮影した動画は、複数のフレーム画像で構成されている。制御装置１００は、フレーム画像とそのフレーム画像を受信したタイミングで受信した表情筋センサ１４の検出値とを対応付けてメモリ１０２に格納する。

【0022】

制御装置１００は、メモリ１０２に格納したフレーム画像に基づいて対象者２０の姿勢を推定する。制御装置１００は、位置推定用学習済モデルを用いて対象者２０の姿勢を推定する。位置推定用学習済モデルは、フレーム画像に含まれる特徴量を入力することで、人体の関節の位置を推定結果として出力するニューラルネットワークモデルである。位置推定用学習済モデルとして、たとえば、CMU（Carnegie Mellon University）が開発したOpenPose、Microsoft社が開発したHuman-pose-estimation、またはgoogle社が開発したposeNetなどを用いることが考えられる。

【0023】

姿勢推定と併せて、制御装置１００は、表情筋センサ１４の検出値をメモリ１０２から読み出す。読み出される検出値は、姿勢推定に用いたフレーム画像と対応付けてメモリ１０２に格納されている検出値である。制御装置１００は、読み出した検出値に基づいて、対象者２０の表情を推定する。対象者２０の表情は、表情推定のための各種のＡＩ（Artificial Intelligence）技術を用いて推定することができる。表情推定のための各種のAIは、入力として表情筋センサ１４の検出値あるいはカメラで撮影した対象者の顔、あるいは目や口の位置、形状などの顔の特徴点などを入力とし、出力を表情の種類とする。表情の種類は、例えば笑っている、苦しんでいる、といった有限個の分類とする。入力と出力のペアであるデータセットを用いて、表情推定のためのAIを学習させることができる。学習させたAIに、表情筋センサ１４の検出値あるいはカメラで撮影した対象者の顔を入力することで、出力として指定した表情の分類を推論結果として得ることができる。

【0024】

制御装置１００は、姿勢推定の結果から対象者２０の関節の角度を算出する。たとえば、評価すべき箇所が対象者２０の肩の動きであれば、制御装置１００は、対象者２０の肩の関節角度を算出する。併せて、制御装置１００は、表情推定の結果を、段階的に定めた複数の基準値と比較する、もしくは、苦しい顔をしていたら負荷が高いなど、表情の分類ごとに負荷の度合いを定義することによって、肩を動かしたときに対象者２０が感じる負荷（辛さ）の度合いを特定する。以下、“負荷の度合い”を“強度”と称する。

【0025】

制御装置１００は、関節の角度と強度とから、対象者２０の身体能力を評価する。さらに、制御装置１００は、それらの評価の結果を表示部２００に表示するとともに、通信部１０３からインターネット３０を介して対象者２０の家１０に設置された通信装置１２へ送信する。通信装置１２は、対象者２０のパーソナルコンピュータ１６と接続されている。対象者２０は、パーソナルコンピュータ１６を用いて自身の評価を確認することができる。

【0026】

制御装置１００には、対象者２０別に異なる評価基準が記憶されている。たとえば、対象者２０が肩のリハビリ中であれば、リハビリの目標値に応じた基準値を制御装置１００に設定することが考えられる。
＜肩の関節角度の算出＞
図２は、対象者２０の特徴点の位置と肩の関節角度の関係を示す図である。対象者２０を撮影した動画は複数のフレーム画像から構成される。図２は、複数のフレーム画像のうちの１つである。図２に示す符号２０ａ～２０ｋは、対象者２０の画像から推定された特徴点を示す。制御装置１００は、OpenPoseなどの姿勢推定技術を用いることによって、これらの特徴点２０ａ～２０ｋをフレーム画像から推定する。なお、観察すべき部分が対象者２０の指である場合には、指の関節部分の特徴点を推定するものとしてもよい。

【0027】

図２に示すように、対象者２０の右肩の関節角度は、特徴点２０ａ～２０ｋのうち、右肘関節に対応する特徴点２０ｂ、右肩関節に対応する特徴点２０ｃ、および右股関節に対応する特徴点２０ｄの各々の座標から求められる。具体的には、肩－肘ベクトルをａとし、肩－股関節ベクトルをｂとした場合、右肩の関節角度は、以下の式（１）を用いて算出することができる。

【0028】

【数1】

【0029】

対象者２０を撮影した動画には、対象者２０の様々な動きが含まれる。たとえば、対象者２０の右肩の関節角度に注目する場合には、次のような手法で対象者２０の肩の関節角度を決定することが考えられる。まず、姿勢推定技術によって特徴点が抽出された複数のフレーム画像のうちから、図２に示すような特徴点２０ｂ、２０ｃ、および２０ｄを含むフレーム画像を選択する。次に、選択したフレーム画像のそれぞれに基づいて、対象者２０の肩の関節角度を算出する。算出された関節角度のうち、最大の関節角度を対象者２０の肩の関節角度として決定する。なお、この手法は一例に過ぎず、他の手法を採用して対象者２０の肩の関節角度を決定してもよい。

【0030】

対象者２０が日常生活でどの程度の範囲で肩を動かしているのかを特定したい場合には、動画を構成するそれぞれのフレーム画像に基づいて算出された肩の関節角度を用いてヒストグラムを作成するとよい。あるいは、一日の対象者２０の肩の関節角度の変化を知りたい場合には、フレーム画像に基づいて算出された肩の関節角度とフレーム画像が撮影された時刻とを対応付けたグラフを作成するとよい。これらのヒストグラムおよびグラフは、制御装置１００によって作成され、必要に応じて表示部２００に表示される。以下、図３および図４を用いてそれぞれを説明する。
＜対象者による肩の関節角度の違い＞
図３は、ある対象者Ａおよびある対象者Ｂの肩の関節角度の度合いを示すヒストグラムである。図３において、縦軸は肩の関節角度の階級を示し、横軸は階級に対する度数を示す。ＬＡおよびＬＢは、階級と度数との関係を線形化して得られた曲線を示す。ＬＡは、対象者Ａに対応する曲線を示す。ＬＢは、対象者２０Ｂに対応する曲線を示す。図３に示すように、肩の動き具合は対象者２０によって異なる。対象者Ａは、２０度未満から１６０度を超える角度までの広い範囲で肩関節を動かしている。一方、対象者２０Ｂは、肩の可動範囲が対象者Ａよりも狭く、１２０度を超えて肩関節を動かすことはほとんどない。このように、肩の可動域は人によって異なる。また、肩の可動域は、一般には、高齢になるほど狭くなることが多い。
＜肩の関節角度の時間的変化＞
図４は、ある対象者２０の肩の関節角度の変化を示すグラフである。縦軸は肩の関節角度を示し、横軸は時刻を示す。図４に示すように、肩の関節角度は時刻によって大きく変化する。その変化の様子は、観察時刻に対象者２０がどのような作業をしていたかによって大きく異なる。

【0031】

図４に示される関節位置の時系列データから、関節の速度情報を算出することができる。グラフの傾斜と関節速度とは相関関係にある。動画から取得した関節の角度に変えて、動画から取得した関節の速度情報を評価の対象としてもよい。肩の関節の速度情報は、対象者がスムーズに肩を動かすことができているかどうかを判断するための指標となる。また、肩の関節の速度情報に変えて、腕の関節の速度情報を評価の対象としてもよい。腕の関節の速度情報を利用することによって、対象者２０が腕をゆっくり上げているかどうかを判断できる。また、脚の関節の速度情報を利用することによって、対象者２０の歩行速度を推定することができる。脚の関節の速度情報に対する基準速度は、介護を必要する高齢者の歩行速度に基づいて定めてもよい。

【0032】

図３または図４を参照することによって、対象者２０の肩関節の動きの度合いを把握することができる。しかし、図３および図４が示す情報のみでは、対象者２０が余裕を持って肩関節を動かしたのか、無理をして肩関節を動かしたのか、という点までは理解できない。そこで、本実施の形態では、対象者２０の肩関節の動きと併せて対象者２０の表情に着目して、動作が対象者２０に与える負荷の度合い（強度）を算出する。

【0033】

図５は、強度の段階と評価の段階とを示す図である。本実施の形態では、対象者２０に与える負荷の度合いを１つ刻みで－５から＋５までの１１段階で評価する。中央値の０は、辛くもなく、楽でもない、普通の感じ方に対応する。０から数値が高くなるほど、強度、すなわち、対象者２０の辛さの程度は高くなる。一方、０から数値が小さくなるほど、対象者２０が楽に感じる程度は高くなる。評価の段階としては、図５に示すように、ＡからＧの７段階が設定されている。Ａが最も高い評価を示し、Ｇが最も低い評価を示す。なお、図示する強度の段階と評価の段階とは一例であり、段階の数をさらに増やしても、逆に段階の数を減らしてもよい。
＜対象者の身体能力の評価＞
図６は、ある対象者Ａの肩の関節角度および強度と、目標角度αおよび目標強度βとの関係、およびそれらに基づく評価を示す表である。図７は、図６の表に基づいて作成されたグラフである。これらの表およびグラフは、制御装置１００によって作成される。作成された表およびグラフは、メモリ１０２に格納される。さらに、制御装置１００は、メモリ１０２に格納された表およびグラフを読み出して表示部２００に表示するとともに、インターネット３０を介して対象者Ａが所有するパーソナルコンピュータ１６などへ配信する。

【0034】

図６を参照して、表には、対象者Ａの肩の関節角度が測定された日時と、目標角度αと、対象者Ａの角度αａと、目標強度βと、対象者Ａの強度βａと、対象者Ａに対して与えられた評価Ｅとが示されている。「目標角度α」は、対象者Ａの身体状況に合わせて予め目標として設定された肩の関節角度を示す。「目標強度β」は、目標角度αに対する強度の目標値を示す。

【0035】

「対象者Ａの角度」は、算出された対象者Ａの肩の関節角度を示す。「対象者Ａの強度」は、「対象者Ａの角度」に対応して算出された対象者Ａの強度を示す。「評価」は、算出された対象者Ａの肩の関節角度と算出された対象者Ａの強度とに基づいて、図５に示した７段階の中から決定される。図６に示す表には、対象者Ａの肩の関節角度αａと対象者Ａの強度βａとに基づいて決定されたＥという評価が示されている。制御装置１００は、対象者Ａの肩の関節角度を算出する毎に、図６に示す表のデータを追加する。以下、「目標角度α」と「目標強度β」との関係を（α，β）と表し、「対象者Ａの角度αａ」と「対象者Ａの強度βａ」との関係を（αａ，βａ）と表す。また、（αａ，βａ）を対象者Ａの測定結果などと称する。

【0036】

制御装置１００は、図６に示すデータに基づいて、図７に示すグラフを作成する。グラフの横軸は角度を示し、縦軸は強度を示す。縦軸の強度は、横軸と縦軸とが交わるポイントの数値を０として、上がプラスの数値を、下がマイナスの数値を、それぞれ示す。強度は、値が大きくなるほど、対象者２０にとっての辛さ（負荷）が増すことを意味する。強度＝０は、対象者２０が辛いと感じることも楽と感じることもない、普通の強度を示す。したがって、マイナスの数値の強度は、対象者２０が楽に感じる度合いを示す。

【0037】

図７のグラフには、基準ラインＬｓが示される。基準ラインＬｓは、対象者Ａの測定結果（αａ、βａ）を評価するために用いるラインである。基準ラインＬｓは、たとえば、人間の標準的な身体的能力に基づいて定めたラインである。なお、基準ラインＬｓは、対象者毎の身体的能力を考慮して、対象者毎に設定してもよく、性別、年齢を考慮して定めることも考えられる。制御装置１００のメモリ１０２には、複数種類の基準ラインＬｓのデータが記憶されている。

【0038】

図７のグラフには、対象者Ａの目標角度と目標強度とに対応する（α，β）が示される。（α，β）は、基準ラインＬｓ上にあり、目標強度βは０に設定される。さらに、グラフには、対象者Ａの測定結果に対応する（αａ，βａ）が示される。

【0039】

図７に示すグラフによれば、対象者Ａの肩の関節角度αａは、目標角度αに対して角度ｄｌｘ不足することがわかる。また、グラフの基準ラインＬｓによれば、肩の関節角度αａに対する標準的な強度はβｓであることがわかる。標準的な強度βｓは、対象者Ａの強度βａよりも小さい。強度βｓと強度βａとの差はｄｌｙである。このことから、関節角度αａで肩を動かした対象者Ａは、標準よりもｄｌｙ分の強い負荷を肩に感じていたことになる。

【0040】

制御装置１００は、（α，β）を通過する基準ラインＬｓと、対象者Ａのデータ（αａ、βａ）とに基づいて、対象者Ａの身体能力を評価する。たとえば、対象者Ａのデータ（αａ、βａ）が（α，β）の周辺に位置する場合には、７段階の評価のうちの中央に位置するＤの評価を対象者Ａに与える。

【0041】

図７には、対象者Ａの他のデータの例として、（αａ１、βａ１）、（αａ２、βａ２）、（αａ３、βａ３）、および（αａ４、βａ４）が示されている。（αａ１、βａ１）は、関節角度が目標値αに近いが、強度が目標値をβを超える例である。このデータ例を見た者は、対象者Ａが身体的に無理をして肩を動かしているものと推測できる。制御装置１００は、対象者Ａの測定結果が（αａ１、βａ１）であった場合、対象者Ａの測定結果が（α，β）であった場合よりも、対象者に与える評価を下げる。

【0042】

（αａ２、βａ２）は、関節角度が目標値αに近いが、強度が目標値をβを下回る例である。このデータ例を見た者は、対象者Ａが目標レベルの強度よりも低い強度で目標の関節角度を達成しているものと推測できる。制御装置１００は、対象者Ａの測定結果が（αａ２、βａ２）であった場合、対象者Ａの測定結果が（α，β）であった場合よりも、対象者に与える評価を上げる。

【0043】

（αａ３、βａ３）は、関節角度が目標値αを大幅に上回り、強度が基準値βｓｓを大幅に上回る例である。また、（αａ４、βａ４）は、関節角度が目標値αを大幅に上回るが、強度が基準値βｓｓを大幅に下回る例である。これらのデータを見た者は、基準ラインＬｓと、関節角度および強度との関係を考慮して、対象者Ａの身体能力を評価できる。また、制御装置１００は、対象者Ａのそれぞれの測定結果と、基準ラインＬｓとの距離に基づいて、対象者Ａの身体能力を評価する。

【0044】

なお、図７に示すグラフには、制御装置１００による評価のランクを表示するようにしてもよい。たとえば、図７に示すグラフの（αａ１、βａ１）の隣に「評価ランク＝Ｅ」と表示することが考えられる。ただし、このような評価のランクを表示しなくても、グラフを見た者は、対象者Ａの身体能力を関節角度と強度との２つの側面から評価することが可能である。
＜対象者の過去の測定結果に基づいた評価＞
図８は、対象者Ａの過去の測定結果と現在の測定結果とを示す表である。図９は、対象者Ａの過去の測定結果を基準とした場合の、対象者Ａの肩の関節角度および強度と、目標角度および目標強度との関係を示すグラフである。図８および図９を参照して、対象者Ａの過去の測定結果に基づいて対象者の現在の身体能力を評価する方法を説明する。

【0045】

図８には、対象者Ａの過去のデータを示す表Ｔ１と、対象者Ａの現在のデータを示す表Ｔ２とが示されている。図８の表Ｔ１には、２０１５年の対象者Ａの多数の測定結果の一部が示されている。図８の表Ｔ２には、２０２０年の対象者Ａの測定結果が示されている。表Ｔ２に示される対象者Ａの測定結果（αａ１、βａ１）は、図６に示した対象者Ａの測定結果と同じである。しかし、図８の表Ｔ２と図６とでは、目標角度、目標強度、および評価が異なっている。これは、評価の基準が両者で異なるためである。

【0046】

図９のＰａは、２０１５年に記録された対象者Ａのデータ（図９に示す△）の集合を示している。集合Ｐａを用いることによって、２０１５年当時の対象者Ａの平均的な肩の関節角度α’および強度β’を算出できる。ここでは、算出されたα’を目標角度とし、算出されたβ’を目標強度とする。図９に示す（α’、β’）は、その座標位置を示す。

【0047】

さらに、集合Ｐａに基づけば２０１５年当時の対象者Ａの測定結果に基づいた基準ラインＬｓ’を算出することができる。図９には、図８に示す基準ラインＬｓを集合Ｐａに基づいて右方向にスライドさせて成る基準ラインＬｓ’が示されている。

【0048】

対象者Ａの過去の測定結果に基づいて定めた目標角度および目標強度は（α’，β’）である。図９に示すグラフによれば、対象者Ａの肩の関節角度αａは、目標角度α’に対して角度ｄｌｘ’不足することがわかる。また、基準ラインＬｓ’によれば、肩の関節角度αａに対する標準的な強度はβｓ’であることがわかる。強度βｓ’と強度βａとの差はｄｌｙ’である。図７に示すグラフと図９に示すグラフとを比較すると、「ｄｌｘ＜ｄｌｘ’」であり、かつ、「ｄｌｙ＜ｄｌｙ’」である。基準ラインＬｓ’は、基準ラインＬｓよりも基準が高い。このため、表Ｔ２での評価は、図６に示す評価よりも悪いＦとされている。

【0049】

このように、対象者Ａの身体能力は、（１）人間の標準的な身体的能力に基づいて評価してもよく、（２）過去の対象者Ａの身体能力に基づいて評価してもよい。制御装置１００には、（１）（２）のいずれの評価基準を記憶させておいてもよく、いずれか一方のみを記憶させておいてもよい。
＜身体能力を評価するための制御の内容＞
図１０は、対象者２０の身体能力を評価するための制御の内容を示すフローチャートである。このフローチャートに対応するプログラムは、制御装置１００のメモリ１０２に記憶されている。制御装置１００のプロセッサ１０１は、メモリ１０２に記憶されたプログラムに基づいて、以下のフローチャートに示す処理を実行する。

【0050】

はじめに、制御装置１００は、メモリ１０２に記憶されている対象者の動画から対象者の画像（フレーム画像）を読み込む（ステップＳ１）。次に、制御装置１００は、ステップＳ１で読み込んだ画像から位置推定用学習済モデルを用いて対象者２０の姿勢情報を生成する（ステップＳ２）。これにより、たとえば、図２に示したように、対象者２０の関節位置が特定される。次に、制御装置１００は、ステップＳ１で読み込んだ対象者の画像と対応する生体情報をメモリ１０２に格納されているデータから取得する（ステップＳ３）。生体情報は、たとえば、表情筋センサ１４の検出値である。

【0051】

次に、制御装置１００は、ステップＳ２で生成した姿勢情報から姿勢を解析する（ステップＳ４）。たとえば、制御装置１００は、ステップＳ４において、対象者２０の肩の関節角度を算出する。次に、制御装置１００は、ステップＳ３で読み込んだ表情筋センサ１４の検出値から表情推定のための各種のＡＩ技術を用いて対象者２０の表情を解析する（ステップＳ５）。たとえば、制御装置１００は、ステップＳ４において、対象者２０の表情から強度（辛さの度合い）を算出する。

【0052】

次に、制御装置１００は、解析した表情および解析した姿勢を基準ラインと比較する（ステップＳ６）。たとえば、図７に示した基準ラインＬｓと、対象者２０の測定結果（αａ，βａ）との距離を算出する。次に、制御装置１００は、ステップＳ６の結果に基づいた評価を算出する（ステップＳ７）。次に、制御装置１００は、算出した評価を保存する（ステップＳ８）。次に、制御装置１００は、対象者２０向けの評価シートを作成する（ステップＳ９）。評価表は、たとえば、図６または図８に示した表および図７または図９に示すグラフを含む。次に、制御装置１００は、作成した評価シートを対象者２０の元へ配信する（ステップＳ１０）。たとえば、制御装置１００は、インターネット３０を通じて対象者２０の家の通信装置１２へ評価シートを送信する。

【0053】

以上、説明した第１実施の形態では、対象者の肩の関節角度に基づいて、対象者の身体能力を評価する例を説明した。しかし、肩の関節角度は評価対象の一例に過ぎない。たとえば、対象者の膝の関節角度などを評価対象としてもよい。

【0054】

また、関節角度に変えて、図４のグラフに基づいて算出される関節速度を評価の対象としてもよい。この場合、制御装置１００は、図１０のステップＳ４において、対象者の肩の関節速度またはその他の部位の関節速度を算出する。さらに、制御装置１００は、図１０のステップＳ６において、関節速度を対象として設定した基準ラインと対象者の関節速度および対象者の強度とを比較し、対象者の身体能力を評価する。

【0055】

第１実施の形態によれば、対象者の肩の上がり具合などの日常動作を姿勢推定や表情推定によりチェックし、対象者の体の衰えや異変を早期に発見することができる。関節角度が小さくなってきた場合や、関節速度が低下してきた場合、対象者に身体の衰えなどの異変が起きていると考えられる。また、特定の動作中に対象者が苦しい表情をしている場合、関節部分に痛みや異変を伴っている可能性がある。これらの異変が認められた場合、対象者本人や家族、医師等にその旨を通知することで異変の早期発見およびリハビリなどの早期介入が可能となる。
[実施の形態２]
＜健康スコアの算出＞
次に、実施の形態２を説明する。実施の形態１は、対象者の関節角度あるいは関節速度といった、静的あるいは部分的な動きに着目して対象者の身体能力を評価する形態である。実施の形態２は、たとえば、ラジオ体操のような連続的な動きに基づいて対象者の身体能力を評価する形態である。

【0056】

はじめに、実施の形態２に係るシステム全体の構成を、図１に示した実施の形態１に係るシステム全体の構成と対比して説明する。対象者２０には、表情筋センサ１４に変えて、図１１に示す心拍計１５を取り付ける。心拍計１５が計測する心拍数は、生体情報の一例である。心拍計１５が計測する心拍数は、図１に示す通信装置１２に送信される。通信装置１２は心拍数をインターネット３０などの通信網を介して制御装置１００へ送信する。

【0057】

対象者２０は、たとえば、家１０でラジオ体操の動画をお手本にしながらラジオ体操をする。対象者２０の動きはカメラ１３で撮影される。カメラ１３は撮影した動画を通信装置１２に送信する。通信装置１２は、カメラ１３から受信した動画をインターネット３０などの通信網を介して制御装置１００へ送信する。制御装置１００は、通信装置１２から受信した対象者２０の心拍数と動画とをメモリ１０２に格納する。制御装置１００のメモリ１０２には、ラジオ体操の動画のデータが予め格納されている。ラジオ体操の動画には、お手本となる体操講師がラジオ体操をする動作が含まれている。

【0058】

制御装置１００は、対象者２０の動画と、対象者２０の心拍数と、ラジオ体操の動画とに基づいて対象者２０の身体能力を評価し、評価の結果を通信装置１２に送信する。評価の結果は、パーソナルコンピュータ１６の画面に表示される。対象者２０は、パーソナルコンピュータ１６を用いて評価の結果を確認する。
＜一致度の評価＞
図１１は、一致度の評価画面の一例を示す図である。制御装置１００は、対象者２０の動画とラジオ体操の動画とに基づいて、対象者２０の動作とお手本となる体操講師の動作との一致度を評価し、評価の結果を対象者２０の家１０の通信装置１２に送信する。たとえば、対象者２０のパーソナルコンピュータ１６には、図１１に示す画面が表示される。画面の左には「対象者２０の映像」が表示され、画面の右には「目標映像」が表示される。「対象者２０の映像」は、ラジオ体操をする対象者２０の動画の１シーンの映像である。「目標映像」は、ラジオ体操の動画のうち、「対象者２０の映像」と対応する映像である。「目標映像」には、お手本となる体操講師の動きが映し出されている。「対象者２０の映像」と「目標映像」との間には、「対象者２０の映像」に含まれる対象者２０と、「目標映像」に含まれる体操講師とを重畳させた画像が表示されている。対象者２０の画像と体操講師の画像とを重畳させることによって、対象者２０の動作がどの程度、体操講師の動作に一致しているのかを把握し易くなる。

【0059】

対象者２０とお手本の体操講師との体つきが完全に一致することは考えにくい。また、対象者２０を撮影する距離や角度によっても、画像における対象者２０の大きさは変化する。このため、単純に対象者２０の画像と体操講師の画像とを重畳させるのみでは、両者の動作の一致度を把握できない。そこで、制御装置１００は、対象者２０の画像と体操講師の画像とを重畳させる前に、体操講師の画像の縦横のサイズと対象者２０の画像の縦横のサイズとを補正している。たとえば、制御装置１００は、体操講師の体の長さと幅とに合うように、対象者２０の画像を補正する。その結果、対象者２０の画像と体操講師の画像とを重畳させたときに、対象者２０の動作がどの程度、体操講師の動作に一致しているのかをより把握し易くなる。

【0060】

図１１に示すように、対象者２０と体操講師とを重畳させた画像の下には、一致度を示す一致度スコアが表示されている。さらに、一致度スコアの下には、コメントが表示される。対象者２０は、コメントを参考にして、一致度を上げる努力をすることができる。

【0061】

「対象者２０の映像」の下には、「心拍数」の表示領域が設けられている。この表示領域には、対象者２０が「対象者２０の映像」に示す動作をしているときの心拍数が表示される。「目標映像」の下には、「目標心拍数」の表示領域が設けられている。この表示領域には、対象者２０が目標とすべき心拍数が表示される。目標心拍数は、様々な基準で定めることができる。たとえば、人間の標準的な身体的能力に基づいて目標心拍数を決定してもよく、対象者２０の年齢や性別を考慮して、対象者２０別に決定してもよい。目標心拍数は、ラジオ体操を開始してから終了するまでの間で、体操の種類に応じて変動させることが望ましい。制御装置１００のメモリ１０２には、ラジオ体操を開始してから終了するまでの間の複数のタイミング毎に、目標心拍数が記憶されている。

【0062】

対象者２０は、図１１に示す評価の画面を見ることによって、一致度のみならず、目標心拍数と対比した自身の心拍数をも把握できる。このため、対象者２０は、無理をしない範囲で、ラジオ体操が上手くできているかどうかを評価できる。あるいは、対象者２０を指導するトレーナーが存在する場合には、同じ画面をトレーナーが見ることによって、対象者２０に無理をさせない範囲で好ましいラジオ体操の姿勢を指導することができる。
＜対称性の評価＞
図１２は、対称性の評価画面の一例を示す図である。制御装置１００は、対象者２０の動画に基づいて、対象者２０の動作の左右の対称性を評価する。ラジオ体操には、左右対称の動作が含まれる。左右対称の体操に応答して、対象者２０の左側の動作と右側の動作とが一致することが望ましい。たとえば、図１２に示すような、体を横に曲げる運動の場合には、体が曲がる角度が右側と左側とで同じであることが望ましい。しかし、体の歪み、その他の要因によって左側の動作と右側の動作とが一致しない場合がある。

【0063】

そこで、制御装置１００は、図１２に示す対称性の評価画面を対象者２０に提供する。対称性の評価画面には、対象者２０が体を左側に曲げている動作の画像と、対象者２０が体を右側に曲げている動作の画像とが表示されている。また、対称性の評価画面には、対称性スコアが表示されている。対称性スコアは、左右の動きの対称性がどの程度あるかを示す評価スコアである。さらに、対称性の評価画面には、目標心拍数を表示する表示領域と、対象者２０の心拍数を表示する表示領域とが設けられている。

【0064】

対象者２０は、図１２に示す評価の画面を見ることによって、ラジオ体操の左右対称性のみならず、目標心拍数と対比した自身の心拍数をも把握できる。このため、対象者２０は、無理をしない範囲で、ラジオ体操が上手くできているかどうかを評価できる。あるいは、対象者２０を指導するトレーナーが存在する場合には、同じ画面をトレーナーが見ることによって、対象者２０に無理をさせない範囲で好ましいラジオ体操の姿勢を指導することができる。

【0065】

なお、図１２に示す評価の画面において、対象者２０が体を左側に曲げている動作の画像に対して、対象者２０が体を右側に曲げている動作の画像を重畳させ、対象者２０が体を右側に曲げている動作の画像に対して、対象者２０が体を左側に曲げている動作の画像を重畳させてもよい。また、対象者２０が体を左右に曲げている動作の画像２つのうち、どちらか一方の画像を左右反転させた後に重畳させてもよい。これにより、左右での曲がり具合の違いを、画面を見る者が視覚的に理解し易くなる。

【0066】

対称性スコアの算出方法を説明する。制御装置１００は、対象者２０の動画の中から左右対称性が要求されるラジオ体操のシーンを抽出する。抽出したラジオ体操のシーンには、ペアとなる２つの画像が含まれる。ペアとなる２つの画像は、たとえば、図１２に示すような、対象者２０が左側に体を曲げている画像と、対象者２０が右側に体を曲げている画像とである。制御装置１００は、ペアとなる２つの画像のうちの第１画像に基づいて、対象者２０の特徴点（関節）を推定する。さらに、制御装置１００は、ペアとなる２つの画像のうちの第２画像を左右反転させた画像を生成し、生成した反転画像に基づいて、対象者２０の特徴点（関節）を推定する。制御装置１００は、第１画像に基づいた推定結果と、反転画像に基づいた推定結果とを対比することによって、両者の一致度を算出する。制御装置１００は、算出した一致度に基づいて対称性スコアを決定する。
＜時系列の変化＞
図１３は、対象者２０の身体能力を示す第１評価シートである。第１評価シートには、対象者２０の動きと目標映像の動きと対象者２０の心拍数との関係が示されている。第１評価シートは、制御装置１００によって対象者２０に提供されるデータのひとつである。第１評価シートの横軸はラジオ体操の進行状況を示す。実線の波形は、対象者２０の動きの大きさを示す。破線の波形は、目標映像の体操講師の動きの大きさを示す。棒線は、対象者２０の心拍数を示す。なお、対象者２０の動きを測定する体の部分は、いずれの部分であってもよい。たとえば、肩関節の動きに基づいて対象者２０の動きを測定することが考えられる。

【0067】

図１３に示す第１評価シートは、ラジオ体操の開始から終了に至るまでの動画で提供される。図１３は、ラジオ体操が終了した時点の動画の状態を示している。第１評価シートには、対象者２０の心拍数と対象者２０の平均心拍数とが表示される。第１評価シートに表示される心拍数の値は、ラジオ体操の進行とともに変化する。

【0068】

対象者２０または対象者２０を指導するトレーナーは、第１評価シートを見ることによって、対象者２０がどの程度、体操講師の動きに追従しているのかをラジオ体操の進行との関係において把握できる。また、第１評価シートには、心拍数と平均心拍数とが表示されるため、対象者２０が無理をしない範囲で、ラジオ体操をしているのかどうかを評価できる。なお、第１評価シートには、対象者２０に対して設定された目標心拍数を併せて表示してもよい。

【0069】

図１４は、対象者２０の身体能力を示す第２評価シートである。第２評価シートは、制御装置１００によって対象者２０に提供されるデータのひとつである。実線はラジオ対応ｓの動きの基準を示す線である。破線は、基準線に対する対象者の動きのずれの大きさを示す。第２評価シートが対象としている動きは、第１評価シートが対象としている動きと同じである。しかし、第２評価シートは、対象者の動きのずれを基準の直線との関係で示しているので、第１評価シートよりも、対象者の動きと目標映像の動きとのずれの大きさを把握し易い。第２評価シートは、第１評価シートと同様に動画で提供される。さらに、第２評価シートには、心拍数と、平均心拍数と、一致度スコアと、対称性スコアと、運動強度スコアと、健康スコアとが表示される。

【0070】

運動強度スコアは、対象者２０の心拍数から算出する。たとえば、ラジオ体操中に計測された対象者２０の心拍数と、対象者２０の平常時心拍数と、対象者２０の年齢とから運動強度を計算することが可能である。健康スコアは、一致度スコアと、対称性スコアと、運動強度スコアとから総合的に算出したスコアである。したがって、健康スコアが高い対象者２０ほど、体操講師に近い動きで、左右対称性を保ちつつ、負荷を感じることなくラジオ体操をしていたことになる。

【0071】

対象者２０または対象者２０を指導するトレーナーは、図１４に示す第２評価シートを見ることによって、対象者２０と体操講師の動きとのずれをより明確に把握できる。また、第２評価シートには、一致度スコアと、対称性スコアと、運動強度スコアとから総合的に算出したスコアである健康スコアが表示されるため、対象者２０の身体能力を総合的に評価できる。

【0072】

＜制御フロー＞
図１５および図１６は、対象者２０の身体能力を評価するための制御の内容を示すフローチャートである。このフローチャートに対応するプログラムは、制御装置１００のメモリ１０２に記憶されている。制御装置１００のプロセッサ１０１は、メモリ１０２に記憶されたプログラムに基づいて、以下のフローチャートに示す処理を実行する。

【0073】

はじめに、制御装置１００は、対象者２０の動画から対象者２０の画像（フレーム画像）を読み込む（ステップＳ１０１）。次に、制御装置１００は、ステップＳ１０１で読み込んだ画像から位置推定用学習済モデルを用いて対象者２０の姿勢情報を生成する（ステップＳ１０２）。これにより、たとえば、図２に示したように、対象者２０の関節位置が特定される。

【0074】

次に、制御装置１００は、ステップＳ１０１で読み込んだ対象者２０の画像と対応する生体情報を取得する（ステップＳ１０３）。生体情報は、たとえば、心拍数である。心拍数は、たとえば、心拍計１５の計測値に基づいて特定される。あるいは、接触バイタルセンシング技術を用いて、画像から心拍数を特定してもよい。

【0075】

この場合、ステップＳ１０１で読み込んだフレーム画像と、当該フレーム画像に対して時間的に前後する複数のフレーム画像とを用いて対象者２０の心拍数を特定する。心拍数に関連するのは、脈波である。脈波は血管の収縮に連動して変化し、血管の収縮は血流に関連する。血液は、光を吸収する性質を有する。このため、対象者２０の肌の光反射率の変化を対象者２０の画像に基づいて検出することによって、間接的に対象者２０の心拍数を特定することができる。

【0076】

次に、制御装置１００は、ステップＳ１０２で生成した姿勢情報から姿勢を解析する（ステップＳ１０４）。たとえば、制御装置１００は、ステップＳ１０４において、対象者２０の運動の姿勢を解析する。次に、制御装置１００は、目標映像を解析し（ステップＳ１０５）、続いて、対象者２０の姿勢を補正する（ステップＳ１０６）。ステップＳ１０５およびＳ１０６は、目標映像に写る体操講師のサイズと、対象者２０のサイズとを一致させる処理である。

【0077】

次に、制御装置１００は、評価条件を設定する（ステップＳ１０７）。評価条件は、たとえば、一致度スコア、対称性スコア、および運動強度スコアを算出するときの基準を定める条件である。評価条件の設定次第で各スコアの基準を高くすることも低くすることもできる。

【0078】

たとえば、対象者の年齢に応じて、一致度スコア、対称性スコア、および運動強度スコアを算出するときの基準を変更することが考えられる。これによって、対象者が高齢者の場合には、対象者が中高年の場合に比べて、それぞれのスコアの基準を甘くすることもできる。また、対象者が過去に取得した一致度スコア、対称性スコア、および運動強度スコアを考慮して、それぞれのスコアを新たに算出するときの基準を定めてもよい。

【0079】

次に、制御装置１００は、対象者２０の画像とお手本の体操講師の画像とに基づいて、一致度を算出する（ステップＳ１０８）。次に、制御装置１００は、ステップＳ１０２で読み込んだ心拍数に基づいて運動強度を算出し（ステップＳ１０９）、算出結果をメモリ１０２に保存する（ステップＳ１１０）。次に、制御装置１００は、算出した運動強度を表示部２００に表示する（ステップＳ１１１）。

【0080】

次に、制御装置１００は、ラジオ体操の動画は終了したか否かを判断する（ステップＳ１１２）。ラジオ体操の動画が終了していない場合、制御装置１００は、ステップＳ１０１に処理を戻す。ラジオ体操の動画が終了している場合、制御装置１００は、一致度スコアを算出し（ステップＳ１１３）、続いて、運動強度スコアを算出する（ステップＳ１１４）。

【0081】

補正した対象者２０の姿勢情報と正解となる体操講師の姿勢情報との類似度を評価することで、体操講師の動作に対する対象者２０の動作の一致度を計算できる。一致度スコアは、２つの姿勢の各部位の差分値の和をＤ、しきい値をＤ０とした場合、以下の式（２）を用いて算出することができる。

【0082】

【数2】

【0083】

なお、OpenPoseで姿勢情報とともに算出される確信度を用いて、確信度が低い情報については一致度スコアに影響しないような処理を加えることなども考えられる。

【0084】

続いて、制御装置１００は、対称性スコアを算出するために、ペアとなる２つの画像を抽出する（ステップＳ１１５）。次に、制御装置１００は、抽出した２つの画像に基づいて対称性スコアを算出する（ステップＳ１１６）。次に、制御装置１００は、一致度スコアと、対称性スコアと、運動強度スコアとから健康スコアを算出する（ステップＳ１１７）。次に、制御装置１００は、評価シートを作成し（ステップＳ１１８）、作成した評価シートを対象者２０の通信装置１２に送信し（ステップＳ１１９）、処理を終える。

【0085】

健康スコアは、一致度スコアと、対称性スコアと、運動強度スコアとを用いた様々な演算手法によって算出することができる。たとえば、一致度スコアと、対称性スコアと、運動強度スコアとのそれぞれを足し合わせることで、健康スコアを算出してもよい。あるいは、それぞれを足し合わせる前に、それぞれに所定の重みづけを施してもよい。
[変形例]
第１実施の形態においては、表情筋センサ１４の検出値に基づいて、対象者の表情を解析するものとした。しかしながら、対象者の表情は、対象者を含む画像から解析してもよい。この場合、図１０のフローチャートのステップＳ１で読み込んだ画像を利用して、ステップＳ４において対象者の表情を解析することが考えられる。画像から表情を解析する際には、画像に基づいて表情を推定する各種のＡＩ技術を採用すればよい。画像に基づいて表情を解析できれば、ステップＳ２において表情筋センサ１４の検出値を取得しなくてもよい。なお、画像と表情筋センサ１４の検出値とを用いて表情を解析してもよい。

【0086】

第２実施の形態では、対象者２０の心拍数に基づいて運動強度を算出した。しかし、第２実施の形態において、対象者２０の心拍数と表情とを組合せて運動強度を算出してもよい。対象者２０の表情は、表情筋センサ１４の検出値に基づいて推定してもよく、フレーム画像から対象者２０の表情を推定してもよい。また、表情に基づいて運動強度を算出してもよい。たとえば、対象者２０が辛い表情を見せた回数に基づいて運動強度を算出することが考えられる。対象者２０が辛い表情を見せた回数と心拍数とに基づいて運動強度を算出してもよい。

【0087】

以上、各実施の形態および変形例に係る身体能力提示方法および身体能力提示装置によれば、対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる情報を提示可能である。

【0088】

［態様］
上記した実施の形態およびその変形例は、以下の態様の具体例であることが当業者により理解される。

【0089】

（第１項）一態様に係る身体能力提示方法は、対象者の身体能力に関する情報を提示する身体能力提示方法であって、対象者を含む画像から対象者の姿勢情報を生成するステップ（ステップＳ２）と、対象者の生体情報を取得するステップ（ステップＳ３）と、姿勢情報に基づいて対象者の姿勢を特定するステップ（ステップＳ４）と、生体情報に基づいて対象者の姿勢に対する対象者の負荷を特定するステップ（ステップＳ５）と、姿勢情報に基づいて特定された対象者の姿勢と、生体情報に基づいて特定された対象者の姿勢に対する対象者の負荷と、を組み合わせて、前記対象者の身体能力に関する特定情報を提示するステップ（ステップＳ１０）とを備える。

【0090】

第１項に記載の身体能力提示方法によれば、対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる。

【0091】

（第２項）第１項に記載の身体能力提示方法において、特定情報は、対象者の身体能力を評価するための基準情報（基準ラインＬｓ）を含む。

【0092】

第２項に記載の身体能力提示方法によれば、基準情報に基づいて対象者の身体能力を評価することができる。

【0093】

（第３項）第２項に記載の身体能力提示方法において、特定情報は、対象者の評価スコア（評価、一致度スコア、対称性スコア、運動強度スコア、健康スコア）を含む。

【0094】

第３項に記載の身体能力提示方法によれば、評価スコアに基づいて対象者の身体能力を評価することができる。

【0095】

（第４項）第１項から第３項のいずれか１項に記載の身体能力提示方法において、姿勢情報を取得するステップは、対象者の動作（関節角度、関節速度、ラジオ体操）から姿勢情報を取得するステップを含む。

【0096】

第４項に記載の身体能力提示方法によれば、対象者の動作に関して、対象者の身体能力を評価することができる。

【0097】

（第５項）第１項から第４項のいずれか１項に記載の身体能力提示方法において、生体情報は、対象者の表情（辛さ）に関する情報である。

【0098】

第５項に記載の身体能力提示方法によれば、対象者の表情から対象者の負荷を特定することができる。

【0099】

（第６項）第５項に記載の身体能力提示方法において、生体情報を取得するステップは、対象者の顔に取り付けた表情筋センサ（表情筋センサ１４）の検出値に基づいて、または、画像に基づいて、対象者の表情に関する情報を取得するステップを含む（ステップＳ５）。

【0100】

第６項に記載の身体能力提示方法によれば、対象者の表情に関する情報を適切に取得することができる。

【0101】

（第７項）第１項から第４項のいずれかに記載の身体能力提示方法において、生体情報は、対象者の心拍に関する情報（心拍数）である。

【0102】

第７項に記載の身体能力提示方法によれば、対象者の心拍からに対象者の負荷を特定することができる。

【0103】

（第８項）第７項に記載の身体能力提示方法において、生体情報を取得するステップは、対象者に取り付けた心拍計（心拍計１５）の計測値に基づいて、または、画像に基づいて、対象者の心拍に関する情報を取得するステップを含む（ステップＳ１０３）。

【0104】

第８項に記載の身体能力提示方法によれば、対象者の心拍を適切に取得することができる。

【0105】

（第９項）第１項から第８項のいずれか１項に記載の身体能力提示方法において、特定情報は、対象者の過去の複数の姿勢情報および生体情報を含む（図８）。

【0106】

第９項に記載の身体能力提示方法によれば、対象者の過去の複数の姿勢情報および生体情報を特定できる。

【0107】

（第１０項）第１項から第６項のいずれか１項に記載の身体能力提示方法において、姿勢情報は、対象者の関節の角度に関する情報（図２、図３）を含む。

【0108】

第１０項に記載の身体能力提示方法によれば、対象者の関節の角度に関する身体能力を評価することができる。

【0109】

（第１１項）第１項から第６項のいずれか１項に記載の身体能力提示方法において、姿勢情報は、対象者の関節の速度に関する情報（図４）を含む。

【0110】

第１１項に記載の身体能力提示方法によれば、対象者の関節の速度に関する身体能力を評価することができる。

【0111】

（第１２項）第１項から第３項のいずれか１項に記載の身体能力提示方法において、姿勢情報は、対象者に対して左右対称の動作を行わせたときに対象者から得られた姿勢情報（図１２：対称性）を含む。

【0112】

第１２項に記載の身体能力提示方法によれば、対象者の左右対称の動作に関する身体能力を評価することができる。

【0113】

（第１３項）他の態様に係る身体能力提示装置は、対象者の身体能力に関する情報を提示する身体能力提示装置（制御装置１００）であって、対象者を含む画像から対象者の姿勢情報を生成する生成部（ステップＳ２）と、対象者の生体情報を取得する取得部（ステップＳ３）と、姿勢情報に基づいて対象者の姿勢を特定する姿勢特定部（ステップＳ４）と、生体情報に基づいて対象者の姿勢に対する対象者の負荷を特定する負荷特定部（ステップＳ５）と、姿勢特定部により特定された姿勢と、負荷特定部により特定された負荷と、を組み合わせて、対象者の身体能力に関する特定情報を提示する提示部（ステップＳ１０）とを備える。

【0114】

第１３項に記載の身体能力提示装置によれば、対象者への負荷を考慮しつつ、対象者の身体能力を適切に評価できる。

【0115】

今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0116】

１０ 家、１２ 通信装置、１３ カメラ、１４ 表情筋センサ、１５ 心拍計、１６ パーソナルコンピュータ、２０ 対象者、３０ インターネット、１００ 制御装置、１０１ プロセッサ、１０２ メモリ、１０３ 通信部、２００ 表示部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】