特開 2023-95114 健康状態評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023095114

(43)【公開日】2023-07-06

(54)【発明の名称】健康状態評価装置

(51)【国際特許分類】

   G16H 20/00 20180101AFI20230629BHJP

【ＦＩ】

G16H20/00

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021210811

(22)【出願日】2021-12-24

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(71)【出願人】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】土井 千章

(72)【発明者】

【氏名】豊岡 継泰

(72)【発明者】

【氏名】檜山 聡

(72)【発明者】

【氏名】佐々木 啓一

(72)【発明者】

【氏名】川島 隆太

(72)【発明者】

【氏名】野内 類

(72)【発明者】

【氏名】小川 徹

(72)【発明者】

【氏名】依田 信裕

(72)【発明者】

【氏名】白石 成

(72)【発明者】

【氏名】日原 大貴

(72)【発明者】

【氏名】阿部 真澄

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA15

(57)【要約】

【課題】対象部位の健康状態をより正確に評価する。
【解決手段】健康状態評価装置１０は、健康状態の評価の対象となる対象者の、対象部位に係る互いに異なる動作を撮像した複数の動画データを取得する動画データ取得部１１と、複数の動画データのそれぞれから動作の状態を示す１以上の状態スコアを算出する状態スコア算出部１３と、状態スコアに基づいて、前記対象部位の健康状態に係る部位別スコアを算出する部位別スコア算出部１４と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

健康状態の評価の対象となる対象者の、対象部位に係る互いに異なる動作を撮像した複数の動画データを取得する動画データ取得部と、
前記複数の動画データのそれぞれから動作の状態を示す１以上の状態スコアを算出する状態スコア算出部と、
前記状態スコアに基づいて、前記対象部位の健康状態に係る部位別スコアを算出する部位別スコア算出部と、
を有する、健康状態評価装置。

【請求項2】

前記状態スコア算出部は、前記複数の動画データのそれぞれから、複数種類の状態スコアを算出し、
前記部位別スコア算出部は、前記複数の動画データのそれぞれから得られた複数種類の状態スコアに基づいて、前記部位別スコアを算出する、請求項１に記載の健康状態評価装置。

【請求項3】

前記動画データは、複数の対象部位に係る動作を撮像したデータであり、
前記部位別スコア算出部は、前記対象部位毎に、前記状態スコアのうち当該対象部位に関連する一部の状態スコアに基づいて、前記部位別スコアを算出する、請求項１または２に記載の健康状態評価装置。

【請求項4】

前記部位別スコア算出部は、前記複数の対象部位に係る前記部位別スコアから、全体スコアを算出する、請求項３に記載の健康状態評価装置。

【請求項5】

前記動画データは、発声動作に係る動画データを含み、
前記状態スコア算出部は、前記動画データに含まれる音声情報から得られる第１状態スコアと、画像情報から得られる第２状態スコアと、を算出する、請求項１～４のいずれか一項に記載の健康状態評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、健康状態評価装置に関する。

【背景技術】

【0002】

高齢者の増加に伴って、身体機能の改善を支援する手法が種々検討されている。例えば、特許文献１では、カメラにより対象ユーザの所定の機能に関する画像データを取得し、この画像データから所定の機能に関連する特徴量を抽出し、この特徴量に基づいた運動プログラムを決定する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－２６６５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の方法では、対象部位の所定の機能に関する評価は行われているが、対象部位の健康状態をより広い観点で評価することについては検討されていない。

【0005】

本開示は、対象部位の健康状態をより正確に評価することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一形態に係る健康状態評価装置は、健康状態の評価の対象となる対象者の、対象部位に係る互いに異なる動作を撮像した複数の動画データを取得する動画データ取得部と、前記複数の動画データのそれぞれから動作の状態を示す１以上の状態スコアを算出する状態スコア算出部と、前記状態スコアに基づいて、前記対象部位の健康状態に係る部位別スコアを算出する部位別スコア算出部と、を有する。

【0007】

上記の健康状態評価装置によれば、互いに異なる動作を撮像した複数の動画データのそれぞれから、動作の状態を示す１以上の状態スコアを算出し、これらの状態スコアに基づいて、対象部位の健康状態に係る部位別スコアが算出される。このように、互いに異なる動作を撮像した複数の動画データから部位別の健康状態を示す部位別スコアが算出されるため、当該部位の特定の動作に着目する場合と比較して、対象部位の健康状態をより多面的に且つ正確に評価することができる。

【発明の効果】

【0008】

本発明によれば、対象部位の健康状態をより正確に評価することが可能な技術が提供される。

【図面の簡単な説明】

【0009】

【図1】図１は、健康状態評価装置を含む健康状態評価システムの概略構成の一例を説明する図である。

【図2】図２は、対象者が行う動作と状態検出部で検出する状態との対応関係の一例を示す図である。

【図3】図３（ａ）、（ｂ）は、状態スコアの算出方法の例を説明する図である。

【図4】図４は、部位別スコアの算出方法の例を説明する図である。

【図5】図５は、健康状態評価装置のハードウェア構成の例を説明する図である。

【図6】図６は、健康状態評価方法の一例を示すフローチャートである。

【図7】図７は、健康状態評価プログラムの構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本開示の実施形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

【0011】

［健康状態評価システム及び健康状態評価装置］
図１は、一実施形態に係る健康状態評価装置１０を含む健康状態評価システム１の概略構成図である。健康状態評価システム１は、対象者Ｘの動作に係る動画像を撮影し、この動画データに基づいて対象者Ｘの対象部位の健康状態を評価するシステムである。本実施形態では、対象者Ｘの対象部位として、「顎口腔系」の健康状態の評価を行う場合について説明する。なお、顎口腔系は、舌、口唇、顎、頬の４つの対象部位を包括したものである。健康状態評価システム１では、上記の４つの部位それぞれについて、健康状態を示すスコアとして、部位別スコアＤを算出すると共に、全部位、すなわち顎口腔系についての健康状態を示すスコアも算出する。

【0012】

健康状態評価システム１は、健康状態評価装置１０及び撮像装置２０を含んで構成される。撮像装置２０は、対象者Ｘの対象部位の動作に係る動画像を撮像する機能を有する。撮像装置２０としては、動画の撮影機能を有している装置であれば限定されず、カメラ、タブレット端末、スマートフォン等の装置を用いることができる。

【0013】

健康状態評価装置１０は、動画データ取得部１１、状態検出部１２、状態スコア算出部１３、部位別スコア算出部１４、結果出力部１５、及び、関連情報保持部１６を含んで構成される。

【0014】

動画データ取得部１１は、対象者Ｘの動作を撮像した複数種類の動画データを撮像装置２０から取得する機能を有する。対象者Ｘの動画データとは、予め対象部位のスコアを算出するために指定された動作を対象者Ｘが行ったものを撮像したデータである。例えば、顎口腔系の健康状態を評価する際に使用する動作としては、例えば、単音の発音を所定期間繰り返し行う発音動作、指定された何種類かの表情を真似る表情動作、舌を指定された向きへ向ける舌運動動作が挙げられる。これらの動作を対象者Ｘに行わせ、その動画を撮像装置２０によって取得する。このとき、撮像装置２０によって音声データを含む動画データを取得し、このデータを健康状態評価装置１０へ送信する。動画データ取得部１１が撮像装置２０から取得した動画データを用いて後段の解析が行われる。

【0015】

状態検出部１２は、動画データ取得部１１において取得された動画データを用いて対象者Ｘの状態を検出する。図２は、動作と状態との関係の一例を示す図である。検出対象となる「状態」とは、指定された動作がどの程度実行できているかを示す指標であり、１つの動作に対応して１又は複数の「状態」が設定され、それぞれについて数値化される。例えば、発音動作については、音声データを解析することによって発音回数、発音のクリアさを指標として用いることができる。音声データの解析方法としては種々の手法を用いることができるが、一例として、機械学習を利用した解析方法が挙げられる。例えば、音声データをスペクトル分析することにより、スペクトログラムを作成し、スペクトログラムについてＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）を用いて特徴量を抽出してもよい。さらに、この特徴量について、ＬＳＴＭ（Long Short-Term Memory）またはＲＮＮ（Recurrent Neural Network：再帰型ニューラルネットワーク）等を用いたモデルを利用して、各状態の発生確率を求めることによって、発音した音、発音回数、発音のクリアさ等に係る情報を得る事ができる。これらの手法は、音声認識の方法で用いられているものであり、これらを適用することで、音声データから発音に係る情報を得ることができる。

【0016】

一方、発音動作の動画データから画像解析を行うことで、顎の動きがどの程度大きいかを数値化し「状態」を示す数値として用いることができる。このような解析の一例として、画像データを用いた状態検出モデルを適用することが挙げられる。例えば、事前にＲｅｓＮｅｔ（Residual Neural Network）を用いて状態が既知のデータを学習させることによって構築した顎の動きを判定する判定系モデルと、口の開き度合いや傾きを計測する計測系モデルとを準備しておき、画像データをこれらのモデルに当てはめることによって、顎の動きを数値化することができる。なお、判定系モデル及び計測モデルを作成する方法は、上述のＲｅｓＮｅｔに限定されず、公知の機械学習手法を用いることができる。

【0017】

同様に、表情動作については、例えば、一の表情を指定された際の運動量と、表情の維持時間とを、画像解析を行うことで状態を示す数値として用いることができる。また、舌運動については、例えば、運動量、指定された向きへ舌を出した状態の維持時間、静止時の口の開き具合などを、動作の状態を示す数値として用いることができる。

【0018】

状態検出部１２では、上記のように、各動作に係る動画データに含まれる各種情報を利用して、動作の状態を示す指標毎に数値化を行う。なお、どのような状態の数値化を行うかは予め定められていてもよく、この情報は関連情報保持部１６において保持されていてもよい。

【0019】

状態スコア算出部１３は、状態検出部１２で検出された指標の数値からスコアを算出する機能を有する。図３は、指標の数値とスコアとの対応例を示している。図３（ａ）では、発音動作において、所定の音の発音回数に応じて状態スコアを算出する例として、例えば、発音回数が１～１０回の場合にはスコアを１点とし、発音回数１１～３０回の場合にはスコアを５点とし、発音回数３１回以上の場合にはスコアを１０点とする例を示している。このように、状態スコア算出部１３は、指標毎の数値をスコアに変換する。

【0020】

図３（ｂ）では、指標（ここでは発音回数）とスコアとの関係が動的に変更する例として、指標の数値分布に応じてスコアの割り当てを変更する例を示している。この例では、対象者の指標の分布に応じて、上位の所定割合（例えば、２５％）の対象者をスコア１０点とすると共に下位の所定割合（例えば、２５％）の対象者をスコア１点とし、その間の対象者のスコアを５点とするというように基準を決め、この割合にスコアが割り振られるように、発音回数の数値とスコアとの関係を調整するというものである。この結果、図３（ｂ）に示す例では、発音回数が１～７回の場合にはスコアを１点とし、発音回数８～１５回の場合にはスコアを５点とし、発音回数１６回以上の場合にはスコアを１０点としている。このように、状態スコア算出部１３においてスコアを算出する場合には、他者との相対的な数値の差がスコアに現われやすいように、指標の数値とスコアとの関係を調整してもよい。なお、スコアの調整方法としては、上記のように多数の対象者の状態に係る数値のバラつきを考慮した調整を行ってもよい。

【0021】

部位別スコア算出部１４は、上記の各動作において得られた状態スコアから対象部位毎の状態スコアを算出する機能を有する。上記で算出したスコアは、各動作における特定の指標に対するスコアであるが、各指標は、舌、口唇、顎、頬のうちの少なくとも１つに関連し得る。例えば、発音動作における発音回数は、舌、口唇及び顎の健康状態と関係すると推定することができる。また、発音動作における発音のクリアさは、舌及び口唇の健康状態と関係すると推定される。さらに、表情動作の運動量は、口唇、顎及び頬の健康状態と関係すると推定される。このように、上述の各動作から算出された状態スコアのうち、対象部位と関係するスコアを組み合わせて、対象部位のスコアを算出する。

【0022】

図４では、部位別スコアの算出例を示している。ここでは、スコアは１００点満点として算出するように設定をしている。例えば、舌に関係する状態スコアとして、発音回数、発音のクリアさ、舌運動量、舌運動維持時間が挙げられているので、対象者におけるこれらの状態スコアを合算し、全ての状態スコアが満点である条件を１００点満点とした際に、どのような点数となるかを、下記の数式（１）を用いて算出している。
（状態スコア合計値／（状態スコア数×１０））×１００…（１）
ここでは、各状態スコアがそれぞれ１０点満点で設定されているとして、状態スコアが満点である条件を、状態スコア数（状態スコアの種類）×１０としている。ただし、部位別の状態スコアの算出時には、例えば、重み付け等を行うことで、所定の状態スコアについては２０点満点というように設定してもよい。この場合、上記数式（１）の（状態スコア数×１０）という部分が適宜変更される。

【0023】

なお、図４に示す口唇についても舌と同様の方法で状態スコアが算出されている。なお、口唇については、発音動作に係る状態スコアのうち、発音回数・発音のクリアさについて、発音した音の種類によって異なるスコアが設定されている。このように、動作をより細分化して状態スコアを設定してもよい。

【0024】

さらに、図４では、合計のスコアも算出している。ここでは、舌、口唇、顎及び頬の部位別スコアの平均値を全部位（顎口腔系）の状態スコアとして算出している。平均値を用いるのは一例であって、部位毎に重み付けを変えることにしてもよい。

【0025】

このように、部位別スコア算出部１４では、試験用の動作から得られた状態スコアを組み合わせることで、対象部位毎に部位別スコアを算出する。なお、部位別スコアを算出する際に、どの動作のどの状態スコアを使用するかは、予め定められている。また、これらの情報は、関連情報保持部１６において保持されていてもよい。

【0026】

結果出力部１５は、部位別スコア算出部１４で算出された部位別スコアを出力する機能を有する。出力先及び出力方法は特に限定されないが、例えば外部装置に対してデータとして出力してもよいし、モニタ等に表示することとしてもよい。

【0027】

関連情報保持部１６は、上記の部位別スコアの算出に使用する各種情報を保持する機能を有する。関連情報保持部１６で保持される情報としては、上述の状態に係る数値の算出方法（例えば画像の解析方法）、状態に係る数値とスコアとの対応関係に係る情報、部位別スコアの算出方法等が挙げられるが、このほかにも健康状態評価装置１０における各処理に使用される情報が保持されていてもよい。

【0028】

［ハードウェア構成］
例えば、上記の健康状態評価装置１０は、コンピュータとして機能してもよい。図５は、本実施形態に係る健康状態評価装置１０のハードウェア構成の一例を示す図である。健康状態評価装置１０は、物理的には、プロセッサＣ１、メモリＣ２、ストレージＣ３、通信装置Ｃ４、入力装置Ｃ５、出力装置Ｃ６、バスＣ７などを含むコンピュータ装置として構成されてもよい。

【0029】

なお、以下の説明で、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。健康状態評価装置１０のハードウェア構成は、図５に示した各装置を１つ又は複数含むように構成されてもよい。また、一部の装置を含まずに構成されてもよい。

【0030】

健康状態評価装置１０における各機能は、プロセッサＣ１、メモリＣ２などのハードウェア上に所定のソフトウェアを読み込ませることにより、プロセッサＣ１が演算を行い、通信装置Ｃ４による通信、メモリＣ２、及びストレージＣ３におけるデータの読み出し及び／又は書き込みを制御することにより実現される。

【0031】

プロセッサＣ１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサＣ１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されてもよい。また、プロセッサＣ１は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成されてもよい。例えば、健康状態評価装置１０の各機能部などは、プロセッサＣ１により実現されてもよい。

【0032】

また、プロセッサＣ１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージＣ３及び／又は通信装置Ｃ４からメモリＣ２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、健康状態評価装置１０の各機能部は、メモリＣ２に格納され、プロセッサＣ１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサＣ１で実行される旨を説明してきたが、２以上のプロセッサＣ１により同時又は逐次に実行されてもよい。プロセッサＣ１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0033】

メモリＣ２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａ ｍｍａｂｌｅ ＲＯＭ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの少なくとも１つで構成されてもよい。メモリＣ２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリＣ２は、本発明の一実施の形態に係る健康状態評価方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0034】

ストレージＣ３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐ ａｃｔ Ｄｉｓｃ ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージＣ３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリＣ２及び／又はストレージＣ３を含むデータベース、サーバその他の適切な媒体であってもよい。

【0035】

通信装置Ｃ４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0036】

入力装置Ｃ５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置Ｃ６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置Ｃ５及び出力装置Ｃ６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0037】

また、プロセッサＣ１やメモリＣ２などの各装置は、情報を通信するためのバスＣ７で接続される。バスＣ７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

【0038】

［健康状態評価方法］
図６を参照しながら、健康状態評価装置１０による健康状態評価方法について説明する。

【0039】

まず、健康状態評価装置１０は、ステップＳ０１を実行する。ステップＳ０１では、動画データ取得部１１が撮像装置２０から動画データを取得する。

【0040】

次に、健康状態評価装置１０は、ステップＳ０２を実行する。ステップＳ０２では、状態検出部１２が、動画データから予め設定された状態に係る検出を行う。この結果、特定の状態の指標となる数値が得られる。上述したように、１つの動画データからは１または複数の状態が検出される。さらに、動画データが複数ある場合、各動画データについて同様の処理が行われる。

【0041】

次に、健康状態評価装置１０は、ステップＳ０３を実行する。ステップＳ０３では、状態スコア算出部１３が、状態検出部１２において検出された状態に係る数値を状態スコアに変換する。この処理は、各状態に関して得られた数値毎に行われる。

【0042】

なお、ステップＳ０２（状態の検出）とステップＳ０３（状態スコアの算出）とは、並行して行われてもよい。例えば、１つの動画データに係る状態を検出した後に当該状態を状態スコアに変換しつつ（Ｓ０３）、他の動画データについて状態を検出する（Ｓ０２）処理を並行して行ってもよい。

【0043】

次に、健康状態評価装置１０は、ステップＳ０４を実行する。ステップＳ０４では、部位別スコア算出部１４が、状態スコア算出部１３で算出された状態スコアを組み合わせて集計することによって部位別スコアを算出する。これにより、部位別の健康状態を示す部位別スコアＤが得られる。なお、この段階で対象となる複数種類の部位全体（上記実施形態の場合には顎口腔系全体）の状態スコアを算出してもよい。

【0044】

最後に、健康状態評価装置１０は、ステップＳ０５を実行する。ステップＳ０５では、結果出力部１５によって、部位別スコア算出部１４において算出された部位別スコアＤが出力される。これにより、健康状態評価装置１０の操作者及び対象者Ｘ等が、結果を確認することができる。

【0045】

［健康状態評価プログラム］
図７に示されるように、健康状態評価プログラムＰ１は、健康状態評価装置１０におけるスコア算出に係る処理を統括的に制御するメインモジュールｍ１０、動画データ取得モジュールｍ１１、状態検出モジュールｍ１２、状態スコア算出モジュールｍ１３、部位別スコア算出モジュールｍ１４、及び、結果出力モジュールｍ１５を備えて構成される。そして、各モジュールｍ１１～ｍ１５により、動画データ取得部１１、状態検出部１２、状態スコア算出部１３、部位別スコア算出部１４、及び結果出力部１５のための各機能が実現される。

【0046】

なお、健康状態評価プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図７に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。

【0047】

［作用］
上記の健康状態評価装置１０では、互いに異なる動作を撮像した複数の動画データのそれぞれから、動作の状態を示す１以上の状態スコアを算出し、これらの状態スコアに基づいて、対象部位の健康状態に係る部位別スコアが算出される。このように、健康状態評価装置１０では、互いに異なる動作を撮像した複数の動画データから部位別の健康状態を示す部位別スコアが算出されるため、当該部位の特定の動作に着目する場合と比較して、対象部位の健康状態をより多面的に評価することができる。

【0048】

従来から、健康状態を評価する方法として、特定の動作ができているか等に基づく評価を行うことが行われていた。また、動作を撮像した動画データに基づいて上記の行うことも検討されていた。しかしながら、特定の動作を行っただけでは、対象者Ｘの対象部位の健康状態をより正確に把握することが難しい場合もある。これに対して、上記の健康状態評価装置１０では、複数の動作に係る動作データから状態スコアを算出し、これらを組み合わせて部位別スコアを算出するため、対象部位の状態をより正確に評価することができる。

【0049】

健康状態評価装置１０の状態スコア算出部１３は、複数の動画データのそれぞれから、複数種類の状態スコアを算出してもよい。また、部位別スコア算出部１４は、複数の動画データのそれぞれから得られた複数種類の状態スコアに基づいて、部位別スコアを算出してもよい。このような構成とした場合、１つの動作を撮像した動画データから複数の状態スコアが得られることから、１つの動作についてもより多くの状態スコアを用いて評価することができる。したがって、対象部位の健康状態をより正確に評価することができる。

【0050】

また、上記実施形態で説明したように、動画データは、複数の対象部位に係る動作を撮像したデータであってもよい。また、部位別スコア算出部１４は、対象部位毎に、状態スコアのうち当該対象部位に関連する一部の状態スコアに基づいて、部位別スコアを算出してもよい。上記の構成とすることで、対象者の複数の対象部位に関して部位別スコアを算出することができる。また、これらの対象部位は同一の動作に係る部位であることから互いの関連も強いため、対象者の複数の対象部位の付近の状態をより俯瞰して把握することができると共に、対象部位同士の部位別スコアの差異等を考慮してより詳細な評価も可能となる。

【0051】

部位別スコア算出部１４は、複数の対象部位に係る部位別スコアから、全体スコアを算出してもよい。このような構成とすることで、対象者の複数の対象部位が含まれる身体部分の健康状態をより俯瞰した情報を得ることができ、特定部位に限らない健康状態の傾向を把握することができる。

【0052】

また、上記実施形態における発音運動を撮像したデータのように、動画データは、発声動作を撮像した動画データを含んでいてもよい。このとき、状態スコア算出部１３は、動画データに含まれる音声情報から得られる第１状態スコア（上記実施形態では、発音回数、発音のクリアさ等）と、画像情報から得られる第２状態スコア（上記実施形態では、顎の動き等）と、を算出してもよい。このような構成とすることで、動画データから音声情報と画像情報とを用いて２つの状態スコアを得ることができ、発声動作に基づく動画データについてより詳細な情報を得ることができる。なお、上記実施形態で説明したように、３つ以上の状態スコアを得る構成としてもよい。また、複数の動画データ全てが音声データを含む動画データである必要はなく、少なくとも１つの動画データが音声データを含んでいる場合、画像解析以外の情報に基づいて状態スコアが算出され、これに基づいて部位別スコアが算出されることから、上述のように、対象部位に係るより詳細な評価を行うことが可能となる。

【0053】

なお、上記実施形態では、顎口腔系を想定して健康状態を評価する場合について説明したが、動画データを用いた健康状態評価装置１０は、顎口腔系以外にも適用が可能である。例えば、顎口腔系と同様に発声に関係する部位として、発声に関係する体内組織が挙げられる。例えば、輪状甲状筋は、声帯をコントロールする筋肉であるため、発音した音声の音質や音程から状態スコアを算出することができる。また、横隔膜は、発声と同時にも行われる呼吸をコントロールする機能を有しているため、発音の回数や横隔膜付近や肩の上がり下がりより状態スコアを算出することができる。さらに、腹筋・背筋等も発声に寄与するため、発音のクリアさや音程、腹部・背中の動きから状態スコアを算出することができる。このように顎口腔系に限らず、発声に関与する部位の評価を行う場合、上記の健康状態評価装置１０と同様に、複数の動画データに基づいた部位別スコアを算出することができる。また、この場合には、動画データの撮像範囲は、口周辺に限らず、例えば、上半身とされる。このように、対象部位に応じて撮像範囲は適宜変更される。

【0054】

［その他］
上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。また、本実施形態で説明した「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。

【0055】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（ｂｒｏａｄｃａｓｔｉｎｇ）、通知（ｎｏｔｉｆｙｉｎｇ）、通信（ｃｏｍｍｕｎｉｃａｔｉｎｇ）、転送（ｆｏｒｗａｒｄｉｎｇ）、構成（ｃｏｎｆｉｇｕｒｉｎｇ）、再構成（ｒｅｃｏｎｆｉｇｕｒｉｎｇ）、割り当て（ａｌｌｏｃａｔｉｎｇ、ｍａｐｐｉｎｇ）、割り振り（ａｓｓｉｇｎｉｎｇ）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（ｔｒａｎｓｍｉｔｔｉｎｇ ｕｎｉｔ）や送信機（ｔｒａｎｓｍｉｔｔｅｒ）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

【0056】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0057】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0058】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Ｂｏｏｌｅａｎ：ｔｒｕｅ又はｆａｌｓｅ）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0059】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0060】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0061】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0062】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0063】

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0064】

本開示で使用する「判断（ｄｅｔｅｒｍｉｎｉｎｇ）」、「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（ｊｕｄｇｉｎｇ）、計算（ｃａｌｃｕｌａｔｉｎｇ）、算出（ｃｏｍｐｕｔｉｎｇ）、処理（ｐｒｏｃｅｓｓｉｎｇ）、導出（ｄｅｒｉｖｉｎｇ）、調査（ｉｎｖｅｓｔｉｇａｔｉｎｇ）、探索（ｌｏｏｋｉｎｇ ｕｐ、ｓｅａｒｃｈ、ｉｎｑｕｉｒｙ）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ａｓｃｅｒｔａｉｎｉｎｇ）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（ｒｅｃｅｉｖｉｎｇ）（例えば、情報を受信すること）、送信（ｔｒａｎｓｍｉｔｔｉｎｇ）（例えば、情報を送信すること）、入力（ｉｎｐｕｔ）、出力（ｏｕｔｐｕｔ）、アクセス（ａｃｃｅｓｓｉｎｇ）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（ｒｅｓｏｌｖｉｎｇ）、選択（ｓｅｌｅｃｔｉｎｇ）、選定（ｃｈｏｏｓｉｎｇ）、確立（ｅｓｔａｂｌｉｓｈｉｎｇ）、比較（ｃｏｍｐａｒｉｎｇ）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（ａｓｓｕｍｉｎｇ）」、「期待する（ｅｘｐｅｃｔｉｎｇ）」、「みなす（ｃｏｎｓｉｄｅｒｉｎｇ）」などで読み替えられてもよい。

【0065】

「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

【0066】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0067】

本開示において、「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。

【0068】

本開示において、例えば、英語でのａ，ａｎ及びｔｈｅのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0069】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【0070】

［付記］
一形態に係る健康状態評価装置は、健康状態の評価の対象となる対象者の、対象部位に係る互いに異なる動作を撮像した複数の動画データを取得する動画データ取得部と、前記複数の動画データのそれぞれから動作の状態を示す１以上の状態スコアを算出する状態スコア算出部と、前記状態スコアに基づいて、前記対象部位の健康状態に係る部位別スコアを算出する部位別スコア算出部と、を有する。

【0071】

上記の健康状態評価装置によれば、互いに異なる動作を撮像した複数の動画データのそれぞれから、動作の状態を示す１以上の状態スコアを算出し、これらの状態スコアに基づいて、対象部位の健康状態に係る部位別スコアが算出される。このように、互いに異なる動作を撮像した複数の動画データから部位別の健康状態を示す部位別スコアが算出されるため、当該部位の特定の動作に着目する場合と比較して、対象部位の健康状態をより多面的に評価することができる。

【0072】

前記状態スコア算出部は、前記複数の動画データのそれぞれから、複数種類の状態スコアを算出し、前記部位別スコア算出部は、前記複数の動画データのそれぞれから得られた複数種類の状態スコアに基づいて、前記部位別スコアを算出する態様であってもよい。

【0073】

上記の構成とすることで、１つの動作を撮像した動画データから複数の状態スコアが得られることから、１つの動作についてもより多くの状態スコアを用いて評価することができる。したがって、対象部位の健康状態をより正確に評価することができる。

【0074】

前記動画データは、複数の対象部位に係る動作を撮像したデータであり、前記部位別スコア算出部は、前記対象部位毎に、前記状態スコアのうち当該対象部位に関連する一部の状態スコアに基づいて、前記部位別スコアを算出する態様であってもよい。

【0075】

上記の構成とすることで、対象者の複数の対象部位に関して部位別スコアを算出することができる。また、これらの対象部位は同一の動作に係る部位であることから互いの関連も強いため、対象者の複数の対象部位の付近の状態をより俯瞰して把握することができると共に、対象部位同士の部位別スコアの差異等を考慮してより詳細な評価も可能となる。

【0076】

前記部位別スコア算出部は、前記複数の対象部位に係る前記部位別スコアから、全体スコアを算出する態様であってもよい。

【0077】

上記の構成とすることで、対象者の複数の対象部位が含まれる身体部分の健康状態をより俯瞰した情報を得ることができ、特定部位に限らない健康状態の傾向を把握することができる。

【0078】

前記動画データは、発声動作を撮像した動画データを含み、前記状態スコア算出部は、前記動画データに含まれる音声情報から得られる第１状態スコアと、画像情報から得られる第２状態スコアと、を算出する態様であってもよい。

【0079】

上記の構成とすることで、動画データから音声情報と画像情報とを用いて２つの状態スコアを得ることができ、発声動作に基づく動画データについてより詳細な情報を得ることができる。

【符号の説明】

【0080】

１…健康状態評価システム、１０…健康状態評価装置、１１…動画データ取得部、１２…状態検出部、１３…状態スコア算出部、１４…部位別スコア算出部、１５…結果出力部、１６…関連情報保持部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】