【文献】
WENCHUAN Wei,Human Action Understanding and Movement Error Identification for the Treatment of Patients with Parkinson's Disease,2018 IEEE International Conference on Healthcare Informatics,2018年 7月26日,pp.180-190,ISSN 2575-2634
【文献】
諸根 理仁,複数台RGB−Dセンサを用いた片麻痺者の状態推定システム−複数台RGB−Dセンサ情報の統合−,ロボティクスメカトロニクス講演会2016講演会論文集,一般社団法人日本機械学会,2016年 6月 8日,1P1-01b2
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0025】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
【0026】
[実施の形態1]
<機能改善支援システムの構成>
図1は、本発明の実施の形態1に係る機能改善支援システムの構成を示す図である。
【0027】
機能改善支援システム1は、要介護者などの対象ユーザ50の機能を改善するためのシステムであり、距離画像センサ10と、機能改善支援装置20と、端末装置40とを備える。
【0028】
距離画像センサ10は、被写体の複数の箇所までの距離を測定することにより、各画素の輝度値が被写体までの距離を示す距離画像を生成する。つまり、距離画像センサ10は、カメラの前面に規則的に配置された複数のLED(Light Emitting Diode)と、レンズとを含むカメラであり、複数のLEDから一斉に照射された光が、被写体で反射され、反射された光(例えば、近赤外光)がレンズによって集光される。この時、LEDが光を出射してからレンズに反射光が到達するまでの時間は被写体の位置により異なる。つまり、被写体がカメラに近いほど反射光の到達時間は短くなり、被写体がカメラから遠いほど反射光の到達時間は長くなる。距離画像センサ10は、到達時間を画素毎に計測することにより、被写体までの距離を画素ごとに出力する。つまり、距離画像センサ10は、被写体までの距離を画素における輝度値で表した距離画像を出力する。
【0029】
機能改善支援装置20は、距離画像センサ10から距離画像を取得する。機能改善支援装置20は、事前に機械学習された学習済みモデルに基づいて、距離画像から、対象ユーザ50の機能についての問題点と、当該問題点を改善するための運動プログラムを決定する。
【0030】
例えば、改善対象の機能は、対象ユーザ50の運動または生活に関連する機能とする。
【0031】
学習済みモデルは、複数のユーザについての距離画像、各ユーザの機能に関する問題点、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、距離画像に対応する問題点および運動プログラムの識別情報(運動プログラム名)を出力するモデルである。
【0032】
つまり、学習済みモデルは、複数のユーザについて、各ユーザの距離画像、各ユーザの問題点、各ユーザの属性、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、対象ユーザ50の距離画像および対象ユーザ50の属性に対応する対象ユーザ50の問題点および運動プログラムの識別情報(運動プログラム名)を出力するモデルである。
【0033】
モデルは、例えば、深層学習(ディープラーニング)により作成することができる。ここで、ユーザの距離画像を入力とし、ユーザの問題点および運動プログラム名を出力とする学習用データを用いて、教師有りの深層学習をすることにより、ユーザの距離画像およびユーザの属性を入力として、問題点および運動プログラム名を出力するモデルを作成することができる。深層学習を行うことにより、モデルをニューラルネットワークで表現することができる。
【0034】
機能改善支援装置20は、決定した問題点および運動プログラムを、ネットワーク2を介して端末装置40に送信する。
【0035】
端末装置40は、例えば、タブレット端末、スマートフォンまたはノートパソコンなどの表示画面を備えるコンピュータ装置である。端末装置40は、例えば、対象ユーザ50の機能改善の手助けを行う介護者、介助者または介護福祉士などが操作する。なお、対象ユーザ50自身が端末装置40を操作してもよい。
【0036】
端末装置40は、機能改善支援装置20から問題点および運動プログラムを受信する。端末装置40は、受信した運動プログラムを表示画面に表示する。これにより、介護者等は対象ユーザ50に問題点を知らせ、問題点を改善するための運動プログラムを実施させたり、対象ユーザ50は自ら問題点を知り、問題点を改善するための運動プログラムを実施したりすることができる。
【0037】
<機能改善支援装置の構成>
図2は、本発明の実施の形態1に係る機能改善支援装置の構成を示すブロック図である。
【0038】
機能改善支援装置20は、距離画像取得部21と、運動プログラム決定部23と、記憶部24と、学習用データ取得部26と、機械学習部27と、ユーザ属性取得部28とを備える。
【0039】
機能改善支援装置20は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、通信インタフェースなどを備える一般的なコンピュータにより実現することができる。例えば、HDDまたはROMに記憶されたコンピュータプログラムがRAMにロードされ、CPU上で実行されることにより、機能改善支援装置20の各処理部21、23および26〜28は、機能的に実現される。ただし、各処理部21、23および26〜28の一部または全部が半導体装置などのハードウェアにより実現されていてもよい。
【0040】
距離画像取得部21は、距離画像センサ10から出力される距離画像を、対象ユーザ50の特徴量として取得する。
【0041】
なお、距離画像取得部21は、距離画像が示す3次元座標に基づいて、所定の距離範囲内にある3次元座標同士に同一のラベルを付けるラベリング処理を施してもよい。距離画像取得部21は、ラベリング処理の結果から、対象ユーザ50の領域を抽出してもよい。例えば、距離画像取得部21は、対象ユーザ50の存在するエリアを予め指定しておくことにより、当該エリア内に存在する最も大きい領域を、対象ユーザ50の領域として抽出してもよい。
【0042】
距離画像取得部21は、取得した距離画像を、対象ユーザ50のユーザIDと対応付けて、ユーザ情報25Aとして記憶部24に記憶させる。
【0043】
ユーザ属性取得部28は、例えば、キーボードや端末装置40などを操作して入力された対象ユーザ50の属性を取得し、記憶部24に記憶されているユーザ情報25Aに追加登録する。属性には、例えば、対象ユーザ50の性別、年齢、体重および身長などの情報が含まれる。
【0044】
運動プログラム決定部23は、記憶部24に記憶されている学習済みモデル25Bに基づいて、距離画像取得部21が取得した距離画像と、ユーザ属性取得部28が取得した対象ユーザ50の属性とから、対象ユーザ50の機能に関連する問題点と、当該問題点を改善するための運動プログラムとを決定する。運動プログラム決定部23は、決定した問題点と、運動プログラムの識別情報である運動プログラム名を、記憶部24に記憶されているユーザ情報25Aに追加登録する。
【0045】
運動プログラム決定部23が決定する問題点には、例えば、寝返りができないこと、立ち上がりができないこと、しゃがみ込みができないことなどの問題点の大分類を示す問題点1と、より詳細な問題点を示す問題点2とがある。例えば、問題点1「寝返りができない」に対する問題点2としては、「首が上がっていない」、「腕が上がっていない」、「肩が上がっていない」、「身体がねじれない」などが含まれる。
【0046】
運動プログラムは、例えば、問題点2ごとに用意されており、首が上がっていないユーザのための首を斜め下方向に倒す頸部屈曲運動、肩が上がっていないユーザのための腹部を動かさずに肩甲骨を動かすリーチ運動、身体がねじれないユーザのための肘を伸ばして腹部を横に倒す立ち直り運動などの各種運動のプログラムを含む。
【0047】
運動プログラム決定部23は、決定した問題点と、決定した運動プログラムの内容または運動プログラム名を、端末装置40に送信するとともに、ユーザ情報25Aに登録する。
【0048】
記憶部24は、HDDまたはフラッシュメモリなどにより構成され、ユーザ情報25Aおよび学習済みモデル25Bを記憶している。
【0049】
図3は、記憶部に記憶されているユーザ情報の一例を示す図である。
ユーザ情報25Aは、ユーザID、性別、年齢、体重、身長、距離画像、問題点1、問題点2および運動プログラム名が対応付けられて記憶されている。
【0050】
例えば、ユーザID「u1」の対象ユーザ50の性別は「男」、年齢は「81」歳、体重は「72」kg、身長は「168」cm、距離画像は「img1」、対象ユーザ50の問題点1は「寝返り」ができないことであり、対象ユーザ50の問題点2は、「首が上がっていない」ことと、「左腕が上がっていないこと」であり、対象ユーザ50の問題点2を改善するために決定された運動プログラムの名称は「p1」である。ユーザID「u2」および「u3」などの対象ユーザ50についても、同様の情報が記憶部24に記憶されている。
【0051】
学習用データ取得部26は、学習済みモデル25Bを再学習するための学習用データを取得する。具体的には、学習用データ取得部26は、記憶部24からユーザ情報25Aを読み出す。
【0052】
例えば、学習用データ取得部26は、
図3に示したユーザID「u1」の対象ユーザ50についてのユーザ情報を、学習用データとして取得する。学習用データ取得部26は、ユーザID「u2」および「u3」等の他の対象ユーザ50についても同様に、ユーザ情報を、学習用データとして取得する。
【0053】
機械学習部27は、学習用データ取得部26が取得した学習用データに基づいて、学習済みモデル25Bをさらに機械学習することにより、学習済みモデル25Bを更新する。機械学習は上述したように、一例として、深層学習を用いることができる。
機械学習部27は、更新後の学習済みモデル25Bを記憶部24に記憶させる。
【0054】
<端末装置の構成>
図4は、本発明の実施の形態1に係る端末装置の構成を示すブロック図である。
端末装置40は、運動プログラム取得部41と、運動プログラム提示部42とを備える。
【0055】
運動プログラム取得部41は、ネットワーク2を介して機能改善支援装置20から、問題点および運動プログラムを取得する。なお、運動プログラム取得部41は、運動プログラムの内容が自身の記憶部に記憶されている場合には、機能改善支援装置20から運動プログラム名を取得し、記憶部から、運動プログラム名に対応する運動プログラムを読み出すことで、運動プログラムを取得してもよい。
【0056】
運動プログラム提示部42は、運動プログラム取得部41が取得した問題点および運動プログラムを表示画面に表示することにより、対象ユーザ50または対象ユーザ50の介護者等に提示する。
【0057】
<運用モード>
図5は、本発明の実施の形態1に係る機能改善支援装置の処理手順の一例を示すフローチャートである。
図5は、対象ユーザ50を撮像した距離画像から対象ユーザ50の運動プログラムを決定する運用モードにおける機能改善支援装置20の処理手順を示す。
【0058】
距離画像取得部21は、距離画像センサ10から出力される距離画像を取得する(S1)。
【0059】
運動プログラム決定部23は、距離画像取得部21が取得した距離画像と、対象ユーザ50の属性(性別、年齢、体重、身長)とを学習済みモデル25Bに入力し、最も確率の高い(機能改善の確率の高い)問題点および運動プログラム名を決定する(S2)。
【0060】
運動プログラム決定部23は、決定した問題点および運動プログラムの内容を端末装置40に送信する(S3)。なお、運動プログラム決定部23は、運動プログラムの内容の代わりに、運動プログラム名を、端末装置40に送信するようにしてもよい。
【0061】
これにより、端末装置40は、機能改善支援装置20から送信された問題点および運動プログラムの内容を受信して、表示することができる。このため、端末装置40を利用する介護者は、対象ユーザ50に対して対象ユーザ50の問題点を知らせるとともに、最も機能改善に効果的な運動プログラムを実行させることができる。
【0062】
<学習モード>
図6は、本発明の実施の形態1に係る機能改善支援装置の処理手順の一例を示すフローチャートである。
図6は、運動プログラムを決定するための学習済みモデルを再学習する学習モードにおける機能改善支援装置20の処理手順を示す。
【0063】
学習用データ取得部26は、記憶部24から、ユーザ情報25Aを読み出すことにより取得する(S11)。
【0064】
機械学習部27は、学習用データ取得部26が取得したユーザ情報25Aを学習用データとして、記憶部24に記憶されている学習済みモデル25Bを再度機械学習する(S13)。
図3に示す例において、機械学習部27は、各ユーザの性別、年齢、体重、身長、距離画像、問題点1、問題点2および運動プログラム名を学習用データとして学習済みモデル25Bを機械学習する。機械学習部27は、機会学習後の学習済みモデル25Bを記憶部24に上書きする。
なお、学習モードの処理は、例えば、所定期間(例えば、1か月)ごとに行われる。
【0065】
<実施の形態1の効果>
以上説明したように、本発明の実施の形態1によると、対象ユーザ50の機能に関連する特徴量を学習済みモデル25Bに入力することにより、当該対象ユーザ50の機能を改善するための運動プログラムを決定することができる。この学習済みモデル25Bは、複数のユーザについての特徴量と、各ユーザの問題点と、各ユーザが実行した運動プログラムとを学習用データとして機械学習することにより得られたモデルである。このため、対象ユーザ50の特徴量および問題点を学習済みモデル25Bに入力することにより、当該対象ユーザ50にとって改善度合いが最も高くなることが期待される運動プログラムが出力される。これにより、要介護者などの対象ユーザ50の機能を効果的に改善するための運動プログラムを決定することができる。また、従来は、リハビリの専門職が、例えば、対象ユーザ50の頸部の屈曲角度や体軸内回旋角度等の運動要素を計測し、計測結果に基づいて運動プログラムを決定していたが、本実施形態によると、このような計測作業も不要となる。
【0066】
より詳細には、距離画像に基づいて問題点が抽出されるとともに、その問題点を改善するための運動プログラムを決定することができる。例えば、起き上がりができない対象ユーザ50であっても、対象ユーザ50間で起き上がりができない度合いに差がある。しかし、この構成では、起き上がりができない複数の対象ユーザ50に対して、同じ運動プログラムを提供するのではなく、対象ユーザ50ごとに起き上がりができない度合いに応じた最も効果的な運動プログラムを決定して、提供することができる。
【0067】
また、対象ユーザ50の距離画像および問題点と、対象ユーザ50に対して提供した運動プログラムとを学習用データとして、学習済みモデル25Bを再学習することができる。これにより、他の対象ユーザ50に対して、さらに、改善度合いの高い効果的な運動プログラムを決定して、提供することができる。
【0068】
[実施の形態1の変形例1]
上述の実施の形態1では、教師有りの機械学習によりモデルの学習を行ったが、強化学習によりモデルの学習を行うことも可能である。
【0069】
例えば、ユーザの距離画像およびユーザの属性を強化学習における状態とし、ユーザの問題点および運動プログラム名を強化学習における行動とし、改善度合いを強化学習における報酬として、強化学習をすることにより、ユーザの距離画像およびユーザの属性を入力として、改善度合いを最大化するような問題点および運動プログラム名を出力するモデルを作成することができる。なお、強化学習を深層強化学習とすることもでき、深層強化学習を行うことにより、モデルをニューラルネットワークで表現することができる。
【0070】
図2に示した機能改善支援装置20の学習用データ取得部26は、記憶部24からユーザ情報25Aを読み出す。また、学習用データ取得部26は、ユーザ情報25Aに示される運動プログラム名の運動プログラムを実行した後の機能の改善度合いを取得する。学習用データ取得部26は、例えば、介護者がキーボードや端末装置40を操作して入力した改善度合いを受け付ける。改善度合いは、例えば、1〜5の5段階で数値化されており、1が最も改善度合いが高く、数値が大きくなるにつれ改善度合いが低くなり、5が最も改善度合いが低いとしてもよい。
【0071】
例えば、学習用データ取得部26は、
図3に示したユーザID「u1」の対象ユーザ50についてのユーザ情報と、ユーザ情報に示される運動プログラム名「p1」を実行した後の当該対象ユーザ50の機能の改善度合いとを、学習用データとして取得する。学習用データ取得部26は、ユーザID「u2」および「u3」等の他の対象ユーザ50についても同様に、ユーザ情報と機能の改善度合いとを、学習用データとして取得する。
【0072】
機械学習部27は、学習用データ取得部26が取得したユーザ情報25Aおよび改善度合いを学習用データとして、記憶部24に記憶されている学習済みモデル25Bを再度機械学習する。
図3に示す例において、機械学習部27は、各ユーザの性別、年齢、体重、身長、距離画像、問題点1、問題点2および運動プログラム名と、当該ユーザの機能の改善度合いとを学習用データとして学習済みモデル25Bを機械学習する。機械学習部27は、機会学習後の学習済みモデル25Bを記憶部24に上書きする。
【0073】
[実施の形態1の変形例2]
また、距離画像センサ10の機能が端末装置40に備えられていてもよいし、距離画像センサ10が端末装置40のアタッチメントとして用意されており、端末装置40に距離画像センサ10を接続して使用してもよい。
【0074】
図7は、機能改善支援システムの他の構成を示す図である。
機能改善支援システム1は、要介護者などの対象ユーザ50の機能を改善するためのシステムであり、距離画像センサ10と、機能改善支援装置20と、端末装置40とを備える。距離画像センサ10は、例えば、小型化されており、端末装置40に接続可能に構成されている。
【0075】
端末装置40は、上述の実施の形態と同様の処理を実行する。それに加え、端末装置40は、距離画像センサ10が生成した距離画像を、ネットワーク2を介して機能改善支援装置20に送信する。
【0076】
機能改善支援装置20は、端末装置40から受信した距離画像に基づいて、上述の実施の形態と同様の処理を行う。
【0077】
[実施の形態2]
実施の形態1では、ユーザの運動または生活に関連する機能の改善について説明した。ただし、改善対象の機能は、これに限定されるものではない。例えば、ユーザの言語または口腔に関連する機能を、改善対象の機能としてもよい。
【0078】
実施の形態2では、ユーザの言語または口腔に関連する機能の改善について説明する。以下では、実施の形態1と異なる点を中心に説明し、同様の点については詳細な説明を繰り返さない。
【0079】
実施の形態2に係る機能改善支援システムは、
図1に示した機能改善支援システム1において、距離画像センサ10が備えられていない。
【0080】
<機能改善支援装置の構成>
図8は、実施の形態2に係る機能改善支援装置の構成を示すブロック図である。
機能改善支援装置20は、
図2に示した実施の形態1に係る機能改善支援装置20の構成において、距離画像取得部21の代わりに回答取得部29および評価取得部30を備える。回答取得部29および評価取得部30は、距離画像取得部21と同様に、CPU上でコンピュータプログラムを実行することにより機能的に実現される。ただし、回答取得部29および評価取得部30が半導体装置などのハードウェアにより実現されていてもよい。
【0081】
回答取得部29は、対象ユーザ50の言語または口腔の質問項目および検査項目に対する回答を、対象ユーザ50の機能に関連する特徴量として取得する。
【0082】
図9は、言語または口腔に対する質問項目、検査項目および回答項目を含む問診票の一例を示す図である。問診票には、質問項目および検査項目と回答の選択肢とが示されている。例えば、項目ID「Q1」〜「Q10」に質問項目および回答の選択肢の組を示し、項目ID「Q11」以降に検査項目および回答の選択肢の組を示す。
【0083】
ここで、質問項目とは、主に対象ユーザ50自身が主観で回答する項目である。ただし、対象ユーザ50による回答が困難な場合には、介護者等が回答してもよい。また、検査項目とは、対象ユーザ50を客観的に観察するための項目であり、観察項目とも呼ばれる。このため、検査項目には、対象ユーザ50自身ではなく、介護者等が回答するのが原則である。
【0084】
例えば、項目ID「Q1」の質問項目「固いものは食べにくいですか」に対する回答として「1.いいえ」と「2.はい」が用意されている。また、項目ID「Q10」の質問項目「お口の健康状態はいかがですか」に対する回答として「1.良い」、「2.やや良い」、「3.普通」、「4.やや悪い」および「5.悪い」が用意されている。
【0085】
また、項目ID「Q11」の検査項目「歯や義歯の汚れ」に対する回答として、「1.なし」、「2.ある」および「3.多い」が用意されている。また、項目ID「Q12」の検査項目「舌の汚れ」に対しては、「1.なし」、「2.ある」および「3.多い」が用意されている。
【0086】
回答取得部29は、
図9に示すような問診票の項目IDおよびその回答の組を、対象ユーザ50ごとに取得する。回答取得部29は、例えば、キーボードや端末装置40などを操作して入力された項目IDおよびその回答の組を、キーボードまたは端末装置40などから取得し、対象ユーザ50のユーザIDと対応付けて、ユーザ情報25Aとして記憶部24に記憶する。
【0087】
評価取得部30は、対象ユーザ50の言語または口腔の評価項目に対する口腔専門職による評価を、対象ユーザ50の機能に関連する特徴量として取得する。
【0088】
図10は、言語または口腔に関する評価項目および当該項目に対する口腔専門職の評価を含む評価書の一例を示す図である。評価書には、評価項目と評価の選択肢とが示されている。
【0089】
ここで、評価項目は、口腔専門職である言語聴覚士、歯科衛生士または看護師が日常的に対象ユーザ50を観察しながら評価を行う項目である。
【0090】
例えば、項目ID「E1」の評価項目「流涎」(よだれが出ているかの評価項目)に対する評価として、「1.なし」、「2.少量」、「3.多量」が用意されている。また、項目ID「E2」の評価項目「頸部屈曲可動域」(首の上下に動く範囲の評価項目)に対する評価として、「1.制限なし」、「2.少し動く」、「3.不動」が用意されている。
【0091】
評価取得部30は、
図10に示すような評価書の項目IDおよびその評価の組を、対象ユーザ50ごとに取得する。評価取得部30は、例えば、キーボードや端末装置40などを操作して入力された項目IDおよびその評価の組を、キーボードまたは端末装置40などから取得し、対象ユーザ50のユーザIDと対応付けて、ユーザ情報25Aとして記憶部24に記憶する。
【0092】
運動プログラム決定部23は、記憶部24に記憶されている学習済みモデル25Bに基づいて、回答取得部29が取得した項目IDおよび回答の組と、評価取得部30が取得した項目IDおよび評価の組とから、対象ユーザ50の機能を改善するための管理指導項目および運動プログラムを決定する。運動プログラム決定部23は、決定した管理指導項目の識別情報である管理指導項目名および運動プログラムの識別情報である運動プログラム名を、記憶部24に記憶されているユーザ情報25Aに追加登録する。管理指導項目には、例えば、口腔機能向上に関する情報提供、口腔掃除の支援などの各種指導項目が含まれる。また、運動プログラムには、例えば、口腔体操、嚥下体操、唾液腺マッサージ、呼吸や飲み込み等の機能訓練などの各種プログラムが含まれる。なお、運動プログラム決定部23が決定する管理指導項目は、上述したような各種指導項目を組み合わせたものであり、運動プログラム決定部23が決定する運動プログラムは、上述したような各種プログラムを組み合わせたものである。
【0093】
運動プログラム決定部23は、決定した管理指導項目の内容および運動プログラムの内容、または管理指導項目名および運動プログラム名を、端末装置40に送信するとともに、ユーザ情報25Aに登録する。
【0094】
記憶部24に記憶されている学習済みモデル25Bは、複数のユーザについて、各ユーザの項目IDおよび回答の組、項目IDおよび評価の組、ユーザの属性、ならびに各ユーザが実行した管理指導項目および運動プログラムを学習用データとして機械学習され、対象ユーザ50の項目IDおよび回答の組と、項目IDおよび評価の組と、対象ユーザ50の属性とに対応する、管理指導項目名および運動プログラム名を出力するモデルである。
【0095】
例えば、モデルは、深層学習を用いて作成することができる。ここで、ユーザの機能に関連する特徴量(項目IDおよび回答の組、項目IDおよび評価の組)と属性とを入力とし、管理指導項目名および運動プログラム名を出力とする学習用データを用いて、教師有りの深層学習をすることによりモデルを作成することができる。深層学習を行うことにより、モデルをニューラルネットワークで表現することができる。
【0096】
図11は、記憶部に記憶されているユーザ情報の一例を示す図である。
ユーザ情報25Aは、ユーザID、性別、年齢、体重、身長、質問項目および検査項目の項目ID、回答、評価項目の項目ID、評価、管理指導項目名および運動プログラム名が対応付けられて記憶されている。
【0097】
例えば、ユーザID「u1」の対象ユーザ50の性別は「男」、年齢は「81」歳、体重は「72」kg、身長は「168」cm、項目ID「Q1」の回答は「1」、項目ID「Q2」の回答は「3」、項目ID「Q3」の回答は「2」、項目ID「E1」の評価は「2」、項目ID「E2」の評価は「3」、項目ID「E3」の評価は「1」、その対象ユーザ50の機能改善のために決定された管理指導項目の名称は「m1」であり、対象ユーザ50の機能改善のために決定された運動プログラムの名称は「t1」である。ユーザID「u2」などの対象ユーザ50についても、同様の情報が記憶部24に記憶されている。
【0098】
学習用データ取得部26は、学習済みモデル25Bを再学習するための学習用データを取得する。例えば、学習用データ取得部26は、
図9に示したユーザID「u1」の対象ユーザ50についてのユーザ情報を、学習用データとして取得する。学習用データ取得部26は、ユーザID「u2」および「u3」等の他の対象ユーザ50についても同様に、ユーザ情報を、学習用データとして取得する。
【0099】
機械学習部27は、学習用データ取得部26が取得した学習用データに基づいて、学習済みモデル25Bをさらに機械学習することにより、学習済みモデル25Bを更新する。機械学習は上述したように、一例として、深層学習を用いることができる。
機械学習部27は、更新後の学習済みモデル25Bを記憶部24に記憶させる。
端末装置40の構成は、実施の形態1と同様である。
【0100】
<運用モード>
図12は、本発明の実施の形態2に係る機能改善支援装置の処理手順の一例を示すフローチャートである。
図12は、対象ユーザ50に対する質問および回答から対象ユーザ50の運動プログラムを決定する運用モードにおける機能改善支援装置20の処理手順を示す。
【0101】
回答取得部29は、対象ユーザ50の言語または口腔の質問項目および検査項目に対する回答を、対象ユーザ50の機能に関連する特徴量として取得する(S21)。つまり、回答取得部29は、
図9に示すような問診票の項目IDおよびその回答の組を取得する。
【0102】
評価取得部30は、対象ユーザ50の言語または口腔の評価項目に対する口腔専門職による評価を、対象ユーザ50の機能に関連する特徴量として取得する(S22)。つまり、評価取得部30は、
図10に示すような評価書の項目IDおよびその評価の組を取得する。
【0103】
運動プログラム決定部23は、回答取得部29が取得した項目IDおよび回答の組と、評価取得部30が取得した項目IDおよび評価の組と、対象ユーザ50の属性(性別、年齢、体重、身長)とを学習済みモデル25Bに入力し、管理指導項目名および運動プログラム名を決定する(S23)。
【0104】
運動プログラム決定部23は、決定した管理指導項目および運動プログラムの内容を端末装置40に送信する(S24)。なお、運動プログラム決定部23は、管理指導項目および運動プログラムの内容の代わりに、管理指導項目名および運動プログラム名を、端末装置40に送信するようにしてもよい。
【0105】
なお、実施の形態2においても、機能改善支援装置20は学習モードにおいて学習済みモデルを再学習する。処理の流れは、重心位置および運動量が、項目IDおよび回答の組ならびに項目IDおよび評価の組に変わった以外は、
図6に示したものと同様である。
【0106】
図13は、端末装置40に送信された管理指導項目および運動プログラムの内容に基づいて作成される口腔機能向上サービスの管理指導計画の一例を示す図である。
【0107】
当該管理指導計画には、対象ユーザ50に実施する管理指導項目と運動プログラムとが示されている。例えば、管理指導項目として、専門職による「口腔機能向上に関する情報提供」が示されている。また、運動プログラムとして、専門職による「口腔体操・嚥下体操」および「唾液腺マッサージ」と、関連職による「口腔体操・嚥下体操」と、本人による家庭での「口腔体操・嚥下体操と」が示されている。
【0108】
<実施の形態2の効果>
以上説明したように、本発明の実施の形態2によると、対象ユーザ50の言語または口腔の質問項目および検査項目に対する回答と、対象ユーザ50の言語または口腔の評価項目に対する口腔専門職による評価とが取得され、取得された回答および評価を学習済みモデル25Bに入力することにより、当該対象ユーザ50の言語または口腔に関連する機能を改善するための管理指導項目および運動プログラムを決定することができる。これにより、例えば、言語障害のある複数の対象ユーザ50に対して、同じ管理指導項目および運動プログラムを提供するのではなく、対象ユーザ50ごとに最も効果的な管理指導項目および運動プログラムを決定して、提供することができる。
【0109】
[実施の形態2の変形例]
上述の実施の形態2では、教師有りの機械学習によりモデルの学習を行ったが、強化学習によりモデルの学習を行うことも可能である。
【0110】
例えば、モデルは、強化学習を用いて作成することができる。ここで、ユーザの機能に関連する特徴量(項目IDおよび回答の組、項目IDおよび評価の組)と属性とを強化学習における状態とし、管理指導項目名および運動プログラム名を強化学習における行動とし、改善度合いを強化学習における報酬として、強化学習をすることによりモデルを作成することができる。なお、強化学習を深層強化学習とすることもでき、深層強化学習を行うことにより、モデルをニューラルネットワークで表現することができる。
【0111】
図2に示した機能改善支援装置20の学習用データ取得部26は、学習済みモデル25Bを再学習するための学習用データを取得する。例えば、学習用データ取得部26は、
図9に示したユーザID「u1」の対象ユーザ50についてのユーザ情報と、ユーザ情報に示される管理指導項目名「m1」の管理指導項目および運動プログラム名「t1」の運動プログラムを実行した後の当該対象ユーザ50の機能の改善度合いとを、学習用データとして取得する。学習用データ取得部26は、ユーザID「u2」および「u3」等の他の対象ユーザ50についても同様に、ユーザ情報と機能の改善度合いとを、学習用データとして取得する。改善度合いは、例えば、1〜5の5段階で数値化されており、1が最も改善度合いが高く、数値が大きくなるにつれ改善度合いが低くなり、5が最も改善度合いが低いとしてもよい。
【0112】
機械学習部27は、学習用データ取得部26が取得した学習用データに基づいて、学習済みモデル25Bをさらに機械学習することにより、学習済みモデル25Bを更新する。機械学習は上述したように、一例として、強化学習または深層強化学習を用いることができる。
機械学習部27は、更新後の学習済みモデル25Bを記憶部24に記憶させる。
【0113】
[付記]
以上、本発明に係る機能改善支援システムについて、実施の形態を説明したが、本発明は、上述の実施の形態に限定されるものではない。
【0114】
例えば、上述の実施の形態1では、対象ユーザ50の重心位置および運動量を特徴量としたが、特徴量はこれに限定されるものではない。例えば、地面から対象ユーザ50の重心までの距離、距離画像センサ10から対象ユーザ50の重心までの距離などを特徴量として用いてもよい。また、対象ユーザ50のより詳細な運動機能に関する情報が得られるのであれば、その情報を特徴量としてもよい。例えば、頸部屈曲角、体軸内回旋の起き上がりに関連する指標や、重心の前方への移動、上下移動または下方移動などの立ち上がりに関連する指標、後方脚を後方へ動かす、または前方脚の膝を曲げるなどのしゃがみ込みに関連する指標などの各種指標の値を、対象ユーザ50の特徴量としてもよい。これらに指標値は、距離画像に基づいて自動的に計算することもできるし、介護者等が機能改善支援装置20に入力するようにしてもよい。また、これらの特徴量を組み合わせて用いてもよい。
【0115】
また、上述の実施の形態2では、対象ユーザ50の言語または口腔に関連する機能を改善するための管理指導計画および運動プログラムを決定したが、例えば、管理指導計画および運動プログラムのいずれか一方を決定するものであってもよい。
【0116】
なお、上述の機能改善支援装置20の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、機能改善支援装置20の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、機能改善支援装置20において、運動プログラム決定部23、記憶部24、学習用データ取得部26および機械学習部27の機能がクラウドサーバにより実現されてもよい。機能改善支援装置20は、クラウドサーバに対して、対象ユーザ50の特徴量および属性を送信することにより、対象ユーザ50の機能改善に最も効果的な運動プログラムまたは運動プログラム名を取得してもよい。
【0117】
また、上記した実施の形態1および2のそれぞれの変形例は、以下の付記1〜4として表すことができる。
【0118】
<付記1>
対象ユーザの機能に関連する特徴量を取得する取得部と、
学習済みモデルに基づいて、取得した前記特徴量から、前記対象ユーザの機能を改善するための運動プログラムを決定する運動プログラム決定部と、を備え、
前記学習済みモデルは、複数のユーザについての機能に関連する特徴量、各ユーザが実行した運動プログラムおよび当該運動プログラム実行後の前記機能の改善度合いを学習用データとして機械学習され、前記特徴量に対応する前記運動プログラムの識別情報を出力するモデルである、機能改善支援装置。
【0119】
<付記2>
前記機能は、ユーザの運動または生活に関連する機能であって、
前記取得部は、前記対象ユーザまでの距離を示す距離画像を前記特徴量として取得し、
前記運動プログラム決定部は、前記学習済みモデルに基づいて、取得した前記特徴量から、前記ユーザの運動または生活に関連する問題点と、当該問題点を改善するための運動プログラムを決定し、
前記学習済みモデルは、複数のユーザについて、各ユーザの前記距離画像、各ユーザの運動または生活に関連する問題点、各ユーザが実行した運動プログラムおよび当該運動プログラム実行後の前記機能の改善度合いを学習用データとして機械学習され、前記特徴量に対応する前記問題点および前記運動プログラムの識別情報を出力するモデルである、付記1に記載の機能改善支援装置。
【0120】
<付記3>
前記機能は、ユーザの言語または口腔に関連する機能であって、
前記取得部は、前記対象ユーザの言語または口腔の質問項目および検査項目に対する回答と、前記対象ユーザの言語または口腔の評価項目に対する口腔専門職による評価とを前記特徴量として取得し、
前記学習済みモデルは、複数のユーザについて、各ユーザの前記言語または口腔の質問項目および検査項目に対する回答、口腔専門職による各ユーザの評価項目に対する評価、各ユーザが実行した管理指導項目および運動プログラム、ならびに当該管理指導項目および当該運動プログラム実行後の前記機能の改善度合いを学習用データとして機械学習され、前記特徴量に対応する前記管理指導項目の識別情報および前記運動プログラムの識別情報を出力するモデルであり、
前記運動プログラム決定部は、前記学習済みモデルに基づいて、取得した前記特徴量から、前記対象ユーザの機能を改善するための管理指導項目および運動プログラムを決定する、付記1に記載の機能改善支援装置。
【0121】
<付記4>
さらに、前記学習済みモデルを機械学習する機械学習部を備え、
前記機械学習部は、さらに、前記運動プログラム決定部が決定した前記運動プログラムを実行した前記対象ユーザの前記特徴量、当該運動プログラムの識別情報および当該運動プログラム実行後の前記機能の改善度合いを学習用データとして前記学習済みモデルを機械学習する、付記1〜付記3のいずれか1項に記載の機能改善支援装置。
【0122】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。