特許 7561357 判定方法、判定装置、及び、判定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-26

(45)【発行日】2024-10-04

(54)【発明の名称】判定方法、判定装置、及び、判定システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240927BHJP

   G06V 40/20 20220101ALI20240927BHJP

【ＦＩ】

G06T7/00 660B

G06V40/20

【請求項の数】 11

(21)【出願番号】P 2023538301

(86)(22)【出願日】2022-05-25

(86)【国際出願番号】 JP2022021370

(87)【国際公開番号】W WO2023007930

(87)【国際公開日】2023-02-02

【審査請求日】2023-12-26

(31)【優先権主張番号】P 2021122906

(32)【優先日】2021-07-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】和田 健吾

(72)【発明者】

【氏名】松村 吉浩

(72)【発明者】

【氏名】相原 貴拓

(72)【発明者】

【氏名】濱塚 太一

(72)【発明者】

【氏名】成瀬 文博

(72)【発明者】

【氏名】南 智恵

(72)【発明者】

【氏名】鈴木 崚太

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１５－１５９９３５（ＪＰ，Ａ）

【文献】特開２００４－３２２２４４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／００２９３０５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する判定方法であって、
対象者に特定の動作を行うように指示する指示ステップと、
前記特定の動作を行う前記対象者を被写体として含む画像を撮影する撮影ステップと、
撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定ステップと、
推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定ステップと、
設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が位置する三次元領域を特定する特定ステップと、
特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定ステップと、
を含む、
判定方法。

【請求項2】

前記判定ステップでは、
特定の動作と、前記特定の動作において手首が位置する三次元領域と、前記特定の動作に対応する日常生活動作とが紐づけられて格納されたデータベースに基づいて、前記特定ステップにより特定された前記三次元領域が前記データベースに格納された前記三次元領域と一致するか否かを判定することにより、前記対象者の日常生活動作の状態を判定する、
請求項１に記載の判定方法。

【請求項3】

前記撮影ステップでは、複数の前記画像から構成される動画像を撮影し、
前記推定ステップでは、前記動画像に基づいて、前記動画像を構成する複数の前記画像のそれぞれにおける前記骨格モデルを推定する、
請求項１に記載の判定方法。

【請求項4】

前記推定ステップでは、
前記画像に基づいて、前記対象者の二次元骨格モデルを推定し、
推定された前記二次元骨格モデルに基づいて、学習済みの機械学習モデルである学習済みモデルを用いて前記対象者の三次元骨格モデルを推定し、
前記設定ステップでは、
前記三次元骨格モデルに基づいて、前記複数の三次元領域を設定する、
請求項１に記載の判定方法。

【請求項5】

前記設定ステップでは、
前記骨格モデルにおける前記複数の骨格点のうち１つの骨格点を基点として前記骨格モデルの周囲に前記複数の三次元領域を設定し、
前記複数の三次元領域は、
前記対象者の側面視において、前記対象者の頭部から脚部に向かう縦方向の軸であって前記基点を通る第１基準軸を挟んで隣接して設けられた前記対象者の背面側の背面領域及び正面側の正面領域と、前記正面側の領域に隣接して前記対象者の前方側に設けられた前方領域とのいずれかの領域に含まれ、
前記背面領域、前記正面領域及び前記前方領域のそれぞれは、前記対象者の正面視において、前記縦方向の軸であって、前記基点を通る第２基準軸を挟んで隣接して設けられた前記対象者の左側領域及び右側領域を含み、
前記左側領域及び前記右側領域のそれぞれは、前記対象者の前記頭部から前記脚部にかけて前記縦方向と直交する横方向に分割された所定の数の領域を含む、
請求項１に記載の判定方法。

【請求項6】

前記第１基準軸は、前記対象者の側面視において、前記対象者の首の骨格点を通る地面への垂線とし、
前記第２基準軸は、前記対象者の正面視において、前記対象者の前記首の骨格点を通る地面への垂線とし、
前記設定ステップでは、
前記対象者の側面視において、前記対象者の肘の骨格点から手の先端までの距離である第１距離を、前記背面領域、前記正面領域及び前記前方領域のそれぞれの幅として設定し、
前記対象者の正面視において、前記対象者の首の骨格点から肩の骨格点までの距離である第２距離の２倍の距離を、前記左側領域及び前記右側領域のそれぞれの幅として設定する、
請求項５に記載の判定方法。

【請求項7】

さらに、
前記判定ステップにより判定された前記対象者の日常生活動作の状態をユーザに提示する提示ステップと、
前記ユーザの操作に関する指示を受け付ける受付ステップと、
を含み、
前記判定ステップでは、前記受付ステップにより受け付けられた前記ユーザの指示に基づいて、前記対象者の日常生活動作の状態に関する情報を抽出し、
前記提示ステップでは、前記判定ステップにより抽出された前記情報を前記ユーザに提示する、
請求項１～６のいずれか１項に記載の判定方法。

【請求項8】

前記日常生活動作の状態に関する情報は、前記特定の動作を行う前記対象者の三次元骨格モデル、前記対象者の身体機能の判定結果、及び、前記対象者に提案する訓練内容の少なくともいずれかを含む、
請求項７に記載の判定方法。

【請求項9】

前記日常生活動作の状態に関する情報は、前記対象者の身体機能を含み、
前記対象者の身体機能は、前記対象者の手の開閉の動作、及び、指の対立の動作の少なくともいずれかの状態に基づいて判定される、
請求項８に記載の判定方法。

【請求項10】

対象者に特定の動作を行うように指示する指示部と、
前記特定の動作を行う前記対象者を被写体として含む画像を撮影するカメラと、
撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、
推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定部と、
設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が含まれる三次元領域を特定する特定部と、
特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、
を備える、
判定装置。

【請求項11】

情報端末と前記情報端末と通信を介して接続されるサーバ装置とを備えるシステムであって、
前記情報端末は、
前記サーバ装置と通信を行う通信部と、
対象者に特定の動作を行うように指示する指示部と、
前記特定の動作を行う前記対象者を被写体として含む画像を撮影するカメラと、
を備え、
前記サーバ装置は、
前記カメラで撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、
推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定部と、
設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が含まれる三次元領域を特定する特定部と、
特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、
を備える、
判定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定方法、判定装置、及び、判定システムに関する。

【背景技術】

【0002】

従来、介護施設では、高齢者が自立して生活できるように訓練（いわゆる、リハビリテーション）を行うサービスがある。リハビリテーションでは、訓練計画を作成する資格を有する介護施設の職員が高齢者の居宅を訪問して、高齢者の身体機能及び日常生活動作（ＡＤＬ：Ａｃｔｉｖｉｔｉｅｓ ｏｆ Ｄａｉｌｙ Ｌｉｖｉｎｇ）の状態を判定し、ＡＤＬの状態に応じた訓練計画を作成する。リハビリテーションは、作成された訓練計画に従って行われる。

【0003】

例えば、特許文献１には、リハビリテーションの評価において、所定の動作を実行する対象者の動作情報を取得し、取得された動作情報を解析して、指定された部位の動きに関する解析値に基づく表示情報を表示する動作情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－０６１５７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術では、リハビリテーションの訓練計画を作成するにあたり、対象者の日常生活動作の状態が正確に判定されていないと、対象者のリハビリテーションを正確に評価することができない。

【0006】

本発明は、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる判定方法、判定装置、及び、判定システムを提供する。

【課題を解決するための手段】

【0007】

本発明の一態様に係る判定方法は、コンピュータが実行する判定方法であって、対象者に特定の動作を行うように指示する指示ステップと、前記特定の動作を行う前記対象者を被写体として含む画像を撮影する撮影ステップと、撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定ステップと、推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定ステップと、設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が含まれる三次元領域を特定する特定ステップと、特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定ステップと、を含む。

【0008】

本発明の一態様に係る判定装置は、対象者に特定の動作を行うように指示する指示部と、前記特定の動作を行う前記対象者を被写体として含む画像を撮影するカメラと、撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定部と、設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が含まれる三次元領域を特定する特定部と、特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、を備える。

【0009】

本発明の一態様に係る判定システムは、情報端末と前記情報端末と通信を介して接続されるサーバ装置とを備えるシステムであって、前記情報端末は、前記サーバ装置と通信を行う通信部と、対象者に特定の動作を行うように指示する指示部と、前記特定の動作を行う前記対象者を被写体として含む画像を撮影するカメラと、を備え、前記サーバ装置は、前記カメラで撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定部と、設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が含まれる三次元領域を特定する特定部と、特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、を備える。

【発明の効果】

【0010】

本発明によれば、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる判定方法、判定装置、及び、判定システムが実現される。

【図面の簡単な説明】

【0011】

【図1】図１は、実施の形態に係る判定システムの機能構成の一例を示すブロック図である。

【図2】図２は、実施の形態に係る判定システムの動作の第１の例を示すフローチャートである。

【図3】図３は、実施の形態に係る判定システムの動作の第２の例を示すフローチャートである。

【図4】図４は、対象者の二次元骨格モデルの推定を概念的に示す図である。

【図5】図５は、三次元骨格モデルの推定を概念的に示す図である。

【図6】図６は、複数の三次元領域の設定を概念的に示す図である。

【図7】図７は、手首が位置する三次元領域の特定を概念的に示す図である。

【図8】図８は、データベースの一例を示す図である。

【図9】図９は、提示情報の一例を示す図である。

【図10】図１０は、提示情報の一例を示す図である。

【図11】図１１は、提示情報の一例を示す図である。

【図12】図１２は、提示情報の他の例を示す図である。

【図13】図１３は、提示情報の他の例を示す図である。

【発明を実施するための形態】

【0012】

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0013】

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。

【0014】

（実施の形態）
［１．構成］
まず、実施の形態に係る判定システムの構成について説明する。図１は、実施の形態に係る判定システムの機能構成の一例を示すブロック図である。

【0015】

判定システム１０は、特定の動作を行う対象者の画像に基づいて推定された骨格モデルの周囲に複数の三次元領域を設定し、設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が含まれる三次元領域を特定し、特定された三次元領域に基づいて対象者の日常生活動作の状態を判定するシステムである。判定方法については後述される。

【0016】

対象者は、例えば、疾患、外傷、高齢化、又は、障害により身体を動かすための能力である身体機能が低下した人である。ユーザは、例えば、理学療法士、作業療法士、看護師、又は、リハビリ専門職員である。

【0017】

図１に示されるように、判定システム１０は、例えば、カメラ２０と、情報端末３０と、サーバ装置４０とを備える。

【0018】

［カメラ］
カメラ２０は、特定の動作を行う対象者を被写体として含む画像（例えば、複数の画像によって構成される動画像）を撮影する。カメラ２０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いたカメラであってもよいし、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサを用いたカメラであってもよい。図１の例では、カメラ２０は、情報端末３０と通信により接続されるカメラであるが、情報端末３０に取り付けられる外付けのカメラであってもよく、情報端末３０に搭載されたカメラであってもよい。

【0019】

［情報端末］
情報端末３０は、対象者に特定の動作を行うように指示し、カメラ２０によって撮影された対象者の画像（より詳細には、画像データ又は画像情報）を取得し、取得された画像をサーバ装置４０に送信する。情報端末３０は、例えば、ユーザによって使用されるスマートフォン又はタブレット端末などの携帯型のコンピュータ装置であるが、パーソナルコンピュータなどの据え置き型のコンピュータ装置であってもよい。情報端末３０は、具体的には、第１通信部３１ａと、第２通信部３１ｂと、制御部３２と、記憶部３３と、受付部３４と、提示部３５と、指示部３６とを備える。

【0020】

第１通信部３１ａは、情報端末３０が局所通信ネットワークを介してカメラ２０と通信を行うための通信回路（言い換えると、通信モジュール）である。第１通信部３１ａは、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。なお、第１通信部３１ａが行う通信の通信規格については特に限定されない。例えば、第１通信部３１ａは、Ｗｉ－Ｆｉ（登録商標）などによりルータ（不図示）を介してカメラ２０と通信してもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）などによりカメラ２０と直接通信してもよい。

【0021】

第２通信部３１ｂは、情報端末３０がインターネットなどの広域通信ネットワーク５を介してサーバ装置４０と通信を行うための通信回路（言い換えると、通信モジュール）である。第２通信部３１ｂは、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。なお、第２通信部３１ｂが行う通信の通信規格については特に限定されない。

【0022】

制御部３２は、受付部３４によって受け付けられた操作入力に基づいて、情報端末３０に関する各種情報処理を行う。制御部３２は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。

【0023】

記憶部３３は、制御部３２が実行するための専用のアプリケーションプログラムなどが記憶される記憶装置である。記憶部３３は、例えば、半導体メモリなどによって実現される。

【0024】

受付部３４は、情報端末３０のユーザ（例えば、リハビリ専門職員など）による操作入力を受け付ける入力インタフェースである。例えば、受付部３４は、判定部４２ｅによる判定における重み付けの条件、判定結果の抽出条件、又は、提示部３５への提示方法などの条件、及び、測定開始又は終了の指示をサーバ装置４０に送信するために行うためのユーザの入力操作を受け付ける。受付部３４は、具体的には、タッチパネルディスプレイなどによって実現される。例えば、受付部３４がタッチパネルディスプレイを搭載している場合は、タッチパネルディスプレイが提示部３５及び受付部３４として機能する。なお、受付部３４は、タッチパネルディスプレイに限らず、例えば、キーボード、ポインティングデバイス（例えばタッチペンもしくはマウス）、又は、ハードウェアボタンなどであってもよい。また、受付部３４は、音声による入力を受け付ける場合、マイクロフォンであってもよい。また、受付部３４は、ジェスチャによる入力を受け付ける場合、カメラであってもよい。

【0025】

提示部３５は、例えば、日常生活動作の状態の判定結果をユーザに提示する。また、提示部３５は、ユーザの指示に基づいて抽出された対象者の日常生活動作の状態に関する情報をユーザに提示する。指示部３６は、例えば、液晶パネル又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどの表示パネル、スピーカ、及び、イヤフォンの少なくともいずれかである。例えば、音声と映像とで指示が行われる場合、提示部３５は、表示パネルとスピーカ又はイヤフォンであってもよいし、表示パネル、スピーカ及びイヤフォンであってもよい。

【0026】

指示部３６は、対象者に特定の動作を行うように指示する。指示部３６は、音声、文字及び映像の少なくとも１つにより対象者に指示してもよい。指示部３６は、例えば、液晶パネル又は有機ＥＬパネルなどの表示パネル、スピーカ、及び、イヤフォンの少なくともいずれかである。例えば、音声と映像とで指示が行われる場合、指示部３６は、表示パネルとスピーカ又はイヤフォンであってもよいし、表示パネル、スピーカ及びイヤフォンであってもよい。

【0027】

なお、指示部３６は、指示の態様によっては、提示部３５として機能してもよく、提示部３５が指示部３６として機能してもよい。つまり、指示部３６は、提示部３５と一体化されてもよい。

【0028】

［サーバ装置］
サーバ装置４０は、情報端末３０から送信された画像を取得し、取得された画像における骨格モデルを推定し、推定された骨格モデルに基づいて対象者の日常生活動作の状態を判定する。サーバ装置４０は、通信部４１と、情報処理部４２と、記憶部４３とを備える。

【0029】

通信部４１は、サーバ装置４０が情報端末３０と通信を行うための通信回路（言い換えると、通信モジュール）である。通信部４１は、広域通信ネットワーク５を介して通信を行うための通信回路（通信モジュール）と、局所通信ネットワークを介して通信を行うための通信回路（通信モジュール）とを備えてもよい。通信部４１は、例えば、無線通信を行う無線通信回路である。なお、通信部４１が行う通信の通信規格については特に限定されない。

【0030】

情報処理部４２は、サーバ装置４０に関する各種情報処理を行う。情報処理部４２は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。情報処理部４２の機能は、例えば、情報処理部４２を構成するマイクロコンピュータまたはプロセッサ等が記憶部４３に記憶されたコンピュータプログラムを実行することによって実現される。具体的には、情報処理部４２は、取得部４２ａと、推定部４２ｂと、特定部４２ｄと、判定部４２ｅと、出力部４２ｆとを備える。

【0031】

取得部４２ａは、情報端末３０から送信された画像（例えば、複数の画像から構成される動画像）、及び、受付部３４により受け付けられたユーザの操作入力を取得する。

【0032】

推定部４２ｂは、取得部４２ａにより取得された画像に基づいて、画像における対象者の骨格モデルを推定する。より具体的には、推定部４２ｂは、複数の画像から構成される動画像に基づいて、動画像を構成する複数の画像のそれぞれにおける骨格モデルを推定する。例えば、推定部４２ｂは、画像に基づいて、対象者の二次元骨格モデルを推定し、推定された二次元骨格モデルに基づいて、学習済みの機械学習モデルである学習済みモデル４４を用いて対象者の三次元骨格モデルを推定する。

【0033】

設定部４２ｃは、推定部４２ｂにより推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する。より具体的には、例えば、設定部４２ｃは、三次元骨格モデルに基づいて、複数の三次元領域を設定する。例えば、設定部４２ｃは、骨格モデルにおける複数の骨格点のうち１つの骨格点を基点として骨格モデルの周囲に複数の三次元領域を設定する。二次元骨格モデル、三次元骨格モデルの推定、及び、複数の三次元領域の設定の詳細については、［２．動作］の［第１の例］で説明するため、ここでの説明を省略する。

【0034】

特定部４２ｄは、設定部４２ｃにより設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が位置する三次元領域を特定する。

【0035】

判定部４２ｅは、特定部４２ｄにより特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する。例えば、判定部４２ｅは、特定の動作と、特定の動作において手首が位置する三次元領域と、特定の動作に対応する日常生活動作とが紐づけられて格納されたデータベース４５に基づいて、特定部４２ｄにより特定された三次元領域がデータベース４５に格納された三次元領域と一致するか否かを判定することにより、対象者の日常生活動作の状態を判定する。

【0036】

出力部４２ｆは、例えば、対象者の日常生活動作の状態の判定結果、及び、対象者の日常生活動作の状態に関する情報の少なくともいずれかを出力する。さらに、出力部４２ｆは、対象者の動画像における三次元骨格モデル、日常生活動作の状態の判定結果に使用された特徴量（例えば、関節可動域などの身体機能のデータ）、対象者の身体機能の判定結果、又は、リハビリ訓練計画などを出力してもよい。

【0037】

記憶部４３は、取得部４２ａによって取得された画像データが蓄積される記憶装置である。記憶部４３には、情報処理部４２が実行するためのコンピュータプログラムなども記憶されている。また、例えば、記憶部４３には、特定の動作と、特定の動作において手首が位置する三次元領域と、特定の動作に対応する日常生活動作とが紐づけられて格納されたデータベース４５と、学習済みの機械学習モデル（学習済みモデル４４）とが記憶されている。記憶部４３は、具体的には、半導体メモリまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などによって実現される。

【0038】

なお、図１の例では、判定システム１０は、複数の装置から構成されるが、単一の装置であってもよい。

【0039】

［２．動作］
続いて、判定システム１０の動作について図面を参照しながら具体的に説明する。

【0040】

［第１の例］
まず、動作の第１の例について図２を参照しながら説明する。図２は、実施の形態に係る判定システム１０の動作の第１の例を示すフローチャートである。図４は、複数の三次元領域の設定を概念的に示す図である。図５は、対象者の二次元骨格モデルの推定を概念的に示す図である。図６は、三次元骨格モデルの推定を概念的に示す図である。

【0041】

図示していないが、判定システム１０は、受付部３４により動作を開始する指示が受け付けられると、カメラ２０により撮影された画像を取得し、取得した画像における対象者を識別する。画像における対象者の識別には、公知の画像解析技術が用いられる。

【0042】

次に、判定システム１０により対象者が識別されると、指示部３６は、対象者に特定の動作を行うように指示する（Ｓ１１）。

【0043】

次に、カメラ２０は、特定の動作を行う対象者を被写体として含む画像を撮影し（Ｓ１２）、撮影された画像（以下、画像データともいう）を情報端末３０に送信する（不図示）。なお、ステップＳ１２では、カメラ２０は、複数の画像から構成される動画像を撮影してもよい。

【0044】

次に、情報端末３０は、カメラ２０から送信された画像データを、第１通信部３１ａを介して取得し（不図示）、取得されたデータを、第２通信部３１ｂを介してサーバ装置４０に送信する（不図示）。このとき、情報端末３０は、画像データを秘匿化してサーバ装置４０に送信してもよい。これにより、対象者のプライバシデータが保護される。

【0045】

次に、サーバ装置４０の推定部４２ｂは、取得部４２ａにより取得された画像（画像データ）に基づいて、画像における対象者の骨格モデルを推定する（Ｓ１３）。なお、取得部４２ａが複数の画像から構成される動画像を取得した場合、推定部４２ｂは、取得された動画像に基づいて、動画像を構成する複数の画像のそれぞれにおける骨格モデルを推定してもよい。

【0046】

例えば、ステップＳ１３では、推定部４２ｂは、画像に基づいて、対象者の二次元骨格モデルを推定し、推定された二次元骨格モデルに基づいて、学習済みの機械学習モデルである学習済みモデル４４を用いて対象者の三次元座標データ（いわゆる三次元骨格モデル）を推定してもよい。

【0047】

図４は、対象者の二次元骨格モデルの推定を概念的に示す図である。図４に示されるように、二次元骨格モデルは、画像に映る対象者１の関節１００の位置（図中の丸）をリンク（図中の線）で結んだモデルである。二次元骨格モデルの推定には、既存の姿勢及び骨格の推定アルゴリズムが用いられる。

【0048】

図５は、三次元骨格モデルの推定を概念的に示す図である。学習済みモデル４４（図中の学習モデル）は、各関節の三次元座標データが既知である二次元骨格モデルを学習データとし、上記三次元座標データを教師データとする機械学習によって予め構築された識別器である。学習済みモデル４４は、二次元骨格モデルを入力として、その三次元座標データ、つまり、三次元骨格モデルを出力することができる。

【0049】

また、例えば、ステップＳ１３では、推定部４２ｂは、取得部４２ａにより取得された画像に基づいて三次元座標データ（三次元骨格モデル）を推定してもよい。この場合、例えば、対象者の画像と三次元座標データとの関係性を示す学習済みモデルが用いられてもよい。

【0050】

次に、設定部４２ｃは、ステップＳ１３で推定部４２ｂにより推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する。より具体的には、例えば、設定部４２ｃは、三次元骨格モデルに基づいて、複数の三次元領域を設定する。例えば、設定部４２ｃは、骨格モデルにおける複数の骨格点のうち１つの骨格点を基点として骨格モデルの周囲に複数の三次元領域を設定する。以下、複数の三次元領域の設定について具体的に説明する。

【0051】

図６は、複数の三次元領域の設定を概念的に示す図である。まず、図６の（ｂ）、図６の（ｄ）及び図６の（ｆ）を参照しながら説明する。図６の（ｂ）、図６の（ｄ）及び図６の（ｆ）に示されるように、複数の三次元領域は、対象者の側面視において、対象者の頭部から脚部に向かう縦方向の軸であって上記基点を通る第１基準軸Ｚ１を挟んで隣接して設けられた対象者の背面側の背面領域Ａ３（図６の（ｆ）参照）及び正面側の正面領域Ａ２（図６の（ｄ）参照）と、正面側の領域に隣接して対象者の前方側に設けられた前方領域Ａ１（図６の（ｂ）参照）とのいずれかの領域に含まれる。また、図６の（ａ）、図６の（ｃ）及び図６の（ｅ）に示されるように、背面領域Ａ３、正面領域Ａ２及び前方領域Ａ１のそれぞれは、対象者の正面視において、縦方向の軸であって、基点を通る第２基準軸Ｚ２を挟んで隣接して設けられた対象者の左側領域Ｂ２及び右側領域Ｂ１を含み、左側領域Ｂ２及び右側領域Ｂ１のそれぞれは、対象者の頭部から脚部にかけて縦方向に分割された所定の数の領域を含む。例えば、図６の（ａ）では、前方領域Ａ１の左側領域Ｂ２及び右側領域Ｂ１のそれぞれは、対象者の頭部から脚部にかけて縦方向と直交する横方向に分割された３つの領域を含む。図６に示されるように、所定の数の領域は、右側領域Ｂ１及び左側領域Ｂ２に対して同じ数含まれるが、背面領域Ａ３、正面領域Ａ２及び前方領域Ａ１のそれぞれにおいて、異なる数含まれてもよい。

【0052】

また、例えば、第１基準軸Ｚ１は、対象者の側面視において、対象者の首の骨格点を通る地面への垂線として設定され、第２基準軸Ｚ２は、対象者の正面視において、対象者の首の骨格点を通る地面への垂線として設定されてもよい。この場合、設定部４２ｃは、例えば、図６の（ｂ）、図６の（ｄ）及び図６の（ｆ）に示されるように、対象者の側面視において、対象者の肘の骨格点から手の先端までの距離である第１距離Ｌ１を、背面領域Ａ３、正面領域Ａ２及び前方領域Ａ１のそれぞれの幅Ｗ１として設定し、例えば、図６の（ａ）、図６の（ｃ）及び図６の（ｅ）に示されるように、対象者の正面視において、対象者の首の骨格点から肩の骨格点までの第２距離Ｌ２の２倍の距離を、左側領域Ｂ２及び右側領域Ｂ１のそれぞれの幅Ｗ２として設定してもよい。なお、上記の基点及び幅の設定は一例であり、これに限られない。

【0053】

再び図２を参照する。ステップＳ１４で設定部４２ｃにより骨格モデルの周囲に複数の三次元領域が設定されると、特定部４２ｄは、設定部４２ｃにより設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が位置する三次元領域を特定する（Ｓ１５）。図７は、手首が位置する三次元領域の特定を概念的に示す図である。特定部４２ｄは、画像における対象者の三次元座標データ（いわゆる、三次元骨格モデル）に基づいて、対象者の手首の骨格点の座標が複数の三次元領域のうちのいずれの領域に位置する（言い換えると、含まれる）かを特定する。特定された三次元領域は、図７に示される網掛けが付された領域である。

【0054】

次に、判定部４２ｅは、ステップＳ１５で特定部４２ｄにより特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する（Ｓ１６）。例えば、判定部４２ｅは、判定部４２ｅは、特定の動作と、特定の動作において手首が位置する三次元領域と、特定の動作に対応する日常生活動作とが紐づけられて格納されたデータベース４５を参照して、特定部４２ｄにより特定された三次元領域がデータベース４５に特定の動作と紐づけて格納された三次元領域と一致するか否かを判定することにより、対象者の日常生活動作の状態を判定してもよい。

【0055】

図８は、データベース４５の一例を示す図である。図８に示されるように、データベース４５は、特定の動作と、特定の動作において対象者の手首が位置する三次元領域と、日常生活動作（ＡＤＬ）とが紐づけられて格納されている。例えば、特定の動作がバンザイである場合、特定の動作において対象者の手首が位置する三次元領域が図６に示されるＤ２－２（右手首が位置する領域）及びＧ２－２（左手首が位置する領域）であれば、食事、整容（洗顔、髭剃り、メイク）、及び、洗濯などの日常生活動作が可能であると判定される。

【0056】

なお、判定システム１０は、ステップＳ１１～ステップＳ１６の処理を１ループ処理として、対象者が複数の特定の動作のそれぞれを行う度に実行してもよいし、ステップＳ１１及びステップＳ１２の処理を複数の特定の動作のそれぞれについて実行し、対象者がすべての特定の動作を終了してから、複数の特定の動作のそれぞれについてステップＳ１３～ステップＳ１６の処理を行ってもよい。

【0057】

以上のように、本実施の形態に係る判定システム１０では、特定の動作を行う対象者を被写体として含む画像における骨格モデルを推定し、推定された骨格モデルの周囲に複数の三次元領域を設定し、複数の三次元領域のうちいずれの領域に対象者の手首が位置するかを特定することにより、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる。

【0058】

［第１の例の変形例１］
第１の例では、対象者に特定の動作を行うように指示する際に、対象者の身体機能に応じて特定の動作を選定していないが、第１の例の変形例では、特定の動作の指示を行う前に、対象者の身体機能に応じて対象者に行わせる動作を選定してもよい。

【0059】

例えば、図２のステップＳ１１の前に、座位の姿勢から立ち上がる動作を行うように対象者に指示をしてもよい。このとき、判定システム１０はカメラ２０により撮影された対象者の画像に基づいて対象者が立ち上がる動作をできるか否かを判定してもよいし、ユーザの指示により判定してもよい。当該判定は、判定部４２ｅにより行われてもよい。画像に基づく判定は、例えば、画像における対象者の骨格モデルを推定して行われてもよい。ユーザの指示は、例えば、ジェスチャであってもよいし、音声であってもよし、タッチパネル又はリモコンのボタンなどの操作により入力されてもよい。ジェスチャは、例えば、対象者が立ち上がる動作をできない場合、片手を左右に振る、首を左右に振る、又は、両腕を交差させてバツの形を取るであってもよいし、対象者が立ち上がる動作をできる場合、首を縦に振る、親指を立てる、又は、両手で丸の形を取るであってもよい。また、音声は、例えば、「ノー」又は「イエス」などの短い言葉を発するであってもよい。

【0060】

以上のように、対象者の身体機能に応じて特定の動作を選定することにより、対象者の日常生活動作の状態を効率よく、かつ、正確に判定することができる。

【0061】

［第１の例の変形例２］
第１の例及び第１の例の変形例１では、判定システム１０は、特定の動作を行う対象者の三次元骨格モデルに基づいて複数の三次元領域を設定し、特定の動作において対象者の手首が位置する三次元領域を特定することにより、対象者の日常生活動作の状態を判定した。第１の例の変形例２では、さらに、対象者の指の動きを伴う動作（例えば、手の開閉（グーパー）、指の対立（ＯＫサイン）など）の可否を判定することにより、対象者の日常生活動作の状態を判定する。

【0062】

例えば、情報端末３０の受付部３４が指の動きを伴う動作の可否判定の指示を受け付けると、制御部３２は指示部３６に指の動きを伴う動作を行うように指示させる。

【0063】

情報端末３０は、カメラ２０で撮影された指の動きを伴う動作を行う対象者を被写体として含む画像を取得すると、受付部３４により受け付けられた指示と、カメラ２０により撮影された画像（具体的には、画像データ）とをサーバ装置４０に送信する。

【0064】

サーバ装置４０の判定部４２ｅは、例えば、学習済みモデル４４と異なる他の学習済みモデル（不図示）を用いて、画像においてグー及びパーが識別された場合に、手の開閉の動作が可能であると判定してもよい。また、判定部４２ｅは、他の学習済みモデルを用いて、画像において人差し指の先と親指の先とがくっついているか否か、人差し指と親指との間の空間の形状及び大きさを識別して、指の対立の動作が可能であるか否かを判定してもよい。

【0065】

以上のように、対象者の指の動きを伴う動作の可否を判定することにより、例えば、対象者が物を把持できるか否かを判定することができるため、対象者の日常生活動作の状態をより精度よく判定することができる。

【0066】

［第１の例の変形例３］
第１の例の変形例３では、推定部４２ｂにより推定された骨格モデルに基づいて、特定の動作における対象者の骨格の動きの特徴を示す特徴量を導出し、特徴量に基づいて、対象者の身体動作を行うための能力である身体機能を判定する。

【0067】

図４を再び参照する。例えば、判定部４２ｅは、推定部４２ｂにより推定された骨格モデルに基づいて、所定の関節１００を介して繋がり、かつ、対象者１における２つの非関節部位１０１の位置を導出し、導出した２つの非関節部位１０１の位置を結ぶ直線に基づいて、特徴量として、所定の関節１００の屈曲、伸展、外転、内転、外旋、及び、内旋の少なくともいずれかに関わる関節角度（不図示）を導出する。例えば、肘関節の屈曲に関わる関節角度は、二次元骨格モデルに基づいて推定される三次元座標データ（三次元骨格モデル）に基づいて導出される。判定部４２ｅは、例えば、特定の動作における肘関節の屈曲に関わる関節角度の範囲と、身体機能の判定結果とが対応付けられて格納されたデータベース（不図示）に基づいて、対象者の身体機能を判定してもよい。データベースには、関節角度だけでなく、以下の特徴量についても、同様に、身体機能の判定結果が紐づけられて格納されてもよい。

【0068】

例えば、判定部４２ｅは、特定の動作における所定の関節１００と末端部位との距離、所定の関節１００の位置の変動幅などを導出して、それらの値が閾値以上であるか否か、又は、所定の範囲内であるか否かを判定してもよい。

【0069】

また、例えば、判定部４２ｅは、所定の関節１００又は末端部位（例えば、手の先）の位置の変動及び変動幅を導出することにより、特定の動作を行う際の対象者１の身体のふらつきの有無を判定してもよい。

【0070】

以上のように、対象者の骨格モデルに基づいて、特定の動作における対象者の骨格の動きの特徴を示す特徴量を導出し、導出された特徴量に基づいて対象者の身体機能を判定することにより、日常生活動作の状態だけでなく、筋力などの身体機能を把握することができる。これにより、例えば、日常生活動作に問題がない対象者に対して、筋力などの身体機能に基づいて身体機能の維持又は向上のために必要な訓練計画を提供することができる。

【0071】

［第２の例］
次に、動作の第２の例について図３を参照しながら説明する。図３は、実施の形態に係る判定システム１０の動作の第２の例を示すフローチャートである。第２の例では、第１の例で判定された対象者の日常生活動作の状態から、ユーザの指示に基づいて抽出された日常生活動作の状態に関する情報を提示する例について説明する。

【0072】

図示していないが、図２に示される処理フローが終了すると、判定部４２ｅは、対象者の日常生活動作の状態（以下、判定結果ともいう）を出力部４２ｆに出力する。出力部４２ｆは、取得した判定結果を、通信部４１を介して情報端末３０に出力する。このとき、出力される判定結果は、情報処理部４２で秘匿化されてもよい。

【0073】

次に、情報端末３０がサーバ装置４０から判定結果を取得すると、提示部３５は、取得された日常生活動作の状態の判定結果を提示する（Ｓ２１）。ステップＳ２１では、対象者が複数の特定の動作を行った場合、それらの特定の動作のそれぞれに紐づけられた日常生活動作の状態の判定結果が提示されてよいし、判定結果が悪かったもののみ提示されてもよい。これらの判定結果は結果が劣る順に提示されてもよい。

【0074】

次に、受付部３４は、ユーザからの指示を受け付ける（Ｓ２２）。ユーザの指示は、判定結果から所定の条件で所期の情報を抽出する抽出条件の指定であってもよく、判定結果の提示方法の指定であってもよく、抽出条件及び提示方法の指定であってもよい。所期の情報は、例えば、特定の動作を行う対象者を被写体として含む画像における三次元骨格モデル、手本となる画像における三次元骨格モデル、又は、身体機能の状態などであってもよい。また、提示方法は、例えば、文字を含む画像情報のみの提示、又は、画像情報及び音声情報による提示などである。

【0075】

次に、情報端末３０は、ステップＳ２２で受付部３４により受け付けられたユーザの指示をサーバ装置４０に送信する（不図示）。サーバ装置４０の判定部４２ｅは、情報端末３０からユーザの指示を取得すると、ユーザの指示に基づいて、日常生活動作の状態に関する情報を抽出する（Ｓ２３）。例えば、ユーザの指示が移乗に関する日常生活動作に重み付けをする抽出条件の指定である場合、複数の特定の動作に対応する日常生活動作のうち移乗に関する日常生活動作の状態の判定結果が優先的に抽出される。サーバ装置４０の出力部４２ｆは、ステップＳ２３で判定部４２ｅにより抽出された日常生活動作に関する情報（以下、抽出された情報、又は、抽出結果ともいう）を情報端末３０に出力する（不図示）。日常生活動作の状態に関する情報は、例えば、特定の動作を行う対象者の三次元骨格モデル、対象者の身体機能の判定結果、及び、対象者に提案する訓練内容の少なくともいずれかを含む。日常生活動作の状態に関する情報は、対象者の身体機能を含み、対象者の身体機能は、例えば、対象者の手の開閉（グーパー）の動作、及び、指の対立（ＯＫサイン）の動作の少なくともいずれかの状態に基づいて判定される。

【0076】

次に、情報端末３０がサーバ装置４０から抽出結果を取得すると、提示部３５は、ステップＳ２３で抽出された日常生活動作に関する情報をユーザに提示する（Ｓ２４）。

【0077】

なお、第２の例では、対象者の日常生活の状態の判定結果が提示されてから、ユーザの指示により判定結果から所定の条件で抽出された日常生活動作の状態に関する情報を提示するが、ユーザは判定結果の提示の前に、抽出条件などの指示を入力してもよい。このとき、例えば、判定システム１０は、判定結果の提示の前に、例えば、判定が終了したことをユーザに通知してもよい。これにより、判定結果からユーザが所望する情報を抽出してユーザに提示することができる。

【0078】

［第２の例の変形例１］
次に、第２の例の変形例１について図９、図１０及び図１１を参照しながら説明する。図９は、背中タッチの動作における日常生活動作の状態の判定の一例を示す図である。図９～図１１は、提示情報の一例を示す図である。以下では、図２及び図３で説明した内容については説明を省略又は簡略化する。

【0079】

第２の例では、日常生活動作の状態の判定結果をユーザに提示したが、第２の例の変形例では、日常生活動作の判定を行いながら、ユーザに判定結果及び日常生活動作の状態に関する情報をユーザに提示する。

【0080】

例えば、情報端末３０の受付部３４が判定と並行して提示する指示を受け付けると、情報端末３０は、当該指示をサーバ装置４０に送信する。

【0081】

サーバ装置４０が当該指示を取得すると、情報処理部４２は、提示部３５に提示させる提示情報を情報端末３０へ出力する。

【0082】

情報端末３０が提示情報を取得すると、提示部３５は、提示情報を提示し、指示部３６は対象者に特定の動作を行うように指示する（図２のステップＳ１１）。当該指示は、例えば、「両手を背中の後ろで組んだまま上にあげてください」などの音声を出力することで行われてもよい。

【0083】

図９～図１１のそれぞれにおいて、（ａ）はカメラ２０で撮影された画像（ここでは、動画像）における二次元骨格モデルが示されており、（ｂ）は、三次元骨格モデルと複数の三次元領域とが示されており、（ｃ）は、特定の動作に対応する日常生活動作（ＡＤＬ）とその判定結果とが示されている。

【0084】

カメラ２０は、特定の動作を行う対象者を被写体として含む画像（ここでは、動画像）を撮影し（図２のＳ１２）、推定部４２ｂは、撮影された動画像に基づいて、対象者の骨格モデルを推定する（Ｓ１３）。第２の例の変形例１では、ステップＳ１３の処理と並行して、図３のステップＳ２３の処理が行われる。例えば、ステップＳ１３で二次元骨格モデル及び三次元骨格モデルが推定されると、これらの骨格モデルが提示部３５に提示される。

【0085】

次に、設定部４２ｃは、須千栄された骨格モデルにおける複数の骨格点（図中の丸）の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する（図２のＳ１４）。第２の例の変形例１では、ステップＳ１４の処理と並行して、図３のステップＳ２３の処理が行われる。例えば、ステップＳ１４で複数の三次元領域が設定されると、図９～図１１の（ｂ）に示されるように、三次元骨格モデルの周囲に複数の三次元領域が表示された画像が提示部３５に提示される。

【0086】

次に、特定部４２ｄは、設定部４２ｃにより設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が位置する三次元領域を特定し（図２のＳ１５）、判定部４２ｅは、ステップＳ１５で特定部４２ｄにより特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する（図２のＳ１６）。第２の例の変形例１では、ステップＳ１５及びステップＳ１６の処理と並行して、図３のステップＳ２１及びステップＳ２３の処理が行われる。例えば、ステップＳ１５で複数の三次元領域が設定されると、図９の（ｂ）に示されるように複数の三次元領域のうち対象者の手首が位置する三次元領域をマークアップした画像が提示部３５に提示される。なお、図１０の（ｂ）及び図１１の（ｂ）に示されるように、対象者の手首の位置の移動軌跡がわかるように、手首が通過した三次元領域もマークアップされてもよい。また、図９～図１１の（ｂ）に示されるように、見やすさの観点から、片方の手首が位置する三次元領域のみがマークアップされてもよいし、両方の手首のそれぞれが位置する三次元領域がマークアップされてもよい。また、例えば、ステップＳ１６で対象者の日常生活動作の状態が判定されると、図９～図１１の（ｃ）に示されるように、特定の動作に対応付けられた日常生活動作（ＡＤＬ）と、日常生活動作の状態の判定結果とが提示される。図９の（ｃ）及び図１０の（ｃ）では、特定の動作が背中タッチである場合に、当該特定の動作において手首が位置する領域（三次元領域Ｅ３－１及びＨ３－１）（図６及び図８参照）に対象者の手首が位置していないため、上着を脱ぐなどの着衣に関する日常生活動作の状態は、不可能と判定され、当該判定結果が提示部３５に表示される。一方、図１１の（ｃ）では、特定の動作において手首が位置する領域に対象者の手首が位置しているため、上着を脱ぐなどの着衣に関する日常生活動作の状態は、可能であると判定され、当該判定結果が提示部３５に表示される。

【0087】

なお、提示部３５は、上記の提示情報のうち判定結果を音声で出力してもよい。図１２及び図１３は、提示情報の他の例を示す図である。図１２及び図１３についても、（ａ）は、カメラ２０で撮影された画像（ここでは、動画像）における二次元骨格モデルが示されており、（ｂ）は、三次元骨格モデルと複数の三次元領域とが示されている。

【0088】

図１２では、特定の動作は、バンザイであり、当該特定の動作における手首が位置する領域（三次元領域Ｄ２－２及びＧ２－２）（図６及び図８参照）に対象者の手首が位置するため、食事、整容（洗顔、髭剃り、メイク）、洗濯などに関する日常生活動作の状態は、可能であると判定され、当該判定結果がユーザに音声で提示される。

【0089】

図１３では、特定の動作は、頭後ろタッチであり、当該特定の動作における手首が位置する領域（三次元領域Ｄ３及びＧ３）（図６及び図８参照）に対象者の手首が位置するため、洗髪などに関する日常生活動作の状態は、可能であると判定され、当該判定結果がユーザに音声で提示される。

【0090】

なお、図１２及び図１３に示されるように、複数の三次元領域のうち首の骨格点よりも上側（つまり、頭側）の領域は、顔の向き及び首の傾きに応じて設定される。これにより、例えば、代償動作の有無を含めて日常生活動作の状態を判定することができる。

【0091】

［第２の例の変形例２］
第２の例の変形例２では、日常生活動作の状態の判定結果及び日常生活動作に関する情報に加えて、リハビリテーションの訓練計画を生成し、ユーザに提示する。具体的には、サーバ装置４０の情報処理部４２は、対象者の日常生活動作の状態の判定結果に基づいて、リハビリテーションの訓練計画を作成する。このとき、例えば、情報処理部４２は、日常生活動作の状態の判定結果に加えて、対象者の身体機能の判定結果に基づいて、リハビリテーションの訓練計画を作成してもよい。

【0092】

例えば、情報処理部４２は、複数の特定の動作に基づく判定結果のうち不可能と判定された日常生活動作がある場合、当該日常生活動作を可能にするための訓練計画を生成してもよい。また、例えば、情報処理部４２は、複数の特定の動作に基づく判定結果が全て可能と判定された場合でも、それらの判定結果のうち結果が劣る日常生活動作を選択して、対象者が当該日常生活動作をよりスムーズに行えるように身体機能を高める又は維持する訓練計画を作成してもよい。また、例えば、情報処理部４２は、上記の判定結果に加えて、対象者の身体機能の判定結果に基づいて、例えば物を把持するための身体機能を高める又は維持するの訓練などを追加してもよい。

【0093】

［３．効果等］
以上説明したように、判定方法は、コンピュータが実行する判定方法であって、対象者に特定の動作を行うように指示する指示ステップ（図２のＳ１１）と、特定の動作を行う対象者を被写体として含む画像を撮影する撮影ステップ（Ｓ１２）と、撮影された画像に基づいて、画像における対象者の骨格モデルを推定する推定ステップ（Ｓ１３）と、推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する設定ステップ（Ｓ１４）と、設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が位置する三次元領域を特定する特定ステップ（Ｓ１５）と、特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する判定ステップ（Ｓ１６）と、を含む。

【0094】

このような判定方法は、骨格モデルの周囲に設定された複数の三次元領域のうち、特定の動作における対象者の手首の骨格点が位置する三次元領域を特定することにより、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる。

【0095】

また、例えば、判定方法は、判定ステップ（Ｓ１６）では、特定の動作と、特定の動作において手首が位置する三次元領域と、特定の動作に対応する日常生活動作とが紐づけられて格納されたデータベース４５に基づいて、特定ステップ（Ｓ１５）により特定された三次元領域がデータベース４５に格納された三次元領域と一致するか否かを判定することにより、対象者の日常生活動作の状態を判定する。

【0096】

このような判定方法は、特定の動作を行う対象者の手首の骨格点が位置する三次元領域がデータベース４５に特定の動作に対応付けて格納された三次元領域と一致するか否かを判定することにより、簡便に、対象者の日常生活動作の状態を判定することができる。

【0097】

また、例えば、判定方法は、撮影ステップ（Ｓ１２）では、複数の画像から構成される動画像を撮影し、推定ステップ（Ｓ１３）では、動画像に基づいて、動画像を構成する複数の画像のそれぞれにおける骨格モデルを推定する。

【0098】

このような判定方法は、特定の動作を行う対象者が被写体として含まれる動画像における骨格モデルに基づいて、特定の動作を行う対象者の動きに対応する骨格モデルを推定することができるため、対象者の動きに応じて複数の三次元領域を設定することができる。

【0099】

また、例えば、判定方法は、推定ステップでは、画像に基づいて、対象者の二次元骨格モデルを推定し、推定された二次元骨格モデルに基づいて、学習済みの機械学習モデルである学習済みモデルを用いて対象者の三次元骨格モデルを推定し、設定ステップでは、三次元骨格モデルに基づいて、複数の三次元領域を設定する。

【0100】

このような判定方法は、画像における二次元骨格モデルを入力として学習済みモデルを用いて三次元骨格モデルを推定することができるため、１台のカメラ２０から得られる画像（又は動画像）に基づいて、対象者の日常生活動作の状態を判定することができる。

【0101】

また、例えば、判定方法は、設定ステップ（Ｓ１４）では、骨格モデルにおける複数の骨格点のうち１つの骨格点を基点として骨格モデルの周囲に複数の三次元領域を設定し、複数の三次元領域は、対象者の側面視において、対象者の頭部から脚部に向かう縦方向の軸であって基点を通る第１基準軸Ｚ１を挟んで隣接して設けられた対象者の背面側の背面領域Ａ３及び正面側の正面領域Ａ２と、正面側の領域に隣接して対象者の前方側に設けられた前方領域Ａ１とのいずれかの領域に含まれ、背面領域Ａ３、正面領域Ａ２及び前方領域Ａ１のそれぞれは、対象者の正面視において、縦方向の軸であって、基点を通る第２基準軸Ｚ２を挟んで隣接して設けられた対象者の左側領域Ｂ２及び右側領域Ｂ１を含み、左側領域Ｂ２及び右側領域Ｂ１のそれぞれは、対象者の頭部から脚部にかけて縦方向と直交する横方向に分割された所定の数の領域を含む。

【0102】

このような判定方法は、対象者の日常生活動作に応じて、特定の動作における対象者の手首が位置する三次元領域の大きさ及び位置が設定されているため、より精度良く対象者の日常生活動作の状態を判定することができる。

【0103】

また、例えば、判定方法は、第１基準軸Ｚ１は、対象者の側面視において、対象者の首の骨格点を通る地面への垂線とし、第２基準軸Ｚ２は、対象者の正面視において、対象者の首の骨格点を通る地面への垂線とし、設定ステップ（Ｓ１４）では、対象者の側面視において、対象者の肘の骨格点から手の先端までの距離である第１距離Ｌ１を、背面領域Ａ３、正面領域Ａ２及び前方領域Ａ１のそれぞれの幅Ｗ１として設定し、対象者の正面視において、対象者の首の骨格点から肩の骨格点までの距離である第２距離Ｌ２の２倍の距離を、左側領域Ｂ２及び右側領域Ｂ１のそれぞれの幅Ｗ２として設定する。

【0104】

このような判定方法は、骨格点の位置に基づいて複数の三次元領域の幅（正面視での横幅及び奥行き幅）が設定されるため、例えば、対象者の身長が同じ場合であっても骨格に応じて複数の三次元領域を設定することができる。

【0105】

また、例えば、判定方法は、さらに、判定ステップにより判定された対象者の日常生活動作の状態をユーザに提示する提示ステップ（図３のＳ２１）と、ユーザの操作に関する指示を受け付ける受付ステップ（Ｓ２２）と、を含み、判定ステップ（図２のＳ１６）では、受付ステップ（Ｓ２２）により受け付けられたユーザの指示に基づいて、対象者の日常生活動作の状態に関する情報を抽出し（Ｓ２３）、提示ステップ（Ｓ２１）では、判定ステップ（Ｓ２３）により抽出された情報をユーザに提示する（Ｓ２４）。例えば、判定方法では、日常生活動作の状態に関する情報は、特定の動作を行う対象者の三次元骨格モデル、対象者の身体機能の判定結果、及び、対象者に提案する訓練内容の少なくともいずれかを含む。

【0106】

このような判定方法は、ユーザの指示に基づいて、対象者の日常生活動作の状態に関する情報のうちユーザに必要な情報を抽出してユーザに提示することができる。

【0107】

また、例えば、判定方法では、日常生活動作の状態に関する情報は、対象者の身体機能を含み、対象者の身体機能は、対象者の手の開閉の動作、及び、指の対立の動作の少なくともいずれかの状態に基づいて判定される。

【0108】

このような判定方法は、対象者の指の動きを伴う動作の可否を判定することにより、例えば、対象者が物を把持できるか否かを判定することができるため、対象者の日常生活動作の状態をより精度よく判定することができる。

【0109】

また、判定装置は、対象者に特定の動作を行うように指示する指示部３６と、特定の動作を行う対象者を被写体として含む画像を撮影するカメラ２０と、撮影された画像に基づいて、画像における対象者の骨格モデルを推定する推定部４２ｂと、推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する設定部４２ｃと、設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が含まれる三次元領域を特定する特定部４２ｄと、特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する判定部４２ｅと、を備える。

【0110】

このような判定装置は、骨格モデルの周囲に設定された複数の三次元領域のうち、特定の動作における対象者の手首の骨格点が位置する三次元領域を特定することにより、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる。

【0111】

また、判定システム１０は、情報端末３０と情報端末３０と通信を介して接続されるサーバ装置４０とを備えるシステムであって、情報端末３０は、サーバ装置４０と通信を行う第２通信部３１ｂと、対象者に特定の動作を行うように指示する指示部３６と、特定の動作を行う対象者を被写体として含む画像を撮影するカメラ２０と、を備え、サーバ装置４０は、カメラ２０で撮影された画像に基づいて、画像における対象者の骨格モデルを推定する推定部４２ｂと、推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する設定部４２ｃと、設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が含まれる三次元領域を特定する特定部４２ｄと、特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する判定部４２ｅと、を備える。

【0112】

このような判定システム１０は、骨格モデルの周囲に設定された複数の三次元領域のうち、特定の動作における対象者の手首の骨格点が位置する三次元領域を特定することにより、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる。

【0113】

（その他の実施の形態）
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。

【0114】

また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

【0115】

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0116】

また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

【0117】

また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0118】

例えば、本発明は、判定方法として実現されてもよいし、判定方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータで読み取り可能な非一時的な記録媒体として実現されてもよい。

【0119】

また、上記実施の形態では、判定システムは、カメラと、情報端末と、サーバ装置とを備える例を示したが、判定システムは、情報端末などの単一の装置として実現されてもよいし、複数の装置によって実現されてもよい。例えば、判定システムは、クライアントサーバシステムとして実現されてもよい。判定システムが複数の装置によって実現される場合、上記実施の形態で説明された判定システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。

【0120】

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

【符号の説明】

【0121】

１ 対象者
１０ 判定システム
２０ カメラ
３０ 情報端末
３１ｂ 第２通信部
３４ 受付部
３５ 提示部
３６ 指示部
４０ サーバ装置
４２ｂ 推定部
４２ｃ 設定部
４２ｄ 特定部
４２ｅ 判定部
４３ 記憶部
４４ 学習済みモデル
４５ データベース
Ｚ１ 第１基準軸
Ｚ２ 第２基準軸
Ａ１ 前方領域
Ａ２ 正面領域
Ａ３ 背面領域
Ｂ１ 右側領域
Ｂ２ 左側領域
Ｌ１ 第１距離
Ｌ２ 第２距離
Ｗ１ 幅
Ｗ２ 幅

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】