(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024124306
(43)【公開日】2024-09-12
(54)【発明の名称】情報処理方法、コンピュータプログラム及び情報処理装置
(51)【国際特許分類】
A61B 5/11 20060101AFI20240905BHJP
【FI】
A61B5/11 200
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023156341
(22)【出願日】2023-09-21
(62)【分割の表示】P 2023031292の分割
【原出願日】2023-03-01
(71)【出願人】
【識別番号】517255566
【氏名又は名称】株式会社エクサウィザーズ
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】吉村 和也
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VB35
4C038VC05
(57)【要約】
【課題】ファンクショナルリーチテストの実施を支援し得る情報処理方法、コンピュータプログラム及び情報処理装置を提供する。
【解決手段】本実施の形態に係る情報処理方法は、情報処理装置が、ファンクショナルリーチテストに係る所定動作を行う対象者を撮影した動画像を取得し、前記動画像から、前記所定動作を開始する開始フレーム及び前記所定動作を終了する終了フレームを特定し、前記開始フレーム及び前記終了フレームに基づき、前記対象者の所定部位が前記所定動作により移動した距離を算出する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報処理装置が、
ファンクショナルリーチテストに係る所定動作を行う対象者を撮影した動画像を取得し、
前記動画像から、前記所定動作を開始する開始フレーム及び前記所定動作を終了する終了フレームを特定し、
前記開始フレーム及び前記終了フレームに基づき、前記対象者のつま先の位置を基準として、前記所定動作により前記対象者の手の位置が水平方向へ移動した距離を算出する、
情報処理方法。
【請求項2】
前記動画像から前記対象者の骨格情報を抽出し、
抽出した前記骨格情報を基に前記距離を算出する、
請求項1に記載の情報処理方法。
【請求項3】
前記対象者の手の位置が、水平方向に関して一方へ単調に変位した後、他方へ単調に変位する動作を前記動画像から検出し、
前記動作における前記一方への変位開始時点に相当するフレームを前記開始フレームと特定する、
請求項1に記載の情報処理方法。
【請求項4】
前記対象者の手の高さが肩の高さに対して所定範囲内であるか又は前記対象者の手及び体のなす角が90度±所定角度の範囲内であるフレームに基づいて前記動作を前記動画像から検出する、
請求項3に記載の情報処理方法。
【請求項5】
前記動作において前記開始フレームからの前記手の位置の変位量が最大となるフレームを前記終了フレームと特定する、
請求項3に記載の情報処理方法。
【請求項6】
前記終了フレームにおける前記対象者の左右の肩の位置の差又は左右の手の位置の差に応じて前記距離を補正する、
請求項1に記載の情報処理方法。
【請求項7】
前記終了フレームにおける前記対象者の足首の角度に応じて、前記所定動作に係る前記対象者の動作戦略を特定する、
請求項1に記載の情報処理方法。
【請求項8】
前記終了フレームにおける前記対象者の足首の角度及び前記対象者のかかとの位置に応じて、前記所定動作に係る前記対象者の動作戦略が、股関節戦略、足関節戦略又はかかと上げ戦略のいずれであるかを特定する、
請求項7に記載の情報処理方法。
【請求項9】
算出した前記距離及び特定した前記動作戦略に関する情報を、所定の端末装置へ通知する、
請求項7に記載の情報処理方法。
【請求項10】
コンピュータに、
ファンクショナルリーチテストに係る所定動作を行う対象者を撮影した動画像を取得し、
前記動画像から、前記所定動作を開始する開始フレーム及び前記所定動作を終了する終了フレームを特定し、
前記開始フレーム及び前記終了フレームに基づき、前記対象者のつま先の位置を基準として、前記所定動作により前記対象者の手の位置が水平方向へ移動した距離を算出する、
処理を実行させる、コンピュータプログラム。
【請求項11】
処理部を備え、
前記処理部は、
ファンクショナルリーチテストに係る所定動作を行う対象者を撮影した動画像を取得し、
前記動画像から、前記所定動作を開始する開始フレーム及び前記所定動作を終了する終了フレームを特定し、
前記開始フレーム及び前記終了フレームに基づき、前記対象者のつま先の位置を基準として、前記所定動作により前記対象者の手の位置が水平方向へ移動した距離を算出する、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ファンクショナルリーチテストに関する情報処理を行う情報処理方法、コンピュータプログラム及び情報処理装置に関する。
【背景技術】
【0002】
特許文献1においては、身体に関する複数の測定項目の中から少なくとも2つの測定項目を選択し、測定項目の測定結果である第1測定結果の入力を受け付け、測定項目の組み合わせに応じた重み係数を用いて第1測定結果に対する重み付けを行い、重み付けが行われた後の第2測定結果に基づいて高齢者用移動商品の使用が可能か否かを判定する判定システムが提案されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1には、複数の測定項目のうちの1つとして、ファンクショナルリーチテストにおけるリーチ距離が挙げられている。ファンクショナルリーチテストは、例えば介護現場において被介護者のバランス能力を測るために用いられるテストであり、被介護者が腕を水平に上げた状態で出来るだけ前方へ手を伸ばし、このときの手の移動距離を測定するという方法で行われる。ファンクショナルリーチテストは、例えば測定者が定規又はメジャー等を利用して移動距離を測定するというような手作業で行われるため、その実施に手間がかかる。
【0005】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、ファンクショナルリーチテストの実施を支援し得る情報処理方法、コンピュータプログラム及び情報処理装置を提供することにある。
【課題を解決するための手段】
【0006】
一実施形態に係る情報処理方法は、情報処理装置が、ファンクショナルリーチテストに係る所定動作を行う対象者を撮影した動画像を取得し、前記動画像から、前記所定動作を開始する開始フレーム及び前記所定動作を終了する終了フレームを特定し、前記開始フレーム及び前記終了フレームに基づき、前記対象者のつま先の位置を基準として、前記所定動作により前記対象者の手の位置が水平方向へ移動した距離を算出する。
【発明の効果】
【0007】
一実施形態による場合は、ファンクショナルリーチテストの実施を支援することが期待できる。
【図面の簡単な説明】
【0008】
【
図1】本実施の形態に係る情報処理システムの概要を説明するための模式図である。
【
図2】ファンクショナルリーチテストの概要を説明するための模式図である。
【
図3】本実施の形態に係るサーバ装置の一構成例を示すブロック図である。
【
図4】本実施の形態に係る端末装置の構成を示すブロック図である。
【
図5】本実施の形態に係るサーバ装置が行う処理の手順を示すフローチャートである。
【
図7】リーチ距離の算出を説明するための模式図である。
【
図8】リーチ距離の補正を説明するための模式図である。
【
図11】本実施の形態に係る端末装置が行う処理の手順を示すフローチャートである。
【
図12】端末装置による測定結果の一表示例を示す模式図である。
【発明を実施するための形態】
【0009】
本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【0010】
<システム概要>
図1は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、例えば高齢者又は被介護者等の対象者101によるファンクショナルリーチテストを支援するシステムである。本実施の形態に係る情報処理システムでは、例えば対象者101の家族又は介護者等のユーザ102が、スマートフォン又はタブレット型端末装置等の端末装置3を用いて、対象者101がファンクショナルリーチテストに係る動作を行う様子を撮影する。ユーザ102は、撮影により得られた動画像のデータをサーバ装置1へ送信して、ファンクショナルリーチテストのリーチ距離の測定を依頼する。
【0011】
サーバ装置1は、ユーザの端末装置3から送信される動画像のデータを受信し、受信した動画像に基づいて、この動画像に写された対象者101についてファンクショナルリーチテストのリーチ距離を測定する処理を行う。また本実施の形態においてサーバ装置1は、対象者101のファンクショナルリーチテストに関する動作戦略を特定する処理を行う。サーバ装置1は、これらの処理の結果として得られるファンクショナルリーチテストのリーチ距離及び動作戦略に関する情報を、測定結果として依頼元の端末装置3へ送信する。端末装置3は、サーバ装置1から受信したこれらの測定結果の情報に基づいて、対象者のファンクショナルリーチテストに関するリーチ距離及び動作戦略に関する情報を表示してユーザ102に通知する。
【0012】
図2は、ファンクショナルリーチテストの概要を説明するための模式図である。ファンクショナルリーチテストにおいて測定の対象者101は、まず直立した状態で、地面に対して腕を略水平に(身体に対して略垂直に)上げた姿勢を取る(
図2左側を参照)。腕を上げた状態を維持しながら対象者101は、出来るだけ前方へ腕を伸ばしていき(
図2右側を参照)、元の姿勢へ戻す。対象者101がこの一連の動作を行う際に、最初に直立して腕を上げた状態での手先の位置を測定開始の位置とし、前方へ腕を伸ばして最も遠くに達した位置を測定終了の位置として、開始位置から終了位置までの水平方向に関する移動距離を測定したものがファンクショナルリーチテストのリーチ距離となる。このリーチ距離は、対象者101のバランス能力の指標として用いられ得る。なお、対象者101が腕を伸ばした後に、足の位置等を動かすことなく元の位置へ戻れた場合を成功としてリーチ距離を測定し、元の位置へ戻れなかった場合は失敗としてリーチ距離を測定しなくてもよい。ユーザ102は、対象者101による上記の一連の動作を端末装置3にて撮影し、撮影により得られる動画像のデータをサーバ装置1へ送信する。
【0013】
また本実施の形態においては、上記のファンクショナルリーチテストの動作を行う際に対象者101が取った戦略がどのようなものであるかを、サーバ装置1が動画像を基に特定する。本実施の形態においてサーバ装置1は、対象者101が取った戦略が、例えば股関節戦略、足関節戦略又はかかと上げ戦略のいずれであるかを特定する。ただし上記の3つの戦略は一例であって、これに限るものではない。サーバ装置1は、対象者101の戦略を、例えば股関節戦略及び足関節戦略の2つの戦略に分類して特定してもよく、4つ以上の戦略に分類して特定してもよい。なお詳細な説明は省略するが、股関節戦略は股関節だけを曲げて上記の動作を行う戦略であり、足関節戦略は足首及び股関節を曲げて動作を行う戦略であり、かかと上げ戦略はかかとを地面から上げて動作を行う戦略である。
【0014】
本実施の形態に係るサーバ装置1は、端末装置3から受信した動画像を基に対象者101のリーチ距離を測定すると共に、動作戦略を特定する。サーバ装置1は測定したリーチ距離及び特定した動作戦略に関する情報を端末装置3へ送信し、これを受信した端末装置3が対象者101のファンクショナルリーチテストのリーチ距離及び動作戦略に関する情報を表示する。このときにサーバ装置1は例えばリーチ距離の測定結果及び動作戦略の特定結果に基づいて対象者101へのアドバイス等の情報を端末装置3へ送信し、端末装置3がリーチ距離及び動作戦略と共にこのアドバイス等の情報を表示してもよい。
【0015】
<装置構成>
図3は、本実施の形態に係るサーバ装置1の一構成例を示すブロック図である。本実施の形態に係るサーバ装置1は、処理部11、記憶部(ストレージ)12及び通信部(トランシーバ)13等を備えて構成されている。なお本実施の形態においては、1つのサーバ装置にて処理が行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。
【0016】
処理部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)又は量子プロセッサ等の演算処理装置、ROM(Read Only Memory)及びRAM(Random Access Memory)等の記憶装置を用いて構成されている。処理部11は、記憶部12に記憶されたサーバプログラム12aを読み出して実行することにより、動画像を基にファンクショナルリーチテストのリーチ距離を測定する処理、及び、動作戦略を特定する処理等の種々の処理を行う。
【0017】
記憶部12は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部12は、処理部11が実行する各種のプログラム、及び、処理部11の処理に必要な各種のデータを記憶する。本実施の形態において記憶部12は、処理部11が実行するサーバプログラム12aを記憶する。また記憶部12は、ファンクショナルリーチテストの対象となる対象者101に関する情報を記憶する対象者情報記憶部12bが設けられている。
【0018】
本実施の形態においてサーバプログラム(コンピュータプログラム、プログラム製品)12aは、メモリカード又は光ディスク等の記録媒体99に記録された態様で提供され、サーバ装置1は記録媒体99からサーバプログラム12aを読み出して記憶部12に記憶する。ただし、サーバプログラム12aは、例えばサーバ装置1の製造段階において記憶部12に書き込まれてもよい。また例えばサーバプログラム12aは、遠隔の他のサーバ装置等が配信するものをサーバ装置1が通信にて取得してもよい。例えばサーバプログラム12aは、記録媒体99に記録されたものを書込装置が読み出してサーバ装置1の記憶部12に書き込んでもよい。サーバプログラム12aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体99に記録された態様で提供されてもよい。
【0019】
対象者情報記憶部12bは、例えば対象者101のID又は名前等に対応付けて、対象者101の身長及び年齢等の情報を記憶する。また対象者情報記憶部12bは、対象者101が行ったファンクショナルリーチテストの結果(リーチ距離及び動作戦略等)を、例えばファンクショナルリーチテストを実施した年月日等の情報に対応付けて、履歴として記憶する。
【0020】
通信部13は、携帯電話通信網、無線LAN(Local Area Network)及びインターネット等を含むネットワークNを介して、種々の装置との間で通信を行う。本実施の形態において通信部13は、ネットワークNを介して、一又は複数の端末装置3との間で通信を行う。通信部13は、処理部11から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部11へ与える。
【0021】
なお記憶部12は、サーバ装置1に接続された外部記憶装置であってよい。またサーバ装置1は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置1は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。
【0022】
また本実施の形態に係るサーバ装置1には、記憶部12に記憶されたサーバプログラム12aを処理部11が読み出して実行することにより、動画像取得部11a、骨格抽出部11b、フレーム特定部11c、距離算出部11d、戦略特定部11e及び測定結果通知部11f等が、ソフトウェア的な機能部として処理部11に実現される。なお本図においては、処理部11の機能部として、ファンクショナルリーチテストに関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。
【0023】
動画像取得部11aは、通信部13にてユーザ102が使用する端末装置3との通信を行うことにより、ユーザ102が予め端末装置3にて撮影した動画像を取得する処理を行う。動画像取得部11aは、端末装置3から取得した動画像のデータを、記憶部12に一時的に記憶する。なお本実施の形態においては、ユーザ102が端末装置3にて対象者101の動作を撮影し、撮影が終了して動画像のデータが端末装置3に記憶され、その後にユーザが動画像のデータを選択してサーバ装置1へアップロードするという態様で端末装置3からサーバ装置1への動画像の授受が行われるものとする。ただし、端末装置3が対象者の動作を撮影しながらリアルタイムでサーバ装置1へ動画像を送信し、サーバ装置1がリアルタイムで動画像を受信して記憶部12に記憶してもよい。
【0024】
骨格抽出部11bは、動画像取得部11aが取得した動画像について、この動画像に写された対象者101の骨格を抽出する処理を行う。本実施の形態において骨格抽出部11bは、例えば予め機械学習がなされた学習モデル、いわゆるAI(Artificial Intelligence)を用いて、画像から骨格を抽出する。画像から骨格を抽出するAIとしては、例えばOpenPoseが用いられ得るが、これに限るものではない。骨格抽出部11bは、画像から人の骨格を抽出する既存の様々な手法を用いて、ファンクショナルリーチテストの動作を行う対象者101の骨格を抽出することができる。なお、画像から骨格を抽出する技術は、既存の技術であるため、本実施の形態において詳細な説明を省略する。
【0025】
フレーム特定部11cは、骨格抽出部11bが抽出した骨格の情報を用いて、動画像を構成する複数のフレームのうち、ファンクショナルリーチテストの測定開始(
図2左側を参照)の時点に相当する開始フレームと、ファンクショナルリーチテストの測定終了(
図2の右側を参照)の時点に相当する終了フレームとを特定する処理を行う。本実施の形態において動画像は、複数のフレーム(静止画像)を時系列的に連ねたものとする。フレーム特定部11cは、例えば動画像を構成する複数のフレームの中から、対象者101がファンクショナルリーチテストの開始姿勢を取っている一又は複数のフレームを特定し、これらを開始フレームの候補とする。ファンクショナルリーチテストの開始姿勢は、骨格情報を基に、例えば対象者101の手の高さが肩の高さと略同じ(両高さの差が所定範囲内)であるか、又は、対象者101の手と身体とのなす角が略直角(なす角が90度±所定角度の範囲内)であることに基づいて判断される。
【0026】
またフレーム特定部11cは、開始フレームの候補となったフレームを基準に、対象者101の手先の位置が水平方向に左右のいずれか一方向へ単調に変位した後、反対方向へ単調に変位する動作を動画像から検出する。この一連の動作が検出された場合、フレーム特定部11cは、開始フレームの複数の候補の中から、この一連の動作において手先の位置の変位が開始された1つのフレームを選択し、選択した1つのフレームを開始フレームとする。またフレーム特定部11cは、この一連の動作に含まれる複数のフレームの中から、対象者101の手先の位置が開始フレームにおける位置から最も離れているフレームを1つ選択し、選択したフレームを終了フレームとする。
【0027】
距離算出部11dは、フレーム特定部11cが特定した開始フレーム及び終了フレームに基づいて、対象者101のファンクショナルリーチテストにおけるリーチ距離を算出する処理を行う。距離算出部11dは、開始フレームにおける対象者101の骨格情報を基に、対象者101のつま先の位置と手先の位置との水平方向における距離(以下第1距離X1という)を算出する。同様にして、距離算出部11dは、終了フレームにおける対象者101の骨格情報を基に、対象者101のつま先の位置と手先の位置との水平方向における距離(以下第2距離X2という)を算出する。距離算出部11dは、算出した第1距離X1と第2距離X2との差を、ファンクショナルリーチテストのリーチ距離として算出することができる。
【0028】
なお、上記の方法で距離算出部11dが算出する第1距離、第2距離及びリーチ距離は、動画像を構成するフレーム(画像)の画素数で算出される数値である。このため、距離算出部11dは、算出したリーチ距離の画素数に、1画素当たりの長さをかけることで、リーチ距離の実際の値を算出することができる。ここで距離算出部11dは、1画素当たりの長さを、例えば対象者情報記憶部12bに記憶された対象者101の身長に基づいて算出することができる。距離算出部11dは、例えば開始フレームに写された対象者の身長に相当する画素数を算出し、対象者情報記憶部12bに記憶された対象者101の身長を画素数で割ることで、1画素当たりの長さを算出することができる。なお距離算出部11dによる1画素当たりの長さの算出方法は、対象者101の身長に基づくものでなくてよく、既存の種々の方法が採用されてよい。例えば予め長さが定められた指標物等を対象者101と共に撮影し、動画像中の指標物の長さに基づいて1画素当たりの長さを距離算出部11dが算出することができる。
【0029】
また本実施の形態において距離算出部11dは、上記の方法で算出したリーチ距離に対し、ファンクショナルリーチテストにおける対象者101の動作に基づく補正を行うことができる。例えば、ファンクショナルリーチテストの動作において対象者101が肩を旋回させて手を伸ばした場合、肩を旋回させずに手を伸ばした場合と比較して、リーチ距離が長くなる。そこで距離算出部11dは、終了フレームにおける対象者101の左右の肩の位置又は左右の手先の位置を特定し、水平方向における左右の肩の位置の差分又は左右の手先の位置の差分を算出する。距離算出部11dは、算出した差分を基に、例えば上記のリーチ距離から差分の半分の距離を引く演算を行うことで、リーチ距離を補正する。距離算出部11dは、補正後の値を最終的なリーチ距離とし、ファンクショナルリーチテストの測定結果とすることができる。
【0030】
戦略特定部11eは、フレーム特定部11cが特定した終了フレームにおける対象者101の姿勢に基づいて、ファンクショナルリーチテストの動作で対象者101が取った戦略を特定する処理を行う。本実施の形態において戦略特定部11eは、股関節戦略、足関節戦略及びかかと上げ戦略の3つの戦略の中から、対象者101が取った戦略を特定する。戦略特定部11eは、終了フレームにおける対象者101の骨格情報を基に、例えば対象者101のかかとが地面から離れている場合、対象者101の戦略がかかと上げ戦略であると特定する。また戦略特定部11eは、終了フレームにおける対象者101の足首の角度を算出し、足首の角度が90度以下であれば股関節戦略であり、足首の角度が90度を超える場合には足関節戦略であると特定する。
【0031】
測定結果通知部11fは、ファンクショナルリーチテストの測定結果を端末装置3へ通知する処理を行う。本実施の形態において測定結果通知部11fは、距離算出部11dが算出したリーチ距離と、戦略特定部11eが特定した動作戦略とを含む情報を測定結果として端末装置3へ送信する。
【0032】
図4は、本実施の形態に係る端末装置3の構成を示すブロック図である。本実施の形態に係る端末装置3は、処理部31、記憶部(ストレージ)32、通信部(トランシーバ)33、表示部(ディスプレイ)34、操作部35及びカメラ36等を備えて構成されている。端末装置3は、例えば対象者101の介護等を行うユーザ102が使用する装置であり、例えばスマートフォン、タブレット型端末装置又はパーソナルコンピュータ等の情報処理装置を用いて構成され得る。なお本実施の形態に係る情報処理システムでは、端末装置3がカメラ36を備えて対象者101の撮影を行うことが可能な構成であるものとするが、これに限るものではない。情報処理システムは、端末装置3とは異なるビデオカメラ等の撮影装置にてユーザ102が撮影を行い、撮影装置から動画像を端末装置3が取得してサーバ装置1へ送信する構成であってもよい。
【0033】
処理部31は、CPU又はMPU等の演算処理装置、ROM及び等を用いて構成されている。処理部31は、記憶部32に記憶されたプログラム32aを読み出して実行することにより、動画像の撮影に係る処理及びファンクショナルリーチテストの測定結果を表示する処理等の種々の処理を行う。
【0034】
記憶部32は、例えばフラッシュメモリ等の不揮発性のメモリ素子又はハードディスク等の記憶装置等を用いて構成されている。記憶部32は、処理部31が実行する各種のプログラム、及び、処理部31の処理に必要な各種のデータを記憶する。本実施の形態において記憶部32は、処理部31が実行するプログラム32aを記憶している。本実施の形態においてプログラム32aは遠隔のサーバ装置等により配信され、これを端末装置3が通信にて取得し、記憶部32に記憶する。ただしプログラム32aは、例えば端末装置3の製造段階において記憶部32に書き込まれてもよい。例えばプログラム32aは、メモリカード又は光ディスク等の記録媒体98に記録されたプログラム32aを端末装置3が読み出して記憶部32に記憶してもよい。例えばプログラム32aは、記録媒体98に記録されたものを書込装置が読み出して端末装置3の記憶部32に書き込んでもよい。プログラム32aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体98に記録された態様で提供されてもよい。
【0035】
通信部33は、携帯電話通信網、無線LAN及びインターネット等を含むネットワークNを介して、種々の装置との間で通信を行う。本実施の形態において通信部33は、ネットワークNを介して、サーバ装置1との間で通信を行う。通信部33は、処理部31から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部31へ与える。
【0036】
表示部34は、液晶ディスプレイ等を用いて構成されており、処理部31の処理に基づいて種々の画像及び文字等を表示する。操作部35は、ユーザの操作を受け付け、受け付けた操作を処理部31へ通知する。例えば操作部35は、機械式のボタン又は表示部34の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部35は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置3に対して取り外すことが可能な構成であってもよい。
【0037】
カメラ36は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を用いて構成されている。カメラ36は、端末装置3の筐体等に設けられており、撮像素子により撮影した画像を処理部31へ与える。
【0038】
また本実施の形態に係る端末装置3は、記憶部32に記憶されたプログラム32aを処理部31が読み出して実行することにより、撮影処理部31a、動画像送信処理部31b及び表示処理部31c等がソフトウェア的な機能部として処理部31に実現される。なおプログラム32aは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。
【0039】
撮影処理部31aは、カメラ36の動作を制御することで動画像の撮影を行う。撮影処理部31aは、例えば撮影する動画像の解像度及びフレームレート等の設定をユーザ102から受け付けて又は自動的に決定し、これらの設定に応じた撮影を行う。撮影処理部31aは、カメラ36の撮影により得られた動画像のデータを、記憶部32に記憶する。
【0040】
動画像送信処理部31bは、ファンクショナルリーチテストの動作を行う対象者101を撮影した動画像のデータをサーバ装置1へ送信し、リーチ距離の測定を依頼する処理を行う。動画像送信処理部31bは、例えば動画像のデータをサーバ装置1へアップロードするための画面を表示して、記憶部32に記憶された一又は複数の動画像の中から、アップロードする動画像を選択する操作をユーザ102から受け付ける。またこのときに動画像送信処理部31bは、対象者101の名前、身長及び年齢等の情報の入力を受け付ける。動画像送信処理部31bは、選択された動画像と、入力された対象者101に関する情報とを対応付けてサーバ装置1へ送信する。
【0041】
表示処理部31cは、種々の文字及び画像等を表示部34に表示する処理を行う。本実施の形態において表示処理部31cは、サーバ装置1から得られるファンクショナルリーチテストの測定結果を表示する。例えば表示処理部31cは、ファンクショナルリーチテストの測定結果として得られるリーチ距離、及び、ファンクショナルリーチテストに関する対象者101の動作戦略等の情報を表示する。このときに表示処理部31cは、リーチ距離の算出の基になった上述の開始フレーム及び終了フレームを測定結果と共に表示してもよい。また表示処理部31cは、動画像送信処理部31bがアップロードする動画像の選択等を受け付けるための画面を表示部34に表示する。表示処理部31cは、これら以外の種々の画面表示を行ってよい。
【0042】
<ファンクショナルリーチテスト支援処理>
図5は、本実施の形態に係るサーバ装置1が行う処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置1の処理部11の動画像取得部11aは、通信部13にてユーザ102の端末装置3との間で通信を行うことにより、対象者101によるファンクショナルリーチテストの動作を撮影した動画像のデータを取得する(ステップS1)。処理部11の骨格抽出部11bは、ステップS1にて取得した動画像を基に、この動画像に写された対象者101の骨格を抽出する処理を行う(ステップS2)。
【0043】
図6は、骨格抽出の一例を示す模式図である。
図6上段には、動画像に写された対象者101がファンクショナルリーチテストの動作を開始する直前の画像が示されている。
図6の下段には、上段の対象者101の画像に対して骨格抽出を行った結果が簡易的に示されている。本実施の形態に係る骨格抽出部11bは、例えば深層学習がなされた学習モデルを用いて骨格情報を抽出するOpenPoseと呼ばれる技術を用いて、動画像を構成する各フレームから対象者101の骨格情報を抽出する。ただし骨格抽出部11bは、OpenPoseとは異なる技術による骨格抽出を行ってもよい。骨格抽出部11bの骨格抽出処理により得られる対象者101の骨格情報は、例えば人の身体の頭、腰、手足の関節等を複数個の点で表した情報である。なお骨格情報は10個~20個程度の点で表されることが多いが、
図6の下段の骨格情報は対象者101の手先、肩、腰(又は股)、足首及びつま先の5つの点に簡略化し、頭部については円形のシンボルで示してある。
【0044】
ステップS2にて骨格情報抽出処理を行った後、処理部11のフレーム特定部11cは、動画像を構成する各フレームから抽出した骨格情報を用い、動画像を構成する複数のフレームの中から、ファンクショナルリーチテストの動作の開始時点に相当する開始フレームを特定する処理を行う(ステップS3)。ここでフレーム特定部11cは、各フレームから抽出した骨格情報を基に、対象者101の姿勢がファンクショナルリーチテストの開始姿勢、即ち腕を略水平に伸ばした姿勢であるか否かをフレーム毎に判定し、開始姿勢の対象者101が写されたフレームを開始フレームの候補とする。
【0045】
なおフレーム特定部11cは、対象者101の姿勢が開始姿勢であるか否かを、下記の2つの条件のいずれかに基づいて判定することができる。
(1)対象者101の手(手先)の高さが肩の高さと略同じ、例えば手の高さと肩の高さとの差が所定範囲内であること。
(2)対象者101の手(腕)と身体とのなす角が略直角、例えば手と身体とのなす角が90度±所定角度の範囲内であること
【0046】
またフレーム特定部11cは、開始フレームの候補となったフレームを基準に、動画像の各フレームにおいて対象者101の所定部位、例えば手先の位置を追跡する。フレーム特定部11cは、動画像において手先の位置が水平方向の一方へ所定画素数以上の距離を単調に変位し、その後に反対方向へ所定画素数以上の距離を単調に変位する動作を動画像から検出する。この一連の動作、即ちファンクショナルリーチテストの動作が検出された場合、フレーム特定部11cは、この一連の動作において手先の位置の変位が開始された1つのフレームを候補の中から選択し、選択したフレームを開始フレームとすることができる。
【0047】
次いでフレーム特定部11cは、ファンクショナルリーチテストの動作において対象者101が最も遠方へ手先を伸ばした状態が写されたフレームを終了フレームとして特定する(ステップS4)。ここでフレーム特定部11cは、上記の開始フレームの特定を行った際に検出した一連の動作において、対象者101の手先の位置が開始フレームの手先の位置から最も離れているフレームを1つ選択し、選択したフレームを終了フレームとすることができる。
【0048】
次いで処理部11の距離算出部11dは、ステップS3にて特定した開始フレーム及びステップS4にて特定した終了フレームに基づいて、対象者101のファンクショナルリーチテストにおけるリーチ距離を算出する(ステップS5)。
図7は、リーチ距離の算出を説明するための模式図である。
図7左側には開始フレームにおける対象者101の骨格情報が示され、
図7右側には終了フレームにおける対象者101の骨格情報が示されている。距離算出部11dは、開始フレームの骨格情報を基に対象者101の手先とつま先との水平方向の距離を第1距離X1として算出する。同様に距離算出部11dは、終了フレームの骨格情報を基に対象者101の手先とつま先との水平方向の距離を第2距離X2として算出する。距離算出部11dは、下記の(1)式に基づく演算を行うことによって、対象者101のリーチ距離を算出する。
【0049】
(リーチ距離)=(第2距離X2)-(第1距離X1) …(1)
【0050】
本実施の形態においては、距離算出部11dが対象者101のつま先の位置を基準としてリーチ距離の算出を行う。これにより、例えばユーザ102が動画像を撮影する際に生じる手ブレ等の影響を低減してリーチ距離を算出することが期待できる。なお距離算出部11dは、対象者101のつま先の位置とは異なる位置を基準にリーチ距離の算出を行ってもよい。ただし、例えば対象者101のかかとの位置など、ファンクショナルリーチテストの動作において位置が変化する可能性がある位置を基準に用いると算出されるリーチ距離の精度が低下する恐れがあるため、ファンクショナルリーチテストの動作において位置が変化する可能性が低い又は変化してもその変化量が少ない位置を基準とすることが好ましい。基準の位置は、対象者101の身体以外、例えば背景に存在する物体等の位置が用いられてもよい。また例えば要求される精度が得られる場合には、例えば対象者101のかかとの位置など、ファンクショナルリーチテストの動作において位置が変化する可能性がある位置を基準に用いてもよい。
【0051】
次いで距離算出部11dは、ステップS5にて算出したリーチ距離に対する補正を行う(ステップS6)。例えばファンクショナルリーチテストの動作において対象者101が肩を旋回させて片方の腕のみを前方へ伸ばした場合、肩を旋回させずに両腕を伸ばした場合よりリーチ距離が長くなる。本実施の形態において距離算出部11dは、このような肩の旋回の有無による誤差を低減すべく、リーチ距離の補正を行う。
図8は、リーチ距離の補正を説明するための模式図である。距離算出部11dは、終了フレームの骨格情報を基に、対象者101の左肩及び右肩の水平方向に関する距離を誤差距離Y1として算出する。同様に距離算出部11dは、終了フレームの骨格情報を基に、対象者101の左手先及び右手先の水平方向に関する距離を誤差距離Y2として算出する。なお距離算出部11dは、誤差距離Y1,Y2の少なくとも一方を算出すればよい。距離算出部11dは、下記の(2)式に基づく演算を行うことで、対象者101のリーチ距離を補正する。なお(2)式において誤差距離Yは上記の誤差距離Y1,Y2のいずれか一方であるが、例えば誤差距離Y1,Y2の平均値、最大値又は最小値等であってもよい。
【0052】
(補正後リーチ距離)=(補正前リーチ距離)-(誤差距離Y)÷2 (2)
【0053】
なお、これらの第1距離X1、第2距離X2、リーチ距離及び誤差距離Y等は、動画像のフレームにおける画素数として算出される。距離算出部11dは、上記の(1)式及び(2)式にて算出及び補正したリーチ距離に対して、1画素当たりの長さをかけることで、実際のリーチ距離を算出する。なお本実施の形態において距離算出部11dは、対象者情報記憶部12bに記憶された対象者101の身長に基づいて、1画素当たりの長さを算出する。
【0054】
次いで処理部11の戦略特定部11eは、終了フレームの骨格情報を基に、対象者101のファンクショナルリーチテストにおける動作戦略を特定する(ステップS7)。
図9及び
図10は、動作戦略を説明するための模式図である。
図9上段には、股関節戦略の一例が示されている。股関節戦略は、主に股関節を曲げてファンクショナルリーチテストの動作を行う戦略である。戦略特定部11eは、対象者101の足首の角度αが90度以下である場合に、対象者101の戦略が股関節戦略であると特定することができる。なお対象者101の足首の角度αは、例えば足先及びかかとを結ぶ線分と、かかと及び股(腰)を結ぶ線分とのなす角度とすることができる。また
図9下段には、足関節戦略の一例が示されている。足関節戦略は、足関節戦略は足首及び股関節を曲げてファンクショナルリーチテストの動作を行う戦略である。戦略特定部11eは、対象者101の足首の角度αが90度を超える場合に、対象者101の戦略が足関節戦略であると特定することができる。また
図10には、かかと上げ戦略の一例が示されている。かかと上げ戦略は、対象者101がかかとを地面から上げてファンクショナルリーチテストの動作を行う戦略である。戦略特定部11eは、終了フレームの骨格情報において対象者101のかかとが地面から離れている、又は、かかとの位置がつま先の位置より上にある場合等に、対象者101の戦略がかかと上げ戦略であると特定することができる。
【0055】
本実施の形態において戦略特定部11eは、まず終了フレームにおける対象者101の骨格情報のかかとの位置に応じて、対象者101の戦略がかかと上げ戦略であるか、それ以外の戦略であるかを判断する。対象者101の戦略がかかと上げ戦略ではないと判断した場合、戦略特定部11eは、対象者の足首の角度αを算出し、この角度αが90度を超えるか否かに基づいて、足関節戦略であるか股関節戦略であるかを判断する。ただしこの判断の順序は一例であって、これに限るものではない。
【0056】
次いで処理部11の測定結果通知部11fは、ステップS5及びS6にて算出及び補正したリーチ距離と、ステップS7にて特定した動作戦略との情報を含む測定結果を、ステップS1にて取得した動画像の送信元である端末装置3へ送信する(ステップS8)。また処理部11は、これらの測定結果を例えば対象者101の識別情報等に対応付けて対象者情報記憶部12bに記憶し(ステップS9)、処理を終了する。
【0057】
図11は、本実施の形態に係る端末装置3が行う処理の手順を示すフローチャートである。本実施の形態に係る端末装置3の処理部31の撮影処理部31aは、例えばユーザ102の操作に基づいて動画像の撮影処理を行う(ステップS21)。撮影処理部31aは、撮影により得られた動画像を記憶部32に記憶する(ステップS22)。対象者101がファンクショナルリーチテストの動作を行う様子をユーザ102が撮影することによって、端末装置3の記憶部32には対象者101のリーチ距離を測定するための動画像が記憶される。
【0058】
次いで処理部31の表示処理部31cは、例えばユーザ102によるメニュー操作等に応じて、リーチ距離を測定するための動画像のアップロード画面を表示部34に表示する(ステップS23)。図示は省略するが、アップロード画面には記憶部32に記憶された動画像の一覧が表示され、処理部31の動画像送信処理部31bは、この画面に一覧表示した動画像の中からアップロード対象とする動画像の選択をユーザ102から受け付ける(ステップS24)。動画像送信処理部31bは、ステップS24にて選択を受け付けた動画像をサーバ装置1へ送信する(ステップS25)。
【0059】
表示処理部31cは、ステップS25にて送信した動画像に対する応答としてサーバ装置1から送信されるリーチ距離の測定結果を受信したか否かを判定する(ステップS26)。測定結果を受信していない場合(S26:NO)、表示処理部31cは、サーバ装置1から測定結果を受信するまで待機する。測定結果を受信した場合(S26:YES)、表示処理部31cは、受信した測定結果を表示部34に表示して(ステップS27)、処理を終了する。
【0060】
図12は、端末装置3による測定結果の一表示例を示す模式図である。本実施の形態に係る端末装置3は、サーバ装置1から受信した測定結果に基づき、図示の測定結果通知画面を表示部34に表示して、ファンクショナルリーチテストの測定結果をユーザ102に通知する。図示の測定結果通知画面において端末装置3は、画面の最上部に「ファンクショナルリーチテスト」のタイトル文字列を表示し、このタイトル文字列の下方に開始フレーム及び終了フレームに相当する2つの画像を左右に並べて表示する。
【0061】
この2つの画像表示のために、例えばサーバ装置1は
図5に示したフローチャートのステップS3にて特定した開始フレーム及びステップS4にて特定した終了フレームに相当する画像を動画像から抽出して測定結果と共に端末装置3へ通知する。又は、サーバ装置1は特定した開始フレーム及び終了フレームが動画像の何番目のフレームであるかを端末装置3へ通知し、端末装置3はこの通知に基づいて動画像から開始フレーム及び終了フレームに相当する画像を抽出して表示してもよい。
【0062】
また、測定結果通知画面において端末装置3は、上述の開始フレームの画像に対して、対象者101が挙げた手の手先の位置を示す垂直線等の開始位置マーカーを重ねて表示する。また端末装置3は、上述の終了フレームの画像に対して、開始フレームに重ねて表示したものと同じ開始位置マーカーと、終了フレームにおいて対象者101が伸ばした手先の位置を示す垂直線等の終了位置マーカーとを重ねて表示する。これらのマーカーを表示するため、例えばサーバ装置1が骨格抽出において得られる手先の位置の情報を端末装置3へ測定結果と共に送信する。
【0063】
測定結果通知画面において端末装置3は、開始フレーム及び終了フレームに相当する2つの画像の下方に、測定結果等の文字情報を表示する。本例において端末装置3は、対象者101の名前、年齢及び身長等の情報と、サーバ装置1の測定結果に係るリーチ距離及び動作戦略とを文字列情報として表示している。なお対象者101が表示する対象者101の名前、年齢及び身長等の情報は、例えば動画像のアップロード時にユーザ102が入力した情報、サーバ装置1の対象者情報記憶部12bに記憶された情報、又は、端末装置3が記憶している情報等から適宜に取得され得る。
【0064】
<まとめ>
以上の構成の本実施の形態に係る情報処理システムでは、サーバ装置1がファンクショナルリーチテストに係る所定動作を行う対象者101を撮影した動画像を端末装置3から取得し、取得した動画像から所定動作を開始する開始フレーム及び所定動作を終了する終了フレームを特定し、特定した開始フレーム及び終了フレームに基づいて対象者101の手先等の所定部位がファンクショナルリーチテストの所定動作により移動したリーチ距離を算出する。これにより本実施の形態に係る情報処理システムでは、ファンクショナルリーチテストのためにユーザ102が対象者101の手先の移動距離をメジャー又は定規等の測定器具を使用して測定する必要がなく、ユーザ102が対象者101の動作を撮影することでリーチ距離を得ることができるため、ファンクショナルリーチテストの実施を支援することが期待できる。
【0065】
また本実施の形態に係る情報処理システムでは、サーバ装置1が、動画像から対象者101の骨格情報をOpenPose等の適宜の手法により抽出し、抽出した骨格情報を基にリーチ距離を算出する。これにより情報処理システムは、2次元的な動画像を基に対象者101のリーチ距離を精度よく測定することが期待できる。
【0066】
また本実施の形態に係る情報処理システムでは、サーバ装置1が、動画像において対象者101の手の位置が水平方向に関して一方へ単調に変位した後、他方へ単調に変位する動作を検出し、この一連の動作における一方への変位開始時点に相当するフレームを開始フレームと特定する。これにより情報処理システムは、動画像からファンクショナルリーチテストに係る所定動作を精度よく検出し、開始フレームを精度よく特定することが期待できる。
【0067】
また本実施の形態に係る情報処理システムは、サーバ装置1が、対象者101の手の高さが肩の高さに対して所定範囲内(手の高さと肩の高さが略同じ)であるか、又は、対象者101の手及び身体のなす角が90度±所定角度の範囲内(手及び身体のなす角が略直角)であるフレームを候補とし、候補のフレームを基準として上記の一連の動作を検出する。これにより情報処理システムは、ファンクショナルリーチテストの動作における最初の姿勢が写されたフレームを基にファンクショナルリーチテストの動作を検出することができるため、より精度よくリーチ距離を測定することが期待できる。
【0068】
また本実施の形態に係る情報処理システムでは、サーバ装置1が、上記の一連の動作において開始フレームから対象者101の手の位置の変位量が最大となるフレームを終了フレームと特定する。これにより情報処理システムは、対象者101が前方へ最も手を伸ばした位置を終了フレームと特定し、開始フレーム及び終了フレームに基づいて精度よくリーチ距離を測定することが期待できる。
【0069】
また本実施の形態に係る情報処理システムでは、サーバ装置1が、対象者101のつま先の位置を基準として、対象者101の手の位置が水平方向に関して移動した距離を算出する。本実施の形態に係る情報処理システムは、対象者101のつま先の位置を基準とすることで、例えばユーザ102が撮影を行った際に手ブレ等が生じていた場合であっても、この手ブレの影響を低減して精度よいリーチ距離を測定することが期待できる。
【0070】
また本実施の形態に係る情報処理システムでは、サーバ装置1が、終了フレームにおける対象者101の左右の肩の位置の差又は左右の手の位置の差に応じて算出したリーチ距離を補正する。これにより情報処理システムは、例えばファンクショナルリーチテストの動作を行う際に対象者101が肩を旋回させたか否かでリーチ距離に差異が生じることを抑制し、リーチ距離の測定をより精度よく行うことが期待できる。
【0071】
また本実施の形態に係る情報処理システムでは、サーバ装置1が、終了フレームにおける対象者101の足首の角度に応じて、ファンクショナルリーチテストの動作に係る対象者101の動作戦略を特定する。サーバ装置1は、例えば対象者101の足首の角度に応じて股関節戦略又は足関節戦略のいずれかを特定することができる。またサーバ装置1は、例えば終了フレームにおける対象者101の足首の角度及びかかとの位置に応じて、股関節戦略、足関節戦略又はかかと上げ戦略のいずれかを特定することができる。これにより情報処理システムは、対象者101のリーチ距離に加えて、対象者101の動作戦略に関する情報をユーザ102に提供することができ、ファンクショナルリーチテストの実施を支援することが期待できる。
【0072】
また本実施の形態に係る情報処理システムでは、サーバ装置1は、算出したリーチ距離及び特定した動作戦略に関する情報を、所定の端末装置3へ通知する。これにより情報処理システムは、サーバ装置1が算出したリーチ距離及び特定した動作戦略等の情報を例えばユーザ102が使用する端末装置3へ通知することができ、ユーザ102は自身の端末装置3を用いて手軽にこれらの情報を確認することができるため、ファンクショナルリーチテストの実施を支援することが期待できる。
【0073】
なお本実施の形態においては、ユーザ102が端末装置3からサーバ装置1へ動画像を送信し、これを受信したサーバ装置1がリーチ距離の算出及び動作戦略の特定等の処理を行って処理結果を端末装置3へ送信する構成としたが、これに限るものではない。端末装置3が動画像に基づくリーチ距離の算出及び動作戦略の特定等の処理を行う構成、即ちサーバ装置1を用いずに端末装置3の単体で処理を行う構成であってもよい。
【0074】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【0075】
各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の2以上のクレームを引用するクレームを記載する形式(マルチクレーム形式)を用いているが、これに限るものではない。マルチクレームを少なくとも1つ引用するマルチクレーム(マルチマルチクレーム)を記載する形式を用いて記載してもよい。
【符号の説明】
【0076】
1 サーバ装置(情報処理装置、コンピュータ)
3 端末装置
11 処理部
11a 動画像取得部
11b 骨格抽出部
11c フレーム特定部
11d 距離算出部
11e 戦略特定部
11f 測定結果通知部
12 記憶部
12a サーバプログラム(コンピュータプログラム)
12b 対象者情報記憶部
13 通信部
31 処理部
31a 撮影処理部
31b 動画像送信処理部
31c 表示処理部
32 記憶部
32a プログラム
33 通信部
34 表示部
35 操作部
36 カメラ
98,99 記録媒体
101 対象者
102 ユーザ
N ネットワーク