ホーム > 特許ランキング > 株式会社エクサウィザーズ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-11-02
(45)【発行日】2022-11-11
(54)【発明の名称】情報処理方法、装置及びプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20221104BHJP
G06T 7/60 20170101ALI20221104BHJP
A61B 5/107 20060101ALI20221104BHJP
G06T 7/00 20170101ALI20221104BHJP
【ＦＩ】
G06T7/20 300Z
G06T7/60 180B
A61B5/107 300
G06T7/00 660B
【請求項の数】
10
(21)【出願番号】P 2021184507
(22)【出願日】2021-11-12
【審査請求日】2022-08-04
【早期審査対象出願】
(73)【特許権者】
【識別番号】517255566
【氏名又は名称】株式会社エクサウィザーズ
(72)【発明者】
【氏名】蛭田 興明
(72)【発明者】
【氏名】板橋 宣孝
(72)【発明者】
【氏名】石山 洸
【審査官】高松 大
(56)【参考文献】
【文献】中国特許出願公開第１１０９６９１１４（ＣＮ，Ａ）
【文献】国際公開第２０１８／１０５７２３（ＷＯ，Ａ１）
【文献】中国特許出願公開第１１１８１４７７２（ＣＮ，Ａ）
【文献】中国特許出願公開第１１３２５５６２２（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２０
Ｇ０６Ｔ ７／６０
Ａ６１Ｂ ５／１０７
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出処理と、
前記第１距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含み、
前記評価処理は、前記前屈動作の開始前の前記第１距離より、前記前屈動作中の前記第１距離が短い場合、前記前屈動作を高く評価する
情報処理方法。
【請求項2】
前記評価処理は、前記前屈動作の開始前の前記第１距離より、前記起き上り動作中の前記第１距離が短い場合、前記起き上がり動作を高く評価する請求項１に記載の情報処理方法。
【請求項3】
前記第１距離は、前記ユーザの腰又は尻から、前記ユーザの肩、喉、目、鼻、口又は頭までの距離である請求項１又は請求項２に記載の情報処理方法。
【請求項4】
前記動画は、前記ユーザを側方から撮影した動画である請求項１から請求項３までのいずれかに記載の情報処理方法。
【請求項5】
前記骨格情報に基づいて、基準線から前記ユーザの上半身までの距離である第２距離を算出する第２算出処理を更に含む請求項１から請求項４までのいずれかに記載の情報処理方法。
【請求項6】
前記第２距離は、前記基準線から前記ユーザの肩、喉、目、鼻、口又は頭までの距離である請求項５に記載の情報処理方法。
【請求項7】
前記基準線は、垂線又は前記前屈動作の開始前における前記ユーザの腰若しくは尻と前記ユーザの肩、喉、目、鼻、口若しくは頭を通る直線である請求項５又は請求項６に記載の情報処理方法。
【請求項8】
前記第２距離に基づいて、前記動画に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する判別処理を更に含む請求項５から請求項７までのいずれかに記載の情報処理方法。
【請求項9】
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得部と、前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出部と、
前記第１距離に基づいて、前記ユーザの動作を評価する評価部と、
を備え、
前記評価部は、前記前屈動作の開始前の前記第１距離より、前記前屈動作中の前記第１距離が短い場合、前記前屈動作を高く評価する
情報処理装置。
【請求項10】
情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出処理と、
前記第１距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含み、
前記評価処理は、前記前屈動作の開始前の前記第１距離より、前記前屈動作中の前記第１距離が短い場合、前記前屈動作を高く評価する
情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、装置及びプログラムに関する。
【背景技術】
【0002】
従来、動画から抽出した骨格情報を利用して、運動を評価する技術が知られている。例えば、引用文献１には、ユーザ端末に関連するユーザの身体の運動の評価を行うシステムであって、前記身体を撮像した画像を解析して前記身体の複数の部位を特定する画像解析部と、前記複数の部位の各々の動きを評価し、評価情報を生成する評価生成部と、ユーザ端末と指導者端末との間のコミュニケーション用画面を生成する画面生成部と、を有し、前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する、運動評価システムが開示されている。このシステムによれば、動画からピッチング等の運動を評価することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２１－４９２０８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
動画から立位体前屈の良し悪しを評価する技術が求められている。
【0005】
本発明は、上記の課題を鑑みてなされたものであり、動画から立位体前屈の良し悪しを評価することを目的とする。
【課題を解決するための手段】
【0006】
一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出処理と、前記第１距離に基づいて、前記ユーザの動作を評価する評価処理と、を含む情報処理方法。
【発明の効果】
【0007】
一実施形態によれば、動画から立位体前屈の良し悪しを評価することができる。
【図面の簡単な説明】
【0008】
【図1】立位体前屈を説明する模式図である。
【図2】本実施形態に係る情報処理システムの構成の一例を示す図である。
【図3】情報処理装置のハードウェア構成の一例を示す図である。
【図4】評価装置の機能構成の一例を示す図である。
【図5】上体長Ｌを説明する図である。
【図6】前屈距離Ｄを説明する図である。
【図7】評価装置１が実行する処理の一例を示すフローチャートである。
【図8】前屈距離Ｄ及び上体長Ｌ（比率Ｌ／Ｌｒ）の一例を示す図である。
【図9】前屈距離Ｄ及び上体長Ｌ（比率Ｌ／Ｌｒ）の一例を示す図である。
【図10】立位体前屈を説明する模式図である。
【図11】ユーザ端末に表示される評価結果の表示画面の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0010】
＜システム概要＞
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、ユーザ動画１２１に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知するシステムである。ユーザ動画１２１は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザは、立位体前屈を実施する人である。立位体前屈は、上半身を前屈させることにより背筋を伸ばすストレッチであり、ピラティスなどで取り入れられている。
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、ユーザ動画１２１に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知するシステムである。ユーザ動画１２１は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザは、立位体前屈を実施する人である。立位体前屈は、上半身を前屈させることにより背筋を伸ばすストレッチであり、ピラティスなどで取り入れられている。
【0011】
図１は、立位体前屈を説明する模式図である。図１に示すように、立位体前屈は、ユーザが直立した状態から、前屈動作（ロールダウン）を実施し、前屈した状態で停止し、起き上り動作（ロールアップ）を実施し、再び直立した状態に移行するまでの一連の動作である。
【0012】
＜システム構成＞
図２は、本実施形態に係る情報処理システムの構成の一例を示す図である。図２に示すように、本実施形態に係る情報処理システムは、ネットワークＮを介して相互に通信可能に接続された、評価装置１と、ユーザ端末２と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図２の例では、情報処理システムは、評価装置１及びユーザ端末２をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。
図２は、本実施形態に係る情報処理システムの構成の一例を示す図である。図２に示すように、本実施形態に係る情報処理システムは、ネットワークＮを介して相互に通信可能に接続された、評価装置１と、ユーザ端末２と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図２の例では、情報処理システムは、評価装置１及びユーザ端末２をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。
【0013】
評価装置１は、ユーザ動画１２１に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知する情報処理装置である。評価装置１は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。評価装置１について、詳しくは後述する。
【0014】
ユーザ端末２は、ユーザ動画１２１を評価装置１に送信し、立位体前屈の評価結果を表示する情報処理装置である。ユーザ端末２は、例えば、ＰＣ、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。ユーザ端末２は、外部装置からユーザ動画１２１を取得し、取得したユーザ動画１２１を評価装置１に送信してもよい。また、ユーザ端末２は、カメラを備え、そのカメラで撮影したユーザ動画１２１を評価装置１に送信してもよい。この場合、ユーザは、自分で自分のユーザ動画１２１を撮影してもよいし、ユーザ以外の撮影者に自分のユーザ動画１２１を撮影してもらってもよい。また、ユーザ動画１２１を送信するユーザ端末２と、評価結果を表示するユーザ端末２と、は異なる情報処理装置であってもよい。
【0015】
＜ハードウェア構成＞
次に、情報処理装置１００のハードウェア構成について説明する。図３は、情報処理装置１００のハードウェア構成の一例を示す図である。図３に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。
次に、情報処理装置１００のハードウェア構成について説明する。図３は、情報処理装置１００のハードウェア構成の一例を示す図である。図３に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。
【0016】
プロセッサ１０１は、ストレージ１０３に記憶されたＯＳ（Operating System）を含む各種のプログラムをメモリ１０２に展開して実行することにより、情報処理装置１００の各構成を制御し、情報処理装置１００の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。
【0017】
メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、又はこれらの組み合わせである。
【0018】
ストレージ１０３は、ＯＳを含む各種のプログラム及びデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。
【0019】
通信Ｉ／Ｆ１０４は、情報処理装置１００を、ネットワークＮを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信に準拠したアダプタであるが、これに限られない。
【0020】
入出力Ｉ／Ｆ１０５は、評価装置１に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。
【0021】
ドライブ装置１０６は、ディスクメディア１０９のデータを読み書きする。ドライブ装置１０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、又はこれらの組み合わせである。
【0022】
なお、本実施形態において、プログラムは、情報処理装置１００の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１００に提供されてもよいし、ディスクメディア１０９などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１００に提供されてもよい。
【0023】
【0024】
通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、ユーザ端末２との間で情報の送受信を行う。通信部１１は、ユーザ端末２からユーザ動画１２１を受信する。また、通信部１１は、ユーザ端末２に評価結果情報１２４を送信する。
【0025】
記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２には、ユーザ動画１２１、骨格情報１２２、距離情報１２３及び評価結果情報１２４が記憶される。
【0026】
ユーザ動画１２１は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザ動画１２１は、ユーザの前屈動作及び起き上がり動作の少なくとも一方の動作を撮影した動画であればよい。また、ユーザ動画１２１は、複数回の立位体前屈を撮影した動画であってもよい。
【0027】
骨格情報１２２は、ユーザ動画１２１に写ったユーザの体（骨格）における複数の特徴点の座標を示す情報である。特徴点は、例えば、頭、目、鼻、口、肩、喉、肘、手首、指、腰、尻、膝、くるぶし、踵、又は爪先であるが、これに限られない。骨格情報１２２は、ユーザ動画１２１の各フレームと対応した時系列情報として記憶される。
【0028】
距離情報１２３は、後述する第１算出部１３３及び第２算出部１３４により算出された上体長Ｌ及び前屈距離Ｄを示す情報である。上体長Ｌ及び前屈距離Ｄは、ユーザ動画１２１の各フレームと対応した時系列情報として記憶される。上体長Ｌ及び前屈距離Ｄについて、詳しくは後述する。
【0029】
評価結果情報１２４は、ユーザの立位体前屈の良し悪しを評価した評価結果を示す情報である。評価結果は、評価項目ごとの評価値であってもよいし、評価項目ごとのコメント又はアドバイスであってもよい。評価項目は、例えば、背中の伸び具合、速度、及び前屈の深さの少なくとも１つを含む。
【0030】
制御部１３は、プロセッサ１０１がメモリ１０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、評価装置１の動作全体を制御する。制御部１３は、取得部１３１と、抽出部１３２と、第１算出部１３３と、第２算出部１３４と、判別部１３５と、評価部１３６と、通知部１３７と、を備える。
【0031】
取得部１３１は、通信部１１がユーザ端末２から受信したユーザ動画１２１を取得し、記憶部１２に保存する。
【0032】
抽出部１３２は、骨格抽出（姿勢推定）処理により、記憶部１２に保存されたユーザ動画１２１から、ユーザ動画１２１に写ったユーザの骨格情報１２２を抽出し、記憶部１２に保存する。抽出部１３２は、任意の骨格抽出方法を利用できる。
【0033】
第１算出部１３３は、ユーザ動画１２１の各フレームに対応する骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応するユーザの上体長Ｌを算出する。上体長Ｌは、ユーザの上半身の２点間の距離であり、第１距離に相当する。より詳細には、上体長Ｌは、ユーザの上半身における、下方の特徴点から上方の特徴点までの距離である。例えば、下方の特徴点は腰又は尻であり、上方の特徴点は肩、喉、目、鼻、口又は頭であるが、これに限られない。第１算出部１３３は、ユーザ動画１２１の各フレームに対応する上体長Ｌを示す距離情報を時系列情報として記憶部１２に保存する。
【0034】
図５は、上体長Ｌを説明する図である。図５に示すように、上体長Ｌは、ユーザの上半身における下方の特徴点から上方の特徴点までの、画像（フレーム）上での直線距離となる。図５の例では、上体長Ｌは、腰から肩までの距離であるが、これに限られない。
【0035】
第２算出部１３４は、ユーザ動画１２１の各フレームに対応する骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応するユーザの前屈距離Ｄを算出する。前屈距離Ｄは、基準線Ｒからユーザの上半身までの距離であり、第２距離に相当する。より詳細には、前屈距離Ｄは、基準線Ｒからユーザの上半身における特徴点までの距離である。例えば、ユーザの上半身における特徴点は、肩、喉、目、鼻、口又は頭であるが、これに限られない。基準線Ｒは、ユーザの前屈の程度に応じてユーザの上半身までの距離が変化する任意の直線であり得る。基準線Ｒは、例えば、ユーザ動画１２１の画像（フレーム）上における任意の垂線である。また、基準線Ｒは、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線であってもよい。第２算出部１３４は、ユーザ動画１２１の各フレームに対応する前屈距離Ｄを示す距離情報を時系列情報として記憶部１２に保存する。
【0036】
図６は、前屈距離Ｄを説明する図である。図６に示すように、前屈距離Ｄは、ユーザの上半身における特徴点から基準線Ｒまでの、画像（フレーム）上での直線距離となる。図６の例では、前屈距離Ｄは、ユーザの肩から、前屈動作の開始前におけるユーザの腰と肩を通る直線までの距離であるが、これに限られない。
【0037】
判別部１３５は、前屈距離Ｄに基づいて、ユーザ動画１２１におけるユーザの各動作部分を判別する。より詳細には、判別部１３５は、ユーザ動画１２１に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する。前屈動作部分は、ユーザ動画１２１において、ユーザが前屈動作を実施しているところを撮影した部分のことである。起き上がり動作部分は、ユーザ動画１２１において、ユーザが起き上がり動作を実施しているところを撮影した部分のことである。判別方法については後述する。
【0038】
評価部１３６は、上体長Ｌに基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果を示す評価結果情報１２４を記憶部１２に保存する。評価方法については後述する。
【0039】
通知部１３７は、記憶部１２に保存された評価結果情報１２４をユーザ端末２に送信し、ユーザに評価結果を通知する。
【0040】
＜評価装置が実行する処理＞
次に、評価装置１が実行する処理について説明する。図７は、評価装置１が実行する処理の一例を示すフローチャートである。
次に、評価装置１が実行する処理について説明する。図７は、評価装置１が実行する処理の一例を示すフローチャートである。
【0041】
（ステップＳ１０１）
取得部１３１は、通信部１１がユーザ端末２から受信したユーザ動画１２１を取得し、記憶部１２に保存する。
取得部１３１は、通信部１１がユーザ端末２から受信したユーザ動画１２１を取得し、記憶部１２に保存する。
【0042】
（ステップＳ１０２）
抽出部１３２は、骨格抽出処理により、記憶部１２に保存されたユーザ動画１２１から、ユーザ動画１２１に写ったユーザの骨格情報１２２を抽出し、記憶部１２に保存する。
抽出部１３２は、骨格抽出処理により、記憶部１２に保存されたユーザ動画１２１から、ユーザ動画１２１に写ったユーザの骨格情報１２２を抽出し、記憶部１２に保存する。
【0043】
（ステップＳ１０３）
第１算出部１３３は、記憶部１２に保存された骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応する上体長Ｌを算出する。第１算出部１３３は、算出部した上体長Ｌを距離情報１２３として記憶部１２に保存する。
第１算出部１３３は、記憶部１２に保存された骨格情報１２２に基づいて、ユーザ動画１２１の各フレームに対応する上体長Ｌを算出する。第１算出部１３３は、算出部した上体長Ｌを距離情報１２３として記憶部１２に保存する。
【0044】
（ステップＳ１０４）
第２算出部１３４は、記憶部１２に保存された骨格情報１２２に基づいて、ユーザ動画１２１における基準線Ｒを設定する。第２算出部１３４は、ユーザ動画１２１の最初のフレームにおける、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Ｒとして設定してもよい。また、第２算出部１３４は、何らかの方法で前屈動作の開始タイミングを検出し、検出した開始タイミングの直前のフレームにおけるユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Ｒとして設定してもよい。いずれの方法でも、第２算出部１３４は、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Ｒに設定することができる。
第２算出部１３４は、記憶部１２に保存された骨格情報１２２に基づいて、ユーザ動画１２１における基準線Ｒを設定する。第２算出部１３４は、ユーザ動画１２１の最初のフレームにおける、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Ｒとして設定してもよい。また、第２算出部１３４は、何らかの方法で前屈動作の開始タイミングを検出し、検出した開始タイミングの直前のフレームにおけるユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Ｒとして設定してもよい。いずれの方法でも、第２算出部１３４は、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口又は頭と、を通る直線を基準線Ｒに設定することができる。
【0045】
（ステップＳ１０５）
第２算出部１３４は、ステップＳ１０４で設定した基準線Ｒと、ユーザ動画１２１の各フレームに対応する骨格情報１２２と、に基づいて、ユーザ動画１２１の各フレームに対応するユーザの前屈距離Ｄを算出する。第２算出部１３４は、算出部した前屈距離Ｄを距離情報１２３として記憶部１２に保存する。
第２算出部１３４は、ステップＳ１０４で設定した基準線Ｒと、ユーザ動画１２１の各フレームに対応する骨格情報１２２と、に基づいて、ユーザ動画１２１の各フレームに対応するユーザの前屈距離Ｄを算出する。第２算出部１３４は、算出部した前屈距離Ｄを距離情報１２３として記憶部１２に保存する。
【0046】
（ステップＳ１０６）
判別部１３５は、ステップＳ１０５で算出した前屈距離Ｄに基づいて、ユーザ動画１２１におけるユーザの各動作部分を判別する。
判別部１３５は、ステップＳ１０５で算出した前屈距離Ｄに基づいて、ユーザ動画１２１におけるユーザの各動作部分を判別する。
【0047】
ここで、図８及び図９は、前屈距離Ｄ及び上体長Ｌ（比率Ｌ／Ｌｒ）の一例を示す図である。図８は、ユーザが良い立位体前屈を実施した場合の前屈距離Ｄ及び上体長Ｌ（比率Ｌ／Ｌｒ）を示す図である。図９は、ユーザが悪い立位体前屈を実施した場合の前屈距離Ｄ及び上体長Ｌ（比率Ｌ／Ｌｒ）を示す図である。図８及び図９の例では、ユーザが立位体前屈を３回実行した場合の前屈距離Ｄ及び上体長Ｌが時系列で示されている。
【0048】
図８及び図９に示すように、前屈距離Ｄは、直立している間は小さく、前屈動作中に急激に大きくなり、停止中はほぼ一定となり、起き上がり動作中に急激に小さくなる。このため、判別部１３５は、例えば、前屈距離Ｄが閾値以下で安定した値からピークまで所定の勢いで上昇する部分を前屈動作部分と判別し、前屈距離Ｄがピークから閾値以下の値まで所定の勢いで下降する部分を起き上がり部分と判別し、前屈動作部分と起き上がり動作部分との間を停止部分と判別し、残りの部分を直立部分と判別することにより、ユーザ動画１２１を図８及び図９のように各動作部分に判別することができる。なお、判別方法は、上記の例に限られない。
【0049】
（ステップＳ１０７）
第１算出部１３３は、記憶部１２に保存された上体長Ｌと、判別部１３５による各動作部分の判別結果と、に基づいて、基準長Ｌｒを設定する。基準長Ｌｒは、上体長Ｌの基準となる長さであって、直立状態のユーザの上体長Ｌに相当する。第１算出部１３３は、ユーザ動画１２１における最初の直立部分の上体長Ｌに基づいて基準長Ｌｒを設定すればよい。基準長Ｌｒは、例えば、最初の直立部分の最後のフレームの上体長Ｌ、最初の直立部分の最初のフレームの上体長Ｌ、又は最初の直立部分の上体長Ｌの平均値であるが、これに限られない。
第１算出部１３３は、記憶部１２に保存された上体長Ｌと、判別部１３５による各動作部分の判別結果と、に基づいて、基準長Ｌｒを設定する。基準長Ｌｒは、上体長Ｌの基準となる長さであって、直立状態のユーザの上体長Ｌに相当する。第１算出部１３３は、ユーザ動画１２１における最初の直立部分の上体長Ｌに基づいて基準長Ｌｒを設定すればよい。基準長Ｌｒは、例えば、最初の直立部分の最後のフレームの上体長Ｌ、最初の直立部分の最初のフレームの上体長Ｌ、又は最初の直立部分の上体長Ｌの平均値であるが、これに限られない。
【0050】
（ステップＳ１０８）
第１算出部１３３は、記憶部１２に保存された上体長Ｌと、ステップＳ１０７で算出した基準長Ｌｒと、に基づいて、ユーザ動画１２１の各フレームに対応する、上体長Ｌと基準長Ｌｒの比率Ｌ／Ｌｒを算出する。第１算出部１３３は、算出した比率Ｌ／Ｌｒを距離情報１２３として記憶部１２に保存する。
第１算出部１３３は、記憶部１２に保存された上体長Ｌと、ステップＳ１０７で算出した基準長Ｌｒと、に基づいて、ユーザ動画１２１の各フレームに対応する、上体長Ｌと基準長Ｌｒの比率Ｌ／Ｌｒを算出する。第１算出部１３３は、算出した比率Ｌ／Ｌｒを距離情報１２３として記憶部１２に保存する。
【0051】
（ステップＳ１０９）
評価部１３６は、記憶部１２に保存された比率Ｌ／Ｌｒと、判別部１３５による各動作部分の判別結果と、に基づいて、ユーザの立位体前屈を評価する。評価項目として、背中の伸び具合、速度、及び前屈の深さが挙げられる。
評価部１３６は、記憶部１２に保存された比率Ｌ／Ｌｒと、判別部１３５による各動作部分の判別結果と、に基づいて、ユーザの立位体前屈を評価する。評価項目として、背中の伸び具合、速度、及び前屈の深さが挙げられる。
【0052】
【0053】
（１）背中の伸び具合について
図１に示すように、立位体前屈は、背中の筋肉を伸ばすために、首を前方に曲げ、背中を丸めた状態で前屈動作を実施するのが好ましい。このため、ユーザが適切に前屈動作を実施した場合、前屈動作の開始前の上体長Ｌである基準長Ｌｒより、前屈動作中の上体長Ｌは短くなる。すなわち、図８に示すように、前屈動作中の比率Ｌ／Ｌｒが１より小さくなる。
図１に示すように、立位体前屈は、背中の筋肉を伸ばすために、首を前方に曲げ、背中を丸めた状態で前屈動作を実施するのが好ましい。このため、ユーザが適切に前屈動作を実施した場合、前屈動作の開始前の上体長Ｌである基準長Ｌｒより、前屈動作中の上体長Ｌは短くなる。すなわち、図８に示すように、前屈動作中の比率Ｌ／Ｌｒが１より小さくなる。
【0054】
同様に、立位体前屈は、首を前方に曲げ、背中を丸めた状態で起き上がり動作を実施するのが好ましい。このため、ユーザが適切に起き上がり動作を実施した場合、前屈動作の開始前の上体長Ｌである基準長Ｌｒより、起き上がり動作中の上体長Ｌは短くなる。すなわち、図８に示すように、起き上がり動作中の比率Ｌ／Ｌｒが１より小さくなる。
【0055】
一方、図１０に示すように、立位体前屈は、首及び背中を真っ直ぐにした状態で前屈動作を実施した場合、背中の筋肉があまり伸びないため、十分な効果を得られない。このため、ユーザが適切に前屈動作を実施しなかった場合、前屈動作の開始前の上体長Ｌである基準長Ｌｒと、起き上がり動作中の上体長Ｌと、は略等しくなる。すなわち、図９に示すように、起き上がり動作中の比率Ｌ／Ｌｒが略１となる。
【0056】
同様に、立位体前屈は、首及び背中を真っ直ぐにした状態で起き上がり動作を実施した場合、十分な効果を得られない。このため、ユーザが適切に起き上がり動作を実施しなかった場合、起き上がり動作の開始前の上体長Ｌである基準長Ｌｒと、起き上がり動作中の上体長Ｌと、は略等しくなる。すなわち、図９に示すように、起き上がり動作中の比率Ｌ／Ｌｒが略１となる。
【0057】
そこで、評価部１３６は、前屈動作中の比率Ｌ／Ｌｒが１より小さい場合、ユーザの立位体前屈（前屈動作）における背中の伸び具合を高く評価する。評価部１３６は、前屈動作中の比率Ｌ／Ｌｒの平均値が１より小さいほど評価を高くしてもよいし、前屈動作中に比率Ｌ／Ｌｒが１より小さい期間が長いほど評価を高くしてもよい。これにより、図８の例では、３回の前屈動作がいずれも高く評価される。一方、図９の例では、１回目の前屈動作のみ高く評価され、残り２回の前屈動作は低く評価される。
【0058】
同様に、評価部１３６は、起き上がり動作中の比率Ｌ／Ｌｒが１より小さい場合、ユーザの立位体前屈（起き上がり動作）における背中の伸び具合を高く評価する。評価部１３６は、起き上がり動作中の比率Ｌ／Ｌｒの平均値が１より小さいほど評価を高くしてもよいし、起き上がり動作中に比率Ｌ／Ｌｒが１より小さい期間が長いほど評価を高くしてもよい。これにより、図８の例では、３回の起き上がり動作がいずれも高く評価される。一方、図９の例では、３回の起き上がり動作がいずれも低く評価される。
【0059】
（２）速度について
立位体前屈では、勢いをつけて前屈動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで前屈動作を実施するのが好ましい。そこで、例えば、評価部１３６は、前屈動作の時間が長いほど、ユーザの立位体前屈（前屈動作）における速度を高く評価する。また、評価部１３６は、前屈動作の速度（前屈距離Ｄの傾き）が一定であるほど、ユーザの立位体前屈（前屈動作）における速度を高く評価してもよい。
立位体前屈では、勢いをつけて前屈動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで前屈動作を実施するのが好ましい。そこで、例えば、評価部１３６は、前屈動作の時間が長いほど、ユーザの立位体前屈（前屈動作）における速度を高く評価する。また、評価部１３６は、前屈動作の速度（前屈距離Ｄの傾き）が一定であるほど、ユーザの立位体前屈（前屈動作）における速度を高く評価してもよい。
【0060】
同様に、立位体前屈では、勢いをつけて起き上がり動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで起き上がり動作を実施するのが好ましい。そこで、例えば、評価部１３６は、起き上がり動作の時間が長いほど、ユーザの立位体前屈（起き上がり動作）における速度を高く評価する。また、評価部１３６は、起き上がり動作の速度（前屈距離Ｄの傾き）が一定であるほど、ユーザの立位体前屈（起き上がり動作）における速度を高く評価してもよい。
【0061】
（３）前屈の深さについて
立位体前屈は、背中の筋肉を伸ばすため、深く前屈するほど好ましい。そこで、例えば、評価部１３６は、停止中における上半身の傾きが垂直（鉛直）に近いほど、ユーザの立位体前屈における前屈の深さを高く評価する。上半身の傾きは、例えば、前屈距離Ｄを算出するために利用するユーザの上半身の２点間を結ぶ直線の傾きであるが、これに限られない。
立位体前屈は、背中の筋肉を伸ばすため、深く前屈するほど好ましい。そこで、例えば、評価部１３６は、停止中における上半身の傾きが垂直（鉛直）に近いほど、ユーザの立位体前屈における前屈の深さを高く評価する。上半身の傾きは、例えば、前屈距離Ｄを算出するために利用するユーザの上半身の２点間を結ぶ直線の傾きであるが、これに限られない。
【0062】
評価部１３６は、以上のような方法で評価したユーザの立位体前屈の評価結果を示す評価結果情報１２４を記憶部１２に保存する。なお、評価部１３６による評価方法は、上記の例に限られない。
【0063】
（ステップＳ１１０）
通知部１３７は、記憶部１２に保存された評価結果情報１２４をユーザ端末２に送信することにより、ユーザに評価結果を通知する。ユーザ端末２は、評価結果情報１２４を受信すると、評価結果情報１２４が示す評価結果をディスプレイに表示する。
通知部１３７は、記憶部１２に保存された評価結果情報１２４をユーザ端末２に送信することにより、ユーザに評価結果を通知する。ユーザ端末２は、評価結果情報１２４を受信すると、評価結果情報１２４が示す評価結果をディスプレイに表示する。
【0064】
図１１は、ユーザ端末２に表示される評価結果の表示画面の一例を示す図である。図１１の表示画面は、ユーザ動画１２１の再生領域Ｉｍ１と、評価値領域Ｉｍ２と、評価コメント領域Ｉｍ３と、を有する。再生領域Ｉｍ１は、ユーザ動画１２１を再生する。評価値領域Ｉｍ２は、立位体前屈の総合及び各評価項目の評価値（評価結果）を表示する。評価コメント領域Ｉｍ３は、ユーザの立位体前屈に対するコメント（評価結果）を表示する。なお、ユーザ端末２の表示画面に表示される評価結果は、図１１の例に限られない。
【0065】
＜まとめ＞
以上説明した通り、評価装置１は、ユーザ動画１２１から抽出した骨格情報１２２に基づいて上体長Ｌを算出し、上体長Ｌに基づいてユーザの立位体前屈を評価する。これにより、評価装置１は、立位体前屈における背中の伸び具合を評価することができる。
以上説明した通り、評価装置１は、ユーザ動画１２１から抽出した骨格情報１２２に基づいて上体長Ｌを算出し、上体長Ｌに基づいてユーザの立位体前屈を評価する。これにより、評価装置１は、立位体前屈における背中の伸び具合を評価することができる。
【0066】
また、評価装置１は、ユーザ動画１２１から抽出した骨格情報１２２に基づいて前屈距離Ｄを算出し、前屈距離Ｄに基づいてユーザ動画１２１における各動作部分を判別する。これにより、評価装置１は、ユーザ動画１２１の各動作部分を自動的に判別することができる。
【0067】
また、評価装置１は、ユーザ動画１２１から抽出した骨格情報１２２に基づいて前屈距離Ｄを算出し、前屈距離Ｄに基づいてユーザの立位体前屈を評価する。これにより、評価装置１は、立位体前屈における速度及び深さを評価することができる。
【0068】
＜付記＞
本実施形態は、以下の開示を含む。
本実施形態は、以下の開示を含む。
【0069】
（付記１）
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出処理と、
前記第１距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法。
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出処理と、
前記第１距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法。
【0070】
（付記２）
前記評価処理は、前記前屈動作の開始前の前記第１距離より、前記前屈動作中の前記第１距離が短い場合、前記前屈動作を高く評価する
付記１に記載の情報処理方法。
前記評価処理は、前記前屈動作の開始前の前記第１距離より、前記前屈動作中の前記第１距離が短い場合、前記前屈動作を高く評価する
付記１に記載の情報処理方法。
【0071】
（付記３）
前記評価処理は、前記前屈動作の開始前の前記第１距離より、前記起き上り動作中の前記第１距離が短い場合、前記起き上がり動作を高く評価する
付記１又は付記２に記載の情報処理方法。
前記評価処理は、前記前屈動作の開始前の前記第１距離より、前記起き上り動作中の前記第１距離が短い場合、前記起き上がり動作を高く評価する
付記１又は付記２に記載の情報処理方法。
【0072】
（付記４）
前記第１距離は、前記ユーザの腰又は尻から、前記ユーザの肩、喉、目、鼻、口又は頭までの距離である
付記１から付記３までのいずれかに記載の情報処理方法。
前記第１距離は、前記ユーザの腰又は尻から、前記ユーザの肩、喉、目、鼻、口又は頭までの距離である
付記１から付記３までのいずれかに記載の情報処理方法。
【0073】
（付記５）
前記動画は、前記ユーザを側方から撮影した動画である
付記１から付記４までのいずれかに記載の情報処理方法。
前記動画は、前記ユーザを側方から撮影した動画である
付記１から付記４までのいずれかに記載の情報処理方法。
【0074】
（付記６）
前記骨格情報に基づいて、基準線から前記ユーザの上半身までの距離である第２距離を算出する第２算出処理を更に含む
付記１から付記５までのいずれかに記載の情報処理方法。
前記骨格情報に基づいて、基準線から前記ユーザの上半身までの距離である第２距離を算出する第２算出処理を更に含む
付記１から付記５までのいずれかに記載の情報処理方法。
【0075】
（付記７）
前記第２距離は、前記基準線から前記ユーザの肩、喉、目、鼻、口又は頭までの距離である
付記６に記載の情報処理方法。
前記第２距離は、前記基準線から前記ユーザの肩、喉、目、鼻、口又は頭までの距離である
付記６に記載の情報処理方法。
【0076】
（付記８）
前記基準線は、垂線又は前記前屈動作の開始前における前記ユーザの腰若しくは尻と前記ユーザの肩、喉、目、鼻、口若しくは頭を通る直線である
付記６又は付記７に記載の情報処理方法。
前記基準線は、垂線又は前記前屈動作の開始前における前記ユーザの腰若しくは尻と前記ユーザの肩、喉、目、鼻、口若しくは頭を通る直線である
付記６又は付記７に記載の情報処理方法。
【0077】
（付記９）
前記第２距離に基づいて、前記動画に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する判別処理を更に含む
付記６から付記８までのいずれかに記載の情報処理方法。
前記第２距離に基づいて、前記動画に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する判別処理を更に含む
付記６から付記８までのいずれかに記載の情報処理方法。
【0078】
（付記１０）
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得部と、
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出部と、
前記第１距離に基づいて、前記ユーザの動作を評価する評価部と、
を備える情報処理装置。
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得部と、
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出部と、
前記第１距離に基づいて、前記ユーザの動作を評価する評価部と、
を備える情報処理装置。
【0079】
（付記１１）
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出処理と、
前記第１距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出処理と、
前記第１距離に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。
【0080】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0081】
１：評価装置
２：ユーザ端末
１１：通信部
１２：記憶部
１３：制御部
１０１：プロセッサ
１０２：メモリ
１０３：ストレージ
１０４：通信Ｉ／Ｆ
１０５：入出力Ｉ／Ｆ
１０６：ドライブ装置
１０７：入力装置
１０８：出力装置
１０９：ディスクメディア
１２１：ユーザ動画
１２２：骨格情報
１２３：距離情報
１２４：評価結果情報
１３１：取得部
１３２：抽出部
１３３：第１算出部
１３４：第２算出部
１３５：判別部
１３６：評価部
１３７：通知部
２：ユーザ端末
１１：通信部
１２：記憶部
１３：制御部
１０１：プロセッサ
１０２：メモリ
１０３：ストレージ
１０４：通信Ｉ／Ｆ
１０５：入出力Ｉ／Ｆ
１０６：ドライブ装置
１０７：入力装置
１０８：出力装置
１０９：ディスクメディア
１２１：ユーザ動画
１２２：骨格情報
１２３：距離情報
１２４：評価結果情報
１３１：取得部
１３２：抽出部
１３３：第１算出部
１３４：第２算出部
１３５：判別部
１３６：評価部
１３７：通知部
【要約】
【課題】 動画から立位体前屈の良し悪しを評価する。
【解決手段】
一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出処理と、前記第１距離に基づいて、前記ユーザの動作を評価する評価処理と、を含む情報処理方法。
【選択図】図８
【解決手段】
一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの上半身の２点間の距離である第１距離を算出する第１算出処理と、前記第１距離に基づいて、前記ユーザの動作を評価する評価処理と、を含む情報処理方法。
【選択図】図８
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
