(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024044896
(43)【公開日】2024-04-02
(54)【発明の名称】情報処理方法、情報処理装置及びプログラム
(51)【国際特許分類】
A61B 5/11 20060101AFI20240326BHJP
【FI】
A61B5/11 120
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022150707
(22)【出願日】2022-09-21
(71)【出願人】
【識別番号】517255566
【氏名又は名称】株式会社エクサウィザーズ
(71)【出願人】
【識別番号】509264475
【氏名又は名称】株式会社ZEN PLACE
(72)【発明者】
【氏名】蛭田 興明
(72)【発明者】
【氏名】板橋 宣孝
(72)【発明者】
【氏名】石山 洸
(72)【発明者】
【氏名】笠原 裕司
(72)【発明者】
【氏名】ビヨルン デメイヤー
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VA05
4C038VB01
4C038VC05
(57)【要約】
【課題】 動画から膝屈曲位状態での運動のための動作の良し悪しを評価する。
【解決手段】
一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、膝屈曲位状態のユーザにおける当該ユーザの臀部を上方へ上げる動作及び下方へ下げる動作の少なくとも一方を含む評価対象動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの腰屈曲度を算出する算出処理と、前記腰屈曲度に基づいて、前記評価対象動作を評価する評価処理と、を含む
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報処理装置が実行する情報処理方法であって、
膝屈曲位状態のユーザにおける当該ユーザの臀部を上方へ上げる動作及び下方へ下げる動作の少なくとも一方を含む評価対象動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの腰屈曲度を算出する算出処理と、
前記腰屈曲度に基づいて、前記評価対象動作を評価する評価処理と、
を含む情報処理方法。
【請求項2】
前記腰屈曲度は、前記ユーザにおける、肩又は首と腰とを結ぶ仮想の第1直線と、当該腰と膝とを結ぶ仮想の第2直線と、で成す第1角度とされている、
請求項1に記載の情報処理方法。
【請求項3】
前記腰屈曲度は、
前記ユーザにおける、肩又は首と腰とを結ぶ仮想の第1直線と、当該腰と膝とを結ぶ仮想の第2直線と、で成す第1角度と、
前記ユーザにおける、胸又は背中と前記腰とを結ぶ仮想の第3直線と、前記第2直線と、で成す第2角度と、の差分とされている、
請求項1に記載の情報処理方法。
【請求項4】
前記情報処理装置は、前記評価処理において、前記差分の正負が反転しない場合、前記評価対象動作を高く評価する、
請求項3に記載の情報処理方法。
【請求項5】
前記腰屈曲度は、前記ユーザにおける、首と膝とを結ぶ仮想の第4直線と、臀部と、の距離とされている、
請求項1に記載の情報処理方法。
【請求項6】
前記腰屈曲度は、前記ユーザにおける、腰と膝とを結ぶ仮想の第5直線の長さである、
請求項1に記載の情報処理方法。
【請求項7】
前記情報処理装置は、前記算出処理において、前記骨格情報に基づいて、前記ユーザの首屈曲度を算出すると共に、
前記評価処理において、前記首屈曲度にも基づいて、前記ユーザの動作を評価する、
請求項1に記載の情報処理方法。
【請求項8】
前記首屈曲度は、前記ユーザにおける、目と首とを結ぶ仮想の第6直線と、当該首と胸とを結ぶ仮想の第7直線と、で成す第3角度とされている、
請求項7に記載の情報処理方法。
【請求項9】
前記動画は、前記ユーザを側方から撮影した動画である、
請求項1に記載の情報処理方法。
【請求項10】
前記情報処理装置は、前記評価処理にて前記評価対象動作に対してなされた評価に応じて、前記ユーザへ報酬を付与する情報を記録する、
請求項1に記載の情報処理方法。
【請求項11】
前記報酬は、ブロックチェーン上のトークンとして記録される、
請求項10に記載の情報処理方法。
【請求項12】
前記報酬は、通貨と交換可能な価値として記録される、
請求項10に記載の情報処理方法。
【請求項13】
膝屈曲位状態のユーザにおける当該ユーザの臀部を上方へ上げる動作及び下方へ下げる動作の少なくとも一方を含む評価対象動作を撮影した動画を取得する取得部と、
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの腰屈曲度を算出する算出部と、
前記腰屈曲度に基づいて、前記評価対象動作を評価する評価部と、
を有する情報処理装置。
【請求項14】
膝屈曲位状態のユーザにおける当該ユーザの臀部を上方へ上げる動作及び下方へ下げる動作の少なくとも一方を含む評価対象動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの腰屈曲度を算出する算出処理と、
前記腰屈曲度に基づいて、前記評価対象動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、動画から抽出した骨格情報を利用して、運動を評価する技術が知られている。例えば、引用文献1には、ユーザ端末に関連するユーザの身体の運動の評価を行うシステムであって、前記身体を撮像した画像を解析して前記身体の複数の部位を特定する画像解析部と、前記複数の部位の各々の動きを評価し、評価情報を生成する評価生成部と、ユーザ端末と指導者端末との間のコミュニケーション用画面を生成する画面生成部と、を有し、前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する、運動評価システムが開示されている。このシステムによれば、動画からピッチング等の運動を評価することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
動画から膝屈曲位状態での運動のための動作の良し悪しを評価する技術が求められている。
【0005】
本発明は、上記の課題を鑑みてなされたものであり、動画から膝屈曲位状態での運動のための動作の良し悪しを評価することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の保持装置は、装置を保持する装置保持部と、固定部位に取り付けられる固定ガイド部と、前記装置保持部と結合されかつ前記固定ガイド部と嵌合する嵌合部を備えた嵌合本体部と、を有している。
【0007】
一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、膝屈曲位状態のユーザにおける当該ユーザの臀部を上方へ上げる動作及び下方へ下げる動作の少なくとも一方を含む評価対象動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの腰屈曲度を算出する算出処理と、前記腰屈曲度に基づいて、前記評価対象動作を評価する評価処理と、を含む。
【発明の効果】
【0008】
一実施形態によれば、動画から膝屈曲位状態での運動のための動作の良し悪しを評価することができる。
【図面の簡単な説明】
【0009】
【
図2】第1実施形態に係る情報処理システムの構成の一例を示す図である。
【
図3】第1実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【
図4】第1実施形態に係る評価装置の機能構成一例を示す図である。
【
図5】評価指標である第1角度θ1を説明する図である。
【
図6】評価指標である第2角度θ2を説明する図である。
【
図7】第1実施形態に係る評価装置が実行する処理の一例を示すフローチャートである。
【
図8】高評価時の第1角度θ1、第2角度θ2及び第1角度θ1と第2角度θ2との差分の一例を示す図である。
【
図9】非高評価時の第1角度θ1、第2角度θ2及び第1角度θ1と第2角度θ2との差分の一例を示す図である。
【
図10】ユーザ端末に表示される評価結果の表示画面の一例を示す図である。
【
図11】第2実施形態に係る評価装置の機能構成一例を示す図である。
【
図12】評価指標である第1距離D1を説明する図である。
【
図13】第2実施形態に係る評価装置が実行する処理の一例を示すフローチャートである。
【
図14】高評価時の第1距離D1及び第1距離D1の時間変化率の一例を示す図である。
【
図15】非高評価時の第1距離D1及び第1距離D1の時間変化率の一例を示す図である。
【
図16】第3実施形態に係る評価装置の機能構成一例を示す図である。
【
図17】評価指標である第2距離D2を説明する図である。
【
図18】第3実施形態に係る評価装置が実行する処理の一例を示すフローチャートである。
【
図19】高評価時の第2距離D2及び第2距離D2の時間変化率の一例を示す図である。
【
図20】非高評価時の第2距離D2及び第2距離D2の時間変化率の一例を示す図である。
【
図21】第4実施形態に係る評価装置の機能構成一例を示す図である。
【
図22】評価指標である第3角度θ3を説明する図である。
【
図23】第4実施形態に係る評価装置が実行する処理の一例を示すフローチャートである。
【
図24】高評価時の第3角度θ3及び第3角度θ3の時間変化率の一例を示す図である。
【
図25】非高評価時の第3角度θ3及び第3角度θ3の時間変化率の一例を示す図である。
【
図26】第5実施形態に係る情報処理システムの構成の一例を示す図である。
【
図27】第5実施形態に係る評価装置の機能構成一例を示す図である。
【
図28】第5実施形態に係る情報処理システムの処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【0010】
(第1実施形態)
以下、
図1~
図10用いて、本発明に係る情報処理システムの一実施形態について説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0011】
<システム概要>
まず、本実施形態に係る情報処理システム10の概要について説明する。本実施形態に係る情報処理システム10は、ユーザ動画121に基づいて、ユーザのペルビックカールの良し悪しを評価し、評価結果をユーザに通知するシステムである。ユーザ動画121は、ユーザが実施したペルビックカールをユーザの側方から撮影した動画である。ユーザは、ペルビックカールを実施する人である。ペルビックカールは、膝屈曲位状態にて臀部を上方へ上げる動作及び下方へ下げる動作を行うことにより背筋を伸ばすストレッチであり、ピラティスなどで取り入れられている。なお、ペルビックカールが請求項1に記載の「膝屈曲位状態のユーザにおける当該ユーザの臀部を上方へ上げる動作及び下方へ下げる動作」に相当する。
【0012】
図1は、ペルビックカールを説明する模式図である。
図1に示すように、ペルビックカールは、ユーザが仰向けになり膝を立てた状態(膝屈曲位)から、臀部から背骨を一つ一つ上方側へ上げるイメージにて肩、腰及び膝が身体側面視にて略直線となる所まで上げて、臀部を下方側へ下げて再び膝屈曲位へ移行するまでの一連の動作である。
【0013】
<システム構成>
図2は、本実施形態に係る情報処理システム10の構成の一例を示す図である。
図2に示すように、本実施形態に係る情報処理システム10は、ネットワークNを介して相互に通信可能に接続された、評価装置1と、ユーザ端末2と、を備える。ネットワークNは、例えば、有線LAN(Local Area Network)、無線LAN、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。
図2の例では、情報処理システム10は、評価装置1及びユーザ端末2をそれぞれ1つずつ備えるが、それぞれ複数備えてもよい。
【0014】
評価装置1は、ユーザ動画121に基づいて、ユーザのペルビックカールの良し悪しを評価し、評価結果をユーザに通知する情報処理装置である。評価装置1は、例えば、PC(Personal Computer)、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。評価装置1について、詳しくは後述する。
【0015】
ユーザ端末2は、ユーザ動画121を評価装置1に送信し、ペルビックカールの評価結果を表示する情報処理装置である。ユーザ端末2は、例えば、PC、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。ユーザ端末2は、外部装置からユーザ動画121を取得し、取得したユーザ動画121を評価装置1に送信してもよい。また、ユーザ端末2は、カメラを備え、そのカメラで撮影したユーザ動画121を評価装置1に送信してもよい。この場合、ユーザは、自分で自分のユーザ動画121を撮影してもよいし、ユーザ以外の撮影者に自分のユーザ動画121を撮影してもらってもよい。また、ユーザ動画121を送信するユーザ端末2と、評価結果を表示するユーザ端末2と、は異なる情報処理装置であってもよい。
【0016】
<ハードウェア構成>
次に、情報処理装置100のハードウェア構成について説明する。
図3は、情報処理装置100のハードウェア構成の一例を示す図である。
図3に示すように、情報処理装置100は、バスBを介して相互に接続された、プロセッサ101と、メモリ102と、ストレージ103と、通信I/F104と、入出力I/F105と、ドライブ装置106と、を備える。
【0017】
プロセッサ101は、ストレージ103に記憶されたOS(Operating System)を含む各種のプログラムをメモリ102に展開して実行することにより、情報処理装置100の各構成を制御し、情報処理装置100の機能を実現する。プロセッサ101は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、又はこれらの組み合わせである。
【0018】
メモリ102は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、又はこれらの組み合わせである。ROMは、例えば、PROM(Programmable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically ErasableProgrammable ROM)、又はこれらの組み合わせである。RAMは、例えば、DRAM(Dynamic RAM)、SRAM(Static RAM)、又はこれらの組み合わせである。
【0019】
ストレージ103は、OSを含む各種のプログラム及びデータを記憶する。ストレージ103は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SCM(Storage Class Memories)、又はこれらの組み合わせである。
【0020】
通信I/F104は、情報処理装置100を、ネットワークNを介して外部装置に接続し、通信を制御するためのインタフェースである。通信I/F104は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、ZigBee(登録商標)、Ethernet(登録商標)、又は光通信に準拠したアダプタであるが、これに限られない。
【0021】
入出力I/F105は、評価装置1に入力装置107及び出力装置108を接続するためのインタフェースである。入力装置107は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置108は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。
【0022】
ドライブ装置106は、ディスクメディア109のデータを読み書きする。ドライブ装置106は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア109は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、FD(Floppy Disk)、MO(Magneto-Optical disk)、BD(Blu-ray(登録商標) Disc)、又はこれらの組み合わせである。
【0023】
なお、本実施形態において、プログラムは、情報処理装置100の製造段階でメモリ102又はストレージ103に書き込まれてもよいし、ネットワークNを介して情報処理装置100に提供されてもよいし、ディスクメディア109などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置100に提供されてもよい。
【0024】
<機能構成>
次に、評価装置1の機能構成について説明する。
図4は、評価装置1の機能構成の一例を示す図である。
図4に示すように、評価装置1は、通信部11と、記憶部12と、制御部13と、を備える。
【0025】
通信部11は、通信I/F104により実現される。通信部11は、ネットワークNを介して、ユーザ端末2との間で情報の送受信を行う。通信部11は、ユーザ端末2からユーザ動画121を受信する。また、通信部11は、ユーザ端末2に評価結果情報124を送信する。
【0026】
記憶部12は、メモリ102及びストレージ103により実現される。記憶部12には、ユーザ動画121、骨格情報122、角度情報123及び評価結果情報124が記憶される。
【0027】
ユーザ動画121は、ユーザが実施したペルビックカールをユーザの側方側から撮影した動画である。ユーザ動画121は、ユーザの側方側から撮影した動画であることから、ペルビックカールの動作の変化をより検出し易くなる。ユーザ動画121は、ユーザのペルビックカールにおける臀部を上方へ上げる動作及び上げた臀部を下げる動作の少なくとも一方の動作を撮影した動画であればよい。また、ユーザ動画121は、複数回のペルビックカールを撮影した動画であってもよい。
【0028】
骨格情報122は、ユーザ動画121に写ったユーザの体(骨格)における複数の特徴点の座標を示す情報である。特徴点は、例えば、頭、目、鼻、口、耳、肩、喉、肘、手首、指、腰、尻、膝、くるぶし、踵、又は爪先であるが、これに限られない。骨格情報122は、ユーザ動画121の各フレームと対応した時系列情報として記憶される。
【0029】
角度情報123は、後述する第1算出部133及び第2算出部134により算出された第1角度θ1及び第2角度θ2を示す情報である。第1角度θ1及び第2角度θ2は、ユーザ動画121の各フレームと対応した時系列情報として記憶される。第1角度θ1及び第2角度θ2について、詳しくは後述する。
【0030】
評価結果情報124は、ユーザのペルビックカールの良し悪しを評価した評価結果を示す情報である。評価結果は、評価項目ごとの評価値であってもよいし、評価項目ごとのコメント又はアドバイスであってもよい。評価項目は、例えば、臀部の動き具合、速度、及び力みの程度の少なくとも1つを含む。
【0031】
制御部13は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部13は、評価装置1の動作全体を制御する。制御部13は、取得部131と、抽出部132と、第1算出部133と、第2算出部134と、判別部135と、評価部136と、通知部137と、を備える。
【0032】
取得部131は、通信部11がユーザ端末2から受信したユーザ動画121を取得し、記憶部12に保存する。
【0033】
抽出部132は、骨格抽出(姿勢推定)処理により、記憶部12に保存されたユーザ動画121から、ユーザ動画121に写ったユーザの骨格情報122を抽出し、記憶部12に保存する。抽出部132は、任意の骨格抽出方法を利用できる。
【0034】
第1算出部133は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの腰屈曲度としての第1角度θ1を算出する。
図5に示されるように、第1角度θ1は、ユーザの腰の曲げ具合を示す指標である。第1角度θ1は、例えば、ユーザにおける肩又は首と腰とを結ぶ仮想の第1直線L1と、腰と膝とを結ぶ仮想の第2直線L2と、の傾き(角度)である。第1算出部133は、ユーザ動画121の各フレームに対応する第1角度θ1を示す情報を時系列情報として記憶部12に保存する。
【0035】
第2算出部134は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの腰屈曲度としての第2角度θ2を算出する。
図6に示されるように、第2角度θ2は、ユーザにおける胸又は背中と腰とを結ぶ仮想の第3直線L3と、第2直線L2と、の傾き(第3直線L3と第2直線L2とが成す角度)である。第2算出部134は、ユーザ動画121の各フレームに対応する第2角度θ2を示す情報を時系列情報として記憶部12に保存する。
【0036】
判別部135は、第1角度θ1及び第2角度θ2に基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。より詳細には、判別部135は、ユーザ動画121に含まれるペルビックカールにおける臀部を上方へ上げる動作及び上げた臀部を下方へ下げる動作の少なくとも一方の動作を判別する。臀部を上方へ上げる動作部分は、ユーザ動画121において、ユーザがペルビックカールにおける臀部を上方へ上げる動作を実施しているところを撮影した部分のことである。臀部を下げる動作部分は、ユーザ動画121において、ユーザがペルビックカールにおける既に上げた臀部を下方へ下げる動作を実施しているところを撮影した部分のことである。判別方法については後述する。
【0037】
評価部136は、第1角度θ1及び第2角度θ2に基づいて、ユーザのペルビックカールの良し悪しを評価し、評価結果を示す評価結果情報124を記憶部12に保存する。評価方法については後述する。
【0038】
通知部137は、記憶部12に保存された評価結果情報124をユーザ端末2に送信し、ユーザに評価結果を通知する。
【0039】
<評価装置が実行する処理>
次に、評価装置1が実行する処理について説明する。
図7は、評価装置1が実行する処理の一例を示すフローチャートである。
【0040】
(ステップS101)
取得部131は、通信部11がユーザ端末2から受信したユーザ動画121を取得し、記憶部12に保存する。
【0041】
(ステップS102)
抽出部132は、骨格抽出処理により、記憶部12に保存されたユーザ動画121から、ユーザ動画121に写ったユーザの骨格情報122を抽出し、記憶部12に保存する。
【0042】
(ステップS103)
第1算出部133は、記憶部12に保存された骨格情報122に基づいて、ユーザ動画121の各フレームに対応する第1角度θ1を算出する。第1算出部133は、算出した第1角度θ1を角度情報123として記憶部12に保存する。
【0043】
(ステップS104)
第2算出部134は、記憶部12に保存された骨格情報122に基づいて、ユーザ動画121の各フレームに対応する第2角度θ2を算出する。第2算出部134は、算出した第2角度θ2を角度情報123として記憶部12に保存する。
【0044】
(ステップS105)
判別部135は、ステップS103及びステップS104で算出した第1角度θ1及び第2角度θ2に基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。
【0045】
ここで、
図8及び
図9は、第1角度θ1、第2角度θ2及び第1角度θ1と第2角度θ2との差分の一例を示す図である。
図8は、ユーザが良いペルビックカールを実施した場合の第1距離D1及び第1距離D1の時間変化率を示す図である。
図9は、ユーザが悪いペルビックカールを実施した場合の第1距離D1及び第1距離D1の時間変化率を示す図である。
図8及び
図9の例では、ユーザがペルビックカールを3回実行した場合の第1距離D1及び第1距離D1の時間変化率が時系列で示されている。
【0046】
図8及び
図9に示すように、第1角度θ1及び第2角度θ2は、膝屈曲位状態で静止している間は変化がなく、臀部を上方へ上げる動作中に大きくなり、臀部を上げ切った状態(以下、臀部を上げ切った位置を単に「最高点」と称する。)ではそれぞれ角度が略180°か又はそれに近い値となり、臀部を下方へ下げる動作中に小さくなる。このため、判別部135は、例えば、第1角度θ1及び第2角度θ2が閾値以下で安定した値からピークまで上昇する部分を、臀部を上方へ上げる動作部分と判別し、第1角度θ1及び第2角度θ2がピークから閾値以下の値まで下降する部分を、臀部を下げる動作部分と判別し、臀部を上方へ上げる動作部分と臀部を下げる動作部分との間を停止部分と判別し、残りの部分を基本姿勢部分と判別することにより、ユーザ動画121を
図8及び
図9のように各動作部分に判別することができる。なお、判別方法は、上記の例に限られない。
【0047】
(ステップS106)
判別部135は、記憶部12に保存された第1角度θ1と、第2角度θ2と、に基づいて、ユーザ動画121の各フレームに対応する、第1角度θ1と第2角度θ2との差分(θ1-θ2)を算出する。判別部135は、算出した第1角度θ1と第2角度θ2との差分(θ1-θ2)を角度情報123として記憶部12に保存する。
【0048】
(ステップS107)
評価部136は、記憶部12に保存された第1距離D1及び第1距離D1の時間変化率に基づいて、ユーザのペルビックカールを評価する。評価項目として、臀部の動き具合、速度、及び力みの程度が挙げられる。
【0049】
ここで、ペルビックカールの評価方法について説明する。
図5は、良いペルビックカールを説明する模式図である。
図6は、悪いペルビックカールを説明する模式図である。
【0050】
図5に示されるように、ペルビックカールは、臀部を上方側へ上げる際は、骨盤の膝側の部位を上方側へ起こしてから背骨を構成する椎骨を骨盤側から一つ一つ徐々に上げていくように実施するのが好ましい。このため、ユーザがペルビックカールにて「適切な臀部を上げる動作」を実施した際は、第1角度θ1が先に大きくなりながら第2角度θ2も大きくなり、臀部の最高点にて第2角度θ2が略180°となる。すなわち、
図8に示すように、第2角度θ2よりも第1角度θ1が大きくなると共に、第1角度θ1と第2角度θ2との差分の正負が反転しない。
【0051】
ペルビックカールにおける臀部を最高点から下げる際には、前述の臀部を上げる動作と逆に、背骨を構成する椎骨を首側から一つ一つ徐々に下げていくように実施するのが好ましい。このため、ユーザがペルビックカールにて適切な「臀部を下げる動作」を実施した際は、第2角度θ2が先に小さくなりながら第1角度θ1も小さくなる。すなわち、
図8に示すように、第2角度θ2よりも第1角度θ1が大きくなると共に、第1角度θ1と第2角度θ2との差分の正負が反転しない。
【0052】
一方、
図6に示されるように、ペルビックカールは、臀部を上方側へ上げる際に骨盤の膝側の部位を上方側へ起こさずに臀部を上げようと実施すると、背骨の椎骨があまり動かないため、十分な効果が得られない。このため、ユーザがペルビックカールにて「適切な臀部を上げる動作」を実施しなかった際は、第1角度θ1よりも第2角度θ2が大きくなる状態が(特に臀部が最高点近傍に位置する状態にて)発生する。すなわち、
図9に示されるように、第1角度θ1と第2角度θ2との差分の正負の反転が発生する。
【0053】
そこで、評価部136は、第2角度θ2よりも第1角度θ1が大きくなると共に、第1角度θ1と第2角度θ2との差分の正負が反転しない場合、ユーザのペルビックカールにおける動作を高く評価する。これにより、
図8の例では、3回のペルビックカールにおける臀部を上げる動作及び下げる動作がいずれも高く評価される。
【0054】
一方、
図9の例では、ペルビックカールにおける動作は低く評価される。また、図示はしないが、第2角度θ2よりも第1角度θ1が大きくない場合も、好ましい動きではないため、ペルビックカールにおける動作は低く評価される。
【0055】
評価部136は、以上のような方法で評価したユーザのペルビックカールの評価結果を示す評価結果情報124を記憶部12に保存する。なお、評価部136による評価方法は、上記の例に限られない。
【0056】
(ステップS108)
通知部137は、記憶部12に保存された評価結果情報124をユーザ端末2に送信することにより、ユーザに評価結果を通知する。ユーザ端末2は、評価結果情報124を受信すると、評価結果情報124が示す評価結果をディスプレイに表示する。
【0057】
図10は、ユーザ端末2に表示される評価結果の表示画面の一例を示す図である。
図10の表示画面は、ユーザ動画121の再生領域Im1と、評価値領域Im2と、評価コメント領域Im3と、を有する。再生領域Im1は、ユーザ動画121を再生する。評価値領域Im2は、ペルビックカールの総合及び各評価項目の評価値(評価結果)を表示する。評価コメント領域Im3は、ユーザのペルビックカールに対するコメント(評価結果)を表示する。なお、ユーザ端末2の表示画面に表示される評価結果は、
図10の例に限られない。
【0058】
(第1実施形態の作用効果)
次に、本実施形態の作用並びに効果を説明する。
【0059】
本実施形態に係る評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて第1角度θ1と第2角度θ2とを算出し、第1角度θ1と第2角度θ2との関係及び第1角度θ1と第2角度θ2との差分に基づいてユーザのペルビックカールの動作を評価する。これにより、評価装置1は、ペルビックカールにおける動作の良し悪しを評価することができる。
【0060】
(第2実施形態)
次に、
図11~
図15を用いて、本発明の第2実施形態に係る情報処理システム20について説明する。第2実施形態に係る情報処理システム20は、基本的な構成は第1実施形態と同様とされ、首と膝とを結ぶ仮想の第4直線L4と、臀部と、の距離である第1距離D1を算出して第1距離D1に基づいてペルビックカールの動作の良し悪しを評価する点に特徴がある。以下では、第1実施形態との相違点を中心に説明し、第1実施形態と共通する構成については説明を省略する。
【0061】
すなわち、本実施形態に係る情報処理システム20の一部を構成する評価装置22は、
図11に示すように、通信部11と、記憶部24と、制御部26と、を備える。
【0062】
記憶部24は、メモリ102及びストレージ103により実現される。記憶部24には、ユーザ動画121、骨格情報122、距離情報241及び評価結果情報124が記憶される。
【0063】
距離情報241は、後述する第3算出部261により算出された第1距離D1を示す情報である。第1距離D1は、ユーザ動画121の各フレームと対応した時系列情報として記憶される。第1距離D1について、詳しくは後述する
【0064】
制御部26は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部26は、評価装置22の動作全体を制御する。制御部26は、取得部131と、抽出部132と、第3算出部261と、判別部262と、評価部263と、通知部137と、を備える。
【0065】
第3算出部261は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの腰屈曲度としての第1距離D1を算出する。
図12に示されるように、第1距離D1は、ユーザの腰の曲げ具合を示す指標である。第1距離D1は、例えば、ユーザにおける首と膝とを結ぶ仮想の第4直線L4と、臀部と、の距離である。第3算出部261は、ユーザ動画121の各フレームに対応する第1距離D1を示す情報を時系列情報として記憶部24に保存する。
【0066】
判別部262は、第1距離D1に基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。より詳細には、判別部262は、ユーザ動画121に含まれるペルビックカールにおける臀部を上方へ上げる動作及び上げた臀部を下方へ下げる動作の少なくとも一方の動作を判別する。判別方法については後述する。
【0067】
評価部263は、第1距離D1に基づいて、ユーザのペルビックカールの良し悪しを評価し、評価結果を示す評価結果情報124を記憶部24に保存する。評価方法については後述する。
【0068】
<評価装置が実行する処理>
次に、評価装置22が実行する処理について説明する。
図13は、評価装置22が実行する処理の一例を示すフローチャートである。なお、第1実施形態と同一の処理については、同一符号を付してその説明を省略する。
【0069】
(ステップS200)
第3算出部261は、記憶部24に保存された骨格情報122に基づいて、ユーザ動画121の各フレームに対応する第1距離D1を算出する。第3算出部261は、算出した第1距離D1を距離情報241として記憶部24に保存する。
【0070】
(ステップS202)
判別部262は、ステップS200で算出した第1距離D1に基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。
【0071】
ここで、
図14及び
図15は、第1距離D1及び第1距離D1の時間変化率(速さ)の一例を示す図である。
図14は、ユーザが良いペルビックカールを実施した場合の第1距離D1及び第1距離D1の時間変化率を示す図である。
図15は、ユーザが悪いペルビックカールを実施した場合の第1距離D1及び第1距離D1の時間変化率を示す図である。
図14及び
図15の例では、ユーザがペルビックカールを3回実行した場合の第1距離D1及び第1距離D1の時間変化率が時系列で示されている。
【0072】
図14及び
図15に示すように、第1距離D1は、膝屈曲位状態で静止している間は変化がなく、臀部を上方へ上げる動作中に小さくなり、臀部が最高点に位置した場合では略最小値となり、臀部を下方へ下げる動作中に大きくなる。このため、判別部262は、例えば、第1距離D1が閾値以上で安定した値から略最小値まで減少する部分を、臀部を上方へ上げる動作部分と判別し、第1距離D1が略最小値から閾値以上の値まで増加する部分を、臀部を下げる動作部分と判別し、臀部を上方へ上げる動作部分と臀部を下げる動作部分との間を停止部分と判別し、残りの部分を基本姿勢部分と判別することにより、ユーザ動画121を
図14及び
図15のように各動作部分に判別することができる。なお、判別方法は、上記の例に限られない。
【0073】
(ステップS204)
評価部263は、記憶部24に保存された第1距離D1及び第1距離D1の時間変化率に基づいて、ユーザのペルビックカールを評価する。評価項目として、臀部の動き具合、及び速度が挙げられる。
【0074】
ここで、ペルビックカールの評価方法について説明する。ペルビックカールは、臀部を上方側へ上げる際は、臀部が膝方向へ向かうイメージで上方側へ上がるカーブ(
図12中矢印GC参照、以下、単に「理想カーブGC」と称する。)を描きながらゆっくり臀部を上げていくように実施するのが好ましい。このため、ユーザがペルビックカールにて「適切な臀部を上げる動作」を実施した際は、第1距離D1の時間変化率の変動が小さくなる。すなわち、
図14に示すように、第1距離D1の時間変化率が略一定となる。
【0075】
ペルビックカールにおける臀部を最高点から下げる際についても、前述の臀部を上げる動作と同様に、臀部が理想カーブGC(この場合
図12の矢印方向と移動方向とは逆)を描きながらゆっくり臀部を下げていくように実施するのが好ましい。このため、ユーザがペルビックカールにて適切な「臀部を下げる動作」を実施した際は、第1距離D1の時間変化率の変動が小さくなる。すなわち、
図14に示すように、臀部を上げる動作と同様に第1距離D1の時間変化率が略一定となる。
【0076】
一方、ペルビックカールは、臀部を上方側へ上げる際に臀部が理想カーブGCを描きながらゆっくり臀部を上げていくような動作しないと、背骨の椎骨があまり動かないため、十分な効果が得られない。このため、ユーザがペルビックカールにて「適切な臀部を上げる動作」を実施しなかった際は、第1距離D1の時間変化率の変動が大きくなる。すなわち、
図15に示されるように、第1距離D1の時間変化率が略一定とならない。
【0077】
そこで、評価部263は、第1距離D1の時間変化率が略一定となる場合、ユーザのペルビックカールにおける動作を高く評価する。これにより、
図14の例では、3回のペルビックカールにおける臀部を上げる動作及び下げる動作がいずれも高く評価される。一方、
図15の例では、ペルビックカールにおける動作は低く評価される。
【0078】
評価部263は、以上のような方法で評価したユーザのペルビックカールの評価結果を示す評価結果情報124を記憶部24に保存する。なお、評価部263による評価方法は、上記の例に限られない。
【0079】
(第2実施形態の作用効果)
次に、本実施形態の作用並びに効果を説明する。
【0080】
本実施形態に係る評価装置22は、ユーザ動画121から抽出した骨格情報122に基づいて第1距離D1及び第1距離D1の時間変化率を算出し、第1距離D1の時間変化率の変動量に基づいてユーザのペルビックカールの動作を評価する。これにより、評価装置22は、ペルビックカールにおける動作の良し悪しを評価することができる。
【0081】
(第3実施形態)
次に、
図16~
図20を用いて、本発明の第3実施形態に係る情報処理システム30について説明する。第3実施形態に係る情報処理システム30は、基本的な構成は第1実施形態と同様とされ、腰と膝とを結ぶ仮想の第5直線L5の距離である第2距離D2を算出して第2距離D2に基づいてペルビックカールの動作の良し悪しを評価する点に特徴がある。以下では、第1実施形態との相違点を中心に説明し、第1実施形態と共通する構成については説明を省略する。
【0082】
すなわち、本実施形態に係る情報処理システム30の一部を構成する評価装置32は、
図16に示すように、通信部11と、記憶部34と、制御部36と、を備える。
【0083】
記憶部34は、メモリ102及びストレージ103により実現される。記憶部34には、ユーザ動画121、骨格情報122、距離情報341及び評価結果情報124が記憶される。
【0084】
距離情報341は、後述する第4算出部361により算出された第2距離D2を示す情報である。第2距離D2は、ユーザ動画121の各フレームと対応した時系列情報として記憶される。第2距離D2について、詳しくは後述する
【0085】
制御部36は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部36は、評価装置32の動作全体を制御する。制御部36は、取得部131と、抽出部132と、第4算出部361と、判別部362と、評価部363と、通知部137と、を備える。
【0086】
第4算出部361は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの腰屈曲度としての第2距離D2を算出する。第2距離D2は、ユーザの腰の曲げ具合を示す指標である(
図17参照)。第2距離D2は、例えば、ユーザにおける腰と膝とを結ぶ仮想の第5直線L5と、臀部と、の距離である。第4算出部361は、ユーザ動画121の各フレームに対応する第2距離D2を示す情報を時系列情報として記憶部34に保存する。
【0087】
判別部362は、第2距離D2に基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。より詳細には、判別部362は、ユーザ動画121に含まれるペルビックカールにおける臀部を上方へ上げる動作及び上げた臀部を下方へ下げる動作の少なくとも一方の動作を判別する。判別方法については後述する。
【0088】
評価部363は、第2距離D2に基づいて、ユーザのペルビックカールの良し悪しを評価し、評価結果を示す評価結果情報124を記憶部24に保存する。評価方法については後述する。
【0089】
<評価装置が実行する処理>
次に、評価装置32が実行する処理について説明する。
図18は、評価装置32が実行する処理の一例を示すフローチャートである。なお、第1実施形態と同一の処理については、同一符号を付してその説明を省略する。
【0090】
(ステップS300)
第4算出部361は、記憶部34に保存された骨格情報122に基づいて、ユーザ動画121の各フレームに対応する第2距離D2を算出する。第4算出部361は、算出した第2距離D2を距離情報341として記憶部34に保存する。
【0091】
(ステップS302)
判別部362は、ステップS300で算出した第2距離D2に基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。
【0092】
ここで、
図19及び
図20は、第2距離D2及び第2距離D2の時間変化率(速さ)の一例を示す図である。
図19は、ユーザが良いペルビックカールを実施した場合の第2距離D2及び第2距離D2の時間変化率を示す図である。
図20は、ユーザが悪いペルビックカールを実施した場合の第2距離D2及び第2距離D2の時間変化率を示す図である。
図19及び
図20の例では、ユーザがペルビックカールを3回実行した場合の第2距離D2及び第2距離D2の時間変化率が時系列で示されている。
【0093】
図19及び
図20に示すように、第2距離D2は、膝屈曲位状態で静止している間は変化がなく、臀部を上方へ上げる動作中に大きくなり、臀部が最高点に位置した場合では略最大値となり、臀部を下方へ下げる動作中に小さくなる。このため、判別部362は、例えば、第2距離D2が閾値以下で安定した値から略最大値まで増加する部分を、臀部を上方へ上げる動作部分と判別し、第2距離D2が略最大値から閾値以下の値まで減少する部分を、臀部を下げる動作部分と判別し、臀部を上方へ上げる動作部分と臀部を下げる動作部分との間を停止部分と判別し、残りの部分を基本姿勢部分と判別することにより、ユーザ動画121を
図19及び
図20のように各動作部分に判別することができる。なお、判別方法は、上記の例に限られない。
【0094】
(ステップS304)
評価部363は、記憶部34に保存された第2距離D2及び第2距離D2の時間変化率に基づいて、ユーザのペルビックカールを評価する。評価項目として、臀部の動き具合、及び速度が挙げられる。
【0095】
ここで、ペルビックカールの評価方法について説明する。ペルビックカールは、臀部を上方側へ上げる際は、骨盤の膝側の部位を上方側へ起こしてから背骨を構成する椎骨を骨盤側から一つ一つ徐々に上げていくように実施するのが好ましい。このため、ユーザがペルビックカールにて「適切な臀部を上げる動作」を実施した際は、骨盤が起こされることで腰と膝との間が伸ばされるようになる。すなわち、
図19に示すように、第2距離D2が大きくとなる。
【0096】
ペルビックカールにおける臀部を最高点から下げる際についても、前述の臀部を上げる動作とは逆の順序にて臀部を下げていくように実施するのが好ましい。このため、ユーザがペルビックカールにて適切な「臀部を下げる動作」を実施した際は、伸ばされていた腰と膝との間が元に戻るようになる。すなわち、
図19に示すように、第2距離D2が小さくなる。すなわち、ペルビックカールにおける臀部を上げる動作及び下げる動作を通して、第2距離D2の変動量が大きくなる。
【0097】
一方、ペルビックカールは、臀部を上方側へ上げる際に骨盤の膝側の部位を上方側へ起こさずに臀部を上げようと実施すると、背骨の椎骨があまり動かないため、十分な効果が得られない。このため、ユーザがペルビックカールにて「適切な臀部を上げる動作」を実施しなかった際は、腰と膝との間が伸ばされない。すなわち、
図20に示されるように、第2距離D2が大きくならない。
【0098】
同様に、ペルビックカールは、骨盤の膝側の部位を上方側へ起こさずに臀部を上げた状態から臀部を下げる動作を実施した場合も、背骨の椎骨があまり動かないため、十分な効果を得られない。このため、ユーザがペルビックカールにて「適切な臀部を下げる動作」を実施しなかった場合は、腰と膝との間が伸ばされない。すなわち、
図20に示されるように、第2距離D2が大きくならない。すなわち、ペルビックカールにおける臀部を上げる動作及び下げる動作を通して、第2距離D2の変動量が小さくなる。
【0099】
そこで、評価部363は、第2距離D2の変動量が比較的大きくなる場合、ユーザのペルビックカールにおける動作を高く評価する。これにより、
図19の例では、3回のペルビックカールにおける臀部を上げる動作及び下げる動作がいずれも高く評価される。一方、
図20の例では、ペルビックカールにおける動作は低く評価される。
【0100】
評価部363は、以上のような方法で評価したユーザのペルビックカールの評価結果を示す評価結果情報124を記憶部34に保存する。なお、評価部363による評価方法は、上記の例に限られない。
【0101】
(第3実施形態の作用効果)
次に、本実施形態の作用並びに効果を説明する。
【0102】
本実施形態に係る評価装置32は、ユーザ動画121から抽出した骨格情報122に基づいて第2距離D2を算出し、第2距離D2の変動量に基づいてユーザのペルビックカールの動作を評価する。これにより、評価装置32は、ペルビックカールにおける動作の良し悪しを評価することができる。
【0103】
(第4実施形態)
次に、
図21~
図25を用いて、本発明の第4実施形態に係る情報処理システム40について説明する。第4実施形態に係る情報処理システム40は、基本的な構成は第1実施形態と同様とされ、目と首とを結ぶ仮想の第6直線L6と、首と胸とを結ぶ仮想の第7直線と、で成す第3角度θ3を算出して第3角度θ3に基づいてペルビックカールの動作の良し悪しを評価する点に特徴がある。以下では、第1実施形態との相違点を中心に説明し、第1実施形態と共通する構成については説明を省略する。
【0104】
すなわち、本実施形態に係る情報処理システム40の一部を構成する評価装置42は、
図21に示すように、通信部11と、記憶部44と、制御部46と、を備える。
【0105】
記憶部44は、メモリ102及びストレージ103により実現される。記憶部44には、ユーザ動画121、骨格情報122、角度情報441及び評価結果情報124が記憶される。
【0106】
角度情報441は、後述する第5算出部421により算出された第3角度θ3を示す情報である。第3角度θ3は、ユーザ動画121の各フレームと対応した時系列情報として記憶される。第3角度θ3について、詳しくは後述する
【0107】
制御部46は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部46は、評価装置42の動作全体を制御する。制御部46は、取得部131と、抽出部132と、第5算出部421と、判別部422と、評価部423と、通知部137と、を備える。
【0108】
第5算出部421は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの腰屈曲度としての第3角度θ3を算出する。第3角度θ3は、ユーザの腰の曲げ具合を示す指標である(
図22参照)。第3角度θ3は、例えば、目と首とを結ぶ仮想の第6直線L6と、首と胸とを結ぶ仮想の第7直線L7と、の傾き(第6直線L6と第7直線L7とで成す角度)である。第5算出部421は、ユーザ動画121の各フレームに対応する第3角度θ3を示す情報を時系列情報として記憶部44に保存する。
【0109】
判別部422は、第3角度θ3に基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。より詳細には、判別部422は、ユーザ動画121に含まれるペルビックカールにおける臀部を上方へ上げる動作及び上げた臀部を下方へ下げる動作の少なくとも一方の動作を判別する。判別方法については後述する。
【0110】
評価部423は、第3角度θ3に基づいて、ユーザのペルビックカールの良し悪しを評価し、評価結果を示す評価結果情報124を記憶部44に保存する。評価方法については後述する。
【0111】
<評価装置が実行する処理>
次に、評価装置42が実行する処理について説明する。
図23は、評価装置42が実行する処理の一例を示すフローチャートである。なお、第1実施形態と同一の処理については、同一符号を付してその説明を省略する。
【0112】
(ステップS400)
第5算出部421は、記憶部44に保存された骨格情報122に基づいて、ユーザ動画121の各フレームに対応する第3角度θ3を算出する。第5算出部421は、算出した第3角度θ3を角度情報441として記憶部44に保存する。
【0113】
(ステップS402)
判別部422は、ステップS400で算出した第3角度θ3に基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。
【0114】
ここで、
図24及び
図25は、第3角度θ3及び第3角度θ3の時間変化率(速さ)の一例を示す図である。
図24は、ユーザが良いペルビックカールを実施した場合の第3角度θ3及び第3角度θ3の時間変化率を示す図である。
図25は、ユーザが悪いペルビックカールを実施した場合の第3角度θ3及び第3角度θ3の時間変化率を示す図である。
図24及び
図25の例では、ユーザがペルビックカールを3回実行した場合の第3角度θ3及び第3角度θ3の時間変化率が時系列で示されている。
【0115】
図24及び
図25に示すように、第3角度θ3は、膝屈曲位状態で静止している間は変化がなく、臀部を上方へ上げる動作中に小さくなる一方、臀部を下方へ下げる動作中に大きくなる。このため、判別部422は、例えば、第3角度θ3が閾値以上で安定した値から減少する部分を、臀部を上方へ上げる動作部分と判別し、第3角度θ3が閾値以上の値まで増加する部分を、臀部を下げる動作部分と判別し、臀部を上方へ上げる動作部分と臀部を下げる動作部分との間を停止部分と判別し、残りの部分を基本姿勢部分と判別することにより、ユーザ動画121を
図24及び
図25のように各動作部分に判別することができる。なお、判別方法は、上記の例に限られない。
【0116】
(ステップS404)
評価部423は、記憶部44に保存された第3角度θ3及び第3角度θ3の時間変化率に基づいて、ユーザのペルビックカールを評価する。評価項目として、臀部の動き具合、及び速度が挙げられる。
【0117】
ここで、ペルビックカールの評価方法について説明する。ペルビックカールは、臀部を上方側へ上げる際は、首に力を入れず(縮こまらず)に実施するのが好ましい。このため、ユーザがペルビックカールにて「適切な臀部を上げる動作」を実施した際は、首の状態が膝屈曲位状態で静止している間と大きく変わらない。すなわち、
図24に示すように、第3角度θ3の変動量が小さくなる。
【0118】
同様に、ペルビックカールにおける臀部を最高点から下げる際についても、首に力を入れず(縮こまらず)に実施するのが好ましい。このため、ユーザがペルビックカールにて適切な「臀部を下げる動作」を実施した際は、首の状態が膝屈曲位状態で静止している間と大きく変わらない。すなわち、
図24に示すように、第3角度θ3の変動量が小さくなる。
【0119】
一方、ペルビックカールは、臀部を上方側へ上げる際に首に力が入ると円滑な背骨の動作に繋がらないため、十分な効果が得られない。このため、ユーザがペルビックカールにて「適切な臀部を上げる動作」を実施しなかった際は、首に力が入る(縮こまる)。すなわち、
図25に示されるように、第3角度θ3の変動量が大きくなる。
【0120】
同様に、ペルビックカールは、臀部を上げた状態から臀部を下げる動作を実施した際に首に力が入ると円滑な背骨の動作に繋がらないため、十分な効果が得られない。このため、ユーザがペルビックカールにて「適切な臀部を下げる動作」を実施しなかった場合は、首に力が入る(縮こまる)。すなわち、
図25に示されるように、第3角度θ3の変動量が大きくなる。
【0121】
そこで、評価部423は、第3角度θ3の変動量が比較的小さい場合、ユーザのペルビックカールにおける動作を高く評価する。これにより、
図24の例では、3回のペルビックカールにおける臀部を上げる動作及び下げる動作がいずれも高く評価される。一方、
図25の例では、ペルビックカールにおける動作は低く評価される。
【0122】
評価部423は、以上のような方法で評価したユーザのペルビックカールの評価結果を示す評価結果情報124を記憶部44に保存する。なお、評価部423による評価方法は、上記の例に限られない。
【0123】
(第4実施形態の作用効果)
次に、本実施形態の作用並びに効果を説明する。
【0124】
本実施形態に係る評価装置42は、ユーザ動画121から抽出した骨格情報122に基づいて第3角度θ3を算出し、第3角度θ3の変動量に基づいてユーザのペルビックカールの動作を評価する。これにより、評価装置42は、ペルビックカールにおける動作の良し悪しを評価することができる。
【0125】
(第5実施形態)
次に、
図26~
図28を用いて、本発明の第5実施形態に係る情報処理システム50について説明する。第5実施形態に係る情報処理システム50は、基本的な構成は第1実施形態と同様とされ、評価情報に応じて報酬としてのトークンがユーザに付与される点に特徴がある。以下では、第1実施形態との相違点を中心に説明し、第1実施形態と共通する構成については説明を省略する。
【0126】
すなわち、本実施形態に係る情報処理システム50は、
図26に示すように、ネットワークNを介して相互に通信可能に接続された、評価装置52と、ユーザ端末2と、ブロックチェーン54と、を備える。
【0127】
ブロックチェーン54には、情報処理システム50が扱うトークンの来歴が記録されている。このブロックチェーン54によって、情報処理システム50が扱うトークンの保有者が証明される。
【0128】
図27に示すように、評価装置52は、通信部11と、記憶部56と、制御部58と、を備える。
【0129】
記憶部56は、メモリ102及びストレージ103により実現される。記憶部56には、ユーザ動画121、骨格情報122、角度情報123、評価結果情報124及び発行情報561が記憶される。
【0130】
発行情報561は、ユーザのペルビックカールの良し悪しを評価した評価結果に応じてトークンを発行した履歴情報である。履歴情報は、一例として、過去の評価結果に基づいて発行したユーザごとのトークン量や種類に関するものである。なお、トークンは、法定通貨と交換可能なものであってもよい。
【0131】
制御部58は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部58は、評価装置52の動作全体を制御する。制御部58は、取得部131と、抽出部132と、第1算出部133と、第2算出部134と、判別部135と、評価部136と、発行部581と、通知部137と、を備える。
【0132】
発行部581は、評価部136にて評価された評価結果に基づいてトークンを発行する。一例として、発行部581は、評価部136にて所定の基準より高い評価がされたペルビックカールを撮影した動画を投稿したユーザ端末2に紐付けられたユーザに対して、所定の基準値よりも多くの量のトークンを発行する。また、発行部581は、評価部136にて所定の基準と略同一の評価がされたペルビックカールを撮影した動画を投稿したユーザ端末2に紐付けられたユーザに対して、所定の基準値と略同一量のトークンを発行する。さらに、発行部581は、評価部136にて所定の基準より低い評価がされたペルビックカールを撮影した動画を投稿したユーザ端末2に紐付けられたユーザに対して、所定の基準値より低い量のトークンを発行する。発行部581は、これら決定したトークンの発行に関する情報(すなわち、発行情報561)を生成してブロックチェーン54に対して発行情報561を登録するように処理する。
【0133】
<評価装置が実行する処理>
次に、評価装置52が実行する処理について説明する。
図28は、評価装置52が実行する処理の一例を示すシーケンス図である。なお、第1実施形態と同一の処理については、同一符号を付してその説明を省略する。
【0134】
(ステップS500)
ユーザ端末2は、ユーザがペルビックカールにおける臀部を上方へ上げる動作を実施しているところを撮影すると共に、評価装置52へ送信する。
【0135】
(ステップS502)
発行部581は、ステップS107で評価した評価結果に基づいて、報酬として発行するトークンを決定し、発行データを生成する。発行部581は、発行データをブロックチェーン54へと送信する。
【0136】
(ステップS504)
ブロックチェーン54は、ステップS502の発行データを受信すると、この発行データをブロックチェーン54に登録する。ブロックチェーン54は、登録が完了すると、登録が完了した旨の通知を評価装置52へ送信する。
【0137】
(ステップS50)
通知部137は、ステップS504による通知を受信すると、記憶部24に保存された評価結果情報124及び発行情報561をユーザ端末2に送信することにより、ユーザに評価結果と付与されたトークンとを通知する。ユーザ端末2は、評価結果情報124及び発行情報561を受信すると、評価結果情報124が示す評価結果とトークンに関する情報(不図示)とをディスプレイに表示する。
【0138】
(第5実施形態の作用効果)
次に、本実施形態の作用並びに効果を説明する。
【0139】
本実施形態に係る評価装置22は、評価情報に応じて報酬としてのトークンがユーザに付与される。このトークンの発行情報561は、ブロックチェーン54上に登録されるため、情報の改ざん防止や冗長性を確保することができる。これにより、評価装置2
2は、ユーザのペルビックカールを行うモチベーションを維持することができる。
【0140】
なお、上述した第5実施形態では、報酬としてトークンがブロックチェーン54上に記録される構成とされているが、これに限らず、データベース等にのみ記録される構成としてもよい。また、トークン以外にも、各種情報を報酬として発行し、これを通貨と交換可能な価値として記録する構成としてもよい。
【0141】
また、上述した情報処理方法を異なる視点で捉えることも可能である。例えば、本実施形態に係る情報処理方法の解決しようとする課題(目的)を、「ユーザの所定の動作を客観的な動作判定に基づいて判定し、この判定結果に紐づいた報酬をユーザへ付与することで、ユーザの所定の動作を行うためのモチベーションを維持する」と捉えることもできる。
【0142】
上記のように課題を捉えると、課題を解決するための手段としての発明は、例えば以下のようになる。
「情報処理装置が実行する情報処理方法であって、
ユーザの評価対象動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの動作の度合を算出する算出処理と、
前記度合に基づいて、前記評価対象動作を評価すると共に、前記評価対象動作に対してなされた評価に応じて、前記ユーザへ報酬を付与する情報を記録する評価処理と、
を含む情報処理方法。」
【0143】
上記構成によれば、評価処理にてユーザの動画に撮影された評価対象動作を評価することから、人の主観によらない客観的な評価を行うことができる。特に、骨格情報に基づいて評価することから、ユーザの体型等の影響を抑えた評価が可能となる。そして、評価処理は、評価に応じてユーザへ報酬を付与する情報を記録することから、当該情報を基に評価に応じてユーザへ報酬を付与することができる。これにより、ユーザは、所定の動作である評価対象動作を行うモチベーションを維持することができる。一例として、評価が高い動作を行ったユーザに対してより多くの報酬を付与するように設定すると、ユーザはより高い評価をされるために評価対象動作の改善へのモチベーションも働くため、ユーザに評価対象動作を行うためのモチベーションをより維持し易くなる。
【0144】
また、ユーザへ付与される報酬は、ブロックチェーン上のトークンとして記録することもできる。この場合、情報の改ざん防止や冗長性を確保することができるため、ユーザの信頼性及び利便性を向上させることができる。このトークンは、代替可能トークン、非代替性トークン、非譲渡性トークン又はこれらの組み合わせであってもよい。このトークンが代替可能トークンの場合は、一例としてデジタル通貨として活用が可能となる。また、トークンが非代替性トークンの場合は、一例として所有者が改ざんされないトークンとして希少性が生まれ、市場などでの取引に活用が可能となる。さらに、トークンが非代替性トークンの場合は、一例としてユーザのスキル、すなわち評価対象動作の技能の証明に活用することができ、この証明を利用することで個人認証や健康状態の診断等、各種の発展が可能となる。
【0145】
さらにまた、前記情報処理方法は、前述したトークンを所有しているユーザのみが参加できるコミュニティを管理する組織管理処理を加えてもよい。すなわち、組織管理処理では、一例としてピラティスのためのコミュニティを管理し、前述したトークンを所有しているユーザの当該コミュニティへの参加を許可する。また、組織管理処理では、新たなピラティスのプログラムなどの作成及び決定をする際のいわば投票権としてトークンを活用してもよい。さらに、組織管理処理では、コミュニティ内でのユーザの貢献活動にも応じてトークンの付与を行ってもよい。これにより、コミュニティの活性化を図り、ひいてはこのコミュニティに関連するピラティス(評価対象動作)を実施するためのユーザのモチベーションをさらに維持することが可能となる。
【0146】
また、ユーザへ付与される報酬は、通貨と交換可能な価値として記録されることで、評価対象動作を実施するユーザのモチベーションをより一層維持することができる。
【0147】
また、評価対象動作は、前述したペルビックカールのみならず、立位体前屈等の他の動作でももちろんよい。一例として、
図29に示されるような立位体前屈を評価対象動作とする場合は、骨格情報に基づいて、ユーザの上半身の2点間の距離である第1距離(一例としてユーザの腰又は尻から、ユーザの肩、喉、目、鼻、口又は頭までの距離)を算出する第1算出処理と、前記第1距離に基づいて、ユーザの動作を評価する評価処理と、を含み、評価処理は、前屈動作の開始前の第1距離より、前屈動作中の前記第1距離が短い場合、前屈動作を高く評価する構成としてもよい。
【0148】
<付記>
本実施形態は、以下の開示を含む。
【0149】
(付記1)
情報処理装置が実行する情報処理方法であって、
膝屈曲位状態のユーザにおける当該ユーザの臀部を上方へ上げる動作及び下方へ下げる動作の少なくとも一方を含む評価対象動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの腰屈曲度を算出する算出処理と、
前記腰屈曲度に基づいて、前記評価対象動作を評価する評価処理と、
を含む情報処理方法。
【0150】
(付記2)
前記腰屈曲度は、前記ユーザにおける、肩又は首と腰とを結ぶ仮想の第1直線と、当該腰と膝とを結ぶ仮想の第2直線と、で成す第1角度とされている、
付記1に記載の情報処理方法。
【0151】
(付記3)
前記腰屈曲度は、
前記ユーザにおける、肩又は首と腰とを結ぶ仮想の第1直線と、当該腰と膝とを結ぶ仮想の第2直線と、で成す第1角度と、
前記ユーザにおける、胸又は背中と前記腰とを結ぶ仮想の第3直線と、前記第2直線と、で成す第2角度と、の差分とされている、
付記1に記載の情報処理方法。
【0152】
(付記4)
前記情報処理装置は、前記評価処理において、前記差分の正負が反転しない場合、前記評価対象動作を高く評価する、
付記3に記載の情報処理方法。
【0153】
(付記5)
前記腰屈曲度は、前記ユーザにおける、首と膝とを結ぶ仮想の第4直線と、臀部と、の距離とされている、
付記1に記載の情報処理方法。
【0154】
(付記6)
前記腰屈曲度は、前記ユーザにおける、腰と膝とを結ぶ仮想の第5直線の長さである、
付記1に記載の情報処理方法。
【0155】
(付記7)
前記情報処理装置は、前記算出処理において、前記骨格情報に基づいて、前記ユーザの首屈曲度を算出すると共に、
前記評価処理において、前記首屈曲度にも基づいて、前記ユーザの動作を評価する、
付記1に記載の情報処理方法。
【0156】
(付記8)
前記首屈曲度は、前記ユーザにおける、目と首とを結ぶ仮想の第6直線と、当該首と胸とを結ぶ仮想の第7直線と、で成す第3角度とされている、
付記7に記載の情報処理方法。
【0157】
(付記9)
前記動画は、前記ユーザを側方から撮影した動画である、
付記1に記載の情報処理方法。
【0158】
(付記10)
前記情報処理装置は、前記評価処理にて前記評価対象動作に対してなされた評価に応じて、前記ユーザへ報酬を付与する情報を記録する、
付記1に記載の情報処理方法。
【0159】
(付記11)
前記報酬は、ブロックチェーン上のトークンとして記録される、
付記10に記載の情報処理方法。
【0160】
(付記12)
前記報酬は、通貨と交換可能な価値として記録される、
付記10に記載の情報処理方法。
【0161】
(付記13)
膝屈曲位状態のユーザにおける当該ユーザの臀部を上方へ上げる動作及び下方へ下げる動作の少なくとも一方を含む評価対象動作を撮影した動画を取得する取得部と、
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの腰屈曲度を算出する算出部と、
前記腰屈曲度に基づいて、前記評価対象動作を評価する評価部と、
を有する情報処理装置。
【0162】
(付記14)
膝屈曲位状態のユーザにおける当該ユーザの臀部を上方へ上げる動作及び下方へ下げる動作の少なくとも一方を含む評価対象動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの腰屈曲度を算出する算出処理と、
前記腰屈曲度に基づいて、前記評価対象動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。
【0163】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0164】
1 評価装置(情報処理装置)
10 情報処理システム
20 情報処理システム
22 評価装置(情報処理装置)
30 情報処理システム
32 評価装置(情報処理装置)
40 情報処理システム
42 評価装置(情報処理装置)
50 情報処理システム
52 評価装置(情報処理装置)
121 ユーザ動画(動画)
122 骨格情報
131 取得部
132 抽出部
133 第1算出部(算出部)
134 第2算出部(算出部)
136 評価部
261 第3算出部(算出部)
263 評価部
361 第4算出部(算出部)
363 評価部
421 第5算出部(算出部)
423 評価部
D1 第1距離(第4直線と臀部との距離)
D2 第2距離(第5直線の長さ)
L1 第1直線
L2 第2直線
L3 第3直線
L4 第4直線
L5 第5直線
L6 第6直線
L7 第7直線
θ1 第1角度
θ2 第2角度