IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社エクサウィザーズの特許一覧 ▶ 株式会社ZEN PLACEの特許一覧

<>
  • 特開-情報処理方法、装置及びプログラム 図1
  • 特開-情報処理方法、装置及びプログラム 図2
  • 特開-情報処理方法、装置及びプログラム 図3
  • 特開-情報処理方法、装置及びプログラム 図4
  • 特開-情報処理方法、装置及びプログラム 図5
  • 特開-情報処理方法、装置及びプログラム 図6
  • 特開-情報処理方法、装置及びプログラム 図7
  • 特開-情報処理方法、装置及びプログラム 図8
  • 特開-情報処理方法、装置及びプログラム 図9
  • 特開-情報処理方法、装置及びプログラム 図10
  • 特開-情報処理方法、装置及びプログラム 図11
  • 特開-情報処理方法、装置及びプログラム 図12
  • 特開-情報処理方法、装置及びプログラム 図13
  • 特開-情報処理方法、装置及びプログラム 図14
  • 特開-情報処理方法、装置及びプログラム 図15
  • 特開-情報処理方法、装置及びプログラム 図16
  • 特開-情報処理方法、装置及びプログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023127639
(43)【公開日】2023-09-14
(54)【発明の名称】情報処理方法、装置及びプログラム
(51)【国際特許分類】
   G06T 7/20 20170101AFI20230907BHJP
   A63B 71/06 20060101ALI20230907BHJP
   A63B 24/00 20060101ALI20230907BHJP
【FI】
G06T7/20 300
A63B71/06 M
A63B24/00
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022031441
(22)【出願日】2022-03-02
(71)【出願人】
【識別番号】517255566
【氏名又は名称】株式会社エクサウィザーズ
(71)【出願人】
【識別番号】509264475
【氏名又は名称】株式会社ZEN PLACE
(72)【発明者】
【氏名】蛭田 興明
(72)【発明者】
【氏名】板橋 宣孝
(72)【発明者】
【氏名】石山 洸
(72)【発明者】
【氏名】笠原 裕司
(72)【発明者】
【氏名】ビヨルン デメイヤー
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096CA04
5L096DA02
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA51
(57)【要約】
【課題】 動画から立位体前屈の良し悪しを評価する。
【解決手段】
一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第3算出処理と、前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、を含む情報処理方法。
【選択図】図13
【特許請求の範囲】
【請求項1】
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第3算出処理と、
前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法。
【請求項2】
前記評価処理は、前記前屈動作中の前記首屈曲度が所定の範囲に含まれる場合、前記前屈動作を高く評価する
請求項1に記載の情報処理方法。
【請求項3】
前記首屈曲度は、肩と腰又は尻とを結ぶ直線と、肩と頭部の一点とを結ぶ直線と、の傾きである
請求項1又は請求項2に記載の情報処理方法。
【請求項4】
前記骨格情報に基づいて、前記ユーザの膝屈曲度を算出する第4算出処理と、
前記膝屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
を更に含む請求項1から請求項3までのいずれかに記載の情報処理方法。
【請求項5】
前記評価処理は、前記前屈動作中の前記膝屈曲度が、直立時の前記膝屈曲度に近いほど、前記前屈動作を高く評価する
請求項4に記載の情報処理方法。
【請求項6】
前記膝屈曲度は、膝とくるぶし、踵又は爪先とを結ぶ直線と、膝と腰又は尻とを結ぶ直線と、の傾きである
請求項4又は請求項5に記載の情報処理方法。
【請求項7】
前記膝屈曲度は、水平面と、くるぶし、踵又は爪先と腰又は尻とを結ぶ直線と、の傾きである
請求項4から請求項6までのいずれかに記載の情報処理方法。
【請求項8】
前記膝屈曲度は、くるぶし、踵又は爪先と腰又は尻とを結ぶ直線の長さである
請求項4から請求項6までのいずれかに記載の情報処理方法。
【請求項9】
前記動画は、前記ユーザを側方から撮影した動画である
請求項1から請求項8までのいずれかに記載の情報処理方法。
【請求項10】
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得部と、
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第3算出部と、
前記首屈曲度に基づいて、前記ユーザの動作を評価する評価部と、
を備える情報処理装置。
【請求項11】
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第3算出処理と、
前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、装置及びプログラムに関する。
【背景技術】
【0002】
従来、動画から抽出した骨格情報を利用して、運動を評価する技術が知られている。例えば、引用文献1には、ユーザ端末に関連するユーザの身体の運動の評価を行うシステムであって、前記身体を撮像した画像を解析して前記身体の複数の部位を特定する画像解析部と、前記複数の部位の各々の動きを評価し、評価情報を生成する評価生成部と、ユーザ端末と指導者端末との間のコミュニケーション用画面を生成する画面生成部と、を有し、前記画面生成部は、前記コミュニケーション用画面の少なくとも一部に、前記評価情報を表示するよう画面を生成する、運動評価システムが開示されている。このシステムによれば、動画からピッチング等の運動を評価することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-49208号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
動画から立位体前屈の良し悪しを評価する技術が求められている。
【0005】
本発明は、上記の課題を鑑みてなされたものであり、動画から立位体前屈の良し悪しを評価することを目的とする。
【課題を解決するための手段】
【0006】
一実施形態に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、前記動画から前記ユーザの骨格情報を抽出する抽出処理と、前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第3算出処理と、前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、を含む情報処理方法。
【発明の効果】
【0007】
一実施形態によれば、動画から立位体前屈の良し悪しを評価することができる。
【図面の簡単な説明】
【0008】
図1】立位体前屈を説明する模式図である。
図2】本実施形態に係る情報処理システムの構成の一例を示す図である。
図3】情報処理装置のハードウェア構成の一例を示す図である。
図4】評価装置の機能構成の一例を示す図である。
図5】上体長Lを説明する図である。
図6】前屈距離Dを説明する図である。
図7】評価装置1が実行する処理の一例を示すフローチャートである。
図8】前屈距離D及び上体長L(比率L/Lr)の一例を示す図である。
図9】前屈距離D及び上体長L(比率L/Lr)の一例を示す図である。
図10】立位体前屈を説明する模式図である。
図11】ユーザ端末に表示される評価結果の表示画面の一例を示す図である。
図12】評価装置の機能構成の一例を示す図である。
図13】首屈曲度Hを説明する模式図である。
図14】膝屈曲度Kを説明する模式図である。
図15】膝屈曲度Kを説明する模式図である。
図16】膝屈曲度Kを説明する模式図である。
図17】評価装置1が実行する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0010】
<<第1実施形態>>
<システム概要>
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、ユーザ動画121に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知するシステムである。ユーザ動画121は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザは、立位体前屈を実施する人である。立位体前屈は、上半身を前屈させることにより背筋を伸ばすストレッチであり、ピラティスなどで取り入れられている。
【0011】
図1は、立位体前屈を説明する模式図である。図1に示すように、立位体前屈は、ユーザが直立した状態から、前屈動作(ロールダウン)を実施し、前屈した状態で停止し、起き上り動作(ロールアップ)を実施し、再び直立した状態に移行するまでの一連の動作である。
【0012】
<システム構成>
図2は、本実施形態に係る情報処理システムの構成の一例を示す図である。図2に示すように、本実施形態に係る情報処理システムは、ネットワークNを介して相互に通信可能に接続された、評価装置1と、ユーザ端末2と、を備える。ネットワークNは、例えば、有線LAN(Local Area Network)、無線LAN、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図2の例では、情報処理システムは、評価装置1及びユーザ端末2をそれぞれ1つずつ備えるが、それぞれ複数備えてもよい。
【0013】
評価装置1は、ユーザ動画121に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果をユーザに通知する情報処理装置である。評価装置1は、例えば、PC(Personal Computer)、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。評価装置1について、詳しくは後述する。
【0014】
ユーザ端末2は、ユーザ動画121を評価装置1に送信し、立位体前屈の評価結果を表示する情報処理装置である。ユーザ端末2は、例えば、PC、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。ユーザ端末2は、外部装置からユーザ動画121を取得し、取得したユーザ動画121を評価装置1に送信してもよい。また、ユーザ端末2は、カメラを備え、そのカメラで撮影したユーザ動画121を評価装置1に送信してもよい。この場合、ユーザは、自分で自分のユーザ動画121を撮影してもよいし、ユーザ以外の撮影者に自分のユーザ動画121を撮影してもらってもよい。また、ユーザ動画121を送信するユーザ端末2と、評価結果を表示するユーザ端末2と、は異なる情報処理装置であってもよい。
【0015】
<ハードウェア構成>
次に、情報処理装置100のハードウェア構成について説明する。図3は、情報処理装置100のハードウェア構成の一例を示す図である。図3に示すように、情報処理装置100は、バスBを介して相互に接続された、プロセッサ101と、メモリ102と、ストレージ103と、通信I/F104と、入出力I/F105と、ドライブ装置106と、を備える。
【0016】
プロセッサ101は、ストレージ103に記憶されたOS(Operating System)を含む各種のプログラムをメモリ102に展開して実行することにより、情報処理装置100の各構成を制御し、情報処理装置100の機能を実現する。プロセッサ101は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、又はこれらの組み合わせである。
【0017】
メモリ102は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、又はこれらの組み合わせである。ROMは、例えば、PROM(Programmable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、又はこれらの組み合わせである。RAMは、例えば、DRAM(Dynamic RAM)、SRAM(Static RAM)、又はこれらの組み合わせである。
【0018】
ストレージ103は、OSを含む各種のプログラム及びデータを記憶する。ストレージ103は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SCM(Storage Class Memories)、又はこれらの組み合わせである。
【0019】
通信I/F104は、情報処理装置100を、ネットワークNを介して外部装置に接続し、通信を制御するためのインタフェースである。通信I/F104は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、ZigBee(登録商標)、Ethernet(登録商標)、又は光通信に準拠したアダプタであるが、これに限られない。
【0020】
入出力I/F105は、評価装置1に入力装置107及び出力装置108を接続するためのインタフェースである。入力装置107は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置108は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。
【0021】
ドライブ装置106は、ディスクメディア109のデータを読み書きする。ドライブ装置106は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア109は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、FD(Floppy Disk)、MO(Magneto-Optical disk)、BD(Blu-ray(登録商標) Disc)、又はこれらの組み合わせである。
【0022】
なお、本実施形態において、プログラムは、情報処理装置100の製造段階でメモリ102又はストレージ103に書き込まれてもよいし、ネットワークNを介して情報処理装置100に提供されてもよいし、ディスクメディア109などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置100に提供されてもよい。
【0023】
<機能構成>
次に、評価装置1の機能構成について説明する。図4は、評価装置1の機能構成の一例を示す図である。図4に示すように、評価装置1は、通信部11と、記憶部12と、制御部13と、を備える。
【0024】
通信部11は、通信I/F104により実現される。通信部11は、ネットワークNを介して、ユーザ端末2との間で情報の送受信を行う。通信部11は、ユーザ端末2からユーザ動画121を受信する。また、通信部11は、ユーザ端末2に評価結果情報124を送信する。
【0025】
記憶部12は、メモリ102及びストレージ103により実現される。記憶部12には、ユーザ動画121、骨格情報122、距離情報123及び評価結果情報124が記憶される。
【0026】
ユーザ動画121は、ユーザが実施した立位体前屈をユーザの側方から撮影した動画である。ユーザ動画121は、ユーザの前屈動作及び起き上がり動作の少なくとも一方の動作を撮影した動画であればよい。また、ユーザ動画121は、複数回の立位体前屈を撮影した動画であってもよい。
【0027】
骨格情報122は、ユーザ動画121に写ったユーザの体(骨格)における複数の特徴点の座標を示す情報である。特徴点は、例えば、頭、目、鼻、口、耳、肩、喉、肘、手首、指、腰、尻、膝、くるぶし、踵、又は爪先であるが、これに限られない。骨格情報122は、ユーザ動画121の各フレームと対応した時系列情報として記憶される。
【0028】
距離情報123は、後述する第1算出部133及び第2算出部134により算出された上体長L及び前屈距離Dを示す情報である。上体長L及び前屈距離Dは、ユーザ動画121の各フレームと対応した時系列情報として記憶される。上体長L及び前屈距離Dについて、詳しくは後述する。
【0029】
評価結果情報124は、ユーザの立位体前屈の良し悪しを評価した評価結果を示す情報である。評価結果は、評価項目ごとの評価値であってもよいし、評価項目ごとのコメント又はアドバイスであってもよい。評価項目は、例えば、背中の伸び具合、速度、及び前屈の深さの少なくとも1つを含む。
【0030】
制御部13は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部13は、評価装置1の動作全体を制御する。制御部13は、取得部131と、抽出部132と、第1算出部133と、第2算出部134と、判別部135と、評価部136と、通知部137と、を備える。
【0031】
取得部131は、通信部11がユーザ端末2から受信したユーザ動画121を取得し、記憶部12に保存する。
【0032】
抽出部132は、骨格抽出(姿勢推定)処理により、記憶部12に保存されたユーザ動画121から、ユーザ動画121に写ったユーザの骨格情報122を抽出し、記憶部12に保存する。抽出部132は、任意の骨格抽出方法を利用できる。
【0033】
第1算出部133は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの上体長Lを算出する。上体長Lは、ユーザの上半身の2点間の距離であり、第1距離に相当する。より詳細には、上体長Lは、ユーザの上半身における、下方の特徴点から上方の特徴点までの距離である。例えば、下方の特徴点は腰又は尻であり、上方の特徴点は肩、喉、目、鼻、口、耳又は頭であるが、これに限られない。第1算出部133は、ユーザ動画121の各フレームに対応する上体長Lを示す距離情報を時系列情報として記憶部12に保存する。
【0034】
図5は、上体長Lを説明する図である。図5に示すように、上体長Lは、ユーザの上半身における下方の特徴点から上方の特徴点までの、画像(フレーム)上での直線距離となる。図5の例では、上体長Lは、腰から肩までの距離であるが、これに限られない。
【0035】
第2算出部134は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの前屈距離Dを算出する。前屈距離Dは、基準線Rからユーザの上半身までの距離であり、第2距離に相当する。より詳細には、前屈距離Dは、基準線Rからユーザの上半身における特徴点までの距離である。例えば、ユーザの上半身における特徴点は、肩、喉、目、鼻、口、耳又は頭であるが、これに限られない。基準線Rは、ユーザの前屈の程度に応じてユーザの上半身までの距離が変化する任意の直線であり得る。基準線Rは、例えば、ユーザ動画121の画像(フレーム)上における任意の垂線である。また、基準線Rは、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口、耳又は頭と、を通る直線であってもよい。第2算出部134は、ユーザ動画121の各フレームに対応する前屈距離Dを示す距離情報を時系列情報として記憶部12に保存する。
【0036】
図6は、前屈距離Dを説明する図である。図6に示すように、前屈距離Dは、ユーザの上半身における特徴点から基準線Rまでの、画像(フレーム)上での直線距離となる。図6の例では、前屈距離Dは、ユーザの肩から、前屈動作の開始前におけるユーザの腰と肩を通る直線までの距離であるが、これに限られない。
【0037】
判別部135は、前屈距離Dに基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。より詳細には、判別部135は、ユーザ動画121に含まれる前屈動作部分及び起き上がり動作部分の少なくとも一方を判別する。前屈動作部分は、ユーザ動画121において、ユーザが前屈動作を実施しているところを撮影した部分のことである。起き上がり動作部分は、ユーザ動画121において、ユーザが起き上がり動作を実施しているところを撮影した部分のことである。判別方法については後述する。
【0038】
評価部136は、上体長Lに基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果を示す評価結果情報124を記憶部12に保存する。評価方法については後述する。
【0039】
通知部137は、記憶部12に保存された評価結果情報124をユーザ端末2に送信し、ユーザに評価結果を通知する。
【0040】
<評価装置が実行する処理>
次に、評価装置1が実行する処理について説明する。図7は、評価装置1が実行する処理の一例を示すフローチャートである。
【0041】
(ステップS101)
取得部131は、通信部11がユーザ端末2から受信したユーザ動画121を取得し、記憶部12に保存する。
【0042】
(ステップS102)
抽出部132は、骨格抽出処理により、記憶部12に保存されたユーザ動画121から、ユーザ動画121に写ったユーザの骨格情報122を抽出し、記憶部12に保存する。
【0043】
(ステップS103)
第1算出部133は、記憶部12に保存された骨格情報122に基づいて、ユーザ動画121の各フレームに対応する上体長Lを算出する。第1算出部133は、算出部した上体長Lを距離情報123として記憶部12に保存する。
【0044】
(ステップS104)
第2算出部134は、記憶部12に保存された骨格情報122に基づいて、ユーザ動画121における基準線Rを設定する。第2算出部134は、ユーザ動画121の最初のフレームにおける、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口、耳又は頭と、を通る直線を基準線Rとして設定してもよい。また、第2算出部134は、何らかの方法で前屈動作の開始タイミングを検出し、検出した開始タイミングの直前のフレームにおけるユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口、耳又は頭と、を通る直線を基準線Rとして設定してもよい。いずれの方法でも、第2算出部134は、前屈動作の開始前における、ユーザの腰又は尻と、ユーザの肩、喉、目、鼻、口、耳又は頭と、を通る直線を基準線Rに設定することができる。
【0045】
(ステップS105)
第2算出部134は、ステップS104で設定した基準線Rと、ユーザ動画121の各フレームに対応する骨格情報122と、に基づいて、ユーザ動画121の各フレームに対応するユーザの前屈距離Dを算出する。第2算出部134は、算出部した前屈距離Dを距離情報123として記憶部12に保存する。
【0046】
(ステップS106)
判別部135は、ステップS105で算出した前屈距離Dに基づいて、ユーザ動画121におけるユーザの各動作部分を判別する。
【0047】
ここで、図8及び図9は、前屈距離D及び上体長L(比率L/Lr)の一例を示す図である。図8は、ユーザが良い立位体前屈を実施した場合の前屈距離D及び上体長L(比率L/Lr)を示す図である。図9は、ユーザが悪い立位体前屈を実施した場合の前屈距離D及び上体長L(比率L/Lr)を示す図である。図8及び図9の例では、ユーザが立位体前屈を3回実行した場合の前屈距離D及び上体長Lが時系列で示されている。
【0048】
図8及び図9に示すように、前屈距離Dは、直立している間は小さく、前屈動作中に急激に大きくなり、停止中はほぼ一定となり、起き上がり動作中に急激に小さくなる。このため、判別部135は、例えば、前屈距離Dが閾値以下で安定した値からピークまで所定の勢いで上昇する部分を前屈動作部分と判別し、前屈距離Dがピークから閾値以下の値まで所定の勢いで下降する部分を起き上がり部分と判別し、前屈動作部分と起き上がり動作部分との間を停止部分と判別し、残りの部分を直立部分と判別することにより、ユーザ動画121を図8及び図9のように各動作部分に判別することができる。なお、判別方法は、上記の例に限られない。
【0049】
(ステップS107)
第1算出部133は、記憶部12に保存された上体長Lと、判別部135による各動作部分の判別結果と、に基づいて、基準長Lrを設定する。基準長Lrは、上体長Lの基準となる長さであって、直立状態のユーザの上体長Lに相当する。第1算出部133は、ユーザ動画121における最初の直立部分の上体長Lに基づいて基準長Lrを設定すればよい。基準長Lrは、例えば、最初の直立部分の最後のフレームの上体長L、最初の直立部分の最初のフレームの上体長L、又は最初の直立部分の上体長Lの平均値であるが、これに限られない。
【0050】
(ステップS108)
第1算出部133は、記憶部12に保存された上体長Lと、ステップS107で算出した基準長Lrと、に基づいて、ユーザ動画121の各フレームに対応する、上体長Lと基準長Lrの比率L/Lrを算出する。第1算出部133は、算出した比率L/Lrを距離情報123として記憶部12に保存する。
【0051】
(ステップS109)
評価部136は、記憶部12に保存された比率L/Lrと、判別部135による各動作部分の判別結果と、に基づいて、ユーザの立位体前屈を評価する。評価項目として、背中の伸び具合、速度、及び前屈の深さが挙げられる。
【0052】
ここで、立位体前屈の評価方法について説明する。図10は、立位体前屈を説明する模式図である。図1は、良い立位体前屈を説明する模式図である。図10は、悪い立位体前屈を説明する模式図である。
【0053】
(1)背中の伸び具合について
図1に示すように、立位体前屈は、背中の筋肉を伸ばすために、首を前方に曲げ、背中を丸めた状態で前屈動作を実施するのが好ましい。このため、ユーザが適切に前屈動作を実施した場合、前屈動作の開始前の上体長Lである基準長Lrより、前屈動作中の上体長Lは短くなる。すなわち、図8に示すように、前屈動作中の比率L/Lrが1より小さくなる。
【0054】
同様に、立位体前屈は、首を前方に曲げ、背中を丸めた状態で起き上がり動作を実施するのが好ましい。このため、ユーザが適切に起き上がり動作を実施した場合、前屈動作の開始前の上体長Lである基準長Lrより、起き上がり動作中の上体長Lは短くなる。すなわち、図8に示すように、起き上がり動作中の比率L/Lrが1より小さくなる。
【0055】
一方、図10に示すように、立位体前屈は、首及び背中を真っ直ぐにした状態で前屈動作を実施した場合、背中の筋肉があまり伸びないため、十分な効果を得られない。このため、ユーザが適切に前屈動作を実施しなかった場合、前屈動作の開始前の上体長Lである基準長Lrと、起き上がり動作中の上体長Lと、は略等しくなる。すなわち、図9に示すように、起き上がり動作中の比率L/Lrが略1となる。
【0056】
同様に、立位体前屈は、首及び背中を真っ直ぐにした状態で起き上がり動作を実施した場合、十分な効果を得られない。このため、ユーザが適切に起き上がり動作を実施しなかった場合、起き上がり動作の開始前の上体長Lである基準長Lrと、起き上がり動作中の上体長Lと、は略等しくなる。すなわち、図9に示すように、起き上がり動作中の比率L/Lrが略1となる。
【0057】
そこで、評価部136は、前屈動作中の比率L/Lrが1より小さい場合、ユーザの立位体前屈(前屈動作)における背中の伸び具合を高く評価する。評価部136は、前屈動作中の比率L/Lrの平均値が1より小さいほど評価を高くしてもよいし、前屈動作中に比率L/Lrが1より小さい期間が長いほど評価を高くしてもよい。これにより、図8の例では、3回の前屈動作がいずれも高く評価される。一方、図9の例では、1回目の前屈動作のみ高く評価され、残り2回の前屈動作は低く評価される。
【0058】
同様に、評価部136は、起き上がり動作中の比率L/Lrが1より小さい場合、ユーザの立位体前屈(起き上がり動作)における背中の伸び具合を高く評価する。評価部136は、起き上がり動作中の比率L/Lrの平均値が1より小さいほど評価を高くしてもよいし、起き上がり動作中に比率L/Lrが1より小さい期間が長いほど評価を高くしてもよい。これにより、図8の例では、3回の起き上がり動作がいずれも高く評価される。一方、図9の例では、3回の起き上がり動作がいずれも低く評価される。
【0059】
(2)速度について
立位体前屈では、勢いをつけて前屈動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで前屈動作を実施するのが好ましい。そこで、例えば、評価部136は、前屈動作の時間が長いほど、ユーザの立位体前屈(前屈動作)における速度を高く評価する。また、評価部136は、前屈動作の速度(前屈距離Dの傾き)が一定であるほど、ユーザの立位体前屈(前屈動作)における速度を高く評価してもよい。
【0060】
同様に、立位体前屈では、勢いをつけて起き上がり動作を実施するのは好ましくない。言い換えると、ゆっくり一定のペースで起き上がり動作を実施するのが好ましい。そこで、例えば、評価部136は、起き上がり動作の時間が長いほど、ユーザの立位体前屈(起き上がり動作)における速度を高く評価する。また、評価部136は、起き上がり動作の速度(前屈距離Dの傾き)が一定であるほど、ユーザの立位体前屈(起き上がり動作)における速度を高く評価してもよい。
【0061】
(3)前屈の深さについて
立位体前屈は、背中の筋肉を伸ばすため、深く前屈するほど好ましい。そこで、例えば、評価部136は、停止中における上半身の傾きが垂直(鉛直)に近いほど、ユーザの立位体前屈における前屈の深さを高く評価する。上半身の傾きは、例えば、前屈距離Dを算出するために利用するユーザの上半身の2点間を結ぶ直線の傾きであるが、これに限られない。
【0062】
評価部136は、以上のような方法で評価したユーザの立位体前屈の評価結果を示す評価結果情報124を記憶部12に保存する。なお、評価部136による評価方法は、上記の例に限られない。
【0063】
(ステップS110)
通知部137は、記憶部12に保存された評価結果情報124をユーザ端末2に送信することにより、ユーザに評価結果を通知する。ユーザ端末2は、評価結果情報124を受信すると、評価結果情報124が示す評価結果をディスプレイに表示する。
【0064】
図11は、ユーザ端末2に表示される評価結果の表示画面の一例を示す図である。図11の表示画面は、ユーザ動画121の再生領域Im1と、評価値領域Im2と、評価コメント領域Im3と、を有する。再生領域Im1は、ユーザ動画121を再生する。評価値領域Im2は、立位体前屈の総合及び各評価項目の評価値(評価結果)を表示する。評価コメント領域Im3は、ユーザの立位体前屈に対するコメント(評価結果)を表示する。なお、ユーザ端末2の表示画面に表示される評価結果は、図11の例に限られない。
【0065】
<まとめ>
以上説明した通り、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて上体長Lを算出し、上体長Lに基づいてユーザの立位体前屈を評価する。これにより、評価装置1は、立位体前屈における背中の伸び具合を評価することができる。
【0066】
また、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて前屈距離Dを算出し、前屈距離Dに基づいてユーザ動画121における各動作部分を判別する。これにより、評価装置1は、ユーザ動画121の各動作部分を自動的に判別することができる。
【0067】
また、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて前屈距離Dを算出し、前屈距離Dに基づいてユーザの立位体前屈を評価する。これにより、評価装置1は、立位体前屈における速度及び深さを評価することができる。
【0068】
<<第2実施形態>>
第2実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、ユーザの首屈曲度及び膝屈曲度の少なくとも一方に基づいて、ユーザの立位体前屈の良し悪しを評価する。以下では、第1実施形態との相違点を中心に説明し、第1実施形態と共通する構成については説明を省略する。
【0069】
<機能構成>
図12は、評価装置1の機能構成の一例を示す図である。図12に示すように、評価装置1は、通信部11と、記憶部12と、制御部13と、を備える。
【0070】
記憶部12は、首屈曲度情報12と、膝屈曲度情報126と、を記憶する。
【0071】
首屈曲度情報125は、後述する第3算出部138により算出された首屈曲度Hを示す情報である。首屈曲度Hは、ユーザ動画121の各フレームと対応した時系列情報として記憶される。首屈曲度Hについて、詳しくは後述する。
【0072】
膝屈曲度情報126は、後述する第4算出部139により算出された膝屈曲度Kを示す情報である。膝屈曲度Kは、ユーザ動画121の各フレームと対応した時系列情報として記憶される。膝屈曲度Kについて、詳しくは後述する。
【0073】
なお、本実施形態において、評価結果情報124の評価項目は、首の曲げ具合及び膝の曲げ具合の少なくとも1つを含む。
【0074】
制御部13は、第3算出部138と、第4算出部139と、を備える。
【0075】
第3算出部138は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの首屈曲度Hを算出する。首屈曲度Hは、ユーザの前方への首の曲げ具合を示す指標であって、ユーザの肩と腰又は尻とを結ぶ直線と、肩と頭部の一点とを結ぶ直線と、の傾き(角度)である。頭部の一点は、肩、喉、目、鼻、口、耳又は頭であるが、これに限られない。第3算出部138は、ユーザ動画121の各フレームに対応する首屈曲度Hを示す情報を時系列情報として記憶部12に保存する。
【0076】
図13は、首屈曲度Hを説明する図である。図13に示すように、首屈曲度Hは、ユーザの肩と腰又は尻とを結ぶ直線と、肩と頭部の一点とを結ぶ直線と、の画像(フレーム)上での傾き(角度)となる。図13の例では、首屈曲度Hは、肩と腰を結ぶ直線h1と、肩と目を結ぶ直線h2と、の傾き(直立時に鋭角となる側)であるが、これに限られない。図13の首屈曲度Hの場合、ユーザが首を前方に曲げるほど、首屈曲度Hは大きくなる。
【0077】
第4算出部139は、ユーザ動画121の各フレームに対応する骨格情報122に基づいて、ユーザ動画121の各フレームに対応するユーザの膝屈曲度Kを算出する。膝屈曲度Kは、ユーザの膝の曲げ具合を示す指標である。膝屈曲度Kは、例えば、ユーザの膝とくるぶし、踵又は爪先とを結ぶ直線と、膝と腰又は尻とを結ぶ直線と、の傾き(角度)である。また、膝屈曲度Kは、水平面と、ユーザのくるぶし、踵又は爪先と腰又は尻とを結ぶ直線と、の傾き(角度)であってもよい。また、膝屈曲度Kは、ユーザのくるぶし、踵又は爪先と腰又は尻とを結ぶ直線の長さであってもよい。第4算出部139は、ユーザ動画121の各フレームに対応する膝屈曲度Kを示す情報を時系列情報として記憶部12に保存する。
【0078】
図14は、膝屈曲度K1を説明する図である。図14に示すように、膝屈曲度K1は、ユーザの膝とくるぶし、踵又は爪先とを結ぶ直線と、膝と腰又は尻とを結ぶ直線と、の画像(フレーム)上での傾き(角度)となる。図14の例では、膝屈曲度K1は、膝と踵とを結ぶ直線k1と、膝と腰とを結ぶ直線k2と、の傾き(直立時に鋭角となる側)であるが、これに限られない。図14の膝屈曲度K1の場合、ユーザが膝を曲げるほど、膝屈曲度K1は大きくなる。
【0079】
図15は、膝屈曲度K2を説明する図である。図15に示すように、膝屈曲度K2は、水平面と、ユーザのくるぶし、踵又は爪先と腰又は尻とを結ぶ直線と、の画像(フレーム)上での傾き(角度)となる。図15の例では、膝屈曲度K2は、水平線k3と、ユーザの膝と腰とを結ぶ直線k4と、の傾き(直立時に鋭角となる側)であるが、これに限られない。図15の膝屈曲度K2の場合、ユーザが膝を曲げるほど、ユーザの腰が後ろ側に移動するため、膝屈曲度K2は大きくなる。
【0080】
図16は、膝屈曲度K3を説明する図である。図16に示すように、膝屈曲度K3は、ユーザのくるぶし、踵又は爪先と腰又は尻とを結ぶ直線の長さとなる。図16の例では、膝屈曲度K3は、ユーザの踵と腰を結ぶ直線の長さであるが、これに限られない。図16の膝屈曲度K3の場合、ユーザが膝を曲げるほど、腰が低くなって踵に近づくため、膝屈曲度K3は小さくなる。
【0081】
なお、本実施形態において、評価部136は、首屈曲度H及び膝屈曲度Kの少なくとも一方に基づいて、ユーザの立位体前屈の良し悪しを評価し、評価結果を示す評価結果情報124を記憶部12に保存する。評価方法については後述する。
【0082】
<評価装置が実行する処理>
次に、評価装置1が実行する処理について説明する。図17は、評価装置1が実行する処理の一例を示すフローチャートである。図17のステップS201~S208は、図7のステップS101~S108と同様であるため、説明を省略する。
【0083】
(ステップS209)
第3算出部138は、記憶部12に保存された骨格情報122に基づいて、ユーザ動画121の各フレームに対応する首屈曲度Hを算出する。第3算出部138は、算出部した首屈曲度Hを首屈曲度情報125として記憶部12に保存する。
【0084】
(ステップS210)
第4算出部139は、記憶部12に保存された骨格情報122に基づいて、ユーザ動画121の各フレームに対応する膝屈曲度Kを算出する。第4算出部139は、算出部した膝屈曲度Kを膝屈曲度情報126として記憶部12に保存する。
【0085】
(ステップS211)
評価部136は、記憶部12に保存された首屈曲度H及び膝屈曲度Kと、判別部135による各動作部分の判別結果と、に基づいて、ユーザの立位体前屈を評価する。評価項目として、首の曲げ具合及び膝の曲げ具合が挙げられる。
【0086】
ここで、立位体前屈の評価方法について説明する。図10は、立位体前屈を説明する模式図である。図1は、良い立位体前屈を説明する模式図である。図10は、悪い立位体前屈を説明する模式図である。
【0087】
(1)首の曲げ具合について
図1に示すように、立位体前屈は、背中の筋肉を伸ばすために、首を前方に曲げ、背中を丸めた状態で前屈動作を実施するのが好ましい。前屈動作時における適切な首屈曲度Hは、例えば、30度以上80度以下である。
【0088】
同様に、立位体前屈は、首を前方に曲げ、背中を丸めた状態で起き上がり動作を実施するのが好ましい。起き上がり動作時における適切な首屈曲度Hは、例えば、30度以上80度以下である。
【0089】
一方、図10に示すように、立位体前屈は、首を過度に曲げた状態で前屈動作を実施した場合、首を痛める恐れがある。同様に、立位体前屈は、首を過度に曲げた状態で起き上がり動作を実施した場合、首を痛める恐れがある。
【0090】
そこで、評価部136は、前屈動作中の首屈曲度Hが所定の範囲に含まれる場合、ユーザの立位体前屈(前屈動作)における首の曲げ具合を高く評価する。所定の範囲は、例えば、30度以上80度以下であるが、これに限られない。評価部136は、前屈動作中の首屈曲度Hが所定値に近いほど評価を高くしてもよいし、前屈動作中に首屈曲度Hが所定の範囲に含まれる期間が長いほど評価を高くしてもよい。
【0091】
同様に、評価部136は、起き上がり動作中の首屈曲度Hが所定の範囲に含まれる場合、ユーザの立位体前屈(起き上がり動作)における首の曲げ具合を高く評価する。所定の範囲は、例えば、30度以上80度以下であるが、これに限られない。評価部136は、起き上がり動作中の首屈曲度Hが所定値に近いほど評価を高くしてもよいし、起き上がり動作中に首屈曲度Hが所定の範囲に含まれる期間が長いほど評価を高くしてもよい。
【0092】
(2)膝の曲げ具合について
図1に示すように、立位体前屈は、背中の筋肉を伸ばすために、膝を伸ばした状態で前屈動作を実施するのが好ましい。このため、ユーザが適切に前屈動作を実施した場合、前屈動作中の膝屈曲度Kは、直立時の膝屈曲度Kと一致する。
【0093】
同様に、立位体前屈は、背中の筋肉を伸ばすために、膝を伸ばした状態で起き上がり動作を実施するのが好ましい。このため、ユーザが適切に起き上がり動作を実施した場合、起き上がり動作中の膝屈曲度Kは、直立時の膝屈曲度Kと略一致する。
【0094】
一方、図10に示すように、立位体前屈は、膝を曲げた状態で前屈動作を実施した場合、背中の筋肉があまり伸びないため、十分な効果を得られない。ユーザが膝を曲げた状態で前屈動作を実施した場合、前屈動作中の膝屈曲度Kは、直立時の膝屈曲度Kと離れた値となる。
【0095】
同様に、図10に示すように、立位体前屈は、膝を曲げた状態で起き上がり動作を実施した場合、背中の筋肉があまり伸びないため、十分な効果を得られない。ユーザが膝を曲げた状態で起き上がり動作を実施した場合、起き上がり動作中の膝屈曲度Kは、直立時の膝屈曲度Kと離れた値となる。
【0096】
そこで、評価部136は、前屈動作中の膝屈曲度Kが直立時の膝屈曲度Kに近いほど、ユーザの立位体前屈(前屈動作)における膝の曲げ具合を高く評価する。同様に、評価部136は、起き上がり動作中の膝屈曲度Kが直立時の膝屈曲度Kに近いほど、ユーザの立位体前屈(起き上がり動作)における首の曲げ具合を高く評価する。
【0097】
評価部136は、以上のような方法で評価したユーザの立位体前屈の評価結果を示す評価結果情報124を記憶部12に保存する。なお、評価部136による評価方法は、上記の例に限られない。
【0098】
(ステップS212)
通知部137は、記憶部12に保存された評価結果情報124をユーザ端末2に送信することにより、ユーザに評価結果を通知する。ユーザ端末2は、評価結果情報124を受信すると、評価結果情報124が示す評価結果をディスプレイに表示する。
【0099】
<まとめ>
以上説明した通り、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて首屈曲度Hを算出し、首屈曲度Hに基づいてユーザの立位体前屈を評価する。これにより、評価装置1は、立位体前屈における首の曲げ具合を評価することができる。
【0100】
また、評価装置1は、ユーザ動画121から抽出した骨格情報122に基づいて膝屈曲度Kを算出し、膝屈曲度Kに基づいてユーザの立位体前屈を評価する。これにより、評価装置1は、立位体前屈における膝の曲げ具合を評価することができる。
【0101】
なお、本実施形態では、首の曲げ具合及び膝の曲げ具合の両方を評価する場合について説明したが、いずれか一方だけ評価してもよいし、首の曲げ具合及び膝の曲げ具合の少なくとも一方と共に、背中の曲げ具合、速度及び前屈の深さの少なくとも1つを評価してもよい。
【0102】
<付記>
本実施形態は、以下の開示を含む。
【0103】
(付記1)
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第3算出処理と、
前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法。
【0104】
(付記2)
前記評価処理は、前記前屈動作中の前記首屈曲度が所定の範囲に含まれる場合、前記前屈動作を高く評価する
付記1に記載の情報処理方法。
【0105】
(付記3)
前記首屈曲度は、肩と腰又は尻とを結ぶ直線と、肩と頭部の一点とを結ぶ直線と、の傾きである
付記1又は付記2に記載の情報処理方法。
【0106】
(付記4)
前記骨格情報に基づいて、前記ユーザの膝屈曲度を算出する第4算出処理と、
前記膝屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
を更に含む付記1から付記3までのいずれかに記載の情報処理方法。
【0107】
(付記5)
前記評価処理は、前記前屈動作中の前記膝屈曲度が、直立時の前記膝屈曲度に近いほど、前記前屈動作を高く評価する
付記4に記載の情報処理方法。
【0108】
(付記6)
前記膝屈曲度は、膝とくるぶし、踵又は爪先とを結ぶ直線と、膝と腰又は尻とを結ぶ直線と、の傾きである
付記4又は付記5に記載の情報処理方法。
【0109】
(付記7)
前記膝屈曲度は、水平面と、くるぶし、踵又は爪先と腰又は尻とを結ぶ直線と、の傾きである
付記4から付記6までのいずれかに記載の情報処理方法。
【0110】
(付記8)
前記膝屈曲度は、くるぶし、踵又は爪先と腰又は尻とを結ぶ直線の長さである
付記4から付記6までのいずれかに記載の情報処理方法。
【0111】
(付記9)
前記動画は、前記ユーザを側方から撮影した動画である
付記1から付記8までのいずれかに記載の情報処理方法。
【0112】
(付記10)
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得部と、
前記動画から前記ユーザの骨格情報を抽出する抽出部と、
前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第3算出部と、
前記首屈曲度に基づいて、前記ユーザの動作を評価する評価部と、
を備える情報処理装置。
【0113】
(付記11)
情報処理装置が実行する情報処理方法であって、
ユーザの前屈動作及び起き上がり動作の少なくとも一方を含む動作を撮影した動画を取得する取得処理と、
前記動画から前記ユーザの骨格情報を抽出する抽出処理と、
前記骨格情報に基づいて、前記ユーザの首屈曲度を算出する第3算出処理と、
前記首屈曲度に基づいて、前記ユーザの動作を評価する評価処理と、
を含む情報処理方法をコンピュータに実行させるためのプログラム。
【0114】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0115】
1:評価装置
2:ユーザ端末
11:通信部
12:記憶部
13:制御部
101:プロセッサ
102:メモリ
103:ストレージ
104:通信I/F
105:入出力I/F
106:ドライブ装置
107:入力装置
108:出力装置
109:ディスクメディア
121:ユーザ動画
122:骨格情報
123:距離情報
124:評価結果情報
125:屈曲度情報
131:取得部
132:抽出部
133:第1算出部
134:第2算出部
135:判別部
136:評価部
137:通知部
138:第3算出部
139:第4算出部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17