IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 凸版印刷株式会社の特許一覧

特開2024-141353情報処理装置、情報処理方法、およびプログラム
<>
  • 特開-情報処理装置、情報処理方法、およびプログラム 図1
  • 特開-情報処理装置、情報処理方法、およびプログラム 図2
  • 特開-情報処理装置、情報処理方法、およびプログラム 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141353
(43)【公開日】2024-10-10
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   G16H 40/00 20180101AFI20241003BHJP
【FI】
G16H40/00
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2023052950
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】阿江 数通
(72)【発明者】
【氏名】日下部 美樹
(72)【発明者】
【氏名】田上 慎
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA03
5L099AA22
(57)【要約】
【課題】ユーザの動作に対する具体的な改善の仕方を提示すること。
【解決手段】情報処理装置は、動作を含む、ユーザの動作を表すユーザ動作データを取得する取得部と、前記動作を含む、複数の被験者の平均的な動作を表す平均動作データと、前記ユーザ動作データとの差分を算出する差分算出部と、前記差分に基づいて、前記平均動作データにおける各動作に対する前記ユーザ動作データの各動作の逸脱度を算出する逸脱度算出部と、前記各動作の逸脱度のうち、閾値以上の逸脱度となる動作を、前記ユーザの動作において改善が必要なポイントとして複数抽出する抽出部と、前記ポイントのそれぞれに対する優先順位を決定する優先順位決定部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
動作を含む、ユーザの動作を表すユーザ動作データを取得する取得部と、
前記動作を含む、複数の被験者の平均的な動作を表す平均動作データと、前記ユーザ動作データとの差分を算出する差分算出部と、
前記差分に基づいて、前記平均動作データにおける各動作に対する前記ユーザ動作データの各動作の逸脱度を算出する逸脱度算出部と、
前記各動作の逸脱度のうち、閾値以上の逸脱度となる動作を、前記ユーザの動作において改善が必要なポイントとして複数抽出する抽出部と、
前記ポイントのそれぞれに対する優先順位を決定する優先順位決定部と、
を備える情報処理装置。
【請求項2】
前記優先順位に従って、複数の前記ポイントごとのアドバイスを生成する生成部、
をさらに備える請求項1に記載の情報処理装置。
【請求項3】
コンピュータが実行する情報処理方法であって、
動作を含む、ユーザの動作を表すユーザ動作データを取得する取得過程と、
前記動作を含む、複数の被験者の平均的な動作を表す平均動作データと、前記ユーザ動作データとの差分を算出する差分算出過程と、
前記差分に基づいて、前記平均動作データにおける各動作に対する前記ユーザ動作データの各動作の逸脱度を算出する逸脱度算出過程と、
前記各動作の逸脱度のうち、閾値以上の逸脱度となる動作を、前記ユーザの動作において改善が必要なポイントとして複数抽出する抽出過程と、
前記ポイントのそれぞれに対する優先順位を決定する優先順位決定過程と、
を有する情報処理方法。
【請求項4】
コンピュータに、
動作を含む、ユーザの動作を表すユーザ動作データを取得する取得ステップと、
前記動作を含む、複数の被験者の平均的な動作を表す平均動作データと、前記ユーザ動作データとの差分を算出する差分算出ステップと、
前記差分に基づいて、前記平均動作データにおける各動作に対する前記ユーザ動作データの各動作の逸脱度を算出する逸脱度算出ステップと、
前記各動作の逸脱度のうち、閾値以上の逸脱度となる動作を、前記ユーザの動作において改善が必要なポイントとして複数抽出する抽出ステップと、
前記ポイントのそれぞれに対する優先順位を決定する優先順位決定ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
スポーツにおいて、お手本データとユーザの骨格とのを比較することでトレーニング支援するシステムがある。
例えば、特許文献1には、運動に係わる指導を受ける人が利用可能な端末に対し、通信網を介して運動教育支援サービスを提供するサーバ装置であって、サーバ側標準動作データ取得手段と、改善点表示制御手段とを備え、サーバ側標準動作データ取得手段は、端末から送信され指導を受ける人の情報要素を含む指導要求を受信すると、情報要素に対応する標準動作データをデータベースから取得し、改善点表示制御手段は、端末により得られる人の動作状態を表す動作データと標準動作データとの比較結果に基づいて、人の動作状態に対する改善点を端末に表示させるための表示データを生成し、表示データを端末に送信することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-40794号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1では、改善点が複数あった場合、ユーザは動作に改善が必要であることは把握できても、それぞれの動作をどのように改善すべきかがわからないことがあった。すなわち、ユーザの動作に対する具体的な改善の仕方を提示することができない、という課題があった。
【0005】
上述の課題を鑑み、本発明の目的は、ユーザの動作に対する具体的な改善の仕方を提示することができる情報処理装置、情報処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上述の課題を解決するために、本発明の一態様に係る情報処理装置は、動作を含む、ユーザの動作を表すユーザ動作データを取得する取得部と、前記動作を含む、複数の被験者の平均的な動作を表す平均動作データと、前記ユーザ動作データとの差分を算出する差分算出部と、前記差分に基づいて、前記平均動作データにおける各動作に対する前記ユーザ動作データの各動作の逸脱度を算出する逸脱度算出部と、前記各動作の逸脱度のうち、閾値以上の逸脱度となる動作を、前記ユーザの動作において改善が必要なポイントとして複数抽出する抽出部と、前記ポイントのそれぞれに対する優先順位を決定する優先順位決定部と、を備える情報処理装置である。
【0007】
本発明の一態様に係る情報処理方法は、コンピュータが実行する情報処理方法であって、動作を含む、ユーザの動作を表すユーザ動作データを取得する取得過程と、前記動作を含む、複数の被験者の平均的な動作を表す平均動作データと、前記ユーザ動作データとの差分を算出する差分算出過程と、前記差分に基づいて、前記平均動作データにおける各動作に対する前記ユーザ動作データの各動作の逸脱度を算出する逸脱度算出過程と、前記各動作の逸脱度のうち、閾値以上の逸脱度となる動作を、前記ユーザの動作において改善が必要なポイントとして複数抽出する抽出過程と、前記ポイントのそれぞれに対する優先順位を決定する優先順位決定過程と、を有する情報処理方法である。
【0008】
本発明の一態様に係るプログラムは、コンピュータに、動作を含む、ユーザの動作を表すユーザ動作データを取得する取得ステップと、前記動作を含む、複数の被験者の平均的な動作を表す平均動作データと、前記ユーザ動作データとの差分を算出する差分算出ステップと、前記差分に基づいて、前記平均動作データにおける各動作に対する前記ユーザ動作データの各動作の逸脱度を算出する逸脱度算出ステップと、前記各動作の逸脱度のうち、閾値以上の逸脱度となる動作を、前記ユーザの動作において改善が必要なポイントとして複数抽出する抽出ステップと、前記ポイントのそれぞれに対する優先順位を決定する優先順位決定ステップと、を実行させるためのプログラムである。
【発明の効果】
【0009】
本発明によれば、ユーザの動作に対する具体的な改善の仕方を提示することができる。
【図面の簡単な説明】
【0010】
図1】本発明の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
図2】本実施形態に係る情報処理装置における情報処理の流れを示すフローチャートである。
図3】本実施形態に係る表示画面の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
【0012】
まず、図1を参照して、本実施形態に係る情報処理装置100の構成について説明する。
図1は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。
情報処理装置100は、スポーツにおけるユーザの一連の動作を撮影した連続する画像、例えば動画像などから、当該一連の動作に対する複数の改善点と、それぞれの改善点に対する改善の仕方をユーザに提示する。
【0013】
具体的には、情報処理装置100は、動作を含む、ユーザの動作を表すユーザ動作データを取得し、動作を含む、複数の被験者の平均的な動作を表す平均動作データと、ユーザ動作データとの差分を算出し、差分に基づいて、平均動作データにおける各動作に対するユーザ動作データの各動作の逸脱度を算出し、各動作の逸脱度のうち、閾値以上の逸脱度となる動作を、ユーザの動作において改善が必要なポイントとして複数抽出し、改善ポイントのそれぞれに対する優先順位を決定する。また、情報処理装置100は、優先順位に従って、複数のポイントごとのアドバイスを生成し、ユーザに提示する。
【0014】
より具体的に、情報処理装置100について説明する。
【0015】
情報処理装置100は、通信部110と、入力部120と、記憶部130と、制御部140と、出力部150と、を含んで構成される。通信部110と、入力部120と、記憶部130と、制御部140と、出力部150とは、バスを介して相互に接続される。
【0016】
通信部110は、各種情報の送受信を行う機能を有する。例えば、通信部110は、ネットワークを介して、他の装置と通信を行う。通信部110は、受信した各種情報を制御部140に出力する。また、通信部110は、制御部140から入力される各種情報を、ネットワークを介して、他の装置に送信する。
【0017】
入力部120は、入力を受け付ける機能を有する。入力部120は、例えば、情報処理装置100がハードウェアとして備えるマウス、キーボード、タッチパネルなどの入力装置によって入力された情報を受け付ける。入力部120は、入力された情報を制御部140に出力する。
【0018】
記憶部130は、各種情報を記憶する機能を有する。記憶部130は、情報処理装置100がハードウェアとして備える記憶媒体、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、又はこれらの記憶媒体の任意の組み合わせによって構成される。
【0019】
図1に示すように、記憶部130は、モデルデータ記憶部131と、画像記憶部132と、を含んで構成される。
モデルデータ記憶部131は、スポーツの種目ごとおよび一連の動作ごとのモデルデータを記憶する。モデルデータは、例えば、被験者ごとの一連の動作を合わせて平均化したデータを複数用い、平均化した平均動作データである。被験者は、例えば、20人である。平均動作データは、時系列の三次元座標データである。当該平均動作データは、平均動作モデルや標準動作モデルとも称する。モデルデータには、モデルデータのパフォーマンス変数が含まれる。パフォーマンス変数については後述する。
【0020】
画像記憶部132は、画像取得部142が取得したデータを記憶する。当該データは、ユーザ動作データとも称する。
【0021】
制御部140は、情報処理装置100の動作全般を制御する機能を有する。制御部140は、例えば、情報処理装置100がハードウェアとして備えるCPU(Central Processing Unit)にプログラムを実行させることによって実現される。
図1に示すように、制御部140は、種目特定部141と、画像取得部142と、差分算出部143と、逸脱度算出部144と、重みづけ部145と、改善ポイント抽出部146と、優先順位決定部147と、出力情報生成部148と、を備える。
【0022】
種目特定部141は、イベント推定する対象のスポーツをユーザに選択させることで種目を特定する。例えば、種目特定部141は、サッカー、ゴルフ、野球、バスケットボールなどの種目を選択肢としてユーザに提示する。種目特定部141は、ユーザが選択した操作信号に応じて種目を特定する。
【0023】
画像取得部142は、スポーツの一連の動作を撮影した連続する画像を取得する。例えば、画像取得部142は、連続する画像として、動画像を取得する。画像取得部142は、取得した画像を表す画像データを画像記憶部132に記憶させる。また、画像取得部142は、取得したデータを入力データとして差分算出部143に出力する。
【0024】
なお、画像取得部142は、連続する画像に変えて、当該連続する画像を表す三次元座標データを取得してもよい。この場合、画像取得部142は、取得した三次元座標データを画像記憶部132に記憶させればよい。
【0025】
差分算出部143は、画像取得部142が取得した画像データから人の動きを表す特徴点を抽出し、時系列の三次元座標データを生成する。時系列の三次元座標データの生成は、画像解析、モーションキャプチャ技術などによって生成される。
【0026】
差分算出部143は、画像データから生成した時系列の三次元座標データと、モデルデータ記憶部131が記憶する平均動作モデルの三次元座標データとのパフォーマンス変数ごとの差分を算出する。パフォーマンス変数は、種目ごとにあらかじめ設定される複数の変数であり、例えば、ゴルフの場合、腰の回転角、肩の回転角、体感の傾斜角、腰の水平変位などである。また、例えば野球の投球の場合、パフォーマンス変数は、投球腕肩関節の最大外旋角/角速度、ステップ脚側の膝関節の屈曲伸展角、重心の鉛直変位などである。また、例えば、サッカーのシュート場合、パフォーマンス変数は、軸足の向き、シュート脚の後方への降り、腰の回転角/角速度などである。
【0027】
差分算出部143は、ユーザ動作データと、平均動作データとのパフォーマンス変数ごとの差分を、局面ごとに算出する。ここで、局面は、イベントとも称され、例えば、ゴルフであれば、アドレス、バックスイング、トップ、ダウンスイング、インパクト、フォロースイングなどの複数の局面が含まれる。本実施形態では、アドレス、バックスイング、トップまでの局面と、ダウンスイング、インパクト、フォロースイングまでの局面との2つの局面において、パフォーマンス変数がそれぞれ算出される。
【0028】
逸脱度算出部144は、逸脱度を算出する。逸脱度は、例えば偏差値である。逸脱度算出部144は、(平均値-ユーザ値)÷標準偏差により逸脱度を算出する。ここでの平均値は、平均動作モデルのパフォーマンス変数であり、ユーザ値は、ユーザ動作データのパフォーマンス変数である。
逸脱度算出部144は、局面ごとにパフォーマンス変数ごとの平均動作モデルに対するユーザ動作データの逸脱度を算出する。
【0029】
重みづけ部145は、逸脱度算出部144が算出した逸脱度に対して重みづけを行う。具体的には、重みづけ部145は、重みづけ逸脱度を算出する。重みづけ部145は、逸脱度÷変動係数により重みづけ逸脱度を算出する。ここで、変動係数は、1.3から1.7の間の値、例えば、1.5を用いることが好適である。重みづけ逸脱度は、後述する閾値として用いられる。
【0030】
改善ポイント抽出部146は、重みづけ部145が算出した重みづけ逸脱度を閾値とし、パフォーマンス変数ごとに閾値以上であるか否かを判定する。改善ポイント抽出部146は、閾値以上と判定されるパフォーマンス変数の動作を改善ポイントとして複数抽出する。
【0031】
優先順位決定部147は、改善ポイント抽出部146が抽出した改善ポイントについて、重みづけ逸脱度が大きい順に優先度が高くなるように、改善ポイントごとの優先順位を決定する。
【0032】
出力情報生成部148は、優先順位と、優先順位に応じた改善ポイントと、改善ポイントごとの改善の仕方についてのアドバイスを含む出力情報を生成する。出力情報生成部148は、生成した出力情報を、出力部150を介してユーザに提示させる。
【0033】
出力部150は、各種情報を出力する機能を有する。出力部150は、例えば、情報処理装置100がハードウェアとして備えるディスプレイやタッチパネルなどの表示装置、スピーカなどの音声出力装置によって実現される。出力部150は、制御部140からの入力に応じて、例えば画像や音声などを出力する。
【0034】
次いで、情報処理装置100の処理の流れについて説明する。
【0035】
図2は、本実施形態に係る情報処理装置100の情報処理の流れの一例を示すフローチャートである。
ステップS101において、情報処理装置100は、ユーザによる競技種目の選択を受け付ける。情報処理装置100は、ユーザによる競技種目の選択に応じてモデルデータを切り替える。
ステップS102において、情報処理装置100は、ユーザの動作を表す画像を、入力データとして取得する。
【0036】
ステップS103において、情報処理装置100は、入力データから特徴点を抽出し、三次元座標データをユーザ動作データとして生成する。情報処理装置100は、ユーザ動作データと、記憶部130に記憶された平均動作データとの差分を、局面ごとのパフォーマンス変数ごとに算出する。
ステップS104において、情報処理装置100は、差分に基づいて、局面ごとにパフォーマンス変数ごとの平均動作モデルに対するユーザ動作データの逸脱度を算出する。
ステップS105において、情報処理装置100は、逸脱度と変動係数に基づいて、重みづけ逸脱度を算出する。
【0037】
ステップS106において、情報処理装置100は、重みづけ逸脱度を閾値として、閾値以上と判定されるパフォーマンス変数の動作を改善ポイントとして複数抽出する。
ステップS107において、情報処理装置100は、重みづけ逸脱度が大きい順に優先度が高くなるように、改善ポイントごとの優先順位を決定する。
ステップS108において、情報処理装置100は、優先順位と、優先順位に応じた改善ポイントと、改善ポイントごとの改善の仕方についてのアドバイスを含む出力情報を生成する。
ステップS109において、情報処理装置100は、生成した出力情報をユーザに提示する。
【0038】
次いで、表示画面例について説明する。
【0039】
図3は、本実施形態に係る表示画面の一例を示す図である。
図示するように、表示画面例には、ユーザを表すイラストUと、改善ポイントA、B、C、Dと、改善の仕方のアドバイスA1、A2、A3、A4が表示される。このとき、例えば、改善ポイントA,B,C,Dの順に改善ポイントの優先順位付されているものとする。それぞれの改善ポイントを表すアイコンA、B、C、Dに対してユーザが選択操作を行うと、アイコンA、B、C、Dに対応するアドバイスA1、A2、A3、A4が表示される。
【0040】
このように、本実施形態に係る情報処理装置100は、動作を含む、ユーザの動作を表すユーザ動作データを取得する取得部(画像取得部142)と、動作を含む、複数の被験者の平均的な動作を表す平均動作データと、ユーザ動作データとの差分を算出する差分算出部143と、差分に基づいて、平均動作データにおける各動作に対するユーザ動作データの各動作の逸脱度を算出する逸脱度算出部144と、各動作の逸脱度のうち、閾値以上の逸脱度となる動作を、ユーザの動作において改善が必要なポイントとして複数抽出する抽出部(改善ポイント抽出部146)と、改善ポイントのそれぞれに対する優先順位を決定する優先順位決定部147と、を備える。
【0041】
これにより、情報処理装置100は、複数の改善ポイントがある場合でも、優先順位に応じて改善ポイントをユーザに提示することができる。そのため、ユーザは、どこを改善すべきかを確認することができる。
【0042】
また、情報処理装置100は、優先順位に従って、複数のポイントごとのアドバイスを生成する生成部(出力情報生成部148)を備える。
【0043】
これにより、情報処理装置100は、複数の改善ポイントがある場合でも、優先順位に応じて改善ポイントをユーザに提示し、その提示したポイントをどのように改善すべきかをユーザに提示することができる。
【0044】
以上、図面を参照してこの発明の各実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0045】
例えば、上述した各実施形態では、情報処理装置100によって構成される一例について説明したが、情報処理装置100の一部を実現可能な他の装置との複数の装置によって本発明の一態様を実現してもよい。
【0046】
なお、本発明の一態様における情報処理装置100で動作するプログラムは、本発明の一態様に関わる上記の各実施形態や変形例で示した機能を実現するように、1つ、または複数の、CPU(Central Processing Unit)等のプロセッサを制御するプログラム(コンピュータを機能させるプログラム)であっても良い。ここでいう、コンピュータは、量子コンピュータも含まれる。そして、これらの各装置で取り扱われる情報は、その処理時に一時的にRAM(Random Access Memory)に蓄積され、その後、フラッシュメモリやHDD(Hard Disk Drive)等の各種ストレージに格納され、必要に応じてCPU等によって読み出し、修正・書き込みが行われても良い。
【0047】
なお、上述した各実施形態や変形例における情報処理装置100の一部又は全部を1つ、または複数のプロセッサを備えたコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。
【0048】
なお、ここでいう「コンピュータシステム」とは、情報処理装置100に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0049】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0050】
また、上述した各実施形態や変形例における情報処理装置100の一部、又は全部を典型的には集積回路であるLSIとして実現してもよいし、チップセットとして実現してもよい。また、上述した各実施形態や変形例における情報処理装置100の各機能ブロックは個別にチップ化してもよいし、一部、又は全部を集積してチップ化してもよい。また、集積回路化の手法は、LSIに限らず専用回路、および/または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【0051】
以上、この発明の一態様として各実施形態や変形例に関して図面を参照して詳述してきたが、具体的な構成は各実施形態や変形例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。
【符号の説明】
【0052】
100 情報処理装置
110 通信部
120 入力部
130 記憶部
131 モデルデータ記憶部
132 画像記憶部
140 制御部
141 種目特定部
142 画像取得部
143 差分算出部
144 逸脱度算出部
145 重みづけ部
146 改善ポイント抽出部
147 優先順位決定部
148 出力情報生成部
150 出力部
図1
図2
図3