IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社sci-boneの特許一覧

特許7529338情報処理装置、情報処理方法及び情報処理システム
<>
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図1
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図2
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図3
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図4
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図5A
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図5B
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図6A
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図6B
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図7A
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図7B
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図8
  • 特許-情報処理装置、情報処理方法及び情報処理システム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理システム
(51)【国際特許分類】
   A61B 5/11 20060101AFI20240730BHJP
【FI】
A61B5/11 200
【請求項の数】 12
(21)【出願番号】P 2024504146
(86)(22)【出願日】2024-01-18
(86)【国際出願番号】 JP2024001263
【審査請求日】2024-01-22
【新規性喪失の例外の表示】特許法第30条第2項適用 1.KONAMI ACCELERATOR 2023 (開催日:令和5年9月28日) 2.BRAVE 2023 (開催日:令和5年12月2日) 3.LEVEL UP STAGE 2023 (開催日:令和5年12月19日) 4.XR Future Pitch 2023 (開催日:令和5年12月20日)
【早期審査対象出願】
(73)【特許権者】
【識別番号】524028706
【氏名又は名称】株式会社sci-bone
(74)【代理人】
【識別番号】110004222
【氏名又は名称】弁理士法人創光国際特許事務所
(72)【発明者】
【氏名】宮澤 留以
【審査官】永田 浩司
(56)【参考文献】
【文献】特表2022-552863(JP,A)
【文献】特開2020-140493(JP,A)
【文献】国際公開第2021/074852(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/11
(57)【特許請求の範囲】
【請求項1】
身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力する推定用モデルを動きの種別毎に記憶する記憶部と、
分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信部と、
受信された前記実測モーションデータが示す前記動きの種別を同定する同定部と、
前記実測モーションデータを、同定された前記動きの種別に対応する前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータを前記推定用モデルから取得する推定部と、
前記推定モーションデータを出力する出力部と、
を有する情報処理装置。
【請求項2】
身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力する推定用モデルを記憶する記憶部と、
分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信部と、
前記実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータを前記推定用モデルから取得する推定部と、
前記推定モーションデータを出力する出力部と、
を有し、
前記推定用モデルは、前記第1モーションデータと前記第2モーションデータとのセットを複数有しており、入力された前記実測モーションデータと所定の閾値以上の類似度を有する前記第1モーションデータを特定し、特定した前記第1モーションデータと関連付けられた前記第2モーションデータを出力する、
情報処理装置。
【請求項3】
身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータ、並びに、前記第1モーションデータが示す動き及び前記第2モーションデータが示す動きが行われた場合における身体の状態を示す状態データに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータ及び身体の状態を推定した結果である状態推定データを出力する推定用モデルを記憶する記憶部と、
分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信部と、
前記実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータ及び前記状態推定データを前記推定用モデルから取得する推定部と、
前記推定モーションデータ及び前記状態推定データを出力する出力部と、
を有する情報処理装置。
【請求項4】
前記第1部位が身体における1箇所の部位であり、前記第2部位が身体における1箇所以上の部位である、
請求項1から3のいずれか一項に記載の情報処理装置。
【請求項5】
前記第1部位が首であり、前記第2部位が身体における首以外の部位である、
請求項に記載の情報処理装置。
【請求項6】
身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、前記第1部位及び前記第2部位とは異なる第3部位に装着された第3デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ前記第2部位の動きを示す第2モーションデータ及び前記第3部位の動きを示す第3モーションデータに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータ及び前記第3部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力する推定用モデルを記憶する記憶部と、
分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す第1実測モーションデータと、前記対象者の前記第3部位に装着されたデバイスが取得した、前記対象者の前記第3部位の動きを示す第3実測モーションデータと、を受信する受信部と、
前記第1実測モーションデータ及び前記第3実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータを前記推定用モデルから取得する推定部と、
前記推定モーションデータを出力する出力部と、
を有し、
前記推定部は、前記第1実測モーションデータと前記第3実測モーションデータのうち、前記第2部位により近い部位の実測モーションデータが、前記対象者の前記第2部位の動きを示す前記推定モーションデータにより高い割合で反映されるように、前記第1実測モーションデータに基づく推定モーションデータ及び前記第3実測モーションデータに基づく推定モーションデータを加重平均したモーションデータを、前記対象者の前記第2部位の動きを示す前記推定モーションデータとして取得する、
情報処理装置。
【請求項7】
身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力する推定用モデルを動きの種別毎に記憶する記憶部を有するコンピュータが実行する、
分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信ステップと、
受信された前記実測モーションデータが示す前記動きの種別を同定する同定ステップと、
前記実測モーションデータを、同定された前記動きの種別に対応する前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータを前記推定用モデルから取得する推定ステップと、
前記推定モーションデータを出力する出力ステップと、
を有する情報処理方法。
【請求項8】
身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力する推定用モデルを記憶する記憶部を有するコンピュータが実行する、
分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信ステップと、
前記実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータを前記推定用モデルから取得する推定ステップと、
前記推定モーションデータを出力する出力ステップと、
を有し、
前記推定用モデルは、前記第1モーションデータと前記第2モーションデータとのセットを複数有しており、入力された前記実測モーションデータと所定の閾値以上の類似度を有する前記第1モーションデータを特定し、特定した前記第1モーションデータと関連付けられた前記第2モーションデータを出力する、
情報処理方法。
【請求項9】
身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータ、並びに、前記第1モーションデータが示す動き及び前記第2モーションデータが示す動きが行われた場合における身体の状態を示す状態データに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータ及び身体の状態を推定した結果である状態推定データを出力する推定用モデルを記憶する記憶部を有するコンピュータが実行する、
分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信ステップと、
前記実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータ及び前記状態推定データを前記推定用モデルから取得する推定ステップと、
前記推定モーションデータ及び前記状態推定データを出力する出力ステップと、
を有する情報処理方法。
【請求項10】
情報処理装置と情報端末とを備え、
前記情報処理装置は、
身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力する推定用モデルを動きの種別毎に記憶する記憶部と、
分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信部と、
受信された前記実測モーションデータが示す前記動きの種別を同定する同定部と、
前記実測モーションデータを、同定された前記動きの種別に対応する前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータを前記推定用モデルから取得する推定部と、
前記推定モーションデータを出力する出力部と、
を有し、
前記情報端末は、
前記対象者の前記第1部位に装着されたデバイスに関する設定を受け付ける設定受付部と、
前記推定モーションデータを受信する端末通信部と、
を有する情報処理システム。
【請求項11】
情報処理装置と情報端末とを備え、
前記情報処理装置は、
身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力する推定用モデルを記憶する記憶部と、
分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信部と、
前記実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータを前記推定用モデルから取得する推定部と、
前記推定モーションデータを出力する出力部と、
を有し、
前記推定用モデルは、前記第1モーションデータと前記第2モーションデータとのセットを複数有しており、入力された前記実測モーションデータと所定の閾値以上の類似度を有する前記第1モーションデータを特定し、特定した前記第1モーションデータと関連付けられた前記第2モーションデータを出力し、
前記情報端末は、
前記対象者の前記第1部位に装着されたデバイスに関する設定を受け付ける設定受付部と、
前記推定モーションデータを受信する端末通信部と、
を有する情報処理システム。
【請求項12】
情報処理装置と情報端末とを備え、
前記情報処理装置は、
身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータ、並びに、前記第1モーションデータが示す動き及び前記第2モーションデータが示す動きが行われた場合における身体の状態を示す状態データに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータ及び身体の状態を推定した結果である状態推定データを出力する推定用モデルを記憶する記憶部と、
分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信部と、
前記実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータ及び前記状態推定データを前記推定用モデルから取得する推定部と、
前記推定モーションデータ及び前記状態推定データを出力する出力部と、
を有し、
前記情報端末は、
前記対象者の前記第1部位に装着されたデバイスに関する設定を受け付ける設定受付部と、
前記推定モーションデータを受信する端末通信部と、
を有する情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、身体に装着されたデバイスが取得したモーションデータを分析する情報処理装置、情報処理方法及び情報処理システムに関する。
【背景技術】
【0002】
従来、人体の運動状態を解析する技術が知られている。特許文献1には、時系列的に収集された各種のデータに基づいて、人体の運動状態に関わる指標を推定することができる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2016-010562号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、人々は、自らの健康状態や運動状態を把握することに対して高い関心を持っている。自らの健康状態や運動状態を把握するために、上記特許文献1に記載のように、人の身体にセンサやデバイスを装着することで、身体の動きを分析するという方法がある。しかしながら、従来の技術では、動きを把握したい部位のすべてにセンサやデバイスを装着する必要があるという問題が生じていた。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、ユーザが、自らの身体にセンサやデバイスを装着して自らの身体の動きを分析する場合において、ユーザの負担を軽減させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様に係る情報処理装置は、身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力する推定用モデルを記憶する記憶部と、分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信部と、前記実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータを前記推定用モデルから取得する推定部と、前記推定モーションデータを出力する出力部と、を有する。
【0007】
前記記憶部は、動きの種別毎に前記推定用モデルを記憶してもよく、前記受信部は、前記動きの種別を受信してもよく、前記推定部は、受信された前記動きの種別に対応する前記推定用モデルに前記実測モーションデータを入力し、当該推定用モデルから前記推定モーションデータを取得してもよい。
【0008】
前記記憶部は、動きの種別毎に前記推定用モデルを記憶してもよく、前記情報処理装置は、受信された前記実測モーションデータが示す前記動きの種別を同定する同定部を更に有してもよく、前記推定部は、同定された前記動きの種別に対応する前記推定用モデルに前記実測モーションデータを入力し、当該推定用モデルから前記推定モーションデータを取得してもよい。
【0009】
前記推定用モデルは、前記第1モーションデータと前記第2モーションデータとのセットを複数有しており、入力された前記実測モーションデータと所定の閾値以上の類似度を有する前記第1モーションデータを特定し、特定した前記第1モーションデータと関連付けられた前記第2モーションデータを出力してもよい。
【0010】
前記推定用モデルは、前記第1モーションデータと前記第2モーションデータとの複数のセットを教師データとして用いて機械学習した機械学習モデルであり、入力された前記実測モーションデータに対応する前記第2部位のモーションデータとして最も確からしいモーションデータを出力してもよい。
【0011】
前記推定用モデルは、前記第1モーションデータ、前記第2モーションデータ、並びに前記第1モーションデータが示す動き及び前記第2モーションデータが示す動きが行われた場合における身体の状態を示す状態データに基づいて作成され、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータ及び身体の状態を推定した結果である状態推定データを出力するモデルであってもよく、前記推定部は、前記実測モーションデータを前記推定用モデルに入力し、前記推定モーションデータ及び前記状態推定データを前記推定用モデルから取得してもよく、前記出力部は、前記推定モーションデータ及び前記状態推定データを出力してもよい。
【0012】
前記第1部位が身体における1箇所の部位であってもよく、前記第2部位が身体における1箇所以上の部位であってもよい。
【0013】
前記第1部位が首であってもよく、前記第2部位が身体における首以外の部位であってもよい。
【0014】
前記推定用モデルは、前記第1デバイスと、前記第2デバイスと、前記第1部位及び前記第2部位とは異なる第3部位に装着された第3デバイスと、が同じタイミングで取得した、前記第1モーションデータ、前記第2モーションデータ及び前記第3部位の動きを示す第3モーションデータに基づいて作成され、前記第1部位の動きを示すモーションデータ及び前記第3部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力するモデルであってもよく、前記受信部は、前記対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す第1実測モーションデータと、前記対象者の前記第3部位に装着されたデバイスが取得した、前記対象者の前記第3部位の動きを示す第3実測モーションデータと、を受信してもよく、前記推定部は、前記第1実測モーションデータ及び前記第3実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す前記推定モーションデータを前記推定用モデルから取得してもよい。
【0015】
前記推定部は、前記第1実測モーションデータと前記第3実測モーションデータのうち、前記第2部位により近い部位の実測モーションデータが、前記対象者の前記第2部位の動きを示す前記推定モーションデータにより高い割合で反映されるように、前記第1実測モーションデータに基づく推定モーションデータ及び前記第3実測モーションデータに基づく推定モーションデータを加重平均したモーションデータを、前記対象者の前記第2部位の動きを示す前記推定モーションデータとして取得してもよい。
【0016】
本発明の第2の態様に係る情報処理方法は、身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力する推定用モデルを記憶する記憶部を有するコンピュータが実行する、分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信ステップと、前記実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータを前記推定用モデルから取得する推定ステップと、前記推定モーションデータを出力する出力ステップと、を有する。
【0017】
本発明の第3の態様に係る情報処理システムは、情報処理装置と情報端末とを備え、前記情報処理装置は、身体の第1部位に装着された第1デバイスと、前記身体における前記第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、前記第1部位の動きを示す第1モーションデータ及び前記第2部位の動きを示す第2モーションデータに基づいて作成された推定用モデルであって、前記第1部位の動きを示すモーションデータが入力されると、前記第2部位の動きを示すモーションデータを出力する推定用モデルを記憶する記憶部と、分析の対象となる対象者の前記第1部位に装着されたデバイスが取得した、前記対象者の前記第1部位の動きを示す実測モーションデータを受信する受信部と、前記実測モーションデータを前記推定用モデルに入力し、前記対象者の前記第2部位の動きを示す推定モーションデータを前記推定用モデルから取得する推定部と、前記推定モーションデータを出力する出力部と、を有し、前記情報端末は、前記対象者の前記第1部位に装着されたデバイスに関する設定を受け付ける設定受付部と、前記推定モーションデータを受信する端末通信部と、を有する。
【発明の効果】
【0018】
本発明によれば、ユーザが、自らの身体にセンサやデバイスを装着して自らの身体の動きを分析する場合において、ユーザの負担を軽減できるという効果を奏する。
【図面の簡単な説明】
【0019】
図1】情報処理システムSの構成を示す図である。
図2】情報処理装置1の構成を示す図である。
図3】モーションデータセットの一例を示す図である。
図4】機械学習データの一例を示す図である。
図5A】首の動きを示す実測モーションデータの一例を示す図である。
図5B】首の動きを示す実測モーションデータから推定用モデルを用いて推定した膝の回転角度を示す推定モーションデータの一例を示す図である。
図6A】ユーザがテニスのサーブをしている際における右前腕の伸展速度を示す実測モーションデータの一例を示す図である。
図6B】ユーザがテニスのサーブをしている際における首の動きを示す実測モーションデータから推定用モデルを用いて推定した右前腕の伸展速度を示す推定モーションデータの一例を示す図である。
図7A】ユーザが野球のバッティングをしている際における右前腕の内旋速度を示す実測モーションデータの一例を示す図である。
図7B】ユーザが野球のバッティングをしている際における首の動きを示す実測モーションデータから推定用モデルを用いて推定した右前腕の内旋速度を示す推定モーションデータの一例を示す図である。
図8】情報端末2の構成を示す図である。
図9】情報処理装置1が実行する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0020】
[情報処理システムSの概要]
図1を用いて、本実施形態に係る情報処理システムSの概要を説明する。図1は、情報処理システムSの動作の概要を示す図である。情報処理システムSは、情報処理装置1と、情報端末2と、デバイスDと、を備える。情報処理システムSは、その他のサーバ、端末等の機器を含んでもよい。
【0021】
情報処理システムSは、分析の対象となる対象者の身体の第1部位(例えば、首)に装着されたデバイスDが取得した第1部位の動きに基づいて、身体における第1部位と異なる1以上の第2部位(例えば、膝)の動きを推定するためのシステムである。第1部位は、例えば頸椎の後方の皮膚の位置である。
【0022】
情報処理装置1は、この推定を行うサーバ等のコンピュータである。情報処理装置1と情報端末2とデバイスDとは互いに通信可能である。情報処理装置1は、ユーザUが情報端末2を使用する場所と異なる場所(例えばクラウド上)に設けられていることが想定されるが、ユーザUが情報端末2を使用する場所に設けられていてもよい。
【0023】
情報端末2は、運動するユーザUが使用する端末である。ユーザUは、デバイスDの設定及び情報処理装置1からの推定結果の取得を行うために情報端末2を使用する。情報端末2は、スマートフォン、タブレット型パーソナルコンピュータのような携帯型端末であることが好ましいが、デスクトップ型パーソナルコンピュータのような据置型端末であってもよい。
【0024】
デバイスDは、身体の部位の動きを検出できるセンサであり、例えば、加速度センサ、角速度センサ又は両センサを併用したセンサ等である。デバイスDは、運動するユーザUに装着可能なウェアラブル端末であってもよい。一例として、デバイスDの1つの面には、ユーザUの肌に密着しやすくするための粘着性部材が付されている。デバイスDは、ユーザUの肌に直接装着されてもよいし、ユーザUに密着する服の上から装着されてもよい。デバイスDに粘着性部材が付されておらず、デバイスDが金属部を有していてもよい。この場合、ユーザUは、例えば、ユーザUがスポーツウェアにおける首の後ろ側の襟元の位置で、スポーツウェアの内側にデバイスDを差し込み、スポーツウェアの外側からデバイスDを磁石で固定することで、デバイスDをユーザUに密着した状態で装着できる。
【0025】
加速度センサは、ユーザUの運動中の動作速度の変化の割合(加速度)を計測する。加速度センサは、例えば、互いに直交する3軸方向の各々に沿った加速度成分(加速度信号)を検出して加速度データとして出力する。角速度センサは、ユーザUの運動中の動作方向の変化(角速度)を計測する。角速度センサは、例えば、互いに直交する3軸について、各軸に沿った回転運動の回転方向に生じる角速度成分(角速度信号)を検出して角速度データとして出力する。
【0026】
近年、人々は、自らの健康状態や運動状態を把握することに対して高い関心を持っている。自らの健康状態や運動状態を把握するために、人の身体にセンサやデバイスを装着することで、身体の動きを分析するという方法があるが、従来の技術では、動きを把握したい部位のすべてにセンサやデバイスを装着する必要があるという問題が生じていた。
【0027】
そこで、情報処理システムSは、分析の対象となる対象者の身体の第1部位(例えば、首)に装着されたデバイスDが取得した、対象者の第1部位の動きを示す実測モーションデータを推定用モデルに入力し、対象者の身体における第1部位と異なる1以上の第2部位(例えば、膝)の動きを示す推定モーションデータを推定用モデルから取得する。つまり、情報処理システムSは、実測されたある部位の動きに基づいて、別の部位の動きを推定することができる。
【0028】
推定用モデルは、上記推定の前に予め作成しておく必要がある。推定用モデルは、身体の第1部位に装着された第1デバイスと、第2部位に装着された第2デバイスと、が同じタイミングで取得した、第1部位の動きを示す第1モーションデータ及び第2部位の動きを示す第2モーションデータに基づいて作成されたモデルである。以下、図1を参照して、処理システムSの動作の概要を説明する。
【0029】
まず、ユーザUは、運動する前に情報端末2から、デバイスDと情報端末2を連携(ペアリング)する設定、デバイスDを装着する部位の設定、自身のプロフィールの登録、及び、目標の設定等を行う。
【0030】
ユーザUが運動を開始すると、デバイスDは、デバイスDが装着された身体の第1部位(例えば、首)の動きを示す実測モーションデータを随時取得する。デバイスDは、取得した実測モーションデータを情報処理装置1に送信する。
【0031】
情報処理装置1は、受信した身体の第1部位の動きを示す実測モーションデータを推定用モデルに入力することで、第1部位と異なる第2部位(例えば、膝)の動きを示す推定モーションデータを推定用モデルから取得する。情報処理装置1は、推定用モデルとして、以下の2種類のうち少なくともいずれかを使用する。
【0032】
一つ目の推定用モデルは、第1部位の動きを示す第1モーションデータ及び第2部位の動きを示す第2モーションデータとのセットを複数有するモーションデータセットを参照することにより、推定モーションデータを出力するためのプログラム又はデータである。この推定用モデルは、入力された実測モーションデータと所定の閾値以上の類似度を有する第1モーションデータを特定し、特定した第1モーションデータと関連付けられた第2モーションデータを、推定モーションデータとして出力する。
【0033】
二つ目の推定用モデルは、第1部位の動きを示す第1モーションデータ及び第2部位の動きを示す第2モーションデータとの複数のセットを教師データとして用いて機械学習した機械学習モデルである。この推定用モデルは、入力された実測モーションデータに対応する第2部位のモーションデータとして最も確からしいモーションデータを、推定モーションデータとして出力する。
【0034】
そして、情報処理装置1は、取得した身体の第2部位の動きを示す推定モーションデータを情報端末2に送信する。情報端末2は、受信した推定モーションデータを表示する。ユーザUは、情報端末2に表示された推定モーションデータを参照することで、デバイスDを装着していない第2部位(例えば、膝)がどのような動きをしていたのかを把握し、今後の運動や休養等に役立てることができる。なお、情報端末2は、ユーザUの身体の状態(怪我のリスクや身体の疲労度等)を併せて表示してもよい。
【0035】
このように、情報処理システムSは、ユーザUの身体の第1部位(例えば、首)に装着されたデバイスDが取得した第1部位の動きに基づいて、身体における第1部位と異なる1以上の第2部位(例えば、膝)の動きを推定できる。これにより、ユーザUは、従来のように動きを把握したい部位のすべてにセンサやデバイスを装着する必要がなくなる。この結果、ユーザUの経済的、身体的及び時間的な負担が軽減される。
【0036】
特に、多くのスポーツの動作において、首の頸椎の動きは人間の他の骨の動きとの連動性が高いため、第1部位として頸椎を用いることが有効であることを発明者は見出した。一例として、首の動きと膝の動きの相関度は、右腕の動きと膝の動きの相関度よりも高い。したがって、第1部位として首を用いることにより、首と異なる第2部位の動きの推定精度が高まる。
以下、情報処理装置1及び情報端末2の構成及び動作を詳細に説明する。
【0037】
[情報処理装置1の構成及び動作]
情報処理装置1の構成及び動作を説明する。図2は、情報処理装置1の構成の一例を示す図である。情報処理装置1は、図2に示すように、装置通信部11と、記憶部12と、制御部13と、を備える。
【0038】
装置通信部11は、インターネット等の通信ネットワークを介して情報端末2及びデバイスDと通信を行うための通信インターフェースである。
【0039】
記憶部12は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む記憶媒体である。記憶部12は、制御部13が実行するプログラムを記憶している。例えば、記憶部12は、制御部13を、受信部131、同定部132、推定部133及び出力部134として機能させる情報処理プログラムを記憶している。記憶部12は、推定用モデルを記憶する。
【0040】
推定用モデルは、身体の第1部位に装着された第1デバイスと、身体における第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、第1部位の動きを示す第1モーションデータ及び第2部位の動きを示す第2モーションデータに基づいて作成されたモデルである。推定用モデルは、第1部位の動きを示すモーションデータが入力されると、第2部位の動きを示すモーションデータを出力する。
【0041】
第1部位は、例えば身体における1箇所の部位であり、第2部位は、例えば身体における1箇所以上の部位である。具体的には、第1部位は、例えば首であり、第2部位は、例えば身体における首以外の部位(例えば、腕、膝)である。つまり、推定用モデルは、例えば、首の動きを示すモーションデータが入力されると、全身の動きを示すモーションデータを出力できる。
【0042】
第1デバイス及び第2デバイスは、身体の部位の動きを検出できるセンサであり、例えば、加速度センサ、角速度センサ又は両センサを併用したセンサ等である。第1デバイス及び第2デバイスは、デバイスDと異なる従来のデバイスでもよいし、デバイスDでもよい。「同じタイミング」は、全く同じタイミングでもよいし、厳密には異なる所定の範囲内(例えば、数ミリ秒内)に収まるタイミングでもよい。
【0043】
モーションデータは、身体の部位の動きを示すデータである。モーションデータは、例えば、横軸がフレーム数であり、縦軸が角速度(単位:ラジアン毎秒(rad/s)又は度毎秒(deg/s))である二次元グラフを示すデータである。
【0044】
推定用モデルは、第1モーションデータ、第2モーションデータ、並びに第1モーションデータが示す動き及び第2モーションデータが示す動きが行われた場合における身体の状態を示す状態データに基づいて作成されたモデルであってもよい。身体の状態は、例えば、怪我のリスク及び身体の疲労度等である。モデルを作成するために使用される学習用の状態データは、例えば、第1デバイス及び第2デバイスを装着して学習用の第1モーションデータ及び第2モーションデータが取得された人物を対象として、当該人物の身体の状態を観察した結果、身体の状態を計測した結果、又は当該人物から身体が痛い部位をヒアリングした結果の少なくともいずれかを示すデータである。
【0045】
記憶部12は、動きの種別毎に推定用モデルを記憶してもよい。動きの種別は、例えば、スポーツの種別(ジョギング、野球及びテニス等)でもよいし、同一スポーツ内における動きの種別(野球の投球の場合、オーバースロー及びアンダースロー等)でもよい。推定用モデルとしては、以下の2種類がある。
【0046】
一つ目の推定用モデルは、第1部位の動きを示す第1モーションデータ及び第2部位の動きを示す第2モーションデータとのセットを複数有するモデルである。このモデルを、以下、モーションデータセットということがある。図3は、モーションデータセットの一例を示す図である。モーションデータセットにおいては、動きの種別毎に、第1モーションデータと、第2モーションデータと、身体の状態を示す状態データと、が関連付けられている。
【0047】
二つ目の推定用モデルは、第1部位の動きを示す第1モーションデータ及び第2部位の動きを示す第2モーションデータとの複数のセットを教師データとして用いて機械学習した機械学習モデルである。図4は、機械学習データの一例を示す図である。機械学習データにおいては、動きの種別と、学習された機械学習モデルと、が関連付けられている。なお、機械学習は、公知の手法を用いて行うことができる。公知の手法とは、例えば、畳み込みニューラルネットワーク(CNN)、ロジスティック回帰、サポートベクターマシン(SVM)、決定木及びランダムフォレスト等の手法である。
【0048】
制御部13は、例えばCPU(Central Processing Unit)である。制御部13は、記憶部12に記憶された情報処理プログラムを実行することにより、受信部131、同定部132、推定部133及び出力部134として機能する。
【0049】
受信部131は、分析の対象となる対象者であるユーザUの第1部位に装着されたデバイスDが取得した、ユーザUの第1部位の動きを示す実測モーションデータを受信する。受信部131は、例えば、デバイスDから、装置通信部11を介して、ユーザUの第1部位の動きを示す実測モーションデータを受信する。
【0050】
受信部131は、デバイスDが実測モーションデータを取得した後、直ちに、デバイスDから実測モーションデータを受信してもよい。これにより、ユーザUは、運動をしながらリアルタイムで、第2部位の動きを示す推定モーションデータを参照し、身体の動きの改善等をできる。
【0051】
受信部131は、動きの種別を受信してもよい。受信部131は、例えば、ユーザUが情報端末2に入力した動きの種別を、情報端末2から、装置通信部11を介して受信してもよい。このように、ユーザUが動きの種別を直接入力することで、誤った動きの種別を推定モーションデータの推定の際に使用することがなくなるため、推定モーションデータの推定の精度が向上する。
【0052】
ただし、ユーザUの中には、動きの種別を入力する手間を省きたいというユーザUや、あるいは、そもそも運動中のため動きの種別を入力できないというユーザUもいる。そこで、同定部132は、受信されたユーザUの第1部位の動きを示す実測モーションデータが示す動きの種別を同定する。
【0053】
同定部132は、例えば、受信されたユーザUの第1部位の動きを示す実測モーションデータと、動きの種別毎の第1部位の動きを示す典型的なモーションデータと、を比較し、類似度が最も高い動きの種別を同定する。例えば、ユーザUの首の動きを示す実測モーションデータが、人がジョギング又は野球をしている際の首の動きを示す典型的なモーションデータよりも、人がテニスをしている際の首の動きを示す典型的なモーションデータとの類似度が高い場合、同定部132は、動きの種別として「テニス」を同定する。このように、同定部132が動きの種別を同定することで、ユーザUが動きの種別を入力する必要がなくなるため、ユーザUの負担が軽くなる。
【0054】
推定部133は、受信された実測モーションデータを推定用モデルに入力し、ユーザUの第2部位の動きを示す推定モーションデータを推定用モデルから取得する。推定部133は、動きの種別を考慮せずに推定モーションデータを取得してもよいが、次段落で説明するように、動きの種別を考慮して推定モーションデータを取得することが好ましい。
【0055】
推定部133は、受信部131において受信された又は同定部132において同定された動きの種別に対応する推定用モデルに実測モーションデータを入力し、当該推定用モデルから推定モーションデータを取得してもよい。これにより、推定部133は、より適切な推定用モデルを用いてより適切な推定モーションデータを取得できる。以下、推定用モデルが行う推定モーションデータの出力について説明する。
【0056】
推定用モデルがモーションデータセットである場合、推定用モデルは、入力された実測モーションデータと所定の閾値以上の類似度を有する第1モーションデータを特定する。例えば、図3に示すモーションデータセットの推定用モデルは、受信部131において受信された又は同定部132において同定された動きの種別に対応し、かつ、入力された実測モーションデータとの類似度がX%以上という基準を満たす第1モーションデータを特定する。所定の閾値であるXの値は、例えば、複数のモーションデータのうち、他のモーションデータよりも類似する確率に基づいて定められており、例えば80%である。推定用モデルは、入力された実測モーションデータに最も類似する第1モーションデータを特定してもよい。
【0057】
続いて、推定用モデルは、特定した第1モーションデータと関連付けられた第2モーションデータを出力する。例えば、図3に示すモーションデータセットの推定用モデルは、特定した第1モーションデータと同じ行に格納された第2モーションデータを出力する。
【0058】
推定用モデルが機械学習モデルである場合、推定用モデルは、入力された実測モーションデータに対応する第2部位のモーションデータとして最も確からしいモーションデータを出力する。この際に使用される機械学習モデルは、例えば、図4に示す機械学習データにおいて、受信部131において受信された又は同定部132において同定された動きの種別に対応する機械学習モデルである。
【0059】
推定用モデルがモーションデータセットである場合と機械学習モデルである場合のいずれの場合においても、推定用モデルは、第2部位の動きを示す推定モーションデータと共に、第2部位の理想的な動きを示す理想モーションデータを出力してもよい。これにより、ユーザUは、推定モーションデータと理想モーションデータとの乖離を視覚的に把握し、身体の動きの改善に役立てることができる。なお、推定用モデルは、推定モーションデータのグラフと理想モーションデータのグラフを、重ねて(同期させて)表示してもよいし、あるいは、縦並びや横並びにして表示してもよい。
【0060】
推定用モデルは、推定モーションデータが示す値に基づいてスコアを算出してもよい。また、推定用モデルは、推定モーションデータが示す値又は算出したスコアに基づいて、身体の状態(怪我のリスク、身体の疲労度等)、運動の状態(速度ペース、バランス、ピッチスライド、パワー、スピード、スタミナ、積極性、安定感、不足動作等)、及び、休息や運動に関する提案(ケア方法、レスト方法、練習内容、補強運動等)等を解析結果として出力してもよい。推定用モデルは、これらの解析結果を数値化して、グラフやレーダーチャートとして出力してもよい。このように解析結果を可視化すれば、ユーザUは、運動に関して、自身に足りていないことや気を付けるべきことを容易かつ迅速に把握できる。
【0061】
なお、推定用モデルは、公知の情報を参照して解析結果を数値化してもよい。推定用モデルは、例えば、モーションデータが示す値又は算出したスコアと解析結果に関する値とが関連付けられたデータを参照して、推定モーションデータが示す値又は算出したスコアに関連付けられた解析結果に関する値を出力する。一例として、推定用モデルは、推定モーションデータが示す角速度に基づいて算出したスコアの範囲(例えば〇〇点以上)と怪我のリスクの大きさを示す値(例えば〇〇%)とを関連付けて出力する。あるいは、推定用モデルは、例えば、モーションデータが示す値又は算出したスコアと解析結果に関する値とを教師データとして用いて機械学習させた機械学習モデルに、推定モーションデータが示す値又は算出したスコアを入力することにより、解析結果に関する値を出力してもよい。
【0062】
ここで、実測モーションデータと推定モーションデータの具体例について説明する。図5Aは、首の動きを示す実測モーションデータの一例を示す図である。図5Aにおいて、横軸はフレーム数を示し、縦軸は角速度(rad/s)を示す。互いに直交する3方向をx方向、y方向、z方向とした場合に、図5Aにおいて、「x」を付したグラフはx方向の角速度に対応し、「y」を付したグラフはy方向の角速度に対応し、「z」を付したグラフはz方向の角速度に対応する。図5Bは、首の動きを示す実測モーションデータから推定用モデルを用いて推定した膝の回転角度を示す推定モーションデータの一例を示す図である。図5Bにおいて、横軸はフレーム数を示し、縦軸は角速度(deg/s)を示す。図5は、100hzで計測した結果であるため、1フレームあたり1/100秒となり、全体での計測時間は約6秒((1/100秒)×約600フレーム)となる。
【0063】
また、本実施形態に係る推定用モデルの信頼性を検証した結果について説明する。図6Aは、ユーザがテニスのサーブをしている際における右前腕の伸展速度を示す実測モーションデータの一例を示す図である。図6Bは、ユーザがテニスのサーブをしている際における首の動きを示す実測モーションデータから推定用モデルを用いて推定した右前腕の伸展速度を示す推定モーションデータの一例を示す図である。図7Aは、ユーザが野球のバッティングをしている際における右前腕の内旋速度を示す実測モーションデータの一例を示す図である。図7Bは、ユーザが野球のバッティングをしている際における首の動きを示す実測モーションデータから推定用モデルを用いて推定した右前腕の内旋速度を示す推定モーションデータの一例を示す図である。この4図において、横軸はフレーム数を示し、縦軸は角速度(rad/s)を示す。図6及び図7は、60hzで計測した結果であるため、1フレームあたり1/60秒となり、全体での計測時間は、図6については約3秒((1/60秒)×約180フレーム)、図7については約0.67秒((1/60秒)×約40フレーム)となる。
【0064】
図6Aのグラフと図6Bのグラフの値及び形状は類似しており、また、図7Aのグラフと図7Bのグラフの値及び形状も類似していた。つまり、首の動きを示す実測モーションデータから推定用モデルを用いて推定した腕の動きを示す推定モーションデータのグラフ(推定値を示すグラフ)は、首の動きを示す実測モーションデータの取得と同じタイミングで取得した腕の動き示す実測モーションデータのグラフ(実測値を示すグラフ)と、値及び形状が類似していた。このことから、本実施形態に係る推定用モデルは、信頼性の高いものであることが確認された。
【0065】
ここまでの説明では、推定用モデルが推定モーションデータを出力する場合の処理を説明したが、前述のように、推定用モデルが、第1モーションデータ、第2モーションデータ並びに第1モーションデータが示す動き及び第2モーションデータが示す動きが行われた場合における身体の状態を示す状態データに基づいて作成されている場合もある。このように、推定用モデルの作成に状態データを用いている場合、推定部133は、第1部位の動きを示す実測モーションデータを推定用モデルに入力し、推定モーションデータ及び身体の状態を推定した結果である状態推定データを当該推定用モデルから取得する。以下、推定用モデルが行う推定モーションデータ及び状態推定データの出力について説明する。
【0066】
推定用モデルは、第1部位の動きを示すモーションデータが入力されると、第2部位の動きを示すモーションデータ及び身体の状態を推定した結果である状態推定データを出力する。例えば、推定用モデルがモーションデータセットである場合、推定用モデルは、まず、入力された実測モーションデータと所定の閾値以上の類似度を有する第1モーションデータを前述の方法により特定する。続いて、推定用モデルは、特定した第1モーションデータと関連付けられた第2モーションデータを推定モーションデータとして出力すると共に、特定した第1モーションデータと関連付けられた状態データを状態推定データとして出力する。
【0067】
また、例えば、推定用モデルが機械学習モデルである場合、推定用モデルは、入力された実測モーションデータに対応する第2部位のモーションデータとして最も確からしいモーションデータを推定モーションデータとして出力すると共に、入力された実測モーションデータに対応する身体の状態として最も確からしい状態データを状態推定データとして出力する。
【0068】
このように、推定部133が推定モーションデータに加えてユーザUの身体の状態も推定することで、ユーザUは、自身の身体の状態に合わせて、運動の量や運動の仕方を改善することができる。この結果、ユーザUは、長期にわたって、健康的かつ効果的な運動を行うことができる。
【0069】
ここまで説明してきたように、本実施形態においては、ユーザUは、基本的には、第1部位に1つのデバイスDを装着すればよい。しかしながら、より精度の高い推定モーションデータを得たい場合には、ユーザUは、第1部位及び第2部位とは異なる第3部位にデバイスDを装着してもよい。以下、複数箇所にデバイスDを装着する場合の処理について説明する。
【0070】
この場合に推定部133が使用する推定用モデルは、身体の第1部位に装着された第1デバイスと、身体における第1部位と異なる第2部位に装着された第2デバイスと、第1部位及び第2部位とは異なる第3部位に装着された第3デバイスと、が同じタイミングで取得した、第1モーションデータ、第2モーションデータ及び第3部位の動きを示す第3モーションデータに基づいて作成されたモデルである。この場合、モーションデータセットにおいては、動きの種別毎に、第1モーションデータと、第2モーションデータと、第3モーションデータと、身体の状態を示す状態データと、が関連付けられることとなる。
【0071】
また、推定部133が機械学習モデルを使用する場合、機械学習モデルとしては、第1モーションデータ、第2モーションデータ及び第3モーションデータに基づいて作成された1つのモデルが使用される。あるいは、機械学習モデルとして、第1モーションデータ及び第2モーションデータに基づいて作成された第1モデルと、第2モーションデータ及び第3モーションデータに基づいて作成された第3モデルと、の2つのモデルが使用されてもよい。
【0072】
受信部131は、ユーザUの第1部位に装着されたデバイスが取得した、ユーザUの第1部位の動きを示す第1実測モーションデータと、ユーザUの第3部位に装着されたデバイスが取得した、ユーザUの第3部位の動きを示す第3実測モーションデータと、を受信する。
【0073】
推定部133は、第1実測モーションデータ及び第3実測モーションデータを推定用モデルに入力し、ユーザUの第2部位の動きを示す推定モーションデータを当該推定用モデルから取得する。以下、推定用モデルが行う推定モーションデータの出力について説明する。
【0074】
推定用モデルは、第1部位の動きを示すモーションデータ及び第3部位の動きを示すモーションデータが入力されると、第2部位の動きを示すモーションデータを出力する。推定用モデルがモーションデータセットである場合、推定用モデルは、入力された第1実測モーションデータと所定の閾値以上の類似度を有する第1モーションデータ及び入力された第3実測モーションデータと所定の閾値以上の類似度を有する第3モーションデータを特定する。続いて、推定用モデルは、特定した第1モーションデータと関連付けられた第2モーションデータと、特定した第3モーションデータと関連付けられた第2モーションデータと、を推定モーションデータとして特定する。
【0075】
推定用モデルが1つの機械学習モデルである場合、推定用モデルは、推定用モデルに入力された第1実測モーションデータ及び第3実測モーションデータに対応する第2部位のモーションデータとして最も確からしいモーションデータを推定モーションデータとして特定する。この場合、推定部133は、機械学習モデルに第1実測モーションデータ及び第3実測モーションデータを入力し、機械学習モデルから出力される第2部位の動きを示すモーションデータを推定モーションデータとする。
【0076】
推定用モデルが2つの機械学習モデルである場合、推定用モデルは、第1モデルに入力された第1実測モーションデータに対応する第2部位のモーションデータとして最も確からしいモーションデータと、第3モデルに入力された第3実測モーションデータに対応する第2部位のモーションデータとして最も確からしいモーションデータと、に基づいて推定モーションデータとして特定する。
【0077】
推定用モデルがモーションデータセットである場合又は推定用モデルが2つの機械学習モデルである場合、推定用モデルは、第1実測モーションデータと第3実測モーションデータのうち、第2部位により近い部位の実測モーションデータが、ユーザUの第2部位の動きを示す推定モーションデータにより高い割合で反映されるようにする。具体的には、推定モデルは、例えば第1実測モーションデータに基づく第1推定モーションデータ及び第3実測モーションデータに基づく第3推定モーションデータを加重平均したモーションデータを、ユーザUの第2推定モーションデータとして出力する。推定用モデルは、例えば、第1推定モーションデータが示す値に第1部位から第2部位までの距離を乗算した値と、第3推定モーションデータが示す値に第3部位から第2部位までの距離を乗算した値と、を加算した値を、第1部位から第2部位までの距離と第3部位から第2部位までの距離を加算した値で除算した値を、第2推定モーションデータとして出力してもよい。
【0078】
このように、推定用モデルが、複数箇所に装着されたデバイスDがそれぞれ取得した複数の実測モーションデータに基づいて推定モーションデータを出力することで、例えば、ある箇所に基づく推定モーションデータの値が実測値と多少乖離している場合においても、別の箇所に基づく推定モーションデータの値を用いて補正される。その結果、最終的に出力される推定モーションデータの信頼性が高まる。また、複数箇所に装着されたデバイスDがそれぞれ取得した複数の実測モーションデータそれぞれに基づいて取得した推定モーションデータの値を、デバイスDから第2部位までの距離に応じて加重平均すれば、最終的に出力される推定モーションデータの信頼性がより一層高まる。
【0079】
出力部134は、第2部位の動きを示す推定モーションデータを出力する。出力部134は、例えば、推定モーションデータを、装置通信部11を介して、ユーザUが使用する情報端末2に送信することにより出力する。あるいは、出力部134は、推定モーションデータを印刷できるようにプリンタに出力してもよい。なお、推定部133が状態推定データを推定用モデルから取得している場合には、出力部134は、推定モーションデータ及び状態推定データを出力する。
【0080】
このように、出力部134が第2部位の動きを示す推定モーションデータを出力することで、ユーザUは、デバイスDが装着されていない第2部位の動きを把握することができる。つまり、ユーザUは、基本的には、第1部位に1つのデバイスDを装着すれば、自身の全身の動きを把握できる。これにより、ユーザUは、従来のように自身の動きを知りたいすべての部位にセンサやデバイスを装着する必要がなくなるため、ユーザUの経済的、身体的及び時間的な負担が軽減される。
【0081】
上述したように、首の頸椎の動きは人間の他の骨の動きとの連動性が比較的高いため、第1部位として首を用いることにより、出力される推定モーションデータの信頼性も高まる。また、デバイスDを装着する第1部位が首であれば、衣服を装着した状態でデバイスDの装着ができるためデバイスDの装着が容易である。
【0082】
[情報端末2の構成及び動作]
情報端末2の構成及び動作を説明する。図8は、情報端末2の構成の一例を示す図である。情報端末2は、図8に示すように、操作部21と、端末通信部22と、表示部23と、記憶部24と、制御部25と、を備える。
【0083】
操作部21は、ユーザUの操作を受けるデバイスであり、例えば表示部23上に設けられたタッチパネルである。端末通信部22は、インターネット等の通信ネットワークを介して、情報処理装置1及びデバイスDと通信を行うための通信インターフェースである。端末通信部22は、第2部位の動きを示す推定モーションデータを受信する。
【0084】
表示部23は、例えば、液晶ディスプレイ又は有機EL(Electro-Luminescence)ディスプレイ等により構成される。表示部23は、表示処理部251の制御に応じて各種情報を表示する。表示部23は、例えば、デバイスDに関する各種設定を行うための画面、ユーザUに関する情報登録を行うための画面、及び第2部位の動きを示す推定モーションデータを示す画面を表示する。
【0085】
記憶部24は、ROM及びRAM等を含む記憶媒体である。記憶部24は、制御部25が実行するプログラムを記憶している。例えば、記憶部24は、制御部25を、表示処理部251及び設定受付部252として機能させるプログラムを記憶している。
【0086】
制御部25は、例えばCPUである。制御部25は、記憶部24に記憶されたプログラムを実行することにより、表示処理部251及び設定受付部252として機能する。
【0087】
表示処理部251は、各種の情報を表示部23に表示させる。表示処理部251は、デバイスDに関する各種設定を行うための画面及びユーザUに関する情報登録を行うための画面を表示部23に表示させる。また、表示処理部251は、第2部位の動きを示す推定モーションデータを、端末通信部22を介して、情報処理装置1の出力部134から受信した後、受信した推定モーションデータを表示部23に表示させる。
【0088】
設定受付部252は、ユーザUの第1部位に装着されたデバイスDに関する設定を受け付ける。設定受付部252は、例えば、操作部21からのユーザUによる操作を介して、デバイスDに関する各種設定及びユーザUに関する情報登録の操作をユーザUから受け付ける。設定受付部252は、端末通信部22を介して、受け付けたデバイスDに関する各種設定をデバイスDに反映するための命令をデバイスDに送信する。設定受付部252は、端末通信部22を介して、受け付けたユーザUに関する情報を情報処理装置1に送信する。
【0089】
[情報処理装置1における処理の流れ]
図9は、情報処理装置1における処理の流れを示すフローチャートである。以下、図9を参照して、情報処理装置1における処理の流れを説明する。
【0090】
受信部131は、ユーザUの第1部位の動きを示す実測モーションデータを、ユーザUに装着されたデバイスDから受信する(S1)。続いて、受信部131は、ユーザUによって、動きの種別が情報端末2に入力されているか否かを判定する(S2)。動きの種別が入力されていない場合(S2:NO)、同定部132は、受信された実測モーションデータが示す動きの種別を同定する(S3)。これに対して、動きの種別が入力されている場合(S2:YES)、S3を飛ばして以下のS4に進む。
【0091】
推定部133は、推定モーションデータの取得に際して、第1モーションデータと第2モーションデータとの複数のセットを教師データとして用いて機械学習した機械学習モデルが使用されるか否かを判定する(S4)。推定部133が、機械学習モデルが使用されると判定した場合(S4:YES)、機械学習モデルが、当該モデルに入力された実測モーションデータに対応する第2部位のモーションデータとして最も確からしいモーションデータを出力する。推定部133は、出力されたモーションデータを、第2部位の動きを示す推定モーションデータとして取得する(S5)。
【0092】
一方で、推定部133が、機械学習モデルが使用されないと判定した場合(S4:NO)、第1モーションデータと第2モーションデータとのセットを複数有する推定用モデルが、入力された実測モーションデータと所定の閾値以上の類似度を有する第1モーションデータを特定し、特定した第1モーションデータと関連付けられた第2モーションデータを出力する。推定部133は、出力されたモーションデータを、第2部位の動きを示す推定モーションデータとして取得する(S6)。
【0093】
出力部134は、第2部位の動きを示す推定モーションデータを、ユーザUが使用する情報端末2に送信することで、推定モーションデータを出力する(S7)。
【0094】
[情報処理装置1による効果]
以上説明したように、本実施形態に係る情報処理装置1は、ユーザUの身体の第1部位(例えば、首)に装着されたデバイスDが取得した第1部位の動きに基づいて、身体における第1部位と異なる第2部位(例えば、膝)の動きを推定できる。これにより、ユーザUは、従来のように自身の動きを把握したい部位のすべてにセンサやデバイスを装着する必要がなくなるため、ユーザUの経済的、身体的及び時間的な負担が軽減される。
【0095】
また、本実施形態に係る情報処理装置1は、第2部位の動きに加えて、ユーザUの身体の状態(怪我のリスクや身体の疲労度)も推定できる。これにより、ユーザUは、自身の身体の状態に合わせて、運動の量や運動の仕方を改善できる。この結果、ユーザUは、長期にわたって、健康的かつ効果的な運動を行うことができる。
【0096】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0097】
1 情報処理装置
11 装置通信部
12 記憶部
13 制御部
131 受信部
132 同定部
133 推定部
134 出力部
2 情報端末
21 操作部
22 端末通信部
23 表示部
24 記憶部
25 制御部
251 表示処理部
252 設定受付部
U ユーザ
D デバイス
S 情報処理システム
【要約】
情報処理装置1は、身体の第1部位に装着された第1デバイスと、身体における第1部位と異なる第2部位に装着された第2デバイスと、が同じタイミングで取得した、第1部位の動きを示す第1モーションデータ及び第2部位の動きを示す第2モーションデータに基づいて作成された推定用モデルであって、第1部位の動きを示すモーションデータが入力されると、第2部位の動きを示すモーションデータを出力する推定用モデルを記憶する記憶部12と、分析の対象となる対象者の第1部位に装着されたデバイスが取得した、対象者の第1部位の動きを示す実測モーションデータを受信する受信部131と、実測モーションデータを推定用モデルに入力し、対象者の第2部位の動きを示す推定モーションデータを推定用モデルから取得する推定部133と、推定モーションデータを出力する出力部134と、を有する。

図1
図2
図3
図4
図5A
図5B
図6A
図6B
図7A
図7B
図8
図9