(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-08
(45)【発行日】2023-03-16
(54)【発明の名称】身体動作解析装置、身体動作解析システム、身体動作解析方法、及びプログラム
(51)【国際特許分類】
A61B 5/11 20060101AFI20230309BHJP
A61B 5/107 20060101ALI20230309BHJP
G06T 7/00 20170101ALI20230309BHJP
G06T 7/70 20170101ALI20230309BHJP
【FI】
A61B5/11 200
A61B5/107 300
A61B5/11 120
G06T7/00 660B
G06T7/70 Z
(21)【出願番号】P 2019208462
(22)【出願日】2019-11-19
【審査請求日】2021-09-10
【前置審査】
(73)【特許権者】
【識別番号】397014282
【氏名又は名称】株式会社エヌ・ティ・ティ ピー・シー コミュニケーションズ
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】組橋 祐亮
(72)【発明者】
【氏名】石井 誉仁
(72)【発明者】
【氏名】伊藤 大樹
【審査官】磯野 光司
(56)【参考文献】
【文献】国際公開第2014/112632(WO,A1)
【文献】国際公開第2019/111521(WO,A1)
【文献】特開2017-038812(JP,A)
【文献】特開2015-079339(JP,A)
【文献】米国特許出願公開第2019/0347817(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/103-5/113
G06V 40/20
(57)【特許請求の範囲】
【請求項1】
身体動作解析装置
であって、
他の情報処理装置から指定された画像データから解析対象となる人物を特定し、前記人物の姿勢を表す複数の特徴点を抽出する抽出処理を実行する抽出部と、
前記複数の特徴点に基づいて指定された所定の数の点と、前記所定の数の点に対する解析内容とを示す解析要求を、前記情報処理装置から受け付ける受付部と、
前記抽出処理による抽出結果に基づいて、前記所定の数の点を前記解析内容で解析する解析処理を実行する解析部と、
前記所定の数の点を前記解析内容で解析する前記解析処理による解析結果を前記情報処理装置に提供する提供部と、
を有し、
前記抽出処理、及び前記解析処理を利用するためのAPIを前記情報処理装置に提供する
、身体動作解析装置。
【請求項2】
前記情報処理装置は、端末装置に前記人物の身体動作を解析、診断、又は評価するウェブサービスを提供するサーバ装置、又は前記人物の身体動作を解析、診断、又は評価する端末装置を含む、請求項
1に記載の身体動作解析装置。
【請求項3】
前記解析内容は、指定された3点の角度、前記角度の統計量、又は前記角度の変化量の解析を含む、請求項1
又は2に記載の身体動作解析装置。
【請求項4】
前記解析内容は、指定された2点の距離、前記距離の統計量、又は前記距離の変化量の解析を含む、請求項1乃至
3のいずれか一項に記載の身体動作解析装置。
【請求項5】
前記解析内容は、指定された2点のうち、一方の点に対応する垂線又は水平線と、他方の点との差、前記差の統計量、又は前記差の変化量の解析を含む、請求項1乃至
4のいずれか一項に記載の身体動作解析装置。
【請求項6】
前記解析内容は、指定された1点の位置、前記位置の統計量、又は前記位置の変化量の解析を含む、請求項1乃至
5のいずれか一項に記載の身体動作解析装置。
【請求項7】
請求項1乃至
6のいずれか一項に記載の身体動作解析装置と、前記身体動作解析装置とは異なる他の情報処理装置とを含む身体動作解析システムであって、
前記情報処理装置は、前記身体動作解析装置が実行する抽出処理、及び解析処理を利用して、前記人物の身体動作の解析結果、診断結果、又は評価結果を提供する、身体動作解析システム。
【請求項8】
他の情報処理装置から指定された画像データから解析対象となる人物を特定し、前記人物の姿勢を表す複数の特徴点を抽出する抽出処理と、
前記複数の特徴点に基づいて指定された所定の数の点と、前記所定の数の点に対する解析内容とを示す解析要求を、前記情報処理装置から受け付ける処理と、
前記抽出処理による抽出結果に基づいて、前記所定の数の点を前記解析内容で解析する解析処理と、
前記所定の数の点を前記解析内容で解析する前記解析処理による解析結果を前記情報処理装置に提供する処理と、
をコンピュータが実行
し、
前記コンピュータが、前記抽出処理、及び前記解析処理を利用するためのAPIを前記情報処理装置に提供する、身体動作解析方法。
【請求項9】
他の情報処理装置から指定された画像データから解析対象となる人物を特定し、前記人物の姿勢を表す複数の特徴点を抽出する抽出処理と、
前記複数の特徴点に基づいて指定された所定の数の点と、前記所定の数の点に対する解析内容を示す解析要求を、前記情報処理装置から受け付ける処理と、
前記抽出処理による抽出結果に基づいて、前記所定の数の点を前記解析内容で解析する解析処理と、
前記所定の数の点を前記解析内容で解析する前記解析処理による解析結果を前記情報処理装置に提供する処理と、
を
、前記抽出処理、及び前記解析処理を利用するためのAPIを前記情報処理装置に提供するコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、身体動作解析装置、身体動作解析システム、身体動作解析方法、及びプログラムに関する。
【背景技術】
【0002】
画像データを解析して、画像データ(動画像データ、又は1つ以上の静止画像データ)に含まれる人物の関節の位置や、姿勢等を解析する解析装置が知られている。
【0003】
例えば、取得した動画像から人を含む人候補領域を検出し、人候補領域内の人物の関節位置を、ディープラーニング(Deep Learning)等で学習した推定モデルを用いて推定する関節位置推定装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に示されるような関節位置の推定技術を利用して、例えば、診療、フィットネス、スポーツ、アミューズメント等の様々な分野で、人物の身体動作の解析結果、診断結果等を提供するサービスが求められている。
【0006】
しかし、上記のようなサービスを提供するためには、各分野におけるノウハウの蓄積が必要であり、例えば、関節位置の推定技術を開発したベンダーが、各分野に対応するアプリケーションプログラム(以下、アプリと呼ぶ)を開発することは困難である。
【0007】
また、各分野におけるノウハウを蓄積している診療施設、フィットネス施設、スポーツ施設、アミューズメント施設等においても、画像処理、関節位置推定、統計的な分析等の開発工程が膨大となるため、各分野に対応するアプリを開発することは困難である。
【0008】
このように、従来の技術では、関節位置の推定技術を利用して、例えば、診療、フィットネス、スポーツ、アミューズメント等の様々な分野で、人物の身体動作の解析結果、診断結果等を提供することには困難を伴っていた。
【0009】
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、関節位置の推定技術を利用して、例えば、診療、フィットネス、スポーツ、アミューズメント等の様々な分野で、人物の身体動作の解析結果、診断結果等を提供することを容易にする。
【課題を解決するための手段】
【0010】
上記の課題を解決するため、本発明の一実施形態に係る身体動作解析装置は、身体動作解析装置であって、他の情報処理装置から指定された画像データから解析対象となる人物を特定し、前記人物の姿勢を表す複数の特徴点を抽出する抽出処理を実行する抽出部と、前記複数の特徴点に基づいて指定された所定の数の点と、前記所定の数の点に対する解析内容とを示す解析要求を、前記情報処理装置から受け付ける受付部と、前記抽出処理による抽出結果に基づいて、前記所定の数の点を前記解析内容で解析する解析処理を実行する解析部と、前記所定の数の点を前記解析内容で解析した解析結果を前記情報処理装置に提供する提供部と、を有し、前記抽出処理、及び前記解析処理を利用するためのAPIを前記情報処理装置に提供する。
【発明の効果】
【0011】
本発明の一実施形態によれば、関節位置の推定技術を利用して、例えば、診療、フィットネス、スポーツ、アミューズメント等の様々な分野で、人物の身体動作の解析結果、診断結果等を提供することが容易になる。
【図面の簡単な説明】
【0012】
【
図1】一実施形態に係る身体動作解析システムの概要を示す図である。
【
図2】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。
【
図3】一実施形態に係る端末装置のハードウェア構成の例を示す図である。
【
図4】一実施形態に係る身体動作解析システムの機能構成の一例を示す図である。
【
図5】一実施形態に係る身体動作解析システムの機能構成の別の一例を示す図である。
【
図6】一実施形態に係る抽出部、及び解析部の機能構成の例を示す図である。
【
図7】一実施形態に係る抽出部の処理について説明するための図である。
【
図8】一実施形態に係る抽出処理の例を示すシーケンス図である。
【
図9】一実施形態に係る解析処理の例を示すシーケンス図である。
【
図10】一実施形態に係る解析内容の設定画面の例を示す図(1)である。
【
図11】一実施形態に係る解析内容の設定画面の例を示す図(2)である。
【
図12】一実施形態に係るデータ管理部が管理する解析内容の一例のイメージを示す図である。
【
図13】一実施形態に係る解析結果の一例のイメージを示す図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の実施形態について説明する。なお、以下で説明する実施形態は一例であり、本発明が適用される実施形態は、以下の実施形態に限られない。
【0014】
<システム構成>
図1は、一実施形態に係る身体動作解析システムのシステム構成の概要を示す図である。身体動作解析システム100は、身体動作解析装置110と、解析対象となる人物の身体動作を解析、診断、又は評価するアプリケーション102と、利用者101がアプリケーション102を利用するための端末装置120とを含む。
【0015】
アプリケーション102は、一例として、身体動作解析装置110及び端末装置120と通信可能なサーバ装置(情報処理装置の一例)が、端末装置120に提供するアプリケーションプログラム(Webアプリケーション)である。別の一例として、アプリケーション102は、端末装置(情報処理装置の別の一例)120が備えるプロセッサが実行するアプリケーションプログラム(例えば、モバイルアプリケーション、組込アプリケーション等)である。なお、アプリケーション102は、例えば、利用者101に、解析対象となる人物の身体動作を解析、診断、又は評価するサービスを提供するサービス提供業者等によって提供される。
【0016】
端末装置120は、一例として、Webブラウザ等を用いて、サーバ装置が提供するWebアプリケーション(ウェブサービスの一例)であるアプリケーション102を利用可能なモバイル端末120a、PC(Personal Computer)120b等の情報端末である。また、別の一例として、端末装置120は、端末装置120が備えるプロセッサで、端末装置120に組み込まれた組込アプリケーションであるアプリケーション102を実行するアミューズメント機器120c等の電子機器であっても良い。さらに、端末装置120は、端末装置120が備えるプロセッサでモバイルアプリケーションであるアプリケーション102を実行するモバイル端末120a、PC120b等の情報端末であっても良い。
【0017】
なお、以下の説明において、身体動作解析装置110と、通信ネットワーク103を介して通信する情報処理装置(端末装置120、又はサーバ装置)を、「クライアント」と呼ぶ場合がある。クライアントは、身体動作解析装置110とは異なる他の情報処理装置の一例である。
【0018】
身体動作解析装置110は、コンピュータの構成を備える情報処理装置、又は複数の情報処理装置を含むシステムである。身体動作解析装置110は、所定のプログラムを実行することにより、クライアントからの抽出要求に応じて、指定された画像データから解析対象となる人物を特定し、当該人物の姿勢を表す複数の特徴点を抽出する抽出処理111を実行する。また、身体動作解析装置110は、クライアントからの解析要求に応じて、抽出処理111による抽出結果に基づいて、解析対象となる人物の身体動作を解析する解析処理112を実行する。さらに、身体動作解析装置110は、抽出処理111、及び解析処理112を利用するためのAPI(Application Programming Interface)であるWeb API113を、クライアントに提供する。
【0019】
Web API113は、Webサービスを提供する身体動作解析装置110を外部から利用するためのAPIである。ここでは、Web API113が、セッション等の状態管理を行なわないREST(REpresentational State Transfer) APIであるものとして以下の説明を行なう。ただし、Web API113は、REST API以外のAPIであっても良い。
【0020】
上記の構成において、利用者101は、端末装置120が備えるカメラ、又は一般的な撮影機器130で解析対象となる人物を撮影した画像データ(動画像データ、又は1つ以上の静止画データ)を、例えば、身体動作解析装置110にアップロードする。なお、画像データのアップロード先は、身体動作解析装置110に限られず、例えば、身体動作解析装置110からアクセス可能なストレージサーバ、クラウドサービス等であっても良い。
【0021】
また、身体動作解析装置110は、クライアントから、抽出処理111の実行を要求する抽出要求、及び解析処理112の実行を要求する解析要求等の所定の要求情報を、Web API113で受け付けることができる。
【0022】
例えば、身体動作解析装置110は、クライアントからの抽出要求に応じて、アップロードされた画像データから解析対象となる人物を特定し、当該人物の姿勢を表す複数の特徴点を抽出する抽出処理111を実行する。ここで複数の特徴点には、例えば、人物の手首、肘、肩、腰、膝、足首等の関節の位置を示す情報(例えば、座標情報等)が含まれる。また、複数の特徴点には、例えば、目、耳、鼻等の部位の位置を示す情報が含まれていても良い。
【0023】
また、身体動作解析装置110は、クライアントからの解析要求に応じて、抽出処理111による抽出結果に基づいて、指定された1つ以上の点に対して、指定された解析内容を実行する解析処理112を実行する。なお、ここで指定される1つ以上の点は、抽出処理111で抽出された特徴点であっても良いし、2つの特徴点の間にある点等であっても良い。
【0024】
ここで、解析処理112には、例えば、指定された3点の角度や角度の変化の解析、指定された2点の距離や距離の変化の解析、指定された1点の位置や位置の変化の解析等が含まれる。また、解析処理112には、例えば、指定された2点のうち、一方の点に対応する垂線又は水平線と、他方の点との差(距離)や差の変化の解析、人物の重心や重心の変化の解析等が含まれていても良い。
【0025】
好ましくは、解析処理112は、抽出処理111で抽出された複数の特徴点に基づいて指定可能な複数の点のうち、クライアントから指定された1つ以上の点に対して選択的に解析処理を実行する。これにより、身体動作解析装置110は、冗長な解析処理112を削減し、解析処理112の処理時間を短縮することができる。
【0026】
このように、クライアントは、身体動作解析装置110が提供するWeb API113を利用して、抽出処理111、解析処理112を実行することができるので、開発工数を低減しつつ、人物の身体動作解析、診断、評価等を行なうことができるようになる。
【0027】
このように、本実施形態によれば、関節位置の推定技術を利用して、例えば、診療、フィットネス、スポーツ、アミューズメント等の様々な分野で、人物の身体動作の解析結果、診断結果等を提供することが容易になる。
【0028】
<ハードウェア構成>
次に、身体動作解析システム100に含まれる各装置のハードウェア構成について説明する。
【0029】
(身体動作解析装置のハードウェア構成)
身体動作解析装置110は、例えば、
図2に示すようなコンピュータ200のハードウェア構成を有している。或いは、身体動作解析装置110は、複数のコンピュータ200によって構成される。
【0030】
図2は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ200は、例えば、CPU(Central Processing Unit)201、メモリ202、ストレージ203、通信装置204、入力装置205、表示装置206、及びシステムバス207等を有する。
【0031】
CPU201は、例えば、ストレージ203等に記憶したプログラムを実行することにより、身体動作解析装置110の各機能を実現する演算装置である。メモリ202は、例えば、CPU201のワークエリア等として用いられる揮発性のメモリであるRAM(Random Access Memory)、BIOS(Basic Input/Output System)等を記憶した不揮発性のメモリであるROM(Read Only Memory)等を含む。
【0032】
ストレージ203は、例えば、OS(Operating System)、アプリケーションプログラム、及び各種のデータ等を記憶する大容量の記憶デバイスであり、例えば、SSD(Solid State Drive)、HDD(Hard Disk Drive)等によって実現される。
【0033】
通信装置204は、コンピュータ200を通信ネットワーク103に接続して、他の装置と通信を行なう通信デバイスである。通信装置204は、コンピュータ200を通信ネットワーク103に接続して、他の装置と通信可能なものであれば良く、その通信方式は任意の方式であって良い。
【0034】
入力装置205は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ等)である。表示装置206は、各種の表示画面を表示する表示デバイス(例えば、ディスプレイ等)である。なお、入力装置205及び表示装置206は、一体となった構成(例えば、タッチパネルディスプレイ等)であっても良い。
【0035】
システムバス207は、上記の各要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。
【0036】
(端末装置のハードウェア構成)
図3は、一実施形態に係る端末装置のハードウェア構成の例を示す図である。端末装置120は、例えば、CPU301、メモリ302、ストレージ303、通信装置304、入力装置305、表示装置306、撮影装置307、及びシステムバス308等を有する。なお、CPU301、メモリ302、ストレージ303、通信装置304、入力装置305、表示装置306、及びシステムバス308は、
図2で前述したCPU201、メモリ202、ストレージ203、通信装置204、入力装置205、表示装置206、及びシステムバス308と同様であるため、ここでは説明を省略する。
【0037】
撮影装置307は、端末装置120の周辺の画像(動画像、又は1つ以上の静止画像)を撮影するカメラである。なお、端末装置120は、端末装置120の外部の撮影機器130を用いて、端末装置120の周辺の画像を撮影するものであっても良い。
【0038】
(サーバ装置のハードウェア構成)
サーバ装置は、例えば、
図2に示すようなコンピュータ200のハードウェア構成を有している。或いは、サーバ装置は、複数のコンピュータ200によって構成される。
【0039】
<機能構成>
続いて、身体動作解析システム100の機能構成について説明する。
【0040】
[第1の機能構成]
図4は、一実施形態に係る身体動作解析システムの機能構成の一例を示す図である。ここでは、サーバ装置410がクライアント(情報処理装置)である場合における身体動作解析システム100の機能構成の例について説明する。
図4の例では、身体動作解析システム100は、身体動作解析装置110と、端末装置120と、身体動作解析装置110及び端末装置120と通信可能に接続されるサーバ装置410とを含む。
【0041】
(身体動作解析装置の機能構成)
身体動作解析装置110は、1つ以上のコンピュータ200で所定のプログラムを実行することにより、例えば、通信部401、受付部402、提供部403、データ管理部404、要求情報管理部405、抽出部406、解析部407、画像データ管理部408、及び記憶部409等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
【0042】
通信部401は、例えば、
図2の通信装置204等を用いて、身体動作解析装置110を通信ネットワーク103に接続し、他の装置との通信を制御する。なお、身体動作解析装置110が、複数のコンピュータ200で構成される場合、例えば、各コンピュータ200が通信部401する。
【0043】
画像データ管理部408は、例えば、クライアントからアップロードされる画像データ(動画像データ、又は1つ以上の静止画データ)に、画像データを識別する識別情報(以下、画像IDと呼ぶ)を付与して、記憶部409等に記憶して管理する。なお、画像データ管理部408は、身体動作解析システム100の外部のストレージサーバや、クラウドサービス等に画像データを記憶して管理するもので合っても良い。或いは、画像データ管理部408は、ストレージサーバや、クラウドサービス等によって実現されるものであっても良い。
【0044】
受付部402は、例えば、Web API113によって実現され、クライアントから、例えば、抽出処理111の実行を要求する抽出要求、解析処理112の実行を要求する解析要求等の所定の要求情報を受け付ける。
【0045】
提供部403は、例えば、Web API113によって実現され、クライアントからの要求に応じて、例えば、抽出処理111の抽出結果、解析処理112の解析結果等の様々なデータ、情報等を提供する。
【0046】
データ管理部404は、Web API113によって実現され、抽出処理111の抽出結果432、解析処理112の解析結果433等を、例えば、画像ID等と対応付けて、記憶部409に記憶して管理する。また、データ管理部404は、例えば、受付部402が、クライアントから受け付けた解析内容434に、解析内容434を識別する識別情報(以下、ルールIDと呼ぶ)を付与して、記憶部409等に記憶して管理する。
【0047】
要求情報管理部405は、受付部402が受け付けた要求情報を順次に保持して、先に記憶した要求情報から順に、抽出部406、解析部407等の処理部に通知するメッセージキューとして機能する。
【0048】
抽出部406は、クライアントから指定された画像データから解析対象となる人物を特定し、当該人物の姿勢を表す複数の特徴点を抽出する抽出処理111を実行する。なお、抽出部406、及び抽出処理111の詳細については後述する。
【0049】
解析部407は、抽出処理111の抽出結果に基づいて、クライアントから指定された1つ以上の点を、指定された解析内容で解析する解析処理112を実行する。なお、解析部407、及び解析処理112の詳細については後述する。
【0050】
記憶部409は、例えば、
図2のCPU201で実行されるプログラム、及びストレージ203、メモリ202等によって実現され、例えば、画像データ431、抽出結果432、解析結果433、解析内容434等の様々なデータ、情報を記憶する。なお、身体動作解析装置110が、複数のコンピュータ200で構成される場合、記憶部409は、各コンピュータ200に分散されて設けられていて良い。また、記憶部409は、ストレージサーバ等の情報処理装置によって実現されるものであっても良いし、身体動作解析装置110の外部のストレージサーバ、又はクラウドサービス等によって実現されるものであっても良い。
【0051】
(サーバ装置の機能構成)
サーバ装置410は、1つ以上のコンピュータ200で所定のプログラムを実行することにより、例えば、通信部411、表示制御部412、操作受付部413、情報送信部414、情報受信部415、及び評価部416等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
【0052】
通信部411は、例えば、
図2の通信装置204等を用いて、サーバ装置410を通信ネットワーク103に接続し、他の装置との通信を制御する。なお、サーバ装置410が、複数のコンピュータ200で構成される場合、例えば、各コンピュータ200が通信部411を有する。
【0053】
表示制御部412は、例えば、コンピュータ200で実行されるWebアプリケーションであるアプリケーション102等によって実現され、アプリケーション102の表示画面(以下、アプリ画面と呼ぶ)を端末装置120が備えるWebブラウザ等に表示させる。
【0054】
このアプリ画面は、例えば、HTML(Hyper Text Markup Language)、XML(Extensible Markup Language)、CSS(Cascading Style Sheets)、JavaScript(登録商標)等の言語によって作成されている。したがって、利用者101は、アプリ画面に対して所定の操作を行なうことにより、例えば、抽出操作、解析操作、設定操作等の様々な操作を行なうことができる。
【0055】
操作受付部413は、例えば、コンピュータ200で実行されるアプリケーション102等によって実現され、アプリ画面に対する利用者101の操作を受け付ける。
【0056】
情報送信部414は、例えば、コンピュータ200で実行されるアプリケーション102等によって実現され、抽出処理111の実行を要求する抽出要求、解析処理112の実行を要求する解析要求等の所定の要求情報を、身体動作解析装置110に送信する。なお、情報送信部414は、例えば、画像データ等、要求情報以外の様々なデータ、情報等を送信することもできる。
【0057】
情報受信部415は、例えば、コンピュータ200で実行されるアプリケーション102等によって実現され、情報送信部414が送信した要求情報に応じて、身体動作解析装置110から送信される抽出結果432、解析結果433等のデータ、情報等を受信する。
【0058】
評価部416は、例えば、コンピュータ200で実行されるアプリケーション102等によって実現され、身体動作解析装置110が提供するWeb API113を利用して、解析対象となる人物の身体動作の解析結果を取得する。また、評価部416は、取得した解析結果を用いて、例えば、診療、フィットネス、スポーツ、アミューズメント等の様々な分野のうち、1つ以上の分野における解析結果、診断結果、評価結果等を、表示制御部412を介して、端末装置120に表示させる。
【0059】
なお、
図4に示す身体動作解析システム100のシステム構成は一例である。例えば、
図4に示す身体動作解析装置110が備える各機能構成は、複数の情報処理装置に分散されて設けられていても良い。
【0060】
例えば、Web API113は、1つの情報処理装置(例えば、APIサーバ等)によって実現されるものであっても良い。また、画像データ管理部408は、1つ情報処理装置(例えば、ストレージサーバ等)によって実現されるものであっても良い。さらに、要求情報管理部405は、1つの情報処理装置(例えば、メッセージキューサーバ等)によって実現されるものであっても良い。さらにまた、抽出部406及び解析部407は、1つ又は2つの情報処理装置(例えば、解析サーバ等)によって実現されるものであっても良い。
【0061】
(端末装置の機能構成)
端末装置120は、例えば、
図3のCPU301で所定のプログラムを実行することにより、通信部421、ブラウザ部422、画像データ取得部423、及び記憶部424等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
【0062】
通信部421は、例えば、
図3の通信装置304等を用いて、端末装置120を通信ネットワーク103に接続し、他の装置の通信を制御する。
【0063】
ブラウザ部422は、例えば、
図3のCPU301で実行されるWebブラウザ等のプログラムによって実現され、サーバ装置410から提供されるアプリ画面を表示する。このアプリ画面は、前述したように、例えば、HTML、XML、CSS、JavaScript等の言語によって作成されており、利用者101は、アプリ画面に対して所定の操作を行なうことにより、様々な操作を行なうことができる。
【0064】
画像データ取得部423は、例えば、
図3のCPU301で実行されるプログラムによって実現され、
図3の撮影装置307、又は
図1の撮影機器130等を用いて、解析対象となる人物を撮影した画像データを取得する。なお、画像データ取得部423は、記憶部424に記憶した画像データの中から、解析対象となる人物を撮影した画像データを取得しても良い。
【0065】
記憶部424は、例えば、
図3のCPU301で実行されるプログラム、及びストレージ303、メモリ302等によって実現され、画像データ取得部423が取得した画像データ等の様々なデータ、情報等を記憶する。
【0066】
[第2の機能構成]
図5は、一実施形態に係る身体動作解析システムの機能構成の別の一例を示す図である。ここでは、端末装置120がクライアント(情報処理装置)である場合における身体動作解析システム100の機能構成の例について説明する。
図5の例では、身体動作解析システム100は、身体動作解析装置110と、身体動作解析装置110と通信可能に接続される端末装置120とを含む。なお、
図5に示す身体動作解析装置110の機能構成は、
図4で説明した身体動作解析装置110の機能構成と同様なので、ここでは説明を省略する。
【0067】
(端末装置の機能構成)
端末装置120は、例えば、
図3のCPU301で所定のプログラムを実行することにより、通信部421、表示制御部412、操作受付部413、情報送信部414、情報受信部415、評価部416、画像データ取得部423、及び記憶部424等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
【0068】
通信部421は、例えば、
図3のCPU301で実行されるプログラムによって実現され、
図3の通信装置304等を用いて、端末装置120を通信ネットワーク103に接続して、身体動作解析装置110等の他の装置との通信を制御する。
【0069】
表示制御部412は、例えば、CPU301で実行される組込アプリケーション又はモバイルアプリケーションであるアプリケーション102等によって実現される。表示制御部412は、アプリケーション102の表示画面であるアプリ画面を、端末装置120が備える表示装置306等に表示する。
【0070】
操作受付部413は、例えば、CPU301で実行されるアプリケーション102等によって実現され、端末装置120が備える入力装置305等を用いて、利用者101による操作を受け付ける。
【0071】
情報送信部414は、例えば、CPU301で実行されるアプリケーション102等によって実現され、抽出処理111の実行を要求する抽出要求、解析処理112の実行を要求する解析要求等の所定の要求情報を、身体動作解析装置110に送信する。なお、情報送信部414は、例えば、画像データ等、要求情報以外の様々なデータ、情報等を送信することもできる。
【0072】
情報受信部415は、例えば、CPU301で実行されるアプリケーション102等によって実現され、情報送信部414が送信した要求情報に応じて、身体動作解析装置110から送信される抽出結果432、解析結果433等のデータ、情報等を受信する。
【0073】
評価部416は、例えば、CPU301で実行されるアプリケーション102等によって実現され、身体動作解析装置110が提供するWeb API113を利用して、解析対象となる人物の身体動作の解析結果を取得する。また、評価部416は、取得した解析結果を用いて、例えば、診療、フィットネス、スポーツ、アミューズメント等の様々な分野のうち、1つ以上の分野における解析結果、診断結果、評価結果等を、表示制御部412を介して、表示装置306等に表示する。
【0074】
画像データ取得部423は、例えば、
図3のCPU301で実行されるプログラムによって実現され、
図3の撮影装置307、又は
図1の撮影機器130等を用いて、解析対象となる人物を撮影した画像データを取得する。なお、画像データ取得部423は、記憶部424に記憶した画像データの中から、解析対象となる人物を撮影した画像データを取得しても良い。
【0075】
記憶部424は、例えば、
図3のCPU301で実行されるプログラム、及びストレージ303、メモリ302等によって実現され、画像データ取得部423が取得した画像データ等の様々なデータ、情報を記憶する。
【0076】
なお、
図4、5に示す身体動作解析システム100の機能構成は一例である。例えば、
図4のサーバ装置410の各機能構成は、身体動作解析装置110が有していても良い。また、身体動作解析装置110が備える各機能構成のうち、少なくとも一部は、サーバ装置410が有していても良い。
【0077】
(抽出部について)
ここで、
図4、5の身体動作解析装置110が有する抽出部406について説明する。
図6(A)は、抽出部406の機能構成の例を示す図である。抽出部406は、例えば、人物検出部601、中心人物特定部602、及び特徴点抽出部603等を含む。
【0078】
人物検出部601は、抽出処理111の対象となる画像データから人物、又は人物を含む人物領域を検出する。例えば、人物検出部601は、
図7(A)に示すような画像700に含まれる人物領域701~703を、例えば、公知の物体検出の技術を利用して検出する。例えば、人物検出部601は、ディープラーニング(Deep Learning)等で予め学習した推定モデルを用いて検出しても良い。
【0079】
中心人物特定部602は、人物検出部601が検出した人物領域701~703の中から、どれだけ中心に写っているかを示すセンタスコア(center score)と、人物領域の大きさを示すサイズスコア(size score)に基づいて計算したスコア(score)が最も大きい中心人物を特定する。
【0080】
スコア(score)は、例えば、次の式(1)で算出される。
score=center score+α*size score …(1)
ここで「α」は、例えば、随時調整可能なパラメータである。
【0081】
なお、センタスコア(center score)は、例えば、次の式(2)で算出される。
center score=1-(検出された人物領域の中心-画像の中心) …(2)
ここで、「検出された人物領域の中心」は、例えば、
図8(A)に示す人物領域701~703の中心の座標である。「画像の中心」は、例えば、
図8(A)に示す画像700の中心の座標である。
【0082】
また、サイズスコアは、例えば、次の式(3)で算出される。
size score=人物領域のサイズ/画像のサイズ …(3)
ここで、「人物領域のサイズ」は、例えば、
図8(A)に示す人物領域701~703の大きさ(例えば、面積)である。「画像のサイズ」は、例えば、
図8(A)に示す画像700の大きさである。
【0083】
上記の手法により、中心人物特定部602は、例えば、
図8(A)に示すような画像700から、
図8(B)に示すように、中心人物の人物領域701を特定することができる。
【0084】
特徴点抽出部603は、中心人物特定部602が特定した中心人物の人物領域701から、例えば、
図8(C)に示すように、人物の姿勢を表す複数の特徴点704を抽出する。例えば、特徴点抽出部603は、ディープラーニング(Deep Learning)等で学習した推定モデルを用いて、人物の手首、肘、肩、腰、膝、足首等の関節の位置(特徴点の一例)を抽出する。
【0085】
なお、本実施形態では、具体的な特徴点の抽出方法は特定しないが、例えば、特許文献1に開示された技術を適用しても良い。また、特徴点には、関節以外にも、例えば、人物の目、耳、鼻等の位置が含まれていても良い。
【0086】
上記のように、抽出部406は、画像700に複数の人物が撮影されている場合でも、画像700の中心付近に、より大きく撮影されている中心人物の特徴点を選択的に抽出する。
【0087】
(解析部について)
ここで、
図4、5の身体動作解析装置110が有する解析部407について説明する。
図6(B)は、解析部407の機能構成の例を示す図である。解析部407は、例えば、角度解析部611、距離解析部612、及び位置解析部613等を含む。
【0088】
角度解析部611は、例えば、手首(左右)、肘(左右)、肩(左右)、腰(左右)、膝(左右)、足首(左右)等の人物の姿勢を表す複数の特徴点に基づいて指定された3点の角度(なす角、回転角等)を解析する。例えば、点A、B、Cが指定された場合、角度解析部611は、ベクトルBAとベクトルBCのなす角、又はベクトルBAからベクトルBCの方向に対する回転角(或いは、ベクトルBCからベクトルACの方向に対する回転角)を算出する。
【0089】
好ましくは、角度解析部611は、算出された角度の統計量(例えば、平均値、分散値、最大値、最小値、中央値等)、算出されたデータの変化量等を解析する機能をさらに有する。
【0090】
距離解析部612は、人物の姿勢を表す複数の特徴点に基づいて指定された2点の間の距離(相対距離)を解析する。例えば、点A、Bが指定された場合、距離解析部612は、点Aと点Bとの間のユークリッド距離を算出する。
【0091】
好ましくは、距離解析部612は、指定された2点のうち、一方の点に対応する垂線又は水平線と、他方の点との間の差(距離)も解析する。例えば、点A、Bが指定された場合、距離解析部612は、画像700上における、点Aを通る垂線(又は水平線)と、点Bとの間の距離を算出する。
【0092】
好ましくは、距離解析部612は、算出された差(距離)の統計量、変化量等を解析する機能をさらに有する。
【0093】
位置解析部613は、人物の姿勢を表す複数の特徴点に基づいて指定された1点の位置(座標)を解析する。例えば、点Aが指定された場合、位置解析部613は、画像700上の点Aの座標(例えば、画像700の左上の頂点を原点とするx、y座標等)を算出する。
【0094】
好ましくは、位置解析部613は、算出された位置の統計量、変化量等を解析する機能をさらに有する。
【0095】
なお、解析部407は、角度解析部611、距離解析部612、及び位置解析部613が算出したデータの統計量、変化量等を解析する解析部を、さらに有していても良い。
【0096】
<処理の流れ>
続いて、本実施形態に係る身体動作解析方法の処理の流れについて説明する。
【0097】
(抽出処理)
図8は、一実施形態に係る抽出処理の例を示すシーケンス図である。なお、
図8において、クライアント800は、Web API113を介して、身体動作解析装置110が提供する抽出処理111、及び解析処理112を利用する情報処理装置(例えば、
図4のサーバ装置410、又は
図5の端末装置120)であるものとする。
【0098】
ステップS801、S802において、クライアント800は、身体動作解析装置110が提供するWeb API113を利用して、画像データをアップロードするためのURL(Uniform Resource Locator)等のアドレス情報を取得する。例えば、クライアントの評価部416は、情報送信部414を用いて、URLの取得要求をWeb API113に送信する。これに応じて、Web API113の受付部402は、画像データ管理部408にアクセスするためのURLをクライアント800に送信する。これにより、クライアントの評価部416は、情報受信部415を介して、画像データをアップロードするためのURL等のアドレス情報を受信することができる。
【0099】
ステップS803において、クライアント800は、取得したURLに、解析対象となる画像データ(動画像データ、又は1つ以上の静止画像データ)をアップロードする。
【0100】
ステップS804、S805において、身体動作解析装置110の画像データ管理部408は、クライアント800からアップロードされた画像データに、画像データを識別するための識別情報である画像IDを付与して、例えば、記憶部409等に記憶する。また、画像データ管理部408は、画像データに付与した画像IDを含む応答メッセージを、クライアント800に送信する。
【0101】
ステップS806において、クライアント800は、Web API113を利用して、身体動作解析装置110に抽出処理111の実行を要求する。例えば、クライアントの評価部416は、情報送信部414を用いて、解析対象となる画像データを識別する画像IDを含む抽出要求をWeb API113に送信する。
【0102】
ステップS807~S809において、Web API113の受付部402は、クライアント800に応答メッセージを送信するとともに、要求情報管理部405を介して、抽出部406に、受け付けた抽出要求を通知する。
【0103】
ステップS810、S811において、抽出部406は、抽出要求に含まれる画像IDを用いて、画像データ管理部408から、解析対象となる画像データを取得する。例えば、抽出部406は、画像IDを含む画像データの取得要求を画像データ管理部408に送信する。これに応じて、画像データ管理部408は、例えば、記憶部409等に記憶した画像データ431のうち、画像IDに対応する画像データを抽出部406に送信する。
【0104】
ステップS812において、抽出部406は、例えば、
図7で説明した抽出処理111を実行する。これにより、例えば、画像データが動画像データである場合、画像データのフレーム毎に、解析対象となる人物の複数の特徴点が抽出される。また、画像データが1つ以上の静止画データである場合、静止画データ毎に、解析対象となる人物の複数の特徴点が抽出される。
【0105】
ステップS813において、抽出部406は、抽出処理111の抽出結果を、例えば、抽出要求に含まれていた画像IDと共に、要求元のWeb API113に通知する。この抽出結果には、例えば、動画像データの各フレーム(又は各静止画像データ)毎に、複数の特徴点(例えば、左右の手首、肘、肩、腰、膝、足首等の関節位置等)の位置を示す座標情報等が含まれる。
【0106】
ステップS814において、Web API113のデータ管理部404は、抽出部406から通知された抽出結果を画像IDと対応付けて、例えば、記憶部409等に記憶する。好ましくは、データ管理部404は、画像IDに対応する抽出処理111の抽出結果、及び解析処理112の解析結果等を格納するDB(Database)に、抽出結果を格納する。また、ステップS815において、データ管理部404は、抽出部406に応答メッセージを返信する。
【0107】
この状態で、クライアント800は、身体動作解析装置110から、抽出処理111によって抽出された抽出結果を取得することができるようになる。
【0108】
例えば、ステップS816において、クライアント800は、Web API113を利用して、身体動作解析装置110に抽出結果の取得を要求する。例えば、クライアントの評価部416は、情報送信部414を用いて、画像IDを含む抽出結果の取得要求をWeb API113に送信する。なお、クライアント800は、ステップS816の処理を、ステップS806の処理を実行した後、所定の時間を経過後に実行しても良いし、所定の時間間隔で繰返し実行(ポーリング)しても良い。
【0109】
ステップS817において、Web API113の受付部402が抽出結果の取得要求を受け付けると、提供部403は、取得要求に含まれる画像IDに対応する抽出結果を取得し、要求元のクライアント800に提供(送信)する。
【0110】
上記の処理により、クライアント800は、Web API113を利用して、画像データに対する抽出処理111を、身体動作解析装置110に実行させることができる。
【0111】
(解析処理)
図9は、一実施形態に係る解析処理の例を示すシーケンス図である。なお、
図9に示す処理の開始時点おいて、
図8で説明した抽出処理が実行済であるものとする。また、ステップS911以降の解析処理を開始する前に、ステップS901~S905に示す解析内容の設定処理900が、1回以上実行されているものとする。
【0112】
ステップS901、S902において、クライアント800は、解析内容の設定画面を表示して、利用者101等による解析内容の設定操作を受け付ける。例えば、クライアント800が、
図4のサーバ装置410である場合、サーバ装置410の表示制御部412は、端末装置120のブラウザ部422に、例えば、
図10に示すような解析内容の設定画面1000を表示させる。また、クライアント800が、
図5の端末装置120である場合、端末装置120の表示制御部412は、例えば、
図3の表示装置306に、例えば、
図10に示すような解析内容の設定画面1000を表示する。
【0113】
図10は、一実施形態に係る解析内容の設定画面の例を示す図(1)である。この図は、クライアント800が表示する解析内容の設定画面の一例を示している。
図10の例では、解析内容の設定画面1000には、人物の画像1001と、1つ以上の解析内容の設定欄1002とが表示されている。
【0114】
人物の画像1001は、例えば、画像データを用いて作成された解析対象となる人物の画像であっても良いし、人をモデル化して描画したもの等であっても良い。
【0115】
好ましくは、人物の画像1001には、抽出処理111で抽出される複数の特徴点に対応する複数の点が選択可能に表示されており、例えば、カーソル1003(又は利用者101の指)等で、複数の点のうち、解析対象となる1つ以上の点を選択することができる。例えば、人物の画像1001において、利用者101が、左手首、左肘、左肩の順に選択操作を行なうと、
図10に示すように、左手首が点A、左肘が点B、左肩が点Cとして選択される。別の一例として、利用者101は、3点を選択するプルダウンメニュー1004~1006を用いて、解析対象となる3点を選択しても良い。
【0116】
また、利用者101は、例えば、解析内容を選択するプルダウンメニュー1007を用いて、解析内容(例えば、なす角、回転角、距離、位置等)を選択し、「登録」ボタン1008を選択することにより、解析内容の設定を行なうことができる。
【0117】
図11は、一実施形態に係る解析内容の設定画面の例を示す図(2)である。この図は、クライアント800が表示する解析内容の設定画面の別の一例を示している。
図11の例では、解析内容の設定画面1100には、人物の画像1001は表示されておらず、2点を選択するプルダウンメニュー1101、1102と、解析内容の設定欄1105とが表示されている。
【0118】
このように、解析内容の設定画面1100には、必ずしも人物の画像1001が表示されていなくても良い。この場合、利用者101は、プルダウンメニュー1101、1102に表示される右手首、左手首、右肘、左肘、右肩、左肩、・・・の選択肢の中から、解析対象となる点を選択しても良い。また、
図11に示すように、解析内容の設定欄1105には、簡単な条件判断等が、含まれていても良い。この場合、クライアント800の評価部416が、身体動作解析装置110を利用して実行した解析処理112の解析結果に基づいて、解析内容の一部を処理する。
【0119】
【0120】
ステップS903において、クライアント800は、Web API113を利用して、身体動作解析装置110に解析内容の登録を要求する。例えば、クライアント800の操作受付部413は、解析内容の設定画面1000、1100で受け付けた、所定の数(例えば、1~3個)の点と、所定の数の点に対する解析内容とを含む解析内容の登録要求を、Web API113に送信する。
【0121】
ステップS904において、Web API113の受付部402が解析内容の登録要求を受け付けると、データ管理部404は、「所定の数の点、及び所定の数の点に対する解析内容(以下、単に解析内容と呼ぶ)」に、ルールIDを付与して、記憶部409に記憶する。好ましくは、データ管理部404は、ルールIDと対応付けて解析内容等を格納するDBに、解析内容を格納する。
【0122】
図12は、一実施形態に係るデータ管理部が管理する解析内容の一例のイメージを示す図である。
図12の例では、解析内容1200には、2つの解析内容1201、1202が定義されている。
【0123】
「analysis_type」1203には、例えば、「角度(angle)」、「距離」、「位置」等の解析種別が設定される。
【0124】
「point1」1204、「point2」1205、「point3」1202には、例えば、解析対象となる点が設定される。例えば、「point1」1204の「"joint":"left_shoulder"」の文字列は、第1の点が、「左肩」であることを示している。また、「"type":"single」は、第1の点の種別が、1つの点であることを示している。第1の点の種別は、例えば、第1の点を通る「垂線」、「水平線」等であっても良い。
【0125】
「statistics」1207は、例えば、平均値、分散値、最大値、最小値、中央値等の統計量を取得するときに設定される。例えば、「statistics」1207の「"analysis_type":"min"」の文字列は、取得する統計量が「最小値」であることを示している。
【0126】
図12に示す解析内容1200により、例えば、右肘-左肩―左腰の角度の最小値と、右肘-左肩―左腰の角度の最大値とを解析する解析処理112が実行される。
【0127】
ここで、再び
図9に戻り、シーケンス図の説明をさらに続ける。
【0128】
ステップS905において、Web API113のデータ管理部404は、内容に付与したルールIDを含む応答メッセージをクライアント800に通知する。
【0129】
利用者101は、ステップS901~S905に示す解析内容の設定処理900により、1つ以上の解析内容を身体動作解析装置110に登録することができる。これにより、例えば、ステップS911以降の解析処理で、同じ解析内容を繰返し実行するときに、ルールIDを用いて解析内容の設定を省略することができる。
【0130】
続いて、ステップS911以降の解析処理について説明する。なお、ステップS911以降の解析処理は、ステップS901~S905に示した解析内容の設定処理900の直後に実行する必要はなく、任意のタイミングで実行することができる。
【0131】
ステップS911において、クライアント800は、Web API113を利用して、身体動作解析装置110に解析処理112の実行を要求する。例えば、クライアント800の評価部416は、解析対象となる画像データを識別する画像IDと、解析内容を識別するルールIDとを含む解析要求を、情報送信部414を介して、Web API113に送信する。
【0132】
なお、ルールIDは、解析要求に含まれる、複数の特徴点に基づいて指定された所定の数の点と、前記所定の数の点に対する所定の解析内容とを示す情報の一例である。別の一例として、解析要求には、例えば、
図12に示すような解析内容1200が含まれていても良い。解析内容1200は、複数の特徴点に基づいて指定された所定の数の点と、前記所定の数の点に対する所定の解析内容とを示す情報の別の一例である。
【0133】
ステップS912~S914において、Web API113の受付部402は、クライアント800に応答メッセージを送信するとともに、要求情報管理部405を介して、解析部407に、受け付けた解析要求を通知する。
【0134】
ステップS915、S916において、解析部407は、解析要求に含まれるルールIDを用いて、Web API113から、ルールIDに対応する、例えば、
図12に示すような解析内容1200を取得する。例えば、解析部407は、ルールIDを含む解析内容の取得要求をWeb API113に送信する。これに応じて、Web API113のデータ管理部404は、例えば、記憶部409等に記憶した解析内容434のうち、ルールIDに対応する解析内容を解析部407に返信する。
【0135】
同様にして、ステップS917、S918において、解析部407は、解析要求に含まれる画像IDを用いて、Web API113から、画像IDに対応する抽出結果を取得する。
【0136】
ステップS919において、解析部407は、ステップS918で取得した抽出結果に基づいて、ステップS916で取得した解析内容を実行する。例えば、解析部407は、
図6(B)で説明した角度解析部611、距離解析部612、及び位置解析部613が実行する解析処理のうち、解析内容で指示された1つ以上の解析処理112を実行する。
【0137】
ステップS920において、解析部407は、解析処理112の解析結果を、例えば、解析要求に含まれていた画像IDと共に、要求元のWeb API113に通知する。
【0138】
ステップS921において、Web API113のデータ管理部404は、解析部407から通知された解析結果を画像IDと対応付けて、例えば、記憶部409等に記憶する。好ましくは、データ管理部404は、画像IDに対応する抽出処理111の抽出結果、解析処理112の解析結果等を格納するDBに解析結果を格納する。また、ステップS922において、データ管理部404は、解析部407に応答メッセージを返信する。
【0139】
この状態で、クライアント800は、身体動作解析装置110から、解析処理112によって解析された解析結果を取得することができるようになる。
【0140】
例えば、ステップS923において、クライアント800は、Web API113を利用して、身体動作解析装置110に解析結果の取得を要求する。例えば、クライアントの評価部416は、情報送信部414を用いて、画像IDを含む解析結果の取得要求をWeb API113に送信する。
【0141】
ステップS924において、Web API113の受付部402が解析結果の取得要求を受け付けると、提供部403は、取得要求に含まれる画像IDに対応する解析結果を取得し、要求元のクライアント800に提供(送信)する。
【0142】
ステップS925において、クライアント800の評価部416は、身体動作解析装置110から取得した解析結果に基づいて、解析対象となる人物の身体動作を解析、診断、又は評価し、その評価結果等を表示する。
【0143】
例えば、クライアント800が、
図4のサーバ装置410である場合、サーバ装置410の評価部416は、表示制御部412を介して、端末装置120のブラウザ部422に、評価結果等を表示する表示画面を表示させる。また、クライアント800が、
図5の端末装置120である場合、端末装置120の評価部416は、表示制御部412を用いて、
図3の表示装置306に、評価結果等を表示する表示画面を表示する。
【0144】
上記の処理により、クライアント800は、Web API113を利用して、抽出処理111の抽出結果に基づいて、解析対象となる人物の身体動作を解析する解析処理112を、身体動作解析装置110に実行させることができる。
【0145】
これにより、クライアント800が実行するアプリケーション102を開発するサービス提供業者等は、画像処理、関節位置推定、統計的な分析等の開発工程を大幅に削減することができるようになる。
【0146】
(解析結果のイメージ)
図13は、一実施形態に係る解析結果の一例のイメージを示す図である。
図13(A)は、解析対象となる人物1301の右肘1302と、右肩1303と、右腰1304とがなす角を解析した解析結果の一例のイメージを示している。
【0147】
例えば、クライアント800が、診療施設において、解析対象となる人物1301に対する施術効果を診断する診断アプリであるものとする。この場合、クライアント800の評価部416は、例えば、施術前に撮影した画像データを解析した
図13(A)に示すような解析結果と、施術後に撮影した画像データを解析した同様の解析結果を並べて表示すること等により、施術効果を視覚的に評価することができる。
【0148】
図13(B)は、解析対象となる人物1301の中心線(例えば、鼻の位置を通る垂線)に対する左腰1312までの差(距離)、及び右腰1313までの差(距離)を解析した解析結果の一例のイメージを示している。
【0149】
例えば、クライアント800が、フィットネス施設等において、解析対象となる人物1301のトレーニングフォームを解析する解析アプリであるものとする。この場合、クライアント800の評価部416は、解析対象となる人物1301が所定の動作(例えば、スクワット等)を撮影して、中心線に対する左腰1312までの差、及び右腰1313までの差の平均値(又は変化量等)等を取得しても良い。これにより、評価部416は、例えば、解析対象となる人物1301の対軸のずれ、又は左右のバランス等を解析して、改善策などを提示しても良い。
【0150】
図13(C)は、解析対象となる人物1301の右肩1322を通る水平線と、左肩1323との差(距離)を解析した解析結果の一例のイメージを示している。この場合、評価部416は、例えば、解析対象となる人物1301の右肩1322と左肩1323の高さの差に基づいて、所定の動作の傾き等を診断しても良い。
【0151】
以上、本発明の実施形態によれば、関節位置の推定技術を利用して、例えば、診療、フィットネス、スポーツ、アミューズメント等の様々な分野で、人物の身体動作の解析結果、診断結果等を提供することが容易になる。
【0152】
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
【符号の説明】
【0153】
100 身体動作解析システム
110 身体動作解析装置
113 Web API(API)
120 端末装置(クライアント、情報処理装置の一例)
402 受付部
403 提供部
406 抽出部
407 解析部
410 サーバ装置(クライアント、情報処理装置の一例)
704 特徴点