(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101990
(43)【公開日】2024-07-30
(54)【発明の名称】人物の姿勢状態を識別する方法、装置及びシステム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240723BHJP
G06T 7/00 20170101ALI20240723BHJP
【FI】
G06T7/70 B
G06T7/00 660B
【審査請求】有
【請求項の数】10
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023195891
(22)【出願日】2023-11-17
(31)【優先権主張番号】10202300152Q
(32)【優先日】2023-01-18
(33)【優先権主張国・地域又は機関】SG
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.Blu-ray
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】ソー ニ ニ
(72)【発明者】
【氏名】チョイ チャールズ チヒン
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096BA06
5L096CA02
5L096DA02
5L096DA05
5L096FA64
5L096FA66
5L096FA67
5L096FA69
(57)【要約】 (修正有)
【課題】人物の姿勢状態を識別するための方法及び装置を提供する。
【解決手段】方法は、人物の姿勢状態を識別するための方法及び装置を提供する。その方法は、人物の直立中心軸を中心とした人物の1つまたは複数の身体部分の回転を検出すること及び人物の1つまたは複数の身体部分の回転に基づいて1つまたは複数の身体部分の非対称スコアを計算することを含む。非対称スコアは、人物の姿勢状態のレベルに関連する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
人物の直立中心軸を中心とした前記人物の1つまたは複数の身体部分の回転を検出し、
前記人物の1つまたは複数の身体部分の回転に基づいて1つまたは複数の身体部分の非対称スコアを計算し、前記非対称スコアは、前記人物の姿勢状態のレベルに関連する人物の姿勢状態を識別するための方法。
【請求項2】
基準線に対する前記人物の画像から、前記人物の2つの身体部分位置を接続する第1の線の角度を検出し、前記人物の直立中心軸を中心とする人物の1つまたは複数の身体部分の回転の検出は、前記角度に基づく、請求項1に記載の方法。
【請求項3】
前記第1の線が、前記人物の第1の身体部分の左側の身体部分位置と右側の身体部分位置とを、正面から見て接続し、
前記基準線が、前記正面から見て前記人物の第2の身体部分の左側の身体部分位置と右側の身体部分位置とを接続する第2の線を含む、請求項2に記載の方法。
【請求項4】
前記基準線が、前記人物の別の2つの身体部分位置を接続する第3の線である、請求項2に記載の方法。
【請求項5】
さらに、前記人物の直立中心軸に沿った最も近い点からの身体部分位置の第1の距離を検出し、前記人物の1つまたは複数の身体部分の回転の検出及び/または前記人物の1つまたは複数の身体部分の非対称スコアの計算は、前記第1の距離に基づく、請求項1乃至4のいずれか1項に記載の方法。
【請求項6】
さらに、(i)人物の2つの身体部分位置、(ii)2つの身体部分位置間の中間点、または(iii)2つの身体部分位置を接続する第4の線のうちの1つから身体部分位置の第2の距離を検出し、前記人物の1つまたは複数の身体部分の回転の検出及び/または前記人物の1つまたは複数の身体部分の非対称スコアの計算は、前記第2の距離に基づく、請求項1乃至4のいずれか1項に記載の方法。
【請求項7】
さらに、前記人物が検出された1つまたは複数の画像における複数の身体部分の相対位置に基づいて前記人物の複数の身体部分位置を検出し、前記複数の身体部分位置のそれぞれが前記人物の身体部分に対応する、請求項1乃至6のいずれか1項に記載の方法。
【請求項8】
前記人物の複数の身体部分位置を検出することは、前記複数の身体部分位置の1つに基づいて前記人物の身体部分位置を推定し、前記人物の複数の身体部分位置は、前記推定された身体部分位置をさらに含む、請求項7に記載の方法。
【請求項9】
さらに、前記人物に関する人口統計学的データの受信し、非対称スコアの計算は、さらに前記人口統計学的データに基づく、請求項1乃至8のいずれか1項に記載の方法。
【請求項10】
前記非対称スコアは、複数の身体部分に関連する複数の非対称スコアのうちの1つであり、
さらに、前記複数の非対称スコアに基づいて前記人物の姿勢状態のレベルを計算する、請求項1乃至9のいずれか1項に記載の方法。
【請求項11】
さらに、前記複数の非対称スコアのそれぞれを前記複数の非対称スコアの他の非対称スコアと比較し、
前記複数の非対称スコアの中でより高いスコアを有する1つまたは複数の非対称スコアを識別し、
前記識別の結果に基づいて姿勢矯正プログラムのセットを識別する、請求項9に記載の方法。
【請求項12】
少なくとも1つのプロセッサと、
コンピュータプログラムコードを含む少なくとも1つのメモリと、を含み、
少なくとも1つの前記メモリと、コンピュータプログラムコードとが、少なくとも1つの前記プロセッサを用いてサーバに、少なくとも、
人物の直立中心軸を中心として、前記人物の1つまたは複数の身体部分の回転を検出し、
前記人物の1つまたは複数の身体部分の回転に基づいて、1つまたは複数の身体部分の非対称スコアを計算し、前記非対称スコアは、前記人物の姿勢状態のレベルに関連する、ことを実行させるように構成された人物の姿勢状態を識別するための装置。
【請求項13】
少なくとも一つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも一つのプロセッサを用いてサーバに、少なくとも、
基準線に対する前記人物の画像から、前記人物の二つの身体部分位置を接続する第1の線の角度を検出し、
前記角度に基づいて、前記人物の直立中心軸を中心に、前記人物の1つまたは複数の身体部分の回転を検出する、ことをさらに実行させるように構成された、請求項12に記載の装置。
【請求項14】
前記第1の線は、前記人物の第1の身体の左側の身体部分の位置と右側の身体部分の位置とを正面から見て接続し、
前記基準線は、前記人物の第2の身体の左側の身体部分の位置と右側の身体部分の位置とを正面から見て接続する第2の線を含む、請求項13に記載の装置。
【請求項15】
前記基準線は、人物の別の2つの身体部分の位置を接続する第3の線である、請求項13に記載の装置。
【請求項16】
少なくとも一つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも一つのプロセッサを用いて前記サーバに、少なくとも、
前記人物の直立中心軸に沿った最も近い点から身体部分の位置の第1の距離を検出し、
前記人物の1つまたは複数の身体部分の回転を検出する、及び/または前記第1の距離に基づいて前記人物の1つまたは複数の身体部分の非対称スコアを計算する、ことをさらに実行させるように構成された、請求項12乃至15のいずれか1項に記載の装置。
【請求項17】
少なくとも1つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも1つのプロセッサを用いてサーバに、少なくとも、
(i)前記人物の2つの身体部分位置、(ii)2つの身体部分位置間の中間点、または(iii)2つの身体部分位置を接続する第4の線のうちの1つから身体部分位置の第2の距離を検出し、
前記人物の1つまたは複数の身体部分の回転を検出する、及び/または前記第2の距離に基づいて前記人物の1つまたは複数の身体部分の非対称スコアを計算する、ことをさらに実行させるように構成された、請求項12乃至15のいずれか1項に記載の装置。
【請求項18】
少なくとも1つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも1つのプロセッサを用いてサーバに、少なくとも、
前記人物が検出された1つまたは複数の画像における複数の身体部分の相対位置に基づいて前記人物の複数の身体部分位置を検出し、前記複数の身体部分位置のそれぞれは、前記人物の身体部分に対応することをさらに実行させるように構成された、請求項12乃至17のいずれか1項に記載の装置。
【請求項19】
少なくとも一つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも一つのプロセッサを用いてサーバに、少なくとも、
前記複数の身体部分位置の一つに基づいて前記人物の身体部分位置を推定し、前記人物の複数の身体部分位置は、前記推定された身体部分位置をさらに含むことをさらに実行させるように構成された、請求項18に記載の装置。
【請求項20】
少なくとも1つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも1つのプロセッサを用いて前記サーバに、少なくとも、
前記人物に関する人口統計学的データを受信し、
前記人口統計学的データに基づいて前記非対称スコアをさらに計算する、ことをさらに実行させるように構成された、請求項12乃至19のいずれか1項に記載の装置。
【請求項21】
少なくとも1つの前記メモリと、コンピュータプログラムコードとが、少なくとも1つのプロセッサを用いてサーバに、少なくとも、
前記複数の非対称スコアに基づいて、前記人物の姿勢状態のレベルを計算することをさらに実行させるように構成された、請求項12乃至20のいずれか1項に記載の装置。
【請求項22】
少なくとも一つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも一つのプロセッサを用いてサーバに、少なくとも、
前記複数の非対称スコアのそれぞれを、前記複数の非対称スコアの他の非対称スコアと比較し、
前記複数の非対称スコアの中でより高いスコアを有する1つまたは複数の非対称スコアを識別し、
前記識別の結果に基づいて姿勢矯正プログラムのセットを識別する、ことをさらに実行させるように構成された、請求項21に記載の装置。
【請求項23】
請求項12乃至22のいずれか1項に記載の装置と、
前記人物の1つまたは複数の画像をキャプチャするように構成された1つまたは複数の画像キャプチャ装置と、を含み、
前記1つまたは複数の画像は、正面から見た前記人物の画像及び/または矢状面を横切る人物の画像を含む、前記人物の姿勢状態を識別するためのシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物の姿勢状態を識別するための方法及び装置に関するが、これに限定されるものではない。
【背景技術】
【0002】
姿勢は様々な体節が互いに相対的に整列することに関係する。良い姿勢とは、体節に加わるストレスが最小限になるように体の配置がバランスよく保たれていることを意味し、悪い姿勢とは、体の配置がバランスを崩していることを意味し、様々な体節に異常なストレスを引き起こし、異常な解剖学的適応、パフォーマンスの変化、効率の低下につながる可能性がある。
【0003】
姿勢分析は、運動系(骨、筋肉、靭帯)の機能及び神経系による運動系の制御の評価である。骨と筋肉の評価だけでなく、脊髄の配置も対象とする。姿勢分析では、人物の前面図、後面図、側面図から人物の正しい立位配置を調べることができる。
【0004】
姿勢分析では、経験豊富で熟練した理学療法士は、患者の姿勢をより正確かつ自信を持って評価することができるが、若手の理学療法士は患者の姿勢を正確かつ自信を持って評価するのに苦労するかもしれない。現在まで、画像上の目印を識別すること、特定の身体位置に反射マーカを置くこと、患者の足の下に圧力マットを利用することによる手動評価のような姿勢の評価にはいくつかの制限がある。画像からの計算された偏差のほとんどは、身体主関節の基準からのシフト(例えば、左/右)と傾斜(例えば、上下)に関してであるが、身体関節の回転を考慮していない。
【0005】
さらに、身体、顔面及び脊髄の目印(例えば、解剖学的ポイント)は、全体的な姿勢偏差を評価するために重要である。特に、脊髄の目印は、臨床医によって手動で提供される。各個人の姿勢は異なり、典型的には個人の若い年齢から形成され始める。さらに、骨構造の変形は、移動、傾斜及び回転の形で姿勢の変形を引き起こすこともある。したがって、個人の姿勢を矯正するための早期介入を得るために、小児から高齢者までの及び健康な個人から患者までのすべての年齢グループに対して、シフト及び/または傾斜の識別だけでなく、身体部分の回転の識別に基づいて個人の姿勢を評価することが重要である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、上記の問題の1つまたは複数に対処する人物の姿勢状態を識別するための方法及び装置の実施形態である。
【0007】
さらに、他の望ましい特徴及び特性は、添付の図面及び本開示の背景と併せて取られる、その後の詳細な説明及び添付の特許請求の範囲から明らかになるであろう。
【課題を解決するための手段】
【0008】
第1の態様において、本開示は、人物の直立中心軸の周りの人物の1つまたは複数の身体部分の回転を検出すること及び人物の1つまたは複数の身体部分の回転に基づいて1つまたは複数の身体部分の非対称スコアを計算することを含み、非対称スコアは、人物の姿勢状態のレベルに関連する、人物の姿勢状態を識別するための方法を提供する。
【0009】
第2の態様において、本開示は、少なくとも1つのプロセッサ及びコンピュータプログラムコードを含む少なくとも1つのメモリを含み、少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサを使用して、人物の直立中心軸を中心とした人物の1つまたは複数の身体部分の回転を検出し、及び人物の1つまたは複数の身体部分の回転に基づいて、1つまたは複数の身体部分の非対称スコアを計算し、非対称スコア人は、人物の姿勢状態のレベルに関連することをサーバに実行させるように構成されている姿勢状態を識別するための装置を提供する。
【0010】
第3の態様において、本開示は、上記の態様の装置と、人物の1つまたは複数の画像をキャプチャするように構成された1つまたは複数の画像キャプチャ装置とを含み、1つまたは複数の画像は、正面から見た人物の画像及び/または矢状面を横切る人物の画像を含む人物の姿勢状態を識別するためのシステムを提供する。
【0011】
開示された実施形態の付加的な利益及び利点は、明細書及び図面から明らかになるであろう。利益及び/または利点は、明細書及び図面の様々な実施形態及び特徴によって個別に得ることができ、そのような利益及び/または利点の1つまたは複数を得るためにそれらのすべてが提供される必要はない。
【0012】
添付の図は、同様の符号が別々の図全体にわたって同一または機能的に類似の要素を参照しており、以下の詳細な説明とともに明細書に組み込まれ、明細書の一部を構成しており、様々な実施形態を描き、本実施形態に従った様々な原理及び利点を非限定的な例のみによって説明するのに役立つ。
【0013】
本発明の実施形態は、例のみによって、そして図面とともに以下の書面による説明から、よりよく理解され、当業者にとって容易に明らかになるであろう。
【図面の簡単な説明】
【0014】
【
図1】人の画像からシフト、傾斜及び回転を評価する例を示す。
【0015】
【
図2】人物の腰の回転による不均衡な体重負荷の図を示す。
【0016】
【
図3】本開示の様々な実施形態による人物の姿勢状態を識別する方法を示すフローチャートを示す。
【0017】
【
図4】本開示の実施形態による人物の姿勢状態を識別する装置のブロック図を示す。
【0018】
【
図5】本開示の実施形態による人物の姿勢状態を識別するシステム全体のワークフロー図を示す。
【0019】
【
図6】本開示の実施形態による人物の姿勢状態を識別するフローチャートを示す。
【0020】
【
図7】本開示の実施形態による目印検出システムのフローチャートを示す。
【0021】
【
図8】本開示の実施形態による目印検出の例示的な図を示す。
【0022】
【
図9】本開示の実施形態による目印検出の別の例示的な図を示す。
【0023】
【
図10】本開示の実施形態による正面図からの頚切痕(JN)の検出のための図を示す。
【0024】
【
図11】本開示の実施形態による側面図からの頚切痕(JN)の検出のための図を示す。
【0025】
【
図12】本開示の実施形態による頚切痕(JN)の検出のための例示的な正面図を示す。
【0026】
【
図13】本開示の実施形態による頚切痕(JN)を検出するための例示的な側面図を示す。
【0027】
【
図14】本開示の実施形態による検出された頚切痕(JN)に基づく中心線(CR)位置を識別するための正面図を示す。
【0028】
【
図15A】本開示の実施形態による中心線(CR)位置、胸部及び胸部中央部(例えば、T7)を検出するための右側面図を示す。
【
図15B】本開示の実施形態による中心線(CR)位置、胸部及び胸部中央部(例えば、T7)を検出するための左側面図を示す。
【0029】
【
図16】本開示の実施形態による脊髄の頚椎(C7)、胸椎(T2,T7,T10)、腰椎(L1及びL4)及び仙椎(S2)の位置を推定するための右側面図を示す。
【0030】
【
図17】本開示の実施形態による脊髄の頚椎(C7)、胸椎(T2,T7,T10)、腰椎(L1及びL4)及び仙椎(S2)の位置を推定するための左側面図を示す。
【0031】
【
図18】本開示の実施形態による検出された全身目印を伴う前面/正面図を示す。
【0032】
【
図19A】本開示の実施形態による検出された全身目印を伴う左側面図を示す。
【
図19B】本開示の実施形態による検出された全身目印を伴う右側面図を示す。
【0033】
【
図20】本開示の実施形態による姿勢分析装置を示すフローチャートを示す。
【0034】
【
図21】本開示の実施形態による身体画像の前面図に対する偏差及び運動学的パラメータの計算のための表を示す。
【0035】
【
図22A】本開示の実施形態による様々な身体部分位置のそれぞれの位置の分析を示す。
【
図22B】本開示の実施形態による様々な身体部分位置のそれぞれの角度の分析を示す。
【0036】
【
図23A】本開示の実施形態による膝配置の解析を示す。
【
図23B】本開示の実施形態による足配置の解析を示す。
【0037】
【
図24】本開示の実施形態による身体部分回転を決定するための図を示す。
【0038】
【
図25】本開示の実施形態による身体画像の側方視の偏差及び運動学的パラメータを計算するための表を示す。
【0039】
【
図26A】本開示の実施形態による側面図からの関節シフトを決定するための図を示す。
【0040】
【
図26B】本開示の実施形態による側面図からの関節角度を決定するための図を示す。
【0041】
【
図26C】本開示の実施形態による側面図からの腰及び膝関節角度を決定するための図を示す。
【0042】
【
図27A】本開示の実施形態による「前方頭部/ストレートネック」姿勢の例示的な図を示す。
【0043】
【
図27B】本開示の実施形態による顎下がり姿勢の例示的な図を示す。
【0044】
【
図28A】本開示の実施形態による正面身体図に基づく姿勢分析装置出力の例示的な図を示す。
【
図28B】本開示の実施形態による正面身体図に基づく姿勢分析装置出力の例示的な図を示す。
【0045】
【
図29A】本開示の実施形態による右側身体図に基づく姿勢分析装置出力の例示的な図をそれぞれ示す。
【
図29B】本開示の実施形態による左側身体図に基づく姿勢分析装置出力の例示的な図をそれぞれ示す。
【0046】
【
図30】本開示の実施形態による姿勢異常のレベルを提供するための非対称スコアの計算のための表を示す。
【0047】
【
図31】本開示の実施形態による姿勢矯正運動推奨装置を描くフローチャートを示す。
【0048】
【
図32】
図3の方法を実行するために使用するのに適した例示的なコンピュータ装置の概略図を示す。
【発明を実施するための形態】
【0049】
人物の姿勢状態は、人物の身体部分(例、肩、顎、腰、頭、耳、眉、足首、及び他の同様の身体部分)が身体部分の標準的な位置(例えば、基準位置)からどのように逸脱するかに関連している。これは、基準位置からのシフト(例えば、左または右シフト)、傾き(例えば、上向きまたは下向きの傾き)、または回転に関連することがある。識別は、人物の身体の前面図、正面図及び/または側面図(例えば、右及び/または左側面図のような矢状面を横切る人物の画像)の画像を利用することができる。画像に基づいて、各身体部分位置は、それぞれの目印(例えば、解剖学的ポイント)によって識別され、示され、任意のシフト、傾きまたは回転は、身体部分位置の間で測定された距離及び/または身体部分位置の間を接続する線の比較、並びに線の比較から得られた角度の検出及び計算に基づいて検出される。例えば、人物の直立中心軸の周りの人物の1つまたは複数の身体部分の回転は、基準線に対して2つの身体部分位置を接続する線の角度の検出に基づいて決定される。基準線は、人物の別の2つの身体部分位置を接続する別の線であってもよい。姿勢状態を決定する身体部分に応じて、異なる目印、線及び/または角度を利用してもよい。
【0050】
人物の姿勢状態のレベルに関する非対称スコアは、人物の1つまたは複数の身体部分の検出された回転に基づいて計算することができる。例えば、偏差及び運動学的パラメータは、スコアを得るために識別された目印、ライン及び/または角度に基づいて計算することができる。例えば、非対称スコアが高いほど、その人物の身体部分の偏差の重症度が高いことを示し、非対称スコアが低い他の身体部分と比較して、身体部分の姿勢の矯正に重点が置かれることがある。
【0051】
本発明の実施の形態について、図面を参照して、例によってのみ説明する。図面中の類似符号及び文字は、類似要素または同等物を指す。
【0052】
以下の説明のいくつかの部分は、アルゴリズム及びコンピュータメモリ内のデータに対する操作の機能的または記号的表現に関して明示的または暗黙的に提示される。これらのアルゴリズムの説明及び機能的または記号的表現は、データ処理技術に熟練した者が、自身の作業の内容を最も効果的に他の技術に熟練した者に伝えるために使用する手段である。アルゴリズムは、ここでは、一般的に、所望の結果につながる自己整合的な手順のシーケンスであると考えられている。手順は、記憶、転送、結合、比較、及びその他の操作が可能な電気信号、磁気信号または光信号などの物理量の物理的操作を必要とするものである。
【0053】
特に明記されていない限り、また、以下から明らかなように、本明細書全体を通じて、「検出」、「推定」、「比較」、「受信」、「計算」、「決定」、「更新」、「生成」、「初期化」、「出力」、「受信」、「検索」、「識別」、「分散」、「認証」等の用語を用いた議論は、コンピュータシステム内で物理量として表されるデータを、コンピュータシステム内で同様に物理量として表される他のデータに操作し、変換するコンピュータシステムまたは類似の電子機器または他の情報記憶装置、送信装置または表示装置の動作及び処理を指すことが理解される。
【0054】
本明細書には、これらの方法の動作を実行するための装置も開示されている。このような装置は、必要な目的のために特別に構成されてもよく、または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成されるコンピュータまたは他の装置を含んでもよい。ここに提示されるアルゴリズム及びディスプレイは、いかなる特定のコンピュータまたは他の装置にも本質的に関連しない。様々なマシンは、ここに記載されている教示に従ってプログラムと共に使用することができる。あるいは、要求された方法ステップを実行するためのより専門的な装置の構築が適切であり得る。コンピュータの構造は、以下の説明から現れる。
【0055】
さらに、本明細書は、本明細書に記載された方法の個々のステップがコンピュータコードによって実施され得ることが当業者に明白であるという点で、コンピュータプログラムも暗黙的に開示している。コンピュータプログラムは、特定のプログラミング言語及びその実装に限定されることを意図していない。本明細書に含まれる開示の教示を実装するために、様々なプログラミング言語及びそのコーディングを使用することができることが理解されるであろう。さらに、コンピュータプログラムは、特定の制御フローに限定されることを意図していない。本発明の精神または範囲から逸脱することなく、異なる制御フローを使用することができるコンピュータプログラムの他の多くの変形がある。
【0056】
さらに、コンピュータプログラムの1つまたは複数のステップは、順次ではなく並列に実行されてもよい。このようなコンピュータプログラムは、任意のコンピュータ可読媒体に格納されてもよい。コンピュータ可読媒体は、磁気ディスクまたは光ディスク、メモリチップ、またはコンピュータとのインタフェースに適した他の記憶装置などの記憶装置を含むことができる。コンピュータ可読媒体は、インターネットシステムに例示されるような有線媒体、またはGSM移動電話システムに例示されるような無線媒体も含むことができる。このようなコンピュータにロードされ実行されるコンピュータプログラムは、好ましい方法のステップを実装する装置を効果的にもたらす。
【0057】
(例示的な実施形態)
本開示の様々な実施形態は、人物の姿勢状態を識別するための方法及び装置に関する。
【0058】
図1は、身体の姿勢に回転(例えば、垂直な基準軸線104を基準として矢印102で示される方向において、上半身が基準軸線104を中心として矢印102で示される時計回り方向に回転するようにする)があるかどうかを決定するために使用できる例示的な身体画像100を示す。
図2は、例えば足の下の圧力点を検出するための圧力マットの使用を介して、骨盤回転を有する人物の足を介した圧力の変化を示す画像200,202及び204を示す。画像200は、例えば骨盤の時計回りの回転による矢印206での圧力の増加を示し、画像200は、足を介した圧力が等しい中立骨盤位置を示し、画像204は、例えば骨盤の反時計回りの回転による矢印208での圧力の増加を示す。
図1及び
図2のこれらの画像は、人物の身体部分のシフト及び傾きを分析するために使用することができる。しかし、シフトまたは傾きの原因を識別できるように、身体部分の回転を決定することも有益である。身体部分をより良く分析して、適切な姿勢制御トレーニングプログラムを推奨できるように、矯正トレーニングによってどのように良い姿勢が得られるかを決定することができる。
【0059】
さらに、解剖学的目印の検出、偏差と姿勢評価の提供、人の回復(例えば、検出された不良姿勢から)と早期介入(例えば、不良姿勢の更なる退行を防止するため)の全体的な姿勢評価のための姿勢制御トレーニング推奨システムがまだ不足している。したがって、立位姿勢を評価し、姿勢矯正トレーニングの推奨を提供するための全体的なシステムは、解剖学的目印検出システム、人物の前/前、後及び横のための身体部分の偏差を計算するための姿勢分析システム、及び姿勢異常スコアリングシステムを含むことができる。全体的なシステムの例を
図4に示す。これらのシステムは、基準線からの身体部分配置の偏差を示すことができるという利点がある。例えば、姿勢異常スコアリングシステムは、姿勢状態の重症度を識別することができ、姿勢矯正トレーニング推奨システムは、誤った姿勢の再調整を可能にすることができるという利点がある。
【0060】
図3は、本開示の様々な実施形態による人物の姿勢状態を識別する方法を示すフローチャート300を示す。ステップ302では、人物の直立中心軸を中心とした人物の1つまたは複数の身体部分の回転が検出される。ステップ304では、人物の1つまたは複数の身体部分の回転、人物の姿勢状態のレベルに関連する非対称スコアに基づいて、1つまたは複数の身体部分の非対称スコアが計算される。
【0061】
実施形態において、本方法は、基準線に対する人物の画像から、人物の2つの身体部分の位置を接続する第1の線の角度を検出することをさらに含み、ここで、人物の直立中心軸の周りの人物の1つまたは複数の身体部分の回転の検出は、角度に基づいている。第1の線は、人物の第1の身体部分の左側身体部分の位置と右側身体部分の位置とを正面から見て接続することができ、基準線は、人物の第2の身体部分の左側身体部分の位置と右側身体部分の位置とを正面から見て接続する第2の線を含むことができる。基準線は、人物の別の2つの身体部分の位置を接続する第3の線であることができる。
【0062】
実施形態において、方法は、人物の直立中心軸に沿った最も近い点から身体部分の位置の第1の距離を検出することを含むことができる。ここで、人物の1つまたは複数の身体部分の回転の検出及び/または人物の1つまたは複数の身体部分の非対称スコアの計算は、第1の距離に基づく。
【0063】
実施形態において、本方法は、(i)人物の2つの身体部分位置、(ii)2つの身体部分位置間の中間点、または(iii)2つの身体部分位置を接続する第4の線のうちの1つから身体部分位置の第2の距離を検出することを含み、ここで、人物の1つまたは複数の身体部分の回転の検出及び/または人物の1つまたは複数の身体部分の非対称スコアの計算は、第2の距離に基づく。
【0064】
実施形態において、本方法は、人物が検出される1つまたは複数の画像における複数の身体部分の相対位置に基づいて、人物の複数の身体部分位置を検出することを含み、ここで、複数の身体部分位置のそれぞれは、人物の身体部分に対応する。人物の複数の身体部分位置を検出することは、複数の身体部分位置の1つに基づいて、人物の身体部分位置を推定することを含み、ここで、人物の複数の身体部分位置は、推定された身体部分位置をさらに含む。
【0065】
実施において、方法は、人物に関連する人口統計学的データを受信することを含み得る。ここで、非対称スコアの計算は、さらに人口統計学的データに基づく。非対称スコアは、複数の身体部分に関連する複数の非対称スコアの1つであってもよく、本方法は、さらに、複数の非対称スコアに基づいて人物の姿勢状態のレベルを計算することを含んでもよい。この方法は、さらに、複数の非対称スコアのそれぞれを、複数の非対称スコアの他の非対称スコアと比較すること、複数の非対称スコアの中でより高いスコアを有する1つまたは複数の非対称スコアを識別すること、及び識別の結果に基づいて姿勢矯正プログラムのセットを識別することを含むことができる。
【0066】
図4は、本開示の実施形態による人物の姿勢状態を識別する装置400のブロック図を示す。実施形態では、装置400は、コンピュータプログラムコードを含む少なくとも1つのプロセッサ及び少なくとも1つのメモリを含む物理デバイスとして一般的に説明することができる。少なくとも1つのメモリ及びコンピュータプログラムコードは、少なくとも1つのプロセッサを使用して、物理デバイスに
図3に記載された動作を実行させるように構成される。
【0067】
実施形態において、装置400は、ソース402から入力動画または画像(例えば、人物の身体の前面図、正面図及び/または側面図の動画フレームまたは画像、または他の同様の画像)を受信することができる。例えば、入力画像または動画は、新たに撮影された画像または動画であってもよいし、既存の画像または動画データベースからのものであってもよいし、カメラによって撮影されたものであってもよいし、スマートフォン、カメラ、または他の同様のデバイスのようなデバイスに格納されたものであってもよい。一例では、入力動画は、各動画画像フレームが装置400によって分析されるように、複数の静止動画画像フレームに分解されてもよい。装置400は、入力動画または画像から二次元及び/または三次元の身体目印位置のセットを決定するように構成された目印検出システム404と、入力としての二次元及び/または三次元の身体目印位置のセット及び他の人口統計学的データに基づいて身体配置の偏差及び/または姿勢異常スコア(例、非対称スコア)のレベルを決定するように構成されたポーズ分析装置406とを含むことができる。一例では、目印検出システム404は、目印位置を決定するために、画像が人物の身体の正面図、背面図または側面図であるかどうかを決定するように構成することができる。目印検出システム404は、
図7~
図19でさらに説明され、ポーズ分析装置406は、
図20~
図30でさらに説明される。装置400はまた、入力としての身体配置の偏差及び/または姿勢異常スコア(例、非対称スコア)のレベルに基づいて適切な運動または姿勢矯正プログラムを推奨するように構成された姿勢矯正運動推奨装置410を含むことができる。姿勢矯正運動推奨装置410は、
図31にさらに説明される。
【0068】
装置400は、ソース402から受信した動画及び/または画像及び/または目印検出システム404、ポーズ分析装置406及び姿勢矯正運動推奨装置410の入力及び出力をユーザインタフェース412に表示するように構成されてもよい。装置400のユーザは、入力/出力インタフェースディスプレイ414を介して入力されたデータとユーザインタフェース412で対話することもできる。目印検出システム404、ポーズ分析装置406及び姿勢矯正運動推奨装置410のそれぞれは、装置400の一部であってもよいし、スタンドアロン装置または他の装置の一部であってもよく、接続を介して装置400と通信していることが理解されるべきである。このような接続は、有線、無線(例えば、NFC通信、Bluetoothなどを介して)またはネットワーク(例えば、インターネット)を介してもよい。
【0069】
装置は、ソース402からの動画及び画像、並びに目印検出システム404、ポーズ分析装置406及び姿勢矯正運動推奨装置410の入力及び出力を記憶するために、装置400によってアクセス可能なデータ記憶装置408を含むことができる。データ記憶装置が装置400の一部であることが
図4に示されているが、データ記憶装置408は装置400の一部を形成することはできず、接続を介して装置400と通信していることが理解されるべきである。このような接続は、有線、無線(例えば、NFC通信、Bluetoothなどを介して)、ネットワーク(例えば、インターネット)またはクラウドサーバを介して行うことができる。別の実施形態では、目印検出システム404、ポーズ分析装置406、姿勢矯正運動推奨装置410及びソース402のそれぞれは、その入力/出力データを格納するための独自のデータ記憶装置を含むことができる。
【0070】
図5は、本開示の実施形態による人物の姿勢状態を識別するための全体的なシステムワークフロー
図500を示す。実施形態では、動画または画像(例えば、人物の体の前面図、正面図及び/または側面図の動画フレームまたは画像、または他の同様の画像)は、目印検出システム504によって入力として使用される前に、ソース(例えば、画像及び/または動画キャプチャ装置、データベース、インターネットまたは他の類似のソース)から受信され、データ記憶装置508に格納されるか、またはデータ記憶装置508を経由せずに入力として目印検出システム504に直接送信される。目印検出システム504は、入力動画または画像から二次元及び/または三次元の身体目印位置のセットを決定することができ、ポーズ分析装置506は、入力としての二次元及び/または三次元の身体目印位置のセット及び他の人口統計学的データに基づいて、身体配置の偏差及び/または姿勢異常スコアのレベル(例、非対称スコア)を決定することができる。姿勢矯正運動推奨装置410は、入力としての身体配置の偏差及び/または姿勢異常スコアのレベル(例、非対称スコア)に基づいて、適切な運動または姿勢矯正プログラムを推奨することができる。推奨された運動または姿勢矯正プログラムは、その後、ユーザインタフェース512の入出力ユーザインタフェースディスプレイに表示することができる。
【0071】
実施形態において、人物の姿勢状態を識別するためのシステムは、装置400と、人物の1つまたは複数の画像をキャプチャするように構成された1つまたは複数の画像キャプチャ装置とを含むことができ、1つまたは複数の画像は、正面から見た人物の画像及び/または矢状面を横切る人物の画像を含む。
【0072】
図6は、本開示の実施形態による人物の姿勢状態を識別するためのフローチャート600を示す。ステップ602では、人物の身体の前面、後面及び側面の画像を取得することができる。一例では、取得した画像が人物の身体の前面画像、後面画像または側面画像であるかどうかを決定することができる。入力動画を取得した一例では、動画を複数の静止動画画像フレームに分解し、各動画画像フレームが人物の身体の前面画像、後面画像または側面画像であるかどうかを決定することができる。ステップ604では、画像内の各身体部分の解剖学的目印(例えば、各目印の空間座標)を得ることができる。ステップ606では、得られた解剖学的目印を臨床医または医療従事者とレビューすることができる。ステップ608では、画像の前面画像、後面画像及び側面画像の偏差及び運動学的パラメータを計算する。ステップ610では、姿勢異常のレベルを提供する非対称スコアを計算する。ステップ612では、パーソナライズされた姿勢矯正運動プログラムの1つまたは複数のセットが提供される。ステップ614では、偏差、姿勢異常、及び運動プログラムの1つまたは複数のセットが臨床医または医療従事者と共にレビューされる。ステップ616では、選択された偏差(例えば、非対称スコアに基づく)に対する1つまたは複数の運動及び適切な運動が、患者に対する処方として選択される。
【0073】
図7は、本開示の実施形態による目印検出システムのフローチャート700を示す。ステップ702では、人物の身体の前面、後面及び側面の画像を取得することができる。一例では、取得した画像が人物の身体の前面画像、後面画像または側面画像であるかどうかを決定することができる。入力映像を取得する例では、動画を複数の静止動画画像フレームに分解し、各動画画像フレームが人物の身体の前面画像、後面画像、または側面画像のいずれであるかを判定するようにしてもよい。ステップ704では、画像中の各身体部分の解剖学的目印(例えば、各目印の空間座標)を取得してもよい。ステップ706では、顔の目印座標を取得する。ステップ708では、人物の頚切痕の目印座標を取得する。ステップ710では、胸部の目印座標を取得する。ステップ712では、取得した画像が人物の身体の側面画像であるかどうかを決定する。その場合であると決定されない場合、処理はステップ714に進み、得られた解剖学的目印を臨床医または医療従事者とレビューし、処理を終了する。それ以外の場合、処理はステップ716に進み、脊髄目印座標が得られ、次にステップ714に進み、得られた解剖学的目印(例えば、脊髄の目印座標を含む)を臨床医または医療従事者とレビューし、処理を終了する。
【0074】
図8は、本開示の実施形態による目印検出のための例示的な
図800を示す。例えば、フローチャート700を参照すると、セクション802の各身体部分の目印座標は、ステップ704で得ることができる。顔セクション806の目印座標は、ステップ706で得ることができる。胸部セクション804の目印座標は、ステップ710で得ることができる。脊髄セクション808の脊髄目印座標(例えば、人物の身体の側面図から見ることができる)は、ステップ716で得ることができる。さらに、頚切痕を示す目印座標810は、ステップ708で得ることができる。
【0075】
一例では、必要な解剖学的目印座標を得るために、MediaPipeホリスティックエンジンのようなオープンソースの身体及び顔目印検出エンジンを利用することができる。しかし、オープンソースエンジンは、通常、
図9の目印
図900に示すように、臨床医が必要とする目印の一部を提供することができない。例えば、符号902に示すような頚切痕の目印は、通常、臨床医が手動で提供する。必要な解剖学的目印座標は、他のオープンソースでない独自の目印検出エンジンによっても得ることができることが理解されるであろう。
【0076】
図10は、本開示の実施形態による人物の身体の正面図(例えば、正面から見た人物の画像)からの頚切痕(JN)の検出のための
図1000を示す。人物の顎、左肩及び右肩のそれぞれの位置は、例えばフローチャート700のステップ704及び706で検出される複数の身体部分位置及び/または顔部分位置に基づいて決定され得る。例えば、顎の目印座標(C)をC:[Cx、Cy](例えば、フローチャート700のステップ706で得られる)と定義し、肩の中点の目印座標(Sm)をSm:[Smx、Smy](例えば、フローチャート700のステップ704で得られた人物の左右の肩に対応する目印座標に基づいて、左右の肩の位置の中間位置を識別する)と定義してもよい。さらに、顎の位置から肩の中点位置までの距離を計算し、dCSmとして定義してもよい。次に、顎の位置と計算された距離に基づいて、人物の頚切痕の位置を推定してもよい。例えば、頚切痕の目印座標は、JN:[JNx、JNy]と定義してもよい。したがって、顎、肩、肩の中点の目印座標に基づいて、JNxはSmxに相当し、JNyはSmy-25%dCSmに相当すると決定できる。
【0077】
さらに、
図11の
図1100に示されているように、人物の身体の側面図(例えば、矢状面を横切る人物の画像)から頚切痕の位置を決定することも可能である。人物の顎及び左または右肩のそれぞれの位置(画像が示す人物の側面に応じて)は、例えばフローチャート700のステップ704及び706で検出される複数の身体部分位置に基づいて決定することができる。肩の目印座標(S)は、S:[Sx,Sy](例えば、フローチャート700のステップ704で得られた人物の左肩または右肩に対応する目印座標に基づいて)として定義することができる。顎の位置(例えば、フローチャート700のステップ706で得られた顎の位置に対応する目印座標)から始まり、肩の位置を通る水平線で終わる垂直線に沿った中点位置を識別することができる。顎の位置(C)から水平線までの垂直距離をdCSと定義し、この垂直距離の50%(例えば、顎の位置から中点の位置までの距離)を計算してmCSと定義し、肩と中点からの距離を計算してlと定義し、肩の位置から中点位置までの線と肩の位置(S)を通る水平線との間の角度としてθを計算して定義することができる。計算された距離I及び計算された角度θに基づいて、頚切痕(JN)を検出し、JN:[JNx、JNy]として定義することができ、JNxはSx±xに相当し、x=cos(θ)*l/2、JNyはSy-yに相当し、y=25%dCSである。これらの技術と計算に基づいて、正面図画像(例えば、それぞれ
図12の例示的な正面図画像1200からの頚切痕目印1202など)及び側面図画像(例えば、
図13の例示的側面図画像1300及び1302からそれぞれ頚切痕目印1304及び1306のような)に基づいて頚切痕を識別することが可能である。
【0078】
図14は、本開示の実施形態による検出された頚切痕(JN)に基づいて中心線(CR)位置を識別するための正面図を示す。頚切痕(JN)に基づいて、中心線(CR)位置を計算することができ、ここで、中心線位置は、頚切痕の位置より3~4インチ(例:8~10cm)下であり得る。頚切痕(JN)に基づいて、中心線(CR)位置、胸部及び胸部中央(例えば、T7)を検出するために、人物の身体の右側面
図1500及び/または左側面
図1502を用いて、CR位置または胸部中央またはT7の鏡像を検出することができる。例えば、中心線(CR)を位置決めするために用いられる目印は、T7(例、胸部中部)にある。T7のレベルは、頚切痕の3~4インチ(例:8~10cm)下にある。
【0079】
図16及び17は、本開示の実施形態による脊髄の頚椎(C7)、胸椎(T2,T7,T10)、腰椎(L1及びL4)及び仙椎(S2)の位置を推定するための右側面
図1600及び左側面
図1700をそれぞれ示す。人物の脊髄に沿った椎骨の位置は、人物の胸部中央の推定位置及び脊髄に沿った各椎骨間の相対距離に基づいて推定することができる。例えば、T7とC7の間のおおよその距離及びErnstらによる胸部と上後腸骨棘(PSIS)の比率に関する先行研究に基づいて、C7、T2、T7、T10、L1、L4及びS2(PSIS)の位置は、側面図画像1600及び1700を用いて推定することができる。一例では、脊髄の様々なセグメント間の距離を決定するために、柔軟な定規を人物の背中に置くこともできる。推定距離は、C7からPSISまでのセグメント全体の距離のパーセンテージ位置を計算するために利用することができる。
【0080】
図18、
図19A及び
図19Bは、本開示の実施形態による前面/正面図画像1800、左側面図画像1900及び右側面図画像1902からの目印検出システムの結果をそれぞれ示しており、各目印は身体部分を示し、画像内の人物の身体上のドットで表される。例えば、人物の頚切痕は、画像1800内の目印1802によって示され、画像1900及び1902内の目印1904によって示される。目印検出システムの更なる結果は、
図16の身体エッジ画像1602及び
図17の身体エッジ画像1702にも示され、ここでは、例えば画像1900及び1902内の人物の全身について検出された目印に基づいて、脊髄について検出された目印がそれぞれ身体エッジ画像1702及び1602上に選択されて表示され、例えば、検出された脊髄の目印は身体エッジ画像1602及び1702内で白いドットとして示される。
【0081】
図20は、本開示の実施形態による姿勢分析装置を示すフローチャート2000を示す。ステップ2002では、解剖学的目印座標が、例えば、人物の身体の前面図、後面図及び側面図を示す1つまたは複数の画像から得られる。例えば、目印座標は、目印検出システム404からの入力として得られる。さらに、人物に関する他の人口統計学的データも得られる。ステップ2004では、前面図、後面図及び側面図について、偏差及び運動学的パラメータが得られる。一例では、偏差及び運動学的パラメータは、目印座標に基づいてもよく、また、人物に関連する他の人口統計学的データに基づいてもよい。ステップ2006において、1つまたは複数の姿勢異常を代表するレベルを提供するための非対称スコアが計算される。
【0082】
図21は、本開示の実施形態による(例えば、フローチャート2000のステップ2004で計算されるように)身体画像の前面図に対する偏差及び運動学的パラメータの計算のための表を示す。人物の身体の前方視に基づいて、偏差及び運動学的パラメータは、左右シフト(例えば、cm単位)、上下傾斜(例えば、度数で)、関節角度(例えば、2つの身体部分を接続する第1の線と、別の2つの身体部分を接続する第2の線との間の角度(度))及び回転(例えば、度数で)のような様々な姿勢異常に対して計算され得る。実施形態において、身体部分のシフトのための計算は、腰と足首の間、肩と腰の間、顎と肩の間、耳と顎の間、眉と耳の間、及び他の同様の距離のような基準セグメント関節の中点からの身体部分の中点の距離に基づいてもよい。別の実施形態において、身体部分の移動は、基準垂直線または重心線からの身体部分の中点の距離を計算することによって計算してもよい。実施形態において、身体部分の傾斜のための計算は、つま先、踵、足首、股関節、肩、耳、眉、肘、手首及び他の類似の身体部分のような、人物の身体の右側または左側の身体部分を参照してもよい。
【0083】
別の実施形態において、関節角度のための計算は、左右の身体部分を接続する第1の線及び他の左右の身体部分を接続する第2の線(例えば、左右の肩、腰の左右、左右の膝、左右のつま先、または他の同様の身体部分を接続する線)を参照してもよい。例えば、左関節角度及び右関節角度は、第1または第2の線で結ばれた左右の身体部分を参照して、第1の線の中点及び第2の線の中点を通る直線第3の線のそれぞれ左側及び右側の角度を計算することによって得られる。関節角度の詳細については、
図24に示す。さらに、身体部分(例えば、腰、肩、耳または他の同様の身体部分)の回転の計算は、計算された左右の関節角度に基づいてもよい。
【0084】
立位姿勢の人物の身体の正面図に基づいて、以下の分析を提供することができる。例えば、左及び右のシフトは、足首からの腰の距離、腰からの肩の距離、耳から顎までの距離、耳からの眉の距離、肩からの顎の距離、及び他の同様の距離のような、基準身体セグメントからの身体セグメントの距離の偏差に基づいて決定することができる。本開示において、「-」は身体の左側にシフトすることを意味し、「+」は身体の右側にシフトすることを意味する。例えば、
図22Aの正面図画像2200を参照して、耳の位置(符号2202で示される)は顎を基準として0.2cm左にシフトし、顎の位置(符号2204で示される)は肩を基準として0.05cm右にシフトし、肩の位置(符号2206で示される)は腰を基準として0.2cm左にシフトし、腰の位置(符号2208で示される)は足首から0.2cm左にシフトし、足首の位置は符号2210で示される。
【0085】
別の例では、左右の傾斜角度は、身体の関節(例、足首、膝、腰、肩、耳の角度)の位置が基準側からどのように傾いているかに基づいて決定される。本開示において、「-」は基準面から下に傾いていることを意味し、「+」は基準面から上に傾いていることを意味する。例えば、
図22Bの正面図画像2212を参照すると、首の傾きは耳の角度2214に基づいて決定され、肩の傾きは肩の角度2216に基づいて決定され、手首の傾きは手首の角度2218に基づいて決定され、腰の傾きは腰の角度2220に基づいて決定され、膝の傾きは膝の角度2222に基づいて決定され、足首の傾きは足首の角度2224に基づいて決定され得る。
【0086】
下肢分析は、
図23Aの
図2300(例えば、画像2302の右膝角2304及び左膝角2306に基づく)を参照して、X脚またはO脚を決定するために正面図から実施され得る。「-」はX脚を意味し、「+」はO脚を意味する。さらに、
図23Aの
図2308及び2312を参照して、X脚またはO脚が存在するかどうか(及びX脚またはO脚の重症度)を、例えば、O脚画像2308については右膝と右腰と右足首を接続する線との間の距離2310に基づいて、またはX脚画像2312については左膝と左腰と左足首を接続する線との間の距離2314に基づいて決定され得る。さらに、
図23Bの図を参照して、足のつま先イン及びつま先アウト位置を決定され得る。例えば、
図23Bの
図2316を参照すると、人物の足の配置は、基準線2322を参照してつま先角度に基づいて決定することができ、つま先角度正(+)は角度2318内のつま先を意味し、つま先角度負(-)はつま先出し角度2320を意味する。
【0087】
図24は、本開示の実施形態による身体部分回転を決定するための
図2400を示す。例えば、頭部回転は、第3の線2410を参照して、耳を接続する第1の線2406及び肩を接続する第2の線2408から計算される耳肩関節角度2402及び2404の分析に基づいてもよい。肩または上半身回転は、第3の線2410を参照して、肩を接続する第1の線2408及び腰を接続する第2の線2416から計算される肩-腰関節角度2412及び2414の分析に基づいてもよい。さらに、腰または下半身回転は、第3の線2410を参照して、腰を接続する第1の線2416及び足首を接続する第2の線2422から計算される腰-足首関節角度2418及び2420の分析に基づいてもよい。得られた関節角度は、表2424に示すように分析してもよい。例えば、左耳-肩関節角度が右耳-肩関節角度よりも小さい場合は、右から左への頭の回転が存在することを示す。左肩-腰関節角度が右肩-腰関節角度よりも大きい場合は、左から右への肩または上半身の回転が存在することを示す。さらに、左腰-足首関節角度が右腰-足首関節角度よりも大きい場合は、左から右への腰または下半身の回転が存在することを示す。
【0088】
図25は、本開示の実施形態による身体画像の側面図の偏差及び運動学的パラメータを計算するための表2500を示す。例えば、膝、腰、肩、顎、耳及び眉のような身体部分の前後移動は、基準垂直線からの距離に基づいて決定することができる。
図26Aの側面図画像2600を参照して、足首位置2612から2cm前方を垂直に通っている垂直線2602を参照して、耳位置(符号2604によって示される)が前方に2.0cmシフトし、肩位置(符号2606によって示される)が後方に3.0cmシフトし、腰位置(符号2608によって示される)が前方に0.50cmシフトし、膝位置(符号2610によって示される)が後方に3.0cmシフトすることを決定することができる。
【0089】
さらに、足首、膝、腰-肩、腰角度、頭部、ならびに前方頭部症状及び顎落ち症状に対する関節角度は、基準線を参照して度で測定することができる。例えば、
図26Bの側面図画像2614を参照すると、頭部または肩-耳角度2616は、耳と肩を接続する線2620及び垂直線2618を参照して決定することができる。腰-肩角度2622は、腰と肩を接続する線2624及び垂直線2626を参照して決定することができる。
図26Cの側面図画像2634に示される別の例では、腰角度2636及び膝角度2638のようなパラメータを決定することができる。さらに、前方頭部症状に対する関節角度2702は、
図27Aの側面図画像2700に基づいて決定することができ、対応する偏差及び運動学的パラメータも、
図27Bの顎落ち姿勢側面画像2704から計算することができる。
【0090】
図28A及び
図28Bは、本開示の実施形態による前方身体図に基づく姿勢分析装置出力の例示的な
図2800及び
図2808を示す。例えば、
図2800の前方身体図では、各身体関節(例えば、シフトを示す符号2804及び各身体部分の関節角度を示す符号2806)の左右のシフト及び傾斜を示す符号が身体画像上に表示される。また、
図2808の前方身体図では、左右の下肢分析(例えば、腰の角度を示す符号2810、膝の角度を示す符号2812、O脚を示す符号2814、足首の基準を示す符号2816、及びつま先が出た症状を示す符号2818)を示す符号が身体画像上に表示される。
【0091】
図29A及び
図29Bは、本開示の実施形態による、それぞれ右側及び左側身体図に基づく姿勢分析装置出力の例示的な
図2900及び2904を示す。例えば、
図2900の右側身体図では、垂直線特定関節角度からの右シフトを示す符号2902が身体画像上に表示される。さらに、
図2904の左側身体図では、垂直線特定関節角度からの左シフトを示す符号2906が身体画像上に表示される。
【0092】
図30は、本開示の実施形態による姿勢異常のレベルを提供するための非対称スコアの計算のためのテーブル3000を示す。例えば、非対称インデックス(ASI)は、頭の回転、肩の回転、腰の回転、X脚またはO脚、つま先インまたはつま先アウトの症状、耳の距離、顎の距離、肩の距離、腰の距離及び膝の距離のそれぞれについて計算することができる。各ASIスコアは下記式によって計算されることがあり、0~10の値の範囲である。
【数1】
上記の身体配置のASIスコアは合計され、0~100の範囲の総合スコアが可能である。高いASIスコアはより重度の変位姿勢を示し、したがって矯正及びリハビリテーションのためにより重度の姿勢に重点が置かれる可能性がある。
【0093】
図31は、本開示の実施形態による姿勢矯正運動推奨装置を示すフローチャート3100を示す。ステップ3102において、ポーズ分析装置(例えば、ポーズ分析装置406/506)は、姿勢異常スコア(例えば、ASIスコア)のレベルを計算するとともに、すべての関係する身体配置の偏差を得るために利用され得る。ステップ3104では、得られた偏差をASIスコアに基づいてランク付けする。ステップ3106では、上位5つの偏差(例えば、上位5つのASIスコアが高い上位5つの偏差)を選択する。ステップ3108では、上位5つの偏差に基づいて、パーソナライズされた姿勢矯正運動プログラムの1つまたは複数のセットが提供(例えば、上位5つの偏差を矯正するための個別化された姿勢矯正運動プログラムの推奨)される。例えば、3ポジションのつま先上げ、45度の首のストレッチ、腰の回転、プレスアップ、肩甲骨プレス、上腕三頭筋ストレッチなどの運動が、個別化された姿勢矯正運動プログラムのためのASIスコアに基づいて推奨され得る。ステップ3110では、偏差、姿勢異常、及び運動プログラムのセットが臨床医または医療従事者とレビューされる。
【0094】
図32は、例示的なコンピュータ装置3200を示しており、以下、コンピュータシステム3200と同義であるが、このようなコンピュータ装置3200は、
図3の方法を実行するために使用され得る。例示的なコンピュータ装置3200は、
図4に示される装置400を実施するために使用され得る。コンピュータ装置3200の以下の説明は、例としてのみ提供され、制限することを意図していない。
【0095】
図32に示されるように、例示的コンピュータ装置3200は、ソフトウェアルーチンを実行するためのプロセッサ3204を含む。明確にするために単一のプロセッサが示されているが、コンピュータ装置3200はマルチプロセッサシステムも含むことができる。プロセッサ3204は、コンピュータ装置3200の他の部品と通信するための通信インフラストラクチャ3206に接続される。通信インフラストラクチャ3206は、例えば、通信バス、クロスバー、またはネットワークを含むことができる。
【0096】
コンピュータ装置3200は、さらに、ランダムアクセスメモリ(RAM)のような主メモリ3208と、二次メモリ3210とを含む。二次メモリ3210は、例えば、ハードディスクドライブ、ソリッドステートドライブまたはハイブリッドドライブである記憶ドライブ3212及び/または磁気テープドライブ、光ディスクドライブ、ソリッドステートストレージドライブ(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど)などを含むリムーバブル記憶ドライブ3214を含むことができる。リムーバブル記憶ドライブ3214は、周知の方法でリムーバブル記憶媒体からの読み取り及び/またはリムーバブル記憶媒体3218への書き込みを行う。リムーバブル記憶媒体3218は、磁気テープ、光ディスク、不揮発性メモリ記憶媒体などを含み、リムーバブル記憶ドライブ3214によって読み取り及び書き込みが行われる。当業者には理解されるように、リムーバブル記憶媒体3218は、コンピュータ実行可能プログラムコード命令及び/またはデータを格納したコンピュータ可読記憶媒体を含む。
【0097】
代替の実施形態では、二次メモリ3210は、コンピュータプログラムまたは他の命令をコンピュータ装置3200にロードすることを可能にする他の同様の手段を追加的にまたは代替的に含むことができる。このような手段は、例えば、リムーバブル記憶装置3222及びインタフェース3220を含むことができる。リムーバブル記憶装置3222及びインタフェース3220の例は、プログラムカートリッジ及びカートリッジインタフェース(動画ゲームコンソール装置に見られるもののような)、リムーバブル記憶装置チップ(EPROMまたはPROMのような)及び関連ソケット、リムーバブル固体記憶装置(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど)、及びソフトウェア及びデータをリムーバブル記憶装置3222からコンピュータシステム3200に転送することを可能にする他のリムーバブル記憶装置3222及びインタフェース3220を含む。
【0098】
コンピュータ装置3200はまた、少なくとも一つの通信インタフェース3224を含む。通信インタフェース3224は、通信経路3226を介してコンピュータ装置3200と外部デバイスとの間でソフトウェア及びデータを転送することを可能にする。本発明の様々な実施形態において、通信インタフェース3224は、コンピュータ装置3200と、パブリックデータまたはプライベートデータ通信ネットワークのようなデータ通信ネットワークとの間でデータを転送することを可能にする。通信インタフェース3224は、そのようなコンピュータ装置3200が相互接続されたコンピュータネットワークの一部を形成する異なるコンピュータ装置3200間でデータを交換するために使用することができる。通信インタフェース3224の例は、モデム、ネットワークインターフェース(イーサネットカードなど)、通信ポート(シリアル、パラレル、プリンタ、GPIB、IEEE1394、RJ45、USBなど)、関連する回路を有するアンテナなどを含むことができる。通信インタフェース3224は、有線であってもよいし、無線であってもよい。通信インタフェース3224を介して転送されるソフトウェア及びデータは、電子的、電磁的、光学的または通信インタフェース3224によって受信可能な他の信号であり得る信号の形態である。これらの信号は、通信経路3226を介して通信インタフェースに提供される。
【0099】
図32に示すように、コンピュータ装置3200は、関連するディスプレイ3230に画像を表す操作を実行するディスプレイインタフェース3202と、関連するスピーカー3234を介してオーディオコンテンツを再生する操作を実行するオーディオインタフェース3232とをさらに含む。
【0100】
本明細書で使用される用語「コンピュータプログラム製品」は、部分的には、リムーバブル記憶媒体3218、リムーバブル記憶装置3222、記憶ドライブ3212に取り付けられたハードディスク、または通信経路3226(無線リンクまたはケーブル)を介して通信インタフェース3224に搬送波を搬送するソフトウェアを指すことができる。コンピュータ可読記憶媒体は、記録された命令及び/またはデータを実行及び/または処理のためにコンピュータ装置3200に提供する任意の非一時的で不揮発性の有形記憶媒体を指す。そのような記憶媒体の例は、磁気テープ、CD-ROM、DVD、Blu-rayディスク、ハードディスクドライブ、ROMまたは集積回路、固体記憶ドライブ(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど)、ハイブリッドドライブ、光磁気ディスク、またはPCMCIAカードなどのコンピュータ可読カードを含み、そのようなデバイスがコンピュータ装置3200の内部であるか外部であるかにかかわらない。コンピュータ装置3200へのソフトウェア、アプリケーションプログラム、命令及び/またはデータの提供にも関与することができる一時的なまたは非有形のコンピュータ可読伝送媒体の例は、無線または赤外線伝送チャネル、他のコンピュータまたはネットワーク化されたデバイスへのネットワーク接続、及び電子メール送信及びウェブサイトなどに記録された情報を含むインターネットまたはイントラネットを含む。
【0101】
コンピュータプログラム(コンピュータプログラムコードとも呼ばれる)は、主メモリ3208及び/または二次メモリ3210に格納される。コンピュータプログラムは、通信インタフェース3224を介して受信することもできる。そのようなコンピュータプログラムが実行されると、コンピュータ装置3200は、本明細書で説明する実施形態の1つまたは複数の特徴を実行することができる。様々な実施形態において、コンピュータプログラムが実行されると、プロセッサ3204は、上述の実施形態の特徴を実行することができる。従って、そのようなコンピュータプログラムは、コンピュータシステム3200のコントローラを表す。
【0102】
ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブル記憶ドライブ3214、記憶ドライブ3212、またはインタフェース3220を使用してコンピュータ装置3200にロードされ得る。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体であり得る。あるいは、コンピュータプログラム製品は、通信経路3226を介してコンピュータシステム3200にダウンロードされてもよい。ソフトウェアは、プロセッサ3204によって実行されると、
図3に示すように、方法を実行するために必要な操作をコンピュータ装置3200に実行させる。
【0103】
図32の実施形態は、装置400の動作及び構造を説明するために、単に例として提示されていることを理解されたい。したがって、いくつかの実施形態では、コンピュータ装置3200の1つまたは複数の特徴を省略することができる。また、いくつかの実施形態では、コンピュータ装置3200の1つまたは複数の特徴を一緒に組み合わせることができる。さらに、いくつかの実施形態では、コンピュータ装置3200の1つまたは複数の特徴を1つまたは複数の構成部品に分割することができる。
【0104】
当業者には、広く記載された本発明の精神または範囲から逸脱することなく、特定の実施形態に示されるように、本発明に多数の変形及び/または修正を加えることができることが理解されるであろう。したがって、本実施形態は、すべての点において例示的であり、限定的ではないと考えられる。
【手続補正書】
【提出日】2024-01-17
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0104
【補正方法】変更
【補正の内容】
【0104】
当業者には、広く記載された本発明の精神または範囲から逸脱することなく、特定の実施形態に示されるように、本発明に多数の変形及び/または修正を加えることができることが理解されるであろう。したがって、本実施形態は、すべての点において例示的であり、限定的ではないと考えられる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
人物の直立中心軸を中心とした前記人物の1つまたは複数の身体部分の回転を検出し、
前記人物の1つまたは複数の身体部分の回転に基づいて1つまたは複数の身体部分の非対称スコアを計算し、前記非対称スコアは、前記人物の姿勢状態のレベルに関連する人物の姿勢状態を識別するための方法。
(付記2)
基準線に対する前記人物の画像から、前記人物の2つの身体部分位置を接続する第1の線の角度を検出し、前記人物の直立中心軸を中心とする人物の1つまたは複数の身体部分の回転の検出は、前記角度に基づく、付記1に記載の方法。
(付記3)
前記第1の線が、前記人物の第1の身体部分の左側の身体部分位置と右側の身体部分位置とを、正面から見て接続し、
前記基準線が、前記正面から見て前記人物の第2の身体部分の左側の身体部分位置と右側の身体部分位置とを接続する第2の線を含む、付記2に記載の方法。
(付記4)
前記基準線が、前記人物の別の2つの身体部分位置を接続する第3の線である、付記2に記載の方法。
(付記5)
さらに、前記人物の直立中心軸に沿った最も近い点からの身体部分位置の第1の距離を検出し、前記人物の1つまたは複数の身体部分の回転の検出及び/または前記人物の1つまたは複数の身体部分の非対称スコアの計算は、前記第1の距離に基づく、付記1乃至4のいずれか1項に記載の方法。
(付記6)
さらに、(i)人物の2つの身体部分位置、(ii)2つの身体部分位置間の中間点、または(iii)2つの身体部分位置を接続する第4の線のうちの1つから身体部分位置の第2の距離を検出し、前記人物の1つまたは複数の身体部分の回転の検出及び/または前記人物の1つまたは複数の身体部分の非対称スコアの計算は、前記第2の距離に基づく、付記1乃至4のいずれか1項に記載の方法。
(付記7)
さらに、前記人物が検出された1つまたは複数の画像における複数の身体部分の相対位置に基づいて前記人物の複数の身体部分位置を検出し、前記複数の身体部分位置のそれぞれが前記人物の身体部分に対応する、付記1乃至6のいずれか1項に記載の方法。
(付記8)
前記人物の複数の身体部分位置を検出することは、前記複数の身体部分位置の1つに基づいて前記人物の身体部分位置を推定し、前記人物の複数の身体部分位置は、前記推定された身体部分位置をさらに含む、付記7に記載の方法。
(付記9)
さらに、前記人物に関する人口統計学的データの受信し、非対称スコアの計算は、さらに前記人口統計学的データに基づく、付記1乃至8のいずれか1項に記載の方法。
(付記10)
前記非対称スコアは、複数の身体部分に関連する複数の非対称スコアのうちの1つであり、
さらに、前記複数の非対称スコアに基づいて前記人物の姿勢状態のレベルを計算する、付記1乃至9のいずれか1項に記載の方法。
(付記11)
さらに、前記複数の非対称スコアのそれぞれを前記複数の非対称スコアの他の非対称スコアと比較し、
前記複数の非対称スコアの中でより高いスコアを有する1つまたは複数の非対称スコアを識別し、
前記識別の結果に基づいて姿勢矯正プログラムのセットを識別する、付記9に記載の方法。
(付記12)
少なくとも1つのプロセッサと、
コンピュータプログラムコードを含む少なくとも1つのメモリと、を含み、
少なくとも1つの前記メモリと、コンピュータプログラムコードとが、少なくとも1つの前記プロセッサを用いてサーバに、少なくとも、
人物の直立中心軸を中心として、前記人物の1つまたは複数の身体部分の回転を検出し、
前記人物の1つまたは複数の身体部分の回転に基づいて、1つまたは複数の身体部分の非対称スコアを計算し、前記非対称スコアは、前記人物の姿勢状態のレベルに関連する、ことを実行させるように構成された人物の姿勢状態を識別するための装置。
(付記13)
少なくとも一つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも一つのプロセッサを用いてサーバに、少なくとも、
基準線に対する前記人物の画像から、前記人物の二つの身体部分位置を接続する第1の線の角度を検出し、
前記角度に基づいて、前記人物の直立中心軸を中心に、前記人物の1つまたは複数の身体部分の回転を検出する、ことをさらに実行させるように構成された、付記12に記載の装置。
(付記14)
前記第1の線は、前記人物の第1の身体の左側の身体部分の位置と右側の身体部分の位置とを正面から見て接続し、
前記基準線は、前記人物の第2の身体の左側の身体部分の位置と右側の身体部分の位置とを正面から見て接続する第2の線を含む、付記13に記載の装置。
(付記15)
前記基準線は、人物の別の2つの身体部分の位置を接続する第3の線である、付記13に記載の装置。
(付記16)
少なくとも一つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも一つのプロセッサを用いて前記サーバに、少なくとも、
前記人物の直立中心軸に沿った最も近い点から身体部分の位置の第1の距離を検出し、
前記人物の1つまたは複数の身体部分の回転を検出する、及び/または前記第1の距離に基づいて前記人物の1つまたは複数の身体部分の非対称スコアを計算する、ことをさらに実行させるように構成された、付記12乃至15のいずれか1項に記載の装置。
(付記17)
少なくとも1つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも1つのプロセッサを用いてサーバに、少なくとも、
(i)前記人物の2つの身体部分位置、(ii)2つの身体部分位置間の中間点、または(iii)2つの身体部分位置を接続する第4の線のうちの1つから身体部分位置の第2の距離を検出し、
前記人物の1つまたは複数の身体部分の回転を検出する、及び/または前記第2の距離に基づいて前記人物の1つまたは複数の身体部分の非対称スコアを計算する、ことをさらに実行させるように構成された、付記12乃至15のいずれか1項に記載の装置。
(付記18)
少なくとも1つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも1つのプロセッサを用いてサーバに、少なくとも、
前記人物が検出された1つまたは複数の画像における複数の身体部分の相対位置に基づいて前記人物の複数の身体部分位置を検出し、前記複数の身体部分位置のそれぞれは、前記人物の身体部分に対応することをさらに実行させるように構成された、付記12乃至17のいずれか1項に記載の装置。
(付記19)
少なくとも一つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも一つのプロセッサを用いてサーバに、少なくとも、
前記複数の身体部分位置の一つに基づいて前記人物の身体部分位置を推定し、前記人物の複数の身体部分位置は、前記推定された身体部分位置をさらに含むことをさらに実行させるように構成された、付記18に記載の装置。
(付記20)
少なくとも1つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも1つのプロセッサを用いて前記サーバに、少なくとも、
前記人物に関する人口統計学的データを受信し、
前記人口統計学的データに基づいて前記非対称スコアをさらに計算する、ことをさらに実行させるように構成された、付記12乃至19のいずれか1項に記載の装置。
(付記21)
少なくとも1つの前記メモリと、コンピュータプログラムコードとが、少なくとも1つのプロセッサを用いてサーバに、少なくとも、
前記複数の非対称スコアに基づいて、前記人物の姿勢状態のレベルを計算することをさらに実行させるように構成された、付記12乃至20のいずれか1項に記載の装置。
(付記22)
少なくとも一つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも一つのプロセッサを用いてサーバに、少なくとも、
前記複数の非対称スコアのそれぞれを、前記複数の非対称スコアの他の非対称スコアと比較し、
前記複数の非対称スコアの中でより高いスコアを有する1つまたは複数の非対称スコアを識別し、
前記識別の結果に基づいて姿勢矯正プログラムのセットを識別する、ことをさらに実行させるように構成された、付記21に記載の装置。
(付記23)
付記12乃至22のいずれか1項に記載の装置と、
前記人物の1つまたは複数の画像をキャプチャするように構成された1つまたは複数の画像キャプチャ装置と、を含み、
前記1つまたは複数の画像は、正面から見た前記人物の画像及び/または矢状面を横切る人物の画像を含む、前記人物の姿勢状態を識別するためのシステム。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
人物の直立中心軸を中心とした前記人物の1つまたは複数の身体部分の回転を検出し、
前記人物の1つまたは複数の身体部分の回転に基づいて1つまたは複数の身体部分の非対称スコアを計算し、前記非対称スコアは、前記人物の姿勢状態のレベルに関連する人物の姿勢状態を識別するための方法。
【請求項2】
基準線に対する前記人物の画像から、前記人物の2つの身体部分位置を接続する第1の線の角度を検出し、前記人物の直立中心軸を中心とする人物の1つまたは複数の身体部分の回転の検出は、前記角度に基づく、請求項1に記載の方法。
【請求項3】
前記第1の線が、前記人物の第1の身体部分の左側の身体部分位置と右側の身体部分位置とを、正面から見て接続し、
前記基準線が、前記正面から見て前記人物の第2の身体部分の左側の身体部分位置と右側の身体部分位置とを接続する第2の線を含む、請求項2に記載の方法。
【請求項4】
前記基準線が、前記人物の別の2つの身体部分位置を接続する第3の線である、請求項2に記載の方法。
【請求項5】
さらに、前記人物の直立中心軸に沿った最も近い点からの身体部分位置の第1の距離を検出し、前記人物の1つまたは複数の身体部分の回転の検出及び/または前記人物の1つまたは複数の身体部分の非対称スコアの計算は、前記第1の距離に基づく、請求項1に記載の方法。
【請求項6】
さらに、(i)人物の2つの身体部分位置、(ii)2つの身体部分位置間の中間点、または(iii)2つの身体部分位置を接続する第4の線のうちの1つから身体部分位置の第2の距離を検出し、前記人物の1つまたは複数の身体部分の回転の検出及び/または前記人物の1つまたは複数の身体部分の非対称スコアの計算は、前記第2の距離に基づく、請求項1に記載の方法。
【請求項7】
さらに、前記人物が検出された1つまたは複数の画像における複数の身体部分の相対位置に基づいて前記人物の複数の身体部分位置を検出し、前記複数の身体部分位置のそれぞれが前記人物の身体部分に対応する、請求項1乃至6のいずれか1項に記載の方法。
【請求項8】
前記人物の複数の身体部分位置を検出することは、前記複数の身体部分位置の1つに基づいて前記人物の身体部分位置を推定し、前記人物の複数の身体部分位置は、前記推定された身体部分位置をさらに含む、請求項7に記載の方法。
【請求項9】
少なくとも1つのプロセッサと、
コンピュータプログラムコードを含む少なくとも1つのメモリと、を含み、
少なくとも1つの前記メモリと、コンピュータプログラムコードとが、少なくとも1つの前記プロセッサを用いてサーバに、少なくとも、
人物の直立中心軸を中心として、前記人物の1つまたは複数の身体部分の回転を検出し、
前記人物の1つまたは複数の身体部分の回転に基づいて、1つまたは複数の身体部分の非対称スコアを計算し、前記非対称スコアは、前記人物の姿勢状態のレベルに関連する、ことを実行させるように構成された人物の姿勢状態を識別するための装置。
【請求項10】
請求項9に記載の装置と、
前記人物の1つまたは複数の画像をキャプチャするように構成された1つまたは複数の画像キャプチャ装置と、を含み、
前記1つまたは複数の画像は、正面から見た前記人物の画像及び/または矢状面を横切る人物の画像を含む、前記人物の姿勢状態を識別するためのシステム。
【外国語明細書】