特表2023-551638 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ カカオブイエックスカンパニー，リミテッドの特許一覧

特表2023-551638映像を用いた重心情報提供方法およびそのための装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-12

(54)【発明の名称】映像を用いた重心情報提供方法およびそのための装置

(51)【国際特許分類】

G06T 7/66 20170101AFI20231205BHJP

A63B 69/00 20060101ALI20231205BHJP

G06T 7/00 20170101ALI20231205BHJP

A61B 5/11 20060101ALI20231205BHJP

【ＦＩ】

G06T7/66

A63B69/00 A

G06T7/00 660B

A61B5/11 200

A61B5/11 210

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023527253

(86)(22)【出願日】2021-09-23

(85)【翻訳文提出日】2023-04-27

(86)【国際出願番号】 KR2021012942

(87)【国際公開番号】W WO2022092578

(87)【国際公開日】2022-05-05

(31)【優先権主張番号】10-2020-0140532

(32)【優先日】2020-10-27

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】523160265

【氏名又は名称】カカオブイエックスカンパニー，リミテッド

【氏名又は名称原語表記】ＫＡＫＡＯＶＸＣＯ．，ＬＴＤ．

【住所又は居所原語表記】７０１ｈｏ，４０２ｈｏ，４０１ｈｏ１ｄｏｎｇ，１７，Ｐａｎｇｙｏ－ｒｏ２２８ｂｅｏｎ－ｇｉｌ，Ｂｕｎｄａｎｇ－ｇｕ，Ｓｅｏｎｇｎａｍ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ１３４８７（ＫＲ）

(74)【代理人】

【識別番号】110001494

【氏名又は名称】前田・鈴木国際特許弁理士法人

(72)【発明者】

【氏名】イ，クワァン－ジュン

(72)【発明者】

【氏名】シン，トン－ジン

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038VA04

4C038VA11

4C038VB15

4C038VB35

4C038VC05

5L096AA06

5L096AA09

5L096CA05

5L096FA60

5L096FA67

5L096FA69

5L096HA11

(57)【要約】

【課題】映像を用いた重心情報提供方法およびそのための装置が開示される。
【解決手段】本発明の一実施例による重心情報提供方法は、ユーザを多角度から撮影した映像に基づいてユーザの姿勢に相応する多角度の２次元ポーズを生成し、前記多角度の２次元ポーズを組み合わせて３次元ポーズを生成し、前記３次元ポーズに基づいて足裏の圧力分布を視覚的に示すヒートマップ（ＨＥＡＴＭＡＰ）を生成し、前記ヒートマップに基づいて重心点を抽出し、前記重心点に基づいて算出された重量バランスを用いて前記ユーザの姿勢に相応する重心情報を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザを多角度から撮影した映像に基づいてユーザの姿勢に相応する多角度の２次元ポーズを生成するステップと、
前記多角度の２次元ポーズを組み合わせて３次元ポーズを生成するステップと、
前記３次元ポーズに基づいて足裏の圧力分布を視覚的に示すヒートマップ（ＨＥＡＴＭＡＰ）を生成し、前記ヒートマップに基づいて重心点を抽出するステップと、
前記重心点に基づいて算出された重量バランスを用いて前記ユーザの姿勢に相応する重心情報を提供するステップと
を含むことを特徴とする重心情報提供方法。

【請求項2】

前記重量バランスは、
前後の重量バランスおよび左右の重量バランスを含むことを特徴とする請求項１に記載の重心情報提供方法。

【請求項3】

ユーザインターフェースに基づいて前記映像に対応するように前記重心情報を出力するステップをさらに含むことを特徴とする請求項２に記載の重心情報提供方法。

【請求項4】

前記出力するステップは、
前記ヒートマップ、前記重量バランス、前記重心点および前記重心点の移動線の少なくとも１つを出力することを特徴とする請求項３に記載の重心情報提供方法。

【請求項5】

前記多角度の２次元ポーズを生成するステップは、
前記映像を８ビット整数からなるアレイデータに変換するステップと、
前記アレイデータをディープラーニングベースの関節推定モデルに入力して、前記ユーザの姿勢に相応する複数の関節を２次元座標系に表示するステップとを含むことを特徴とする請求項１に記載の重心情報提供方法。

【請求項6】

前記多角度の２次元ポーズは、
前記２次元座標系上で前記複数の関節を連結して表現されたデータに相応することを特徴とする請求項５に記載の重心情報提供方法。

【請求項7】

前記重心点を抽出するステップは、
前記３次元ポーズをディープラーニングベースの重心推定モデルに入力して、前記ヒートマップを生成することを特徴とする請求項１に記載の重心情報提供方法。

【請求項8】

前記重心点を抽出するステップは、
前記ヒートマップによる出力値を正規化して前記重心点を抽出することを特徴とする請求項７に記載の重心情報提供方法。

【請求項9】

前記重心情報を提供するステップは、
重心点補正値を生成するステップと、
前記重心点補正値に基づいて前記ユーザの左足と右足に対する左右の重量バランスを算出するステップと、
前記ヒートマップで左足と右足に相応する値をそれぞれ正規化して左足の重心点と右足の重心点を抽出し、それぞれ抽出された重心点を補正して前記左足と右足それぞれに相応する前後の重量バランスを算出するステップとを含むことを特徴とする請求項８に記載の重心情報提供方法。

【請求項10】

前記多角度から撮影した映像は、
前記ユーザを正面から撮影した正面映像と、前記ユーザを側面から撮影した側面映像とを含むことを特徴とする請求項１に記載の重心情報提供方法。

【請求項11】

前記アレイデータに変換するステップは、
前記映像に相応する全体フレームの中から不要なフレームを削除して有効フレームを抽出し、前記有効フレームを前記アレイデータに変換することを特徴とする請求項５に記載の重心情報提供方法。

【請求項12】

前記ヒートマップは、
足裏に加えられる圧力が高いほど、視覚的に強調されて表示されることを特徴とする請求項１に記載の重心情報提供方法。

【請求項13】

ユーザを多角度から撮影した映像に基づいてユーザの姿勢に相応する多角度の２次元ポーズを生成し、前記多角度の２次元ポーズを組み合わせて３次元ポーズを生成し、前記３次元ポーズに基づいて足裏の圧力分布を視覚的に示すヒートマップ（ＨＥＡＴＭＡＰ）を生成し、前記ヒートマップに基づいて重心点を抽出し、前記重心点に基づいて算出された重量バランスを用いて前記ユーザの姿勢に相応する重心情報を提供するプロセッサと、
前記映像、前記ヒートマップおよび前記重心情報の少なくとも１つを格納するメモリと
を含むことを特徴とする重心情報提供装置。

【請求項14】

前記重量バランスは、
前後の重量バランスおよび左右の重量バランスを含むことを特徴とする請求項１３に記載の重心情報提供装置。

【請求項15】

前記プロセッサは、
ユーザインターフェースに基づいて前記映像に対応するように前記重心情報を出力することを特徴とする請求項１４に記載の重心情報提供装置。

【請求項16】

前記プロセッサは、
前記ヒートマップ、前記重量バランス、前記重心点および前記重心点の移動線の少なくとも１つを出力することを特徴とする請求項１５に記載の重心情報提供装置。

【請求項17】

前記プロセッサは、
前記映像を８ビット整数からなるアレイデータに変換し、前記アレイデータをディープラーニングベースの関節推定モデルに入力して、前記ユーザの姿勢に相応する複数の関節を２次元座標系に表示することを特徴とする請求項１３に記載の重心情報提供装置。

【請求項18】

前記多角度の２次元ポーズは、
前記２次元座標系上で前記複数の関節を連結して表現されたデータに相応することを特徴とする請求項１７に記載の重心情報提供装置。

【請求項19】

前記プロセッサは、
前記３次元ポーズをディープラーニングベースの重心推定モデルに入力して、前記ヒートマップを生成することを特徴とする請求項１３に記載の重心情報提供装置。

【請求項20】

前記プロセッサは、
前記ヒートマップによる出力値を正規化して前記重心点を抽出することを特徴とする請求項１９に記載の重心情報提供装置。

【請求項21】

前記プロセッサは、
重心点補正値を生成し、前記重心点補正値に基づいて前記ユーザの左足と右足に対する左右の重量バランスを算出し、前記ヒートマップで左足と右足に相応する値をそれぞれ正規化して左足の重心点と右足の重心点を抽出し、それぞれ抽出された重心点を補正して前記左足と右足それぞれに相応する前後の重量バランスを算出することを特徴とする請求項２０に記載の重心情報提供装置。

【請求項22】

前記多角度から撮影した映像は、
前記ユーザを正面から撮影した正面映像と、前記ユーザを側面から撮影した側面映像とを含むことを特徴とする請求項１３に記載の重心情報提供装置。

【請求項23】

前記プロセッサは、
前記映像に相応する全体フレームの中から不要なフレームを削除して有効フレームを抽出し、前記有効フレームを前記アレイデータに変換することを特徴とする請求項１７に記載の重心情報提供装置。

【請求項24】

前記ヒートマップは、
足裏に加えられる圧力が高いほど、視覚的に強調されて表示されることを特徴とする請求項１３に記載の重心情報提供装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像を用いた重心情報提供方法およびそのための装置（ＭＥＴＨＯＤＦＯＲＰＲＯＶＩＤＩＮＧＣＥＮＴＥＲＯＦＧＲＡＶＩＴＹＩＮＦＯＲＭＡＴＩＯＮＵＳＩＮＧＩＭＡＧＥＡＮＤＡＰＰＡＲＡＴＵＳＵＳＩＮＧＴＨＥＳＡＭＥ）に関し、さらに詳しくは、人が多様な角度から撮影された映像を分析して、撮影された映像に含まれた人の前後左右の重心に関連する情報を提供できる技術に関する。

【0002】

本発明は、２０２０年１０月２７日付で出願された韓国特許出願第１０－２０２０－０１４０５３２号の出願日の利益を主張し、その内容のすべては本明細書に組み込まれる。

【背景技術】

【0003】

多くのスポーツにおいて重心の位置や移動は実力向上に重要な要素として作用する。例えば、ゴルフにおいて身体の重心が移動する程度とタイミングは正しいスイング姿勢を作るのに重要に作用できる。

【0004】

しかし、人の重心および重心の移動を測定するためには、圧力測定センサが含まれた床マットあるいはユーザが直接着用する測定専用履き物のような別の装備が必要である。このような特別な装備は、製作および購入のために高い初期費用が発生するだけでなく、バッテリを充電したり、破損修理費などの追加的な費用も発生し、重心の測定方式によって場所が制限されるなど種々の制約が発生する。

【0005】

また、このような測定専用装備は、モバイルプラットフォームなどで自由に使用できず、装備製造業者で提供するプラットフォームを用いなければならないという制約が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、場所や装置に対する制約なしに、別の測定装備が備えられていない日常的な場所でカメラにより撮影された映像だけでユーザの姿勢およびバランスに関する重心情報を提供することである。

【0007】

また、本発明の目的は、ユーザ個人のＰＣやスマートフォンなどの環境で自由に駆動可能なアプリケーション形態で重心情報サービスを提供することである。

【0008】

さらに、本発明の目的は、映像に含まれたユーザの動きに対応するように重心情報を提供することにより、運動姿勢や重心の移動に影響を受けるスポーツを楽しむユーザが姿勢を矯正したり、より効率的に動けるように補助するサービスを提供することである。

【0009】

なお、本発明の目的は、姿勢矯正、姿勢の正確度、重量移動タイミングなどの運動指標を活用したサービスを提供したり、運動姿勢の正しい程度を指標として記録してモニタリングする方式で活用することができ、ゴルフ、野球などの球技種目だけでなく、体操や自重トレーニングなどの多様な運動分野においてもフィードバックを与えられるサービス技術を提供することである。

【課題を解決するための手段】

【0010】

上記の目的を達成するための、本発明による重心情報提供方法は、ユーザを多角度から撮影した映像に基づいてユーザの姿勢に相応する多角度の２次元ポーズを生成するステップと、前記多角度の２次元ポーズを組み合わせて３次元ポーズを生成するステップと、前記３次元ポーズに基づいて足裏の圧力分布を視覚的に示すヒートマップ（ＨＥＡＴＭＡＰ）を生成し、前記ヒートマップに基づいて重心点を抽出するステップと、前記重心点に基づいて算出された重量バランスを用いて前記ユーザの姿勢に相応する重心情報を提供するステップとを含む。

【0011】

この時、重量バランスは、前後の重量バランスおよび左右の重量バランスを含むことができる。

【0012】

この時、ユーザインターフェースに基づいて前記映像に対応するように前記重心情報を出力するステップをさらに含むことができる。

【0013】

この時、出力するステップは、前記ヒートマップ、前記重量バランス、前記重心点および前記重心点の移動線の少なくとも１つを出力することができる。

【0014】

この時、多角度の２次元ポーズを生成するステップは、前記映像を８ビット整数からなるアレイデータに変換するステップと、前記アレイデータをディープラーニングベースの関節推定モデルに入力して、前記ユーザの姿勢に相応する複数の関節を２次元座標系に表示するステップとを含むことができる。

【0015】

この時、多角度の２次元ポーズは、前記２次元座標系上で前記複数の関節を連結して表現されたデータに相応できる。

【0016】

この時、重心点を抽出するステップは、前記３次元ポーズをディープラーニングベースの重心推定モデルに入力して、前記ヒートマップを生成することができる。

【0017】

この時、重心点を抽出するステップは、前記ヒートマップによる出力値を正規化して前記重心点を抽出することができる。

【0018】

この時、重心情報を提供するステップは、重心点補正値を生成するステップと、前記重心点補正値に基づいて前記ユーザの左足と右足に対する左右の重量バランスを算出するステップと、前記ヒートマップで左足と右足に相応する値をそれぞれ正規化して左足の重心点と右足の重心点を抽出し、それぞれ抽出された重心点を補正して前記左足と右足それぞれに相応する前後の重量バランスを算出するステップとを含むことができる。

【0019】

この時、多角度から撮影した映像は、前記ユーザを正面から撮影した正面映像と、前記ユーザを側面から撮影した側面映像とを含むことができる。

【0020】

この時、アレイデータに変換するステップは、前記映像に相応する全体フレームの中から不要なフレームを削除して有効フレームを抽出し、前記有効フレームを前記アレイデータに変換することができる。

【0021】

この時、ヒートマップは、足裏に加えられる圧力が高いほど、視覚的に強調されて表示される。

【0022】

また、本発明の一実施例による重心情報提供装置は、ユーザを多角度から撮影した映像に基づいてユーザの姿勢に相応する多角度の２次元ポーズを生成し、前記多角度の２次元ポーズを組み合わせて３次元ポーズを生成し、前記３次元ポーズに基づいて足裏の圧力分布を視覚的に示すヒートマップ（ＨＥＡＴＭＡＰ）を生成し、前記ヒートマップに基づいて重心点を抽出し、前記重心点に基づいて算出された重量バランスを用いて前記ユーザの姿勢に相応する重心情報を提供するプロセッサと、前記映像、前記ヒートマップおよび前記重心情報の少なくとも１つを格納するメモリとを含む。

【0023】

この時、重量バランスは、前後の重量バランスおよび左右の重量バランスを含むことができる。

【0024】

この時、プロセッサは、ユーザインターフェースに基づいて前記映像に対応するように前記重心情報を出力することができる。

【0025】

この時、プロセッサは、前記ヒートマップ、前記重量バランス、前記重心点および前記重心点の移動線の少なくとも１つを出力することができる。

【0026】

この時、プロセッサは、前記映像を８ビット整数からなるアレイデータに変換し、前記アレイデータをディープラーニングベースの関節推定モデルに入力して、前記ユーザの姿勢に相応する複数の関節を２次元座標系に表示することができる。

【0027】

この時、多角度の２次元ポーズは、前記２次元座標系上で前記複数の関節を連結して表現されたデータに相応できる。

【0028】

この時、プロセッサは、前記３次元ポーズをディープラーニングベースの重心推定モデルに入力して、前記ヒートマップを生成することができる。

【0029】

この時、プロセッサは、前記ヒートマップによる出力値を正規化して前記重心点を抽出することができる。

【0030】

この時、プロセッサは、重心点補正値を生成し、前記重心点補正値に基づいて前記ユーザの左足と右足に対する左右の重量バランスを算出し、前記ヒートマップで左足と右足に相応する値をそれぞれ正規化して左足の重心点と右足の重心点を抽出し、それぞれ抽出された重心点を補正して前記左足と右足それぞれに相応する前後の重量バランスを算出することができる。

【0031】

この時、多角度から撮影した映像は、前記ユーザを正面から撮影した正面映像と、前記ユーザを側面から撮影した側面映像とを含むことができる。

【0032】

この時、プロセッサは、前記映像に相応する全体フレームの中から不要なフレームを削除して有効フレームを抽出し、前記有効フレームを前記アレイデータに変換することができる。

【0033】

この時、ヒートマップは、足裏に加えられる圧力が高いほど、視覚的に強調されて表示される。

【発明の効果】

【0034】

本発明によれば、場所や装置に対する制約なしに、別の測定装備が備えられていない日常的な場所でカメラにより撮影された映像だけでユーザの姿勢およびバランスに関する重心情報を提供することができる。

【0035】

また、本発明は、ユーザ個人のＰＣやスマートフォンなどの環境で自由に駆動可能なアプリケーション形態で重心情報サービスを提供することができる。

【0036】

さらに、本発明は、映像に含まれたユーザの動きに対応するように重心情報を提供することにより、運動姿勢や重心の移動に影響を受けるスポーツを楽しむユーザが姿勢を矯正したり、より効率的に動けるように補助するサービスを提供することができる。

【0037】

なお、本発明は、姿勢矯正、姿勢の正確度、重量移動タイミングなどの運動指標を活用したサービスを提供したり、運動姿勢の正しい程度を指標として記録してモニタリングする方式で活用することができ、ゴルフ、野球などの球技種目だけでなく、体操や自重トレーニングなどの多様な運動分野においてもフィードバックを与えられるサービス技術を提供することができる。

【図面の簡単な説明】

【0038】

【図1】本発明の一実施例による映像を用いた重心情報提供方法を示す動作フローチャートである。

【図2】本発明によりユーザの正面映像に基づいて重心情報を生成する過程の一例を示す図である。

【図3】本発明によりユーザの正面映像に基づいて重心情報を生成する過程の一例を示す図である。

【図4】本発明によりユーザの正面映像に基づいて重心情報を生成する過程の一例を示す図である。

【図5】本発明によりユーザの正面および側面映像に基づいて重心情報を生成する過程の一例を示す図である。

【図6】本発明によりユーザの正面および側面映像に基づいて重心情報を生成する過程の一例を示す図である。

【図7】本発明によりユーザの正面および側面映像に基づいて重心情報を生成する過程の一例を示す図である。

【図8】本発明によりユーザの正面および側面映像に基づいて重心情報を生成する過程の一例を示す図である。

【図9】本発明によりユーザの正面および側面映像に基づいて重心情報を生成する過程の一例を示す図である。

【図10】本発明により有効フレームを抽出する一例を示す図である。

【図11】本発明による重心情報を提供するユーザインターフェースの一例を示す図である。

【図12】本発明による重心情報を提供するユーザインターフェースの一例を示す図である。

【図13】本発明の一実施例による重心情報提供過程を詳細に示す図である。

【図14】本発明の一実施例による重心情報提供過程を詳細に示す図である。

【図15】本発明の一実施例による重心情報提供装置を示すブロック図である。

【発明を実施するための形態】

【0039】

以下、本発明を添付した図面を参照して詳細に説明する。ここで、繰り返しの説明、本発明の要旨を不必要にあいまいにしうる公知の機能、および構成に関する詳細な説明は省略する。本発明の実施形態は当業界における平均的な知識を有する者に本発明をより完全に説明するために提供されるものである。したがって、図面における要素の形状および大きさなどはより明確な説明のために誇張される。

【0040】

以下、本発明による好ましい実施例を、添付した図面を参照して詳細に説明する。

【0041】

図１は、本発明の一実施例による映像を用いた重心情報提供方法を示す動作フローチャートである。

【0042】

図１を参照すれば、本発明の一実施例による映像を用いた重心情報提供方法は、ユーザを多角度から撮影した映像に基づいてユーザの姿勢に相応する多角度の２次元ポーズを生成する（Ｓ１１０）。

【0043】

すなわち、本発明では、別の重心測定装備が備えられていない日常的な場所でもカメラにより撮影された映像のみを用いて重心情報を生成するために用いられる２次元ポーズを生成することができる。

【0044】

例えば、ユーザが家庭でホームトレーニングをしながら姿勢やバランスが正確なのかを知りたい場合に、ユーザのスマートフォンに備えられたカメラを用いて自らのホームトレーニング姿勢を撮影し、本発明の一実施例によりスマートフォンで提供されるユーザインターフェースを介して撮影されたホームトレーニング映像を入力することができる。

【0045】

この時、多角度から撮影した映像は、ユーザを正面から撮影した正面映像と、ユーザを側面から撮影した側面映像とを含むことができる。

【0046】

したがって、多角度の２次元ポーズは、正面映像から抽出されたユーザの正面姿勢に相応して生成された２次元ポーズと、側面映像から抽出されたユーザの側面姿勢に相応して生成された２次元ポーズとを含むことができる。

【0047】

この時、本発明では、ユーザの正面姿勢に相応して生成された２次元ポーズを用いてユーザの左右の重量バランスを推定することができる。

【0048】

例えば、図２に示されるように、ユーザの正面に位置する１台のカメラ２００を用いてユーザを撮影する場合、図３に示されるように、ユーザの正面姿勢のみを含む映像３１０を取得することができる。この時、映像３１０を後に説明するアレイデータ３２０に変換する過程を経て、ユーザの正面姿勢に相応する２次元ポーズ３３０を生成することができる。

【0049】

このように生成された２次元ポーズ３３０を用いると、図４に示されるように、ユーザの正面姿勢に対する左右の重量バランス４００を推定することができる。ユーザの正面に対する２次元ポーズを用いて左右の重量バランスを推定する過程は、後に詳細に説明する。

【0050】

この時、図４に示された左右の重量バランス４００は、図３に示された映像３１０に撮影されたユーザの両足を基準として推定された値に相応するもので、右足のバランスと左足のバランスが互いに反比例する値で推定される。

【0051】

例えば、２次元ポーズに基づいてユーザの身体が右に傾いていると分析された場合には、右足のバランス値が増加する代わりに、左足のバランス値が減少する。逆に、２次元ポーズに基づいてユーザの身体が左に傾いていると分析された場合には、左足のバランス値が増加する代わりに、右足のバランス値が減少する。

【0052】

また、本発明では、ユーザの側面姿勢に相応して生成された２次元ポーズを用いてユーザの前後の重量バランスも推定可能である。

【0053】

例えば、図５に示されるように、ユーザの正面に位置するカメラ５１０と、ユーザの側面に位置するカメラ５２０とを用いて、ユーザを同時に撮影する場合、図３に示されたユーザの正面姿勢に相応する映像３１０と共に、図６に示されるように、同一の時点でのユーザの側面姿勢に相応する映像６１０も取得可能である。この時、ユーザの側面姿勢に相応する映像６１０も、後に説明するアレイデータ６２０に変換する過程を経ると、ユーザの側面姿勢に相応する２次元ポーズ６３０を生成することができる。

【0054】

すなわち、本発明における多角度の２次元ポーズは、図３に示された正面姿勢の２次元ポーズ３３０と、図６に示された側面姿勢の２次元ポーズ６３０とをすべて含む概念であり得る。

【0055】

この時、多角度の２次元ポーズを生成するためには、多角度から撮影された映像をディープラーニングベースの関節推定モデルに入力して、ユーザの各関節位置を推定しなければならないが、そのために、まず、多角度から撮影された映像をディープラーニングベースの関節推定モデルに入力するためのアレイデータに変換することができる。

【0056】

この時、関節推定モデルは、ディープラーニングベースのモデルに相応できる。

【0057】

例えば、本発明の一実施例による関節推定モデルは、テンソルフローフレームワーク（ＴｅｎｓｏｒＦｌｏｗＦｒａｍｅｗｏｒｋ）を活用して設計されたディープラーニングモデルに相応できる。

【0058】

この時、アレイデータは、８ビット整数からなるデータに相応できる。

【0059】

この時、アレイデータに変換された映像をディープラーニングベースの関節推定モデルに入力して、映像中のユーザの姿勢に相応する複数の関節を２次元座標系に表示することができる。

【0060】

この時、複数の関節は、頭、右肩、左肩、右尻、左尻、右膝、左膝、右足、左足に相応する９つの関節に相応できる。

【0061】

すなわち、本発明によれば、ユーザが撮影された映像を関節推定モデルに入力するだけでも、映像中のユーザの姿勢に相応する９つの関節の位置を推定して２次元座標系に表示することができる。

【0062】

この時、多角度の２次元ポーズは、２次元座標系上で複数の関節を連結して表現されたデータに相応できる。

【0063】

例えば、図３や図６に示されるように、関節推定モデルにより推定された９つの関節をそれぞれ２次元上の点で表し、それぞれの点をユーザの身体構造に相応して連結することにより、２次元ポーズ３３０、６３０を生成することができる。

【0064】

この時、多角度の２次元ポーズを生成するために入力される映像は、専門家によって編集された映像ではなく、ユーザが日常の中で撮影した映像であるので、図１０に示されるように、映像の開始と終了部分に不要なフレーム１０２１、１０２２が含まれている。

【0065】

例えば、ユーザがカメラの撮影開始ボタンを押してカメラアングルを合わせるために撮影される部分や、カメラの撮影終了ボタンを押すために移動する部分といった、不要な部分が映像に含まれている。

【0066】

本発明では、このように不要なフレームに対する演算が行われてシステムに不要な負荷が発生しないように、映像に相応する全体フレームの中から不要なフレーム１０２１、１０２２を削除して有効フレーム１０１０を抽出し、有効フレーム１０１０のみをアレイデータに変換することができる。

【0067】

例えば、本発明では、ユーザに提供されるユーザインターフェースを介してユーザが直接有効フレームのみを選択できるように映像編集機能を提供することができる。

【0068】

他の例として、映像の中からユーザの全身が撮影されていない部分を不要なフレームと判断して削除してもよい。

【0069】

この時、映像から不要なフレームを削除して有効フレームのみを抽出する方法は、本発明に適用可能な多様な方法を使用することができ、特定の方法に限定されない。

【0070】

また、本発明の一実施例による映像を用いた重心情報提供方法は、映像を撮影したカメラの姿勢情報に基づいて多角度の２次元ポーズを組み合わせて３次元ポーズを生成する（Ｓ１２０）。

【0071】

例えば、多角度の２次元ポーズに含まれた正面イメージ（ｆ）に対する２次元ポーズから複数の関節それぞれに相応する２次元座標（Ｘ_f，Ｙ_f）を取得し、多角度の２次元ポーズに含まれた側面イメージ（ｓ）に対する２次元ポーズから複数の関節それぞれに相応する２次元座標（Ｘ_s，Ｙ_s）を取得することができる。このように取得されたそれぞれの２次元座標をカメラの姿勢による関節位置毎に組み合わせて関節位置毎の３次元座標（Ｘ，Ｙ，Ｚ＝Ｘ_f，Ｙ_f，Ｘ_s）を取得することができる。この時、３次元座標中のＺ値は、側面イメージ（ｓ）に対する２次元ポーズに相応する２次元座標のＸ値（Ｘ_s）に相応できる。

【0072】

この時、取得された３次元座標をユーザの頭とつま先を基準としてスケーリングして、図７に示されるように、３次元座標上にベクトル値に相応して示すことにより、映像中のユーザの姿勢に相応する３次元ポーズを生成することができる。

【0073】

例えば、３次元座標のスケーリングは、式（１）に相応して行われる。

【0074】

【数1】

【0075】

また、本発明の一実施例による映像を用いた重心情報提供方法は、３次元ポーズに基づいて足裏の圧力分布を視覚的に示すヒートマップ（ＨＥＡＴＭＡＰ）を生成し、ヒートマップに基づいて重心点を抽出する（Ｓ１３０）。

【0076】

この時、ヒートマップは、ユーザの姿勢による足裏の圧力分布を視覚的に区別されるように示すもので、一般的には、圧力センサが備えられた踏板にユーザが直接上がる場合に、圧力センサに連結された演算装置に基づいて重心を測定する方式で提供される。

【0077】

しかし、本発明では、圧力センサがなくても、映像に基づいて生成された３次元ポーズをディープラーニングベースの重心推定モデルに入力して、ヒートマップを生成することができる。

【0078】

この時、重心推定モデルは、ディープラーニングベースの人工ニューラルネットワークに相応できる。

【0079】

例えば、本発明の一実施例による重心推定モデルは、テンソルフローフレームワーク（ＴｅｎｓｏｒＦｌｏｗＦｒａｍｅｗｏｒｋ）を活用して設計されたディープラーニングモデルベースの人工ニューラルネットワークに相応できる。

【0080】

この時、前記生成された３次元ポーズによれば、映像中のユーザの正面ポーズと側面ポーズをすべて知ることができるため、重心推定モデルに３次元ポーズを入力して、映像中のユーザの姿勢に対する前後左右の重量バランスを推定することができる。このように推定された前後左右の重量バランスをユーザの両足裏が受ける圧力で表して、図８に示されるようなヒートマップを提供することができる。

【0081】

この時、ヒートマップは、足裏に加えられる圧力が高いほど、視覚的に強調されて表示される。

【0082】

例えば、図８に示されたヒートマップ上で数値で表された左右の重量バランスを確認すれば、ＬＥＦＴが８９、ＲＩＧＨＴが１１で重量バランスが左に偏っていることが分かる。したがって、左足に右足より高い圧力が加えられることを一目で明確に確認できるように、ヒートマップ上で左足を右足より強調して表すことができる。

【0083】

図９は、上記で説明した過程が一目で分かるように示したもので、多角度から撮影された映像に基づいて映像中のユーザの正面イメージと側面イメージそれぞれに対する２次元ポーズを生成し、２次元ポーズを組み合わせて生成された３次元ポーズを用いてヒートマップを生成することができる。

【0084】

また、本発明の一実施例による映像を用いた重心情報提供方法は、重心点に基づいて算出された重量バランスを用いてユーザの姿勢に相応する重心情報を提供する（Ｓ１４０）。

【0085】

この時、重量バランスは、前後の重量バランスおよび左右の重量バランスを含むことができる。

【0086】

この時、ヒートマップによる出力値を正規化して重心点を抽出することができる。

【0087】

例えば、式（２）のように、ヒートマップにソフトマックス関数の１つであるｗｅｉｇｈｔｅｄＡｒｇｓｏｆｔｍａｘ関数を適用して正規化することにより、重心点（Ｘ^p，Ｙ^p）を出力することができる。

【0088】

【数2】

【0089】

この時、重心点補正値を生成し、重心点補正値に基づいてユーザの左足と右足に対する左右の重量バランスを算出し、ヒートマップで左足と右足に相応する値をそれぞれ正規化して左足の重心点と右足の重心点を抽出し、それぞれ抽出された重心点を補正して左足と右足それぞれに相応する前後の重量バランスを算出することができる。

【0090】

例えば、重心点補正値が（Ｘ^p，Ｙ^p）と仮定すれば、式（３）のように、左右の重量バランスであるｌｅｆｔおよびｒｉｇｈｔを算出することができる。

【0091】

【数3】

【0092】

他の例として、ヒートマップで左足と右足にそれぞれｗｅｉｇｈｔｅｄＡｒｇｓｏｆｔｍａｘ関数を適用して左足の重心点と右足の重心点をそれぞれ算出し、左足の重心点と右足の重心点をそれぞれ補正した値に基づいてユーザの左足と右足それぞれに相応する前後の重量バランスを算出することができる。

【0093】

もし、左足の重心点補正値がＹ^L＿p、右足の重心点補正値がＹ^R＿pと仮定すれば、式（４）のように、左足と右足それぞれに相応する前後の重量バランスであるＲ／Ｌ＿ｆｒｏｎｔおよびＲ／Ｌ＿ｒｅａｒを算出することができる。

【0094】

【数4】

【0095】

また、図１には示さないが、本発明の一実施例による映像を用いた重心情報提供方法は、ユーザインターフェースに基づいて映像に対応するように重心情報を出力する。

【0096】

例えば、図１１～図１２を参照すれば、ユーザインターフェースは、スマートフォンのようなユーザのモバイル端末で提供される。この時、ユーザインターフェースは、重心情報を出力するために用いられていた映像１１１０を再生しながら、再生される映像とマッチングされるように重心情報１１２０を提供することができる。

【0097】

すなわち、図１１に示されるように、ゴルフスイング姿勢に関する重心情報を提供することにより、ユーザがゴルフスイング時の重心を移動するタイミングと移動程度を客観的に把握することができる。また、抽出された関節情報を通してやや正しくない姿勢の身体部位に対して分析し、当該情報をユーザに提供することにより、スイングコーチングに活用することができる。

【0098】

あるいは、図１２に示されたように、自重トレーニングの動作を正確に行っているかを判断する根拠として用いたり、ユーザがホームトレーニング姿勢をする時、抽出された関節情報から姿勢を分析してホームトレーニングコーチングに活用してもよい。

【0099】

この時、ユーザインターフェースを介してヒートマップ、重量バランス、重心点および重心点の移動線の少なくとも１つに相応する重心情報を出力することができる。

【0100】

例えば、図８に示されるように、ヒートマップとヒートマップ上に表示される重心点８１０、重心点の移動線８２０を出力し、左右の重量バランスと共に両足それぞれの前後の重量バランスを数値化して出力してもよい。

【0101】

このように本発明により提供される重心情報は、特別な出力装置を用いなくても、ＰＣあるいはスマートフォンベースのアプリケーション方式でサービスできる。

【0102】

また、図１には示さないが、本発明の一実施例による映像を用いた重心情報提供方法は、上述した重心情報提供過程で発生する多様な情報を別の格納モジュールに格納できる。

【0103】

このような重心情報提供方法により、場所や装置に対する制約なしに、別の測定装備が備えられていない日常的な場所でカメラにより撮影された映像だけでユーザの姿勢およびバランスに関する重心情報を提供することができる。

【0104】

また、ユーザ個人のＰＣやスマートフォンなどの環境で自由に駆動可能なアプリケーション形態で重心情報サービスを提供することができる。

【0105】

さらに、映像に含まれたユーザの動きに対応するように重心情報を提供することにより、運動姿勢や重心の移動に影響を受けるスポーツを楽しむユーザが姿勢を矯正したり、より効率的に動けるように補助するサービスを提供することができる。

【0106】

図１３～図１４は、本発明の一実施例による重心情報提供過程を詳細に示す図である。

【0107】

まず、図１３を参照すれば、本発明は、ユーザを多角度から撮影した映像に基づいてユーザを正面から撮影した正面イメージ（ｆ）１３１０と、ユーザを側面から撮影した側面イメージ（ｓ）１３２０をそれぞれ取得することができる。

【0108】

以後、それぞれのイメージに基づいて複数の関節の位置を知ることができる２次元ポーズ１３１１、１３２１を生成することができる。

【0109】

この時、それぞれのイメージを８ビット整数からなるアレイデータに変換し、アレイデータをディープラーニングベースの関節推定モデルに入力して、複数の関節を２次元座標系に表示した形態の２次元ポーズ１３１１、１３２１を生成することができる。

【0110】

以後、複数の関節それぞれに対する２次元座標１３１２、１３２２を組み合わせて複数の関節それぞれに対する３次元座標１３３０を取得し、３次元座標１３３０を頭とつま先を基準としてスケーリングして、補正された３次元座標１３３１に相応して３次元ポーズを生成することができる。

【0111】

以後、補正された３次元座標１３３１を足裏ヒートマップを生成するための人工ニューラルネットワークに相応する重心推定モデル１３４０に入力して、ヒートマップを出力することができる。

【0112】

以後、図１４を参照すれば、ヒートマップ１４１０を正規化して重心点１４２０を出力することができる。

【0113】

以後、重心点１４２０を補正した値に基づいて左足と右足に対する左右の重量バランス１４３０を算出することができる。

【0114】

また、ヒートマップで左足と右足に相応する値をそれぞれ正規化して左足の重心点と右足の重心点を抽出し、それぞれ抽出された重心点を補正して左足と右足それぞれに相応する前後の重量バランス１４４０を算出することができる。

【0115】

以後、生成されたヒートマップと算出された重心点および重量バランスに基づいてユーザに提供される重心情報１４５０を生成することができる。

【0116】

図１５は、本発明の一実施例による重心情報提供装置を示すブロック図である。

【0117】

図１５を参照すれば、本発明の一実施例による重心情報提供装置は、通信部１５１０と、プロセッサ１５２０と、メモリ１５３０とを含む。

【0118】

通信部１５１０は、ネットワークのような通信網を介して重心情報提供のために必要な情報を送受信する役割を果たす。

【0119】

この時、ネットワークは、従来用いられるネットワークおよび今後開発可能なネットワークをすべて包括する概念である。例えば、ネットワークは、限定された地域内で各種情報装置の通信を提供する有無線近距離通信網、移動体相互間および移動体と移動体の外部との通信を提供する移動通信網、衛星を用いて地球局と地球局との間の通信を提供する衛星通信網であるか、有無線通信網のいずれか１つであるか、２つ以上の結合からなる。一方、ネットワークの伝送方式標準は、既存の伝送方式標準に限定されるものではなく、今後開発されるすべての伝送方式標準を含むことができる。

【0120】

プロセッサ１５２０は、ユーザを多角度から撮影した映像に基づいてユーザの姿勢に相応する多角度の２次元ポーズを生成する。

【0121】

【0122】

例えば、ユーザが家庭でホームトレーニングをしながら姿勢やバランスが正確なのかを知りたい場合に、ユーザのスマートフォンに備えられたカメラを用いて自らのホームトレーニング姿勢を撮影し、本発明の一実施例によりスマートフォンで提供されるユーザインターフェースを介して撮影されたホームトレーニング映像を入力できる。

【0123】

この時、多角度から撮影した映像は、ユーザを正面から撮影した正面映像と、ユーザを側面から撮影した側面映像とを含むことができる。

【0124】

【0125】

この時、本発明では、ユーザの正面姿勢に相応して生成された２次元ポーズを用いてユーザの左右の重量バランスを推定することができる。

【0126】

【0127】

【0128】

【0129】

【0130】

また、本発明では、ユーザの側面姿勢に相応して生成された２次元ポーズを用いてユーザの前後の重量バランスも推定可能である。

【0131】

【0132】

【0133】

【0134】

この時、関節推定モデルは、ディープラーニングベースのモデルに相応できる。

【0135】

【0136】

この時、アレイデータは、８ビット整数からなるデータに相応できる。

【0137】

【0138】

この時、複数の関節は、頭、右肩、左肩、右尻、左尻、右膝、左膝、右足、左足に相応する９つの関節に相応できる。

【0139】

【0140】

この時、多角度の２次元ポーズは、２次元座標系上で複数の関節を連結して表現されたデータに相応できる。

【0141】

【0142】

この時、多角度の２次元ポーズを生成するために入力される映像は、専門家によって編集された映像ではなく、ユーザが日常の中で撮影した映像であるので、図１０に示されるように、映像の開始および終了部分に不要なフレーム１０２１、１０２２が含まれている。

【0143】

【0144】

【0145】

【0146】

他の例として、映像の中からユーザの全身が撮影されていない部分を不要なフレームと判断して削除してもよい。

【0147】

【0148】

また、プロセッサ１５２０は、映像を撮影したカメラの姿勢情報に基づいて多角度の２次元ポーズを組み合わせて３次元ポーズを生成する。

【0149】

【0150】

この時、取得された３次元座標をユーザの頭とつま先を基準としてスケーリングして、図７に示されるように、３次元座標上にベクトル値に相応して表すことにより、映像中のユーザの姿勢に相応する３次元ポーズを生成することができる。

【0151】

例えば、３次元座標のスケーリングは、式（１）に相応して行われる。

【0152】

【数5】

【0153】

また、プロセッサ１５２０は、３次元ポーズに基づいて足裏の圧力分布を視覚的に示すヒートマップ（ＨＥＡＴＭＡＰ）を生成し、ヒートマップに基づいて重心点を抽出する。

【0154】

【0155】

【0156】

この時、重心推定モデルは、ディープラーニングベースの人工ニューラルネットワークに相応できる。

【0157】

【0158】

【0159】

この時、ヒートマップは、足裏に加えられる圧力が高いほど、視覚的に強調されて表示される。

【0160】

【0161】

図９は、上記で説明した過程が一目で明確に分かるように示したもので、多角度から撮影された映像に基づいて映像中のユーザの正面イメージと側面イメージそれぞれに対する２次元ポーズを生成し、２次元ポーズを組み合わせて生成された３次元ポーズを用いてヒートマップを生成することができる。

【0162】

また、プロセッサ１５２０は、重心点に基づいて算出された重量バランスを用いてユーザの姿勢に相応する重心情報を提供する。

【0163】

この時、重量バランスは、前後の重量バランスおよび左右の重量バランスを含むことができる。

【0164】

この時、ヒートマップによる出力値を正規化して重心点を抽出することができる。

【0165】

例えば、式（２）のように、ヒートマップにソフトマックス関数の１つであるｗｅｉｇｈｔｅｄＡｒｇｓｏｆｔｍａｘ関数を適用して正規化を行うことにより、重心点（Ｘ^p，Ｙ^p）を出力することができる。

【0166】

【数6】

【0167】

この時、重心点補正値を生成し、重心点補正値に基づいてユーザの左足と右足に相応する左右の重量バランスを算出し、ヒートマップで左足と右足に相応する値をそれぞれ正規化して左足の重心点と右足の重心点を抽出し、それぞれ抽出された重心点を補正して左足と右足それぞれに相応する前後の重量バランスを算出することができる。

【0168】

【0169】

【数7】