特許 5986656 深度カメラを用いた人体の骨格に基づくテコンドープムセの認識及び昇段審査装置とその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5986656

(24)【登録日】2016年8月12日

(45)【発行日】2016年9月6日

(54)【発明の名称】深度カメラを用いた人体の骨格に基づくテコンドープムセの認識及び昇段審査装置とその方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160823BHJP

   A63B 71/06 20060101ALI20160823BHJP

【ＦＩ】

   G06F3/01 570

   A63B71/06 M

【請求項の数】15

【全頁数】12

(21)【出願番号】特願2015-41146(P2015-41146)

(22)【出願日】2015年3月3日

(65)【公開番号】特開2016-81504(P2016-81504A)

(43)【公開日】2016年5月16日

【審査請求日】2015年3月3日

(31)【優先権主張番号】10-2014-0138411

(32)【優先日】2014年10月14日

(33)【優先権主張国】KR

(31)【優先権主張番号】10-2015-0006676

(32)【優先日】2015年1月14日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】515059120

【氏名又は名称】スンチョニャン ユニヴァーシティ インダストリー アカデミー コーペレーション ファウンデーション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ナム，ユン−ヨン

【審査官】 間野 裕一

(56)【参考文献】

【文献】 韓国公開特許第１０−２００３−００４１０３４（ＫＲ，Ａ）

【文献】 特開２０１３−１０１５２９（ＪＰ，Ａ）

【文献】 特開２０１１−９０２７３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０１１３７８９（ＵＳ，Ａ１）

【文献】 Yunyoung Nam, et al.，Data modeling and query processing for distributed surveillance systems，New Review of Hypermedia and Multimedia, 2013, [online]，Taylor & Francis，２０１３年１０月１０日，Vol.19, Nos.3-4，pages 299-327，[2015年12月18日検索], インターネット，ＵＲＬ，http://dx.doi.org/10.1080/13614568.2013.849762

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ − ３／０４８９

Ａ６３Ｂ ７１／０６

(57)【特許請求の範囲】

【請求項1】

深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置において、
深度カメラから入力されたオブジェクトの特徴を取り出す特徴取出し部と、
前記オブジェクトの様々な動作を定義するための動作定義部と、
前記特徴取出し部及び前記動作定義部により得られた情報を用いて前記オブジェクトの行動を認識する動作認識部であって、
前記動作認識部は、前記オブジェクトの動作を分類する動作分類部と、動作をマッチングする動作マッチング部及び前記オブジェクトの動作を確定する動作確定部をさらに備えており、前記動作認識部は、前記オブジェクトの各関節の距離偏差を考慮して動作を認識し、前記オブジェクトの動作は、立っている動作と、横になっている動作と、に大別されるが、前記オブジェクトの動作を区別するためには、脊髄とｘ軸との間の角度を用いる、動作認識部と、
前記動作認識部において確定された前記オブジェクトの動作のつながりの正確度を判定して昇段有無を決定する判定部と、
を備えるテコンドー型の認識及び昇段審査装置。

【請求項2】

前記深度カメラは、深度センサー及びビジュアルセンサーを備えることを特徴とする請求項１に記載のテコンドー型の認識及び昇段審査装置。

【請求項3】

前記動作は、単純な動作、複雑な動作、身体の複数の部分を用いた動作に区別され、前記動作定義部は、動作分解部をさらに備えることを特徴とする請求項１に記載のテコンドー型の認識及び昇段審査装置。

【請求項4】

前記動作認識部は、確定された前記動作を格納するユーザー動作認識データベースを備えることを特徴とする請求項１に記載のテコンドー型の認識及び昇段審査装置。

【請求項5】

前記判定部は、標準型動作データベースをさらに備え、前記深度カメラから受け取った座標を予め格納されている座標値と比較して正確度を測定することを特徴とする請求項１に記載のテコンドー型の認識及び昇段審査装置。

【請求項6】

前記正確度の測定は、前記動作の開始点と前記動作の終点との間に必要な値を動的時間ワープアルゴリズムを用いて整列したデータを用いて求め、且つ、前記座標値及び前記整列したデータを用いて正確度を求めることにより行われることを特徴とする請求項５に記載のテコンドー型の認識及び昇段審査装置。

【請求項7】

前記座標値は、前記オブジェクトのｘ、ｙ、ｚ軸の座標値であることを特徴とする請求項６に記載のテコンドー型の認識及び昇段審査装置。

【請求項8】

深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査方法において、
深度カメラから入力されたオブジェクトの特徴を取り出す特徴取出ステップと、
前記オブジェクトの様々な動作を定義するための動作定義ステップと、
前記特徴取出ステップ及び前記動作定義ステップにより得られた情報を用いて前記オブジェクトの行動を認識する動作認識ステップであって、
前記動作認識ステップは、前記オブジェクトの動作を分類する動作分類ステップと、動作をマッチングする動作マッチングステップ及び前記オブジェクトの動作を確定する動作確定ステップを含み、前記動作認識ステップは、前記オブジェクトの各関節の距離偏差を考慮して動作を認識し、前記オブジェクトの動作は、立っている動作と、横になっている動作と、に大別されるが、前記オブジェクトの動作を区別するためには、脊髄とｘ軸との間の角度を用いる、動作認識ステップと、
前記動作認識ステップにおいて確定された前記オブジェクトの動作のつながりの正確度を判定して昇段有無を決定する判定ステップと、
を含むテコンドー型認識及び昇段審査方法。

【請求項9】

前記深度カメラは、深度センサー及びビジュアルセンサーを備えることを特徴とする請求項８に記載のテコンドー型認識及び昇段審査方法。

【請求項10】

前記動作は、単純な動作、複雑な動作、身体の複数の部分を用いた動作に区別され、前記動作定義ステップは、動作分解ステップをさらに含むことを特徴とする請求項８に記載のテコンドー型認識及び昇段審査方法。

【請求項11】

前記動作認識ステップは、確定された前記動作を格納するユーザー動作認識データベースを備えることを特徴とする請求項８に記載のテコンドー型認識及び昇段審査方法。

【請求項12】

前記判定ステップは、標準型動作データベースをさらに含み、前記深度カメラから座標を受け取って予め格納されている座標値と比較して正確度を測定するステップと、テコンドー型の連続したシーケンスを比較して判断するステップ及び合格基準の充足有無を判断して通報するステップをさらに含むことを特徴とする請求項１１に記載のテコンドー型認識及び昇段審査方法。

【請求項13】

前記正確度を測定するステップにおいては、
前記動作の開始点と前記動作の終点との間に必要な値を動的時間ワープアルゴリズムを用いて整列したデータを用いて求め、且つ、前記座標値及び前記整列したデータを用いて正確度を求めることを特徴とする請求項１２に記載のテコンドー型認識及び昇段審査方法。

【請求項14】

前記座標値は、前記オブジェクトのｘ、ｙ、ｚ軸の座標値であることを特徴とする請求項１３に記載のテコンドー型認識及び昇段審査方法。

【請求項15】

前記合格基準は、前記動作の正確度が６０％〜１００％であることを特徴とする請求項１４に記載のテコンドー型認識及び昇段審査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、キネクト（登録商標）などの深度カメラを用いて人体の骨格を取り出してこれをテコンドー型（プムセ）の認識及び昇段審査に利用するための昇段審査装置とその方法に関する。

【背景技術】

【0002】

人間の動作認識技術は、センサーや特定の装置を人間の身体に取り付けて身体の動きを感知したデータを動作認識に活用する接触方式と、カメラを用いて人間の動作映像を追跡して動作認識情報を取り出す非接触方式と、に大別される。接触方式は、ユーザーの動きを感知可能なセンサーや装置を人間の身体に直接的に取り付けてこのユーザーの動き情報を取得する方式であり、この直接的に取り付けられたセンサーにより比較的に正確な情報が得られるというメリットがあるが、ユーザーがセンサーや装置を着用することを余儀なくされるという不都合がある。これに対し、非接触方式は、ほとんどの場合、人間の動作映像を撮影した後に動き情報を取り出す技術を利用する。

【0003】

接触方式の３Ｄコンテンツの制御方法は、ユーザーの動きを感知可能なセンサーや装置をユーザーが自ら着用して３Ｄコンテンツと相互作用するものである。接触方式のインタフェースの代表例としては、光ファイバ、磁気センサー、ジャイロセンサーを用いたデータグローブ、モーショントラッカーなどが挙げられる。接触方式による入力装置はほとんど商用化されている。例えば、３Ｄ製作されたナビゲーションコンテンツにおけるタッチに基づく３Ｄインタラクション操作インタフェース、任天堂社のＷｉｉ
Ｒｅｍｏｔｅ（登録商標）モーションコントローラインタフェース、ソニー社のＰｌａｙ Ｓｔａｔｉｏｎ（登録商標） Ｍｏｖｅインタフェース、スペースマウスに代え得るＧｌｏｂａｌＦｉｓｈインタフェース、ジョイスティックを弾性体リングを用いて製作してタッチパッドを組み込んだＧｒｏｏｖｅ
Ｐａｄインタフェースなど様々な３Ｄ物理的インタフェースが挙げられる。

【0004】

非接触方式に基づく３Ｄコンテンツの制御方法は、ほとんどの場合、カメラを用いて取得した映像情報から人間の動きを追跡して認識する。非接触方式は、身体部位に特定のマーカーを取り付け、視覚技術を用いて身体の動きを追跡するマーカーに基づく方式と、マーカーを用いないマーカーレス方式と、に大別される。マーカーに基づく方式は、映像のカラー、形状、発光ダイオード（ＬＥＤ）、赤外線などをマーカー属性として予め定めておき、そのマーカーを追跡することにより比較的に手軽に且つ迅速にユーザーの動作を追跡することができる。この方法は、映像の特徴点の取出しを相対的に速やかに行うことができるが、ユーザーは依然として不自然なマーカーを取り付けることを余儀なくされるという欠点がある。マーカーレス方式は、オプティカルフロー、背景分離技法、モーションヒストリーイメージなどの技法を用いてユーザーの動きの方向及び速度などを感知して動きをリアルタイムにて迅速に追跡することができ、また、光源の明るさを追跡して動きを追跡したりする。マーカーレス方式は、カメラの位置、光源の干渉、陰影などの外部要因に脆弱であるという欠点がある。

【0005】

テコンドー昇段審査は、全的に審査委員の主観的な判断により行われ、審査委員個々人の好み、気持ちなど外的要因の影響を受けやすいため一貫した基準がなく、それ故に不満が募っていた。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】大韓民国公開特許公報１０−２０１３−００４４４７３号（２０１０年 ５月 ３日）

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は上述した問題を解決するために案出されたものであり、その目的は、深度カメラを用いて人間の動きに関する深度情報とビジュアル情報とを取り出し、これを用いてテコンドー型を認識し、昇段審査を自動的に行う昇段審査装置を提供することである。

【0008】

本発明の他の目的は、人間のテコンドー動作の昇段基準の符合有無を判断するために標準型動作に関するデータが格納されている標準型動作データベースのデータと深度カメラから受け取った座標値とを比較して正確度を測定し、テコンドー型の連続したシーケンスを比較して合格基準の充足有無を判断する方法を行う昇段審査装置を提供することである。

【課題を解決するための手段】

【0009】

上記の目的を達成するために、本発明の一実施形態による深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置は、深度カメラから入力されたオブジェクトの特徴を取り出す特徴取出し部と、前記オブジェクトの様々な動作を定義するための動作定義部と、前記特徴取出し部及び前記動作定義部により得られた情報を用いて前記オブジェクトの行動を認識する動作認識部と、前記動作認識部において確定された前記オブジェクトの動作の正確度を判定する判定部と、を備えることを特徴とする。

【0010】

また、上記の目的を達成するために、本発明の一実施形態による深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査方法は、深度カメラから入力されたオブジェクトの特徴を取り出す特徴取出ステップと、前記オブジェクトの様々な動作を定義するための動作定義ステップと、前記特徴取出ステップ及び前記動作定義ステップにより得られた情報を用いて前記オブジェクトの行動を認識する動作認識ステップと、前記動作認識部において確定された前記オブジェクトの動作の正確度を判定する判定ステップと、を含むことを特徴とする。

【発明の効果】

【0011】

本発明の一実施形態による深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置とその方法によれば、人間のテコンドー動作に対する正確な型を認識し、昇段審査に際して発生し得る採点及び判定エラーなどを防ぐことができる。

【図面の簡単な説明】

【0012】

【図1】深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置の全体構造図である。

【図2】ＲＧＢ−Ｄセンサーを用いた深度情報及びスケルトンデータを示す図である。

【図3】人間の関節及び取り出されたスケルトンのパラメータを示す図である。

【図4】人間が立って右手を引っ張ったときの各関節の座標からの距離値を示す図である。

【図5】深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置の全体の流れを示す図である。

【図6】本発明の一実施形態による判定ステップの細部的な流れを示す図である。

【発明を実施するための形態】

【0013】

その他の実施形態の具体的な事項は、詳細な説明及び図面に含まれている。

【0014】

本発明の利点及び特徴並びにこれらを達成する方法は、添付図面と結び付けて詳細に後述する実施形態を参照すれば一層明らかになる。しかしながら、本発明は後述する実施形態に何ら限定されるものではなく、異なる様々な形態に実現可能であり、単にこれらの実施形態は本発明の開示を完全たるものにし、且つ、本発明が属する技術分野において通常の知識を有する者に発明の範囲を完全に知らせるために提供されるものであり、本発明は請求項の範囲により定義される。なお、明細書の全体に亘って同じ参照符号は同じ構成要素を示す。

【0015】

図１は、本発明による深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置の全体構造図である。図１に示すように、本発明のテコンドー型及び昇段審査装置は、深度カメラから入力された人体骨格、すなわち、オブジェクトから深度及びビジュアル特徴を取り出す特徴取出し部１１０と、オブジェクトの動作が具体的にどのような動作を示すかを定義するためにオブジェクトの動作の各々を分解する動作分解部１２１を有する動作定義部１２０と、特徴取出し部１１０及び動作定義部１２０に取り出された情報を用いて動作を認識する動作認識部１３０と、を備える。前記オブジェクトの深度特徴は、深度カメラから取り出されたＲＧＢデータとオブジェクトの深度情報とを組み合わせたＲＧＢ−Ｄデータである。また、前記動作認識部１３０は、前記取り出された情報の動作を認識するために動作認識データベース１５０をさらに備える。前記動作認識データベースには、認識されたテコンドー動作に関するデータが格納されるが、そのデータとしては、騎馬立ち、左下段払い、右下段払い、左足前蹴り、右足前蹴りなどのデータが挙げられる。

【0016】

前記動作認識部１３０は、動作マッチング部１３１と、動作分類部１３２と、動作確定部１３３という細部モジュールを備える。前記動作マッチング部１３１は、前記特徴取出し部１１０及び前記動作定義部１２０から取り出された情報と前記動作認識データベース１５０のデータとを比較して動作をマッチングさせ、マッチングされた結果を用いて動作を分類した後に動作を確定する。

【0017】

本発明による深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置は、前記オブジェクトの動作を確定した後に動作のつながり（シーケンス）を判定して昇段有無を決定する判定部１４０を備える。前記判定部は、前記動作認識部１３０において認識された動作のつながりが正確であるか否かを判定するために標準型動作データベース１６０を備える。前記標準型動作データベース１６０には、一般的に知られているテコンドーの有段者の型である太極１章から８章までのデータと、有級者の型である高麗（コリョ）、金剛（クムガン）、太白（テベク）、平原（ピョンウォン）などの型データが格納されている。

【0018】

図２は、ＲＧＢ−Ｄセンサーを介して入力されたデータの深度情報及びスケルトンを示す図である。図２の（ａ）は、ＲＧＢ−Ｄセンサーを介して入力されたＲＧＢカメライメージを示す。前記イメージには、２つのオブジェクト（人間）が現れている。図２の（ｂ）は、図２の（ａ）の２つのオブジェクトに関する深度情報を示すものであり、深度カメラから自動的にセグメントされて表示される。黄色及び紫色のラベルは、セグメントされたオブジェクトを示す。灰色のラベルは、椅子及び床面などの非反射（ｎｏｎ
ＩＲ ｒｅｆｌｅｃｔｉｖｅ）領域を示す。図２の（ｃ）は、深度カメラによって、マーキングされた領域に赤外線を投射して連結された点の反射波の強度を測定し、反射強度を用いて距離を測定し、反射強度の低い点は遠くからきたものと推定し、強度の高い点は前面にいるユーザーからきたものと推定してオブジェクトの主なスケルトンを認識したものを示す。

【0019】

図３は、人間の関節及び取り出されたスケルトンのパラメータを示す図である。深度カメラが人間の骨格を認知する技法を用いて、人間の手首、腕、肩の動きに基づく動作を定義することができる。例えば、「左への移動」とは、右腕を用いて肩線を中心として手首及び肘が左側に移動することをいい、「右への移動」とは、左腕が肩線を基準として手首及び肘が右側に移動することをいい、「上への移動」とは、肩線よりも上に移動することをいい、「下への移動」とは、肩線よりも下に移動することをいい、「拡大」とは、両手が基準よりも外側に移動することをいい、「縮小」とは、両手が基準よりも内側に移動することをいい、「選択」とは、片手を正面に移動することをいう。このように、図３の（ｂ）に示すように、人間のスケルトン間の連結ポイントである関節（ｊｏｉｎｔ）の座標の変化及び角度によって動きを判断することができる。

【0020】

図４は、人間が立って右手を引っ張ったときの関節間の座標に対する距離を示す図である。本発明においては、人間の姿勢と動作のモデリングのために入力シーケンスの移動距離をマッチングするために標準型の連結動作を用いて各関節の距離偏差を考慮する。例えば、上体動作を感知するために、各関節Ｐ_ｉと原点（ｒｅｆｅｒｅｎｃｅ ｐｏｉｎｔ）との間の経時的な距離Ｄ_ｒ，ｉを計算する。左右の肩関節の左側と右側との間の中心点（ｃｅｎｔｅｒ ｐｏｉｎｔ）は、原点を分析して計算する。上体の中心点の各関節の距離偏差を用いて、

【0021】

【数1】

は、下記式（１）のように計算される。

【0022】

【数2】

式中、

【0023】

【数3】

は、左側及び右側の肩の座標値を示し、各関節のｉの座標値

【0024】

【数4】

は、下記式（２）のように計算される。

【0025】

【数5】

式中、

【0026】

【数6】

は、

【0027】

【数7】

となる。
各関節ｉの標準化された座標

【0028】

【数8】

は、下記式（３）のように計算される。

【0029】

【数9】

下半身に対する動作認識も、上記の上体動作を感知するための計算式と同様に計算される。

【0030】

動作は、立っている動作と、横になっている動作と、に大別されるが、これらを区別するためには、脊髄とｘ軸との間の角度Ａ_ｓｐを下記式（４）のように計算する。

【0031】

【数10】

式中、Ｃ^ＵＰ及びＣ^ｌｏｗは、前記の上体中心点の各関節の距離偏差を用いた

【0032】

【数11】

の計算式及び各関節のｉの座標値

【0033】

【数12】

の計算式を用いて求めることができる。お辞儀（ｂｏｗ）などの腰をかがめる動作のためには、２種類のベクトルであるＶ^ｕｐとＶ^ｌｏｗとの間の角度であるＡ_{ｕｐ，ｌｏｗ}を求めればよく、計算式は、下記式（５）の通りである。

【0034】

【数13】

式中、Ｊ^ｓｐは、脊髄を示す。

【0035】

図５は、深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置の全体の流れを示す図である。

【0036】

テコンドー型の認識及び昇段のために昇段審査が始まると、人間は開始位置に立っている必要がある（Ｓ５１０）。開始位置は、深度カメラから少なくとも４０ｃｍ〜５ｍ以内でなければならない。人間が開始位置に立つと、テコンドー型の開始を知らせるメッセージが送られ（Ｓ５２０）、人間は、メッセージを見た時点から当該審査の型及び動作をカメラを見ながら行えばよい。動作を行う人間の型及び動作を正確に認識するために、人間の周りに深度カメラを少なくとも１台から最大４台まで設置する。前記型及び動作を行っている間には、前記深度カメラの深度センサー及びビジュアルセンサーにより人間が行う動作に関する特徴がリアルタイムにてユーザー動作認識データベースに格納され（Ｓ５３０）、前記格納されたデータは、動作の認識のために、動作マッチングステップ（Ｓ５３３）、動作分類ステップ（Ｓ５３４）及び動作確定ステップ（Ｓ５３５）を経て最終的に人間の動作がどのような動作であるかを認識する。

【0037】

前記認識された人間の動作は、型及び動作に関する標準データが格納されている標準型動作データベースのデータと比較して判定するステップ（Ｓ５４０）を経て最終的な合格有無を決定（Ｓ５５０）する。

【0038】

図６は、判定ステップの細部的な流れを示す図である。

【0039】

前記判定ステップＳ５４０は、前記深度カメラから受け取った座標を予め格納されている座標値と比較して正確度を測定するステップ（Ｓ６１０）と、テコンドー型の連続したシーケンスを比較して判断するステップ（Ｓ６２０）と、合格基準の充足有無を判断するステップ（Ｓ６３０）と、をさらに含む。テコンドー型に対する動作のシーケンスを比較して判断するとき、前記動作の正確度の判定は、オブジェクトのｘ、ｙ、ｚ軸の座標値とこれら軸との間の角度を比較して行い、前記判定の結果、動作の正確度が６０％〜１００％である場合に合格を通報する。

【0040】

本発明においては、正確度の測定のために、動的時間ワープ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）アルゴリズムを用いて動作に関するデータ値３９６個を定義している。すなわち、最初に動きがある動作の開始点と動作が終わる終点との間に必要な値を動的時間ワープアルゴリズムを用いて３９６個並べる。前記正確度を測定するステップ（Ｓ６１０）においては、動作の開始点と前記動作の終点との間に必要な値を動的時間ワープアルゴリズムを用いて並べたデータを用いて求め、前記座標値及び前記並べたデータを用いて正確度を求める。

【0041】

本発明は上述した好適な実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々に改良、変更、代替又は付加して実施可能であるということは、当該技術分野における通常の知識を有する者であれば容易に理解できる。このような改良、変更、代替又は付加による実施が以下の添付の請求範囲の範囲に属するものであれば、その技術思想もまた本発明に属するものとみなす。

【図1】

【図5】

【図6】

【図2】

【図3】

【図4】