知財求人 - 知財ポータルサイト「IP Force」
&c=P_A1&t=350606607)
&c=P_A1&t=350606607)
&c=P_A1&t=350606607)
&c=P_A1&t=350606607)
&c=P_A1&t=350606607)
&c=P_A1&t=350606607)
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023143768
(43)【公開日】2023-10-06
(54)【発明の名称】骨格情報を画像にマッピングする人物識別方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230928BHJP
G06V 40/10 20220101ALI20230928BHJP
G06N 3/0464 20230101ALI20230928BHJP
【ＦＩ】
G06T7/00 660B
G06T7/00 350C
G06T7/00 510B
G06V40/10
G06N3/0464
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023034593
(22)【出願日】2023-03-07
(31)【優先権主張番号】202210301230.6
(32)【優先日】2022-03-25
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】520208111
【氏名又は名称】▲広▼西大学
(74)【代理人】
【識別番号】100146374
【弁理士】
【氏名又は名称】有馬 百子
(72)【発明者】
【氏名】張 学軍
(72)【発明者】
【氏名】孔 徳宇
(72)【発明者】
【氏名】卜 朝暉
【テーマコード（参考）】
5B043
5L096
【Ｆターム（参考）】
5B043AA09
5B043BA01
5B043EA06
5L096AA09
5L096CA02
5L096DA02
5L096FA12
5L096FA64
5L096FA69
5L096HA08
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】骨格の生体特徴識別を指向とする特徴の適応抽出と人物識別を実現する骨格情報を画像にマッピングする人物識別方法を提供する。
【解決手段】座標の透視問題を解消し、データの正規化を完了させる骨格情報を画像にマッピングする人物識別方法であって、データ前処理と、特徴抽出と、分類との３つのプロセスを含む。データ前処理プロセスでは、数学演算を利用して、Ｋｉｎｅｃｔ３Ｄ関節点座標を定義された関節点座標画素に変換し、関節点座標画素の配置用の「大字型」構造を設計し、生成した関節点座標画像を、骨組みの自然接続関係を保存するために用いる。特徴抽出プロセスでは、畳み込み層を利用して関節点座標画像を抽出する。該プロセスは、骨組みの８方向の静的特徴を効果的に抽出する。分類プロセスでは、全結合層を利用して人物分類を行い、最終的にトレーニングして得られた分類器を人物識別に用いる。
【選択図】図３
【解決手段】座標の透視問題を解消し、データの正規化を完了させる骨格情報を画像にマッピングする人物識別方法であって、データ前処理と、特徴抽出と、分類との３つのプロセスを含む。データ前処理プロセスでは、数学演算を利用して、Ｋｉｎｅｃｔ３Ｄ関節点座標を定義された関節点座標画素に変換し、関節点座標画素の配置用の「大字型」構造を設計し、生成した関節点座標画像を、骨組みの自然接続関係を保存するために用いる。特徴抽出プロセスでは、畳み込み層を利用して関節点座標画像を抽出する。該プロセスは、骨組みの８方向の静的特徴を効果的に抽出する。分類プロセスでは、全結合層を利用して人物分類を行い、最終的にトレーニングして得られた分類器を人物識別に用いる。
【選択図】図３
【特許請求の範囲】
【請求項1】
骨格情報を画像にマッピングする人物識別方法であって、
データ前処理を行うステップ１であって、
式（２）を利用して、Ｋｉｎｅｃｔが追跡した２０個の３Ｄ骨格関節点座標を０－２５５範囲内のＲＧＢ空間にマッピングし、関節点座標画素を得、３Ｄ関節点座標の透視問題を解消し、さらに３Ｄ関節点座標データの正規化を実現し、
Ｋｉｎｅｃｔが追跡した１フレームの骨格データに合計２０個の関節点が含まれ、これにより２０個のＫｉｎｅｃｔ ３Ｄ関節点座標
****32
を得、ここで、iは、２０個の関節点の番号を表し、ここで、各関節点は、ＸＹＺの３つの座標値を含み、
３Ｄ関節点座標の正規化を実現するために、３Ｄ関節点座標を標準色空間に変換し、カラー画像は、一般的にはＲＧＢの３チャンネルから構成され、これにより、関節点座標のＸＹＺデータを式（２）により値範囲０－２５５のカラー画素に変換し、変換後のＸ値は、カラー画素のＲチャンネルに対応し、変換後のＹ値は、カラー画素のＧチャンネルに対応し、変換後のＺ値は、カラー画素のＺチャンネルに対応し、
設変換後のカラー画素を
****33
とし、ここで、
****34
は、ＸＹＺの変換後の数値であり、各点の画素は、１つの関節点の空間座標を特徴付けており、３Ｄ関節点座標からカラー画素への変換を実現し、各点のカラー画素は、１つの関節点の相対空間座標を特徴付けており、
****35
ここで、piは、変換後の画素値を表し、該画素は、関節点の座標情報を含み、関節点座標画素とも呼ばれ、cmaxは、１フレームの骨格関節点における最も大きい座標値を表し、即ち
****36
であり、
cminは、１フレームの骨格データにおける最も小さい座標の数値を表し、即ち
****37
であり、
floorは、切り捨て関数を表し、
元の３Ｄ関節点座標データに透視現象があるが、該透視比率は、線形比率であり、線形マッピングによって解消し、式（２）は、各フレームの３Ｄ関節点座標データの最大差分 (cmax - cmin)を単独に計算することを選択し、そして各フレームの３Ｄ関節点座標に対していずれも該差分を基準として各関節点の標準画素値を計算し、データ透視問題を解消するステップ１と、
関節点座標画像を生成するステップ２であって、
変換で得られた関節点座標画素を利用し、関節点座標画像を設計し、「大字形」画素配置構造を設計し、関節点画素を「大字形」構造に従って配置し、該「大字形」構造は、人体の骨組み自然接続構造を模倣し、これにより９＊９大きさのカラー画像を生成して得、該画像は、関節点座標画像と定義され、該画像における２０個の関節点画素を除いて、他の画素は、いずれも白色画素充填で塗りつぶされており、
取得した関節点座標画像に歩行者の関節点空間座標情報と関節点自然接続関係が記憶され、骨格の完全な骨組み構造が保存されるステップ２と、
畳み込みニューラルネットワークに基づく特徴抽出及び分類を行うステップ３であって、
生成した関節点座標画像に対して、特徴抽出段階では、畳み込みニューラルネットワークを特徴抽出ネットワークとして使用し、最後に２層の全結合層を分類ネットワークとして接合し、逆方向伝播アルゴリズムを使用してネットワークトレーニングを行い、骨格生体識別を指向とする骨格の静的特徴の自動抽出と分類を実現し、
畳み込みニューラルネットワークは、３つの畳み込み層と２つのダウンサンプリング層を有し、最後に２層の全結合ニューラルネットワークを利用して分類を行い、ここで、前の２層の畳み込み層は、４×４大きさの適応フィルタを採用し、テップサイズが１の畳み込みを行い、このような畳み込み方式は、関節点座標画像における隣接する８つの画素点間の関係を効果的に抽出することで、隣接関節点の座標関係を間接的に抽出することができ、
前の２つの畳み込み層の後にいずれも最大プーリング原理に基づく１つのプーリング層が配置され、該層は、抽出した特徴マトリクスを元の１／２に縮小し、特徴抽出ネットワークにおける重要な関節点特徴の重み値がより大きいことを確保することができ、３回目の畳み込みの後、１２０個の骨格の静的特徴を得、Ｓｏｆｔｍａｘ関数を使用して、骨格の生体特徴のトレーニングと分類を実現し、最後層のニューロンの数は、ちょうど身分認証の人数に等しく、改良後のモデルにおける活性化関数は、すべてＲｅＬＵ関数を使用するため、本実験の損失関数は、
****38
ことを特徴とする骨格情報を画像にマッピングする人物識別方法。
データ前処理を行うステップ１であって、
式（２）を利用して、Ｋｉｎｅｃｔが追跡した２０個の３Ｄ骨格関節点座標を０－２５５範囲内のＲＧＢ空間にマッピングし、関節点座標画素を得、３Ｄ関節点座標の透視問題を解消し、さらに３Ｄ関節点座標データの正規化を実現し、
Ｋｉｎｅｃｔが追跡した１フレームの骨格データに合計２０個の関節点が含まれ、これにより２０個のＫｉｎｅｃｔ ３Ｄ関節点座標
****32
を得、ここで、iは、２０個の関節点の番号を表し、ここで、各関節点は、ＸＹＺの３つの座標値を含み、
３Ｄ関節点座標の正規化を実現するために、３Ｄ関節点座標を標準色空間に変換し、カラー画像は、一般的にはＲＧＢの３チャンネルから構成され、これにより、関節点座標のＸＹＺデータを式（２）により値範囲０－２５５のカラー画素に変換し、変換後のＸ値は、カラー画素のＲチャンネルに対応し、変換後のＹ値は、カラー画素のＧチャンネルに対応し、変換後のＺ値は、カラー画素のＺチャンネルに対応し、
設変換後のカラー画素を
****33
とし、ここで、
****34
は、ＸＹＺの変換後の数値であり、各点の画素は、１つの関節点の空間座標を特徴付けており、３Ｄ関節点座標からカラー画素への変換を実現し、各点のカラー画素は、１つの関節点の相対空間座標を特徴付けており、
****35
ここで、piは、変換後の画素値を表し、該画素は、関節点の座標情報を含み、関節点座標画素とも呼ばれ、cmaxは、１フレームの骨格関節点における最も大きい座標値を表し、即ち
****36
であり、
cminは、１フレームの骨格データにおける最も小さい座標の数値を表し、即ち
****37
であり、
floorは、切り捨て関数を表し、
元の３Ｄ関節点座標データに透視現象があるが、該透視比率は、線形比率であり、線形マッピングによって解消し、式（２）は、各フレームの３Ｄ関節点座標データの最大差分 (cmax - cmin)を単独に計算することを選択し、そして各フレームの３Ｄ関節点座標に対していずれも該差分を基準として各関節点の標準画素値を計算し、データ透視問題を解消するステップ１と、
関節点座標画像を生成するステップ２であって、
変換で得られた関節点座標画素を利用し、関節点座標画像を設計し、「大字形」画素配置構造を設計し、関節点画素を「大字形」構造に従って配置し、該「大字形」構造は、人体の骨組み自然接続構造を模倣し、これにより９＊９大きさのカラー画像を生成して得、該画像は、関節点座標画像と定義され、該画像における２０個の関節点画素を除いて、他の画素は、いずれも白色画素充填で塗りつぶされており、
取得した関節点座標画像に歩行者の関節点空間座標情報と関節点自然接続関係が記憶され、骨格の完全な骨組み構造が保存されるステップ２と、
畳み込みニューラルネットワークに基づく特徴抽出及び分類を行うステップ３であって、
生成した関節点座標画像に対して、特徴抽出段階では、畳み込みニューラルネットワークを特徴抽出ネットワークとして使用し、最後に２層の全結合層を分類ネットワークとして接合し、逆方向伝播アルゴリズムを使用してネットワークトレーニングを行い、骨格生体識別を指向とする骨格の静的特徴の自動抽出と分類を実現し、
畳み込みニューラルネットワークは、３つの畳み込み層と２つのダウンサンプリング層を有し、最後に２層の全結合ニューラルネットワークを利用して分類を行い、ここで、前の２層の畳み込み層は、４×４大きさの適応フィルタを採用し、テップサイズが１の畳み込みを行い、このような畳み込み方式は、関節点座標画像における隣接する８つの画素点間の関係を効果的に抽出することで、隣接関節点の座標関係を間接的に抽出することができ、
前の２つの畳み込み層の後にいずれも最大プーリング原理に基づく１つのプーリング層が配置され、該層は、抽出した特徴マトリクスを元の１／２に縮小し、特徴抽出ネットワークにおける重要な関節点特徴の重み値がより大きいことを確保することができ、３回目の畳み込みの後、１２０個の骨格の静的特徴を得、Ｓｏｆｔｍａｘ関数を使用して、骨格の生体特徴のトレーニングと分類を実現し、最後層のニューロンの数は、ちょうど身分認証の人数に等しく、改良後のモデルにおける活性化関数は、すべてＲｅＬＵ関数を使用するため、本実験の損失関数は、
****38
ことを特徴とする骨格情報を画像にマッピングする人物識別方法。
【請求項2】
ステップ１において、式（２）の数学マッピング方法を使用してＫｉｎｅｃｔ ３Ｄ関節点の座標情報をいずれも０－２５５範囲の数値空間に変換する、ことを特徴とする請求項１に記載の骨格情報を画像にマッピングする人物識別方法。
【請求項3】
ステップ１において、方法の適用対象は、Ｋｉｎｅｃｔが追跡した人体３Ｄ骨格情報であり、前処理段階で処理されるのは、Ｋｉｎｅｃｔ機器の戻った３Ｄ骨格座標情報である、ことを特徴とする請求項１に記載の骨格情報を画像にマッピングする人物識別方法。
【請求項4】
ステップ２において、「大字形」構造は、人体の骨組みの自然接続構造を模倣し、「大字型」構造では、「Ｈｅａｄ」関節点座標画素は、「ＳｈｏｕｌｄｅｒＣｅｎｔｅｒ」関節点画素のみに隣接し、残りの関節点座標画素は、すべてこの規則に従って配置される、ことを特徴とする請求項１に記載の骨格情報を画像にマッピングする人物識別方法。
【請求項5】
ステップ２において、生成された９＊９大きさのカラー画像の関節点座標画像全体の色調は、青色に偏っており、原因としては、Ｋｉｎｅｃｔがシナリオにおける人体骨組みを取得する時、人物がカメラから１－４メートルの範囲内に立たなければならないことを要求するため、関節点のＺ座標数値がＸ、Ｙ座標の数値よりもずっと大きく、ＲＧＢ値に変換した後、Ｚ座標数値に対応する青色チャンネルの数値が他の２つの色チャンネルの数値よりもずっと大きくなり、従って、関節点座標画像全体の色調は、青色に偏っている、ことを特徴とする請求項１に記載の骨格情報を画像にマッピングする人物識別方法。
【請求項6】
ステップ３において、畳み込みニューラルネットワークは、４×４大きさの適応フィルタを使用し、テップサイズが１の特徴抽出を行う、ことを特徴とする請求項１に記載の骨格情報を画像にマッピングする人物識別方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報技術分野に属し、特に骨格情報を画像にマッピングする人物識別方法に関する。
【背景技術】
【0002】
身分認証技術は、現在の科学技術社会に不可欠な重要な技術であり、生体特徴（Ｂｉｏｍｅｔｒｉｃｓ）に基づく身分認証技術は、身分認証技術の重要な分野として、公共安全、金融、情報安全、電子情報の分野で広く応用されている。生体特徴の中で、人体骨組みは、独特な生体特徴であり、該特徴は、人体のすべての関節点及び関節点間の骨格接続線から構成され、歩行識別学から分かるように、人体における２４個の重要な関節点を抽出することによって、理論的には大量の骨格データベースに基づいて数億人の身分を認証することができ、該理論は、骨組みに基づく身分認証技術に一定の理論的基礎を提供する。骨組みの生体特徴は、人体と共存する生体特徴として、人が静止して動かなくても、歩行や走行などの姿勢であっても、人体の運動状態の影響を受けず、また、外力の影響を受けず、ほとんどの人の成年後の骨組み構造は、基本的に安定している。これは、骨組みの生体特徴が長時間にわたって外乱に抵抗する能力を持っていることを示している。骨組みは、現在よく使われている身分認証技術と比較すると、本体に隠されにくく、他人に模倣されたり盗まれたりしにくいという利点があり、人の顔、指紋などの生体特徴に比べて、一定の耐偽装性があり、特定のカメラを利用して遠隔で収集することができ、収集された対象の協力を必要としないため、骨組みの生体特徴に基づく身分認証技術――骨格生体識別技術は、徐々に盛んになる。
【0003】
Ｋｉｎｅｃｔは、マイクロソフトが近年発売した３Ｄ体感カメラであり、該カメラは、人体骨格関節点の空間測位と追跡機能を実現し、視野内の歩行者の３Ｄ関節点の座標情報ＸＹＺをリアルタイムに追跡することができる。図１に示すように、現在、第１世代のＫｉｎｅｃｔ（ＫｉｎｅｃｔＶ１）は、歩行者の２０個の関節点の３Ｄ座標情報をリアルタイムに追跡することができ、該２０個の関節点を接続すると、完全な骨組みを得ることができ、これにより、研究者は、Ｋｉｎｅｃｔが追跡した３Ｄ関節点の座標情報を使用して骨格の生体識別研究を徐々に行っている。
【0004】
一般的には、研究者は、骨組みの静的特徴から着手し、骨組みの静的特徴とは、骨格が示す人体測定学の特徴、例えば骨格サイズ、骨格比率、骨格間の自然接続関係であり、該特徴は、人体骨組みの固有属性であり、歩行者の歩行時の姿勢の変化に従って変化することはなく、非常に強い安定性と個体差異性を持っている。しかしながら、現在、わずか２０個のＫｉｎｅｃｔ ３Ｄ関節点座標を利用して、大規模な身分認証を実現するのは非常に困難である。これは、現在の研究方法が２０個のＫｉｎｅｃｔ ３Ｄ関節点座標から少量の骨格の静的特徴しか抽出できず、身分認証の人数が上昇すると、識別の正確率が急激に低下するためであり、従って、該技術のボトルネックを突破するには、より効果的な骨組みの静的特徴の抽出方法を探究し、骨格の生体特徴の識別正確率を高め、身分認証の規模を拡大しなければならない。
【0005】
従来技術１の技術案
技術１：Ｋｉｎｅｃｔセンサに基づく骨格生体識別技術
該技術は、Ｋｉｎｅｃｔ ３Ｄ関節点座標データに対して、骨格に基づく人物識別の研究に用いるために、骨格データの距離特徴の抽出に力を入れ、具体的な方案は、データ導入、特徴抽出と分類の３つの段階に分けることができる。
技術１：Ｋｉｎｅｃｔセンサに基づく骨格生体識別技術
該技術は、Ｋｉｎｅｃｔ ３Ｄ関節点座標データに対して、骨格に基づく人物識別の研究に用いるために、骨格データの距離特徴の抽出に力を入れ、具体的な方案は、データ導入、特徴抽出と分類の３つの段階に分けることができる。
【0006】
図２（ａ）のように、（１）データ導入：導入された骨格データは、ＫｉｎｅｃｔＶ１が収集した３Ｄ骨格シーケンスであり、該シーケンスの各フレームは、１つの完全な骨格であり、各フレーム骨格は、図２（ｂ）に示す２０個の関節点の空間座標ＸＹＺを含む。
（２）特徴抽出：式（１）を利用して左右前腕（ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ｆｏｒｅ ａｒｍ）、左右腕（ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ａｒｍ）、左右大腿（ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ｌｅｇ）、左右下腿（ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ｔｈｉｇｈ）、頸椎（ｃｅｒｖｉｃａｌ ｓｐｉｎｅ）、胸椎（ｔｈｏｒａｃｉｃ ｓｐｉｎｅ）などの１０部分の骨格の距離特徴を計算する。頸椎、胸椎、左右大腿の長さの平均値と左右下腿の長さの平均値を加算して身長特徴を得、以上の１１個の特徴を接続して、人物を特徴づける骨格の静的特徴ベクトルを得る。
（２）特徴抽出：式（１）を利用して左右前腕（ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ｆｏｒｅ ａｒｍ）、左右腕（ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ａｒｍ）、左右大腿（ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ｌｅｇ）、左右下腿（ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ｔｈｉｇｈ）、頸椎（ｃｅｒｖｉｃａｌ ｓｐｉｎｅ）、胸椎（ｔｈｏｒａｃｉｃ ｓｐｉｎｅ）などの１０部分の骨格の距離特徴を計算する。頸椎、胸椎、左右大腿の長さの平均値と左右下腿の長さの平均値を加算して身長特徴を得、以上の１１個の特徴を接続して、人物を特徴づける骨格の静的特徴ベクトルを得る。
【0007】
*****21
【0008】
Ｋｉｎｅｃｔは、関節点空間座標を収集する時に一定のノイズを導入するため、関節点測位が不正確になってしまう。ノイズ骨格を除去するために、該技術は、それぞれ左右前腕、左右腕、左右大腿などの１１個の距離特徴の平均値と分散を計算し、あるフレームの骨格のいずれか２つの静的特徴量の変動が分散を超える場合、該骨格フレームをノイズ骨格とし、直接廃棄し、そうではない場合、該骨格フレーム及びその骨格の静的特徴を残す。
【0009】
（３）Ｋ－近接アルゴリズムに基づく人物識別：Ｋ－近接アルゴリズムは、機械学習の常用アルゴリズムであり、該方法では、分類決定を行うのは、隣接するいくつかの特徴に基づいて分類し、識別速度が速い利点があり、離散的な特徴量の分類に適している。該技術は、Ｋ－近接アルゴリズムを選択して、取得した１１個の骨格の静的特徴に対して人物識別研究を行う。
【0010】
従来技術１の欠点
１．静的特徴を手動で選択する：研究者の主観的な特徴選択と判断に頼りすぎ、人物識別を指向とする特徴の自動及び適応抽出を実現できないとともに、抽出した特徴は、数が少なく、代表性を持たない。
１．静的特徴を手動で選択する：研究者の主観的な特徴選択と判断に頼りすぎ、人物識別を指向とする特徴の自動及び適応抽出を実現できないとともに、抽出した特徴は、数が少なく、代表性を持たない。
【0011】
２．３Ｄ骨格データの透視問題を処理していない：Ｋｉｎｅｃｔが人物骨組みを収集する時、透視作用（近いものが大きく、遠いものが小さい）による、視野内の骨組みの大きさが一致しない問題が存在し、即ち人がＫｉｎｅｃｔから遠い場合、人の骨組み全体が小さく、関節点の距離が小さく、人がＫｉｎｅｃｔに近い場合、人の骨組み全体が大きく、関節点の距離が大きい。そのため、関節点距離を人物の静的特徴とすることは、信頼できない。
【0012】
３．データ正規化を行っていない：Ｋｉｎｅｃｔが追跡した３Ｄ骨格データは、通常、倍精度浮動小数点型で記憶され、記憶されたデータは、同時に正数と負数を含み、関節点間のユークリッド距離を計算することで、データを正数範囲に正規化できるが、データ間の数値差が非常に小さく、識別する人数が増えると、識別する特徴量も多くなり、この場合、Ｋ－近接アルゴリズムを利用して識別すると、アルゴリズムに非常に時間がかかる。
【0013】
４．識別精度が低い：技術１で抽出された特徴データは、小さく、１１個の特徴量しかなく、識別する人数が上がると、識別精度が急激に低下する。
【発明の概要】
【発明が解決しようとする課題】
【0014】
本発明の目的は、上記従来技術に存在する欠点を解決するために、骨格情報を画像にマッピングする人物識別方法を提供し、データ透視現象を解消することで、３Ｄ関節点座標データが環境共変数に耐える能力を高め、骨格フレームの利用可能率を高める、骨格生体識別を目標指向とする骨格の静的特徴の自動抽出方案を提供することである。
【課題を解決するための手段】
【0015】
本発明は、下記技術案を採用する。
【0016】
骨格情報を画像にマッピングする人物識別方法であって、該方法は、主に、
データ前処理、特徴抽出と分類の３つのプロセスに関する。データ前処理段階では、Ｋｉｎｅｃｔ ３Ｄ関節点座標ＸＹＺを数学演算によりＲＧＢ画素に変換し、変換後のＲＧＢ画素を関節点座標画素と定義し、その値範囲が０－２５５であり、該操作は、３Ｄ関節点座標の透視問題を解消するだけではなく、さらに３Ｄ関節点座標データの正規化を実現し、そして、関節点座標画素の配置用の「大字型」構造を設計し、これにより関節点座標画像を生成し、該操作は、人体の完全な骨格構造を保存するだけではなく、さらに関節点間の相対位置を残す。特徴抽出段階では、畳み込みニューラルネットワークを利用して、生成した関節点座標画像に対して特徴抽出を行い、該ネットワークは、畳み込み時に４＊４大きさの畳み込みコアを統一的に採用し、テップサイズが１の畳み込みを行い、このような畳み込み方式は、関節点座標画像における隣接する８つの画素点間の関係を効果的に抽出することで、隣接関節点の座標関係を間接的に抽出することができる。分類と識別段階では、２層の全結合層を分類器として採用し、Ｓｏｆｔｍａｘ関数と組み合わせて分類器のトレーニングと検証を実現する。
データ前処理、特徴抽出と分類の３つのプロセスに関する。データ前処理段階では、Ｋｉｎｅｃｔ ３Ｄ関節点座標ＸＹＺを数学演算によりＲＧＢ画素に変換し、変換後のＲＧＢ画素を関節点座標画素と定義し、その値範囲が０－２５５であり、該操作は、３Ｄ関節点座標の透視問題を解消するだけではなく、さらに３Ｄ関節点座標データの正規化を実現し、そして、関節点座標画素の配置用の「大字型」構造を設計し、これにより関節点座標画像を生成し、該操作は、人体の完全な骨格構造を保存するだけではなく、さらに関節点間の相対位置を残す。特徴抽出段階では、畳み込みニューラルネットワークを利用して、生成した関節点座標画像に対して特徴抽出を行い、該ネットワークは、畳み込み時に４＊４大きさの畳み込みコアを統一的に採用し、テップサイズが１の畳み込みを行い、このような畳み込み方式は、関節点座標画像における隣接する８つの画素点間の関係を効果的に抽出することで、隣接関節点の座標関係を間接的に抽出することができる。分類と識別段階では、２層の全結合層を分類器として採用し、Ｓｏｆｔｍａｘ関数と組み合わせて分類器のトレーニングと検証を実現する。
【発明の効果】
【0017】
本発明の有益な効果は、以下のとおりである。
【0018】
１．現在、骨格生体識別が骨格の静的特徴に対する手動選択に頼りすぎる現状を解決し、本発明は、畳み込みニューラルネットワークを利用して、骨格生体識別を目標指向とする特徴の適応抽出と分類を実現する。
【0019】
２．元のＫｉｎｅｃｔ ３Ｄ骨格データに存在するカメラ透視の影響とデータ正規化の問題を解決し、Ｋｉｎｅｃｔ３Ｄ関節点座標ＸＹＺを式（２）によりＲＧＢ画素に変換し、該操作は、３Ｄ関節点座標の透視問題を解消し、骨格フレームの利用可能率を高めるだけではなく、さらに３Ｄ関節点座標データの正規化を実現する。
【0020】
３．本発明は、関節点座標画素の配置用の「大字型」構造を設計し、これにより関節点座標画像を生成し、該操作は、人体の完全な骨格構造を保存するだけではなく、さらに関節点間の相対位置を維持し、畳み込みニューラルネットワークと組み合わせて特徴抽出を行い、１２０個の骨格の静的特徴を抽出、大幅に特徴数を高め、骨格生体識別の正確率を高めるのに有利である。
【図面の簡単な説明】
【0021】
【図1】Ｋｉｎｅｃｔの骨格追跡の概略図である。
【図2(a)】背景技術１の実現フローチャートである。
【図2(b)】骨格のセグメント化の概略図である。
【図3】本発明の方案のフローチャートである。
【図4】ＫｉｎｅｃｔＶ１が追跡した２０個の３Ｄ骨格関節点の概略図である。
【図5】関節点座標画像である。
【図6】本発明で用いられる畳み込みニューラルネットワークである。
【図7】本発明のステップフローチャートである。
【図8(a)】Ｋｉｎｅｃｔｖ１が人物「Ｃａｓｅｙ」を収集する時の実験環境図である。
【図8(b)】人物「Ｃａｓｅｙ」の２０個の３Ｄ骨格データである。
【図9(a)】Ｋｉｎｅｃｔｖ１が人物「Ｂｏｂ」を収集する時の実験環境図である。
【図9(b)】人物「Ｂｏｂ」の２０個の３Ｄ骨格データである。
【図10】「Ｃａｓｅｙ」の２０個の関節点座標画素である。
【図11】「Ｂｏｂ」の２０個の関節点座標画素である。
【図12】「Ｃａｓｅｙ」の関節点座標画像である。
【図13】「Ｂｏｂ」の関節点座標画像である。
【発明を実施するための形態】
【0022】
本発明の目的、技術案と利点をより明確にするために、以下、本発明における技術案を明確且つ完全に説明する。明らかに、記述された実施例は、本発明の一部の実施例であり、全部の実施例ではない。本発明における実施例に基づき、当業者が創造的な労力を払わない前提で得られたすべての他の実施例は、いずれも本発明の保護範囲に属する。
【0023】
図７に示すように、本発明の骨格情報を画像にマッピングする人物識別方法であり、該方法は、主に
データ前処理、特徴抽出と分類の３つのプロセスに関する。図３に示すように、データ前処理段階では、Ｋｉｎｅｃｔ ３Ｄ関節点座標ＸＹＺを数学演算によりＲＧＢ画素に変換し、変換後のＲＧＢ画素を関節点座標画素と定義し、その値範囲が０－２５５であり、該操作は、３Ｄ関節点座標の透視問題を解消するだけでなく、さらに３Ｄ関節点座標データの正規化を実現し、そして、関節点座標画素の配置用の「大字型」構造を設計し、これにより関節点座標画像を生成し、該操作は、人体の完全な骨格構造を保存するだけではなく、さらに関節点間の相対位置を残す。特徴抽出段階では、畳み込みニューラルネットワークを利用して、生成した関節点座標画像に対して特徴抽出を行い、該ネットワークは、畳み込み時に４＊４大きさの畳み込みコアを統一的に採用し、テップサイズが１の畳み込みを行い、このような畳み込み形態は、関節点座標画像における隣接する８つの画素点間の関係を効果的に抽出することで、隣接関節点の座標関係を間接的に抽出することができる。分類と識別段階では、２層の全結合層を分類器として採用し、Ｓｏｆｔｍａｘ関数と組み合わせて分類器のトレーニングと検証を実現する。
データ前処理、特徴抽出と分類の３つのプロセスに関する。図３に示すように、データ前処理段階では、Ｋｉｎｅｃｔ ３Ｄ関節点座標ＸＹＺを数学演算によりＲＧＢ画素に変換し、変換後のＲＧＢ画素を関節点座標画素と定義し、その値範囲が０－２５５であり、該操作は、３Ｄ関節点座標の透視問題を解消するだけでなく、さらに３Ｄ関節点座標データの正規化を実現し、そして、関節点座標画素の配置用の「大字型」構造を設計し、これにより関節点座標画像を生成し、該操作は、人体の完全な骨格構造を保存するだけではなく、さらに関節点間の相対位置を残す。特徴抽出段階では、畳み込みニューラルネットワークを利用して、生成した関節点座標画像に対して特徴抽出を行い、該ネットワークは、畳み込み時に４＊４大きさの畳み込みコアを統一的に採用し、テップサイズが１の畳み込みを行い、このような畳み込み形態は、関節点座標画像における隣接する８つの画素点間の関係を効果的に抽出することで、隣接関節点の座標関係を間接的に抽出することができる。分類と識別段階では、２層の全結合層を分類器として採用し、Ｓｏｆｔｍａｘ関数と組み合わせて分類器のトレーニングと検証を実現する。
【0024】
（１）データ前処理
式（２）を利用して、Ｋｉｎｅｃｔが追跡した２０個の３Ｄ骨格関節点座標を０－２５５範囲内のＲＧＢ空間にマッピングし、関節点座標画素を得、３Ｄ関節点座標の透視問題を解消し、さらに３Ｄ関節点座標データの正規化を実現する。
式（２）を利用して、Ｋｉｎｅｃｔが追跡した２０個の３Ｄ骨格関節点座標を０－２５５範囲内のＲＧＢ空間にマッピングし、関節点座標画素を得、３Ｄ関節点座標の透視問題を解消し、さらに３Ｄ関節点座標データの正規化を実現する。
【0025】
図４に示すように、Ｋｉｎｅｃｔが追跡した１フレームの骨格のデータに合計２０個の関節点が含まれ、これにより２０個のＫｉｎｅｃｔ３Ｄ関節点座標
***22
を得、ここで、iは、２０個の関節点の番号を表し、表１に示すように、２０個の関節点及びそれらに対応する番号であり、ここで、各関節点は、ＸＹＺの３つの座標値を含む。
***22
を得、ここで、iは、２０個の関節点の番号を表し、表１に示すように、２０個の関節点及びそれらに対応する番号であり、ここで、各関節点は、ＸＹＺの３つの座標値を含む。
【0026】
表１
****23
****23
【0027】
３Ｄ関節点座標の正規化を実現するために、３Ｄ関節点座標を標準色空間に変換する。カラー画像が一般的にＲＧＢの３チャンネルから構成されることが知られており、これにより、関節点座標のＸＹＺデータを式（２）により値範囲０－２５５のカラー画素に変換することができ、変換後のＸ値は、カラー画素のＲチャンネルに対応し、変換後のＹ値は、カラー画素のＧチャンネルに対応し、変換後のＺ値は、カラー画素のＺチャンネルに対応する。変換後のカラー画素を
****24
ＸＹＺの変換後の数値であり、各点の画素は、１つの関節点の空間座標を特徴付けている。３Ｄ関節点座標からカラー画素への変換を実現することができ、各点のカラー画素は、１つの関節点の相対空間座標を特徴付けている。
****25
****24
ＸＹＺの変換後の数値であり、各点の画素は、１つの関節点の空間座標を特徴付けている。３Ｄ関節点座標からカラー画素への変換を実現することができ、各点のカラー画素は、１つの関節点の相対空間座標を特徴付けている。
****25
【0028】
ここで、piは、変換後の画素値を表し、該画素は、関節点の座標情報を含み、関節点座標画素とも呼ばれる。cmaxは、１フレームの骨格関節点における最も大きい座標値を表し、即ち
****26
cminは、１フレームの骨格データにおける最も小さい座標の数値を表し、即ち
****27
floorは、切り捨て関数を表す。
****26
cminは、１フレームの骨格データにおける最も小さい座標の数値を表し、即ち
****27
floorは、切り捨て関数を表す。
【0029】
元の３Ｄ関節点座標データに透視現象があるが、該透視比率は、線形比率であり、線形マッピングによって簡単に解消することができる。式（２）は、各フレームの３Ｄ関節点座標データの最大差分(cmax - cmin)を単独に計算することを選択し、そして各フレームの３Ｄ関節点座標に対していずれも該差分を基準として各関節点の標準画素値を計算し、データ透視の問題を解消する。
【0030】
（２）関節点座標画像の生成
上記の変換で得られた関節点座標画素を利用し、本発明は、完全な骨格情報を記憶する方案――関節点座標画像を設計する。本発明では、「大字形」の画素配置構造を設計し、関節点画素を「大字形」構造に従って配置し、該「大字形」構造は、人体の骨組み自然接続構造を模倣し、例えば頭部関節点が肩中心関節点のみに接続される場合、頭部関節点座標画素は、肩中心関節点画素にのみ隣接し、これにより９＊９大きさのカラー画像を生成して得、該画像は、関節点座標画像と定義され、図５に示すように、該画像における２０個の関節点画素を除いて、他の画素は、いずれも白色画素（画素値２５５）で塗りつぶされている。
上記の変換で得られた関節点座標画素を利用し、本発明は、完全な骨格情報を記憶する方案――関節点座標画像を設計する。本発明では、「大字形」の画素配置構造を設計し、関節点画素を「大字形」構造に従って配置し、該「大字形」構造は、人体の骨組み自然接続構造を模倣し、例えば頭部関節点が肩中心関節点のみに接続される場合、頭部関節点座標画素は、肩中心関節点画素にのみ隣接し、これにより９＊９大きさのカラー画像を生成して得、該画像は、関節点座標画像と定義され、図５に示すように、該画像における２０個の関節点画素を除いて、他の画素は、いずれも白色画素（画素値２５５）で塗りつぶされている。
【0031】
取得した関節点座標画像に歩行者の関節点空間座標情報と関節点自然接続関係が記憶され、骨格の完全な骨組み構造が保存される。例えば関節点「Ｈｅａｄ」の画素値と関節点「Ｎｅｃｋ」の画素値は、人類の骨組みの相対位置を維持し、歩行者の骨格の生体特徴を効果的に特徴づけることができる。以上の図から分かるように、関節点座標画像全体の色調は、青色に偏っており、原因としては、Ｋｉｎｅｃｔがシナリオにおける人体骨組みを取得する時、人物がカメラから１－４メートルの範囲内に立たなければならないことを要求するため、関節点のＺ座標数値がＸ、Ｙ座標の数値よりもずっと大きく、ＲＧＢ値に変換した後、Ｚ座標数値に対応する青色チャンネルの数値が他の２つの色チャンネルの数値よりもずっと大きくなり、従って、関節点座標画像全体の色調は、青色に偏っている。
【0032】
（３）畳み込みニューラルネットワークに基づく特徴抽出及び分類
図６に示すように、本発明は、生成した関節点座標画像に対して、特徴抽出段階では、畳み込みニューラルネットワークを特徴抽出ネットワークとして使用し、最後に２層の全結合層を分類ネットワークとして接合し、方向伝播アルゴリズムを使用してネットワークトレーニングを行い、骨格生体識別を指向とする骨格の静的特徴の自動抽出と分類を実現する。
図６に示すように、本発明は、生成した関節点座標画像に対して、特徴抽出段階では、畳み込みニューラルネットワークを特徴抽出ネットワークとして使用し、最後に２層の全結合層を分類ネットワークとして接合し、方向伝播アルゴリズムを使用してネットワークトレーニングを行い、骨格生体識別を指向とする骨格の静的特徴の自動抽出と分類を実現する。
【0033】
図５に示すように、畳み込みニューラルネットワークは、３つの畳み込み層と２つのダウンサンプリング層を有し、最後に２層の全結合ニューラルネットワークを利用して分類を行う。ここで、前の２層の畳み込み層は、４×４大きさの適応フィルタを採用し、テップサイズが１の畳み込みを行い、このような畳み込み方式は、関節点座標画像における隣接する８つの画素点間の関係を効果的に抽出することで、隣接関節点の座標関係を間接的に抽出することができる。これからわかるように、前の２つの畳み込み層の後にいずれも最大プーリング原理に基づく１つのプーリング層が配置され、該層は、抽出した特徴マトリクスを元の１／２に縮小し、特徴抽出ネットワークにおける重要な関節点特徴の重み値がより大きいことを確保することができる。３回目の畳み込みの後、１２０個の骨格の静的特徴を得ることができる。最後にＳｏｆｔｍａｘ関数を使用して、骨格の生体特徴のトレーニングと分類を実現し、最後層のニューロンの数は、ちょうど身分認証の人数Ｈｕｍａｎ ｎｕｍｂｅｒｓに等しい。改良後のモデルにおける活性化関数は、すべてＲｅＬＵ関数を使用するため、本実験の損失関数は、以下である。
****28
****28
【0034】
上式では、Mは、関節点座標画像トレーニングセットにおける総画像数を表し、mは、トレーニングセットにおける画像の番号を表し、
****29
****29
【0035】
実施例
本発明は、骨格情報を画像にマッピングする人物識別方法を提案し、骨組みの生体特徴に基づく自動人物識別を実現し、本発明では、具体的な人物を例にして実施プロセスについて説明する。
本発明は、骨格情報を画像にマッピングする人物識別方法を提案し、骨組みの生体特徴に基づく自動人物識別を実現し、本発明では、具体的な人物を例にして実施プロセスについて説明する。
【0036】
第１のステップ：具体的な人物のＫｉｎｅｃｔ ３Ｄ骨格情報を入力する
Ｇ３Ｄデータセットは、Ｍｉｃｒｏｓｏｆｔ ＫｉｎｅｃｔＶ１を使用してキャプチャしたゲーム動作のデータセットであり、該データセットは、本物の人物の投球動作の３Ｄ骨格データを収集し、図８（ａ）－図９（ｂ）に示すように、本発明は、それから人物「Ｃａｓｅｙ」と「Ｂｏｂ」の３Ｄ骨格データを本発明の具体的な入力として選択する。
Ｇ３Ｄデータセットは、Ｍｉｃｒｏｓｏｆｔ ＫｉｎｅｃｔＶ１を使用してキャプチャしたゲーム動作のデータセットであり、該データセットは、本物の人物の投球動作の３Ｄ骨格データを収集し、図８（ａ）－図９（ｂ）に示すように、本発明は、それから人物「Ｃａｓｅｙ」と「Ｂｏｂ」の３Ｄ骨格データを本発明の具体的な入力として選択する。
【0037】
上記図８（ｂ）と図９（ｂ）における２０個の３Ｄ骨格データは、本発明の入力である。説明すべきこととして、本実例は、ＫｉｎｅｃｔＶ１が追跡した骨格情報を例にするが、本発明の入力は、ＫｉｎｅｃｔＶ１ ３Ｄ骨格座標データに限定されず、さらにＫｉｎｅｃｔＶ２ ３Ｄ骨格座標データであってもよい。
【0038】
第２のステップ：元の関節点座標データを０～２５５範囲のＲＧＢ数値にマッピングする
ＫｉｎｅｃｔＶ１が追跡した１フレームの骨格のデータに合計２０個の関節点が含まれ、図８（ｂ）に示すように、「Ｃａｓｅｙ」の２０個の関節点座標であり、図９（ｂ）に示すように、「Ｂｏｂ」の２０個の関節点座標であり、２０個のＫｉｎｅｃｔ
****30
ここで、iは、２０個の関節点の番号を表し、図８（ｂ）の「Ｃａｓｅｙ」と図９（ｂ）の「Ｂｏｂ」の関節点座標をいずれも式（２）により０～２５５範囲のＲＧＢ数値にマッピングする。
****31
ＫｉｎｅｃｔＶ１が追跡した１フレームの骨格のデータに合計２０個の関節点が含まれ、図８（ｂ）に示すように、「Ｃａｓｅｙ」の２０個の関節点座標であり、図９（ｂ）に示すように、「Ｂｏｂ」の２０個の関節点座標であり、２０個のＫｉｎｅｃｔ
****30
ここで、iは、２０個の関節点の番号を表し、図８（ｂ）の「Ｃａｓｅｙ」と図９（ｂ）の「Ｂｏｂ」の関節点座標をいずれも式（２）により０～２５５範囲のＲＧＢ数値にマッピングする。
****31
【0039】
【0040】
第３のステップ：「大字型」構造の関節点座標画像を生成する
「大字型」構造を利用して２０個の関節点座標画素を配置して９＊９大きさの関節点座標画像を生成する。関節点座標画像では、２０個の関節点座標画素を除いて、他の画素は、いずれも白色画素であり、ＲＧＢ値は、いずれも２５５である。
「大字型」構造を利用して２０個の関節点座標画素を配置して９＊９大きさの関節点座標画像を生成する。関節点座標画像では、２０個の関節点座標画素を除いて、他の画素は、いずれも白色画素であり、ＲＧＢ値は、いずれも２５５である。
【0041】
上記方法を利用して「Ｃａｓｅｙ」の２０個の関節点座標画素を処理して、以下の図１２に示す「Ｃａｓｅｙ」の関節点座標画像を取得することができる。
【0042】
上記方法を利用して「Ｂｏｂ」の２０個の関節点座標画素を処理して、以下の図１３に示す「Ｃａｓｅｙ」の関節点座標画像を取得することができる。
【0043】
図１２と図１３とを比較してわかるように、関節点座標画像全体の色調は、青色に偏っている。これは、関節点座標画素におけるＢチャンネルの数値がＲ、Ｇチャンネルの数値よりもずっと大きいためである。また、「Ｃａｓｅｙ」と「Ｂｏｂ」の関節点座標画像のいくつかの関節点画素の明るさが異なることがわかり、これは、２人の骨格データに差があるためである。
【0044】
第４のステップ：畳み込みニューラルネットワーク分類器に基づく人物特徴抽出、分類と識別を行う
まず、特徴抽出と分類ネットワークを構築する必要があり、図６に示すように、本発明では、畳み込みニューラルネットワークを特徴抽出ネットワークとして使用し、そして２層の全結合層を分類ネットワークとして接合する。
まず、特徴抽出と分類ネットワークを構築する必要があり、図６に示すように、本発明では、畳み込みニューラルネットワークを特徴抽出ネットワークとして使用し、そして２層の全結合層を分類ネットワークとして接合する。
【0045】
第３のステップで取得した「Ｃａｓｅｙ」と「Ｂｏｂ」の関節点座標画像を利用して畳み込みニューラルネットワークのトレーニング画像セットとテスト画像セットを区分し、トレーニング画像セットにおける関節点座標画像を構築された畳み込みニューラルネットワークに入力して逆方向伝播アルゴリズムを使用してトレーニングを行い、トレーニングされた分類ネットワークを取得して保存する。
【0046】
最後にトレーニングされた分類ネットワークを呼び出してテスト画像セットにおける関節点座標画像に対して人物識別を行い、分類ネットワークは、関節点座標画像が人物「Ｃａｓｅｙ」と人物「Ｂｏｂ」に属する２つの確率を与え、確率が大きいものは、最終的な識別結果である。
【0047】
上記図１２の「Ｃａｓｅｙ」の関節点座標画像をテスト画像として分類ネットワークに入力し、該画像が人物「Ｃａｓｅｙ」に属する確率９６．３２％、人物「Ｂｏｂ」に属する確率１７．１３％を得ることができるため、分類ネットワークの与えた該関節点座標画像は、人物「Ｃａｓｅｙ」の骨組みを特徴づけ、これにより、人物骨格情報により人物身分を識別する目的を実現する。
【0048】
従来技術と比較して、本発明の際立っている点は、以下のとおりである。
【0049】
式（２）を利用して３Ｄ骨格関節点座標からＲＧＢ空間画素値への一対一のマッピングを実現し、元のデータの透視解消とデータ正規化を実現する。
【0050】
「大字形」画素配置方案を設計し、生成した関節点座標画像は、３Ｄ関節点座標データの画像による特徴づけを実現し、該画像による特徴づけ方式は、人体の完全な骨格構造を保存するだけではなく、さらに関節点間の相対位置を維持し、分類能力が強い畳み込みニューラルネットワークと組み合わせると、画像の隣接画素の関係を効果的に抽出することができる。
【0051】
骨格生体識別を目標指向とする特徴の適応抽出と分類を実現する。本発明で紹介された畳み込みニューラルネットワークモデルは、画像識別分野で識別能力が非常に強いＬｅｎｅｔ－５ネットワークを参照し、該ネットワークは、画像識別分野ですでに巨大な成果を収め、本発明は、該ネットワークの強い特徴抽出と分類能力により、関節点座標画像の特徴に基づいて、畳み込みに４＊４の畳み込みコアを選択して使用して、テップサイズが１の畳み込みを行い、関節点座標画素の８方向の特徴抽出を実現する。抽出する特徴数が多く、骨格生体識別の正確率を高めるのに有利である。
【0052】
最後に、以上の実施例は、本発明の技術案を説明するためにのみ使用され、それを制限するのではなく、前述の実施形態を参照して本発明を詳細に説明したが、当業者は、前述の各実施形態に記載された技術案を修正したり、その一部の技術的特徴を同等に置き換えたりすることができ、これらの変更または置換は、それぞれの技術案の本質を本発明の各実施形態の技術案の精神および範囲から逸脱させるものではない。
【図1】
【図2(a)】
【図2(b)】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8(a)】
【図8(b)】
【図9(a)】
【図9(b)】
【図10】
【図11】
【図12】
【図13】
