知財求人 - 知財ポータルサイト「IP Force」
特表2024-508566動的ジェスチャー認識方法、装置、可読記憶媒体及びコンピュータ機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-27
(54)【発明の名称】動的ジェスチャー認識方法、装置、可読記憶媒体及びコンピュータ機器
(51)【国際特許分類】
G06T 7/20 20170101AFI20240219BHJP
G06V 10/82 20220101ALI20240219BHJP
G06T 7/00 20170101ALI20240219BHJP
【ＦＩ】
G06T7/20 300A
G06V10/82
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023576238
(86)(22)【出願日】2021-06-15
(85)【翻訳文提出日】2023-08-29
(86)【国際出願番号】 CN2021100113
(87)【国際公開番号】W WO2022193453
(87)【国際公開日】2022-09-22
(31)【優先権主張番号】202110273657.5
(32)【優先日】2021-03-15
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】523329323
【氏名又は名称】南昌虚擬現実研究院股▲フェン▼有限公司
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】毛 鳳輝
(72)【発明者】
【氏名】郭 振民
(72)【発明者】
【氏名】熊 斌
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096CA02
5L096FA12
5L096FA18
5L096FA54
5L096FA62
5L096FA64
5L096FA66
5L096FA69
5L096GA40
5L096HA11
(57)【要約】
本発明によれば、動的ジェスチャー認識方法、システム、可読記憶媒体及びコンピュータ機器が提供される。当該方法は、トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得することと、第２時刻および第１時刻に対応する最小外接矩形の図形情報に基づき、２つの時刻に対応する最小外接矩形間の中心距離及び傾斜率を計算することと、皮膚検出アルゴリズムにより、対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、第２時刻および第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出することと、中心距離、傾斜率、２つの時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定することと、を含む。本発明によれば、二次元平面上の移動方向しか判定できず、計算過程が複雑であって、ジェスチャー認識のリアルタイム性が低いという従来技術に既存の問題を解決することができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得することと、第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算することであって、前記第１時刻と前記第２時刻が隣り合う時刻であることと、
皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ算出することと、
前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定することと、を含み、
第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算することは、
次式により前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算し、
【数1】
前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定することは、
ｄが閾値ｔｈｒ１以下である場合に、ｕｖｚ座標系において手部の水平方向の運動がないと判定することと、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１＝ｐｃｘ２である場合に、前記ｕｖｚ座標系において手部がｖ方向のみに向かって運動し、運動量ｙｖ＝ｐｃｙ２－ｐｃｙ１であると判定することと、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｙ１＝ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕ方向のみに向かって運動し、運動量ｘｖ＝ｐｃｘ２－ｐｃｘ１であると判定することと、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１≠ｐｃｘ２、ｐｃｙ１≠ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕｖ方向に向かって運動し、ｕ方向に沿う運動の運動成分ｘｖ＝ｐｃｘ２－ｐｃｘ１であり、ｖ方向に沿う運動の運動成分ｙｖ＝ｐｃｙ２－ｐｃｙ１であると判定することと、を含み、
前記ｕｖｚ座標系において手部のｚ方向に沿う運動の運動成分ｚｖ＝ｄｖ２－ｄｖ１である、
ことを特徴とする動的ジェスチャー認識方法。
【請求項2】
トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得することは、ＲＧＢカメラによって撮影された手部を含むＲＧＢ画像を取得することと、
前記ＲＧＢ画像をトレーニング済みの前記手部検出深層学習モデルに入力して、手部対象検出を行うことと、
前記手部対象検出の検出結果から、手部領域における最小外接矩形の図形情報を取得することと、を含み、
前記図形情報は、最小外接矩形の左上隅頂点の座標、矩形の幅および高さを含む、
ことを特徴とする請求項１に記載の動的ジェスチャー認識方法。
【請求項3】
皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出することは、前記ＲＧＢ画像をＹＣｒＣｂ空間に変換し、楕円皮膚検出アルゴリズムにより、最小外接矩形内の皮膚を検出して、前記対象画像から手部皮膚領域を選出することと、
手部皮膚領域とこれに対応するデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値を次式により計算することと、を含み、
【数2】
ことを特徴とする請求項２に記載の動的ジェスチャー認識方法。
【請求項4】
トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得するための検出モジュールと、第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算するための第１計算モジュールであって、前記第１時刻と前記第２時刻が隣り合う時刻である第１計算モジュールと、
皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出するための第２計算モジュールと、
前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定するための判定モジュールと、を備え、
前記第１計算モジュールは、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を次式により計算し、
【数3】
前記判定モジュールは、
ｄが閾値ｔｈｒ１以下である場合に、ｕｖｚ座標系において手部の水平方向の運動がないと判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１＝ｐｃｘ２である場合に、前記ｕｖｚ座標系において手部がｖ方向のみに向かって運動し、運動量ｙｖ＝ｐｃｙ２－ｐｃｙ１であると判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｙ１＝ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕ方向のみに向かって運動し、運動量ｘｖ＝ｐｃｘ２－ｐｃｘ１であると判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１≠ｐｃｘ２、ｐｃｙ１≠ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕｖ方向に向かって運動し、ｕ方向に沿う運動の運動成分ｘｖ＝ｐｃｘ２－ｐｃｘ１であり、ｖ方向に沿う運動の運動成分ｙｖ＝ｐｃｙ２－ｐｃｙ１であると判定し、
前記ｕｖｚ座標系において手部のｚ方向に沿う運動の運動成分ｚｖ＝ｄｖ２－ｄｖ１である、
ことを特徴とする動的ジェスチャー認識装置。
【請求項5】
前記検出モジュールは、ＲＧＢカメラによって撮影された手部を含むＲＧＢ画像を取得し、
前記ＲＧＢ画像をトレーニング済みの前記手部検出深層学習モデルに入力して、手部対象検出を行い、
前記手部対象検出の検出結果から、手部領域における最小外接矩形の図形情報を取得し、
前記図形情報は、最小外接矩形の左上隅頂点の座標、矩形の幅および高さを含む、
ことを特徴とする請求項４に記載の動的ジェスチャー認識装置。
【請求項6】
コンピュータプログラムが記憶された可読記憶媒体であって、当該コンピュータプログラムは、プロセッサによって実行されると、請求項１～３のいずれか１項に記載の方法が実現される、
ことを特徴とする可読記憶媒体。
【請求項7】
メモリと、プロセッサと、メモリに記憶されるとともにプロセッサにて実行されるコンピュータプログラムと、を含むコンピュータ機器であって、前記プロセッサによって前記コンピュータプログラムが実行されると、請求項１～３のいずれか１項に記載の方法が実現される、
ことを特徴とするコンピュータ機器。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２１年３月１５日に提出された、発明名称が「動的ジェスチャー認識方法、装置、可読記憶媒体及びコンピュータ機器」である出願番号２０２１１０２７３６５７．５の先願の優先権を主張しており、上記先願の内容が引用により本明細書に取り込まれる。
【0002】
本発明は、コンピュータの技術分野に関し、特に、動的ジェスチャー認識方法、装置、可読記憶媒体及びコンピュータ機器に関する。
【背景技術】
【0003】
ジェスチャーを認識することは、ヒューマンマシンインタラクションにおける重要な手段である。ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：仮想現実）技術によるヒューマンマシンインタラクションにおいて、仮想ジェスチャーの認識により、ユーザによる音量の大きさへの調節又は他の仮想移動キーへの制御が可能となる。
【0004】
従来技術では、画像をグリッド化し、皮膚検出アルゴリズムにより、各グリッドにおける手部の有無、二値化画像の有無をマーキングして、二値化画像の論理演算を行うことで手部の運動方向を取得することが主であった。当該方法では、二次元平面上の移動方向しか判定できない。また、Ｔｏｗｅｒアルゴリズムに基づくジェスチャー認識の方法もあるが、その計算過程が非常に複雑で、演算量が莫大なものであり、ジェスチャー認識のリアルタイム性が低くなる。
【発明の概要】
【0005】
それに鑑みて、本発明の１つの目的は、二次元平面上の移動方向しか判定できず、計算過程が複雑であって、ジェスチャー認識のリアルタイム性が低いという従来技術に既存の問題を解決するための動的ジェスチャー認識方法を提供することである。
【0006】
本発明は、動的ジェスチャー認識方法を提供し、前記方法では、
トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得することと、
第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算することであって、前記第１時刻と前記第２時刻が隣り合う時刻であることと、
皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出することと、
前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定することと、を含む。
トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得することと、
第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算することであって、前記第１時刻と前記第２時刻が隣り合う時刻であることと、
皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出することと、
前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定することと、を含む。
【0007】
本発明が提供する動的ジェスチャー認識方法では、皮膚検出アルゴリズムにより、デプスマップに結び付けて、隣り合う２つの時刻における手部皮膚領域平均デプス値を取得することによって、手部の運動方向及びその運動量の大きさを立体空間から判定することができ、ジェスチャーの運動を定性・定量で分析することが可能となる。本発明では、第１時刻及び第２時刻に対応する最小外接矩形間の中心距離、傾斜率、および、隣り合う２つの時刻における手部皮膚領域平均デプス値によって、ジェスチャーの判断を行うので、計算過程がより簡単なもので、リアルタイム性がより高いものである。
【0008】
また、本発明における上記動的ジェスチャー認識方法に基づき、以下の付加的な構成要件が含まれてもよい。
【0009】
さらに、トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得することは、
ＲＧＢカメラによって撮影された手部を含むＲＧＢ画像を取得することと、
前記ＲＧＢ画像をトレーニング済みの前記手部検出深層学習モデルに入力して、手部対象検出を行うことと、
前記手部対象検出の検出結果から、手部領域における最小外接矩形の図形情報を取得することとを含み、
前記図形情報は、最小外接矩形の左上隅頂点の座標、矩形の幅および高さを含む。
ＲＧＢカメラによって撮影された手部を含むＲＧＢ画像を取得することと、
前記ＲＧＢ画像をトレーニング済みの前記手部検出深層学習モデルに入力して、手部対象検出を行うことと、
前記手部対象検出の検出結果から、手部領域における最小外接矩形の図形情報を取得することとを含み、
前記図形情報は、最小外接矩形の左上隅頂点の座標、矩形の幅および高さを含む。
【0010】
さらに、第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算することは、
次式により前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算し、
ただし、（ｐｘ１，ｐｙ１）は前記第１時刻に対応する最小外接矩形の左上隅頂点の座標を示し、ｗ１、ｈ１はそれぞれ、前記第１時刻に対応する最小外接矩形の幅と高さを示し、（ｐｃｘ１，ｐｃｙ１）は前記第１時刻に対応する最小外接矩形の中心点の座標を示し、（ｐｘ２，ｐｙ２）は前記第２時刻に対応する最小外接矩形の左上隅頂点の座標を示し、ｗ２、ｈ２はそれぞれ、前記第２時刻に対応する最小外接矩形の幅と高さを示し、（ｐｃｘ２，ｐｃｙ２）は前記第２時刻に対応する最小外接矩形の中心点の座標を示し、ｄは前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離を示し、ｋは前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の傾斜率を示す。
次式により前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算し、
【数1】
【0011】
さらに、皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出することは、
前記ＲＧＢ画像をＹＣｒＣｂ空間に変換し、楕円皮膚検出アルゴリズムにより、最小外接矩形内の皮膚を検出して、前記対象画像から手部皮膚領域を選出することと、
手部皮膚領域とこれに対応するデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値を次式により計算することと、を含み、
ただし、ｄｅ１は前記第１時刻に対応する手部皮膚領域における各画素に対応するデプス値を示し、ｄｖ１は前記第１時刻に対応する手部皮膚領域平均デプス値を示し、ｄｅ２は前記第２時刻に対応する手部皮膚領域における各画素に対応するデプス値を示し、ｄｖ２は前記第２時刻に対応する手部皮膚領域平均デプス値を示し、Ｎは手部皮膚画素点の個数を示す。
前記ＲＧＢ画像をＹＣｒＣｂ空間に変換し、楕円皮膚検出アルゴリズムにより、最小外接矩形内の皮膚を検出して、前記対象画像から手部皮膚領域を選出することと、
手部皮膚領域とこれに対応するデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値を次式により計算することと、を含み、
【数2】
【0012】
さらに、前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定することは、
ｄが閾値ｔｈｒ１以下である場合に、ｕｖｚ座標系において手部の水平方向の運動がないと判定することと、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１＝ｐｃｘ２である場合に、前記ｕｖｚ座標系において手部がｖ方向にのみ向って運動し、運動量ｙｖ＝ｐｃｙ２－ｐｃｙ１であると判定することと、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｙ１＝ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕ方向にのみ向かって運動し、運動量ｘｖ＝ｐｃｘ２－ｐｃｘ１であると判定することと、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１≠ｐｃｘ２、ｐｃｙ１≠ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部の、ｕ方向に沿う運動の運動成分ｘｖ＝ｐｃｘ２－ｐｃｘ１であり、ｖ方向に沿う運動の運動成分ｙｖ＝ｐｃｙ２－ｐｃｙ１であり、ｕｖ平面に沿う運動方向が傾斜率方向ｋであると判定することと、を含み、
前記ｕｖｚ座標系において手部のｚ方向に沿う運動の運動成分ｚｖ＝ｄｖ２－ｄｖ１である。
ｄが閾値ｔｈｒ１以下である場合に、ｕｖｚ座標系において手部の水平方向の運動がないと判定することと、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１＝ｐｃｘ２である場合に、前記ｕｖｚ座標系において手部がｖ方向にのみ向って運動し、運動量ｙｖ＝ｐｃｙ２－ｐｃｙ１であると判定することと、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｙ１＝ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕ方向にのみ向かって運動し、運動量ｘｖ＝ｐｃｘ２－ｐｃｘ１であると判定することと、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１≠ｐｃｘ２、ｐｃｙ１≠ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部の、ｕ方向に沿う運動の運動成分ｘｖ＝ｐｃｘ２－ｐｃｘ１であり、ｖ方向に沿う運動の運動成分ｙｖ＝ｐｃｙ２－ｐｃｙ１であり、ｕｖ平面に沿う運動方向が傾斜率方向ｋであると判定することと、を含み、
前記ｕｖｚ座標系において手部のｚ方向に沿う運動の運動成分ｚｖ＝ｄｖ２－ｄｖ１である。
【0013】
本発明の別の目的は、二次元平面上の移動方向しか判定できず、計算過程が複雑であって、ジェスチャー認識のリアルタイム性が低いという従来技術に既存の問題を解決するための動的ジェスチャー認識装置を提供することである。
【0014】
本発明は、動的ジェスチャー認識装置を提供し、当該装置が、
トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得するための検出モジュールと、
第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算するための第１計算モジュールであって、前記第１時刻と前記第２時刻が隣り合う時刻である第１計算モジュールと、
皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出するための第２計算モジュールと、
前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定するための判定モジュールと、を備える。
トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得するための検出モジュールと、
第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算するための第１計算モジュールであって、前記第１時刻と前記第２時刻が隣り合う時刻である第１計算モジュールと、
皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出するための第２計算モジュールと、
前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定するための判定モジュールと、を備える。
【0015】
本発明が提供する動的ジェスチャー認識装置では、皮膚検出アルゴリズムにより、デプスマップに結び付けて、隣り合う２つの時刻における手部皮膚領域平均デプス値を取得することによって、手部の運動方向及びその運動量の大きさを立体空間から判定することができ、ジェスチャーの運動を定性・定量で分析することが可能となる。本発明では、第１時刻及び第２時刻に対応する最小外接矩形間の中心距離、傾斜率、および、隣り合う２つの時刻における手部皮膚領域平均デプス値によって、ジェスチャーの判断を行うので、計算過程がより簡単なもので、リアルタイム性がより高いものである。
【0016】
また、本発明における上記動的ジェスチャー認識装置に基づき、以下の付加的な構成要件が含まれてもよい。
【0017】
さらに、前記検出モジュールは、
ＲＧＢカメラによって撮影された手部を含むＲＧＢ画像を取得し、
前記ＲＧＢ画像をトレーニング済みの前記手部検出深層学習モデルに入力して、手部対象検出を行い、
前記手部対象検出の検出結果から、手部領域における最小外接矩形の図形情報を取得し、前記図形情報は、最小外接矩形の左上隅頂点の座標、矩形の幅および高さを含む。
ＲＧＢカメラによって撮影された手部を含むＲＧＢ画像を取得し、
前記ＲＧＢ画像をトレーニング済みの前記手部検出深層学習モデルに入力して、手部対象検出を行い、
前記手部対象検出の検出結果から、手部領域における最小外接矩形の図形情報を取得し、前記図形情報は、最小外接矩形の左上隅頂点の座標、矩形の幅および高さを含む。
【0018】
さらに、前記第１計算モジュールは、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を次式により計算し、
ただし、（ｐｘ１，ｐｙ１）は前記第１時刻に対応する最小外接矩形の左上隅頂点の座標を示し、ｗ１、ｈ１はそれぞれ、前記第１時刻に対応する最小外接矩形の幅と高さを示し、（ｐｃｘ１，ｐｃｙ１）は前記第１時刻に対応する最小外接矩形の中心点の座標を示し、（ｐｘ２，ｐｙ２）は前記第２時刻に対応する最小外接矩形の左上隅頂点の座標を示し、ｗ２、ｈ２はそれぞれ、前記第２時刻に対応する最小外接矩形の幅と高さを示し、（ｐｃｘ２，ｐｃｙ２）は前記第２時刻に対応する最小外接矩形の中心点の座標を示し、ｄは前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離を示し、ｋは前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の傾斜率を示す。
【数3】
【0019】
さらに、前記第２計算モジュールは、
前記ＲＧＢ画像をＹＣｒＣｂ空間に変換し、楕円皮膚検出アルゴリズムにより、最小外接矩形内の皮膚を検出して、前記対象画像から手部皮膚領域を選出し、
手部皮膚領域とこれに対応するデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値を次式により計算し、
ただし、ｄｅ１は前記第１時刻に対応する手部皮膚領域における各画素に対応するデプス値を示し、ｄｖ１は前記第１時刻に対応する手部皮膚領域平均デプス値を示し、ｄｅ２は前記第２時刻に対応する手部皮膚領域における各画素に対応するデプス値を示し、ｄｖ２は前記第２時刻に対応する手部皮膚領域平均デプス値を示し、Ｎは手部皮膚画素点の個数を示す。
前記ＲＧＢ画像をＹＣｒＣｂ空間に変換し、楕円皮膚検出アルゴリズムにより、最小外接矩形内の皮膚を検出して、前記対象画像から手部皮膚領域を選出し、
手部皮膚領域とこれに対応するデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値を次式により計算し、
【数4】
【0020】
さらに、前記判定モジュールは、
ｄが閾値ｔｈｒ１以下である場合に、ｕｖｚ座標系において手部の水平方向の運動がないと判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１＝ｐｃｘ２である場合に、前記ｕｖｚ座標系において手部がｖ方向にのみ向って運動し、運動量ｙｖ＝ｐｃｙ２－ｐｃｙ１であると判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｙ１＝ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕ方向にのみ向かって運動し、運動量ｘｖ＝ｐｃｘ２－ｐｃｘ１であると判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１≠ｐｃｘ２、ｐｃｙ１≠ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部の、ｕ方向に沿う運動の運動成分ｘｖ＝ｐｃｘ２－ｐｃｘ１であり、ｖ方向に沿う運動の運動成分ｙｖ＝ｐｃｙ２－ｐｃｙ１であり、ｕｖ平面に沿う運動方向が傾斜率方向ｋであると判定し、
前記ｕｖｚ座標系において手部のｚ方向に沿う運動の運動成分ｚｖ＝ｄｖ２－ｄｖ１である。
ｄが閾値ｔｈｒ１以下である場合に、ｕｖｚ座標系において手部の水平方向の運動がないと判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１＝ｐｃｘ２である場合に、前記ｕｖｚ座標系において手部がｖ方向にのみ向って運動し、運動量ｙｖ＝ｐｃｙ２－ｐｃｙ１であると判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｙ１＝ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕ方向にのみ向かって運動し、運動量ｘｖ＝ｐｃｘ２－ｐｃｘ１であると判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１≠ｐｃｘ２、ｐｃｙ１≠ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部の、ｕ方向に沿う運動の運動成分ｘｖ＝ｐｃｘ２－ｐｃｘ１であり、ｖ方向に沿う運動の運動成分ｙｖ＝ｐｃｙ２－ｐｃｙ１であり、ｕｖ平面に沿う運動方向が傾斜率方向ｋであると判定し、
前記ｕｖｚ座標系において手部のｚ方向に沿う運動の運動成分ｚｖ＝ｄｖ２－ｄｖ１である。
【0021】
本発明は、コンピュータプログラムが記憶された可読記憶媒体をさらに提案し、当該プログラムは、プロセッサによって実行されると、上記方法におけるステップが実現される。
【0022】
本発明は、メモリと、プロセッサと、メモリに記憶されるとともにプロセッサにて実行されるコンピュータプログラムと、を含むコンピュータ機器をさらに提案し、前記プロセッサによって前記コンピュータプログラムが実行されると、上記方法におけるステップが実現される。
【0023】
本発明による付加的な態様及び利点は、以下の説明により開示され、その一部が以下の説明により明らかなものになったり、本発明の実施例から理解されるようになったりすることができる。
【図面の簡単な説明】
【0024】
本発明の実施例における上記及び／又は付加的な態様及び利点は、以下のように、添付図面を参照しながら実施例を説明することによって、明らかなものになり、理解されやすいものになる。
【図1】本発明の一実施例にかかる動的ジェスチャー認識方法のフローチャートである。
【図3】本発明の別の実施例にかかる動的ジェスチャー認識装置の構造ブロック図である。
【発明を実施するための形態】
【0025】
本発明の実施例における目的、技術案および利点をより明瞭なものにするために、以下は、本発明の実施例における添付図面に結び付けて、本発明の実施例における技術案を明瞭かつ完全に説明する。明らかなことに、説明される実施例は、本発明の実施例の一部に過ぎず、全ての実施例ではない。本発明の実施例を基にして、当業者が創造的な労力を払わないという前提の下に得られる全ての他の実施例は、いずれも、本発明の保護範囲内の事項に該当する。
【0026】
図１を参照して、本発明の一実施例で提案されている動的ジェスチャー認識方法では、以下のステップＳ１０１～Ｓ１０４を含む。
【0027】
Ｓ１０１：トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得すること。
【0028】
ここで、図２を参照して、ステップＳ１０１は、
Ｓ１０１１：ＲＧＢカメラによって撮影された手部を含むＲＧＢ画像を取得することと、
Ｓ１０１２：前記ＲＧＢ画像をトレーニング済みの前記手部検出深層学習モデルに入力して、手部対象検出を行うことと、
Ｓ１０１３：前記手部対象検出の検出結果から、手部領域における最小外接矩形の図形情報を取得することと、を含み、
前記図形情報は、最小外接矩形の左上隅頂点の座標、矩形の幅および高さを含む。
Ｓ１０１１：ＲＧＢカメラによって撮影された手部を含むＲＧＢ画像を取得することと、
Ｓ１０１２：前記ＲＧＢ画像をトレーニング済みの前記手部検出深層学習モデルに入力して、手部対象検出を行うことと、
Ｓ１０１３：前記手部対象検出の検出結果から、手部領域における最小外接矩形の図形情報を取得することと、を含み、
前記図形情報は、最小外接矩形の左上隅頂点の座標、矩形の幅および高さを含む。
【0029】
ここで、最小外接矩形の左上隅頂点の座標は（Ｐｘ，Ｐｙ）で示され、矩形の幅と高さはそれぞれ、ｗとｈで示され、単位がｐｉｘとされてもよい。
【0030】
Ｓ１０２：第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算することであって、前記第１時刻と前記第２時刻が隣り合う時刻であること。
【0031】
ただし、例えば、第２時刻をｔ時刻とし、第１時刻をｔ－１時刻とすると、第１時刻が第２時刻よりも１つ前の時刻であってもよい。
【0032】
ここで、次式により前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算する。
ただし、（ｐｘ１，ｐｙ１）は前記第１時刻に対応する最小外接矩形の左上隅頂点の座標を示し、ｗ１、ｈ１はそれぞれ、前記第１時刻に対応する最小外接矩形の幅と高さを示し、単位をｐｉｘとし、（ｐｃｘ１，ｐｃｙ１）は前記第１時刻に対応する最小外接矩形の中心点の座標を示し、（ｐｘ２，ｐｙ２）は前記第２時刻に対応する最小外接矩形の左上隅頂点の座標を示し、ｗ２、ｈ２はそれぞれ、前記第２時刻に対応する最小外接矩形の幅と高さを示し、単位をｐｉｘとし、（ｐｃｘ２，ｐｃｙ２）は前記第２時刻に対応する最小外接矩形の中心点の座標を示し、ｄは前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離を示し、単位をｐｉｘとし、ｋは前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の傾斜率を示す。
【数5】
【0033】
Ｓ１０３：皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出すること。
【0034】
ここで、前記ＲＧＢ画像をＹＣｒＣｂ空間に変換し、楕円皮膚検出アルゴリズムにより、最小外接矩形内の皮膚を検出して、前記対象画像から手部皮膚領域を選出する。
【0035】
手部皮膚領域とこれに対応するデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値を次式により計算する。
ただし、ｄｅ１は前記第１時刻に対応する手部皮膚領域における各画素に対応するデプス値を示し、単位をｍｍとし、ｄｖ１は前記第１時刻に対応する手部皮膚領域平均デプス値を示し、単位をｍｍとし、ｄｅ２は前記第２時刻に対応する手部皮膚領域における各画素に対応するデプス値を示し、単位をｍｍとし、ｄｖ２は前記第２時刻に対応する手部皮膚領域平均デプス値を示し、単位をｍｍとし、Ｎは手部皮膚画素点の個数を示す。
【数6】
【0036】
Ｓ１０４：前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定すること。
【0037】
具体的に、ｄが閾値ｔｈｒ１以下である場合に、ｕｖｚ座標系において手部の水平方向（即ち、ｕｖｚ座標系におけるｕｖ方向）の運動がないと判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１＝ｐｃｘ２である場合に、前記ｕｖｚ座標系において手部がｖ方向にのみ向かって運動し、運動量ｙｖ＝ｐｃｙ２－ｐｃｙ１（単位：ｐｉｘ）であると判定し、減算した結果の正負が運動方向を示し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｙ１＝ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕ方向にのみ向かって運動し、運動量ｘｖ＝ｐｃｘ２－ｐｃｘ１（単位：ｐｉｘ）であると判定し、減算した結果の正負が運動方向を示し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１≠ｐｃｘ２、ｐｃｙ１≠ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部の、ｕ方向に沿う運動の運動成分ｘｖ＝ｐｃｘ２－ｐｃｘ１（単位：ｐｉｘ）であり、ｖ方向に沿う運動の運動成分ｙｖ＝ｐｃｙ２－ｐｃｙ１（単位：ｐｉｘ）であり、ｕｖ平面に沿う運動方向が傾斜率方向ｋであると判定し、
ここで、前記ｕｖｚ座標系において手部のｚ方向に沿う運動の運動成分ｚｖ＝ｄｖ２－ｄｖ１（単位：mm）である。ｚｖが閾値ｔｈｒ２以下のものであれば、ｚ方向における運動がないことが示されるが、ｚｖが閾値ｔｈｒ２よりも大きいものであれば、運動成分がｄｖ２－ｄｖ１で求められ、減算した結果の正負がｚ軸方向における手部の運動方向を示す。
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１＝ｐｃｘ２である場合に、前記ｕｖｚ座標系において手部がｖ方向にのみ向かって運動し、運動量ｙｖ＝ｐｃｙ２－ｐｃｙ１（単位：ｐｉｘ）であると判定し、減算した結果の正負が運動方向を示し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｙ１＝ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕ方向にのみ向かって運動し、運動量ｘｖ＝ｐｃｘ２－ｐｃｘ１（単位：ｐｉｘ）であると判定し、減算した結果の正負が運動方向を示し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１≠ｐｃｘ２、ｐｃｙ１≠ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部の、ｕ方向に沿う運動の運動成分ｘｖ＝ｐｃｘ２－ｐｃｘ１（単位：ｐｉｘ）であり、ｖ方向に沿う運動の運動成分ｙｖ＝ｐｃｙ２－ｐｃｙ１（単位：ｐｉｘ）であり、ｕｖ平面に沿う運動方向が傾斜率方向ｋであると判定し、
ここで、前記ｕｖｚ座標系において手部のｚ方向に沿う運動の運動成分ｚｖ＝ｄｖ２－ｄｖ１（単位：mm）である。ｚｖが閾値ｔｈｒ２以下のものであれば、ｚ方向における運動がないことが示されるが、ｚｖが閾値ｔｈｒ２よりも大きいものであれば、運動成分がｄｖ２－ｄｖ１で求められ、減算した結果の正負がｚ軸方向における手部の運動方向を示す。
【0038】
以上により、本実施例が提供する動的ジェスチャー認識方法では、皮膚検出アルゴリズムにより、デプスマップに結び付けて、隣り合う２つの時刻における手部皮膚領域平均デプス値を取得することによって、手部の運動方向及びその運動量の大きさを立体空間から判定することができ、ジェスチャーの運動を定性・定量で分析することが可能となる。本発明では、第１時刻及び第２時刻に対応する最小外接矩形間の中心距離、傾斜率、および、隣り合う２つの時刻における手部皮膚領域平均デプス値によって、ジェスチャーの判断を行うので、計算過程がより簡単なもので、リアルタイム性がより高いものである。
【0039】
図３を参照して、本発明の別の実施例で提案されている動的ジェスチャー認識装置は、
トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得するための検出モジュールと、
第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算するための第１計算モジュールであって、前記第１時刻と前記第２時刻が隣り合う時刻である第１計算モジュールと、
皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出するための第２計算モジュールと、
前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定するための判定モジュールと、を備える。
トレーニング済みの手部検出深層学習モデルにより、対象画像に対する手部対象検出を行うことによって、手部領域における最小外接矩形の図形情報を取得するための検出モジュールと、
第２時刻に対応する最小外接矩形の図形情報と第１時刻に対応する最小外接矩形の図形情報とに基づき、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を計算するための第１計算モジュールであって、前記第１時刻と前記第２時刻が隣り合う時刻である第１計算モジュールと、
皮膚検出アルゴリズムにより、前記対象画像から手部皮膚領域を選出し、手部皮膚領域とデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値をそれぞれ、算出するための第２計算モジュールと、
前記中心距離、前記傾斜率、前記第２時刻に対応する手部皮膚領域平均デプス値及び前記第１時刻に対応する手部皮膚領域平均デプス値に基づき、ジェスチャー運動方向及びその対応する方向における運動量の大きさを判定するための判定モジュールと、を備える。
【0040】
本実施例では、前記検出モジュールは、
ＲＧＢカメラによって撮影された手部を含むＲＧＢ画像を取得し、
前記ＲＧＢ画像をトレーニング済みの前記手部検出深層学習モデルに入力して、手部対象検出を行い、
前記手部対象検出の検出結果から、手部領域における最小外接矩形の図形情報を取得し、前記図形情報は、最小外接矩形の左上隅頂点の座標、矩形の幅および高さを含む。
ＲＧＢカメラによって撮影された手部を含むＲＧＢ画像を取得し、
前記ＲＧＢ画像をトレーニング済みの前記手部検出深層学習モデルに入力して、手部対象検出を行い、
前記手部対象検出の検出結果から、手部領域における最小外接矩形の図形情報を取得し、前記図形情報は、最小外接矩形の左上隅頂点の座標、矩形の幅および高さを含む。
【0041】
本実施例では、前記第１計算モジュールは、前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離及び傾斜率を次式により計算し、
ただし、（ｐｘ１，ｐｙ１）は前記第１時刻に対応する最小外接矩形の左上隅頂点の座標を示し、ｗ１、ｈ１はそれぞれ、前記第１時刻に対応する最小外接矩形の幅と高さを示し、（ｐｃｘ１，ｐｃｙ１）は前記第１時刻に対応する最小外接矩形の中心点の座標を示し、（ｐｘ２，ｐｙ２）は前記第２時刻に対応する最小外接矩形の左上隅頂点の座標を示し、ｗ２、ｈ２はそれぞれ、前記第２時刻に対応する最小外接矩形の幅と高さを示し、（ｐｃｘ２，ｐｃｙ２）は前記第２時刻に対応する最小外接矩形の中心点の座標を示し、ｄは前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の中心距離を示し、ｋは前記第２時刻に対応する最小外接矩形と前記第１時刻に対応する最小外接矩形の間の傾斜率を示す。
【数7】
【0042】
本実施例では、前記第２計算モジュールは、
前記ＲＧＢ画像をＹＣｒＣｂ空間に変換し、楕円皮膚検出アルゴリズムにより、最小外接矩形内の皮膚を検出して、前記対象画像から手部皮膚領域を選出し、
手部皮膚領域とこれに対応するデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値を次式により計算する。
ただし、ｄｅ１は前記第１時刻に対応する手部皮膚領域における各画素に対応するデプス値を示し、ｄｖ１は前記第１時刻に対応する手部皮膚領域平均デプス値を示し、ｄｅ２は前記第２時刻に対応する手部皮膚領域における各画素に対応するデプス値を示し、ｄｖ２は前記第２時刻に対応する手部皮膚領域平均デプス値を示し、Ｎは手部皮膚画素点の個数を示す。
前記ＲＧＢ画像をＹＣｒＣｂ空間に変換し、楕円皮膚検出アルゴリズムにより、最小外接矩形内の皮膚を検出して、前記対象画像から手部皮膚領域を選出し、
手部皮膚領域とこれに対応するデプスマップとを結び付けて、前記第２時刻に対応する手部皮膚領域平均デプス値と前記第１時刻に対応する手部皮膚領域平均デプス値を次式により計算する。
【数8】
【0043】
本実施例では、前記判定モジュールは、
ｄが閾値ｔｈｒ１以下である場合に、ｕｖｚ座標系において手部の水平方向の運動がないと判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１＝ｐｃｘ２である場合に、前記ｕｖｚ座標系において手部がｖ方向にのみ向かって運動し、運動量ｙｖ＝ｐｃｙ２－ｐｃｙ１であると判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｙ１＝ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕ方向に向かって運動し、運動量ｘｖ＝ｐｃｘ２－ｐｃｘ１であると判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、ｐｃｘ１≠ｐｃｘ２、ｐｃｙ１≠ｐｃｙ２となれば、前記ｕｖｚ座標系における手部の、ｕ方向に沿う運動の運動成分ｘｖ＝ｐｃｘ２－ｐｃｘ１であり、ｖ方向に沿う運動の運動成分ｙｖ＝ｐｃｙ２－ｐｃｙ１であり、ｕｖ平面に沿う運動方向が傾斜率方向ｋであると判定し、
ここで、前記ｕｖｚ座標系における手部のｚ方向に沿う運動の運動成分ｚｖ＝ｄｖ２－ｄｖ１である。
ｄが閾値ｔｈｒ１以下である場合に、ｕｖｚ座標系において手部の水平方向の運動がないと判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｘ１＝ｐｃｘ２である場合に、前記ｕｖｚ座標系において手部がｖ方向にのみ向かって運動し、運動量ｙｖ＝ｐｃｙ２－ｐｃｙ１であると判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、且つｐｃｙ１＝ｐｃｙ２である場合に、前記ｕｖｚ座標系において手部がｕ方向に向かって運動し、運動量ｘｖ＝ｐｃｘ２－ｐｃｘ１であると判定し、
ｄが前記閾値ｔｈｒ１よりも大きく、ｐｃｘ１≠ｐｃｘ２、ｐｃｙ１≠ｐｃｙ２となれば、前記ｕｖｚ座標系における手部の、ｕ方向に沿う運動の運動成分ｘｖ＝ｐｃｘ２－ｐｃｘ１であり、ｖ方向に沿う運動の運動成分ｙｖ＝ｐｃｙ２－ｐｃｙ１であり、ｕｖ平面に沿う運動方向が傾斜率方向ｋであると判定し、
ここで、前記ｕｖｚ座標系における手部のｚ方向に沿う運動の運動成分ｚｖ＝ｄｖ２－ｄｖ１である。
【0044】
本実施例が提供する動的ジェスチャー認識装置では、皮膚検出アルゴリズムにより、デプスマップに結び付けて、隣り合う２つの時刻における手部皮膚領域平均デプス値を取得することによって、手部の運動方向及びその運動量の大きさを立体空間から判定することができ、ジェスチャーの運動を定性・定量で分析することが可能となる。本発明では、第１時刻及び第２時刻に対応する最小外接矩形間の中心距離、傾斜率、および、隣り合う２つの時刻における手部皮膚領域平均デプス値によって、ジェスチャーの判断を行うので、計算過程がより簡単なもので、リアルタイム性がより高いものである。
【0045】
また、本発明の実施例は、コンピュータプログラムが記憶された可読記憶媒体をさらに提案し、当該プログラムは、プロセッサによって実行されると、上記方法におけるステップが実現される。
【0046】
また、本発明の実施例は、メモリと、プロセッサと、メモリに記憶されるとともにプロセッサにて実行されるコンピュータプログラムと、を含むコンピュータ機器をさらに提案し、前記プロセッサによって前記コンピュータプログラムが実行されると、上記方法におけるステップが実現される。
【0047】
フローチャートに示され又は本明細書に他の態様で説明されるロジック及び／又はステップは、例えば、ロジック機能を実現するための実行可能なコマンドのシーケンス図として考えられてもよく、任意のコンピュータ可読媒体において具現化されたことで、コマンド実行システム、装置又は機器（例えば、コンピュータに基づくシステム、プロセッサを含むシステム、又は、コマンド実行システム、装置または機器からコマンドを取得して実行することができる他のシステム）に使用されるように供され、又は、それらのコマンド実行システム、装置または機器と組み合わせて使用されてもよい。本明細書において、「コンピュータ可読媒体」は、コマンド実行システム、装置または機器に使用されるように供され、又は、それらのコマンド実行システム、装置または機器と組み合わせて使用されるためのプログラムを含み、記憶し、通信し、伝播または伝送することができる任意の装置であってもよい。
【0048】
コンピュータ可読媒体は、より具体的な例示（網羅的なリスト）として、１つ以上の配線を有する電気接続部（電子装置）、ポータブルコンピュータディスク（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能なプログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ装置、および、ポータブルコンパクトディスク読取専用メモリ（ＣＤＲＯＭ）が挙げられる。また、コンピュータ可読媒体は、ひいては、前記プログラムがその上に印刷されることができる用紙又は他の適切な媒体であってもよい。なぜかというと、例えば、用紙または他の媒体を光学スキャンすることによって、編集や解釈を引き続き行うことができ、又は、必要に応じて、他の適切な方式による処理を行って前記プログラムを電子方式で取得してから、コンピュータメモリに記憶させてもよいからである。
【0049】
理解すべきなのは、本発明の各部分は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組合せによって実現されてもよい。上記実施形態では、複数のステップまたは方法は、メモリに記憶されるとともに適切なコマンド実行システムによって実行されるソフトウェア又はファームウェアによって実現されてもよい。例えば、ハードウェアによって実現された場合は、他の実施形態と同様に、データ信号に対してロジック機能を発揮するための論理ゲート回路を備えた離散論理回路、適切な論理ゲート回路の組合せを備えた特定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などといった、当分野において公知された技術のうちの１つまたはそれらの組合せによって実現されてもよい。
【0050】
本明細書における説明では、参照用語である「１つの実施例」、「いくつかの実施例」、「例示」、「具体的な例示」、又は、「幾つかの例示」などの表現は、当該実施例または例示に結び付けて説明される具体的な構成要件、構造、材料または特徴が本発明の少なくとも１つの実施例または例示に含まれたことを示すためのものである。本明細書において、上記用語に対する例示的な表現は、必ずしも同一の実施例または例示を指すものであるとは限らない。しかも、説明される具体的な構成要件、構造、材料または特徴は、任意の１つまたは複数の実施例または例示で、適切な方式により組み合わせられてもよい。
【0051】
本発明の実施例は、説明して記載されているが、当業者であれば、本発明の原理及び趣旨から逸脱しない限り、それらの実施例に対して種々の変化、補正、差し替え、及び変形を行うことができ、本発明の範囲が請求項及びその均等物によって限定されると理解できるはずである。
【図1】
【図2】
【図3】
【国際調査報告】