特許 6932402 スマートホームシーン向けのマルチジェスチャー精分割方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6932402

(24)【登録日】2021年8月20日

(45)【発行日】2021年9月8日

(54)【発明の名称】スマートホームシーン向けのマルチジェスチャー精分割方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210826BHJP

【ＦＩ】

   G06T7/20 300A

【請求項の数】3

【全頁数】12

(21)【出願番号】特願2020-515730(P2020-515730)

(86)(22)【出願日】2019年6月26日

(65)【公表番号】特表2021-517281(P2021-517281A)

(43)【公表日】2021年7月15日

(86)【国際出願番号】CN2019092970

(87)【国際公開番号】WO2020173024

(87)【国際公開日】20200903

【審査請求日】2020年3月13日

(31)【優先権主張番号】201910140430.6

(32)【優先日】2019年2月26日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】518371489

【氏名又は名称】南京郵電大学

【氏名又は名称原語表記】ＮＡＮＪＩＮＧ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＰＯＳＴＳ ＡＮＤ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(72)【発明者】

【氏名】張 暉

(72)【発明者】

【氏名】張 迪

(72)【発明者】

【氏名】趙 海涛

(72)【発明者】

【氏名】孫 雁飛

(72)【発明者】

【氏名】朱 洪波

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 中国特許出願公開第１０９１９０４９６（ＣＮ，Ａ）

【文献】 特開２００１−０５６８６１（ＪＰ，Ａ）

【文献】 特開平１１−１６７４５５（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０６５５７１７３（ＣＮ，Ａ）

【文献】 大野 健太朗、弘畑 和秀，“Ｗｅｂカメラを用いた身振り認識によるユーザインタフェースの実現”，情報処理学会研究報告，日本，社団法人情報処理学会，2006年05月19日，Vol.2006, No.52，pp.57-61

【文献】 根本 祐也、中島 克人，“複雑背景下における単眼カメラによるハンドジェスチャの認識”，ＦＩＴ２０１３ 第１２回情報科学技術フォーラム 講演論文集 第３分冊 査読付き論文・一般論文，日本，一般社団法人情報処理学会、社団法人電子情報通信学会，2013年08月20日，pp.113-114

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０６Ｆ ３／０１，３／０４−３／０４８１

(57)【特許請求の範囲】

【請求項1】

以下のステップを含むことを特徴とするスマートホームシーン向けのマルチジェスチャー精分割方法であって、
Ｓ１）ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る；
Ｓ２）前処理後の画像Ｉｍａｇｅ１に対して肌色分割を行い、処理後の画像Ｉｍａｇｅ４を得る；
Ｓ３）画像Ｉｍａｇｅ４において画像の最小結合矩形ＭＢＲを構築する；
Ｓ４）画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する；
Ｓ５）手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する；
Ｓ４における前記非ジェスチャーエリア除外基準は、具体的に以下を含むことを特徴とするスマートホームシーン向けのマルチジェスチャー精分割方法。
１）６４０＊４８０の画像サイズが取得された場合、外接矩形の面積が２５００未満である場合、非ジェスチャーエリアとして認定される；
２）外接矩形の幅に対する長さの比が５より大きい場合、非ジェスチャーエリアとして認定される；
３）外接矩形内の画素値２５５の点の数が矩形面積に対する比が０．８より大きいか、０．４より小さい場合、非ジェスチャーエリアとして認定される。

【請求項2】

以下のステップを含むことを特徴とするスマートホームシーン向けのマルチジェスチャー精分割方法であって、
Ｓ１）ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る；
Ｓ２）前処理後の画像Ｉｍａｇｅ１に対して肌色分割を行い、処理後の画像Ｉｍａｇｅ４を得る；
Ｓ３）画像Ｉｍａｇｅ４において画像の最小結合矩形ＭＢＲを構築する；
Ｓ４）画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する；
Ｓ５）手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する；
Ｓ５における前記手の形状特徴に基づく腕冗長性除去アルゴリズムは、具体的に、画像Ｉｍａｇｅ６に対して、幅の最大値およびその対応する座標を親指手根中手関節とする手の幅分布ヒストグラムと、手の勾配分布ヒストグラムとを統計することを含み、
手首の分割線の座標は、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることを特徴とするスマートホームシーン向けのマルチジェスチャー精分割方法。

【請求項3】

ステップＳ５における前記手首の分割線の座標は、現在点の勾配が０で、次の点の勾配が０以上であることを決定基準として、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることを特徴とする請求項２に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマート認識方法に係り、具体的に、スマートホームの分野に属するスマートホームシーン向けのマルチジェスチャー精分割方法に係る。

【背景技術】

【0002】

ジェスチャー分割は、複雑な画像背景からジェスチャー情報を分割する技術を指す。ジェスチャー分割の質（正確性、完全性、冗長性）の良否は、ジェスチャーに基づく人間対コンピュータインタラクションシステムの識別および検出精度に重要な影響を及ぼす。

【0003】

ホームシーン向けのリアルタイムのジェスチャー分割は、より複雑である。ユーザのジェスチャーは、より複雑で多様であるだけでなく、背景、ライティングおよび撮影角度などの要因の影響を受けやすい。現在のコンピュータビジョンの分野では、適応可能なジェスチャー分割アルゴリズムは存在しない。現在の代表的なジェスチャー分割方法のいくつかは、主に外部デバイスに依存するか、またはユーザの手に特殊な処理を必要とする。これらの技術は、人間の活動範囲を制限するとともに、ハードウェア設備のセットアップ、製造コスト、およびそれらの高い費用などの理由から、実用化において大規模な普及をもたらすことは困難である。

【0004】

技術開発に対応して、現在の市場では、ジェスチャー分割機能を有するスマートホーム機器は、まれであり、ほとんどのジェスチャー分割製品は、皮膚の分割に留まり、ジェスチャーに対する分割を完全かつ正確に行うことができず、分割効果は理想的ではない。また、これらの機器は、クラウドサーバに依存したり、ネットワークに依存しすぎたりすることが多く、ネットワークがない場合には動作できない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

以上をまとめると、従来技術を基に新規なスマートホームシーン向けのマルチジェスチャー精分割方法を提案し、ジェスチャー分割技術のスマートホーム機器における大規模の普及と応用を実現することは、現在の業者にとって解決を急がれる問題となっている。

【課題を解決するための手段】

【0006】

本発明の目的は、従来技術に存在する以上の不備に鑑み、スマートホームシーン向けのマルチジェスチャー精分割方法を提案することにある。当該方法は、以下のステップを含む。
Ｓ１）ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る；
Ｓ２）前処理後の画像Ｉｍａｇｅ１に対して肌色分割を行い、処理後の画像Ｉｍａｇｅ４を得る；
Ｓ３）画像Ｉｍａｇｅ４において画像の最小結合矩形ＭＢＲを構築する；
Ｓ４）画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する；
Ｓ５）手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する。

【0007】

Ｓ１における前記前処理は、少なくとも、ジェスチャー画像ノイズ除去、ジェスチャー画像２値化およびモルフォロジー処理を含むことが好ましい。

【0008】

Ｓ２は、具体的に以下のステップを含むことが好ましい。
Ｓ２１）Ｉｍａｇｅ１画像をＲＧＢ色空間からＹＣｂＣｒ色空間に変換して画像Ｉｍａｇｅ２を得て、さらにグローバル固定閾値２値化法により画素毎に閾値と比較して２値化画像Ｉｍａｇｅ３を得る；
Ｓ２２）２値化画像Ｉｍａｇｅ３の穴と隙間をモルフォロジーにおける膨張腐食演算を用いて除去し、２値化画像をメディアンフィルタを用いて処理し、画像Ｉｍａｇｅ４を得る。

【0009】

Ｓ３は、具体的に、Ｓ２で得られた２値化ジェスチャー画像の輪郭情報をリストｃｏｎｔｏｕｒｓに格納し、座標情報から外接矩形の４つの頂点の座標をそれぞれｔｏｐ＿ｌｅｆｔ、ｔｏｐ＿ｒｉｇｈｔ、ｂｏｔｔｏｍ＿ｌｅｆｔ、ｂｏｔｔｏｍ＿ｒｉｇｈｔとして得るステップを含むことが好ましい。

【0010】

Ｓ４における前記非ジェスチャーエリア除外基準は、具体的に以下を含むことが好ましい。
１）６４０＊４８０の画像サイズが取得された場合、外接矩形の面積が２５００未満である場合、非ジェスチャーエリアとして認定される；
２）外接矩形の幅に対する長さの比が５より大きい場合、非ジェスチャーエリアとして認定される；
３）外接矩形内の画素値２５５の点の数が矩形面積に対する比が０．８より大きいか、０．４より小さい場合、非ジェスチャーエリアとして認定される。

【0011】

Ｓ５における前記手の形状特徴に基づく腕冗長性除去アルゴリズムは、具体的に、画像Ｉｍａｇｅ６に対して、幅の最大値およびその対応する座標を親指手根中手関節とする手の幅分布ヒストグラムと、手の勾配分布ヒストグラムとを統計することを含み、手首の分割線の座標は、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることが好ましい。

【0012】

ステップＳ５における前記手首の分割線の座標は、現在点の勾配が０で、次の点の勾配が０以上であることを決定基準として、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることが好ましい。

【発明の効果】

【0013】

従来技術に比較し、本発明の利点は、主に以下である。

【0014】

本発明によるスマートホームシーン向けのマルチジェスチャー精分割方法は、ジェスチャーをローカルでインテリジェントに分割することができ、ネットワークに依存しすぎるという従来技術の不備を克服し、本方法を適用する装置がネットワーク接続なしでも正常に動作することができる。

【0015】

本発明は、ジェスチャーピクチャーをＲＧＢ色空間からＹＣｂＣｒ色空間に変換し、さらにグローバル固定閾値２値化方法によって、肌色の分割を完了する。そして、非ジェスチャーエリアを除外して、ジェスチャー輪郭のＭＢＲとＭＡＢＲを構築し、ジェスチャー画像を回転させて手の幅を統計し、幅分布ヒストグラムと幅に基づく勾配分布ヒストグラムを構築し、手首の分割線を決定する。最後に、腕の冗長性の除去を完了し、完全なジェスチャー画像が得られる。本発明は、ホーム環境画像内のジェスチャーを迅速かつ正確に分割することを可能にし、ジェスチャーに基づく人間対コンピュータインタラクションシステムの使用の快適さを著しく向上させ、ユーザ満足度を向上させる。

【0016】

また、本発明は、当該分野における他の関連課題の参考になれるものであり、これに基づいて拡張を行うことができ、他のジェスチャー分割に関する技術案に応用することができ、十分に広い応用範囲を有する。

【図面の簡単な説明】

【0017】

以下、本発明の具体的な実施形態について、実施例の図面を参照して、本発明の技術的思想を理解、把握しやすくするために、さらに詳細に説明する。

【0018】

【図1】本発明による、ジェスチャー画像に対して肌色分割を行うステップのフローチャートである。

【図2】本発明による、ジェスチャー画像に対して腕冗長性の除去を行うステップのフローチャートである。

【図3】本発明による、スマートホームシーン向けのマルチジェスチャー精分割方法の全体的なステップのフローチャートである。

【発明を実施するための形態】

【0019】

本発明は、スマートホームシーン向けのマルチジェスチャー精分割方法を開示する。前記方法は、ＹＣｂＣｒ色空間の肌色分割アルゴリズム、非ジェスチャーエリア除外基準、および手の形状特徴に基づく腕冗長性除去アルゴリズムに基づく。本発明の方法は、以下のステップを含む。Ｓ１）ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る；Ｓ２）前処理後の画像Ｉｍａｇｅ１に対して肌色分割を行い、処理後の画像Ｉｍａｇｅ４を得る；Ｓ３）画像Ｉｍａｇｅ４において画像の最小結合矩形ＭＢＲを構築する；Ｓ４）画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する；Ｓ５）手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する。

【0020】

以上のステップの表現から明らかなように、本発明の方法は、主に肌色分割と腕冗長性の除去の２つの大きな側面を含む。

【0021】

以下、図面を参照して本発明の方法を具体的に説明する。図１は、本発明の実施例によるジェスチャー画像の肌色分割方法を示す。当該方法のステップとして、主に、以下のステップを含む。

【0022】

Ｓ１において、ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る。

【0023】

ジェスチャー画像は、取得時に不可避的にノイズの干渉が存在し、ジェスチャー画像の分割および認識に大きな影響を与えるため、ジェスチャー分割前の画像に対する前処理が特に重要となる。前記前処理は、少なくとも、ジェスチャー画像ノイズ除去、ジェスチャー画像２値化、およびモルフォロジー処理を含む。

【0024】

ここで、ジェスチャー画像ノイズ除去は、主に、線形フィルタに属するガウシアンフィルタを使用する。フィルタ窓の画素の値は、テンプレート中心からの距離が増大するにつれて減少するガウス分布に従い、２次元ガウシアン関数が以下である。

【0025】

【数1】

【0026】

ここで、ｈ（ｘ，ｙ）は、ガウシアンフィルタにおける（ｘ，ｙ）座標上の値を表し、σは、標準偏差を表す。

【0027】

Ｓ２１において、Ｉｍａｇｅ１画像をＲＧＢ色空間からＹＣｂＣｒ色空間に変換して画像Ｉｍａｇｅ２を得て、さらにグローバル固定閾値２値化法により画素毎に閾値と比較して２値化画像Ｉｍａｇｅ３を得る。

【0028】

ＹＣｂＣｒ色空間は、ビデオ画像およびデジタル画像においてよく使用される色空間である。画像の明暗を表し、０〜２５５の範囲から値を取るＹ（ｌｕｍａ）成分と、ＲＧＢ色空間における青色成分とＲＧＢ色空間における輝度値の差を表し、０〜２５５の範囲から値を取るＣｂ成分と、ＲＧＢ色空間における赤色成分の値とＲＧＢ色空間における輝度の差を表し、０〜２５５の範囲から値を取るＣｒ成分との３つの成分を含む。ここで、Ｃｂ成分とＣｒ成分は、互いに独立しており、Ｙ成分と効率よく分離することができる。

【0029】

ＲＧＢ色空間からＹＣｂＣｒ色空間への変換式は、以下の通りである。

【0030】

【数2】

【0031】

以下のマトリックス形式へ変換される。

【0032】

【数3】

【0033】

上記ステップで説明した画素毎の閾値との比較は、具体的に、人の肌色のＹ、Ｃｂ、Ｃｒ値が「０：２５６，１３０：１７４，７７：１２８」程度であるとして、画像中の画素のＹＣｂＣｒ値がこの区間に属する場合にはその画素値を２５５とし、そうでない場合には０として、２値化画像Ｉｍａｇｅ３を得ることができる。

【0034】

Ｓ２２において、２値化画像Ｉｍａｇｅ３の穴と隙間をモルフォロジーにおける膨張腐食演算を用いて除去し、２値化画像をメディアンフィルタを用いて処理し、画像Ｉｍａｇｅ４を得る。

【0035】

ジェスチャー画像は、２値化処理を経ることにより、得られる画像に、隙間や欠け等が生じることがある。モルフォロジーの役割は、孤立した小さな点、バリの除去、小さな穴の充填、小さな隙間の埋め込み等であり、モルフォロジー操作は主に以下の４種類がある。
１、膨張。モルフォロジー演算における膨張演算過程は、物体が接触した背景点をその物体に統合するものである。その結果、対象物の面積が大きくなる。これは、対象領域に存在する空洞や隙間を埋めることを意味する。
２、腐食。モルフォロジー演算における腐食演算過程は、物体の全ての境界点を消去するものである。その結果、対象物の面積が小さくなる。これは、対象領域に存在する、意味を持たない小さな孤立点を除去することを意味する。
３、開演算。モルフォロジー演算における開演算過程は、まず２値化画像に対して腐食演算を行い、その後に膨張演算を行う。その意味は、目標領域に存在する小さな孤立点やバリ等の無意味な点を消去（腐食演算）し、空洞や隙間を埋める（膨張演算）ことである。
４、閉演算。モルフォロジー演算における閉演算過程は、まず２値化画像に対して膨張演算を行った後、腐食演算を行う。その意味は、対象領域に存在する空洞や隙間を埋める（膨張演算）こと、小さな孤立点やバリなどの無意味な点を消去する（腐食演算）ことである。

【0036】

前記メディアンフィルタは、非線形フィルタに属し、主に、現在点の周辺画素点の統計およびソートをし、その中央値を現在点の画素値として抽出することで、孤立したノイズ点を除去する。主にメディアンフィルタでジェスチャー２値化画像エッジのバリを平滑化し、そのエッジを平滑化し、手首の分割線の探索に与える影響を低減する。

【0037】

図２は、本発明の実施例によるジェスチャー画像に対し腕冗長性の除去を行う方法であり、当該方法のステップとして、主に以下のステップを含む。

【0038】

Ｓ３において、ジェスチャー画像の最小結合矩形ＭＢＲを構築する。

【0039】

画像Ｉｍａｇｅ４においてジェスチャー画像の最小結合矩形ＭＢＲを構築し、その頂点座標情報は、以下である。

【0040】

【数4】

【0041】

ＭＢＲを基に画像のＭＡＢＲを構築し、輪郭が既知であることを前提に、Ｇｒａｈａｍスキャン法によりジェスチャー輪郭の凸包を求め、図形をそのＭＢＲの中心を原点としてその９０度の範囲内でβ尺度で等間隔に回転させることができる。回転角度に応じたパターンのＭＢＲ面積を同時に記録すると、記録の中の最小のＭＢＲ面積に対応するＭＢＲは、求められるＭＡＢＲとなる。

【0042】

Ｓ４において、画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する。

【0043】

前記非ジェスチャーエリア除外基準は、具体的に以下を含む。
１）６４０＊４８０の画像サイズが取得された場合、外接矩形の面積が２５００未満である場合、非ジェスチャーエリアとして認定される；
２）外接矩形の幅に対する長さの比が５より大きい場合、非ジェスチャーエリアとして認定される；
３）外接矩形内の画素値２５５の点の数が矩形面積に対する比が０．８より大きいか、０．４より小さい場合、非ジェスチャーエリアとして認定される。

【0044】

その後、２値化ジェスチャー画像を反時計回りに回転させると、上記ステップでＭＡＢＲに対応する回転角度が得られ、ジェスチャー画像を反時計回りに回転させると、ジェスチャー方向を垂直にすることができる。

【0045】

Ｓ５において、手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する。

【0046】

Ｓ５における前記手の形状特徴に基づく腕冗長性除去アルゴリズムは、具体的に、画像Ｉｍａｇｅ６に対して、幅の最大値およびその対応する座標を親指手根中手関節とする手の幅分布ヒストグラムと、手の勾配分布ヒストグラムとを統計することを含み、手首の分割線の座標は、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定される。

【0047】

前記幅ヒストグラムの計算手順は以下の通りである。
rows = image.shape[0]
x_label = []
width = []
step = 3
for index in range(step,rows,step):
x_label.append(index)
width.appned(sum(sum(binary[index-3:index]/255))/3)

【0048】

前記勾配ヒストグラムの算出手順は以下の通りである。
gradient = [0]
for index in range(1,len(width)):
gradient.append(width[index]-width[index-1])

【0049】

その後、手首の分割線を決定する。手の幅分布ヒストグラムにおけるジェスチャー幅の最大値およびその対応する座標を親指手根中手関節であるため、手首の分割線の座標として、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定され、その決定方法として、現在点の勾配が０で、次の点の勾配が０以上である。

【0050】

最後に、腕冗長性の除去を完了する。上記ステップでは、手首の分割線の座標情報が得られ、手首分割線より下の画素値を０、すなわち上部ジェスチャー画像のみを残して、腕部分を除去する。

【0051】

以下、図３を参照して、スマートホームシーン向けのマルチジェスチャー精分割方法の具体的な実施例を提案する。当該実施例は、主に以下のステップを含む。

【0052】

ステップＳ３０１において、画像を取得する。

【0053】

主に２Ｄカメラによってホーム画像を取得する。

【0054】

ステップＳ３０２において、取得された画像に対して前処理を行う。

【0055】

画像に対して、フィルタ処理、モルフォロジー処理、２値化処理等を行う。

【0056】

ステップＳ３０３において、画像に対して肌色分割を行う。

【0057】

ＹＣｂＣｒ色空間においてグローバル固定閾値法を用いて２値化処理を行い、各領域の輪郭情報を８近傍法により取得する。

【0058】

ステップＳ３０４において、非ジェスチャーエリアをフィルタリングする。

【0059】

ステップＳ３０３で切り出されたジェスチャー画像に対して非ジェスチャーエリアフィルタリングを行うことによって、まず、ジェスチャー画像のＭＢＲを構築し、条件に適合しないエリアをフィルタリングし、条件に適合するものは、ジェスチャー分割処理を行う。

【0060】

ステップＳ３０５において、画像に対してジェスチャー分割を行う。

【0061】

ジェスチャー画像ＭＢＲを基にＭＡＢＲを構築し、ジェスチャー画像の偏向角度を取得し、手の幅分布ヒストグラムと手の勾配分布ヒストグラムを解析することにより、ジェスチャーの手首分割線を取得し、腕エリアをフィルタリングする。

【0062】

ステップＳ３０６において、完全なジェスチャー画像を取得する。

【0063】

ジェスチャー分割によって、０から複数のジェスチャーが生成される。画像内のジェスチャーは、後続のニーズのために抽出され、ジェスチャーに基づく人間対コンピュータインタラクションシステムのために使用され、人間からジェスチャーを通してのホームデバイスの制御を可能にする。

【0064】

本発明によるスマートホームシーン向けのマルチジェスチャー精分割方法は、ジェスチャーをローカルでインテリジェントに分割することができ、ネットワークに依存しすぎるという従来技術の不備を克服し、本方法を適用する装置がネットワーク接続なしでも正常に動作することができる。

【0065】

本発明は、ジェスチャーピクチャーをＲＧＢ色空間からＹＣｂＣｒ色空間に変換し、さらにグローバル固定閾値２値化方法によって、肌色の分割を完了する。そして、非ジェスチャーエリアを除外して、ジェスチャー輪郭のＭＢＲとＭＡＢＲを構築し、ジェスチャー画像を回転させて手の幅を統計し、幅分布ヒストグラムと幅に基づく勾配分布ヒストグラムを構築し、手首の分割線を決定する。最後に、腕の冗長性の除去を完了し、完全なジェスチャー画像が得られる。本発明は、ホーム環境画像内のジェスチャーを迅速かつ正確に分割することを可能にし、ジェスチャーに基づく人間対コンピュータインタラクションシステムの使用の快適さを著しく向上させ、ユーザ満足度を向上させる。

【0066】

また、本発明は、当該分野における他の関連課題の参考になれるものであり、これに基づいて拡張を行うことができ、他のジェスチャー分割に関する技術案に応用することができ、十分に広い応用範囲を有する。

【0067】

本発明は、上述した例示的な実施例の詳細に限定されるものではなく、本発明の要旨や基本的な構成を逸脱しない範囲内において、他の具体的な形態で実施し得ることは、当業者にとって自明である。したがって、いずれの点からも、実施例は、例示的かつ非限定的であると見なされるべきであり、本発明の範囲は、上述の説明ではなく添付の特許請求の範囲によって規定される。したがって、特許請求の範囲の均等物の意味および範囲内にあるすべての変更が、本発明内に包含されることが意図され、特許請求の範囲におけるいかなる参照符号も、関連する特許請求の範囲を制限するものと見なされるべきではない。

【0068】

さらに、本明細書は実施形態に従って説明されるが、各実施形態が独立した技術的解決手段のみを含むのではない。本明細書のこのような記載方式は、明瞭さのためにすぎない。当業者は、本明細書を全体として、各実施例における技術的解決手段が、当業者が理解し得る他の実施形態を形成するように、適切に組み合わされてもよいことが理解されるべきである。

【0069】

（付記）
（付記１）
以下のステップを含むことを特徴とするスマートホームシーン向けのマルチジェスチャー精分割方法。
Ｓ１）ジェスチャー画像Ｉｍａｇｅ０に対して前処理を行い、画像Ｉｍａｇｅ１を得る；
Ｓ２）前処理後の画像Ｉｍａｇｅ１に対して肌色分割を行い、処理後の画像Ｉｍａｇｅ４を得る；
Ｓ３）画像Ｉｍａｇｅ４において画像の最小結合矩形ＭＢＲを構築する；
Ｓ４）画像Ｉｍａｇｅ４における非ジェスチャーエリアを非ジェスチャーエリア除外基準によって除外して、ジェスチャー画像Ｉｍａｇｅ５を取得する；
Ｓ５）手の形状特徴に基づく腕冗長性除去アルゴリズムによって画像Ｉｍａｇｅ５を処理することによって、腕冗長性の除去を完了する。

【0070】

（付記２）
Ｓ１における前記前処理は、少なくとも、ジェスチャー画像ノイズ除去、ジェスチャー画像２値化およびモルフォロジー処理を含むことを特徴とする付記１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。

【0071】

（付記３）
Ｓ２は、具体的に以下のステップを含むことを特徴とする付記１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
Ｓ２１）Ｉｍａｇｅ１画像をＲＧＢ色空間からＹＣｂＣｒ色空間に変換して画像Ｉｍａｇｅ２を得て、さらにグローバル固定閾値２値化法により画素毎に閾値と比較して２値化画像Ｉｍａｇｅ３を得る；
Ｓ２２）２値化画像Ｉｍａｇｅ３の穴と隙間をモルフォロジーにおける膨張腐食演算を用いて除去し、２値化画像をメディアンフィルタを用いて処理し、画像Ｉｍａｇｅ４を得る。

【0072】

（付記４）
Ｓ３は、具体的に、Ｓ２で得られた２値化ジェスチャー画像の輪郭情報をリストｃｏｎｔｏｕｒｓに格納し、座標情報から外接矩形の４つの頂点の座標をそれぞれｔｏｐ＿ｌｅｆｔ、ｔｏｐ＿ｒｉｇｈｔ、ｂｏｔｔｏｍ＿ｌｅｆｔ、ｂｏｔｔｏｍ＿ｒｉｇｈｔとして得るステップを含むことを特徴とする付記１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。

【0073】

（付記５）
Ｓ４における前記非ジェスチャーエリア除外基準は、具体的に以下を含むことを特徴とする付記１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。
１）６４０＊４８０の画像サイズが取得された場合、外接矩形の面積が２５００未満である場合、非ジェスチャーエリアとして認定される；
２）外接矩形の幅に対する長さの比が５より大きい場合、非ジェスチャーエリアとして認定される；
３）外接矩形内の画素値２５５の点の数が矩形面積に対する比が０．８より大きいか、０．４より小さい場合、非ジェスチャーエリアとして認定される。

【0074】

（付記６）
Ｓ５における前記手の形状特徴に基づく腕冗長性除去アルゴリズムは、具体的に、画像Ｉｍａｇｅ６に対して、幅の最大値およびその対応する座標を親指手根中手関節とする手の幅分布ヒストグラムと、手の勾配分布ヒストグラムとを統計することを含み、
手首の分割線の座標は、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることを特徴とする付記１に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。

【0075】

（付記７）
ステップＳ５における前記手首の分割線の座標は、現在点の勾配が０で、次の点の勾配が０以上であることを決定基準として、手の勾配分布ヒストグラムにおける親指手根中手関節点を探した後の値によって決定されることを特徴とする付記６に記載のスマートホームシーン向けのマルチジェスチャー精分割方法。

【図1】

【図2】

【図3】