特許 6994207 ユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置およびその動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-15

(45)【発行日】2022-01-14

(54)【発明の名称】ユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置およびその動作方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220106BHJP

   G06T 7/20 20170101ALI20220106BHJP

   G06F 3/01 20060101ALI20220106BHJP

【ＦＩ】

G06T7/00 300F

G06T7/20 300A

G06F3/01 570

G06F3/01 560

【請求項の数】 12

(21)【出願番号】P 2020158131

(22)【出願日】2020-09-23

(65)【公開番号】P2021184233

(43)【公開日】2021-12-02

【審査請求日】2020-09-23

(31)【優先権主張番号】10-2020-0060858

(32)【優先日】2020-05-21

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】511155464

【氏名又は名称】株式会社トゥービーソフト

【氏名又は名称原語表記】ＴＯＢＥＳＯＦＴ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】イ、ドン ヒ

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特表２０１４－５２４０７０（ＪＰ，Ａ）

【文献】特開２０１６－８１２８６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１１９５９６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

ユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置であって、
予め設定された互いに異なる複数の制御命令と、前記複数の制御命令の各々に対応するものとして予め設定された互いに異なる複数のｎ（ｎは２以上の自然数）次元のジェスチャー判断基準ベクトル－前記複数のジェスチャー判断基準ベクトルの各々は「０」と「１」のコードを成分として有するベクトルである－とが格納されているジェスチャー判断基準ベクトル格納部、
前記複数のジェスチャー判断基準ベクトルと、前記複数のジェスチャー判断基準ベクトルの各々に対応するものとして予め設定された互いに異なる複数のジェスチャーマッチング通知フィードバック出力情報－前記複数のジェスチャーマッチング通知フィードバック出力情報の各々は前記電子端末装置を介して出力可能なフィードバックに対する情報を意味する－とが格納されているジェスチャーマッチング通知フィードバック出力情報格納部、
カメラを介して前記ユーザの手（Ｈａｎｄ）を撮影して前記ユーザの手が含まれたイメージを取得するイメージ取得部、
前記イメージから前記ユーザの手領域を検出し、前記ユーザの手領域からｎ個の関節ポイントを抽出する関節ポイント抽出部、
前記ユーザの手領域に対してジェスチャー確認のための仮想の基準円（Ｃｉｒｃｌｅ）を生成する基準円生成部、
前記仮想の基準円の内部に前記ｎ個の関節ポイントが位置するか否かを確認して、前記ｎ個の関節ポイントのうち、前記仮想の基準円の内部に位置するポイントに対して「１」のコードを割り当て、前記仮想の基準円の外部に位置するポイントに対して「０」のコードを割り当てることによって、前記ｎ個の関節ポイントの各々に割り当てられたコードを成分として有するｎ次元のジェスチャーベクトルを生成するジェスチャーベクトル生成部、
前記ジェスチャー判断基準ベクトル格納部に格納されている前記複数のジェスチャー判断基準ベクトルの各々と前記ジェスチャーベクトルとの間の類似度を演算した後、前記複数のジェスチャー判断基準ベクトルのうち最大値の類似度を有すると確認される第１ジェスチャー判断基準ベクトルを選択する類似度演算部、
前記第１ジェスチャー判断基準ベクトルが選択されれば、前記第１ジェスチャー判断基準ベクトルと前記ジェスチャーベクトルとの間に演算された前記最大値の類似度が予め設定された閾値を超過するか否かを確認し、前記最大値の類似度が前記閾値を超過すると確認されれば、前記ジェスチャーマッチング通知フィードバック出力情報格納部から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１ジェスチャーマッチング通知フィードバック出力情報を抽出した後、前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックを前記電子端末装置を介して出力するフィードバック出力部、および
前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックが出力されれば、前記ジェスチャー判断基準ベクトル格納部から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１制御命令を前記ユーザの手の模様に対応する制御命令に確認した後、前記第１制御命令を実行する制御命令実行部
を含む、ユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置。

【請求項2】

前記関節ポイント抽出部は、
前記ｎ個の関節ポイントの前記ユーザの手領域での位置に基づいて、前記ｎ個の関節ポイントの各々に対応する順番を割り当て、
前記ジェスチャーベクトル生成部は、
前記ｎ個の関節ポイントの各々に対応する順番に応じて前記ｎ個の関節ポイントの各々に割り当てられたコードをベクトルの成分に一つずつ指定することによって、前記ジェスチャーベクトルを生成する、請求項１に記載のユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置。

【請求項3】

前記類似度演算部は、
前記複数のジェスチャー判断基準ベクトルの各々と前記ジェスチャーベクトルとの間のアダマール積（Ｈａｄａｍａｒｄ ｐｒｏｄｕｃｔ）を演算し、前記アダマール積の演算により算出されるベクトルを構成する成分において「１」のコード値が存在する個数を前記類似度として演算する、請求項１に記載のユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置。

【請求項4】

前記基準円生成部は、
前記ユーザの手領域を囲む仮想の四角領域を生成し、前記仮想の四角領域と、予め設定された模様と大きさを有する基準四角領域とを互いに比較して、前記基準四角領域に対する前記仮想の四角領域の横軸大きさ比率と縦軸大きさ比率を確認した後、予め設定された模様と大きさを有する参照円の横軸直径に対して前記横軸大きさ比率をかけ、前記参照円の縦軸直径に対して前記縦軸大きさ比率をかけて前記参照円の模様と大きさを変更することによって、前記仮想の基準円を生成する生成部、および
前記仮想の四角領域の横軸において、左側地点を基準に予め設定された第１相対比率に該当する第１地点を確認し、前記仮想の四角領域の縦軸において、上端地点を基準に予め設定された第２相対比率に該当する第２地点を確認した後、前記第１地点を通過する縦線と前記第２地点を通過する横線が交わる交点を前記仮想の基準円の中心点に設定することによって、前記仮想の基準円を前記仮想の四角領域上に配置する配置部
を含む、請求項１に記載のユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置。

【請求項5】

前記類似度演算部は、
前記複数のジェスチャー判断基準ベクトルのうち前記最大値の類似度を有すると確認されるジェスチャー判断基準ベクトルが２以上存在する場合、前記２以上のジェスチャー判断基準ベクトルのうちランダムに選択されたいずれか一つのジェスチャー判断基準ベクトルを前記第１ジェスチャー判断基準ベクトルに決定する、請求項１に記載のユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置。

【請求項6】

ユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置の動作方法であって、
予め設定された互いに異なる複数の制御命令と、前記複数の制御命令の各々に対応するものとして予め設定された互いに異なる複数のｎ（ｎは２以上の自然数）次元のジェスチャー判断基準ベクトル－前記複数のジェスチャー判断基準ベクトルの各々は「０」と「１」のコードを成分として有するベクトルである－とが格納されているジェスチャー判断基準ベクトル格納部を保持するステップ、
前記複数のジェスチャー判断基準ベクトルと、前記複数のジェスチャー判断基準ベクトルの各々に対応するものとして予め設定された互いに異なる複数のジェスチャーマッチング通知フィードバック出力情報－前記複数のジェスチャーマッチング通知フィードバック出力情報の各々は前記電子端末装置を介して出力可能なフィードバックに対する情報を意味する－とが格納されているジェスチャーマッチング通知フィードバック出力情報格納部を保持するステップ、
カメラを介して前記ユーザの手（Ｈａｎｄ）を撮影して前記ユーザの手が含まれたイメージを取得するステップ、
前記イメージから前記ユーザの手領域を検出し、前記ユーザの手領域からｎ個の関節ポイントを抽出するステップ、
前記ユーザの手領域に対してジェスチャー確認のための仮想の基準円（Ｃｉｒｃｌｅ）を生成するステップ、
前記仮想の基準円の内部に前記ｎ個の関節ポイントが位置するか否かを確認して、前記ｎ個の関節ポイントのうち、前記仮想の基準円の内部に位置するポイントに対して「１」のコードを割り当て、前記仮想の基準円の外部に位置するポイントに対して「０」のコードを割り当てることによって、前記ｎ個の関節ポイントの各々に割り当てられたコードを成分として有するｎ次元のジェスチャーベクトルを生成するステップ、
前記ジェスチャー判断基準ベクトル格納部に格納されている前記複数のジェスチャー判断基準ベクトルの各々と前記ジェスチャーベクトルとの間の類似度を演算した後、前記複数のジェスチャー判断基準ベクトルのうち最大値の類似度を有すると確認される第１ジェスチャー判断基準ベクトルを選択するステップ、
前記第１ジェスチャー判断基準ベクトルが選択されれば、前記第１ジェスチャー判断基準ベクトルと前記ジェスチャーベクトルとの間に演算された前記最大値の類似度が予め設定された閾値を超過するか否かを確認し、前記最大値の類似度が前記閾値を超過すると確認されれば、前記ジェスチャーマッチング通知フィードバック出力情報格納部から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１ジェスチャーマッチング通知フィードバック出力情報を抽出した後、前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックを前記電子端末装置を介して出力するステップ、および
前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックが出力されれば、前記ジェスチャー判断基準ベクトル格納部から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１制御命令を前記ユーザの手の模様に対応する制御命令に確認した後、前記第１制御命令を実行するステップ
を含む、ユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置の動作方法。

【請求項7】

前記抽出するステップは、
前記ｎ個の関節ポイントの前記ユーザの手領域での位置に基づいて、前記ｎ個の関節ポイントの各々に対応する順番を割り当て、
前記ジェスチャーベクトルを生成するステップは、
前記ｎ個の関節ポイントの各々に対応する順番に応じて前記ｎ個の関節ポイントの各々に割り当てられたコードをベクトルの成分に一つずつ指定することによって、前記ジェスチャーベクトルを生成する、請求項６に記載のユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置の動作方法。

【請求項8】

前記選択するステップは、
前記複数のジェスチャー判断基準ベクトルの各々と前記ジェスチャーベクトルとの間のアダマール積（Ｈａｄａｍａｒｄ ｐｒｏｄｕｃｔ）を演算し、前記アダマール積の演算により算出されるベクトルを構成する成分において「１」のコード値が存在する個数を前記類似度として演算する、請求項６に記載のユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置の動作方法。

【請求項9】

前記基準円を生成するステップは、
前記ユーザの手領域を囲む仮想の四角領域を生成し、前記仮想の四角領域と、予め設定された模様と大きさを有する基準四角領域とを互いに比較して、前記基準四角領域に対する前記仮想の四角領域の横軸大きさ比率と縦軸大きさ比率を確認した後、予め設定された模様と大きさを有する参照円の横軸直径に対して前記横軸大きさ比率をかけ、前記参照円の縦軸直径に対して前記縦軸大きさ比率をかけて前記参照円の模様と大きさを変更することによって、前記仮想の基準円を生成するステップ、および
前記仮想の四角領域の横軸において、左側地点を基準に予め設定された第１相対比率に該当する第１地点を確認し、前記仮想の四角領域の縦軸において、上端地点を基準に予め設定された第２相対比率に該当する第２地点を確認した後、前記第１地点を通過する縦線と前記第２地点を通過する横線が交わる交点を前記仮想の基準円の中心点に設定することによって、前記仮想の基準円を前記仮想の四角領域上に配置するステップ
を含む、請求項６に記載のユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置の動作方法。

【請求項10】

前記選択するステップは、
前記複数のジェスチャー判断基準ベクトルのうち前記最大値の類似度を有すると確認されるジェスチャー判断基準ベクトルが２以上存在する場合、前記２以上のジェスチャー判断基準ベクトルのうちランダムに選択されたいずれか一つのジェスチャー判断基準ベクトルを前記第１ジェスチャー判断基準ベクトルに決定する、請求項６に記載のユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置の動作方法。

【請求項11】

請求項６～１０のいずれか１項に記載の方法をコンピュータとの結合によって実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項12】

請求項６～１０のいずれか１項に記載の方法をコンピュータとの結合によって実行させるための格納媒体に格納されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置およびその動作方法に関する。

【背景技術】

【0002】

最近、タッチスクリーンが搭載された様々な電子端末装置が発売されるにつれて、このような電子端末装置を制御するための様々なインターフェース技術が登場している。タッチスクリーンが搭載された電子端末装置は、タッチスクリーン上に入力されるユーザのタッチ入力パターンを認識し、該パターンに対応する制御命令を実行する形態で動作する。

【0003】

さらに、最近、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）機器などが登場することによって、別のコントローラー無しにユーザのジェスチャーだけで機器を制御できるようにするインターフェース技術に関する研究が活発に行われている。

【0004】

このようなインターフェース技術は、所定のカメラを介してユーザの手の模様を撮影した後、撮影されたイメージでのユーザの手の模様に応じて、それに対応する適切な制御命令を電子端末装置上に印加するように構成される。

【0005】

このように、ユーザが特定形態の手の模様を作るだけで機器を制御できるようにするインターフェース技術は、ＶＲ機器などのように別のコントローラーを用いない次世代マルチメディア装置での活用性が高いという点で、技術に対する需要が次第に増加する傾向である。

【0006】

一方、ユーザは、ジェスチャーだけで機器を制御できるようにするインターフェース技術を利用する時、自身が電子端末装置にジェスチャーを正しく認識させたか否かを把握するのが困難な場合が多い。そのため、ユーザがジェスチャーを電子端末装置に認識させた時、ユーザに該ジェスチャーが正確に認識されたか否かを知らせるためのフィードバック技術が導入される必要がある。

【0007】

例えば、ユーザが電子端末装置に所定のジェスチャーを認識させた時、特定のアニメーション効果が表示されるかまたは音が出力されるなどのフィードバックが出力されるのであれば、ユーザは自身が電子端末装置にジェスチャーを正確に認識させたか否かを容易に把握することができるであろう。ユーザは、自身が入力した特定のジェスチャーに対応するフィードバックが出力されない場合、電子端末装置にジェスチャーが正しく認識されていないと把握することができ、電子端末装置にジェスチャーを再び認識させることによって、自身が所望する制御命令を電子端末装置に正確に印加することができるであろう。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、ユーザが所定の手の模様を取れば、カメラを介してユーザの手に対するイメージを取得し、前記イメージからユーザの手に対する関節ポイントを抽出し、ユーザの手領域に対してジェスチャー確認のための所定の基準円を生成した後、各関節ポイントのうち、どの関節ポイントが前記基準円内に属しているか否かを確認することによって、ユーザの手の模様に対応する適切な制御命令を実行できる電子端末装置およびその動作方法を提示する。

【0009】

また、本発明に係る電子端末装置およびその動作方法は、ユーザがハンドジェスチャーを電子端末装置に入力した時、それに対応するフィードバックを出力することによって、ユーザ自身が入力したハンドジェスチャーが電子端末装置に正確に認識されたか否かを認知できるように支援する。

【課題を解決するための手段】

【0010】

本発明の一実施形態によるユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置は、予め設定された互いに異なる複数の制御命令と、前記複数の制御命令の各々に対応するものとして予め設定された互いに異なる複数のｎ（ｎは２以上の自然数）次元のジェスチャー判断基準ベクトル－前記複数のジェスチャー判断基準ベクトルの各々は「０」と「１」のコードを成分として有するベクトルである－とが格納されているジェスチャー判断基準ベクトル格納部、前記複数のジェスチャー判断基準ベクトルと、前記複数のジェスチャー判断基準ベクトルの各々に対応するものとして予め設定された互いに異なる複数のジェスチャーマッチング通知フィードバック出力情報－前記複数のジェスチャーマッチング通知フィードバック出力情報の各々は前記電子端末装置を介して出力可能なフィードバックに対する情報を意味する－とが格納されているジェスチャーマッチング通知フィードバック出力情報格納部、カメラを介して前記ユーザの手（Ｈａｎｄ）を撮影して前記ユーザの手が含まれたイメージを取得するイメージ取得部、前記イメージから前記ユーザの手領域を検出し、前記ユーザの手領域からｎ個の関節ポイントを抽出する関節ポイント抽出部、前記ユーザの手領域に対してジェスチャー確認のための仮想の基準円（Ｃｉｒｃｌｅ）を生成する基準円生成部、前記仮想の基準円の内部に前記ｎ個の関節ポイントが位置するか否かを確認して、前記ｎ個の関節ポイントのうち、前記仮想の基準円の内部に位置するポイントに対して「１」のコードを割り当て、前記仮想の基準円の外部に位置するポイントに対して「０」のコードを割り当てることによって、前記ｎ個の関節ポイントの各々に割り当てられたコードを成分として有するｎ次元のジェスチャーベクトルを生成するジェスチャーベクトル生成部、前記ジェスチャー判断基準ベクトル格納部に格納されている前記複数のジェスチャー判断基準ベクトルの各々と前記ジェスチャーベクトルとの間の類似度を演算した後、前記複数のジェスチャー判断基準ベクトルのうち最大値の類似度を有すると確認される第１ジェスチャー判断基準ベクトルを選択する類似度演算部、前記第１ジェスチャー判断基準ベクトルが選択されれば、前記第１ジェスチャー判断基準ベクトルと前記ジェスチャーベクトルとの間に演算された前記最大値の類似度が予め設定された閾値を超過するか否かを確認し、前記最大値の類似度が前記閾値を超過すると確認されれば、前記ジェスチャーマッチング通知フィードバック出力情報格納部から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１ジェスチャーマッチング通知フィードバック出力情報を抽出した後、前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックを前記電子端末装置を介して出力するフィードバック出力部、および前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックが出力されれば、前記ジェスチャー判断基準ベクトル格納部から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１制御命令を前記ユーザの手の模様に対応する制御命令に確認した後、前記第１制御命令を実行する制御命令実行部を含む。

【0011】

また、本発明の一実施形態によるユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置の動作方法は、予め設定された互いに異なる複数の制御命令と、前記複数の制御命令の各々に対応するものとして予め設定された互いに異なる複数のｎ（ｎは２以上の自然数）次元のジェスチャー判断基準ベクトル－前記複数のジェスチャー判断基準ベクトルの各々は「０」と「１」のコードを成分として有するベクトルである－とが格納されているジェスチャー判断基準ベクトル格納部を保持するステップ、前記複数のジェスチャー判断基準ベクトルと、前記複数のジェスチャー判断基準ベクトルの各々に対応するものとして予め設定された互いに異なる複数のジェスチャーマッチング通知フィードバック出力情報－前記複数のジェスチャーマッチング通知フィードバック出力情報の各々は前記電子端末装置を介して出力可能なフィードバックに対する情報を意味する－とが格納されているジェスチャーマッチング通知フィードバック出力情報格納部を保持するステップ、カメラを介して前記ユーザの手を撮影して前記ユーザの手が含まれたイメージを取得するステップ、前記イメージから前記ユーザの手領域を検出し、前記ユーザの手領域からｎ個の関節ポイントを抽出するステップ、前記ユーザの手領域に対してジェスチャー確認のための仮想の基準円を生成するステップ、前記仮想の基準円の内部に前記ｎ個の関節ポイントが位置するか否かを確認して、前記ｎ個の関節ポイントのうち、前記仮想の基準円の内部に位置するポイントに対して「１」のコードを割り当て、前記仮想の基準円の外部に位置するポイントに対して「０」のコードを割り当てることによって、前記ｎ個の関節ポイントの各々に割り当てられたコードを成分として有するｎ次元のジェスチャーベクトルを生成するステップ、前記ジェスチャー判断基準ベクトル格納部に格納されている前記複数のジェスチャー判断基準ベクトルの各々と前記ジェスチャーベクトルとの間の類似度を演算した後、前記複数のジェスチャー判断基準ベクトルのうち最大値の類似度を有すると確認される第１ジェスチャー判断基準ベクトルを選択するステップ、前記第１ジェスチャー判断基準ベクトルが選択されれば、前記第１ジェスチャー判断基準ベクトルと前記ジェスチャーベクトルとの間に演算された前記最大値の類似度が予め設定された閾値を超過するか否かを確認し、前記最大値の類似度が前記閾値を超過すると確認されれば、前記ジェスチャーマッチング通知フィードバック出力情報格納部から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１ジェスチャーマッチング通知フィードバック出力情報を抽出した後、前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックを前記電子端末装置を介して出力するステップ、および前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックが出力されれば、前記ジェスチャー判断基準ベクトル格納部から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１制御命令を前記ユーザの手の模様に対応する制御命令に確認した後、前記第１制御命令を実行するステップを含む。

【発明の効果】

【0012】

本発明は、ユーザが所定の手の模様を取れば、カメラを介してユーザの手に対するイメージを取得し、前記イメージからユーザの手に対する関節ポイントを抽出し、ユーザの手領域に対してジェスチャー確認のための所定の基準円を生成した後、各関節ポイントのうち、どの関節ポイントが前記基準円内に属しているか否かを確認することによって、ユーザの手の模様に対応する適切な制御命令を実行できる電子端末装置およびその動作方法を提示することができる。

【0013】

また、本発明に係る電子端末装置およびその動作方法は、ユーザがハンドジェスチャーを電子端末装置に入力した時、それに対応するフィードバックを出力することによって、ユーザ自身が入力したハンドジェスチャーが電子端末装置に正確に認識されたか否かを認知できるように支援することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態による電子端末装置の構造を示す図である。

【図2】本発明の一実施形態による電子端末装置の動作を説明するための図である。

【図3】本発明の一実施形態による電子端末装置の動作を説明するための図である。

【図4】本発明の一実施形態による電子端末装置の動作を説明するための図である。

【図5】本発明の一実施形態による電子端末装置の動作を説明するための図である。

【図6】本発明の一実施形態による電子端末装置の動作方法を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下では、本発明に係る実施形態を添付された図面を参照して詳しく説明する。このような説明は本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想および技術範囲に含まれる全ての変更、均等物乃至代替物を含むものとして理解しなければならない。各図面を説明する際に類似した参照符号は類似した構成要素に付することにし、特に定義しない限り、技術的または科学的な用語を含めて本明細書上で用いられる全ての用語は本発明が属する技術分野における通常の知識を有した者によって一般的に理解されるものと同様の意味を有する。

【0016】

本文書において、ある部分がある構成要素を「含む」とする時、これは、特に反する記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいことを意味する。また、本発明の様々な実施形態において、各構成要素、機能ブロックまたは手段は一つまたはそれ以上の下部構成要素で構成されてもよく、各構成要素が実行する電気、電子、機械的な機能は電子回路、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのような公知の様々な素子または機械的要素で実現されてもよく、各々個別に実現されるかまたは２以上が一つに統合されて実現されてもよい。

【0017】

一方、添付されたブロック図のブロックやフローチャートのステップは、汎用コンピュータ、特殊用コンピュータ、携帯用ノートブックコンピュータ、ネットワークコンピュータなど、データプロセッシング可能な装置のプロセッサやメモリに搭載され、指定された機能を実行するコンピュータプログラム命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を意味するものとして解釈できる。これらのコンピュータプログラム命令はコンピュータ装置に備えられたメモリまたはコンピュータ読み取り可能なメモリに格納できるため、ブロック図のブロックまたはフローチャートのステップで説明された機能はそれを実行する命令手段を含む製造物に生産されてもよい。さらに、各ブロックまたは各ステップは、特定の論理的機能を実行するための一つ以上の実行可能な命令を含むモジュール、セグメントまたはコードの一部を表すことができる。また、幾つかの代替可能な実施形態においては、ブロックまたはステップで言及された機能が定められた順序とは異なるように実行できるということを注目しなければならない。例えば、次いで図示された二つのブロックまたはステップは、実質的に同時に実行されてもよく、または逆順に実行されてもよく、場合によっては、一部のブロックまたはステップが省略された状態で実行されてもよい。
図１は、本発明の一実施形態によるユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置の構造を示す図である。

【0018】

図１を参照すれば、本発明に係る電子端末装置１１０は、ジェスチャー判断基準ベクトル格納部１１１、ジェスチャーマッチング通知フィードバック出力情報格納部１１２、イメージ取得部１１３、関節ポイント抽出部１１４、基準円生成部１１５、ジェスチャーベクトル生成部１１６、類似度演算部１１７、フィードバック出力部１１８および制御命令実行部１１９を含む。

【0019】

ジェスチャー判断基準ベクトル格納部１１１には、予め設定された互いに異なる複数の制御命令と、前記複数の制御命令の各々に対応するものとして予め設定された互いに異なる複数のｎ（ｎは２以上の自然数）次元のジェスチャー判断基準ベクトルとが格納されている。
ここで、前記複数のジェスチャー判断基準ベクトルの各々は、「０」と「１」のコードを成分として有するベクトルを意味する。
これと関連し、「ｎ＝２１」とする場合、ジェスチャー判断基準ベクトル格納部１１１には、下記の表１のように情報が格納されている。

【0020】

【表1】

【0021】

ジェスチャーマッチング通知フィードバック出力情報格納部１１２には、前記複数のジェスチャー判断基準ベクトルと、前記複数のジェスチャー判断基準ベクトルの各々に対応するものとして予め設定された互いに異なる複数のジェスチャーマッチング通知フィードバック出力情報とが格納されている。

【0022】

ここで、前記複数のジェスチャーマッチング通知フィードバック出力情報の各々は、電子端末装置１１０を介して出力可能なフィードバックに対する情報を意味する。これと関連し、前記複数のジェスチャーマッチング通知フィードバック出力情報の各々に対応するフィードバックとしては、電子端末装置１１０のスピーカーを介して出力される所定の効果音、電子端末装置１１０のディスプレイを介して出力される所定の画面アニメーション効果、電子端末装置１１０に搭載されたＬＥＤモジュールを介して出力される特定色の光、電子端末装置１１０に搭載されたハプティックモジュールを介して出力される振動フィードバックなどを意味する。
これと関連し、ジェスチャーマッチング通知フィードバック出力情報格納部１１２には、下記の表２のように情報が格納されている。

【0023】

【表2】

イメージ取得部１１３は、カメラを介してユーザの手（Ｈａｎｄ）を撮影して前記ユーザの手が含まれたイメージを取得する。
関節ポイント抽出部１１４は、前記イメージから前記ユーザの手領域を検出し、前記ユーザの手領域からｎ個の関節ポイントを抽出する。

【0024】

ここで、関節ポイント抽出部１１４は、ＣＰＭ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｐｏｓｅ Ｍａｃｈｉｎｅｓ）技術を活用して、前記ユーザの手領域から前記ｎ個の関節ポイントを抽出することができる。

【0025】

ＣＰＭとは、一人の人に対して人の姿勢（Ｐｏｓｅ）を出力するネットワークを学習させたモデルであり、人の関節間の関係を理解し、出力を精製（Ｒｅｆｉｎｅ）するためにＭｕｌｔｉ－Ｓｔａｔｅのネットワーク形態で構成し、それを評価（Ｅｖａｌｕａｔｉｏｎ）したのを特徴とするモデルである。ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）を利用して各関節のＨｅａｔｍａｐを出力するネットワーク構造を有しており、Ｓｔａｇｅ １の結果はイメージ特徴（Ｆｅａｔｕｒｅ）と共にＳｔａｇｅ ２の入力として再び用いられ、このように反復的に同一なＨｅａｔｍａｐ結果を多くのＳｔａｇｅにかけて処理した最終的な結果がＣＰＭネットワークの出力となる。このようにするのは、前半のＳｔａｇｅでは一部分のイメージ領域を通じて関節を探し出し、後半のＳｔａｇｅではさらに大きくなったＲｅｃｅｐｔｉｖｅ Ｆｉｅｌｄの影響で互いに異なる関節間の関係まで考慮されるので、より正確なＨｅａｔｍａｐ結果を得ることができるためである。

【0026】

この時、関節ポイント抽出部１１４は、このようなＣＰＭ技術を活用して、前記ユーザの手領域から、図２に示すように、主要関節ポイントである２１個の関節ポイント（１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、２１）を抽出することができる。

【0027】

この時、本発明の一実施形態によれば、関節ポイント抽出部１１４は、前記ｎ個の関節ポイントの前記ユーザの手領域での位置に基づいて、前記ｎ個の関節ポイントの各々に対応する順番を割り当てることができる。

【0028】

これと関連し、関節ポイント抽出部１１４は、図２に示すように、２１個の関節ポイントの前記ユーザの手領域での位置に応じて、１から２１までの順番を一つずつ割り当てることができる。
基準円生成部１１５は、前記ユーザの手領域に対して、ジェスチャー確認のための仮想の基準円（Ｃｉｒｃｌｅ）を生成する。

【0029】

これと関連し、基準円生成部１１５は、図３で図面符号３１０で示したように、前記ユーザの手領域に対して、ジェスチャー確認のための仮想の基準円３１０を生成することができる。

【0030】

ジェスチャーベクトル生成部１１６は、前記仮想の基準円の内部に前記ｎ個の関節ポイントが位置するか否かを確認して、前記ｎ個の関節ポイントのうち、前記仮想の基準円の内部に位置するポイントに対して「１」のコードを割り当て、前記仮想の基準円の外部に位置するポイントに対して「０」のコードを割り当てることによって、前記ｎ個の関節ポイントの各々に割り当てられたコードを成分として有するｎ次元のジェスチャーベクトルを生成する。

【0031】

この時、本発明の一実施形態によれば、ジェスチャーベクトル生成部１１６は、前記ｎ個の関節ポイントの各々に対応する順番に応じて前記ｎ個の関節ポイントの各々に割り当てられたコードをベクトルの成分に一つずつ指定することによって、前記ジェスチャーベクトルを生成することができる。

【0032】

これと関連し、図３に示すように、２１個の関節ポイントが抽出され、１から２１までの順番が割り当てられたとする場合、ジェスチャーベクトル生成部１１６は、２１個の関節ポイントのうち、仮想の基準円３１０の内部に位置するポイントに対して「１」のコードを割り当て、仮想の基準円３１０の外部に位置するポイントに対して「０」のコードを割り当てることができる。

【0033】

そして、ジェスチャーベクトル生成部１１６は、２１個の関節ポイントの順番に応じて各関節ポイントに割り当てられたコードをベクトルの成分に一つずつ順次指定することによって、［１ １ １ ０ １ １ １ １ １ １ ０ ０ ０ １ ０ ０ ０ １ ０ ０ ０］という２１次元のジェスチャーベクトルを生成することができる。

【0034】

類似度演算部１１７は、ジェスチャー判断基準ベクトル格納部１１１に格納されている前記複数のジェスチャー判断基準ベクトルの各々と前記ジェスチャーベクトルとの間の類似度を演算した後、前記複数のジェスチャー判断基準ベクトルのうち最大値の類似度を有すると確認される第１ジェスチャー判断基準ベクトルを選択する。

【0035】

この時、本発明の一実施形態によれば、類似度演算部１１７は、前記複数のジェスチャー判断基準ベクトルの各々と前記ジェスチャーベクトルとの間のアダマール積（Ｈａｄａｍａｒｄ ｐｒｏｄｕｃｔ）を演算し、前記アダマール積の演算により算出されるベクトルを構成する成分において「１」のコード値が存在する個数を前記類似度として演算することができる。

【0036】

ここで、アダマール積とは同じ大きさのベクトルや行列における各成分をかける演算を意味し、［ａ ｂ ｃ］と［ｘ ｙ ｚ］というベクトルが存在する時、二つのベクトル間のアダマール積は［ａｘ ｂｙ ｃｚ］に演算される。

【0037】

これと関連し、前述した例示のように、ジェスチャーベクトル生成部１１６において［１ １ １ ０ １ １ １ １ １ １ ０ ０ ０ １ ０ ０ ０ １ ０ ０ ０］という２１次元のジェスチャーベクトルが生成されたとし、ジェスチャー判断基準ベクトル格納部１１１に表１のように情報が格納されているとする場合、類似度演算部１１７は、ジェスチャー判断基準ベクトル格納部１１１に格納されている１番目のジェスチャー判断基準ベクトルである［１ １ １ １ １ １ １ １ １ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０］と［１ １ １ ０ １ １ １ １ １ １ ０ ０ ０ １ ０ ０ ０ １ ０ ０ ０］というジェスチャーベクトルとの間のアダマール積を演算して［１ １ １ ０ １ １ １ １ １ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０］というベクトルを算出した後、算出されたベクトルを構成する成分において「１」のコード値が存在する個数である「８」を［１ １ １ １ １ １ １ １ １ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０］というジェスチャー判断基準ベクトルと［１ １ １ ０ １ １ １ １ １ １ ０ ０ ０ １ ０ ０ ０ １ ０ ０ ０］というジェスチャーベクトルとの間の類似度として演算することができる。

【0038】

このようにして、類似度演算部１１７は、表１のようなジェスチャー判断基準ベクトル格納部１１１に格納されているジェスチャー判断基準ベクトルと前記ジェスチャーベクトルとの間の類似度を全て演算することができる。

【0039】

その後、類似度演算部１１７は、ジェスチャー判断基準ベクトル格納部１１１に格納されているジェスチャー判断基準ベクトルのうち最大値の類似度を有すると確認されるジェスチャー判断基準ベクトルを前記第１ジェスチャー判断基準ベクトルに選択することができる。

【0040】

一方、前記複数のジェスチャー判断基準ベクトルのうち前記最大値の類似度を有すると確認されるジェスチャー判断基準ベクトルが２以上存在する状況も考えて見ることができる。

【0041】

これと関連し、本発明の一実施形態によれば、類似度演算部１１７は、前記複数のジェスチャー判断基準ベクトルのうち前記最大値の類似度を有すると確認されるジェスチャー判断基準ベクトルが２以上存在する場合、前記２以上のジェスチャー判断基準ベクトルのうちランダムに選択されたいずれか一つのジェスチャー判断基準ベクトルを前記第１ジェスチャー判断基準ベクトルに決定することができる。

【0042】

フィードバック出力部１１８は、前記第１ジェスチャー判断基準ベクトルが選択されれば、前記第１ジェスチャー判断基準ベクトルと前記ジェスチャーベクトルとの間に演算された前記最大値の類似度が予め設定された閾値を超過するか否かを確認し、前記最大値の類似度が前記閾値を超過すると確認されれば、ジェスチャーマッチング通知フィードバック出力情報格納部１１２から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１ジェスチャーマッチング通知フィードバック出力情報を抽出した後、前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックを電子端末装置１１０を介して出力する。

【0043】

制御命令実行部１１９は、前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックが出力されれば、ジェスチャー判断基準ベクトル格納部１１１から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１制御命令を前記ユーザの手の模様に対応する制御命令に確認した後、前記第１制御命令を実行する。

【0044】

これと関連し、前記第１ジェスチャー判断基準ベクトルが［１ １ １ １ １ １ １ １ １ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０］に選択されたとする場合、フィードバック出力部１１８は、前記第１ジェスチャー判断基準ベクトルである［１ １ １ １ １ １ １ １ １ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０］と前記ジェスチャーベクトルである［１ １ １ ０ １ １ １ １ １ １ ０ ０ ０ １ ０ ０ ０ １ ０ ０ ０］との間に演算された前記最大値の類似度である「８」が前記閾値を超過するか否かを確認することができる。

【0045】

仮に前記閾値を「７」とする場合、フィードバック出力部１１８は、前記最大値の類似度である「８」が前記閾値である「７」を超過すると確認することによって、表２のようなジェスチャーマッチング通知フィードバック出力情報格納部１１２から前記第１ジェスチャー判断基準ベクトルである［１ １ １ １ １ １ １ １ １ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０］に対応して格納されている第１ジェスチャーマッチング通知フィードバック出力情報である「スピーカーを介して効果音を出力」を抽出した後、前記第１ジェスチャーマッチング通知フィードバック出力情報である「スピーカーを介して効果音を出力」に応じたフィードバックを電子端末装置１１０を介して出力することができる。

【0046】

すなわち、フィードバック出力部１１８は、電子端末装置１１０に備えられたスピーカーを介して所定の効果音を出力することができる。それにより、ユーザは、自身が電子端末装置１１０にジェスチャーを正しく認識させたと把握することができる。

【0047】

その後、制御命令実行部１１９は、表１のようなジェスチャー判断基準ベクトル格納部１１１から［１ １ １ １ １ １ １ １ １ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０ ０］というジェスチャー判断基準ベクトルに対応して格納されている「制御命令１」を前記ユーザの手の模様に対応する制御命令に確認した後、「制御命令１」を実行することができる。

【0048】

その結果、本発明に係る電子端末装置１１０は、ユーザが所定の手の模様を取れば、カメラを介してユーザの手に対するイメージを取得し、前記イメージからユーザの手に対する関節ポイントを抽出し、ユーザの手領域に対してジェスチャー確認のための所定の基準円を生成した後、各関節ポイントのうち、どの関節ポイントが前記基準円内に属しているか否かを確認することによって、ユーザの手の模様に対応する適切な制御命令を実行することができる。それにより、ユーザは、別のコントローラー無しに、手を利用して所定のジェスチャーを取るだけで電子端末装置１１０を容易に制御することができる。

【0049】

また、本発明に係る電子端末装置１１０は、ユーザがハンドジェスチャーを電子端末装置１１０に入力した時、それに対応するフィードバックを出力することによって、ユーザ自身が入力したハンドジェスチャーが電子端末装置１１０に正確に認識されたか否かを認知できるように支援することができる。

【0050】

本発明に係る電子端末装置１１０は、どの関節ポイントが基準円に含まれているか含まれていないかを確認することによって、ユーザの手の模様に対応するジェスチャーを決定する方法を取っているという点で、ユーザの手が撮影されたイメージの大きさなどに応じて前記基準円の大きさや位置が適切に指定される必要がある。
これと関連し、本発明の一実施形態によれば、基準円生成部１１５は、生成部１２０および配置部１２１を含むことができる。

【0051】

生成部１２０は、前記ユーザの手領域を囲む仮想の四角領域を生成し、前記仮想の四角領域と、予め設定された模様と大きさを有する基準四角領域とを互いに比較して、前記基準四角領域に対する前記仮想の四角領域の横軸大きさ比率と縦軸大きさ比率を確認した後、予め設定された模様と大きさを有する参照円の横軸直径に対して前記横軸大きさ比率をかけ、前記参照円の縦軸直径に対して前記縦軸大きさ比率をかけて前記参照円の模様と大きさを変更することによって、前記仮想の基準円を生成する。

【0052】

そして、配置部１２１は、前記仮想の四角領域の横軸において、左側地点を基準に予め設定された第１相対比率に該当する第１地点を確認し、前記仮想の四角領域の縦軸において、上端地点を基準に予め設定された第２相対比率に該当する第２地点を確認した後、前記第１地点を通過する縦線と前記第２地点を通過する横線が交わる交点を前記仮想の基準円の中心点に設定することによって、前記仮想の基準円を前記仮想の四角領域上に配置する。
これと関連し、図３～図５を参照して、生成部１２０と配置部１２１の動作を例を挙げて説明すれば以下のとおりである。
生成部１２０は、図３に示すように、イメージにおいてユーザの手領域を囲む仮想の四角領域３２０を生成することができる。

【0053】

そして、生成部１２０は、図４の図面符号４１０に示すように、仮想の四角領域３２０と、予め設定された模様と大きさを有する基準四角領域４１１とを互いに比較して、基準四角領域４１１に対する仮想の四角領域３２０の横軸大きさ比率と縦軸大きさ比率を確認することができる。

【0054】

その後、生成部１２０は、図４の図面符号４２０に示すように、予め設定された模様と大きさを有する参照円４２１の横軸直径に対して前記横軸大きさ比率をかけ、参照円４２１の縦軸直径に対して前記縦軸大きさ比率をかけて参照円４２１の模様と大きさを変更することによって、仮想の基準円３１０を生成することができる。

【0055】

例えば、前記横軸大きさ比率が１．３、前記縦軸大きさ比率が１．８とする場合、生成部１２０は、参照円４２１の横軸直径に対して１．３をかけ、縦軸直径に対して１．８をかけることによって、仮想の基準円３１０を生成することができる。

【0056】

このように、仮想の基準円３１０が生成されれば、配置部１２０は、図５に示すように、仮想の四角領域３２０の横軸において、左側地点を基準に予め設定された第１相対比率に該当する第１地点５１０を確認し、仮想の四角領域３２０の縦軸において、上端地点を基準に予め設定された第２相対比率に該当する第２地点５２０を確認することができる。

【0057】

例えば、前記第１相対比率が３／５、前記第２相対比率が４／７とする場合、配置部１２０は、仮想の四角領域３２０の横軸において、左側地点を基準に３／５に該当する地点を第１地点５１０に確認し、仮想の四角領域３２０の縦軸において、上端地点を基準に４／７に該当する地点を第２地点５２０に確認することができる。

【0058】

その後、配置部１２０は、図５に示すように、第１地点５１０を通過する縦線と第２地点５２０を通過する横線が交わる交点５３０を仮想の基準円３１０の中心点に設定することによって、仮想の基準円３１０を仮想の四角領域３２０上に配置することができる。それにより、仮想の基準円３１０は、図３に示すように、ユーザの手領域上の適切な位置に適切な大きさと模様で配置される。

【0059】

図６は、本発明の一実施形態によるユーザのハンドジェスチャーに対応する制御命令の実行とフィードバック出力を行う電子端末装置の動作方法を示すフローチャートである。

【0060】

ステップ（Ｓ６１０）では、予め設定された互いに異なる複数の制御命令と、前記複数の制御命令の各々に対応するものとして予め設定された互いに異なる複数のｎ（ｎは２以上の自然数）次元のジェスチャー判断基準ベクトル（前記複数のジェスチャー判断基準ベクトルの各々は「０」と「１」のコードを成分として有するベクトルである）とが格納されているジェスチャー判断基準ベクトル格納部を保持する。

【0061】

ステップ（Ｓ６２０）では、前記複数のジェスチャー判断基準ベクトルと、前記複数のジェスチャー判断基準ベクトルの各々に対応するものとして予め設定された互いに異なる複数のジェスチャーマッチング通知フィードバック出力情報（前記複数のジェスチャーマッチング通知フィードバック出力情報の各々は前記電子端末装置を介して出力可能なフィードバックに対する情報を意味する）とが格納されているジェスチャーマッチング通知フィードバック出力情報格納部を保持する。
ステップ（Ｓ６３０）では、カメラを介して前記ユーザの手を撮影して前記ユーザの手が含まれたイメージを取得する。
ステップ（Ｓ６４０）では、前記イメージから前記ユーザの手領域を検出し、前記ユーザの手領域からｎ個の関節ポイントを抽出する。
ステップ（Ｓ６５０）では、前記ユーザの手領域に対してジェスチャー確認のための仮想の基準円を生成する。

【0062】

ステップ（Ｓ６６０）では、前記仮想の基準円の内部に前記ｎ個の関節ポイントが位置するか否かを確認して、前記ｎ個の関節ポイントのうち、前記仮想の基準円の内部に位置するポイントに対して「１」のコードを割り当て、前記仮想の基準円の外部に位置するポイントに対して「０」のコードを割り当てることによって、前記ｎ個の関節ポイントの各々に割り当てられたコードを成分として有するｎ次元のジェスチャーベクトルを生成する。

【0063】

ステップ（Ｓ６７０）では、前記ジェスチャー判断基準ベクトル格納部に格納されている前記複数のジェスチャー判断基準ベクトルの各々と前記ジェスチャーベクトルとの間の類似度を演算した後、前記複数のジェスチャー判断基準ベクトルのうち最大値の類似度を有すると確認される第１ジェスチャー判断基準ベクトルを選択する。

【0064】

ステップ（Ｓ６８０）では、前記第１ジェスチャー判断基準ベクトルが選択されれば、前記第１ジェスチャー判断基準ベクトルと前記ジェスチャーベクトルとの間に演算された前記最大値の類似度が予め設定された閾値を超過するか否かを確認し、前記最大値の類似度が前記閾値を超過すると確認されれば、前記ジェスチャーマッチング通知フィードバック出力情報格納部から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１ジェスチャーマッチング通知フィードバック出力情報を抽出した後、前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックを前記電子端末装置を介して出力する。

【0065】

ステップ（Ｓ６９０）では、前記第１ジェスチャーマッチング通知フィードバック出力情報に応じたフィードバックが出力されれば、前記ジェスチャー判断基準ベクトル格納部から前記第１ジェスチャー判断基準ベクトルに対応して格納されている第１制御命令を前記ユーザの手の模様に対応する制御命令に確認した後、前記第１制御命令を実行するステップを含む。

【0066】

この時、本発明の一実施形態によれば、ステップ（Ｓ６４０）では、前記ｎ個の関節ポイントの前記ユーザの手領域での位置に基づいて、前記ｎ個の関節ポイントの各々に対応する順番を割り当てることができる。

【0067】

この時、ステップ（Ｓ６６０）では、前記ｎ個の関節ポイントの各々に対応する順番に応じて前記ｎ個の関節ポイントの各々に割り当てられたコードをベクトルの成分に一つずつ指定することによって、前記ジェスチャーベクトルを生成することができる。

【0068】

また、本発明の一実施形態によれば、ステップ（Ｓ６７０）では、前記複数のジェスチャー判断基準ベクトルの各々と前記ジェスチャーベクトルとの間のアダマール積を演算し、前記アダマール積の演算により算出されるベクトルを構成する成分において「１」のコード値が存在する個数を前記類似度として演算することができる。

【0069】

また、本発明の一実施形態によれば、ステップ（Ｓ６５０）では、前記ユーザの手領域を囲む仮想の四角領域を生成し、前記仮想の四角領域と、予め設定された模様と大きさを有する基準四角領域とを互いに比較して、前記基準四角領域に対する前記仮想の四角領域の横軸大きさ比率と縦軸大きさ比率を確認した後、予め設定された模様と大きさを有する参照円の横軸直径に対して前記横軸大きさ比率をかけ、前記参照円の縦軸直径に対して前記縦軸大きさ比率をかけて前記参照円の模様と大きさを変更することによって、前記仮想の基準円を生成するステップ、および前記仮想の四角領域の横軸において、左側地点を基準に予め設定された第１相対比率に該当する第１地点を確認し、前記仮想の四角領域の縦軸において、上端地点を基準に予め設定された第２比率に該当する第２地点を確認した後、前記第１地点を通過する縦線と前記第２地点を通過する横線が交わる交点を前記仮想の基準円の中心点に設定することによって、前記仮想の基準円を前記仮想の四角領域上に配置するステップを含むことができる。

【0070】

また、本発明の一実施形態によれば、ステップ（Ｓ６７０）では、前記複数のジェスチャー判断基準ベクトルのうち前記最大値の類似度を有すると確認されるジェスチャー判断基準ベクトルが２以上存在する場合、前記２以上のジェスチャー判断基準ベクトルのうちランダムに選択されたいずれか一つのジェスチャー判断基準ベクトルを前記第１ジェスチャー判断基準ベクトルに決定することができる。

【0071】

以上、図６を参照して本発明の一実施形態による電子端末装置の動作方法について説明した。ここで、本発明の一実施形態による電子端末装置の動作方法は、図１～図５を用いて説明した電子端末装置１１０の動作に関する構成と対応するため、これに関するより詳細な説明は省略することにする。

【0072】

本発明の一実施形態による電子端末装置の動作方法は、コンピュータとの結合によって実行させるための格納媒体に格納されたコンピュータプログラムで実現されてもよい。

【0073】

また、本発明の一実施形態による電子端末装置の動作方法は、様々なコンピュータ手段を介して実行できるプログラム命令形態で実現されてコンピュータ読み取り可能な媒体に記録されてもよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリタなどを用いてコンピュータにより実行できる高級言語コードを含む。

【0074】

以上のように、本発明を具体的な構成要素などのような特定事項と限定された実施形態および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施形態に限定されるものではなく、本発明が属する分野で通常の知識を有した者であれば、このような記載から様々な修正および変形が可能である。

【0075】

したがって、本発明の思想は説明された実施形態に限定して定められてはならず、後述する特許請求の範囲だけでなく、該特許請求の範囲と均等または等価的な変形がある全てのものは本発明思想の範疇に属すると言える。

【符号の説明】

【0076】

１１０ ・・・電子端末装置
１１１ ・・・ジェスチャー判断基準ベクトル格納部
１１２ ・・・ジェスチャーマッチング通知フィードバック出力情報格納部
１１３ ・・・イメージ取得部
１１４ ・・・関節ポイント抽出部
１１５ ・・・基準円生成部
１１６ ・・・ジェスチャーベクトル生成部
１１７ ・・・類似度演算部
１１８ ・・・フィードバック出力部
１１９ ・・・制御命令実行部
１２０ ・・・生成部
１２１ ・・・配置部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】