特開 2023-179345 情報入力方法及び装置、電子機器並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023179345

(43)【公開日】2023-12-19

(54)【発明の名称】情報入力方法及び装置、電子機器並びに記憶媒体

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231212BHJP

   G06T 7/00 20170101ALI20231212BHJP

   G06T 7/20 20170101ALI20231212BHJP

【ＦＩ】

G06F3/01 570

G06T7/00 660Z

G06T7/20 300A

G06F3/01 510

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022165595

(22)【出願日】2022-10-14

(31)【優先権主張番号】202210642074.X

(32)【優先日】2022-06-07

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】516180667

【氏名又は名称】北京小米移動軟件有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】Ｎｏ．０１８， Ｆｌｏｏｒ ８， Ｂｕｉｌｄｉｎｇ ６， Ｙａｒｄ ３３， Ｍｉｄｄｌｅ Ｘｉｅｒｑｉ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】ゾン，シュェヂョン

(72)【発明者】

【氏名】ドウ，ズーフェイ

(72)【発明者】

【氏名】リー，チォン

(72)【発明者】

【氏名】ワン，シンイェン

【テーマコード（参考）】

5E555

5L096

【Ｆターム（参考）】

5E555AA12

5E555AA22

5E555AA54

5E555BA02

5E555BA04

5E555BA38

5E555BB02

5E555BB04

5E555BB38

5E555BC04

5E555CA12

5E555CA42

5E555CB56

5E555CB66

5E555DA08

5E555DA09

5E555DC31

5E555DC35

5E555EA19

5E555FA00

5L096AA06

5L096CA04

5L096CA24

5L096EA05

5L096FA06

5L096FA09

5L096FA66

5L096FA69

5L096GA30

5L096GA51

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】外部デバイスを介することなく、ユーザは操作ジェスチャーにより、ターゲット情報の入力を容易に実現する情報入力方法及び装置、電子機器並びに記憶媒体を提供する。
【解決手段】情報入力方法は、手の画像を取得しＳ１１０、手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するＳ１２０。ターゲットタッチ領域は、第１の指及び／又は手のひら内に予め区分された設定されたタッチ領域の１つである。方法はさらに、開いた状態にある第１の指及びターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定するＳ１３０。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報入力方法であって、
手の画像を取得するステップと、
前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するステップであって、
前記ターゲットタッチ領域が、前記第１の指及び／又は手のひら内に予め区分された設定されたタッチ領域の１つであるステップと、
開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定するステップと、を含む、
ことを特徴とする情報入力方法。

【請求項2】

前記設定されたタッチ領域は、
指の関節間の領域、指の指先と指の関節との間の領域、手のひらの指の付け根に近い領域、指の指先が存在する領域、閉じた指間の指の隙間に区分された領域、指の関節が存在する領域、及び手のひら内に区分された領域の少なくとも１つを含む、
ことを特徴とする請求項１に記載の情報入力方法。

【請求項3】

前記開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定するステップは、
予め設定された対応関係、開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象の前記ターゲット情報を決定するステップを含み、
前記予め設定された対応関係が、少なくとも、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内の各設定されたタッチ領域と入力情報との関係を含む、
ことを特徴とする請求項１に記載の情報入力方法。

【請求項4】

前記予め設定された対応関係は、
異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された設定されたタッチ領域の数と、入力コンテンツ又は入力機能に関連性のある入力キーの数との関係と、
異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された設定されたタッチ領域の数と、使用頻度が予め設定された頻度より大きい入力キーの数との関係と、
異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された各設定されたタッチ領域間の相対位置と、ユーザによって連続的に選択される確率が予め設定された確率より高いキーとの関係との少なくとも１種に基づいて決定される、
ことを特徴とする請求項３に記載の情報入力方法。

【請求項5】

前記手の画像を取得するステップの前に、前記方法は、
前記予め設定された対応関係に基づいて、前記第１の指及び／又は手のひらの各設定されたタッチ領域に、設定されたタッチ領域に対応する入力情報を表示するステップをさらに含む、
ことを特徴とする請求項３に記載の情報入力方法。

【請求項6】

前記手の画像を取得するステップは、
前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたと検出された後、前記手の画像を取得するステップ、
または、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたタッチ時間が予め設定された時間を超えたと検出された場合、前記タッチ時間内のいずれかのフレームの手の画像を取得するステップを含む、
ことを特徴とする請求項３に記載の情報入力方法。

【請求項7】

前記手の画像を取得するステップの前に、前記方法は、
設定されたウェイクアップ操作が検出されたか否かを判断するステップであって、前記設定されたウェイクアップ操作が、前記手の画像による情報入力の開始を示すステップをさらに含む、
ことを特徴とする請求項１に記載の情報入力方法。

【請求項8】

前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するステップは、
前記手の画像内の手が片手である場合、前記片手の開いた状態にある第１の指と、前記片手の第２の指が前記片手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定するステップであって、前記片手が左手又は右手であるステップと、
前記手の画像内の手が左手及び右手である場合、前記左手の開いた状態にある第１の指と、前記左手の第２の指が前記左手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定し、前記右手の開いた状態にある第１の指と、前記右手の第２の指が前記右手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定するステップと、を含む、
ことを特徴とする請求項１に記載の情報入力方法。

【請求項9】

前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するステップは、
開いた状態にある１本または複数本の第１の指に基づいてジェスチャーグループを決定するステップであって、前記ジェスチャーグループが、１本または複数本の第１の指が開いた状態にあると判定された場合、異なる設定されたタッチ領域を前記第２の指でタッチすることによって形成される複数のジェスチャー操作を含むステップと、
決定されたジェスチャーグループの中から前記手の画像に対応するジェスチャー操作を決定し、決定されたジェスチャー操作に基づいて、前記第２の指がタッチしたターゲットタッチ領域を決定するステップと、を含む、
ことを特徴とする請求項１に記載の情報入力方法。

【請求項10】

情報入力装置であって、
手の画像を取得するための取得モジュールと、
前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するための第１の決定モジュールであって、前記ターゲットタッチ領域が、前記第１の指及び／又は手のひら内に予め区分された設定されたタッチ領域の１つである第１の決定モジュールと、
開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定するための第２の決定モジュールと、を含む、
こと特徴とする情報入力装置。

【請求項11】

電子機器であって、
プロセッサによって実行可能な命令を記憶するためのメモリと、
前記メモリに接続されるプロセッサと、を含み、
前記プロセッサは、請求項１～９のいずれかに記載の情報入力方法を実行するように構成される、
ことを特徴とする電子機器。

【請求項12】

非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記記憶媒体における命令がコンピュータのプロセッサによって実行される場合、コンピュータが請求項１～９のいずれかに記載の情報入力方法を実行できるようにする、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報技術分野に関し、特に情報入力方法及び装置、電子機器並びに記憶媒体に関する。

【背景技術】

【0002】

関連技術では、電子機器は入出力デバイスを有する。例えば、典型的な入力デバイスは、キーボード、マウス、及び／又はタッチスクリーンを含むことができる。典型的な出力デバイスは、ディスプレイ、スピーカ、及び／又はプロジェクタなどを含むことができる。

【0003】

入力デバイスで情報入力を行う場合、ユーザは、入力中に入力デバイスのそばにいなければならず、入力デバイスの使用方法を把握する必要がある。

【0004】

要するに、関連技術にはデバイスとのインタラクションが複雑で便利でないという特徴がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示の実施例は、情報入力方法及び装置、電子機器並びに記憶媒体を提供する。

【0006】

本開示の実施例の第１の態様は、情報入力方法を提供し、前記方法は、手の画像を取得するステップと、前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するステップであって、前記ターゲットタッチ領域が、前記第１の指及び／又は手のひら内に予め区分された設定されたタッチ領域の１つであるステップと、開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定するステップと、を含む。

【0007】

上記の方案に基づいて、前記設定されたタッチ領域は、指の関節間の領域、指の指先と指の関節との間の領域、手のひらの指の付け根に近い領域、指の指先が存在する領域、閉じた指間の指の隙間に区分された領域、指の関節が存在する領域、及び手のひらの指の付け根に近い領域のうちの少なくとも１つを含む。

【0008】

上記の方案に基づいて、前記開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定するステップは、予め設定された対応関係、開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象の前記ターゲット情報を決定するステップを含み、前記予め設定された対応関係は、少なくとも、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内の各設定されたタッチ領域と入力情報との関係を含む。

【0009】

上記の方案に基づいて、前記予め設定された対応関係は、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された設定されたタッチ領域の数と、入力コンテンツ又は入力機能に関連性のある入力キーの数との関係と、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された設定されたタッチ領域の数と、使用頻度が予め設定された頻度より大きい入力キーの数との関係と、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された各設定されたタッチ領域間の相対位置と、ユーザによって連続的に選択される確率が予め設定された確率より高いキーとの関係との少なくとも１種に基づいて決定される。

【0010】

上記の方案に基づいて、前記手の画像を取得するステップの前に、前記予め設定された対応関係に基づいて、前記第１の指及び／又は手のひらの各設定されたタッチ領域に、設定されたタッチ領域に対応する入力情報を表示するステップをさらに含む。

【0011】

上記の方案に基づいて、前記手の画像を取得するステップは、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたと検出された後、前記手の画像を取得するステップ、または、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたタッチ時間が予め設定された時間を超えたと検出された場合、前記タッチ時間内のいずれかのフレームの手の画像を取得するステップを含む。

【0012】

上記の方案に基づいて、前記手の画像を取得するステップの前に、設定されたウェイクアップ操作が検出されたか否かを判断するステップであって、前記設定されたウェイクアップ操作が、前記手の画像による情報入力の開始を示すステップをさらに含む。

【0013】

上記の方案に基づいて、前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するステップは、前記手の画像内の手が片手である場合、前記片手の開いた状態にある第１の指と、前記片手の第２の指が前記片手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定するステップであって、前記片手が左手又は右手であるステップと、前記手の画像内の手が左手及び右手である場合、前記左手の開いた状態にある第１の指と、前記左手の第２の指が前記左手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定し、前記右手の開いた状態にある第１の指と、前記右手の第２の指が前記右手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定するステップと、を含む。

【0014】

本開示の実施例の第２の態様は、情報入力装置を提供し、前記装置は、手の画像を取得するための取得モジュールと、前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するための第１の決定モジュールであって、前記ターゲットタッチ領域が、前記第１の指及び／又は手のひら内に予め区分された設定されたタッチ領域の１つである第１の決定モジュールと、開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定するための第２の決定モジュールと、を含む。

【0015】

本開示の実施例の第３の態様は、電子機器を提供し、前記電子機器は、プロセッサによって実行可能な命令を記憶するためのメモリと、前記メモリに接続されるプロセッサと、を含み、前記プロセッサが第１の態様のいずれかの技術案によって提供される情報入力方法を実行するように構成される。

【0016】

本開示の実施例の第４の態様は、非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体における命令がコンピュータのプロセッサによって実行される場合、コンピュータが第１の態様のいずれかの技術案によって提供される情報入力方法を実行できるようにする。

【発明の効果】

【0017】

本開示の実施例によって提供される技術案は、第２の指がタッチした第１の手指のターゲットタッチ領域に基づいて、ユーザが入力しようとするターゲット情報を決定する。このように、外部デバイスを介することなく、ユーザは操作ジェスチャーにより、ターゲット情報の入力を容易に実現することができる。

【図面の簡単な説明】

【0018】

ここでの図面は、明細書に組み込まれて本明細書の一部として構成され、本開示に適合する実施例を示し、本開示の原理を説明するために明細書とともに使用される。

【図1】例示的な一実施例によって示される情報入力方法の概略フローチャートである。

【図2】例示的な一実施例によって示される情報入力方法の概略フローチャートである。

【図3】例示的な一実施例によって示される第２の指の設定されたタッチ領域の概略図である。

【図4】例示的な一実施例によって示される第２の指の設定されたタッチ領域の概略図である。

【図5】例示的な一実施例によって示される第２の指の設定されたタッチ領域の概略図である。

【図6】例示的な一実施例によって示される第２の指の設定されたタッチ領域の概略図である。

【図7】例示的な一実施例によって示される操作ジェスチャーの概略図である。

【図8】例示的な一実施例によって示される操作ジェスチャーの概略図である。

【図9】例示的な一実施例によって示される情報入力方法の概略フローチャートである。

【図10】例示的な一実施例によって示される第２の指の設定されたタッチ領域の概略図である。

【図11】例示的な一実施例によって示される情報入力装置の概略構成図である。

【図12】例示的な一実施例に示される電子機器の概略構成図である。

【発明を実施するための形態】

【0019】

ここで、例示的な実施例を詳細に説明し、その例を図面に示す。以下の説明が図面に関連する場合、別段の表現がない限り、異なる図面の同じ数字は同じまたは類似の要素を表す。以下の例示的な実施例に記載の実施形態は、本開示と一致する全ての実施形態を表すものではない。むしろ、それらは、添付の特許請求の範囲に詳細に記載された、本開示のいくつかの態様に一致する装置の例にすぎない。

【0020】

図１に示すように、本開示の実施例は、情報入力方法を提供し、前記方法は以下のステップＳ１１０～Ｓ１３０を含む。

【0021】

Ｓ１１０、手の画像を取得する。

【0022】

Ｓ１２０、前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定する。前記ターゲットタッチ領域は、前記第１の指及び／又は手のひら内に予め区分された設定されたタッチ領域の１つである。

【0023】

Ｓ１３０、開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定する。

【0024】

本開示の実施例によって提供される情報入力方法は、ターゲット情報を受信するターゲットデバイス自身、またはターゲットデバイスの制御デバイスによって実行することができる。

【0025】

当該ターゲットデバイスは、固定デバイス及び／又はモバイルデバイスを含むが、これらに限定されない。

【0026】

前記モバイルデバイスは、携帯電話、タブレット、ウェアラブルデバイス、スマートホームデバイス、スマートオフィスデバイス、及び／又は車載デバイスなどを含むが、これらに限定されない。

【0027】

前記スマートホームデバイスは、スマートスピーカー及び／又はスマートドアウィンドウを含むが、これらに限定されない。

【0028】

前記固定デバイスは、デスクトップコンピュータ及び／又はスマートテレビなどを含むが、これらに限定されない。

【0029】

例示的に、このターゲットデバイスは、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）デバイス、拡張現実（Ａｕｇｍｅｎｔ Ｒｅａｌｉｔｙ、ＡＲ）デバイス、及び／又は混合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ）デバイスであってもよい。また、例示的に、ターゲットデバイスは、モノのインターネット（ｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ、ＩｏＴ）デバイスであってもよい。このＩｏＴデバイスは、人工知能モノのインターネット（Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ 、ＡＩｏＴ）デバイスであってもよい。

【0030】

当該手の画像は、カメラで収集された任意の画像、例示的に、ＲＧＢ画像及び／又はＹＵＶ画像であってもよい。いくつかの実施例では、ユーザのプライバシーの漏洩を減らすために、当該手の画像は手の深度画像またはグレー画像であってもよい。

【0031】

前記Ｓ１１０は、他のデバイスで収集された手の画像、及び／又は当該情報入力方法を実行するデバイス自身のカメラで収集された手の画像を受信することを含むことができる。

【0032】

手の画像が取得された後、画像認識を行って、現在開いた状態にある第１の指と第２の指がタッチした領域とを決定する。

【0033】

当該第２の指は人体の任意の１つの指であってもよい。例示的に、当該第２の指は、親指又は小指又は他の指などであってもよい。第１の指は、第２の指とは異なる任意の指であってもよく、例示的に、第１の指は親指以外の任意のいくつかの指、例えば、第１の指が人差し指、または第１の指が人差し指と中指、または第１の指が親指以外の４つの指であってもよい。

【0034】

開いた状態とは、指が展開状態または湾曲状態にあるか、または指の指先と手のひらとの間の距離が設定された距離より大きい状態にあることを指し、例えば、当該設定された距離が１ｃｍまたは２ｃｍ以下であってもよい。開いた状態は、収集された画像によって少なくとも１つの設定されたタッチ領域が認識できる状態である。

【0035】

いくつかの実施例では、第２の指がタッチした第１の指のターゲットタッチ領域は、第２の指の指の腹がタッチした第１の指の領域、第２の指の指の腹がタッチした第１の指の領域、第２の指の指の背がタッチした第１の指の領域、及び第２の指の指先がタッチした第１の指の領域の少なくとも１つを含むことができるが、これらに限定されない。

【0036】

別のいくつかの実施例では、第２の指がタッチした領域は、第２の指と同じ手に属する他の任意の部位であってもよい。

【0037】

要するに、本開示の実施例では、開いた状態にある第１の指と、第２の指がタッチした第１の手指及び／又は手のひらのターゲットタッチ領域とに基づいて、ユーザが入力しようとするターゲット情報を決定する。開いた状態にある第１の指が異なると、第１の指及び／又は手のひらのに区分された各設定されたタッチ領域によって表される入力情報も異なる。

【0038】

いくつかの実施例では、前記設定されたタッチ領域は、指の関節間の領域、指の指先と指の関節との間の領域、手のひらの指の付け根に近い領域、指の指先が存在する領域、閉じた指間の指の隙間に区分された領域、指の関節が存在する領域、及び手のひらの指の付け根に近い指の関節の領域の少なくとも１つを含む。

【0039】

図３～図６に示すように、第２の指が親指であり、残りの人差し指、中指、薬指、及び小指がすべて第１の指であると仮定する。図３～図６では、指の黒い線で区分された領域は設定されたタッチ領域であり、各第１の指において、黒い線が存在する位置が指の関節である。

【0040】

図３に示すように、第１の指の人差し指が開いた状態にあり、第２の指が親指であり、親指がタッチした領域は、指の指先が存在する領域１、指の関節間の領域２、指の関節間の領域３、および手のひらの人差し指の付け根に近い指の関節の領域４を含むことができる。

【0041】

図４に示すように、第１の指の人差し指及び中指が開いた状態にあり、第２の指が親指であり、親指がタッチした領域は、人差し指の指先が存在する領域５、人差し指の関節間の領域６、人差し指の関節間の領域７及び手のひらの人差し指の付け根に近い指の関節の領域８、中指の指先が存在する領域９、中指の関節間の領域１０、中指の関節間の領域１１及び手のひらの中指の付け根に近い指の関節の領域１２を含むことができる。

【0042】

図５に示すように、第１の指の人差し指、中指及び薬指が開いた状態にあり、第２の指が親指であり、親指がタッチした領域は、人差し指の指先が存在する領域１３、人差し指の関節間の領域１４、人差し指の関節間の領域１５及び手のひらの人差し指の付け根に近い指の関節の領域１６、中指の指先が存在する領域１７、中指の関節間の領域１８、中指の関節間の領域１９及び手のひらの中指の付け根に近い指の関節の領域２０、薬指の指先が存在する領域２１、薬指の関節間の領域２２、薬指の関節間の領域２３及び手のひらの薬指の付け根に近い指の関節の領域２４を含むことができる。

【0043】

図６に示すように、第１の指の人差し指、中指、薬指及び小指が開いた状態にあり、第２の指が親指であり、親指がタッチした領域は、人差し指の指先が存在する領域２５、人差し指の関節間の領域２６、人差し指の関節間の領域２７及び手のひらの人差し指の付け根に近い指の関節の領域２８、中指の指先が存在する領域２９、中指の関節間の領域３０、中指の関節間の領域３１及び手のひらの中指の付け根に近い指の関節の領域３２、薬指の指先が存在する領域３３、薬指の関節間の領域３４、薬指の関節間の領域３５及び手のひらの薬指の付け根に近い指の関節の領域３６、小指の指先が存在する領域３７、小指の関節間の領域３８、小指の関節間の領域３９及び手のひらの小指の付け根に近い指の関節の領域４０を含むことができる。

【0044】

一実施例では、前記手のひらの指の付け根に近い指の関節の領域は、領域４、領域８、領域１２、領域１６、領域２０、領域２４、領域２８、領域３２、領域３６及び領域４０を含むことができる。前記指の指先が存在する領域は、領域１、領域５、領域９、領域１３、領域１７、領域２１、領域２５、領域２９、領域３３及び領域３７を含むことができる。

【0045】

要するに、本開示の実施例では、第２の指が開いた状態にある第１の指の１つ又は複数の設定されたタッチ領域をタッチすることにより、ターゲット情報の入力を完成することができ、このように、外部デバイスを介することなく、ユーザは操作ジェスチャーにより、ターゲット情報の入力を容易に実現することができる。

【0046】

図２に示すように、前記Ｓ１３０はＳ１３１を含むことができる。

【0047】

Ｓ１３１、予め設定された対応関係、開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象の前記ターゲット情報を決定する。ここで、前記予め設定された対応関係は、少なくとも、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内の各設定されたタッチ領域と入力情報との関係を含む。

【0048】

異なる第１の指が開いた状態にある場合、予め設定された対応関係は異なる。異なる第１の指が開いた状態にあることがユーザの異なる操作ジェスチャーに対応することに相当する。すなわち、異なる操作ジェスチャーが異なる予め設定された対応関係に対応し、異なるターゲット情報の入力を実現することができ、このように、様々な操作ジェスチャーと広い範囲内の異なる種類のターゲット情報の簡単な入力を実現することができる。

【0049】

例えば、図３に示すように、人差し指のみが開いた状態にある場合、予め設定された対応関係は、領域１に対応する入力情報がカメラ機能のトリガーであり、領域２に対応する入力情報がメニューキーに対応する機能であり、領域３に対応する情報がリターンキーに対応する機能であり、領域４に対応する入力情報がダイヤルキーに対応する機能であることであってもよい。

【0050】

図４に示すように、領域５に対応する入力情報はデスクトップに戻ることであり、領域６に対応する入力情報は前のインターフェースに戻ることであり、領域７に対応する情報は、次のインターフェースにページをめくることであり、領域８に対応する入力情報はスクリーンショットの機能であり、領域９に対応する入力情報はカーソルを上に移動させることであり、領域１０に対応する入力情報はカーソルを下に移動させることであり、領域１１に対応する情報はスクロールバーを上に移動させることであり、領域１２に対応する入力情報はスクロールバーを下に移動させることである。

【0051】

図５に示すように、領域５、１７、２１、１４、１５、２２、１５、１９、２３、１６が左から右へ上から下へ、それぞれ対応する入力情報は数字７、８、９、４、５、６、１、２、３及び０である。領域２０に対応する入力情報は、削除キーの機能であってもよい。領域２４に対応する入力情報はエンターキーの機能であってもよい。

【0052】

図６及び図１０に示すように、領域２５、２９、３３、２６、３０、３４、３７、２７、３１、３８、２８、３２、３６及び４０が左から右へ上から下へ、それぞれ対応する入力情報は、文字「ＤＥＦ」、「ＡＢＣ」、「１，．？！」、「ＭＮＯ」、「ＪＫＬ」、「ＧＨＩ」、「０ ｓｐａｃｅ」、「ＷＸＹＺ」、「ＴＵＶ」、「ＰＱＲＳ」、「ピンイン選択」、「ｄｅｌｅｔｅ」、左シフト及び右シフトキーである。

【0053】

以上は単なる例であり、具体的に実現するときには上記の例に限定されない。

【0054】

要するに、異なる第１の指が開いた状態にある場合、予め設定された対応関係は異なる。すなわち、異なる第１の指が開いた状態にある場合、各設定されたタッチ領域に対応する入力情報は異なる。そして、第２の指がタッチした領域に基づいて入力対象のターゲット情報を決定し、対応関係が異なることにより異なるターゲット情報の入力を実現することができる。

【0055】

図７に示すように、人差し指が開いた状態にある場合の予め設定された対応関係、及び親指がタッチしたターゲットタッチ領域（図７では指先と指の関節との間の領域である）に基づいて、入力対象のターゲット情報を決定する。

【0056】

図８に示すように、人差し指及び中指が開いた状態にある場合の予め設定された対応関係、及び親指がタッチしたターゲットタッチ領域（図８では指の関節間の領域である）に基づいて、入力対象のターゲット情報を決定する。

【0057】

いくつかの実施例では、前記予め設定された対応関係は、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された設定されたタッチ領域の数と、入力コンテンツ又は入力機能に関連性のある入力キーの数との関係と、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された設定されたタッチ領域の数と、使用頻度が予め設定された頻度より大きい入力キーの数との関係と、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された各設定されたタッチ領域間の相対位置と、ユーザによって連続的に選択される確率が予め設定された確率より高いキーとの関係との少なくとも１種に基づいて決定される。

【0058】

予め設定された対応関係は、設定されたタッチ領域と入力情報または入力機能を表し、実際の場合には入力キーが表す入力コンテンツまたは機能を入力情報とすることができ、例えば、削除キーに対応する入力情報は削除機能であり、数字キーボード上の数字１に対応するキーが表す入力情報は数字１である。

【0059】

開いた状態にある第１の指が異なる場合、第１の指及び／又は手のひら内に区分可能な設定されたタッチ領域の数も異なるため、設定されたタッチ領域に対応する入力キーにもある程度影響する。

【0060】

例えば、図３に示すように、人差し指のみが展開状態にあり、区分された設定されたタッチ領域が領域１～領域４である場合、入力キーの数に制限されるため、入力コンテンツに関連性のある九宮格ピンインキーボード上の各キーを設定されたタッチ領域に対応させることができず、入力コンテンツまたは入力機能に関連のない入力キーのみをこの４つの設定されたタッチ領域に関連付けることができ（例えば、領域１～領域４は、それぞれカメラ機能のトリガー、メニューキー、リターンキー、ダイヤルキーに対応する）、または、入力コンテンツまたは入力機能のみを関連付け、数が４つ以下のキーを設定されたタッチ領域に対応させることができる（例えば、領域１～領域４は、それぞれ上へ移動、下へ移動、左へ移動、右へ移動に対応する）。

【0061】

このように、開いた状態にある第１の指の違いと本数に基づいて、予め設定された対応関係を簡単に呼び出すことができ、これによって現在のジェスチャー対応姿勢に適した設定されたタッチ領域を手に表示し、ユーザが情報入力と入力機能のトリガーをよりよく実現することを支援するように、ユーザに操作を促す。

【0062】

開いた状態にある第１の指が異なる場合、第１の指及び／又は手のひら内に区分可能な設定されたタッチ領域の数も異なり、設定されたタッチ領域の数が限られている場合、使用頻度の高い入力キーをいくつか選択して、設定されたタッチ領域に対応させることもできる。例えば、図４に示すように、開いた状態にある第１の指はそれぞれ人差し指と中指であり、図３の開いた状態にある第１の指が人差し指のみであることと異なる。この場合、人差し指と中指、および手のひらの設定されたタッチ領域は、九宮格ピンインキーボード上の各キーを設定されたタッチ領域に対応させることができない。この場合、キーが操作された履歴に基づいて、使用頻度が最も高いＭ個の入力キーを決定し、このＭ個の入力キーを人差し指と中指が開いた状態にある設定されたタッチ領域に対応させる。例えば、このＭの値は、人差し指と中指が開いた状態にあるときの予め設定されたタッチ領域の数に等しくてもよい。

【0063】

使用頻度の高い入力キーを選択して設定されたタッチ領域に対応させることにより、開いた状態にある第１の指の本数が少ない場合、頻度の高い入力キーまたは入力機能を設定されたタッチ領域に優先的に表示することができ、ユーザの操作を容易にし、設定されたタッチ領域に表示された入力キー及び／又は入力機能をトリガーするための操作を減らし、デバイスのインテリジェンスとユーザの使いやすさを向上させることができる。

【0064】

いくつかの入力キーに対応する入力コンテンツまたは機能間に関連性があり、関連性は入力コンテンツまたは入力機能自身の関連性（例えば、九宮格ピンインキーボード上の各ピンインキー間に関連性があり、上へ移動、下へ移動、左へ移動、右へ移動の機能を表すキー間に関連性がある）であってもよく、関連性はユーザがキーを連続的に選択する確率によって反映されてもよい。例えば、ユーザがキー１を選択した後にキー２を選択することが多いため、キー１とキー２が連続的に選択される確率が、キー１と他のキーが連続的に選択される確率より高く、キー１とキー２との間に一定の関連性があると考えられる。予め設定された対応関係を設定するときに、関連性のあるキー、またはユーザが連続的に選択する確率が高いキーを、位置が近い設定されたタッチ領域に対応させることができる。例えば、左シフトキーと右シフトキーのうちの一方が選択されると、他方が選択される確率が極めて大きく、左シフトキーが選択されると、右シフトキーが選択される確率がアルファベットキーの確率より大きいため、図１０に示す対応関係では、左シフトキーと右シフトキーが隣接して設定されている。要するに、本実施例で言及した対応関係を採用することにより、ユーザの第２の指を大きく動かすことなく、選択される確率的に関連性のある２つのキーの操作を実現することができ、情報入力の利便性を向上させる。

【0065】

前記入力キーの使用頻度及び／又はキーがユーザによって連続的に選択される確率は、いずれも、ターゲットデバイス又はターゲットデバイスの制御デバイスがユーザによって操作された履歴情報に基づいて決定されることができる。例えば、現在時刻以前の特定時間内の情報入力の履歴情報を取得し、前記履歴情報に基づいて、九宮格ピンインキーボード及び／又は他の入力キーの使用頻度を決定し、使用頻度を高から低へソートして、使用頻度が予め設定された頻度より大きい入力キーを決定することができる。

【0066】

また例えば、現在時刻以前の特定時間内の情報入力の履歴情報を取得し、前記履歴情報に基づいて、九宮格ピンインキーボード及び／又は他の任意の２つのキーが連続的に選択される確率を決定し、キーのうちユーザによって連続的に選択される確率が予め設定された確率より高いキー間の関係を決定する。

【0067】

いくつかの実施例では、設定する必要があるキーの数に基づいて、設定されたタッチ領域の数を設定することもでき、例えばユーザが最もよく使用する３～４つのキーを統計し、この実施例により、設定されたタッチ領域を３～４つの領域に設定する。

【0068】

いくつかの実施例では、手の画像を取得するステップの前に、前記方法は、
前記予め設定された対応関係に基づいて、前記第１の指及び／又は手のひらの各設定されたタッチ領域に、設定されたタッチ領域に対応する入力情報を表示するステップをさらに含む。

【0069】

例示的に、図１０に示すように、本開示の実施例は、表示の方式を採用して、入力情報を各設定されたタッチ領域に表示して、ユーザの第２の指が第１の指の対応する設定されたタッチ領域をタッチしやすくして、ターゲット情報の入力を完成する。

【0070】

図１０に示すように、ユーザの第１の指には、文字入力を表示する片手入力キーボード、左シフトキー、右シフトキー、および削除（ｄｅｌｅｔｅ）キーがある。

【0071】

例えば、ユーザのスマートメガネ及び／又はヘッドマウントデバイス及び／又はスマートホームデバイスは、プロジェクタなどを介してユーザの手に入力情報を表示することができる。

【0072】

手の画像の各設定されたタッチ領域に対応する入力情報を表示することにより、異なる設定されたタッチ領域に対応する入力情報をユーザに直観的に表示し、ユーザが入力情報を迅速かつ正確に選択することを支援することができる。なお、ユーザが各設定されたタッチ領域に対応する入力情報（例えば、設定されたタッチ領域が少ないため、予め設定された対応関係が簡単であり、ユーザが各設定されたタッチ領域に対応する入力情報を覚えやすい）を熟知している場合、設定されたタッチ領域に対応する入力情報を各設定されたタッチ領域に表示することなく、ユーザがブラインドタッチによって情報入力を実現することもできる。

【0073】

いくつかの実施例では、前記予め設定された対応関係に基づいて、前記第１の指及び／又は手のひらの各設定されたタッチ領域に、設定されたタッチ領域に対応する入力情報が表示された場合、前記方法は、入力対象のターゲット情報の決定に応答して、ターゲットタッチ領域及び／又はターゲットタッチ領域に対応する入力対象のターゲット情報の表示状態を変更してユーザに通知するステップをさらに含む。

【0074】

表示状態は、ターゲットタッチ領域をハイライト表示することと、ターゲットタッチ領域の輪郭をハイライト表示することと、入力対象のターゲット情報をハイライト表示することと、入力対象のターゲット情報の輪郭をハイライト表示することと、ターゲットタッチ領域を他の設定されたタッチ領域とは異なる色で表示することと、ターゲットタッチ領域の輪郭を他の設定されたタッチ領域の輪郭とは異なる色で表示することと、入力対象のターゲット情報を他の入力情報とは異なる色で表示することと、入力対象のターゲット情報の輪郭を他の入力情報の輪郭とは異なる色で表示することとのうちの少なくとも１つによって変更され得る。

【0075】

例えば、入力されるターゲットタッチ領域及びターゲット情報を決定する際に、ターゲットタッチ領域及び／又はターゲット情報をハイライト表示してもよいし、ターゲットタッチ領域を他のすべての設定されたタッチ領域を表示する色と異なる色で表示してもよい。これにより、第２の指がタッチしたターゲットタッチ領域及び対応する入力対象のターゲット情報をより良くユーザに通知することができる。

【0076】

いくつかの実施例では、前記Ｓ１１０は、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたと検出された後、前記手の画像を取得するステップ、または、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたタッチ時間が予め設定された時間を超えたと検出された場合、前記タッチ時間内のいずれかのフレームの手の画像を取得するステップを含むことができる。

【0077】

具体的には、「前記予め設定された対応関係に基づいて、前記第１の指及び／又は手のひらの各設定されたタッチ領域に、設定されたタッチ領域に対応する入力情報を表示するステップ」の後に、本実施例によって提供されるステップを実行することもできる。

【0078】

ターゲットデバイスは、画像収集モジュールを含むことができる。画像収集モジュールは画像を収集することができる。

【0079】

例示的に、ユーザの現在の第１の指及び／又は手のひらの設定されたタッチ領域に、設定されたタッチ領域に対応する入力情報を表示し、ユーザが情報入力のニーズまたは入力機能のトリガーがある場合、第２の指で、第１の指及び／又は手のひらのいずれか１つの設定されたタッチ領域をタッチし、この時、画像収集モジュールは対応する画面を収集することができる。

【0080】

例えば、画像収集モジュールによって収集されたプレビュー画像により、ユーザの第１の指の設定されたタッチ領域が第２の指によってタッチされたか否かを決定することができる。収集された画像に基づいて第２の指が第１の指のいずれか１つの設定されたタッチ領域をタッチしたと決定された場合、ユーザはエアジェスチャーで情報入力を行う可能性があり、この場合、手の画像を直ちに取得し、ユーザが意図的に入力した操作ジェスチャーをタイムリーに認識することができ、応答速度を向上させることができる。ユーザの第２の指が第１の指に位置すると検出された場合、対応する手の画像を本格的に収集し、この本格的に収集された手の画像に基づいてユーザの入力情報を決定する必要があり、これによって手の画像の収集トリガーなどを簡便に実現し、不要な手の画像の収集及び生成を減らすことができる。

【0081】

いくつかの実施例では、無操作を減らすために、前記第２の指が各設定されたタッチ領域をタッチした持続時間長（すなわち、前記タッチ時間）を検出し、タッチ時間が非常に短い場合、収集された画像が不明瞭になり、または、画像収集モジュールの手振れ補正アルゴリズムによってユーザの操作ジェスチャーが復元された後であっても、操作ジェスチャーのタッチ時間が短い場合、ユーザの意図しない誤操作である可能性があるため、ユーザが意図したターゲット情報の入力であると見なさないことができる。

【0082】

例示的に、ユーザの１つのジェスチャーが単一の画像内で明瞭であるか否か、及び／又は所定の頻度で収集された画像のうち当該ジェスチャーが含まれる画像の数により、第２の指が設定されたタッチ領域をタッチしたタッチ時間を検出することができる。当該設定された時間は、予め設定された任意の経験値または実験値であってもよく、当該設定された時間は、０．５秒または１秒などの値であってもよく、当該設定された時間は、ユーザの意図した特定のジェスチャーの実行と意図しないジェスチャー操作の生成とを区別することができ、ターゲット情報の入力を実現し、ユーザの運動中の意図しないジェスチャー操作を抑制し、ターゲット情報の誤入力を減らすことができる。

【0083】

タッチ時間が予め設定された時間を超えた場合、前記タッチ時間内のいずれかのフレームの手の画像を取得し、当該手の画像に対して分析処理などを行うことで、タッチ時間が設定時間を超えない手の画像の処理を減らし、不要な計算量を減らし、不要な計算量による誤操作を減らし、本開示の実施例の情報入力の精度を向上させる。

【0084】

いくつかの実施例では、前記手の画像を取得するステップの前に、前記方法は、設定されたウェイクアップ操作が検出されたか否かを判断するステップであって、前記設定されたウェイクアップ操作が、前記手の画像による情報入力の開始を示すステップをさらに含む。

【0085】

手の画像によってユーザが入力したターゲット情報を収集することは、常に実行する必要がない。

【0086】

本開示の実施例では、設定されたウェイクアップ操作を導入する。当該ウェイクアップ操作は、音声操作であってもよいし、ターゲットデバイス上のエンティティキーまたはターゲットデバイスのディスプレイに表示される仮想キーに対する操作であってもよいし、特定のエアジェスチャーであってもよい。

【0087】

なお、設定されたウェイクアップ操作が検出された場合、手の画像を取得し、上記のいずれかの実施例によって提供される方案を手の画像によって実行することによって情報入力を実現する。より具体的には、設定されたウェイクアップ操作が検出された場合、まず、前記予め設定された対応関係に基づいて前記第１の指及び／又は手のひらの各設定されたタッチ領域に、設定されたタッチ領域に対応する入力情報を表示し、その後、手の画像を取得することができる。または、設定されたウェイクアップ操作が検出された場合、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたと検出された後、前記手の画像を取得し、または、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたタッチ時間が予め設定された時間を超えたと検出された場合、前記タッチ時間内のいずれかのフレームの手の画像を取得する。

【0088】

もちろん、設定されたウェイクアップ操作が検出された後、まず前記予め設定された対応関係に基づいて、前記第１の指及び／又は手のひらの各設定されたタッチ領域に、設定されたタッチ領域に対応する入力情報を表示し、その後、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたと検出された後、前記手の画像を取得し、または、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたタッチ時間が予め設定された時間を超えたと検出された場合、前記タッチ時間内のいずれかのフレームの手の画像を取得することもできる。

【0089】

要するに、設定されたウェイクアップ操作が検出された後、図１などのような前記の任意の技術案によって提供される情報入力方法の実行を開始し、エアジェスチャーによる情報入力の開始トリガーを実現し、ターゲットデバイスまたはターゲットデバイスの制御デバイスが常に操作ジェスチャーを検出する状態にあることによる消費電力を減らし、ターゲットデバイスの待機時間及び／又はターゲットデバイスの制御デバイスの待機時間を延長する。

【0090】

いくつかの実施例では、前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するステップは、前記手の画像内の手が片手である場合、前記片手の開いた状態にある第１の指と、前記片手の第２の指が前記片手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定するステップであって、前記片手が左手又は右手であるステップと、前記手の画像内の手が左手及び右手である場合、前記左手の開いた状態にある第１の指と、前記左手の第２の指が前記左手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定し、前記右手の開いた状態にある第１の指と、前記右手の第２の指が前記右手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定するステップと、を含む。

【0091】

前記第１の指と前記第２の指とが同じ手の指である場合、ユーザが片手で操作する場合、前記手の画像はユーザの左手の画像または右手の画像であってもよい。すなわち、左右手の画像は、いずれも上記の情報入力方法でユーザのターゲット情報の入力を実現することができ、このように、異なる利き手のユーザが本開示の実施例の情報入力方法を使用してターゲット情報の入力を完成するのに便利である。

【0092】

本開示の実施例によって提供される情報処理方法は、両手操作であってもよく、この場合、手の画像にはユーザの左手と右手が同時に見える。この場合、ユーザの左手と右手はそれぞれ第１の指と第２の指を有する。この場合、ユーザの左手の操作ジェスチャーと右手の操作ジェスチャーとは、同じ操作であってもよいし、異なるジェスチャー操作であってもよい。

【0093】

左手の操作ジェスチャーと右手の操作ジェスチャーとが同じである場合、左手の開いた状態にある第２の指及び第２の指の本数と、右手の開いた状態にある第２の指及び第２の指の本数とが同じであり、左手と右手の第２の指がタッチした第１の指のターゲット設定領域が同じであることを示す。

【0094】

左手の操作ジェスチャーと右手の操作ジェスチャーとが異なる場合、左手の開いた状態にある第２の指及び第２の指の本数が異なってもよく、及び／又は、左手と右手の第２指がタッチした第１の指のターゲット設定領域が異なることを示す。両手の第２の指が第１の指をタッチする操作ジェスチャーは、情報入力を共同で実現することができる。

【0095】

ユーザの左手と右手の操作ジェスチャーを同時に考慮すると、操作ジェスチャーの個数をさらに増やし、より多くの情報の入力を実現し、異なる入力シーンでのユーザの様々な入力ニーズを満たすのに便利であり、デバイスのインテリジェンスと操作ジェスチャーの認識範囲を向上させることができる。

【0096】

上記各実施例では、前記第１の指と前記第２の指とが同じ手の指であり、前記第２の指は親指である。親指が他の指または手のひらの領域を簡単にタッチすることができるため、第２の指が親指である場合、より便利で適用性の高い情報入力方法が提供される。

【0097】

いくつかの実施例では、「開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域と」の認識は、事前にトレーニングされた深層学習モデルによって実現することができる。当該深層学習モデルは、様々なタイプのニューラルネットワークを含むが、これに限定されない。当該ニューラルネットワークは、畳み込みニューラルネットワーク及び／又はリカレントニューラルネットワークなどを含むことができるが、これらに限定されない。

【0098】

例示的に、深層学習モデルの特徴抽出層は、前記手の画像の多次元特徴ベクトルを抽出する。ここで、前記多次元特徴ベクトルは、少なくとも前記第２の指が第１の指をタッチしたターゲットタッチ領域を反映する。前記深層学習モデルの全接続層が前記多次元特徴ベクトルを全接続させた後、前記操作ジェスチャーの分類確率を得る。前記分類確率に基づいて、前記操作ジェスチャーを決定する。前記操作ジェスチャーに基づいて、前記ターゲット情報を決定する。

【0099】

深層学習モデル使用して操作ジェスチャーの認識とターゲット情報の確認を行うことにより、操作ジェスチャーのターゲット情報の入力精度を向上させることができる。

【0100】

前記深層学習モデルは、１つ以上の特徴抽出層を含むことができ、１つの前記特徴抽出層は、畳み込み操作のための畳み込み層と、プーリング操作のためのプーリング層と、を含むことができる。

【0101】

当該畳み込み操作は、深層分離可能な畳み込みを含むが、これに限定されない。

【0102】

前記プーリング操作は、最大プーリング及び／又は平均プーリング操作を含む。

【0103】

前記多次元特徴ベクトルは、異なる次元から、前記第２の指がタッチした領域などの情報を反映することができる。

【0104】

例示的に、前記多次元特徴ベクトルは、開いた状態にある第１の指の個数などの情報を反映することもできる。

【0105】

全接続層によって多次元特徴ベクトルをスプライスして、現在の手の画像内の各種の操作ジェスチャーである確率を取得し、最大確率に対応するジェスチャーを選択して、現在の手の画像に含まれる操作ジェスチャーとして決定する。

【0106】

いくつかの実施例では、前記深層学習モデルの特徴抽出層が手の画像の多次元特徴ベクトルを抽出するステップは、前記深層学習モデルの特徴抽出層が、前記手の画像に対して、畳み込み、プーリング及び注意メカニズムの処理を行って、前記多次元特徴ベクトルを取得するステップを含み、前記注意メカニズムが、空間注意メカニズム及び／又はチャンネル注意メカニズムを含む。

【0107】

具体的な実現中に、前記特徴抽出層は、畳み込み操作のための畳み込み層と、通常畳み込み層の後端に位置し、畳み込み層から出力された特徴に対してプーリング操作を行うためのプーリング層と、畳み込み層及び／又はプーリング層の後端に位置し、畳み込み層及び／又はプーリング層から出力された特徴に対して注意操作を行うための注意メカニズムモジュールとの１つまたは複数を含むことができる。

【0108】

当該注意メカニズムモジュールは、空間注意メカニズムを実行するための空間注意メカニズムモジュール及び／又はチャンネル注意メカニズムを実行するためのチャンネル注意メカニズムモジュールを含むが、これに限定されない、

【0109】

従って、いくつかの実施例では、前記深層学習モデルの特徴抽出層は、前記手の画像に対して、畳み込み、プーリング及び注意メカニズムの処理を行って、前記多次元特徴ベクトルを取得し、ここで、前記注意メカニズムが、空間注意メカニズム及び／又はチャンネル注意メカニズムを含む。

【0110】

いくつかの実施例では、前記手の画像内の手の輪郭を認識し、前記輪郭に基づいて、前記第２の指及び前記開いた状態にある前記第１の指を決定し、前記第２の指の指の腹の特徴点の位置及び前記開いた状態にある異なる領域の位置に基づいて、前記第２の指がタッチした前記第１の指の領域を決定する。

【0111】

例えば、深層学習モデルは、手の画像の中から手の外輪郭特徴を抽出し、外輪郭特徴点の結線に基づいて、手の輪郭を取得する。手の輪郭に基づいて手の画像内の第２の指が存在する位置と第１の指が存在する位置とを決定し、さらに第１の指の輪郭に基づいて第１の指が開いた状態にあるかカール状態にあるかを決定する。

【0112】

第２の指が決定された後、第２の指の指先特徴点を決定し、当該指先特徴点の画像座標（すなわち位置）は、第２の指の指先が存在する領域を表す。そして、第１の指の各領域の分布と組み合わせて、第１の指のイメージングと第２の指の指先とが重なる領域を決定し、第２の指の指先がタッチしたターゲットタッチ領域として決定する。

【0113】

要するに、第２の指がタッチした第１の指の領域を決定するには多くの方式があり、以上は例を挙げただけであり、具体的な実現は上記の例に限定されない。

【0114】

図９に示すように、深層学習モデルは入力画像を受信し、手の検出を行ってジェスチャー認識を実現することができる。具体的には、図３～図６と併せて、操作ジェスチャーは、ジェスチャーグループ１～ジェスチャーグループ４を含むことができ、各ジェスチャーグループには、異なる設定されたタッチ領域を第２の指でタッチすることによって形成される１つまたは複数の操作ジェスチャーが含まれることができる。

【0115】

したがって、いくつかの実施例では、開いた状態にある第１の指の本数に基づいて、現在のジェスチャー操作が存在するジェスチャーグループを決定し、前記現在のジェスチャー操作が存在するジェスチャーグループの中から前記現在の操作ジェスチャーを認識し、現在のジェスチャー操作に基づいて、第２の指がタッチしたターゲットタッチ領域を決定する。

【0116】

例えば、図７を参照すると、開いた状態にある第１の指を人差し指とし、親指で人差し指をタッチすることで現在の操作ジェスチャーが形成される。現在の操作ジェスチャーがジェスチャー１として認識され、ジェスチャー１に基づいてターゲットタッチ領域がタッチ領域１として決定される。

【0117】

いくつかの実施例では、前記方法は、開いた状態にある１本または複数本の第１の指に基づいて現在のジェスチャー操作が存在するジェスチャーグループを決定することに応答して、ジェスチャーグループに含まれる（複数の）ジェスチャー操作に対応する入力情報を手の領域または手以外の領域に表示するステップをさらに含む。

【0118】

例えば、図７を参照すると、開いた状態にある人差し指が第１の指として決定された場合、プロジェクタによって薬指または中指の領域または手以外の領域にジェスチャー１～４に対応する入力情報を表示することができる。別の例として、入力情報は、ＡＩメガネの左上隅など、ＡＩメガネ上の任意の位置に表示されてもよい。

【0119】

いくつかの実施例では、ジェスチャーグループに含まれる（複数の）ジェスチャー操作に対応する入力情報が手の領域または手以外の領域に表示された後、前記方法は、決定されたジェスチャーグループの中から手の画像に対応するジェスチャー操作が決定されたことに応答して、決定されたジェスチャー操作に対応する入力対象のターゲット情報の表示状態を変更してユーザに通知するステップをさらに含む。

【0120】

例えば、表示状態の変更は、入力対象のターゲット情報をハイライト表示することと、入力対象のターゲット情報の輪郭をハイライト表示することと、入力対象のターゲット情報を他の入力情報とは異なる色で表示することと、入力対象のターゲット情報の輪郭を他の入力情報の輪郭とは異なる色で表示することとのうちの少なくとも１つを含むことができる。

【0121】

いくつかの実施例では、前記Ｓ１１０は、深層学習モデルの入力層が入力画像を受信するステップと、前記深層学習モデルの前処理層が、前記入力画像に対して画像前処理を行って画像サイズ及び／又は画像品質が予め設定された要件を満たす前記手の画像を取得するステップであって、前記深層学習モデルが、前記手の画像に基づいて手の姿勢を分類して、前記入力画像から収集されたジェスチャー操作を取得するための認識層をさらに含むステップと、を含むことができる。

【0122】

深層学習モデルの入力層は、入力画像を受信した後、入力画像を前処理し、当該前処理は、入力画像のノイズ低減操作と、手のイメージング領域以外の背景領域をクロッピングすることのような入力画像のクロッピング操作と、アップサンプリングまたはダウンサンプリングによって画像解像度の変換を行うことのような入力画像の画像サイズ変換操作と、入力画像を回転させた後、手の所定の領域のイメージングを深層学習モデルの対応するチャンネルによって処理するようにする入力画像の回転処理との少なくとも１つを含むが、これらに限定されない。

【0123】

もちろん、上記は前処理の例にすぎず、具体的な実現は上記の例に限定されるものではなく、上記の前処理により、後続の操作ジェスチャー分類または識別を行う深層学習モデルが、画像サイズ及び／又は画像品質が予め設定された要件を満たす手の画像を取得することができる。

【0124】

本開示の実施例では、深層学習モデルは、自身で入力画像を前処理し、異なる画像サイズ及び／又は画像品質の入力画像の操作ジェスチャーの認識を適合的に処理することができ、深層学習モデルの汎化能力を向上させ、入力画像の収集に対する制限を減らす。

【0125】

いくつかの実施例では、前記深層学習モデルの前処理層が、前記入力画像に対して画像前処理を行って、画像サイズ及び／又は画像品質が予め設定された要件を満たす前記手の画像を取得するステップは、前記前処理層が、前記入力画像から手のイメージングが含まれる第１の画像領域を切り取るステップと、前記第１の画像領域に対してアップサンプリングまたはダウンサンプリングを行って、画像サイズが前記予め設定された要件を満たす第２の画像領域を取得し、及び／又は、前記第１の画像領域または前記第２の画像領域の画像品質を向上して、画像品質が前記予め設定された要件を満たす前記手の画像を取得するステップと、を含む。

【0126】

いくつかの実施例では、前記深層学習モデルの前処理層が、前記入力画像に対して画像前処理を行って、画像サイズ及び／又は画像品質が予め設定された要件を満たす前記手の画像を取得するステップは、前記前処理層が、前記入力画像から手のイメージングが含まれる第１の画像領域を切り取るステップと、前記第１の画像領域に対してアップサンプリングまたはダウンサンプリングを行って、画像サイズが前記予め設定された要件を満たす第２の画像領域を取得し、及び／又は、前記第１の画像領域または前記第２の画像領域の画像品質を向上して、画像品質が前記予め設定された要件を満たす前記手の画像を取得するステップと、を含む。

【0127】

画像品質の向上は、画像のノイズ低減処理及び／又は干渉色除去の前処理などを含むことができる。

【0128】

深層学習モデル（すなわちニューラルネットワーク）（畳み込み－＞プーリング）によって多次元特徴ベクトルを抽出し、全接続層を介してカテゴリベクトルを出力し、存在する次元の確率が最も高いカテゴリを手の画像内のジェスチャー操作の分類として判断する。

【0129】

当該ニューラルネットワークは、深層分離可能な畳み込みを実行するための軽量畳み込みネットワークであってもよく、注意メカニズムを使用して特徴抽出に参加し、当該注意メカニズムは空間注意メカニズム及び／又はチャンネル注意メカニズムを含むことができる。

【0130】

当該深層学習モデルはマルチタスクモデルであってもよい。マルチタスクモデルの複数のタスク分岐は、前の特徴抽出層を共同で使用することができ、第２の指がタッチした領域の認識を学習するとともに、他の全接続層を追加して、手が存在するか否か、左右手、キーポイント、手の回転角度の学習と抽出を行い、さらに複数のタスクの処理結果を統合して、認識される手の画像内の操作ジェスチャーを分類する。

【0131】

トレーニングモードの場合、スムーズラベル（ｌａｂｅｌ ｓｍｏｏｔｈ）を用いてモデルトレーニングを行い、焦点損失関数（ｆｏｃａｌ ｌｏｓｓ）関数を用いて損失値を計算することにより、深層学習モデルの分類精度を向上させる。

【0132】

本技術案が属する技術分野はジェスチャー認識分野であり、画像内の手に対して検出、追跡及び動作分類を行うことにより、ジェスチャー動作を区別し、さらにヒューマンマシンインタラクションという目的を実現する。

【0133】

本開示の実施例によって提供される技術案は、ＡＲ／ＶＲ／ＭＲなどのデバイスのヒューマンマシンインタラクションに適用することができ、ＡＩｏＴなどのスマートホームデバイスの遠隔連動と制御にも適用することができる。キーボードやマウスなどの外部デバイスがない、または屋外などで使用するのが不便であるが、ヒューマンマシンインタラクションを必要とされるアプリケーションシーンでは、本開示はカメラを介して手の写真を収集し、ジェスチャー動作を認識して制御または入力することができる。

【0134】

本開示は片手トリガーに基づいて、親指によって指の関節の関連領域をタッチするだけでそのタッチ領域を認識し、対応する入力または制御をトリガーすることができ、また、左右手を統合すると、８０個のタッチ領域までに達し、ジェスチャーの種類が豊富である。

【0135】

本開示は深層学習に基づいて手の検出、ジェスチャー認識を行い、手に追加のセンサを着装したり、マークしたりする必要がない。

【0136】

本開示のジェスチャー認識は画像分類タスクに基づいて、キーポイント検出に基づくジェスチャー認識において、手の自己遮蔽という問題により、キーポイント検出が不正確になることを回避することができる。

【0137】

本開示の実施例において、手の検出及びジェスチャー認識はニューラルネットワークに基づく。

【0138】

本開示のジェスチャーは、図３～図６に示すように、その粗粒度のカテゴリがジェスチャー１、ジェスチャー２、ジェスチャー３及びジェスチャー４であると定義され、各粗粒度カテゴリにおいて、さらにいくつかの領域が区分され、本開示の方案は、ニューラルネットワークを介して親指がどの領域をタッチしたか、そしてどの粗粒度カテゴリに属するかを認識することができる。

【0139】

図７に示すように、タッチ領域１の場合、ユーザから入力された操作ジェスチャーはジェスチャー１である。図８に示すように、タッチ領域１０の場合、ユーザから入力された操作ジェスチャーはジェスチャー２である。

【0140】

本開示の実施例は、便利なジェスチャー認識方案を採用し、ＡＲ、ＶＲ、ＭＲおよびその他の外部ハードウェア入力デバイスが不要なヒューマンマシンインタラクションシーンに広く適用することができ、手に追加のセンサを装着したり、マークしたりする必要がなく、分類に基づく認識方式は、手の自己遮蔽という問題による手のキーポイント予測の不正確な問題を回避することができ、片手の操作のみで、この方案では、認識をサポート可能なジェスチャーのカテゴリは８０種類に達し、種類が多く、通常の文字入力及び制御に使用することができる。

【0141】

図１１に示すように、本開示の実施例は、情報入力装置を提供し、前記装置は、手の画像を取得するための取得モジュール１１０と、前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するための第１の決定モジュール１２０であって、前記ターゲットタッチ領域が、前記第１の指及び／又は手のひら内に予め区分された設定されたタッチ領域の１つである第１の決定モジュール１２０と、開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定するための第２の決定モジュール１３０と、を含む。

【0142】

当該情報入力装置は、ターゲットデバイス内に含まれることができ、ターゲットデバイスの制御デバイス内に含まれることもできる。

【0143】

いくつかの実施例では、前記取得モジュール１１０、第１の決定モジュール１２０及び前記第２の決定モジュール１３０はプログラムモジュールであってもよい。前記プログラムモジュールはプロセッサによって実行された後、上記の操作を実現することができる。

【0144】

別のいくつかの実施例では、前記取得モジュール１１０、第１の決定モジュール１２０、および前記第２の決定モジュール１３０は、ソフトハード結合モジュールであってもよく、前記ソフトハード結合モジュールは、プログラマブルアレイを含むが、これに限定されず、前記プログラマブルアレイは、フィールドプログラマブルアレイ及び／又は複雑なプログラマブルアレイを含むが、これらに限定されない。

【0145】

また、いくつかの実施例では、前記取得モジュール１１０、第１の決定モジュール１２０、および前記第２の決定モジュール１３０は、純粋なハードウェアモジュールであってもよく、前記純粋なハードウェアモジュールは、専用集積回路を含むが、これに限定されない。

【0146】

いくつかの実施例では、前記設定されたタッチ領域は、指の関節間の領域、指の指先と指の関節との間の領域、手のひらの指の付け根に近い領域、指の指先が存在する領域、閉じた指間の指の隙間に区分された領域、指の関節が存在する領域、及び手のひらの指の付け根に近い領域の少なくとも１つを含む。

【0147】

いくつかの実施例では、前記第２の決定モジュール１３０は、具体的には、予め設定された対応関係、開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて入力対象の前記ターゲット情報を決定し、ここで、前記予め設定された対応関係が、少なくとも、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内の各設定されたタッチ領域と入力情報との関係を含む。

【0148】

いくつかの実施例では、前記予め設定された対応関係は、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された設定されたタッチ領域の数と、入力コンテンツ又は入力機能に関連性のある入力キーの数との関係と、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された設定されたタッチ領域の数と、使用頻度が予め設定された頻度より大きい入力キーの数との関係と、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された各設定されたタッチ領域間の相対位置と、ユーザによって連続的に選択される確率が予め設定された確率より高いキーとの関係との少なくとも１種に基づいて決定される。

【0149】

いくつかの実施例では、前記取得モジュール１１０は、具体的には、さらに、手の画像を取得する前に、前記予め設定された対応関係に基づいて、前記第１の指及び／又は手のひらの各設定されたタッチ領域に、設定されたタッチ領域に対応する入力情報を表示する。

【0150】

一実施例では、前記取得モジュール１１０は、具体的には、さらに、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたと検出された後、前記手の画像を取得し、または、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたタッチ時間が予め設定された時間を超えたと検出された場合、前記タッチ時間内のいずれかのフレームの手の画像を取得する。

【0151】

いくつかの実施例では、前記取得モジュールは、設定されたウェイクアップ操作が検出されたか否かを判断し、ここで、前記設定されたウェイクアップ操作が、前記手の画像による情報入力の開始を示す。

【0152】

いくつかの実施例では、前記第１の決定モジュール１２０は、前記手の画像内の手が片手である場合、前記片手の開いた状態にある第１の指と、前記片手の第２の指が前記片手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定し、前記片手が左手又は右手であり、前記手の画像内の手が左手及び右手である場合、前記左手の開いた状態にある第１の指と、前記左手の第２の指が前記左手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定し、前記右手の開いた状態にある第１の指と、前記右手の第２の指が前記右手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定する。

【0153】

いくつかの実施例では、前記第１の指と前記第２の指とは同じ手の指であり、前記第２の指は親指である。

【0154】

本開示の実施例は、電子機器を提供し、前記電子機器は、プロセッサによって実行可能な命令を記憶するためのメモリと、前記メモリに接続されるプロセッサと、を含み、前記プロセッサは、前記の任意の技術案によって提供される情報入力方法、具体的には、図１、図２、および図１０のいずれかに示す方法を実行するように構成される。

【0155】

当該電子機器は、様々な固定端末及び／又はモバイル端末を含むが、これらに限定されない。

【0156】

当該プロセッサは、バスを介してメモリと接続することができ、当該バスは、ＩＰＳバス及び／又はＩ^２Ｃバスなどを含むが、これらに限定されない。

【0157】

いくつかの実施例では、前記電子機器は、バスなどを介して前記プロセッサに接続されるネットワークインターフェースをさらに含む。前記ネットワークインターフェースは、電子機器をネットワークに接続するために使用することができる。

【0158】

本開示の実施例は、非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体における命令がコンピュータのプロセッサによって実行される場合、図１、図２、および図１０のいずれかに示す方法のようなコンピュータが前記の任意の技術案によって提供される情報入力方法を実行できるようにする。

【0159】

図１２を参照すると、本開示の実施例は、電子機器を提供し、前記電子機器は前記表示機器である。電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、マルチメディアデータコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の１つまたは複数のコンポーネントを含むことができる。処理コンポーネント８０２は、通常、表示、電話の呼び出し、データ通信、カメラ操作、及び記録操作に関連する操作のような電子機器８００の全体の操作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完成するために、命令を実行するための１つまたは複数のプロセッサ８２０を含むことができる。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションを容易にするために、１つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションを容易にするために、マルチメディアモジュールを含むことができる。

【0160】

メモリ８０４は、機器８００の操作をサポートするために、様々なタイプのデータを記憶するように構成される。これらのデータの例は、電子機器８００で操作するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどを含む。メモリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、または光ディスクのような、あらゆるタイプの揮発性または不揮発性の記憶装置またはそれらの組み合わせによって実現されてもよい。

【0161】

電源コンポーネント８０６は、電子機器８００の様々なコンポーネントに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つまたは複数の電源、および他の電子機器８００の電力の生成、管理、配分に関連するコンポーネントを含むことができる。

【0162】

マルチメディアコンポーネント８０８は、電子機器８００とユーザとの間に出力インターフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは、液晶ディスプレイ（ＬＣＤ）とタッチパネル（ＴＰ）を含むことができる。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するように、タッチスクリーンとして実現されることができる。タッチパネルには、タッチ、スライド、タッチパネルのジェスチャーを感知するように、１つまたは複数のタッチセンサが含まれる。タッチセンサは、タッチまたはスライド動作の境界を感知するだけでなく、タッチまたはスライド操作に関連する継続時間及び圧力を検出することができる。いくつかの実施例では、マルチメディアコンポーネント８０８は、１つのフロントカメラ及び／又はバックカメラを含む。装置８００が撮影状態やビデオ状態などの操作状態にある場合、フロントカメラ及び／又はバックカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラおよびバックカメラは、１つの固定的な光学レンズシステムであってもよく、または焦点距離と光学ズーム能力を備えてもよい。

【0163】

マルチメディアデータコンポーネント８１０は、マルチメディアデータ信号を出力及び／又は入力するように構成される。例えば、マルチメディアデータコンポーネント８１０は、電子機器８００が呼び出し状態、記録状態、および音声認識状態のような操作状態にある場合、外部マルチメディアデータ信号を受信するように構成されるマイクロフォン（ＭＩＣ）を含む。受信されたマルチメディアデータ信号は、さらにメモリ８０４に記憶されてもよく、または通信コンポーネント８１６を介して送信されてもよい。

【0164】

いくつかの実施例では、マルチメディアデータコンポーネント８１０は、マルチメディアデータ信号を出力するためのスピーカをさらに含む。

【0165】

Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２と周辺インターフェースモジュールとの間にインターフェースを提供し、上記の周辺インターフェースモジュールはキーボード、クリックホイール、操作ボタンなどであってもよい。これらの操作ボタンは、ホームページ操作ボタン、音量操作ボタン、スタート操作ボタン、およびロック操作ボタンを含むことができるが、これに限定されない。

【0166】

センサコンポーネント８１４は、電子機器８００に様々な態様の状態評価を提供するように、１つまたは複数のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、コンポーネントの相対的な位置決めを検出でき、例えば、コンポーネントは電子機器８００のディスプレイおよびキーパッドであり、センサコンポーネント８１４は、さらに、電子機器８００または電子機器８００の１つのコンポーネントの位置変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加速／減速および電子機器８００の温度変化を検出することができる。センサコンポーネント８１４は、任意の物理的接触がない場合、付近の物体の存在を検出するように構成される近接センサを含むこともできる。センサコンポーネント８１４は、イメージングアプリケーションに使用されるＣＭＯＳまたはＣＣＤイメージセンサのような光センサをさらに含むことができる。いくつかの実施例では、当該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ、または温度センサをさらに含むことができる。

【0167】

通信コンポーネント８１６は、電子機器８００と他の装置との間の有線または無線方式の通信を容易にするように構成される。電子機器８００は、通信規格に基づく無線ネットワーク、例えばＷｉ－Ｆｉ、２Ｇまたは３Ｇ、またはこれらの組み合わせにアクセスすることができる。例示的な一実施例では、通信コンポーネント８１６は、ブロードキャストチャンネルを介して外部ブロードキャスト管理システムからのブロードキャスト信号またはブロードキャスト関連情報を受信する。例示的な一実施例では、通信コンポーネント８１６は、近距離通信を容易にするために、近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数認識（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術、および他の技術に基づいて実現されてもよい。

【0168】

例示的な実施例では、電子機器８００は、上記のいずれかの実施例によって提供される情報入力方法を実行するように、専用集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品、１つまたは複数のアプリケーションによって実現されてもよい。

【0169】

当該情報入力方法は、手の画像を取得するステップと、前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するステップであって、前記ターゲットタッチ領域が、前記第１の指及び／又は手のひら内に予め区分された設定されたタッチ領域の１つであるステップと、開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定するステップと、を含むことができる。

【0170】

なお、前記設定されたタッチ領域は、指の関節間の領域、指の指先と指の関節との間の領域、手のひらの指の付け根に近い領域、指の指先が存在する領域、閉じた指間の指の隙間に区分された領域、指の関節が存在する領域、及び手のひらの指の付け根に近い領域の少なくとも１つを含む。

【0171】

なお、前記開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象のターゲット情報を決定するステップは、予め設定された対応関係、開いた状態にある第１の指及び前記ターゲットタッチ領域に基づいて、入力対象の前記ターゲット情報を決定するステップを含み、前記予め設定された対応関係が、少なくとも、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内の各設定されたタッチ領域と入力情報との関係を含む。

【0172】

なお、前記予め設定された対応関係は、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された設定されたタッチ領域の数と、入力コンテンツまたは機能に関連性のある入力キーの数との間の関係と、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された設定されたタッチ領域の数と、使用頻度が予め設定された頻度より大きい入力キーの数との関係と、異なる第１の指が開いた状態で、前記第１の指及び／又は手のひら内に区分された各設定されたタッチ領域間の相対位置と、ユーザによって連続的に選択される確率が予め設定された確率より高いキーとの関係との少なくとも１種に基づいて決定される。

【0173】

なお、前記手の画像を取得するステップの前に、前記方法は、前記予め設定された対応関係に基づいて、前記第１の指及び／又は手のひらの各設定されたタッチ領域に、設定されたタッチ領域に対応する入力情報を表示するステップをさらに含む。

【0174】

なお、前記手の画像を取得するステップは、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたと検出された後、前記手の画像を取得するステップ、または、前記第２の指が各設定されたタッチ領域のうちのいずれか１つのターゲットタッチ領域をタッチしたタッチ時間が予め設定された時間を超えたと検出された場合、前記タッチ時間内のいずれかのフレームの手の画像を取得するステップを含む。

【0175】

なお、前記手の画像を取得するステップの前に、前記方法は、設定されたウェイクアップ操作が検出されたか否かを判断するステップであって、前記設定されたウェイクアップ操作が、前記手の画像による情報入力の開始を示すステップをさらに含む。

【0176】

なお、前記手の画像内の開いた状態にある第１の指と、第２の指が前記第１の指及び／又は手のひら内でタッチしたターゲットタッチ領域とを決定するステップは、前記手の画像内の手が片手である場合、前記片手の開いた状態にある第１の指と、前記片手の第２の指が前記片手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定するステップであって、前記片手が左手又は右手であるステップと、前記手の画像内の手が左手及び右手である場合、前記左手の開いた状態にある第１の指と、前記左手の第２の指が前記左手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定し、前記右手の開いた状態にある第１の指と、前記右手の第２の指が前記右手の第１の指及び／又は手のひらの中でタッチしたターゲットタッチ領域とを決定するステップと、を含む。

【0177】

なお、前記第１の指と前記第２の指とは同じ手の指であり、前記第２の指は親指である。

【0178】

当業者は、明細書を検討して明細書で開示された発明を実践した後、本開示の他の実施案を容易に想到し得る。本開示は、本開示のいかなる変形、用途または適宜な変化をカバーすることを意図し、これらの変形、用途または適宜な変化は、本開示の一般的な原理に従るとともに、本開示で開示されていない当分野の公知常識または慣用技術手段を含む。明細書および実施例は、単なる例示と見なされ、本開示の真の範囲および精神は、以下の特許請求の範囲によって指摘される。

【0179】

なお、本開示は、上記に記載され、図面に示されている厳密な構造に限定されず、その範囲から逸脱しない限り、様々な修正や変更を行うことができる。本開示の範囲は、添付の特許請求の範囲のみによって限定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】