(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-24
(45)【発行日】2023-03-06
(54)【発明の名称】タッチ感知面-ディスプレイによる入力方法、電子装置、触覚-視覚技術による入力制御方法及びシステム
(51)【国際特許分類】
G06F 3/0488 20220101AFI20230227BHJP
G06F 3/0482 20130101ALI20230227BHJP
【FI】
G06F3/0488
G06F3/0482
(21)【出願番号】P 2020157569
(22)【出願日】2020-09-18
(62)【分割の表示】P 2018502410の分割
【原出願日】2017-06-15
【審査請求日】2020-10-15
(31)【優先権主張番号】201610592695.6
(32)【優先日】2016-07-25
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】518015653
【氏名又は名称】北京拉酷网絡科技有限公司
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際弁理士法人
(72)【発明者】
【氏名】▲グン▼ 華超
(72)【発明者】
【氏名】何 旭東
【審査官】木村 慎太郎
(56)【参考文献】
【文献】米国特許出願公開第2016/0085438(US,A1)
【文献】米国特許出願公開第2016/0011678(US,A1)
【文献】特開2014-035772(JP,A)
【文献】米国特許出願公開第2012/0102437(US,A1)
【文献】特表平08-511637(JP,A)
【文献】米国特許出願公開第2016/0070428(US,A1)
【文献】米国特許出願公開第2016/0044153(US,A1)
【文献】特開2009-259079(JP,A)
【文献】米国特許出願公開第2010/0253620(US,A1)
【文献】米国特許出願公開第2013/0093685(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/0488
G06F 3/0482
(57)【特許請求の範囲】
【請求項1】
タッチ感知面とディスプレイとを組み合わせた入力方法であって、
タッチ感知面における接触物の連続スライド位置情報をリアルタイムに取得するステップS110と、
連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致するかを判断するステップS120と、
連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した場合、前記ディスプレイに、アイコンを含む前記タッチ感知面に対応するユーザ定義されたウィンドウがポップアップされて、新たに表示されるように制御し、かつ接触物の連続スライド位置情報をリアルタイムに取得し続け、前記接触物の連続スライド位置情報に基づき、ポップアップされた前記ウィンドウにおいて選択位置をリアルタイムポインティングし、かつ前記選択位置において、ポインター又は現在位置で選択された内容を、前記接触物が前記タッチ感知面から離れたと判断する時まで前記ウィンドウを表示するようにディスプレイを制御し、前記接触物が前記タッチ感知面から離れた時の前記選択位置に基づいてトリガーイベント情報を生成して前記ウィンドウを閉じるステップS130を含むことを特徴とするタッチ感知面-ディスプレイによる入力方法。
【請求項2】
前記ウィンドウの少なくとも一部は、ユーザにより予め設定されることを特徴とする請求項1に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項3】
前記ウィンドウの少なくとも一つのアイコンに対応するエンティティ内容は、ユーザにより予め設定されることを特徴とする請求項2に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項4】
前記アイコンに対応するエンティティ内容は、プログラム、ファイル、ウェブサイト、フォルダ又はマクロ定義のいずれかを含むことを特徴とする請求項3に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項5】
前記ステップS130では、前記ディスプレイの一部にポップアップされた前記ウィンドウの長さ及び幅のパラメータがL*Wであり、前記タッチ感知面の長さ及び幅のパラメータがl*wとすると、前記タッチ感知面における現在位置now(xnow、ynow)は、前記ウィンドウにおける現在位置now-apply(xnow*L/l、ynow*W/w)に対応することを特徴とする請求項1に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項6】
前記ステップS130で、前記選択位置においてポインター又は現在位置で選択された内容を表示するようにディスプレイを制御するステップは、前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、前記アイコン及び/又は前記アイコンの選択範囲をハイライト表示するように前記ディスプレイを制御することを含むことを特徴とする請求項1に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項7】
前記ステップS130で、前記選択位置においてポインター又は現在位置で選択された内容を表示するようにディスプレイを制御するステップは、前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、現在選択位置でポインターを表示するように前記ディスプレイを制御することを含むことを特徴とする請求項6に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項8】
前記ステップS130で、前記選択位置に基づいてトリガーイベント情報を生成することは、前記接触物が前記タッチ感知面から離れた際に、前記連続スライド位置情報における現在位置が前記タッチ感知面のキャンセル領域にあると判断する場合、前記ウィンドウを閉じる情報を生成することを含むことを特徴とする請求項1から請求項7のいずれか1項に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項9】
前記タッチ感知面のキャンセル領域は、前記タッチ感知面のエッジにあり、前記キャンセル領域の幅は前記タッチ感知面の幅又は長さの1%~5%であることを特徴とする請求項1から請求項7のいずれか1項に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項10】
前記ステップS130で、現在選択位置に基づいてトリガーイベント情報を生成する前記ステップは、前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、前記アイコンに関連するエンティティをトリガーするイベント情報を生成することを含むことを特徴とする請求項1から請求項7のいずれか1項に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項11】
前記ステップS130で、前記選択位置に基づいてトリガーイベント情報を生成する前記ステップは、さらに、前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、前記ウィンドウを閉じる情報を生成することを含むことを特徴とする請求項1から請求項7のいずれか1項に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項12】
前記ステップS110で、前記タッチ感知面のタッチ状態をリアルタイムに取得し、前記タッチ感知面のタッチ状態が閾値時間内に一貫して占有中であれば、前記接触物の連続位置を記録し、前記接触物の連続位置を前記接触物の連続スライド位置情報にすることを含むことを特徴とする請求項1から請求項7のいずれか1項に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項13】
前記接触物が前記タッチ感知面から離れたと判断する際のステップは、前記タッチ感知面のタッチ状態をリアルタイムに取得し、前記タッチ感知面のタッチ状態が占有中から未占有に変わる場合、前記接触物が前記タッチ感知面から離れたと判断することを含むことを特徴とする請求項1から請求項7のいずれか1項に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項14】
前記ステップS120で、連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致するかを判断するステップは、
前記連続スライド位置情報に基づいて開始位置、及びスライド方向を取得する
ステップS121と、
前記開始位置及びスライド方向と予め記憶されている情報とを照合し、一致すれば前記連続スライド位置情報が起動条件を満たすと判断する
ステップS122とを含むことを特徴とする請求項1から請求項7のいずれか1項に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項15】
スライド方向を取得する前記ステップは、前記連続スライド位置情報における複数点の位置を取得し、前記複数点の位置及び前記開始位置によって平均方向ベクトルを算出し、前記平均方向ベクトルを前記スライド方向にすることを含むことを特徴とする請求項14に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項16】
前記ステップS122は、前記開始位置が前記タッチ感知面のエッジ領域に入り、かつ前記スライド方向と前記エッジ領域の対応するエッジとの夾角が閾値よりも大きい場合、前記連続スライド位置情報が起動条件を満たすと判断することを含むことを特徴とする請求項14に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項17】
前記エッジ領域の幅は、前記タッチ感知面の幅又は長さの3%~10%であることを特徴とする請求項16に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項18】
前記ステップS122はさらに、前記夾角が閾値よりも大きいと判断した場合、前記接触物の現在位置を取得し、現在位置及び開始位置に基づいてスライド距離を取得し、前記スライド距離が閾値よりも大きければ、前記連続スライド位置情報が起動条件を満たすと判断することを含むことを特徴とする請求項16に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項19】
前記ステップS130で、前記ウィンドウにおいて選択位置をリアルタイムポインティングするステップは、前記接触物の現在位置情報を取得し、前記タッチ感知面のサイズと前記ウィンドウのサイズとの対応関係に基づいて前記選択位置を取得することを含むことを特徴とする請求項1から請求項7のいずれか1項に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項20】
前記ステップS130で、前記ウィンドウにおいて選択位置をリアルタイムポインティングするステップは、前記接触物がタッチ感知面における座標情報を取得し、前記タッチ感知面の長さと前記ウィンドウの長さとの比例関係及び前記座標情報におけるX方向値に基づいて前記選択位置の前記ウィンドウにおけるX軸方向の数値を取得すること、前記タッチ感知面の幅と前記ウィンドウの幅との対応関係及び前記座標情報におけるY方向値に基づいて前記選択位置の前記ウィンドウにおけるY軸方向の数値を取得することを含むことを特徴とする請求項1から請求項7のいずれか1項に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項21】
前記アイコンに関連するエンティティをトリガーするイベント情報を生成する前記ステップは、実行ファイルを開くイベント情報を生成するステップ、ファイルを開くイベント情報を生成するステップ、フォルダを開くイベント情報を生成するステップ、ウェブページを開くイベント情報を生成するステップ及びマクロ定義を実行するイベント情報を生成するステップのうちの一つ又は複数を含むことを特徴とする請求項10に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項22】
ステップS110の前にさらに、前記アイコン及びアイコンとエンティティとのマッピング関係を取得かつ保存する
ステップS101を含むことを特徴とする請求項1から請求項7のいずれか1項に記載のタッチ感知面-ディスプレイによる入力方法。
【請求項23】
表示ユニット、タッチ感知面ユニット、そして前記表示ユニット及びタッチ感知面ユニットにカップリングされる処理ユニットを含み、前記表示ユニットはユーザインタフェースオブジェクトを表示するように配置され、前記タッチ感知面ユニットは、ユーザ接触を検出するように配置され、前記処理ユニットは、前記タッチ感知面ユニットの連続スライド位置情報をリアルタイムに取得するように配置され、連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致するかを判断し、連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断する場合、アイコンを含む前記タッチ感知面ユニットに対応するユーザ定義されたウィンドウをポップアップして、新たに表示するように前記表示ユニットを制御し、かつ前記タッチ感知面ユニットにおける連続スライド位置情報をリアルタイムに取得し続け、前記連続スライド位置情報に基づき、ポップアップした前記ウィンドウにおいて選択位置をリアルタイムポインティングし、かつ前記選択位置において、ポインター又は現在位置で選択された内容を、接触物が前記タッチ感知面ユニットから離れたことを前記タッチ感知面ユニットが取得したと判断する時まで前記ウィンドウを表示するように表示ユニットを制御し、前記接触物が前記タッチ感知面から離れた時の前記選択位置に基づいてトリガーイベント情報を生成して前記ウィンドウを閉じることを含むことを特徴とする電子装置。
【請求項24】
前記ウィンドウの少なくとも一部は、ユーザにより予め設定されることを特徴とする請求項23に記載の電子装置。
【請求項25】
前記ウィンドウの少なくとも一つのアイコンに対応するエンティティ内容は、ユーザにより予め設定されることを特徴とする請求項24に記載の電子装置。
【請求項26】
前記アイコンに対応するエンティティ内容は、プログラム、ファイル、ウェブサイト、フォルダ又はマクロ定義のいずれかを含むことを特徴とする請求項25に記載の電子装置。
【請求項27】
前記表示ユニット内の一部にポップアップされた前記ウィンドウの長さ及び幅のパラメータがL*Wであり、前記タッチ感知面の長さ及び幅のパラメータがl*wとすると、前記タッチ感知面ユニットにおける現在位置now(xnow、ynow)は、前記ウィンドウにおける現在位置now-apply(xnow*L/l、ynow*W/w)に対応することを特徴とする請求項23に記載の電子装置。
【請求項28】
前記処理ユニットはさらに、前記トリガーイベント情報に基づいて対応する機能を実行するように配置されることを特徴とする請求項23に記載の電子装置。
【請求項29】
前記処理ユニットは、前記タッチ感知面ユニットにカップリングされる検出ユニット、前記検出ユニットに接続されるリアルタイム表示ユニット、前記検出ユニットに接続されるフィードバックユニットを含み、前記リアルタイム表示ユニットはさらに前記表示ユニットにカップリングされ、前記検出ユニットは、前記タッチ感知面ユニットの連続スライド位置情報をリアルタイムに取得し、連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断する場合、アクティブ化情報を生成し、かつ前記アクティブ化情報を前記リアルタイム表示ユニットに送信し、前記連続スライド位置情報を取得し続け、かつ前記連続スライド位置情報を前記リアルタイム表示ユニットに送信し、前記タッチ感知面ユニットから接触物が離れたと判断する時にしてはじめて、前記接触物の現在位置を前記フィードバックユニットに送信するように配置され、前記リアルタイム表示ユニットは、前記アクティブ化情報によって、前記表示ユニットのウィンドウ表示を制御し、かつ前記連続スライド位置情報に基づいて選択位置を生成し、かつ前記選択位置によって、前記表示ユニットの前記ウィンドウにおけるポインター又は現在位置で選択された内容の表示を制御するように配置され、前記フィードバックユニットは、前記接触物の現在位置に基づいてトリガーイベント情報を生成するのに用いられることを特徴とする請求項23に記載の電子装置。
【請求項30】
前記処理ユニットはさらに、実行ユニットを含み、前記フィードバックユニットは、前記トリガーイベント情報を前記実行ユニットに送信することを特徴とする請求項29に記載の電子装置。
【請求項31】
前記リアルタイム表示ユニットが、前記選択位置に基づいて前記ウィンドウにおいてポインター又は現在位置で選択された内容を表示するように前記表示ユニットを制御するのに使用される場合、前記リアルタイム表示ユニットは、現在前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲内である際に、前記アイコン及び/又は前記アイコンの選択範囲をハイライト表示するように前記表示ユニットを制御する情報を生成するのに用いられることを特徴とする請求項29に記載の電子装置。
【請求項32】
前記リアルタイム表示ユニットが、前記選択位置に基づいて前記ウィンドウにおいてポインター又は現在位置で選択された内容を表示するように前記表示ユニットを制御するのに使用される場合、前記リアルタイム表示ユニットはさらに、現在前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲外である際に、現在前記選択位置においてポインターを表示するように前記表示ユニットを制御する情報を生成するのに用いられることを特徴とする請求項31に記載の電子装置。
【請求項33】
前記検出ユニットは、連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した後、さらに接触物が前記タッチ感知面ユニットのキャンセル領域にあると判断する場合、前記ウィンドウを閉じる情報を生成し、かつ前記ウィンドウを閉じる情報を前記リアルタイム表示ユニットに送信し、前記リアルタイム表示ユニットが前記表示ユニットを制御して前記ウィンドウを閉じるように配置されることを特徴とする請求項29に記載の電子装置。
【請求項34】
前記タッチ感知面ユニットのキャンセル領域は、前記タッチ感知面ユニットのエッジにあり、前記キャンセル領域の幅は、前記タッチ感知面ユニットの幅又は長さの1%~5%であることを特徴とする請求項33に記載の電子装置。
【請求項35】
前記フィードバックユニットは、現在前記接触物の現在位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、前記アイコンに関連するエンティティをトリガーするイベント情報を生成するのに用いられることを特徴とする請求項29に記載の電子装置。
【請求項36】
前記フィードバックユニットはさらに、前記アイコンに関連するエンティティをトリガーするイベント情報を生成した後、前記ウィンドウを閉じる情報を生成することを特徴とする請求項35に記載の電子装置。
【請求項37】
前記フィードバックユニットはさらに、前記接触物の現在位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、前記ウィンドウを閉じる情報を生成することを特徴とする請求項29から請求項35のいずれか1項に記載の電子装置。
【請求項38】
前記検出ユニットは、前記タッチ感知面ユニットのタッチ状態をリアルタイムに取得し、前記タッチ感知面ユニットのタッチ状態が閾値時間内に一貫して占有中であれば、前記接触物の連続位置を記録し、前記接触物の連続位置を前記接触物の連続スライド位置情報にするのに用いられることを特徴とする請求項29から請求項35のいずれか1項に記載の電子装置。
【請求項39】
前記検出ユニットによって前記接触物が前記タッチ感知面ユニットから離れたと判断するステップは、前記タッチ感知面ユニットのタッチ状態をリアルタイムに取得し、前記タッチ感知面ユニットのタッチ状態が占有中から未占有に変わる際に、接触物が前記タッチ感知面ユニットから離れたと判断することを含むことを特徴とする請求項29から請求項35のいずれか1項に記載の電子装置。
【請求項40】
前記検出ユニットは、前記連続スライド位置情報に基づいて開始位置及びスライド方向を取得すること、前記開始位置及びスライド方向を予め記憶されている情報と照合し、一致すれば、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断するのに用いられることを特徴とする請求項29から請求項35のいずれか1項に記載の電子装置。
【請求項41】
前記検出ユニットがスライド方向を取得するステップは、前記連続スライド位置情報における複数点の位置を取得し、前記複数点の位置及び前記開始位置に基づいて平均方向ベクトルを算出し、前記平均方向ベクトルを前記スライド方向にすることを含むことを特徴とする請求項40に記載の電子装置。
【請求項42】
前記検出ユニットはさらに、前記開始位置が前記タッチ感知面ユニットのエッジ領域に入り、かつ前記スライド方向と前記エッジ領域の対応するエッジとの夾角が閾値よりも大きい場合、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断するのに用いられることを特徴とする請求項40に記載の電子装置。
【請求項43】
前記検出ユニットはさらに、前記夾角が閾値よりも大きいと判断した後、前記接触物の現在位置を取得し、現在位置及び開始位置に基づいてスライド距離を取得し、前記スライド距離が閾値よりも大きい場合、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断するのに用いられることを特徴とする請求項42に記載の電子装置。
【請求項44】
前記リアルタイム表示ユニットが前記ウィンドウにおける前記選択位置を生成するステップは、前記接触物の現在位置情報を取得し、前記タッチ感知面ユニットのサイズと前記ウィンドウのサイズとの対応関係に基づいて前記ポインターの位置を取得することを含むことを特徴とする請求項29から請求項35のいずれか1項に記載の電子装置。
【請求項45】
前記フィードバックユニットはさらに、前記接触物の現在位置に基づいて実行ファイルを開くイベント情報の生成、ファイルを開くイベント情報の生成、フォルダを開くイベント情報の生成、ウェブページを開くイベント情報の生成及びマクロ定義を実行するイベント情報の生成のうちの一つ又は複数に用いられることを特徴とする請求項35に記載の電子装置。
【請求項46】
前記アイコン及びアイコンとエンティティとのマッピング関係の取得かつ保存に用いられるマッピング関係形成ユニットをさらに含むことを特徴とする請求項29から請求項35のいずれか1項に記載の電子装置。
【請求項47】
前記アイコン及びアイコンとエンティティとのマッピング関係の記憶に用いられる記憶ユニットをさらに含むことを特徴とする請求項46に記載の電子装置。
【請求項48】
前記表示ユニットは、コンピュータモニター、携帯スクリーン、タブレットコンピュータスクリーンのうちの1種又は複数を含むことを特徴とする請求項29から請求項35のいずれか1項に記載の電子装置。
【請求項49】
前記タッチ感知面ユニットは、ノートパソコンタッチパッド、携帯タッチパネル、タブレットコンピュータタッチパネルのうちの1種又は複数を含むことを特徴とする請求項29から請求項35のいずれか1項に記載の電子装置。
【請求項50】
タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分するステップと、
前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、ユーザ定義された仮想インターフェースをポップアップして新たに表示するようにUI層を制御し、同時に入力制御領域の収集した情報に基づいてポップアップした該仮想インターフェースにおいてユーザのタッチパッドにおけるスライド操作をリアルタイムに表示するステップと、
前記タッチパッドにおけるスライド操作が離れた時の座標情報に基づいて入力内容情報を制御するか又は制御情報を実行して前記仮想インターフェースを閉じるステップを含むことを特徴とする触覚-視覚技術による入力制御方法。
【請求項51】
前記仮想インターフェースの少なくとも一部は、ユーザにより予め設定されることを特徴とする請求項50に記載の触覚-視覚技術による入力制御方法。
【請求項52】
前記仮想インターフェースの少なくとも一つのアイコンに対応するエンティティ内容は、ユーザにより予め設定されることを特徴とする請求項51に記載の触覚-視覚技術による入力制御方法。
【請求項53】
前記アイコンに対応するエンティティ内容は、プログラム、ファイル、ウェブサイト、フォルダ又はマクロ定義のいずれかを含むことを特徴とする請求項52に記載の触覚-視覚技術による入力制御方法。
【請求項54】
前記タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分することは、
タッチパッドのサイズを確定しかつ該タッチパッドに対して座標定義する
ステップS11と、
座標情報を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、かつ前記入力制御領域をさらに区分するが、前記インターフェース制御領域と入力制御領域が隣接する
ステップS12と、
前記入力制御領域を初期化し、対応する入力制御内容を設置する
ステップS13というステップを含むことを特徴とする請求項50に記載の触覚-視覚技術による入力制御方法。
【請求項55】
ステップS12で、前記インターフェース制御領域は、入力制御領域の左側、右側、上側、下側、左上の隅、左下の隅、右上の隅又は右下の隅に設置されることを特徴とする請求項54に記載の触覚-視覚技術による入力制御方法。
【請求項56】
前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、仮想インターフェースを表示するようにUI層を制御することは、駆動層が指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにUI層を制御することを含むことを特徴とする請求項50に記載の触覚-視覚技術による入力制御方法。
【請求項57】
前記入力制御領域の収集した情報に基づいて該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行することは、
入力制御領域が指のスライド軌跡情報を収集しかつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報に対応する内容をリアルタイムに表示する
ステップS21と、
前記スライド軌跡の終点に対応する座標情報を確定し、対応する入力制御内容を取得する
ステップS22と、
前記入力制御内容に基づいて内容情報を入力するか又は制御情報を実行する
ステップS23というステップを含むことを特徴とする請求項50または請求項56に記載の触覚-視覚技術による入力制御方法。
【請求項58】
前記タッチパッドは、ノートパソコンに組み込まれるタッチパッド又はタッチパッド単品であることを特徴とする請求項50、請求項54または請求項57に記載の触覚-視覚技術による入力制御方法。
【請求項59】
タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分するのに用いられるタッチパッド区分及び初期化電気回路と、
前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、ユーザ定義された仮想インターフェースをポップアップして新たに表示するようにUI層を制御するのに用いられる仮想インターフェース表示制御電気回路と、
入力制御領域の収集した情報に基づき、ポップアップした該仮想インターフェースにおいてユーザのタッチパッドにおけるスライド操作をリアルタイムに表示し、前記タッチパッドにおけるスライド操作が離れた時の座標情報に基づいて入力内容情報を制御するか又は制御情報を実行して前記仮想インターフェースを閉じるリアルタイム表示及び入力制御電気回路とを含むことを特徴とする触覚-視覚技術による入力制御システム。
【請求項60】
前記仮想インターフェースの少なくとも一部は、ユーザにより予め設定されることを特徴とする請求項59に記載の触覚-視覚技術による入力制御システム。
【請求項61】
前記仮想インターフェースの少なくとも一つのアイコンに対応するエンティティ内容は、ユーザにより予め設定されることを特徴とする請求項60に記載の触覚-視覚技術による入力制御システム。
【請求項62】
前記アイコンに対応するエンティティ内容は、プログラム、ファイル、ウェブサイト、フォルダ又はマクロ定義のいずれかを含むことを特徴とする請求項61に記載の触覚-視覚技術による入力制御システム。
【請求項63】
前記タッチパッド区分及び初期化電気回路は、
タッチパッドのサイズを確定し、かつ該タッチパッドに対して座標定義するのに用いられるサイズ確定及び座標定義電気回路と、
座標情報を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、前記インターフェース制御領域と入力制御領域が隣接する領域区分電気回路と、
前記入力制御領域を初期化し、対応する入力制御内容を設置する設置及び初期化電気回路とを含むことを特徴とする請求項59に記載の触覚-視覚技術による入力制御システム。
【請求項64】
前記仮想インターフェース表示制御電気回路は、
指のスライド軌跡情報の収集に用いられる指スライド軌跡情報収集電気回路と、
駆動層が指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにUI層を制御するのに用いられる仮想インターフェース表示電気回路とを含むことを特徴とする請求項59に記載の触覚-視覚技術による入力制御システム。
【請求項65】
前記リアルタイム表示及び入力制御電気回路は、
入力制御領域によって指のスライド軌跡情報を収集し、かつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報に対応する内容をリアルタイムに表示するのに用いられる指スライド軌跡収集及表示電気回路と、
前記スライド軌跡の終点に対応する座標情報を確定し、対応する入力制御内容を取得するのに用いられる入力制御内容取得電気回路と、
前記入力制御内容に基づいて内容情報を入力するか又は制御情報を実行するのに用いられる情報入力電気回路とを含むことを特徴とする請求項59または請求項64に記載の触覚-視覚技術による入力制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本願に対して2016年7月25日に中国特許出願第201610592695.6号の優先権を提出することが要求された。ここで、本文では上記中国特許出願の公開内容を引用して本願の一部とする。
【0002】
本発明は、情報入力制御技術分野に関し、具体的にはタッチ感知面-ディスプレイによる入力方法、電子装置、触覚-視覚技術による入力制御方法及びシステムに関する。
【背景技術】
【0003】
タッチパッドは、キーボード、マウス以外の重要な入力手段であり、ノートパソコンに組み込んで使用するか又は単独の入力手段としてデータ転送ケーブルを通してコンピュータに接続して使用することができる。
【0004】
タッチパッドの普及はユーザに非常に大きな便利を与え、マウスの代わりにカーソルの移動を制御できる。ところが、多くの場合、タッチパッドのみを使用するとまた多くの不便をもたらす。例えば、現在ユーザが文書を編集しているか又はサイトを参照している際に、デスクトップのあるアプリケーションを開きたければ、まずデスクトップに戻り、次にタッチパッドにおいてカーソルを目標位置にスライドさせるように制御してから、アプリケーションをダブルクリックして開く必要がある。操作過程全体が非常に不便であり、かつ操作のかかる時間が長い。ユーザのデスクトップにおけるショートカットが多い場合、操作過程全体がかかる時間は一層長くなる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、「タッチ感知面-ディスプレイ」によるジェスチャー制御及びインタラクティブ技術を提供し、タッチ感知面の技術と表示技術を組み合わせて、新しいインタラクティブ方法を提出し、情報の迅速な入力制御を実現することを目的とする。
【課題を解決するための手段】
【0006】
具体的には、本発明の第1形態は、タッチ感知面-ディスプレイによる入力方法を提供し、以下のステップを含む。
【0007】
タッチ感知面における接触物の連続スライド位置情報をリアルタイムに取得するステップS110と、
前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した場合、次のステップ、すなわち、前記ディスプレイにおいてアイコンを含むウィンドウが表示されるように制御し、かつ接触物の連続スライド位置情報をリアルタイムに取得し続け、前記接触物の連続スライド位置情報に基づき、前記ウィンドウにおいて選択位置をリアルタイムポインティングし、かつ前記選択位置において、ポインター又は現在位置で選択された内容を、前記接触物が前記タッチ感知面から離れたと判断する時まで表示するようにディスプレイを制御し、現在の前記選択位置に基づいてトリガーイベント情報を生成するというS130を実行するステップS120とを含む。
【0008】
本発明の第2形態は、電子装置を提供する。表示ユニット、タッチ感知面ユニット、そして前記表示ユニット及びタッチ感知面ユニットにカップリングされる処理ユニットを含み、前記表示ユニットはユーザインタフェースオブジェクトを表示するように配置され、前記タッチ感知面ユニットは、ユーザ接触を検出するように配置され、前記処理ユニットは、前記タッチ感知面ユニットの連続スライド位置情報をリアルタイムに取得するように配置され、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断する場合、アイコンを含むウィンドウを表示するように前記表示ユニットを制御し、かつ前記タッチ感知面ユニットにおける連続スライド位置情報をリアルタイムに取得し続け、前記連続スライド位置情報に基づき、前記ウィンドウにおいて選択位置をリアルタイムポインティングし、かつ前記選択位置において、ポインター又は現在位置で選択された内容を、接触物が前記タッチ感知面ユニットから離れたことを前記タッチ感知面ユニットが取得したと判断する時まで表示するように表示ユニットを制御し、現在の前記選択位置に基づいてトリガーイベント情報を生成することを含む。
【0009】
本発明の第3形態は、触覚-視覚技術による入力制御方法を提供し、以下のステップを含む。タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分するステップ、前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、仮想インターフェースを表示するようにUI層を制御し、同時に入力制御領域の収集した情報に基づいて該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行するステップを含む。
本発明の第4形態は、触覚-視覚技術による入力制御システムを提供する。タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分するのに用いられるタッチパッド区分及び初期化電気回路と、
前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、仮想インターフェースを表示するようにUI層を制御するのに用いられる仮想インターフェース表示制御電気回路と、
入力制御領域の収集した情報に基づき、該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行するリアルタイム表示及び入力制御電気回路とを含む。
【0010】
従来技術に比べて、本発明は、タッチ感知面とディスプレイを組み合わせ、選択された対応する機能を迅速に入力することにより、新しいインタラクティブ方法を提供し、ライトニングスタート機能を実現すると同時に、タッチ感知面の一般機能に影響せず、ユーザの認知負担を減らして一層効果的なヒューマンコンピュータインターフェースを生成し、広い運用の見込みがある。他方、タッチ感知面に対して区分及び初期化し、前記タッチ感知面をインターフェース制御領域と入力制御領域に区分し、前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、仮想インターフェースを表示するようにUI層を制御し、同時に入力制御領域の収集した情報に基づき、該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行する。これにより、情報(あるアプリケーションを開くための制御情報又は例えば数字などの内容情報)の迅速な入力制御を実現すると同時に、触覚及び視覚において入力の精確性を保証できる。かつ本発明の技術によって入力制御を行う場合、特にあるアプリケーションを開くように制御する際に、デスクトップに戻って現在の作業状況を変更し、対応するアプリケーションを探してダブルクリックして開く必要が無いので、操作の制御時間を大幅に削減し、さらにシステム全体の応答時間を縮減できた。大量なデータ統計によると、本発明の技術によって入力制御を行うと、当業者の対応する操作時間は少なくとも50%を縮減できる。また、本発明では、座標情報(ユーザー定義した駆動層にある)を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、前記入力制御領域をさらに区分するが、前記インターフェース制御領域と入力制御領域が隣接する。(ユーザー定義した)駆動層が指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにUI層を制御する。これにより、仮想インターフェースの表示を一層迅速、精確に制御できると同時に、低いコストを実現できる。さらに、本発明では、入力制御領域が指のスライド軌跡情報を収集しかつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報に対応する内容をリアルタイムに表示し、前記スライド軌跡の終点に対応する座標情報を確定し、対応する入力制御内容を取得し、前記入力制御内容に基づいて内容情報を入力するか又は制御情報を実行する。これにより、内容情報の入力又は制御情報の実行を一層迅速、精確に行うことを実現でき、操作時間が短いと同時に、システムの応答時間が削減できる。最後に、本発明では、前記入力制御領域が指のスライド軌跡終点情報を収集したら、制御情報を駆動層に送信し、駆動層が該制御情報を受信したら、仮想インターフェースを隠すようにUI層を制御する。これにより、仮想インターフェースの迅速な非表示を実現し、インターフェースのスペイスを占めず、関連するアプリケーションに対するユーザの正常な操作及びブラウズに妨害しなくて済む。
【0011】
図面を参照すると本発明の特徴及び長所をより明確に理解できる。図面は概念的なものであり、本発明に対する如何なる制限を与えるものと理解してはならない。
【図面の簡単な説明】
【0012】
【
図1】
図1は本発明実施例のタッチ感知面-ディスプレイによる入力方法のタッチ感知面における接触物の予め設置されているスライド方向の概念図である。
【
図2】
図2は本発明実施例のタッチ感知面-ディスプレイによる入力方法のウィンドウ概念図である。
【
図3】
図3は本発明実施例のタッチ感知面-ディスプレイによる入力方法のフローチャート概念図である。
【
図4】
図4は本発明実施例のタッチ感知面-ディスプレイによる入力方法の判断プロセス概念図である。
【
図5】
図5は本発明実施例のタッチ感知面-ディスプレイによる入力方法のタッチ感知面とウィンドウとの対応を示す概念図である。
【
図6】
図6は本発明実施例のタッチ感知面-ディスプレイによる入力方法のアイコンとアプリケーションエンティティとのマッピング関係を示す概念図である。
【
図7】
図7は本発明実施例のタッチ感知面-ディスプレイによる入力方法の応用例の概念図である。
【
図8】
図8は本発明実施例のタッチ感知面-ディスプレイによる入力方法の応用例におけるタッチ感知面のパーティションの概念図である。
【
図9】
図9は本発明実施例のタッチ感知面-ディスプレイによる入力方法の応用例におけるスライドに対応する表示を示す概念図である。
【
図10】
図10は本発明実施例のタッチ感知面-ディスプレイによる入力方法の応用例におけるタッチ感知面のキャンセル領域位置の概念図である。
【
図11】
図11は本発明実施例のタッチ感知面-ディスプレイによる入力方法の応用例におけるタッチ感知面のトリガー領域と無効領域位置の概念図である。
【
図12】
図12は本発明実施例のタッチ感知面-ディスプレイによる入力方法のフローチャート概念図である。
【
図13】
図13は本発明実施例のタッチ感知面-ディスプレイによる入力制御システムの構造概念図である。
【
図14】
図14は本発明実施例の入力システムの構造
概念図である。
【
図15】
図15は本発明実施例の電子装置の構造概念図である。
【
図16】
図16は本発明実施例の電子装置における使用過程を示す概念図である。
【
図17】
図17は本発明実施例の触覚-視覚技術による入力制御方法の方法フローチャート図である。
【
図18】
図18は本発明実施例の触覚-視覚技術による入力制御方法がタッチ感知面を区分する概念図である。
【0013】
以下、図面及び実施の形態を参照して本発明をさらに説明する。
【発明を実施するための形態】
【0014】
本発明の上述目的、特徴及び長所をより明確に理解するために、以下、図面及び実施の形態を参照して本発明をさらに詳しく説明する。なお、矛盾しない限り、本発明の実施例と実施例における特徴は互いに組み合わせることが可能である。
【0015】
下記記載には、本発明を十分に理解するための具体的な説明がたくさんあるが、本発明はここに記載されていないほかの形態によって実施されることもできる。したがって、本発明の保護範囲は下記公開される具体的な実施例の制限を受けていない。
【0016】
本発明は、「タッチ感知面-ディスプレイ」によるジェスチャー制御及びインタラクティブ技術を提供することを目的とし、タッチ感知面技術と表示技術を組み合わせ、新しいインタラクティブ方法を提供する。すなわち、まずタッチ感知面においてあるジェスチャーを行い、ディスプレイのあるウィンドウをアクティブにし、タッチ感知面における指のスライド操作によって、ディスプレイのウィンドウのGUIにおいてタッチ感知面におけ
る指のスライドとの同調が行われ、指が上がることはある種の操作に相当する。ディスプレイのウィンドウの大きさは変化可能であり、ウィンドウ内のポインターのスライド又は選択ボックスの移動はタッチ感知面における指のスライドに同調し、タッチ感知面におけるスライドの実際距離とウィンドウ内のポインター又は選択ボックスの移動距離は、縮尺される(縮尺は、タッチ感知面の大きさとウィンドウの大きさに基づいて算出する)。本方法は、システムGUIレベルの上にもう一つのGUIレベルを構成した。この方法のGUIレベルでは、GUIの内容に対するユーザー定義が許され、より効果的かつ直観的な視覚及び触覚フィードバックをユーザに提供し、ディスプレイ及びタッチ感知面を有する電子装置に対してより迅速、効果的な操作を与える目的を達成することにより、このような装置の効果性、効率及びユーザの満足度を上げる。
【0017】
タッチ感知面800におけるジェスチャーは以下の種類がある。
図1に示すように、一本の指がタッチパッドの左エッジ803の外部からエッジ内部へとスライドすること、一本の指がタッチパッドの右エッジ801の外部からエッジ内部へとスライドすること、一本の指がタッチパッドの上エッジ804の外部からエッジ内部へとスライドすること、一本の指がタッチパッドの下エッジ802の外部からエッジ内部へとスライドすること、複数の指がタッチパッドの左エッジ803の外部からエッジ内部へとスライドすること、複数の指がタッチパッドの右エッジ801の外部からエッジ内部へとスライドすること、複数の指がタッチパッドの上エッジ804の外部からエッジ内部へとスライドすること、複数の指がタッチパッドの下エッジ802の外部からエッジ内部へとスライドすることが挙げられる。
【0018】
インタラクティブ過程:タッチパッドのエッジ内に入った後、スクリーンには
図2に示すようなウィンドウ700がポップアップされ、ウィンドウには、アイコン710が設置され、この場合、スクリーンにおける選択ボックス(ポインター、矢印、指)は、タッチ感知面における指の移動に応じて同調して移動する。指がタッチ感知面から離れた際に、応答した選択ボックスに対応するアイコン710に対応するエンティティ内容、例えば、プログラムをアクティブにすること、ファイルを開くこと、ウェブサイトを開くこと、フォルダを開くこと、マクロ定義を実行することなどの機能は、アクティブされる。前記ウィンドウ700は、アプリケーションウィンドウ、インターフェース表示ウィンドウ、機能ウィンドウが挙げられる。具体的な技術内容について、以下の実施例を参照する。
【0019】
実施例1
図3に示すように、本発明は、以下のステップを含むタッチ感知面-ディスプレイによる入力方法を提供する。
【0020】
S110:タッチ感知面における接触物の連続スライド位置情報をリアルタイムに取得する。特別なデータ構造、例えばキュー、コンテナを設置することにより連続位置情報(二次元座標)を記憶することができる。連続スライドと判断した際に、一時的に保存された位置情報を取り出してから新しい位置情報を加え、連続スライド位置情報として生成する。具体的には、前記タッチ感知面のタッチ状態をリアルタイムに取得し、前記タッチ感知面のタッチ状態が閾値時間内に一貫して占有中であれば、前記接触物の連続位置を記録し、前記接触物の連続位置を前記接触物の連続スライド位置情報にする。
【0021】
S120:前記連続スライド位置情報が起動条件を満たし、つまり予め設置されているタッチシーケンスに合致すると判断した場合、スライドのジェスチャーが予め記憶されているジェスチャーにマッチングすれば(スライド方向、スライド形状)、検出されたスライドの距離が閾値を満たすことを条件にするか、又は検出されたスライドの時間が閾値を満たすことを条件にすることもでき、起動条件を満たしたら以下のステップを実行する。すなわち、
S130:前記ディスプレイにおいてアイコンを含むウィンドウが表示されるように制御し、かつ接触物の連続スライド位置情報をリアルタイムに取得し続け、前記接触物の連続スライド位置情報に基づき、前記ウィンドウにおいて選択位置をリアルタイムポインティングし、かつ前記選択位置において、ポインター又は現在位置で選択された内容を、前記接触物が前記タッチ感知面から離れたと判断する時まで表示するようにディスプレイを制御し、現在の前記選択位置に基づいてトリガーイベント情報を生成する。選択位置と前記接触物がタッチ感知面における位置とはリアルタイムなマッピング関係であるため、現在の前記選択位置に基づいてトリガーイベント情報を生成する前記ステップは、タッチ感知面における接触物の位置を採用してトリガーイベント情報を直接生成できる。前記ウィンドウは、
図2に示すように、ウィンドウには複数種のアイコンが設置され、アイコンは異なるアプリケーションに対応している。例えば、具体的なアプリケーション、文書ファイル、フォルダ、ウェブサイト、マクロ定義などが挙げられる。予め記憶されているマッピング関係によって対応するトリガーイベント情報を生成し、このトリガーイベント情報をWindowsシステム及び/又はOSシステムのイベント処理プロセスに入れれば、イベントに関連するアプリケーションを実行でき、つまり迅速な起動、ライトニングスタート機能を実現できる。本発明の実施例では、ウィンドウでのポインターの移動は、タッチ感知面における接触物触(例えば、人の指、人造の金属製指)によって制御され、接触物のスライドに応じて、ポインターもスライドする。しかし、ウィンドウとタッチ感知面とのサイズがよく一致していないので、比例関係によるマッピング位置を採用することができる。例えば、ウィンドウの長さとタッチ感知面の長さの比例に基づいて長さ方向における位置情報を特定し、ウィンドウの幅方向とタッチ感知面の幅の比例に基づいて幅方向における位置情報を特定することができる。他の比例関係を採用してもよい。前記比例関係では、絶対位置マッピングが採用されたが、相対位置マッピング、すなわち、位置増量によってポインター位置のリアルタイムポインティングを制御することを採用してもよい。アイコンを含むウィンドウの表示インターフェースは、予め設置されている方法によってそのアイコンとアイコンに対応するアプリケーションエンティティを制御できる。アイコンとアプリケーションエンティティが記憶された位置関係によってマッピング表を作成でき、必要な場合(つまり接触物が上がった際に)、マッピング表から対応するエンティティの情報(ファイル記憶位置)を探してイベント情報を生成し、実行する。なお、前記ポインターは、表示ポインターでも非表示ポインターでもよい。すなわち、前記接触物の連続スライド位置情報に基づき、前記ウィンドウにおいて、選択位置をリアルタイムポインティングし、かつ前記選択位置においてポインターを表示するか又は現在位置で選択された内容を表示するようにディスプレイを制御する。前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲(アイコンの中心を基準とする一つの円形又は長方形、又はアイコン図形が占める図形範囲)の内にある場合、前記アイコン又はアイコンの選択範囲をハイライト表示する。このように、ユーザは前記ウィンドウでポインティングされた選択位置を直観的に分かる。なお、前記選択位置は、連続的に配置されることも、間隔を置いて配置されることもできる。連続的に配置される場合、ウィンドウでは、ハイライト表示された内容が一貫して存在している。間隔を置いて配置される場合、接触物(指)を移動させれば、ハイライト領域を表示するので現在の選択位置が分かる。本発明は、ハイライト表示とポインターの表示を組み合わせ、選択位置が前記アイコンの選択範囲内である場合、前記アイコンをハイライト表示し、現在記選択位置が前記アイコンの選択範囲外である場合、選択位置においてポインターを表示し、現在の選択位置をユーザがリアルタイムに直観的に発見することにとって便利である。
【0022】
本発明のステップS130は、前記接触物が前記タッチ感知面から離れた際に、前記連続スライド位置情報における現在位置が前記タッチ感知面のキャンセル領域にあると判断した場合、前記ウィンドウを閉じる情報を生成する。ユーザが現在の操作を取り消すことにとって便利である。
【0023】
入力の信頼性、ユーザがアイコンを選択する際の精確性を保証するために、前記ステップS130では、前記選択位置に基づいてトリガーイベント情報を生成する前記ステップは、具体的には、前記ポインター位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、記アイコンに関連するエンティティをトリガーするイベント情報を生成する。
図2に示すように、アイコンA 710の選択範囲711は、アイコンAを中心とする長方形であるが、円形でもよい。メモリ使用量を減少するために、前記アイコンに関連するエンティティをトリガーするイベント情報を生成するステップの後は、さらに前記ウィンドウを閉じる情報を生成し、記憶された位置情報及びウィンドウ表示情報を消すことが含まれる。
【0024】
ウィンドウ又はインタラクティブシステム、入力システムからタイムリーに抜けることに資するために、前記ステップS130では、前記ポインターの位置情報に基づいてトリガーイベント情報を生成する前記ステップは具体的にはさらに、前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、前記ウィンドウを閉じる情報を生成し、つまり今回のスライド操作を終了させ、放棄することを含む。
【0025】
ステップS130では、前記接触物が前記タッチ感知面から離れたと判断する前記ステップは、前記タッチ感知面のタッチ状態をリアルタイムに取得し、前記タッチ感知面のタッチ状態が占有中から未占有に変わる場合、前記触控物が前記タッチ感知面から離れたと判断することを含む。前記タッチ感知面の各種の状態から判断することもできる。前記タッチ感知面の状態は、click(クリック)、tap(タップ)、hold(ホールド)、off(finger up指を上げる)を含み、つまり前記タッチ感知面の状態がholdからoffに変わったら、接触物が上がったと判断できる。
【0026】
図4に示すように、前記ステップS120で、前記連続スライド位置情報が起動条件を満たすと判断する前記ステップは具体的には以下のことを含む。すなわち、
S121:前記連続スライド位置情報に基づいて開始位置、及びスライド方向を取得し、前記スライド方向情報は直接読み取ることもできれば、複数の位置情報に基づいて取得することもできる。具体的には、前記連続スライド位置情報における複数点の位置を取得し、前記複数点の位置及び前記開始位置に基づいて平均方向ベクトルを算出し、前記平均方向ベクトルを前記スライド方向にする。
図5に示すように、ウィンドウ700がディスプレイ600に表示され、連続スライド位置情報から複数の位置ポイント(P1、P2、P3)(二次元位置情報を含む)を取り出し、複数の方向ベクトルS1(start点からP1)、S2(start点からP2)、S3(start点からP3)を形成し、平均方向ベクトルS(S=(S1+S2+S3)/3)を算出してスライド方向に対応する方向ベクトルにする。
【0027】
S122では、前記開始位置及びスライド方向と予め記憶されている情報とを照合し、一致すれば前記連続スライド位置情報が起動条件を満たすと判断する。具体的に比較する際に、予め記憶されているスライド方向ベクトルと直接比較することができる。平面幾何知識を利用し、夾角を算出し、例えば夾角が閾値よりも小さく、例として5度であれば、一致であると判断する。具体的には、前記開始位置が前記タッチ感知面のエッジ領域に入り、かつ前記スライド方向と前記エッジ領域の対応するエッジとの夾角が閾値よりも大きい場合(最大値が90度)、例えばエッジとの夾角が60度よりも大きければ角度判定に合致すると判断し、前記連続スライド位置情報が起動条件を満たすと判断する。前記エッジ領域がタッチ感知面のエッジであり、前記エッジ領域がエッジから内へ5mmであると設定できる。このように、許容度を保証し、入力方法の実用性を高めた。ミスタッチによる本入力方法の起動を防止するために、前記夾角が閾値よりも大きいと判断した後、前記接触物の現在位置を取得し、現在位置及び開始位置に基づいてスライド距離を取得し、前記スライド距離が閾値よりも大きければ、前記連続スライド位置情報が起動条件を満たす
と判断する。
図5に示すように、開始位置Startから現在点nowとの距離が閾値よりも大きく、例えば15mmより大きい場合、起動すると判断する。
【0028】
本発明のエッジから滑り込むというジェスチャーの検出は、以下のことを考慮した上でのものである。すなわち、既存のwindows及びOSシステムに対応するタッチ感知面を有するコンピュータ又はタッチ操作装置において、すでに一部のジェスチャー識別機能がビルトインされており、本発明の接触物のジェスチャーによってwindows又はOSシステムにビルトインされたジェスチャーの対応機能を間違って起動させることを防止するため、エッジからスライドしてくるジェスチャーを検出するわけである。
【0029】
上述のように、前記ステップS130では、前記ウィンドウ700においてポインターをリアルタイムポインティングするステップは具体的には、前記接触物の現在位置情報を取得し、前記タッチ感知面800のサイズと前記ウィンドウ700のサイズとの対応関係に基づいて前記ポインターの位置を取得する。
図5に示すように、ウィンドウ700の長さ、幅のパラメータはL*Wであり、タッチ感知面の長さ、幅のパラメータはl*wである場合、タッチ感知面において現在点now(xnow、ynow)がウィンドウにマッピングされた位置はnow-apply(xnow*L/l、ynow*W/w)である。
【0030】
本発明のアプリケーションエンティティとして複数種が挙げられる。前記アイコンに関連するエンティティをトリガーするイベント情報を生成する前記ステップは、実行ファイルを開くイベント情報を生成するステップ、ファイルを開くイベント情報を生成するステップ、フォルダを開くイベント情報を生成するステップ、ウェブページを開くイベント情報を生成するステップ及びマクロ定義を実行するイベント情報を生成するステップのうちの一つ又は複数を含む。
【0031】
ステップS110の前にはさらに、
前記アイコン及びアイコンとエンティティとのマッピング関係を取得かつ保存するS101を含む。
図6に示すように、アイコンとアプリケーションとの関係を形成する。
【0032】
以下は具体的な実施過程を取り上げる。
図7に示すように、接触物(指)はタッチ感知面800における右エッジから内へと一段の距離をスライドし、次にディスプレイ600においてウィンドウ700が表示され(表示位置はディスプレイ600の中央と初期設定できるが、他の位置でもよい)、ウィンドウ700においてアイコン710が表示され、そして指はスライドし続け、対応するウィンドウ700におけるポインターはそれに応じて移動し、右下の五角星のアイコンまで移動したら、接触物が上がる。
図6に示すようなマッピング関係に基づき、ブラウザー(C\\...iexplore.exe)を開く操作を実行する。簡単なスライド操作によってアプリケーションを迅速に起動できる。
【0033】
実施例2
本発明の本実施例は続いてタッチ感知面-ディスプレイによる入力方法を提供する。前記タッチ感知面800は、
図8に示すように、16個の領域に区分され、対応する前記ディスプレイ600におけるウィンドウ700も16個の領域に区分される。前記タッチ感知面の各領域と前記ディスプレイ600の各領域は対応し、前記ウィンドウ700の領域には、アイコン710又はブランク表示内容が設置される。処理過程は
図12に示すように、プロセッサ又は電子装置は、タッチ感知面における連続スライド位置情報をリアルタイムに取得し、予め設置されているタッチシーケンスに合致すると判断した場合、前記ウィンドウを表示し、かつ前記連続スライド位置情報における現在位置に基づいてウィンドウのハイライト位置をポインティングする。例えば現在接触物が前記タッチ感知面の右下の隅の領域にあれば、前記ウィンドウの右下の隅のアイコン又は領域はハイライト表示に
対応する。接触物が前記タッチ感知面における連続スライド位置情報を受信することにより、ハイライト表示の領域を移動させ、この際の接触物が前記タッチ感知面の中央領域に移動すれば、ウィンドウの対応する中央領域がハイライト表示され、
図9に示されている。現在の接触物が前記タッチ感知面から離れたと判断してはじめて、離れた際の位置に基づいてトリガーイベント情報を生成する。例えば、接触物が離れた際に、ハイライト表示されるアイコンがブラウザーのアイコンであれば、この際にブラウザーを開くように実行する情報を生成しかつウィンドウを閉じる情報を生成する。さらに例えば、ハイライト表示されるアイコンがノートパッドのアイコンであれば、この際にノートパッド機能を開くように実行する情報を生成しかつウィンドウを閉じる情報を生成する。さらに例えば、接触物が離れた際に、接触物の所在位置がタッチ感知面におけるキャンセル領域に該当する場合、この際に前記ウィンドウを閉じる情報を生成する。具体的には、
図10に示すように、前記キャンセル領域810は、前記タッチ感知面800のエッジ位置に位置し、例えば前記タッチ感知面の長さ又は幅サイズの2%、又は1%、又は5%を占める。
図11に示すように、タッチ感知面はトリガー領域820と無効領域830に区分できる。予め設置されているタッチシーケンスに合致すると判断するステップは、前記連続スライド位置情報の開始点が前記トリガー領域にあると判断することと、連続スライド位置情報の現在点から開始点までの距離が閾値に達成した際に、予め設置されているタッチシーケンスに合致すると判断することを含む。前記トリガー領域の幅は前記タッチ感知面の長さ又は幅サイズの5%、又は3%、又は10%を占める。接触物の連続スライド、ウィンドウのハイライト位置の連続変化、接触物の挙上、ハイライト位置のアイコンに対応するアプリケーションの実行によって、アプリケーションを迅速に起動する機能を提供する。
【0034】
実施例3
本発明の本実施例は続いてタッチ感知面-ディスプレイによる入力方法を提供する。原理は前記実施例と類似するが、相違点は、ウィンドウには、連続配置される格子領域を設置せず、代わりにアイコンを設置する点にある。接触物に対応する位置が前記アイコンの選択範囲内である場合、前記アイコンはハイライト表示され、接触物が上がるか又は前記タッチ感知面から離れた際に、接触物の位置情報又はウィンドウの現在選択された位置情報に基づいて、トリガーイベント情報を生成する。さらに、キャンセル機能も含むが、原理は前記実施例と類似する。
【0035】
実施例4
本発明の本実施例は続いてタッチ感知面-ディスプレイによる入力方法を提供する。原理は前記実施例と類似するが、相違点は、ハイライト表示によってウィンドウにおける選択位置をポインティングするのではなく、ポインターを採用し、ウィンドウを開いた後、前記接触物がタッチ感知面における位置に基づいてウィンドウにおける選択位置をリアルタイムポインティングし、選択位置においてポインターを表示するという点にある。前記ポインターの表示位置がアイコンの選択範囲内である場合、アイコンはハイライト表示されても、ハイライト表示されなくてもよい。連続スライド位置情報において接触物が上がったか又は前記タッチ感知面から離れたと検出した際に、現在ポインターの位置又は現在接触物の位置に基づいてトリガーイベント情報を生成する。
【0036】
実施例5
本発明は、実施例1~実施例4での入力制御方法に基づき、
図13に示すように、さらにタッチ感知面-ディスプレイによる入力制御システム100を提供する。位置情報取得電気回路110と、前記位置情報取得電気回路110に接続される判断電気回路120と、前記判断電気回路120及び位置情報取得電気回路110に接続される表示制御電気回路130と、前記表示制御電気回路130に接続されるイベントトリガー生成電気回路140とを含む。
【0037】
前記位置情報取得電気回路110は、タッチ感知面800における接触物の連続スライド位置情報をリアルタイムに取得し、かつ前記連続スライド位置情報を前記判断電気回路120及び前記表示制御電気回路130に送信するのに用いられ、前記連続スライド位置情報は接触物の位置情報及びタッチ感知面の状態情報を含む。
【0038】
前記判断電気回路120は、前記連続スライド位置情報が起動条件を満たすと判断した際に、前記表示制御電気回路130に信号を送信するのに用いられる。
【0039】
前記表示制御電気回路130は、ディスプレイ600においてアイコンを有するウィンドウを表示する情報を生成し、かつ接触物の連続スライド位置情報をリアルタイムに取得し、前記接触物の連続スライド位置情報に基づき、前記ウィンドウにおけるポインターのリアルタイム位置情報及び前記ウィンドウにおけるポインターのリアルタイム表示情報を生成するのに用いられ、前記表示制御電気回路130はさらに、前記接触物の連続スライド位置情報に基づいて前記接触物が前記タッチ感知面から離れたと判断した際に、前記ウィンドウにおけるポインターのリアルタイム位置情報を前記イベントトリガー生成電気回路140に送信するのに用いられる。
【0040】
前記イベントトリガー生成電気回路140は、前記ウィンドウにおけるポインターのリアルタイム位置情報に基づいてトリガーイベント情報を生成するのに用いられる。
【0041】
前記イベントトリガー生成電気回路140は具体的には、前記ポインター位置が前記ウィンドウ700における前記アイコン710の選択範囲711内である場合、前記アイコン710に関連するエンティティをトリガーするイベント情報を生成するのに用いられる。
【0042】
前記イベントトリガー生成電気回路140はさらに、前記アイコン710に関連するエンティティをトリガーするイベント情報を生成した後、前記ウィンドウを閉じる情報を生成するのに用いられる。
【0043】
前記イベントトリガー生成電気回路140はさらに、前記ポインター位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、
図5に示すように、前記ウィンドウ700を閉じる情報を生成するのに用いられる。
【0044】
前記位置情報取得電気回路110は具体的には、前記タッチ感知面800のタッチ状態をリアルタイムに取得し、前記タッチ感知面800のタッチ状態が閾値時間(例えば500ms)内に一貫して占有中であれば、前記接触物の連続位置を記録し、前記接触物の連続位置を前記接触物の連続スライド位置情報にするのに用いられる。
【0045】
前記表示制御電気回路130によって前記タッチ感知面から前記接触物が離れたと判断するステップは、前記タッチ感知面800のタッチ状態をリアルタイムに取得し、前記タッチ感知面800のタッチ状態が占有から未占有に変わった際に、接触物が前記タッチ感知面800から離れたと判断することを含む。
【0046】
前記判断電気回路120は具体的には、前記連続スライド位置情報に基づいて開始位置、及びスライド方向を取得し、前記開始位置及びスライド方向と予め記憶されている情報とを照合し、一致すれば、前記連続スライド位置情報が起動条件を満たすと判断するのに用いられる。
【0047】
前記判断電気回路120がスライド方向を取得するステップは、前記連続スライド位置情報における複数点の位置を取得し、前記複数点の位置及び前記開始位置に基づいて平均方向ベクトルを算出し、前記平均方向ベクトルを前記スライド方向にすることを含む。
【0048】
前記判断電気回路120は具体的には、前記開始位置が前記タッチ感知面のエッジ領域(例えば、エッジから5mm内である)にあり、かつ前記スライド方向と前記エッジ領域の対応するエッジとの夾角が閾値(例えば、60度より大きい)よりも大きい場合、前記連続スライド位置情報が起動条件を満たすと判断するのに用いられる。
【0049】
前記判断電気回路120は具体的には、前記夾角が閾値よりも大きいと判断した後、前記接触物の現在位置を取得し、現在位置及び開始位置に基づいてスライド距離を取得し、前記スライド距離が閾値よりも大きければ、前記連続スライド位置情報が起動条件を満たすと判断するのに用いられる。
【0050】
前記表示制御電気回路130が前記ウィンドウ710におけるポインターのリアルタイム位置情報を生成するステップは、前記接触物の現在位置情報を取得し、前記タッチ感知面800のサイズと前記ウィンドウのサイズとの対応関係に基づいて前記ポインターの位置を取得することを含む。
【0051】
前記イベントトリガー生成電気回路140はさらに、実行ファイルを開くイベント情報の生成、ファイルを開くイベント情報の生成、フォルダを開くイベント情報の生成、ウェブページを開くイベント情報の生成及びマクロ定義を実行するイベント情報の生成のうちの一つ又は複数に用いられる。
【0052】
本発明の入力システム100はさらに、マッピング関係設立電気回路150を含み、前記マッピング関係設立電気回路は、前記アイコン及びアイコンとエンティティとのマッピング関係を取得して記憶手段160に保存し、前記イベントトリガー生成電気回路140が前記記憶手段160からマッピング関係を取得するのに用いられる。
【0053】
前記実施例1~実施例5に言及したタッチ感知面は、タッチパッド、携帯タッチパネル、タブレットコンピュータタッチパネルなどタッチ感知機能を有する機能的膜層又は設備を含む。
【0054】
前記実施例1~実施例5に言及したディスプレイは、ノートパソコンモニター、デスクトップコンピュータモニター、テレビディスプレイ又は携帯スクリーン、タブレットコンピュータスクリーンなど表示機能を有する膜層又は設備を含む。
【0055】
実施例6
本発明は、上述のタッチ感知面-ディスプレイによる入力制御方法及び上述のタッチ感知面-ディスプレイによる入力制御システムを提供する。
図14に示すように、さらに入力システム1000を提供し、タッチパッド800、スクリーン600及び前記入力制御システム100を含む。具体的には、前記タッチパッド800は前記位置情報取得電気回路110に接続され、前記スクリーン600は前記表示制御電気回路130に接続される。本発明の入力システムは、予め設置されているアプリケーションを迅速に起動でき、個性化を実現した。
【0056】
実施例7
以下の文章には表示ユニットとタッチ感知面ユニットを含む電子装置が記載されているが、電子装置は一つ又は複数の他の物理的ユーザインターフェースデバイス、例えば物理的キーボード、マウス及び/又は操作バーを任意選択的に含むと理解すべきである。装置は通常複数種のアプリケーションを支持し、例えばグラフィックアプリケーション、レンダーアプリケーション、文字処理アプリケーション、ウェブサイト作成アプリケーション
、ディスクエディタアプリケーション、表計算アプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージアプリケーション、運動サポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタルミュージックプレイヤーアプリケーション及び/又はデジタルビデオプレイヤーアプリケーションのうちの1種又は複数種が挙げられる。
【0057】
図15に示すように、本発明は、電子装置200を提供する。前記電子装置は、表示ユニット210、タッチ感知面ユニット220と、前記表示ユニット210及びタッチ感知面ユニット220にカップリングされる処理ユニット230を含み、前記表示ユニット210はユーザインタフェースオブジェクトを表示するように配置され、前記タッチ感知面ユニット220はユーザ接触を検出するように配置され、前記処理ユニット220は、前記タッチ感知面ユニット220の連続スライド位置情報をリアルタイムに取得するように配置され、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した場合、アイコンを含むウィンドウを表示するように前記表示ユニット210を制御し、かつ前記タッチ感知面ユニット220の連続スライド位置情報をリアルタイムに取得し続け、前記連続スライド位置情報に基づき、前記ウィンドウで選択位置をリアルタイムポインティングし、かつ表示ユニットが前記選択位置において、ポインター又は現在位置で選択された内容を、前記接触物が前記タッチ感知面ユニットから離れたことを前記タッチ感知面ユニット220が取得したと判断する時まで表示するように表示ユニットを制御し、現在の前記選択位置に基づいてトリガーイベント情報を生成する。前記処理ユニット230は、さらに前記トリガーイベント情報に基づいて対応する機能を実行するように配置される。タッチ感知面ユニット220には、ジェスチャー、つまりタッチシーケンスを下し、指定されたタッチシーケンスを処理ユニット230が検出したら、表示ユニット210の予め記憶されているGUIウィンドウをアクティブにし、指のタッチ感知面ユニット220におけるスライドによって、対応するGUIウィンドウにおいてポインターの移動又はオブジェクトの選択を操作し、指が離れた際にポインター又はオブジェクトの操作をアクティブにする。
【0058】
前記処理ユニット230は具体的には、前記タッチ感知面ユニット220にカップリングされる検出ユニット231、前記検出ユニット231に接続されるリアルタイム表示ユニット232、前記検出ユニット231に接続されるフィードバックユニット233を含み、前記リアルタイム表示ユニット232はさらに前記表示ユニット232にカップリングされる。前記検出ユニット231は、前記タッチ感知面ユニット220の連続スライド位置情報をリアルタイムに取得し、連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した場合、アクティブ化情報を生成し、かつ前記アクティブ化情報を前記リアルタイム表示ユニット232に送信し、前記連続スライド位置情報を取得し続け、かつ前記連続スライド位置情報を前記リアルタイム表示ユニット232に送信し、前記タッチ感知面ユニット220から接触物が離れたと判断する時にしてはじめて、前記触接触物の現在位置を前記フィードバックユニット233に送信するように配置され、前記リアルタイム表示ユニット232は、前記アクティブ化情報によって、前記表示ユニット210のウィンドウ表示を制御し、かつ前記連続スライド位置情報に基づいて選択位置を生成し、かつ前記選択位置によって、前記表示ユニット210の前記ウィンドウにおけるポインター又は現在位置で選択された内容の表示を制御するように配置され、前記フィードバックユニット233は、前記接触物の現在位置に基づいてトリガーイベント情報を生成するのに用いられる。前記処理ユニット230は、さらに実行ユニット234を含み、前記フィードバックユニット233は前記トリガーイベント情報を前記実行ユニット234に送信する。アプリケーションを迅速に起動するユーザインタラクティブ方法を実現し、ユーザがタッチ感知面ユニット220においてジェスチャーをスライドさせ、ジェスチャーが予め設置されているタッチシーケンスに合致する場合、表示ウィンドウを起動し、スライドし続けてウィンドウにおけるポインター又はハイライト位置を移動させ、ユーザに現在ウィンドウにおける選択位置をフィードバックし、ユーザが指を上げたら、対応するウィンドウにおけるアプリケーションを選択的に実行することを実現する。
【0059】
前記リアルタイム表示ユニット232は、前記選択位置に基づいて前記表示ユニット210が前記ウィンドウにおいてポインター又は現在位置で選択された内容を表示するように制御する際に使用され、前記リアルタイム表示ユニット232は具体的に、現在記選択位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、前記表示ユニット210が前記アイコン及び/又は前記アイコンの選択範囲をハイライト表示するように制御する情報を生成するのに用いられる。及び/又は、前記リアルタイム表示ユニット232はさらに具体的に、現在記選択位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、前記表示ユニット210が現在選択位置においてポインターを表示するように制御する情報を生成するのに用いられる。
【0060】
前記検出ユニット231は、連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した後、さらには、接触物が前記タッチ感知面ユニット220のキャンセル領域にあると判断する場合、前記ウィンドウを閉じる情報を生成し、かつ前記ウィンドウを閉じる情報を前記リアルタイム表示ユニット231に送信し、前記リアルタイム表示ユニット231が前記表示ユニット210を制御して前記ウィンドウを閉じるように配置される。
【0061】
前記検出ユニット231はさらに、前記タッチ感知面ユニット220から接触物が離れたと判断する場合、ウィンドウを閉じる情報を生成して前記リアルタイム表示ユニット232に送信し、前記リアルタイム表示ユニット232が前記ウィンドウを閉じることを制御するように配置される。
【0062】
前記タッチ感知面ユニット220のキャンセル領域は、前記タッチ感知面ユニット220のエッジにあり、前記キャンセル領域の幅は、前記タッチ感知面ユニット220の幅又は長さの2%、又は1%、又は5%である。
【0063】
前記フィードバックユニット233具体的に、前記接触物の現在位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、前記アイコンに関連するエンティティをトリガーするイベント情報を生成するのに用いられる。
【0064】
前記フィードバックユニット233はさらに、前記アイコンに関連するエンティティをトリガするイベント情報を生成した後、前記ウィンドウを閉じる情報を生成するのに用いられる。
【0065】
前記フィードバックユニット233はさらに、前記接触物の現在位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、前記ウィンドウを閉じる情報を生成するのに用いられる。
【0066】
前記検出ユニット233は具体的に、前記タッチ感知面ユニット220のタッチ状態をリアルタイムに取得し、前記タッチ感知面ユニット220タッチ状態が閾値時間内に一貫して占有中であれば、前記接触物の連続位置を記録し、前記接触物の連続位置を前記接触物の連続スライド位置情報にするのに用いられる。
【0067】
前記検出ユニット233によって前記接触物が前記タッチ感知面ユニット220から離れたと判断するステップは、前記タッチ感知面ユニット220のタッチ状態をリアルタイムに取得し、前記タッチ感知面ユニット220タッチ状態が占有中から未占有に変わる際に、接触物が前記タッチ感知面ユニット220から離れたと判断することを含む。
【0068】
前記検出ユニット233は具体的に、前記連続スライド位置情報に基づいて開始位置及びスライド方向を取得すること、前記開始位置及びスライド方向と予め記憶されている情報とを照合し、一致すれば、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断するのに用いられる。
【0069】
前記検出ユニット233がスライド方法を取得するステップは、前記連続スライド位置情報における複数点の位置を取得し、前記複数点の位置及び前記開始位置に基づいて平均方向ベクトルを算出し、前記平均方向ベクトルを前記スライド方向にすることを含む。
【0070】
前記検出ユニット233は具体的にさらに、前記開始位置が前記タッチ感知面ユニット220のエッジ領域に入り、かつ前記スライド方向と前記エッジ領域の対応するエッジとの夾角が閾値よりも大きい場合、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断するのに用いられる。
【0071】
前記検出ユニット233は具体的にさらに、前記夾角が閾値よりも大きいと判断した後、前記接触物の現在位置を取得し、現在位置及び開始位置に基づいてスライド距離を取得し、前記スライド距離が閾値よりも大きい場合、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致する判断するのに用いられる。
【0072】
前記リアルタイム表示ユニット232が前記ウィンドウにおける前記選択位置を生成するステップは、前記接触物の現在位置情報を取得し、前記タッチ感知面ユニットのサイズと前記ウィンドウのサイズの対応関係に基づいて前記ポインターの位置を取得することを含む。
【0073】
前記フィードバックユニット233はさらに、前記接触物の現在位置に基づいて実行ファイルを開くイベント情報の生成、ファイルを開くイベント情報の生成、フォルダを開くイベント情報の生成、ウェブページを開くイベント情報の生成及びマクロ定義を実行するイベント情報の生成のうちの一つ又は複数に用いられる。
【0074】
本発明の電子装置は、前記アイコン及びアイコンとエンティティとのマッピング関係の取得かつ保存に用いられるマッピング関係形成ユニットをさらに含む。
【0075】
本発明の電子装置は、前記アイコン及びアイコンとエンティティとのマッピング関係を取得かつ記憶するのに用いられる記憶ユニットをさらに含む。
【0076】
前記フィードバックユニット233がトリガーイベント情報を生成する際に、前記記憶ユニットからアイコンとエンティティとのマッピング関係を読み取り、実際のエンティティの情報を取得し(位置情報を記憶)、トリガーイベント情報を生成する。
【0077】
前記表示ユニット210は、コンピュータモニター、携帯スクリーン、タブレットコンピュータスクリーンのうちの1種又は複数を含む。
【0078】
前記タッチ感知面ユニット220は、ノートパソコンタッチパッド、携帯タッチパネル、タブレットコンピュータタッチパネルのうちの1種又は複数を含む。
【0079】
なお、上述の処理ユニット、表示ユニット、タッチ感知面ユニット、検出ユニット、リアルタイム表示ユニット、フィードバックユニット及び実行ユニットはいずれもハードウ
ェア電気回路であってもよく、つまり処理電気回路、表示電気回路、タッチ感知面電気回路、検出電気回路、リアルタイム表示電気回路、フィードバック電気回路及び実行電気回路に変えることもできれば、ある機能を実行する単独のプロセッサでもよい。
【0080】
一部の実施例では、上述の処理ユニット230は次のように配置される。a:タッチ感知面ユニットにおける接触を検出し、タッチ感知面ユニットにおける接触による移動シーケンスを検出し、前記移動シーケンスはアクティブ化方法における前記ユーザGUI及びユーザを読み取るGUI配置に対応する。b:処理ユニットはさらにタッチパッドにおけるユーザの移動、ユーザリアルタイム表示ユニットのGUIインターフェースにおける移動の出力と表示との同調を検出する。c:指が離れたと検出してはじめて、現在位置情報をフィードバックユニットにフィードバックし、かつGUIに対応する配置情報を生成ユニット又は停止ユニットに送信し、コンピュータに対して対応する操作を行う。
【0081】
一部の実施例では、ステップaでの特定シーケンスは、個別のジェスチャーの連続操作でも、複数のジェスチャーの連続操作などでも、一つの指の関連操作、複数の指の連続操作の集合でもよい。
【0082】
一部の実施例では、ステップbでの移動追跡、GUIインターフェースの追跡出力は、ポインターの追跡でも、ある種のオブジェクトの選択でもよい。
【0083】
一部の実施例では、ステップcの現在位置は、マウスポインターがGUIにおけるある位置に対応するオブジェクトでも、ポインターが対応するブランク領域でもよければ、GUIにおけるある選択されたオブジェクトの位置でも、GUIにおけるある特定指令領域でもよい。
【0084】
一部の実施例では、ステップcの現在位置が、応答するオブジェクトに対応したら、そのオブジェクトを開くことも、ユーザー定義されたある種のシステム操作でもよければ、ユーザー定義された該オブジェクトに対するある種の操作でもよい。
【0085】
一部の実施例では、ステップcの現在位置がブランク領域に対応するなら、停止ユニットを呼び出すか、GUIが消えるか、又は如何なる操作も行わないことでもよい。
【0086】
一部の実施例では、ステップcの現在位置が、GUIのある特定指令領域に対応するなら、停止ユニットを呼び出すか、GUIが消えるか、又は如何なる操作も行わないことでもよければ、あるシステム指令でもよい。
【0087】
一部の実施例では、ステップbにおけるGUIインターフェースは透明であってもよい。
【0088】
上述の電子装置200は実際の使用過程では、
図16に示すように、タッチ感知面がジェスチャーを取得して前記プロセッサに送信し、プロセッサがジェスチャー情報と記憶器における情報とを比較して処理した後、ディスプレイにおいてウィンドウを表示し、連続位置情報をさらに取得し、指が上がったと判断したら指の最後の位置に基づいてトリガーイベント情報を生成し、対応するアプリケーションの機能を実行する。
【0089】
実施例8
本発明の実施例の触覚-視覚技術による入力制御方法は、
図17に示すように、以下のステップを含む。すなわち、タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、前記インターフェース制御領域及び入力制御領域が収集した情報に基づき、仮想インターフェースを表示するようにUI層を制御
し、同時に入力制御領域が収集した情報に基づいて該仮想インターフェースにおいてタッチパッドにおけるユーザのスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行する。前記インターフェース制御領域は前記実施例におけるトリガー領域に相当し、前記入力制御領域は前記実施例における無効領域に相当する。
【0090】
前記タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分することは具体的には、
タッチパッドのサイズを確定しかつ該タッチパッドに対して座標定義するS11と、
座標情報を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、かつ前記入力制御領域をさらに区分し、前記インターフェース制御領域と入力制御領域が隣接し、前記インターフェース制御領域は、入力制御領域の左側、右側、上側、下側、左上の隅、左下の隅、右上の隅又は右下の隅に設置されるS12と、
前記入力制御領域を初期化し、対応する入力制御内容を設置するS13を含む。
【0091】
前記インターフェース制御領域及び入力制御領域が収集した情報に基づき、仮想インターフェースを表示するようにUI層を制御することは具体的に、駆動層が指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにUI層を制御する。
【0092】
前記入力制御領域が収集した情報に基づいて該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行することは具体的に、
入力制御領域が指のスライド軌跡情報を収集しかつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報の対応する内容をリアルタイムに表示するS21と、
前記スライド軌跡の終点に対応する座標情報を確定し、対応する入力制御内容を取得するS22と、
前記入力制御内容に基づいて内容情報を入力するか又は制御情報を実行するS23というステップを含む。
【0093】
上述の方法では、前記タッチパッドはノートパソコンに組み込まれたタッチパッド又はタッチパッド単品である。
【0094】
触覚-視覚技術による入力制御システムは、
タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分するのに用いられるタッチパッド区分及び初期化電気回路と、
前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、仮想インターフェースを表示するようにUI層を制御するのに用いられる仮想インターフェース表示制御電気回路と、
入力制御領域の収集した情報に基づき、該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行するリアルタイム表示及び入力制御電気回路とを含む。
【0095】
前記タッチパッド区分及び初期化電気回路は具体的に、
タッチパッドのサイズを確定し、かつ該タッチパッドに対して座標定義するのに用いられるサイズ確定及び座標定義電気回路と、
座標情報を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、前記インターフェース制御領域と入力制御領域が隣接する領域区分電気回路と、
前記入力制御領域を初期化し、対応する入力制御内容を設置する設置及び初期化電気回路とを含む。
【0096】
前記仮想インターフェース表示制御電気回路は具体的に、
指のスライド軌跡情報の収集に用いられる指スライド軌跡情報収集電気回路と、
駆動層が指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにUI層を制御するのに用いられる仮想インターフェース表示電気回路とを含む。
【0097】
前記リアルタイム表示及び入力制御電気回路は具体的に、
入力制御領域によって指のスライド軌跡情報を収集し、かつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報に対応する内容をリアルタイムに表示するのに用いられる指スライド軌跡収集及表示電気回路と、
前記スライド軌跡の終点に対応する座標情報を確定し、対応する入力制御内容を取得するのに用いられる入力制御内容取得電気回路と、
前記入力制御内容に基づいて内容情報を入力するか又は制御情報を実行するのに用いられる情報入力電気回路とを含む。
【0098】
本発明の実施例で詳しく説明していない部分について、いずれも従来技術によって実現できる。
【0099】
本発明の一つの実施例の作業原理は以下のとおりである。まず、タッチパッド(前記タッチパッドがノートパソコンに組み込まれたタッチパッド又はタッチパッド単品)のサイズを確定しかつ該タッチパッドに対して座標定義し、座標情報を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、かつ前記入力制御領域をさらに区分し(例えば、4*4に区分する)、前記インターフェース制御領域と入力制御領域は隣接し、前記インターフェース制御領域は入力制御領域の左側、右側、上側、下側、左上の隅、左下の隅、右上の隅又は右下の隅に設置できる。ここで仮に前記インターフェース制御領域が入力制御領域の左側(
図18に示すように)に設置されるとする。次に、前記入力制御領域に対して初期化し、対応する入力制御内容(例えば
図2に示すようなアプリケーション制御情報又は数字内容情報)を設置する。
【0100】
ユーザAがwordテキストを編集する際に、ビング辞書(bing dictionary)を開いて単語を探したい場合、タッチパッドにおいて左から右へと指をスライドすれば、wordテキストのページにおいて仮想インターフェースが表示され、次に「ビング」までスライドし続けて指を離せば、ビング辞書ソフトウェアを開くことができ、同時に仮想インターフェースは消える。具体的には、システム内部では以下のように処理が行われる。(ユーザー定義した)駆動層は、ソフトウェアレベルにおいてタッチパッドをインターフェース制御領域と入力制御領域に区分し、駆動層は指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにUI層を制御する。入力制御領域は指のスライド軌跡情報を収集しかつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報に対応する内容をリアルタイムに表示し、次に前記スライド軌跡の終点(つまり入力制御領域4*3の位置)に対応する座標情報を確定し、対応する入力制御内容(つまりビング辞書を開くように制御する)を取得し、前記入力制御内容に基づいて制御情報(つまりビング辞書を開く)を実行し、同時に入力制御領域は制御情報を駆動層に送信し、駆動層が該制御情報を受信したら、仮想インターフェースを隠すようにUI層を制御する。
【0101】
本発明では、用語「第1」、「第2」、「第3」は目的の説明のみに用いられ、それが比較的な重要性を指示又は暗示するものと理解してはならない。用語「複数」は二つ又は二つ以上であることを指すが、別途に明確な限定がある場合はこの限りではない。
【0102】
上述したものは本発明の好ましい実施例に過ぎず、本発明を制限するためのものではない。当業者からすれば、本発明は各種の変更及び変化を行うことができる。本発明の精神及び原則内において行われた如何なる修正、均等な置き換え、改良などは、いずれも本発明の保護範囲内である。