特表2022-547667ヒューマンコンピュータインタラクション方法、装置、及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-15
(54)【発明の名称】ヒューマンコンピュータインタラクション方法、装置、及びシステム
(51)【国際特許分類】
G06F 3/0488 20220101AFI20221108BHJP
G06F 3/16 20060101ALI20221108BHJP
【ＦＩ】
G06F3/0488
G06F3/16 630
G06F3/16 610
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022513988
(86)(22)【出願日】2019-12-30
(85)【翻訳文提出日】2022-03-01
(86)【国際出願番号】 CN2019130195
(87)【国際公開番号】W WO2021134358
(87)【国際公開日】2021-07-08
(81)【指定国・地域】
(71)【出願人】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャオ，グワーンヤオ
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA46
5E555BA02
5E555BB02
5E555BC18
5E555BE13
5E555CA12
5E555CA47
5E555CB13
5E555CB64
5E555DA03
5E555DB56
5E555EA23
5E555FA00
(57)【要約】
本願は、ヒューマンコンピュータインタラクション方法、装置、及びシステムを開示し、ヒューマンコンピュータインタラクション技術の分野に関係がある。本願は、マルチモダリティのヒューマンコンピュータインタラクションを実装してユーザ経験を向上させるのに役立つ。ヒューマンコンピュータインタラクション方法はヒューマンコンピュータインタラクションシステムに適用され、ヒューマンコンピュータインタラクションシステムはタッチスクリーンを含む。ヒューマンコンピュータインタラクション方法は、重なり合うタッチ期間を有している第１タッチ操作及び第２タッチ操作を受けることと、ボイス命令を受け取ることであり、ボイス命令は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間内に受け取られるボイス命令である、ことと、第１タッチ操作及び第２タッチ操作に応答して、タッチスクリーン上でボイス命令の操作対象の位置情報を決定することと、タッチスクリーン上での操作対象の位置情報に基づきボイス命令を実行することとを含む。
【特許請求の範囲】
【請求項1】
ヒューマンコンピュータインタラクションシステムに適用されるヒューマンコンピュータインタラクション方法であって、前記ヒューマンコンピュータインタラクションシステムがタッチスクリーンを有する、前記方法において、第１タッチ操作及び第２タッチ操作を受けることであり、前記第１タッチ操作のタッチ期間及び前記第２タッチ操作のタッチ期間は重なり合う、ことと、
ボイス命令を受けることであり、前記ボイス命令は、前記第１タッチ操作及び前記第２タッチ操作の重なり合っているタッチ期間内で受け取られるボイス命令である、ことと、
前記第１タッチ操作及び前記第２タッチ操作に応答して、前記タッチスクリーン上で前記ボイス命令の操作対象の位置情報を決定することと、
前記タッチスクリーン上での前記操作対象の前記位置情報に基づき前記ボイス命令を実行することと
を有する方法。
【請求項2】
前記タッチスクリーン上で前記ボイス命令の操作対象の位置情報を決定することは、前記ボイス命令の操作エリアを決定することを有し、前記操作エリアは前記タッチスクリーン上のエリアであり、前記操作対象は前記操作エリアに含まれ、
前記タッチスクリーン上での前記操作対象の前記位置情報に基づき前記ボイス命令を実行することは、
前記操作エリアにおいて前記ボイス命令を実行することを有する、
請求項１に記載の方法。
【請求項3】
前記操作エリアにおいて前記ボイス命令を実行することは、前記ボイス命令が、対象を選択することを指示するために使用されるとき、前記操作エリア内の対象を選択すること、
前記ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、前記操作エリア内の対象の属性情報を前記ターゲット属性情報に変更すること、
前記ボイス命令が、対象を削除することを指示するために使用されるとき、前記操作エリア内の対象を削除すること、又は
前記ボイス命令が、対象を生成することを指示するために使用されるとき、前記操作エリア内で対象を生成すること
を有する、
請求項２に記載の方法。
【請求項4】
前記方法は、前記操作エリアを表示することを更に有する、請求項２又は３に記載の方法。
【請求項5】
前記ボイス命令は、前記操作対象を生成することを指示するために使用され、前記操作対象は、第１エンドポイント及び第２エンドポイントを有し、前記タッチスクリーン上で前記ボイス命令の操作対象の位置情報を決定することは、前記第１タッチ操作の接触点の位置情報に基づき前記タッチスクリーン上での前記第１エンドポイントの位置情報を決定することと、
前記第２タッチ操作の接触点の位置情報に基づき前記タッチスクリーン上での前記第２エンドポイントの位置情報を決定することと
を有する、
請求項１に記載の方法。
【請求項6】
前記操作対象は、次の、直線、線セグメント、破線、曲線、又は多角形、のうちの少なくとも１つを有する、請求項５に記載の方法。
【請求項7】
前記タッチスクリーン上での前記操作対象の前記位置情報に基づき前記ボイス命令を実行することは、前記タッチスクリーン上での前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行することを有する、
請求項１に記載の方法。
【請求項8】
前記タッチスクリーン上での前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行することは、前記ボイス命令が、円を生成することを指示するために使用されるとき、前記第１タッチ操作及び前記第２タッチ操作の前記タッチ開始時の前記連続に基づき前記円を生成することを有し、
前記円の中心の位置は、前記第１タッチ操作の接触点の位置に基づき決定され、前記円の円周内の点の位置は、前記第２タッチ操作の接触点の位置に基づき決定され、前記第１タッチ操作のタッチ開始時は、前記第２タッチ操作のタッチ開始時より先又は後である、
請求項７に記載の方法。
【請求項9】
前記タッチスクリーン上での前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行することは、前記ボイス命令が、一方向矢印を持った線を生成することを指示するために使用されるとき、前記第１タッチ操作及び前記第２タッチ操作の前記タッチ開始時の前記連続に基づき前記一方向矢印を持った線を生成することを有し、
前記線の矢印によって指し示されるエンドポイントの位置は、前記第１タッチ操作の接触点の位置に基づき決定され、前記線の前記矢印によって指し示されないエンドポイントの位置は、前記第２タッチ操作の接触点の位置に基づき決定され、前記第１タッチ操作のタッチ開始時は、前記第２タッチ操作のタッチ開始時よりも先又は後である、
請求項７に記載の方法。
【請求項10】
コンピュータデバイスに適用されるヒューマンコンピュータインタラクション方法であって、第１接触点の位置情報及び第２接触点の位置情報を取得することであり、前記第１接触点は、第１タッチ操作に基づく接触点であり、前記第２接触点は、第２タッチ操作に基づく接触点であり、前記第１タッチ操作のタッチ期間及び前記第２タッチ操作のタッチ期間は重なり合う、ことと、
ボイス命令を受けることであり、前記ボイス命令は、前記第１タッチ操作及び前記第２タッチ操作の重なり合っているタッチ期間内に受け取られるボイス命令である、ことと、
前記取得する動作に応答して、前記ボイス命令の操作対象の位置情報を決定することと、
前記操作対象の前記位置情報に基づき前記ボイス命令を実行することと
を有する方法。
【請求項11】
前記ボイス命令の操作対象の位置情報を決定することは、前記ボイス命令の操作エリアを決定することを有し、前記操作対象は前記操作エリアに含まれ、
前記操作対象の前記位置情報に基づき前記ボイス命令を実行することは、
前記操作エリアにおいて前記ボイス命令を実行することを有する、
請求項１０に記載の方法。
【請求項12】
前記操作エリアにおいて前記ボイス命令を実行することは、前記ボイス命令が、対象を選択することを指示するために使用されるとき、前記操作エリア内の対象を選択すること、
前記ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、前記操作エリア内の対象の属性情報を前記ターゲット属性情報に変更すること、
前記ボイス命令が、対象を削除することを指示するために使用されるとき、前記操作エリア内の対象を削除すること、又は
前記ボイス命令が、対象を生成することを指示するために使用されるとき、前記操作エリア内で対象を生成すること
を有する、
請求項１１に記載の方法。
【請求項13】
前記ボイス命令は、前記操作対象を生成することを指示するために使用され、前記操作対象は、第１エンドポイント及び第２エンドポイントを有し、前記ボイス命令の操作対象の位置情報を決定することは、前記第１接触点の位置情報に基づき前記第１エンドポイントの位置情報を決定することと、
前記第２接触点の位置情報に基づき前記第２エンドポイントの位置情報を決定することと
を有する、
請求項１０に記載の方法。
【請求項14】
前記操作対象の前記位置情報に基づき前記ボイス命令を実行することは、前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行することを有する、
請求項１０に記載の方法。
【請求項15】
前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行することは、前記ボイス命令が、円を生成することを指示するために使用されるとき、前記第１タッチ操作及び前記第２タッチ操作の前記タッチ開始時の前記連続に基づき前記円を生成することを有し、
前記円の中心の位置は、前記第１タッチ操作の接触点の位置に基づき決定され、前記円の円周内の点の位置は、前記第２タッチ操作の接触点の位置に基づき決定され、前記第１タッチ操作のタッチ開始時は、前記第２タッチ操作のタッチ開始時より先又は後である、
請求項１４に記載の方法。
【請求項16】
前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行することは、前記ボイス命令が、一方向矢印を持った線を生成することを指示するために使用されるとき、前記第１タッチ操作及び前記第２タッチ操作の前記タッチ開始時の前記連続に基づき前記一方向矢印を持った線を生成することを有し、
前記線の矢印によって指し示されるエンドポイントの位置は、前記第１タッチ操作の接触点の位置に基づき決定され、前記線の前記矢印によって指し示されないエンドポイントの位置は、前記第２タッチ操作の接触点の位置に基づき決定され、前記第１タッチ操作のタッチ開始時は、前記第２タッチ操作のタッチ開始時よりも先又は後である、
請求項１４に記載の方法。
【請求項17】
ヒューマンコンピュータインタラクションシステムであって、タッチスクリーン及びプロセッサを有し、
前記タッチスクリーンは、第１タッチ操作及び第２タッチ操作を受けるよう構成され、前記第１タッチ操作のタッチ期間及び前記第２タッチ操作のタッチ期間は重なり合い、
前記プロセッサは、ボイス命令を受けるよう構成され、前記ボイス命令は、前記第１タッチ操作及び前記第２タッチ操作の重なり合っているタッチ期間内で受け取られるボイス命令であり、
前記プロセッサは、前記第１タッチ操作及び前記第２タッチ操作に応答して、前記タッチスクリーン上で前記ボイス命令の操作対象の位置情報を決定し、前記タッチスクリーン上での前記操作対象の前記位置情報に基づき前記ボイス命令を実行するよう更に構成される、
ヒューマンコンピュータインタラクションシステム。
【請求項18】
前記プロセッサは、前記ボイス命令の操作エリアを決定し、前記操作エリアにおいて前記ボイス命令を実行するよう特に構成され、前記操作エリアは前記タッチスクリーン上のエリアであり、前記操作対象は前記操作エリアに含まれる、
請求項１７に記載のシステム。
【請求項19】
前記プロセッサは、前記ボイス命令が、対象を選択することを指示するために使用されるとき、前記操作エリア内の対象を選択するよう、
前記ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、前記操作エリア内の対象の属性情報を前記ターゲット属性情報に変更するよう、
前記ボイス命令が、対象を削除することを指示するために使用されるとき、前記操作エリア内の対象を削除するよう、又は
前記ボイス命令が、対象を生成することを指示するために使用されるとき、前記操作エリア内で対象を生成するよう
特に構成される、
請求項１８に記載のシステム。
【請求項20】
前記システムは、表示スクリーンを更に有し、前記表示スクリーンは、前記操作エリアを表示するよう構成される、
請求項１８又は１９に記載のシステム。
【請求項21】
前記ボイス命令は、前記操作対象を生成することを指示するために使用され、前記操作対象は、第１エンドポイント及び第２エンドポイントを有し、前記プロセッサは、前記第１タッチ操作の接触点の位置情報に基づき前記タッチスクリーン上での前記第１エンドポイントの位置情報を決定し、前記第２タッチ操作の接触点の位置情報に基づき前記タッチスクリーン上での前記第２エンドポイントの位置情報を決定するよう更に構成される、
請求項１７に記載のシステム。
【請求項22】
前記操作対象は、次の、直線、線セグメント、破線、曲線、又は多角形、のうちの少なくとも１つを有する、請求項２１に記載のシステム。
【請求項23】
前記プロセッサは、前記タッチスクリーン上での前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行するよう特に構成される、請求項１７に記載のシステム。
【請求項24】
前記プロセッサは、前記ボイス命令が、円を生成することを指示するために使用されるとき、前記第１タッチ操作及び前記第２タッチ操作の前記タッチ開始時の前記連続に基づき前記円を生成するよう特に構成され、前記円の中心の位置は、前記第１タッチ操作の接触点の位置に基づき決定され、前記円の円周内の点の位置は、前記第２タッチ操作の接触点の位置に基づき決定され、前記第１タッチ操作のタッチ開始時は、前記第２タッチ操作のタッチ開始時より先又は後である、
請求項２３に記載のシステム。
【請求項25】
前記プロセッサは、前記ボイス命令が、一方向矢印を持った線を生成することを指示するために使用されるとき、前記第１タッチ操作及び前記第２タッチ操作の前記タッチ開始時の前記連続に基づき前記一方向矢印を持った線を生成するよう特に構成され、前記線の矢印によって指し示されるエンドポイントの位置は、前記第１タッチ操作の接触点の位置に基づき決定され、前記線の前記矢印によって指し示されないエンドポイントの位置は、前記第２タッチ操作の接触点の位置に基づき決定され、前記第１タッチ操作のタッチ開始時は、前記第２タッチ操作のタッチ開始時よりも先又は後である、
請求項２３に記載のシステム。
【請求項26】
コンピュータデバイスであって、取得ユニット、受信ユニット、決定ユニット、及び実行ユニットを有し、
前記取得ユニットは、第１接触点の位置情報及び第２接触点の位置情報を取得するよう構成され、前記第１接触点は、第１タッチ操作に基づく接触点であり、前記第２接触点は、第２タッチ操作に基づく接触点であり、前記第１タッチ操作のタッチ期間及び前記第２タッチ操作のタッチ期間は重なり合い、
前記受信ユニットは、ボイス命令を受けるよう構成され、前記ボイス命令は、前記第１タッチ操作及び前記第２タッチ操作の重なり合っているタッチ期間内に受け取られるボイス命令であり、
前記決定ユニットは、前記取得ユニットの操作の取得動作に応答して、前記ボイス命令の操作対象の位置情報を決定するよう構成され、
前記実行ユニットは、前記決定ユニットによって決定される前記操作対象の前記位置情報に基づき前記ボイス命令を実行するよう構成される、
コンピュータデバイス。
【請求項27】
前記決定ユニットは、前記ボイス命令の操作エリアを決定するよう特に構成され、前記操作対象は前記操作エリアに含まれ、前記実行ユニットは、前記決定ユニットによって決定された前記操作エリアにおいて前記ボイス命令を実行するよう特に構成される、
請求項２６に記載のコンピュータデバイス。
【請求項28】
前記実行ユニットは、前記ボイス命令が、対象を選択することを指示するために使用されるとき、前記操作エリア内の対象を選択するよう、
前記ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、前記操作エリア内の対象の属性情報を前記ターゲット属性情報に変更するよう、
前記ボイス命令が、対象を削除することを指示するために使用されるとき、前記操作エリア内の対象を削除するよう、又は
前記ボイス命令が、対象を生成することを指示するために使用されるとき、前記操作エリア内で対象を生成するよう
特に構成される、
請求項２６に記載のコンピュータデバイス。
【請求項29】
前記ボイス命令は、前記操作対象を生成することを指示するために使用され、前記操作対象は、第１エンドポイント及び第２エンドポイントを有し、前記決定ユニットは、前記第１接触点の位置情報に基づき前記第１エンドポイントの位置情報を決定し、前記第２接触点の位置情報に基づき前記第２エンドポイントの位置情報を決定するよう特に構成される、
請求項２６に記載のコンピュータデバイス。
【請求項30】
前記実行ユニットは、前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行するよう特に構成される、請求項２６に記載のコンピュータデバイス。
【請求項31】
前記実行ユニットは、前記ボイス命令が、円を生成することを指示するために使用されるとき、前記第１タッチ操作及び前記第２タッチ操作の前記タッチ開始時の前記連続に基づき前記円を生成するよう特に構成され、前記円の中心の位置は、前記第１タッチ操作の接触点の位置に基づき決定され、前記円の円周内の点の位置は、前記第２タッチ操作の接触点の位置に基づき決定され、前記第１タッチ操作のタッチ開始時は、前記第２タッチ操作のタッチ開始時より先又は後である、
請求項３０に記載のコンピュータデバイス。
【請求項32】
前記実行ユニットは、前記ボイス命令が、一方向矢印を持った線を生成することを指示するために使用されるとき、前記第１タッチ操作及び前記第２タッチ操作の前記タッチ開始時の前記連続に基づき前記一方向矢印を持った線を生成するよう特に構成され、前記線の矢印によって指し示されるエンドポイントの位置は、前記第１タッチ操作の接触点の位置に基づき決定され、前記線の前記矢印によって指し示されないエンドポイントの位置は、前記第２タッチ操作の接触点の位置に基づき決定され、前記第１タッチ操作のタッチ開始時は、前記第２タッチ操作のタッチ開始時よりも先又は後である、
請求項３０に記載のコンピュータデバイス。
【請求項33】
メモリ及び１つ以上のプロセッサを有し、前記メモリが前記プロセッサ結合されるコンピュータデバイスであって、前記メモリは、コンピュータプログラムコードを記憶するよう構成され、前記コンピュータプログラムコードは、コンピュータ命令を有し、前記コンピュータ命令が当該コンピュータデバイスによって実行されるとき、当該コンピュータデバイスは、請求項１０乃至１６のうちいずれか一項に記載のヒューマンコンピュータインタラクション方法を実行することを可能にされる、
コンピュータデバイス。
【請求項34】
チップシステムであって、当該チップシステムは、ヒューマンコンピュータインタラクションシステムに適用され、当該チップシステムは、１つ以上のインターフェース回路及び１つ以上のプロセッサを有し、
前記インターフェース回路及び前記プロセッサは、ラインを通じて相互接続され、前記インターフェース回路は、前記ヒューマンコンピュータインタラクションシステムのメモリから信号を受信し、該信号を前記プロセッサへ送信するよう構成され、前記信号は、前記メモリに記憶されているコンピュータ命令を含み、前記プロセッサが前記コンピュータ命令を実行するとき、前記ヒューマンコンピュータインタラクションシステムは、請求項１乃至９のうちいずれか一項に記載のヒューマンコンピュータインタラクション方法を実行する、
チップシステム。
【請求項35】
チップシステムであって、当該チップシステムは、コンピュータデバイスに適用され、当該チップシステムは、１つ以上のインターフェース回路及び１つ以上のプロセッサを有し、
前記インターフェース回路及び前記プロセッサは、ラインを通じて相互接続され、前記インターフェース回路は、前記コンピュータデバイスのメモリから信号を受信し、該信号を前記プロセッサへ送信するよう構成され、前記信号は、前記メモリに記憶されているコンピュータ命令を含み、前記プロセッサが前記コンピュータ命令を実行するとき、前記コンピュータデバイスは、請求項１０乃至１６のうちいずれか一項に記載のヒューマンコンピュータインタラクション方法を実行する、
チップシステム。
【請求項36】
コンピュータ命令を有し、該コンピュータ命令がヒューマンコンピュータインタラクションシステムで実行されるとき、該ヒューマンコンピュータインタラクションシステムは、請求項１乃至９のうちいずれか一項に記載のヒューマンコンピュータインタラクション方法を実装することを可能にされる、コンピュータ可読記憶媒体。
【請求項37】
コンピュータ命令を有し、該コンピュータ命令がコンピュータデバイスで実行されるとき、該コンピュータデバイスは、請求項１０乃至１６のうちいずれか一項に記載のヒューマンコンピュータインタラクション方法を実装することを可能にされる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、ヒューマンコンピュータインタラクション技術の分野に、特に、ヒューマンコンピュータインタラクション方法、装置、及びシステムに関係がある。
【背景技術】
【0002】
ヒューマンコンピュータインタラクション（human computer interaction，ＨＣＩ；又はhuman machine interaction，ＨＭＩ）は、システムとユーザとの間の双方向的な関係を研究するための知識である。ここでのシステムは、様々なマシン、又はコンピュータ化されたシステム及びコンピュータ化されたソフトウェアを指し得る。一般に、マルチモーダル（modality）のヒューマンコンピュータインタラクションは、複数の感覚を組み込むヒューマンコンピュータインタラクションを指す。マルチモダリティインタラクションは、テキストの方法、音声の方法、資格の方法、動作の方法、及び環境の方法などの複数の方法でヒューマンコンピュータインタラクションを実行することを含む。ユーザ経験を向上させるようどのようにマルチモダリティのヒューマンコンピュータインタラクションを実装すべきか至急解決される必要がある技術的課題である。
【発明の概要】
【0003】
本願で提供されるヒューマンコンピュータインタラクション方法、装置、及びシステムは、マルチモダリティのヒューマンコンピュータインタラクションを実装してユーザ経験を向上させるのに役立つ。
【0004】
目的を達成するために、本願は、以下の技術的解決法を提供する。
【0005】
第１の態様に従って、本願は、ヒューマンコンピュータインタラクション方法を提供する。ヒューマンコンピュータインタラクション方法はヒューマンコンピュータインタラクションシステムに適用され、ヒューマンコンピュータインタラクションシステムはタッチスクリーンを含む。方法は、重なり合っているタッチ期間を有している第１タッチ操作及び第２タッチ操作を受けることと、ボイス命令を受けることであり、ボイス命令は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間内で受け取られるボイス命令である、ことと、第１タッチ操作及び第２タッチ操作に応答して、タッチスクリーン上でボイス命令の操作対象の位置情報を決定することと、タッチスクリーン上での操作対象の決定された位置情報に基づきボイス命令を実行することとを含む。この技術的解決法では、一方では、実行されるべきボイス命令（つまり、当該ボイス命令）は、マルチポイントタッチの重なり合っているタッチ期間に基づき決定される。このようにして、「起動ワードがヒューマンコンピュータインタラクションシステムを起動するために頻繁に使用される必要があり、それにより、実行されるべきボイス命令が起動ヒューマンコンピュータインタラクションシステムに基づき決定され得る」ところの先行技術の解決法と比較して、この技術的解決法では、システムを起動するために起動ワードを頻繁に使用する必要がない。他方では、タッチスクリーン上での実行されるべきボイス命令の操作対象の位置情報は、マルチポイントタッチに基づき決定される。このようにして、大画面シナリオで、大画面上での長距離スライディングの問題は軽減され得る。これは、ヒューマンコンピュータインタラクションプロセスでのユーザ経験を向上させるのに役立つ。
【0006】
第１の態様を参照して、可能な設計において、第１タッチ操作の接触点と第２タッチ操作の接触点との間の距離は、前もってセットされた閾値以上である。言い換えると、本願で提供されるヒューマンコンピュータインタラクション方法は、大画面シナリオに適用され得る。複数のタッチ操作が、ボイス監視命令をトリガするために大画面シナリオで使用され、それにより、大画面上での長距離スライディングの問題は、有効に軽減され得、ヒューマンコンピュータインタラクションプロセスでのユーザ経験は、向上され得る。
【0007】
第１の態様を参照して、他の可能な設計において、「タッチスクリーン上でボイス命令の操作対象の位置情報を決定すること」は、タッチスクリーン上でボイス命令の操作エリアを決定することを含んでもよく、操作対象は操作エリアに含まれる。この場合に、「タッチスクリーン上での操作対象の決定された位置情報に基づきボイス命令を実行すること」は、受け取られたボイス命令の内容に基づきタッチスクリーン上で操作エリアを決定し、その操作エリアにおいてボイス命令を実行することを含んでもよい。
【0008】
第１の態様を参照して、他の可能な設計において、「操作エリアにおいてボイス命令を実行すること」は、ボイス命令が、対象を選択することを指示するために使用されるとき、操作エリア内の対象を選択すること、ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、操作エリア内の対象の属性情報を前記ターゲット属性情報に変更すること、ボイス命令が、対象を削除することを指示するために使用されるとき、操作エリア内の対象を削除すること、又はボイス命令が、対象を生成することを指示するために使用されるとき、操作エリア内で対象を生成することを含んでもよい。この可能な設計は、ヒューマンコンピュータインタラクションシステムがボイス命令を実行するいくつかの例を提供する。
【0009】
第１の態様を参照して、他の可能な設計において、ヒューマンコンピュータインタラクション方法は、ヒューマンコンピュータインタラクションシステムが更に、決定された操作エリアをタッチスクリーン上で表示することを更に含んでもよい。このようにして、操作エリアはタッチスクリーン上で表示され、それにより、ヒューマンコンピュータインタラクションシステムがボイス命令を実行するプロセスは視覚化され、ユーザ経験は向上する。
【0010】
第１の態様を参照して、他の可能な設計において、ボイス命令が、第１エンドポイント及び第２エンドポイントを含む操作対象を生成することを指示するために使用される場合に、「タッチスクリーン上でボイス命令の操作対象の位置情報を決定すること」は、第１タッチ操作の接触点の位置情報に基づきタッチスクリーン上での第１エンドポイントの位置情報を決定することと、第２タッチ操作の接触点の位置情報に基づきタッチスクリーン上での第２エンドポイントの位置情報を決定することとを含んでもよい。この実施において、タッチ操作の接触点の位置情報は、ボイス命令に従って生成される操作対象の位置を決定するために使用され得る。言い換えると、タッチ操作の接触点の位置情報は、ボイス命令のパラメータとして使用され得る。
【0011】
第１の態様を参照して、他の可能な設計において、操作対象は、次の、直線、線セグメント、破線、曲線、又は多角形、のうちの少なくとも１つを含む。言い換えると、本願のヒューマンコンピュータインタラクションシステムは、方法に従って、第１エンドポイント及び第２エンドポイントを含む操作対象、例えば、直線、線セグメント、破線、曲線、多角形を生成し得る。
【0012】
第１の態様を参照して、他の可能な設計において、「タッチスクリーン上での操作対象の決定された位置情報に基づきボイス命令を実行すること」は、タッチスクリーン上での操作対象の位置情報と、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続とに基づき、ボイス命令を実行することを含んでもよい。この実施において、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続は、ボイス命令のパラメータとして使用され得る。
【0013】
第１の態様を参照して、他の可能な設計において、「タッチスクリーン上での操作対象の位置情報と、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続とに基づき、ボイス命令を実行すること」は、ボイス命令が、円を生成することを指示するために使用されるとき、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続に基づき円を生成することを含んでもよい。円の中心の位置は、第１タッチ操作の接触点の位置に基づき決定され、円の円周内の点の位置は、第２タッチ操作の接触点の位置に基づき決定される。第１タッチ操作のタッチ開始時は、第２タッチ操作のタッチ開始時より先又は後である。この実施において、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続は、円を生成するためのボイス命令のパラメータとして使用される。
【0014】
第１の態様を参照して、他の可能な設計において、「タッチスクリーン上での操作対象の位置情報と、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続とに基づき、ボイス命令を実行すること」は、ボイス命令が、一方向矢印を持った線を生成することを指示するために使用されるとき、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続に基づき、一方向矢印を持った線を生成することを含んでもよい。ここで、線の矢印によって指し示されるエンドポイントの位置は、第１タッチ操作の接触点の位置に基づき決定され、線の矢印によって指し示されないエンドポイントの位置は、第２タッチ操作の接触点の位置に基づき決定される。第１タッチ操作のタッチ開始時は、第２タッチ操作のタッチ開始時よりも先又は後である。この実施において、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続は、一方向矢印を持った線を生成するためのボイス命令のパラメータとして使用される。
【0015】
第２の態様に従って、本願は、ヒューマンコンピュータインタラクション方法を提供し、ヒューマンコンピュータインタラクション方法は、コンピュータデバイスに適用される。ヒューマンコンピュータインタラクション方法は、第１タッチ操作に基づく第１接触点の位置情報及び第２タッチ操作に基づく第２接触点の位置情報を取得することであり、第１タッチ操作及び第２タッチ操作は重なり合っているタッチ期間を有する、ことと、ボイス命令を受けることであり、ボイス命令は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間内に受け取られるボイス命令である、ことと、取得する動作に応答して、ボイス命令の操作対象の位置情報を決定することであり、操作対象の位置情報は、ヒューマンコンピュータインタラクションシステムのタッチスクリーン上での操作対象の位置情報であり、タッチスクリーンはコンピュータデバイスに組み込まれても、又はコンピュータデバイスとは別個に配置されてもよい、ことと、操作対象の位置情報に基づきボイス命令を実行することとを含む。
【0016】
第２の態様を参照して、可能な実施において、第１タッチ操作の接触点と第２タッチ操作の接触点との間の距離は、前もってセットされた閾値以上である。
【0017】
第２の態様を参照して、他の可能な設計において、「ボイス命令の操作対象の位置情報を決定すること」は、ボイス命令の操作エリアを決定することを含み、操作対象は操作エリアに含まれる。この場合に、「操作対象の位置情報に基づきボイス命令を実行すること」は、操作エリアにおいてボイス命令を実行することを含む。
【0018】
第２の態様を参照して、他の可能な設計において、「操作エリアにおいてボイス命令を実行すること」は、ボイス命令が、対象を選択することを指示するために使用されるとき、操作エリア内の対象を選択すること、ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、操作エリア内の対象の属性情報を前記ターゲット属性情報に変更すること、ボイス命令が、対象を削除することを指示するために使用されるとき、操作エリア内の対象を削除すること、又はボイス命令が、対象を生成することを指示するために使用されるとき、操作エリア内で対象を生成することを含む。
【0019】
第２の態様を参照して、他の可能な設計において、ボイス命令が、第１エンドポイント及び第２エンドポイントを含む操作対象を生成することを指示するために使用される場合に、「ボイス命令の操作対象の位置情報を決定すること」は、第１タッチ操作の接触点の位置情報に基づきタッチスクリーン上での第１エンドポイントの位置情報を決定することと、第２タッチ操作の接触点の位置情報に基づきタッチスクリーン上での第２エンドポイントの位置情報を決定することとを含む。
【0020】
第２の態様を参照して、他の可能な設計において、操作対象は、次の、直線、線セグメント、破線、曲線、又は多角形、のうちの少なくとも１つを含む。
【0021】
第２の態様を参照して、他の可能な設計において、「操作対象の位置情報に基づきボイス命令を実行すること」は、タッチスクリーン上での操作対象の位置情報と、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続とに基づき、ボイス命令を実行することを含む。
【0022】
第２の態様を参照して、他の可能な設計において、「タッチスクリーン上での操作対象の位置情報と、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続とに基づき、ボイス命令を実行すること」は、ボイス命令が、円を生成することを指示するために使用されるとき、コンピュータデバイスが、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続に基づき円を生成することを含む。円の中心の位置は、第１タッチ操作の接触点の位置に基づき決定され、円の円周内の点の位置は、第２タッチ操作の接触点の位置に基づき決定される。第１タッチ操作のタッチ開始時は、第２タッチ操作のタッチ開始時より先又は後である。
【0023】
第２の態様を参照して、他の可能な設計において、「タッチスクリーン上での操作対象の位置情報と、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続とに基づき、ボイス命令を実行すること」は、ボイス命令が、一方向矢印を持った線を生成することを指示するために使用されるとき、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続に基づき、一方向矢印を持った線を生成することを含む。ここで、線の矢印によって指し示されるエンドポイントの位置は、第１タッチ操作の接触点の位置に基づき決定され、線の前記矢印によって指し示されないエンドポイントの位置は、第２タッチ操作の接触点の位置に基づき決定される。第１タッチ操作のタッチ開始時は、第２タッチ操作のタッチ開始時よりも先又は後である。
【0024】
第２の態様及び第２の態様の可能な設計のうちのいずれか１つで提供される技術的解決法の関連する内容の説明及び有利な効果の記載については、第１の態様又は第１の態様の対応する設計で提供される技術的解決法を参照されたい。詳細は、ここで再び記載されない。
【0025】
第３の態様に従って、本願は、ヒューマンコンピュータインタラクション方法を提供する。ヒューマンコンピュータインタラクション方法はヒューマンコンピュータインタラクションシステムに適用され、ヒューマンコンピュータインタラクションシステムはタッチスクリーンを含む。ヒューマンコンピュータインタラクション方法は、重なり合っているタッチ期間を有している第１タッチ操作及び第２タッチ操作を受けることと、ボイス命令を受け取ることであり、ボイス命令は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間内に受け取られるボイス命令である、ことと、第１タッチ操作及び第２タッチ操作に応答してボイス命令を実行することとを含む。この技術的解決法では、実行されるべきボイス命令（つまり、当該ボイス命令）は、マルチポイントタッチの重なり合っているタッチ期間に基づき決定される。このようにして、「起動ワードがヒューマンコンピュータインタラクションシステムを起動するために頻繁に使用される必要があり、それにより、実行されるべきボイス命令が起動ヒューマンコンピュータインタラクションシステムに基づき決定され得る」ところの先行技術の解決法と比較して、この技術的解決法では、システムを起動するために起動ワードを頻繁に使用する必要がない。これは、ヒューマンコンピュータインタラクションプロセスでのユーザ経験を向上させるのに役立つ。加えて、実行されるべきボイス命令（例えば、シングルポイントタッチのタッチ開始時から始まる前もってセットされた期間内に受け取られるボイス命令が、実行されるべきボイス命令として使用される）がシングルポイントタッチ及び前もってセットされた時間に基づき決定されるところの先行技術と比較して、この技術的解決法は、ユーザ経験を向上させるよう、実行されるべきボイス命令が受け取られる時点を柔軟に制御するのに役立つ。
【0026】
第３の態様を参照して、可能な設計において、第１タッチ操作の接触点と第２タッチ操作の接触点との間の距離は、前もってセットされた閾値以上である。
【0027】
第４の態様に従って、本願は、ヒューマンコンピュータインタラクション方法を提供する。ヒューマンコンピュータインタラクション方法はヒューマンコンピュータインタラクションシステムに適用され、ヒューマンコンピュータインタラクションシステムはタッチスクリーンを含む。ヒューマンコンピュータインタラクション方法は、第１タッチ操作及び第２タッチ操作を受けることと、ボイス命令を受けることであり、ボイス命令は、第１タッチ操作のタッチ開始期間又は第２タッチ操作のタッチ開始期間に基づき決定される、ことと、第１タッチ操作及び第２タッチ操作に応答して、タッチスクリーン上でボイス命令の操作対象の位置情報を決定することと、タッチスクリーン上での操作対象の位置情報に基づきボイス命令を実行することとを含む。この技術的解決法で、タッチスクリーン上での実行されるべきボイス命令の操作対象の位置情報は、マルチポイントタッチに基づき決定される。このようにして、大画面シナリオにおいて、大画面上での長距離スライディングの問題は軽減され得る。これは、ヒューマンコンピュータインタラクションプロセスでのユーザ経験を向上させるのに役立つ。
【0028】
第４の態様を参照して、可能な設計において、ボイス命令は、ターゲットタッチ操作のタッチ開始時から始まる前もってセットされた期間内に受け取られるボイス命令である。実施において、ターゲットタッチ操作は、タッチ開始時が第１タッチ操作及び第２タッチ操作のタッチ開始時よりも先であるタッチ操作である。他の実施においては、ターゲットタッチ操作は、タッチ開始時が第１タッチ操作及び第２タッチ操作のタッチ開始時よりも後であるタッチ操作である。言い換えると、ボイス命令のボイス処理時間窓は、シングルポイントタッチ操作に基づき決定され得る。
【0029】
第４の態様を参照して、他の可能な設計において、第１タッチ操作の接触点と第２タッチ操作の接触点との間の距離は、前もってセットされた閾値以上である。
【0030】
第４の態様を参照して、他の可能な設計において、「タッチスクリーン上でボイス命令の操作対象の位置情報を決定すること」は、タッチスクリーン上でボイス命令の操作エリアを決定することを含んでもよく、操作対象は操作エリアに含まれる。この場合に、「タッチスクリーン上での操作対象の位置情報に基づきボイス命令を実行すること」は、ボイス命令の内容に基づきタッチスクリーン上で操作エリアを決定することと、その操作エリアにおいてボイス命令を実行することとを含んでもよい。
【0031】
第４の態様の他の可能な設計で提供される技術的解決法と、提供される技術的解決法の関連する内容の説明及び有利な効果の記載とについては、第１の態様又は第１の態様の対応する可能な設計で提供される技術的解決法を参照されたい。詳細は、ここで再び記載されない。
【0032】
第５の態様に従って、本願は、ヒューマンコンピュータインタラクションシステムを提供する。ヒューマンコンピュータインタラクションシステムは、第１の態様、第３の態様、又は第４の態様で提供されるいずれかの方法を実行するよう構成され得る。ヒューマンコンピュータインタラクションシステムは、タッチスクリーン及びプロセッサを含み得る。
【0033】
可能な設計において、タッチスクリーンは、第１タッチ操作及び第２タッチ操作を受けるよう構成され、第１タッチ操作のタッチ期間及び第２タッチ操作のタッチ期間は重なり合う。プロセッサは、ボイス命令を受けるよう構成され、ボイス命令は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間内で受け取られるボイス命令である。プロセッサは、第１タッチ操作及び第２タッチ操作に応答して、タッチスクリーン上でボイス命令の操作対象の位置情報を決定するよう更に構成される。プロセッサは、タッチスクリーン上での操作対象の位置情報に基づきボイス命令を実行するよう更に構成される。
【0034】
他の可能な設計において、プロセッサは、重なり合っているタッチ期間を有している第１タッチ操作及び第２タッチ操作を受け、かつ、ボイス命令を受けるよう構成される。ボイス命令は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間内に受け取られるボイス命令である。プロセッサは、第１タッチ操作及び第２タッチ操作に応答してボイス命令を実行するよう更に構成される。
【0035】
他の可能な設計において、プロセッサは、ターゲットタッチ操作のタッチ開始時から始まる前もってセットされた期間内にボイス命令を受けるよう構成される。実施において、ターゲットタッチ操作は、タッチ開始時が第１タッチ操作及び第２タッチ操作のタッチ開始時よりも先であるタッチ操作である。他の実施においては、ターゲットタッチ操作は、タッチ開始時が第１タッチ操作及び第２タッチ操作のタッチ開始時よりも後であるタッチ操作である。言い換えると、ボイス命令のボイス処理時間窓は、シングルポイントタッチ操作に基づき決定され得る。
【0036】
他の可能な設計において、ヒューマンコンピュータインタラクションシステムは、ボイスコレクタを更に含む。
【0037】
実施において、ボイスコレクタは、リアルタイムでボイス命令を収集し、収集されたボイス命令をプロセッサへ送るよう構成される。他の実施においては、ボイスコレクタは、ボイス命令を収集し送るよう、プロセッサと情報を交換する。例えば、ボイスコレクタは、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間の開始時に第１命令を送るよう構成される。第１命令は、ボイス命令を収集始めるようボイスコレクタに指示するために使用される。プロセッサは、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間の終了時にボイスコレクタへ第２命令を送るよう構成される。第２命令は、ボイス命令を収集するのを止めるようボイスコレクタに指示するために使用される。
【0038】
第５の態様において、プロセッサ及びタッチスクリーンによって実行される他の可能な技術的解決法及び有利な効果の記載については、第１の態様又は第１の態様の対応する可能な設計で提供される技術的解決法を参照されたい。詳細は、ここで再び記載されない。
【0039】
第６の態様に従って、本願はコンピュータデバイスを提供する。コンピュータデバイスは、第２の態様で提供されるいずれかの方法を実行するよう構成され得る。この場合に、コンピュータデバイスは具体的に、プロセッサ、又はプロセッサを含むデバイスであってよい。
【0040】
可能な設計において、装置は、第２の態様で提供されるいずれかの方法に基づき機能モジュールに分割され得る。例えば、各機能モジュールは、対応する機能に基づく分割を通じて取得されてもよく、あるいは、少なくとも２つの機能が１つの処理モジュールに一体化されてもよい。
【0041】
他の可能な設計において、コンピュータデバイスは、メモリ及び１つ以上のプロセッサを含む。メモリはプロセッサへ結合される。メモリは、コンピュータプログラムコードを記憶するよう構成され、コンピュータプログラムコードはコンピュータ命令を含む。コンピュータ命令がコンピュータデバイスによって実行される場合に、コンピュータデバイスは、第２の態様及び第２の態様の可能な設計のうちのいずれか１つに従うヒューマンコンピュータインタラクション方法を実行することを可能にされる。
【0042】
第７の態様に従って、本願はチップシステムを提供し、チップシステムはヒューマンコンピュータインタラクションシステムに適用される。チップシステムは、１つ以上のインターフェース回路及び１つ以上のプロセッサを含む。
【0043】
インターフェース回路及びプロセッサは、ラインを通じて相互接続される。インターフェース回路は、ヒューマンコンピュータインタラクションシステムのメモリから信号を受信し、信号をプロセッサへ送信するよう構成され、信号は、メモリに記憶されているコンピュータ命令を含む。プロセッサがコンピュータ命令を実行するとき、ヒューマンコンピュータインタラクションシステムは、第１の態様、第３の態様、又は第４の態様で提供されるいずれかの可能な設計に従うヒューマンコンピュータインタラクション方法を実行する。
【0044】
第８の態様に従って、本願はチップシステムを提供し、チップシステムはコンピュータデバイスに適用される。チップシステムは、１つ以上のインターフェース回路及び１つ以上のプロセッサを含む。
【0045】
インターフェース回路及びプロセッサは、ラインを通じて相互接続される。インターフェース回路は、コンピュータデバイスのメモリから信号を受信し、信号をプロセッサへ送信するよう構成され、信号は、メモリに記憶されているコンピュータ命令を含む。プロセッサがコンピュータ命令を実行するとき、コンピュータデバイスは、第２の態様及び第２の態様の可能な設計のうちのいずれか１つに従うヒューマンコンピュータインタラクション方法を実行する。
【0046】
第９の態様に従って、本願は、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体はコンピュータ命令を含む。コンピュータ命令がヒューマンコンピュータインタラクションシステムで実行されるとき、ヒューマンコンピュータインタラクションシステムは、第１の態様、第３の態様、又は第４の態様で提供されるいずれかの可能な設計に従うヒューマンコンピュータインタラクション方法を実装することを可能にされる。
【0047】
第１０の態様に従って、本願は、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体はコンピュータ命令を含む。コンピュータ命令がコンピュータデバイスで実行されるとき、コンピュータデバイスは、第２の態様及び第２の態様の可能な設計のうちのいずれか１つに従うヒューマンコンピュータインタラクション方法を実装することを可能にされる。
【0048】
第１１の態様に従って、本願は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がヒューマンコンピュータインタラクションシステムで実行されるとき、ヒューマンコンピュータインタラクションシステムは、第１の態様、第３の態様、又は第４の態様で提供されるいずれかの可能な設計に従うヒューマンコンピュータインタラクション方法を実装することを可能にされる。
【0049】
第１２の態様に従って、本願は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータデバイスで実行されるとき、コンピュータデバイスは、第２の態様及び第２の態様の可能な設計のうちのいずれか１つに従うヒューマンコンピュータインタラクション方法を実装することを可能にされる。
【0050】
本願での第２の態様乃至第１２の態様及び第２の態様乃至第１２の態様の実施の詳細な説明については、第１の態様及び第１の態様の実施の詳細な説明を参照されたい。加えて、第２の態様乃至第１２の態様及び第２に態様乃至第１２の態様の実施の有利な効果については、第１の態様及び第１の態様の実施の有利な効果の分析を参照されたい。詳細は、ここで再び記載されない。
【0051】
本願で、ヒューマンコンピュータインタラクションシステムの名称は、デバイス又は機能モジュールに対する制限を構成するものではない。実際の実施において、これらのデバイス及び機能モジュールは他の名称を有することがある。デバイス又は機能モジュールの機能が本願のそれらと同様であるという条件で、デバイス又は機能モジュールは、本願の特許請求の範囲及びそれらの同等の技術の範囲内に入る。
【0052】
本願のこれらの態様及び他の態様は、以下の説明ではより簡潔でかつ理解しやすい。
【図面の簡単な説明】
【0053】
【図1】本願の実施形態に従うヒューマンコンピュータインタラクションシステムのハードウェアの構造図である。
【図4】本願の実施形態に従うヒューマンコンピュータインタラクション方法の略フローチャート１である。
【図13】本願の実施形態に従うヒューマンコンピュータインタラクション方法の略フローチャート２である。
【図14】本願の実施形態に従うヒューマンコンピュータインタラクション方法の略フローチャート３である。
【図15】本願の実施形態に従うヒューマンコンピュータインタラクション方法の略フローチャート４である。
【図16】本願の実施形態に従うコンピュータデバイスの略構造図である。
【図17】本願の実施形態に従うチップシステムの略構造図である。
【図18】本願の実施形態に従うコンピュータプログラム製品の略構造図である。
【発明を実施するための形態】
【0054】
本願の実施形態で、「例」又は「例えば」との語は、例、実例、又は記載を与えることを表すために使用される。本願の実施形態で「例」又は「例えば」として記載されている如何なる実施形態又は設計スキームも、他の実施形態又は設計スキームよりも好ましいもの又はより多くの利点を有するものとして説明されるべきではない。まさに、「例」又は「例えば」との語の使用は、関係がある概念を具体的に提示するよう意図される。
【0055】
本願の実施形態における「第１」及び「第２」との用語は、単に記載のためであり、示されている技術的特徴の相対的な重要性の指示若しくは暗示又は数量の暗黙的な指示として理解されるべきではない。従って、「第１」又は「第２」によって限定されている特徴は、１つ以上の特徴を明示的又は暗黙的に含む可能性がある。本願の実施形態の記載において、別段述べられない限りは、「複数の～」は２つ又は２つよりも多くを意味する。
【0056】
本願の実施形態は、ヒューマンコンピュータインタラクション方法、装置、及びシステムを提供する。実施形態において、ヒューマンコンピュータインタラクションシステムによって受け取られる第１タッチ操作のタッチ期間及び第２タッチ操作のタッチ期間は、重なり合う。重なり合っているタッチ期間において、ヒューマンコンピュータインタラクションシステムはボイス監視命令を実行する。次いで、ヒューマンコンピュータインタラクションシステムは、ボイス命令の指示と、第１タッチ操作の位置情報及び第２タッチ操作の位置情報とに基づき、ボイス命令を実行する。本願の実施形態で提供されるヒューマンコンピュータインタラクション方法に従って、ヒューマンコンピュータインタラクションは、２つのモード、つまり、タッチ操作及びボイス監視で実行される。これは、ヒューマンコンピュータインタラクションプロセスでのユーザ経験を向上させる。
【0057】
ヒューマンコンピュータインタラクション方法は、デバイスにインストールされているアプリケーションプログラム、例えば、ヒューマンコンピュータインタラクションプログラム、を使用することによって、実装されてもよい。
【0058】
アプリケーションプログラムは、デバイスにインストールされている埋め込みアプリケーションプログラム（つまり、デバイスのシステムアプリケーション）であってよく、あるいは、ダウンロード可能なアプリケーションプログラムであってもよい。埋め込みアプリケーションプログラムは、デバイス（例えば、携帯電話機）の部分として提供されるアプリケーションプログラムである。ダウンロード可能なアプリケーションプログラムは、ダウンロード可能なアプリケーションプログラムのインターネットプロトコル・マルチメディア・サブシステム（internet protocol multimedia subsystem，ＩＭＳ）接続を提供し得るアプリケーションプログラムである。ダウンロード可能なアプリケーションプログラムは、デバイスに予めインストールされているアプリケーション、又はユーザによってダウンロードされてデバイスにインストールされるサードパーティアプリケーションであってよい。
【0059】
図１は、本願の実施形態に従うヒューマンコンピュータインタラクションシステムのハードウェア構造を示す。図１に示されるように、ヒューマンコンピュータインタラクションシステム１０は、プロセッサ１１、メモリ１２、タッチスクリーン１３、及びボイスコレクタ１４を含む。プロセッサ１１、メモリ１２、タッチスクリーン１３、及びボイスコレクタ１４は、１つのデバイスに組み込まれてよく、あるいは、異なるデバイスに別々に組み込まれてもよい。
【0060】
以下は、プロセッサ１１、メモリ１２、タッチスクリーン１３、及びボイスコレクタ１４が１つのデバイスに組み込まれている例を使用することによって、ヒューマンコンピュータインタラクションシステム１０のハードウェア構造について記載する。プロセッサ１１、メモリ１２、タッチスクリーン１３、及びボイスコレクタ１４が１つのデバイスに組み込まれているとき、ヒューマンコンピュータインタラクションシステム１０は更に、バス１５を含む。プロセッサ１１、メモリ１２、タッチスクリーン１３、及びボイスコレクタ１４は、バス１５を通じて接続されている。
【0061】
プロセッサ１１は、ヒューマンコンピュータインタラクションシステム１０の制御センタであり、汎用の中央演算処理装置（central processing unit，ＣＰＵ）、他の汎用プロセッサ、などであってよい。汎用プロセッサはマイクロプロセッサ、あらゆる従来のプロセッサ、などであってよい。
【0062】
例において、プロセッサ１１は、１つ以上のＣＰＵ、例えば、図１に示されるＣＰＵ０及びＣＰＵ１を含み得る。
【0063】
メモリ１２は、リード・オンリー・メモリ（read-only memory，ＲＯＭ）又は静的な情報及び命令を記憶することが可能な他のタイプの静的記憶デバイスや、ランダム・アクセス・メモリ（random access memory，ＲＡＭ）又は情報及び命令を記憶することが可能な他のタイプの動的記憶デバイスであってよく、あるいは、電気的に消去可能なプログラム可能リード・オンリー・メモリ（electrically erasable programmable read-only memory，ＥＥＰＲＯＭ）、磁気ディスク記憶媒体若しくは他の磁気記憶デバイス、又は期待されるプログラムコードを命令若しくはデータ構造の形で搬送若しくは記憶することが可能であって、コンピュータによってアクセス可能であるあらゆる他の媒体であってもよいが、これらに限られない。
【0064】
可能な実施において、メモリ１２は、プロセッサ１１から独立し得る。メモリ１２は、バス１５を通じてプロセッサ１１へ接続されてもよく、データ、命令、又はプログラムコードを記憶するよう構成される。メモリ１２に記憶されている命令又はプログラムコードを呼び出して実行するとき、プロセッサ１１は、本願の実施形態で提供されるヒューマンコンピュータインタラクション方法を実装することができる。
【0065】
他の可能な実施においては、メモリ１２は、代替的に、プロセッサ１１と一体化されてもよい。
【0066】
タッチスクリーン１３は、タッチパッド１３１及び表示スクリーン１３２を具体的に含み得る。
【0067】
タッチパッド１３１は、タッチパッド１３１で又はその近くでユーザによって行われたタッチイベント（例えば、何らかの適切な物体、例えば、指又はスタイラスを使用することによってタッチパッドで又はタッチパッドの近くでユーザによって行われた操作）を集め、集められたタッチ情報を他のコンポーネント（例えば、プロセッサ１１）へ送ってよい。タッチパッドの近くでユーザによって行われたタッチイベントは、フローティングタッチと呼ばれることがある。フローティングタッチは、ユーザが対象（例えば、アイコン）を選択、移動、又はドラッグするためにタッチパッドに直接に触れる必要がなく、代わりに、ユーザは、所望の機能を実行するためにデバイスの近くでありさえすればよいことを意味し得る。加えて、タッチパッドは、抵抗型、容量型、赤外線型、及び弾性表面波型などの複数のタイプで実装され得る。
【0068】
表示スクリーン１３２は、ユーザによって入力された情報又はユーザに提供される情報を表示するよう構成され得る。表示スクリーン１３２は、液晶表示画面、有機発光ダイオード、などの形で構成され得る。タッチパッド１３１は、表示スクリーン１３２を覆ってよい。タッチパッド１３１で又はその近くでタッチイベントを検出した後、タッチパッド１３１は、タッチイベントのタイプを決定するためにプロセッサ１１へタッチイベントを転送する。プロセッサ１１は、タッチイベントのタイプに基づき、対応する視覚出力を表示スクリーン１３２で提供し得る。
【0069】
ボイスコレクタ１４は、ボイス信号を受信し、ボイス信号を電気信号に変換し、電子信号を処理のために他のコンポーネント（例えば、プロセッサ１１）へ送信するよう構成される。ボイスコレクタは、「マイク」、「音声伝達デバイス」、などとも呼ばれるマイクロホンであってよい。
【0070】
バス１５は、産業標準アーキテクチャ（industry standard architecture，ＩＳＡ）バス、ペリフェラル・コンポーネント・インターコネクト（peripheral component interconnect，ＰＣＩ）バス、拡張産業標準アーキテクチャ（extended industry standard architecture，ＥＩＳＡ）バス、などであってよい。バスは、アドレスバス、データバス、制御バス、などに分類され得る。表示を簡単にするために、１つの太線しかが図１ではバスを表すために使用されていないが、これは、ただ１つのバス又はただ１種類のバスしか存在しないことを意味するものではない。
【0071】
図１に示される構造は、ヒューマンコンピュータインタラクションシステム１０に対する限定を構成しないことが留意されるべきである。図１に示されるコンポーネントに加えて、ヒューマンコンピュータインタラクションシステム１０は、図示されているものよりも多い又は少ないコンポーネントを含んでも、いくつかのコンポーネントを組み合わせても、あるいは、異なるコンポーネント配置を有してもよい。
【0072】
プロセッサ１１、メモリ１２、タッチスクリーン１３、及びボイスコレクタ１４が１つのデバイスに組み込まれているとき、ヒューマンコンピュータインタラクションシステム１０は、デバイス、例えば、電子ホワイトボード、スマートフォン、タッチスクリーンを備えたノートブックコンピュータ、タッチスクリーンを備えたコンピュータ、タブレット、ネットブック、又は車載デバイスであってよい。例えば、図２に示されるように、プロセッサ１１、メモリ１２、タッチスクリーン１３、及びボイスコレクタ１４は電子ホワイトボード２０に組み込まれる。この場合に、ヒューマンコンピュータインタラクションアプリケーションプログラムは、電子ホワイトボード２０で実行され得る。任意に、ヒューマンコンピュータインタラクションシステム１０は更に、スタイラス２１を含んでもよく、スタイラス２１は、電子ホワイトボード２０のタッチスクリーン１３でタッチ操作を入力するよう構成される。
【0073】
プロセッサ１１、メモリ１２、タッチスクリーン１３、及びボイスコレクタ１４が異なるデバイスに別々に組み込まれているとき、ヒューマンコンピュータインタラクションシステム１０は、本願の実施形態で提供されるヒューマンコンピュータインタラクション方法を実行するよう、複数のデバイスを含み得る。例えば、図３に示されるヒューマンコンピュータインタラクションシステム１０は、電子ホワイトボード２０、コンピュータ３２、及びプロジェクタ３３を含み得る。任意に、ヒューマンコンピュータインタラクションシステム１０は、スタイラス２１を更に含んでもよく、スタイラス２１は、電子ホワイトボード２０のタッチスクリーン１３でタッチ操作を入力するよう構成される。プロセッサ１１は、コンピュータ３２のプロセッサであってよい。メモリ１２は、コンピュータ３２のメモリであってよい。プロセッサ１１及びメモリ１２は、バス１５を通じて接続されている。この場合に、ヒューマンコンピュータインタラクションアプリケーションプログラムはコンピュータ３２で実行され得る。加えて、タッチスクリーン１３は、電子ホワイトボード２０のタッチスクリーンであってよい。ボイスコレクタ１４は、電子ホワイトボード２０に組み込まれ得る。代替的に、ボイスコレクタ１４は、コンピュータ３２、プロジェクタ３３、又はスタイラス２１に組み込まれてもよい。これは、本願のこの実施形態で限定されない。
【0074】
本願のこの実施形態で提供されるヒューマンコンピュータインタラクションシステム１０の上記の説明は、記載のための例にすぎず、この実施形態に対する限定を構成しないことが理解され得る。本願の実施形態で提供されるヒューマンコンピュータインタラクション方法を実装することができる如何なるデバイス又はデバイスの組み合わせも、本願の実施形態の保護範囲に入るべきであることが理解され得る。
【0075】
以上は、添付の図面を参照して、本願の実施形態で提供されるヒューマンコンピュータインタラクション方法について記載する。
【0076】
図４は、本願の実施形態に従うヒューマンコンピュータインタラクション方法の略フローチャートである。ヒューマンコンピュータインタラクション方法は次のステップを含む。
【0077】
Ｓ４０１：タッチスクリーンは、第１タッチ操作及び第２タッチ操作を受け取り、第１接触点の位置情報及び第２接触点の位置情報を決定する。
【0078】
第１タッチ操作及び第２タッチ操作は、指又はスタイラスを使用することによってタッチスクリーンに対してユーザによって実行されたタッチ操作であり得る。第１タッチ操作及び第２タッチ操作は夫々、固有のタッチ期間を有している。タッチスクリーンは、第１タッチ操作及び第２タッチ操作を同時に受け取っても、あるいは、第１タッチ操作及び第２タッチ操作を異なる時点で受け取ってもよい。
【0079】
第１接触点は、第１タッチ操作とタッチスクリーンとの間の接触点である。第２接触点は、第２タッチ操作とタッチスクリーンとの間の接触点である。接触点の位置情報は、タッチスクリーンでの接触点の位置を表すために使用される。接触点の位置情報の具体的な内容は、本願のこの実施形態で制限されない。例えば、接触点の位置情報は、タッチスクリーン上での接触点の座標であってよい。例えば、図５は、タッチスクリーン５０が第１タッチ操作を受け取った後に決定された第１接触点Ａの座標（ｘ１，ｙ１）と、タッチスクリーン５０が第２タッチ操作を受け取った後に決定された第２接触点Ｂの座標（ｘ２，ｙ２）とを示す。
【0080】
任意に、第１接触点と第２接触点との間の距離は、前もってセットされた閾値以上であり得る。言い換えると、本願のこの実施形態では、２つの接触点の間の距離が比較的に大きいシナリオ（例えば、大画面シナリオ）がサポートされている。これは、大画面シナリオでの片手操作の高い困難性の問題を解決するのに役立つ。前もってセットされた閾値は、実際の場合に基づきセットされ得る。これは、本願のこの実施形態で特に限定されない。任意に、タッチスクリーンのサイズ（つまり、タッチスクリーンの長辺のサイズ及び／又は短辺のサイズ）は閾値よりも大きい。言い換えると、大画面シナリオが、本願のこの実施形態でサポートされている。
【0081】
任意に、第１タッチ操作を受け取った後、タッチスクリーンは更に、第１接触点グループの位置情報を決定してもよい。同様に、第２タッチ操作を受け取った後、タッチスクリーンは更に、第２接触点グループの位置情報を決定してもよい。ここで、１つの接触点グループ内の如何なる２つのセッション点の間の距離も、前もってセットされた距離以下である。タッチ操作に対応する接触点位置は、接触点グループを使用することによって示される。これは、ユーザがタッチ操作を実行するときのユーザの誤操作を有効に回避することができる。例えば、手のひらがタッチスクリーンに接触する。前もってセットされた距離は、実際の場合に基づきヒューマンコンピュータインタラクションシステムによってセットされ得る。これは、本願のこの実施形態で特に限定されない。
【0082】
本願のこの実施形態の以下の記載では、タッチスクリーンが第１タッチ操作に基づく第１接触点の位置情報を決定し、また、第２タッチ操作に基づく第２接触点の位置情報を決定する例が、説明のために使用される。
【0083】
Ｓ４０２：タッチスクリーンは、第１接触点の位置情報及び第２接触点の位置情報をプロセッサへ送る。
【0084】
具体的に、タッチスクリーンは、周期的に又はトリガ方式で又はリアルタイム方式で、接触点の決定された位置情報をプロセッサへ送信し得る。例えば、タッチスクリーンは、各周期でデータの１フレームをプロセッサへ送信し得る。データのフレームは、周期内で決定されたタッチ操作の接触点の位置情報を含み、例えば、周期内の第１接触点の位置情報及び第２接触点の位置情報を含む。
【0085】
Ｓ４０３：プロセッサは、第１タッチ操作及び第２タッチ操作に応答してボイス処理時間窓を決定する。
【0086】
具体的に、プロセッサは、次の方法のいずれか１つでボイス処理時間窓を決定し得る。
【0087】
方法１：プロセッサは、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間に基づき、前もってセットされたルールに従って、ボイス処理時間窓を決定し得る。前もってセットされたルールは、重なり合っているタッチ期間がボイス処理時間窓であることを示してよく、あるいは、前もってセットされたルールは、重なり合っているタッチ期間の開始時点から前もってセットされた期間後の時点から、重なり合っているタッチ期間の終了時点までがボイス処理時間窓であることを示してもよい。
【0088】
言い換えると、ボイス処理時間窓は、重なり合っているタッチ期間に含まれ、重なり合っているタッチ期間の終了時点は、プロセッサがボイス処理時間窓を終了する時点である。言い換えると、ボイス処理時間窓は、重なり合っているタッチ期間に等しくなるか、あるいは、ボイス処理時間窓の期間は、重なり合っているタッチ期間よりも短い。
【0089】
例えば、図６は、第１タッチ操作のタッチ期間と、第２タッチ操作のタッチ期間と、ボイス処理時間窓との間の関係の概略図である。図６に示されるように、第１接触点に対応する第１タッチ操作のタッチ期間はＬ１であり、第２接触点に対応する第２タッチ操作のタッチ期間はＬ２であり、ボイス処理時間窓の期間は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間Ｌである。
【0090】
方法２：プロセッサは、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間の開始時に第１命令をボイスコレクタへ送ってよく、第１命令は、ボイス命令を集め始めるようボイスコレクタに指示するために使用される。加えて、プロセッサは、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間の終了時に第２命令をボイスコレクタへ送り、第２命令は、ボイス命令を集めることを止めるようボイスコレクタに指示するために使用される。この場合に、例において、第１タッチ操作及び第２タッチ操作について、プロセッサは、第１命令がボイスコレクタへ送られる時点から、第２命令がボイスコレクタへ送られる時点までの期間を、ボイス処理時間窓として決定し得る。
【0091】
任意に、方法２では、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間の終了時点が、第１タッチ操作と第３タッチ操作の重なり合っているタッチ期間の開始時点と同じである場合に、プロセッサは、その時点には第１命令及び第２命令をボイスコレクタへ送らなくてもよい。
【0092】
任意に、プロセッサは、第１接触点を追跡することによって第１タッチ操作のタッチ期間を決定し得る。プロセッサは、第２接触点を追跡することによって第２タッチ操作のタッチ期間を決定し得る。具体的な接触点追跡プロセスについては、Ｓ１３１からＳ１３６、及びＳ１４１からＳ１４４の以下の記載を参照されたい。
【0093】
Ｓ４０４：ボイスコレクタは、ボイス命令を集め、ボイス命令をプロセッサへ送る。
【0094】
実施において、ボイスコレクタは、リアルタイムでボイス命令を集め、ボイス命令をプロセッサへ送る。ボイス収集方法は、Ｓ４０３での方法１に対応する。
【0095】
他の実施においては、ボイスコレクタは、プロセッサから受け取られた第１命令に従ってボイス命令を集め、集められたボイス命令をプロセッサへ送る。ボイスコレクタは更に、プロセッサから受け取られた第２命令に従って、ボイス命令を集めることを止める。ボイス収集方法は、Ｓ４０３での方法２に対応する。
【0096】
ボイス命令は、ユーザ又はデバイスによって送られた、又はボイスコレクタによって集められたボイス命令であってよい。
【0097】
ボイス命令の内容は、「対象を選択すること」、「対象を変更すること」、「対象を削除すること」、「対象を生成すること」、などを含み得る。
【0098】
例えば、「対象を選択すること」とのボイス命令は、「テキストを選択すること」を含んでよく、「対象を変更すること」とのボイス命令は、「テキスト色を太字にすること」を含んでよく、「対象を削除すること」とのボイス命令は、「ピクチャを削除すること」を含んでよく、「対象を生成すること」とのボイス命令は、「３行２列の表を作成すること」、「円を生成すること」、などを含んでよい。
【0099】
ボイスコレクタがリアルタイムでボイス命令を集め、ボイス命令をプロセッサへ送るプロセスと、Ｓ４０１からＳ４０３での上記のプロセスとは、２つの独立した並列なプロセスであり、２つのプロセスの実行に時系列の制限はないことが理解され得る。
【0100】
Ｓ４０５：プロセッサは、第１タッチ操作及び第２タッチ操作に応答して、タッチスクリーン上で、ボイス処理時間窓において受け取られたボイス命令の操作対象の位置情報を決定する。
【0101】
プロセッサは、ボイス処理時間窓において１つ以上のボイス命令を受け取り得る。
【0102】
任意に、プロセッサによって受け取られたボイス命令がボイス処理時間窓内にない場合には、プロセッサは、そのボイス命令を捨てるか、あるいは、そのボイス命令を無効であるとセットし得る。
【0103】
ボイス処理時間窓において、プロセッサは１つ以上のボイス命令を受け取って、１つ以上のボイス命令を実行してもよいことが理解され得る。実施において、１つのボイス命令は、複数のボイス処理時間窓にわたることはできない。
【0104】
例えば、第１ボイス処理時間窓の終了点は、第２ボイス処理時間窓の開始点である。プロセッサが第１ボイス処理時間窓においてボイス命令の一部の内容を受け取り、第２ボイス処理時間窓においてボイス命令の残りの内容を受け取るとき、プロセッサはそのボイス命令を実行しない。
【0105】
他の例として、第１接触点及び第２接触点に対応するボイス処理時間窓は、第１ボイス処理時間窓であり、第１接触点及び第３接触点に対応するボイス処理時間窓は、第３ボイス処理時間窓である。ここで、第１ボイス処理時間窓及び第３ボイス処理時間窓は、共存せず、あるいは、第１ボイス処理時間窓の終了点は、第３ボイス処理時間窓の開始点であり、あるいは、第１ボイス処理時間窓の開始点は、第３ボイス処理時間窓の終了点である。プロセッサが第１ボイス処理時間窓においてボイス命令の一部の内容を受け取り、第３ボイス処理時間窓においてボイス命令の残りの内容を受け取るとき、プロセッサはそのボイス命令を実行しない。
【0106】
具体的に、プロセッサは、以下で記載される方法１又は方法２で、タッチスクリーン上でボイス命令の操作対象の位置情報を決定し得る。ここで、操作対象は、ボイス命令に含まれる対象であってよく、あるいは、ボイス命令で示される操作対象であってもよい。
【0107】
方法１：プロセッサは、第１接触点の位置情報及び第２接触点の位置情報に基づき操作エリアを決定し、操作エリアに基づきタッチスクリーン上でボイス命令の操作対象の位置情報を決定する。操作対象は操作エリアに含まれる。
【0108】
操作対象は、全体的に操作エリアに含まれ得るか、あるいは、部分的に操作エリアに含まれ得る。本願のこの実施形態では、操作対象が全体的に操作エリアに含まれる例が、説明のために使用される。
【0109】
例えば、操作対象は、「テキストを選択すること」とのボイス命令におけるテキストオブジェクト、又は「テキスト色を太字にすること」とのボイス命令におけるテキストオブジェクト、又は「ピクチャを削除すること」とのボイス命令におけるピクチャオブジェクト、又は「３行２列の表を作成すること」とのボイス命令における表オブジェクトであってよい。
【0110】
任意に、第１接触点の位置情報及び第２接触点の位置情報に基づき、プロセッサは、円形の操作エリアを取得するよう、第１接触点と第２接触点との間の接続線を半径として使用することによって円を生成するか、あるいは、第１接触点と第２接触点との間の接続線を直径として使用することによって円を生成し得る。
【0111】
【0112】
任意に、第１接触点の位置情報及び第２接触点の位置情報に基づき、プロセッサは、第１接触点と第２接触点との間の接続線を対角線として使用することによって、長方形又は正多角形の操作エリアを取得し得る。代替的に、第１接触点の位置情報及び第２接触点の位置情報に基づき、プロセッサは、第１接触点と第２接触点との間の接続線を辺として使用することによって、正多角形又はひし形の操作エリアを取得し得る。ここで、第１接触点と第２接触点との間の接続線に対する正多角形又はひし形の操作エリアの相対位置、及びひし形の内角の角度の両方が、前もってセットされたルールに従ってプロセッサによって指定され得る。これは、本願のこの実施形態で限定されない。
【0113】
【0114】
第１接触点の位置情報及び第２接触点の位置情報に基づき操作エリアを決定する上記の方法は、記載のための例にすぎず、本願のこの実施形態の保護範囲に対する限定を構成ないことが理解され得る。
【0115】
任意に、プロセッサは更に、決定された操作エリアに基づき、操作エリアを表示するよう表示スクリーンに指示してもよい。
【0116】
任意に、表示スクリーンは、フレームの形で操作エリアを表示し得る。操作エリアのフレームは、図７又は図８で示されている黒色の破線フレームであってよく、あるいは、他の色の破線フレームであってもよく、あるいは、黒色の実線フレーム又は他の色の実線フレームであってもよい。これは、本願のこの実施形態で限定されない。
【0117】
任意に、表示スクリーンは、代替的に、操作エリアの背景色を変えることによって、操作エリアを表示してもよい。
【0118】
確かに、表示スクリーンは、代替的に、表示スクリーンに現在表示されている背景から操作エリアを区別することができる如何なる方法でも、操作エリアを表示してもよい。これは、本願のこの実施形態で限定されない。
【0119】
方法２：プロセッサは、第１接触点の位置情報及び第２接触点の位置情報に基づき第１エンドポイントの位置情報及び第２エンドポイントの位置情報を決定し、第１エンドポイントの決定された位置情報及び第２エンドポイントの決定された位置情報に基づきタッチスクリーン上でボイス命令の操作対象の位置情報を決定する。
【0120】
第１エンドポイント及び第２エンドポイントは両方とも、操作対象に含まれ、あるいは、操作対象は、第１エンドポイント及び第２エンドポイントを使用することによって構成され得る。操作対象について、第１エンドポイント及び第２エンドポイントの属性は、同じであっても、又は異なってもよい。例えば、ボイス命令は「円を生成すること」である。第１エンドポイント及び第２エンドポイントの両方が操作対象「円」の円周上の点である場合に、第１エンドポイント及び第２エンドポイントの両方ともが操作対象に含まれ、同じ属性を有している。第１エンドポイントが操作対象「円」の中心であり、第２エンドポイントが操作対象「円」の円周上の点である場合に、プロセッサは、第１エンドポイント及び第２エンドポイントを使用することによって操作対象を構成することができ、「円」について、第１エンドポイント及び第２エンドポイントの属性は異なっている。
【0121】
具体的に、プロセッサは、第１接触点及び第２接触点を夫々、第１エンドポイント及び第２エンドポイントとして使用して、第１エンドポイントの位置情報及び第２エンドポイントの位置情報を決定し得る。例えば、プロセッサは、第１接触点を第１エンドポイントとして使用し、第２接触点を第２エンドポイントとして使用する。この場合に、第１エンドポイントの位置情報は、第１接触点の位置情報であり、第２エンドポイントの位置情報は、第２接触点の位置情報である。
【0122】
プロセッサは、代替的に、前もってセットされたルールに従って、第１接触点の位置情報及び第２接触点の位置情報に基づき、第１エンドポイントの位置情報及び第２エンドポイントの位置情報を決定してもよい。前もってセットされたルールは、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続であってよく、あるいは、前もってセットされた距離が第１接触点と第２接触点との間に存在し、かつ、前もってセットされた距離が第１エンドポイントと第２エンドポイントとの間に存在することであってよい。確かに、前もってセットされたルールは、代替的に、他のルールであってもよい。これは、本願のこの実施形態で限定されない。
【0123】
例えば、第１タッチ操作が第２タッチ操作より先である場合に、プロセッサは、第１接触点を第１エンドポイントとして使用し、第２接触点を第２エンドポイントとして使用する。この場合に、第１エンドポイントの位置情報は、第１接触点の位置情報であり、第２エンドポイントの位置情報は、第２接触点の位置情報である。確かに、第１タッチ操作が第２タッチ操作より先である場合に、プロセッサは、第１接触点を第２エンドポイントとして使用し、第２接触点を第１エンドポイントとして使用してもよい。この場合に、第１エンドポイントの位置情報は、第２接触点の位置情報であり、第２エンドポイントの位置情報は、第１接触点の位置情報である。
【0124】
Ｓ４０６：プロセッサは、タッチスクリーン上でのボイス命令の操作対象の位置情報に基づき、ボイス命令を実行する。
【0125】
以下は、プロセッサが種々のボイス命令を実行するシナリオについて記載する。
【0126】
シナリオ１
ボイス処理時間窓においてプロセッサによって受け取られたボイス命令は、操作対象を選択すること、操作対象を削除すること、操作対象の属性情報を変更すること、又は操作対象を生成すること、のうちのいずれか１つを含む。
ボイス処理時間窓においてプロセッサによって受け取られたボイス命令は、操作対象を選択すること、操作対象を削除すること、操作対象の属性情報を変更すること、又は操作対象を生成すること、のうちのいずれか１つを含む。
【0127】
プロセッサは、ボイス命令に従って、Ｓ４０５において方法１で決定された操作エリアにおいてボイス命令を実行する。
【0128】
具体的に、以下は、プロセッサが上記のボイス命令を実行するプロセスについて別々に記載する。
【0129】
（１）ボイス命令が操作対象を選択するために使用される場合に、プロセッサは、操作エリア内で操作対象を選択し、選択結果を表示するように表示スクリーンに指示する。
【0130】
任意に、選択結果が表示スクリーンで表示されることは、選択結果が操作対象のフレームを囲むことによって表示されること、又は選択結果が操作対象の背景色を変えることによって表示されることであってよい。これは、本願で限定されない。
【0131】
例えば、図８を参照して、図９を参照されたい。ボイス命令が「バナナのアイコンを選択すること」である場合に、プロセッサは、ボイス命令に従って操作エリア８０内のバナナのアイコンを選択し、正方形フレーム９０を使用することによって選択結果を表示するように表示スクリーン５０に指示する。
【0132】
（２）ボイス命令が操作対象を削除することを指示するために使用される場合に、プロセッサは、操作エリア内の操作対象を削除し、削除結果を表示するように表示スクリーンに指示する。
【0133】
例えば、図９を参照して、ボイス命令が「リンゴのアイコンを削除すること」である場合に、プロセッサは、ボイス命令に従って操作エリア８０内のリンゴのアイコンを削除し、削除結果を表示するように表示スクリーンに指示する。
【0134】
（３）ボイス命令が操作対象を生成することを指示するために使用される場合に、プロセッサは、指定されたオブジェクトを操作エリア内で生成し、生成されたオブジェクトを表示するように表示スクリーンに指示する。
【0135】
例えば、図９を参照して、ボイス命令が「３行２列の表を作成すること」である場合に、プロセッサは、ボイス命令に従って操作エリア８０内で３行２列の表を作成する。表の行幅及び行高さは、前もってセットされたルールに従ってシステムによって指定されてよく、あるいは、ユーザによってセットされてもよい。これは、本願のこの実施形態で特に限定されない。ここで、作成された表の行高さ及び行幅がユーザによってセットされる場合に、具体的に、プロセッサは、外部音声再生のためのデバイス、例えば、ラウドスピーカを使用することによって、ユーザによって要求される行高さ及び行幅をクエリしてもよく、次いで、ユーザは、プロセッサに答えるよう、マイクロホンを使用することによって音声を入力する。更に、プロセッサは、ユーザの指示に従って表示を作成する。次いで、プロセッサは、作成された表を表示するように表示スクリーンに指示する。
【0136】
（４）ボイス命令が操作対象の属性情報を変更することを指示するために使用される場合に、プロセッサは、操作エリア内の操作対象の属性情報を変更し、属性情報が変更されている操作対象を表示するように表示スクリーンに指示する。
【0137】
例えば、図９を参照して、ボイス命令が「テキストを太字にすること」である場合に、プロセッサは、ボイス命令に従って、操作エリア８０内のテキスト「１０００ｇ」に対して太字加工を実行し、太字のテキストを表示するように表示スクリーンに指示する。
【0138】
確かに、上記のボイス命令は、操作エリア内でヒューマンコンピュータインタラクション装置によって実行されるボイス命令について記載するための例にすぎず、本願のこの実施形態の保護範囲に対する限定を構成しない。
【0139】
シナリオ２
ボイス処理時間窓においてプロセッサによって受け取られたボイス命令は、オブジェクトを生成することを含む。オブジェクトは、２つの点を使用することによって決定され得、２つの点でのオブジェクトの属性は同じである。例えば、オブジェクトは、矢印なしの直線、両方向矢印を持った直線、線セグメント、矢印なしの破線、両方向矢印を持った破線、曲線、円、多角形、などである。ここでの破線は、直角破線であってよい。ここでの円は、既知の線セグメントを直径として使用することによって生成された円である。多角形のタイプは、ひし形、正多角形、などを含んでよい。
ボイス処理時間窓においてプロセッサによって受け取られたボイス命令は、オブジェクトを生成することを含む。オブジェクトは、２つの点を使用することによって決定され得、２つの点でのオブジェクトの属性は同じである。例えば、オブジェクトは、矢印なしの直線、両方向矢印を持った直線、線セグメント、矢印なしの破線、両方向矢印を持った破線、曲線、円、多角形、などである。ここでの破線は、直角破線であってよい。ここでの円は、既知の線セグメントを直径として使用することによって生成された円である。多角形のタイプは、ひし形、正多角形、などを含んでよい。
【0140】
ボイス命令に従って、プロセッサは、第１エンドポイントの位置情報及び第２エンドポイントの位置情報に基づきボイス命令を実行する。本願のこの実施形態の以下の記載では、第１エンドポイントが第１接触点であり、第２エンドポイントがダイに接触点である例が、説明のために使用される。
【0141】
具体的に、以下は、図５を参照して、プロセッサは上記のボイス命令を実行するプロセスについて別々に記載する。
【0142】
（１）ボイス命令が「直線を生成すること」である場合に、プロセッサは、直線を得るよう第１接触点Ａ及び第２接触点Ｂを接続し、直線を表示するように表示スクリーンに指示する。
【0143】
（２）ボイス命令が「両方向矢印を持った直線を生成すること」又は「両方向矢印を持った破線を生成すること」である場合に、プロセッサは、第１接触点Ａ及び第２接触点Ｂを２つのエンドポイントとして使用することによって、両方向矢印を持った直線又は両方向矢印を持った破線を生成し、両方向矢印を持った直線又は両方向矢印を持った破線を表示するように表示スクリーンに指示する。
【0144】
（３）ボイス命令が「線セグメントを生成すること」である場合に、プロセッサは、第１接触点Ａをエンドポイントとして使用し、第２接触点Ｂを他のエンドポイントとして使用することによって、線セグメントを生成し、線セグメントを表示するように表示スクリーンに指示する。
【0145】
（４）ボイス命令が「破線を生成すること」である場合に、プロセッサは、第１接触点Ａをエンドポイントして使用し、第２接触点Ｂを他のエンドポイントとして使用することによって、破線を生成し、破線を表示するように表示スクリーンに指示する。破線の具体的な形状は、前もってセットされたルールに従ってプロセッサによって指定され得る。これは、本願のこの実施形態で限定されない。
【0146】
（５）ボイス命令が「曲線を生成すること」である場合に、プロセッサは、第１接触点Ａをエンドポイントとして使用し、第２接触点Ｂを他のエンドポイントとして使用することによって、曲線を生成し、曲線を表示するように表示スクリーンに指示する。曲線の曲率及び曲げ形状は、前もってセットされたルールに従ってプロセッサによって指定され得る。これは、本願のこの実施形態で限定されない。
【0147】
（６）ボイス命令が「直径を使用することによって円を生成すること」である場合に、プロセッサは、第１接触点Ａと第２接触点Ｂとの間の接続線を直径として使用することによって円を生成し、円を表示するように表示スクリーンに指示する。
【0148】
（７）ボイス命令が「ひし形を生成すること」である場合に、プロセッサは、第１接続点Ａと第２接続点Ｂとの間の接続線をひし形の辺として使用することによってひし形を生成し、ひし形を表示するように表示スクリーンに指示する。ひし形に対する第１接触点Ａと第２接触点Ｂとの間の接続線の相対位置、及びひし形の内角の角度は、前もってセットされたルールに従ってプロセッサによって指定され得る。これは、本願のこの実施形態で限定されない。代替的に、プロセッサは、第１接触点Ａと第２接触点Ｂとの間の接続線をひし形の対角線として使用することによってひし形を生成し、ひし形を表示するように表示スクリーンに指示する。この場合に、ひし形の他の対角線の長さは、前もってセットされたルールに従ってプロセッサによって指定され得る。これは、本願のこの実施形態で限定されない。
【0149】
例えば、図１０を参照すると、ボイス命令は、「対角線を使用することによってひし形を生成すること」であり、プロセッサによって指定される前もってセットされたルールは、未知の対角線長さが既知の対角線長さの１／２であることであってよい。図１０に示されるように、プロセッサは、受け取られたボイス命令に従って、１つの対角線が接触点Ａと接触点Ｂとの間の接続線ＡＢであり、他の対角線が（ＡＢ）／２であるひし形１０１を生成し、表示スクリーン１００でひし形１０１を表示する。
【0150】
（８）ボイス命令が「正多角形を生成すること」である場合に、プロセッサは、第１接触点Ａと第２接触点Ｂとの間の接続線を正多角形の対角線として使用することによって正多角形を生成し、多角形を表示するように表示スクリーンに指示する。代替的に、プロセッサは、第１接触点Ａと第２接触点Ｂとの間の接続線を正多角形の辺として使用することによって正多角形を生成し、多角形を表示するように表示スクリーンに指示する。正多角形に対する第１接触点Ａと第２接触点Ｂとの間の接続線の相対位置は、前もってセットされたルールに従ってプロセッサによって指定され得る。これは、本願のこの実施形態で限定されない。
【0151】
確かに、上記のボイス命令は、操作エリアにおいてヒューマンコンピュータインタラクション装置によって実行されるボイス命令について記載するための例にすぎず、本願のこの実施形態の保護範囲に対する限定を構成しない。
【0152】
シナリオ３
ボイス処理時間窓においてプロセッサによって受け取られたボイス命令は、オブジェクトを生成するために使用される。オブジェクトは、２つの点を使用することによって決定され得、２つの点でのオブジェクトの属性は異なる。例えば、オブジェクトは、放射線、一方向矢印を持った線、円、などである。
ボイス処理時間窓においてプロセッサによって受け取られたボイス命令は、オブジェクトを生成するために使用される。オブジェクトは、２つの点を使用することによって決定され得、２つの点でのオブジェクトの属性は異なる。例えば、オブジェクトは、放射線、一方向矢印を持った線、円、などである。
【0153】
２つの点でのオブジェクトの属性は異なるので、プロセッサは、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続に基づきオブジェクトを生成（例えば、円、又は一方向矢印を持った線を生成）し得る。確かに、本願のこの実施形態はそれに限定されない。
【0154】
円が生成されるとき、円の中心の位置は、第１タッチ操作の接触点の位置に基づき決定されてよく、円の円周内の点の位置は、第２タッチ操作の接触点の位置に基づき決定されてよい。一方向矢印を持った線が生成されるとき、線の矢印によって指し示されるエンドポイントの位置は、第１タッチ操作の接触点の位置に基づき決定されてよく、線の矢印によって指し示されないエンドポイントの位置は、第２タッチ操作の接触点の位置に基づき決定されてよい。ここで、第１タッチ操作のタッチ開始時は、第２タッチ操作のタッチ開始時よりも先又は後である。
【0155】
従って、プロセッサは、ボイス命令に従って、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続に基づき、第１エンドポイントの位置情報及び第２エンドポイントの位置情報を決定し、そして、ボイス命令を実行する。本願のこの実施形態の以下の記載では、第１タッチ操作が第２タッチ操作よりも先であり、プロセッサが第１接触点を第１エンドポイントとして使用し、第２接触点を第２エンドポイントとして使用する例が、説明のために使用される。
【0156】
具体的に、以下は、プロセッサが上記のボイス命令を実行するプロセスについて別々に記載する。
【0157】
（１）ボイス命令が「放射線を生成すること」である場合に、プロセッサは、第１エンドポイントを放射線のエンドポイントとして使用することによって、第２エンドポイントを通る放射線を生成し、放射線を表示するように表示スクリーンに指示し得る。確かに、放射線のエンドポイントは、代替的に、第２エンドポイントであってもよい。この場合に、光線は更に、第１エンドポイントを通る。
【0158】
（２）ボイス命令が「一方向矢印を持った線を生成すること」である場合に，プロセッサは、第１エンドポイントを、一方向矢印を持った線の矢印頂点として使用し、第２エンドポイントを、矢印から離れた側にある、一方向矢印を持った線のエンドポイントとして使用することによって、一方向矢印を持った線を生成し、一方向矢印を持った線を表示するように表示スクリーンに指示し得る。確かに、一方向矢印を持った線の矢印頂点は、代替的に、第２エンドポイントであってもよい。この場合に、第１エンドポイントは、矢印から離れた側にある、一方向矢印を持った線のエンドポイントである。
【0159】
（３）ボイス命令が「半径を使用することによって円を生成すること」である場合に、プロセッサは、第１エンドポイントと第２エンドポイントとの間の接続線を半径として使用することによって円を生成し、円を表示するように表示スクリーンに指示し得る。プロセッサが、第１エンドポイントを円の中心として使用することによって円を生成する場合に、第２エンドポイントは円周上の点である。プロセッサが、第２エンドポイントを円の中心として使用することによって円を生成する場合に、第１エンドポイントは円の円周上の点である。
【0160】
例えば、図１１を参照して、ボイス監視窓においてプロセッサによって受け取られたボイス命令が「半径を使用することによって円を生成すること」である場合に、この場合には、図１１に示されるように、ヒューマンコンピュータインタラクション装置は、接触点Ａを第１エンドポイントして決定し、接触点Ｂを第２エンドポイントとして決定する。プロセッサは、ボイス命令に従って、第１エンドポイントと第２エンドポイントとの間の接続線を半径として使用し、第２エンドポイントを円の中心として使用することによって円を生成して、円１１１を取得し、そして、円１１１を表示するように表示スクリーン１１０に指示する。この場合に、第１エンドポイントは、円１１１の円周上の点である。
【0161】
以下は、プロセッサが接触点を追跡するプロセスについて記載する。
【0162】
図１２（ａ）は、現在のフレームの前のフレームにおいてプロセッサによって受け取られている第１接触点（接触点Ａとマークされる）及び第２接触点（接触点Ｂとしてマークされる）の位置情報を示す。Ａの座標は（ｘａ，ｙａ）であり、Ｂの座標は（ｘｂ、ｙｂ）である。加えて、プロセッサは、接触点ＡにＩＤａを割り当て、接触点ＢにＩＤｂを割り当てる。図１２（ｂ）は、現在のフレームにおいてプロセッサによって受け取られた接触点Ｃを示す。Ｃの座標は（ｘｃ，ｙｃ）である。
【0163】
ここで、現在のフレームの前のフレームは、現時点の前の時点で又は現在の周期の前の周期内にプロセッサによって受け取られたフレームである。現在のフレームは、現時点で又は現在の周期内にプロセッサによって受け取られたフレームである。
【0164】
具体的に、プロセッサが接触点を追跡するプロセスは、現在のフレーム内の接触点にＩＤを割り当てるプロセスと、現在のフレーム内の接触点のＩＤに基づき、現在のフレームの前のフレーム内の接触点がなくなっていることを決定するプロセスとを含み得る。
【0165】
図１３は、プロセッサによって現在のフレーム内の接触点にＩＤを割り当てることの略フローチャートである。
【0166】
Ｓ１３１：プロセッサは、接触点Ａと接触点Ｃとの間の距離Ｄ１、及び接触点Ｂと接触点Ｃとの間の距離Ｄ２を、接触点Ａの位置情報、接触点Ｂの位置情報、及び接触点Ｃの位置情報に基づき決定する。
【0167】
具体的に、プロセッサは、前のフレーム内にある接触点Ａの位置情報及び接触点Ｂの位置情報と、現在のフレーム内の接触点Ｃの位置情報とに基づき、接触点Ａと接触点Ｃとの間の距離Ｄ１、及び接触点Ｂと接触点Ｃとの間の距離Ｄ２を決定する。
【0168】
Ｓ１３２：プロセッサは、Ｄ１が閾値以下であるかどうかを決定する。
【0169】
ここで、閾値は、プロセッサによって前もってセットされてよく、閾値の値は、実際の場合に基づきセットされてよい。これは、本願のこの実施形態で特に限定されない。
【0170】
Ｄ１が閾値以下である場合には、Ｓ１３３が実行される。Ｄ１が閾値よりも大きい場合には、Ｓ１３４が実行される。
【0171】
実際のアプリケーションでは、タッチ誤操作が存在する場合がある。例えば、手のひらがタッチスクリーンに接触したり、あるいは、指又はスタイラスがタッチスクリーンをタッチする過程で滑ったりする。この場合に、現在のフレーム内の接触点と現在のフレームの前のフレーム内の接触点との間の距離は、通常は比較的に小さい。本願のこの実施形態では、閾値がセットされ、現在のフレームにおいて誤操作により生成される接触点と、その接触点からの距離が閾値以下である、現在のフレームの前のフレーム内の接触点とは、同じ接触点座標追跡シーケンスとして決定される。接触点座標追跡シーケンスは、１つのＩＤを共有し、１つのタッチ操作に対応する。これは、誤操作によって引き起こされる「タッチ操作に従って決定されたボイス処理時間窓」の偶発的な開始又は終了の発生を減らすのに役立つ。
【0172】
Ｓ１３３：プロセッサは、接触点ＡのＩＤを接触点Ｃに割り当てる。
【0173】
プロセッサは、接触点ＡのＩＤを接触点Ｃに割り当てる、つまり、接触点ＣのＩＤはＩＤａである。この場合に、接触点Ａ及び接触点Ｃは、同じ接触点座標追跡シーケンスに属し、接触点座標追跡シーケンスのＩＤは、ＩＤａである。この場合に、接触点Ｃは第１接触点として使用される。
【0174】
Ｓ１３３が実行された後、現在のフレーム内の接触点にＩＤを割り当てるプロセスは終了する。
【0175】
Ｓ１３４：プロセッサは、Ｄ２が閾値以下であるかどうかを決定する。
【0176】
Ｄ２が閾値以下である場合には、Ｓ１３５が実行される。Ｄ２が閾値よりも大きい場合には、Ｓ１３６が実行される。
【0177】
Ｓ１３５：プロセッサは、接触点ＢのＩＤを接触点Ｃに割り当てる。
【0178】
プロセッサは、接触点ＢのＩＤを接触点Ｃに割り当てる、つまり、接触点ＣのＩＤはＩＤｂである。この場合に、接触点Ｂ及び接触点Ｃは、同じ接触点座標追跡シーケンスに属し、接触点座標追跡シーケンスのＩＤは、ＩＤｂである。この場合に、接触点Ｃは第２接触点として使用される。
【0179】
Ｓ１３５が実行されたと、現在のフレーム内の接触点にＩＤを割り当てるプロセスは終了する。
【0180】
Ｓ１３６：プロセッサは、新しいＩＤを接触点Ｃに割り当てる。
【0181】
プロセッサは、新しいＩＤ、例えば、ＩＤｃを、接触点Ｃに割り当てる。この場合に、それは、接触点Ｃが現在新たに現れている接触点であることを示す。この場合に、接触点Ｃは、第１接触点でも第２接触点でもない。例えば、接触点Ｃは、誤操作によって生成された接触点である可能性があり、あるいは、接触点Ｃが現れる時点は、次の処理時間窓の開始点である可能性がある。
【0182】
例えば、プロセッサは、接触点Ａ（つまり、第１接触点）及び接触点Ｂ（つまり、第２接触点）が現在のフレームに存在することを決定する。この場合に、ユーザが指を使用することによってタッチスクリーンにタッチするとき、新しい接触点Ｃは、手のひらが誤ってタッチスクリーンにタッチしたために生成された、と考えられ得る。この場合に、接触点Ｃは、ユーザの誤操作により生成された接触点である。
【0183】
例えば、プロセッサは、接触点Ａ（つまり、第１接触点）及び接触点Ｂ（つまり、第２接触点）が現在のフレームに存在しないことを決定する。この場合に、新たに生成された接触点Ｃと、現在のフレームに存在する接触点Ｂ又は接触点Ａとは、新たな、重なり合っているタッチ期間を生成する。具体的に言えば、接触点Ｃのタッチ開始時は、次のボイス処理時間窓の開始点であり得る。
【0184】
Ｓ１３１からＳ１３６で記載されている接触点追跡方法に従って、プロセッサは、複数の接触点の座標追跡シーケンスを得るよう、複数の連続したフレームの接触点を追跡し得る。１つの接触点座標追跡シーケンスは１つのＩＤを共有し、１つの接触点ＩＤは１つのタッチ動作に対応する。従って、１つの接触点追跡シーケンスは、タッチスクリーン上での１つのタッチ操作のスライディング追跡を示し得る。
【0185】
更に、プロセッサは、現在のフレーム内の接触点のＩＤに従って、現在のフレームの前のフレーム内の接触点がなくなっているかどうかを決定する。図１４を参照すると、現在のフレームの前のフレーム内の接触点がなくなっているかどうかを決定するプロセスは、次のステップを具体的に含む。
【0186】
Ｓ１４１：プロセッサは、現在のフレーム内の接触点のＩＤを決定する。
【0187】
具体的に、プロセッサは、Ｓ１３１からＳ１３６を使用することによって、現在のフレーム内の接触点のＩＤを決定し得る。詳細は、ここで再び記載されない。
【0188】
Ｓ１４２：プロセッサは、現在のフレーム内の接触点のＩＤ値とは異なるＩＤ値が、現在のフレームの前のフレーム内の接触点のＩＤ値に存在するかどうかを決定する。そうである場合には、Ｓ１４３が実行される。そうでない場合には、Ｓ１４４が実行される。
【0189】
プロセッサは、前のフレーム内の接触点のＩＤ値を現在のフレーム内の接触点のＩＤ値と１つずつ比較して、現在のフレーム内の接触点のＩＤ値とは異なるＩＤ値が前のフレーム内の接触点のＩＤ値に存在するかどうかを決定する。
【0190】
例えば、図１２及び図１３を参照して、前のフレーム内の接触点のＩＤは、ＩＤａ及びＩＤｂを含み、プロセッサは、現在のフレーム内の接触点ＣにＩＤａを割り当てる。この場合に、プロセッサは、現在のフレーム内の接触点のＩＤ値が、前のフレーム内のＩＤｂを含まないことを決定し得る。言い換えると、プロセッサは、現在のフレーム内の接触点のＩＤ値とは異なるＩＤ値、つまり、ＩＤｂが、前のフレーム内の接触点のＩＤ値に存在することを決定する。
【0191】
Ｓ１４３：プロセッサは、ＩＤ値に対応する接触点がなくなっていることを決定する。
【0192】
プロセッサは、現在のフレームの前のフレーム内の接触点のＩＤ値に含まれているが、現在のフレーム内の接触点のＩＤ値とは異なっているＩＤ値に対応する接触点がなくなっていることを決定する。この場合に、それは、その接触点に対応するタッチ操作のタッチ期間が終了することを示す。具体的に言えば、そのタッチ操作に対応するボイス処理時間窓は終了する。
【0193】
Ｓ１４４：プロセッサは、ボイス監視命令を実行し続け、引き続き現在のフレームの次のフレームの接触点を追跡する。
【0194】
現在のフレーム内の接触点のＩＤ値とは異なるＩＤ値は、現在のフレームの前のフレーム内の接触点のＩＤ値に存在しない。言い換えると、現在のフレームの前のフレーム内の接触点のＩＤは、依然として現在のフレームにおいて現れている。この場合に、それは、現在のフレームの前のフレーム内の接触点のどれもなくなっていないことを示す。具体的に言えば、現在のフレームの前のフレーム内の接触点に対応するタッチ操作のタッチ期間は終了しない。この場合に、プロセッサは、タッチ操作に基づくボイス監視命令を実行し続ける。加えて、プロセッサは、引き続き現在のフレームの次のフレームの接触点を追跡する。
【0195】
加えて、本願の実施形態で提供されるヒューマンコンピュータインタラクション方法は更に、複数の接触点を追跡することができる。現在のフレームがｍ個の接触点を含む場合に、ｍ個の接触点の中で、プロセッサは、ｎ個の接触点と前のフレーム内の１つの接触点（例えば、接触点Ａ）との間の距離が全て閾値よりも小さいことを決定する。ここで、ｍ及びｎは、夫々、０よりも大きい正の整数であり、ｍは、ｎ以上である。この場合に、プロセッサは、現在のフレーム内のｎ個の接触点から、現在のフレームの前のフレーム内の接触点Ａに最も近い接触点（例えば、接触点Ｃ）を決定する。プロセッサは、接触点ＡのＩＤ値を接触点Ｃに割り当てる。この場合に、接触点Ａ及び接触点Ｃは、同じ接触点座標追跡シーケンスに属し、接触点座標追跡シーケンスは、１つのＩＤを共有する。次いで、プロセッサは、現在のフレーム内のｎ個の接触点の中の接触点Ａ以外のｎ－１個の接触点を捨てるか、あるいは、ｎ－１個の接触点を無効であるとセットする。
【0196】
Ｓ１３１からＳ１３６及びＳ１４１からＳ１４４で記載されている接触点追跡プロセスを使用することによって、プロセッサは、ボイス処理時間窓の開始点及び終了点を決定し、ボイス処理時間窓においてボイス管理命令を実行し得る、ことが理解され得る。
【0197】
具体的に、図１５は、接触点追跡とボイス処理時間窓との間の関係を示す。図１５に示されるように、本願のこの実施形態で、プロセッサはボイス監視命令を実行しない状態は、アイドル状態と呼ばれ、プロセッサがボイス監視命令を実行する状態は、監視状態と呼ばれる。図１５中の矢印は、プロセッサがリアルタイムで接触点を追跡することを示す。
【0198】
図１５に示されるように、第１時点で、プロセッサは、タッチスクリーンによって送信された現在のフレームに基づいて、現在のフレームにおいて少なくとも２つの接触点（例えば、第１接触点及び第２接触点）が存在することを決定する。プロセッサは、ＩＤ１を第１接触点に割り当て、ＩＤ２を第２接触点に割り当てる。この場合に、プロセッサは、第１の時点がボイス処理時間窓の開始点であることを決定し、ボイス監視命令を実行し始める。
【0199】
第２時点で、プロセッサは、タッチスクリーンによって送信された現在のフレームに基づき、ＩＤ１又はＩＤ２が、現在のフレーム内の接触点に対応するＩＤ値に存在しないことを決定する。ＩＤ１が存在しない場合には、プロセッサは、ＩＤ１に対応する第１接触点がなくなっていることを決定する。この場合に、それは、第１接触点に対応するタッチ操作のタッチ期間が終了することを示す。ＩＤ２が存在しない場合に、プロセッサは、ＩＤに対応する第２接触点がなくなっていることを決定する。この場合に、それは、ＩＤ２に対応するタッチ操作の期間が終了することを示す。従って、プロセッサは、第２時点がボイス処理時間窓の終了点であることを決定し、ボイス監視命令を実行するのを止める。
【0200】
この場合に、プロセッサはアイドル状態に戻り、引き続き、新しい接触点が現れるかどうかを追跡して、次のボイス処理時間窓の開始点を決定する。
【0201】
実際のアプリケーションでは、タッチ誤操作が存在する場合がある。例えば、手のひらがタッチスクリーンに接触したり、あるいは、指又はスタイラスがタッチスクリーンをタッチする過程で滑ったりする。本願のこの実施形態で提供される接触点追跡方法に従って、ボイス処理時間窓の開始点及び終了点が決定され得るだけではなく、ボイス処理時間窓がタッチ誤操作により偶発的に開始又は終了する問題が回避されることも可能である。
【0202】
要するに、本願の実施形態で提供されるヒューマンコンピュータインタラクション方法では、一方で、実行されるべきボイス命令は、マルチポイントタッチの重なり合っているタッチ期間に基づき決定される。このようにして、システムを起動するために起動ワードを頻繁に使用する必要がない。これは、ヒューマンコンピュータインタラクションプロセスでのユーザ経験を向上させるのに役立つ。他方で、タッチスクリーン上でのボイス命令の操作対象の位置情報は、マルチポイントタッチに基づき決定される。このようにして、大画面シナリオで、大画面上での長距離スライディングの問題は軽減され得る。これは、ヒューマンコンピュータインタラクションプロセスでのユーザ経験を向上させるのに役立つ。
【0203】
以上は、方法の観点から、本願の実施形態で提供される解決法について主に記載している。上記の機能を実装するために、ヒューマンコンピュータインタラクションシステムは、各機能を実行するための対応するハードウェア構造及び／又はソフトウェアモジュールを含む。当業者であれば、本明細書で開示されている実施形態で記載されている例のユニット及びアルゴリズムステップと組み合わせて、本願がハードウェア又はハードウェアとコンピュータソフトウェアとの組み合わせによって実装され得る、と容易に気付くはずである。機能がハードウェア又はコンピュータソフトウェアによって駆動されるハードウェアによって実行されるかどうかは、技術的解決法の特定のアプリケーション及び設計制約に依存する。当業者は、特定のアプリケーションごとに、記載されている機能を実装するよう異なる方法を使用してもよいが、実施が本願の範囲を越えることが考えられるべきではない。
【0204】
本願の実施形態で、ヒューマンコンピュータインタラクションシステムは、上記の方法の例に基づき分割されてもよい。図１を参照すると、図１に示されるヒューマンコンピュータインタラクションシステムは、ヒューマンコンピュータインタラクション方法を実行するよう構成されてよく、例えば、図４、図１３、及び図１４に示される方法を実行するよう構成され得る。タッチスクリーン１３は、第１タッチ操作及び第２タッチ操作を受け取るよう構成され、第１タッチ操作のタッチ期間及び第２タッチ操作のタッチ期間は重なり合う。プロセッサ１１は、ボイス命令を受け取るよう構成され、ボイス命令は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間内に受け取られるボイス命令である。プロセッサ１１は更に、第１タッチ操作及び第２タッチ操作に応答して、タッチスクリーン１３上でボイス命令の操作対象の位置情報を決定するよう構成される。プロセッサ１１は更に、タッチスクリーン１３上での操作対象の位置情報に基づきボイス命令を実行するよう構成される。例えば、図４を参照して、タッチスクリーン１３は、Ｓ４０１及びＳ４０２を実行するよう構成されてもよく、プロセッサ１１は、Ｓ４０３、Ｓ４０５、及びＳ４０６を実行するよう構成されてもよい。
【0205】
任意に、プロセッサ１１は、ボイス命令の操作エリアを決定するよう特に構成され、操作エリアはタッチスクリーン１３上のエリアであり、操作対象は操作エリアに含まれる。プロセッサ１１は更に、操作エリアにおいてボイス命令を実行するよう構成される。例えば、図４を参照して、プロセッサ１１は、Ｓ４０５を実行するよう構成されてもよい。
【0206】
任意に、プロセッサ１１は、ボイス命令が、対象を選択することを指示するために使用されるとき、操作エリア内の対象を選択するよう、ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、操作エリア内の対象の属性情報をターゲット属性情報に変更するよう、ボイス命令が、対象を削除することを指示するために使用されるとき、操作エリア内の対象を削除するよう、又はボイス命令が、対象を生成することを指示するために使用されるとき、操作エリア内で対象を生成するよう特に構成される。例えば、図４を参照して、プロセッサ１１は、Ｓ４０６を実行するよう構成されてもよい。
【0207】
任意に、表示スクリーン１３２は、操作エリアを表示するよう構成される。
【0208】
任意に、ボイス命令は、操作対象を生成することを指示するために使用され、操作対象は、第１エンドポイント及び第２エンドポイントを含む。プロセッサ１１は更に、第１タッチ操作の接触点の位置情報に基づき、タッチスクリーン１３上での第１エンドポイントの位置情報を決定し、第２タッチ操作の接触点の位置情報に基づき、タッチスクリーン１３上での第２エンドポイントの位置情報を決定するよう構成される。例えば、図４を参照して、プロセッサ１１は、Ｓ４０５を実行するよう構成されてもよい。
【0209】
任意に、操作対象は、次の、直線、線セグメント、破線、曲線、又は多角形、のうちの少なくとも１つを含む。
【0210】
任意に、プロセッサ１１は、タッチスクリーン１３上での操作対象の位置情報と、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続とに基づき、ボイス命令を実行するよう特に構成される。例えば、図４を参照して、プロセッサ１１は、Ｓ４０６を実行するよう構成されてもよい。
【0211】
任意に、プロセッサ１１は、ボイス命令が、円を生成することを指示するために使用されるとき、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続に基づき円を生成するよう特に構成される。円の中心の位置は、第１タッチ操作の接触点の位置に基づき決定され、円の円周内の点の位置は、第２タッチ操作の接触点の位置に基づき決定され、第１タッチ操作のタッチ開始時は、第２タッチ操作のタッチ開始時より先又は後である。例えば、図４を参照して、プロセッサ１１は、Ｓ４０６を実行するよう構成されてもよい。
【0212】
任意に、プロセッサ１１は、ボイス命令が、一方向矢印を持った線を生成することを指示するために使用されるとき、第１タッチ操作及び第２タッチ操作のタッチ開始時の前記連続に基づき前記一方向矢印を持った線を生成するよう特に構成される。線の矢印によって指し示されるエンドポイントの位置は、第１タッチ操作の接触点の位置に基づき決定され、線の矢印によって指し示されないエンドポイントの位置は、第２タッチ操作の接触点の位置に基づき決定され、第１タッチ操作のタッチ開始時は、前記第２タッチ操作のタッチ開始時よりも先又は後である。例えば、図４を参照して、プロセッサ１１は、Ｓ４０６を実行するよう構成されてもよい。
【0213】
任意に、ボイスコレクタ１４は、ボイス命令を収集するよう構成され得る。
【0214】
上記の任意の方法の具体的な記載については、上記の方法の実施形態を参照されたい。詳細は、ここで再び記載されない。加えて、上記のいずれかのヒューマンコンピュータインタラクションシステムの説明及び有利な効果の記載については、上記の対応する方法の実施形態を参照されたい。詳細は、再び記載されない。
【0215】
加えて、本願の実施形態で、プロセッサ又はプロセッサを含むコンピュータデバイスは、上記の方法の例に基づき機能モジュールに分割されてもよい。例えば、各機能モジュールは、各対応する機能に基づき分割を通じて取得されもよく、あるいは、２つ以上の機能が、１つの処理モジュールに一体化されてもよい。一体化されたモジュールは、ハードウェアの形で実装されてもよく、あるいは、ソフトウェア機能モジュールの形で実装されてもよい。本願の実施形態で、モジュールへの分割は例であり、単に論理的な機能分割であることが留意されるべきである。実際の実施では、他の分割が使用されてもよい。
【0216】
図１６は、本願の実施形態に従うプロセッサ又はコンピュータデバイスの略構造図である。プロセッサ又はコンピュータデバイスは、上記のヒューマンコンピュータインタラクション方法を実行するよう構成され、例えば、図４、図１３、図１４、及び図１５に示される方法を実行するよう構成される。プロセッサ又はコンピュータデバイスは、取得ユニット１６１、受信ユニット１６２、決定ユニット１６３、及び実行ユニット１６４を含み得る。
【0217】
取得ユニット１６１は、第１接触点の位置情報及び第２接触点の位置情報を取得するよう構成される。ここで、第１接触点は、第１タッチ操作に基づく接触点であり、第２接触点は、第２タッチ操作に基づく接触点であり、第１タッチ操作のタッチ期間及び第２タッチ操作のタッチ期間は重なり合う。受信ユニット１６２は、ボイス命令を受けるよう構成され、ボイス命令は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間内に受け取られるボイス命令である。決定ユニット１６３は、取得ユニット１６１の取得する動作に応答して、ボイス命令の操作対象の位置情報を決定するよう構成される。実行ユニット１６４は、決定ユニット１６３によって決定される操作対象の位置情報に基づき前記ボイス命令を実行するよう構成される。例えば、図４を参照して、取得ユニット１６１は、Ｓ４０３を実行するよう構成されてもよく、決定ユニット１６３は、Ｓ４０５を実行するよう構成されてもよく、実行ユニット１６４は、Ｓ４０６を実行するよう構成されてもよい。
【0218】
任意に、決定ユニット１６３は、ボイス命令の操作エリアを決定するよう特に構成され、操作対象は操作エリアに含まれる。実行ユニット１６４は、決定ユニット１６３によって決定された操作エリアにおいてボイス命令を実行するよう特に構成される。例えば、図４を参照して、決定ユニット１６３は、Ｓ４０５を実行するよう構成されてもよい。
【0219】
任意に、実行ユニット１６４は、ボイス命令が、対象を選択することを指示するために使用されるとき、操作エリア内の対象を選択するよう、ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、操作エリア内の対象の属性情報をターゲット属性情報に変更するよう、ボイス命令が、対象を削除することを指示するために使用されるとき、操作エリア内の対象を削除するよう、又はボイス命令が、対象を生成することを指示するために使用されるとき、操作エリア内で対象を生成するよう特に構成される。例えば、図４を参照して、実行ユニット１６４は、Ｓ４０６を実行するよう構成されてもよい。
【0220】
任意に、ボイス命令は、操作対象を生成することを指示するために使用され、操作対象は、第１エンドポイント及び第２エンドポイントを含む。決定ユニット１６３は、第１接触点の位置情報に基づき第１エンドポイントの位置情報を決定し、第２接触点の位置情報に基づき第２エンドポイントの位置情報を決定するよう特に構成される。例えば、図４を参照して、決定ユニット１６３は、Ｓ４０５を実行するよう構成されてもよい。
【0221】
任意に、実行ユニット１６４は、操作対象の位置情報と、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続とに基づき、ボイス命令を実行するよう特に構成される。例えば、図４を参照して、実行ユニット１６４は、Ｓ４０６を実行するよう構成されてもよい。
【0222】
任意に、実行ユニット１６４は、ボイス命令が、円を生成することを指示するために使用されるとき、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続に基づき円を生成するよう特に構成される。円の中心の位置は、第１タッチ操作の接触点の位置に基づき決定され、円の円周内の点の位置は、第２タッチ操作の接触点の位置に基づき決定され、第１タッチ操作のタッチ開始時は、第２タッチ操作のタッチ開始時より先又は後である。例えば、図４を参照して、実行ユニット１６４は、Ｓ４０６を実行するよう構成されてもよい。
【0223】
任意に、実行ユニット１６４は、ボイス命令が、一方向矢印を持った線を生成することを指示するために使用されるとき、第１タッチ操作及び第２タッチ操作のタッチ開始時の連続に基づき、一方向矢印を持った線を生成するよう特に構成される。ここで、線の矢印によって指し示されるエンドポイントの位置は、第１タッチ操作の接触点の位置に基づき決定され、線の前記矢印によって指し示されないエンドポイントの位置は、第２タッチ操作の接触点の位置に基づき決定され、第１タッチ操作のタッチ開始時は、第２タッチ操作のタッチ開始時よりも先又は後である。例えば、図４を参照して、実行ユニット１６４は、Ｓ４０６を実行するよう構成されてもよい。
【0224】
確かに、本願のこの実施形態で提供されるコンピュータデバイスは、ユニットを含むが、それらに限られない。例えば、コンピュータデバイスは、記憶ユニット１６５を更に含んでもよい。記憶ユニット１６５は、コンピュータデバイスのプログラムコードを記憶するよう構成され得る。
【0225】
例において、図１を参照して、コンピュータデバイスにおける取得ユニット１６１、受信ユニット１６２、決定ユニット１６３、及び実行ユニット１６４によって実装される機能は、図１のプロセッサ１１の機能と同じである。記憶ユニット１６５によって実装される機能は、図１のメモリ１２の機能と同じである。
【0226】
任意の方法の具体的な記載については、方法の実施形態を参照されたい。詳細は、ここで再び記載されない。加えて、上記のいずれかのプロセッサ又はコンピュータデバイスの説明及び有利な効果の記載については、対応する方法の実施形態を参照されたい。詳細は、再び記載されない。
【0227】
本願の実施形態は、チップシステムを更に提供する。図１７に示されるように、チップシステムは、少なくとも１つのプロセッサ１７１及び少なくとも１つのインターフェース回路１７２を含む。プロセッサ１７１及びインターフェース回路１７２は、ラインを通じて相互接続され得る。例えば、インターフェース回路１７２は、他の装置（例えば、ヒューマンコンピュータインタラクションシステムのメモリ又はコンピュータデバイスのメモリ）から信号を受信するよう構成され得る。他の例として、インターフェース回路１７２は、他の装置（例えば、プロセッサ１７１）へ信号を送信するよう構成され得る。例えば、インターフェース回路１７２は、メモリに記憶されている命令を読み出し、命令をプロセッサ１７１へ送信し得る。命令がプロセッサ１７１によって実行されるとき、ヒューマンコンピュータインタラクションシステム又はコンピュータデバイスは、実施形態のステップを実行することを可能にされ得る。確かに、チップシステムは、他のディスクリートデバイスを更に含んでもよい。これは、本願のこの実施形態で特に限定されない。
【0228】
本願の他の実施形態は、コンピュータ可読記憶媒体を更に提供し、コンピュータ可読記憶媒体は、命令を記憶する。命令がヒューマンコンピュータインタラクションシステム又はコンピュータデバイスで実行されるとき、ヒューマンコンピュータインタラクションシステム又はコンピュータデバイスは、上記の方法の実施形態に示された方法プロシージャでヒューマンコンピュータインタラクションシステム又はコンピュータデバイスによって実行されたステップを実行する。
【0229】
いくつかの実施形態で、開示されている方法は、コンピュータ可読記憶媒体上でマシン読み出し可能なフォーマットで符号化されているか、又は他の非一時的な媒体若しくは製品で符号化されているコンピュータプログラム命令として、実装されてもよい。
【0230】
図１８は、本願の実施形態に従うコンピュータプログラム製品の概念的な部分ビューを概略的に示す。コンピュータプログラム製品は、コンピュータデバイスでコンピュータプロセスを実行するために使用されるコンピュータプログラムを含む。
【0231】
実施形態において、コンピュータプログラム製品は、信号担体１８０を使用することによって提供される。信号担体１８０は、１つ以上のプログラム命令を含み得る。プログラム命令が１つ以上のプロセッサによって実行されるとき、図４に関して記載された機能又は機能のいくつかが提供され得る。従って、例えば、図４のＳ４０１からＳ４０６の１つ以上の特徴は、信号担体１８０に関連した１つ以上の命令によって担持され得る。加えて、図１８のプログラム命令は、例となる命令としても記載され得る。
【0232】
いくつかの例で、信号担体１８０は、コンピュータ可読媒体１８１、例えば、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、メモリ、リード・オンリー・メモリ（read-only memory，ＲＯＭ）、ランダム・アクセス・メモリ（random access memory，ＲＡＭ）、などを含み得るが、これらに限られない。
【0233】
いくつかの実施で、信号担体１８０は、コンピュータ記録可能媒体１８２、例えば、メモリ、リード／ライト（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤ、などを含み得るが、これらに限られない。
【0234】
いくつかの実施で、信号担体１８０は、通信媒体１８３、例えば、デジタル及び／又はアナログ通信媒体（例えば、光ファイバケーブル、導波路、有線通信リンク、又は無線通信リンク）を含み得るが、これらに限られない。
【0235】
信号担体１８０は、無線形式の通信媒体１８３（例えば、ＩＥＥＥ８０２．１１標準規格又は他の伝送プロトコルに従う無線通信媒体）によって運ばれてもよい。１つ以上のプログラム命令は、例えば、１つ以上のコンピュータ実行可能命令又は１つ以上のロジック実装命令であってもよい。
【0236】
いくつかの例で、例えば、図４に関して記載されたヒューマンコンピュータインタラクションシステム又はコンピュータデバイスは、コンピュータ可読媒体１８１、コンピュータ記録可能媒体１８２、及び／又は通信媒体１８３に含まれる１つ以上のプログラム命令に応答して、様々な操作、機能、又は動作を提供するよう構成され得る。
【0237】
ここで記載される配置は、単に例を目的としていることが理解されるべきである。よって、当業者に明らかなように、他の配置及び他の要素（例えば、マシン、インターフェース、機能、シーケンス、及び機能のグループ）が配置を置換するために使用可能であり、いくつかの要素は、所望の結果に応じて一緒に省略されてもよい。加えて、記載されている要素の多くは、ディスクリート又は分散コンポーネントとして実装され得るか、あるいは、任意の適切な組み合わせでかつ他のコンポーネントを組み合わせて任意の適切な位置で実装され得る機能エンティティである。
【0238】
上記の実施形態の全部又は一部は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせを使用することによって実装され得る。ソフトウェアプログラムが実施形態を実装するために使用されるとき、実施形態は、コンピュータプログラム製品の形で全部が又は部分的に実装されてもよい。コンピュータプログラム製品は、１つ以上のコンピュータ命令を含む。コンピュータ実行可能命令がコンピュータでロードされて実行されるとき、本願の実施形態に従うプロシージャ又は機能が全て又は部分的に生成される。コンピュータは、汎用コンピュータ、特別目的のコンピュータ、コンピュータネットワーク又は他のプログラム可能な装置であってよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されても、又はコンピュータ可読記憶媒体から他のコンピュータ可読記憶媒体へ伝送されてもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、又はデータセンターから他のウェブサイト、コンピュータ、サーバ、又はデータセンターへ有線（例えば、同軸ケーブル、光ファイバ、若しくはデジタル加入者回線（digital subscriber line，ＤＳＬ））又は無線（例えば、赤外線、電波、若しくはマイクロ波）方式で伝送されてもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体、又は１つ以上の使用可能な媒体を組み込むデータ記憶デバイス、例えば、サーバ若しくはデータセンターであってよい。使用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、又は磁気テープ）、光学媒体（例えば、ＤＶＤ）、半導体媒体（例えば、ソリッドステートドライブ（solid state disk，ＳＳＤ））、などであってもよい。
【0239】
上記の説明は、本願の具体的な実施にすぎない。本願で与えられている具体的な実施に基づき当業者によって容易に考え出される如何なる変形又は置換も、本願の保護範囲内に入るはずである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【手続補正書】
【提出日】2022-03-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ヒューマンコンピュータインタラクションシステムに適用されるヒューマンコンピュータインタラクション方法であって、前記ヒューマンコンピュータインタラクションシステムがタッチスクリーンを有する、前記方法において、第１タッチ操作及び第２タッチ操作を受けることであり、前記第１タッチ操作のタッチ期間及び前記第２タッチ操作のタッチ期間は重なり合う、ことと、
ボイス命令を受けることであり、前記ボイス命令は、前記第１タッチ操作及び前記第２タッチ操作の重なり合っているタッチ期間内で受け取られるボイス命令である、ことと、
前記第１タッチ操作及び前記第２タッチ操作に応答して、前記タッチスクリーン上で前記ボイス命令の操作対象の位置情報を決定することと、
前記タッチスクリーン上での前記操作対象の前記位置情報に基づき前記ボイス命令を実行することと
を有する方法。
【請求項2】
前記タッチスクリーン上で前記ボイス命令の操作対象の位置情報を決定することは、前記ボイス命令の操作エリアを決定することを有し、前記操作エリアは前記タッチスクリーン上のエリアであり、前記操作対象は前記操作エリアに含まれ、
前記タッチスクリーン上での前記操作対象の前記位置情報に基づき前記ボイス命令を実行することは、
前記操作エリアにおいて前記ボイス命令を実行することを有する、
請求項１に記載の方法。
【請求項3】
前記操作エリアにおいて前記ボイス命令を実行することは、前記ボイス命令が、対象を選択することを指示するために使用されるとき、前記操作エリア内の対象を選択すること、
前記ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、前記操作エリア内の対象の属性情報を前記ターゲット属性情報に変更すること、
前記ボイス命令が、対象を削除することを指示するために使用されるとき、前記操作エリア内の対象を削除すること、又は
前記ボイス命令が、対象を生成することを指示するために使用されるとき、前記操作エリア内で対象を生成すること
を有する、
請求項２に記載の方法。
【請求項4】
前記ボイス命令は、前記操作対象を生成することを指示するために使用され、前記操作対象は、第１エンドポイント及び第２エンドポイントを有し、前記タッチスクリーン上で前記ボイス命令の操作対象の位置情報を決定することは、前記第１タッチ操作の接触点の位置情報に基づき前記タッチスクリーン上での前記第１エンドポイントの位置情報を決定することと、
前記第２タッチ操作の接触点の位置情報に基づき前記タッチスクリーン上での前記第２エンドポイントの位置情報を決定することと
を有する、
請求項１に記載の方法。
【請求項5】
前記タッチスクリーン上での前記操作対象の前記位置情報に基づき前記ボイス命令を実行することは、前記タッチスクリーン上での前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行することを有する、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項6】
前記タッチスクリーン上での前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行することは、前記ボイス命令が、円を生成することを指示するために使用されるとき、前記第１タッチ操作及び前記第２タッチ操作の前記タッチ開始時の前記連続に基づき前記円を生成することを有し、
前記円の中心の位置は、前記第１タッチ操作の接触点の位置に基づき決定され、前記円の円周内の点の位置は、前記第２タッチ操作の接触点の位置に基づき決定され、前記第１タッチ操作のタッチ開始時は、前記第２タッチ操作のタッチ開始時より先又は後である、
請求項５に記載の方法。
【請求項7】
コンピュータデバイスに適用されるヒューマンコンピュータインタラクション方法であって、第１接触点の位置情報及び第２接触点の位置情報を取得することであり、前記第１接触点は、第１タッチ操作に基づく接触点であり、前記第２接触点は、第２タッチ操作に基づく接触点であり、前記第１タッチ操作のタッチ期間及び前記第２タッチ操作のタッチ期間は重なり合う、ことと、
ボイス命令を受けることであり、前記ボイス命令は、前記第１タッチ操作及び前記第２タッチ操作の重なり合っているタッチ期間内に受け取られるボイス命令である、ことと、
前記取得する動作に応答して、前記ボイス命令の操作対象の位置情報を決定することと、
前記操作対象の前記位置情報に基づき前記ボイス命令を実行することと
を有する方法。
【請求項8】
前記ボイス命令の操作対象の位置情報を決定することは、前記ボイス命令の操作エリアを決定することを有し、前記操作対象は前記操作エリアに含まれ、
前記操作対象の前記位置情報に基づき前記ボイス命令を実行することは、
前記操作エリアにおいて前記ボイス命令を実行することを有する、
請求項７に記載の方法。
【請求項9】
前記操作エリアにおいて前記ボイス命令を実行することは、前記ボイス命令が、対象を選択することを指示するために使用されるとき、前記操作エリア内の対象を選択すること、
前記ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、前記操作エリア内の対象の属性情報を前記ターゲット属性情報に変更すること、
前記ボイス命令が、対象を削除することを指示するために使用されるとき、前記操作エリア内の対象を削除すること、又は
前記ボイス命令が、対象を生成することを指示するために使用されるとき、前記操作エリア内で対象を生成すること
を有する、
請求項８に記載の方法。
【請求項10】
前記ボイス命令は、前記操作対象を生成することを指示するために使用され、前記操作対象は、第１エンドポイント及び第２エンドポイントを有し、前記ボイス命令の操作対象の位置情報を決定することは、前記第１接触点の位置情報に基づき前記第１エンドポイントの位置情報を決定することと、
前記第２接触点の位置情報に基づき前記第２エンドポイントの位置情報を決定することと
を有する、
請求項７に記載の方法。
【請求項11】
前記操作対象の前記位置情報に基づき前記ボイス命令を実行することは、前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行することを有する、
請求項７乃至１０のうちいずれか一項に記載の方法。
【請求項12】
ヒューマンコンピュータインタラクションシステムであって、タッチスクリーン及びプロセッサを有し、
前記タッチスクリーンは、第１タッチ操作及び第２タッチ操作を受けるよう構成され、前記第１タッチ操作のタッチ期間及び前記第２タッチ操作のタッチ期間は重なり合い、
前記プロセッサは、ボイス命令を受けるよう構成され、前記ボイス命令は、前記第１タッチ操作及び前記第２タッチ操作の重なり合っているタッチ期間内で受け取られるボイス命令であり、
前記プロセッサは、前記第１タッチ操作及び前記第２タッチ操作に応答して、前記タッチスクリーン上で前記ボイス命令の操作対象の位置情報を決定し、前記タッチスクリーン上での前記操作対象の前記位置情報に基づき前記ボイス命令を実行するよう更に構成される、
ヒューマンコンピュータインタラクションシステム。
【請求項13】
前記プロセッサは、前記ボイス命令の操作エリアを決定し、前記操作エリアにおいて前記ボイス命令を実行するよう特に構成され、前記操作エリアは前記タッチスクリーン上のエリアであり、前記操作対象は前記操作エリアに含まれる、
請求項１２に記載のヒューマンコンピュータインタラクションシステム。
【請求項14】
前記プロセッサは、前記ボイス命令が、対象を選択することを指示するために使用されるとき、前記操作エリア内の対象を選択するよう、
前記ボイス命令が、対象の属性情報をターゲット属性情報に変更することを指示するために使用されるとき、前記操作エリア内の対象の属性情報を前記ターゲット属性情報に変更するよう、
前記ボイス命令が、対象を削除することを指示するために使用されるとき、前記操作エリア内の対象を削除するよう、又は
前記ボイス命令が、対象を生成することを指示するために使用されるとき、前記操作エリア内で対象を生成するよう
特に構成される、
請求項１３に記載のヒューマンコンピュータインタラクションシステム。
【請求項15】
前記ボイス命令は、前記操作対象を生成することを指示するために使用され、前記操作対象は、第１エンドポイント及び第２エンドポイントを有し、前記プロセッサは、前記第１タッチ操作の接触点の位置情報に基づき前記タッチスクリーン上での前記第１エンドポイントの位置情報を決定し、前記第２タッチ操作の接触点の位置情報に基づき前記タッチスクリーン上での前記第２エンドポイントの位置情報を決定するよう更に構成される、
請求項１２に記載のヒューマンコンピュータインタラクションシステム。
【請求項16】
前記プロセッサは、前記タッチスクリーン上での前記操作対象の前記位置情報と、前記第１タッチ操作及び前記第２タッチ操作のタッチ開始時の連続とに基づき、前記ボイス命令を実行するよう特に構成される、請求項１２乃至１５のうちいずれか一項に記載のヒューマンコンピュータインタラクションシステム。
【請求項17】
メモリ及び１つ以上のプロセッサを有し、前記メモリが前記プロセッサ結合されるコンピュータデバイスであって、前記メモリは、コンピュータプログラムコードを記憶するよう構成され、前記コンピュータプログラムコードは、コンピュータ命令を有し、前記コンピュータ命令が当該コンピュータデバイスによって実行されるとき、当該コンピュータデバイスは、請求項７乃至１１のうちいずれか一項に記載のヒューマンコンピュータインタラクション方法を実行することを可能にされる、
コンピュータデバイス。
【請求項18】
チップシステムであって、当該チップシステムは、ヒューマンコンピュータインタラクションシステムに適用され、当該チップシステムは、１つ以上のインターフェース回路及び１つ以上のプロセッサを有し、
前記インターフェース回路及び前記プロセッサは、ラインを通じて相互接続され、前記インターフェース回路は、前記ヒューマンコンピュータインタラクションシステムのメモリから信号を受信し、該信号を前記プロセッサへ送信するよう構成され、前記信号は、前記メモリに記憶されているコンピュータ命令を含み、前記プロセッサが前記コンピュータ命令を実行するとき、前記ヒューマンコンピュータインタラクションシステムは、請求項１乃至１１のうちいずれか一項に記載のヒューマンコンピュータインタラクション方法を実行する、
チップシステム。
【請求項19】
コンピュータプログラムであって、
前記コンピュータプログラムがヒューマンコンピュータインタラクションシステムで実行されるとき、前記コンピュータプログラムは、前記ヒューマンコンピュータインタラクションシステムに、請求項１乃至１１のうちいずれか一項に記載のヒューマンコンピュータインタラクション方法を実装させる、
コンピュータプログラム。
【請求項20】
請求項１９に記載のコンピュータプログラムを記憶しているコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【0005】
第１の態様に従って、本願は、ヒューマンコンピュータインタラクション方法を提供する。ヒューマンコンピュータインタラクション方法はヒューマンコンピュータインタラクションシステムに適用され、ヒューマンコンピュータインタラクションシステムはタッチスクリーンを含む。方法は、重なり合っているタッチ期間を有している第１タッチ操作及び第２タッチ操作を受けることと、ボイス命令を受けることであり、ボイス命令は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間内で受け取られるボイス命令である、ことと、第１タッチ操作及び第２タッチ操作に応答して、タッチスクリーン上でボイス命令の操作対象の位置情報を決定することと、タッチスクリーン上での操作対象の決定された位置情報に基づきボイス命令を実行することとを含む。この技術的解決法では、一方では、実行されるべきボイス命令（つまり、当該ボイス命令）は、マルチポイントタッチの重なり合っているタッチ期間に基づき決定される。このようにして、「起動ワードがヒューマンコンピュータインタラクションシステムを起動するために頻繁に使用される必要があり、それにより、実行されるべきボイス命令が、起動されたヒューマンコンピュータインタラクションシステムに基づき決定され得る」ところの先行技術の解決法と比較して、この技術的解決法では、システムを起動するために起動ワードを頻繁に使用する必要がない。他方では、タッチスクリーン上での実行されるべきボイス命令の操作対象の位置情報は、マルチポイントタッチに基づき決定される。このようにして、大画面シナリオで、大画面上での長距離スライディングの問題は軽減され得る。これは、ヒューマンコンピュータインタラクションプロセスでのユーザ経験を向上させるのに役立つ。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【0025】
第３の態様に従って、本願は、ヒューマンコンピュータインタラクション方法を提供する。ヒューマンコンピュータインタラクション方法はヒューマンコンピュータインタラクションシステムに適用され、ヒューマンコンピュータインタラクションシステムはタッチスクリーンを含む。ヒューマンコンピュータインタラクション方法は、重なり合っているタッチ期間を有している第１タッチ操作及び第２タッチ操作を受けることと、ボイス命令を受け取ることであり、ボイス命令は、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間内に受け取られるボイス命令である、ことと、第１タッチ操作及び第２タッチ操作に応答してボイス命令を実行することとを含む。この技術的解決法では、実行されるべきボイス命令（つまり、当該ボイス命令）は、マルチポイントタッチの重なり合っているタッチ期間に基づき決定される。このようにして、「起動ワードがヒューマンコンピュータインタラクションシステムを起動するために頻繁に使用される必要があり、それにより、実行されるべきボイス命令が、起動されたヒューマンコンピュータインタラクションシステムに基づき決定され得る」ところの先行技術の解決法と比較して、この技術的解決法では、システムを起動するために起動ワードを頻繁に使用する必要がない。これは、ヒューマンコンピュータインタラクションプロセスでのユーザ経験を向上させるのに役立つ。加えて、実行されるべきボイス命令（例えば、シングルポイントタッチのタッチ開始時から始まる前もってセットされた期間内に受け取られるボイス命令が、実行されるべきボイス命令として使用される）がシングルポイントタッチ及び前もってセットされた時間に基づき決定されるところの先行技術と比較して、この技術的解決法は、ユーザ経験を向上させるよう、実行されるべきボイス命令が受け取られる時点を柔軟に制御するのに役立つ。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【0037】
実施において、ボイスコレクタは、リアルタイムでボイス命令を収集し、収集されたボイス命令をプロセッサへ送るよう構成される。他の実施においては、ボイスコレクタは、ボイス命令を収集し送るよう、プロセッサと情報を交換する。例えば、プロセッサは、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間の開始時にボイスコレクタへ第１命令を送るよう構成される。第１命令は、ボイス命令を収集始めるようボイスコレクタに指示するために使用される。プロセッサは、第１タッチ操作及び第２タッチ操作の重なり合っているタッチ期間の終了時にボイスコレクタへ第２命令を送るよう構成される。第２命令は、ボイス命令を収集するのを止めるようボイスコレクタに指示するために使用される。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【0123】
例えば、第１タッチ操作が第２タッチ操作より先である場合に、プロセッサは、第１接触点を第１エンドポイントとして使用し、第２接触点を第２エンドポイントとして使用する。この場合に、第１エンドポイントの位置情報は、第１接触点の位置情報であり、第２エンドポイントの位置情報は、第２接触点の位置情報である。確かに、第１タッチ操作が第２タッチ操作より後である場合に、プロセッサは、第１接触点を第２エンドポイントとして使用し、第２接触点を第１エンドポイントとして使用してもよい。この場合に、第１エンドポイントの位置情報は、第２接触点の位置情報であり、第２エンドポイントの位置情報は、第１接触点の位置情報である。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０２３１
【補正方法】変更
【補正の内容】
【0231】
実施形態において、コンピュータプログラム製品は、信号担体１８０を使用することによって提供される。信号担体１８０は、１つ以上のプログラム命令を含み得る。プログラム命令が１つ以上のプロセッサによって実行されるとき、図４に関して記載された機能又は機能のいくつかが提供され得る。従って、例えば、図４のＳ４０１からＳ４０６の１つ以上の特徴は、信号担体１８０に関連した１つ以上の命令によって担持され得る。加えて、図１８のプログラム命令は、例となる命令として記載され得る。
【国際調査報告】