特許 6856712 ヒューマンコンピュータインタラクション方法、装置、端末とコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6856712

(24)【登録日】2021年3月22日

(45)【発行日】2021年4月7日

(54)【発明の名称】ヒューマンコンピュータインタラクション方法、装置、端末とコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06F 3/01 20060101AFI20210329BHJP

【ＦＩ】

   G06F3/01 560

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2019-128999(P2019-128999)

(22)【出願日】2019年7月11日

(65)【公開番号】特開2020-24684(P2020-24684A)

(43)【公開日】2020年2月13日

【審査請求日】2019年7月11日

(31)【優先権主張番号】201810895923.6

(32)【優先日】2018年8月8日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】518131698

【氏名又は名称】エーエーシー テクノロジーズ ピーティーイー リミテッド

(74)【代理人】

【識別番号】100104215

【弁理士】

【氏名又は名称】大森 純一

(74)【代理人】

【識別番号】100196575

【弁理士】

【氏名又は名称】高橋 満

(74)【代理人】

【識別番号】100168181

【弁理士】

【氏名又は名称】中村 哲平

(74)【代理人】

【識別番号】100117330

【弁理士】

【氏名又は名称】折居 章

(74)【代理人】

【識別番号】100160989

【弁理士】

【氏名又は名称】関根 正好

(74)【代理人】

【識別番号】100168745

【弁理士】

【氏名又は名称】金子 彩子

(74)【代理人】

【識別番号】100176131

【弁理士】

【氏名又は名称】金山 慎太郎

(74)【代理人】

【識別番号】100197398

【弁理士】

【氏名又は名称】千葉 絢子

(74)【代理人】

【識別番号】100197619

【弁理士】

【氏名又は名称】白鹿 智久

(72)【発明者】

【氏名】高 雪麗

(72)【発明者】

【氏名】丁 祥

【審査官】 ▲高▼瀬 健太郎

(56)【参考文献】

【文献】 米国特許出願公開第２０１７／０３５８１８１（ＵＳ，Ａ１）

【文献】 特表２０１５−５３１９３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

端末に用いられるヒューマンコンピュータインタラクション方法であって、
タッチ方式でインタラクション情報を取得するセンサを含むセンサによって取得されたユーザのインタラクション情報を受信するステップと、
前記インタラクション情報に対応する、触覚応答制御信号と視覚応答制御信号とを含む応答制御信号を特定するステップと、
前記触覚応答制御信号に基づいて対応する触覚応答レスポンスを生成し、前記視覚応答制御信号に基づいて対応する視覚応答レスポンスを生成するステップと、を含み、
前記触覚応答レスポンスは、触覚を刺激するレスポンス動作を前記ユーザに提供するために用いられ、前記視覚応答レスポンスは、視認可能なレスポンス動作を前記ユーザに提供するために用いられ、
センサによって取得されたユーザのインタラクション情報を受信するステップの前に、
前記インタラクション情報と前記応答制御信号との間の対応関係を予め記憶するステップをさらに含み、
前記インタラクション情報に対応する応答制御信号を特定するステップは、具体的に、
前記インタラクション情報に対応する応答制御信号を前記対応関係から検索し、検索できた場合に、検索された前記応答制御信号を取得し、検索できなかった場合に、デフォルトの応答制御信号を採用することを含む
ことを特徴とするヒューマンコンピュータインタラクション方法。

【請求項2】

前記触覚応答レスポンスは、振動を含み、前記視覚応答レスポンスは、可視光の放射を含む
ことを特徴とする請求項１に記載のヒューマンコンピュータインタラクション方法。

【請求項3】

前記可視光の放射は、少なくとも一つの光源によるレスポンスで実施される
ことを特徴とする請求項２に記載のヒューマンコンピュータインタラクション方法。

【請求項4】

前記タッチ方式は、押圧、タッチ、または、叩きを含む
ことを特徴とする請求項１または２に記載のヒューマンコンピュータインタラクション方法。

【請求項5】

前記センサは、温度センサと光センサと湿度センサとの１つまたは複数の組み合わせをさらに含み、
前記センサが温度センサを含む場合に、前記温度センサによって取得された温度値は、タッチ方式で取得されたインタラクション情報によって生成された触覚応答レスポンスの強度に比例し、
前記センサが光センサを含む場合に、前記光センサによって取得された光強度値は、タッチ方式で取得されたインタラクション情報によって生成された視覚応答レスポンスの強度に比例し、
前記センサが湿度センサをさらに含む場合に、前記湿度センサによって取得された湿度値が所定値に達すると、前記視覚応答レスポンスには、湿度値を反映させるための視覚レスポンスがさらに含まれる
ことを特徴とする請求項１または３に記載のヒューマンコンピュータインタラクション方法。

【請求項6】

ヒューマンコンピュータインタラクション装置であって、
受信装置と、特定装置と、応答レスポンス生成装置とを備え、
前記受信装置は、センサによって取得されたユーザのインタラクション情報を受信し、前記センサは、タッチ方式によってインタラクション情報を取得するセンサを含み、
前記特定装置は、前記インタラクション情報に対応する応答制御信号を特定し、前記応答制御信号は、触覚応答制御信号と視覚応答制御信号とを含み、
前記応答レスポンス生成装置は、前記触覚応答制御信号に基づいて対応する触覚応答レスポンスを生成し、前記視覚応答制御信号に基づいて対応する視覚応答レスポンスを生成し、
前記触覚応答レスポンスは、触覚を刺激するレスポンス動作を前記ユーザに提供するために用いられ、前記視覚応答レスポンスは、視認可能なレスポンス動作を前記ユーザに提供するために用いられ、
前記センサによって取得された前記ユーザのインタラクション情報を前記受信装置が受信する前に、前記ヒューマンコンピュータインタラクション装置は、前記インタラクション情報と前記応答制御信号との間の対応関係を予め記憶し、
前記特定装置は、前記インタラクション情報に対応する応答制御信号を特定する際に、前記インタラクション情報に対応する応答制御信号を前記対応関係から検索し、検索できた場合に、検索された前記応答制御信号を取得し、検索できなかった場合に、デフォルトの応答制御信号を採用する
ことを特徴とするヒューマンコンピュータインタラクション装置。

【請求項7】

少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも一つのプロセッサで実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサで実行されることにより、前記少なくとも一つのプロセッサが請求項１乃至５のいずれか１項に記載のヒューマンコンピュータインタラクション方法を実施可能である
ことを特徴とする端末。

【請求項8】

コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１乃至５のいずれか１項に記載のヒューマンコンピュータインタラクション方法が実施される
ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、電子技術分野に関し、特に、ヒューマンコンピュータインタラクション方法、装置、端末及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

科学技術の継続的な発展に伴い、現在ユーザは一般的に入力デバイス（たとえば、キーボード、タッチスクリーンなど）を介して端末とのヒューマンコンピュータインタラクション操作を実行している。端末におけるプロセッサは、キーボード、タッチスクリーンなどのデバイスを介してユーザのインタラクション情報を取得し、当該インタラクション情報に基づいて、該当するレスポンスを行うことによって、ユーザとのヒューマンコンピュータインタラクション操作を完成する。

【0003】

発明者は、従来技術に少なくとも以下のような問題が存在することを見つけた。すなわち、現在、ユーザは、一般的にタッチの方式によって端末にインタラクション情報を入力している。ユーザは、インタラクション情報を入力した後、端末による当該インタラクション情報に対する処理速度が遅いと、ユーザは端末からのレスポンスを長時間受信できなくなり、すると、ユーザが端末によってインタラクション情報が受信されなかったと誤って見なして端末にインタラクション情報を複数回繰り替えして入力する場合が発生し、入力されたインタラクション情報が増加するにつれて、端末が入力されたインタラクション情報を処理する時間が大幅に増加し、ユーザの体験に深刻な影響を及ぼすことになる。同時に、ユーザによって入力されたインタラクション情報に対する端末のレスポンスが相対的に単純であるので、ユーザはインタラクション情報を受信した端末のレスポンスを直ちに取得できず、ユーザの体験に影響を及ぼすことになる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施形態の目的は、端末が、ユーザによって入力されたインタラクション情報にしたがって直ちにユーザにフィードバックするようにして、ヒューマンコンピュータインタラクションの効率を向上させ、端末に対するユーザの使用体験を改善するための、ヒューマンコンピュータインタラクション方法、装置、端末、及びコンピュータ可読記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本発明の実施形態は、上記技術問題を解決するために、ヒューマンコンピュータインタラクション方法を提供する。上記方法は、端末に用いられる。上記方法は、タッチ方式でインタラクション情報を取得するセンサを含むセンサによって取得されたユーザのインタラクション情報を受信するステップと、当該インタラクション情報に対応する、触覚応答制御信号と視覚応答制御信号とを含む応答制御信号を特定するステップと、当該触覚応答制御信号に基づいて対応する触覚応答レスポンスを生成し、視覚応答制御信号に基づいて対応する視覚応答レスポンスを生成するステップと、を含み、触覚応答レスポンスは、触覚を刺激するレスポンス動作をユーザに提供するために用いられ、視覚応答レスポンスは、視認可能なレスポンス動作をユーザに提供するために用いられる。

【0006】

本発明の実施形態は、ヒューマンコンピュータインタラクション装置をさらに提供する。当該ヒューマンコンピュータインタラクション装置は、受信装置と特定装置と応答レスポンス生成装置とを備え、受信装置は、センサによって取得されたユーザのインタラクション情報を受信し、当該センサは、タッチ方式によってインタラクション情報を取得するセンサを含み、特定装置は、インタラクション情報に対応する応答制御信号を特定し、応答制御信号は、触覚応答制御信号と視覚応答制御信号とを含み、応答レスポンス生成装置は、触覚応答制御信号に基づいて対応する触覚応答レスポンスを生成し、視覚応答制御信号に基づいて対応する視覚応答レスポンスを生成し、触覚応答レスポンスは、触覚を刺激するレスポンス動作をユーザに提供するために用いられ、視覚応答レスポンスは、視認可能なレスポンス動作をユーザに提供するために用いられる。

【0007】

本発明の実施形態は、端末をさらに提供し、上記端末は、少なくとも一つのプロセッサと、少なくとも一つのプロセッサに通信接続されるメモリと、を備え、メモリには、少なくとも一つのプロセッサで実行可能な命令が記憶され、命令が少なくとも一つのプロセッサで実行されることにより、少なくとも一つのプロセッサが上記ヒューマンコンピュータインタラクション方法を実施可能である。

【0008】

本発明の実施形態は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体をさらに提供し、コンピュータプログラムがプロセッサによって実行されるとき、上記ヒューマンコンピュータインタラクション方法が実施される。

【0009】

本発明の実施形態によると、従来技術と比較すると、センサがタッチ方式によってインタラクション情報を取得するため、ユーザのインタラクション情報を取得する速度が速くなると同時に、端末がインタラクション情報にのみ基づいて対応する応答制御信号を特定可能であり、インタラクション情報に対応する応答レスポンスを生成することができるため、ユーザが長時間レスポンスを得ることができなくてインタラクション情報を複数回繰り返して入力する場合が回避され、ユーザの使用の満足度が向上する。また、インタラクション情報に対応する応答レスポンスが触覚と視覚とを組み合わせたレスポンス動作であるため、ユーザが単純なレスポンスに気付かなくて応答レスポンスを無視してしまう場合が回避され、ユーザがインタラクション情報の応答レスポンスを直ちに発見可能であり、ユーザの使用体験が向上する。

【0010】

さらに、触覚応答レスポンスは、振動を含み、視覚応答レスポンスは、可視光の放射を含む。本実施形態は、振動を採用して触覚応答レスポンスを実現し、可視光放射の方式によって視覚応答レスポンスを実現するため、実現方式が??であり、また、ユーザが振動と光とに敏感であり、ユーザが応答レスポンスを発見する確率を向上させる。

【0011】

さらに、センサによって取得されたユーザのインタラクション情報を受信するステップの前に、ヒューマンコンピュータインタラクション方法は、インタラクション情報と応答制御信号との間の対応関係を予め記憶するステップをさらに含む。本実施形態によると、対応関係を予め記憶するため、インタラクション情報に対応する応答制御信号を迅速かつ正確に特定することができ、応答レスポンスの速度を高速化することができる。

【0012】

さらに、インタラクション情報に対応する応答制御信号を特定するステップは、具体的に、インタラクション情報に対応する応答制御信号を対応関係から検索し、検索できた場合に、検索された応答制御信号を取得し、検索できなかった場合に、デフォルトの応答制御信号を採用するステップを含む。本実施形態によると、インタラクション情報に対応する応答制御信号を対応関係から検索できたか否かに関わらず、対応する応答制御信号があるため、インタラクション情報に対応する応答制御信号が対応関係にないことによってレスポンスを行わない場合は回避される。

【0013】

さらに、可視光の放射は、少なくとも一つの光源によるレスポンスで実施される。本実施形態によると、複数の光源が発光する方式を採用するため、発光レスポンスの多様性を提供し、視覚応答レスポンスの柔軟性を強化する。

【0014】

さらに、タッチ方式は、押圧、タッチ、または、タップを含む。本実施形態によると、複数種のタッチ操作を提供する。

【0015】

さらに、センサは、温度センサと光センサと湿度センサとの１つまたは複数の組み合わせをさらに含み、センサが温度センサを含む場合に、温度センサによって取得された温度値は、タッチ方式で取得されたインタラクション情報によって生成された触覚応答レスポンスの強度に比例し、センサが光センサを含む場合に、光センサによって取得された光強度値は、タッチ方式で取得されたインタラクション情報によって生成された視覚応答レスポンスの強度に比例し、センサが湿度センサを含む場合に、湿度センサによって取得された湿度値が所定値に達すると、視覚応答レスポンスには湿度値を反映させるための視覚レスポンスがさらに含まれる。本実施形態によると、組み合わせ可能なセンサのタイプをさらに提供するため、異なるセンサによって取得されたデータに基づいて、異なるレスポンス強度またはタイプを提供するため、レスポンスに対するユーザの識別度を強化する。

【図面の簡単な説明】

【0016】

１つまたは複数の実施例は、それに対応する添付の図面おけるピクチャによって例示的に説明され、これら例示的な説明は実施例に対する限定を構成しなく、図面中で同一の符号を有する要素は、類似する要素を示し、特記しない限り、縮尺の限定を構成しない。

【図1】本発明の第１の実施形態に係るヒューマンコンピュータインタラクション方法の具体的な流れを示す模式図である。

【図2】本発明の第２の実施形態に係るヒューマンコンピュータインタラクション方法の具体的な流れを示す模式図である。

【図3】本発明の第３の実施形態に係るヒューマンコンピュータインタラクション装置の具体的な構成を示す模式図である。

【図4】本発明の第４の実施形態に係る端末の具体的な構成を示す模式図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施例の目的、解決手段及び利点がより明瞭になるように、図面を参照して本発明の各実施形態を詳細に説明する。しかしながら、本発明の各実施形態において、読者に本発明のより良い理解を与えるためにいくつかの技術的細部を提示したことを、当業者は理解すべきである。しかし、これら技術的細部、および、以下の各実施形態に基づくいろんな変化および修正がなくても、本発明が保護請求する解決手段を実現することができる。

【0018】

本発明の第１の実施形態は、ヒューマンコンピュータインタラクション方法に関し、当該ヒューマンコンピュータインタラクション方法は、端末に応用され、たとえば、スマートフォン、スマートタブレット、スマート車載デバイスなどに応用され、当該ヒューマンコンピュータインタラクション方法の具体的な流れは、たとえば、図１に示される。

【0019】

ステップ１０１において、センサによって取得されたユーザのインタラクション情報を受信し、当該センサは、タッチ方式によってインタラクション情報を取得するセンサを含む。

【0020】

具体的に言えば、端末は、センサを介してユーザのインタラクション情報を取得し、センサは、タッチ方式によってインタラクション情報を取得するセンサを含み、たとえば、タッチセンサ、押圧センサなどを含む。センサによって取得されたユーザのタッチ動作が、ユーザのインタラクション情報であり、たとえば、センサがタッチセンサであると想定する場合、センサによって取得されたユーザのタッチ持続時間が２秒であると、ユーザのインタラクション情報は「タッチ持続時間２Ｓ」である。

【0021】

当然ながら、本実施形態において、タッチ方式は、押圧、タッチまたはタップであってもよい。当然のことながら、センサは、ユーザが固定経路に沿ってスライドさせる方式によって入力したインタラクション情報を取得してもよく、具体的には、実際の必要によって設定することができ、本実施形態はタッチ方式に対して限定しない。

【0022】

ステップ１０２において、当該インタラクション情報に対応する応答制御信号を特定し、当該応答制御信号は、触覚応答制御信号と視覚応答制御信号とを含む。

【0023】

具体的に言えば、それぞれのインタラクション情報は、いずれも対応する応答制御信号があり、各種のインタラクション情報がいずれも対応する応答制御信号を有するようにするために、ランダムアルゴリズによって実行可能な応答制御信号をランダムに生成し、当該インタラクション情報と生成した応答制御信号との対応関係を記憶してもよい。インタラクション情報が再度受信されると、まず記憶した対応関係から検索を行い、検索できなかった場合に、対応する実行可能な応答制御信号をランダムに生成し、検索できた場合に、記憶した対応関係中の応答制御信号を取得する。たとえば、Ｔ１時点でインタラクション情報１が取得されたと想定する場合、端末中に当該インタラクション情報１の対応関係が記憶されていないと、対応する応答制御信号Ａをランダムに生成し、インタラクション情報１と制御信号Ａとの対応関係を記憶し、Ｔ２時点でインタラクション情報１が受信されると、記憶した対応関係に基づいて、対応する応答制御信号を応答制御信号Ａとして特定すればよく、応答制御信号をランダムに生成する必要がない。その中、Ｔ１時点は、Ｔ２時点より早い。

【0024】

ステップ１０３において、当該触覚応答制御信号に基づいて対応する触覚応答レスポンスを生成し、視覚応答制御信号に基づいて対応する視覚応答レスポンスを生成し、その中、触覚応答レスポンスは、触覚を刺激するレスポンス動作をユーザに提供するために用いられ、視覚応答レスポンスは、視認可能なレスポンス動作をユーザに提供するために用いられる。

【0025】

具体的に言えば、触覚応答制御信号は、対応する触覚刺激生成モジュールが触覚刺激を生成するように制御するために用いられ、視覚応答制御信号は、対応する視覚刺激生成モジュールが対応する視認可能なレスポンス動作を生成するように制御するために用いられる。その中、触覚応答レスポンスは、振動を含み、視覚応答レスポンスは、可視光の放射を含む。振動は、バイブレータによって発生させ、可視光は、光源によって生成させることができ、異なる触覚応答制御信号は、異なる振動強度に対応し、異なる視覚応答制御信号は、異なる光輝度に対応してもよい。たとえば、触覚応答制御信号１に対応して１０ＨＺの振動を発生し、触覚応答制御信号２に対応して１００ＨＺの振動を発生し、視覚応答制御信号１に対応して１カンデラ／平方メートルの光を発生し、視覚応答制御信号２に対応して２カンデラ／平方メートルの光を発生する。

【0026】

当然ながら、触覚応答レスポンスは、微量の電流を皮膚に通してわずかな電気ショックを生じる触覚刺激、または、特定のモジュールの温度を向上させて熱を発生する触覚刺激などであってもよい。視覚応答レスポンスは、視認可能な画像の生成、または、投影の生成であってもよい。本実施形態は、触覚応答レスポンスと視覚応答レスポンスとに対して限定しなく、具体的には、実際の必要よって選択することができる。

【0027】

触覚応答レスポンスと視覚応答レスポンスとは同時に実行されるべきであり、このようにして、二つの異なる感官刺激によって、インタラクション情報の応答レスポンスに対するユーザの識別度を向上させることを、説明する必要がある。

【0028】

なお、当該可視光のレスポンス動作は少なくとも一つの光源によるレスポンスで実施されてもよい。たとえば、二つの光源、三つの光源などがあってもよい。光源の数が多いほど、視覚応答レスポンスの方式が多くなり、すなわち、異なる光源によって放射される光の組み合わせは、異なる発光効果を生み出す。

【0029】

従来技術と比較すると、センサがタッチ方式によってインタラクション情報を取得するため、ユーザのインタラクション情報を取得する速度が速くなる同時に、端末がインタラクション情報にのみ基づいて対応する応答制御信号が特定し、インタラクション情報に対応する応答レスポンスを生成することができるため、ユーザが長時間レスポンスを得ることができなくてインタラクション情報を複数回繰り返して入力する場合が回避され、ユーザの使用の満足度が向上する。また、インタラクション情報に対応する応答レスポンスが触覚と視覚とを組み合わせたレスポンス動作であるため、ユーザが単純なレスポンスに気付かなくて応答レスポンスを無視してしまう場合が回避され、ユーザがインタラクション情報の応答レスポンスを直ちに発見可能であり、ユーザの使用体験が向上する。

【0030】

本発明の第２の実施形態は、ヒューマンコンピュータインタラクション方法に関し、本実施形態は第１の実施形態をさらに改良したものであり、主な改良点は、本実施形態において、センサによって取得されたユーザのインタラクション情報を受信するステップの前に、インタラクション情報と応答制御信号との間の対応関係を予め記憶するステップを含むことにある。具体的な流れは、たとえば、図２に示される。

【0031】

ステップ２０１において、インタラクション情報と応答制御信号との間の対応関係を予め記憶する。

【0032】

具体的に言えば、エンジニアは、異なるインタラクション情報に対して対応する応答制御信号を設定し、当該設定した対応関係を記憶することができ、たとえば、押圧操作に対して対応する応答制御信号Ａ、タッチ１Ｓの操作に対して対応する応答制御信号Ｂ、連続タップ３回の操作に対して対応する応答制御信号Ｃを設定し、以上の三つの対応関係を記憶することができる。当然ながら、記憶する対応関係は、可能な限り多くあるべきであり、それによって同一の応答制御信号が発生される確率を効果的に低減することができる。対応関係は、端末に直接記憶してもよいし、クラウドまたはサーバ側（端末は、クラウドと通信接続されるか、または、サーバ側と通信接続され、通信接続を介して記憶された対応関係を取得する）に記憶してもよいり、端末にも記憶されており、クラウド（または、サーバ側）にも記憶されてもよく、ここでは限定しなく、具体的には実際の必要よって選択することができることが、理解できる。

【0033】

説明すべきことは、ステップ２０１において、最初にヒューマンコンピュータインタラクションを実行する際にのみ一回実行し、この後にヒューマンコンピュータインタラクション操作を実行する際には当該ステップ２０１を実行しないようにしてもよいし、毎回ユーザのインタラクション情報が受信される前に対応関係を記憶することによって、対応関係を更新してもよい。具体的には、実際の場合によって選択すればよく、本実施形態はこれに対して限定しない。

【0034】

ステップ２０２において、センサによって取得されたユーザのインタラクション情報を受信し、当該センサは、タッチ方式によってインタラクション情報を取得するセンサを含む。

【0035】

ステップ２０３において、当該インタラクション情報に対応する応答制御信号を特定し、当該応答制御信号は、触覚応答制御信号と視覚応答制御信号とを含む。

【0036】

一つの具体的な実現において、インタラクション情報に対応する応答制御信号を対応関係から検索し、検索できた場合に、検索された応答制御信号を取得し、検索できなかった場合に、デフォルトの応答制御信号を採用する。

【0037】

具体的に言えば、記憶されている全ての対応関係をトラバースする方式によって、ユーザのインタラクション情報に対応する応答制御信号を検索してもよい。全ての対応関係をトラバースした後、対応する応答制御信号が検索できなかった場合に、デフォルトの応答制御信号を採用し、検索できた場合に、検索された応答制御信号を取得する。たとえば、三つの対応関係があり、対応関係１は、インタラクション情報Ａが応答制御信号Ａに対応し、対応関係２は、インタラクション情報Ｂが応答制御信号Ｂに対応し、対応関係３は、インタラクション情報Ｃが応答制御信号Ｃに対応し、デフォルトの応答制御信号は、Ｄであると想定する場合、インタラクション情報Ｂが取得され、対応関係をトラバースして、対応関係２中にインタラクション情報Ｂに対応する応答制御信号が検索されると、対応された応答制御信号Ｂを取得し、インタラクション情報Ｅが取得され、三つの対応関係をトラバースして、いずれも対応される応答制御信号が検索されないと、デフォルトの応答制御信号Ｄを採用する。

【0038】

当然ながら、デフォルトの応答制御信号は、事前に記憶するべきであり、同様に、デフォルトの応答制御信号は、端末に記憶されていてもよいし、クラウド（または、サーバ側）されていてもよいし、または、両者ともに記憶されていてもよい。

【0039】

ステップ２０４において、当該触覚応答制御信号に基づいて対応する触覚応答レスポンスを生成し、視覚応答制御信号に基づいて対応する視覚応答レスポンスを生成し、その中、触覚応答レスポンスは、触覚を刺激するレスポンス動作をユーザに提供するために用いられ、視覚応答レスポンスは、視認可能なレスポンス動作をユーザに提供するために用いられる。

【0040】

説明すべきことは、本実施形態におけるステップ２０２およびステップ２０４がそれぞれ第１の実施形態におけるステップ１０１およびステップ１０３と大体同じであり、ここで繰り返して説明しない。

【0041】

なお、端末におけるセンサは、温度センサ、光センサ、および、湿度センサの中の１つまたは複数の組み合わせをさらに含んでもよい。センサが種々なセンサを含む場合、各センサによって取得されたインタラクション情報に基づいて、対応する応答制御信号を共同で特定する必要がある。インタラクション情報に対応する応答制御情報を特定する過程は、ステップ２０３における方法と大体同じである。

【0042】

センサが温度センサをさらに含むと、取得されたインタラクション情報は、タッチ方式で取得されたユーザのインタラクション情報と、温度センサによって取得された温度値と、を含む。同様に、インタラクション情報と応答制御信号との間の対応関係は、タッチによって取得されたインタラクション情報と、温度値と、応答制御信号との三者の間の対応関係である。温度値とタッチ方式で取得されたインタラクション情報によって、応答制御信号を共同で特定し、温度センサによって取得された温度値は、タッチ方式で取得されたインタラクション情報によって生成された触覚応答レスポンスの強度に比例する。たとえば、インタラクション情報Ａとインタラクション情報Ｂとの中にタッチ方式で取得されたインタラクション情報が同一であるが、インタラクション情報Ａ中の温度値がインタラクション情報Ｂ中の温度値よりも大きいと想定する場合、インタラクション情報Ａによって特定された応答制御信号により生成された触覚応答レスポンスの強度は、インタラクション情報Ｂに対応する応答制御信号により生成された触覚応答レスポンスの強度よりも、大きい。

【0043】

センサが光センサをさらに含むと、同様に、このときインタラクション情報は、タッチ方式で取得されたユーザのインタラクション情報と、光センサによって取得された光強度値と、を含む。光センサによって取得された光強度値は、タッチ方式で取得されたインタラクション情報によって生成された視覚応答レスポンスの強度に比例し、すなわち、二つのインタラクション情報中のタッチ方式で取得されたインタラクション情報が同一であるが、光強度値が異なると、光強度値が高い方に対応する応答制御信号により生成された視覚応答レスポンスの強度は、光強度値が低い方に対応する応答制御信号により生成された視覚応答レスポンスの強度よりも、大きい。たとえば、ユーザによって光強度が１カンデラ／平方メートルであるときに端末をタッチしたと想定すると、インタラクション情報に基づいてレスポンスする光強度は２カンデラ／平方メートルであり、ユーザによって光強度が２カンデラ／平方メートルであるとき端末をタッチすると、インタラクション情報に基づいてレスポンスする光強度は４カンデラ／平方メートルである。

【0044】

センサが湿度センサをさらに含む場合、湿度センサによって取得された湿度値が所定値に達すると、視覚応答レスポンス中には湿度値を反映させるための視覚レスポンスがさらに含まれる。具体的に言えば、湿度センサによって端末の周囲環境の湿度が取得され、湿度値が高すぎるか、または、低すぎると、いずれも、端末のレスポンスに影響を及ぼす。したがって、特別の方式によって、ユーザに、周囲環境の湿度に対して注意を促すことができる。たとえば、湿度値の反映は、具体的な湿度値を投影することによって実現してもよいし、または、端末のスクリーン上に湿度値を直接表示してもよい。所定値は、端末に影響を与える湿度の閾値であってもよい。

【0045】

本実施形態におけるヒューマンコンピュータインタラクション方法によると、インタラクション情報と応答制御信号との間の対応関係を予め記憶することによって、応答制御信号を特定する速度を速くして、インタラクション情報に対する端末の応答レスポンス速度を向上させることができる同時し、異なるセンサの組み合わせ方式によって、インタラクション情報に対する端末のレスポンス度を強化させて、周囲環境に基づいて?応用レスポンスを調整して、ユーザがインタラクション情報のレスポンスを快速に発見するようにすることができる。

【0046】

本発明の第３の実施形態は、ヒューマンコンピュータインタラクション装置に関し、当該装置３０は、受信装置３０１と、特定装置３０２と、応答レスポンス生成装置３０３と、を備える。当該装置の具体的な構成は、たとえば、図３に示される。

【0047】

受信装置３０１は、センサによって取得されたユーザのインタラクション情報を受信し、前記センサはタッチ方式によってインタラクション情報を取得するセンサを含み、特定装置３０２は、インタラクション情報に対応する応答制御信号を特定し、前記応答制御信号は触覚応答制御信号と視覚応答制御信号とを含み、応答レスポンス生成装置３０３は、触覚応答制御信号に基づいて対応する触覚応答レスポンスを生成し、視覚応答制御信号に基づいて対応する視覚応答レスポンスを生成する。その中、触覚応答レスポンスは、触覚を刺激するレスポンス動作をユーザに提供するために用いられ、視覚応答レスポンスは、視認可能なレスポンス動作をユーザに提供するために用いられる。

【0048】

具体的に言えば、受信装置３０１は、センサに接続され、特定装置３０２は、受信装置に接続され、応答レスポンス生成装置３０３は、特定装置３０２に接続される。その中、受信装置３０１とセンサとは、有線接続の方式に接続されてもよいし、無線接続の方式によって接続されてもよいが、本実施形態はこれに対して限定しない。

【0049】

本実施形態は、第１の実施形態に対応する装置の実施例であることが明らかであり、本実施形態は第１の実施形態と互いに協働して実施することができる。第１の実施形態で言及した関連技術の細部は、本実施形態においても依然として有効であり、繰り返しを減らすためにここでは再度説明されない。これに応じて、本実施形態で言及される関連技術の細部も、第１の実施形態において応用できる。

【0050】

なお、本実施形態に関する各モジュールは、いずれも、論理モジュールであり、実際の応用において、一つの論理ユニットは一つの物理ユニットであってもよいし、一つの物理ユニットの一部であってもよいし、複数の物理ユニットの組み合わせによって実現されてもよい。なお、本実施形態においては、本発明の革新的な部分を強調するために、本発明で提出する技術問題の解決に密接に関連しないユニットを導入しないが、これは本実施形態において他のユニットが存在しないことを意味しない。

【0051】

本発明の第４の実施形態は、端末に関し、当該端末４０は、少なくとも一つのプロセッサ４０１と、少なくとも一つのプロセッサ４０１に通信接続されるメモリ４０２と、を備え、その中、メモリ４０２には、少なくとも一つのプロセッサ４０１によって実行され得る命令が記憶されており、命令が少なくとも一つのプロセッサ４０１によって実行されることによって、少なくとも一つのプロセッサ４０１が上記ヒューマンコンピュータインタラクション方法を実行することができるようにし、具体的な構成は、たとえば、図４に示される。

【0052】

その中、メモリ４０２とプロセッサ４０１とは、バスの方式を採用して接続され、バスは、任意の数の相互接続されたバスとブリッジとを含み、１つまたは複数のプロセッサ４０１とメモリ４０２の様々な回路とを互いにリンクする。バスは、たとえば、周辺デバイス、電圧調整器、及び、電力管理回路などのような様々な他の回路も一緒にリンクすることができ、これらはすべて当技術分野で周知されるため、本明細書ではこれに対しさらに説明しない。バスインタフェースは、バスとトランシーバとの間でインタフェースを提供する。トランシーバは、一つの要素であってもよいし、複数の要素であってもよく、たとえば、複数の受信機と送信機であってもよく、伝送媒体上で様々な他の装置と通信するユニットを提供する。プロセッサ４０１を通じて処理されたデータは、アンテナを介して無線媒体上で伝送され、また、アンテナは、データを受信してデータをプロセッサ４０１に伝送する。

【0053】

プロセッサ４０１は、バスおよび通常の処理を管理する役割を果たし、タイミング、周辺インタフェース、電圧調整、電力管理、および他の制御機能を含む様々な機能をさらに提供できる。メモリは、プロセッサが操作を実行するときに使用するデータを記憶する。

【0054】

本発明の第５の実施形態は、コンピュータ可読記憶媒体に関し、当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサによって実行されるとき、第１または第２の実施形態において言及されたヒューマンコンピュータインタラクション方法を実施することができる。

【0055】

当業者は、上記実施例の方法における全部または一部のステップの実現は、プログラムが関連するハードウェアを命令して完成することができ、当該プログラムは、一つの記憶媒体中に記憶され、一つのデバイス（ワンチップマイコン、チップなどであってもよい）、または、プロセッサ（ｐｒｏｃｅｓｓｏｒ）が本発明の各実施例に記載の方法の全部または一部のステップを実行するようにするためのいくつかの命令を含むことが理解できる。前述の記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク、または、光ディスクなどの様々な、プログラムコードを記憶できる媒体を含む。

【0056】

当業者であれば、上記各実施形態は、本発明を実現するための具体的な実施例であり、実際の応用において、本発明の精神および範囲から逸脱することなく、形態および細部上で様々な変更を加えることが可能であると理解できる。

【図1】

【図2】

【図3】

【図4】