特表 2023-510407 動作モードの制御方法、装置、機器、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-13

(54)【発明の名称】動作モードの制御方法、装置、機器、及び記憶媒体

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230306BHJP

   G06F 3/0484 20220101ALI20230306BHJP

   G06F 3/038 20130101ALI20230306BHJP

【ＦＩ】

G06F3/01 510

G06F3/0484

G06F3/038 310A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022543465

(86)(22)【出願日】2021-01-05

(85)【翻訳文提出日】2022-07-15

(86)【国際出願番号】 CN2021070326

(87)【国際公開番号】W WO2021143582

(87)【国際公開日】2021-07-22

(31)【優先権主張番号】202010047041.1

(32)【優先日】2020-01-16

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521063764

【氏名又は名称】北京七▲しん▼易維信息技術有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ７ＩＮＶＥＮＳＵＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ５０７，Ｕｎｉｔ １，Ｆｌｏｏｒ ４，Ｂｕｉｌｄｉｎｇ ２，Ｎｏ．７ Ｙａｒｄ，Ｌｉｑｉｎｇ Ｒｏａｄ，Ｃｈａｏｙａｎｇ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １００１０７（ＣＮ）

(74)【代理人】

【識別番号】100142365

【弁理士】

【氏名又は名称】白井 宏紀

(72)【発明者】

【氏名】林哲

(72)【発明者】

【氏名】聶雪松

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA01

5B087AA09

5B087AD00

5B087AE09

5B087BC32

5B087CC33

5B087DD02

5E555AA04

5E555AA15

5E555BA01

5E555BA38

5E555BB01

5E555BB38

5E555BC04

5E555BC07

5E555BE08

5E555CA02

5E555CA12

5E555CA18

5E555CA42

5E555CB05

5E555CB14

5E555CB20

5E555CB33

5E555CB65

5E555CC01

5E555CC03

5E555DB04

5E555DB20

5E555DC13

5E555DD01

5E555EA14

5E555EA22

5E555FA00

(57)【要約】

本発明の実施例は、動作モードの制御方法、装置、機器及び記憶媒体を開示する。当該方法は、機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定するステップと、前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定するステップと、前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御するステップと、を含む。ユーザの眼部特徴を決定することによってユーザの眼部キャプチャ状態を決定し、眼部状態に基づいて動作モードの実行状態を制御するため、手動操作で動作モードの変更を完了する必要がなくなり、操作が簡単である。眼部状態によって動作モードを制御することにより、動作モードを自動的に調整することができ、誤接触を効果的に回避することができる。

【特許請求の範囲】

【請求項1】

機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定するステップと、
前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定するステップと、
前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御するステップと、
を含む動作モードの制御方法。

【請求項2】

前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定する前記ステップは、
前記眼部特徴に基づいてユーザの現在の目の状態と直前の目の状態との比較結果が設定条件を満たすと識別した場合、前記ユーザに対する眼部キャプチャ状態が正常な眼部キャプチャであると決定し、そうでなければ、前記ユーザに対する眼部キャプチャ状態が異常な眼部キャプチャであると決定するステップ
を含む請求項１に記載の方法。

【請求項3】

前記設定条件は、現在の目の状態における現在の目の数が直前の目の状態における直前の目の数と同じことである、請求項２に記載の方法。

【請求項4】

前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御する前記ステップは、
前記眼部キャプチャ状態が正常な眼部キャプチャである場合、前記動作モードが正常に実行されていると決定し、前記動作モードが実行し続けるように制御するステップと、
前記眼部キャプチャ状態が異常な眼部キャプチャである場合、前記異常な眼部キャプチャの異常類型を決定し、前記異常類型と予め設定された時間に基づき、前記動作モードの状態調整を制御するステップと、
を含む請求項３に記載の方法。

【請求項5】

前記異常な眼部キャプチャの異常類型を決定する前記ステップは、
前記現在の目の状態における現在の開閉状態が両眼を閉じていると決定した場合、前記異常な眼部キャプチャの異常類型は両眼閉じであると決定するステップと、
前記現在の目の状態における現在の開閉状態が右眼を閉じていると決定した場合、前記異常な眼部キャプチャの異常類型は右眼閉じであると決定するステップと、
前記現在の目の状態における現在の開閉状態が左眼を閉じていると決定した場合、前記異常な眼部キャプチャの異常類型は左眼閉じであると決定するステップ
を含む請求項４に記載の方法。

【請求項6】

前記異常類型と予め設定された時間に基づき、前記動作モードの状態調整を制御する前記ステップは、
前記異常類型が両眼閉じであって、持続時間が前記予め設定された時間よりも長い場合、前記動作モードを第１動作モードとし、第１制御ポリシーを用いて前記第１動作モードの状態調整を制御するステップと、
異常類型が右眼閉じであって、持続時間が前記予め設定された時間よりも長いと決定した場合、前記動作モードを第２動作モードとし、第２制御ポリシーを用いて前記第２動作モードの状態調整を制御するステップと、
異常類型が左眼閉じであって、持続時間が前記予め設定された時間よりも長いと決定した場合、前記動作モードを第３動作モードとし、第３制御ポリシーを用いて前記第３動作モードの状態調整を制御するステップと、
を含む請求項４又は５に記載の方法。

【請求項7】

第１制御ポリシーを用いて前記第１動作モードの状態調整を制御する前記ステップは、
前記第１動作モードが校正動作モードである場合、前記校正動作モードを終了する状態調整を実行するように制御するステップと、
前記第１動作モードが校正動作モードではない場合、当該校正動作モードではない第１動作モードを終了し且つ関連する第１の予め設定された動作モードを起動する状態調整を実行するように制御するステップと、
を含む請求項６に記載の方法。

【請求項8】

第２制御ポリシーを用いて前記第２動作モードの状態調整を制御する前記ステップは、
前記第２動作モードが校正動作モードである場合、前記校正動作モードを終了する状態調整を実行するように制御するステップと、
前記第２動作モードが校正動作モードではない場合、前記第２動作モードを終了し且つ関連する第２の予め設定された動作モードを起動する状態調整を実行するように制御するステップと、
を含む請求項６に記載の方法。

【請求項9】

第３制御ポリシーを用いて前記第３動作モードの状態調整を制御する前記ステップは、
前記第３動作モードが校正動作モードである場合、前記校正動作モードを終了する動作状態調整を実行するように制御するステップと、
前記第３動作モードが校正動作モードではない場合、前記第３動作モードから関連する第３の予め設定された動作モードに切り替える状態調整を実行するように制御するステップと、
を含む請求項６に記載の方法。

【請求項10】

トリガにより生成された制御停止コマンドを受信すると、前記動作モードが現在の実行状態を終了するように制御するステップ
をさらに含む請求項１に記載の方法。

【請求項11】

前記制御停止コマンドは、ユーザが機能オプション領域をクリックするか、又は、キーボードのキーを押すことによってトリガして生成される請求項１０に記載の方法。

【請求項12】

機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定する取得モジュールと、
前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定する状態決定モジュールと、
前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御する制御モジュールと、
を含む動作モードの制御装置。

【請求項13】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶する記憶装置と、
を含む機器であって、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに請求項１～１１のいずれか１項に記載の動作モードの制御方法を実現させる、
機器。

【請求項14】

プロセッサによって実行されると、請求項１～１１のいずれか一項に記載の動作モードの制御方法を実現するコンピュータプログラムが記憶されたコンピュータ読取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、アイトラッキングの技術分野に関し、特に、動作モードの制御方法、装置、機器、及び記憶媒体に関する。

【背景技術】

【0002】

アイトラッカーの動作原理としては、機械にある赤外線ランプが人の眼を能動的に照射してスポットを形成し、高速カメラが人の目の画像を撮影し、アルゴリズムにより目の特徴を抽出し、数学モデルに基づき注視方向及び注視点を生成することにより、ユーザが目の動作によってコンピュータのマウスを制御する機械を実現するものである。

【0003】

アイトラッカーによってコンピュータのマウスを制御する場合、機器は異なるユーザを「認識」しないため、使用前に「校正」操作を行う必要がある。このステップにより現在のユーザが現在の位置条件で使用する校正パラメータを決定し、それによりユーザは目によるマウス操作をスムーズに実現することができる。ユーザが干渉を受けずに校正を完了させるために、実際の使用過程において、「校正」機能を起動する時、アイコントロールアプリケーションの他の機能は「一時停止」状態にある。ユーザが校正を完了すると、ソフトウェアは校正結果に基づいて校正パラメータを更新し、ユーザは新たな校正パラメータを利用して、アイコントロールによるインタラクション操作を継続する。

【0004】

しかしながら、実際の使用においては、メニューに慣れていないか、又は、誤操作を行ったため、ユーザが校正ウィンドウを意図せずに起動させてしまうと、校正のガイドに従ってマルチポイント校正を完了させてから、アイコントロール操作を行うことしかできない。図１はアイトラッカーを使用する操作フローの概略図を提供する。カメラを起動した後に校正ポイントを収集し、校正係数を利用してアイコントロールアプリケーションを実行するが、校正ボタンを誤ってトリガした場合、校正ポイントを再収集し、新たな校正係数を利用してアイコントロールアプリケーションを実行することになる。校正ポイントが９つであることを例示にした場合、各ポイントを収集する時間が平均１．５秒であれば、校正結果を算出する時間を加えると、校正フローの全体は１５秒を超えてしまう。単に、使用する過程で、ユーザが誤操作で校正操作を起動したため、１５秒を越えた時間を待たなければアイコントロールアプリケーションを継続して実行することができず、これは非常に不合理な設定であり、ユーザの使用体験に深刻な影響を及ぼし、ユーザの時間を無駄にする。また、ユーザがコンピュータを使用する時に、目がディスプレイから長時間離れると、ディスプレイはユーザの操作インタフェースの表示を保持し続け、この時誤接触により不必要なインタフェースを開く可能性がある。さらに、インタフェースの切り替えが手動操作のみにより実現され、体が不自由な人は操作できず、ユーザ体験に影響を及ぼす。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例の少なくとも一部は、動作モードの制御を実現する動作モードの制御方法、装置、機器、及び記憶媒体を提供する。

【課題を解決するための手段】

【0006】

本発明の一実施例は、
機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定するステップと、前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定するステップと、前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御するステップと、
を含む動作モードの制御方法を提供する。

【0007】

本発明の一実施例は、さらに、
機器の現在実行中の動作モードを取得し、且つユーザの眼部特徴を決定する取得モジュールと、前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定する状態決定モジュールと、前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御する制御モジュールと、
を含む動作モードの制御装置を提供する。

【0008】

本発明の一実施例は、さらに、
１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶する記憶装置と、を含む機器であって、前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに本発明の実施例のいずれかに記載の動作モードの制御方法を実現させる、
機器を提供する。

【0009】

本発明の一実施例は、さらに、
プロセッサによって実行されると、本発明の実施例のいずれかに記載の動作モードの制御方法を実現するコンピュータプログラムが記憶されたコンピュータ読取り可能な記憶媒体を提供する。

【発明の効果】

【0010】

本発明の少なくとも一部の実施例は、機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定するステップと、前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定するステップと、前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御するステップと、によるものである。ユーザの眼部特徴を決定することによってユーザの眼部キャプチャ状態を決定し、眼部状態に基づいて動作モードの実行状態を制御するため、手動操作で動作モードの変更を完了する必要がなくなり、操作が簡単である。眼部状態によって動作モードを制御することにより、動作モードを自動的に調整することができ、誤接触を効果的に回避することができる。

【図面の簡単な説明】

【0011】

【図1】図１は従来技術におけるアイトラッカーを使用する操作フローチャートである。

【図2】図２は本発明の実施例１に係る動作モードの制御方法のフローチャートである。

【図3】図３は本発明の実施例２に係る動作モードの制御方法のフローチャートである。

【図4】図４は本発明の実施例２に係る第１動作モードにおける状態調整方法のフローチャートである。

【図5】図５は本発明の実施例２に係る第２動作モードにおける状態調整方法のフローチャートである。

【図6】図６は本発明の実施例２に係る第３動作モードにおける状態調整方法のフローチャートである。

【図7】図７は本発明の実施例３に係る動作モードの制御装置の構造ブロック図である。

【図8】図８は本発明の実施例４に係る機器の構造概略図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しなら、実施例とともに本発明をさらに説明する。ここで記載される具体的な実施例は、単に本発明を解釈するためのものとして、本発明を不当に限定することは、理解できるだろう。なお、説明の便宜上、すべての構成ではなく、図面には本発明と関連する部分のみが図示されている。

【0013】

（実施例１）
図２は本発明の実施例１に係る動作モードの制御方法のフローチャートであり、本実施例は動作モードを制御する場合に適用され、この方法は動作モードの制御装置によって実行されることができ、具体的にはステップ１１～ステップ１３を含む。

【0014】

ステップ１１では、機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定する。

【0015】

ここで、現在実行中の動作モードとは、具体的には機器の現在時刻における動作モードであると理解することができ、動作モードは様々な異なるモードを有することができ、アイトラッカーは校正モード及び正常使用モードを有していてもよく、コンピュータは娯楽モード、タイピングモード、休憩モード等の状況に応じて設定された異なるモードを有してもよい。ユーザの眼部特徴とは、具体的には、収集されたディスプレイにおけるユーザの眼部であると理解することができ、ユーザの眼部の状況に基づいてユーザの眼部特徴を決定する。

【0016】

具体的には、ユーザの眼部特徴を決定する方法はカメラで撮影し、撮影したユーザの顔画像を画像アルゴリズムで識別し、ユーザの眼部特徴を識別するものであってもよい。ユーザの眼部特徴は、複数の状況を含み、ユーザの両眼を含む眼部特徴、又はユーザの左目のみの眼部特徴、又はユーザの右目のみの眼部特徴であってもよい。眼部特徴は、ユーザの両目の眼部特徴、ユーザの左目の眼部特徴、ユーザの右目の眼部特徴を含むが、これらに限定されない。

【0017】

ステップ１２では、前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定する。

【0018】

ここで、眼部キャプチャ状態とは、具体的には現在のディスプレイにおけるユーザの眼部の状態状況であると理解することができ、決定された眼部特徴に基づいてユーザの眼部の状態を決定する。

【0019】

具体的には、ユーザの眼部キャプチャ状態は実際の状況に応じて異なる種類に分けられ、ユーザの眼部特徴に基づいてユーザの現在の眼部が属する眼部状態の種類を決定する。

【0020】

ステップ１３では、前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御する。

【0021】

具体的には、異なる眼部キャプチャ状態に基づいて、動作モードの実行状態に対して対応する調整を行う。例えば、実行状態に対して行う対応する調整とは、現在の動作モードを終了して休憩モード、娯楽モード、又はタイピングモードに移行することであってもよく、現在の動作モードを維持したまま実行し続けることであってもよい。

【0022】

本発明の実施例は、機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定するステップと、前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定するステップと、前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御するステップと、によるものである。ユーザの眼部特徴を決定することによってユーザの眼部キャプチャ状態を決定し、眼部状態に基づいて動作モードの実行状態を制御するため、手動操作で動作モードの変更を完了する必要がなくなり、操作が簡単である。眼部状態によって動作モードを制御することにより動作モードを自動的に調整することができ、誤接触を効果的に回避することができる。

【0023】

（実施例２）
図３は本発明の実施例２に係る動作モードの制御方法のフローチャートを提供する。本実施例の技術的解決手段は、上記の技術的解決手段を基礎としてさらに細分化され、具体的には、主にステップ２１～ステップ２５を含む。

【0024】

ステップ２１では、機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定する。

【0025】

任意選択的に、ユーザの眼部特徴を決定する方法は、眼部画像における上下のまぶた間の距離を検出することによって決定するものであってもよく、具体的には、ユーザの眼部画像において上まぶたの最高点と下まぶたの最低点を検出し、最高点と最低点との間の距離を算出し、この距離が予め設定された値よりも大きい場合、ユーザの眼部特徴として、目を検出したか、又は、ユーザが目を開いていると決定し、この距離が予め設定された値よりも小さい場合、眼を検出できないか、又は、ユーザが眼を閉じていると決定する。ここで、予め設定された値は、具体的な精度要件及び機器の精度に基づいて設定されるが、本発明においては限定しない。

【0026】

ステップ２２では、前記眼部特徴に基づいてユーザの現在の目の状態と直前の目の状態との比較結果が設定条件を満たすと識別した場合、前記ユーザに対する眼部キャプチャ状態が正常な眼部キャプチャであると決定し、そうでなければ、前記ユーザに対する眼部キャプチャ状態が異常な眼部キャプチャであると決定する。

【0027】

ここで、現在の目の状態とは、具体的にはユーザの現在時刻における目の数であると理解することができ、直前の目の状態とは、具体的にはユーザの直前の時刻における目の数であると理解することができる。設定条件は、具体的には目の状態に基づいて予め設定された条件であると理解することができ、ユーザの目の状態を判断するために用いられる。前記設定条件は、現在の目の状態における現在の目の数が直前の目の状態における直前の目の数と同じことである。現在の目の数とは、具体的には現在時刻に収集されたユーザの目の数であると理解することができ、直前の目の数とは、具体的には直前の時刻に収集されたユーザの目の数であると理解することができる。正常な眼部キャプチャとは、具体的には現在の目の数が直前の目の数と同じである時の目の状態であると理解することができ、異常な眼部キャプチャとは、具体的には現在の目の数が直前の目の数と異なる時の目の状態であると理解することができる。

【0028】

具体的には、アイトラッカーがユーザの眼部を監視する際、ユーザの眼部特徴に基づいてユーザの現在の目の状態と直前の目の状態との比較結果を識別し、現在の目の数が直前の目の数と同じである場合、ユーザの眼部キャプチャ状態は正常な眼部キャプチャであり、現在の目の数と直前の目の数が異なる場合、ユーザの眼部キャプチャ状態は異常な眼部キャプチャである。

【0029】

ステップ２３では、前記眼部キャプチャ状態が正常な眼部キャプチャである場合、前記動作モードが正常に実行されていると決定し、前記動作モードが実行し続けるように制御する。

【0030】

具体的には、眼部キャプチャ状態が正常な眼部キャプチャである場合、アイトラッカー又はコンピュータの動作モードは変化せず、現在の動作モードを実行し続け、例えば、現在の動作モードがゲームインタフェースであれば、ゲームインタフェースを実行し続ける。

【0031】

ステップ２４では、前記眼部キャプチャ状態が異常な眼部キャプチャである場合、前記異常な眼部キャプチャの異常類型を決定し、前記異常類型と予め設定された時間に基づき、前記動作モードの状態調整を制御する。ここで、予め設定された時間とは、具体的には実際のニーズに応じて予め設定された時間と理解することができ、動作モードの状態調整を制御するために用いられ、例えば５秒、７秒等であってもよい。

【0032】

具体的には、異常な眼部キャプチャは複数の異常類型に分けられ、異なる異常類型と予め設定された時間との組み合わせに基づき動作モードの状態を制御することで、異なる調整を行うことができる。

【0033】

選択可能な実施例において、異常類型を決定するステップは、前記現在の目の状態における現在の開閉状態が両眼を閉じていると決定した場合、前記異常な眼部キャプチャの異常類型は両眼閉じであると決定するステップと、前記現在の目の状態における現在の開閉状態が右眼を閉じていると決定した場合、前記異常な眼部キャプチャの異常類型は右眼閉じであると決定するステップと、前記現在の目の状態における現在の開閉状態が左眼を閉じていると決定した場合、前記異常な眼部キャプチャの異常類型は左眼閉じであると決定するステップと、を含む。

【0034】

具体的には、現在の目の状態は、目の閉じ状況に応じて、両眼閉じ、右眼閉じ、及び左眼閉じに分けることができ、異なる状況は異なる異常類型に対応する。

【0035】

選択可能な実施例において、前記異常類型と予め設定された時間に基づき、前記動作モードの状態調整を制御する前記ステップは、前記異常類型が両眼閉じであって、持続時間が前記予め設定された時間よりも長い場合、前記動作モードを第１動作モードとし、第１制御ポリシーを用いて前記第１動作モードの状態調整を制御するステップと、異常類型が右眼閉じであって、持続時間が前記予め設定された時間よりも長いと決定した場合、前記動作モードを第２動作モードとし、第２制御ポリシーを用いて前記第２動作モードの状態調整を制御するステップと、異常類型が左眼閉じであって、持続時間が前記予め設定された時間よりも長いと決定した場合、前記動作モードを第３動作モードとし、第３制御ポリシーを用いて前記第３動作モードの状態調整を制御するステップと、を含む。

【0036】

ここで、第１動作モードは、具体的には異常類型が両眼閉じであって、持続時間が前記予め設定された時間よりも長い場合における現在の動作モードであると理解することができ、第１制御ポリシーは、具体的には、第１動作モードの状態調整を制御するポリシーであると理解することができる。第２動作モードは、具体的には異常類型が右眼閉じであって、持続時間が前記予め設定された時間よりも長い場合における現在の動作モードであると理解することができ、第２制御ポリシーは、具体的には、第２動作モードの状態調整を制御するポリシーであると理解することができる。第３動作モードは、具体的には異常類型が左眼閉じであって、持続時間が前記予め設定された時間よりも長い場合における現在の動作モードであると理解することができ、第３制御ポリシーは、具体的には、第３動作モードの状態調整を制御するポリシーであると理解することができる。

【0037】

具体的には、ユーザの両眼が閉じられ且つ持続時間が前記予め設定された時間よりも長いことを検出した場合、現在の動作モードを第１動作モードとして記録し、第１制御ポリシーによって第１動作モードの状態調整を制御する。ユーザの右眼が閉じられ且つ持続時間が前記予め設定された時間よりも長いことを検出した場合、現在の動作モードを第２動作モードとして記録し、第２制御ポリシーによって第２動作モードの状態調整を制御する。ユーザの左眼が閉じられ且つ持続時間が前記予め設定された時間よりも長いことを検出した場合、現在の動作モードを第３動作モードとして記録し、第３制御ポリシーによって第３動作モードの状態調整を制御する。

【0038】

選択可能な実施例において、図４は第１動作モードにおける状態調整方法のフローチャートを提供し、第１制御ポリシーを用いて前記第１動作モードの動作状態調整を制御する態様は、具体的にステップ２４１１～ステップ２４１２を含む。

【0039】

ステップ２４１１では、前記第１動作モードが校正動作モードである場合、前記校正動作モードを終了する状態調整を実行するように制御する。

【0040】

ここで、校正動作モードとは、具体的には視線校正の動作モードであると理解することができる。

【0041】

具体的には、第１動作モードが校正動作モードである場合、校正動作モードの状態調整とは校正動作モードを終了することである。

【0042】

ステップ２４１２では、前記第１動作モードが校正動作モードではない場合、前記校正動作モードではない動作モードを終了し且つ関連する第１の予め設定された動作モードを起動する状態調整を実行するように制御する。

【0043】

ここで、校正動作モードではない動作モードとは、具体的には例えば、娯楽モード、タイピングモード、休憩モード、ブラウジング等の、視線校正動作モード以外の動作モードであると理解することができる。第１の予め設定された動作モードとは、具体的には、例えば、娯楽モード、タイピングモード、休憩モード、ブラウジングモード等の、第１動作モードに対応して予め設定された動作モードであると理解することができるが、第１動作モードと第１の予め設定された動作モードは異なる。

【0044】

具体的には、第１動作モードが校正動作モードではない場合、動作モードの調整とは現在の動作モードを終了し、第１の予め設定された動作モードを起動することである。本発明の実施例においては、現在の動作モードを終了し、第１の予め設定された動作モードを起動するようにしてもよいし、現在の動作モードを終了せず、インタフェースのみを第１の予め設定された動作モードに切り替えるように設定してもよい。

【0045】

選択可能な実施例において、図５は第２動作モードにおける状態調整方法のフローチャートを示し、第２制御ポリシーを用いて前記第２動作モードの状態調整を制御する前記態様は、具体的にステップ２４２１～ステップ２４２２を含む。

【0046】

ステップ２４２１では、前記第２動作モードが校正動作モードである場合、前記校正動作モードを終了する状態調整を実行するように制御する。

【0047】

具体的には、第２動作モードが校正動作モードである場合、校正動作モードの状態調整とは校正動作モードを終了することである。

【0048】

ステップ２４２２では、前記第２動作モードが校正動作モードではない場合、前記第２動作モードを終了し且つ関連する第２の予め設定された動作モードを起動する状態調整を実行するように制御する。

【0049】

ここで、第２の予め設定された動作モードとは、具体的には第２動作モードに対応して予め設定された動作モードであると理解することができる。例えば、娯楽モード、タイピングモード、休憩モード、ブラウジングモード、スクリーンセーバーモード等であってもよいが、第２動作モードと第２の予め設定された動作モードは異なる。

【0050】

具体的には、第２動作モードが校正動作モードではない場合、動作モードの調整とは現在の動作モードを終了し、第２の予め設定された動作モードを起動することである。本発明の実施例においては、現在の動作モードを終了し、第２の予め設定された動作モードを起動するようにしてもよいし、現在の動作モードを終了せず、インタフェースのみを第２の予め設定された動作モードに切り替えるように設定してもよい。

【0051】

選択可能な実施例において、図６は第３動作モードにおける状態調整方法のフローチャートを示し、第３制御ポリシーを用いて前記第３動作モードの状態調整を制御する前記態様は、具体的に、ステップ２４３１～ステップ２４３２を含む。

【0052】

ステップ２４３１では、前記第３動作モードが校正動作モードである場合、前記校正動作モードを終了する動作状態調整を実行するように制御する。

【0053】

具体的には、第３動作モードが校正動作モードである場合、校正動作モードの状態調整とは校正動作モードを終了することである。

【0054】

ステップ２４３２では、前記第３動作モードが校正動作モードではない場合、前記第３動作モードから関連する第３の予め設定された動作モードに切り替える状態調整を実行するように制御する。

【0055】

ここで、第３の予め設定された動作モードとは、具体的には第３動作モードに対応して予め設定された動作モードであると理解することができる。例えば、娯楽モード、タイピングモード、休憩モード、ブラウジングモード、スクリーンセーバーモード等であってもよいが、第３動作モードと第３の予め設定された動作モードは異なる。

【0056】

具体的には、第３動作モードが校正動作モードではない場合、動作モードの調整とは現在の動作モードから第３の予め設定された動作モードに切り替え、現在の動作モードをバックグラウンドで実行させることである。本発明の実施例においては、第３の予め設定された動作モードに切り替えてもよく、現在の動作モードを終了し、第３の予め設定された動作モードを起動するように設定してもよい。

【0057】

ステップ２５では、トリガにより生成された制御停止コマンドを受信すると、前記動作モードが現在の実行状態を終了するように制御する。

【0058】

ここで、制御停止コマンドとは、具体的には現在の動作モードが実行を停止するように制御するトリガコマンドであると理解することができる。前記制御停止コマンドは、ユーザが機能オプション領域をクリックするか、又は、キーボードのキーを押すことによりトリガして生成される。機能オプション領域とは、具体的にはアイトラッカー又はコンピュータの表示スクリーンが機能に応じて分割された異なる領域であると理解することができる。例えば、アイトラッカーの表示スクリーンを左右２つの部分に分割することができ、左側の部分を注視領域とし、右側の部分をメインメニュー領域として、設定、開始、終了等の機能キーを含むことができる。具体的には、ユーザは機能オプション領域をクリックするか、又は、キーボードのキーを押すことによってトリガして制御停止コマンドを生成し、コンピュータプロセッサは制御停止コマンドを受信すると、動作モードが現在の実行状態を終了するように制御する。例えば、動作モードが校正動作モードである場合、機能オプション領域をクリックするか、又は、キーボードのキーを押すことで、校正動作モードを終了させることができる。

【0059】

機能オプション領域をクリックするか、又は、キーボードのキーを押すことによって、動作モードを終了させることができ、アイトラッカーをコンピュータに接続するユーザにとって、校正を停止しようとする場合、キーボードのショートカットキー又はｅｓｃキーを押して校正を中断することができる。タブレットパソコンでマウスに接続するユーザにとっては、校正を停止しようとする場合、マウスで校正領域をクリックして校正を中断することができる。タブレットパソコンを使用し、外部機器には接続していないユーザにとっては、校正を停止しようとする場合、タブレットパソコンのディスプレイにおける校正領域をタッチして校正を中断することができる。体の動きが制限されているユーザにとっては、目を閉じることによって（片方を閉じるか、両方を閉じるかは、ソフトウェアの実際の設定に基づいて決定することができる）、校正フローを一定時間中断すれば、校正ウィンドウを閉じることができる。コンピュータ等の機器については、同様の方法で動作モードの終了又は中断を実現することができる。

【0060】

ユーザが目を閉じて休息して現在の動作モードを終了又は中断した場合、ユーザが再び眼を開いた時に新たなアプリケーションインタフェースにおいて引き続きコンピュータディスプレイを目で制御して操作することができ、ユーザが眼を閉じて休息する直前の動作モードに復帰することもできる。どのように設定するかはユーザが自ら決定する。

【0061】

本発明の実施例は、機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定するステップと、前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定するステップと、前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御するステップと、によるものである。手動操作で動作モードの変更を完了する必要がなくなり、操作が簡単である。眼部状態によって動作モードを制御することにより動作モードを自動的に調整することができ、誤接触を効果的に回避することができる。

【0062】

（実施例３）
図７は本発明の実施例３に係る動作モードの制御装置の構造ブロック図を示し、この装置は、取得モジュール３１と、状態決定モジュール３２と、制御モジュール３３と、を含む。

【0063】

ここで、取得モジュール３１は、機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定し、状態決定モジュール３２は、前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定し、制御モジュール３３は、前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御する。

【0064】

本発明の実施例は、機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定するステップと、前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定するステップと、前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御するステップと、によるものである。ユーザの眼部特徴を決定することによってユーザの眼部キャプチャ状態を決定し、眼部状態に基づいて動作モードの実行状態を制御し、手動操作で動作モードの変更を完了する必要がなくなり、操作が簡単である。眼部状態によって動作モードを制御することにより動作モードを自動的に調整することができ、誤接触を効果的に回避することができる。

【0065】

選択可能な実施例において、状態決定モジュール３２は、さらに、前記眼部特徴に基づいてユーザの現在の目の状態と直前の目の状態との比較結果が設定条件を満たすと識別した場合、前記ユーザに対する眼部キャプチャ状態が正常な眼部キャプチャであると決定し、そうでなければ、前記ユーザに対する眼部キャプチャ状態が異常な眼部キャプチャであると決定する。

【0066】

選択可能な実施例において、前記設定条件は、現在の目の状態における現在の目の数が直前の目の状態における直前の目の数と同じことである。

【0067】

選択可能な実施例において、制御モジュール３３は、さらに、
前記眼部キャプチャ状態が正常な眼部キャプチャである場合、前記動作モードが正常に実行されていると決定し、前記動作モードが実行し続けるように制御する継続実行ユニットと、
前記眼部キャプチャ状態が異常な眼部キャプチャである場合、前記異常な眼部キャプチャの異常類型を決定し、前記異常類型と予め設定された時間に基づき、前記動作モードの状態調整を制御する調整ユニットと、
を含む。

【0068】

選択可能な実施例において、前記異常な眼部キャプチャの異常類型を決定する前記態様は、前記現在の目の状態における現在の開閉状態が両眼を閉じていると決定した場合、前記異常な眼部キャプチャの異常類型は両眼閉じであると決定するステップと、前記現在の目の状態における現在の開閉状態が右眼を閉じていると決定した場合、前記異常な眼部キャプチャの異常類型は右眼閉じであると決定するステップと、前記現在の目の状態における現在の開閉状態が左眼を閉じていると決定した場合、前記異常な眼部キャプチャの異常類型は左眼閉じであると決定するステップと、を含んでもよい。

【0069】

選択可能な実施例において、前記異常類型と予め設定された時間に基づき、前記動作モードの状態調整を制御する前記態様は、前記異常類型が両眼閉じであって、持続時間が前記予め設定された時間よりも長い場合、前記動作モードを第１動作モードとし、第１制御ポリシーを用いて前記第１動作モードの状態調整を制御するステップと、異常類型が右眼閉じであって、持続時間が前記予め設定された時間よりも長いと決定した場合、前記動作モードを第２動作モードとし、第２制御ポリシーを用いて前記第２動作モードの状態調整を制御するステップと、異常類型が左眼閉じであって、持続時間が前記予め設定された時間よりも長いと決定した場合、前記動作モードを第３動作モードとし、第３制御ポリシーを用いて前記第３動作モードの状態調整を制御するステップと、を含んでもよい。

【0070】

選択可能な実施例において、第１制御ポリシーを用いて前記第１動作モードの動作状態調整を制御する前記態様は、前記第１動作モードが校正動作モードである場合、前記校正動作モードを終了する状態調整を実行するように制御するステップと、前記第１動作モードが校正動作モードではない場合、当該校正動作モードではない第１動作モードを終了し且つ関連する第１の予め設定された動作モードを起動する状態調整を実行するように制御するステップと、を含んでもよい。

【0071】

選択可能な実施例において、第２制御ポリシーを用いて前記第２動作モードの状態調整を制御する前記態様は、前記第２動作モードが校正動作モードである場合、前記校正動作モードを終了する状態調整を実行するように制御するステップと、前記第２動作モードが校正動作モードではない場合、前記第２動作モードを終了し且つ関連する第２の予め設定された動作モードを起動する状態調整を実行するように制御するステップと、を含んでもよい。

【0072】

選択可能な実施例において、第３制御ポリシーを用いて前記第３動作モードの状態調整を制御する前記態様は、前記第３動作モードが校正動作モードである場合、前記校正動作モードを終了する動作状態調整を実行するように制御するステップと、前記第３動作モードが校正動作モードではない場合、前記第３動作モードから関連する第３の予め設定された動作モードに切り替える状態調整を実行するように制御するステップと、含んでもよい。

【0073】

選択可能な実施例において、当該装置は、トリガにより生成された制御停止コマンドを受信すると、前記動作モードが現在の実行状態を終了するように制御する受信モジュールをさらに含む。

【0074】

選択可能な実施例において、前記制御停止コマンドはユーザが機能オプション領域をクリックするか、又は、キーボードのキーを押すことによってトリガして生成される。

【0075】

本発明の実施例による動作モードの制御装置は、本発明の任意の実施例による動作モードの制御方法を実行することができ、実行される方法に対応する機能モジュール及び有益な効果を有する。

【0076】

（実施例４）
図８は本発明の実施例４に係る機器の構造概略図であり、図８に示すように、この機器は、プロセッサ４０と、メモリ４１と、入力装置４２と、出力装置４３と、を含む。機器におけるプロセッサ４０の数は１つ又は複数であってもよく、図８においては１つのプロセッサ４０を例とする。装置におけるプロセッサ４０、メモリ４１、入力装置４２、出力装置４３は、バス又は他の方式で接続することができ、図８においてはバスを介した接続を例とする。

【0077】

メモリ４１はコンピュータ読取り可能な記憶媒体として、ソフトウェアプログラムやコンピュータ実行可能なプログラムやモジュール、例えば本発明の実施例における動作モードの制御方法に対応するプログラムコマンド／モジュール（例えば、動作モードの制御装置における取得モジュール３１、状態決定モジュール３２、制御モジュール３３）を記憶するために用いられる。プロセッサ４０は、メモリ４１に記憶されたソフトウェアプログラムやコマンドやモジュールを実行することにより、機器の各種の機能アプリケーション及びデータ処理を実行し、すなわち、上述した動作モードの制御方法を実現する。

【0078】

メモリ４１は、主にプログラム記憶領域及びデータ記憶領域を含むことができ、そのうち、プログラム記憶領域はオペレーティングシステムと、機能に必要な少なくとも１つのアプリケーションプログラムを記憶することができ、データ記憶領域は、端末の使用に応じて作成されたデータ等を記憶することができる。また、メモリ４１は高速ランダムアクセスメモリを含むことができ、さらに不揮発性メモリ、例えば少なくとも１つのディスクメモリ、フラッシュメモリ、又は他の不揮発性ソリッドステートメモリを含むことができる。いくつかの実施例において、メモリ４１は、さらにプロセッサ４０に対応して遠隔設置されたメモリを含んでもよく、それらの遠隔メモリはネットワークを介して装置に接続することができる。上記ネットワークは、例示として、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むが、これらに限定されない。

【0079】

入力装置４２は、入力された数字または文字情報を受信し、機器のユーザ設定および機能制御に関するキー信号を生成して入力するように構成されてもよい。出力装置４３は、ディスプレイ等の表示装置を含んでもよい。

【0080】

（実施例５）
本発明の実施例５は、さらにコンピュータ実行可能なコマンドを含む記憶媒体を提供し、前記コンピュータ実行可能なコマンドは、コンピュータプロセッサによって実行される時に動作モードの制御方法を実行するために用いられ、この方法は、
機器の現在実行中の動作モードを取得し、ユーザの眼部特徴を決定するステップと、
前記眼部特徴に基づいて前記ユーザに対する眼部キャプチャ状態を決定するステップと、
前記眼部キャプチャ状態に基づいて前記動作モードの実行状態を制御するステップと、
を含む。

【0081】

当然のことながら、本発明の実施例が提供するコンピュータ実行可能コマンドを含む記憶媒体は、そのコンピュータ実行可能コマンドは上記方法の操作を実行することに限定されず、さらに本発明の任意の実施例が提供する動作モードの制御方法における関連操作を実行することができる。

【0082】

以上の実施形態の説明によれば、当業者は上記実施例の方法が、ソフトウェアと必要な汎用ハードウェアを介して実現できることを明確に理解でき、当然ながらハードウェアであってもよいが、多くの場合、前者はより好ましい実施形態である。このような理解に基づき、本発明の技術的解決手段は、実質的な部分である従来技術に寄与する部分をソフトウェア製品の形式で実現することができる。該コンピュータソフトウェア製品はコンピュータ用のフレキシブルディスク、リードオンリーメモリ(Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ)、ランダムアクセスメモリ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ)、フラッシュメモリ(ＦＬＡＳＨ)、ハードディスク、又はコンパクトディスク等の記憶媒体に記憶され、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク装置等であってもよい）により本発明の各実施例に記載の方法を実行するいくつかのコマンドを含む。

【0083】

なお、上記動作モードの制御装置に係る実施例に含まれる各ユニット及びモジュールはただ機能のロジックに従って分割されるものであるが、対応的な機能を達成できれば、上記のように分割されるものに限定されない。また、具体的な各機能ユニット名は、相互に区別するためのものであり、本発明の保護範囲を限定するものではない。

【0084】

特に、前述したのは、ただ、本発明の好ましい実施例及びその使用される技術的原理だけである。当業者は、本発明がここで記載された特定の実施例に限定されず、本発明の保護範囲を逸脱しない範囲で、各種の自明な変更、再調整及び置換を行うことができるということを理解すべきである。したがって、以上の実施例によって本発明を詳しく説明したが、本発明は上記実施例に限定されるものではなく、発明の主旨から逸脱しない限り、他の等価実施例を更に多く含むことができ、本発明の範囲は特許請求の範囲により限定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】