知財求人 - 知財ポータルサイト「IP Force」
▶ アイフリー アシスティング コミュニケ−ション リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024012497
(43)【公開日】2024-01-30
(54)【発明の名称】コミュニケーション方法及びシステム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240123BHJP
G06F 3/0346 20130101ALI20240123BHJP
G06F 3/038 20130101ALI20240123BHJP
【ＦＩ】
G06F3/01 570
G06F3/0346 422
G06F3/01 515
G06F3/038 310A
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023188271
(22)【出願日】2023-11-02
(62)【分割の表示】P 2020550959の分割
【原出願日】2018-12-06
(31)【優先権主張番号】62/595,694
(32)【優先日】2017-12-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/642,048
(32)【優先日】2018-03-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/755,680
(32)【優先日】2018-11-05
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】517316786
【氏名又は名称】アイフリー アシスティング コミュニケ－ション リミテッド
【氏名又は名称原語表記】ＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ．
(74)【代理人】
【識別番号】110001302
【氏名又は名称】弁理士法人北青山インターナショナル
(72)【発明者】
【氏名】コーンベルグ，イタイ
(72)【発明者】
【氏名】レズキン，オル
(57)【要約】 （修正有）
【課題】眼をトラッキングすること、および／または個人によって生成された他の生理学的信号をトラッキングすることを通して個人とインタフェースする制御システムを提供する。
【解決手段】システム１００は、取り込まれた眼の画像をジェスチャに分類する。ジェスチャは、コンピュータのジョイスティックのような制御を模倣する。これらのジェスチャにより、ユーザは、たとえばメニュー項目を備えたコンピュータまたはシステムを操作できる。
【選択図】図１Ｂ
【解決手段】システム１００は、取り込まれた眼の画像をジェスチャに分類する。ジェスチャは、コンピュータのジョイスティックのような制御を模倣する。これらのジェスチャにより、ユーザは、たとえばメニュー項目を備えたコンピュータまたはシステムを操作できる。
【選択図】図１Ｂ
【特許請求の範囲】
【請求項1】
コンピュータを操作するための制御システムであって、
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成されたカメラと、
前記カメラおよび前記コンピュータとデータ通信する制御ユニットと、
を具えており、
前記制御ユニットは、前記画像データを受信および処理し、これらを、前記コンピュータのジョイスティックのような制御を模倣するジェスチャに分類するように動作可能であることを特徴とする制御システム。
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成されたカメラと、
前記カメラおよび前記コンピュータとデータ通信する制御ユニットと、
を具えており、
前記制御ユニットは、前記画像データを受信および処理し、これらを、前記コンピュータのジョイスティックのような制御を模倣するジェスチャに分類するように動作可能であることを特徴とする制御システム。
【請求項2】
請求項１に記載の制御システムにおいて、
前記制御ユニットは、
生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、
前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、前記コンピュータを操作するためのコマンドに前記データを分類するように動作可能であることを特徴とする制御システム。
前記制御ユニットは、
生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、
前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、前記コンピュータを操作するためのコマンドに前記データを分類するように動作可能であることを特徴とする制御システム。
【請求項3】
請求項１または２に記載の制御システムにおいて、
前記制御ユニットは、
前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらをジェスチャに分類し、ジェスチャデータを生成し、
前記ジェスチャデータを利用して、前記コンピュータを操作することを特徴とする制御システム。
前記制御ユニットは、
前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらをジェスチャに分類し、ジェスチャデータを生成し、
前記ジェスチャデータを利用して、前記コンピュータを操作することを特徴とする制御システム。
【請求項4】
請求項３に記載の制御システムにおいて、
前記ジェスチャが、瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの１つまたは複数を含むことを特徴とする制御システム。
前記ジェスチャが、瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの１つまたは複数を含むことを特徴とする制御システム。
【請求項5】
請求項１～４のいずれか一項に記載の制御システムにおいて、
前記制御ユニットは、少なくとも１つの生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
前記少なくとも１つの生理学的データを受信して処理し、それを少なくとも１つのコマンドに分類し、前記少なくとも１つのコマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、神経出力、またはそれらの任意の組み合わせを含んでおり、
前記コマンドを使用して前記コンピュータを操作することを特徴とする制御システム。
前記制御ユニットは、少なくとも１つの生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
前記少なくとも１つの生理学的データを受信して処理し、それを少なくとも１つのコマンドに分類し、前記少なくとも１つのコマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、神経出力、またはそれらの任意の組み合わせを含んでおり、
前記コマンドを使用して前記コンピュータを操作することを特徴とする制御システム。
【請求項6】
請求項５に記載の制御システムにおいて、前記センサは、脳波記録（ＥＥＧ）デバイスであることを特徴とする制御システム。
【請求項7】
請求項１～６のいずれか一項に記載のシステムにおいて、前記コンピュータは、視覚または音声出力モジュールを動作させることを特徴とするシステム。
【請求項8】
請求項７に記載のシステムにおいて、前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にすることを特徴とするシステム。
【請求項9】
請求項１～８のいずれか一項に記載のシステムにおいて、前記ジェスチャは、眼の瞳孔の中央、右、左、上および下の位置を含むことを特徴とするシステム。
【請求項10】
請求項１～９のいずれか一項に記載のシステムにおいて、前記ジェスチャは、一連の２回以上のまぶたの瞬きを含むことを特徴とするシステム。
【請求項11】
請求項１～１０のいずれか一項に記載のシステムにおいて、前記コンピュータは、警報を出力するように構成された出力モジュールを駆動するよう構成されていることを特徴とするシステム。
【請求項12】
請求項１～１１のいずれか一項に記載のシステムにおいて、前記分類が機械学習技術を使用することを特徴とするシステム。
【請求項13】
眼の連続画像を取り込むカメラおよびコンピュータとデータ通信するよう構成された制御ユニットであって、
前記制御ユニットは、前記カメラによって取り込まれた画像を表す画像データを受信および処理し、前記コンピュータのジョイスティックのような制御を模倣するジェスチャに前記画像データを分類し、前記コンピュータに対応する制御データを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。
前記制御ユニットは、前記カメラによって取り込まれた画像を表す画像データを受信および処理し、前記コンピュータのジョイスティックのような制御を模倣するジェスチャに前記画像データを分類し、前記コンピュータに対応する制御データを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。
【請求項14】
請求項１３に記載の制御ユニットにおいて、
生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、
前記制御ユニットは、前記センサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。
生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、
前記制御ユニットは、前記センサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。
【請求項15】
生理学的パラメータを測定するための少なくとも１つのセンサおよびコンピュータとデータ通信するよう構成された制御ユニットであって、
前記制御ユニットは、前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。
前記制御ユニットは、前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。
【請求項16】
請求項１４または１５に記載の制御ユニットにおいて、
前記少なくとも１つのセンサが脳波記録（ＥＥＧ）であることを特徴とする制御ユニット。
前記少なくとも１つのセンサが脳波記録（ＥＥＧ）であることを特徴とする制御ユニット。
【請求項17】
請求項１３または１４に記載の制御ユニットにおいて、
前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらをジェスチャに分類し、前記ジェスチャは、例えば、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの１つ以上を含み、ジェスチャデータ生成し、
前記ジェスチャデータを利用して前記コンピュータを操作するよう構成されていることを特徴とする制御ユニット。
前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらをジェスチャに分類し、前記ジェスチャは、例えば、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの１つ以上を含み、ジェスチャデータ生成し、
前記ジェスチャデータを利用して前記コンピュータを操作するよう構成されていることを特徴とする制御ユニット。
【請求項18】
請求項１４～１６のいずれか一項に記載の制御ユニットにおいて、
前記制御ユニットは、生理学的データを受信および処理し、これらをコマンドに分類し、前記コマンドは、例えば、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力、またはそれらの任意の組み合わせを含んでおり、前記コマンドを利用して前記コンピュータを操作するよう構成されていることを特徴とする制御ユニット。
前記制御ユニットは、生理学的データを受信および処理し、これらをコマンドに分類し、前記コマンドは、例えば、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力、またはそれらの任意の組み合わせを含んでおり、前記コマンドを利用して前記コンピュータを操作するよう構成されていることを特徴とする制御ユニット。
【請求項19】
アイトラッキングベースのシステムであって、
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能なカメラと、
通常はコンピュータ化されまたはプロセス駆動型のモジュールである第１の出力モジュールと、
前記カメラおよび前記第１の出力モジュールとデータ通信する制御ユニットと、
を具えており、前記制御ユニットは、
前記画像データを受信および処理して、瞳孔位置とまぶたの動きの少なくとも一方を識別し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスのうちの１つ以上を含むジェスチャにこれらを分類し、ジェスチャデータを生成し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動する、
よう構成されており、
前記第１の出力モジュールは、前記メニュー項目の視覚的または音声的提示の一方または双方をユーザに提供するよう構成されることを特徴とするアイトラッキングベースのシステム。
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能なカメラと、
通常はコンピュータ化されまたはプロセス駆動型のモジュールである第１の出力モジュールと、
前記カメラおよび前記第１の出力モジュールとデータ通信する制御ユニットと、
を具えており、前記制御ユニットは、
前記画像データを受信および処理して、瞳孔位置とまぶたの動きの少なくとも一方を識別し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスのうちの１つ以上を含むジェスチャにこれらを分類し、ジェスチャデータを生成し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動する、
よう構成されており、
前記第１の出力モジュールは、前記メニュー項目の視覚的または音声的提示の一方または双方をユーザに提供するよう構成されることを特徴とするアイトラッキングベースのシステム。
【請求項20】
請求項１９に記載のシステムにおいて、
前記制御ユニットは、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
前記センサから生理学的データを受信および処理し、これらをコマンドに分類し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記コマンドによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動する、
よう構成されており、
前記第１の出力モジュールは、前記メニュー項目の視覚的または音声的提示の一方または双方をユーザに提供するよう構成されていることを特徴とするシステム。
前記制御ユニットは、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
前記センサから生理学的データを受信および処理し、これらをコマンドに分類し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記コマンドによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動する、
よう構成されており、
前記第１の出力モジュールは、前記メニュー項目の視覚的または音声的提示の一方または双方をユーザに提供するよう構成されていることを特徴とするシステム。
【請求項21】
請求項１９または２０に記載のシステムにおいて、
前記カメラは、前記ユーザの頭に取り付け可能なホルダに搭載されることを特徴とするシステム。
前記カメラは、前記ユーザの頭に取り付け可能なホルダに搭載されることを特徴とするシステム。
【請求項22】
請求項１９～２１のいずれか一項に記載のシステムにおいて、
前記ジェスチャは、瞳孔の中心、右、左、上および下の位置を含むことを特徴とするシステム。
前記ジェスチャは、瞳孔の中心、右、左、上および下の位置を含むことを特徴とするシステム。
【請求項23】
請求項１９～２２のいずれか一項に記載のシステムにおいて、
前記ジェスチャは、一連の２回以上のまぶたの瞬きを含むことを特徴とするシステム。
前記ジェスチャは、一連の２回以上のまぶたの瞬きを含むことを特徴とするシステム。
【請求項24】
請求項２０～２３のいずれか一項に記載のシステムにおいて、
前記コマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力、またはそれらの任意の組み合わせを含むことを特徴とするシステム。
前記コマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力、またはそれらの任意の組み合わせを含むことを特徴とするシステム。
【請求項25】
請求項１９～２４のいずれか一項に記載のシステムにおいて、前記メニュー項目が階層的に配置されていることを特徴とするシステム。
【請求項26】
請求項２５に記載のシステムにおいて、前記メニュー項目は、第１のメニュー項目の選択により、ユーザが続いて前記第１のメニュー項目に従属する層で第２のメニュー項目を選択できるように、連続的な階層の層に配置されることを特徴とするシステム。
【請求項27】
請求項２６に記載のシステムにおおて、前記メニュー項目の各層が最大５つの選択可能な項目を含むことを特徴とするシステム。
【請求項28】
請求項１９～２７のいずれか一項に記載のシステムにおいて、選択された項目を表すデータを出力するための第２の出力モジュールのためのドライバを含むことを特徴とするシステム。
【請求項29】
請求項２８に記載のシステムにおいて、前記第２の出力モジュールは、警報を出力するよう構成されることを特徴とするシステム。
【請求項30】
請求項２９に記載のシステムにおいて、前記ジェスチャまたはコマンドの少なくとも一方が前記警報をトリガーすることを特徴とするシステム。
【請求項31】
請求項３０に記載のシステムにおいて、前記ジェスチャの前記少なくとも１つは、規定された瞬きのシーケンスであることを特徴とするシステム。
【請求項32】
アイトラッキングベースのシステムであって、
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成され、動作可能なカメラと、
前記カメラおよび第１の出力モジュールとデータ通信する制御ユニットと、
を具えており、前記制御ユニットは、
前記カメラから受信した前記画像データに応答し、前記画像データを処理して瞳孔位置およびまぶたの動きの少なくとも１つを識別し、これらを瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスのうちの１つ以上を含むジェスチャに分類し、ジェスチャデータを生成するよう構成されおよび動作可能なデータプロセッサと、
前記ジェスチャデータを利用して、階層的でユーザ選択可能なメニュー項目を操作するよう構成され、動作可能なメニュージェネレータモジュールと、
前記第１の出力モジュールを駆動して、メニュー項目の視覚的または音声的提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目を検索および選択できるようにする第１のアクチュエータモジュールと、
を具えることを特徴とするシステム。
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成され、動作可能なカメラと、
前記カメラおよび第１の出力モジュールとデータ通信する制御ユニットと、
を具えており、前記制御ユニットは、
前記カメラから受信した前記画像データに応答し、前記画像データを処理して瞳孔位置およびまぶたの動きの少なくとも１つを識別し、これらを瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスのうちの１つ以上を含むジェスチャに分類し、ジェスチャデータを生成するよう構成されおよび動作可能なデータプロセッサと、
前記ジェスチャデータを利用して、階層的でユーザ選択可能なメニュー項目を操作するよう構成され、動作可能なメニュージェネレータモジュールと、
前記第１の出力モジュールを駆動して、メニュー項目の視覚的または音声的提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目を検索および選択できるようにする第１のアクチュエータモジュールと、
を具えることを特徴とするシステム。
【請求項33】
請求項３２に記載のシステムにおいて、
前記制御ユニットは、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
前記少なくとも１つのセンサによって取得された生理学的データに応答し、これらをコマンドに分類するよう構成され、動作可能なデータプロセッサと、
前記コマンドを利用して階層的でユーザ選択可能なメニュー項目を操作するよう構成され、動作可能なメニュージェネレータモジュールと、
前記第１の出力モジュールを駆動して、前記メニュー項目の視覚的または音声的提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目を検索および選択できるよう構成された第１のアクチュエータモジュールと、
を具えることを特徴とするシステム。
前記制御ユニットは、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
前記少なくとも１つのセンサによって取得された生理学的データに応答し、これらをコマンドに分類するよう構成され、動作可能なデータプロセッサと、
前記コマンドを利用して階層的でユーザ選択可能なメニュー項目を操作するよう構成され、動作可能なメニュージェネレータモジュールと、
前記第１の出力モジュールを駆動して、前記メニュー項目の視覚的または音声的提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目を検索および選択できるよう構成された第１のアクチュエータモジュールと、
を具えることを特徴とするシステム。
【請求項34】
請求項３２または３３に記載のシステムにおいて、前記カメラは、ユーザの頭に取り付け可能なホルダに搭載されていることを特徴とするシステム。
【請求項35】
請求項３２～３４のいずれか一項に記載のシステムにおいて、
前記ジェスチャは、瞳孔の右、左、上、および下の位置を含むことを特徴とするシステム。
前記ジェスチャは、瞳孔の右、左、上、および下の位置を含むことを特徴とするシステム。
【請求項36】
請求項３２～３５のいずれか一項に記載のシステムにおいて、
前記ジェスチャは、一連の２回以上のまぶたの瞬きを含むことを特徴とするシステム。
前記ジェスチャは、一連の２回以上のまぶたの瞬きを含むことを特徴とするシステム。
【請求項37】
請求項３２～３６のいずれか一項に記載のシステムにおいて、
前記メニュー項目は階層的に配置されることを特徴とするシステム。
前記メニュー項目は階層的に配置されることを特徴とするシステム。
【請求項38】
請求項３７に記載のシステムにおいて、
前記メニュー項目は、前記第１のメニュー項目の選択により、ユーザが続いて前記第１のメニュー項目に従属する層で第２のメニュー項目を選択できるように、連続的な階層の層に配置されることを特徴とするシステム。
前記メニュー項目は、前記第１のメニュー項目の選択により、ユーザが続いて前記第１のメニュー項目に従属する層で第２のメニュー項目を選択できるように、連続的な階層の層に配置されることを特徴とするシステム。
【請求項39】
請求項３８に記載のシステムにおいて、
前記メニュー項目の各層は、最大５つの選択可能な項目を含むことを特徴とするシステム。
前記メニュー項目の各層は、最大５つの選択可能な項目を含むことを特徴とするシステム。
【請求項40】
請求項３２～３９のいずれか一項に記載のシステムにおいて、
選択された項目を表すデータを出力するための第２の出力モジュールのためのドライバを含むことを特徴とするシステム。
選択された項目を表すデータを出力するための第２の出力モジュールのためのドライバを含むことを特徴とするシステム。
【請求項41】
請求項４０に記載のシステムにおいて、前記第２の出力モジュールは、介護者に警報を出力するよう構成されることを特徴とするシステム。
【請求項42】
請求項４１に記載のシステムにおいて、前記ジェスチャまたはコマンドの少なくとも一方が前記警報をトリガーすることを特徴とするシステム。
【請求項43】
請求項４２に記載のシステムにおいて、前記ジェスチャの前記少なくとも１つは、規定された瞬きのシーケンスであることを特徴とするシステム。
【請求項44】
眼の連続的な画像を取り込むカメラおよび第１の出力モジュールとデータ通信するよう構成された制御ユニットにおいて、前記制御ユニットが、
瞳孔位置とまぶたの動きの少なくとも一方を識別するために画像データを受信および処理し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの１つ以上を含むジェスチャにこれらを分類して、ジェスチャデータを生成するよう動作可能であり、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動することを特徴とする制御ユニット。
瞳孔位置とまぶたの動きの少なくとも一方を識別するために画像データを受信および処理し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの１つ以上を含むジェスチャにこれらを分類して、ジェスチャデータを生成するよう動作可能であり、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動することを特徴とする制御ユニット。
【請求項45】
請求項４４に記載の制御ユニットにおいて、
生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信するよう構成され、前記制御ユニットは、
前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類するように動作可能であり、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータとコマンドのいずれか１つまたは組み合わせによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように前記第１出力モジュールを駆動することを特徴とする制御ユニット。
生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信するよう構成され、前記制御ユニットは、
前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類するように動作可能であり、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータとコマンドのいずれか１つまたは組み合わせによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように前記第１出力モジュールを駆動することを特徴とする制御ユニット。
【請求項46】
請求項１８～３０のいずれか一項に記載のシステムで使用するための、請求項４４または４５に記載の制御ユニット。
【請求項47】
眼の連続的な画像を取り込むカメラおよび第１の出力モジュールとデータ通信するよう構成された制御ユニットにおいて、前記制御ユニットは、
前記画像データを受信および処理して、瞳孔位置およびまぶたの動きの少なくとも一方を識別し、瞳孔位置、瞳孔位置のシーケンス、およびまぶた瞬きのシーケンスのうちの１つ以上を含むジェスチャにこれらを分類し、ジェスチャデータを生成し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動するように構成され、動作可能であることを特徴とする制御ユニット。
前記画像データを受信および処理して、瞳孔位置およびまぶたの動きの少なくとも一方を識別し、瞳孔位置、瞳孔位置のシーケンス、およびまぶた瞬きのシーケンスのうちの１つ以上を含むジェスチャにこれらを分類し、ジェスチャデータを生成し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動するように構成され、動作可能であることを特徴とする制御ユニット。
【請求項48】
請求項４７に記載の制御ユニットにおいて、
前記制御ユニットは、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信するよう構成され、前記制御ユニットは、前記センサからの生理学的データを受信および処理し、これらをコマンドに分類し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータおよびコマンドによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動するよう構成され、動作可能であることを特徴とする制御ユニット。
前記制御ユニットは、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信するよう構成され、前記制御ユニットは、前記センサからの生理学的データを受信および処理し、これらをコマンドに分類し、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータおよびコマンドによってメニュー項目を検索および選択できるようにし、
ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動するよう構成され、動作可能であることを特徴とする制御ユニット。
【請求項49】
請求項３２～４３のいずれか一項に記載のシステムで使用するための、請求項４７または４８に記載の制御ユニット。
【請求項50】
生理学的パラメータを測定するための少なくとも１つのセンサおよび第１の出力モジュールとデータ通信するよう構成された制御ユニットであって、前記制御ユニットは、
前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類するように動作可能であり、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記コマンドによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように第１の出力モジュールを駆動することを特徴とする制御ユニット。
前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類するように動作可能であり、
階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記コマンドによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように第１の出力モジュールを駆動することを特徴とする制御ユニット。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、個人が、個人の眼または他の生理学的パラメータのいずれか１つまたは組み合わせをトラッキングすることにより、コミュニケーションモジュールまたは他のユーティリティを操作することを可能にするシステムに関する。
【背景技術】
【0002】
ユーザの眼をトラッキングすることによってユーザとコミュニケーションを可能にするシステムおよび方法は既知である。
【0003】
ＷＯ２０１６１４２９３３は、一連のコミュニケーションオプションをユーザに選択的に提示する選択インタフェースを備えたそのようなシステムを開示している。光センサが、ユーザの眼から反射した光を検出して相関信号を提供し、この相関信号は、ユーザの頭に対する相対的な眼の向きを判断するために処理される。判断された相対的な眼の向きに基づいて、選択されたコミュニケーションオプションが決定され、実装される。
【発明の概要】
【0004】
本開示は、眼をトラッキングすることによって、および／または個人によって生成された他の生理学的信号をトラッキングすることによって個人とインタフェースするコンピュータ化されたシステムに関する。換言すれば、それは、眼および／またはまぶたの動きをトラッキングするように構成されたカメラに関連付けられた制御ユニットを有するユーティリティを含み、別の生理学的パラメータをトラッキングするように構成されたユーティリティをさらに含み得るシステムである。本システムは、一実施形態によれば、捕捉された眼の画像をジェスチャに分類するように構成され、ジェスチャは、瞳孔位置または視線方向、一連の方向性眼球運動、まぶたのまばたきなどである。これらのジェスチャユーザが操作できるようにする。たとえば、メニュー項目のあるコンピュータまたはシステムである。このようにして、眼の動きは、例えば、ユーザがメニューをナビゲートしたり、画面上のカーソルを眼の動きで動かしたり、所定の時間に特定の位置に眼を固定したり、またはシステムは、他の生理学的データを分類し、それらをコンピュータで読み取り可能なコマンドに変換したり、１つまたは複数の周辺機器を操作するように構成したりすることもできる。例えば、本システムは、定義された眼のジェスチャを実行するか、所定の呼吸パターンを実行するか、身体の一部を移動することによって画面上のカーソルを移動するか、呼吸動作によって項目を選択するか、または電気生理学的一般に、本開示のシステムは、ユーザがジョイスティックの方法に似た方法でコンピュータを操作することを可能にする。本開示のジョイスティックのようなアプローチによって、唯一の基準点は眼の画像をキャプチャするカメラであり、ユーザが見ている、または角膜反射での正確な位置または位置を検出する必要がない。また、本開示によれば、通常、使用前に画面を使用する較正手順は必要ない（実際、システムを使用してコミュニケーションするために画面を使用する必要はない）。
【0005】
一部の実施形態によれば、メニューは画面上でユーザに提示されず、メニューおよび項目選択を介したユーザのナビゲーションは、（例えば、所定の、または以前にユーザに紹介または提示されたメニューに基づいて）画面なしで実行される。
【0006】
いくつかの実施形態によれば、メニューは、例えば、フィードバックまたは指示がユーザに提供される最初の導入段階の間だけ、画面上でユーザに提示される。前記段階は、分、時間、週および月のスケールでの任意の時間枠である。
【0007】
一部の実施形態によれば、ユーザがコンピュータを操作することを可能にするジェスチャは、ユーザが特定の場所を見ているジェスチャ（視線）ではなく、定義された方向での一般的な表示（アイジェスチャ）である。例えば、ユーザが特定の物理的または仮想オブジェクトに視線を向けていなくても、一般的な左凝視はジェスチャとして機能する。
【0008】
通常、本開示のシステムの動作は、照明条件に依存しない。
【0009】
一部の実施形態によれば、ジェスチャの分類は、機械学習技術の使用に基づく。具体的には、機械学習モデルは、複数の線形変換層とそれに続く要素ごとの非線形性で構成されるニューラルネットワークモデルである。分類は、個々のユーザまたはユーザ全体の眼の特徴付けを含むことができる。いくつかの実施形態によって、分類は眼の動きの範囲を推定する。
【0010】
一実施形態により、本システムは、本システム（本明細書では「ユーザ」）を使用する個人が、ユーザに提示されるメニューをナビゲートすることを可能にする。メニューの提示は、（スピーカ、イヤホン、ヘッドホン、埋め込み型可聴装置などによる）可聴提示、または（画面上のディスプレイ、個人の目の前の小さなディスプレイなどによる）視覚提示である。メニューは階層的であり、すなわち、メニュー項目を選択すると、他の下位階層の選択可能なオプションが開く。例として、選択可能なメニュー項目のより高い階層により、ユーザはいくつかの文字グループ（たとえば、文字Ａ～Ｆから成る１つのグループ、文字Ｇ～Ｍの２番目のグループなど）の１つを選択でき、一度選択すると、ユーザには別の文字グループの１つを選択する機能が表示される（例えば、最初のグループが選択されている場合、ユーザはＡ、Ｂ、Ｃ、またはＤ～Ｆから選択するオプションを与えており、Ｄ～Ｆが選択されている場合、ユーザは、その人の選択のために個々の文字が表示される）。しかしながら、選択はまた、プロンプト駆動とすることができ、すなわち、ユーザは、特定の選択のために特定の方向に眼を動かすように促される。
【0011】
いくつかの実施形態によって、メニュー項目またはその一部は、特定のニーズに合わせてカスタマイズすることができる。これは、例えばユーザまたは介護者インタフェースを介して、局所的に達成され、または、例えばリモートサーバによってリモートで達成される。
【0012】
メニュー項目またはその一部は、システムまたは制御ユニットによってユーザに提案され得る。メニュー項目またはその一部は、周囲環境から受け取った入力に基づいて、ユーザに提案したり、ユーザに提示したりすることもできる。
【0013】
いくつかの実施形態では、制御ユニットは、（例えば、自然言語処理によって）音声データを受信して処理する。例えば、ユーザが他の人、例えば介護者に質問されると、制御ユニットが、医師の発話を受信して処理し、他の人の発話の文脈分析に基づいて応答を提案する。本開示のシステムは、他の方法ではコミュニケーションできない麻痺した個人が、介護者や、警報システム、視聴覚システム、コンピュータなどの周辺機器を含む彼らの周囲環境とコミュニケーションすることを許可するのに有用である。個人の１つのターゲットとするグループはＡＬＳの患者であり、彼らの病気が進行すると、手足や他の筋肉を動かす能力や、音声を話したり表示したりする能力が失われる。本システムは、集中治療室の患者、一時的または永続的な呼吸補助を受けている患者など、一時的なコミュニケーション障害のある個人にも役立つ。
【0014】
本開示の実施形態によって提供されるのは、コンピュータを操作するための制御システムであり、それは、ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように構成されたカメラと、カメラおよびコンピュータとデータ通信する制御ユニットとを具える。制御ユニットは、画像データを受信および処理し、これらを、コンピュータのジョイスティックのような制御を模倣することを目的とするジェスチャに分類するように動作可能である。
【0015】
本明細書で説明するジョイスティックのような制御という用語は、瞳孔領域の位置をトラッキングすることを含むジェスチャの分類を指す。
【0016】
本開示の文脈における瞳孔領域は、瞳孔を示すものとして識別される瞳孔またはその任意の部分である。
【0017】
いくつかの実施形態では、瞳孔領域の位置は、ラベル付けされたジェスチャを伴う画像データを含むデータベースに基づいて決定される。前記画像データは、ユーザ自身または他のユーザまたはユーザのグループから取得される。いくつかの実施形態では、前記ラベル付けされたデータベースに基づく瞳孔領域の位置は、機械学習技術、例えば、特定のジェスチャに対応する所定の画像データの可能性を考慮したモデルを利用することによって決定される。
【0018】
いくつかの実施形態によって、瞳孔領域の位置は、閾値マップ内のその位置に基づいて決定され、特定の位置は、瞳孔領域が閾値マップの境界または境界の接線に接するときはいつでも決定される。例えば、瞳孔領域が閾値マップの上部境界に接すると、画像データは「アップ」ジェスチャとして分類され、または、瞳孔領域が閾値マップの境界に触れない場合、画像データは「まっすぐ」なジェスチャとして分類される。閾値マップは、瞳孔領域の運動範囲内にある領域を含む位置マップから導出され得る。一例として、位置マップは、瞳孔領域の上部、下部、左端、および右端の位置によって定義される長方形として定義される。いくつかの実施形態では、閾値マップは、位置マップの中心から少なくとも２０％、４０％、６０％、８０％、９０％、９５％離れている境界によって制限されたエリアをカバーする。閾値マップは通常、位置マップの中心から少なくとも８０％離れている。位置マップは、ユーザの画像データ、または、ラベル付きのジェスチャ付きまたは無しの画像データを含むデータベースに基づいて取得され得る。任意選択的に、位置マップは、眼の解剖学的特徴またはその周囲に基づいて定義された、より大きな関心領域（ＲＯＩ）内にある。
【0019】
いくつかの実施形態によって、本システムは、ユーザが他のジェスチャの間にまっすぐなジェスチャを実行することを要求する。
【0020】
いくつかの実施形態によって、瞬きジェスチャは暗いピクセルの領域として識別される。
【0021】
いくつかの実施形態によって、少なくとも０．０５、０．１、０．２、０．３、０．４、０．５、０．６、０．７、０．８、１、２、４、８、１０秒の間、瞳孔領域が閾値マップの境界または境界の接線に接すると、ジェスチャが分類される。
【0022】
いくつかの実施形態では、カメラは赤外線カメラである。
【0023】
さらに、制御ユニットは、他の生理学的測定を検出するための１つまたは複数のセンサとリンクされ、そのようなデバイスまたはセンサによって取得された生理学的信号を受信および処理し、これらをコンピュータ化されたコマンドに分類するように動作できる。
【0024】
たとえば、（眼窩に対する瞳孔の位置によってトラッキングされる）眼の動きと、任意選択的にまぶたの瞬きとを介して、ユーザは選択可能なオプションをナビゲートし、それらを自由に選択することができる。これには、メニュー項目のナビゲーションと選択、ハイパーリンクのナビゲーションと選択などが含まれる。特定の非限定的な一実施形態によれば、瞳孔の方向性のある動きまたは位置は、所定の方向にカーソルを向けることができ、例えば、瞳孔の上向きの位置は、画面上のカーソルを上方向に、右の位置は右方向に、といったように動かすことができ、または代替的に、システムが定義する方向だけでなく、そのようなカーソルの移動方向をユーザが定義することができる。非限定的な実施形態として、ユーザの瞬き（またはユーザによって定義された他のジェスチャまたは生理学的パラメータ）は、カメラの動作を開始させ、その後の瞬きは、ユーザが選択可能なオプションを閲覧し、そのような瞬きによってオプションを選択できるようにする。別の例によれば、メニュー項目はユーザに音声で出力され、所望のメニュー項目が音声で出力されると、ユーザは瞬きして所望の項目を選択する。別の非限定的な実施形態によれば、能力が制限されたユーザは、自身の定義に基づいて、例えば「左」ジェスチャのみの単一のジェスチャを使用して本システムを操作することができる。また、例示的且つ非限定的な実施形態として、ユーザは、音声または視覚出力によって、例えば、ある選択では「アップ」（つまり上向き）、別の選択では「ダウン」といった、いくつかのオプションから選択するように促される。さらなる例示的且つ非限定的な実施形態により、ユーザは、（例えば、音声の読み出しを通じて）オプションを提示され、それにより、特定の選択肢が提示された場合、所定の時間、特定または非特定の方向を凝視し、一連の瞬きをし、まぶたを閉じるようにユーザに促す。後者は、例えば、文章を書くための文字をすばやく選択する場合に有用である。
【0025】
いくつかの実施形態によって、ジェスチャのタイプ、ジェスチャの数、ジェスチャ持続時間、および対応するコマンドのいずれかが、ユーザまたは介護者によって定義される。
【0026】
一部の実施形態では、一連の１、２、３または５回の瞬きにより、「助けを求める」項目を選択することができる。
【0027】
いくつかの実施形態では、最大３０秒以内の一連の最大１０回の瞬きが項目を選択する。
【0028】
いくつかの実施形態では、１、２、３、４、５、６、７、８、９、１０、３０秒間目を閉じると、本システムが休止モードになる。
【0029】
制御ユニットは、本開示の実施形態によれば、（ｉ）前記画像データを受信および処理して、瞳孔位置およびまぶたの動きの少なくとも一方を識別し、これらをジェスチャに分類するように構成されており、ジェスチャは、例えば瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンス、及びジェスチャデータの生成の１又はそれ以上を含み、（ｉｉ）ジェスチャデータを利用してコンピュータを動作させるよう構成されている。一実施形態により、前記制御システムにリンクされたコンピュータは、視覚または音声出力モジュールを動作させる。前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にする。いくつかの実施形態では、音声出力モジュールは骨伝導補聴器である。
【0030】
さらに、制御ユニットは、（ｉ）生理学的データを受信および処理し、これらをコマンドに分類し、コマンドは、例えば、（例えば、脳波記録（ＥＥＧ）装置を介して記録される）任意の電気生理学的マーカ、体性感覚、呼吸、声、動きのジェスチャまたはそれらの任意の組み合わせを含み、（ｉｉ）生理学的コマンドを利用してコンピュータを動作させるよう構成される。一実施形態により、前記制御システムにリンクされたコンピュータは、視覚または音声出力モジュールを動作させる。前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にする。
【0031】
例えば、ＥＥＧ信号を、ＥＥＧコマンドが時間依存メニューでナビゲーションを開始するように記録することが可能であり、ナビゲーションメニューが所望のメニュー項目に到達すると、ユーザは、メニュー項目を選択する追加のＥＥＧコマンドを生成し得る。別の例によれば、ＥＥＧコマンドはシステムの開始をトリガーする。
【0032】
本開示の別の実施形態によって提供されるのは、生理学的パラメータを測定するための少なくとも１つのセンサおよびコンピュータとのデータ通信用に構成された制御ユニットであり、制御ユニットは、前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらを分類してコマンドに変換し、対応するコマンドをコンピュータに送信するように動作可能であり、これにより、コンピュータの動作を制御する。
【0033】
本開示の別の実施形態によって提供されるのは、カメラ、第１の出力モジュール、および典型的にはコンピュータまたはプロセッサを含む制御ユニットを含む、アイトラッキングベースのシステムである。カメラは、ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能である。制御ユニットは、カメラおよび第１出力モジュールとデータ通信し、（ｉ）瞳孔位置とまぶたの動きの少なくとも一方を特定し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの１又はそれ以上を含むジェスチャに分類するために、上記の画像データを受信して処理し、ジェスチャデータを生成し、（ｉｉ）ユーザが前記ジェスチャデータによってナビゲートしてメニュー項目を選択できるようにする階層的なユーザ選択可能なメニュー項目を操作し、（ｉｉｉ）第１の出力モジュールを駆動してメニュー項目をユーザに提示するよう構成される。また任意選択的に、制御ユニットは、生理学的パラメータを測定するためのセンサとデータ通信するよう構成される。制御ユニットはさらに、（ｉ）前記センサから生理学的データを受信および処理し、これらをコマンドに分類し、（ｉｉ）ユーザが前記コマンドによってメニュー項目をナビゲートおよび選択できるように階層的なユーザ選択可能メニュー項目を操作し、（ｉｉｉ）最初の出力モジュールを駆動してユーザにメニュー項目を表示するよう構成される。第１の出力モジュールは、メニュー項目の視覚的提示または音声提示の一方または双方をユーザに提供するよう構成される。いくつかの実施形態では、音声提示モジュールは骨伝導補聴器である。
【0034】
別の実施形態によって提供されるのは、上記段落で説明した実施形態のものと同様に、カメラ、第１の出力モジュール、および制御ユニットを含む、アイトラッキングベースのシステムである。カメラは、ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能である。コントロールユニットは、カメラおよび第１出力モジュールとデータ通信する。これは、カメラから受信した画像データに応答して画像データを処理し、瞳孔位置とまぶたの動きの少なくとも一方を識別し、これらを瞳孔位置、瞳孔の位置のシーケンス、まぶたのまばたきのシーケンスの１又はそれ以上を含むジェスチャに分類し、ジェスチャデータを生成するよう構成され動作可能なデータプロセッサを含む。またそれは、前記ジェスチャデータを利用して、階層的でユーザ選択可能なメニュー項目を操作するよう構成され且つ動作可能なメニュージェネレータモジュールを含む。さらに、システムは、第１の出力モジュールを駆動して、メニュー項目の視覚または音声提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目をナビゲート且つ選択できるよう構成された第１のアクチュエータモジュールを具える。
【0035】
任意選択的に、制御ユニットは、生理学的パラメータを測定するためのセンサとデータ通信し、センサから受信した生理学的データに応答し、前記生理学的データを処理してコマンドに分類するよう構成され且つ動作可能なデータプロセッサを具える。
【0036】
前記ジェスチャは、瞳孔および瞬きの直線、中央、右、左、上および下の位置を含む。任意選択的に、ジェスチャは、２回以上のまぶたの瞬きのシーケンスを含む。例えば、瞳孔の正しい位置は、「入力」コマンドに分類できる。
【0037】
ジェスチャは、当技術分野で知られている眼のジェスチャのいずれかまたは組み合わせから選択することができ、例えば、ジェスチャは、凝視（静止凝視）または一連の凝視、及びそれらの持続時間、凝視点及びクラスター並びにそれらの分布である。
【0038】
（上記実施形態のいずれかの）システムは、警報信号（通常、音声信号および視覚信号の一方または双方）を出力するよう構成された出力モジュールを駆動するように動作可能である。
【0039】
カメラは、ユーザの頭に取り付け可能なホルダに取り付けることができる。しかしながら、カメラはまた、ベッドのフレーム、医療器具を運ぶフレーム等のユーザの近くのフレームに取り付け得る。
【0040】
前記メニュー項目は、階層的な方法で配置される。それらは、例えば、第１のメニュー項目の選択により、ユーザがその後、第１のメニュー項目に従属する層で第２のメニュー項目を選択できるように、連続的な階層の層に配置され得る。このような「層」はそれぞれ、通常、最大５つの選択可能な項目であって、瞳孔の中央、右、左、上、下の位置によって選択可能な項目を含む。
【0041】
追加または代替として、メニュー項目はプロンプトベースのシステムを介して選択され、例えば、ユーザは、視覚または音声プロンプトを通して、１つのメニュー項目の選択のために特定の方向を注視し、２番目の項目のために別の方向を注視するといったように指示される。
【0042】
いくつかの実施形態では、メニュー項目はユーザ定義可能である。
【0043】
システムは、第２の出力モジュール用のドライバを含む。そのようなモジュールは、アラートを生成するよう構成されたものであり、または、例えば、仮想アシスタント、スマートホームデバイス、家庭用空調システム、テレビ、音楽プレーヤ、通信デバイス、車椅子、タブレット、スマートフォン、ゲームアクセサリー等の周辺システムを操作するように構成されたものである。システムは、システム定義またはユーザ定義の特定のジェスチャ、例えば定義された瞬きのシーケンスを通じて、このような第２の出力モジュールを操作するよう構成される。
【0044】
前記生理学的測定または生理学的データは、ユーザの神経、体性感覚、声、および呼吸器系ならびに選択された筋肉の動きから取得される任意の信号を含む、ユーザの身体から取得され得る任意の信号を指す。
【0045】
生理学的パラメータを測定するためのこのようなセンサは、任意のセンサユーティリティまたは測定デバイス、マイク、肺活量計、電気皮膚反応（ＧＳＲ）デバイス、タッチまたは圧力プローブ、皮膚電気反応プローブ（皮膚コンダクタンスプローブ）、脳波（ＥＥＧ）デバイス、脳波検査（ＥＣｏＧ）デバイス、筋電図検査（ＥＭＧ）、心電図検査（ＥＯＧ）、および心電図用のデバイスである。センサによって記録されたデータは、コマンドに分類される。
【0046】
前記コマンドは、任意の身体部分の動き（例えば、指のタップまたは応答ボタンの押下）、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力のいずれか１つまたはそれらの組み合わせである。
【0047】
前記神経出力は、例えば、測定された誘発反応電位、または測定されたデータの時間または頻度に関連する任意のマーカである。
【0048】
本開示のシステムのユーザは、ＡＬＳ患者、集中治療室の患者、閉じ込められた患者、口頭でコミュニケーションする能力のない患者といった必要とする個人である。
【図面の簡単な説明】
【0049】
本明細書に開示される主題をよりよく理解し、それが実際にどのように実行され得るかを例示するために、実施形態は、添付の図面を参照して、非限定的な例としてのみここで説明される。
【発明を実施するための形態】
【0050】
まず、本開示の実施形態によるシステムの概略ブロック図を示す図１Ａおよび１Ｂを参照する。アイトラッキングベースのシステム１００は、フレームに取り付けられた、またはユーザの頭に取り付けられたホルダに搭載されたカメラ１０２を具える。カメラ１０２は、ユーザの眼およびまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能である。システム１００は、典型的には第１の出力モジュール１０６を駆動するアクチュエータモジュール１０８を介して、カメラ１０２および第１の出力モジュール１０６とデータ通信する制御ユニット１０４を含む。出力モジュール１０６は、例えば、デジタル画面といった視覚表示装置、又は例えば、スピーカ、ヘッドフォン等の可聴デバイスである。
【0051】
また、制御ユニット１０４は、カメラ１０２から画像データを受信および処理し、瞳孔位置およびまぶたの動きの少なくとも１つを識別し、これらを瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの１つ以上を含むジェスチャに分類し、ジェスチャデータを生成するよう構成されるプロセッサ１１０を含む。また、プロセッサ１１０は、アクチュエータモジュール１０８の動作を通じて、ユーザへのメニューの提示を駆動するメニュージェネレータ１１２を駆動するように構成される。これにより、ユーザは、上記のジェスチャデータによってメニュー項目を検索して選択できる。
【0052】
図１Ｂは、本開示のシステムのブロック図を示しており、このシステムは、生理学的パラメータを測定するためのセンサ１１５（例えば、ＥＥＧ、筋電図（ＥＭＧ）、または頭部運動測定デバイス）とやりとりする。具体的には、デバイス１１５は、検出されたユーザの生理学的信号に基づいてコマンドを伝えるよう構成されている制御ユニット１０４とデータ通信する。生理学的信号は、分析し、システムの起動、検索プロセスの開始、メニュー項目の選択など、システム１００のコマンドに変換できる。
【0053】
図２～３では、図１Ａ及び１Ｂと同じ要素に、１００だけシフトされた参照番号が与えられた。例えば、図２の要素２０４は、図１Ａおよび図１Ｂの要素１０４と同じ機能を果たす。したがって、読者は、図１Ａ及び１Ｂの記載を参照して、それらの意味と機能を理解する。
【0054】
図２のシステムは、図１Ａおよび図１Ｂのシステムとは異なっており、前者は、システムの一部である第２の出力ユニット２１６を駆動するように動作可能である第２のアクチュエータモジュール２１４も含んでおり、又は、警告デバイス、表示画面、ユーザの近くにある（カーテン、音楽プレーヤ、ライトなどの）デバイスを操作するためのユーティリティといった外部要素を含んでいる。換言すれば、第２の出力ユニット２１６は、他のデバイスへの有線（例えば、赤外線）または無線接続、クラウドサーバへの接続、またはユーザの周囲とのコミュニケーション手段への接続によって、システムの環境への接続を確立する。例えば、本システムは、システム２００を使用するユーザのジェスチャによって動作可能なスマートホームデバイスに、例えば、Ｗｉ－ＦｉまたはＢｌｕｅｔｏｏｔｈによって、ワイヤレスで接続できる。本システムは、特定の既定されたジェスチャによって、または、選択可能なメニュー項目を通じて、第２の出力ユニットを駆動するよう構成され得る。このような特定のジェスチャは、予め規定されているか、ユーザが選択可能である。
【0055】
ここで、本開示の２つの態様による制御ユニットの概略ブロック図を示す図３を参照する。制御ユニット３０４は、眼の連続画像を取り込むカメラ３０２（図３Ａ）とデータ通信する、又は生理学的パラメータを測定するためのセンサ３０１（図３Ｂ）とデータ通信するデータ入力ユーティリティ３０３を有している。データ入力ユーティリティ３０３によって受信されたデータは、プロセッサ３１０によって処理され、処理されたデータは、分類器３０５によってジェスチャに分類される。次に、分類されたジェスチャは、データ通信モジュール３０９によって制御ユニットとデータ通信しているコンピュータ３０７に送信され、これにより、コンピュータ３０７の動作を制御する。
【0056】
ここで、本開示の実施形態によるメニュー層の概略的視覚描写である図４を参照する。理解できるように、メニュー層はいくつかのメニュー項目を有し、それらのそれぞれは異なるジェスチャによって選択される。例えば、アップジェスチャＵＧ、すなわち、瞳孔の上位置は、音楽を再生する選択を駆動する。それに応じて、左ジェスチャＬＧは介護者メニューとのコミュニケーションを駆動し、中央ジェスチャＣＧはテレビを見ること、右ジェスチャＲＧは本を聞き、ダウンジェスチャＤＧは無料のテキストメッセージメニューを開く。一部のメニュー項目は、ＢｌｕｅｔｏｏｔｈやＷｉ－Ｆｉネットワークによるテレビとシステムの間といった、ワイヤレス接続によって有効になる一方、本を聞いたり音楽を再生したりする場合などの他のメニュー項目は、クラウドサーバへの接続によって有効になる。音楽の再生や本の聞き取りは、データをローカルメモリに保存しなくても、クラウドサーバから直接行うことができる。クラウドとのデータ交換は、データをクラウドからシステムにダウンロードし、データをシステムからクラウドにアップロードするといった、双方の方法で機能することに留意されたい。
【0057】
いつでも、メニューの任意の層で、ユーザが、所定のジェスチャシーケンスＰＧＳを作成すると、例えば、スピーカを介した音声アラート、モバイルデバイスへのテキストアラート、医療センターへのアラート、またはそれらの組み合わせといった、介護者に対する緊急アラートの出力など、所定のアクションがトリガーされる。所定のジェスチャシーケンスＰＧＳは、ユーザの意思に従って構成でき、例えば、３回または４回の瞬きのシーケンス、アップジェスチャＵＧ、ダウンジェスチャＤＧ、アップジェスチャＵＧおよびダウンジェスチャＤＧのシーケンス、または他の所望のシーケンスにすることができる。
【0058】
図５～７は、本開示の別の実施形態によるメニュー層の概略的な視覚的描写であり、フリーテキストの方法による項目メニューの選択の独特の方法を例示している。文字は、例えば、各グループに４、５、または６文字といった、文字のグループにクラスター化される。ユーザは、適切なタイミングで特定のジェスチャを行うことにより、グループ間を検索し、グループ内の特定の文字を選択できる。図５では、システムは文字Ａ、Ｂ、Ｃ、Ｄ、Ｅのグループを表示している。ユーザは、アップジェスチャＵＧを作成してグループＶ、Ｗ、Ｘ、Ｙ、Ｚにナビゲートするか、又は、ダウンジェスチャＤＧを作成して、グループＦ、Ｇ、Ｈ、Ｉ、Ｊにナビゲートできる。他のジェスチャは、文字の削除、バックスペースキーの使用、前のメニューに戻るといった、他のコマンドをトリガーするために行うことができ、例としてのみ表示される。これらのコマンドは、他の適切なコマンドで置き換えることや、削除できることに留意されたい。図６は、文字Ｆ、Ｇ、Ｈ、Ｉ、Ｊのグループを含むメニュー項目をトリガーした図５のメニュー層におけるダウンジェスチャＤＧのユーザ選択を例示している。システムは、図７に例示されているように、スピーカまたはヘッドフォンを介して、他の文字との時間差で各文字の名前をアナウンスするなど、グループ内の文字の自動出力セッションをトリガーすることができる。理解できるように、Ｆは時間ｔ１でアナウンスされ、文字Ｇは時間ｔ２でアナウンスされるなどである。特定の所定のジェスチャＰＧが作成されると、たとえば１回または２回瞬きして、文字が選択される。例えば、所定のジェスチャＰＧが時間ｔ１＜ｔ＜ｔ２で行われる場合、文字Ｆが選択され、所定のジェスチャＰＧが時間ｔ３＜ｔ＜ｔ４で行われる場合、文字Ｈが選択される。システムの別の実施形態では、グループ内の文字の出力セッションは、所定のジェスチャＰＧによるユーザの要求に従ってトリガーされる。これは、システムを使用している被験者が、左、右、アップ、またはダウンのジェスチャなど、一部のジェスチャを実行する能力に欠けている場合に関連性がある。このシナリオでは、システム内の検索は、第１の所定のジェスチャＰＧ１によって開始され、項目メニューが、第２の所定のジェスチャＰＧ２によって選択でき、第１および第２の所定のジェスチャは、異なっていても同一でもよい。例えば、システムが図６の状態にあるとき、ユーザは、眼を閉じてグループ内の文字の出力セッションをトリガーし、所望の文字が聞こえたとき、ユーザは眼を開いて文字を選択することができる。図６に示すように、アップまたはダウンのジェスチャＵＧ、ＤＧを行うことにより、システムは他の文字グループにナビゲートすることに留意されたい。
【0059】
ジェスチャの分類を改善するために、システムは、機械／深層学習アルゴリズムによって訓練され得る。最初に、初期のデータセットを収集するために、ラベルが付けられたジェスチャ画像（瞬き、中央、アップ、ダウン、右、左）とともにシステムが受信される。次に、システムは一連のトレーニング画像とともにトレーニングセッションを実行する。このトレーニングセッション中に、システム、つまりシステムのニューラルネットワークは、ラベル付けされた画像の各カテゴリを認識する方法を学習する。現在のモデルが誤りを犯した場合、それはそれ自体を修正して改善する。ネットワークのトレーニングセッションが終了すると、画像のテストセットがシステムによって受信および処理され、新しい分類モデルをチェックする。システムによって行われた分類は、テストセットのグラウンドトゥルースラベルと比較され、正しい分類の数が計算され、このようなネットワークのパフォーマンスを定量化するために使用される精度、再現率、およびｆメジャーの値が得られる。
【0060】
コミュニケーション支援のアイトラッキングベースのシステムの概略図を図８に示す。このシステムは、（家族、介護者、またはユーザ自身がユーザの頭に装着する）軽量ヘッドマウント（８００）に取り付けられたカメラ（８０２）、骨伝導スピーカ／ヘッドフォン（８０４）、および制御ユニット（図示せず）を具える。
【0061】
本出願の発明者らによって実施された臨床試験において、数分間の短い試験の後、患者がシステムを快適に制御することができたことが実証された。非限定的な例を以下の表１に示すように、イスラエルのランベム病院で行われた臨床試験では、「助けを求める」機能の学習には１．１２分の平均トレーニング時間を要し、事前に決められた一連の文を伝えるための学習には平均６．４４分のトレーニング時間を要し、モバイル画面を使用したフリーテキストの文字ごとのコミュニケーションには、平均１１．０８分のトレーニング時間を要した。
【0062】
ジョイスティックのようなジェスチャの分類の非限定的な実施形態を図９に示す。分類は、瞳孔領域の位置を見つけることに基づいている。それは、閾値マップ（最も内側の正方形）に基づいて取得される。具体的には、特定の位置が、瞳孔領域が閾値マップの境界または接線に接する度に決定される。例えば、瞳孔領域が閾値マップの上部境界に触れると、画像データが「アップ」ジェスチャとして分類される。閾値マップは、位置マップ（中央の四角）から導出でき、例えば、位置マップの中心から少なくとも８０％離れており、任意選択的に、位置マップは、眼またはその周囲の解剖学的特徴に基づいて定義された、より大きな関心領域（ＲＯＩ）内にある。
【0063】
図１０～１４は、単一のジェスチャ操作モード、２、３、４、５個のジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングのいくつかの実施形態の図を提供する。図１０に示すマッピングによれば、ユーザは、瞬きジェスチャを実行することにより、スキャンセッションを開始し、項目を選択する。図１１に示すマッピングによれば、ユーザは、瞬きジェスチャを実行することによって、スキャンセッションを開始し、項目を選択し、「右」ジェスチャを実行することによって戻るコマンドを選択する。図１２に示すマッピングによれば、ユーザは、２つのジェスチャ（「右」および「左」）でメニュー項目をトラバースし、第３の瞬きジェスチャを実行することによって項目を選択する。図１３に示すマッピングによれば、ユーザは、３つのジェスチャ（「右」、「左」、「アップ」）でメニュー項目をトラバースし、瞬きジェスチャを実行することによって項目を選択する。図１４に示されるマッピングによれば、ユーザは、４つのジェスチャ（「右」、「左」、「アップ」、「ダウン」）でメニュー項目をトラバースし、瞬きジェスチャを実行することによって項目を選択する。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2023-11-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを操作するための制御システムであって、
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成されたカメラと、
第１の出力モジュールと、
前記カメラおよび前記コンピュータとデータ通信する制御ユニットであって、
（ｉ）前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらを瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの１つまたは複数を含むジェスチャに分類し、ジェスチャデータを生成し、
（ｉｉ）連続的な階層の層に配置された階層的なメニューを操作して、第１の階層のメニュー項目を選択することにより、ユーザが、次いで前記第１の階層のメニュー項目より下位の階層にある第２の階層のメニュー項目を選択できるようにし、階層的なメニューは、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにするための階層的なユーザ選択可能なメニュー項目を有しており、
（ｉｉｉ）ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動する、ように動作可能な制御ユニットと、を具え、
前記第１の出力モジュールは、時間ベースのプロンプトメニューの音声的提示をユーザに提供して、前記ジェスチャのうちの１つから選択された所定のジェスチャを用いて項目を選択できるように構成され、
第１のメニュー項目が時間ｔ １ でアナウンスされ、第２のメニュー項目が時間ｔ ３ でアナウンスされ、前記所定のジェスチャがｔ １ ＜ｔ＜ｔ ２ で行われる場合に前記第１のメニュー項目が選択され、前記所定のジェスチャがｔ ３ ＜ｔ＜ｔ ４ で行われる場合に前記第２のメニュー項目が選択され、
前記画像データの処理が、機械学習技術を適用することを含み、当該機械学習技術が、前記ジェスチャに分類するために、眼の動きの範囲を推定することにより所定の画像データが特定のジェスチャに対応している可能性を決定することを含み、前記機械学習技術は、ラベル付けされたジェスチャを伴う画像により訓練された機械学習アルゴリズムを含むことを特徴とする制御システム。
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成されたカメラと、
第１の出力モジュールと、
前記カメラおよび前記コンピュータとデータ通信する制御ユニットであって、
（ｉ）前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらを瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの１つまたは複数を含むジェスチャに分類し、ジェスチャデータを生成し、
（ｉｉ）連続的な階層の層に配置された階層的なメニューを操作して、第１の階層のメニュー項目を選択することにより、ユーザが、次いで前記第１の階層のメニュー項目より下位の階層にある第２の階層のメニュー項目を選択できるようにし、階層的なメニューは、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにするための階層的なユーザ選択可能なメニュー項目を有しており、
（ｉｉｉ）ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動する、ように動作可能な制御ユニットと、を具え、
前記第１の出力モジュールは、時間ベースのプロンプトメニューの音声的提示をユーザに提供して、前記ジェスチャのうちの１つから選択された所定のジェスチャを用いて項目を選択できるように構成され、
第１のメニュー項目が時間ｔ １ でアナウンスされ、第２のメニュー項目が時間ｔ ３ でアナウンスされ、前記所定のジェスチャがｔ １ ＜ｔ＜ｔ ２ で行われる場合に前記第１のメニュー項目が選択され、前記所定のジェスチャがｔ ３ ＜ｔ＜ｔ ４ で行われる場合に前記第２のメニュー項目が選択され、
前記画像データの処理が、機械学習技術を適用することを含み、当該機械学習技術が、前記ジェスチャに分類するために、眼の動きの範囲を推定することにより所定の画像データが特定のジェスチャに対応している可能性を決定することを含み、前記機械学習技術は、ラベル付けされたジェスチャを伴う画像により訓練された機械学習アルゴリズムを含むことを特徴とする制御システム。
【請求項2】
請求項１に記載の制御システムにおいて、
前記制御ユニットは、
生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、
前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、前記コンピュータを操作するためのコマンドに前記データを分類するように動作可能であることを特徴とする制御システム。
前記制御ユニットは、
生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、
前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、前記コンピュータを操作するためのコマンドに前記データを分類するように動作可能であることを特徴とする制御システム。
【請求項3】
請求項１または２に記載の制御システムにおいて、
前記制御ユニットは、少なくとも１つの生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
少なくとも１つの生理学的データを受信して処理し、それを少なくとも１つのコマンドに分類し、前記少なくとも１つのコマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、神経出力、またはそれらの任意の組み合わせを含んでおり、
前記コマンドを使用して前記コンピュータを操作することを特徴とする制御システム。
前記制御ユニットは、少なくとも１つの生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
少なくとも１つの生理学的データを受信して処理し、それを少なくとも１つのコマンドに分類し、前記少なくとも１つのコマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、神経出力、またはそれらの任意の組み合わせを含んでおり、
前記コマンドを使用して前記コンピュータを操作することを特徴とする制御システム。
【請求項4】
請求項３に記載の制御システムにおいて、前記センサは、脳波記録（ＥＥＧ）デバイスであることを特徴とする制御システム。
【請求項5】
請求項１～４のいずれか一項に記載のシステムにおいて、前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にすることを特徴とするシステム。
【請求項6】
請求項１～５のいずれか一項に記載のシステムにおいて、前記ジェスチャは、眼の瞳孔の中央、右、左、上および下の位置を含むことを特徴とするシステム。
【請求項7】
請求項１～６のいずれか一項に記載のシステムにおいて、前記ジェスチャは、一連の２回以上のまぶたの瞬きを含むことを特徴とするシステム。
【請求項8】
請求項１～７のいずれか一項に記載のシステムにおいて、前記コンピュータは、警報を出力する前記出力モジュールを駆動するよう構成されていることを特徴とするシステム。
【請求項9】
眼の連続画像を取り込むカメラおよびコンピュータとデータ通信するよう構成された制御ユニットであって、
前記制御ユニットが、
（ｉ）前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらを瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの１つまたは複数を含むジェスチャに分類し、ジェスチャデータを生成し、
（ｉｉ）連続的な階層の層に配置された階層的なメニューを操作して、第１の階層のメニュー項目を選択することにより、ユーザが、次いで前記第１の階層のメニュー項目より下位の階層にある第２の階層のメニュー項目を選択できるようにし、階層的なメニューは、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにするための階層的なユーザ選択可能なメニュー項目を有しており、
（ｉｉｉ）第１の出力モジュールを駆動して、時間ベースのプロンプトメニューの音声的提示をユーザに提供して、前記ジェスチャのうちの１つから選択された所定のジェスチャを用いて項目を選択できる、ように動作可能であり、
第１のメニュー項目が時間ｔ １ でアナウンスされ、第２のメニュー項目が時間ｔ ３ でアナウンスされ、前記所定のジェスチャがｔ １ ＜ｔ＜ｔ ２ で行われる場合に前記第１のメニュー項目が選択され、前記所定のジェスチャがｔ ３ ＜ｔ＜ｔ ４ で行われる場合に前記第２のメニュー項目が選択され、
前記画像データの処理が、機械学習技術を適用することを含み、当該機械学習技術が、前記ジェスチャに分類するために、眼の動きの範囲を推定することにより所定の画像データが特定のジェスチャに対応している可能性を決定することを含み、前記機械学習技術は、ラベル付けされたジェスチャを伴う画像により訓練された機械学習アルゴリズムを含むことを特徴とする制御システム。
前記制御ユニットが、
（ｉ）前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらを瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの１つまたは複数を含むジェスチャに分類し、ジェスチャデータを生成し、
（ｉｉ）連続的な階層の層に配置された階層的なメニューを操作して、第１の階層のメニュー項目を選択することにより、ユーザが、次いで前記第１の階層のメニュー項目より下位の階層にある第２の階層のメニュー項目を選択できるようにし、階層的なメニューは、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにするための階層的なユーザ選択可能なメニュー項目を有しており、
（ｉｉｉ）第１の出力モジュールを駆動して、時間ベースのプロンプトメニューの音声的提示をユーザに提供して、前記ジェスチャのうちの１つから選択された所定のジェスチャを用いて項目を選択できる、ように動作可能であり、
第１のメニュー項目が時間ｔ １ でアナウンスされ、第２のメニュー項目が時間ｔ ３ でアナウンスされ、前記所定のジェスチャがｔ １ ＜ｔ＜ｔ ２ で行われる場合に前記第１のメニュー項目が選択され、前記所定のジェスチャがｔ ３ ＜ｔ＜ｔ ４ で行われる場合に前記第２のメニュー項目が選択され、
前記画像データの処理が、機械学習技術を適用することを含み、当該機械学習技術が、前記ジェスチャに分類するために、眼の動きの範囲を推定することにより所定の画像データが特定のジェスチャに対応している可能性を決定することを含み、前記機械学習技術は、ラベル付けされたジェスチャを伴う画像により訓練された機械学習アルゴリズムを含むことを特徴とする制御システム。
【請求項10】
請求項９に記載の制御ユニットにおいて、
前記制御ユニットが、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、
前記制御ユニットは、前記センサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御することを特徴とする制御ユニット。
前記制御ユニットが、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、
前記制御ユニットは、前記センサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御することを特徴とする制御ユニット。
【請求項11】
コンピュータを操作するための制御システムであって、
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成されたカメラであって、前記ユーザの頭に取り付け可能なホルダに搭載されたカメラと、
第１の出力モジュールと、
前記カメラおよび前記コンピュータとデータ通信する制御ユニットであって、
（ｉ）前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらを瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの１つまたは複数を含むジェスチャに分類し、ジェスチャデータを生成し、
（ｉｉ）連続的な階層の層に配置された階層的なメニューを操作して、第１の階層のメニュー項目を選択することにより、ユーザが、次いで前記第１の階層のメニュー項目より下位の階層にある第２の階層のメニュー項目を選択できるようにし、階層的なメニューは、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにするための階層的なユーザ選択可能なメニュー項目を有しており、
（ｉｉｉ）ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動する、ように動作可能な制御ユニットと、を具え、
前記第１の出力モジュールは、時間ベースのプロンプトメニューの音声的提示をユーザに提供して、前記ジェスチャのうちの１つから選択された所定のジェスチャを用いて項目を選択できるように構成され、
第１のメニュー項目が時間ｔ １ でアナウンスされ、第２のメニュー項目が時間ｔ ３ でアナウンスされ、前記所定のジェスチャがｔ １ ＜ｔ＜ｔ ２ で行われる場合に前記第１のメニュー項目が選択され、前記所定のジェスチャがｔ ３ ＜ｔ＜ｔ ４ で行われる場合に前記第２のメニュー項目が選択され、
前記画像データの処理が、機械学習技術を適用することを含み、当該機械学習技術が、前記ジェスチャに分類するために、眼の動きの範囲を推定することにより所定の画像データが特定のジェスチャに対応している可能性を決定することを含み、前記機械学習技術は、ラベル付けされたジェスチャを伴う画像により訓練された機械学習アルゴリズムを含むことを特徴とする制御システム。
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成されたカメラであって、前記ユーザの頭に取り付け可能なホルダに搭載されたカメラと、
第１の出力モジュールと、
前記カメラおよび前記コンピュータとデータ通信する制御ユニットであって、
（ｉ）前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらを瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの１つまたは複数を含むジェスチャに分類し、ジェスチャデータを生成し、
（ｉｉ）連続的な階層の層に配置された階層的なメニューを操作して、第１の階層のメニュー項目を選択することにより、ユーザが、次いで前記第１の階層のメニュー項目より下位の階層にある第２の階層のメニュー項目を選択できるようにし、階層的なメニューは、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにするための階層的なユーザ選択可能なメニュー項目を有しており、
（ｉｉｉ）ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動する、ように動作可能な制御ユニットと、を具え、
前記第１の出力モジュールは、時間ベースのプロンプトメニューの音声的提示をユーザに提供して、前記ジェスチャのうちの１つから選択された所定のジェスチャを用いて項目を選択できるように構成され、
第１のメニュー項目が時間ｔ １ でアナウンスされ、第２のメニュー項目が時間ｔ ３ でアナウンスされ、前記所定のジェスチャがｔ １ ＜ｔ＜ｔ ２ で行われる場合に前記第１のメニュー項目が選択され、前記所定のジェスチャがｔ ３ ＜ｔ＜ｔ ４ で行われる場合に前記第２のメニュー項目が選択され、
前記画像データの処理が、機械学習技術を適用することを含み、当該機械学習技術が、前記ジェスチャに分類するために、眼の動きの範囲を推定することにより所定の画像データが特定のジェスチャに対応している可能性を決定することを含み、前記機械学習技術は、ラベル付けされたジェスチャを伴う画像により訓練された機械学習アルゴリズムを含むことを特徴とする制御システム。
【外国語明細書】