▶ アイフリー アシスティング コミュニケ−ション リミテッドの特許一覧
特許7153096アイフィードバックによるコミュニケーションを可能にするシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-04
(45)【発行日】2022-10-13
(54)【発明の名称】アイフィードバックによるコミュニケーションを可能にするシステム及び方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20221005BHJP
G06F 3/04842 20220101ALI20221005BHJP
【ＦＩ】
G06F3/01 510
G06F3/04842
【請求項の数】
13
(21)【出願番号】P 2021009022
(22)【出願日】2021-01-22
(62)【分割の表示】P 2017566228の分割
【原出願日】2016-03-02
(65)【公開番号】P2021073589
(43)【公開日】2021-05-13
【審査請求日】2021-02-19
(31)【優先権主張番号】62/130,637
(32)【優先日】2015-03-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517316786
【氏名又は名称】アイフリー アシスティング コミュニケ－ション リミテッド
【氏名又は名称原語表記】ＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ．
(74)【代理人】
【識別番号】110001302
【氏名又は名称】特許業務法人北青山インターナショナル
(72)【発明者】
【氏名】リショニ，シャイ
(72)【発明者】
【氏名】ケルナー，タル
(72)【発明者】
【氏名】コーンベルグ，イタイ
(72)【発明者】
【氏名】レズキン，オル
【審査官】星野 裕
(56)【参考文献】
【文献】特表２００７－５３１５７９（ＪＰ，Ａ）
【文献】特開２００５－１００３６６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１３／０３３２８２７（ＵＳ，Ａ１）
【文献】特開２０１２－０４８３５８（ＪＰ，Ａ）
【文献】特開２０００－１３７７８９（ＪＰ，Ａ）
【文献】国際公開第２００８／０５９８７８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８
(57)【特許請求の範囲】
【請求項1】
コミュニケーションをとるシステムにおいて、一連のコミュニケーションオプションをユーザに選択可能に提示するように構成された可聴選択インタフェースであって、可聴な各コミュニケーションオプションは、可聴な各コミュニケーションオプションに関連付けられた異なるアイジェスチャの決定時に選択されるように構成されている、可聴選択インタフェースと、
前記ユーザの目の連続画像のシーケンスを捕捉するように構成された少なくとも１つのカメラと、
前記少なくとも１つのカメラ及び前記可聴選択インターフェースと通信可能に、任意選択的に無線で、結合されたプロセッサであって、前記プロセッサが、
（ｉ）捕捉された画像を受信及び処理し、眼窩内の目の瞳孔の向きである目の相対的な向きを決定し、前記目の相対的な向きの決定は、
ａ．前記捕捉された画像の瞳孔をマークして、瞳孔の検出と位置を示す関心領域を追跡すること、
ｂ．基準点を２Ｄグリッドの中心として設定して、前記グリッドの中心を基準にした基準点の座標系を構築すること、
ｃ．瞳孔の位置を前記グリッド上の座標に変換すること、
を具えており、
（ｉｉ）前記２Ｄグリッドの少なくとも２つのセクションのどのセクションに前記関心領域が位置するかを決定することによって、前記目の相対的な向きに基づいてアイジェスチャを決定し、
（ｉｉｉ）前記決定されたアイジェスチャに基づいて、ユーザ選択されたコミュニケーションオプションを決定し、かつ
（ｉｖ）前記ユーザ選択されたコミュニケーションオプションを実行する命令を提供するように構成されたプロセッサと、
を含むことを特徴とするシステム。
【請求項2】
請求項１に記載のシステムにおいて、前記ユーザの前記目を照らすように構成された少なくとも１つの光源であって、発光ダイオード（ＬＥＤ）を任意選択的に含む少なくとも１つの光源をさらに含むことを特徴とするシステム。
【請求項3】
請求項２に記載のシステムにおいて、前記光源が、赤外線（ＩＲ）光源を含み、前記少なくとも１つのカメラが、前記目から反射されたＩＲ光を検出するように構成されることを特徴とするシステム。
【請求項4】
請求項１に記載のシステムにおいて、前記アイジェスチャが、前記眼窩に対して上向きと、
前記眼窩に対して下向きと、
前記眼窩に対して横向きと、
前記眼窩に対して斜め向きと、
前記眼窩に対して傾斜した向きと、
前記眼窩の向きに一致した正面の向きと、
前記目のウインクと、
前記目のまばたきと、
からなるリストから選択されることを特徴とするシステム。
【請求項5】
請求項２に記載のシステムにおいて、前記光源及び前記少なくとも１つのカメラの少なくとも一方が、前記ユーザによって装着されるウェアラブルヘッドギアに結合され、又は、前記選択インタフェースが、モバイルコンピュータデバイス上で動作することを特徴とするシステム。
【請求項6】
請求項１に記載のシステムにおいて、前記コミュニケーションオプションの少なくとも１つが、可聴アラームと、
メニュー選択と、
言語選択と、
確認メッセージと、
文と、
フレーズと、
単語と、
音節と、
文字と、
モバイルコンピュータデバイス起動選択と、
視覚インタフェース動作停止選択と、
Ｅメール／ＳＭＳ／ＭＭＳの送信命令と、
コンピュータアプリケーションの実行命令と、
からなるリストから選択されることを特徴とするシステム。
【請求項7】
コミュニケーションをとる方法において、前記方法が、選択インタフェースにより、ユーザに対して、一連のコミュニケーションオプションを、可聴的に、選択可能に提示する手順であって、可聴な各コミュニケーションオプションは、可聴な各コミュニケーションオプションに関連付けられた異なるアイジェスチャの決定時に選択されるように構成されている、手順と、
少なくとも１つのカメラにより、前記ユーザの目の連続画像のシーケンスを捕捉する手順と、
前記目の画像を処理して目の相対的な向きを決定する手順であって、前記ユーザの眼窩内の瞳孔の向きである相対的な向きを決定し、前記目の相対的な向きの決定は、
ａ．前記捕捉された画像の瞳孔をマークして、瞳孔の検出と位置を示す関心領域を追跡すること、
ｂ．基準点を２Ｄグリッドの中心として設定して、前記グリッドの中心を基準にした基準点の座標系を構築すること、
ｃ．瞳孔の位置を前記グリッド上の座標に変換すること、
を具える、手順と、
前記２Ｄグリッドの少なくとも２つのセクションのどのセクションに前記関心領域が位置するかを決定することによって、前記目の相対的な向きに基づいて前記ユーザのアイジェスチャを決定する手順と、
前記決定されたアイジェスチャに基づいて、ユーザ選択されたコミュニケーションオプションを決定する手順と、
前記ユーザ選択されたコミュニケーションオプションを実行する命令を提供する手順と、
により特徴付けられる方法。
【請求項8】
請求項７に記載の方法において、少なくとも１つの光源を用いて、前記ユーザの前記目を照らす手順をさらに含み、任意選択的に、目を照らすのにＩＲ光が用いられ、前記少なくとも１つのカメラが、前記目から反射されたＩＲ光を検出するように構成され、任意選択的に、前記光源及び前記少なくとも１つのカメラが、前記ユーザによって装着されるウェアラブルヘッドギアに結合されることを特徴とする方法。
【請求項9】
請求項７に記載の方法において、前記アイジェスチャが、前記眼窩に対して上向きと、
前記眼窩に対して下向きと、
前記眼窩に対して横向きと、
前記眼窩に対して斜め向きと、
前記眼窩に対して傾斜した向きと、
前記眼窩の向きに一致した正面の向きと、
前記目のウインクと、
前記目のまばたきと、
からなるリストから選択されることを特徴とする方法。
【請求項10】
請求項７に記載の方法において、前記ユーザコミュニケーションオプションが、可聴アラームと、
メニュー選択と、
言語選択と、
確認メッセージと、
文と、
フレーズと、
単語と、
音節と、
文字と、
モバイルコンピュータデバイス起動選択と、
視覚インタフェース動作停止選択と、
Ｅメール送信命令と、
ＳＭＳ／ＭＭＳ送信命令と、
コンピュータアプリケーションの実行命令と、
からなるリストから選択されることを特徴とする方法。
【請求項11】
コミュニケーションをとるシステムにおいて、一連のコミュニケーションオプションをユーザに選択可能に提示するように構成された可聴選択インタフェースであって、可聴な各コミュニケーションオプションは、可聴な各コミュニケーションオプションに関連付けられた異なるアイジェスチャの決定時に選択されるように構成されている可聴選択インタフェースと、
目の画像を捕捉するように構成された少なくとも１つのカメラと、
前記少なくとも１つのカメラ及び前記選択インターフェースと通信可能に、任意選択的に無線で、結合されたプロセッサと、
を具え、
前記プロセッサは、前記目の画像のデータを受信及び処理して、
（ｉ）前記画像を少なくとも２つのセクションに分割し、
（ｉｉ）前記目の画像の前記少なくとも２つのセクションのうちの１つにおいて、眼の瞳孔の大まかな位置を決定し、
（ｉｉｉ）前記目の画像の前記少なくとも２つのセクションのうちの１つにおける大まかな瞳孔の位置に基づいてアイジェスチャを決定し、
（ｉｖ）決定されたアイジェスチャに基づいて、ユーザーが選択したコミュニケーションオプションを決定し、
（ｖ）前記ユーザーが選択したコミュニケーションオプションを実行するための命令を提供する、
ことを特徴とするシステム。
【請求項12】
請求項１１に記載のコミュニケーションをとるシステムにおいて、前記選択インターフェースが可聴インターフェースであることを特徴とするシステム。
【請求項13】
請求項１１または１２に記載のコミュニケーションをとるシステムにおいて、前記眼の瞳孔の大まかな位置の決定は、
（ｉ）前記捕捉された画像の瞳孔をマークして、瞳孔の検出と位置を示す関心領域を追跡すること、
（ｉｉ）基準点を２Ｄグリッドの中心として設定して、前記グリッドの中心を基準にした基準点の座標系を構築すること、
（ｉｉｉ）瞳孔の位置を前記グリッド上の座標に変換すること、
を含むことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アイトラッキングと、インタフェース及びユーザコミュニケーションプラットフォームとに関する。
【背景技術】
【0002】
変性疾患は、身体組織の構造及び機能の低下を特徴とする。変性疾患は、多くの場合、人の運動能力を損なう、筋肉に対する制御の喪失及び運動機能の低下につながる。その結果、個人は、言葉によって及び／又は手の動きによってコミュニケーションをとることに対して、重度の困難あるいは完全な不能を経験し得る。変性疾患は、必ずしも、人の心及び認知機能を全く又は運動機能の低下と同じ速度で減退させることはない。このように、完全な認知活動を有する人が、身体的及び言語的に自身の環境とインタラクトする能力を失うことがある。そのような人の心は、基本的にその体内にとらわれる又は閉じ込められると考えられ得る。
【0003】
変性疾患の幾つかの例には、デュシェンヌ型筋ジストロフィー（ＤＭＤ）、マシャドジョセフ病（ＭＪＤ）、多発性硬化症（ＭＳ）、筋ジストロフィー（ＭＤ）、パーキンソン病及び筋萎縮性側索硬化症（ＡＬＳ）が含まれる。ルー・ゲーリック病及びシャルコー病としても知られる筋萎縮性側索硬化症（ＡＬＳ）は、ニューロン死を伴う疾患であり、こわばった筋肉、筋肉の痙攣、及び筋肉の萎縮による徐々に悪化する衰弱を特徴とする。ＡＬＳは、一般的に、話すこと、嚥下、及び呼吸に困難を生じさせる。ＡＬＳ患者は、自身の発話能力及び自身の上肢の使用を徐々に失う、完全に機能した認知能力を備えた人々のサブグループを代表する。
【0004】
変性疾患を患う人々とは別に、他のグループの人々も、自身の知力は保持しながら、身体能力の喪失を経験し得る（すなわち、完全な認知能力を維持しながら、会話によってコミュニケーションをとることに困難を有する）。例えば、閉じ込め症候群（ＬＩＳ）又はパーキンソン病若しくはハンチントン病のような神経変性疾患を患う人々、脳卒中及び他の事故の犠牲者（例えば、交通事故）、喉に挿入された呼吸管があるため、話すことができない人工呼吸器につながれた患者（人工呼吸器装着患者）、自身の四肢を動かすことができないほど弱った又は自身の四肢を動かすことができない人々、麻痺状態にある人々、又は脳が適切に機能していても、技術的制約のために自身の環境とインタラクトできない状態に達した他の人々である。従って、このような個人は、自身の環境において、他の人々とコミュニケーションをとる能力が著しく制限を受ける。コミュニケーションの欠如は、分離及び孤立の感情を引き起こす可能性があり、患者がストレスを受け、かつ不可欠な要望を効果的に伝える又は重要な援助を得ることができない状況（場合によっては、生命に関わり得る）につながり得る。
【0005】
考えられる方法の１つは、そのような個人に対して、彼らの目に関連した特徴に基づいて、コミュニケーションの代替形態を可能にすることである。例えば、人の目線の方向又は焦点を用いて、彼らの周囲に対して、命令を提供する、又は情報を伝達することができる。このような代替的な非言語的コミュニケーション形態を支援するツールが存在するが、それらは、一般的に比較的高価で、煩雑で、及び／又は動かせない（位置が固定されている）。これらのツールは、多くの場合、専用コンピュータの使用を必要とし、ツールを使用する人の不変の姿勢を条件とする。これらのツールは、画面上の表示に対する目の位置をトラッキングし、画面上のマウスカーソルの動作を模倣するように目の動きを変換することができる。従って、患者の焦点が、ポインタ（又はカーソル）の地理的位置に変換され、患者は、コンピュータマウスの操作と同様に、彼／彼女の目を使って、コンピュータを制御することができる。例えば、瞳孔が、空間内の一点として識別され、人が、コンピュータマウスを制御するやり方と同様に、自身の目を用いてコンピュータを制御することを可能にする。マウス制御は、必ずしも正確とは限らず、閉じ込め症候群の患者は、一般的に、例えば取り付けられた医療機器（例えば、人工呼吸器）により、頭（又は他の身体部分）を自由に動かすことができない。ユーザの正確な視線位置を決定することに依存するこのようなツールは、一般的に、比較的頻繁な再較正も必要とし、積極的なユーザの参加を必要とする。較正プロセスは、通常、画面の前の複数の位置におけるユーザの正確な固定を必要とし、従って、比較的手間及び時間がかかる。また、較正プロセスは、たびたび第三者の援助を必要とする場合があり、これは、費用がかかり、あるいは不便である場合がある。
【0006】
“Ｅｙｅ Ｔｒａｃｋｅｒ ｗｉｔｈ Ｖｉｓｕａｌ Ｆｅｅｄｂａｃｋ”という名称のＢｏｕｖｉｎらに対する米国特許第８，１２０，５７７号明細書は、アイトラッカー検出された、グラフィックディスプレイ上の注視点の移動シーケンスに応じた制御コマンドのコンピュータへの入力を開示している。
【0007】
“Ｍｏｂｉｌｅ Ｔｅｒｍｉｎａｌ ａｎｄ Ｃｏｎｔｒｏｌ Ｍｅｔｈｏｄ Ｔｈｅｒｅｏｆ”という名称のＮａらに対する米国特許出願公開第２０１３／０２９３４８８号明細書は、ユーザのアイジェスチャを捕捉するように構成されたカメラと、捕捉されたアイジェスチャに基づいて、ディスプレイ上にアイトラッキングモードガイドを表示し、捕捉された第２のアイジェスチャに基づいて、アイトラッキングモードガイドに含まれる特定の機能を選択するように構成されたコントローラとを含むモバイル端末を開示している。
【0008】
“Ｅｙｅ Ｇａｚｅ Ｕｓｅｒ”という名称のＭａｌｔｚに対する米国特許第８，５９３，３７５号明細書は、角度精度と時間平均化とのトレードオフを視線方向センサに適応させるように設計された視線制御デバイス用のソフトウェア制御ユーザインタフェースを開示している。
【0009】
“Ｅｙｅ Ｇａｚｅ Ｕｓｅｒ”という名称のＭａｌｔｚに対する米国特許第８，５９３，３７５号明細書は、角度精度と時間平均化とのトレードオフを視線方向センサに適応させるように設計された視線制御デバイス用のソフトウェア制御ユーザインタフェースを開示している。
【0010】
“Ｍｉｃｒｏｄｉｓｐｌａｙ ｗｉｔｈ Ｅｙｅ Ｇａｚｅ Ｄｅｔｅｃｔｉｏｎ”という名称のＢｅｌｌに対する米国特許第６，４５６，２６２号明細書は、表示された画像要素を、注視することによって選択することができるマイクロディスプレイを開示している。
【0011】
“Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｐｕｔｔｉｎｇ Ｋｅｙｓ Ｕｓｉｎｇ Ｂｉｏｌｏｇｉｃａｌ Ｓｉｇｎａｌｓ ｉｎ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｒｍｉｎａｌ”という名称のＭｉｎらに対する米国特許出願公開第２００６／００６１５４４号明細書は、生体信号をキー入力として検知及び受信するＥＯＧ（眼電図）入力ユニット及びＥＭＧ（筋電図）入力ユニットを備えた生体信号検知ユニットを用いて検知されたユーザの生体信号に従って選択されたキーをユーザが入力するヘッドマウントディスプレイを開示している。
【0012】
アイトラッキングを用いて操作されるシステムの一例は、「ＥｙｅＷｒｉｔｅｒ（商標）」（ｎｏｔｉｍｐｏｓｓｉｂｌｅｌａｂｓ．ｃｏｍ又はｈｔｔｐ：／／ｗｗｗ．ｅｙｅｗｒｉｔｅｒ．ｏｒｇ／）である。ＥｙｅＷｒｉｔｅｒ（商標）は、ＡＬＳを患うグラフィティアーティストのために開発されたものである。
【発明の概要】
【0013】
従って、本発明の一態様によれば、ユーザが目に基づいたフィードバックを用いてコミュニケーションをとることを可能にするシステムが提供される。このシステムは、相対的な目の向きのセンサ、選択インタフェース及びプロセッサを含む。選択インタフェースは、一連のコミュニケーションオプションをユーザに選択可能に提示するように構成される。相対的な目の向きのセンサは、ユーザの目から反射する光を検出し、相関信号を提供するように構成される。プロセッサは、相対的な目の向きのセンサ及び選択インタフェースと通信可能に結合される。プロセッサは、相関信号を受信及び処理することによって、ユーザの相対的な目の向きを決定するように構成され、相対的な目の向きは、少なくともユーザの頭の向きに対する目の瞳孔の相対的な向きを含む。プロセッサは、決定された相対的な目の向きに基づいて、選択されたコミュニケーションオプションを決定し、選択されたコミュニケーションオプションを実行する命令を提供するようにさらに構成される。システムは、ユーザの目を照らす少なくとも１つの光源をさらに含んでもよい。光源は、赤外線（ＩＲ）光源でもよく、相対的な目の向きのセンサは、目から反射されたＩＲ光を検出してもよい。選択インタフェースは、視覚インタフェース、可聴インタフェース、及び／又は触覚インタフェースを含んでもよい。光源及び／又は相対的な向きのセンサは、ユーザによって装着されるウェアラブルヘッドギアに結合されてもよい。選択インタフェースは、モバイルコンピュータデバイス上で動作してもよい。相対的な目の向きのセンサは、ユーザの目の画像を捕捉するように構成された少なくとも１つの画像センサを含んでもよく、プロセッサが、捕捉画像の画像処理によって相対的な目の向きを決定する。プロセッサは、瞳孔の瞬間的な相対的な向きを検出することによって、又は瞳孔の過渡変化を検出することによって、相対的な目の向きを決定してもよい。プロセッサは、相対的な目の向きのセンサ及び／又は選択インタフェースと通信可能に無線結合されてもよい。コミュニケーションオプションは、可聴アラーム、メニュー選択、言語選択、確認メッセージ、文、フレーズ、単語、音節、文字、モバイルコンピュータデバイス起動選択、視覚インタフェース動作停止選択、Ｅメール／ＳＭＳ／ＭＭＳの送信命令、及び／又はコンピュータアプリケーションの実行命令を含んでもよい。視覚インタフェースは、色の調整、形状の調整、及び／又は記号画像によって、少なくとも１つのコミュニケーションオプションを表示してもよい。
【0014】
従って、本発明の別の局面によれば、ユーザが目に基づいたフィードバックを用いてコミュニケーションをとることを可能にする方法が提供される。本方法は、選択インタフェースを有するユーザに対して、一連のコミュニケーションオプションを選択可能に提示する手順と、ユーザの目から反射された光を検出し、相対的な目の向きのセンサを用いて相関信号を提供する手順とを含む。本方法は、相関信号を処理することによって、ユーザの相対的な目の向きを決定する手順をさらに含み、相対的な目の向きは、少なくともユーザの頭の向きに対する目の瞳孔の相対的な向きを含む。本方法は、決定された相対的な目の向きに基づいて、選択されたコミュニケーションオプションを決定する手順と、選択されたコミュニケーションオプションを実行する命令を提供する手順とをさらに含む。本方法は、少なくとも１つの光源を用いて、ユーザの目を照らす手順をさらに含んでもよい。目は、ＩＲ光を用いて照らされてもよく、相対的な目の向きのセンサは、目から反射されたＩＲ光を検出するように構成される。コミュニケーションオプションは、視覚的、可聴的、及び／又は触覚感知可能なやり方で、選択インタフェースによって提示されてもよい。ユーザの目から反射された光を検出する手順は、少なくとも１つの画像センサを用いて、目の画像を捕捉することを含んでもよく、相対的な目の向きは、捕捉画像の画像処理によって決定される。相対的な目の向きは、瞳孔の瞬間的な相対的な向きを検出することによって、又は瞳孔の過渡変化を検出することによって、決定されてもよい。コミュニケーションオプションは、可聴アラーム、メニュー選択、言語選択、確認メッセージ、文、フレーズ、単語、音節、文字、モバイルコンピュータデバイス起動選択、視覚インタフェース動作停止選択、Ｅメール／ＳＭＳ／ＭＭＳ送信命令、及び／又はコンピュータアプリケーションの実行命令を含んでもよい。本方法は、連続する捕捉画像を比較することによって、目の瞳孔の相対的変化を検出することと、捕捉画像内の瞳孔をマーキングすることによって、瞳孔の位置を示す関心領域をトラッキングすることと、２Ｄグリッドの中心として基準点を設定し、目の動きをグリッド上の座標に変換することと、瞳孔が、グリッドの中心にあることを決定した際に、基準点座標系を構築するための基準点を選択することと、ユーザの動きの範囲を決定することとによって較正を行う手順をさらに含んでもよい。
【図面の簡単な説明】
【0015】
本発明は、図面と併せた以下の詳細な説明から、より詳しく理解及び認識されるだろう。
【0016】
【発明を実施するための形態】
【0017】
本発明は、ユーザが目に基づいたフィードバックによってコミュニケーションをとることを可能にするシステム及び方法を提供することによって、先行技術の欠点を克服する。具体的には、ユーザは、彼／彼女の目の相対的な向きを操作することによって、彼／彼女が見ている概略の方向を示す形態の非常に基本的なアイジェスチャを用いることよって、視覚／音声／触覚インタフェースを介して、彼／彼女に提示されたコミュニケーションオプションを選択することができる。このシステムは、例えばＩＲ光源及びＩＲカメラ又は他のセンサを用いることによって、目からの赤外線（又は他の光）の反射を検出することによって、眼窩に対する瞳孔の向き又は頭の向きを示す、ユーザの相対的な目の向きを決定する。従って、本発明は、洗練され、入手しやすく、比較的安価で、可動性のあるコミュニケーションの代替形態を提供することによって、閉じ込め症候群（ＬＩＳ）の患者、ＡＬＳ患者などの、認知的な意識を維持しながら、言葉による及び／又は手話によるコミュニケーションが困難である又は不能であることを特徴とする個人の生活の質を向上させるのに役立つ。より一般的には、本発明は、他の方法でコミュニケーションをとることに制約を示さない人々を含む、どのような個人によっても使用することができる。さらに、このシステムは、ユーザがそれ以外の場合には従事している間に、デバイスの通信及び動作を可能にする。
【0018】
これより、通常１００で参照される、本発明の一実施形態に従って構築され、及び動作する、ユーザが目に基づいたフィードバックを用いてコミュニケーションをとることを可能にするシステムの模式図である図１を参照する。システム１００は、主ディスプレイ１０２、画像プロセッサ１０４、光源１０６、カメラ１０８、音声ユニット１１２、及び補助ディスプレイ１２４を備えたコンピュータデバイス１１４を含む。プロセッサ１０４は、主ディスプレイ１０２、カメラ１０８、音声ユニット１１２、及びコンピュータデバイス１１４と通信可能に結合される。コンピュータデバイス１１４は、有線又は無線通信リンク１１６（例えば、双方向Ｂｌｕｅｔｏｏｔｈ接続）を経由して、プロセッサ１０４と通信可能に結合されてもよい。
【0019】
光源１０６は、光１１８を放射することによって、ユーザ１５０の少なくとも一方の目を照らすように構成される。光源１０６は、赤外線（ＩＲ）スペクトルの光などの不可視光を放射するように構成されてもよい。ＩＲ光は、照明条件の悪い暗い部屋の中でも効果的に使用することができ、かつ目の効果的な照明を可能にするので、特に望ましい。代替的に、ユーザ１５０の目を照らすために、他の光波長（非ＩＲ光）が用いられてもよい。光源１０６は、一般的に、目に安全な光（例えば、可視又は赤外線波長にある）を放射する。目に安全な光は、表示画像の可視光経路を妨げることなく、望ましい光路でシステム１００の様々な光学素子を通過する（すなわち、望ましい方向に光学素子を透過する又は光学素子から反射される）ことができる。一例として、光源１０６は、アレイに（例えば、各ＬＥＤを正方形の各角に備えた正方形パターンに）配置された４つのＩＲのＬＥＤ光によって具現化されてもよい。代替的に、光源１０６は、太陽放射又は室内照明などの周辺光によって具現化されてもよい。
【0020】
カメラ１０８は、ユーザ１５０の少なくとも一方の目の画像を捕捉するように構成される。カメラ１０８の目線（ＬＯＳ）は、ユーザ１５０が顔を向けている概略の方向に向けて位置合わせされる。カメラ１０８の視野（ＦＯＶ）は、目を画像フレーム内に維持しながら、ユーザ１５０による可能な頭の動きの範囲に関連付けられる。システム１００は、単一のカメラ１０８を用いて可能となるよりも広い全体的なＦＯＶの撮像を可能にする、異なるＦＯＶを持つ複数のカメラ１０８を含んでもよい。
【0021】
カメラ１０８は、任意の波長範囲（例えば、可視又は不可視スペクトルの光、紫外線、赤外線、レーダ波、マイクロ波、ＲＦなど）の任意の形態の電磁放射の取得を含む、現実世界のシーンの画像表現を取得可能な任意の種類のデバイスでもよい。例えば、カメラ１０８は、可視から近赤外線（ＮＩＲ）スペクトルで動作する相補型金属酸化膜半導体（ＣＭＯＳ）又は電荷結合素子（ＣＣＤ）カメラでもよい。一般的に、カメラ１０８は、光源１０６の動作可能波長範囲に一致する又は少なくとも部分的に重なるスペクトル領域で動作する。カメラ１０８の主要構成要素は、フィルタ１１１、画像センサ１１０、レンズ（不図示）、及び電子回路（不図示）である。画像センサ１１０は、選択された波長の光のみを検出するように構成されてもよい（すなわち、狭帯域センサ）。代替的に、フィルタ１１１は、所望の波長以外の光が画像センサ１１０に到達することを阻止するように構成されてもよい（例えば、帯域通過フィルタを用いて）。
【0022】
センサ１１０は、例えば、フォトダイオード、ＣＣＤ、又は別の種類の光検出素子でもよい。カメラ１０８は、一般的に、後続の処理及び／又は送信のために電子信号に変換され得るビデオ画像を表す一連の連続した画像フレームなどの少なくとも１つの画像フレームを取得するように動作する。一例として、カメラ１０８は、改造されたウェブカメラ、デジタルカメラ及び／又は携帯電話カメラによって具現化されてもよい。従って、本明細書で使用される「画像」という用語は、あらゆるスペクトル領域で取得されたシーンのあらゆる光学的又はデジタル表現を含む、上記の画像センサからの、あらゆる出力形態を指し、単一の画像フレーム及び一連の画像フレーム（すなわち、「ビデオ画像」）の両方を包含する。
【0023】
カメラ１０８は、ユーザ１５０の相対的な目の向きを決定するために使用されるセンサの１つの種類例として提供されるが、システム１００は、代替的に、カメラ１０８の代わりに、異なる種類のセンサを含んでもよい。例えば、システム１００は、代替的に、ユーザ１５０に対して個々に又は適宜の構成（センサアレイなど）に配置された少なくとも１つの別個の光センサを含んでもよい。従って、ユーザ１５０の相対的な目の向きの決定は、以下にさらに説明されるように、カメラ画像の画像解析に基づくのではなく、上記別個のセンサによって検出された反射光の解析に基づいて行われてもよい。
【0024】
主ディスプレイ１０２及び補助ディスプレイ１２４は、ユーザ１５０が見ることができる視覚情報を表示するように構成される。表示情報は、（以下にさらに詳述されるように）例えば英数字及び／又は記号を含むグラフィックメニュー又は表の形態で、選択可能なオプションを有するグラフィック制御要素を含んでもよい。主ディスプレイ１０２は、コンピュータモニタ、テレビモニタ、タブレット又は携帯電話のディスプレイ、プラズマ又はＬＣＤ画面、発光ダイオード（ＬＥＤ）ディスプレイ、三次元表示ディスプレイ（例えば、ホログラフィックディスプレイ）などを含む（但し、これらに限定されない）、任意の適宜のフォーマット又は基礎技術を用いて視覚情報を提示することが可能な任意のデバイス又は機構でもよい。主ディスプレイ１０２は、ヘルメット、ヘッドバンド、バイザー、眼鏡、ゴーグルなどの、ユーザ１５０によって装着されるウェアラブル装置内に埋め込まれたヘッドマウントディスプレイ（ＨＭＤ）によって具現化されてもよい。システム１００は、代替的に、主ディスプレイ１０２及び補助ディスプレイ１２４に加えて、又はそれらの代わりに、可聴及び／又は触覚感知できるフォーマットで情報を提示する可聴インタフェース及び／又は触覚インタフェースを含んでもよい。
【0025】
プロセッサ１０４は、様々なシステム構成要素から命令及びデータを受信する。プロセッサ１０４は、カメラ１０８によって捕捉された画像フレームに対する画像処理及び解析を行い、かつ画像特徴から情報を抽出するようにも構成される。プロセッサ１０４は、システム１００の他の構成要素から離れた場所に位置してもよい。例えば、プロセッサ１０４は、通信媒体又はネットワーク上でアクセス可能なリモートコンピュータ、又はリモートコンピュータシステム若しくはマシンなどのサーバの一部でもよい。代替的に、プロセッサ１０４は、ユーザ１５０に隣接して位置してもよく、及び／又はシステム１００の他の構成要素内に統合されてもよい。プロセッサ１０４は、十分な演算能力を備えた低コストプロセッサ（例えば、Ｏｄｒｏｉｄ Ｕ３又はＲａｓｐｂｅｒｒｙ ｐｉ２）によって具現化されてもよく、及びテキストを音声に変換するエンジン及びＢｌｕｅｔｏｏｔｈ機能を含んでもよい。
【0026】
音声ユニット１１２は、可聴出力を生成するように構成される。可聴出力は、単純なビープ音又はアラームタイプの音声通知からより複雑な音声パターンに及ぶ、変化するトーン又は強度の様々な種類の音を含んでもよい。システム１００は、一般的に、複数の形態の可聴出力を生成するように構成されてもよい複数の音声ユニット１１２を含んでもよい。音声ユニット１１２は、ヘッドフォンなどの少なくとも１つのスピーカによって具現化されてもよい。
【0027】
コンピュータデバイス１１４は、スマートフォン、タブレットコンピュータ、及び／又はデジタル音楽プレイヤーなどのモバイルコンピュータデバイス、又はデスクトップコンピュータなどの固定式コンピュータデバイスによって具現化されてもよい。
【0028】
システム１００は、ユーザ１５０の近くにシステム１００の要素を支持するための支持フレーム（不図示）を含んでもよく、又はそれを用いて使用されてもよい。支持フレームは、眼鏡（ｓｐｅｃｔａｃｌｅ）又はメガネ（ｅｙｅ－ｇｌａｓｓｅｓ）によって具現化されてもよい。支持フレームは、強く、かつ可撓性のある可動アームを用いて、光源１０６及びカメラ１０８を支持してもよい。可撓性可動アームは、カメラ１０８を支持するのに十分な弾性及び剛性を有するが、カメラ１０８の撮像範囲、位置及び／又は視野角を調整するために曲げられるのに十分な可撓性を有する材料から作ることができる。ユーザ１５０に対する重量及び圧力を低減するために、軽量材料が使用されてもよい。例えば、カメラ１０８は、ユーザ１５０の顔に装着されたヘッドギアにワイヤを介して取り付けられてもよく、及びカメラ１０８がユーザ１５０の少なくとも一方の目を撮像するように、ユーザ１５０の顔に向けられてもよい。この位置合わせは、ユーザ１５０の頭の動きを変化させる間に目の位置合わせを維持するために、又はユーザ１５０の他の身体的要件に適応するために、自動的に又は手動で再調整されてもよい。ＬＩＳ患者は、人工呼吸器又は他の医療機器につながれている場合があるので、支持フレームの操作性は、システム１００の位置が完全に固定された場合に生じる支障又は制約を最小限に抑えながら、このような患者が、システム１００を便利に利用することを可能にすることができる。また、支持フレームは、特定のユーザ１５０の要件を満たすように、例えば異なる種類の人工呼吸器を持つ人々によって利用可能となるように、調整可能であってもよく、及び／又は構成されてもよい。安定性及び支持を提供する代替技術は、システム１００の要素を隣接するカウンター、乗り物、又は車椅子に取り付けることによる。
【0029】
システム１００の構成要素及びデバイスは、ハードウェア、ソフトウェア、又はそれらの組み合わせに基づいてもよい。システム１００の各デバイス又は構成要素に関連付けられた機能性が、単一の位置又は複数の位置に存在し得る複数のデバイス又は構成要素間で分散されてもよいことが理解される。例えば、プロセッサ１０４に関連付けられた機能性が、複数の処理ユニット（画像処理機能用の専用画像プロセッサなど）の間で分散されてもよい。システム１００は、任意選択的に、開示の要旨の実施を可能にする、図１に不図示の追加の構成要素を含んでもよく、及び／又はそれらに関連付けられてもよい。例えば、システム１００は、電力を様々な構成要素に提供する電源（不図示）を含んでもよく、及び画像フレーム又は他の種類のデータの一時記憶のためのメモリ又は記憶ユニット（不図示）をさらに含んでもよい。
【0030】
これより、例示目的で、ＬＩＳ患者などの言葉によるコミュニケーションが困難又は不能であることを特徴とするユーザ１５０の観点から、システム１００の動作を説明する。ユーザ１５０は、複数のコマンド選択などの、主ディスプレイ１０２及び／又は補助ディスプレイ１２４上に提示された視覚情報を見る。カメラ１０８は、光源１０６によって照らされたユーザ１５０の目の画像を捕捉し、プロセッサ１０４は、捕捉された画像を受信及び処理して、ユーザ１５０の相対的な目の向きを決定する。相対的な目の向きは、頭の向きに概ね一致する彼／彼女が顔を向けている方向に対するユーザ１５０が見ている概略の方向（例えば、「上」、「下」、「左」、「右」、「正面」）を表す。従って、相対的な目の向きは、眼窩内の瞳孔の向き又はユーザの頭の向きに対する瞳孔の向きと見なすことができる。例えば、プロセッサ１０４は、目の捕捉画像を、少なくとも１つの前の捕捉画像と比較することによって、瞳孔の瞬間的な相対的な向き（眼窩又はユーザ１５０の頭の向きに対する）を決定し、／又は瞳孔の向きにおける過渡変化を検出する。代替的に、プロセッサ１０４は、カメラ１０８によって捕捉された画像ではなく、別個のＩＲセンサなどの別個の光センサによって検出されたユーザ１５０の目からの反射信号を処理する。例えば、プロセッサ１０４は、ユーザの目の周りの異なる位置に配置された複数の別個のセンサ（例えば、目の外周の周りで均等に分散された４つのセンサ）の各検出を比較し、センサ検出の特徴（例えば、どのセンサが目から反射された光を検出したか、検出された反射の強度及び／又は到来角）、並びに各センサに対する瞳孔の相対的近接に基づいて、ユーザ１５０の相対的な目の向きを決定してもよい。
【0031】
ディスプレイ１０２は、オプション選択表又はメニューを介して複数のオプションを提示する。ユーザ１５０は、選択するオプションを、彼／彼女の相対的な目の向きが、ディスプレイ１０２上に提示されたそのオプションの相対的方向と相関するようにアイジェスチャを行うことによって示す。従って、プロセッサ１０４は、ユーザ１５０の相対的な目の向きを決定し、決定された相対的な目の向きに基づいて、ユーザ１５０によって選択されたオプションを決定する。例えば、相対的な目の向きが「右」であると決定されると（すなわち、瞳孔の向きは、ユーザ１５０の眼窩内の右側にある）、メニューの右側に表示されたオプションが選択されると見なされる。ユーザ選択は、ユーザの正確な注視方向又は目線の決定を必要とせずに（すなわち、ディスプレイ１０２上の一意的な座標位置を決定するなどの特定の座標系に関してユーザ１５０が見ている特定の点又は空間座標を決定することなく）、ユーザ１５０が見ている極めて概略の（曖昧な）方向（例えば、「右」、「左」、「上」、「下」、「正面」）に一致する相対的な目の向きにのみ基づいて決定されることに留意されたい。
【0032】
プロセッサ１０４は、ユーザ１５０の決定された選択に基づいて、少なくとも１つのアクションを行うようにディスプレイ１０２、音声ユニット１１２、及び／又はコンピュータデバイス１１４に命令を提供する。これらのアクションは、例えば、単語、文字、フレーズ、文、又はアラーム警告サイレンを聞こえるように出力すること、異なるメニュー画面又は異なる１つ又は複数のメニューオプションを表示すること、テキストを表示すること、テキスト又はＥメールメッセージを生成及び送信すること、及び／又はコンピュータデバイス１１４上で特定のアプリケーションを実行することでもよい。
【0033】
これより、図２～４を参照して、システム１００の選択プロセスをさらに説明する。図２に描かれる例示的表示画面２００Ｓには、２つの別々のメニュー部分が示されている。上側のメニュー部分２００は、ユーザ１５０がシステム１００の設定パラメータを選択又は変更することを可能にするように配置された「設定メニュー」である。下側のメニュー部分２０２は、ユーザ１５０が、キーワード及びフレーズの所定のセットから特定の単語又は一連の単語（フレーズ）を選択することを可能にするように配置された「単語メニュー」である。１つ又は複数の設定オプション２００Ａ、２００Ｂ、２００Ｃ、２００Ｄ、２００Ｅ及び１つ又は複数の単語オプション２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄ、２０２Ｅが、ある瞬間に、ディスプレイ１０２、１２４上に表示される。オプションの選択は、追加のオプションを有するサブメニューを表示させてもよい。
【0034】
図示された例では、オプション２００Ａは、異なる言語の選択肢のサブメニューをもたらす「言語オプション」を表す。オプション２００Ｂは、例えば特定のアイジェスチャ又は指示を行うことによって、ユーザ１５０によって再起動されるまで、待機（すなわち、停止又は低電力）動作モードにシステム１００を切り替える「待機オプション」を表す。オプション２００Ｃは、ユーザ１５０を支援する（例えば、システム１００の特定の局面又は要素の使用方法の説明）ように設計された異なるオプションのサブメニューをもたらす「ヘルプオプション」を表す。オプション２００Ｄは、選択されると、音声ユニット１１２が警報又は警告信号を発することを生じさせる「警告オプション」を表す。オプション２００Ｄは、ユーザ１５０が窮地及び／又は生命に関わる状況にある場合に特に有用である。警報又は警告サイレンは、例えば続けざまに４回ウインクをするなどの特定のアイジェスチャ又は指示を行うユーザ１５０によって起動されてもよい。オプション２００Ｅは、ユーザ１５０がコンピュータデバイス１１４上でプログラムアプリケーションを実行することを可能にする、プロセッサ１０４とコンピュータデバイス１１４との間の通信リンク１１６を確立する「モバイル接続オプション」を表す。
【0035】
単語メニュー部分２０２を参照して、オプション２０２Ａは、「こんにちは」という単語を表し、オプション２０２Ｂは、「さようなら」という単語を表し、オプション２０２Ｃは、「ありがとう」という単語を表し、オプション２０２Ｄは、「助けて」という単語を表す。例えば、オプション２０２Ｄの選択は、設定オプション２００Ｄと同様に、音声ユニット１１２が警報信号又は警告サイレンを発することを生じさせることができる。オプション２０２Ｅは、「アプリケーション」という単語を表す。例えば、オプション２０２Ｅの選択は、設定オプション２００Ｅと同様に、ユーザがコンピュータデバイス１１４上でプログラムアプリケーションを実行することを可能にするために、コンピュータデバイス１１４との通信リンク１１６を確立するようにプロセッサ１０４に命令することができる。
【0036】
ある例示的実施形態では、「設定」メニュー部分２００又は「単語」メニュー部分２０２からの単一のオプションのみが、ある時点で、ディスプレイ１０２、１２４上に表示され、ユーザ１５０が、適切な目の動き又はジェスチャを実行することによって、現在表示されているメニューオプションを選択すること、又は他の利用可能なメニューオプションを見続けることを可能にする。例えば、各メニュー部分２００、２０２からの個々のオプションは、ユーザ１５０の相対的な目の向きに応じて、周期的に順次提示されてもよい。具体的には、ユーザ１５０は、まず、上方向（Ｕ）を見ることによって、「設定メニュー」２００を選択することができる。続いて、左方向（Ｌ１）を見ることによって、ユーザ１５０は、ディスプレイ１０２、１２４上に提示された「設定オプション」を、第１の順番で繰り返し表示させることができ、右方向（Ｒ１）を見ることによって、ユーザ１５０は、「設定オプション」を逆の順番で繰り返し表示させることができる。例えば、ディスプレイ１０２、１２４は、まず、設定オプション２００Ａ及び２０２Ａのみを提示する。上（Ｕ）を見て、次に左（Ｌ１）方向を見ることによって、ユーザ１５０は、設定オプション２００Ｅ（例えば、設定オプション２００Ａの代わりに）を表示するようにシステム１００に命令することができる。あるいは、上（Ｕ）を見て、次に右（Ｒ１）方向を見ることによって、ユーザ１５０は、オプション２００Ｂ（例えば、オプション２００Ａの代わりに）を表示するようにシステム１００に命令することができる。同様に、まず下（Ｄ）を見ることによって、ユーザ１５０は、「単語メニュー」２０２を選択することができる。続いて、ユーザ１５０は、例えば、左（Ｌ２）を見ることによって単語オプションを第１の順番で繰り返し表示させる、又は右（Ｒ２）を見ることによって単語オプションを第２の順番で繰り返し表示させるなど、ディスプレイ上で「単語オプション」を順次繰り返し表示させることができる。例えば、下（Ｄ）を見て、次に左（Ｌ２）方向を見ることによって、ユーザ１５０は、単語オプション２０２Ｅ（例えば、オプション２０２Ａの代わりに）を表示するようにシステム１００に命令することができる。あるいは、下（Ｄ）を見て、次に右（Ｒ２）方向を見ることによって、ユーザ１５０は、オプション２０２Ｂ（例えば、オプション２０２Ａの代わりに）を表示するようにシステム１００に命令することができる。代替の方向構成を等しく適用できることに留意されたい。例えば、ユーザ１５０は、代替的に、視線を、左方向及び右方向ではなく、上方向及び下方向に向けることによって、メニューオプションを順次繰り返し表示させてもよく、ディスプレイ１０２、１２４は、上下構成ではなく、並列で異なるメニュー部分２００、２０２を提示してもよい。
【0037】
ユーザ１５０は、自身の目を閉じる（ウインクする／まばたきする）、又は例えば前方の目の向きに対して斜めに又は傾斜角（例えば、４５°の角度）を成すといった特定の方向を注視するなどの、所定の目に基づいたジェスチャ又は指示を使用することによって、メニュー２００、２０２の一方からオプションを選択することができる。ユーザ１５０は、彼／彼女が選択プロセスを上手く実行できることを確実にするために、システム１００の初期化プロセス中に、使用される適切な目に基づいたジェスチャを選択することができる（例えば、一部のユーザは、まばたきすることが難しい場合があり、従って、代替のジェスチャを選択してもよい）。選択されたジェスチャは、使用前に、システム１００の事前セットアップ又は初期化の必要性を排除するために、予め選択されたデフォルトオプションでもよい。例えば、ユーザ１５０は、下（Ｄ）を見て、次に左（Ｌ２）及び／又は右（Ｒ２）方向を見ることによって、彼／彼女が所望のオプション（例えばオプション２０２Ｃ）に至るまで、単語メニュー２０２の異なるオプションを繰り返し表示させることができ、次に、下（Ｄ）を見て、ジェスチャを行う（例えば、ウインクする）ことによって、オプション２０２Ｃ（「ありがとう」という単語）を選択することができる。単語メニュー２０２における単語の選択は、選択された単語の可聴表示を提供するように音声ユニット１１２に命令する。例えば、オプション２０２Ｃの選択は、ユーザ１５０の近くにいる人達に、聞こえるように音声ユニット１１２から発せられた「ありがとう」という単語を聞かせる。
【0038】
強調表示又は太字表示されたテキスト又はカラーフレームなどの一時的な視覚表示が、例えば、オプションが最初に又は暫定的に選択されたが、まだユーザ１５０によって認証されていないことを示すために、選択されたオプションに適用されてもよい。次に、選択されたオプションに関連付けられた関連機能性を実行する前に、確認用の目に関連したジェスチャ又は指示（２回まばたきするなど）が、ユーザ選択を認証するために必要とされてもよい。加えて、提示されたメニュー内の様々なオプションを区別することを助けるために、形状又は色が用いられてもよい。代替的に、暫定的なユーザ選択が、例えば部分的音声出力をユーザ１５０に向けることによって、聞こえるように示されてもよい。例えば、最初に（暫定的に）選択されたメニューオプションが、ユーザ１５０が装着しているオーディオヘッドフォンの単一のチャンネルにのみ放送され、モノ音響再生を提供する（例えば、ヘッドフォンの右耳／右チャンネルにのみ放送することによって）。ユーザ１５０が、その単語を彼の周囲の環境に聞かせたい場合には、選択された単語は、選択されたオプションに関連付けられた適切な音（又は複数の音）を、音声ユニット１１２上、及び任意選択的にユーザ１５０が装着したヘッドフォンの他方の音声チャンネル（例えば、ヘッドフォンの左耳／左チャンネル）上で放送させる、追加の目に関連した指示又はジェスチャ（例えば、まばだき）によって認証される。異なる音声ユニット１１２間で（例えば、ユーザによってのみ聞くことができるヘッドフォン及び周囲全体で聞くことができるスピーカ間で）、及び単一の音声ユニットの異なる音声チャンネル間で（すなわち、モノ放送）、部分的可聴表示を選択的に指向させることによって、ユーザ１５０は、システム１００によって放送された可聴フィードバックを認識及び制御することができる。
【0039】
音声ユニット１１２は、代替的に、ディスプレイ１０２、１２４による視覚表示の代わりに（又はそれに加えて）、利用可能な選択オプションを可聴フォーマットでユーザ１５０に提示してもよい。例えば、ユーザ１５０が、各オプションに関連付けられた異なる目に関連したジェスチャの可聴表示と共に、利用可能なオプションを聞くように、設定メニュー２００の設定オプション及び／又は単語メニュー２０２の単語オプションのリストが、ヘッドフォンを通してユーザ１５０に放送されてもよい。例えば、ユーザ１５０は、ユーザ選択を促す以下の音声シーケンスを聞くことができる：「左－こんにちは、右－さようなら、上－はい、下－いいえ、まばたき－メニューを繰り返して」。代替的に、ユーザ１５０は、単に、単一のオプション、例えば「言語」を聞くことができる。１つ又は複数のオプションが、ユーザ１５０にのみ放送されてもよい。ユーザ１５０は、指定された目に関連したジェスチャを実行することによって、異なるオプションメニュー間を移動する、又はオプションを選択することができる。例えば、ユーザ１５０は、一方の側（例えば、右又は左、上又は下）への一瞥を用いて、異なる単語オプションを繰り返し表示させ、まばたき又はウインクジェスチャを用いて選択を示すことができる。ユーザ選択に続いて、関連付けられた音声出力が、その周囲に対して公開で放送されてもよい。
【0040】
そのため、システム１００の選択インタフェースは、視覚インタフェース（ディスプレイ１０２、１２４上に提示された視覚メニュー）、可聴インタフェース（プロセッサ１０４及び音声ユニット１１２によって提供される可聴メニュー）及び／又は触覚インタフェース（不図示）でもよい。従って、システム１００は、ディスプレイ１０２、１２４がなくても、設定メニュー２００及び単語メニュー２０２（図２）に相当する選択メニューを提示することができる。ディスプレイの排除は、患者のベッドの隣に設置され得るストレスとなるデバイスと同様に、回復期の患者（例えば、手術後）が、看護師に依頼する、又は家族とコミュニケーションをとることを可能にすることによって、医療機関の状況下において特に有益となり得ることが理解される。さらに、ディスプレイ１０２、１２４の排除は、システム１００の構成要素の数の減少に役立ち、このことは、全体的なコストを低下させ、かつより大きな可動性及び利用可能性を提供することができる。
【0041】
例示的表示画面２００Ｓ（図２）を参照して、ディスプレイ１０２、１２４は、代替的に、代わりに他方のメニュー２００、２０２（又は現在表示されていない別の利用可能メニュー）を表示することを可能にする選択可能オプションをメニュー２００、２０２の各々に提示しながら、ある瞬間に、単一のメニュー部分２００、２０２のみを選択的に表示してもよい。例えば、設定メニュー２００は、「単語メニューへの切り替え」オプション（不図示）を含んでもよく、それに応じて、単語メニュー２０２は、「設定メニューへの切り替え」オプション（不図示）を含んでもよく、２つの各メニュー２００、２０２間のトグリングを可能にする。このような表示構成は、ユーザ１５０の目の動きを左又は右方向にのみ限定する（及び上方向及び下方向への目の動きの必要性を除去する）ことによって、選択プロセスの単純化に役立ち得る。単に彼／彼女の注視を概略の方向（例えば、左又は右）に変えるだけで、表示されたメニュー２００、２０２を順次繰り返し表示させる機能は、ユーザ１５０が、比較的簡単かつ迅速に利用可能なメニューオプションの全てにアクセスすることを可能にすることがさらに理解されるだろう。例えば、ある特定のメニューが１０個の可能なオプションから構成される場合、いずれのオプションも、メニューの５「サイクル」以内に到達することができる（例えば、単語メニュー２０２が５個のオプションを含む図２の例では、オプション２０２Ｄは、オプション２０２Ａから開始して、左に２回、又は右に３回繰り返すことによって到達することができる）。単語メニュー２０２において提供される語彙は、問題となっているターゲットオーディエンス又はユーザにとって重要性が高く、及び高頻度であることが分かった特定数の予め決定された単語に限定されてもよい。ある単語メニュー２０２の利用可能な単語オプションは、部分的又は完全に、ユーザ１５０によって予め選択及び／又は編集されてもよい。単語メニュー２０２の語彙に関連付けられた各音声出力は、システム１００の稼働前に前もって生成されてもよく（例えば、話される単語及び／又はフレーズに対応した様々な音声ファイルを事前に録音することによって）、又はリアルタイムで生成されてもよい（例えば、テキストを音声に変換する、又は発音表記音声合成器を用いて）。
【0042】
上述の通り、文字グループメニューを示すメニューオプションを含む単語メニュー２０２など、あるメニューオプションが、表示することのできる異なるサブメニューを示してもよい。代替的に、単語メニュー２０２におけるモバイル接続オプション２００Ｅ、２０２Ｅの選択は、異なるメニュー又はサブメニュー、例えば文字グループメニューを含むアプリケーションを実行中のコンピュータデバイス１１４との通信リンク１１６をプロセッサ１０４に形成させることができる。
【0043】
これより、通常３００で参照される、選択用の異なる文字グループオプション３０２、３０４、３０６、３０８、３１０を含む、文字オプションメニュー例を提示するディスプレイ１０２、１２４上の例示的表示画面３００Ａの図である図３Ａを参照する。文字グループメニュー３００は、書かれたテキスト又はメッセージを作成するため、又は伝達される若しくは単語メニュー２０２に追加される単語のスペリングを伝えるために使用されてもよい。図３Ａの図示された例では、オプション３０２は、「ＡＢＣＤＥ」の文字グループを表し、オプション３０４は、「ＦＧＨＩＪ」の文字を表し、オプション３０６は、「ＫＬＭＮＯ」の文字を表し、オプション３０８は、「ＰＱＲＳＴ」の文字を表し、オプション３１０は、「ＵＶＷＸＹ」の文字を表す。文字グループオプション３０２、３０４、３０６、３０８、３１０は、各文字グループが、ディスプレイ１０２、１２４の離れた領域（すなわち、上、下、左、右、又は中央）に位置した十字形構成で提示される。図２を参照して先に説明したメニューオプションの選択と類似して、ユーザ１５０は、相対的な目の向き及び／又は目に関連したジェスチャのみを用いて、文字グループメニュー３００の利用可能なオプションを選択することができる。例えば、ディスプレイ１０２、１２４上で文字グループメニュー３００を見ながら、ユーザ１５０は、上方向（Ｕ）を注視することによってオプション３０２を選択することができ、左方向（Ｌ）を注視することによってオプション３０４を選択することができ、右方向（Ｒ）を注視することによってオプション３０８を選択することができ、又は下方向（Ｄ）を注視することによってオプション３１０を選択することができる。ユーザ１５０は、一方若しくは両方の目を閉じる（ウインクする／まばたきする）、又は前方の相対的な目の向きに対して斜めの若しくは傾斜した角度（例えば、４５°の角度）で注視するなどの、所定の目に関連したジェスチャ又は指示を行うことによって、中央のオプション３０６を選択することができる。オプションは、上述の文字をアナウンスする音声ユニット１１２によって伝達されてもよい。
【0044】
【0045】
文字グループメニュー３００の文字グループオプション（例えば３０２又は３０４）の選択は、選択された文字グループの個々の文字を表す別のサブメニュー（すなわち４００）の表示をもたらすことができる。例えば、ユーザ１５０が、文字グループオプション３０２（ＡＢＣＤＥの文字）を選択するために上を注視すると、ディスプレイ１０２、１２４は、関連付けられたＡＢＣＤＥの文字サブメニューを表示する。これより、通常４００で参照される、選択用の異なる個々の文字オプション４０２、４０４、４０６、４０８、４１０を含む、ＡＢＣＤＥの文字サブメニューを提示する、ディスプレイ１０２、１２４上の例示的表示画面４００Ａの図である図４を参照する。文字サブメニュー４００は、選択された文字グループオプション３０２（図３Ａ）に相当する。メニュー４００の図示された例では、オプション４０２は、「Ａ」の文字を表し、オプション４０４は、「Ｂ」の文字を表し、オプション４０６は、「Ｃ」の文字を表し、オプション４０８は、「Ｄ」の文字を表し、オプション４１０は、「Ｅ」の文字を表す。文字グループメニュー３００と同様に、個々の文字オプションもまた、各文字グループが、ディスプレイ１０２、１２４の離れた領域（すなわち、上、下、左、右、又は中央）に位置した十字形構成で提示される。ユーザ１５０は、相対的な目の向き及び／又は目に関連したジェスチャを用いて、個々の文字サブメニュー４００の利用可能なオプションを選択することができる。例えば、ユーザ１５０は、上方向（Ｕ）を注視することによってオプション４０２を選択することができ、左方向（Ｌ）を注視することによってオプション４０４を選択することができ、右方向（Ｒ）を注視することによってオプション４０８を選択することができ、下方向（Ｄ）を注視することによってオプション４１０を選択することができる。ユーザ１５０は、一方又は両方の目を閉じる（ウインクする／まばたきする）などの、所定の目に関連したジェスチャ又は指示を行うことによって、中央のオプション４０６を選択することができる。
【0046】
サブメニュー４００の個々の文字の選択は、ユーザ１５０による確認を必要とし得る、ディスプレイ１０２、１２４上に表示される選択された文字の視覚表示（例えば、選択された文字を強調表示する、又はその周りに視覚的な縁を提示することによる）をもたらしてもよい。代替的に、又は追加的に、選択された文字の音声表示が、音声ユニット１１２によって生成されてもよい。選択された文字は、ユーザ１５０によって作成中のテキストメッセージ又はテキストベースの命令にさらに加えられてもよい。例えば、上を見てオプション４０２を選択することにより、ディスプレイ１０２上に表示された文字「Ａ」の視覚表示を提供し、ユーザ１５０によって作成中のメッセージのテキストに「Ａ」の文字を入力しながら、「Ａ」の文字の音を発するように音声ユニット１１２に命令する。完成された単語は、単語メニュー２０２に追加され、及び保存されてもよい。
【0047】
文字グループメニュー３００又は個々の文字メニュー４００は、代替的に、任意の数のオプション（必ずしも５個のオプションではない）を表示するように構成されてもよいことに留意されたい。例えば、ユーザ１５０が、「中央」のオプションの選択を示すための適切なアイジェスチャを実行することが難しい場合には、４個のオプションのみが表示されてもよい。このように、視覚的に提示されるメニューは、追加の目に関連したジェスチャの必要性を除去しながら、相対的な目の向き（例えば、上、下、左又は右）のより一般的な選択のみに基づいてユーザ選択を取得するように構成することができる。４個のオプションのみを含むメニューの中央の領域は、空けたままでもよく、又はメニューのタイトル（すなわち、選択可能なオプションではない）を表示してもよい。代替的に、システム１００は、例えば、まばたきをコントロールすることが困難な、又は不随意のまばたきを経験する個人のために、選択を示すための４つの斜め方向（右上、左上、右下、左下）及び任意選択的な真っ直ぐな方向（例えば、真っ直ぐ下）を指定してもよい。
【0048】
異なるメニューオプションが、ディスプレイ１０２、１２４上のそれらの異なる相対的位置に加えて、各表示されるメニューオプションに対して追加の視覚的区別を提供するために、固有の視覚的効果又は特徴を有して表示されてもよい。例えば、異なるオプションが、ユーザ１５０によって、より簡単に認識され、識別され、及び互いに見分けることが可能となるように、各メニューオプションは、異なる色形状又は縁のスタイルで表示されてもよい。メニューは、ユーザ１５０が、前に選択されたオプション、前に表示されたメニュー、又はプリセットの決定されたアクションに戻ることを可能にする「リターンオプション」を含んでもよい。代替的に、システム１００は、メニューオプションの最終選択に続いて、ユーザ１５０が、前のメニュー又はデフォルトメニューに自動的に戻ることができるように構成されてもよい。上述の通り、選択されたオプションに対して、オプションが最初に選択されたことを示す表示が提供されてもよい。表示は、例えば、強調表示又は太字表示されたテキスト、カラーフレーム、及び／又はユーザ１５０によって装着されたヘッドフォンの少なくとも一方の耳に発せられる可聴表示でもよい。次に、システム１００は、選択されたオプションの選択を認証又は確認し、それによって、オプションが選択されたこと及び／又はどのオプションが選択されたかをユーザ１５０に知らせる視覚及び／又は音声表示を提供するための指定の確認ジェスチャ（２回まばたきするなど）を待ってもよい。
【0049】
ユーザ１５０によるオプションの選択を実行するための目に関連したジェスチャは、個々のアクション又はジェスチャのシーケンスを含んでもよい。このようなシーケンスは、サブメニューの提示を回避しながら、提示されたメニューに関連付けられたサブメニューにおける利用可能なオプションの直接的選択を可能にすることもできる。例えば、ユーザ１５０は、図４の「個々の文字のサブメニュー」４００を表示することなく、図３Ａの「文字グループメニュー」３００を見ながら、２つの連続した所定の目に関連したジェスチャを行うことによって、個々の文字を選択することができる。第１のジェスチャが、ある特定の文字グループ（例えば、文字グループ３０８）を選択し、次に、その文字グループ内の個々の文字の色又は位置に基づき得る第２のジェスチャが、ある特定の文字（例えば「Ｓ」の文字）を選択し、それによって、個々の文字のサブメニュー４００の表示を回避する。例えば、各表示された文字グループ３０２、３０４、３０６、３０８、３１０内の個々の文字は、関連の方向に表示されたカラーインジケータによって示されてもよい各方向に対応するように色分けされてもよい。例えば、各文字グループの最初の文字「Ａ」、「Ｆ」、「Ｋ」、「Ｐ」、及び「Ｕ」が、全て１つの色（例えばオレンジ色）で描写されてもよく、特定の方向（例えば上）を向く矢印によって表されるオレンジ色のカラーインジケータが、ディスプレイ１０２、１２４上に表示されてもよい。従って、まず左（Ｌ）を見ることによって、ユーザ１５０は、オプション３０４（すなわち、文字グループ「ＦＧＨＩＪ」全体）を選択し、続いて上（ＵＰ）（すなわち、オレンジ色のインジケータ方向に向けて）を見ることによって、ユーザ１５０は、文字グループ３０４の中からある特定の文字（例えば「Ｆ」の文字）を選択する。選択されたメニューオプションを表示するために使用される色は、視覚又は知覚能力の障害を特徴とするユーザ１５０であっても確実に知覚できるように、簡単に識別でき、かつ非常に目に付きやすい特定の色でもよい。ディスプレイ１０２、１２４によって表示されるメニューアイテムのグラフィック要素は、テキスト又は英数字に限定されず、例えば、「スペースバーアイコン」、「バックスペース／デリートアイコン」、「メインメニューに戻る又は帰るアイコン」などの様々なアクション又は選択可能なオプションを表す様々な種類の記号、アイコン、又は画像を含んでもよいことに留意されたい。視覚出力に関して、ユーザ１５０は、複数の画像、記号、又は絵（例えば、食べ物を載せた皿、水の入ったグラス、車、車椅子など）を有するオプションメニューが提供されてもよい。選択された絵は、補助ディスプレイ１２４などの外部画面上でユーザの周囲に対して表示されてもよく、又は別のデバイスへ（例えば、友人若しくは看護師の携帯電話へ）のメッセージにおいて送信されてもよい。代替的に、絵の選択は、適切な音声出力を生じさせることができ、例えば、食べ物の乗った皿の絵の選択は、「食べ物」という単語の可聴出力を生じさせる。
【0050】
システム１００は、ユーザによって選択された最初の数文字に基づいて、完全な単語を予測し、提案することを支援する単語予測アプリケーションを含んでもよい。例えば、ユーザ１５０が以下の文字シーケンス：「Ｈ－Ｅ－Ｌ」を選択した場合、システム１００は、ディスプレイ１０２、１２４上に、又は音声ユニット１１２を用いて、提案された単語を提示することによって、「ｈｅｌｐ」又は「ｈｅｌｌｏ」という単語を提案することができる。システム１００は、プロセッサ１０４によって決定された文脈に基づいて、全単語又は文完成を利用することさえできる。ユーザ１５０は、例えば、左又は右方向を見ることによって、ディスプレイ上で、異なる提案された完全な単語を繰り返し表示させることができる。ユーザ１５０による提案された単語の選択は、適切な目に関連したジェスチャ又は指示を用いて行うことができる。このようにして、ユーザ１５０による単語の選択を加速し、かつ精度を向上させることができる（ユーザ１５０が追加の文字の選択を継続する必要性を除去し、ユーザによる後続の不注意の間違った文字選択を避けることによって）。完成された単語は、聞こえるように又は視覚的に示すことができ、該当する場合は、音声ファイル及び／又はテキストファイルとして保存又は転送されてもよい。単語予測機能は、言語モデル及び語彙ライブラリに基づいてもよく、及び、例えばユーザの言語習慣を学習して、そのユーザに関連付けられた今後提案される単語完成を向上させるなどの適応性を有していてもよい。
【0051】
個々の文字のスペリングを伝えることによって単語を示すのではなく、ユーザ１５０は、表示された「単語メニュー」上で直接所望の単語を探してもよい。このようなメニューは、実際の単語、又はトピック若しくは主題（例えば、「食べ物」、「衣服」、「色」など）によって分類される単語のカテゴリを表す異なるオプションを含んでもよい。最初に表示された単語オプションの選択は、最初に選択された単語に続く論理的な単語オプションを有するサブメニューの表示を生じさせることができる。例えば、単語メニューは、まず、５つの異なるカテゴリを提示してもよい。ある特定のカテゴリが選択されると、そのカテゴリ内の５個の新しい単語のサブメニューが提示される。これらの新しい単語の各々が、さらなるサブカテゴリをもたらし、以下同様でもよい（例えば、「衣服」－「シャツ」－「ドレスシャツ」）。このようにして、可能性がある単語のかなり多い語彙が、ユーザ１５０に利用可能となる。例えば、各単語メニュー画面が合計５個のオプションを提示すると仮定すると、ユーザ１５０は、潜在的に、たった５個の目に関連したジェスチャを用いて、３０００個を超える異なる単語にアクセスすることができる（すなわち、最初の４つのメニュー画面上の各オプションが、単語オプションのサブカテゴリを示す場合）。
【0052】
ユーザ１５０は、好ましい頻出の単語又は文を保存し、今後の動作セッションにおいて、当該単語／文に直接アクセスすることを可能にすることができる。システム１００は、ユーザ１５０の好み及び習慣を適応的に学習し、それに応じて、異なるメニュー画面の利用可能な単語又はオプションを修正又は更新することもできる。ユーザによって以前に選択された好ましい又は頻出の単語又はオプションの優先順位を付けることによって、システム１００の動作は、より効率的及びより直感的となることができる。システム１００は、例えばインターネットを介したインタフェース（不図示）、プロセッサに結合された入力デバイス、又はコンピュータデバイス１１４のアプリケーションをさらに含むことによって、特定のユーザ（又は管理者）が、そのユーザ用の特定のメニューをカスタマイズすることを可能にすることができる。このようなメニューのカスタマイズは、個々のユーザ又は特定グループのユーザが、より関連性のある、又は当該ユーザ／グループによって頻繁にアクセスされる可能性の高い単語から選択することを可能にする。このカスタマイズは、様々な種類の特殊なニーズを持つ様々な異なるユーザに対応することにも役立つ。
【0053】
これより、図５Ａ～５Ｆを参照する。図５Ａ～５Ｆは、図１のシステム１００のカメラ１０８によって捕捉されたユーザ１５０の目の画像例の模式図である。各画像（５００Ａ、５００Ｂ、５００Ｃ、５００Ｄ、５００Ｅ、５００Ｆ）は、４つの象限：ユーザ１５０が上を見ていることに対応した上象限５０２；ユーザ１５０が下を見ていることに対応した下象限５０４；ユーザ１５０が右を見ていることに対応した左象限５０６；及びユーザ１５０が左を見ていることに対応した右象限５０８に分割される。プロセッサ１０４は、捕捉画像における目の瞳孔の大まかな又は概略の位置を決定する。例えば、プロセッサ１０４は、どの領域又は象限に瞳孔が位置する可能性が最も高いか（すなわち、その中に瞳孔の大部分が位置する）、又は瞳孔が画像の中心に又はその付近にあるかどうかを決定することができる。瞳孔が見つからない場合には、プロセッサ１０４は、目がまばたきをしている、又はウインクをしていると決定することができる。
【0054】
瞳孔の概略の位置及び／又は瞳孔の方向の変化（例えば、左、右、上又は下方向への動き）に基づいて、プロセッサ１０４は、ディスプレイ１０２、１２４上の対応する位置（上、下、左、右、又は中心）を決定し、従って、メニュー（２００、３００、４００）の選択された／所望のオプションが表示される。例えば、画像５００Ａ（図５Ａ）では、瞳孔Ｐは、個々の文字メニュー４００（図４）のオプション４０２に対応する上象限５０２に位置する。各画像５００Ｂ、５００Ｃ、５００Ｄ（図５Ｂ、５Ｃ、５Ｄ）において、瞳孔Ｐは、それぞれ、個々の文字メニュー４００の各文字オプション４１０「Ｅ」、４０４「Ｂ」及び４０８「Ｂ」に対応する、下象限５０４、左象限５０６、及び右象限５０８に位置する（左象限５０６に位置する瞳孔Ｐは、ユーザが右方向を見ていることに対応し、右象限５０８に位置する瞳孔Ｐは、ユーザが左方向を見ていることに対応する（すなわち、捕捉画像は、ユーザのジェスチャを鏡のように映す）。プロセッサ１０４が、画像５００Ｅ（図５Ｅ）に示されるように、１つの画像内に、又は最小シーケンスの連続画像を通して、瞳孔Ｐ（の少なくとも最小部分）を検出できない場合には、プロセッサ１０４は、ユーザ１５０がウインクしている（又はまばたきしている）と決定することができ、これは、メニュー画面上の中央に表示されたオプション（例えば、メニュー４００のオプション４０６）の選択、又はオプション（例えば、文字４１０「Ｅ」）の選択若しくは確認に対応し得る。画像５００Ｆ（図５Ｆ）に示されるように、１つの画像において又は最小シーケンスの連続画像を通して、瞳孔Ｐがその中心又はその付近にあるとプロセッサ１０４が検出すると、プロセッサ１０４は、ユーザ１５０が前方（上述の方向のいずれでもない）を見ていると判断することができ、これは、ユーザ１５０が、ある方向を見る又はアイジェスチャを行うまでシステム１００が待つ待機モードに対応し得る。分割の実際の数は、異なってもよく、象限に限定されない。
【0055】
代替的に、画像５００を象限に分割する代わりに、瞳孔の位置（及び相対的な目の向き）を識別するための画像処理中に、画像は、追加の、又はより少ないセクションに分割されてもよい。例えば、プロセッサ１０４は、目の捕捉画像を、２つのセクション（例えば、中央の垂直仕切りによって分割された左セクション及び右セクション）にのみ分割することによって、瞳孔の左及び右の位置のみを決定してもよい。代替的に、プロセッサ１０４は、目の捕捉画像を、上及び下のセクション（すなわち、中央の水平境界線によって）に分割することによって、瞳孔の上及び下の位置のみを決定してもよい。さらに代替的に、目の画像は、瞳孔の角度位置及び／又は動き、並びにそれに対応する相対的な目の向きのより正確な決定を必要とするために、８つセクション（ハッシュタグ又はシャープ記号に似せて）に分割されてもよい。瞳孔の位置を識別するための処理を行う際に、画像を多数のセクションに分割することは、ユーザの前方注視に対して様々な斜めの又は傾斜した角度の（例えば、ユーザ１５０の前方注視方向に対して４５°の角度の）瞳孔の位置／相対的な目の向きの決定を向上させることができる。
【0056】
より一般的には、プロセッサ１０４は、目の画像を、特定のメニューオプションが提示されたディスプレイ１０２、１２４の特定のセクション又は部分と相関した異なるセクション、部分、又はセグメントに分割してもよい。例えば、文字グループメニュー３００及び個々の文字メニュー４００は、各メニューオプションを「十字」形状の構成で提示するので、プロセッサ１０４は、どのメニューオプションがユーザ１５０によって見られているかを示す瞳孔位置の決定を容易にするために、各処理画像を同様の十字形状に分割してもよい。プロセッサ１０４は、目の瞳孔Ｐに加えて、又はその代わりに、ユーザ１５０の相対的な目の向きを決定するための他の関連する目のパラメータ（例えば、角膜）のトラッキング又は位置特定を行ってもよい。
【0057】
プロセッサ１０４は、捕捉画像のシーケンスを通して、瞳孔Ｐの位置をトラッキングすることもできる。例えば、プロセッサ１０８は、基準画像（５００ＲＥＦ）を利用することができ、その場合、後続の画像（又は後続画像のシーケンス）を基準画像５００ＲＥＦと比較することによって、瞳孔Ｐの位置が、基準画像５００ＲＥＦにおけるその位置と比較して変わったかどうか、並びに移動の測定量を決定することができる。このような処理は、元の基準画像及び後続の画像との差を検出及び測定するための計算された画像フィルタに基づいてもよい。捕捉画像のシーケンスを通した目の瞳孔位置のトラッキングに加えて、ユーザ１５０の相対的な目の向きの方向のみを決定することは、カメラ１０８の動き（例えば、画像間のユーザの目に対するカメラの動き）を安定させる又は補償する、又はバックグラウンドの変化を補償する必要性を低減させることに役立つことにさらに留意されたい。従って、較正プロセスが必要とされなくてもよい。
【0058】
システム１００の較正は必要とされないが、一般的又は工場較正、自動較正、及び手動較正を含む幾つかの較正方法が利用可能となり得る。
【0059】
一般的較正プロセス例は、以下の通りである。第１のステップは、目の地理的領域（瞳孔領域を含む）に対する画面動き検出を行うことによって相対的変化を検出するために、連続画像を比較することである。画像の形状から導出された経験則に従って、画像において変化する領域が関心領域を表すと仮定することができる。第２のステップは、瞳孔Ｐの位置を示す関心領域を追従するために、捕捉画像内の空間中の点として瞳孔円をマーキングすることである。第３のステップは、二次元（ｘ－ｙ）軸グリッドの中心として基準点を設定し、目の動きをグリッド上の（ｘ，ｙ）座標に変換することである。十分に高い確率で、瞳孔Ｐが、中央にある（すなわち、グリッドの中心［０，０］に近い）ことを較正プロセスが決定した時点で、基準点（それに従って基準点座標系（グリッド）が構築される）が選択される。（ｘ，ｙ）座標は、４つの方向（上、下、左及び右）の各々における目の瞳孔Ｐの動きを表す。第４のステップは、ユーザの動きの範囲を決定してもよい。較正プロセスは、異なるユーザに関連付けられた特定の動きの範囲を適応的に学習してもよい。異なるユーザは、異なる目及び顔の特徴を含む異なる身体的特徴によって特徴付けられる。
【0060】
さらに、各ユーザの顔及び目に対するカメラ１０８の位置及び向きは、システム１００の異なる動作セッション中に、おそらく変化する。その結果、システム１００の較正プロセスは、各ユーザのｘ－ｙ軸（グリッド）上の瞳孔Ｐの動きの範囲を適応的に学習し、必要に応じて、閾値（それを超えると、特定方向の瞳孔の動きに関する信号が送られる）に設定される範囲を調整する。最小継続時間（例えば、数ミリ秒）の瞳孔Ｐの非検出は、ユーザによるウインク又はまばたきを表すと見なされる。その時間は、ユーザの自然のまばたきに基づいたものなどの、意図しない選択識別を防止するために調整することができる。システム１００の自動較正プロセス（ユーザを促さずに）は、各較正に対する外部（第三者）の支援の必要性を除去することにさらに留意されたい。さらに、システム（アルゴリズム）が、瞳孔Ｐを識別し、相対的な目の向きを理解する。瞳孔検出能力は、位置及び動きの範囲の識別及び比較、並びに画像５００における瞳孔Ｐの有無の確実な検出を含む。これを行うために、複数の物体検出アルゴリズム及びそれらの組み合わせを用いて、明確性の問題及び比較的大量の計算要件に対処してもよい。専用の較正アルゴリズムは、システムが自動的にそれ自体を較正することを可能にする。代替的に、どのような物体認識ツール（特徴検出）も使用しない非自動較正アルゴリズムが使用されてもよい。すなわち、アルゴリズムは、目（瞳孔Ｐ）の正確な位置を識別せずに、システムの動作中に捕捉された画像を、手動較正中に捕捉された画像と比較する。
【0061】
システム１００は、システム１００の動作セッションに先立って、単一の初期化プロセスを行う一般的工場較正を行ってもよい。較正（又は初期化）は、動作セッションを通して、通常の使用中に識別される必要がある潜在的な相対的な目の向き（例えば、上、下、左、右及び中心）の各々に対して設計された異なるフィルタ又は所定の写真を用いて、自動的に実行されてもよい。プロセッサ１０４は、フィルタを画像５００に適用することができ、現在処理中の画像５００が基準画像５００ＲＥＦに相当する可能性を決定する。各基本状況又は状態に対応する基準画像５００ＲＥＦ。システムは、基準画像５００ＲＥＦに基づいて、捕捉画像の等級分けを行い、最高の等級を持つオプションを選択してもよい。
【0062】
システム１００は、自己較正又は「自動較正」（すなわち、ユーザに開始するように促す必要がなく、ユーザの意識的な認識なしに動作セッションの経過中に自動的に行われる）を用いて動作してもよい。システム１００は、関連の基準に従って、較正プロセスを何時及びどのくらいの頻度で自動的に行うかを決定することができる。自動較正は、例えばシステムが画像中に瞳孔を識別できる時など、所定の条件が満たされた場合に行うことができる。
【0063】
システム１００は、基準画像５００ＲＥＦを捕捉する前に、音声又は視覚命令、例えば、「右を見て下さい」を提供することによって、ユーザ１５０によるユーザ又は手動較正を用いて動作してもよい。例えばカメラのシャッター音に似せた音声表示が、画像が捕捉された後に、ユーザ１５０に画像が捕捉されたことを知らせるために提供されてもよい。基準画像５００ＲＥＦは、瞳孔の位置を特定し、ユーザ１５０の目の相対的境界線、又はある位置から別の位置に移動する際に（すなわち、「左を見る」から「右を見る」へ）瞳孔が接近する既定の境界領域を決定するために、同様に解析されてもよい。この境界領域をさらに用いて、瞳孔が境界を越えることが観察又は測定された際に、ユーザ１５０による相対的な目の向きの応答を生じさせることができ、その結果、それに応じてプロセッサ１０４が適切な応答を提供する。
【0064】
ノイズを減少させ、画像処理の品質を向上させるために、捕捉画像（信号）は、ノイズフィルタ（例えば、マルコフ信号ノイズフィルタ）にかけられてもよい。各画像５００に関する出力が、右、左、上、下、閉じられた目、中心、又は識別なしとして決定される。最終出力（この場合、５つの異なるオプションの１つ）は、タイミングルールなどの追加の基準に基づいてもよい。例えば、閾値継続時間より長く（約０．２秒を超えてなど）瞳孔が識別されない場合、決定は、「まばたき」又は閉じられた目であり、この決定は、瞳孔が再び位置特定若しくは識別される（すなわち、瞳孔の動きが検出される）次の画像フレームまで、又は上述のような固有のアクションとして登録されるまで維持されてもよい。
【0065】
本発明によれば、ユーザ命令は、正確な注視方向又は目線ではなく、曖昧な概略の目の方向（例えば、「右」、「左」、「上」、「下」、「正面」）に対応する彼／彼女の相対的な目の向きからのみ決定される。このような決定は、一般的に、ある特定の座標系に関して正確な座標を決定することによってユーザの正確な目線を識別するために必要とされる、より大規模で、時間のかかる処理と比較して、比較的基本的で、迅速な処理を伴う。従って、システム１００は、ピンポイントの位置が必要とされる画面依存のマウストラッキングメカニズムとは対照的に、ユーザ選択の指示を提供するために曖昧な概略の方向決定を適用するジョイスティックのやり方に似たやり方で動作すると見なすことができる。
【0066】
これより、ユーザが目に基づいたフィードバックを用いてコミュニケーションをとることを可能にする方法のフロー図である図６を参照する。任意選択的手順６０１では、較正が行われる。システム構成要素の較正は、一度だけ（例えば、システム１００の初期動作の前に）行われてもよく、又は必要に応じて定期的に（システム１００の動作中に）行われてもよい。較正は、カメラ１０８によって捕捉された単一の目の反射画像のみを用いて、又は多数のそのような画像を比較及び解析することによって行われてもよい。さらに、較正は、特定のユーザに対して（すなわち、システム１００を現在使用している特定のユーザに対して）独自に適応させてもよく、又は代替的に、多数の異なるユーザに適用できる一般的較正が実行されてもよい（例えば、システム１００の早期の初期化段階中に）。
【0067】
手順６０２では、一連のコミュニケーションオプションが、選択インタフェースを有するユーザに選択可能に提示される。図１及び３を参照して、ディスプレイ１０２（及び／又はディスプレイ１２４）は、ユーザがその中から選択する様々な視覚メニューオプション３０２、３０４、３０６、３０８及び３１０を備えたメニュー３００を表示する。コミュニケーションオプションは、代替的に、音声又は触覚インタフェースを用いて提示されてもよい。
【0068】
任意選択的手順６０４では、ユーザの少なくとも一方の目が、光源を用いて照らされる。図１を参照して、光源１０６は、ユーザ１５０の目に向けてＩＲ光１１８を発する。
【0069】
手順６０６では、目から反射された光が検出され、相関信号が、相対的な目の向きのセンサによって提供される。図１を参照して、画像センサ１１０が、ユーザ１５０の目から反射されたＩＲ光１１８を受信し、相関信号をプロセッサ１０４に中継する。目の向きのセンサは、代替的に、１つ又は複数の別個のセンサ又はセンサアレイなどの非画像センサによって具現化されてもよい。図５Ａを参照して、画像センサ１１０は、瞳孔Ｐが画像５００Ａの上象限領域に位置する、ユーザ１５０の目の周りの領域の画像５００Ａを生成する。
【0070】
手順６０８では、ユーザの頭の向きに対する瞳孔の相対的な向きを含む、相対的な目の向きを決定するために、相関信号が処理される。図１及び５Ａを参照して、プロセッサ１０４は、画像センサ１１０によって捕捉された画像に基づいて（又は非画像センサによって捕捉された他の目の反射データを用いることによって）、ユーザ１５０の相対的な目の向きを決定する。決定された相対的な目の向きは、ユーザ１５０の頭の向き（頭の向きは、ユーザ１５０が顔を向けている概略の方向を表す）に対する瞳孔の相対的な向きを表す。例えば、図５Ａを参照して、プロセッサ１０４は、瞳孔Ｐが上象限領域５０２に位置し、従ってユーザ１５０の相対的な目の向きが「上方」位置であることを、画像５００Ａから決定する。プロセッサ１０４は、瞳孔Ｐの瞬間的な相対的な向きを検出すること、又は瞳孔Ｐの過渡変化を検出することによって、ユーザ１５０の相対的な目の向きを決定してもよい。
【0071】
手順６１０では、ユーザの決定された相対的な目の向きに基づいて、選択されたコミュニケーションオプションが決定される。図１、５Ａ及び３Ａを参照して、プロセッサ１０４は、ユーザ１５０の決定された相対的な目の向きに応じて、ディスプレイ１０２上に（及び／又は音声ユニット１１２によって）提示されたオプションを選択する。例えば、ユーザ１５０の相対的な目の向きが「上方」位置であることをプロセッサ１０４が画像５００Ａから決定した場合、プロセッサ１０４は、メニュー３００上に提示されたコミュニケーションオプション３０２（「ＡＢＣＤＥ」）を選択する。
【0072】
手順６１２において、選択されたコミュニケーションオプションを実行する命令が提供される。図１を参照して、プロセッサ１０４は、選択されたコミュニケーションオプションに関連付けられた可聴表示を提供するように、音声ユニット１１２に命令する。例えば、音声ユニット１１２は、単語メニュー２０２の単語オプション２０２Ａに関連付けられた「こんにちは」という単語などの、ユーザ１５０によって選択された単語を放送する。追加的に、プロセッサ１０４は、選択されたコミュニケーションオプションに関連付けられた視覚表示を提示するようにディスプレイ１０２に命令してもよい。例えば、ディスプレイ１０２は、「こんにちは」という単語オプション２０２Ａなどの選択されたメニューオプションを強調表示する。代替的に、プロセッサ１０４は、選択されたアプリケーションを実行する、又は選択されたコミュニケーションオプションに関連付けられたアクションを行うように、コンピュータデバイス１１４に命令してもよい。例えば、コンピュータデバイス１１４は、例えば単語メニュー２０２の「Ｅメールアプリケーション」オプション２０２Ｅの選択に続いて、メッセージ又はＥメールを送信する。
【0073】
上述の通り、プロセッサ１０４は、目の動きを変換し、無線リンク（例えば、Ｂｌｕｅｔｏｏｔｈ）を介して、その領域に存在し、かつユーザ１５０が彼／彼女の環境とコミュニケーションをとるために使用することができる異なるアプリケーションを動作させることが可能なコンピュータデバイス１１４（例えばスマートフォン）に動作を放送する。コンピュータデバイス１１４を用いて、テキストメッセージを送信する、異なるアプリケーションを実行する、及び／又は（選択表またはメニューを用いた制御用に設計されたプログラムを使用して）コンピュータを制御することができる。ユーザが、コンピュータデバイス１１４上でアプリケーションを動作させることを選択した後に、プロセッサ１０４は、通信リンク１１６上で、コンピュータデバイス１１４へ／からデータを送信及び受信し続けてもよい。
【0074】
本発明の一実施形態によれば、システム１００を用いて、電動車椅子又はコンピュータ制御された家電などの外部デバイス又は装置を制御することができる。例えば、ユーザは、彼／彼女の相対的な目の向き（例えば、上、下、左、右）を用いて、選択された方向（例えば、前方、後方、左、右）を示すことによって、電動車椅子を案内又はナビゲートすることができる。ユーザは、ディスプレイ１０２、１２４上に提示された「電動車椅子ナビゲーション」メニューの特定のメニューオプションの方向を見ることによって指示を提供してもよい。システム１００は、指示された選択（例えば、車椅子を左に回転）を決定し、電動車椅子に選択されたオプションを行わせる。システム１００は、無線通信リンク（例えば、通信リンク１１６）を介して、上記外部デバイスと通信可能に結合されてもよい。
【0075】
システム１００が、ユーザ１５０の相対的な目の向きのみを決定することによって、視覚の完全な活用、又は満足なレベルの視力がユーザ１５０に備わっていることを必要としない、目に基づいたコミュニケーションを提供するので、ユーザ１５０は、代替的に、視覚に障害のある、又は完全な視覚能力を欠いた個人でもよいことにさらに留意されたい。
【0076】
従って、本発明は、環境と効果的なコミュニケーションをとるための手段を提供することにより、特殊なニーズを持つ個人の生活の質の向上に役立つ、簡単かつ直感的な操作の、比較的手頃な価格で、かつ入手しやすい解決策を提供する。システムは、可動性があり、携帯可能で、多くの状況及び位置（横たわっている、座っている、頭を下に向けるなど）での使用に適している。さらに、本発明のシステムは、較正のために第三者の支援を必要としない。
【0077】
本発明のシステム及び方法は、閉じ込め症候群（ＬＩＳ）を特徴とする個人に限定されず、視覚障害を持つ人々を含む、他のタイプの人々による使用にも同様に等しく適応できることが理解されるだろう。本発明のシステム及び方法は、目からの光反射を検出するためのセンサ（埋め込みカメラなど）を少なくとも含む、スマートフォン、タブレットコンピュータ、又はデジタル音楽プレイヤーなどのコンピュータデバイス上のアプリケーションに組み込まれてもよい。従って、本発明は、彼／彼女の相対的な目の向きと相関したアイジェスチャを用いてユーザによって提供される命令のみに基づいて、メッセージを作成及び送信する、又は第三者との電話での会話を開始するなどの様々なコミュニケーションアクションを、コンピュータデバイスを用いて容易にする及び開始することができる。
【0078】
当業者が本発明を実施できるように、開示の要旨の特定の実施形態を記載したが、前述の記載は、単なる例であることが意図されたものである。それは、以下の特許請求の範囲を参照することによって決定されるべきである開示の要旨の範囲を限定するために使用されないものとする。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】