▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-16
(54)【発明の名称】眼電図測定とアイトラッキング
(51)【国際特許分類】
A61B 5/398 20210101AFI20230309BHJP
A61B 5/256 20210101ALI20230309BHJP
A61B 3/113 20060101ALI20230309BHJP
【ＦＩ】
A61B5/398
A61B5/256 110
A61B3/113
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022543054
(86)(22)【出願日】2021-01-22
(85)【翻訳文提出日】2022-07-14
(86)【国際出願番号】 US2021014732
(87)【国際公開番号】W WO2021150971
(87)【国際公開日】2021-07-29
(31)【優先権主張番号】20153054.0
(32)【優先日】2020-01-22
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】62/964,178
(32)【優先日】2020-01-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/139,022
(32)【優先日】2021-01-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ファネッリ，アンドレア
(72)【発明者】
【氏名】ギッターマン，エヴァン デイヴィッド
(72)【発明者】
【氏名】スウェドロウ，ネイサン カール
(72)【発明者】
【氏名】ブランドマイヤー，アレックス
(72)【発明者】
【氏名】ジョイナー，マクレガー スティール
(72)【発明者】
【氏名】クラム，ポピー アン キャリー
【テーマコード（参考）】
4C127
4C316
【Ｆターム（参考）】
4C127AA03
4C127AA04
4C127LL13
4C316AA21
4C316AA22
4C316AB13
4C316FC04
4C316FZ03
(57)【要約】
ユーザーの注視の方向を決定するシステムがイヤピース上に配置された一組の電極を有しており、各電極は圧縮性かつ電気伝導性の発泡材料のパッチを含む。システムはさらに、ユーザーが着用したオーディオ・エンドポイント上に配置された一組の電極から一組の電圧信号を受信し、前記電圧信号を入力信号に多重化し、前記入力信号から、予測された中心電圧を除去して、トレンド除去された信号を提供し、前記トレンド除去された信号に基づいて前記注視方向を決定するように構成されている、前記電極に接続された回路を含む。そのような伝導性発泡材料は、広範囲の圧縮レベルについて、長期間にわたって、満足いくバイオセンシング性能を提供する。オンイヤー・ヘッドフォンの場合、フォーム電極は、快適性レベルにほとんど、または全く影響を与えずにカフに一体化されてもよい。
【特許請求の範囲】
【請求項1】
ユーザーの注視方向を決定するシステムであって：一対のイヤピースを含むオーディオ・エンドポイントであって、各イヤピースはユーザーの耳のそれぞれに隣接して装着されることが意図されている、オーディオ・エンドポイントと、
使用時にユーザーの皮膚に接触する位置になるように各イヤピース上に配置された一組の電極であって、
各電極は、皮膚との信頼性のある電気接続を提供するように構成された、圧縮性かつ電気伝導性発泡材料のパッチを含む、電極と、
前記電極に接続された回路であって：
ユーザーによって装着されたオーディオ・エンドポイント上に配置された一組の電極から一組の電圧信号を受信し、
前記電圧信号を入力信号に多重化し、
前記入力信号から、前方注視方向を表す予測された中心電圧を除去して、トレンド除去された信号を提供し、
前記トレンド除去された信号に基づいて前記注視方向を決定するように構成されている、回路とを有する、
システム。
【請求項2】
前記オーディオ・エンドポイントは、一対のオンイヤー・ヘッドフォンであり、各オンイヤー・ヘッドフォンは、ユーザーの頭部の皮膚に当たって位置するように構成されたカフを含み、前記電極は、皮膚に当たって位置することが意図された前記カフのリム上に配置される、請求項１に記載のシステム。
【請求項3】
前記伝導性発泡材料は、1mm未満の厚さと、0.005Ω未満の垂直接触抵抗をもつ、請求項１または２に記載のシステム。
【請求項4】
前記伝導性発泡材料は、1.3～3Ω・cmの範囲の体積抵抗率をもつ、請求項１ないし３のうちいずれか一項に記載のシステム。
【請求項5】
前記伝導性発泡材料は、0.1～0.12Ω/sqの表面抵抗率をもつ、請求項１ないし４のうちいずれか一項に記載のシステム。
【請求項6】
前記回路は、その後の予測された中心電圧を決定することを：前記入力信号と現在の注視方向を表す電圧との差として、現在の中心電圧を計算し、
前記現在の中心電圧と現在の推定された中心電圧との線形重み付けとして、第1の推定値を提供し、
前記現在の中心電圧、先行する予測された中心電圧の集合に基づく予測との平均として、第2の推定値を提供し、
前記第1および第2の推定値の平均として、前記その後の予測された中心電圧を決定することによって行うようにさらに構成されている、
請求項１ないし５のうちいずれか一項に記載のシステム。
【請求項7】
前記予測は、ARモデルおよび予測された中心電圧の前記集合を用いて行われる、請求項６に記載のシステム。
【請求項8】
前記トレンド除去された信号におけるシフトを識別することをさらに含み、該シフトは、あるサッカードから別のサッカードへのユーザーの注視の遷移を表す、請求項１ないし７のうちいずれか一項に記載のシステム。
【請求項9】
前記注視方向の状態を決定することをさらに含み、前記状態は、左状態および右状態を含む群から選択され、前記左状態および右の状態は、前記トレンド除去された信号が定義された閾値を超えるまたは下回ることによって定義される、請求項１ないし８のうちいずれか一項に記載のシステム。
【請求項10】
ユーザーの注視方向を決定するための方法であって：一対のイヤピースを含むオーディオ・エンドポイントを提供する段階であって、各イヤピースが、ユーザーの皮膚との信頼性のある電気接続を提供するように構成された圧縮性かつ電気伝導性材料のパッチを含む一組の電極を支持する、段階と、
それぞれの耳の近くのユーザーの皮膚に電極が接触するように、ユーザーにオーディオ・エンドポイントを配置する段階と、
ユーザーによって装着されたオーディオ・エンドポイント上に配置された一組の電極から一組の電圧信号を取得する段階と、
前記電圧信号を入力信号に多重化する段階と、
前記入力信号から前方注視方向を表す予測された中心電圧を除去して、トレンド除去された信号を提供する段階と、
前記トレンド除去された信号に基づいて前記注視方向を決定する段階とを含む、
方法。
【請求項11】
前記予測された中心電圧は：前記入力信号と現在の注視方向を表す電圧との差として、現在の中心電圧を計算し、
前記現在の中心電圧と現在の推定された中心電圧との線形重み付けとして、第1の推定値を提供し、
前記現在の中心電圧と、先行する予測された中心電圧の集合に基づく予測との平均として、第2の推定値を提供し、
前記第1および第2の推定値の平均として、前記その後の予測された中心電圧を決定することによって決定される、
請求項１０に記載の方法。
【請求項12】
前記予測は、ARモデルおよび予測された中心電圧の前記集合を用いて行われる、請求項１１に記載の方法。
【請求項13】
前記トレンド除去された信号におけるステップ変化を識別する段階をさらに含み、前記ステップ変化は、あるサッカードから別のサッカードへのユーザーの注視の遷移を表す、請求項１０ないし１２のうちいずれか一項に記載の方法。
【請求項14】
前記注視方向の状態を決定する段階をさらに含み、前記状態は、左状態および右状態を含む群から選択され、前記左状態および右状態は、前記トレンド除去された信号が定義された閾値を超えるまたは下回ることによって定義される、請求項１０ないし１３のうちいずれか一項に記載の方法。
【請求項15】
前記オーディオ・エンドポイントは、オンイヤー・ヘッドフォンの対であり、各オンイヤー・ヘッドフォンは、ユーザーの頭部の皮膚に当たって位置するように構成されたカフを含み、前記電極は、皮膚に当たって位置するように意図された前記カフのリム上に配置される、請求項１０ないし１４のうちいずれか一項に記載の方法。
【請求項16】
注目の方向を決定するためのシステムであって：請求項１に記載のユーザーの注視方向を決定するシステムと、
少なくとも1つの追加のセンサーと、
前記システムおよび前記少なくとも1つの追加のセンサーからの入力を与えられて、注目の方向を推定するためのニューラルネットワークとを有する、
システム。
【請求項17】
前記少なくとも1つの追加のセンサーは、生理学的応答を測定するための少なくとも1つのセンサーを含む、請求項１３に記載のシステム。
【請求項18】
前記追加のセンサーは、慣性測定ユニット（IMU）、心拍数測定センサー、血圧測定センサー、温度センサー、脳電図EEGおよび／または筋電図EMGのための電極のうちの少なくとも1つを含む、請求項１３に記載のシステム。
【請求項19】
聴覚的な注目を改善するためのシステムであって：請求項１３に記載の注目の方向を決定するシステムと、
前記注目の方向ならびにダイアログおよび雑音を含むオーディオ・ミックスを受け取るように接続されたブラインド音源分離アルゴリズムであって、前記ブラインド音源分離アルゴリズムは、前記注目の方向から受け取ったダイアログを抽出するように構成されている、ブラインド音源分離アルゴリズムと、
抽出したダイアログを増幅するための増幅器とを有する、
システム。
【請求項20】
ノイズキャンセリング・ヘッドフォンのパススルー機能を制御するためのシステムであって、前記システムは：請求項１３に記載の注目の方向を決定するシステム、
前記注目の方向ならびにダイアログおよび雑音を含むオーディオ・ミックスを受け取るように接続されたブラインド音源分離アルゴリズムであって、前記ブラインド音源分離アルゴリズムは、前記注目の方向から受け取ったダイアログを抽出するように構成されている、ブラインド音源分離アルゴリズムと、
抽出したダイアログを増幅するための増幅器と、
前記抽出されたダイアログを、前記ヘッドフォン上での再生のために意図されるコンテンツにミスするためのミキサーとを有する、
システム。
【請求項21】
ユーザーの注視方向を決定するための方法であって：ユーザーの皮膚に接触して一組の電極を配置する段階であって、各電極は、皮膚との信頼性のある電気接続を提供するように構成された圧縮性かつ電気伝導性材料のパッチを含む、段階と、
ユーザーによって装着されたオーディオ・エンドポイント上に配置された一組の電極から一組の電圧信号を取得する段階と、
前記電圧信号を入力信号に多重化する段階と、
前記入力信号と現在の注視方向を表す電圧との差として、現在の中心電圧を計算する段階と、
現在の中心電圧と現在の推定されたベースライン電圧との線形重み付けとして、第1の推定値を提供する段階と、
前記現在の中心電圧と、先行する予測された中心電圧の集合に基づく予測との平均として、第2の推定値を提供する段階と、
前記第1および第2の推定値の平均として、予測された中心電圧を決定する段階と、
前記入力信号から前記予測された中心電圧を除去して、トレンド除去された信号を提供する段階と、
前記トレンド除去された信号に基づいて前記注視方向を決定する段階とを含む、
方法。
【請求項22】
ユーザーの注視方向を決定するためのシステムであって：ユーザーの皮膚と接触するように配置された一組の電極であって、各電極は、皮膚との信頼性のある電気的接続を提供するように構成された圧縮性かつ電気伝導性材料のパッチを含む、電極と、
前記電極に接続された回路とを有しており、前記回路は、
ユーザーによって装着されたオーディオ・エンドポイント上に配置された一組の電極から一組の電圧信号を受信し、
前記電圧信号を入力信号に中に多重化し、
前記入力信号と現在の注視方向を表す電圧との差として現在の中心電圧を計算し、
現在の中心電圧と現在の推定されたベースライン電圧の線形重み付けとして第1の推定値を提供し、
前記現在の中心電圧と先行する予測された中心電圧の集合に基づく予測との平均として第2の推定値を提供し、
前記第1の推定値および第2推定値の平均として、予測された中心電圧を決定し、
前記予測された中心電圧を前記入力信号から除去して、トレンド解除された信号を提供し、
前記トレンド除去された信号に基づいて前記注視方向を決定するように構成されている、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、2021年1月19日に出願された米国仮特許出願第63/139,022号、2020年1月22日に出願された米国仮特許出願第62/964,178号、および2020年1月22日に出願されたEP特許出願第20153054.0号の優先権の利益を主張するものであり、これらのすべては、その全体が参照により本明細書に組み込まれる。
本願は、2021年1月19日に出願された米国仮特許出願第63/139,022号、2020年1月22日に出願された米国仮特許出願第62/964,178号、および2020年1月22日に出願されたEP特許出願第20153054.0号の優先権の利益を主張するものであり、これらのすべては、その全体が参照により本明細書に組み込まれる。
【0002】
技術分野
本発明は、眼電図記録法（electro-oculography、EOG）を用いたアイトラッキングに関する。特に、本発明は、イヤピースおよび／または耳の周囲の側頭の領域に取り付けられたセンサーを使用するそのようなアイトラッキングに関する。
本発明は、眼電図記録法（electro-oculography、EOG）を用いたアイトラッキングに関する。特に、本発明は、イヤピースおよび／または耳の周囲の側頭の領域に取り付けられたセンサーを使用するそのようなアイトラッキングに関する。
【背景技術】
【0003】
多くの状況において、アイトラッキングは、ユーザーの注目がどこに集中しているかを理解するために使用されうる。特に、アイトラッキングは、周辺装置のユーザー制御の改善を可能にしうる。
【0004】
アイトラッキングのための最も一般的なアプローチは、ユーザーの眼のビデオ画像を取得することである。ユーザーの注視方向は、適切な画像処理と、数値解析または深層学習に基づくアルゴリズムとを使用して決定されうる。そのようなビデオベースのアイトラッキングの欠点は、カメラをユーザーの顔に向けるか、頭部に取り付ける必要があることであり、これは可能な用途を著しく制限する。
【0005】
最近、眼電図記録法（EOG）に関わるビデオベースのアイトラッキングの代替案が導入された。眼電図記録法（EOG）は、眼球の角膜‐網膜双極子の電気双極子電位（角膜と網膜の間の電荷の差）の測定法である。眼球が眼窩内で動くとき、双極子は回転する。この電位は、眼窩近くに配置された一組の電極を用いて測定でき、眼球位置を推定するために使用できる。EOGの精度は約0.5度と推定される。
【0006】
EOG測定のための標準的なアプローチは、両側頭で塩化銀電極を眼窩の周囲に配置することである。EOGは、目の周囲に粘着性の塩化銀電極を使用することに関連する不便さのため、主に医療用途で使用されている。
【0007】
しかしながら、EOGベースのアイトラッキングを他の用途に使用することも提案されている。たとえば、特許文献１は、たとえば補聴器用途において使用されうるEOGベースのアイトラッキングを開示する。
【特許文献1】国際公開2018/0368722
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、EOGに対する改善されたアプローチを提供することである。
【課題を解決するための手段】
【0009】
本発明の第1の側面によれば、これらのおよび他の目的は、ユーザーの注視の方向を決定するシステムによって達成される。このシステムは、一対のイヤピースを含むオーディオ・エンドポイントであって、各イヤピースはユーザーの耳のそれぞれに隣接して装着されることが意図されている、オーディオ・エンドポイントと、使用時にユーザーの皮膚に接触する位置になるように各イヤピース上に配置された一組の電極とを有する。各電極は、皮膚との信頼性のある電気接続を提供するように構成された、圧縮性かつ電気伝導性の発泡材料のパッチを含む（生体用電極）。システムはさらに、電極に接続された回路を含み、ユーザーによって装着されたオーディオ・エンドポイント上に配置された一組の電極から一組の電圧信号を受信し、前記電圧信号を入力信号に多重化し、前記入力信号から予測された中心電圧を除去して、トレンド除去された信号を提供し、前記トレンド除去された信号に基づいて前記注視方向を決定するように構成されている。そのような圧縮性および電気伝導性フォーム材料は、典型的には、エレクトロニクスの電気絶縁のために使用される。
【0010】
本発明の第2の側面は、第1の側面に対応する方法に関する。
【0011】
そのような電気伝導性フォーム材料は、たとえば低密度の微小気泡性ウレタンフォームに基づくものであり、高い伝導性、皮膚への柔らかい触感、乾燥状態での（すなわち、たとえば伝導性ペーストを必要としない）満足のいくバイオセンシング性能、および広範囲の圧縮レベルに対して長期間にわたって性能を維持することを含む、いくつかの利点を有する。オンイヤー・ヘッドフォンの場合、フォーム電極は、快適性レベルにほとんど、または全く影響を与えずに、カフに一体化されてもよい。
【0012】
本発明のいくつかの実施形態によれば、次の反復工程（k＋1）についての中心電圧の2つの推定値は、現在の反復工程（k）の中心電圧、および前の反復工程（k－1、k－2、…、k－N）についての予測された中心電圧を使用して決定される。中心電圧推定について2つの方法を用いることによって、精度が改善される（ブースティング）。
【0013】
本発明によるアイトラッキングは、プレゼンテーション制御、ヘッドフォン制御、注目デコーディング、アクティブ・ダイアログ強調、中心窩レンダリング（foveal rendering）、改善されたAR/VR体験、テレビおよびモバイル機器での改善されたコンテンツ消費、ドローン制御、および映画撮影におけるカメラ制御を含む、いくつかの用途に使用されうる。
【0014】
本発明は、ヘッドフォン、ヘッドマウントディスプレイ、補聴器、スマートグラス、ヒアラブル、および耳栓を含むがこれらに限定されない、広範なエンドポイント・デバイスに適合する。
【0015】
さらに、「イヤピース（earpiece）」という用語は、広義に解釈されるべきであり、頭の側面に位置するオーディオ・エンドポイントの任意の部分をカバーすることが意図されていることに留意されたい。たとえば、本発明のいくつかの実施形態では、イヤピースは、イヤーバッド、耳内モニター、ヘッドフォン、支援聴取装置、イヤホン、または他の装置（たとえば、アイウェア、AR/VRゴーグルなど）の一部を含む。
【0016】
本発明の第3の側面によれば、これらおよび他の目的は、ユーザーの注視の方向を決定するためのシステムによって達成される。このシステムは、ユーザーの皮膚に接触するように配置された一組の電極であって、各電極は、圧縮性かつ電気伝導性の材料のパッチを含み、皮膚との信頼できる電気的接続を提供するように構成されている、電極と、ユーザーによって装着されるオーディオ・エンドポイント上に配置された一組の電極から一組の電圧信号を受信し、それらの電圧信号を入力信号に多重化し、入力信号と現在の注視方向を表す電圧との差として現在の中心電圧を計算し、現在の中心電圧と現在の推定されたベースライン電圧との線形重み付けとして第1の推定値を提供し、現在の中心電圧と、先行する予測された中心電圧の集合に基づく予測との平均として、第2の推定値を提供し、第1および第2の推定値の平均として、予測された中心電圧を決定し、予測された中心電圧を入力信号から除去して、トレンド除去された信号を提供し、トレンド除去された信号に基づいて注視方向を決定するように構成された、前記電極に接続された回路とを有する。
【0017】
この側面によれば、前記電極は、ユーザーによって装着されるエンドポイント装置上に配置されない。代わりに、電極はユーザーの皮膚に直接取り付けられ、いわゆる「電子皮膚」によって形成されてもよい。信号の処理は、本発明の第1の側面に関連して開示された処理と同様または同一であってもよい。
【0018】
本発明のさらに別の側面は、第3の側面に対応する方法に関する。
【図面の簡単な説明】
【0019】
本発明は、本発明の現在の好ましい実施形態を示す添付の図面を参照して、より詳細に説明される。
【図1】本発明のある実施形態による、一組のヘッドフォンを装着したユーザーを示す。
【図3】本発明のある実施形態によるアイトラッキングの概要である。
【図5】本発明のある実施形態によるトレーニング・プロセスの概要を示す図である。
【図6】aは、測定された信号を示す図である。bは、ベースライン除去後の信号を示す図である。cは、推定された注視角を示す図である。
【図7】本発明のさらなる実施形態による、注目の方向を決定するためのシステムのブロック図である。
【図8】本発明のさらなる実施形態による、聴覚的な注目を改善するためのシステムのブロック図である。
【図9】本発明のさらなる実施形態による、ノイズキャンセリング・ヘッドフォンのパススルー機能を制御するためのシステムのブロック図である。
【発明を実施するための形態】
【0020】
一例として、図1および図2は、ユーザーの頭部2に装着されたオンイヤー・ヘッドフォン1のセット上に電極がどのように配置されるかを示す。「オンイヤー（on-ear）」とは、ヘッドフォン1が、ユーザーの耳4を覆う2つのカフ（左/右）3を含むことを意味する。各カフ3のリム5は、耳4を取り囲むユーザーの頭部2の領域6に当たって安定する。カフ3は、周囲の音を（多分に）遮断して、できるだけ外乱の少ないオーディオ再生を可能にする。オンイヤー・ヘッドフォンは、頭部2上のヘッドフォン1の重量を維持するヘッドバンド7を有するように設計されている。ヘッドバンドは、カフ3を領域6に押し付ける水平圧力8を生成する。
【0021】
一組の電極10が、使用中にユーザーの頭部と接触するように、エンドポイント上に配置される。一組の電極10は、複数のリード電極10aと、少なくとも1つのバイアス電極10bとを含む。電極10は、能動型または受動型でありうる。
【0022】
エンドポイントが一組のオンイヤー・ヘッドフォン1によって具現されている図示した例では、電極10は、図2に示されるように、各カフ3のリム5に設けられたパッチを含む。使用時には、水平方向の圧力8がパッチ10を皮膚に押し付け、それにより接触インピーダンスを減少させ、バイオセンシング機能を改善する。リム5は、領域6との大きな接触を有し、よって、電極を設けることができる大きな利用可能なスペースを提供する。パッチ10は、たとえば、正方形、長方形、円形、または楕円形のような任意の適切な形状を有することができる。耳内（in-ear）ヘッドフォンのような他のエンドポイントの場合には、電極10の異なる配置および設計が適切でありうる。
【0023】
パッチ10は、電気伝導性の高い電気伝導性フォームを用いて製造することができる。好ましくは、この材料は、温度下で厚さを保持し、一貫性があり信頼性のある電気的接続を提供することができる。電極材料は、低い垂直抵抗、たとえば、0.005Ω未満を有してもよく、圧縮の間、最適な伝導性能を維持することができる。
【0024】
たとえば、電極に使用される材料は、0.33～0.53mmの厚さを有し、0.001～0.003Ωの垂直接触抵抗を有することができる。体積抵抗率は、1.3～2.94Ω・cmの典型的な体積抵抗率であってもよい。材料は、0.1～0.12Ω/sqの表面抵抗率を有していてもよい。抵抗は、0.12N/mm2の応力が加えられていると0.09Ωから0.001Ωになり、よって、抵抗率の非常に小さな変化が、材料の圧縮に関連する。電極は、プラスチックまたは金属ケーシングとの容易な一体化を許容する接着面を有するように製造できる。
【0025】
一例として、電極は、ロジャーズ社製のCondux Plus（商標）フォームで作ることができる。
【0026】
フォーム以外の材料が電極パッチに使用されてもよいことを注意しておく。たとえば、製織物パッチまたは他の伝導性材料が電極に使用できる。
【0027】
また、nmのオーダーの、より薄いセンサー材料も考えられることができる。そのような薄くて伸張可能な電極は、ユーザーの皮膚に直接取り付けることができ、「電子皮膚」と呼ばれることもある。電子皮膚は、酸化物材料を生体適合性シリコンと組み合わせることによって作製することができ、たとえば二酸化バナジウムから作られる、自己修正コーティング（self-modifying coating）を含みうる。さらなる詳細は、非特許文献１の論文で提供されている。
【非特許文献1】Rahman et al、Artificial Somatosensors: Feedback Receptors for Electronic Skins、September 1, 2020
【0028】
ここで眼の注視の推定に移る。図3を参照すると、リード電極10aからの信号は、計測用増幅器11を用いてアナログ領域で調整され、バイアス電極10bからの信号は、このプロセスにおいて、共通モードノイズを低減するために使用される。調整された信号は多重化され、A/D変換器12によってA/D変換され、アイトラッキング処理回路13に供給される。処理回路13は、注視方向の変化を識別し、瞬間的な注視方向（たとえば相対的な注視角または方向）を決定する。最後に、処理回路13からの出力は、いくつかの器具、アプリケーション、または周辺装置14を制御するために独立して使用される。本発明による眼のトラッキングが有用でありうる用途の例は、プレゼンテーション制御、ヘッドフォン制御、アクティブ・ダイアログ強化、中心窩レンダリング、改善されたAR/VR体験、テレビおよびモバイルデバイスでの改善されたコンテンツ消費、ドローン制御、および映画撮影におけるカメラ制御を含む。
【0029】
図6aは、A/D変換器12からの回路13への信号入力の一例を示す。灰色の領域51は、ノイズが多く、平均のまわりで揺動する実際の信号を表す。破線52は、前方（中心）注視方向を表す電圧（「中心電圧」と呼ばれる）である。2つの点線53は、左側の電圧限界と右側の電圧限界である。これらの電圧は、極端な左または右注視を表し、各個人について一定である固定したデルタ電圧によって中心電圧52から離れている。
【0030】
図6aを引き続き参照すると、測定された信号51の振幅（電圧）は、ユーザーの注視方向と相関される。現在測定されている電圧51と中心電圧52との間の差57は、注視ΔV（gaze ΔV）と呼ばれ、現在の注視角（たとえば、注視方向；基準方向または角度に対する注視方向）を表す。人の注視は、サッカードと呼ばれる、焦点の間を移動する。サッカード間の遷移は、典型的には、ある焦点から別の焦点への眼球の比較的速いまたは跳躍性の動きを特徴とする。
【0031】
中心電圧52は、無視できないドリフト（図6aの下向きの傾斜）を受ける。よって、特定のサッカード、すなわち、一定の注視ΔV 57についても、測定された電圧はドリフトする。測定された信号と（ドリフトする）中心電圧との差は、常に、現在の注視方向を表す電圧57である。
【0032】
中心電圧52のドリフトを予測することによって、注視推定器13は、別の注視方向、たとえば、新しいサッカードへの遷移を検出することができる。以下では、反復工程kについての中心電圧の予測値をベースライン（baseline）（k）と呼ぶ。
【0033】
アイトラッキング処理回路13は、図4により詳細に示されており、以下で説明される。図4に示される処理は、水平方向（左右）や垂直方向（上下）など、1つの平面で注視方向を扱うことができる。よって、実際には、平面ごとに1つで、2つの並列プロセスが必要となる。簡単のため、ここでは1つ（左-右）のみを議論する。
【0034】
もう1つの眼球運動は、注視される奥行きに関連する両眼転導である。この場合、眼球は内向きまたは外向きに、反対方向に動く。両眼転導は、1メートル未満から3メートル以上への距離変化を伴う用途で重要になってくる。携帯電話や他のオブジェクトとの相互作用は、しばしば、両眼転導の変化を伴う。通常のテレビを見ることは、両眼転導の変化を伴わないが、奥行き表示のある裸眼立体視テレビを見ることは、両眼転導の変化を伴うことがある。
【0035】
本開示の実施形態では、アルゴリズムは、一組のサンプルを含むデータ・ウィンドウ（セグメント）に対して機能する。ウィンドウ長は可変パラメータであり、アルゴリズムの原理には影響しない。一例として、サンプリング・レートは250Hzであってもよく、ウィンドウ長は1/10秒、すなわち25サンプルであってもよい。
【0036】
信号の各ウィンドウ（インデックスk）は、まずブロック21で処理され、電力線ノイズを除去する。本例では、これは移動平均フィルタを使用して達成される。あるいはまた、デジタルIIRまたはFIRフィルタが同じ目的のために使用できる。ブロック21の出力はフィルタリングされた信号（インデックスk）である。
【0037】
次に、ブロック22において、ベースライン（k）、たとえば、現在のウィンドウの推定される中心電圧が除去される。中心電圧の推定は、ブロック31～36を参照してのちに説明する。ベースライン（k）は、次のウィンドウ全体（すなわち、ここでは25個のデータポイント）にわたるベースラインの予測を表す単一の値であることに留意されたい。
【0038】
ベースライン除去のために、ベースライン（k）の値は、
トレンド除去された信号（k）＝フィルタリングされた信号（k）－推定されたベースライン（k）
に従って、フィルタリングされた信号（k）中の各サンプルから減算される。
トレンド除去された信号（k）＝フィルタリングされた信号（k）－推定されたベースライン（k）
に従って、フィルタリングされた信号（k）中の各サンプルから減算される。
【0039】
ベースライン除去後、トレンド除去された信号は、水平注視の角度を推定するために注視推定器23において使用される。現在の実装では、これは、最大左注視および最大右の電圧を上限および下限として用いて較正される線形回帰モデルを用いて得られる。最大左および右の電圧は、可能な最大の左右の注視角度の電圧に対応し、ブロック30aおよび30bを参照して後述するように、中心電圧に依存する。線形回帰モデルを使用せずに、トレンド除去された信号から注視をどのように推定するかに関する他の代替も可能である。
【0040】
トレンド除去された信号はまた、状態分類器24において、状態分類を行うために使用される。たとえば、水平注視方向が左、右、または中心状態にあるかどうかを確立するためである。これは線形状態分類器を用いて得られる。この実装では線形判別分析を用いた。あるいはまた、他のマルチクラス分類器（ロジスティック回帰またはサポートベクターマシンなど）を使用することができる。同じタスクは、ニューラルネットワークを用いても、達成できる。この例では3つの状態のみを含むが、分類にさらに多くの状態（たとえば、中間状態、たとえば中央左または中央右、および、実装SNRで可能な解像度にふさわしい、すなわち前述の0.5度の精度で可能な位置の数に整合する多数の状態）を追加することができる。
【0041】
上述のように、ブロック23およびブロック24からの出力は、アプリケーション14を駆動するために独立して使用されてもよい。
【0042】
トレンド除去された信号は、遷移分類器25にさらに提供される。たとえばあるサッカードから別のサッカードへの変化によって、または「スムーズな追跡」眼球運動によって引き起こされる遷移、すなわち注視の変化を識別するためである。新しいサッカードが起こるたびに、トレンド除去された信号は、垂直方向の電圧シフト（上または下）を示す。言い換えれば、ユーザーが目を動かすと、測定された電圧と中心電圧（まっすぐな注視）との間の差が変化する。遷移分類器25は、各データ・ウィンドウ（インデックスk）を処理して、それがそのような電圧シフトを含むかどうかを決定する。新しいサッカードへの遷移を表す電圧のシフトは、典型的には、急速であり、ステップまたは短い時間期間にわたるランプとして、トレンド解除された信号において識別できる。遷移分類器25は、「スムーズな追跡」眼球運動によって引き起こされるシフトを識別することもできる。
【0043】
現在のウィンドウが識別可能な遷移を含まない（つまり、ユーザーが眼を動かさなかった）場合、
注視ΔV（k）＝注視ΔV（k－1）
のように注視ΔVは不変である。
注視ΔV（k）＝注視ΔV（k－1）
のように注視ΔVは不変である。
【0044】
さらに、注視ΔV（k）は、
中心電圧（k）＝中央値[フィルタリングされた信号（k）－注視ΔV（k）]
のように、現在の中心電圧（k）を計算するために、中心電圧計算器27によって使用される。ここで、単一の値 注視ΔV（k）が、フィルタリングされた信号（k）内の各サンプルから減算される。中心電圧（k）は、ベースライン（k）と同じ仕方での予測ではなく、ウィンドウ（k）の間の測定された信号（および測定された注視）の知識に基づいていることに注意されたい。
中心電圧（k）＝中央値[フィルタリングされた信号（k）－注視ΔV（k）]
のように、現在の中心電圧（k）を計算するために、中心電圧計算器27によって使用される。ここで、単一の値 注視ΔV（k）が、フィルタリングされた信号（k）内の各サンプルから減算される。中心電圧（k）は、ベースライン（k）と同じ仕方での予測ではなく、ウィンドウ（k）の間の測定された信号（および測定された注視）の知識に基づいていることに注意されたい。
【0045】
遷移が遷移分類器25によって検出される場合、遷移のタイムスタンプ（どのサンプルか）がブロック28に供給され、そこで新たな注視ΔVが決定される。ブロック28は、フィルタリングされた信号（k）（すなわち、トレンド除去前）およびベースライン（k）をも受信する。次いで、新しい注視ΔVが、前記タイムスタンプより後のフィルタリングされた信号の電圧レベルに基づいて、
注視ΔV（k）＝中央値[フィルタリングされた遷移後信号（k）－ベースライン（k）]
に従って決定できる。
注視ΔV（k）＝中央値[フィルタリングされた遷移後信号（k）－ベースライン（k）]
に従って決定できる。
【0046】
新しい注視ΔVの値は、別の遷移が検出されるまで、以下の反復工程のために記憶され、使用される。さらに、中心電圧推定器29は、現在の中心電圧を
中心電圧（k）＝ベースライン（k）
として推定する。
中心電圧（k）＝ベースライン（k）
として推定する。
【0047】
中心電圧（k）についての値は、測定された電圧についての新しい潜在的な最大電圧を決定するために、左右の電圧推定器30a、30bによって使用される。そのような最大／最小電圧は、注視推定のためには必要ないことに留意されたい。しかしながら、いくつかの実装では、それらは、注視推定器23および状態分類器24の精度を改善するために使用されてもよい。これらの閾値を適切な値に設定することによって、いわゆる「スムーズな追跡」眼球運動も追跡できる。
【0048】
注視方向の推定（ブロック23）および状態の分類（ブロック24）は、ここでは各反復工程について実行されるものとして記載されていることを注意しておく。よって、左右の最大電圧も反復工程毎に決定される（ブロック30a、30b）。これは、信頼性を高めるために有利かもしれないが、計算効率を低下させる。したがって、ブロック25における遷移検出が信頼性がある場合には、ブロック25において遷移が検出されたときにのみ、注視を推定し、状態を分類することが有利でありうる。その場合、ブロック23および24は、ブロック28の直後に配置される。
【0049】
ここで、ブロック31～36を参照して、ベースラインと呼ばれる、次の反復工程のための中心電圧の予測を説明する。第1の推定されるベースラインAは、漏れ積分器（leaky integrator）31を用いて生成され、前の中心電圧と前の推定されたベースラインとの線形重み付けを形成する：
ベースラインA（k＋1）＝α・中心電圧（k）＋（1－α）・ベースライン（k）
ベースラインA（k＋1）＝α・中心電圧（k）＋（1－α）・ベースライン（k）
【0050】
漏れ積分器31は、スムーズな追跡トラッキングのために、調整可能な低周波数および高周波数カットオフを有する帯域通過フィルタによって置き換えられることができる。第2の推定されるベースラインBは、レジスタ32およびARモデル33を用いて生成される。レジスタ32は、N＋1個の先行する予測、ベースライン（k）、ベースライン（k－1）、…ベースライン（k－N）の集合を記憶し、この集合はARモデル33に供給される。ARモデル33は、予測、ベースラインARモデル（k＋1）を生成し、これは次いで、ブロック35において中心電圧（k）と平均されて、第2の推定値Bを
ベースラインB（k＋1）＝｛ベースラインARモデル（k＋1）＋中心電圧（k）｝／2
として与える。
ベースラインB（k＋1）＝｛ベースラインARモデル（k＋1）＋中心電圧（k）｝／2
として与える。
【0051】
2つの推定されるベースラインAおよびBは、最終ベースライン（k＋1）を得るためにブロック36において平均され、最終ベースラインは、レジスタ32に格納され、次の反復工程において、ブロック22で、フィルタリングされた信号をトレンド除去するために使用される。
【0052】
図4のプロセスは、正しく機能するために短いトレーニング・セッションを必要とする。トレーニング・セッションの間、ユーザーは、若干数の目の「ジェスチャー」（目を右から中央、中央から左、左から中央、中央から右に動かす）を行うように求められる。精度を改善する、または識別したい状態の数を増やすために、追加のジェスチャーが追加されることができる（前述のように、中央左または中央右のような状態を分類することもできる）。ディスプレイに明示的にリンクされた用途では、さらなる正確さのために、ユーザーは既知の位置のディスプレイ上に諸ターゲットを固定するように求められることができる。
【0053】
トレーニング手順は、ブロック23、24および25（推定モデル、分類モデルおよび遷移モデル）で使用されるモデルをトレーニングするために使用される。図5に示される一実施形態では、線形回帰モデルが分類および注視推定のために使用される。トレーニング・プロセスは、一度実行されるだけでよく、各個人に特有であり、トレーニング・データ41は、単純な一組のアイ・ジェスチャーを用いるトレーニング・プロセスを使用して収集されうる。収集されたデータ41は、可能な状態（中央-右-左-上-下）の間で注視方向を分類するための状態分類器（ブロック24）で使用される第1のモデル42をトレーニングするために使用される。さらに、収集されたデータ41は、あるサッカードから別のサッカードへの遷移を識別するために、遷移検出器25で使用される第2のモデル43をトレーニングするために使用される。最後に、収集されたデータ41は、水平および垂直注視を推定するための注視推定器23で使用される第3のモデル44をトレーニングするために使用される。
【0054】
本明細書に開示されたシステムは、原理的にには（より低い精度を代償として）トレーニングなしで、単に近似パラメータ値を選択することによって機能しうることに留意されたい。
【0055】
図6のbは、信号54（たとえば、ブロック21および22における信号処理およびベースライン除去後の信号入力51；これは図4の2つの分枝への信号入力である）を示す。図6のaに見えるベースラインのドリフトが今では取り除かれていることが明らかである。分類境界（たとえば、最大／最小電圧に関連する）は、破線55として示される。
【0056】
【0057】
上述のような眼の注視検出のためのEOGアプローチは、有利には、追加のセンサーまたは測定ユニット、特に、生理学的応答を測定するための追加のセンサーと組み合わせることができる。図7に示されるように、システム70は、EOG電極10a、10bに加えて、以下の追加のセンサー・システムのうちの少なくとも1つを含むことができる：
加速度、磁場および角速度を測定するための慣性測定ユニット（inertial measurement unit、IMU）71
脳電図（electroencephalogram、EEG）を測定するための電極72
筋電図（electromyogram、EMG）を測定するための電極73
心拍数および血圧（photoplethysmogram、PPM）を測定するためのセンサー74
温度センサー75。
加速度、磁場および角速度を測定するための慣性測定ユニット（inertial measurement unit、IMU）71
脳電図（electroencephalogram、EEG）を測定するための電極72
筋電図（electromyogram、EMG）を測定するための電極73
心拍数および血圧（photoplethysmogram、PPM）を測定するためのセンサー74
温度センサー75。
【0058】
次のものを含む非常に多様なセンサーが考えられる：ディスプレイベースのセンサー、可視波長カメラセンサー、同時位置特定およびマッピングセンサー、熱画像化装置、ヘッドマウントディスプレイセンサー、耳内センサー、手首センサー、注視位置センサー、瞳孔径センサー、表情センサー、頭部位置センサー、視距離センサー、表情センサー、額面センサー、覚醒センサー、脳電図センサー、特定的に位置決めされた電極、熱センサー、光センサー、眼電図センサー、呼吸センサー、プレチスモグラフィ心拍ベースのセンサー、ガルバニック皮膚応答センサー、ガスセンサー、CO2含有量センサー、R3COH含有量センサー、または座席ベースのセンサーを含む。
【0059】
これらすべてのセンサーおよびシステムから収集されたデータは、適切な前処理のために一つまたは複数の装置に提供される。たとえば、図4を参照して上述した処理は、EOG信号に関して行われてもよい。装置は、適宜、オーバーザイヤー・ヘッドフォン76、オンイヤー・ヘッドフォン77、または耳内ヘッドフォン78に含まれてもよい。
【0060】
適切にトレーニングされたニューラルネットワーク79が、前処理された信号を受信し、注目および／または視線の方向を推定するように接続される。
【0061】
本発明によるシステムは、多数の異なる用途を有してもよい。
【0062】
図8は、一連の他の刺激をフィルタ除去しつつ、ある特定の刺激に対して聴覚的注目（脳における選択的注目の効果）を集中させる脳の能力を向上させるように構成されたシステム80のブロック図を示している。そのような集中は、騒がしい部屋において、たとえばパーティーなどで、人が単一の会話に集中することを許容し、その現象は時に「カクテルパーティー効果」と称される。いくつかの状況では、特定のダイアログのストリームを選別する自然な脳の能力は、認知負荷なしに会話に追随するには不十分である。図8のシステムは、そうした状況においてダイアログを補強することができる。
【0063】
センサー・システム、たとえば、図7に示されるシステム70は、生物物理データを受信し、ユーザーの注目の方向〔注意を向けている方向〕を提供する。並行して、ダイアログと雑音の混合81が、好ましくはビームフォーミング・マイクロフォンを含むマイクロフォンのアレイによって収集される。収集されたオーディオ・ミックス81および注目の方向は、マイクロフォン・アレイによって測定されたオーディオ・ミックス81のうちでの有意なダイアログを抽出するように構成された、ブラインド音源分離プロセッサ82によって受け取られる。雑音は、減衰器83によって減衰または相殺されてもよい。有意なダイアログは、その後、増幅器84によって増幅され、適切なスピーカー85によってユーザーに出力される。
【0064】
図9は、ノイズキャンセリング・ヘッドフォンのパススルー機能を制御するように構成されたシステム90のブロック図を示す。現代のノイズキャンセリング・ヘッドフォンは、典型的には、ユーザーがダイアログに参加するとき、またはダイアログが周囲から受領されるときに、オーディオのパススルーを許容する能力を有する。図8のシステムは、生物物理センサーを用いてオーディオ・パススルーの方向性を制御する可能性を紹介している。
【0065】
センサー・システム、たとえば図7に示されるシステム70は、生物物理データを受信し、ユーザーの注目の方向を提供する。並行して、関心対象のダイアログまたは音声91は、好ましくはビームフォーミング・マイクロフォンを含むマイクロフォンのアレイによって収集される。図8の記載において言及されたアルゴリズムと同様に、ブラインド音源分離プロセッサ92では、収集されたオーディオ・ミックスを、雑音と有意なオーディオ、たとえば、ユーザーの注目の方向からやって来るオーディオ、またはユーザーが出席しているダイアログまたは音声に分離するために、注目の方向が使用される。雑音は減衰器93によって相殺されてもよい。有意なオーディオは、増幅器94によって増幅され、ミキサー95に提供され、そこで、ヘッドフォンによって現在受信されている、再生のために意図されたコンテンツに混合される。その結果、ミックスはヘッドフォン・スピーカー96によって再生される。
【0066】
終わりに
本明細書中で使用される場合、別段の規定がない限り、共通の対象を記述するための序数形容詞「第1の」、「第2の」、「第3の」などの使用は、単に、類似の対象の異なるインスタンスが言及されていることを示し、そのように記載された対象が、時間的に、空間的に、ランク付けにおいて、または任意の他の仕方で、所与のシーケンスになければならないことを含意することは意図されていない。
本明細書中で使用される場合、別段の規定がない限り、共通の対象を記述するための序数形容詞「第1の」、「第2の」、「第3の」などの使用は、単に、類似の対象の異なるインスタンスが言及されていることを示し、そのように記載された対象が、時間的に、空間的に、ランク付けにおいて、または任意の他の仕方で、所与のシーケンスになければならないことを含意することは意図されていない。
【0067】
特許請求の範囲および本明細書中の説明において、有する、から構成されるまたは含むという用語はいずれも、少なくともそれが導く要素/特徴を含むが、他のものを除外しないことを意味するオープンな用語である。よって、特許請求の範囲において使用される場合、有するという用語は、それに伴って列挙される手段、要素、またはステップに限定されるものとして解釈されるべきではない。たとえば、AおよびBを有する装置という表現の範囲は、要素AおよびBのみからなる装置に限定されるべきではない。本明細書で使用される場合、含む、または含んでいるという用語もいずれも、やはり、少なくともそれが導く要素/特徴を含むが、他のものを除外しないことを意味するオープンな用語である。よって、含むは、有すると同義であり、有するを意味する。
【0068】
本明細書中で使用される場合、用語「例示的」は、品質を示すのではなく、例を提供するという意味で使用される。すなわち、「例示的な実施形態」は、必ず例示的な品質の実施形態であるのではなく、例示として提供される実施形態である。
【0069】
本発明の例示的な実施形態の上述の説明では、開示の流れをよくし、さまざまな発明的側面のうちの一つまたは複数の理解を助ける目的で、本発明のさまざまな特徴が単一の実施形態、図面、またはその説明において一緒にグループ化されることがあることが理解されるべきである。しかしながら、この開示方法は、特許請求される発明が各クレームにおいて明示的に記載されているよりも多くの特徴を必要とするという意図を反映するものと解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明的な側面は、単一の上記の開示された実施形態のすべてよりも少ないものに存する。よって、詳細な説明に続く特許請求の範囲は、ここにこの詳細な説明に明示的に組み込まれ、各請求項が本発明の別個の実施形態として自立する。
【0070】
さらに、本明細書に記載されるいくつかの実施形態は、他の実施形態に含まれるいくつかの特徴を含むが、他の特徴は含まないものの、当業者には理解されるように、異なる実施形態の特徴の組み合わせは、本発明の範囲内であり、異なる実施形態をなすことが意図されている。たとえば、以下の請求項では、請求項に記載された実施形態の任意のものが、任意の組み合わせで使用できる。
【0071】
さらに、いくつかの実施形態は、コンピュータ・システムのプロセッサによって、または機能を実行する他の手段によって実現することができる方法または方法の要素の組み合わせとして本明細書に記載されている。よって、プロセッサは、方法または方法のそのような要素を実行するために必要な命令とともに、該方法または方法の要素を実行するための手段をなす。さらに、装置実施形態の本明細書に記載されている要素は、本発明を実行する目的のためにその要素によって実行される機能を実行するための手段の例である。
【0072】
本明細書に提供される説明において、多数の個別的詳細が記載されている。しかしながら、本発明の実施形態が、こうした個別的詳細なしで実施されうることが理解される。他方では、周知の方法、構造および技術は、この説明の理解を不明瞭にしないために詳細には示されていない。
【0073】
同様に、結合されたという用語は、請求項において使用される場合、直接接続のみに限定されるものとして解釈されるべきではないことに留意されたい。用語「結合された」および「接続された」は、その派生形とともに、使用されうる。これらの用語は、互いに同義語として意図されたものではないことを理解されたい。よって、装置Bに結合された装置Aという表現の範囲は、装置Aの出力が装置Bの入力に直接接続される装置やシステムに限定されるべきではない。装置Aの出力と装置Bの入力との間に、他の装置や手段を含む経路であってもよい経路が存在することを意味する。「結合された」とは、2つ以上の要素が直接、物理的または電気的に接触している、または2つ以上の要素が互いに直接接触してはいないが、それでも互いと協働または相互作用することを意味しうる。
【0074】
よって、本発明の個別的実施形態が記載されているが、当業者であれば、本発明の精神から逸脱することなく、他の修正およびさらなる修正を加えることが可能であり、そのような変更および修正のすべてを本発明の範囲に含まれるものとして請求することが意図されていることを認識するであろう。たとえば、上述で与えられたどの公式も、単に使用されうる手順を表すに過ぎない。ブロック図から機能が追加または削除されてもよく、機能性ブロックの間で動作が交換されてもよい。ステップは、本発明の範囲内に記載される方法に追加または削除されうる。たとえば、図示された実施形態では、エンドポイント装置は、一対のオンイヤー・ヘッドフォンとして示されている。しかしながら、本発明は、耳内ヘッドフォンおよび補聴器のような他のエンドポイント装置にも適用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】