▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-21
(54)【発明の名称】ＥＯＧ座標を用いた画面インタラクション
(51)【国際特許分類】
G06F 3/01 20060101AFI20240814BHJP
G06F 3/038 20130101ALI20240814BHJP
【ＦＩ】
G06F3/01 510
G06F3/038 310A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024503528
(86)(22)【出願日】2022-07-21
(85)【翻訳文提出日】2024-03-18
(86)【国際出願番号】 US2022037908
(87)【国際公開番号】W WO2023004063
(87)【国際公開日】2023-01-26
(31)【優先権主張番号】63/224,062
(32)【優先日】2021-07-21
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】21190807.4
(32)【優先日】2021-08-11
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】ファネリ，アンドレア
(72)【発明者】
【氏名】ギターマン，エヴァン デイビッド
(72)【発明者】
【氏名】スウェドロウ，ネイサン カール
(72)【発明者】
【氏名】ブランドマイヤー，アレックス
(72)【発明者】
【氏名】ジョイナー，マックレガー スティール
(72)【発明者】
【氏名】ダリー，スコット
(72)【発明者】
【氏名】クラム，ポピー アン キャリー
【テーマコード（参考）】
5B087
5E555
【Ｆターム（参考）】
5B087BC04
5E555AA11
5E555BA38
5E555BB38
5E555BC17
5E555CA41
5E555CA44
5E555CB65
5E555CB69
5E555FA00
(57)【要約】
ユーザの耳に近接して配置された一組の電極から一組の電圧信号を取得することと、一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定することと、ユーザが装着するセンサ装置を用いて、ディスプレイ座標におけるユーザの頭部姿勢を決定することと、ＥＯＧ視線ベクトルと頭部姿勢を組み合わせて、ディスプレイ座標における視線ベクトルを得ることと、視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定することと、を含む方法。
【特許請求の範囲】
【請求項1】
ユーザの耳に近接して配置された一組の電極から一組の電圧信号を取得することと、前記一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定することと、
前記ユーザが装着するセンサ装置を用いて、ディスプレイ座標におけるユーザの頭部姿勢を決定することと、
前記ＥＯＧ視線ベクトルと前記頭部姿勢を組み合わせて、ディスプレイ座標における視線ベクトルを得ることと、
前記視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定することと、を含む、方法。
【請求項2】
ディスプレイ座標における前記センサ装置の位置を得るために、前記センサ装置を較正すること、をさらに含む、請求項１に記載の方法。
【請求項3】
前記較正は、前記結像面上にグラフィック要素を表示することと、
前記ユーザが前記グラフィカル要素に対応する前記結像面上の位置を見ていることを確認するユーザ入力を受け取ることと、を含む、請求項２に記載の方法。
【請求項4】
前記ユーザ装着型センサ装置が、前記結像面を含むディスプレイシステムの少なくとも一部に対して固定的に配置された第２のセンサ装置と同期される、請求項２に記載の方法。
【請求項5】
前記較正は、前記ユーザと前記結像面との間の距離を、前記ディスプレイシステム内の１つまたは複数のセンサを任意に用いて、決定することを含む、請求項２に記載の方法。
【請求項6】
経時的な前記注視点の統計分析および予想されるユーザ視聴パターンの知識を含む、オンライン統計較正をさらに含む、請求項１から５のいずれかに記載の方法。
【請求項7】
結像面上に表示するための深度情報を含む画像データを処理する方法であって、請求項１から６のいずれかに記載の方法を用いて、前記結像面上の注視点を決定することと、
前記注視点に関連付けられた深度情報に少なくとも部分的に基づいて、視線深度を決定することと、
前記画像データの第１の部分に関連付けられた相対深度を、前記画像データの前記第１の部分に関連付けられた深度情報と前記視線深度との差として計算することと、
前記画像データの前記第１の部分に関連付けられた前記相対深度の関数に従って、前記画像データの前記第１の部分に関連付けられた画素データを修正することにより修正画像データを生成することと、を含む、方法。
【請求項8】
前記画素データを修正することは、前記画素データの色相、明度、ガンマ、コントラスト、シャープネス、ぼかしまたは空間フィルタリングのうちの１つ以上を変更することを含む、請求項７に記載の方法。
【請求項9】
結像面上に表示するための深度情報を含む画像データに関連付けられた音声オブジェクトを処理する方法であって、請求項１から６のいずれかに記載の方法を用いて、前記結像面上の注視点を決定することと、
前記注視点に関連付けられた深度情報に少なくとも部分的に基づいて、視線深度を決定することと、
前記注視点および前記視線深度に少なくとも部分的に基づいて、現在の関心点に関連付けられた少なくとも１つの音声オブジェクトを識別することと、
前記識別された音声オブジェクトが他の音声オブジェクトとは異なる修正をされるように前記音声オブジェクトを修正することと、を含む、方法。
【請求項10】
識別された前記音声オブジェクトを修正することは、識別された前記音声オブジェクトの音量、ラウドネスおよび周波数分布のうちの１つを変更することを含む、請求項９に記載の方法。
【請求項11】
結像面上に表示するための画像データを処理する方法であって、請求項１から６のいずれかに記載の方法を用いて決定される前記結像面上の注視点を経時的にモニタすることと、
平均視線位置と視線半径を決定することと、
前記視線半径を半径閾値と比較することと、
前記視線半径が前記半径閾値より小さいという判定に従って、前記画像データにズームを適用することと、を含む、方法。
【請求項12】
前記平均視線位置と前記結像面の１つ以上のエッジとの間の最小距離を決定することと、前記最小距離を距離閾値と比較することと、
前記最小距離が前記距離閾値未満であるとの判定に従って、前記画像データにオフセットを適用して前記最小距離を大きくすることと、をさらに含む、請求項１１に記載の方法。
【請求項13】
前記画像データに適用する前に前記オフセットおよび／または前記ズームをローパスフィルタリングすることを更に含む、請求項１１または１２に記載の方法。
【請求項14】
ユーザの耳に近接して配置され、一組の電圧信号を取得するように構成された一組の電極と、前記一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定するＥＯＧ処理ユニットと、
ディスプレイ座標における前記ユーザの頭部姿勢を決定するユーザ装着型センサ装置と、
前記ＥＯＧ視線ベクトルと頭部姿勢を結合して、ディスプレイ座標における視線ベクトルを得て、
前記視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定する、
ように構成された処理ユニットと、を含む、システム。
【請求項15】
コンピュータプロセッサ上で実行されたときに請求項１から１３のいずれかに記載のステップを実行するように構成されたコンピュータプログラムコードを記憶する非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願との相互参照
本出願は、本願にその全文を援用する２０２１年７月２１日に出願された米国仮出願第６３／２２４，０６２号および２０２１年８月１１日に出願された欧州特許出願第２１１９０８０７．４号に基づく優先権を主張する。
本出願は、本願にその全文を援用する２０２１年７月２１日に出願された米国仮出願第６３／２２４，０６２号および２０２１年８月１１日に出願された欧州特許出願第２１１９０８０７．４号に基づく優先権を主張する。
【0002】
発明の属する技術分野
本発明は、眼電図（ＥＯＧ）を用いたアイトラッキングに関する。具体的には、本発明は、そのようなアイトラッキングを用いてディスプレイ画面上の注視点を決定することに関する。
本発明は、眼電図（ＥＯＧ）を用いたアイトラッキングに関する。具体的には、本発明は、そのようなアイトラッキングを用いてディスプレイ画面上の注視点を決定することに関する。
【背景技術】
【0003】
多くの状況において、アイトラッキングを用いて、ユーザの注意がどこに集中しているかを理解することができる。特に、アイトラッキングは、周辺機器のユーザ制御を改善し得る。
【0004】
アイトラッキングの最も一般的なアプローチは、ユーザの眼の映像を取得することである。数値解析やディープラーニングベースの適切な画像処理やアルゴリズムを用いて、ユーザの視線方向を決定することができる。このような映像ベースのアイトラッキングの欠点は、カメラをユーザの顔に向けるか、頭部に取り付ける必要があることであり、これにより用途が大幅に制限されている。
【0005】
最近、映像ベースのアイトラッキングに代わる方法として、眼電図（ＥＯＧ）を用いたものが導入されている。眼電図（ＥＯＧ）とは、眼球の角膜－網膜双極子電位（角膜と網膜間の電荷の差）の測定である。眼球が眼窩内で動くと、双極子が回転する。この電位は、眼窩近傍に配置した一組の電極を用いて測定することができ、眼球位置を推定するのに用いることができる。現在の技術によるＥＯＧの精度は約０．５度と推定されているが、今後の改善が期待される。
【0006】
映像ベースのアイトラッキングと比較して、ＥＯＧベースのアイトラッキングには以下のいくつかの利点がある。
カメラ光学系や映像処理が不要なため、ハードウェアコストを削減できる。
視線を眼に合わせたカメラ設置の必要がないため、より柔軟な設計が可能である。
厳しい照明条件下での堅牢性／精度が向上する。
処理要件およびメモリ要件が削減されることにより、ポータブル／ウェアラブル装置にとって特に重要な消費電力の削減につながる。
カメラをユーザに向ける必要がなく、これに関連するプライバシーの問題がない。
カメラ光学系や映像処理が不要なため、ハードウェアコストを削減できる。
視線を眼に合わせたカメラ設置の必要がないため、より柔軟な設計が可能である。
厳しい照明条件下での堅牢性／精度が向上する。
処理要件およびメモリ要件が削減されることにより、ポータブル／ウェアラブル装置にとって特に重要な消費電力の削減につながる。
カメラをユーザに向ける必要がなく、これに関連するプライバシーの問題がない。
【0007】
眼電図的視野角決定（本明細書ではＥＯＧベースのアイトラッキングと呼ぶ）が近年改善されたことにより、このようなアイトラッキングの多数の用途が実現可能になった。
【0008】
しかしながら、より従来のカメラベースのアイトラッキングと比較して、ＥＯＧベースのアイトラッキングの課題は、ＥＯＧ検出がユーザの頭部に対して相対的に行われることである（エゴセントリック（ego-centric）座標系と呼ばれる）。
【0009】
多くの用途、例えば、拡張現実（ＡＲ）や仮想現実（ＶＲ）用途の場合、エゴセントリック性は問題とはならない。むしろ、エゴセントリックアイトラッキングはそのような用途に非常に適している。しかし、エゴセントリック性は、今日まで多くの画像処理用途においてＥＯＧベースのアイトラッキングの成功を妨げてきた。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明の目的は、上述の課題を克服または軽減し、様々な画像処理用途においてＥＯＧベースのアイトラッキングを可能にすることである。
【0011】
本発明の第１の態様によれば、上記およびその他の目的は、ユーザの耳に近接して配置された一組の電極から一組の電圧信号を取得することと、前記一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定することと、前記ユーザが装着するセンサ装置を用いて、ディスプレイ座標におけるユーザの頭部姿勢を決定することと、前記ＥＯＧ視線ベクトルと頭部姿勢を組み合わせて、ディスプレイ座標における視線ベクトルを得ることと、前記視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定することと、を含む、方法によって達成される。
【0012】
当業者であれば理解できるように、エゴセントリック座標は、ユーザの位置（姿勢）に対する位置、例えばユーザの頭部に対する位置を記述する。同様に、ディスプレイ座標は、ディスプレイ装置（の一部）に対する位置を記述する。ディスプレイ装置の結像面の位置は、ディスプレイ座標において既知である。
【0013】
上記方法は、好ましくは、ディスプレイ座標における前記センサ装置の位置を得るために、前記センサ装置を較正すること、をさらに含む。このような較正は、システムを再較正するために、操作中だけでなく、頭部姿勢を決定する前にも実行してもよい。頭部装着センサの較正は、ディスプレイ座標におけるその位置を知らしめる役割を果たす。一般的なケースでは、較正は６自由度であってもよいが、より制約の多い用途では、より少ない自由度で十分であり得る。いくつかの実施形態では、ディスプレイ座標は２自由度（例えば、ｘとｙ）のみを有する。いくつかの実施形態では、較正は、頭部運動の自由度の回転要素を使用または測定することを含まない。例えば、視聴距離がディスプレイ幅に対して遠く、視聴者がディスプレイ画像表面の異なる部分を見るために頭部回転を行う可能性が低い（つまり、異なるディスプレイ領域に視線を向けることを専ら眼球回転のみで行う）ような用途。この場合、ディスプレイは比較的小さな視野（ＦＯＶ）を有するが、そのような視聴例として、腕を伸ばした距離で見るスマートフォンが挙げられる。
【0014】
較正は、結像面自体に関して行われる（例えば、以下に概説するディスプレイとのインタラクションを伴う）またはディスプレイ装置の他の部分（例えばプロジェクタ装置）に関して行われ得ることに留意されたい。
【0015】
頭部装着センサは、頭部の相対運動をモニタするように構成される。初期較正後、頭部装着センサは、このようにして、ディスプレイ座標における頭部姿勢を提供することができる。頭部装着センサは、加速度計、ジャイロスコープおよび磁力計のうちの１つまたは複数を含み得る。この文脈で有用なセンサの１つのタイプは、慣性測定ユニット（ＩＭＵ）である。
【0016】
ＥＯＧ視線ベクトルと頭部姿勢を組み合わせることにより、ディスプレイ座標における視線ベクトルを得ることができる。この後、注視点は、視線ベクトルと結像面（前述のように、これもディスプレイ画面座標で表される）との交点として決定することができる。例えば、ディスプレイ上の物理単位（例えば、ｍｍ）から画素位置に変換するステップが必要である。
【0017】
いくつかの実施形態において、頭部装着センサの較正は、頭部装着センサを、ディスプレイシステム（ひいては結像面）に対して固定的に配置された第２のセンサ装置と同期させることによって達成される。この実施形態は、一般的にＩＭＵなどの方位センサ装置を備える非定置ディスプレイ画面（例えばスマートフォン）などに特に有用である。
【0018】
いくつかの実施形態において、空間較正は、ユーザと結像面との間の距離を決定することによって得られる。このアプローチは、一般的にＩＭＵを備えていないテレビなどの据置型ディスプレイに対してより有用であり得る。一部の実施形態では、距離は、ディスプレイシステムに近接してまたはディスプレイシステム内に取り付けられた適切なセンサ（例えば、ＩＲトランシーバを備えたリモコン、スマートフォンで一般的になりつつあるようなディスプレイ上のＬＩＤＡＲセンサ）を用いて決定される。
【0019】
いくつかの実施形態において、前記較正は、前記結像面上にグラフィック要素を表示することと、前記ユーザが前記グラフィカル要素を見ていることを確認するユーザ入力を受け取ることと、を含む。このような較正は、ディスプレイ座標における頭部装着センサの位置を決定するだけでなく、ＥＯＧ視線ベクトル計算を含むプロセス全体の較正を提供するという利点を有する。
【0020】
いくつかの実施形態において、上記方法は、ＥＯＧ視線ベクトル検出プロセスにおいて起こり得るあらゆるドリフトを処理するために、オフライン較正をさらに含む。いくつかの実施形態において、そのようなオフライン較正は、例えば、結像面のサイズ、経時的に予想される関心領域等を考慮に入れた、経時的なユーザ注視点の統計的分析を含む。
【0021】
第１の態様の方法は、オーディオビジュアルデータレンダリングシステムにおける音声データおよび／またはビジュアルデータの修正を可能にする。この修正は、テレビ、プロジェクタディスプレイシステム、またはモバイルハンドヘルド装置などのシステムのオーディオビジュアルプレゼンテーションを見たり聞いたりするときに、改善されたユーザエクスペリエンスを提供する。そのような改善されたユーザ体験の例を以下に要約する。
【0022】
結像面上の注視点をＥＯＧベースで決定することは、例えば、注視点に関連付けられた画像内の深度として視線深度を決定し、画像内の各画素について、画素の深度と視線深度との差として相対深度を計算し、相対深度の関数に従って画素をぼかすことによって、画像を深度ベースでレンダリングすることに使用することができる。ぼかし後、画像は結像面上で深度レンダリングされる。このようなぼかしは、眼の光学系に起因する３Ｄシーンで発生するような自然な被写界深度をシミュレートするために行うことができる。
【0023】
別の例として、深度ベースの画像レンダリングが３Ｄ音場と組み合わされる場合、注視点および視線深度は、現在の関心点に関連付けられた少なくとも１つの音声オブジェクトを識別するために使用され、そのような識別された音声オブジェクトを強調できるようにすることができる。現在の関心点は、注視点の関数として決定され得る。
【0024】
さらに別の実施例では、結像面上の注視点を、上に要約したような方法を用いて経時的にモニタすることができる。このモニタ結果に基づいて、平均視線位置および視線半径が決定され、視線半径が半径閾値と比較され、視線半径が半径閾値未満である場合、結像面上の画像データがズームされる。このような手順は、例えば、モバイル装置のような小さな結像面上で高空間解像度（例えば、４Ｋまたは８Ｋ）データをレンダリングする文脈において、ユーザ視聴体験を改善する。平均視線位置が結像面の中心にない場合にもこのような改善されたユーザ視聴体験を提供するために、平均視線位置と結像面の１つまたは複数のエッジとの間の最小距離も決定することが有利であり得る。次に、最小距離を距離閾値と比較し、最小距離が距離閾値未満であるという判定に従って、画像データにオフセットを適用して最小距離を大きくする。すなわち、このような手順は画像データを平行移動（ｔｒａｎｓｌａｔｅ）させ、これにより、結像面のエッジにおける平均視線位置における対象物にズームインしても、対象物が視界から外れることはない。
【0025】
本発明の第２の態様によれば、上記およびその他の目的は、ユーザの耳に近接して配置され、一組の電圧信号を取得するように構成された一組の電極と、前記一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定するＥＯＧ処理ユニットと、ディスプレイ座標における前記ユーザの頭部姿勢を決定するユーザ装着型センサ装置と、前記ＥＯＧ視線ベクトルと頭部姿勢を結合して、ディスプレイ座標における視線ベクトルを得て、前記視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定する、ように構成された処理ユニットと、を含む、システムによって達成される。
【0026】
本発明の第３の態様によれば、上記およびその他の目的は、コンピュータプロセッサ上で実行されたときに本発明の第１の態様による方法のステップを実行するように構成されたコンピュータプログラムコードを記憶する非一時的コンピュータ可読媒体によって達成される。
【図面の簡単な説明】
【0027】
以下、本発明の現在好ましい実施形態を示す添付図面を参照して本発明をより詳細に説明する。
【発明を実施するための形態】
【0028】
図１は、本発明の実施形態によるＥＯＧベースの注視点検出のためのシステムの基本要素を示す。本システムは、結像面１を有するディスプレイ装置に関連して実装される。図示の場合、ディスプレイ装置は、スマートフォンなどのポータブル装置２であるが、本システムは、専用の結像面を有する任意のディスプレイ装置に実装することができる。例えば、ディスプレイ装置は、テレビのような据置型ティスプレイ画面であってもよい。また、ディスプレイ装置は、画像形成ユニット（プロジェクタ）と、画像形成ユニットから離れた位置にある結像面（プロジェクション画面）とを含むプロジェクションディスプレイシステムであってもよい。一部の実施形態では、ディスプレイ装置の結像面は、眼鏡部品（例えば、コンタクトレンズまたは眼鏡レンズ１５）に一体化されている。
【0029】
本システムは、ユーザ８の皮膚上または皮膚に隣接して、好ましくは耳に近接して配置される一組のＥＯＧ電極３と、電極３に接続され、エゴセントリック座標（すなわちユーザの頭部に対する）視線ベクトルを決定するように構成されたＥＯＧ処理ユニット４とを含む。視線ベクトルは、方位角（左右の眼球の方向変化）および仰角（垂直）と呼ばれる水平視野角および垂直視野角である２自由度（２ＤＯＦ）を有していてもよい。単純な用途では、１つの自由度（例えば、水平視野角）のみが必要とされる。いくつかの実施形態では、ＥＯＧ処理ユニット４は、近い視距離（例えば、編み物で使用されるような）で発生する可能性がある両眼転導（ｖｅｒｇｅｎｃｅ）として知られるねじれ眼球運動である回転に部分的に基づいて視線ベクトルを決定するようにさらに構成される。
【0030】
本システムは、頭部の相対位置（頭部姿勢）を決定することができる頭部装着センサユニット５、例えば慣性測定ユニット（ＩＭＵ）をさらに含む。センサユニット５は、それが取り付けられている物体の相対的な動きを６自由度（６ＤＯＦ）で決定する。この６自由度には、ピッチ、ヨー、ロールの３つの角度測定値と、ｘ、ｙ、ｚ距離の３つの平行移動測定値が含まれる。ヨー角は方位角（リスナーに対する音の空間的な位置として使用される用語）に対応し、ピッチ（音声周波数のことではない）は仰角に対応する。ＥＯＧ処理ユニット４およびＩＭＵ５は、例えば、ヘッドセット９、イヤホン、ヘッドフォン、眼鏡などに配置されて、同じ物理ユニットに統合されてもよい。
【0031】
電極３は、一般に、人体内のイオン電流の流れを電流に変換するように構成されたトランスデューサであり、その例としては、生体電位センサ、生体電位電極および他のセンサ装置が挙げられる。電極３は、ＥＯＧ処理ユニット４やＩＭＵ５と同じ物理ユニットに統合することもできる。特に、電極はオンイヤーヘッドフォンやインイヤーヘッドフォンに内蔵されていてもよい。さらに、絆創膏のように皮膚に貼り付けられる柔らかく柔軟な材料である「電子皮膚」として知られる技術を用いて電極を提供することもできる。
【0032】
図示の実施例では、本システムは、ポータブルディスプレイ装置２に配置され、中央処理装置７に接続された第２のセンサユニット、例えば第２のＩＭＵ６をさらに含む。ＣＰＵ７は、ディスプレイ装置２の表示回路（図示せず）にも接続されている。
【0033】
ＥＯＧ処理ユニット４およびＩＭＵ５は、共に、好ましくはブルートゥース等の無線接続によってＣＰＵ７に接続されている。
【0034】
図２は、ＥＯＧ視線ベクトルを結像面１上の１点に変換するためにＣＰＵ７によって実行される様々な計算を示している。計算は、エゴセントリック、相対ワールド、およびディスプレイ座標とラベル付けされた３つの座標系に分解することができる。ここで、相対的とは、絶対的な物理的距離であるが未知の絶対位置を意味する。
【0035】
まず、ブロック１０において、ディスプレイ座標系に対する相対ワールド座標系の相対位置を記述する幾何学的関係が決定される。理想的な場合、この関係は、結像面に対して視野角がずれている場合をカバーするような完全なＸ、Ｙ、Ｚ位置記述である。あるいは、この関係は、例えば、単に距離で構成され、視野角ずれの側面を無視した、簡略化位置記述である。この較正を提供する様々な方法を以下に説明する。
【0036】
ブロック１１において、ＥＯＧ処理ユニット４は、エゴセントリック２ＤＯＦ座標において視線ベクトルを提供し、ブロック１２において、センサユニット５は、相対ワールド座標において頭部姿勢を提供する。
【0037】
ブロック１３において、ＥＯＧ視線ベクトルは、頭部姿勢および相対ワールド座標とディスプレイ座標との間の幾何学的関係と組み合わされ、ディスプレイ座標における６ＤＯＦ視線ベクトルを得る。典型的には、四元数計算が用いられ、これらはまずエゴセントリック系で結合されて、その後、相対座標およびディスプレイ座標に変換されてもよいが、その逆でもよい。
【0038】
結像面１の位置と視線ベクトルの両方が共通の座標系（ディスプレイ座標）で導出され、ブロック１４において、視線ベクトルと結像面との交点が計算される。この計算は、標準的な３Ｄ幾何学を用いて行うことができる。交点は注視点であり、これはＸ－Ｙ位置に変換することができ、物理単位で表現することができ、および／または、画素位置の単位に変換することができる。視聴者の注視点は、典型的には画素位置で表され、その後以下に説明するものを含む様々なディスプレイ関連用途におけるキー入力項目として使用され得る。
【0039】
ブロック１０における較正は、様々な方法で決定することができる。いくつかの実施形態では、ディスプレイシステム（例えば、ポータブル装置２）は、第２の相対位置センサユニット６、例えば、第２のＩＭＵを含む。センサ５および６は差分変化のみを記述するので、較正は、２つのセンサ間の同期操作を含む。これは、視聴者が頭部装着ＩＭＵ５をディスプレイＩＭＵ６に近づけて保持し、その後視聴位置に戻るように指示されることにより達成できる。
【0040】
テレビのようないくつかのディスプレイシステムの場合、ディスプレイＩＭＵ８は、視聴者からある程度離れた位置にあるテレビ上にあるが、モバイルディスプレイの場合は、一般的に手持ちの距離にある。
【0041】
プロジェクタシステムなどの一部のディスプレイシステムでは、ディスプレイＩＭＵ８はプロジェクタ上にあり、結像面１の近くにはない場合がある。しかし、結像面１の位置がディスプレイ座標において既知である限り、ディスプレイＩＭＵ８の位置は問題ではない。
【0042】
現在、ほとんどのテレビはＩＭＵを備えておらず、そのような場合には、角度的側面を無視して単にユーザから結像面の中心までの距離を検出する、より限定的な較正を採用してもよい。
【0043】
一実施形態では、リモコンを用いて距離を決定してもよい。暗号化パターン交信をリモコンからテレビに送信し、テレビシステムの内部クロックサイクルを用いて移動時間を評価することにより移動距離を決定する。この場合、（ハンドヘルド）リモコンと頭部間の距離も無視される。典型的に、この距離は結像面に対して小さい成分を有する。
【0044】
本システムに携帯電話が接続される場合、視聴者から結像面までの距離を求めるにはいくつかの選択肢がある。例えば、視聴位置からテレビの画像を取得することができる。携帯電話のカメラの焦点距離と画素の寸法および（モデル番号からわかる）テレビの画面サイズを知っていれば、携帯電話からテレビの距離は、キャプチャされた画像内のテレビのサイズから計算することができる。
【0045】
結像面までの距離を決定する他の技術としては、テレビに赤外線送信器を設けて頭部装着センサ５に対応センサを設けることや、能動的電磁コイルを含む無線位置技術が含まれる。
【0046】
より精巧な較正には、ある種の入力装置を介したディスプレイシステムとのユーザインタラクションが含まれる。入力装置は、ヘッドセットのようなユーザ装着型装置、ユーザ装着型装置に接続またはユーザ装着型装置と通信する他の入力装置、またはディスプレイシステムの入力装置とすることができる。入力装置には、タッチインターフェース、物理ボタン、音声インターフェース、または上記のいずれかの装置の（特定の態様での）点滅の感知に基づく入力が含まれる。
【0047】
一例では、ユーザはポインティングリモコン（魔法の杖とも呼ばれる、画面上の可視カーソルを制御できるリモコン）を持っている。ＥＯＧ注視点検出を行う前に、ユーザは、頭部装着センサおよびＥＯＧトランスデューサを含む装置（例えば、ヘッドホン、イヤホン、眼鏡実装）を装着するように促される。頭部装着装置とディスプレイ装置の電源がオンになると、ユーザは画面上において視線を向けている点にカーソルを向けるように促される。これは、「このメッセージを読むことができたらクリックしてください」というような問い合わせのテキストアイコンをカーソル位置に表示させるなど、間接的な方法で行うことができる。窩から数度外れただけでも文字を読むのは非常に困難であり、注視点（窩の位置）は常に読んでいる文字の位置に対応しているので、この方法は機能する。つまり、クリックの動作とカーソルテキスト位置を組み合わせると、それは注視点を示し、この基本情報から残りの計算を較正することができる。画面上の複数の点（四隅と中心など）をテストすることにより最良の較正を得ることもできるが、用途によっては１つの読字位置のように少数の読字位置としてもよい。
【0048】
説明したインタラクティブ較正は、プロジェクタディスプレイシステムにも同様に有用であることに留意されたい。
【0049】
このようなインタラクティブ較正（「オフライン」較正と呼ばれることもある）は、ディスプレイ座標における頭部装着センサ５の位置を決定するだけでなく、ＥＯＧ検出プロセスも較正する。
【0050】
ＥＯＧベースの視線検出の課題は、ドリフト（例えば、検出誤差が時間とともに変化すること）の影響を受けやすいことである。この課題を処理するためのいくつかの方法は、本明細書に援用する同時係属中の出願ＥＰ ２０１５３０５４．０に開示されている。ドリフトの問題を回避するためのこれらの方法に加えて、ある種の「オンライン」較正、すなわちシステムの使用中に較正を行うことが望ましい。オンライン較正を必要とするもう一つの理由は、平行移動運動の検出に関連付けられたドリフトである。典型的には、ユーザ装着型センサ５は、ある種の加速度センサに基づいている。位置を得るために加速度を二重積分すると、ノイズやドリフトの影響を受けるため、オンライン較正が必要になる場合がある。
【0051】
このようなオンライン較正は、経時的な注視点の統計的分析および予想されるユーザ視聴パターンの知識に基づいていてもよい。例えば、字幕付きコンテンツの場合、字幕の読字に対応する視聴パターンを統計的較正に使用することができる。例えば、注視点ヒストグラムのモーダル値は、テキストブロックの中心に揃うと予想されるので、この位置から一貫したオフセットが測定された場合、ドリフトによるものと仮定し、補正することができる。定義できる離散的関心領域（ＲＯＩ）についても同様である。結像領域自体を使用することもできる。結像領域のサイズと形状が分かっていれば、ユーザが結像領域内に視線を維持すると単に仮定するだけで較正を行うことができる。
【0052】
シミュレートされた調整ぼかしを用いた深度ベースレンダリング
深度情報を表示できるディスプレイ（例えば、立体視３Ｄ（Ｓ３Ｄ）、自動立体視３Ｄ（ＡＳ３Ｄ）など）では、（焦点距離に基づく）眼の被写界深度をシミュレートすることが重要である。従来の３Ｄ映像では、深度に関係なく（カメラベースの被写界深度効果を無視して）、視聴者がどこを注視しているかに関係なく、画像全体に焦点が合っている。しかし、自然な視覚では、眼球の調節距離（ａｃｃｏｍｍｏｄａｔｉｏｎ ｄｉｓｔａｎｃｅ）は固視点に一致する。その結果、固視点に対応する深度はシャープに知覚され、それよい近い深度や遠い深度はピントが外れ、デフォーカスの度合いは調節距離からの距離（単位はディオプター）に依存する。その結果、より自然でリアルな（そしておそらくより快適な）３Ｄディスプレイのためには、調節距離からの距離が長くなるにつれて増加するようなぼかしである、調整ぼかし効果をシミュレートすることが重要である。これを実現するには、通常とは異なり、画像内の眼の固視点を知る必要がある。しかし、本明細書で説明するＥＯＧ技術を使用すると、注視点が決定される可能性があり、その後この注視点は、例えば、Ｓ３ＤおよびＡＳ３Ｄディスプレイにおける深度ベースのレンダリングに適用され得る。
深度情報を表示できるディスプレイ（例えば、立体視３Ｄ（Ｓ３Ｄ）、自動立体視３Ｄ（ＡＳ３Ｄ）など）では、（焦点距離に基づく）眼の被写界深度をシミュレートすることが重要である。従来の３Ｄ映像では、深度に関係なく（カメラベースの被写界深度効果を無視して）、視聴者がどこを注視しているかに関係なく、画像全体に焦点が合っている。しかし、自然な視覚では、眼球の調節距離（ａｃｃｏｍｍｏｄａｔｉｏｎ ｄｉｓｔａｎｃｅ）は固視点に一致する。その結果、固視点に対応する深度はシャープに知覚され、それよい近い深度や遠い深度はピントが外れ、デフォーカスの度合いは調節距離からの距離（単位はディオプター）に依存する。その結果、より自然でリアルな（そしておそらくより快適な）３Ｄディスプレイのためには、調節距離からの距離が長くなるにつれて増加するようなぼかしである、調整ぼかし効果をシミュレートすることが重要である。これを実現するには、通常とは異なり、画像内の眼の固視点を知る必要がある。しかし、本明細書で説明するＥＯＧ技術を使用すると、注視点が決定される可能性があり、その後この注視点は、例えば、Ｓ３ＤおよびＡＳ３Ｄディスプレイにおける深度ベースのレンダリングに適用され得る。
【0053】
深度ベースの画像レンダリングのためのプロセスの例を図３に示す。このプロセスは、３Ｄ画像表現とも呼ばれる深度情報を含む画像データ３１と、ディスプレイ座標における注視点３２とを入力として受け取る。
【0054】
画像データは、ボクセル集合Ｉ（ｘ，ｙ，ｚ）であってもよいし、しばしば画像の深度マップと組み合わされる１対の２Ｄ画像（Ｌ視とＲ視）であってもよい。深度結像では、ｘは典型的には水平方向（Ｌ－Ｒ）であり、ｙは垂直方向であり、ｚは視聴者から結像対象物までの距離である。注視点は、図１および図２を参照して上述したプロセスを用いて決定することができる。
【0055】
ブロック３３において、（ディスプレイ座標における）注視点は、対応する視線画像位置ｘＧ、ｙＧおよび視線深度ｚＧ、すなわち、この画像位置における画像深度を計算するために使用される。これは、入力深度平面を介して、ボクセルインデックスｚを介して、またはＬ－Ｒステレオ対からの計算を介して達成され得る。
【0056】
次に、ブロック３４において、局所空間ぼけ関数が画像に対して計算される。この関数は、特定の画素位置の相対深度Δｚの関数として変化する点拡がり関数（ＰＳＦ）であってもよい。相対深度Δｚは、特定の画素における視線深度ｚＧと深度ｚとの間の深度差として定義される。一例では、ＰＳＦはすべての画素位置で同じ形状を持つが、幅を拡大、縮小して、ぼかしをそれぞれ多くしたり少なくしたりする。ＰＳＦの代わりに、より高度なアプローチを適用してぼけ量を決定することもできる。一実施形態では、眼の光学系の人間視覚系（ＨＶＳ）モデルが使用される。
【0057】
次に、ブロック３５において、位置変動ぼけ関数がすべての２Ｄ画素位置に適用され、それによって入力画像が相対的深度の関数としてフィルタリングされる。入力がＬ－Ｒペアである場合、両方の画像がフィルタリングされる。単一の２Ｄ＋深度マップの入力の場合、単一の２Ｄ画像がフィルタリングされる。
【0058】
入力フォーマットに基づく技法の仕様にかかわらず、結果は、視聴者の注視点に基づくシミュレートされた調整ぼかしを有する深度レンダリング画像３６である。この画像は、次に、ブロック３７において、３Ｄディスプレイの仕様、例えば、Ｌ－Ｒ画像対からなるＳ３Ｄディスプレイ、またはマルチビューを用いたＡＳ３Ｄディスプレイの仕様に合わせてレンダリングされる。
【0059】
深度ベースの画像および音声レンダリング
いくつかの用途では、深度ベースの画像は、３Ｄ音声音場（例えば、Ｄｏｌｂｙ Ａｔｍｏｓ）と組み合わされる。このような用途では、注視点は、視聴者の視線内にある１つまたは複数の対象物を識別するために使用されることがあり、視線深度（例えば、注視点の深度）は、固定深度位置を評価するために使用される。このような深度ベースの音声レンダリングのプロセスの一例も図３に示されており、ここでは、上述した深度ベースの画像と組み合わせて使用されている。
いくつかの用途では、深度ベースの画像は、３Ｄ音声音場（例えば、Ｄｏｌｂｙ Ａｔｍｏｓ）と組み合わされる。このような用途では、注視点は、視聴者の視線内にある１つまたは複数の対象物を識別するために使用されることがあり、視線深度（例えば、注視点の深度）は、固定深度位置を評価するために使用される。このような深度ベースの音声レンダリングのプロセスの一例も図３に示されており、ここでは、上述した深度ベースの画像と組み合わせて使用されている。
【0060】
それぞれが音声信号および空間レンダリングのためのメタデータからなる空間音声オブジェクトを有する音声データ４１が、ブロック３３で決定された視線画像位置ｘＧ、ｙＧおよび視線深度ｚＧとともに受信される。ブロック４２において、視線画像位置および視線深度に基づいて、現在の関心点に関連付けられた少なくとも１つの音声オブジェクトが識別される。
【0061】
ブロック４３では、識別された音声オブジェクト（注視されている音声オブジェクトを表す）を分離または強調するように、音声データ４１が処理される。例えば、会話混乱（ｄｉａｌｏｇｕｅ ｃｏｎｆｕｓｉｏｎ）の「カクテルパーティ効果」を解決するように、現在の関心点に近い音声オブジェクトを増加させてもよい。また、コンテンツ制作者の意図や視聴者、聴取者の好みに応じて、ラウドネスや周波数分布の変更など、他の種類の調整を適用することもできる。最後に、ステップ４４で、処理された音声データがレンダリングされる。
【0062】
本明細書で説明する音声オブジェクト処理は、シミュレートされた調整ぼかしと組み合わせて図示されているが、注視点に基づく音声オブジェクト処理は、単独で実装することもできることに留意されたい。
【0063】
注視点依存ズームおよびパン
より高い空間解像度のフォーマット（４Ｋ、特に８Ｋ）は、コンテンツが様々な装置で視聴される場合に問題を引き起こす。例えば８Ｋの場合、最適な視聴距離は０．８画像高であり、これは８０度以上のＦＯＶに相当する。これは一般に、非常に大きなディスプレイを必要とする。同じコンテンツを携帯電話で見る場合、ＦＯＶは１５度にまで低くなり得る。これは、画像内のすべての対象物が網膜上で比例して小さくなることを意味し、したがって対象物のすべての特徴を見ることが難しくなる。単純な例として、８Ｋディスプレイ用にレンダリングされた顔の表情は、携帯電話で見ると認識不能となり得る。
より高い空間解像度のフォーマット（４Ｋ、特に８Ｋ）は、コンテンツが様々な装置で視聴される場合に問題を引き起こす。例えば８Ｋの場合、最適な視聴距離は０．８画像高であり、これは８０度以上のＦＯＶに相当する。これは一般に、非常に大きなディスプレイを必要とする。同じコンテンツを携帯電話で見る場合、ＦＯＶは１５度にまで低くなり得る。これは、画像内のすべての対象物が網膜上で比例して小さくなることを意味し、したがって対象物のすべての特徴を見ることが難しくなる。単純な例として、８Ｋディスプレイ用にレンダリングされた顔の表情は、携帯電話で見ると認識不能となり得る。
【0064】
この問題の解決策は、関心対象（または関心領域、ＲＯＩ）にズームインすることである。このようなズームにはズーム係数と平行移動（画像オフセット）が必要である。ほとんどのズーム関数は画像の中心から行われるため、ＲＯＩがすでに画像の中心にある特殊なケースではオフセットは必要ない。しかし、対象物が画像の中央にない場合、中心ベースのズームは、関心対象物を画像の端に配置したり、あるいは完全に画面から外したりすることがある。対象物の位置に関係なく、このような調整を行うことは、動画のようにリアルタイムで実行する必要がある場合には困難である。この問題の歴史的なバージョンには「パン＆スキャン」があり、これは、より幅広画面の映画フォーマット（アスペクト比１６：９）のコンテンツを、以前は幅狭画面であったテレビフォーマット（４：３）に変換するために使われていた。パンとは、映画を動画フォーマットにスキャンする前の水平オフセットのことである。この解決策は一般的に人間のオペレータによって行なわれ、通常はズームオプションは含まれていなかった。画像コンテンツを分析することで自動的に機能する、より高度な技術は、人間による監視の無い形では広く普及はしていない。画像コンテンツやメタデータを分析するズームおよびオフセットを含む新しい自動アルゴリズムも存在するが、これらは視聴者の関心をうまく利用することはできない。例えば、ＲＯＩメタデータは存在するかもしれないが、それはコンテンツ制作者によって定義される。多くの場合、視聴者の関心は、制作者が予測したＲＯＩから逸脱する可能性がある。また、既存の技術は通常、今日のエコシステム（８０度超の映画館から５度未満のスマートウォッチまで）の幅広いディスプレイにわたるＦＯＶの変化（ひいては画像対象物のサイズ変化）を考慮していない。
【0065】
本明細書で議論されるＥＯＧベースの注視点決定を用いて、改善された視聴者決定型ズームおよびパンを提供し得る。そのようなプロセスの例を図４に示す。
【0066】
このプロセスでは、上述のように決定された現注視点５１が、注視点モニタブロック５２によって受信される。ブロック５３において、平均視線位置μｘ、μｙが、所定の持続時間ｔｗｉｎである移動（スライディング）時間窓を用いて決定される。さらに、平均視線位置の分散尺度（例えば標準偏差σ）が決定される。この分散測定は、ここでは平均視線位置の「視線半径」と呼ばれ、視聴者の焦点の度合いを示す。
【0067】
視線半径が小さいことは、視聴者がレンダリング画像のごく一部に焦点を合わせていることを示す（例えば、８Ｋワイド画面のコンテンツを携帯電話上に表示していることに起因）。人間の視覚空間帯域幅と感度は、固視点から離れると急激に低下するため、ディスプレイの残り部分に表示される画像は概ね無駄になっており、視聴者が固視している画像にズームインすることが適切であり得る。一方、視線半径が比較的大きい場合は、視聴者が画像の多くの部分を走査していることを意味し、視聴者にとってはすべてが等しく重要であり得る。このような場合、画像にズームインすることは適切でないかもしれない。
【0068】
ブロック５４において、視線半径は第１の閾値ｒｔｈと比較される。第１の閾値ｒｔｈは、視覚的注意の暗黙モデルを表し、窩（～５度）より大きく、窩周辺（～１８度）より小さい。決定された視線半径が閾値未満である場合、ブロック５５においてズーム係数が決定される。ズーム係数は、ブロック５６で時間的にローパスフィルタ処理され、概ね滑らかで気づかれないような変化を達成することができる（直接的眼球ベースのユーザインタフェースを持つ特別な用途の場合を除いて）。次に、ブロック５７において、画像データ５８がブロック５９においてレンダリングされる前に、ズーム係数が画像データ５８に適用される。画像データ５８は２Ｄ動画画像であってもよいが、図４のプロセスを３Ｄ画像データに適用することもできる。
【0069】
レンダリングは、他のフォーマット変換、カラーおよびトーン表示マッピング等を含むような通常の手段を用いて達成される。
【0070】
ブロック５４において、視線半径が閾値ｒｔｈよりも大きいと判定された場合、視聴は連続的なプロセスであるため、ズーム係数はその現在の値に維持され得る。
【0071】
図４のプロセスは、空間オフセットの調整も含む。ブロック６１において、平均視線位置と画像のエッジのいずれか１つとの最小値に等しい距離ｄｅｄｇｅ，ｍｉｎが決定される。この距離は、ブロック６２において、第２の閾値ｄｔｈｒｅｓｈｏｌｄと比較される。エッジまでの距離が閾値より小さい場合、視聴者の関心点は画像のエッジに近すぎるとみなされ、ブロック６３で（ｘとｙの）オフセットが計算され、関心点を表示画像の中心に近づける。このオフセットは、ブロック６４で時間的にローパスフィルタ処理され、コンテンツに対する滑らかで、邪魔にならない、微妙な変化を確保することができる。その後、オフセットは、画像データ５８がブロック５９でレンダリングされる前に、ズーム係数とともにブロック５７で適用される。
【0072】
ブロック６２において、エッジまでの距離が閾値より大きいと判定された場合、オフセットは以前のフレームのまま維持される。
【0073】
オフセットは少なくとも２つの目的を果たす。一つは、適用されたズーム係数によって影響されたズームが、関心領域（平均視線位置周辺の領域）を画像面の外側に出ないようにすることである。もう１つは、コンテンツの没入感を高めるために、画像の境界の視認性を制限することである。
【0074】
図４に、２種類の画像メタデータを示す。
【0075】
まず、コンテンツ制作者／提供者によって決定されるＲＯＩメタデータ６５は、視聴者の関心に合致しない画像領域を示す場合がある。ＲＯＩメタデータを通じて伝達される）製作者の意図が視聴者の瞬間的な関心よりも重要であると見なされる場合、オーバーライドオプション６６は、オフセットおよびズーム係数を置き換えるか、または、メタデータ６５によって提供されるオフセットおよびズーム係数を上述のＥＯＧプロセスから決定されるものとブレンドすることができる。
【0076】
第２に、シーンカットメタデータ６７は、ブロック５３における平均視線位置の計算をリセットするために使用され得る。これは、シーンカットでは、視聴者がそのシーンに（おそらく画像の新しい小さな局所的な領域に）方向転換するので、より大きな眼球運動が生じるからである。「シーンカット」という表現は、主にシーンが実際に変化する場合を指し、登場人物間のやり取りのように同じシーンを異なる視点から見る場合を含む「カメラカット」とは異なる。
【0077】
図４のプロセスは、ズームアウトを示していない。ズームアウトは、視線半径をまた別の半径閾値と比較することにより実装することができる。視線半径がこの閾値より大きい場合、ズーム係数を減少させることにより画像をズームアウトする（ズーム係数は１より大きいと仮定）。ズームアウトの間、すべてのコンテンツが中心に向かって押し出されるため、ズームアウト（ズーム倍率を下げる）には空間的なオフセットは必要ないことに留意されたい。その他のステップは、上述したものと同様である。
【0078】
ズームアウトの特別なケースは、シーンカットメタデータ６７によるリセットである。シーンカットでは、ズーム係数をフル画像視（ズーム係数＝１）に戻し、それによって瞬間的なズームアウトを行うことが適切である場合がある。
【0079】
一般化
本明細書において、特に指定がない限り、共通の対象物を指して用いる序数詞「第１」、「第２」、「第３」は、単に、同様の対象物の異なるインスタンスが参照されていることを示しているだけであり、そのように記述された対象物が、時間的、空間的、順位的など所定の順序でなければならないことを意図するものではない。
本明細書において、特に指定がない限り、共通の対象物を指して用いる序数詞「第１」、「第２」、「第３」は、単に、同様の対象物の異なるインスタンスが参照されていることを示しているだけであり、そのように記述された対象物が、時間的、空間的、順位的など所定の順序でなければならないことを意図するものではない。
【0080】
以下の特許請求の範囲および本明細書の説明において、「からなる」または「から構成される」という用語は、少なくとも後に続く要素／特徴を含むことを意味する包含的な用語であり、それ以外の要素／特徴を除外するものではない。したがって、特許請求の範囲で使用される場合、用語「からなる」は、その後に列挙される手段または要素もしくはステップだけに限定されると解釈されるべきではない。例えば、「ＡおよびＢからなる装置」という表現の範囲は、要素Ａおよび要素Ｂのみからなる装置に限定されるべきではない。また、本明細書で使用される「含む」という用語も、その後に続く要素／特徴を少なくとも含むことを意味する包含的用語であり、それ以外の要素／特徴を排除するものではない。従って、「含む」は、「からなる」と同義語であり、「からなる」という意味である。
【0081】
本明細書において、「例示的」という用語は、性質を表す用語ではなく、例を示すという意味で使用されている。すなわち、「例示的実施形態」とは、必ずしも例示的性質を有する実施形態という意味ではなく、一例として挙げられた実施形態という意味である。
【0082】
本発明の例示的な実施形態に関する上記の説明において、本発明の様々な特徴が、開示内容を合理化し、様々な発明の態様の１つまたは複数の理解を助ける目的で、単一の実施形態、図面またはその説明にまとめられていることがあることを理解されたい。しかし、この開示方法は、請求項に記載の発明が、各請求項に明示的に記載されている以上の特徴を必要とするという意図を反映していると解釈されるべきものではない。むしろ、以下の特許請求の範囲が反映しているように、発明の態様は、上記に開示された１つの実施形態のすべての特徴よりも少ない特徴にある。したがって、詳細な説明に続く特許請求の範囲は、詳細な説明に明示的に組み込まれ、各請求項は本発明の個別実施形態として自立している。
【0083】
さらに、本明細書に記載されるいくつかの実施形態は、他の実施形態に含まれるいくつかの特徴を含み、その他の特徴を含まない場合もあるが、当業者には理解されるように、異なる実施形態の各特徴の組み合わせは本発明の範囲内であり、別の実施形態を形成することを意味する。例えば、以下の特許請求の範囲において、請求項に記載された実施形態のいずれも任意の組み合わせで使用することができる。
【0084】
さらに、実施形態のいくつかは、本明細書において、コンピュータシステムのプロセッサによって、または機能を実行する他の手段によって実装することができる方法または方法要素の組み合わせとして記載される。したがって、このような方法または方法要素を実施するために必要な命令を有するプロセッサは、方法または方法要素を実施するための手段を形成する。さらに、本明細書に記載された装置実施形態の要素は、本発明を実施する目的で同要素によって実行される機能を実現するための手段の一例である。
【0085】
本明細書で提供される説明において、多数の具体的な詳細事項が記載される。しかし、本発明の実施形態は、これらの具体的な詳細事項が無くても実施され得ることが理解される。本明細書の理解を難しくしないように、他の例では、周知の方法、周知の構造および周知の技術は詳細に記載されていない。
【0086】
本発明の特定の実施形態を記載したが、当業者であれば、本発明の精神から逸脱することなくさらなる改変を行うことが可能であると認識するであろう。本発明の範囲内であるそのような変更および改変の全てを特許請求することが意図されている。例えば、上記で示した式は、単に、使用可能な手順の代表例に過ぎない。ブロック図に機能を追加したり削除したり、機能ブロック間で動作を入れ替えたりすることも可能である。本発明の範囲内で記載した方法にステップを追加したり削除したりすることも可能である。
【0087】
以下に列挙する実施形態例（ＥＥＥ）から本発明の様々な態様を理解することができる。
【0088】
ＥＥＥ１．ユーザの耳に近接して配置された一組の電極から一組の電圧信号を取得することと、
前記一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定することと、
前記ユーザが装着するセンサ装置を用いて、ディスプレイ座標における前記ユーザの頭部姿勢を決定することと、
前記ＥＯＧ視線ベクトルと頭部姿勢を組み合わせて、ディスプレイ座標における視線ベクトルを得ることと、
前記視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定することと、を含む、方法。
前記一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定することと、
前記ユーザが装着するセンサ装置を用いて、ディスプレイ座標における前記ユーザの頭部姿勢を決定することと、
前記ＥＯＧ視線ベクトルと頭部姿勢を組み合わせて、ディスプレイ座標における視線ベクトルを得ることと、
前記視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定することと、を含む、方法。
【0089】
ＥＥＥ２．ディスプレイ座標における前記センサ装置の位置を得るために、前記センサ装置を較正すること、をさらに含む、ＥＥＥ１に記載の方法。
【0090】
ＥＥＥ３．前記較正は、
前記結像面上にグラフィック要素を表示することと、
前記ユーザが前記グラフィカル要素に対応する前記結像面上の位置を見ていることを確認するユーザ入力を受け取ることと、を含む、ＥＥＥ２に記載の方法。
前記結像面上にグラフィック要素を表示することと、
前記ユーザが前記グラフィカル要素に対応する前記結像面上の位置を見ていることを確認するユーザ入力を受け取ることと、を含む、ＥＥＥ２に記載の方法。
【0091】
ＥＥＥ４．前記ユーザ装着型センサ装置が、前記結像面を含むディスプレイシステムの少なくとも一部に対して固定的に配置された第２のセンサ装置と同期される、ＥＥＥ２に記載の方法。
【0092】
ＥＥＥ５．前記較正は、前記ユーザと前記結像面との間の距離を決定することを含む、ＥＥＥ２に記載の方法。
【0093】
ＥＥＥ６．前記距離は、前記ディスプレイシステム内の１つまたは複数のセンサを用いて決定される、ＥＥＥ５に記載の方法。
【0094】
ＥＥＥ７．経時的な前記注視点の統計分析および予想されるユーザ視聴パターンの知識を含む、オンライン統計較正をさらに含む、前記ＥＥＥのいずれかに記載の方法。
【0095】
ＥＥＥ８．前記エゴセントリック座標は１自由度のみを含む、前記ＥＥＥのいずれかに記載の方法。
【0096】
ＥＥＥ９．前記ディスプレイ座標は２自由度のみを含む、前記ＥＥＥのいずれかに記載の方法。
【0097】
ＥＥＥ１０．前記ディスプレイ座標が６自由度を含む、前記ＥＥＥのいずれかに記載の方法。
【0098】
ＥＥＥ１１．結像面上に表示するための深度情報を含む画像データを処理する方法であって、
前記ＥＥＥのいずれかに記載の方法を用いて、前記結像面上の注視点を決定することと、
前記注視点に関連付けられた深度情報に少なくとも部分的に基づいて、視線深度を決定することと、
前記画像データの第１の部分に関連付けられた相対深度を、前記画像データの前記第１の部分に関連付けられた深度情報と前記視線深度との差として計算することと、
前記画像データの前記第１の部分に関連付けられた相対深度の関数に従って、前記画像データの前記第１の部分に関連付けられた画素データを修正することにより修正画像データを生成することと、を含む、方法。
前記ＥＥＥのいずれかに記載の方法を用いて、前記結像面上の注視点を決定することと、
前記注視点に関連付けられた深度情報に少なくとも部分的に基づいて、視線深度を決定することと、
前記画像データの第１の部分に関連付けられた相対深度を、前記画像データの前記第１の部分に関連付けられた深度情報と前記視線深度との差として計算することと、
前記画像データの前記第１の部分に関連付けられた相対深度の関数に従って、前記画像データの前記第１の部分に関連付けられた画素データを修正することにより修正画像データを生成することと、を含む、方法。
【0099】
ＥＥＥ１２．前記画素データの修正は、前記画素データの色相、明度、ガンマおよびコントラストのうちの１つ以上を変更することを含む、ＥＥＥ１１に記載の方法。
【0100】
ＥＥＥ１３．前記画素データの修正は、前記画素データのシャープネス、ぼかしまたは空間フィルタリングのうちの１つ以上を変更することを含む、ＥＥＥ１１に記載の方法。
【0101】
ＥＥＥ１４．結像面上に表示するための深度情報を含む画像データに関連付けられた音声オブジェクトを処理する方法であって、
ＥＥＥ１～１０のいずれかに記載の方法を用いて、前記結像面上の注視点を決定することと、
前記注視点に関連付けられた深度情報に少なくとも部分的に基づいて、視線深度を決定することと、
前記注視点および前記視線深度に少なくとも部分的に基づいて、現在の関心点に関連付けられた少なくとも１つの音声オブジェクトを識別することと、
前記識別された音声オブジェクトが他の音声オブジェクトとは異なる修正をされるように音声オブジェクトを修正することと、を含む、方法。
ＥＥＥ１～１０のいずれかに記載の方法を用いて、前記結像面上の注視点を決定することと、
前記注視点に関連付けられた深度情報に少なくとも部分的に基づいて、視線深度を決定することと、
前記注視点および前記視線深度に少なくとも部分的に基づいて、現在の関心点に関連付けられた少なくとも１つの音声オブジェクトを識別することと、
前記識別された音声オブジェクトが他の音声オブジェクトとは異なる修正をされるように音声オブジェクトを修正することと、を含む、方法。
【0102】
ＥＥＥ１５．前記識別された音声オブジェクトを修正することは、前記識別された音声オブジェクトの音量、ラウドネスおよび周波数分布のうちの１つを変更することを含む、ＥＥＥ１３に記載の方法。
【0103】
ＥＥＥ１６．前記現在の関心点が前記注視点の関数として決定される、ＥＥＥ１３または１４に記載の方法。
【0104】
ＥＥＥ１７．結像面上に表示するための画像データを処理する方法であって、
ＥＥＥ１～１０のいずれかに記載の方法を用いて決定される前記結像面上の注視点を経時的にモニタすることと、
平均視線位置と視線半径を決定することと、
前記視線半径を半径閾値と比較することと、
前記視線半径が前記半径閾値より小さいという判定に従って、前記画像データにズームを適用することと、を含む、方法。
ＥＥＥ１～１０のいずれかに記載の方法を用いて決定される前記結像面上の注視点を経時的にモニタすることと、
平均視線位置と視線半径を決定することと、
前記視線半径を半径閾値と比較することと、
前記視線半径が前記半径閾値より小さいという判定に従って、前記画像データにズームを適用することと、を含む、方法。
【0105】
ＥＥＥ１８．前記画像データに適用する前に前記ズームをローパスフィルタリングすることをさらに含む、ＥＥＥ１７に記載の方法。
【0106】
ＥＥＥ１９．平均視線位置と結像面の１つ以上のエッジとの間の最小距離を決定することと、
前記最小距離を距離閾値と比較することと、
前記最小距離が前記距離閾値未満であるとの判定に従って、前記画像データにオフセットを適用して前記最小距離を大きくすることと、をさらに含む、ＥＥＥ１７または１８に記載の方法。
前記最小距離を距離閾値と比較することと、
前記最小距離が前記距離閾値未満であるとの判定に従って、前記画像データにオフセットを適用して前記最小距離を大きくすることと、をさらに含む、ＥＥＥ１７または１８に記載の方法。
【0107】
ＥＥＥ２０．前記画像データに適用する前に前記オフセットをローパスフィルタリングすることをさらに含む、ＥＥＥ１９に記載の方法。
【0108】
ＥＥＥ２１．前記視線半径は、前記平均視線位置の周りの標準偏差に基づくことを特徴とする、ＥＥＥ１７に記載の方法。
【0109】
ＥＥＥ２２．前記平均視線位置および前記視線半径は、所定の時間窓中の注視点変動に基づいて決定されることを特徴とする、ＥＥＥ１７に記載の方法。
【0110】
ＥＥＥ２３．ユーザの耳に近接して配置され、一組の電圧信号を取得するように構成された一組の電極と、
前記一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定するＥＯＧ処理ユニットと、
ディスプレイ座標におけるユーザの頭部姿勢を決定するユーザ装着型センサ装置と、
処理ユニットであって、
前記ＥＯＧ視線ベクトルと頭部姿勢を結合して、ディスプレイ座標における視線ベクトルを得て、
前記視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定する、
ように構成された処理ユニットと、を含む、システム。
前記一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定するＥＯＧ処理ユニットと、
ディスプレイ座標におけるユーザの頭部姿勢を決定するユーザ装着型センサ装置と、
処理ユニットであって、
前記ＥＯＧ視線ベクトルと頭部姿勢を結合して、ディスプレイ座標における視線ベクトルを得て、
前記視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定する、
ように構成された処理ユニットと、を含む、システム。
【0111】
ＥＥＥ２４．コンピュータプロセッサ上で実行されたときにＥＥＥ１～２２のいずれかに記載のステップを実行するように構成されたコンピュータプログラムコードを記憶する非一時的コンピュータ可読媒体。
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2024-03-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザの耳に近接して配置された一組の電極から一組の電圧信号を取得することと、前記一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定することと、
前記ユーザが装着するセンサ装置を用いて、ディスプレイ座標におけるユーザの頭部姿勢を決定することと、
前記ＥＯＧ視線ベクトルと前記頭部姿勢を組み合わせて、ディスプレイ座標における視線ベクトルを得ることと、
前記視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定することと、を含む、方法。
【請求項2】
ディスプレイ座標における前記センサ装置の位置を得るために、前記センサ装置を較正すること、をさらに含む、請求項１に記載の方法。
【請求項3】
前記較正は、前記結像面上にグラフィック要素を表示することと、
前記ユーザが前記グラフィカル要素に対応する前記結像面上の位置を見ていることを確認するユーザ入力を受け取ることと、を含む、請求項２に記載の方法。
【請求項4】
前記ユーザ装着型センサ装置が、前記結像面を含むディスプレイシステムの少なくとも一部に対して固定的に配置された第２のセンサ装置と同期される、請求項２に記載の方法。
【請求項5】
前記較正は、前記ユーザと前記結像面との間の距離を、前記ディスプレイシステム内の１つまたは複数のセンサを任意に用いて、決定することを含む、請求項２に記載の方法。
【請求項6】
経時的な前記注視点の統計分析および予想されるユーザ視聴パターンの知識を含む、オンライン統計較正をさらに含む、請求項１から５のいずれかに記載の方法。
【請求項7】
結像面上に表示するための深度情報を含む画像データを処理する方法であって、請求項１から５のいずれかに記載の方法を用いて、前記結像面上の注視点を決定することと、
前記注視点に関連付けられた深度情報に少なくとも部分的に基づいて、視線深度を決定することと、
前記画像データの第１の部分に関連付けられた相対深度を、前記画像データの前記第１の部分に関連付けられた深度情報と前記視線深度との差として計算することと、
前記画像データの前記第１の部分に関連付けられた前記相対深度の関数に従って、前記画像データの前記第１の部分に関連付けられた画素データを修正することにより修正画像データを生成することと、を含む、方法。
【請求項8】
前記画素データを修正することは、前記画素データの色相、明度、ガンマ、コントラスト、シャープネス、ぼかしまたは空間フィルタリングのうちの１つ以上を変更することを含む、請求項７に記載の方法。
【請求項9】
結像面上に表示するための深度情報を含む画像データに関連付けられた音声オブジェクトを処理する方法であって、請求項１から５のいずれかに記載の方法を用いて、前記結像面上の注視点を決定することと、
前記注視点に関連付けられた深度情報に少なくとも部分的に基づいて、視線深度を決定することと、
前記注視点および前記視線深度に少なくとも部分的に基づいて、現在の関心点に関連付けられた少なくとも１つの音声オブジェクトを識別することと、
前記識別された音声オブジェクトが他の音声オブジェクトとは異なる修正をされるように前記音声オブジェクトを修正することと、を含む、方法。
【請求項10】
識別された前記音声オブジェクトを修正することは、識別された前記音声オブジェクトの音量、ラウドネスおよび周波数分布のうちの１つを変更することを含む、請求項９に記載の方法。
【請求項11】
結像面上に表示するための画像データを処理する方法であって、請求項１から５のいずれかに記載の方法を用いて決定される前記結像面上の注視点を経時的にモニタすることと、
平均視線位置と視線半径を決定することと、
前記視線半径を半径閾値と比較することと、
前記視線半径が前記半径閾値より小さいという判定に従って、前記画像データにズームを適用することと、を含む、方法。
【請求項12】
前記平均視線位置と前記結像面の１つ以上のエッジとの間の最小距離を決定することと、前記最小距離を距離閾値と比較することと、
前記最小距離が前記距離閾値未満であるとの判定に従って、前記画像データにオフセットを適用して前記最小距離を大きくすることと、をさらに含む、請求項１１に記載の方法。
【請求項13】
前記画像データに適用する前に前記オフセットおよび／または前記ズームをローパスフィルタリングすることを更に含む、請求項１１に記載の方法。
【請求項14】
ユーザの耳に近接して配置され、一組の電圧信号を取得するように構成された一組の電極と、前記一組の電圧信号に基づいて、エゴセントリック座標におけるＥＯＧ視線ベクトルを決定するＥＯＧ処理ユニットと、
ディスプレイ座標における前記ユーザの頭部姿勢を決定するユーザ装着型センサ装置と、
前記ＥＯＧ視線ベクトルと頭部姿勢を結合して、ディスプレイ座標における視線ベクトルを得て、
前記視線ベクトルとディスプレイ座標において既知の位置を有する結像面との交点を計算することにより注視点を決定する、
ように構成された処理ユニットと、を含む、システム。
【請求項15】
コンピュータプロセッサ上で実行されたときに請求項１から５のいずれかに記載の方法を実行するように構成されたコンピュータプログラム。
【国際調査報告】