(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-18
(54)【発明の名称】スマートグラスや頭部ウェアラブル端末に適用可能な鼻パッド視線追跡モジュール
(51)【国際特許分類】
G02C 11/00 20060101AFI20240910BHJP
G02C 1/00 20060101ALI20240910BHJP
G02C 5/12 20060101ALI20240910BHJP
【FI】
G02C11/00
G02C1/00
G02C5/12
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024514579
(86)(22)【出願日】2022-09-09
(85)【翻訳文提出日】2024-03-21
(86)【国際出願番号】 EP2022075073
(87)【国際公開番号】W WO2023036913
(87)【国際公開日】2023-03-16
(31)【優先権主張番号】PCT/EP2021/074787
(32)【優先日】2021-09-09
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】521196811
【氏名又は名称】ヴューポイントシステム ゲー・エム・ベー・ハー
【氏名又は名称原語表記】viewpointsystem gmbh
【住所又は居所原語表記】Franz-Josefs-Kai 47/3. OG, 1010 Wien, Austria
(74)【代理人】
【識別番号】100190414
【氏名又は名称】芹澤 友之
(72)【発明者】
【氏名】フォークト、ヨハネス
(72)【発明者】
【氏名】フランダー、プリモズ
(72)【発明者】
【氏名】リンセンマイヤー、フランク
(72)【発明者】
【氏名】ベルガー、ニルス
【テーマコード(参考)】
2H006
【Fターム(参考)】
2H006AB01
2H006AB03
2H006CA04
(57)【要約】
本発明は、公知の拡張現実/仮想現実グラス、一般的には視覚遠隔ガイド装置に適用可能な鼻パッド視線追跡モジュールに関する。鼻バッド視線追跡モジュールは、いかなる種類のコネクタも使用することなく、視覚遠隔ガイド装置の鼻パッド部分を構成する。本発明はさらに、鼻パッドの視線追跡モジュールを前記種類の装置に固定するための方法に関する。
【特許請求の範囲】
【請求項1】
スマートグラス/頭部ウェアラブル端末(8)に固定および/または固定解除されるように構成されることで、視線追跡装置を構成する鼻パッド視線追跡モジュール(1)であって、
前記視線追跡モジュール(1)は、2つのアーム(100)を含むU字形部(110)を有する第一部分フレーム(11)を備えた第一部分(10)を備え、
前記2つのアーム(100)は、使用時に装着者の鼻に適合可能であり、
前記第一部分フレーム(11)は、少なくとも1つの左視線センサ(3)と少なくとも1つの右視線センサ(4)を収容し、
前記視線センサ(3、4)は、使用時にユーザの複数の瞳孔位置画像を検出するように前記アーム(100)に配置され、
前記視線追跡モジュール(1)は、機械的インターフェース(7)を含む第二部分フレーム(13)を備えた第二部分(12)をさらに備え、
前記機械的インターフェース(7)は、前記モジュール(1)を前記スマートグラス/頭部ウェアラブル端末(8)に接続するように構成され、
前記視線追跡モジュール(1)は、電子部品、即ち、少なくともデータ処理ユニットと、メモリと、データインターフェースとをさらに備え、
前記電子部品は、前記モジュールをコンピュータ装置に接続すると共に、使用時に、前記鼻パッド視線追跡モジュール(1)が固定された前記スマートグラス(8)を装着しているユーザの眼球運動情報を前記コンピュータ装置に送信するように構成され、
前記モジュール(1)は、前記スマートグラス(8)に機械的及び電子的に固定されると直ぐに使用できる完成品であり、
前記第一部分(10)は、2つのアーム(100)を備え、
当該2つのアーム(100)は、前記モジュールが前記スマートグラス/頭部ウェアラブル端末(8)に固定されたときに異なる鼻の形にカスタマイズ可能に構成された鼻パッドとして設計され、
前記機械的インターフェース(7)は、前記第二部分フレーム(13)の上部に配置されると共に、対応する下向きの機械的、電気的、及び電子的なインターフェースに接続可能な所定の電気的及び電子的インターフェースを備え、
前記機械的、電気的、及び電子的なインターフェースは、前記スマートグラス/頭部ウェアラブル端末(8)の中央部分(88)または前記中央部分(88)の更なる延長部に配置可能であることから、前記スマートグラス/頭部ウェアラブル端末(8)にボトムアップ接続可能に構成された前記モジュール(1)を構成する、
鼻パッド視線追跡モジュール(1)。
【請求項2】
前記第二部分フレーム(13)は、前記スマートグラス/頭部ウェアラブル端末(8)の中央部分(88)の対応する下方部分形状又は前記中央部分(88)における更なる延長部の対応する下方部分形状に接続可能な特定の上方部分形状を備えることで、前記モジュール(1)は、前記スマートグラス/頭部ウェアラブル端末(8)にボトムアップ接続可能に構成される、
請求項1に記載のモジュール(1)。
【請求項3】
前記機械的インターフェース(7)は、前記鼻パッド視線追跡モジュール(1)に含まれるPCBの終端部(70)を備え、
前記終端部(70)は、前記機械的インターフェース(7)としてさらに機能するように構成されると共に、前記スマートグラス/頭部ウェアラブル端末(8)に含まれるPCBの終端部(880)に接続されるのに適している、
請求項1または2に記載のモジュール(1)。
【請求項4】
前記終端部(70)は、2つの平行要素(700)を備え、
当該2つの平行要素(700)は、PCBの一部を形成する絶縁材料によって作られて、互いに間隔をあけて配置されることで、適切な座部(704)を形成し、
前記座部(704)は、前記スマートグラス/頭部ウェアラブル端末(8)に含まれるPCBの対応する終端部(880)を収容するのに適しており、
前記平行要素(700)は、前記座部(704)に面する適切な数の導電トレース(770)を支持する、
請求項3に記載のモジュール(1)。
【請求項5】
前記終端部(70)は、長手方向開口部(706)を有する2つの平行要素(700)を備え、
前記長手方向開口部(706)は、少なくとも2組の導電トレース(770)の分離を可能にすると共に、前記スマートグラス/頭部ウェアラブル端末(8)の終端部(880)上の対応する一致した位置に配置されたガイド(886)の挿入を可能にする、
請求項4に記載のモジュール(1)。
【請求項6】
前記座部(704)の長手方向断面は、前記終端部(70)と前記終端部(880)との間にスナップフィット接続を提供するように形成され、
前記座部(704)は、前記終端部(70)と前記終端部(880)とが一緒に接続されたときに、前記終端部(880)の最小長手方向断面に対応する最大長手方向断面幅を有する一方で、前記終端部(880)の最大長手方向断面幅に対応する最小長手方向断面幅を有する、
請求項4に記載のモジュール(1)。
【請求項7】
前記座部(704)は、各々がスロット(708)を備えた2つの他の側面(707)によって横方向に囲まれ、
前記スロット(708)は、対応する保持リップ(890)と係合するのに適しており、
前記保持リップ(890)は、前記スマートグラス/頭部ウェアラブル端末(8)の終端部(880)の対向する側面の適合する一致した位置に配置し得る、
請求項4に記載のモジュール(1)。
【請求項8】
前記座部(704)は、各々がスロット(908)を備えた2つの他の側面(907)によって横方向に囲まれ、
前記スロット(908)は、対応する保持リップ(890)と係合するのに適しており、
前記保持リップ(890)は、前記スマートグラス/頭部ウェアラブル端末(8)の終端部(880)の対向する側面の適合する一致した位置に設けられ、
前記2つの他の側面(907)は、前記終端部(70)を取り囲み、前記2つの平行要素(700)を囲む第二部分フレーム(13)の一部である、
請求項4に記載のモジュール(1)。
【請求項9】
前記導電トレース(770)は、前記終端部(70)の最上部側に配置され、
前記導電トレース(770)は、前記スマートグラス/頭部ウェアラブル端末(8)に含まれる前記PCBの前記終端部(880)の最上部側の対応する導電トレース(882)と一致し得る、
請求項3に記載のモジュール(1)。
【請求項10】
磁石(5)をさらに備え、
前記磁石(5)は、前記終端部(70)を結合するように設計され、使用時において前記終端部(80)上に配置可能な対応する磁石(890)を引き付け得る、
請求項9に記載のモジュール(1)。
【請求項11】
前記終端部(70)は、側方係合ノッチ(703)を備え、
前記側方係合ノッチ(703)は、適切な保持リップ(883)に係合するように構成され、
前記保持リップ(883)は、使用時に、前記終端部(880)の2つの側方突出アームに配置し得る、
請求項9に記載のモジュール(1)。
【請求項12】
前記機械的インターフェース(7)は、
ガイド、
少なくとも2つの保持リップ、
2つの導電トレースを分割する長手方向開口部、
各導電トレースを互いに分割する複数の長手方向開口部、
対応する相手側終端部に設計された対応する側方係合ノッチにしっかりと係合するように設計された保持リップを有する2つの側方突出アーム、または
前記対応する相手側終端部に設計された対応する境界シートに一致するように構成された第二部分フレーム上の特定の突出部、
を備える、
請求項1又は2に記載のモジュール(1)。
【請求項13】
前記モジュール(1)は、少なくとも1つの視野カメラを備える、
請求項1から12のうちいずれか一項に記載のモジュール(1)。
【請求項14】
鼻パッド視線追跡モジュール(1)をスマートグラス/頭部ウェアラブル端末(8)に固定するための方法であって、
前記鼻パッド視線追跡モジュール(1)は、鼻パッドが設けられていないスマートグラス/頭部ウェアラブル端末(8)に固定および/または固定解除されるように構成されることで、視線追跡装置を構成し、
前記視線追跡モジュール(1)は、2つのアーム(100)を含むU字形部(110)を有する第一部分フレーム(11)を備えた第一部分(10)を備え、
前記2つのアーム(100)は、使用時に装着者の鼻骨に適合可能であり、
前記第一部分フレーム(11)は、少なくとも1つの左視線センサ(3)および少なくとも1つの右視線センサ(4)を収容し、
前記視線センサ(3、4)は、使用時にユーザの複数の瞳孔位置画像を検出するように前記アーム(100)に配置され、
前記視線追跡モジュール(1)は、機械的インターフェース(7)を含む第二部分フレーム(13)を備えた第二部分(12)をさらに備え、
前記機械的インターフェース(7)は、前記モジュール(1)を前記スマートグラス/頭部ウェアラブル端末(8)に接続するように構成され、
前記視線追跡モジュール(1)は、電子部品、即ち、少なくともデータ処理ユニットと、メモリと、データインターフェースとをさらに備え、
前記電子部品は、前記モジュールをコンピュータ装置に接続するとともに、使用時に、前記鼻パッド視線追跡モジュール(1)が固定された前記スマートグラス(8)を装着しているユーザの眼球運動情報を前記コンピュータ装置に送信するように構成され、
前記モジュール(1)は、前記スマートグラス(8)に機械的に固定されると直ぐに使用できる完成品であり、
前記第一部分(10)は、2つのアーム(100)を備え、
前記2つのアーム(100)は、前記モジュールが前記スマートグラス/頭部ウェアラブル端末(8)に固定されたときに異なる鼻の形にカスタマイズ可能に構成された鼻パッドとして設計され、
前記機械的インターフェース(7)は、前記第二部分フレーム(13)の上部に配置されると共に、対応する下向きの機械的、電気的、及び電子的なインターフェースに接続可能な所定の電気的及び電子的インターフェースを備え、
前記機械的、電気的、及び電子的なインターフェースは、前記スマートグラス/頭部ウェアラブル端末(8)の中央部分(88)または前記中央部分(88)の更なる延長部に配置可能であることから、前記スマートグラス/頭部ウェアラブル端末(8)にボトムアップ接続可能に構成された前記モジュール(1)を構成し、
前記方法は、
前記鼻パッド視線追跡モジュール(1)を提供するステップと、
前記スマートグラス/頭部ウェアラブル端末(8)を提供するステップと、
前記スマートグラス/頭部ウェアラブル端末(8)の中央部分(88)において前記鼻パッド視線追跡モジュール(1)を前記スマートグラス/頭部ウェアラブル端末(8)にボトムアップにより固定および接続することで、前記スマートグラス/頭部ウェアラブル端末(8)と一体構造を形成するステップと、
を含む、方法。
【請求項15】
スマートグラス/頭部ウェアラブル端末(8)と、鼻パッド視線追跡モジュール(1)と、を備える視線追跡装置であって、
前記鼻パッド視線追跡モジュール(1)は、鼻パッドを有さないスマートグラス/頭部ウェアラブル端末(8)に固定および/または固定解除されるように構成されることで、前記視線追跡装置を構成し、
前記視線追跡モジュール(1)は、2つのアーム(100)を含むU字形部(110)を有する第一部分フレーム(11)を備えた第一部分(10)を備え、
前記2つのアーム(100)は、使用時に装着者の鼻骨に適合可能であり、
前記第一部分フレーム(11)は、少なくとも1つの左視線センサ(3)および少なくとも1つの右視線センサ(4)を収容し、
前記視線センサ(3、4)は、使用時にユーザの複数の瞳孔位置画像を検出するように前記アーム(100)に配置され、
前記視線追跡モジュール(1)は、機械的インターフェース(7)を含む第二部分フレーム(13)を備えた第二部分(12)をさらに備え、
前記機械的インターフェース(7)は、前記モジュール(1)を前記スマートグラス/頭部ウェアラブル端末(8)に接続するように構成され、
前記視線追跡モジュール(1)は、電子部品、即ち、少なくともデータ処理ユニットと、メモリと、データインターフェースとをさらに備え、
前記電子部品は、前記モジュールをコンピュータ装置に接続すると共に、使用時に、前記鼻パッド視線追跡モジュール(1)が固定された前記スマートグラス(8)を装着しているユーザの眼球運動情報を前記コンピュータ装置に送信するように構成され、
前記モジュール(1)は、前記スマートグラス(8)に機械的に固定されると直ぐに使用できる完成品であり、
前記第一部分(10)は、2つのアーム(100)を備え、
前記2つのアーム(100)は、前記モジュールが前記スマートグラス/頭部ウェアラブル端末(8)に固定されたときに異なる鼻の形にカスタマイズ可能に構成された鼻パッドとして設計され、
前記機械的インターフェース(7)は、前記第二部分フレーム(13)の上部に配置されると共に、対応する下向きの機械的、電気的、及び電子的なインターフェースに接続可能な所定の電気的及び電子的インターフェースを備え、
前記機械的、電気的、及び電子的なインターフェースは、前記スマートグラス/頭部ウェアラブル端末(8)の中央部分(88)または前記中央部分(88)の更なる延長部に配置可能であることから、前記スマートグラス/頭部ウェアラブル端末(8)にボトムアップ接続可能に構成された前記モジュール(1)を構成する、
視線追跡装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般的に拡張現実技術(拡張現実、仮想現実、複合現実、AR、VR、MR)を実装するスマートグラス/頭部ウェアラブル端末に適用可能な鼻パッド視線追跡モジュールを開示する。本発明はさらに、当該モジュールをスマートグラス/頭部ウェアラブル端末に固定する方法と、鼻パッド視線追跡モジュールを備えたスマートグラス/頭部ウェアラブル端末を有する視線追跡装置に対応するものである。
【背景技術】
【0002】
視線追跡装置、特にグラスは、通常、グラスをかけた人の眼に向けられるカメラを備える。このようなカメラは、空間における瞳孔の座標を確認するために、ユーザの瞳孔を検出することができる。視線追跡装置は、ユーザの前方状況を取得できるフロントカメラを更に備えている。この場合、当該装置は、インターネットライブストリーミングを介して遠隔接続された第二のユーザに対して、対応するディスプレイコンピュータ装置に表示可能なユーザの視線方向を決定することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2016/0206196号明細書
【特許文献2】国際公開第2021/164867号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1は、グラスの鼻フレームに配置された2つの視線カメラと、グラスの中央に配置され、ユーザの正面風景を映し出す視野カメラとを備えた視線追跡グラスを開示している。
【0005】
視野カメラは、個々の連続した視野画像を含む視野映像を記録するために設けられている。2つの視線取得カメラと少なくとも1つの視野カメラの記録は、それぞれの注視点の視野映像に相関して入力されうる。
【0006】
残念なことに、この先行技術文献には、通常のグラスと同様のフレームを持つ視線追跡グラスが開示されている。さらに、拡張現実/仮想現実/複合現実グラスは、装置をユーザの鼻に安定的に配置し支持させるために、鼻フレームを構成する要素を備えた水平上部を含む、非常に最小限のグラスフレームを備えていることが知られている。
【0007】
特許文献2は、スマートグラスやゴーグルに適用可能な視線追跡モジュールと、当該モジュールを搭載した頭部ウェアラブル端末を開示している。本文献では、特にフロントカメラアセンブリを用いて、装着者側(
図2A、2B、5A、5B、5C参照)から頭部ウェアラブル端末に当該モジュールを接続することに焦点を当てている。この種の接続は、ユーザの鼻とヘッドマウントフレームとの間に残されたスペースが小さくなることに関連した潜在的な欠点がある。頭部ウェアラブル端末の製造者は、ユーザの顔から装置を離すことを余儀なくされる。このため、ユーザの頭部に装着されていても、その重量と寸法により、ユーザの鼻の上で頻繁に滑る可能性のある快適ではない装置となってしまう。また、本文献では、装着者に背を向ける側から当該モジュールを頭部ウェアラブル端末に接続する別の種類の接続についても記載されている(
図4A、4B参照)。しかしながら、このタイプの接続にも、前述したものと同じ問題がある。さらに、ユーザの目からの当該モジュールの距離が長くなるため、視線センサとの干渉がさらに発生する可能性がある。
【0008】
本文献ではさらに、段落62において「代わりに、電気コネクタをモジュールの上面に配置してもよい」旨が一般的に言及されているだけであり、この種類の接続に関する具体的な実施形態について詳しく記載されていない。特に、当該文献では、当該モジュールが頭部ウェアラブル端末に接続されたときに、偶発的または不本意な接続の解除、あるいは不適切な接続による信号損失を避けるために、電子コネクタの可能な位置が記載されているだけで、当該モジュールを頭部ウェアラブル端末の所定の位置に安定的に接続できる機械的インターフェースについては記載されていない。
【0009】
本発明の第1の側面によれば、本発明の1つの目的は、完成品である視線追跡モジュールであって、拡張現実グラス、仮想現実グラス、複合現実グラスのようなスマートグラスに機械的に接続されるとすぐに使用できる視線追跡モジュールであって、頭部ウェアラブル端末に接続されると当該モジュールのスペース的な影響を最小限に抑えることができる視線追跡モジュールを提供することである。
【0010】
本発明の第2の目的は、コネクタのない視線追跡モジュールであって、当該モジュールの寸法をさらに最小化することが可能な視線追跡モジュールを提供することである。
【0011】
本発明の第3の目的は、例えばアジア人とヨーロッパ人のような異なる民族に典型的な身体的特徴の違いに即座に適合且つカスタマイズ可能なAR、VR,MRグラスを作る可能性を与えることであり、異なる特定のスマートグラスのモデルを作る必要性を回避することである。
【0012】
本発明の第4の目的は、ユーザが自身のスマートグラス/頭部ウェアラブル端末から視線追跡モジュールを簡単に固定又は固定解除できる可能性を与えることである。
【0013】
本発明の第5の目的は、異なるスマートグラスのフレームに容易に適合でき、洗浄が容易で、同時にスマートグラスに確実に取り付け可能な視線追跡モジュールを提供することである。
【0014】
本発明のさらなる目的は、スマートグラスに一旦固定されると、ユーザの鼻に接触せず及び/又はユーザの視野に接触しない視線追跡モジュールであって、ユーザの鼻と干渉しないことを可能とする視線追跡モジュールを提供することである。
【0015】
本発明のさらなる目的は、非常に軽量でコンパクトであり、寸法が小さく、ユーザにとって快適であることを特徴とする視線追跡モジュールを提供することである。
【0016】
本発明のもう一つの目的は、信頼性が高く、ユーザが使用しやすく、且つ既知の視線追跡装置に比べて低コストな視線追跡装置を提供することである。
【0017】
本発明のもう一つの目的は、ユーザによる実施が容易な固定方法を提供することである。
【課題を解決するための手段】
【0018】
最も重要な目的のうちの一部を達成可能とする本発明の一部の技術的側面を以下に要約する。
【0019】
第一の態様によれば、本発明は、鼻パッドを有しないスマートグラスまたは作業用グラスに容易に固定又は固定解除されるように構成されることで、視線追跡装置を構成する視線追跡モジュールに関する。前記モジュールは、U字形部を有する第一部分を備え、複数の画像におけるユーザの複数の瞳孔位置を検出するように少なくとも1つの左視線センサおよび少なくとも1つの右視線センサを収容する。前記モジュールはさらに第二部分を備え、前記モジュールをスマートグラス/作業用グラスに接続するように構成された機械的インターフェースを収容する。前記モジュールは、前記第一部分フレーム又は第二部分フレームに囲まれた電子部品、即ち、少なくともデータ処理ユニットと、メモリと、データインターフェースとをさらに備える。前記電子部品は、前記モジュールを遠隔接続されたコンピュータ装置または他の装置一般に接続し、前記モジュールが固定されたグラスを装着しているユーザの眼球運動情報を前記コンピュータ装置に送信するように構成される。第二部分フレームに配置された機械的インターフェースは、スマートグラス/頭部ウェアラブル端末の中央部分の対応する下方部分形状又は中央部分のさらなる延長部の対応する下方部分形状に接続可能な特定の上方部分形状を備えることで、スマートグラス/頭部ウェアラブル端末にボトムアップ接続可能に構成されたモジュールを構成する。
【0020】
この場合、モジュールとスマートグラス/頭部ウェアラブル端末が中央部分でボトムアップ接続されるため、使用時にモジュールが占めるスペースが非常に小さくなり、コンパクトで非常に小さくなる。
【0021】
第2の態様によれば、本発明は、スマートグラス/頭部ウェアラブル端末に接続可能な機械的インターフェースとなるように構成されたPCBをさらに含むモジュールに関する。この場合、PCBによって提供される更なる機械的接続により、モジュール上に実際のコネクタや物理的コネクタを設ける必要がなくなり、この解決策はモジュール全体の寸法を最小限に抑えることに寄与する。
【0022】
さらなる態様によれば、本発明は、本明細書の従属項で特定されるモジュール、製品および方法の特徴に関する。
【0023】
本発明の構造的特徴および機能的特徴ならびに公知の従来技術に対する利点は、基礎となる特許請求の範囲から更に明らかとなり、特に、本発明に係る方法、システム、装置の好ましいが限定されない概略的な実施形態を示す添付図を参照した以下の説明の検討から更に明らかとなる。
【図面の簡単な説明】
【0024】
【
図1】本発明に係る鼻パッド視線追跡モジュールの好ましい実施形態の三次元図である。
【
図2】第1の実施形態に係る鼻パッド視線追跡モジュール1に接続されていないスマートグラス/頭部ウェアラブル端末8の立体図を示す。
【
図3】第1の実施形態に係る鼻パッド視線追跡モジュール1に接続されたスマートグラス/頭部ウェアラブル端末8の立体図を示す。
【
図4】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【
図5】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【
図6】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【
図7】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【
図8】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【
図9】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【
図10】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【
図11】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【
図12】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【
図13】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【
図14】本発明に係る鼻パッド視線追跡モジュールとスマートグラス/頭部ウェアラブル端末の対応する相手側との間の接続の好ましい実施形態の三次元図を示す。
【発明を実施するための形態】
【0025】
一般に、本開示では、鼻パッド視線追跡モジュール1、異なる種類のスマートグラス/頭部ウェアラブル端末8に当該モジュールを固定または固定解除する方法、及び鼻パッド視線追跡モジュール1を備えるスマートグラス/頭部ウェアラブル端末8を有する視線追跡装置が説明される。「右」、「左」、「高」、「低」、「前」、「後」という指定は、人間によるグラスおよび視線追跡モジュールの意図された装着方法に関する。
【0026】
強調すべき点として、一般的にスマートグラス/頭部ウェアラブル端末8に関して、それらは、テンプルを保持し、必要に応じて、太陽レンズ、特殊なフィルタ/保護レンズ、または一般的なレンズとなり得るレンズを保持する目的を有するフレームの少なくとも上部を有する。さらに、それらは、2つのレンズの間のスペーサとして機能すると共に、ユーザの鼻のためのスペースを作ることができる、いわゆるノーズブリッジと呼ばれる部分を少なくとも有してもよい。
【0027】
ノーズブリッジは、全てのグラスに必要な部分であるが、場合によって、当該部分は、例えば、頭部ウェアラブル端末または頭部装着型ヘッドセットでは明確には検出できない。場合によっては、拡張技術(
図2参照)を備えたスマートグラスのように、スマートグラスの上部フレームの中央部分88は、適切なフレーム部分であってもよいし、本発明の視線追跡モジュールが固定される特定の機械的インターフェースを備えていてもよい。
【0028】
本発明に係る鼻パッド視線追跡モジュール1は、U字形部110を有する第一部分フレーム11を備えた第一部分10を備える。U字形部110には、好ましくは、右視線取得センサ4および左視線取得センサ3が配置される。これらのセンサは、空間内の瞳孔の位置を検出するために、各ユーザの目の画像を撮影する目的を有する(
図1参照)。
【0029】
左右の視線センサ3、4は、好ましくはアイカメラであるが、瞳孔の位置を検出するためにユーザの目をスキャンできるレーザーや、例えばMEMSベースのスキャン素子のような微小電気機械システムのような異なる種類の技術であってもよい。
【0030】
モジュールは、好ましい実施形態において機械的インターフェース7(
図1参照)を収容する第二部分フレーム13を有する第二部分12をさらに備える。機械的インターフェース7は、中央部分に配置された対応する機械的インターフェースに容易かつ安定的に固定されるように構成されている。
【0031】
本明細書に記載されている全ての実施形態における機械的インターフェース7は、鼻パッド視線追跡モジュール1とスマートグラス/頭部ウェアラブル端末8とを電気的/電子的に接続するために、電気的/電子的インターフェースも備えている。
【0032】
好ましい実施形態では、第二部分フレーム13上の機械的インターフェース7は、PCBの導電材料に加えて、PCB(
図1参照)の一部を形成する積層絶縁材料の作用を利用し、鼻パッド視線追跡モジュール1とスマートグラス/頭部ウェアラブル端末8との間の信号接続を確立可能な電気的および電子的インターフェースを提供する。PCBは、鼻パッド視線追跡モジュール1に含まれ、当該電子部品を支持すると共に、当該電子部品の役に立つ。
【0033】
重要な点として、中央部分88におけるスマートグラス/頭部ウェアラブル端末8とモジュール1との間のボトムアップ接続は、モジュール1によって占有されるスペースを非常に小さくすることを示唆する。これは、スマートグラス/頭部ウェアラブル端末8と鼻パッド視線追跡モジュール1が一緒に接続され使用されているときに、スマートグラス/頭部ウェアラブル端末8と人間の頭部との間の利用可能なスペースが非常に小さいためである。
【0034】
U字形部110は、2つのアーム100を有し、特に鼻パッドとして使用されるように設計されている。このため、モジュールがスマートグラス/頭部ウェアラブル端末に固定されると、スマートグラス/頭部ウェアラブル端末8を異なる鼻形状に容易にカスタマイズできるように構成される。本発明に係る鼻パッド視線追跡モジュール1は、スマートグラス/頭部ウェアラブル端末8の鼻パッドの代わりに、ユーザの鼻に干渉することなく使用される。
【0035】
U字形部110は、柔らかい材料で作られてもよい。特に、アーム100は、アーム100の形状をユーザの鼻によりよく適合させ、且つ後述するようにスマートグラス/頭部ウェアラブル端末8へのモジュールの固定に協力するために、柔軟な材料で作られてもよい。
【0036】
U字形部110は、柔らかい材料で作られてもよい。特に、アーム100は、アーム100の形状をユーザの鼻によりよく適合させ、且つ後述するようにスマートグラス/頭部ウェアラブル端末8へのモジュールの固定に協力するために、柔軟な材料で作られてもよい。
【0037】
前述のように、好ましい解決策では、右視線取得センサ4は右アーム100に配置され、左視線取得センサ3はU字形部110の左アーム100に配置される。2つの視線取得センサ3、4がデジタルカメラとして設計される場合、それらは対物レンズを有してもよい。視線取得カメラ3、4はそれぞれ、視線追跡モジュールを装着した人間の眼球の個々の画像又は個々の眼球画像を含む眼球映像を作成するように構成される。視線取得カメラ3、4は、装着者の眼球の位置に向けられなければならない。
【0038】
可能な構成では(
図2参照)、2つの視線取得センサ3、4の記録は、スマートグラス/頭部ウェアラブル端末8の中央部分88に既に存在する視野カメラ80の記録と関連付けて入力されてもよく、(モジュールがスマートグラス/頭部ウェアラブル端末8に固定されている場合では)視野映像においてユーザの各注視点を与える。
【0039】
少なくとも1つの視野カメラ(図示なし)は、本明細書に開示される各実施形態において、モジュール1上及び/又はモジュール1内に配置される。視野カメラは、個々の連続した視野画像を含む視野映像を記録する。その場合、2つの視線取得センサ3、4及び少なくとも1つの視野カメラの記録は、(モジュールがスマートグラス/頭部ウェアラブル端末に固定されている場合に)ユーザの各注視点の視野映像に関連付けて入力されてもよい。
【0040】
また、本明細書で開示する各実施形態において、鼻パッド視線追跡モジュール1内に複数の視野カメラを配置してもよい。
【0041】
さらに、モジュールは、(マイクロプロセッサのような)データ処理ユニット、接続された記憶媒体、およびデータインターフェースのような電子部品を有する。データ処理ユニットは、右視線取得センサ4および左視線取得センサ3に接続されている。モジュールは、視線センサ3、4、データ処理ユニット、メモリ、およびデータインターフェースのエネルギー供給用のエネルギー蓄積器をさらに有してもよい。モジュールは、ケーブル経由の外部電源、または内部バッテリおよび対応する電源インターフェース(図示せず)をさらに有してもよい。
【0042】
本明細書に開示された各実施形態において、(マイクロプロセッサのような)データ処理ユニットと接続された記憶媒体を含む電子部品と、少なくともデータ処理ユニットと、メモリと、データインターフェースと、電源ユニット/インターフェースは、第一部分10又は第二部分12に配置されてもよいし、それらの一部が第一部分10に配置され、残りが第二部分12に配置されてもよい。
【0043】
さらに、これらの電子部品は、関連するモジュールフレーム内に封入されている。モジュールフレーム形状は密閉されており、鋭利なエッジがない。このため、本発明で開示されるモジュールは、洗浄が容易となる。さらに、これらの電子部品が配置されている各部品のフレームは、これらの電子部品を囲み、偶発的な衝突、埃、または部品の動作を損なう可能性のある一般的な外部要因に対する保護を与える(提供される図面は概略的なものであり、限定的な目的を有するものではない)。
【0044】
本明細書に開示された各実施形態において、データ処理ユニットは、好ましくは、マイクロコントローラまたはプロセッサとメモリとの組み合わせとして設計され得る。データ処理ユニットは、信号伝導方式によりデータインターフェースに接続される。データインターフェースとデータ処理ユニットは、例えば、ASICやFPGAなどのハードウェアにより一緒に形成されてもよい。インターフェースは、例えば、Bluetooth規格やIEEE802.xに従った無線インターフェースとして好ましくは設計されてもよいし、あるいは有線インターフェースとして設計されてもよい。視線追跡モジュールに追加のセンサが追加され、データ処理ユニットに接続されてよい。
【0045】
本明細書に開示される各実施形態において、データ処理ユニット、メモリ、およびデータインターフェースは、回路によって少なくとも間接的にエネルギー蓄積器に接続されてもよく、視野カメラ(存在する場合)、右視線取得センサ4、および左視線取得センサ3に信号伝導方式で接続される。
【0046】
重要な点として、本明細書に開示されている各実施形態において、記録された映像の全体的な記録、初期分析、および保存は、視線追跡モジュール自体または当該モジュールに(無線またはケーブルを介して)接続されたコンピュータ装置によって実行され得る。
【0047】
少なくとも1つの左視線センサ3及び右視線センサ4が配置されるU字形部110に関して、本明細書に開示される各実施形態では、左赤外線LED照明器30及び右赤外線LED照明器40もU字形部110に配置されてもよい。照明器30、40は、使用時に、装着者の眼球の瞳孔位置をより良好に検出するのに役立つ。
【0048】
鼻パッド視線追跡モジュール1をスマートグラス/頭部ウェアラブル端末8に接続するために、第二部分フレーム13上の機械的インターフェース7が、PCB(
図1参照)の一部を形成する積層絶縁構造の作用を備えることは既に前述した。PCBは、鼻パッド視線追跡モジュール1に含まれ、前述の電子部品の役に立つと共に、当該電子部品を支持する。
【0049】
好ましい実施形態では、鼻パッド視線追跡モジュール1に含まれるPCBの終端部70は、雌型接続部のような形状をしている(
図4参照)。終端部70は、鼻パッド視線追跡モジュール1の第二部分フレーム13から出てくるように設計されてもよく、また、いかなる場合でも最後の1つからアクセス可能である。
【0050】
終端部70は、互いに離間した2つの平行要素700を有する矩形の断面を有してもよい。2つの平行要素の間の空間は、スマートグラス/頭部ウェアラブル端末8に含まれるPCBの対応する終端部880(この場合、雄部)のための適切な座部704を形成する。座部704は、終端部880の導電トレース882の数に対応する適切な数の導電トレース770を有する。スマートグラス/頭部ウェアラブル端末8の終端部880が鼻パッド視線追跡モジュール1の終端部70に安定的に接続されると、両装置は電気的および電子的な接続を確立し、互いに通信可能となる。終端部880は、互いに間隔を設けて配置され、空間884を画定する2つの平行要素を有するように更に形成されてもよく、2つの平行要素が終端部70の座部704に挿入されたときに、2つの平行要素が互いに近づくことを可能にする。この場合、2つの平行要素700は、2つの装置が接続されたときに外側に曲がることを余儀なくされることが少ない。その動きは、終端部880の2つの平行要素の反対の動きによって補償されるからである(
図5参照)。
【0051】
本発明で説明するすべての実施形態において、鼻パッド視線追跡モジュール1のPCBの終端部70は、対応する終端部80を確実且つ安定的に保持するように設計されており、2つの装置間の信号の連続性を維持し、それらの間の通信の損失を防止する。さらに重要な点として、2つの装置間のボトムアップ接続が確立され、両者が一緒に接続されたときに、鼻パッド視線追跡モジュール1がスマートグラス/頭部ウェアラブル端末8の鼻パッドとして機能する。2つの装置間の接続は、スマートグラス/頭部ウェアラブル端末8自体の重さにより、安定に維持されることを余儀なくされる。この特定の態様は、本発明のすべての実施形態に特有のものである。
【0052】
さらなる好ましい実施形態では、鼻パッド視線追跡モジュール1に含まれるPCBの終端部70は、雌型接続のように既に述べた実施形態と同じように形成される一方(
図6参照)、2つの平行要素700の両方が長手方向開口部706を有する。長手方向開口部706は、導電トレース770の2組間の分離を可能にするとともに、スマートグラス/頭部ウェアラブル端末8の終端部880上の対応する一致した位置に配置されたガイド886の挿入をさらに可能にする。ガイド886と協働する長手方向開口部706は、2つの装置間の接続時に、より良好なアライメントを可能にする。ガイド要素は、2つの装置の接続中に適切なアライメントを提供するために、本明細書に記載されるすべての実施形態に設けられてもよい。
【0053】
本図には記載されていない更なる実施形態では、2つの装置間の接続中における公差に所定の柔軟性を持たせるために、終端部70または終端部80のいずれかに、各導電トレースを互いに物理的に分離することを目的とする複数の長手方向開口が設けられてもよい。
【0054】
さらなる好ましい実施形態(
図7参照)では、終端部70は、2つの平行要素700によって上側および下側に境界を付けられ、横方向には2つの他の側面707によって境界を付けられた座部704を形成するように構成されてもよい。各側面707は、スロット708を有する。スロット708は、スマートグラス/頭部ウェアラブル端末8の終端部880の対向する側の適合且つ一致する位置に設けられた対応する保持リップ890と係合するように構成されている。保持リップ890は、長手方向開口部888の存在によって、スロット708の接続レッジに係合することができる。2つの装置が一旦接続されると、保持リップ890同士を接近することができ、スナップフィットプロファイルとして機能する。この場合、接続はより安定的且つ強固となる。また、スナップフィットプロファイルにより固定および固定解除の手順が非常に簡単になる。スロット及び保持リップ要素は、2つの装置間の強固な接続を実現するために、本明細書に記載のすべての実施形態に設けられてもよい。
【0055】
本実施形態はまた、PCB(
図8参照)の代わりに、スナップフィットプロファイルの相手方として機能する第二部分フレーム13を備えた構成としてもよい。この場合、第二部分フレーム13は、終端部70を取り囲む。第二部分フレーム13は、2つの平行要素700を囲むと共に、側壁907を提供する。側壁907は、対応する保持リップ890に係合することができる適切なスロット908を備える。本解決策により、PCBへの機械的ストレスが防止される。
【0056】
図4の実施形態はさらに改良され、座部704(
図9参照)および対応する終端部880の長手方向断面に沿ったスナップフィットプロファイルを提供する。座部704は、終端部880の最小長手方向断面幅に対応する最大長手方向断面幅を有する。換言すれば、座部704は、終端部880の最大長手方向断面幅に対応する最小長手方向断面幅を有する。導電トレース770と導電トレース882の両方は、それぞれ座部704および終端部880の対応する形状に従う。2つの平行要素700は、互いに距離を設けることができ、スナップフィット機構を完成させる。終端部880が終端部70の座部704に接続されたときに終端部880を所定の位置に保持するために、同様の効果が保持機構として作用する金属バネを用いて達成されるかもしれない。縦断面形状の特徴は、2つの装置の接続に必要な部品数を減らすために、本明細書で説明するすべての実施形態で実施されてもよい。
【0057】
さらなる好ましい実施形態(
図10+11参照)において、導電トレース770が第二部分フレーム13から出てくる終端部70の最上部側に配置されることで、スマートグラス/頭部ウェアラブル端末8に含まれるPCBの終端部880の最上部側の対応する導電トレース882と一致させることができる。終端部70の最上部側にも導電トレース770を設計することは、本明細書に記載されるすべての実施形態において実施され得る特徴である。この技術的態様は、導電面を増加させるため、2つの装置が一緒に接続されたときに2つの装置間の電気的/電子的な導通が遮断される危険性をさらに防止する。
【0058】
この場合、2つの装置が一緒に接続されるときに必要とされる機械的保持力は、磁石5により提供される。磁石5は、使用時にスマートグラス/頭部ウェアラブル端末8上の鼻パッド視線追跡モジュール1の位置を保持するために、終端部70を結合するように設計され、終端部80上に配置された対応する磁石890を引き付けることができる。2つの装置の接続の安定性を向上させるために、終端部70を取り囲む磁石5の使用は、本明細書に記載されるすべての実施形態に配置されてもよい。
【0059】
最後に説明した実施形態はさらに改良され、完全に磁石5を囲むように第二部分フレーム13を配置することで、終端部70の周囲に境界座部705をさらに形成する。境界座部705は、終端部80の一致する突出部885に一致するように構成されるため、2つの装置を一緒に容易に接続するためのガイドを提供する(
図10および
図12参照)。座部705は、2つの装置が一緒に接続されたときに対応する表面に完全に接着するように設計されたシール(図では見えない)を特に収容してもよく、当該接続をさらに防水仕様にする。
【0060】
図10、
図11、
図12に示した実施形態の改良を
図13に示す。導電トレース770は、第二部分フレーム13から出ている終端部70の最上部側に配置される。終端部70は、側方係合ノッチ703をさらに備える。側方係合ノッチ703は、終端部80に存在するスナップフィット機構の相手方として機能する。終端部80は、実際には、終端部880の最上部側において中央に配置された導電トレース882と、側方係合ノッチ703に確実に係合するように設計された保持リップ883を有する2つの側方突出アームと、を備えている。この場合、鼻パッド視線追跡モジュール1のPCBの終端部70の特定の設計を用いるだけで安定した接続が達成される。スナップフィットプロファイルを提供するために、モジュール1のPCBの終端部70の横方向にノッチと保持リップを設計することは、本明細書で説明される全ての実施形態で実施されてもよい。
【0061】
図10、
図11、
図12に示した実施形態の別の改良が
図14に示される。ここでは、終端部70は、自身の最上部側に配置された導電トレース770を依然として有する。一方で、その後に、終端部70は、特別に設計された座部705を形成するように構成された第二部分フレーム13により囲まれる。その結果、境界係合ノッチ703が設けられる。終端部880は、境界係合ノッチ703と一致する境界保持リップ885に特別に設計される。2つの装置が接続されたときに境界保持リップ885は、境界係合ノッチ703と一致する。この場合、第二部分フレーム13は、鼻パッド視線追跡モジュール1の上部に機械的インターフェースを提供する。モジュール1の上面にこの特別な機械的インターフェースを配置すること、すなわちモジュール1の第二部分フレーム13にスナップフィットプロファイルを設計することは、本明細書に開示される全ての実施形態で実施され得る技術的特徴である。本実施形態では、接続の防水性をさらに高めるために、座部705は、2つの装置が一緒に接続されたときに対応する表面に完全に接着するように特に設計されたシール(図では見えない)を収容してもよい。
【0062】
重要な点として、これまで説明した全ての実施形態において、鼻パッド視線追跡モジュール1のPCBの終端部70は、2つの装置間の接続の雌部分として設計される。スマートグラス/頭部ウェアラブル端末8のPCBの終端部880は、雄部分として設計されている。一方で、スマートグラス/頭部ウェアラブル端末8の製造者の特定の技術要件をより良く満たすために、2つの終端部70、880を逆に交換してもよい。したがって、各実施形態で既に説明したように、終端部70を接続の雄部分として設計し、終端部880を対応する雌部分として設計してもよい。
【0063】
図1に示す実施形態では、スマートグラス/頭部ウェアラブル端末8の中央部分88の対応する下方部分形状(図面では見えない)に接続可能な第二部分フレーム13(
図1では矩形)の特定の上方部分形状が開示される。当該実施形態では、さらに、スマートグラス/頭部ウェアラブル端末8の中央部分88上のスマートグラス/頭部ウェアラブル端末8の対応するPCBの終端部(図面では見えない)へのPCBの終端部70の接続が開示される。重要な点としては、言及された下方部分形状は、スマートグラス/頭部ウェアラブル端末8の中央部分88から下方に延びる要素として設計してもよい。第二部分フレーム13の特定の上方部分形状は、接続中にガイドする機能を有すると共に、モジュール1をスマートグラス/頭部ウェアラブル端末8に固定する機能を有する。
【0064】
最後に、終端部70が導電トレースの物理的に分離された支持部を有し、導電トレースが各支持部の側方に配置された実施形態があってもよい。この場合、対応する終端部に同じ構成を期待することで、2つの装置間に回転取り付け接続を提供できる実施形態が設けられる。
【0065】
既に説明したように、モジュールが視野カメラを備える場合、使用時に一旦固定された鼻パッド視線追跡モジュールの装着者の視野のビデオ画像等の複数の画像を検出することができる。視野カメラは、使用時にスマートグラス/頭部ウェアラブル端末8の外側に面するモジュール1のフレームの一部に配置されてもよいし、視線追跡モジュールがスマートグラス/頭部ウェアラブル端末8に固定されたときに、スマートグラス/頭部ウェアラブル端末8のフレームの上部よりも高くなるように構成されるフレームの一部に配置されてもよい。
【0066】
重要な点として、本発明で開示される各実施形態において、2つのアーム100は、モジュールがスマートグラス/頭部ウェアラブル端末8に固定されたときに、スマートグラス/頭部ウェアラブル端末8を異なる鼻の形状にカスタマイズ可能にするように構成された鼻パッドとして使用されるように設計される。
【0067】
本発明で開示される鼻パッド視線追跡モジュール1は、その小型化された寸法と記載された構成により、非常に軽量なモジュールとなる。このため、モジュールが固定されたスマートグラス/頭部ウェアラブル端末8をユーザが装着しているとき、ユーザの快適性に悪影響を与えない。
【0068】
本発明は、鼻パッド視線追跡モジュール1をスマートグラス/頭部ウェアラブル端末8に固定するための方法に更に関するものである。グラス8およびモジュール1は、記載されたすべての実施形態にしたがって、本明細書で既に説明された構造を有する。本方法は、スマートグラス/頭部ウェアラブル端末8の中央部分88で鼻パッド視線追跡モジュール1をスマートグラス/頭部ウェアラブル端末8にボトムアップ接続するステップを含む。
【0069】
本発明は、スマートグラス/頭部ウェアラブル端末8と鼻パッド視線追跡モジュール1とを備える視線追跡装置に更に関するものである。スマートグラス/頭部ウェアラブル端末8と鼻パッド視線追跡モジュール1は、記載された全ての実施形態にしたがって、本明細書で既に説明された構造を有する。
【国際調査報告】