IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヒーズ アイピー ホールディングス エルエルシーの特許一覧

特表2023-541495両眼視を改善するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-03
(54)【発明の名称】両眼視を改善するためのシステムおよび方法
(51)【国際特許分類】
   A61H 5/00 20060101AFI20230926BHJP
   G09G 5/00 20060101ALI20230926BHJP
   G09G 5/10 20060101ALI20230926BHJP
   G09G 5/37 20060101ALI20230926BHJP
   G09G 5/377 20060101ALI20230926BHJP
   A61B 3/113 20060101ALI20230926BHJP
   A61B 3/11 20060101ALI20230926BHJP
   A61B 3/10 20060101ALI20230926BHJP
【FI】
A61H5/00 Z
G09G5/00 550C
G09G5/00 510B
G09G5/10 B
G09G5/37 200
G09G5/377 100
A61B3/113
A61B3/11
A61B3/10 800
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022521209
(86)(22)【出願日】2021-09-03
(85)【翻訳文提出日】2022-04-08
(86)【国際出願番号】 US2021049171
(87)【国際公開番号】W WO2022051688
(87)【国際公開日】2022-03-10
(31)【優先権主張番号】63/074,444
(32)【優先日】2020-09-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/085,172
(32)【優先日】2020-09-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/085,161
(32)【優先日】2020-09-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520332841
【氏名又は名称】ヒーズ アイピー ホールディングス エルエルシー
(74)【代理人】
【識別番号】100108833
【弁理士】
【氏名又は名称】早川 裕司
(74)【代理人】
【識別番号】100162156
【弁理士】
【氏名又は名称】村雨 圭介
(74)【代理人】
【識別番号】100082418
【弁理士】
【氏名又は名称】山口 朔生
(74)【代理人】
【識別番号】100167601
【弁理士】
【氏名又は名称】大島 信之
(74)【代理人】
【識別番号】100201329
【弁理士】
【氏名又は名称】山口 真二郎
(74)【代理人】
【識別番号】100220917
【弁理士】
【氏名又は名称】松本 忠大
(72)【発明者】
【氏名】ヨンチン、シャオ
(72)【発明者】
【氏名】イン、チャン
(72)【発明者】
【氏名】ジュンニン、ライ
【テーマコード(参考)】
4C046
4C316
5C182
【Fターム(参考)】
4C046AA31
4C046AA33
4C046BB12
4C046DD36
4C046EE02
4C046EE23
4C046EE25
4C046EE32
4C046FF12
4C046FF22
4C046FF32
4C316AA14
4C316AA16
4C316AA21
4C316AA28
4C316AB13
4C316FA01
4C316FA02
4C316FA18
4C316FA19
4C316FB11
4C316FB12
4C316FB26
4C316FC04
5C182AA02
5C182AA03
5C182AA04
5C182AA06
5C182AA31
5C182AB34
5C182AB35
5C182AC03
5C182AC38
5C182AC42
5C182BA14
5C182BA29
5C182BA39
5C182BA46
5C182BA56
5C182BA75
5C182CA01
5C182CA02
5C182CA21
5C182CB01
5C182CB42
5C182CB54
5C182DA69
(57)【要約】
本開示は、見る人の眼の情報に基づき、2つの異なる深度の間で動いて、見る人の視力の弱い方の/異常な眼を刺激し、次いで強化して最終的に、見る人の両眼視を改善する、またはさらには回復させる仮想画像を生成する、両眼視を改善するためのシステムおよび方法について記述する。システムは、視標追跡モジュールおよび仮想画像モジュールを備える。視標追跡モジュールは、見る人の眼の情報を提供するように構成される。仮想画像モジュールは、見る人の第1の眼に多数の正常光信号を投影して正常画像を形成し、かつ見る人の第2の眼に、対応する多数の調節光信号を投影して調節画像を形成することにより、第1の仮想対象物を表示するように構成される。
【選択図】図1
【特許請求の範囲】
【請求項1】
両眼視を改善するためのシステムであって、
見る人の眼の情報を提供するように構成された視標追跡モジュールと、
前記視標追跡モジュールから得られる前記見る人の眼の情報に基づき、前記見る人の第1の眼に多数の正常光信号を投影して正常画像を形成し、かつ前記見る人の第2の眼に、対応する多数の調節光信号を投影して調節画像を形成することにより、第1の仮想対象物を表示するように構成された仮想画像モジュールと、を備えるシステムにおいて、
前記仮想画像モジュールは、第1の目標場所および第1の目標深度から第2の目標場所および第2の目標深度に動いている前記第1の仮想対象物を表示し、
前記第1の目標深度は、第1の前記正常光信号と、対応する第1の前記調節光信号の間の第1の角度に関係があり、前記第2の目標深度は、第2の前記正常光信号と、対応する第2の前記調節光信号の間の第2の角度に関係があり、前記第1の目標深度は、前記第2の目標深度と異なることを特徴とする、
システム。
【請求項2】
前記仮想画像モジュールが前記第1の目標場所および前記第1の目標深度から前記第2の目標場所および前記第2の目標深度に動いている前記第1の仮想対象物を表示するとき、前記見る人の前記第2の眼に投影される前記調節光信号は、前記見る人の前記第1の眼に投影される前記正常光信号よりも多く光の方向が変化することを特徴とする、請求項1に記載のシステム。
【請求項3】
前記仮想画像モジュールが前記第1の目標場所および前記第1の目標深度から前記第2の目標場所および前記第2の目標深度に動いている前記第1の仮想対象物を表示するとき、前記見る人の前記第1の眼に投影される前記正常光信号は、前記光の方向を変えないことを特徴とする、請求項1に際のシステム。
【請求項4】
前記仮想画像モジュールは、前記第2の目標場所および前記第2の目標深度から第3の目標場所および第3の目標深度に動いている前記第1の仮想対象物を表示し、一方、前記見る人の前記第2の眼に投影される前記調節光信号は、前記見る人の前記第1の眼に投影される前記正常光信号よりも多く光の方向が変化し、前記第3の目標深度は、第3の前記正常光信号と対応する第3の前記調節光信号の間の第3の角度に関係があり、前記第3の目標深度は、前記第2の目標深度と異なることを特徴とする、請求項1に記載のシステム。
【請求項5】
前記仮想画像モジュールは、前記第1の仮想対象物が、前記第1の目標深度から前記第2の目標深度に動いたとき、より大きな深度で表示されるときにより低い空間周波数を有するように、前記第1の仮想対象物の前記空間周波数を調節することを特徴とする、請求項1に記載のシステム。
【請求項6】
前記視標追跡モジュールは瞳孔の場所、瞳孔サイズ、凝視角、輻輳角、凝視場所、および凝視深度のうち少なくとも1つを含む、前記見る人の両眼の眼の情報を提供することを特徴とする、請求項1に記載のシステム。
【請求項7】
前記視標追跡モジュールは、前記第1の眼のための第1のカメラおよび前記第2の眼のための第2のカメラを備えることを特徴とする、請求項1に記載のシステム。
【請求項8】
前記仮想画像モジュールは、前記第1の眼が前記正常画像を知覚し、かつ前記第2の眼が調節画像を同時に知覚するように、前記視標追跡モジュールが提供する前記見る人の前記瞳孔の場所に基づき前記第1の仮想対象物を表示することを特徴とする、請求項1に記載のシステム。
【請求項9】
前記見る人の眼の視覚誘発電位(visual evoked potential、VEP)を測定するVEP測定モジュールをさらに備えるシステムにおいて、前記仮想画像モジュールは、前記VEP測定モジュールから得られる前記VEPに基づき前記第1の仮想対象物を表示することを特徴とする、請求項1に記載のシステム。
【請求項10】
前記仮想画像モジュールは、前記見る人の前記VEPまたは前記見る人の前記瞳孔の場所に基づき前記第1の仮想対象物を動かすことを特徴とする、請求項9に記載のシステム。
【請求項11】
前記調節画像は、対応する前記正常画像よりも高いコントラストまたは低い前記空間周波数を有することを特徴とする、請求項1に記載のシステム。
【請求項12】
前記仮想画像モジュールは、前記見る人の眼の前記視覚誘発電位(VEP)に基づき前記調節画像に関する前記コントラストおよび前記空間周波数を選択することを特徴とする、請求項1に記載のシステム。
【請求項13】
前記調節画像は、両眼融合のための前記正常画像と異なるが、両眼融合のための前記正常画像に十分に関係づけられることを特徴とする、請求項1に記載のシステム。
【請求項14】
前記視標追跡モジュールは、前記仮想画像モジュールに前記見る人の眼の前記凝視場所および前記凝視深度を提供し、前記第1の目標場所および前記第1の目標深度は、それぞれ第1の前記凝視場所および第1の前記凝視深度であり、前記第2の目標場所および前記第2の目標深度は、それぞれ第2の前記凝視場所および第2の前記凝視深度であることを特徴とする、請求項1に記載のシステム。
【請求項15】
前記仮想画像モジュールは、所定の場所および所定の深度に第2の仮想対象物を表示し、前記第2の仮想対象物は、前記第1の仮想対象物が所定の期間の間に前記第2の仮想対象物の所定の空間範囲内で動くときに前記第1の仮想対象物と相互作用するように改変されることを特徴とする、請求項14に記載のシステム。
【請求項16】
前記第2の仮想対象物は、前記第1の仮想対象物が前記第2の仮想対象物の上に重なるように動かされるときに前記第1の仮想対象物と相互作用するように改変されることを特徴とする、請求項15に記載のシステム。
【請求項17】
実対象物の場所および深度を測定するように構成された実対象物測定モジュールをさらに備える、請求項14に記載のシステム。
【請求項18】
前記第1の仮想対象物が前記実対象物の所定の空間範囲内で動かされるときに前記見る人にフィードバックを与えることを特徴とする、請求項17に記載のシステム。
【請求項19】
前記第1の仮想対象物は、照準カーソルであり、前記第2の仮想対象物は、前記第1の仮想対象物が前記第2の仮想対象物に重なったときに爆発を表示するように改変されることを特徴とする、請求項15に記載のシステム。
【請求項20】
前記第1の仮想対象物は、ボーリングボールであり、前記第2の仮想対象物は、前記第1の仮想対象物が前記第2の仮想対象物に重なったときにボーリングボールと相互作用する1組のボーリングピンであることを特徴とする、請求項15に記載のシステム。
【請求項21】
前記仮想画像モジュールは、前記見る人が前記凝視場所および前記凝視深度に表示される前記第1の仮想対象物を知覚するように、前記見る人に関して較正されることを特徴とする、請求項14に記載のシステム。
【請求項22】
前記仮想画像モジュールは、前記正常光信号および対応する前記調節光信号を処理する制御ユニットをさらに備えることを特徴とする、請求項1に記載のシステム。
【請求項23】
前記仮想画像モジュールは、前記第1の仮想対象物の前記正常画像に関する多数の前記正常光信号を生成する正常光信号発生器と、前記見る人の前記第1の眼の網膜に向けて前記多数の正常光信号の向きを変える正常結合器と、前記第1の仮想対象物の前記調節画像に関する多数の前記調節光信号を生成する調節光信号発生器と、前記見る人の前記第2の眼の網膜に向けて前記多数の調節光信号の向きを変える調節結合器とをさらに備えることを特徴とする、請求項1に記載のシステム。
【請求項24】
前記見る人の頭部に装着可能な支持構造をさらに備えるシステムにおいて、前記視標追跡モジュールは、前記支持構造により支持され、前記正常光信号発生器および前記調節光信号発生器は、前記支持構造により支持され、前記正常結合器および前記調節結合器は、前記支持構造により支持されることを特徴とする、請求項23に記載のシステム。
【請求項25】
人が前記視標追跡モジュールおよび仮想画像モジュールを制御するように構成されたユーザインタフェースをさらに備える、請求項1に記載のシステム。
【請求項26】
所定の条件が満たされたときに前記見る人にフィードバックを提供するように構成されたフィードバックモジュールをさらに備える、請求項1に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に両眼視を改善するための方法およびシステムに関し、詳細には見る人の眼の情報に基づき第1の位置から第2の位置に動いている仮想対象物を表示して、見る人の視力の弱い眼の視覚を改善するための方法およびシステムに関する。
【背景技術】
【0002】
弱視および斜視は、最も一般的な眼疾患の中の2つである。弱視は、眼の一方が他方の眼に対して著しく弱い視覚を有することに関係がある。弱視は多くの場合、患者が若いころの異常な視覚発達により生じる。弱視は、子供および若い大人の間で単眼の視覚が低下する最も一般的な原因である。斜視は、患者の2つの眼の間の誤整列に関係がある。患者は斜視であるので、眼の一方は、他方の眼を基準にして異なる方向に向けられることがある。大部分の斜視は、眼球運動の神経筋制御異常により生じる。
弱視および斜視のために診断および処置のための数多くの方法が提案されてきた。弱視については、視覚が弱い眼は、通常はメガネもしくはコンタクトレンズ、またはパッチング治療(patching therapy)を用いて補正され、いくつかの他の事例では、周波数コントラスト対象物または色コントラスト対象物を使用する刺激は、弱視の眼の視覚を改善することがある。いくつかのタイプの刺激の組合せがより効果的であることが証明されている。斜視については多くの場合、2つの眼の間の誤整列を補正するように眼の運動を使用して眼筋相関関係を改善する。
近年、弱視および斜視を治療する医療機器の使用法がいくらか進歩した。しかしながら、これらの従来の機器は、異なる深度の間で両眼凝視を訓練するための手段を提供できない。両眼視を改善するための革新的なシステムおよび方法が必要とされる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第PCT/US20/59317号
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、人間の眼の視神経を刺激して斜視、弱視、輻輳障害、および他の眼球運動障害などの眼の状態を治療することがある眼球運動を高める、仮想画像などの視覚刺激を生成することにより、一方の眼が他方の眼と比べて異常な、または視力の弱い見る人の両眼視を改善するためのシステムおよび方法に関係する。正常な眼は、見る人の右眼であっても左眼であってもよい第1の眼を指す。視力が弱い方の眼または異常な眼(集合的に「弱い眼」)は、見る人の右眼であっても左眼であってもよい第2の眼(正常な眼以外の残りの眼)を指す。本開示は、見る人の眼の情報に基づき、2つの異なる深度の間で動いている仮想画像を生成して見る人の視力の弱い眼を刺激し、次いで強化/治療して最終的に、見る人の両眼視を改善する、またはさらには回復させるシステムおよび方法について記述する。
【課題を解決するための手段】
【0005】
両眼視を改善するためのシステムは、視標追跡モジュールおよび仮想画像モジュールを備える。視標追跡モジュールは、見る人の両眼を追跡して、見る人のそれぞれの眼の瞳孔の場所、瞳孔サイズ、凝視角(視野角)、および輻輳角など、眼の関連情報を提供するように構成される。そのような眼の情報を使用して、見る人の瞳孔、ならびに見る人の凝視場所および凝視深度の所在を決定してよい。
【0006】
仮想画像モジュールは、見る人の両方の瞳孔の場所など、見る人の眼の情報に基づき、見る人の第1の眼に多数の正常光信号を投影して正常画像を形成し、かつ見る人の第2の眼に、対応する多数の調節光信号を投影して調節画像を形成することにより、第1の仮想対象物を表示するように構成されてよい。第1の仮想対象物は、第1の目標場所および第1の目標深度に表示される。見る人の第1の眼は、第1の仮想対象物の正常画像を知覚し、見る人の第2の眼は、第1の仮想対象物の調節画像を知覚する。第1の目標深度は、見る人の眼の中に投影される第1の正常光信号と、対応する第1の調節光信号の間の第1の角度に関係がある。
【0007】
その上、見る人の第1の眼が正常画像を知覚し、見る人の第2の眼が調節画像を同時に知覚するために、仮想画像モジュールは、視標追跡モジュールが提供する見る人の眼の瞳孔の場所に基づき、多数の正常光信号および対応する多数の調節光信号の方向および場所を調節して、見る人の第1の眼および第2の眼の中に多数の正常光信号および対応する多数の調節光信号をそれぞれ投影させる必要があってよい。
【0008】
仮想画像モジュールは、第1の目標場所および第1の目標深度から第2の目標場所および第2の目標深度に動いている第1の仮想対象物を表示する。第1の目標深度は、第2の目標深度と異なる。第2の目標深度は、第2の正常光信号と、対応する第2の調節光信号の間の第2の角度に関係がある。第1の仮想対象物が動くとき、見る人の眼はその動きに追従する。その結果、2つの視覚深度平面の間で第1の仮想対象物が動くことにより、視力の弱い眼の動きが高まり、より多くの刺激が視力の弱い眼に提供される。その結果、視力の弱い眼の視覚は改善され、次いで両眼視は、最終的に再確立されることがある。
【0009】
仮想画像モジュールが第1の目標場所および第1の目標深度から第2の目標場所および第2の目標深度に動いている第1の仮想対象物を表示するとき、見る人の第2の眼に投影される調節光信号は、見る人の第1の眼に投影される正常光信号よりも多く光の方向が変化することがある。その結果、視力の弱い眼は、正常な眼よりも多く動いて(運動して)第1の仮想対象物の動きに追従しなければならない。代わりに、仮想画像モジュールが第1の目標場所および第1の目標深度から第2の目標場所および第2の目標深度に動いている対象物を表示するとき、見る人の第1の眼に投影される正常光信号は光の方向を変えない。この状況では、見る人の第1の眼は、まったく動く必要がなく、一方、見る人の第2の眼は、より多く動いて第1の仮想対象物の動きに追従しなければならい。
【0010】
見る人の視力の弱い眼の視覚を改善するために、仮想画像モジュールは、見る人の第2の眼に関する調節画像のコントラストおよび空間周波数と見る人の第1の眼に関する正常画像のコントラストおよび空間周波数を区別してよい。具体的には、仮想画像モジュールは、対応する正常画像よりも高いコントラストまたは低い空間周波数を有する調節画像を生成するように構成される。
【0011】
仮想画像モジュールは、見る人のいずれかの眼または両眼の視覚誘発電位(visual evoked potential、VEP)に基づき、適切なコントラストおよび空間周波数、ならびに第1の仮想対象物の動きの方向および速度を選択することを含み、第1の仮想対象物を表示してよい。両眼視を改善するためのシステムは、見る人の眼のVEPを測定するVEP測定モジュールをさらに含んでよい。
【0012】
見る人が凝視(fixation)を実施できるとき、仮想画像モジュールは、視標追跡モジュールが提供する見る人の凝視場所および凝視深度に第1の仮想対象物を表示してよい。見る人が第1の凝視場所および第1の凝視深度から第2の凝視場所および第2の凝視深度に自分の凝視を動かすとき、仮想画像モジュールは、見る人の凝視に従って第1の仮想対象物を動かす。仮想画像モジュールは、所定の場所および所定の深度に第2の仮想対象物を表示してよい。見る人が自分の凝視を動かして、所定の期間の間に第2の仮想対象物の所定の空間範囲内で第1の仮想対象物を動かすとき、第2の仮想対象物は、第1の仮想対象物と相互作用する、または第1の仮想対象物に応答するように改変される。
【0013】
本開示の付加的な特徴および利点について以下の記述に示し、一部は記述から明らかになるか、または本開示を実践することによって学習されてよい。本開示の目的および他の有利な利点は、それらの書面による記述および特許請求の範囲だけではなく、添付の図面でも詳細に指摘される構造および方法により実現および達成される。前述の一般的記述も以下の詳細な記述も代表的なものであり、説明のためであり、特許請求される本発明の説明をさらに提供することが意図されることを理解されたい。
【図面の簡単な説明】
【0014】
図1】本発明による、さまざまなモジュールを伴うシステムの実施形態を例示する構造図である。
図2】本発明による、頭部装着可能機器として両眼視を改善するためのシステムの実施形態を例示する概略図である。
図3】本発明による、仮想画像モジュールの実施形態を例示する概略図である。
図4】本発明による、2つの異なる深度の間で仮想対象物を動かす実施形態を例示する概略図である。
図5A】本発明による、多数の異なる深度の間で仮想対象物を動かす実施形態を例示する概略図である。
図5B】本発明による、多数の異なる深度の間で仮想対象物を動かす実施形態を例示する概略図である。
図5C】本発明による、多数の異なる深度の間で仮想対象物を動かす実施形態を例示する概略図である。
図6A】本発明による、仮想対象物の動きに追従する、視力の弱い眼の動きの実施形態を例示する概略図である。
図6B】本発明による、仮想対象物の動きに追従する、視力の弱い眼の動きの実施形態を例示する概略図である。
図7A】本発明による、異常な眼の例を示す概略図である。
図7B】本発明による、異常な眼の例を示す概略図である。
図7C】本発明による、異常な眼の例を示す概略図である。
図7D】本発明による、異常な眼の例を示す概略図である。
図8】本発明による、見る人の眼の情報に基づき光の方向および角度を調節する実施形態を例示する概略図である。
図9】本発明による、コントラスト感度関数の例を示す写真である。
図10】本発明による、異なる表示深度が原因で仮想対象物の空間周波数を調節する実施形態を例示する概略図である。
図11A】本発明による、見る人の眼の凝視に基づき第1の仮想対象物を動かして第2の仮想対象物に重ねる実施形態を例示する概略図である。
図11B】本発明による、見る人の眼の凝視に基づき第1の仮想対象物を動かして第2の仮想対象物に重ねる実施形態を例示する概略図である。
図12】本発明による、仮想両眼画素と、正常画素と調節画素の対応する対との間の関係を例示する概略図である。
図13】本発明による、光信号発生器から結合器に、そして見る人の網膜に至る光路を例示する概略図である。
図14】本発明による、正常光信号および調節光信号により形成される仮想両眼画素を例示する概略図である。
図15】本発明による、ルック・アップ・テーブルの実施形態を例示するテーブルである。
【発明を実施するための形態】
【0015】
以下で提示する記述で使用する専門用語は、技術のある種の特有の実施形態についての詳細な記述に関連して使用されるとしても、その用語の最も広い合理的な手法で解釈されることが意図される。ある種の用語は、以下で強調される場合さえあるが、しかしながら、任意の制限された手法で解釈されることを意図されるどんな専門用語も、この「発明を実施するための形態」の節でそのようなものとして具体的に規定される。
【0016】
本開示は、一方の眼が他方の眼よりも異常なまたは視力の弱い見る人の両眼視を改善するためのシステムおよび方法に関する。何人かは、病気または事故により斜視(外斜視、下斜視、上斜視、内斜視を含む)、弱視(amblyopia、lazy eye)、輻輳障害、および他の眼球運動障害という症状など、一方の眼が他方の眼よりも異常に、または視力が弱く生まれる。
正常な眼は、見る人の右眼であっても左眼であってもよい第1の眼50を指す。視力の弱い方の眼または異常な眼(集合的に「弱い眼」)は、見る人の右眼であっても左眼であってもよい第2の眼60(正常な眼以外の残りの眼)を指す。本開示は、見る人の眼の情報に基づき、2つの異なる深度の間で動いている仮想画像を生成して見る人の視力の弱い眼を刺激し、次いで強化/治療して最終的に、見る人の両眼視を改善する、またはさらには回復させるシステムおよび方法について記述する。
【0017】
図1に示すように、両眼視を改善するためのシステムは、視標追跡モジュール110および仮想画像モジュール120を備える。視標追跡モジュール110は、見る人の眼を追跡して、見る人のそれぞれの眼の眼球運動、瞳孔の場所、瞳孔サイズ、凝視角(視野角)、および輻輳角など、眼の関連情報を提供するように構成される。視標追跡モジュールは、第1の眼を追跡する第1のカメラ112および第2の眼2を追跡する第1のカメラ114を備えてよい。仮想画像モジュール120は、見る人の両方の瞳孔の位置など、見る人の眼の情報に基づき、見る人の第1の眼に多数の正常光信号を投影して正常画像を形成し、かつ見る人の第2の眼に、対応する多数の調節光信号を投影して調節画像を形成することにより、第1の仮想対象物を表示するように構成される。
仮想画像モジュール120は、正常光信号発生器10、正常結合器20、調節光信号発生器30、および調節結合器40を含む。正常光信号発生器10は、正常結合器20により向きを変えられて、見る人の第1の眼の中に投影して正常画像を形成する多数の正常光信号を生成する。調節光信号発生器30は、調節結合器40により向きを変えられて、見る人の第2の眼の中に投影して調節画像を形成する多数の調節光信号を生成する。仮想画像モジュール120は、データを処理および記憶する制御ユニット125をさらに含んでよい。
【0018】
システム100は、VEP測定モジュール130、ユーザインタフェース140、実対象物測定モジュール150、およびフィードバックモジュール160をさらに備えてよい。VEP測定モジュール130は、視覚刺激に応答して視覚野で生成される電気信号である、見る人の眼のVEPを測定する。仮想画像モジュール120は、見る人のいずれかの眼または両眼のVEPに基づきある手法で仮想対象物を表示してよい。
ユーザインタフェース140は、見る人または訓練者がシステム100のさまざまな機能を制御できるようにする。ユーザインタフェース140は音声、手ぶり、指/足の動きによりペダル、キーボード、マウス、ノブ、スイッチ、スタイラス(登録商標)、ボタン、スティック、タッチ画面などの形で動作させられてよい。実対象物測定モジュール150は、第1の仮想対象物と相互作用する実対象物の場所および深度を測定する。実対象物測定モジュール150はまた、環境の画像およびビデオを取り込んでよい。フィードバックモジュール160は、所定の条件を満たす場合、見る人に音響および振動などのフィードバックを提供する。外部サーバ170は、システム100の一部ではなく、より複雑な計算のために追加の計算能力を提供できる。これらのモジュールの各々および外部サーバは、有線または無線の手法で互いに通信してよい。無線の手法は、Wi-Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信(near field communication、NFC)、インターネット、電気通信、無線周波数(radio frequency、RF)などを含んでよい。
【0019】
図2に示すように、システム100は、見る人の頭部に装着可能な支持構造をさらに含む。正常光信号発生器10、調節光信号発生器30、正常結合器20、および調節結合器40は、支持構造により支持される。一実施形態では、システムは、仮想現実(virtual reality、VR)ゴーグルおよび1個の拡張現実(augmented reality、AR)/復号現実(mixed reality、MR)メガネなどの頭部装着可能機器である。
この状況では、支持構造は、1個のメガネのレンズありまたはなしのフレームであってよい。レンズは近視、遠視などを補正するために使用する処方レンズであってよい。それに加えて、第1のカメラ112および第2のカメラ114を含む視標追跡モジュールは、見る人の両眼を追跡する支持構造により保持される。実対象物測定モジュール150はまた、実対象物の場所および深度を測定する支持構造により保持されてよい。
【0020】
視標追跡モジュール110は、少なくとも見る人の両方の瞳孔の場所を追跡するように構成される。それに加えて、視標追跡モジュールは、見る人のそれぞれの眼の眼球運動、瞳孔サイズ、凝視角(視野角)、および輻輳角を含むがそれらに限定されない、見る人の眼に関する情報をより多く提供するように構成されてよい。そのような眼の情報を使用して、仮想対象物に関する光信号を投影する方向および場所だけではなく見る人の凝視場所および凝視深度を決定してもよい。この場合も視標追跡モジュールは、第1の眼50を追跡する第1のカメラ112および第2の眼60を追跡する第2のカメラ114を備えてよい。
【0021】
従来の視標追跡モジュールに加えて、第1のカメラ112および第2のカメラ114は、超小型微小電気機械システム(micro-electromechanical system、MEMS)の技術により構築されてよい。第1のカメラ112および第2のカメラ114は、赤外線の放出器およびセンサを使用して、さまざまな眼の情報を検出および導出してよい。視標追跡モジュール110は、集積慣性測定装置(inertial measurement unit、IMU)、ならびに加速度計、ジャイロスコープ、および場合によっては磁気計の組合せを使用して身体の特有の力、角速度、および場合によっては身体の配向を測定および報告する電子機器をさらに含んでよい。
【0022】
図3に示すように、仮想画像モジュール120は、両方の瞳孔52、62の位置など、見る人の眼の情報に基づき、見る人の第1の眼50に多数の正常光信号を投影して正常画像122を形成し、かつ見る人の第2の眼60に、対応する多数の調節光信号を投影して調節画像124を形成することにより、テニスボールなどの第1の仮想対象物70を表示するように構成される。
第1の仮想対象物70は、第1の目標場所および第1の目標深度(集合的に「第1の目標位置」または「T1」)に表示される。仮想画像モジュール120は、NLS_1に関する12、NLS_1に関する14、およびNLS_3に関する16など、多数の正常光信号を生成する正常光信号発生器10、見る人の正常網膜54に向けて多数の正常光信号の向きを変える正常結合器20、ALS_1に関する32、ALS_2に関する34、およびALS_3に関する36など、多数の調節光信号を生成する調節光信号発生器30、ならびに見る人の調節網膜64に向けて多数の調節光信号の向きを変える調節結合器40を含む。見る人は、正常瞳孔52および正常網膜54を包含する正常な眼50、ならびに調節瞳孔62および調節網膜64を包含する視力の弱い眼60を有する。人間の瞳孔の直径は一般に、一部は環境光に応じて2mm~8mmの範囲にわたることがある。成人の正常な瞳孔サイズは、明るい光の中で直径が2mmから4mmまで、暗闇の中で4mmから8mmまで変動する。
多数の正常光信号は、正常結合器20により向きを変えられ、正常瞳孔52を通り、最終的に正常網膜54により受信される。正常光信号NLS_1は、見る人の正常な眼が特有の水平面上で見ることができる右側に最も遠い光信号である。正常光信号NLS_2は、見る人の正常な眼が同じ水平面上で見ることができる左側に最も遠い光信号である。向きを変えられた正常光信号を受信すると、見る人は、向きを変えられた正常光信号NLS_1およびNLS_2の広がりにより境界を定められる領域A内の第1の目標位置T1に第1の仮想対象物70に関する(正常画像を形成する)多数の正常画素を知覚する。領域Aは、正常な眼50に関する視界(field of view、FOV)と呼ばれる。同様に多数の調節光信号は、調節結合器40により向きを変えられ、調節瞳孔62の中心を通り、最終的に調節網膜64により受信される。調節光信号ALS_1は、見る人の視力の弱い眼が特有の水平面上で見ることができる右側に最も遠い光信号である。調節光信号ALS_2は、見る人の視力の弱い眼が同じ水平面上で見ることができる左側に最も遠い光信号である。向きを変えられた調節光信号を受信すると、見る人は、向きを変えられた調節光信号ALS_1およびALS_2の広がりにより境界を定められる領域B内に仮想対象物70に関する(調節画像を形成する)多数の調節画素を知覚する。
領域Bは、弱い眼60に関する視界(FOV)と呼ばれる。領域Aおよび領域Bと重なった領域C内に多数の正常画素と調節画素の両方が表示されるとき、1つの正常画素を表示する少なくとも1つの正常光信号、および1つの調節画素を表示する対応する調節光信号を融合して領域C内に特有の深度に仮想両眼画素を表示する。第1の目標深度D1は、見る人の網膜の中に投影される向きを変えられた正常光信号16’と向きを変えられた調節光信号36’の角度Θ1に関係がある。そのような角度はまた輻輳角と呼ばれる。
【0023】
上記で記述するように、見る人の第1の眼50は、第1の仮想対象物70の正常画像122を知覚し、見る人の第2の眼60は、第1の仮想対象物70の調節画像124を知覚する。適切な画像融合機能を伴う見る人については、見る人の脳が正常画像122および調節画像124を融合して1つの両眼仮想画像にするので、見る人は、第1の目標場所および第1の目標深度に単一の第1の仮想対象物を知覚する。しかしながら、見る人は、眼の視力が弱い場合、適切な画像融合機能を有しないことがある。この状況では、見る人の第1の眼50および第2の眼60は、第1の正常画像の場所および深度に正常画像122を、第1の調節画像の場所および深度に調節画像124をそれぞれ知覚することがある(複視)。第1の正常画像の場所および深度は、第1の調節画像の場所および深度に近いことがあるが、それらと異なることがある。それに加えて、第1の正常画像と第1の調節画像の両方の場所および深度は、第1の目標場所および第1の目標深度に近いことがある。この場合も、第1の目標深度D1は、見る人の眼の中に投影される第1の正常光信号16’と、対応する第1の調節光信号36’の間の第1の角度Θ1に関係がある。
【0024】
さらに、正常画像122を知覚する見る人の第1の眼50および調節画像124を知覚する見る人の第2の眼60については、仮想画像モジュール120は、視標追跡モジュール110が提供する見る人の瞳孔の場所に基づき、見る人の第1の眼50および第2の眼60の中にそれぞれ投影される多数の正常光信号および対応する多数の調節光信号の方向および場所を調節する必要があることがある。
【0025】
仮想画像モジュール120は、第1の目標位置T1から第2の目標場所および第2の目標深度(集合的に「第2の目標位置」または「T2」)に動いている第1の仮想対象物を70表示する。第1の目標深度D1は、第2の目標深度D2と異なる。第2の目標深度D2は、第2の正常光信号16’と、対応する第2の調節光信号38’間の第2の角度Θ2に関係がある。見る人の両方の瞳孔の、詳細には視力の弱い眼の見る人の両方の瞳孔の場所および追跡能力を含む、視標追跡モジュールから得られる情報は、第2の目標場所および第2の深度を選択するために考慮すべき要素である。見る人の眼の追跡能力は、瞳孔が第1の仮想対象物の動きに追従するかどうか、およびどれだけすぐに追従するかにより評価できる。見る人の眼の追跡能力がよいほど、それだけ第2の目標位置は、第1の標的位置から遠く離れていてよい。
仮想画像モジュール120が、第1の目標位置T1に第1の仮想対象物70を表示後、視覚が存続する期間、たとえば1/8秒の範囲内で第2の目標位置T2に第1の仮想対象物70を表示するとき、見る人の眼は、第1の目標位置T1から第2の目標位置T2に動いている第1の仮想対象物70を知覚し、その動きに追従する。その結果、2つの視覚深度平面の間で第1の仮想対象物70が動くことにより、円滑性追跡眼球運動および輻輳眼球運動(vergence eye movement)を含む視力の弱い眼の動きが高まり、より多くの刺激が視力の弱い眼に提供される。その結果、視力の弱い眼の視覚は改善され、その上、画像融合機能を含む両眼視は、最終的に再確立されてよい。
【0026】
図4に示す一実施形態では、仮想画像モジュール120が第1の目標位置T1から第2の目標位置T2に動いている第1の仮想対象物70を表示するとき、見る人の第2の眼60に投影される調節光信号は、見る人の第1の眼50に投影される正常光信号よりも多く光の方向が変化する。換言すれば、Θ4はΘ3よりも大きい。その結果、視力の弱い眼は、正常な眼よりも多く動いて(運動して)第1の仮想対象物70の動きに追従しなければならない。斜視および弱視の状態では、視力の弱い眼が正常な眼よりも運動するほど、それだけ速く2つの眼の間の視覚の相違は小さくなることも、さらにはなくなることさえもある。
図5A図5Cに示す別の実施形態では、見る人の第1の眼50に投影される正常光信号は、仮想画像モジュール120が第1の目標位置T1から第2の目標位置T2に動いている仮想対象物70を表示するとき、光の方向を変えない。この状況では、見る人の第1の眼50は、まったく動く必要がなく、一方、見る人の第2の眼は、より多く動いて第1の仮想対象物の動きに追従しなければならない。上記で記述する理由に基づき、視力の弱い眼は、すべての動きを行うよう強制されるので、斜視の状態は、より効率的に治療されることがある。
【0027】
第1の仮想対象物70が第1の目標位置T1から第2の目標位置T2に動いた後、仮想画像モジュール120は、第2の目標位置から第3の目標場所および第3の目標深度(集合的に「第3の目標位置」または「T3」)に動いている第1の仮想対象物70をさらに表示してよい。この場合も、第2の目標位置T2から第3の目標位置T3への動きについては、2つの代替実施形態によれば、(1)見る人の第2の眼60に投影される調節光信号は、見る人の第1の眼50に投影される正常光信号よりも多く光の方向を変えることがあり、(2)見る人の第1の眼50に投影される正常光信号は、図5A図5Cに示すように光の方向を変えないことである。同様に、仮想画像モジュール120は、訓練プログラムの必要に応じて、T1→T2→T3→T4など、いくつかの目標位置を連続的に通って動いている第1の仮想対象物70を表示してよい。
【0028】
複雑化を回避するために、図4および図5A図5Cは、第1の仮想対象物70の動きに追従する瞳孔の動きを例証していない。図6Aおよび図6Bは、第1の仮想対象物70が第1の目標位置T1から第2の目標位置T2に動くとき、第2の眼60は、実際には左手側から中央に動き、一方、第1の眼50は、ほぼ同じ場所に留まることを示す。
【0029】
さらに、見る人が目標深度に仮想対象物を知覚するために、視標追跡モジュール110および仮想画像モジュール120を含むシステム100は、見る人に関して最初に較正される必要があってよい。あらゆる見る人の眼は、瞳孔間距離(interpupillary distance、IPD)を含む、異なる物理的特性を有するので、システムは、見る人の眼の中に投影される正常光信号および調節光信号を用いて、見る人が目標深度に表示される仮想対象物を知覚することを確実にするために、見る人に関して具体的に較正されなければならない。
【0030】
視標追跡モジュール110から得られる、瞳孔の場所、瞳孔サイズ、凝視角(視野角)、輻輳角などの見る人の眼の情報を仮想画像モジュール120が使用して、第1の仮想画像70の動きの方向および速度を決定してよい。たとえば、弱い眼60が第1の仮想対象物70の動きに追従できないとき、仮想画像モジュール120は、第1の仮想対象物70を動かして、見る人の視力の弱い眼60が依然として調節画像を知覚して動きを遅くすることができる前の位置に戻してよい。仮想画像モジュール120または、見る人の眼の情報を使用して正常光信号および調節光信号の方向および角度を決定して、両方の眼が、詳細には視力の弱い眼60が、光信号を受信して第1の仮想対象物70を知覚することができることを確実にしてよい。
図7A図7Dは下斜視(眼が下方に向く)、上斜視(眼が上方に向く)、外斜視(眼が外を向く)、および内斜視(眼が中を向く)という4つの状態それぞれを示し、4つの状態では、視力の弱い眼60の瞳孔は、正常な眼50の瞳孔と協調するためにランダムに向きを変えることができない。図8に示すように、一例として外斜視を使用すると、仮想画像モジュール120は、弱い眼60が調節画像を知覚できるように正常光信号および調節光信号の方向および角度をそれぞれ調節してよい。
【0031】
いくつかの実施形態では、システム100を使用して外斜視および他の類似の状態を補正してよい。仮想画像モジュール120は、見る人の眼60に向けて、および/または見る人の眼60から離れてゆっくりと動いている第1の仮想対象物70を表示してよい。視標追跡モジュール110は瞳孔の場所、瞳孔サイズ、および視野角など、見る人の眼の情報を仮想画像モジュール120に提供し、仮想画像モジュール120はそれに応じて、正常な眼が正常画像を知覚する正常光信号を、視力の弱い眼が調節画像を知覚する調節光信号をそれぞれ投影する。次いで仮想画像モジュール120は、補正するために、適切な方向に向けて、視力の弱い眼の最初の場所から離して調節画像をわずかに動かす。その結果、視力の弱い眼の人が知覚する調節画像は、わずかにぼやけるようになってよく、および/または見る人の両眼は、複視(そのとき、正常画像が調節画像から分離されるように画像融合は失敗する)を知覚する。
人間の脳には、両眼の輻輳調節(vergence accommodation)を自動的に遂行して、対象物の明瞭な画像を得る傾向および能力がある。その結果、見る人は、自分の視力の弱い眼の向きをわずかに変えて、明瞭な画像を再び得ようと、または複視を回避しようと試みることがある。見る人が成功するとき、フィードバックモジュール160は、見る人に音響または振動などのフィードバックを提供してよい。仮想画像モジュール120は、見る人の2つの眼の誤整列を低減してよいように、調節画像を反復して前後に動かして視力の弱い眼を訓練して、適切な方向に眼を向けてよい。
【0032】
見る人の視力の弱い眼60の視覚を改善するために、仮想画像モジュール120は、見る人の第2の眼60に関する調節画像124のコントラストおよび空間周波数と見る人の第1の眼50に関する正常画像122のコントラストおよび空間周波数を区別してよい。具体的には、仮想画像モジュール120は、対応する正常画像124よりも高いコントラストまたは低い空間周波数を有する調節画像122を生成するように構成される。仮想画像モジュール120は、見る人の視力の弱い眼60がより強い刺激を受け取って調節画像124を明瞭に知覚するように、視力の弱い眼のコントラスト感度関数に少なくとも一部は基づき調節画像122に関する適切なコントラストおよび空間周波数を選択してよい。
それぞれの眼は、図9に例を示すそれ自身のコントラスト感度関数を有する。仮想画像モジュール120は、正常な眼50がより少なく刺激を受け取って、より低いコントラストおよび高い空間周波数で正常画像122を知覚するように正常画像122のコントラストおよび/または空間周波数を調節してよい。その結果、弱い眼60を運動させ、より多く訓練して、見る人の視覚に寄与する。両眼視を改善するためのシステム100がなければ、見る人は、明瞭な画像を提供できない自分の視力の弱い眼を運動させることを避け、その結果、視力の弱い眼60はさらに視力が弱くなり、またさらには盲目にさえなる。
【0033】
コントラストは、対象物(または画像もしくは表示での対象物の表現)を識別可能にする輝度または色の違いである。現実世界の視覚認知では、コントラストは、対象物および同じ視界の範囲内にある他の対象物の色および明るさの違いにより決定される。コントラスト感度試験を通して、水平軸上の角周波数および垂直軸上のコントラストしきい値を用いて、見る人の眼のコントラスト感度曲線(コントラスト感度関数としても知られる)をプロットできる。そのような試験のために見る人に示される画像は、垂直座標上の変動するコントラストおよび水平座標上の角周波数を有する。
見る人は、正弦波格子として公知の、幅およびコントラストが変動する平行な格子を順次見て曲線をプロットする。格子の幅および離れた格子の距離は、1度あたりのサイクルで測定した角周波数を表す。低レベルおよび高レベルの角周波数と比較して1度あたりおよそ5~7サイクルの中レベルの角周波数は、大部分の個人により最適に検出されることを研究は実証している。コントラストしきい値は、患者が分解できる最小コントラストとして規定できる。
【0034】
上記で記述するように、仮想画像モジュール120は、より高いコントラストおよび/またはより低い空間周波数で、見る人の視力の弱い眼60に調節画像124を投影してよい。以下はいくつかの例である。
より高いコントラストについては、調節画像124は、正常画像122よりも高い輝度を有し、調節画像124は、色彩に富んでおり、一方、正常画像122は(階調を伴う)白黒であり、調節画像124は緑色であり、一方、正常画像122は赤色である。より低い空間周波数については、調節画像124は、画像の前景図であり、一方、正常画像122は、同じ画像の背景図である。仮想画像モジュール120は、最初に画像を分割してより低い空間周波数部分およびより高い空間画像部分にし、次いで視力の弱い眼60に前景図など、より低い空間周波数部分を、正常な眼50に背景図など、より高い空間周波数部分を投影する。この状況では、調節画像124および正常画像122は、異なるパターンおよび空間周波数が原因で異なって見えるが、同じ画像から得られるので、調節画像124(より低い空間周波数部分)は、両眼視のために正常画像122(より高い空間周波数部分)に十分に関係づけられる。
【0035】
図10に示すように、異なる目標深度を伴う異なる位置を通して仮想画像モジュール120が第1の仮想対象物70を動かす間、目標深度に従って第1の仮想対象物70の空間周波数を調節してよい。より大きな目標深度を伴う位置に同じ仮想対象物を動かすとき、正確に同じ仮想対象物の空間周波数は、その対象物が見る人からさらに離れるので自動的に増大する。その結果、視力の弱い眼60は、仮想対象物が見る人から離れて動くときに仮想対象物を明瞭に知覚するのが困難なことがある。
見る人の視力の弱い眼が調節画像の明瞭な知覚を維持するために、仮想画像モジュールは、調節画像と正常画像の両方を含む第1の仮想対象物の空間周波数を調節してよい。その結果、第1の仮想対象物は、より大きな深度で表示されるときに、より低い空間周波数を有する。図10に示すように、より大きな深度を伴う位置に、たとえば第1の目標位置T1から第2の目標位置T2に、次いで第3の目標位置T3に第1の仮想対象物70を動かすとき、第1の仮想対象物70の空間周波数を低減して、上記の問題を克服する。
【0036】
両眼視を改善するためのシステム100は、見る人の眼の視覚誘発電位(VEP)を測定するVEP測定モジュール130をさらに含んでよい。VEPは、視覚刺激に応答して視覚野に発生した電気信号を測定する。VEPは、信号平均化により脳波から抽出された、視覚野に重なる頭皮から記録された電位を指す。記録用電極は通常、頭の後ろにある後頭部頭皮の正中線上に置かれる。
VEPを使用して視神経、眼から脳の視覚野への視覚路、および後頭葉皮質の機能的統合性を定量化する。その結果、VEPは、仮想画像モジュールのための重要な情報を提供して、第1の仮想対象物70を動かす速度および方向を含む、第1の仮想対象物を表示する手法、ならびに調節画像124のコントラストおよび空間周波数を調節する。
【0037】
VEP測定モジュール130は、見る人のいずれかの眼または両眼のVEPを絶えず測定してよく、仮想画像モジュールにそのような情報を提供してよい。測定は、リアルタイムの手法で頻繁に、または見る人の弱い眼が何らかの改善を示した後に時折行われてよい。VEPは、見る人の視力の弱い眼が調節画像を知覚できる範囲を反映してよい。
VEPはまた、見る人の眼が、詳細には視力の弱い眼が、ある期間の間に凝視するかどうかを反映してよい。たとえば、見る人の視力の弱い眼が凝視を失っていくらか動くとき、視力の弱い眼のVEPは変動してよい。それにもかかわらず、見る人の視力の弱い眼が凝視を維持するとき、視力の弱い眼のVEPは、ほぼ同じのままであってよい。したがって、仮想画像モジュールは、見る人のいずれかの眼または両眼のVEPに基づき、適切なコントラストおよび空間周波数、ならびに第1の仮想対象物の動きの方向および速度を選択することを含み、第1の仮想対象物を表示してよい。
【0038】
仮想画像モジュール120は、システムがVEP測定モジュールを含まない場合でさえ、見る人のいずれかの眼または両眼のVEPに基づき第1の仮想対象物70を表示してよい。別個のVEP測定モジュールは、有線または無線の手法を介してシステムに見る人のいずれかの眼または両眼のVEPを伝達してよい。無線の手法は、Wi-Fi、Bluetooth、近距離無線通信(NFC)、インターネット、電気通信、無線周波数(RF)などを含んでよい。見る人のいずれかの眼または両眼のVEPはまた、システムのユーザインタフェース、たとえばキーボードおよびマウスを介してシステムに入力されてよい。
【0039】
両眼視を改善するためのシステム100は、適切なコントラストおよび空間周波数で調節画像を投影して、見る人の視力の弱い眼を十分に強い刺激で運動させることから始まる。見る人の視力の弱い眼がより強くなるとき、仮想画像モジュールは、見る人の視力の弱い眼が調節画像を依然として明瞭に知覚できる間、調節画像が正常画像に非常に近くなるまで調節画像のコントラストを徐々に低下させてよい、および/または調節画像の空間周波数を徐々に増大させてよい。同時に、第1の位置から第2の位置に第1の仮想対象物を動かすことにより、動きに追従して第1の仮想対象物の深度を知覚するように、見る人の視力の弱い眼を訓練する。
見る人が凝視を実施できるとき、仮想画像モジュールは、視標追跡モジュールが提供する見る人の凝視場所および凝視深度(集合的に「凝視位置」)に第1の仮想対象物を表示してよい。見る人が第1の凝視場所および第1の凝視深度(集合的に「第1の凝視位置」または「F1」)から第2の凝視場所および第2の凝視深度(集合的に「第2の凝視位置」または「F2」)に自分の凝視を動かすとき、仮想画像モジュールは、見る人の凝視に従って第1の仮想画像を動かす。
【0040】
見る人の凝視の動きに従って第1の仮想対象物を動かす上記の機構を採用して、多くのゲームが、凝視および画像融合という見る人の能力を訓練するように設計されてよい。仮想画像モジュールは、所定の場所および所定の深度に第2の仮想対象物75を表示してよい。見る人が自分の凝視を動かして、所定の期間の間に第1の仮想対象物を第2の仮想対象物の所定の空間範囲内で動かす、または第2の仮想対象物に重ね合わせるとき、第2の仮想対象物は、第1の仮想対象物と相互作用するように改変される。
図11Aおよび図11Bに示す第1の例では、第1の仮想対象物70は、見る人の凝視に従ってF1からF2に、さらにF3に動かされる照準カーソルであり、第2の仮想対象物75は、空中戦闘機などの射撃の標的である。第1の仮想対象物70、たとえば照準カーソルを動かして第2の仮想対象物75、たとえば空中戦闘機に重ね合わせるとき、第2の仮想対象物75は、爆発を表示して、第2の仮想対象物75が命中して破壊されたというフィードバックを見る人に提供するように改変される。
第2の例では、第1の仮想対象物は、ボーリングボールであり、第2の仮想対象物は、1組のボーリングピンである。そのとき、見る人が自分の凝視を動かしてボーリングボールを1組のボーリングピンに重ね合わせる(1組のボーリングピンに命中する)。仮想画像モジュールは、全ボーリングピンの中の一部が倒れることを表示して命中に応答し、見る人にフィードバックを提供する。
第3の例では、第1の仮想対象物は、第2の仮想対象物である追加ブロックを「食べる」ように見る人の凝視により動かされる複数のブロックを備える「スネーク(snake)」である。これらのブロックは、異なるコントラストおよび空間周波数でさまざまなパターンを組み合わせることにより形成されてよい。その結果、「スネーク」を動かすことにより、見る人の視覚野の刺激は強化され、より良好なトレーニング結果が助長される。
【0041】
システム100は、現実と相互作用してよい。上記のシューティングゲームの例に類似して、見る人は、自分の凝視を動かして所定の期間の間、テーブル上のティーポットなどの実対象物の所定の空間範囲内で照準カーソルなどの第1の仮想対象物を動かしてよい。そのとき、仮想画像モジュールは、フィードバックとして花火などの仮想対象物を表示して、実対象物にうまく命中したことを、見る人に示す。訓練ゲームの所定の空間範囲、所定の期間、フィードバックのための仮想対象物などのフィードバック条件および他のパラメータは、見る人または訓練者によりあらかじめ設定されてよい。その結果、訓練ゲームは、照準カーソルが3秒間実対象物に重ならなければならないことを要求するように設定されてよい。
【0042】
システム100は、壁に掛かっている時計および絵画などの実対象物の場所および深度を測定する実対象物測定モジュール150をさらに含んでよい。実対象物は、遠隔制御飛行機および犬など、動いている対象物であってよい。システムの他のモジュールに接続されるように構成された実対象物測定モジュール150は、自身(または見る人)を基準にして実対象物の場所および深度を連続的または周期的に測定して、仮想画像モジュールに関連情報を伝達して、フィードバック条件が満たされたかどうかを判断してよい。たとえば、そのような情報を受信すると、制御モジュール125は、照準カーソルなどの第1の仮想対象物と実対象物の間の空間距離を計算して、第1の仮装対象物が実対象物に重なるかどうかを判断してよい。実対象物と実対象物測定モジュール150(または見る人の眼)の間の距離は、時間を通して変化してよい。一状況では、遠隔制御飛行機などの実対象物105は、ゲーム中に動いてよい。別の状況では、システム100は、患者などの見る人により装着されてよく、見る人は、ゲーム中に自分の頭を動かしてよい。その結果、フィードバック条件が満たされたかどうかを正確に決定するために、実対象物と見る人の眼の間の距離を測定および計算する必要がある。実対象物測定モジュール150は、実対象物の場所および深度の変動に正確に追従するジャイロスコープ、室内/室外全地球測位システム(global positioning system、GPS)、および距離測定構成要素(たとえば、放射体およびセンサ)を含んでよい。
【0043】
爆発した飛行機などの仮想対象物をフィードバックとして表示することに加えて、システム100は、音響および振動など、他のタイプのフィードバックを提供してよい。その結果、システム100は、フィードバック条件が満たされたとき、見る人へのフィードバックを生成するフィードバックモジュール160をさらに含んでよい。フィードバックモジュールは、爆発音などの音を提供するスピーカ、またはさまざまなタイプの振動を提供する振動発生器であってよい。フィードバックのタイプは、ユーザインタフェース140を通して、見る人または訓練者により設定できる。
【0044】
仮想画像モジュール120、ならびに所定の場所および深度に仮想画像70、75を生成する方法だけではなく、望むように仮想画像を動かす方法についても以下で詳細に論じる。2020年11月6日に提出された、「SYSTEM AND METHOD FOR DISPLAYING AN OBJECT WITH DEPTHS(深度を有する対象物を表示するためのシステムおよび方法)」と題する国際公開第PCT/US20/59317号は、全体が本明細書に援用される。
【0045】
図12に示すように、見る人は、自身の前で領域C内にテニスボール70という第1の仮想対象物を知覚する。第1の目標位置T1(深度D1を伴う)に表示されたテニスボール仮想対象物70の画像は、第1の仮想両眼画素72(その中心点)により表され、第1の仮想対象物70は、第2の目標位置T2(深度D2を伴う)に動くとき、第2の仮想両眼画素74により表される。
第1の向きを変えられた正常光信号16’(第1の正常光信号)と、対応する第1の向きを変えられた調節光信号(第1の調節光信号)36’の間の第1の角度はΘ1である。第1の深度D1は第1の角度Θ1に関係がある。詳細には、第1の仮想対象物70の第1の仮想両眼画素の第1の深度は、第1の向きを変えられた正常光信号の光路の広がりと、対応する第1の向きを変えられた調節光信号の間の第1の角度Θ1により決定できる。その結果、第1の仮想両眼画素72の第1の深度D1は、次式によりおよそ計算できる。
正常瞳孔52と調節瞳孔62の間の距離は、瞳孔間距離(IPD)である。同様に、第2の向きを変えられた正常光信号(第2の正常光信号)18’と、対応する第2の向きを変えられた調節光信号(第2の調節光信号)38’の間の第2の角度はΘ2である。第2の深度D2は、第2の角度Θ2に関係がある。詳細には、T2での仮想対象物70の第2の仮想両眼画素74の第2の深度D2は、同じ式により、第2の向きを変えられた正常光信号の光路の広がりと、対応する第2の向きを変えられた調節光信号の間の第2の角度Θ2によりおよそ決定できる。第2の仮想両眼画素74は、第1の仮想両眼画素72よりも見る人から遠く離れている(すなわち、より大きな深度を伴う)ように、見る人により知覚されるので、第2の角度Θ2は第1の角度Θ1よりも小さい。
【0046】
その上しかしながら、NLS_2に関する向きを変えられた正常光信号16’およびALS_2に関する対応する向きを変えられた調節光信号36’は、第1の深度D1を伴う第1の仮想両眼画素72を一緒に表示する。NLS_2に関する向きを変えられた正常光信号16’は、ALS_2に関する対応する向きを変えられた調節光信号36’と同じまたは異なる視野角の画像を提示してよい。換言すれば、第1の角度Θ1は、第1の仮想両眼画素72の深度を決定するが、NLS_2に関する向きを変えられた正常光信号16’は、ALS_2に関する対応する向きを変えられた調節光信号36’の視差であっても、そうではなくてもよい。その結果、正常光信号および調節光信号の赤、青、および緑(RBG)の色の強さ、ならびに/または明るさは、いくつかの3D効果をよりよく提示するために、影、視野角などが原因でおよそ同じであっても、わずかに異なってもよい。
【0047】
上記で記述するように、多数の正常光信号は、正常光信号発生器10により生成され、正常結合器20により向きを変えられ、次いで正常網膜の上で直接にスキャンされて、右網膜上に正常画像122(図13での正常網膜画像86)を形成する。同様に、多数の調節光信号は、調節光信号発生器30により生成され、調節結合器40により向きを変えられ、次いで調節網膜の上でスキャンされて、調節網膜上に調節画像124(図13での調節網膜画像96)を形成する。
図12に示す実施形態では、正常画像122は、6×6のアレイ内に36の正常画素を包含し、調整画像124は、同じく6×6のアレイ内に36の調節画素を包含する。別の実施形態では、正常画像122は、1280×720のアレイ内に921,600の正常画素を包含してよく、調節画像124は,同じく1280×720のアレイ内に921,600の調節画素を包含してよい。仮想画像モジュール120は、正常網膜上に正常画像122を、調節網膜上に調節画像124をそれぞれ形成し、多数の正常光信号および対応する多数の調節光信号を生成するように構成される。その結果、見る人は、画像融合が原因で領域C内に特有の深度を伴う仮想対象物を知覚する。
【0048】
図12を参照する。正常光信号発生器10から得られる第1の正常光信号16は、正常結合器20により受信および反射される。第1の向きを変えられた正常光信号16’は、正常瞳孔52を通して、見る人の正常網膜に到達して、正常網膜画素R43を表示する。調節光信号発生器30から得られる対応する調節光信号36は、調節結合器40により受信および反射される。第1の向きを変えられた光信号36’は、調節瞳孔62を通して、見る人の調節網膜に到達して、調節網膜画素L33を表示する。
画像融合の結果、見る人は、第1の向きを変えられた正常光信号と、対応する調節光信号の第1の角度により決定される第1の深度D1に第1の仮想対象物70を知覚する。向きを変えられた正常光信号と、対応する調節光信号の間の角度は、正常画素と調節画素の相対的水平距離により決定される。その結果、仮想両眼画素の深度は、仮想両眼画素を形成する正常画素と、対応する調節画素の間の相対的水平距離と逆相関関係がある。換言すれば、見る人が仮想両眼画素をより深く知覚するほど、それだけそのような仮想両眼画素を形成する正常画素と調節画素間のX軸での相対的水平距離は小さくなる。
たとえば、図12に示すように、第2の仮想両眼画素74は、第1の仮想両眼画素72よりも大きな深度を有する(すなわち、見る人から遠く離れている)ように見る人により知覚される。その結果、第2の正常画素と第2の調節画素の間の水平距離は、網膜画像122、124上の第1の正常画素と第1の調節画素の間の水平距離よりも小さい。具体的には第2の仮想両眼画素74を形成する第2の正常画素R41と第2の調節画素L51の間の水平距離は、4画素の長さである。しかしながら、第1の仮想両眼画素72を形成する第1の正常画素R43と第1の調節画素L33の間の距離は、6画素の長さである。
【0049】
図13に示す一実施形態では、光信号発生器から網膜に至る多数の正常光信号および多数の調節光信号の光路が例示されている。正常光信号発生器10から生成された多数の正常光信号は、正常結合器20の上に投影されて、正常結合器画像(RSI)82を形成する。これらの多数の正常光信号は、正常結合器20により向きを変えられ,小さな正常瞳孔画像(RPI)84の中に集光して正常瞳孔52を通過し、次いで最終的に正常網膜54に到達して正常網膜画像(RRI)86(正常画像122)を形成する。RSI、RPI、およびRRIの各々は、i×j画素を備える。
各正常光信号NLS(i,j)は、同じ対応する画素を通してRSI(i,j)からRPI(i,j)に、次いでRRI(x,y)に移動する。たとえば、NLS(5,3)は、RSI(5,3)からRPI(5,3)に、次いでRRI(2,4)に移動する。同様に、調節光信号発生器30から生成された多数の調節光信号は、調節結合器40の上に投影されて、調節結合器画像(LSI)92を形成する。これらの多数の調節光信号は、調節結合器40により向きを変えられ,小さな調節瞳孔画像(LPI)94の中に集光して調節瞳孔62を通過し、次いで最終的に調節網膜64に到達して、調節網膜画像(LRI)96(調節画像124)を形成する。LSI、LPI、およびLRIの各々は、i×j画素を備える。各調節光信号ALS(i,j)は、同じ対応する画素を通してLCI(i,j)からLPI(i,j)に、次いでLRI(x,y)に移動する。たとえば、ALS(3,1)は、LCI(3,1)からLPI(3,1)に、次いでLRI(4,6)に移動する。(0,0)画素は、各画像の左上端にある画素である。
網膜画像内の画素は、結合器画像内の対応する画素に対して右左が反転され、上下が反転される。光信号発生器および結合器の相対的な位置および角度の適切な配列に基づき、各光信号は、光信号発生器から網膜に至るそれ自体の光路を有する。正常網膜上に1つの正常画素を表示する1つの正常光信号と調節網膜上に1つの調節画素を表示する1つの対応する調節光信号の組合せは、見る人により知覚される、特有の深度を伴う仮想両眼画素を形成する。その結果、空間内の仮想両眼画素は、正常網膜画素および調節網膜画素の対、または正常結合器画素および調節結合器画素の対により表すことができる。
【0050】
見る人が領域C内で知覚する仮想対象物は、多数の仮想両眼画素を含んでよいが、この開示では1つの仮想両眼画素により表される。空間内の仮想両眼画素の場所を正確に記述するために、空間内の各場所は3次元(3D)座標を、たとえばXYZ座標を提供される。別の実施形態では、他の3D座標系を使用できる。その結果、各仮想両眼画素は3D座標を、すなわち水平方向、垂直方向、および深度方向を有する。水平方向(またはX軸方向)は、瞳孔間線の方向に沿っている。垂直方向(またはY軸方向)は、顔の中心線に沿っており、水平方向に垂直である。深度方向(またはZ軸方向)は、前額面に垂直であり、水平方向と垂直方向の両方に垂直である。水平方向座標および垂直方向座標は、本発明では集合的に場所と呼ばれる。
【0051】
図14は、正常結合器画像内の画素と調節結合器画像内の画素と仮想両眼画素との間の関係を例示する。上記で記述するように、正常結合器画像内の画素は、正常網膜画像内の画素(正常画素)と1対1対応である。調節結合器画像内の画素は、調節網膜画像内の画素(調節画素)と1対1対応である。しかしながら、網膜画像内の画素は、結合器画像内の対応する画素に対して右左が反転され、上下が反転される。
36(6×6)の正常画素を備える正常網膜画像および36(6×6)の調節画素を備える調節網膜画像については、見る人の両眼のFOVの範囲内にすべての光信号があると仮定して、領域C内に216(6×6×6)の(ドットとして示す)仮想両眼画素が存在する。1つの向きを変えられた正常光信号の光路の広がりは、画像の同じ行で、向きを変えられた各調節光信号の光路の広がりと交差する。同様に、1つの向きを変えられた調節光信号の光路の広がりは、画像の同じ行で、向きを変えられた各正常光信号の光路の広がりと交差する。その結果、空間内の1つの層および6つの層上に36(6×6)の仮想両眼画素が存在する。
通常、交差して仮想両眼画素を形成する光路の広がりを表す2つの近接する線は、図14で平行線として示されるが、これらの線間には小さな角度が存在する。各網膜のおよそ同じ高さ(すなわち、正常網膜画像および調節網膜画像の同じ行)にある正常画素および対応する調節画素は、より早く融合する傾向にある。その結果、正常画素は、網膜画像の同じ行にある調節画素と対を成して仮想両眼画素を形成する。
【0052】
図15に示すように、仮想両眼画素ごとに正常画素および調節画素の対を識別するのを容易にするためにルック・アップ・テーブルを作成する。たとえば、36(6×6)の正常画素および36(6×6)の調節画素により、1から216まで番号を付けられた216の仮想両眼画素を形成する。第1の(1番目の)仮想両眼画素VBP(1)は、正常画素RRI(1,1)と調節画素LRI(1,1)の対を表す。第2の(2番目の)仮想両眼画素VBP(2)は、正常画素RRI(2,1)と調節画素LRI(1,1)の対を表す。第7の(7番目の)仮想両眼画素VBP(7)は、正常画素RRI(1,1)と調節画素LRI(2,1)の対を表す。第37の(37番目の)仮想両眼画素VBP(37)は、正常画素RRI(1,2)と調節画素LRI(1,2)の対を表す。第216の(216番目の)仮想両眼画素VBP(216)は、正常画素RRI(6,6)と調節画素LRI(6,6)の対を表す。
その結果、見る人のために空間内に仮想対象物の特有の仮想両眼画素を表示するために、対応する正常光信号および調節光信号を生成するために正常画素および調節画素のどの対を使用できるかを決定する。それに加えて、ルック・アップ・テーブル上の仮想両眼画素の各行は、知覚されるVBPの深度(z)および知覚されるVBPの位置(x、y)を記憶するメモリアドレスにつながるポインタを含む。サイズのスケール、重なっている対象物の数、およびシーケンス深度内の深度などのような追加情報もまた、VBPに関して記憶できる。サイズのスケールは、標準的VBPと比較した特有のVBPの相対的サイズ情報であってよい。たとえば、サイズのスケールは、見る人の前方1mにある標準VBPに仮想対象物が表示されたとき、1に設定されてよい。その結果、サイズのスケールは、見る人の前方90cmにある特有のVBPに関して1.2に設定されてよい。同様にそのとき、見る人の前方1.5mにある特有のVBPに関してサイズのスケールは0.8に設定されてよい。
サイズのスケールを使用して、仮想対象物が第1の深度から第2の深度に動くときに表示するための仮想対象物のサイズを決定できる。サイズのスケールは、本発明では倍率であってよい。重なっている対象物の数は、一方の対象物が別の対象物の背後に完全にまたは部分的に隠れるように互いに重なった対象物の数である。シーケンス内深度は、重なっているさまざまな画像の深度のシーケンスに関する情報を提供する。たとえば3つの画像が互いに重なっている。前面にある第1の画像のシーケンス内深度は1に設定されてよく、第1の画像の背後に隠れた第2の画像のシーケンス内深度は2に設定されてよい。重なっている画像の数およびシーケンス内深度を使用して、重なっているさまざまな画像が動いている状態にあるとき、画像のどちらのどの部分を表示する必要があるかを決定してよい。
【0053】
ルック・アップ・テーブルは以下の処理により作成されてよい。第1のステップで、正常網膜画像と調節網膜画像を融合したことが原因で深度を伴う仮想画像を見る人が知覚できる領域Cの境界を指定する、開始または較正の間に仮想画像モジュールにより作成される個々の仮想マップを、見る人のIPDに基づいて得る。第2のステップで、Z軸方向(Z座標での各点)ごとに、X座標およびY座標の場所とは無関係に、正常網膜画像および調節網膜画像上にそれぞれ正常画素と調節画素の対を識別する輻輳角を計算する。第3のステップで、X軸方向に沿って正常画素と調節画素の対を動かして、Y座標の場所とは無関係に特有の深度に正常画素と調節画素の各対のX座標およびZ座標を識別する。第4のステップで、Y軸方向に沿って正常画素と調節画素の対を動かして、正常画素と調節画素の各対のY座標を決定する。その結果、正常網膜画像および調節網膜画像上でそれぞれ正常画素と調節画素の各対の、XYZなどの3D座標系を決定して、ルック・アップ・テーブルを作成できる。それに加えて、第3のステップと第4のステップは交換可能である。
【0054】
光信号発生器10および30は、その光源としてレーザ、またはミニおよびマイクロ発光ダイオード(light emitting diode、「LED」)、有機発光ダイオード(organic light emitting diode、「OLED」)、もしくはスーパールミネッセントダイオード(superluminescent diode、「SLD」)を含む発光ダイオード(「LED」)、またはLCoS(Liquid Crystal on Silicon)、または液晶表示装置(liquid crystal display、「LCD」)、またはそれらの任意の組合せを使用してよい。一実施形態では、光信号発生器10および30は、赤色光レーザ、緑色光レーザ、青色光レーザを含む光源を備えてよいレーザ・ビーム・スキャニング・プロジェクタ(LBSプロジェクタ)、二色性結合器および偏光結合器などの光の色の修正器、ならびに2次元(2D)電気機械システム(「MEMS」)鏡などの2D調節可能反射器である。
2D調節可能反射器は、2つの1次元(1D)MEMS鏡などの2つの1D反射器と置換できる。LBSプロジェクタは、光信号を1つずつ順次に生成およびスキャンして、所定の解像度で、たとえばフレームあたり1280×720画素で2D画像を形成する。その結果、1画素のために1光信号が生成され、結合器20、40に向けて一度に投影される。見る人がそのような2D画像を一方の眼から見るために、LBSプロジェクタは、視覚の存続する期間の範囲内で、たとえば1/18秒の範囲内で画素ごとに光信号を、たとえば1280×720の光信号を順次に生成しなければならない。その結果、各光信号の継続時間は約60.28ナノ秒である。
【0055】
別の実施形態では、光信号発生器10および30は、2Dカラー画像を一度に生成できるデジタル光処理プロジェクタ(digital light processing projector、「DLPプロジェクタ」)であってよい。Texas Instrument社のDLP技術は、DLPプロジェクタを製造するために使用できるいくつかの技術のうちの1つである。たとえば1280×720画素を備えてよい2D単色画像フレームは、合波器20、40に向けて同時に投影される。
【0056】
結合器20、40は、光信号発生器10、30が生成する多数の光信号を受信し、向きを変える。一実施形態では、結合器20、40は、向きを変えられた光信号が結合器20、40の、入射光信号と同じ側にあるように多数の光信号を反射させる。別の実施形態では、結合器20、40は、向きを変えられた光信号が結合器20、40の、入射光信号と異なる側にあるように多数の光信号を屈折させる。そのとき結合器20、40は、屈折器として機能する。反射率は、一部は光信号発生器の電力に応じて20%~80%など、広範囲に変動する可能性がある。当業者は、光信号発生器および結合器の特性に基づき適切な反射率を決定する方法を知っている。なおまた一実施形態では、結合器20、40は、見る人がリアルタイム画像を同時に観察できるように、入射光信号の反対側からの周囲の(環境)光に対して光学的に透明である。透明度は用途に応じて広範に変動する可能性がある。AR/MRの用途では、透明性は、一実施形態では約75%など、50%よりも大きくなることが好ましい。
【0057】
結合器20、40は、部分的に透明に、部分的に反射性にする金属などのある種の材料でコートされた、レンズのようなガラスまたはプラスチック材料から作られてよい。見る人の眼に光信号を誘導するために従来技術の導波管の代わりに反射性結合器を使用する1つの有利な点は、多数の影、色ずれなどのような望ましくない回折効果の問題をなくすことである。
【0058】
実施形態についての上記の説明は、当業者が主題を製作および使用可能にするために提供される。これらの実施形態のさまざまな修正形態は、当業者に容易に明らかになり、本明細書で開示する新規な原理および主題は、革新的能力を使用することなく他の実施形態に適用されてよい。
特許請求の範囲に示す特許請求される主題は、本明細書で示す実施形態に限定することを意図するのではなく、本明細書で開示する原理および新規な特徴と整合性のある最も広い範囲に従うべきである。追加の実施形態は、開示する主題の精神および真の範囲に入ることが企図される。したがって、本発明は、添付の特許請求の範囲およびそれらの均等物の範囲に入る修正形態および変形形態を範囲に含むことが意図される。
図1
図2
図3
図4
図5A
図5B
図5C
図6A
図6B
図7A
図7B
図7C
図7D
図8
図9
図10
図11A
図11B
図12
図13
図14
図15
【国際調査報告】