IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マジック リープ, インコーポレイテッドの特許一覧

<>
  • 特許-コンパニオンデバイスとのペアリング 図1
  • 特許-コンパニオンデバイスとのペアリング 図2
  • 特許-コンパニオンデバイスとのペアリング 図3
  • 特許-コンパニオンデバイスとのペアリング 図4
  • 特許-コンパニオンデバイスとのペアリング 図5
  • 特許-コンパニオンデバイスとのペアリング 図6
  • 特許-コンパニオンデバイスとのペアリング 図7
  • 特許-コンパニオンデバイスとのペアリング 図8
  • 特許-コンパニオンデバイスとのペアリング 図9
  • 特許-コンパニオンデバイスとのペアリング 図10
  • 特許-コンパニオンデバイスとのペアリング 図11
  • 特許-コンパニオンデバイスとのペアリング 図12
  • 特許-コンパニオンデバイスとのペアリング 図13
  • 特許-コンパニオンデバイスとのペアリング 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-02
(45)【発行日】2024-08-13
(54)【発明の名称】コンパニオンデバイスとのペアリング
(51)【国際特許分類】
   G06F 21/44 20130101AFI20240805BHJP
【FI】
G06F21/44
【請求項の数】 18
(21)【出願番号】P 2022186380
(22)【出願日】2022-11-22
(62)【分割の表示】P 2022084319の分割
【原出願日】2018-05-17
(65)【公開番号】P2023022147
(43)【公開日】2023-02-14
【審査請求日】2022-11-22
(31)【優先権主張番号】62/509,427
(32)【優先日】2017-05-22
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ニティン シン
(72)【発明者】
【氏名】エイドリアン ケーラー
【審査官】吉田 歩
(56)【参考文献】
【文献】米国特許出願公開第2015/0089222(US,A1)
【文献】特表2013-503577(JP,A)
【文献】米国特許出願公開第2016/0099774(US,A1)
【文献】特開2016-099702(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 21/44
(57)【特許請求の範囲】
【請求項1】
頭部搭載型ディスプレイシステムであって、
実行可能命令を記憶している非一過性コンピュータ読み取り可能な記憶媒体と、
前記非一過性コンピュータ読み取り可能な記憶媒体と通信している1つ以上のプロセッサと
を備え、
前記1つ以上のプロセッサは、
第1のデバイスから、前記第1のデバイスと前記頭部搭載型ディスプレイシステムとの間の第1の接続を認証するための要求を受信することであって、前記要求は、前記第1のデバイス上のつ以上の発光デバイスによって表示される明滅のパターンでエンコードされている数である第1のデータを備え、前記2つ以上の発光デバイスは、第1の色の光を放出するように構成されている第1の発光デバイスと、第2の色の光を放出するように構成されている第2の発光デバイスとを含み、前記数は、前記数の第1の桁が前記第1の発光デバイスの明滅の数に対応し前記数の第2の桁が前記第2の発光デバイスの明滅の数に対応するように、所定のプロトコルに従って前記明滅のパターンでエンコードされている、ことと、
前記明滅のパターンから前記第1のデータを抽出することと、
認証デバイスに前記第1のデータを伝送することであって、前記認証デバイスは、前記第1のデバイスから受信された第1の共有データと前記第1のデータとの第1の比較に少なくとも部分的に基づいて、前記第1の接続を認証するように構成されている、ことと、
前記認証デバイスから、前記第1の接続の正常認証の確認を受信することと、
前記第1の接続の正常認証の前記確認を受信したことに応答して、
前記第1のデバイスと前記頭部搭載型ディスプレイシステムとの間のデータの双方向通信を許可すること、および、
前記頭部搭載型ディスプレイシステムのユーザに、前記第1の接続が認証されたことを通知すること
を行うことと
を行うための前記実行可能命令によってプログラムされている、頭部搭載型ディスプレイシステム。
【請求項2】
前記第1のデータは、前記第1の共有データと関連付けられている、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項3】
前記第1のデバイスは、前記第1の共有データを認証デバイスに送信するように構成されている、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項4】
前記第1の比較は、前記第1の共有データと前記第1のデータとの間の一貫性を確かめることに少なくとも部分的に基づく、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項5】
前記第1のデバイスおよび前記認証デバイスは、異なるデバイスである、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項6】
前記第1のデバイスと前記頭部搭載型ディスプレイシステムとの間のデータの双方向通信は、通信チャネルを経由して実施される、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項7】
前記つ以上の発光デバイスは、つ以上の発光ダイオード(LED)を含む、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項8】
前記認証デバイスは、クラウドを経由して、前記頭部搭載型ディスプレイシステムおよび前記第1のデバイスと通信する、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項9】
前記1つ以上のプロセッサは、前記頭部搭載型ディスプレイシステムの識別子を前記認証デバイスに伝送するための前記実行可能命令によってさらにプログラムされている、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項10】
前記認証デバイスは、前記識別子に少なくとも部分的に基づいて前記第1の接続を認証する、請求項9に記載の頭部搭載型ディスプレイシステム。
【請求項11】
前記要求は、前記第1のデバイスによって生成される、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項12】
前記第1のデータは、前記第1の共有データに少なくとも部分的に基づいて前記認証デバイスによって生成される、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項13】
前記第1の共有データは、前記第1のデバイスの識別子、発話された語句、発話された語句の1つ以上のスペクトルの質、またはユーザのバイオメトリックデータのうちの1つ以上を備える、請求項1に記載の頭部搭載型ディスプレイシステム。
【請求項14】
ハードウェアプロセッサにより実行されるデバイス認証のための方法であって、
前記ハードウェアプロセッサが、第1のデバイスから、前記第1のデバイスと頭部搭載型ディスプレイシステムとの間の第1の接続を認証するための要求を受信することであって、前記要求は、前記第1のデバイス上のつ以上の発光デバイスによって表示される明滅のパターンでエンコードされている数である第1のデータを備え、前記2つ以上の発光デバイスは、第1の色の光を放出するように構成されている第1の発光デバイスと、第2の色の光を放出するように構成されている第2の発光デバイスとを含み、前記数は、前記数の第1の桁が前記第1の発光デバイスの明滅の数に対応し前記数の第2の桁が前記第2の発光デバイスの明滅の数に対応するように、所定のプロトコルに従って前記明滅のパターンでエンコードされている、ことと、
前記ハードウェアプロセッサが、前記明滅のパターンから前記第1のデータを抽出することと、
前記ハードウェアプロセッサが、認証デバイスに前記第1のデータを伝送することであって、前記認証デバイスは、前記第1のデバイスから受信された第1の共有データと前記第1のデータとの第1の比較に少なくとも部分的に基づいて、前記第1の接続を認証するように構成されている、ことと、
前記ハードウェアプロセッサが、前記認証デバイスから、前記第1の接続の正常認証の確認を受信することと、
前記ハードウェアプロセッサが前記第1の接続の正常認証の前記確認を受信したことに応答して、
前記ハードウェアプロセッサが、前記第1のデバイスと前記頭部搭載型ディスプレイシステムとの間のデータの双方向通信を許可すること、および、
前記ハードウェアプロセッサが、前記頭部搭載型ディスプレイシステムのユーザに、前記第1の接続が認証されたことを通知すること
を行うことと
を含む、方法。
【請求項15】
前記第1のデバイスは、前記第1の共有データを認証デバイスに送信するように構成されている、請求項14に記載の方法。
【請求項16】
前記第1の比較は、前記第1の共有データと前記第1のデータとの間の一貫性を確かめることに少なくとも部分的に基づく、請求項14に記載の方法。
【請求項17】
前記第1のデバイスおよび前記認証デバイスは、異なるデバイスである、請求項14に記載の方法。
【請求項18】
前記第1のデバイスと前記頭部搭載型ディスプレイシステムとの間のデータの前記双方向通信は、通信チャネルを経由して実施される、請求項14に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の引用)
本願は、米国仮特許出願第62/509,427号(2017年5月22日出願、名称「PAIRING WITH COMPANION DEVICE」)に対する優先権の利益を主張し、上記出願の内容は、その全体が参照により本明細書に引用される。
【0002】
(分野)
本開示は、セキュアデータ転送のためのシステムおよび方法に関し、特に、セキュアデータ転送のためのデバイスペアリングおよび認証のためのシステムおよび方法に関する。
【背景技術】
【0003】
(背景)
ユーザデバイス(例えば、頭部搭載型ディスプレイ)とコンパニオンデバイス(例えば、モバイルデバイスまたはトーテム等の別のユーザデバイス)との間でデータをセキュアに転送するために、ユーザデバイスとコンパニオンデバイスとは、互いにペアになる必要がある。互いにペアになるプロセスは、ユーザデバイスが、コンパニオンデバイスがユーザデバイスと通信することが認可されたことを認証することを含み得る。認証後、ユーザデバイスとコンパニオンデバイスとは、共有情報またはデータ(例えば、共有鍵、共有秘密、または共有署名鍵)を確立することができ、それは、これらの2つのデバイス間で転送されるデータを暗号化するために使用されることができる。デバイス間の従来のペアリングプロセスは、煩雑であり、個人識別番号(PIN)を両デバイス上にタイプする等の複数のステップを伴い得る。
【発明の概要】
【課題を解決するための手段】
【0004】
(要約)
一側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、コンパニオンデバイスの画像を捕捉するように構成された画像捕捉デバイスと、コンパニオンデバイスの画像および実行可能命令を記憶するように構成された非一過性コンピュータ読み取り可能な記憶媒体と、画像捕捉デバイスおよび非一過性コンピュータ読み取り可能な記憶媒体と通信しているプロセッサとを備え、プロセッサは、画像捕捉デバイスによって捕捉されたコンパニオンデバイスによって表示される第1の光学パターンの第1の画像を受信することであって、第1の光学パターンは、第1の共有データに基づいて、コンパニオンデバイスによって生成される、ことと、第1のデータを受信された第1の画像内の第1の光学パターンから抽出することと、第1の光学パターンから抽出された第1のデータに基づいて、コンパニオンデバイスを認証することとを行うための実行可能命令によってプログラムされている。
【0005】
別の側面では、デバイス認証のための方法が、開示される。方法は、ハードウェアプロセッサの制御のもとで、通信チャネルを介して、データオブジェクトを受信することと、コンパニオンデバイスによって表示される光学パターンの画像を受信することであって、光学パターンは、共有データを使用して、コンパニオンデバイスによって生成される、ことと、第1のデータを受信された画像内の光学パターンから抽出することと、第1のデータを使用して、データオブジェクトの変換を生成することと、認証のために、通信チャネルを介して、データオブジェクトの変換をコンパニオンデバイスに伝送することとを含む。
【0006】
さらに別の側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、実行可能命令を記憶している非一過性コンピュータ読み取り可能な記憶媒体と、非一過性コンピュータ読み取り可能な記憶媒体と通信しているプロセッサとを備え、プロセッサは、第1の通信をデバイスから受信することであって、第1の通信は、第1の共有データに基づいて、デバイスによって生成される、ことと、第1のデータを第1の通信から抽出することと、第1の通信から抽出された第1のデータに基づいて、デバイスを認証することとを行うための実行可能命令によってプログラムされている。
【0007】
さらなる側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、実行可能命令を記憶している非一過性コンピュータ読み取り可能な記憶媒体と、非一過性コンピュータ読み取り可能な記憶媒体と通信しているプロセッサとを備え、プロセッサは、第1のデータオブジェクトを含む第1の通信を第1のデバイスから受信することであって、第1の通信は、少なくとも部分的に第1の共有データに基づいて生成され、第1のデバイスは、第1の共有データを第3のデバイスに送信するように構成されている、ことと、第2のデータオブジェクトを含む第2の通信を第2のデバイスから受信することであって、第2の通信は、少なくとも部分的に第2の共有データに基づいて生成され、第2のデバイスは、第2の共有データを第3のデバイスに送信するように構成されている、ことと、第1のデータオブジェクトおよび第2のデータオブジェクトを第3のデバイスに伝送することであって、第3のデバイスは、少なくとも部分的に第1のデバイスからの第1の共有データ、第2のデバイスからの第2の共有データ、頭部搭載型ディスプレイシステムからの第1のデータオブジェクト、および頭部搭載型ディスプレイシステムからの第2のデータオブジェクトに基づいて、頭部搭載型ディスプレイシステム、第1のデバイス、および第2のデバイスを認証するように構成されている、ことと、第3のデータオブジェクトを含む第3の通信を第3のデバイスから受信することであって、第3のデータオブジェクトは、第3のデバイスが頭部搭載型ディスプレイシステム、第1のデバイス、および第2のデバイスを正常に認証したことを示すこととを行うための実行可能命令によってプログラムされている。
【0008】
本明細書に開示されるのは、デバイス認証のためのシステムおよび方法である。いくつかの実施形態では、共有情報に基づいてデバイスによって表示される光学パターンの画像を受信した後、システムまたは方法は、情報を受信された画像内の光学パターンから抽出することができる。方法は、光学パターンから抽出された情報に基づいて、デバイスを認証することができる。
【0009】
本明細書に説明される主題の1つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本開示の主題の範囲を定義または限定することを主張するものではない。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
頭部搭載型ディスプレイシステムであって、前記頭部搭載型ディスプレイシステムは、
ディスプレイと、
実行可能命令を記憶している非一過性コンピュータ読み取り可能な記憶媒体と、
前記非一過性コンピュータ読み取り可能な記憶媒体と通信しているプロセッサと
を備え、
前記プロセッサは、
第1のデータオブジェクトを含む第1の通信を第1のデバイスから受信することであって、前記第1の通信は、少なくとも部分的に第1の共有データに基づいて生成され、前記第1のデバイスは、前記第1の共有データを第3のデバイスに送信するように構成さている、ことと、
第2のデータオブジェクトを含む第2の通信を第2のデバイスから受信することであって、前記第2の通信は、少なくとも部分的に第2の共有データに基づいて生成され、前記第2のデバイスは、前記第2の共有データを前記第3のデバイスに送信するように構成さている、ことと、
前記第1のデータオブジェクトおよび前記第2のデータオブジェクトを前記第3のデバイスに伝送することであって、前記第3のデバイスは、少なくとも部分的に前記第1のデバイスからの前記第1の共有データ、前記第2のデバイスからの前記第2の共有データ、前記頭部搭載型ディスプレイシステムからの前記第1のデータオブジェクト、および前記頭部搭載型ディスプレイシステムからの前記第2のデータオブジェクトに基づいて、前記頭部搭載型ディスプレイシステム、前記第1のデバイス、および前記第2のデバイスを認証するように構成されている、ことと、
第3のデータオブジェクトを含む第3の通信を前記第3のデバイスから受信することであって、前記第3のデータオブジェクトは、前記第3のデバイスが前記頭部搭載型ディスプレイシステム、前記第1のデバイス、および前記第2のデバイスを正常に認証したことを示す、ことと、
前記頭部搭載型ディスプレイシステムのユーザに、前記第3のデバイスが前記頭部搭載型ディスプレイを正常に認証したことを通知することと
を行うための前記実行可能命令によってプログラムされている、
頭部搭載型ディスプレイシステム。
(項目2)
前記第3のデバイスは、クラウドを経由して、前記頭部搭載型ディスプレイシステム、前記第1のデバイス、および前記第2のデバイスと通信する、項目1に記載の頭部搭載型ディスプレイシステム。
(項目3)
前記プロセッサは、前記頭部搭載型ディスプレイシステムの識別子を前記第3のデバイスに伝送するための前記実行可能命令によってさらにプログラムされている、項目1に記載の頭部搭載型ディスプレイシステム。
(項目4)
前記第3のデバイスは、少なくとも部分的に前記頭部搭載型ディスプレイシステムの識別子に基づいて、前記頭部搭載型ディスプレイシステム、前記第1のデバイス、および前記第2のデバイスを認証する、項目3に記載の頭部搭載型ディスプレイシステム。
(項目5)
前記第3のデータオブジェクトは、暗号化鍵を含む、項目3に記載の頭部搭載型ディスプレイシステム。
(項目6)
前記第1の通信は、前記第1のデバイスによって生成されている、項目1に記載の頭部搭載型ディスプレイシステム。
(項目7)
前記第2の通信は、前記第2のデバイスによって生成されている、項目1に記載の頭部搭載型ディスプレイシステム。
(項目8)
前記頭部搭載型ディスプレイシステム、前記第1のデバイス、および前記第2のデバイスを認証するために、前記第3のデバイスは、
前記第1の共有データに基づいて、前記第1のデータオブジェクトを生成することと、
前記第3のデバイスによって生成された前記第1のデータオブジェクトと前記頭部搭載型ディスプレイシステムからの前記第1のデータオブジェクトとの一貫性を確かめることと、
前記第2の共有データに基づいて、前記第2のデータオブジェクトを生成することと、
前記第3のデバイスによって生成された前記第2のデータオブジェクトと前記頭部搭載型ディスプレイシステムからの前記第2のデータオブジェクトとの一貫性を確かめることと、
を行うように構成されている、項目1に記載の頭部搭載型ディスプレイシステム。
(項目9)
前記第1の通信は、少なくとも部分的に第1のデータに基づいて、前記第1のデバイスによって生成され、前記第1のデータは、少なくとも部分的に前記第1の共有データに基づいて、前記第3のデバイスによって生成されている、項目1に記載の頭部搭載型ディスプレイシステム。
(項目10)
前記第2の通信は、少なくとも部分的に第2のデータに基づいて、前記第2のデバイスによって生成され、前記第2のデータは、少なくとも部分的に前記第2の共有データに基づいて、前記第3のデバイスによって生成されている、項目9に記載の頭部搭載型ディスプレイシステム。
(項目11)
前記頭部搭載型ディスプレイシステム、前記第1のデバイス、および前記第2のデバイスを認証するために、前記第3のデバイスは、
前記第1のデータに基づいて、前記第1のデータオブジェクトを生成することと、
前記第3のデバイスによって生成された前記第1のデータオブジェクトと前記頭部搭載型ディスプレイシステムからの前記第1のデータオブジェクトとの一貫性を確かめることと、
前記第2のデータに基づいて、前記第2のデータオブジェクトを生成することと、
前記第3のデバイスによって生成された前記第2のデータオブジェクトと前記頭部搭載型ディスプレイシステムからの前記第2のデータオブジェクトとの一貫性を確かめることと、
を行うように構成されている、項目10に記載の頭部搭載型ディスプレイシステム。
(項目12)
前記第1の共有データは、前記第1のデバイスの識別子を含み、前記第2の共有データは、前記第2のデバイスの識別子を含む、項目1に記載の頭部搭載型ディスプレイシステム。
(項目13)
前記第1のデバイスの前記識別子は、前記第1のデバイスのアドレスを含み、前記第2のデバイスの前記識別子は、前記第2のデバイスのアドレスを含む、項目12に記載の頭部搭載型ディスプレイシステム。
(項目14)
前記第1のデバイスの前記アドレスおよび前記第2のデバイスの前記アドレスのうちの少なくとも1つは、前記第1のデバイスのインターネットプロトコル(IP)アドレス、前記第1のデバイスのメディアアクセス制御(MAC)アドレス、またはそれらの組み合わせを含む、項目13に記載の頭部搭載型ディスプレイシステム。
(項目15)
前記第1のデバイスの前記識別子は、前記第1のデバイスを一意に識別し、前記第2のデバイスの前記識別子は、前記第2のデバイスを一意に識別する、項目12に記載の頭部搭載型ディスプレイシステム。
(項目16)
前記第1の共有データおよび前記第2の共有データのうちの少なくとも1つは、発話された語句を含む、項目1に記載の頭部搭載型ディスプレイシステム。
(項目17)
前記発話された語句は、英数字語句を含む、項目16に記載の頭部搭載型ディスプレイシステム。
(項目18)
前記第1の共有データおよび前記第2の共有データのうちの少なくとも1つは、発話された語句の1つ以上のスペクトルの質を含む、項目1に記載の頭部搭載型ディスプレイシステム。
(項目19)
前記第1の共有データおよび前記第2の共有データのうちの少なくとも1つは、ユーザのバイオメトリックデータを含む、項目1に記載の頭部搭載型ディスプレイシステム。
(項目20)
前記第1の通信および前記第2の通信のうちの少なくとも1つは、光学通信を含む、項目1に記載の頭部搭載型ディスプレイシステム。
(項目21)
前記光学通信は、1次元パターン、2次元光学パターン、またはそれらの組み合わせを含む、項目20に記載の頭部搭載型ディスプレイシステム。
(項目22)
前記第1の通信および前記第2の通信のうちの少なくとも1つは、オーディオ通信を含む、項目1に記載の頭部搭載型ディスプレイシステム。
(項目23)
前記オーディオ通信は、ヒトの耳に聞こえない、項目22に記載の頭部搭載型ディスプレイシステム。
(項目24)
前記オーディオ通信は、超音波である、項目22に記載の頭部搭載型ディスプレイシステム。
(項目25)
前記第1の通信、前記第2の通信、および前記第3の通信のうちの少なくとも1つは、無線通信チャネルを介して受信される、項目1に記載の頭部搭載型ディスプレイシステム。
(項目26)
前記無線通信チャネルは、Wi-Fi通信チャネル、近距離通信(NFC)チャネル、またはそれらの組み合わせを含む、項目25に記載の頭部搭載型ディスプレイシステム。
(項目27)
前記第1のデバイスおよび前記第2のデバイスのうちの少なくとも1つは、別の頭部搭載型ディスプレイシステム、頭部搭載型ディスプレイシステム、トーテム、携帯電話、タブレットコンピュータ、モバイルデバイス、または任意のそれらの組み合わせのうちの少なくとも1つを含む、項目1に記載の頭部搭載型ディスプレイシステム。
(項目28)
前記第1のデバイスおよび前記第2のデバイスは、アクセスポイントを通して前記第3のデバイスに接続されている、項目1に記載の頭部搭載型ディスプレイシステム。
(項目29)
前記第1のデバイス、前記第2のデバイス、および前記頭部搭載型ディスプレイシステムは、アクセスポイントを通して前記第3のデバイスに接続されている、項目1に記載の頭部搭載型ディスプレイシステム。
(項目30)
前記頭部搭載型ディスプレイシステムのユーザに通知するために、前記プロセッサは、前記ディスプレイを使用して、前記第3のデバイスが前記頭部搭載型ディスプレイを正常に認証したことを前記頭部搭載型ディスプレイシステムの前記ユーザに通知するようにプログラムされている、項目1に記載の頭部搭載型ディスプレイシステム。
(項目31)
前記頭部搭載型ディスプレイシステムのユーザに通知するために、前記プロセッサは、前記第3のデバイスが前記頭部搭載型ディスプレイを正常に認証したことを前記頭部搭載型ディスプレイシステムの前記ユーザに通知するために前記ユーザに示されるユーザインターフェースを修正することを前記ディスプレイに行わせるようにプログラムされている、項目1に記載の頭部搭載型ディスプレイシステム。
(項目32)
前記頭部搭載型ディスプレイのユーザに通知するために、前記プロセッサは、前記頭部搭載型ディスプレイシステムのスピーカを使用して、前記第3のデバイスが前記頭部搭載型ディスプレイを正常に認証したことを前記頭部搭載型ディスプレイの前記ユーザに通知するようにプログラムされている、項目1に記載の頭部搭載型ディスプレイシステム。
(項目33)
ウェアラブルディスプレイシステムであって、前記ウェアラブルディスプレイシステムは、
ディスプレイと、
コンパニオンデバイスの画像を捕捉するように構成された画像捕捉デバイスと、
前記コンパニオンデバイスの画像および実行可能命令を記憶するように構成された非一過性コンピュータ読み取り可能な記憶媒体と、
前記画像捕捉デバイスおよび前記非一過性コンピュータ読み取り可能な記憶媒体と通信しているプロセッサと
を備え、
前記プロセッサは、
前記画像捕捉デバイスによって捕捉された前記コンパニオンデバイスによって表示される第1の光学パターンの第1の画像を受信することであって、前記第1の光学パターンは、第1の共有データに基づいて、前記コンパニオンデバイスによって生成されている、ことと、
第1のデータを前記受信された第1の画像内の前記第1の光学パターンから抽出することと、
前記第1の光学パターンから抽出された前記第1のデータに基づいて、前記コンパニオンデバイスを認証することと、
前記ウェアラブルディスプレイシステムのユーザに、前記コンパニオンデバイスが認証されたことを通知することと
を行うための前記実行可能命令によってプログラムされている、
ウェアラブルディスプレイシステム。
(項目34)
前記プロセッサは、
前記第1の共有データを生成することと、
第1の通信チャネルを介して、前記第1の共有データを前記コンパニオンデバイスに伝送することと
を行うようにさらにプログラムされている、項目33に記載のウェアラブルディスプレイシステム。
(項目35)
前記コンパニオンデバイスを認証するために、前記プロセッサは、
前記第1のデータと前記第1の共有データとの一貫性を確かめるようにプログラムされている、項目33に記載のウェアラブルディスプレイシステム。
(項目36)
前記プロセッサは、
前記画像捕捉デバイスによって捕捉された前記コンパニオンデバイスによって表示される第2の光学パターンの第2の画像を受信することであって、前記第2の光学パターンは、第2の共有データに基づいて、前記コンパニオンデバイスによって生成され、前記第2の共有データは、前記コンパニオンデバイスによって生成されている、ことと、
第2のデータを前記受信された第2の画像内の前記第2の光学パターンから抽出することと、
第1の通信チャネルを介して、前記第2のデータを前記コンパニオンデバイスに伝送することと
を行うようにさらにプログラムされている、項目33に記載のウェアラブルディスプレイシステム。
(項目37)
前記コンパニオンデバイスは、
前記第2のデータを前記ウェアラブルディスプレイシステムから受信することと、
前記受信された前記第2のデータに基づいて、前記ウェアラブルディスプレイシステムを認証することと
を行うようにプログラムされている、項目36に記載のウェアラブルディスプレイシステム。
(項目38)
前記ウェアラブルディスプレイシステムを認証するために、前記コンパニオンデバイスは、
受信された前記第2のデータと前記第2の共有データとの一貫性を確かめるようにプログラムされている、項目37に記載のウェアラブルディスプレイシステム。
(項目39)
前記第1の共有データは、前記コンパニオンデバイスによって生成されている、項目33に記載のウェアラブルディスプレイシステム。
(項目40)
前記プロセッサは、
前記コンパニオンデバイスの公開鍵を受信することと、
第1の通信チャネルを介して、前記コンパニオンデバイスの暗号化された公開鍵を受信することであって、前記コンパニオンデバイスの前記暗号化された公開鍵は、前記第1の共有データを使用して、前記コンパニオンデバイスによって暗号化されている、ことと、
前記第1の共有データを使用して、前記コンパニオンデバイスの前記暗号化された公開鍵を解読し、解読された公開鍵を取得することと
を行うようにさらにプログラムされている、項目33に記載のウェアラブルディスプレイシステム。
(項目41)
前記コンパニオンデバイスを認証するために、前記プロセッサは、
前記解読された公開鍵と前記コンパニオンデバイスの前記公開鍵との一貫性を確かめるようにプログラムされている、項目40に記載のウェアラブルディスプレイシステム。
(項目42)
前記第1の通信チャネルは、無線通信チャネルである、項目33に記載のウェアラブルディスプレイシステム。
(項目43)
前記無線通信チャネルは、Wi-Fi通信チャネル、近距離通信(NFC)チャネル、またはそれらの組み合わせを含む、項目42に記載のウェアラブルディスプレイシステム。
(項目44)
前記コンパニオンデバイスは、別のウェアラブルディスプレイシステム、頭部搭載型ディスプレイシステム、トーテム、携帯電話、タブレットコンピュータ、モバイルデバイス、または任意のそれらの組み合わせのうちの少なくとも1つを含む、項目33に記載のウェアラブルディスプレイシステム。
(項目45)
前記ウェアラブルディスプレイシステムのユーザに通知するために、前記プロセッサは、前記ディスプレイを使用して、前記コンパニオンデバイスが認証されたことを前記ウェアラブルディスプレイシステムの前記ユーザに通知するようにプログラムされている、項目33に記載のウェアラブルディスプレイシステム。
(項目46)
前記ウェアラブルディスプレイシステムのユーザに通知するために、前記プロセッサは、前記コンパニオンデバイスが認証されたことを前記ウェアラブルディスプレイシステムの前記ユーザに通知するために前記ユーザに示されるユーザインターフェースを修正することを前記ディスプレイに行わせるようにプログラムされている、項目33に記載のウェアラブルディスプレイシステム。
(項目47)
前記ウェアラブルディスプレイシステムのユーザに通知するために、前記プロセッサは、前記ウェアラブルディスプレイシステムのスピーカを使用して、前記コンパニオンデバイスが認証されたことを前記ウェアラブルディスプレイシステムの前記ユーザに通知するようにプログラムされている、項目33に記載のウェアラブルディスプレイシステム。
(項目48)
デバイス認証のための方法であって、前記方法は、
ハードウェアプロセッサの制御のもとで、
通信チャネルを介して、データオブジェクトを受信することと、
コンパニオンデバイスによって表示される光学パターンの画像を受信することであって、前記光学パターンは、共有データを使用して、前記コンパニオンデバイスによって生成されている、ことと、
第1のデータを前記受信された画像内の前記光学パターンから抽出することと、
前記第1のデータを使用して、前記データオブジェクトの変換を生成することと、
認証のために、前記通信チャネルを介して、前記データオブジェクトの前記変換を前記コンパニオンデバイスに伝送することと
を含む、方法。
(項目49)
前記データオブジェクトは、チャレンジテキストを含む、項目48に記載の方法。
(項目50)
前記データオブジェクトの前記変換は、前記第1のデータを使用して生成された前記データオブジェクトのハッシュを含む、項目48に記載の方法。
(項目51)
前記データオブジェクトの前記変換は、前記第1のデータを使用して生成された暗号化されたデータオブジェクトを含む、項目48に記載の方法。
(項目52)
前記第1のデータは、前記共有データを含む、項目48に記載の方法。
(項目53)
認証のために、前記コンパニオンデバイスは、
前記共有データを使用して、前記データオブジェクトの変換を生成することと、
前記データオブジェクトの前記変換を受信することと、
前記データオブジェクトの前記受信された変換と前記データオブジェクトの前記生成された変換との一貫性を確かめることと
を行うように構成されている、項目48に記載の方法。
(項目54)
頭部搭載型ディスプレイシステムであって、前記頭部搭載型ディスプレイシステムは、
ディスプレイと、
実行可能命令を記憶している非一過性コンピュータ読み取り可能な記憶媒体と、
前記非一過性コンピュータ読み取り可能な記憶媒体と通信しているプロセッサと
を備え、
前記プロセッサは、
第1の通信をデバイスから受信することであって、前記第1の通信は、第1の共有情報に基づいて、前記デバイスによって生成されている、ことと、
第1の情報を前記第1の通信から抽出することと、
前記第1の通信から抽出された前記第1の情報に基づいて、前記デバイスを認証することと、
前記頭部搭載型ディスプレイシステムのユーザに、前記デバイスが認証されたことを通知することと
を行うための前記実行可能命令によってプログラムされている、
頭部搭載型ディスプレイシステム。
(項目55)
前記第1の通信は、光学通信を含む、項目54に記載の頭部搭載型ディスプレイシステム。
(項目56)
前記光学通信は、1次元パターン、2次元光学パターン、またはそれらの組み合わせを含む、項目55に記載の頭部搭載型ディスプレイシステム。
(項目57)
前記第1の通信は、オーディオ通信を含む、項目54に記載の頭部搭載型ディスプレイシステム。
(項目58)
前記オーディオ通信は、ヒトの耳に聞こえない、項目57に記載の頭部搭載型ディスプレイシステム。
(項目59)
前記オーディオ通信は、超音波である、項目57に記載の頭部搭載型ディスプレイシステム。
(項目60)
前記第1の共有情報は、発話された語句を含む。項目54に記載の頭部搭載型ディスプレイシステム
(項目61)
前記発話された語句を捕捉するように構成されたマイクロホンをさらに備え、前記プロセッサは、前記発話された語句を受信するようにさらにプログラムされている、項目60に記載の頭部搭載型ディスプレイシステム。
(項目62)
前記デバイスのマイクロホンは、前記発話された語句を受信するように構成されている、項目61に記載の頭部搭載型ディスプレイシステム。
(項目63)
前記発話された語句は、英数字語句を含む、項目60に記載の頭部搭載型ディスプレイシステム。
(項目64)
前記第1の共有情報は、発話された語句の1つ以上のスペクトルの質を含む、項目54に記載の頭部搭載型ディスプレイシステム。
(項目65)
前記第1の共有情報は、ユーザのバイオメトリック情報を含む、項目54に記載の頭部搭載型ディスプレイシステム。
(項目66)
前記プロセッサは、前記ユーザのバイオメトリック情報を抽出するようにさらにプログラムされている、項目65に記載の頭部搭載型ディスプレイシステム。
(項目67)
前記プロセッサは、
前記第1の共有情報を生成することと、
第1の通信チャネルを介して、前記第1の共有情報を前記デバイスに伝送することと
を行うようにさらにプログラムされている、項目54に記載の頭部搭載型ディスプレイシステム。
(項目68)
前記デバイスを認証するために、前記プロセッサは、
前記第1の情報と前記第1の共有情報との一貫性を確かめるようにプログラムされている、項目54に記載の頭部搭載型ディスプレイシステム。
(項目69)
前記プロセッサは、
第2の通信を前記デバイスから受信することであって、前記第2の通信は、第2の共有情報に基づいて、前記デバイスによって生成され、前記第2の共有情報は、前記デバイスによって生成されている、ことと、
第2の情報を前記受信された第2の通信から抽出することと、
第1の通信チャネルを介して、前記第2の共有情報を前記デバイスに伝送することと
を行うようにさらにプログラムされている、項目54に記載の頭部搭載型ディスプレイシステム。
(項目70)
前記デバイスは、
前記第2の情報を前記頭部搭載型ディスプレイシステムから受信することと、
前記受信された第2の情報に基づいて、前記頭部搭載型ディスプレイシステムを認証することと
を行うようにプログラムされている、項目69に記載の頭部搭載型ディスプレイシステム。
(項目71)
前記頭部搭載型ディスプレイシステムを認証するために、前記デバイスは、
受信された前記第2の情報と生成された前記第2の共有情報との一貫性を確かめるようにプログラムされている、項目70に記載の頭部搭載型ディスプレイシステム。
(項目72)
前記第1の共有情報は、前記デバイスによって生成されている、項目54に記載の頭部搭載型ディスプレイシステム。
(項目73)
前記プロセッサは、
前記デバイスの公開鍵を受信することと、
第1の通信チャネルを介して、前記デバイスの暗号化された公開鍵を受信することであって、前記デバイスの前記暗号化された公開鍵は、前記第1の共有情報を使用して、前記デバイスによって暗号化されている、ことと、
前記第1の共有情報を使用して、前記デバイスの前記暗号化された公開鍵を解読し、解読された公開鍵を取得することと
を行うようにさらにプログラムされている、項目54に記載の頭部搭載型ディスプレイシステム。
(項目74)
前記デバイスを認証するために、前記プロセッサは、
前記解読された公開鍵と前記デバイスの公開鍵との一貫性を確かめるようにプログラムされている、項目73に記載の頭部搭載型ディスプレイシステム。
(項目75)
前記第1の通信チャネルは、無線通信チャネルである、項目54に記載の頭部搭載型ディスプレイシステム。
(項目76)
前記無線通信チャネルは、Wi-Fi通信チャネル、近距離通信(NFC)チャネル、またはそれらの組み合わせを含む、項目75に記載の頭部搭載型ディスプレイシステム。
(項目77)
前記デバイスは、別の頭部搭載型ディスプレイシステム、頭部搭載型ディスプレイシステム、トーテム、携帯電話、タブレットコンピュータ、モバイルデバイス、または任意のそれらの組み合わせのうちの少なくとも1つを含む、項目54に記載の頭部搭載型ディスプレイシステム。
(項目78)
前記頭部搭載型ディスプレイシステムのユーザに通知するために、前記プロセッサは、前記ディスプレイを使用して、前記デバイスが認証されたことを前記頭部搭載型ディスプレイシステムの前記ユーザに通知するようにプログラムされている、項目54に記載の頭部搭載型ディスプレイシステム。
(項目79)
前記頭部搭載型ディスプレイシステムのユーザに通知するために、前記プロセッサは、前記デバイスが認証されたことを前記頭部搭載型ディスプレイシステムの前記ユーザに通知するために前記ユーザに示されるユーザインターフェースを修正することを前記ディスプレイに行わせるようにプログラムされている、項目54に記載の頭部搭載型ディスプレイシステム。
(項目80)
前記頭部搭載型ディスプレイシステムのユーザに通知するために、前記プロセッサは、前記頭部搭載型ディスプレイシステムのスピーカを使用して、前記コンパニオンデバイスが認証されたことを前記頭部搭載型ディスプレイシステムの前記ユーザに通知するようにプログラムされている、項目54に記載の頭部搭載型ディスプレイシステム。
【図面の簡単な説明】
【0010】
図1図1は、一実施形態によるデバイス認証を図示する。
【0011】
図2図2は、一実施形態によるユーザデバイスからの共有情報またはデータを使用したデバイス認証を図示する相互作用略図である。
【0012】
図3図3は、一実施形態によるチャレンジテキストを使用したデバイス認証を図示する相互作用略図である。
【0013】
図4図4は、一実施形態によるコンパニオンデバイスによって生成された共有情報またはデータを使用したデバイス認証を図示する相互作用略図である。
【0014】
図5図5は、一実施形態によるデバイス認証方法のフロー図を示す。
【0015】
図6図6は、一実施形態によるデバイス認証を図示する。
【0016】
図7図7は、2つのコンパニオンデバイスによって生成された視覚的パターンを使用したユーザデバイスと2つのコンパニオンデバイスとの間のデバイス認証を図示する相互作用略図である。
【0017】
図8図8は、少なくとも部分的にクラウド上の1つ以上のデバイスによって生成された視覚的パターンを使用したユーザデバイスと2つのコンパニオンデバイスとの間のデバイス認証を図示する相互作用略図である。
【0018】
図9図9は、一実施形態による人物によって視認されるある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う拡張現実シナリオの例証を描写する。
【0019】
図10図10は、一実施形態によるウェアラブルディスプレイシステムの例を図示する。
【0020】
図11図11は、一実施形態による複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。
【0021】
図12図12は、一実施形態による画像情報またはデータをユーザに出力するための導波管スタックの例を図示する。
【0022】
図13図13は、一実施形態による導波管によって出力され得る例示的出射ビームを示す。
【0023】
図14図14は、一実施形態によるディスプレイシステムを示す概略図である。
【発明を実施するための形態】
【0024】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
【0025】
(詳細な説明)
(概要)
頭部搭載型ディスプレイ(HMD)等のウェアラブルディスプレイシステムは、ハンドヘルド、ユーザ入力デバイス(例えば、トーテム)等のコンパニオンデバイスと協働するように構成され得る。HMDとコンパニオンデバイスとが協働する(例えば、情報またはデータを無線で交換する)ことを可能にするために、コンパニオンデバイスとHMDとは、最初に、互いにペアにされる必要があり得る。本開示は、そのようなデバイスをペアにするためのシステムおよび方法を提供する。
【0026】
HMDは、カメラ等の外向きに面した画像捕捉デバイスを含むことができ、それは、HMDのユーザの環境を結像することができる。画像捕捉デバイスは、HMDとコンパニオンデバイスとの間の共有情報またはデータ(例えば、共有鍵、共有秘密、または署名鍵)を確立するために、コンパニオンデバイス(例えば、ディスプレイまたは光源を伴うトーテム)上に表示される情報またはデータ(例えば、鍵または秘密)を捕捉および取得するために使用されることができる。共有データは、次に、HMDまたはコンパニオンデバイスによって使用され、データをセキュアデータ転送のために/それから暗号化/解読することができる。効率的かつセキュアなデバイスペアリングおよび認証のためのシステムおよび方法が、開示される。
【0027】
図1は、一実施形態によるデバイス認証を図示する。ユーザデバイス104は、トーテム108a(例えば、仮想ユーザ入力デバイスとしてとして機能する)または携帯電話108b等のコンパニオンデバイスを認証することができる。トーテム108aに関して、ユーザは、親指を使用して、トーテム108aの入力表面(例えば、タッチパッド)と相互作用し得、他の指を使用して、トーテム108aを保持し得る。ユーザデバイス104は、HMD、ウェアラブルディスプレイシステム、タブレットコンピュータ、携帯電話、またはモバイルデバイスであることができる。コンパニオンデバイス(例えば、トーテム108aおよび/または携帯電話108b)は、HMD、ウェアラブルディスプレイシステム、タブレットコンピュータ、トーテム、またはモバイルデバイスであることができる。HMDおよびトーテムの例は、図9-14を参照して下で説明される。
【0028】
ユーザデバイス104とトーテム108aとは、無線周波数(RF)通信チャネル(例えば、WiFi、Bluetooth(登録商標)等)を経由して、無線で通信し得る。RFチャネルの帯域幅内の通信は、概して、帯域内通信と称され、2つのデバイス間の一次通信チャネルを表し得る。ユーザデバイス104とトーテム108aとは、第2の異なる通信チャネル(例えば、光学チャネル、音響チャネル、近距離通信(NFC)チャネル等)を経由して通信するようにも構成され得る。そのような通信は、概して、帯域外(OOB)通信と称される。
【0029】
図1を参照すると、ユーザデバイス104は、帯域外通信112をコンパニオンデバイス(例えば、トーテム108aおよび/または携帯電話108b)から受信することができる。帯域外通信112は、光学通信(例えば、バーコード等の1次元コードまたはクイックレスポンス(QR)コード等の2次元コード)、オーディオ通信(例えば、ヒトの耳に聞こえない、または超音波)、発話された語句(例えば、英数字語句)、発話された語句の1つ以上のスペクトルの質、ユーザのバイオメトリック情報またはデータ(例えば、虹彩コード)、もしくは任意のそれらの組み合わせを含むことができる。光学通信は、視覚的通信(約400nm~700nm等のヒトユーザに知覚可能波長帯域)または非視覚的通信(例えば、赤外線または紫外線波長帯域)を含むことができる。ユーザデバイス104は、明示的なユーザ相互作用を通して、または明示的なユーザ相互作用を通さずに、帯域外通信112を受信することができる。例えば、ユーザデバイス104は、ペアリングモードにあり、帯域外通信112を自動的に受信し得る。別の例として、ユーザデバイス104は、常に、そのカメラを使用して、その周囲を監視し、コンパニオンデバイス上の視覚的通信の存在を決定することができる。
【0030】
コンパニオンデバイス(例えば、トーテム108aおよび/または携帯電話108b)は、そのディスプレイまたは別の光学デバイスを使用して、視覚的パターンを生成および表示することができる。例えば、トーテム108aは、緑色発光ダイオード(LED)116aと、赤色LED116bとを有することができる。トーテム108aは、2つのLEDを使用して、視覚的パターンを表示することができる。例えば、数「57」を表示するために、トーテム108aは、緑色LEDを5回、赤色LEDを7回、明滅させることができる。ユーザデバイス104は、その画像捕捉デバイスを使用して、このパターンを捕捉し、コンピュータビジョン技法を使用して、数「57」を捕捉されたパターンから抽出することができる。トーテム108aは、視覚的パターンを生成することができ、ユーザデバイス104は、所定のプロトコルに基づいて、視覚的パターンから抽出することができる。例えば、所定のプロトコルは、共有データが、赤色LED116bが明滅した回数と、緑色LED116aが明滅した回数の10倍との合計であることを規定することができる。有利には、トーテム108aは、ユーザデバイス104がコンパニオンデバイス108を認証するために、画像捕捉デバイスまたはマイクロホンを含む必要がない。
【0031】
別の例として、携帯電話108bは、数「57」をそのディスプレイ120上に表示することができる。数「57」は、QRコード(登録商標)等の2次元コードまたは2次元パターンの一部として表示されることができる。ユーザデバイス104は、その画像捕捉デバイスを使用して、表示される数、2次元コード、または2次元パターンを捕捉することができる。ユーザデバイス104は、コンピュータビジョン技法を使用して、数「57」を捕捉された画像から抽出することができる。携帯電話108bは、視覚的パターンを生成することができ、ユーザデバイス104は、所定のプロトコルに基づいて、視覚的パターンから抽出することができる。有利には、ユーザ入力または開始は、デバイス認証のために必要とされないこともある。
【0032】
(ユーザデバイスからの共有データを使用した例示的デバイス認証)
いくつかの実施形態では、共有情報またはデータ(例えば、共有秘密、共有鍵、または署名鍵)は、ユーザデバイス104によって送信され、コンパニオンデバイス108によって受信されることができる。図2は、一実施形態によるユーザデバイスからの共有データを使用したデバイス認証を図示する相互作用略図である。ユーザデバイス104は、相互作用204において、共有データを生成することができる。例えば、ユーザデバイス104は、値をランダムに生成することができる。別の例として、共有データは、事前に決定されることができる。続いて、ユーザデバイス104は、相互作用208において、共有データをコンパニオンデバイス108に伝送することができる。例えば、ユーザデバイス104は、相互作用208において、通信チャネルを介して、値を含むバイトのストリームをコンパニオンデバイス108に伝送することができる。通信チャネルは、Wi-Fi通信(例えば、約2.4GHzまたは5GHz)または近距離通信(NFC)チャネル(例えば、約14MHz)等の無線通信チャネルであることができる。いくつかの実施形態では、通信チャネルは、後のセキュアデータ転送のために使用され得る帯域内通信チャネルであることができる。
【0033】
共有データは、ユーザデバイス104によって生成されることができる。代替として、または加えて、共有データは、2つのデバイスをペアにしようとするユーザデバイス104および/またはコンパニオンデバイス108のユーザによって、またはそれに基づいて、生成されることができる。例えば、共有データは、英数字語句等の2つのデバイスをペアにしようとするユーザの発話された語句もしくは発話された語句の1つ以上のスペクトルの質を含むことができる。ユーザデバイス104およびコンパニオンデバイス108の各々は、それらのそれぞれのマイクロホンを使用して、発話された語句を捕捉することができる。ユーザデバイス104およびコンパニオンデバイス108は、発話認識技法を使用して、発話された語句内の語句を取得することができる。発話認識技法の例は、図5を参照して本明細書に説明される。
【0034】
別の例として、共有データは、2つのデバイスをペアにしようとするユーザデバイス104および/またはコンパニオンデバイス108のユーザのバイオメトリック情報またはデータを含むことができる。ユーザデバイス104およびコンパニオンデバイス108の各々は、ユーザの眼の画像を捕捉することができる。ユーザデバイス104およびコンパニオンデバイス108の各々は、各捕捉されたユーザの眼の画像に基づいて、虹彩コード等のバイオメトリックテンプレートを抽出または生成することができる。虹彩コードは、種々の方法で算出されることができる。例えば、いくつかの実施形態では、虹彩コードは、John Daugmanによって虹彩バイオメトリックのために開発されたアルゴリズム(例えば、米国特許第5,291,560号参照)に従って生成されることができる。例えば、虹彩コードは、2次元帯域通過フィルタ(例えば、ガボールフィルタ)を用いた眼の虹彩の画像(例えば、極座標における)の畳み込みに基づくことができ、虹彩コードは、2ビット数(例えば、特定のガボールフィルタに対する応答が正であるか、負であるか)として表され得る。
【0035】
コンパニオンデバイス108は、共有データをユーザデバイス104から受信する。例えば、コンパニオンデバイス108は、通信チャネルを介して、値を含むバイトのストリームを受信することができる。共有データを受信した後、コンパニオンデバイス108は、相互作用212において、共有データの変換を生成することができる。例えば、コンパニオンデバイス108は、相互作用212において、値に基づいて、視覚的パターンを生成することができる。視覚的パターンは、1次元パターン(例えば、バーコード)または2次元パターン(例えば、QRコード(登録商標))であることができる。別の例として、コンパニオンデバイス108は、超音波オーディオ信号等のヒトの耳に聞こえないオーディオ信号を含むオーディオ信号を生成することができる。オーディオ信号は、オーディオ信号がヒトの耳に聞こえない場合でも、ユーザデバイス104のマイクロホンによって記録され得る。
【0036】
コンパニオンデバイス108は、ユーザデバイス104に相互作用216において、帯域外通信チャネルを介して、共有データの変換を通信することができる。例えば、コンパニオンデバイス108は、相互作用216において、そのディスプレイまたは別の光学デバイス(例えば、光源)を使用して、視覚的パターンを表示することができる。別の例として、コンパニオンデバイス108は、相互作用216において、そのスピーカを使用して、オーディオ信号を伝送することができる。ユーザデバイス104は、明示的なユーザ相互作用を通して、共有データの変換を受信することができる。例えば、ユーザデバイス104のユーザは、ユーザデバイス104のカメラが視覚的パターンを捕捉するときまたはユーザデバイス104のマイクロホンがオーディオ信号を記録するときを選択することができる。代替として、または加えて、ユーザデバイス104は、明示的なユーザ相互作用を通さずに、共有データの変換を受信することができる。例えば、ユーザデバイス104は、ペアリングモードにあり、通信を自動的に受信し得る。別の例として、ユーザデバイス104は、常に、そのカメラおよび/またはマイクロホンを使用して、その周囲を監視し、コンパニオンデバイス108上の視覚的信号および/またはコンパニオンデバイス108によって伝送される任意のオーディオ信号の存在を決定することができる。
【0037】
続いて、ユーザデバイス104は、相互作用220において、共有データを受信された変換から抽出することができる。一例では、コンパニオンデバイス108は、そのディスプレイまたは別の光学デバイス(例えば、光源)を使用して、値に基づいて生成された視覚的パターンを表示することができる。光学デバイスは、ヒトが知覚可能な視覚的光または非視覚的光(例えば、赤外線または紫外線)を放出し得る。コンパニオンデバイス108が、緑色発光ダイオード(LED)および赤色LEDを伴うトーテム(例えば、トーテム108a)である場合、コンパニオンデバイス108は、2つのLEDを使用して、視覚的パターンを表示することができる。ユーザデバイス104は、相互作用220において、その画像捕捉デバイスを使用して、視覚的パターンを捕捉し、コンピュータビジョン技法を使用して、数または値を捕捉された視覚的パターンから抽出することができる。コンパニオンデバイス108が、ディスプレイを伴う携帯電話(例えば、携帯電話108b)である場合、コンパニオンデバイス108は、視覚的パターンをそのディスプレイ上に表示することができる。ユーザデバイス104は、相互作用220において、その画像捕捉デバイスを使用して、表示される視覚的パターンを捕捉し、コンピュータビジョン技法を使用して、数を捕捉された視覚的パターンから抽出することができる。コンピュータビジョン認識技法の例は、図5を参照して本明細書に説明される。
【0038】
ユーザデバイス104は、相互作用224において、コンパニオンデバイス108に送信された共有データ(例えば、相互作用208において、コンパニオンデバイス108に伝送された共有データ)と、受信および抽出された共有データ(例えば、相互作用216において、コンパニオンデバイス108によって通信され、続いて、相互作用220において、ユーザデバイス104によって抽出された共有データ)との一貫性を確かめることができる。共有データの一貫性が、確かめられた場合、コンパニオンデバイス108は、ユーザデバイス104に認証される。例えば、ユーザデバイス104が、相互作用208において、数をコンパニオンデバイス108に送信した場合、ユーザデバイス104は、相互作用224において、相互作用220において抽出された数が同じ数であることを確かめることができる。別の例として、ユーザデバイス104およびコンパニオンデバイス108によって生成された虹彩コードは、十分に類似し得る。虹彩コードの変動性により、虹彩コードに基づく共有データの一貫性は、ある変動性の量を許容することができる。
【0039】
ユーザデバイス104へのコンパニオンデバイス108の認証後、ユーザデバイス104とコンパニオンデバイス108とは、データを互いの間でセキュアに転送することができる。いくつかの実施形態では、ユーザデバイス104は、コンパニオンデバイス108に認証されることができる。相互作用228において、コンパニオンデバイス108は、相互作用208においてユーザデバイス104によってコンパニオンデバイス108に伝送された共有データと比べて新しい共有情報またはデータ(例えば、新しい共有秘密または新しい共有鍵)を生成することができる。例えば、コンパニオンデバイス108は、相互作用208においてバイトのストリームとして伝送された値と比べて新しい値を生成することができる。
【0040】
相互作用228において、新しい共有データを生成した後、コンパニオンデバイス108は、相互作用232において、相互作用212において生成された変換と比べて新しい共有データの新しい変換を生成することができる。例えば、コンパニオンデバイス108は、相互作用232において、新しい値に基づいて、新しい視覚的パターン(例えば、1次元または2次元コード)または新しいオーディオ信号を生成することができる。別の例として、コンパニオンデバイス108は、相互作用232において、新しい値に基づいて、オーディオ信号を生成することができる。
【0041】
コンパニオンデバイス108は、相互作用236において、帯域外通信チャネル(例えば、相互作用216において使用された帯域外通信チャネル)を介して、新しい共有データの新しい変換をユーザデバイス104に通信することができる。例えば、コンパニオンデバイス108は、相互作用236において、そのディスプレイまたは別の光学デバイス(例えば、光源)を使用して、視覚的パターンを表示することができる。別の例として、コンパニオンデバイス108は、相互作用236において、そのスピーカを使用して、オーディオ信号を伝送することができる。ユーザデバイス104は、相互作用216を参照して議論されるように、明示的なユーザ相互作用を通して、または明示的なユーザ相互作用を通さずに、共有データの変換を受信することができる。
【0042】
続いて、ユーザデバイス104は、相互作用240において、新しい共有データを受信された新しい変換から抽出することができる。一例では、コンパニオンデバイス108は、そのディスプレイまたは別の光学デバイスを使用して、新しい値に基づいて相互作用232において生成された新しい視覚的パターンを表示することができる。相互作用240において、新しい共有データを受信された新しい変換から抽出した後、ユーザデバイス104は、相互作用244において、新しい共有データをコンパニオンデバイス108に伝送することができる。例えば、ユーザデバイス104は、相互作用244において、通信チャネルを介して、新しい値を含むバイトのストリームを伝送することができる。通信チャネルは、Wi-Fi通信または近距離通信(NFC)チャネル等の無線通信チャネルであることができる。通信チャネルは、後のセキュアデータ転送のために使用され得る帯域内通信チャネル、および/または、相互作用208において使用された通信チャネルであることができる。
【0043】
コンパニオンデバイス108は、相互作用248において、ユーザデバイス104に送信された新しい共有データ(例えば、相互作用236において、ユーザデバイス104に通信された新しい共有データ)と、受信された新しい共有データ(例えば、相互作用240において、ユーザデバイス104によって抽出され、続いて、相互作用244において、コンパニオンデバイス108に伝送された新しい共有データ)との一貫性を確かめることができる。新しい共有データの一貫性が、確かめられた場合、ユーザデバイス104は、コンパニオンデバイス108に認証される。例えば、相互作用236において、コンパニオンデバイス108によってユーザデバイス104に送信された新しい変換が、数である場合、コンパニオンデバイス104は、相互作用248において、同じ数が受信されたことを確かめることができる。
【0044】
有利には、コンパニオンデバイス108は、ユーザデバイス104がコンパニオンデバイス108に認証されるために、画像捕捉デバイスまたはマイクロホンを含む必要がない。例えば、コンパニオンデバイス108は、帯域外通信のための異なる色の2つのLEDまたはスピーカを伴う単純トーテム(例えば、トーテム108a)であることができる。図2は、最初に、コンパニオンデバイス108がユーザデバイス104に認証されることを図示するが、いくつかの実施形態では、ユーザデバイス104が、最初に、コンパニオンデバイス108に認証されることができる。
【0045】
(チャレンジオブジェクトを使用した例示的デバイス認証)
いくつかの実施形態では、コンパニオンデバイス108は、チャレンジオブジェクト(例えば、チャレンジテキスト)を使用して、ユーザデバイス104を認証することができる。図3は、一実施形態によるチャレンジテキストを使用したデバイス認証を図示する相互作用略図である。コンパニオンデバイス108は、相互作用304において、情報またはデータオブジェクト(例えば、チャレンジテキスト)をユーザデバイス104に伝送することができる。例えば、コンパニオンデバイス108は、相互作用304において、通信チャネルを介して、チャレンジテキストを含むバイトのストリームをユーザデバイス104に伝送することができる。データオブジェクトを伝送するために使用される通信チャネルは、Wi-Fi通信または近距離通信(NFC)チャネル等の無線通信チャネルであることができる。
【0046】
相互作用304において、チャレンジテキストを伝送した後、コンパニオンデバイス108は、相互作用308において、共有情報またはデータ(例えば、共有秘密、共有鍵、または署名鍵)を生成することができる。例えば、コンパニオンデバイス108は、共有データをランダムに生成することができる。別の例として、共有データは、事前に決定されることができる。
【0047】
相互作用308において、共有データを生成した後、コンパニオンデバイス108は、相互作用312において、共有データの変換を生成することができる。例えば、コンパニオンデバイス108は、相互作用312において、相互作用308において生成された共有データに基づいて、視覚的パターン(例えば、1次元パターン、または2次元パターン)またはオーディオ信号(例えば、超音波オーディオ信号またはヒトの耳に聞こえないオーディオ信号)を生成することができる。
【0048】
コンパニオンデバイス108は、相互作用316において、帯域外通信チャネルを介して、共有データの変換をユーザデバイス104に通信することができる。帯域外通信チャネルは、視覚的パターンを伝送するための視覚的通信チャネルまたはオーディオ信号を伝送するためのオーディオ通信チャネルであることができる。例えば、コンパニオンデバイス108は、相互作用316において、そのディスプレイまたは別の光学デバイス(例えば、光源)を使用して、視覚的パターンを表示することができる。別の例として、コンパニオンデバイス108は、相互作用316において、そのスピーカを使用して、オーディオ信号を伝送することができる。ユーザデバイス104は、相互作用216を参照して議論されるように、明示的なユーザ相互作用を通して、または明示的なユーザ相互作用を通さずに、共有データの変換を受信することができる。
【0049】
続いて、ユーザデバイス104は、相互作用320において、共有データを受信された変換から抽出することができる。一例では、コンパニオンデバイス108は、相互作用316において、そのディスプレイまたは別の光学デバイス(例えば、異なる色の2つのLED)を使用して、視覚的パターンを表示することができる。ユーザデバイス104は、相互作用320において、視覚的パターンの画像を捕捉し、コンピュータビジョン技法を使用して、共有データを受信された視覚的パターンから抽出することができる。別の例として、コンパニオンデバイス108は、相互作用316において、そのスピーカを使用して、オーディオ信号を通信することができる。オーディオ信号は、オーディオ信号がヒトの耳に聞こえない場合でも、ユーザデバイス104のマイクロホンによって記録され得る。ユーザデバイス104は、相互作用320において、オーディオ信号内の共有データを抽出することができる。
【0050】
ユーザデバイス104は、相互作用324において、共有データを使用して、データオブジェクトの変換を生成する。例えば、ユーザデバイス104は、相互作用324において、共有データを使用して、チャレンジテキストのハッシュ(例えば、セキュアハッシュアルゴリズム(SHA)-2)を生成することができる。別の例として、ユーザデバイス104は、相互作用324において、共有鍵を使用して、チャレンジテキストを暗号化することができる。
【0051】
ユーザデバイス104は、相互作用328において、相互作用324において生成されたデータオブジェクトの変換をコンパニオンデバイス108に伝送することができる。データオブジェクトをユーザデバイス104からコンパニオンデバイス108に伝送するために使用される通信チャネルは、Wi-Fi通信または近距離通信(NFC)チャネル等の無線通信チャネルであることができる。相互作用304および328における通信チャネルは、いくつかの実装では、同じであることができる。いくつかの実施形態では、データオブジェクトの変換を伝送するために使用される通信チャネルは、後のセキュアデータ転送のために使用され得る帯域内通信チャネルであることができる。
【0052】
コンパニオンデバイス108は、データオブジェクトの変換をユーザデバイス104から受信する。データオブジェクトの変換を受信することに先立って、またはその後、コンパニオンデバイス108は、相互作用332において、共有データを使用して、データオブジェクトの変換を生成する。例えば、コンパニオンデバイス108は、相互作用332において、共有データを使用して、チャレンジテキストのハッシュを生成することができる。別の例として、コンパニオンデバイス108は、相互作用332において、共有鍵を使用して、チャレンジテキストを暗号化することができる。
【0053】
コンパニオンデバイス108は、相互作用332において生成された共有データとユーザデバイス104から受信された共有データとの一貫性を確かめることができる。共有データの一貫性が、確かめられた場合、ユーザデバイス104は、コンパニオンデバイス108に認証される。例えば、コンパニオンデバイス108によってユーザデバイス104から受信されたハッシュが、数である場合、コンパニオンデバイス104は、相互作用332において生成されたハッシュも同じ数であることを確かめることができる。認証後、ユーザデバイス104およびコンパニオンデバイス108は、データを互いの間でセキュアに転送することができる。
【0054】
有利には、コンパニオンデバイス108は、ユーザデバイス104がコンパニオンデバイス108に認証されるために、画像捕捉デバイスまたはマイクロホンを含む必要がない。例えば、コンパニオンデバイス108は、帯域外通信のための異なる色の2つのLEDまたはスピーカを伴う単純トーテムであることができる。図3は、コンパニオンデバイス108がユーザデバイス104を認証することを図示するが、いくつかの実施形態では、ユーザデバイス104は、図3に図示される方法を使用して、コンパニオンデバイス108を認証することができる。
【0055】
(コンパニオンデバイスによって生成された共有データを使用した例示的デバイス認証)
いくつかの実施形態では、ユーザデバイス104は、変換された形態におけるコンパニオンデバイス108によって生成された共有情報またはデータ(例えば、共有秘密、共有鍵、または署名鍵)を受信した後、コンパニオンデバイス108を認証することができる。図4は、一実施形態によるコンパニオンデバイス108によって生成された共有データを使用したデバイス認証を図示する相互作用略図である。コンパニオンデバイス108は、相互作用404において、共有データ(例えば、共有秘密、共有鍵、または署名鍵)を生成することができる。例えば、コンパニオンデバイス108は、署名鍵をランダムに生成することができる。別の例として、共有データは、事前に決定されることができる。署名鍵の長さは、例えば、64、128、256、512、1024、またはそれより大きいビットであることができる。
【0056】
相互作用404において共有データを生成した後、コンパニオンデバイス108は、相互作用408において、共有データの変換を生成することができる。例えば、コンパニオンデバイス108は、相互作用408において、相互作用404において生成された共有データに基づいて、視覚的パターン(例えば、1次元パターンまたは2次元パターン)またはオーディオ信号(例えば、超音波オーディオ信号またはヒトの耳に聞こえないオーディオ信号)を生成することができる。視覚的パターンは、1次元パターン(例えば、バーコード)または2次元パターン(例えば、QRコード(登録商標))であることができる。
【0057】
コンパニオンデバイス108は、相互作用412において、帯域外通信チャネルを介して、共有データの変換をユーザデバイス104に通信することができる。帯域外通信チャネルは、視覚的パターンを伝送するための視覚的通信チャネルまたはオーディオ信号を伝送するためのオーディオ通信チャネルであることができる。例えば、コンパニオンデバイス108は、相互作用412において、そのディスプレイまたは別の光学デバイス(例えば、光源)を使用して、視覚的パターンを表示することができる。別の例として、コンパニオンデバイス108は、相互作用412において、そのスピーカを使用して、オーディオ信号を伝送することができる。ユーザデバイス104は、相互作用216を参照して議論されるように、明示的なユーザ相互作用を通して、または明示的なユーザ相互作用を通さずに、共有データの変換を受信することができる。
【0058】
続いて、ユーザデバイス104は、相互作用416において、共有データを受信された変換から抽出することができる。一例では、コンパニオンデバイス108は、相互作用412において、そのディスプレイまたは別の光学デバイス(例えば、異なる色の2つのLED)を使用して、視覚的パターンを表示することができる。ユーザデバイス104は、相互作用416において、視覚的パターンの画像を捕捉し、コンピュータビジョン技法を使用して、共有データを受信された視覚的パターンから抽出することができる。別の例として、コンパニオンデバイス108は、相互作用412において、そのスピーカを使用して、オーディオ信号を通信することができる。オーディオ信号は、オーディオ信号がヒトの耳に聞こえない場合でも、ユーザデバイス104のマイクロホンによって記録され得る。ユーザデバイス104は、相互作用416において、オーディオ信号内の共有データを抽出することができる。
【0059】
コンパニオンデバイス108は、相互作用408において、所定のプロトコルに基づいて、共有データの変換を生成することができ、ユーザデバイス104は、相互作用416において、共有データを抽出することができる。例えば、コンパニオンデバイス108は、共有データが数「57」である場合、所定のプロトコルに基づいて、その緑色LEDを5回、その赤色LEDを7回、明滅させることができる。ユーザデバイス104は、所定のプロトコルに基づいて、数「57」を明滅パターンから抽出することができる。所定のプロトコルは、共有データが、赤色LED明滅の回数と、緑色LED明滅の回数の10倍の合計であることを規定することができる。
【0060】
コンパニオンデバイス108は、相互作用420において、相互作用404においてコンパニオンデバイス108によって生成された共有データ(第1の共有データとも称される)を使用して、別の共有情報またはデータ(第2の共有情報またはデータとも称される)の変換を生成することができる。例えば、コンパニオンデバイス108は、相互作用404においてコンパニオンデバイス108によって生成された署名鍵を使用して、その公開鍵を暗号化することができる。
【0061】
コンパニオンデバイス108は、相互作用424において、他の共有データ(例えば、第2の共有データ)の変換をユーザデバイス104に伝送することができる。例えば、コンパニオンデバイス108は、相互作用424において、暗号化された公開鍵をユーザデバイス104に伝送することができる。暗号化された公開鍵を伝送するために使用される通信チャネルは、Wi-Fi通信または近距離通信(NFC)チャネル等の無線通信チャネルであることができる。いくつかの実施形態では、相互作用424において、他の共有データの変換を伝送するために使用される通信チャネルは、後のセキュアデータ転送のために使用され得る帯域内通信チャネルであることができる。
【0062】
コンパニオンデバイス104は、相互作用428において、相互作用416において抽出された共有データを使用して、他の共有データ(例えば、第2の共有データ)を他の共有データの変換から抽出することができる。ユーザデバイス104は、相互作用432において、他の共有データ(例えば、第2の共有データ)に基づいて、コンパニオンデバイス108を認証することができる。例えば、ユーザデバイス104は、相互作用428において、相互作用416において抽出された署名鍵を使用して、暗号化された公開鍵を解読することができる。ユーザデバイス104は、相互作用432において、解読された公開鍵とコンパニオンデバイス108の公開鍵との一貫性を確かめることによって、コンパニオンデバイス108を認証することができる。ユーザデバイス104は、コンパニオンデバイス108の公開鍵をデバイス公開鍵のリポジトリから取得することができる。公開鍵暗号化技法(例えば、Rivest-Shamir-Adleman(RSA)暗号化)が、使用されることができ、その場合、各デバイス(例えば、ユーザデバイス104およびコンパニオンデバイス108)は、公開鍵(広く普及され得る)および秘密鍵(セキュアに保たれ、当事者にのみ既知である)の両方に関連付けられている。公開鍵暗号法は、非対称暗号法の例であり、暗号化のための鍵は、解読のための鍵と異なる。他の実施形態では、他の非対称暗号化技法も、使用されることができる。認証後、ユーザデバイス104とコンパニオンデバイス108とは、データを互いの間でセキュアに転送することができる。
【0063】
有利には、コンパニオンデバイス108は、ユーザデバイス104がコンパニオンデバイス108を認証するために、画像捕捉デバイスまたはマイクロホンを含む必要がない。例えば、コンパニオンデバイス108は、帯域外通信のための異なる色の2つのLEDまたはスピーカを伴う単純トーテムであることができる。図4は、コンパニオンデバイス108がユーザデバイス104に認証されることを図示するが、いくつかの実施形態では、ユーザデバイス104は、図4に図示される方法を使用して、コンパニオンデバイス108に認証されることができる。
【0064】
(例示的デバイス認証方法)
図5は、デバイス認証方法500のフロー図を示す。頭部搭載型ディスプレイまたはウェアラブルディスプレイシステム等のデバイスは、方法500を実装することができる。デバイスは、ブロック504において、第1の共有情報またはデータを生成することができる。第1の共有データは、共有秘密、共有鍵、または署名鍵であることができる。第1の共有データを生成するデバイスは、異なる実装では、異なり得る。いくつかの実施形態では、ユーザデバイス104が、第1の共有データを生成することができる。例えば、ユーザデバイス104は、相互作用204において、第1の共有データを生成する。ユーザデバイス104は、相互作用208において、第1の共有データをコンパニオンデバイス108に伝送することができ、コンパニオンデバイス108は、相互作用212において、第1の共有データの変換を生成することができ、コンパニオンデバイス108は、相互作用216において、第1の共有データの変換をユーザデバイス104に通信することができる。いくつかの実施形態では、コンパニオンデバイス108が、第1の共有データを生成することができる。例えば、コンパニオンデバイス108は、相互作用308において、第1の共有データを生成することができる。デバイスは、第1の通信チャネルを介して、第1の共有データを別のデバイスに伝送することができる。
【0065】
デバイスは、ブロック508において、第1の通信を別のデバイスから受信することができる。第1の通信は、第1の共有データに基づいて、デバイスによって生成されることができる。第1の通信は、視覚的または光学通信(例えば、バーコード等の1次元光学パターンまたはクイックレスポンス(QR)コード等の2次元光学パターン)、オーディオ通信(例えば、ヒトの耳に聞こえない、または超音波)、もしくは任意のそれらの組み合わせを含むことができる。第1の共有データは、発話された語句(例えば、英数字語句)、発話された語句の1つ以上のスペクトルの質、ユーザのバイオメトリック情報またはデータ(例えば、虹彩コード)、もしくは任意のそれらの組み合わせを含むことができる。第1の通信は、第1の共有データの変換であることができ、帯域外通信チャネルを介して、明示的なユーザ相互作用を通して、または明示的なユーザ相互作用を通さずに、デバイスによって受信されることができる。帯域外通信チャネルは、視覚的パターンを伝送するための視覚的または光学通信チャネルまたはオーディオ信号を伝送するためのオーディオ通信チャネルであることができる。いくつかの実施形態では、コンパニオンデバイス108は、第1の通信を受信することができる。例えば、ユーザデバイス104は、相互作用208において、第1の通信をコンパニオンデバイス108に伝送することができ、コンパニオンデバイス108は、第1の通信を受信することができる。ユーザデバイス104は、第1の共有データに基づいて、第1の通信を生成することができる。いくつかの実施形態では、ユーザデバイス104は、第1の通信を受信することができる。例えば、コンパニオンデバイス108は、相互作用312において、第1の共有データの変換を生成することができ、相互作用316において、第1の共有データの変換を通信することができる、ユーザデバイス104は、第1の共有データの変換を受信することができる。
【0066】
デバイスは、ブロック512において、第1の共有データを第1の通信から抽出することができる。例えば、第1の通信は、視覚的パターン等の視覚的通信であることができる。デバイスは、視覚的通信の画像を受信し、コンピュータビジョン技法を使用して、第1の共有データを抽出することができる。別の例として、第1の共有データは、英数字語句等の2つのデバイスをペアにしようとするユーザの発話された語句もしくは発話された語句の1つ以上のスペクトルの質を含むことができる。デバイスは、発話認識技法を使用して、発話された語句内の語句を取得することができる。いくつかの実施形態では、ユーザデバイス104は、相互作用220において、第1の共有データを受信された変換から抽出することができる。いくつかの実施形態では、ユーザデバイス104は、相互作用320において、第1の共有データを受信された変換から抽出することができる。
【0067】
発話認識技法は、長短期メモリ(LSTM)再帰ニューラルネットワーク(RNN)等の機械学習に基づくことができる。発話認識技法は、隠れマルコフモデル(HMM)、動的時間伸縮法(DTW)ベースの発話認識、機械学習、またはエンドツーエンド自動発話認識に基づくことができる。発話認識のための機械学習技法は、長短期メモリ(LSTM)再帰ニューラルネットワーク(RNN)、時間遅延ニューラルネットワーク(TDNN)、または深層転送ニューラルネットワーク(DNN)、または再帰ニューラルネットワーク(RNNs)等のニューラルネットワークに基づくことができる。
【0068】
コンピュータビジョン技法の非限定的例は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、配向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキーポイント(BRISK)、高速網膜鍵ポイント(FREAK)、Viola-Jonesアルゴリズム、Eigenfacesアプローチ、Lucas-Kanadeアルゴリズム、Horn-Schunkアルゴリズム、Mean-shiftアルゴリズム、視覚的同時位置特定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調整、適応閾値(および他の閾値技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトルマシン、k-最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク等(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等を含む。
【0069】
発話認識アルゴリズムおよびコンピュータビジョンアルゴリズムは、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。訓練されると、機械学習アルゴリズムは、ユーザデバイス104によって記憶されることができる。機械学習アルゴリズムのいくつかの例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、ベイズアルゴリズム(例えば、単純ベイズ等)、クラスタ化アルゴリズム(例えば、k-平均クラスタリング等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、深層学習アルゴリズム(例えば、DeepBoltzmannMachine、または深層ニューラルネットワーク等)、次元低減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、Stacked
Gneralization等)、および/または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、基本モデルを生成または記憶することができる。基本モデルは、開始点として使用され、データタイプ(例えば、テレプレゼンスセッション内の特定のユーザ)、データセット(例えば、テレプレゼンスセッション内のユーザの取得される追加の画像の組)、条件付き状況、または他の変数に特有の追加のモデルを生成し得る。いくつかの実施形態では、ユーザデバイス104は、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値の使用を含み得る。
【0070】
デバイスは、第1の共有データの変換から抽出された第1の共有データに基づいて、別のデバイスを認証することができる。例えば、デバイスは、ブロック504において生成された第1の共有データとブロック512において抽出された第1の共有データとの一貫性を確かめることができる。第1の共有データの一貫性が、確かめられた場合、デバイスは、認証される。いくつかの実施形態では、ユーザデバイス104は、コンパニオンデバイス108に送信される第1の共有データと、ユーザデバイス104によってその後抽出されたコンパニオンデバイス108から受信された第1の共有データとの一貫性を確かめることができる。
【0071】
随意に、デバイス(例えば、第1のデバイス)は、第2の通信を別のデバイス(例えば、第2のデバイス)から受信することができる。第2の通信は、第2の共有情報またはデータに基づいて、第2のデバイスによって生成されることができる。第2の共有データは、第2のデバイスによって生成されることができる。第1のデバイスは、第2の共有データを受信された第2の通信から抽出することができる。第1のデバイスは、抽出された第2の共有データを第2のデバイスに伝送することができる。いくつかの実施形態では、第2のデバイスは、抽出された第2の共有データを受信し、受信された抽出された第2の共有データに基づいて、第1のデバイスを認証することができる。認証するために、第2のデバイスは、受信された抽出された第2の共有データと生成された第2の共有データとの一貫性を確かめることができる。
【0072】
代替として、または加えて、デバイス(例えば、第1のデバイス)は、随意に、別のデバイス(例えば、第2のデバイス)の公開鍵を受信し、第1の通信チャネルを介して、第2のデバイスの暗号化された公開鍵を受信することができる。第1の通信チャネルは、Wi-Fi通信チャネルまたは近距離通信チャネル等の無線通信チャネルであることができる。第2のデバイスの暗号化された公開鍵は、第2のデバイスによって、第1の共有データを使用して暗号化されることができる。第1のデバイスは、第1の共有データを使用して、第2のデバイスの暗号化された公開鍵を解読し、解読された公開鍵を取得することができる。第1のデバイスは、ブロック516において、解読された公開鍵と第2のデバイスの公開鍵との一貫性を確かめることによって、第2のデバイスを認証することができる。
【0073】
(ユーザデバイスおよび2つのコンパニオンデバイス間の例示的デバイス認証)
図6は、一実施形態によるデバイス認証を図示する。ユーザデバイス(UD)104は、第1のコンパニオンデバイス(CD1)108aおよび第2のコンパニオンデバイス(CD2)108b等の2つ以上のコンパニオンデバイスを認証することができる。ユーザデバイス104は、HMD、ウェアラブルディスプレイシステム、タブレットコンピュータ、携帯電話、またはモバイルデバイスであることができる。2つのコンパニオンデバイス108a、108bの各々は、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)、HMD、ウェアラブルディスプレイシステム、タブレットコンピュータ、携帯電話、またはモバイルデバイスであることができる。トーテムに関して、ユーザは、親指を使用して、トーテムの入力表面(トーテム例えば、タッチパッド)と相互作用し得、他の指を使用して、トーテムを保持し得る。HMDおよびトーテムの例は、図9-14を参照して下で説明される。
【0074】
ユーザデバイス104は、クラウド604またはアクセスポイント(AP)606を通して、各コンパニオンデバイス108a、108bと有線または無線通信することができる。通信は、無線周波数(RF)通信チャネル(例えば、WiFi、Bluetooth(登録商標)等)を経由することができる。例えば、ユーザデバイス104は、通信チャネルのインスタンス608aを通して、クラウド604に接続されることができる。別の例として、ユーザデバイス104は、通信チャネルのインスタンス608bを通して、ルータ等のアクセスポイント(AP)606に接続されることができる。アクセスポイント612自体は、通信チャネルのインスタンス608cを通して、クラウド604に接続されることができる。コンパニオンデバイス108a、108bは、通信チャネルのインスタンス608d、608eを通して、クラウド604を通して、互いに有線または無線通信することができる。例えば、コンパニオンデバイス108a、108bは、互いに近接近し、通信チャネルのインスタンス608d、608eを通して、アクセスポイント606を通して、クラウド604に接続されることができる。一実施形態では、認証するために、コンパニオンデバイス108a、108bは、同じアクセスポイント606に接続され、それらが互いに近接近していることを実証すべきである。一実施形態では、認証するために、ユーザデバイス104およびコンパニオンデバイス108a、108bは、それらが互いに近接近していることを実証するために、同じアクセスポイント606に接続される必要がある。有線または無線チャネルの帯域幅内の通信は、3つのデバイス間の一次通信チャネル(第1の通信チャネルとも称される)を表し得る。
【0075】
ユーザデバイス104および第1のコンパニオンデバイス108a(または第2のコンパニオンデバイス108b)は、第2の異なる通信チャネル(例えば、光学チャネル、音響チャネル、近距離通信(NFC)チャネル等)を経由して通信するようにも構成され得る。例えば、ユーザデバイス104は、第2の通信チャネルのインスタンス612aを通して、第1のコンパニオンデバイス108aと通信することができ、ユーザデバイス104は、第2の通信チャネルのインスタンス612bを通して、第2のコンパニオンデバイス108bと通信することができる。同様に、第1のコンパニオンデバイス108aおよび第2のコンパニオンデバイス108bも、第2の異なる通信チャネルを経由して通信するように構成され得る。例えば、コンパニオンデバイス108a、108bは、第2の通信チャネルのインスタンス612cを通して互いに通信することができる。そのような通信は、帯域外(OOB)通信(点線として示される)と称され得る。
【0076】
ユーザデバイス104およびコンパニオンデバイス108a、108bが、互いを認証し、セキュアに互いに通信するために、第1のコンパニオンデバイス108aは、第2の通信チャネルのインスタンス612aを使用して、第1の変換形態において(例えば、視覚的パターンまたはオーディオ信号として)、第1の共有情報またはデータをユーザデバイス104に送信することができる。第1の共有データは、第1のコンパニオンデバイス108aの識別子(例えば、第1のコンパニオンデバイス108aのインターネットプロトコル(IP)アドレスまたはメディアアクセス制御(MAC)アドレス等の第1のコンパニオンデバイス108aのアドレス)を含むことができる。第1の共有データは、特定の値(例えば、1の値)のペアビット(PB)も含み、第1のコンパニオンデバイス108aがペアになるために利用可能であることを示すことができる。第1のコンパニオンデバイス108a(または別のデバイス)は、第1の変換形態において、第1の共有データを生成することができる。第1の変換形態における第1の共有データをユーザデバイス104に送信することに先立って、それと同時に、またはその後に、第1のコンパニオンデバイス108aは、第1の通信チャネルのインスタンス608dを使用して、例えば、非変換形態または第1の変換形態以外の変換形態において、第1の共有データをクラウド604(例えば、クラウド604上のデバイス)にも送信することができる。一実施形態では、クラウド604に送信される第1の共有データも、ペアビットを含むことができる。
【0077】
同様に、第2のコンパニオンデバイス108bは、第2の通信チャネルのインスタンス612bを使用して、第2の変換形態において(例えば、視覚的パターンまたはオーディオ信号として)、第2の共有情報またはデータをユーザデバイス104に送信することができる。第2の共有データは、第2のコンパニオンデバイス108bの識別子(例えば、第2のコンパニオンデバイス108bのIPアドレスまたはMACアドレス等の第2のコンパニオンデバイス108bのアドレス)を含むことができる。第2の共有データは、特定の値(例えば、1の値)のペアビット(PB)も含み、第2のコンパニオンデバイス108bがペアになるために利用可能であることを示すことができる。第2のコンパニオンデバイス108b(または別のデバイス)は、第2の変換形態において、第2の共有データを生成することができる。第2の変換形態における第2の共有データをユーザデバイス104に送信することに先立って、それと同時に、またはその後に、第2のコンパニオンデバイス108bは、第1の通信チャネルのインスタンス608eを使用して、例えば、非変換形態または第2の変換形態以外の変換形態において、第2の共有データをクラウド604(例えば、クラウド604上のデバイス)にも送信することができる。一実施形態では、クラウド604に送信される第2の共有データも、ペアビットを含むことができる。一実施形態では、第1の変換形態における第1の共有データを生成するために第1のコンパニオンデバイス108aによって実装されるプロセスおよび第2の変換形態における第2の共有データを生成するために第2のコンパニオンデバイス108bによって実装されるプロセスは、同じである。
【0078】
第1の変換形態における第1の共有データを第1のコンパニオンデバイス108aから受信し、第2の変換形態における第2の共有データを第2のコンパニオンデバイス108bから受信した後、ユーザデバイス104は、第1の変換形態における第1の共有データと、第2の変換形態における第2の共有データと、ユーザデバイス104の識別子(例えば、ユーザデバイス104のIPアドレスまたはMACアドレス等のユーザデバイス104のアドレス)とを含むデータを、クラウド604(例えば、クラウド604上のデバイス)に送信することができる。第1の共有データを第1のコンパニオンデバイス108aから受信するクラウド604上のデバイス、第2の共有データを第2のコンパニオンデバイス108bから受信するクラウド604上のデバイス、およびデータをユーザデバイス104から受信するクラウド604上のデバイスは、同じデバイスであることができる。
【0079】
クラウド604上のデバイスは、ユーザデバイス104およびコンパニオンデバイス108a、108bから受信されたデータの一貫性を確かめることができる。例えば、クラウド604上のデバイスは、第1のコンパニオンデバイス108aから受信された第1の共有データを使用して、第1の変換形態における第1の共有データのインスタンスを生成することができる。クラウド604上のデバイスは、ユーザデバイス104から受信された第1の変換形態における第1の共有データが、クラウド604上のデバイスが生成した第1の変換形態における第1の共有データと一致することを確かめることができる。別の例として、クラウド604上のデバイスは、第2のコンパニオンデバイス108bから受信された第2の共有データを使用して、第2の変換形態における第2の共有データのインスタンスを生成することができる。クラウド604上のデバイスは、ユーザデバイス104から受信された第2の変換形態における第2の共有データが、クラウド604上のデバイスが生成した第2の変換形態における第2の共有データと一致することを確かめることができる。一実施形態では、第1の共有データは、第1のコンパニオンデバイス108aの識別子を含み、第2の共有データは、第2のコンパニオンデバイス108bの識別子を含む。クラウド604上のデバイスは、識別子(例えば、デバイスのIPアドレス)に基づいて、コンパニオンデバイス108a、108bの近接を確かめることができる。一実施形態では、クラウド604上のデバイスは、識別子(例えば、デバイスのIPアドレス)に基づいて、ユーザデバイス104およびコンパニオンデバイス108a、108bの近接を確かめることができる。受信されたデータの一貫性を確かめた後、クラウド604上のデバイスは、ユーザデバイス104およびコンパニオンデバイス108a、108bを認証することができる。
【0080】
ユーザデバイス104およびコンパニオンデバイス108a、108bを認証した後、クラウド604上のデバイスは、ユーザデバイス104およびコンパニオンデバイス108a、108bが互いに通信するために、第3の共有情報またはデータ(例えば、リンク鍵)を生成することができる。例えば、クラウド604上のデバイスは、第1の通信チャネルのインスタンス608dを使用して、第3の共有データを第1のコンパニオンデバイス108aに送信することができる。クラウド604上のデバイスは、第1の通信チャネルのインスタンス608eを使用して、第3の共有データを第2のコンパニオンデバイス108bに送信することができる。クラウド604上のデバイスは、第1の通信チャネルのインスタンス608aまたはインスタンス608bを使用して、第3の共有データをユーザデバイス104に送信することができる。第3の共有データを受信した後、ユーザデバイス104およびコンパニオンデバイス108a、108bは、互いに送信するためのデータを暗号化すること、または互いから受信されたデータを解読することができる。
【0081】
(2つのコンパニオンデバイスによって生成された視覚的パターンを使用した例示的デバイス認証)
いくつかの実施形態では、ユーザデバイス104および2つ以上のコンパニオンデバイス(例えば、第1のコンパニオンデバイス108aおよび第2のコンパニオンデバイス108b)は、複数の共有情報またはデータを使用して、互いに認証すること、または互いにペアになることができる。図7は、2つのコンパニオンデバイス108a、108bによって生成された視覚的パターン(またはオーディオ信号、または変換)を使用したユーザデバイス104と2つのコンパニオンデバイス108a、108bとの間のデバイス認証を図示する相互作用略図である。一実施形態では、第1のコンパニオンデバイス108aは、相互作用704において、視覚的通信(例えば、そのディスプレイを使用して)またはオーディオ通信(例えば、そのスピーカを使用して)を使用して、そのペアリング可能ステータスを示すことができる。ペアリング可能ステータスを受信した後、ユーザデバイス104は、第1のコンパニオンデバイス108aを認証するそのプロセスの部分を開始することができる。
【0082】
第1のコンパニオンデバイス108aは、相互作用708において、第1の視覚的パターン(FVP)等の情報またはデータオブジェクトを生成することができる。第1のコンパニオンデバイス108aは、第1のコンパニオンデバイス108aのアドレス(例えば、第1のコンパニオンデバイス108aのインターネットプロトコル(IP)アドレスまたはメディアアクセス制御(MAC)アドレス)または第1のコンパニオンデバイス108aの識別子を使用して、第1の視覚的パターンを生成することができる。一実施形態では、第1のコンパニオンデバイス108aは、1つ以上のアドレスまたは識別子を含むことができる。第1のコンパニオンデバイス108aは、相互作用712において、第1の視覚的パターンを表示する(または別様に非視覚的パターンまたは信号を使用して通信する)ことができる。第1の視覚的パターンのそのような表示は、帯域外(OOB)通信と称され得る。ユーザデバイス104は、相互作用716において、第1の視覚的パターンを読み取る(または視覚的もしくは非視覚的パターンもしくは信号を受信する)ことができる。例えば、ユーザデバイス104は、ユーザデバイス104の画像捕捉デバイスを使用して、第1の視覚的パターンを捕捉することができる。相互作用716において、第1の視覚的パターンを読み取った後、ユーザデバイス104は、第1の視覚的パターンをそのメモリに記憶することができる。ユーザデバイス104は、例えば、認証プロセスが完了するまで、第1の視覚的パターンを一時的に記憶することができる。
【0083】
第1のコンパニオンデバイス108aは、相互作用720において、第1のコンパニオンデバイス108aのアドレスと第1のコンパニオンデバイス108aがペアになるために利用可能であることを示す特定の値(例えば、1の値)のペアビット(PB)とを含むデータをクラウド604(例えば、クラウド604上のデバイス)に送信することができる。一実施形態では、第1のコンパニオンデバイス108aは、相互作用712において第1の視覚的パターンを表示することに先立って、相互作用720においてデータをクラウド604上のデバイスに伝送することができる。
【0084】
一実施形態では、第2のコンパニオンデバイス108bは、相互作用724において、視覚的通信(例えば、そのディスプレイを使用して)またはオーディオ通信(例えば、そのスピーカを使用して)を使用して、そのペアリング可能ステータスを示すことができる。ペアリング可能ステータスを受信した後、ユーザデバイス104は、第2のコンパニオンデバイス108bを認証するそのプロセスの部分を開始することができる。第2のコンパニオンデバイス108bは、相互作用728において、第2の視覚的パターン(SVP)等の情報またはデータオブジェクトを生成することができる。第2のコンパニオンデバイス108bは、第2のコンパニオンデバイス108bのアドレス(例えば、第2のコンパニオンデバイス108bのIPアドレスまたはMACアドレス)または第2のコンパニオンデバイス108bの識別子を使用して、第2の視覚的パターンを生成することができる。一実施形態では、第2のコンパニオンデバイス108bは、1つ以上のアドレスまたは識別子を含むことができる。
【0085】
第2のコンパニオンデバイス108bは、相互作用732において、第2の視覚的パターンを表示する(または別様に非視覚的パターンもしくは信号を使用して通信する)ことができる。第2の視覚的パターンのそのような表示は、帯域外(OOB)通信と称され得る。ユーザデバイス104は、相互作用736において、第2の視覚的パターンを読み取る(または視覚的もしくは非視覚的パターンもしくは信号を受信する)ことができる。例えば、ユーザデバイス104は、ユーザデバイス104の画像捕捉デバイスを使用して、第2の視覚的パターンを捕捉することができる。相互作用736において、第2の視覚的パターンを読み取った後、ユーザデバイス104は、第2の視覚的パターンをそのメモリに記憶することができる。ユーザデバイス104は、例えば、認証プロセスが完了するまで、第2の視覚的パターンを一時的に記憶することができる。第2のコンパニオンデバイス108bは、相互作用740において、第2のコンパニオンデバイス108bのアドレスと第2のコンパニオンデバイス108bがペアになるために利用可能であることを示す特定の値のペアビット(PB)とを含むデータをクラウド604(例えば、クラウド604上のデバイス)に送信することができる。一実施形態では、第2のコンパニオンデバイス108bは、相互作用732において第2の視覚的パターンを表示することに先立って、相互作用740においてデータをクラウド604上のデバイスに伝送することができる。一実施形態では、第1の視覚的パターンを生成するために第1のコンパニオンデバイス108aによって実装されるプロセスと第2の視覚的パターンを生成するために第2のコンパニオンデバイス108bによって実装されるプロセスとは、同じである。
【0086】
第1のコンパニオンデバイス108aによって表示される第1の視覚的パターンおよび第2のコンパニオンデバイス108bによって表示される第2の視覚的パターンを読み取った後、ユーザデバイス104は、相互作用744において、第1の視覚的パターン、第2の視覚的パターン、およびユーザデバイス104のアドレスまたは識別子(例えば、ユーザデバイス104のIPアドレスまたはMACアドレス)を含むデータをクラウド604(例えば、クラウド604上のデバイス)に送信することができる。データを第1のコンパニオンデバイス108aから受信するクラウド604上のデバイスと、データを第2のコンパニオンデバイス108bから受信するクラウド604上のデバイスと、データをユーザデバイス104から受信するクラウド604上のデバイスとは、クラウド604上の同じデバイスであることができる。
【0087】
クラウド604上のデバイスは、相互作用748において、ユーザデバイス104およびコンパニオンデバイス108a、108bから受信されたデータの一貫性を確かめることができる。例えば、クラウド604上のデバイスは、相互作用720後、第1のコンパニオンデバイス108aから受信された第1のコンパニオンデバイス108aのアドレスを使用して、第1の視覚的パターンを生成することができる。クラウド604上のデバイスは、相互作用744後、ユーザデバイス104から受信された第1の視覚的パターンが、クラウド604上のデバイスが生成した第1の視覚的パターンと一致することを確かめることができる。別の例として、クラウド604上のデバイスは、相互作用720において、第1の視覚的パターンを第1のコンパニオンデバイス108aから受信することができる。クラウド604上のデバイスは、相互作用744後、ユーザデバイス104から受信された第1の視覚的パターンが、相互作用720後に第1のコンパニオンデバイス108aから受信された第1の視覚的パターンと一致することを確かめることができる。
【0088】
クラウド604上のデバイスは、相互作用740後、第2のコンパニオンデバイス108bから受信された第2のコンパニオンデバイス108bのアドレスを使用して、第2の視覚的パターンを生成することができる。クラウド604上のデバイスは、相互作用744後にユーザデバイス104から受信された第2の視覚的パターンが、クラウド604上のデバイスが生成した第2の視覚的パターンと一致することを確かめることができる。別の例として、クラウド604上のデバイスは、相互作用740において、第2の視覚的パターンを第2のコンパニオンデバイス108bから受信することができる。クラウド604上のデバイスは、相互作用744後にユーザデバイス104から受信された第2の視覚的パターンが、相互作用740後に第2のコンパニオンデバイス108bから受信された第2の視覚的パターンと一致することを確かめることができる。
【0089】
ユーザデバイス104およびコンパニオンデバイス108a、108bを認証した後、クラウド604上のデバイスは、相互作用752において、リンク鍵(LK)を生成することができる。ユーザデバイス104およびコンパニオンデバイス108a、108bは、リンク鍵を使用して、互いにセキュアに通信することができる。クラウド604上のデバイスは、相互作用756aにおいて、リンク鍵を第2のコンパニオンデバイス108bに送信することができる。クラウド604上のデバイスは、相互作用756bにおいて、リンク鍵を第1のコンパニオンデバイス108aに送信することができる。クラウド604上のデバイスは、相互作用756cにおいて、リンク鍵をユーザデバイス104に送信することができる。リンク鍵を受信した後、ユーザデバイス104およびコンパニオンデバイス108a、108bは、リンク鍵を使用して、互いに送信するために、データを暗号化すること、または互いから受信されたデータを解読することができる。一実施形態では、上で説明される相互作用のうちのいくつかは、新しいリンク鍵が生成されるように、規則的インターバルで(例えば、毎秒、毎分、毎時、またはそれを上回って)繰り返されることができる。故に、ユーザデバイス104およびコンパニオンデバイス108a、108bは、新しいリンク鍵を使用して、互いにセキュアに通信することができる。
【0090】
(クラウド上の1つ以上のデバイスによって生成された視覚的パターンを使用した例示的デバイス認証)
いくつかの実施形態では、ユーザデバイス104および2つ以上のコンパニオンデバイス(例えば、第1のコンパニオンデバイス108aおよび第2のコンパニオンデバイス108b)は、クラウド604上のデバイスによって部分的に生成された複数の共有情報またはデータを使用して、互いに認証すること、またはペアになることができる。図8は、クラウド604(例えば、クラウド604上の1つ以上のデバイス)によって少なくとも部分的に生成された視覚的パターンを使用したユーザデバイス104と2つのコンパニオンデバイス108a、108bとの間のデバイス認証を図示する相互作用略図である。一実施形態では、第1のコンパニオンデバイス108aは、相互作用804において、視覚的通信(例えば、そのディスプレイを使用して)またはオーディオ通信(例えば、そのスピーカを使用して)を使用して、そのペアリング可能ステータスを示すことができる。ペアリング可能ステータスを受信した後、ユーザデバイス104は、第1のコンパニオンデバイス108aを認証するそのプロセスの部分を開始することができる。
【0091】
第1のコンパニオンデバイス108aは、相互作用808において、第1のコンパニオンデバイス108aのアドレスと第1のコンパニオンデバイス108aがペアになるために利用可能であることを示す特定の値(例えば、1の値)のペアビット(PB)とを含むデータをクラウド604(例えば、クラウド604上のデバイス)に送信することができる。第1のコンパニオンデバイス108aのアドレスおよびペアビットを受信した後、クラウド604上のデバイスは、相互作用812において、第1のパターン(FP)を生成することができる。一実施形態では、クラウド604上のデバイスは、第1のコンパニオンデバイス108aのアドレスを使用して、第1のパターンを生成することができる。例えば、第1のパターンは、第1のコンパニオンデバイス108aのアドレスのハッシュ(例えば、セキュアハッシュアルゴリズム(SHA)-2)であり得る。クラウド604上のデバイスは、相互作用816において、第1のパターンを第1のコンパニオンデバイス108aに伝送することができる。
【0092】
第1のコンパニオンデバイス108aは、相互作用820において、第1の視覚的パターン(FVP)等の情報またはデータオブジェクトを生成することができる。第1のコンパニオンデバイス108aは、受信された第1のパターンを使用して、第1の視覚的パターンを生成することができる。一実施形態では、第1のコンパニオンデバイス108aは、帯域外(OOB)通信チャネルを使用して、第1の視覚的パターンを通信することができる。例えば、第1のコンパニオンデバイス108aは、相互作用824において、第1の視覚的パターンを表示する(または別様に非視覚的パターンもしくは信号を使用して通信する)ことができる。ユーザデバイス104は、相互作用828において、第1の視覚的パターンを読み取る(または視覚的もしくは非視覚的パターンもしくは第1の視覚的パターンに対応する信号を受信する)ことができる。例えば、ユーザデバイス104は、ユーザデバイス104の画像捕捉デバイスを使用して、第1の視覚的パターンを捕捉することができる。相互作用824において、第1の視覚的パターンを読み取った後、ユーザデバイス104は、第1の視覚的パターンをそのメモリに記憶することができる。ユーザデバイス104は、例えば、認証プロセスが完了するまで、第1の視覚的パターンを一時的に記憶することができる。
【0093】
一実施形態では、第2のコンパニオンデバイス108bは、相互作用832において、視覚的通信(例えば、そのディスプレイを使用して)またはオーディオ通信(例えば、そのスピーカを使用して)を使用して、そのペアリング可能ステータスを示すことができる。ペアリング可能ステータスを受信した後、ユーザデバイス104は、第2のコンパニオンデバイス108bを認証するそのプロセスの部分を開始することができる。第2のコンパニオンデバイス108bは、相互作用836において、第2のコンパニオンデバイス108bのアドレスと第2のコンパニオンデバイス108bがペアになるために利用可能であることを示す特定の値のペアビット(PB)とを含むデータをクラウド604(例えば、クラウド604上のデバイス)に送信することができる。第2のコンパニオンデバイス108bのアドレスおよびペアビットを受信した後、クラウド604上のデバイスは、相互作用840において、第2のパターン(SP)を生成することができる。一実施形態では、クラウド604上のデバイスは、第2のコンパニオンデバイス108bのアドレスを使用して、第2のパターンを生成することができる。例えば、第2のパターンは、第2のコンパニオンデバイス108bのアドレスのハッシュ(例えば、セキュアハッシュアルゴリズム(SHA)-2)であり得る。クラウド604上のデバイスは、相互作用844において、第2のパターンを第2のコンパニオンデバイス108bに伝送することができる。
【0094】
第2のコンパニオンデバイス108bは、相互作用848において、第2の視覚的パターン(SVP)等の情報またはデータオブジェクトを生成することができる。第2のコンパニオンデバイス108aは、受信された第2のパターンを使用して、第2の視覚的パターンを生成することができる。一実施形態では、第2のコンパニオンデバイス108bは、帯域外(OOB)通信チャネルを使用して、第2の視覚的パターンを通信することができる。例えば、第2のコンパニオンデバイス108bは、相互作用852において、第2の視覚的パターンを表示する(または別様に非視覚的パターンもしくは信号を使用して通信する)ことができる。ユーザデバイス104は、相互作用856において、第2の視覚的パターンを読み取る(または第2の視覚的パターンに対応する視覚的もしくは非視覚的パターンもしくは信号を受信する)ことができる。例えば、ユーザデバイス104は、ユーザデバイス104の画像捕捉デバイスを使用して、第2の視覚的パターンを捕捉することができる。相互作用856において、第2の視覚的パターンを読み取った後、ユーザデバイス104は、第2の視覚的パターンをそのメモリに記憶することができる。ユーザデバイス104は、例えば、認証プロセスが完了するまで、第2の視覚的パターンを一時的に記憶することができる。
【0095】
相互作用824において第1のコンパニオンデバイス108aによって表示される第1の視覚的パターンと相互作用852において第2のコンパニオンデバイス108bによって表示される第2の視覚的パターンとを読み取った後、ユーザデバイス104は、相互作用856において、第1の視覚的パターン、第2の視覚的パターン、およびユーザデバイス104のアドレスまたは識別子(例えば、ユーザデバイス104のIPアドレスまたはMACアドレス)を含むデータをクラウド604(例えば、クラウド604上のデバイス)に送信することができる。データを第1のコンパニオンデバイス108aから受信するクラウド604上のデバイスと、データを第2のコンパニオンデバイス108bから受信するクラウド604上のデバイスと、データをユーザデバイス104から受信するクラウド604上のデバイスとは、同じクラウド604上のデバイスであることができる。
【0096】
クラウド604上のデバイスは、相互作用864において、ユーザデバイス104およびコンパニオンデバイス108a、108bから受信されたデータの一貫性を確かめることができる。例えば、クラウド604上のデバイスは、それが生成した第1のパターンを使用して、第1の視覚的パターンを生成することができる。クラウド604上のデバイスは、ユーザデバイス104から受信された第1の視覚的パターンが、クラウド604上のデバイスが生成した第1の視覚的パターンと一致することを確かめることができる。クラウド604上のデバイスは、それが生成した第2のパターンを使用して、第2の視覚的パターンを生成することができる。クラウド604上のデバイスは、ユーザデバイス104から受信された第2の視覚的パターンが、クラウド604上のデバイスが生成した第2のパターンと一致することを確かめることができる。
【0097】
ユーザデバイス104およびコンパニオンデバイス108a、108bを認証した後、クラウド604上のデバイスは、相互作用868において、リンク鍵(LK)を生成することができる。ユーザデバイス104およびコンパニオンデバイス108a、108bは、リンク鍵を使用して、互いにセキュアに通信することができる。クラウド604上のデバイスは、相互作用872aにおいて、リンク鍵を第2のコンパニオンデバイス108bに送信することができる。クラウド604上のデバイスは、相互作用872bにおいて、リンク鍵を第1のコンパニオンデバイス108aに送信することができる。クラウド604上のデバイスは、相互作用872cにおいて、リンク鍵をユーザデバイス104に送信することができる。リンク鍵を受信した後、ユーザデバイス104およびコンパニオンデバイス108a、108bは、リンク鍵を使用して、互いに送信するために、データを暗号化すること、または互いから受信されたデータを解読することができる。一実施形態では、上で説明される相互作用のうちのいくつかは、新しいリンク鍵が生成されるように、規則的インターバル(例えば、毎秒、毎分、毎時、またはそれを上回って)で繰り返されることができる。故に、ユーザデバイス104およびコンパニオンデバイス108a、108bは、新しいリンク鍵を使用して、互いにセキュアに通信することができる。
【0098】
(例示的拡張現実シナリオ)
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、それらが現実であるように見える様式、またはそのように知覚され得る様式において、ユーザに提示される。仮想現実「VR」シナリオは、典型的には、他の実際の実世界視覚的入力に対する透明性のないデジタルまたは仮想画像情報の提示を伴い、拡張現実「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてデジタルまたは仮想画像情報の提示を伴い、複合現実「MR」シナリオは、典型的には、実および仮想世界の融合を伴い、新しい環境を生成し、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する。結論からいうと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進するVR、AR、またはMRの生成は、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、およびMR技術に関連する種々の課題に対処する。
【0099】
図9は、人物によって視認されるある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う拡張現実シナリオの例証を描写する。図9は、拡張現実場面900を描写し、AR技術のユーザは、人々、木々、背景における建物、およびコンクリートプラットフォーム920を特徴とする実世界公園状設定910を見ている。これらのアイテムに加え、AR技術のユーザは、実世界プラットフォーム920上に立っているロボット像930と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ940(例えば、マルハナバチ)とも「見えている」と知覚するが、これらの要素は、実世界には存在しない。
【0100】
3次元(3D)ディスプレイが、深度の真の感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の各点のために、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点のための遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛をもたらし、遠近調節情報がない場合、表面深度のほぼ完全な欠如をもたらし得る。
【0101】
VR、AR、およびMR体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有するディスプレイシステムによって提供されることができる。画像は、各深度平面に対して異なり得(例えば、場面またはオブジェクトの若干異なる提示を提供する)、画像は、視認者の眼によって別個に焦点を合わせられ、それによって、ユーザに深度キューを提供することに役立ち得、深度キューは、異なる深度平面上に位置する場面のための異なる画像特徴に焦点を合わせるようにするために要求される眼の遠近調節に基づき、および/または、観察している異なる深度平面上の異なる画像特徴が焦点はずれであることに基づく。本明細書のいずれかに議論されるように、そのような深度キューは、深度の真実味のある知覚を提供する。VR、AR、およびMR体験を生成または向上させるために、ディスプレイシステムは、バイオメトリック情報を使用して、それらの体験を向上させることができる。
【0102】
(例示的ウェアラブルディスプレイシステム)
図10は、VR、AR、またはMR体験をディスプレイシステム装着者もしくは視認者1004に提示するために使用され得るウェアラブルディスプレイシステム1000の例を図示する。ウェアラブルディスプレイシステム1000は、本明細書に説明される用途または例のいずれかを実施するようにプログラムされ得る。ディスプレイシステム1000は、ディスプレイ1008と、ディスプレイ1008の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ1008は、ディスプレイシステムユーザ、装着者、または視認者1004によって装着可能であり、ディスプレイ1008を装着者1004の眼の正面に位置付けるように構成される、フレーム1012に結合され得る。ディスプレイ1008は、明視野ディスプレイであり得る。いくつかの実施形態では、スピーカ1016が、フレーム1012に結合され、ユーザの外耳道に隣接して位置付けられる。いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する。ディスプレイ1008は、有線導線または無線接続性等によって、フレーム1012に固定して取り付けられる構成、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる構成、ヘッドホンに内蔵される、または別様にユーザ1004に除去可能に取り付けられる構成(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載され得るローカルデータ処理モジュール1024に動作可能に結合される1020。
【0103】
フレーム1012は、装着者の眼の画像を得るために、フレーム1012に取り付けられた、または搭載された1つ以上のカメラを有することができる。一実施形態では、カメラは、眼が直接結像され得るように、装着者の眼の正面においてフレーム1012に搭載され得る。他の実施形態では、カメラは、フレーム1012の支えに沿って(例えば、装着者の耳の近傍に)搭載されることができる。そのような実施形態では、ディスプレイ1008は、装着者の眼からの光をカメラに向かって反射する材料でコーティングされ得る。光は、虹彩特徴が赤外線画像において目立つので、赤外線光であり得る。
【0104】
ローカル処理およびデータモジュール1024は、ハードウェアプロセッサと不揮発性メモリ(例えば、フラッシュメモリ)等の非一過性デジタルメモリとを備え得、それらの両方は、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、(a)センサ(例えば、フレーム1012に動作可能に結合されるか、または別様にユーザ1004に取り付けられ得る)、例えば、画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープから捕捉されたデータ、および/または、(b)多分、処理または読み出し後にディスプレイ1008に渡すために遠隔処理モジュール1028および/または遠隔データリポジトリ1032を使用して入手および/または処理されたデータを含み得る。ローカル処理およびデータモジュール1024は、これらの遠隔モジュール1028、1032が、ローカル処理およびデータモジュール1024へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク1036および/または1040によって、遠隔処理モジュール1028および/または遠隔データリポジトリ1032に動作可能に結合され得る。画像補足デバイスは、眼画像処理プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。加えて、遠隔処理モジュール1028および遠隔データリポジトリ1032は、互いに動作可能に結合され得る。
【0105】
いくつかの実施形態では、遠隔処理モジュール1028は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび/または画像情報を分析および処理するように構成される1つ以上のプロセッサを備え得る。ビデオデータは、ローカル処理およびデータモジュール1024および/または遠隔データリポジトリ1032内でローカルに記憶され得る。いくつかの実施形態では、遠隔データリポジトリ1032は、デジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール1024において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
【0106】
いくつかの実装では、ローカル処理およびデータモジュール1024および/または遠隔処理モジュール1028は、本明細書に説明されるシステムおよび方法の実施形態を行うようにプログラムされる。画像捕捉デバイスは、特定の用途のためのビデオ(例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手または指のビデオ)を捕捉することができる。ビデオは、処理モジュール1024、1028の一方または両方によって、分析されることができる。ある場合、虹彩コード生成の少なくともいくつかを遠隔処理モジュール(例えば、「クラウド」内の)にオフロードすることは、計算の効率または速度を改良し得る。本明細書に開示されるシステムおよび方法のパラメータは、データモジュール1024および/または1028内に記憶されることができる。
【0107】
分析の結果は、追加の動作または処理のために、処理モジュール1024、1028の一方または両方によって使用されることができる。例えば、種々の用途では、バイオメトリック識別、眼追跡、認識、またはジェスチャ、オブジェクト、姿勢等の分類が、ウェアラブルディスプレイシステム1000によって使用され得る。例えば、ウェアラブルディスプレイシステム1000は、装着者1004の手の捕捉されたビデオを分析し、装着者の手によるジェスチャ(例えば、実または仮想オブジェクトを取り上げること、賛成または反対を知らせること(例えば、「親指を上に向ける」または「親指を下に向ける」)等)、およびウェアラブルディスプレイシステムを認識し得る。
【0108】
ヒト視覚系は、複雑であり、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、両眼離反運動移動と遠近調節の組み合わせに起因して、オブジェクトを3次元として知覚し得ると考えられる。互いに対する2つの眼の両眼離反運動移動(例えば、瞳孔が、互いに向かって、または互いから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転)は、眼の水晶体の焦点合わせ(または「遠近調節」)に緊密に関連付けられる。通常条件のもと、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点を変化させること、または眼を遠近調節することは、「遠近調節-両眼離反運動反射」として知られる関係のもと、同じ距離への両眼離反運動の整合変化を自動的に引き起こすであろう。同様に、両眼離反運動における変化は、通常条件のもと、遠近調節の整合変化を誘起するであろう。遠近調節と両眼離反運動との間のより良好な合致を提供するディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
【0109】
図11は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。図11を参照すると、z-軸上の眼1102および1104からの種々の距離におけるオブジェクトは、それらのオブジェクトが焦点が合うように、眼1102および1104によって遠近調節される。眼1102および1104は、特定の遠近調節された状態をとり、z-軸に沿った異なる距離におけるオブジェクトに焦点を合わせる。その結果、特定の遠近調節された状態は、関連付けられた焦点距離を有する深度平面1106のうちの特定の1つに関連付けられていると言え、それによって、特定の深度平面におけるオブジェクトまたはオブジェクトの一部は、眼がその深度平面に対して遠近調節された状態にあるとき、焦点が合う。いくつかの実施形態では、3次元画像は、眼1102および1104の各々のために、画像の異なる提示を提供することによってシミュレートされ得、深度平面の各々に対応する画像の異なる提示を提供することによっても、シミュレートされ得る。例証を明確にするために、別個であるように示されるが、眼1102および1104の視野は、例えば、z-軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と焦点が合うように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面の各々に対応する画像の異なる提示を提供することによって達成され得る。
【0110】
(例示的導波管スタックアセンブリ)
図12は、画像情報をユーザに出力するための導波管スタックの例を図示する。ディスプレイシステム1000は、複数の導波管1220、1222、1224、1226、1228を使用して、3次元知覚を眼1210または脳に提供するために利用され得る導波管のスタックまたはスタックされた導波管アセンブリ1205を含む。いくつかの実施形態では、ディスプレイシステム1200は、図10のシステム1000に対応し得、図12は、そのシステム1200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ1205は、図10のディスプレイ1008の中に統合され得る。
【0111】
図12を継続して参照すると、導波管アセンブリ1205は、導波管間の複数の特徴1230、1232、1234、1236も含み得る。いくつかの実施形態では、特徴1230、1232、1234、1236は、レンズであり得る。いくつかの実施形態では、特徴1230、1232、1234、1236は、レンズではないこともある。むしろ、それらは、スペーサであり得る(例えば、空気間隙を形成するためのクラッディング層および/または構造)。
【0112】
導波管1220、1222、1224、1226、1228および/または複数のレンズ1230、1232、1234、1236は、種々のレベルの波面曲率または光線発散を伴って画像情報を眼に送信するように構成され得る。各導波管レベルは、特定の深度平面に関連付けられ得、その深度平面に対応する画像情報を出力するように構成され得る。画像投入デバイス1240、1242、1244、1246、1248は、導波管1220、1222、1224、1226、1228の中に画像情報を投入するために利用され得、画像投入デバイスの各々は、眼1210に向かって出力するために、各それぞれの導波管にわたって入射光を分配するように構成され得る。光は、画像投入デバイス1240、1242、1244、1246、1248の出力表面から出射し、導波管1220、1222、1224、1226、1228の対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管に関連付けられた深度面に対応する特定の角度(および発散量)において眼1210に向かって導かれるクローン化されたコリメートビームの場全体を出力し得る。
【0113】
いくつかの実施形態では、画像投入デバイス1240、1242、1244、1246、1248は、各々が、対応する導波管1220、1222、1224、1226、1228の中への投入のための画像情報を生成する別々のディスプレイである。いくつかの他の実施形態では、画像投入デバイス1240、1242、1244、1246、1248は、例えば、画像情報を1つ以上の光学導管(光ファイバケーブル等)を介して、画像投入デバイス1240、1242、1244、1246、1248の各々に送り得る単一の多重化されたディスプレイの出力端である。
【0114】
コントローラ1250が、スタックされた導波管アセンブリ1205および画像投入デバイス1240、1242、1244、1246、1248の動作を制御する。いくつかの実施形態では、コントローラ1250は、導波管1220、1222、1224、1226、1228への画像情報のタイミングおよび提供を調整するプログラミング(例えば、非一過性コンピュータ読み取り可能な媒体内の命令)を含む。いくつかの実施形態では、コントローラ1250は、単一一体型デバイスまたは有線もしくは無線通信チャネルによって接続される分散型システムであり得る。コントローラ1250は、いくつかの実施形態では、処理モジュール1024および/または1028(図10に図示される)の一部であり得る。いくつかの実施形態では、コントローラは、内向きに面した結像システム1252(例えば、デジタルカメラ)、外向きに面した結像システム1254(例えば、デジタルカメラ)、および/またはユーザ入力デバイス1266と通信し得る。内向きに面した結像システム1252(例えば、デジタルカメラ)は、眼1210の画像を捕捉し、例えば、眼1210の瞳孔のサイズおよび/または向きを決定するために使用されることができる。外向きに面した結像システム1254は、世界1256の一部を結像するために使用されることができる。ユーザは、ユーザ入力デバイス1256を介して、コマンドをコントローラ1250に入力し、ディスプレイシステム1200と相互作用することができる。
【0115】
導波管1220、1222、1224、1226、1228は、全内部反射(TIR)によって各それぞれの導波管内で光を伝搬するように構成され得る。導波管1220、1222、1224、1226、1228の各々は、主要な上部および底部表面ならびにそれらの主要上部表面と底部表面との間に延びている縁を伴う平面であるか、または、別の形状(例えば、湾曲)を有し得る。図示される構成では、導波管1220、1222、1224、1226、1228の各々は、光を向け直し、各それぞれの導波管内で伝搬し、導波管から画像情報を眼1210に出力することによって、光を導波管から抽出するように構成される光抽出光学要素1260、1262、1264、1266、1268を含み得る。抽出された光は、外部結合光とも称され得、光抽出光学要素は、外部結合光学要素とも称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光向け直し要素に衝打する場所において出力される。光抽出光学要素(1260、1262、1264、1266、1268)は、例えば、反射および/または回折光学特徴であり得る。説明を容易にし、図面を明確にするために、導波管1220、1222、1224、1226、1228の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素1260、1262、1264、1266、1268は、上部および/または底部主要表面に配置され、および/または、直接導波管1220、1222、1224、1226、1228の容積内に配置され得る。いくつかの実施形態では、光抽出光学要素1260、1262、1264、1266、1268は、透明基板に取り付けられ、導波管1220、1222、1224、1226、1228を形成する材料の層内に形成され得る。いくつかの他の実施形態では、導波管1220、1222、1224、1226、1228は、モノリシック材料部品であり得、光抽出光学要素1260、1262、1264、1266、1268は、その材料部品の表面上および/または内部に形成され得る。
【0116】
図12を継続して参照すると、本明細書に議論されるように、各導波管1220、1222、1224、1226、1228は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管1220は、そのような導波管1220の中に投入されると、コリメートされた光を眼1210に送達するように構成され得る。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管1222は、眼1210に到達し得る前、第1のレンズ1230(例えば、負のレンズ)を通過するコリメートされた光を送出するように構成され得る。第1のレンズ1230は、眼/脳が、その次の上方導波管1222から生じる光を光学無限遠から眼1210に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成され得る。同様に、第3の上方導波管1224は、眼1210に到達する前、その出力光を第1のレンズ1230および第2のレンズ1232の両方を通過させる。第1および第2のレンズ1230ならびに1232の組み合わせられた屈折力は、眼/脳が、第3の上方の導波管1224から生じる光が次の上方の導波管1224からの光であった光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、別の増分量の波面曲率を生成するように構成され得る。
【0117】
他の導波管層(例えば、導波管1226、1228)およびレンズ(例えば、レンズ1234、1236)も同様に構成され、スタック内の最も高い導波管1228は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ1205の他の側の世界1256から生じる光を視認/解釈するとき、レンズ1230、1232、1234、1236のスタックを補償するために、補償レンズ層1238が、スタックの上部に配置され、下方のレンズスタック1230、1232、1234、1236の集約力を補償し得る。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管1220、1222、1224、1226、1228の光抽出光学要素1260、1262、1264、1266、1268およびレンズ1230、1232、1234、1236の集束側面の両方は、静的であり得る(例えば、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方は、電気活性特徴を使用して動的であり得る。
【0118】
図12を継続して参照すると、光抽出光学要素1260、1262、1264、1266、1268は、光をそれらのそれぞれの導波管から向け直し、かつ導波管に関連付けられた特定の深度平面のための適切な量の発散またはコリメーションを伴ってこの光を出力することを行うように構成され得る。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する異なる構成の光抽出光学要素を有し得る。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素1260、1262、1264、1266、1268は、光を特定の角度で出力するように構成され得る立体または表面特徴であり得る。例えば、光抽出光学要素1260、1262、1264、1266、1268は、立体ホログラム、表面ホログラム、および/または回折格子であり得る。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明されている。いくつかの実施形態では、特徴1230、1232、1234、1236は、レンズではないこともある。むしろ、それらは、単に、スペーサであり得る(例えば、クラッディング層および/または空隙を形成するための構造)。
【0119】
いくつかの実施形態では、光抽出光学要素1260、1262、1264、1266、1268は、回折パターンを形成する回折特徴または「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差を用いて眼1210に向かって偏向させられる一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射するいくつかの関連出射ビームに分割され、その結果は、導波管内で跳ね返るこの特定のコリメートされたビームに対して、眼1210に向かって非常に均一なパターンの出射放出である。
【0120】
いくつかの実施形態では、1つ以上のDOEは、能動的に回折する「オン」状態と、それらが有意に回折しない「オフ」状態との間で切り替え可能であり得る。例えば、切り替え可能なDOEは、ポリマー分散液晶の層を備え得、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられることができる(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のそれに合致しない屈折率に切り替えられることができる(その場合、パターンは、入射光を能動的に回折する)。
【0121】
いくつかの実施形態では、深度平面および/または被写界深度の数および分布は、視認者の眼の瞳孔サイズおよび/または向きに基づいて、動的に変動させられ得る。いくつかの実施形態では、内向きに面した結像システム1252(例えば、デジタルカメラ)が、眼1210の画像を捕捉し、眼1210の瞳孔のサイズおよび/または向きを決定するために使用され得る。いくつかの実施形態では、内向きに面した結像システム1252は、フレーム1012(図10に図示されるように)に取り付けられ得、内向きに面した結像システム1252からの画像情報を処理し、例えば、ユーザ1004の瞳孔直径または眼の向きを決定し得る処理モジュール1024および/または1028と電気通信し得る。
【0122】
いくつかの実施形態では、内向きに面した結像システム1252(例えば、デジタルカメラ)は、眼移動および顔移動等、ユーザの移動を観察することができる。内向きに面した結像システム1252は、眼1210の画像を捕捉し、眼1210の瞳孔のサイズおよび/または向きを決定するために使用され得る。内向きに面した結像システム1252は、ユーザが見ている方向(例えば、眼姿勢)を決定することにおいて使用するための画像、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)の画像を得るために使用されることができる。内向きに面した結像システム1252によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにディスプレイシステム1200によって使用され得るユーザの眼姿勢および/または気分を決定するために分析され得る。ディスプレイシステム1200は、慣性測定ユニット(IMU)、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部向き)も決定し得る。頭部の姿勢は、単独で、または眼姿勢と組み合わせて、ステムトラックと相互作用するために、および/または、オーディオコンテンツを提示するために使用され得る。
【0123】
いくつかの実施形態では、1つのカメラが、各眼のために利用され、各眼の瞳孔サイズおよび/または向きを別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にし得る。いくつかの実施形態では、少なくとも1つのカメラが、各眼のために利用され、独立して、各眼の瞳孔サイズおよび/または眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にし得る。いくつかの他の実施形態では、片眼1210のみの瞳孔直径および/または向き(例えば、対の眼あたり単一カメラのみを使用して)が、決定され、視認者1004の両眼に対して類似すると仮定される。
【0124】
例えば、被写界深度は、視認者の瞳孔サイズと反比例して変化し得る。その結果、視認者の眼の瞳孔のサイズが減少すると、被写界深度は、増加し、それによって、その平面の場所が眼の焦点深度を越えるので判別不能である1つの平面が、瞳孔サイズの低減および被写界深度の相当する増加に伴って、判別可能となり、より焦点が合って見えるようになり得る。同様に、異なる画像を視認者に提示するために使用される間隔を置かれた深度平面の数は、減少させられた瞳孔サイズに伴って減少させられ得る。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第1の深度平面および第2の深度平面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが可能ではないこともある。しかしながら、これらの2つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに焦点が合うには十分であり得る。
【0125】
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび/または向きの決定に基づいて、もしくは特定の瞳孔サイズおよび/または向きを示す電気信号を受信すると、画像情報を受け取る導波管の数を変動させ得る。例えば、ユーザの眼が、2つの導波管に関連付けられた2つの深度平面間を区別不能である場合、コントローラ1250は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされ得る。有利には、それは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切り替え可能である実施形態では、DOEは、導波管が画像情報を受け取ると、オフ状態に切り替えられ得る。
【0126】
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、この条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、この条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズに対して満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズも、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動させられ得る。
【0127】
ディスプレイシステム1200は、世界1256の一部を結像する外向きに面した結像システム1254(例えば、デジタルカメラ)を含むことができる。世界1256のこの部分は、視野(FOV)と称され得、結像システム1254は、時として、FOVカメラとも称される。視認者1004による視認または結像のために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、ディスプレイシステム1200を包囲する4πステラジアンの立体角を含み得る。ディスプレイシステム1200のいくつかの実装では、FORは、ユーザ1004が、ユーザを包囲するオブジェクトを見るためにその頭部および眼を移動させ得るので、ディスプレイシステム1200のユーザ1004の周囲の立体角の実質的に全てを含み得る(ユーザの正面、背面、上方、下方、または側面)。外向きに面した結像システム1254から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡すること、ユーザの正面における世界1256内のオブジェクトを検出すること等を行うために使用されることができる。
【0128】
ディスプレイシステム1200は、ユーザが、コマンドをコントローラ1250に入力し、ディスプレイシステム400と相互作用し得るユーザ入力デバイス1266を含むことができる。例えば、ユーザ入力デバイス1266は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、方向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含むことができる。ある場合、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押し、またはその上でスワイプし、入力をディスプレイシステム1200に提供し得る(例えば、ユーザ入力をディスプレイシステム1200によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス1266は、ディスプレイシステム1200の使用中、ユーザの手によって保持され得る。ユーザ入力デバイス1266は、ディスプレイシステム1200と有線または無線通信することができる。
【0129】
図13は、導波管によって出力された出射ビームの例を示す。1つの導波管が図示されるが、導波管アセンブリ1205内の他の導波管も、同様に機能し得、導波管アセンブリ1205は、複数の導波管を含むことを理解されたい。光1305が、導波管1220の入力縁1310において導波管1220の中に投入され、全内部反射(TIR)によって導波管1220内を伝搬する。光1305が回折光学要素(DOE)1260に衝突する点において、光の一部が、出射ビーム1315として導波管から出射する。出射ビーム1315は、実質的に平行として図示されるが、それらは、導波管1220に関連付けられた深度平面に応じて、ある角度で眼1210に伝搬するように向け直されることもある(例えば、発散出射ビーム形成)。実質的に平行な出射ビームは、眼1210からの遠距離(例えば、光学無限遠)における深度平面に設定されるように見える画像を形成するように光を外部結合する光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素の組は、より発散する出射ビームパターンを出力し得、それは、眼1210がより近い距離に遠近調節し、それを網膜に焦点を合わせることを要求し、光学無限遠より眼1210に近い距離からの光として脳によって解釈されるであろう。
【0130】
図14は、導波管装置と、光を導波管装置にまたはそれから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むディスプレイシステム1200の別の例を示す。ディスプレイシステム1200は、多焦点立体、画像、または明視野を生成するために使用されることができる。ディスプレイシステム1200は、1つ以上の一次平面導波管1404(1つのみのが図14に示される)と、一次導波管1404の少なくともいくつかの各々に関連付けられた1つ以上のDOE1408とを含むことができる。平面導波管1404は、図12を参照して議論される導波管1220、1222、1224、1226、1228に類似することができる。光学システムは、分配導波管装置を採用し、光を第1の軸(図14の図では、垂直またはY-軸)に沿って中継し、第1の軸(例えば、Y-軸)に沿って光の有効射出瞳を拡張させ得る。分配導波管装置は、例えば、分配平面導波管1412と、分配平面導波管1412に関連付けられた少なくとも1つのDOE1416(二重破線によって図示される)とを含み得る。分配平面導波管1412は、少なくともいくつかの点において、それと異なる向きを有する一次平面導波管1404と類似または同じであり得る。同様に、少なくとも1つのDOE1416は、少なくともいくつかの点において、DOE1408と類似または同じであり得る。例えば、分配平面導波管1412および/またはDOE1416は、それぞれ、一次平面導波管1404および/またはDOE1408と同じ材料から成り得る。図14に示される光学システムは、図10に示されるウェアラブルディスプレイシステム1000の中に統合されることができる。
【0131】
中継され、射出瞳が拡張された光は、分配導波管装置から1つ以上の一次平面導波管1404の中に光学的に結合される。一次平面導波管1404は、好ましくは、第1の軸に直交する第2の軸(例えば、図14の図では、水平またはX-軸)に沿って、光を中継する。着目すべきこととして、第2の軸は、第1の軸に対して非直交軸であることができる。一次平面導波管1404は、その第2の軸(例えば、X-軸)に沿って、光の有効射出経路を拡張させる。例えば、分配平面導波管1412は、光を垂直またはY-軸に沿って中継および拡張させ、光を水平もしくはX-軸に沿って中継および拡張させる一次平面導波管1404にその光を渡すことができる。
【0132】
ディスプレイシステム1200は、単一モード光ファイバ1424の近位端の中に光学的に結合され得る1つ以上の着色光源(例えば、赤色、緑色、および青色レーザ光)1420を含み得る。光ファイバ1424の遠位端は、圧電材料の中空管1428に通され、またはそれを通して受け取られ得る。遠位端は、固定されない可撓なカンチレバー1432として、管1428から突出する。圧電管1428は、4つの象限電極(図示せず)に関連付けられることができる。電極は、例えば、管1428の外側、外側表面もしくは外側周縁、または直径にめっきされ得る。コア電極(図示せず)も、管1428のコア、中心、内側周縁、または内径に位置する。
【0133】
例えば、ワイヤ1440を介して電気的に結合される、駆動電子機1436は、対向する対の電極を駆動し、圧電管1428を2つの軸において独立して曲げる。光ファイバ1424の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ1424の直径、長さ、および材料特性に依存し得る。圧電管428をファイバカンチレバー1432の第1の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー1432は、振動させられ、大きい偏向を通して掃引し得る。
【0134】
2つの軸において共振振動を刺激することによって、ファイバカンチレバー1432の先端は、2次元(2-D)走査を充填するエリア内において2軸方向に走査される。光源1420の強度をファイバカンチレバー1432の走査と同期して変調することによって、ファイバカンチレバー1432から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第2014/0003762号(参照することによってその全体として本明細書に組み込まれる)に提供されている。
【0135】
光学結合器サブシステムのコンポーネント1444は、走査ファイバカンチレバー1432から発せられる光をコリメートする。コリメートされた光は、鏡付き表面1448によって、少なくとも1つの回折光学要素(DOE)1416を含む狭い分配平面導波管1412の中に反射される。コリメートされた光は、全内部反射によって分配平面導波管1412に沿って(図14の図に対して)垂直に伝搬し、そうすることによって、DOE1416と繰り返し交差する。DOE1416は、好ましくは、低回折効率を有する。これは、光の一部(例えば、10%)をDOE1416との交差点の各点においてより大きい一次平面導波管1404の縁に向かって回折し、光の一部をTIRを介して分配平面導波管1412の長さを辿ってその元の軌道上で継続させる。
【0136】
DOE1416との交差の各点において、追加の光が、一次導波管1412の入口に向かって回折される。入射光を複数の外部結合される組に分割することによって、光の射出瞳は、分配平面導波管1412内のDOE1416によって垂直に拡張される。分配平面導波管1412から外部結合されたこの垂直に拡張された光は、一次平面導波管1404の縁に進入する。
【0137】
一次導波管1404に進入する光は、TIRを介して、一次導波管1404に沿って(図14の図に対して)水平に伝搬する。光は、TIRを介して、一次導波管1404の時間長の少なくとも一部に沿って水平に伝搬しながら、複数の点においてDOE1408と交差する。DOE1408は、有利には、線形回折パターンと半径方向対称回折パターンとの合計である位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。DOE1408は、有利には、ビームの光の一部のみが、DOE1408の各交差において視認者の眼に向かって偏向させられる一方、光の残りが、TIRを介して、導波管1404を通して伝搬し続けるように、低回折効率(例えば、10%)を有し得る。
【0138】
伝搬する光とDOE1408との間の交差の各点において、光の一部は、一次導波管1404の隣接面に向かって回折され、光がTIRから逃れ、一次導波管1404の面から発せられることを可能にする。いくつかの実施形態では、DOE1408の半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に与え、個々のビームの光波面を成形(例えば、曲率を与える)することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。
【0139】
故に、これらの異なる経路は、異なる角度におけるDOE1408の多重度、焦点レベル、および/または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管1404の外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴う明視野ディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層の組(例えば、3層)が、それぞれの色(例えば、赤色、青色、緑色)を生成するために採用され得る。したがって、例えば、第1の3つの隣接する層の組が、それぞれ、赤色、青色、および緑色光を第1の焦点深度において生成するために採用され得る。第2の3つの隣接する層の組が、それぞれ、赤色、青色、および緑色光を第2の焦点深度において生成するために採用され得る。複数の組が、種々の焦点深度を伴うフル3Dまたは4Dカラー画像明視野を生成するために採用され得る。
【0140】
(追加の側面)
第1の側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、実行可能命令を記憶している非一過性コンピュータ読み取り可能な記憶媒体と、非一過性コンピュータ読み取り可能な記憶媒体と通信しているプロセッサとを備えて、プロセッサは、第1のデータオブジェクトを含む第1の通信を第1のデバイスから受信することであって、第1の通信は、少なくとも部分的に第1の共有データに基づいて生成され、第1のデバイスは、第1の共有データを第3のデバイスに送信するように構成されている、ことと、第2のデータオブジェクトを含む第2の通信を第2のデバイスから受信することであって、第2の通信は、少なくとも部分的に第2の共有データに基づいて生成され、第2のデバイスは、第2の共有データを第3のデバイスに送信するように構成されている、ことと、第1のデータオブジェクトおよび第2のデータオブジェクトを第3のデバイスに伝送することであって、第3のデバイスは、少なくとも部分的に第1のデバイスからの第1の共有データ、第2のデバイスからの第2の共有データ、頭部搭載型ディスプレイシステムからの第1のデータオブジェクト、および頭部搭載型ディスプレイシステムからの第2のデータオブジェクトに基づいて、頭部搭載型ディスプレイシステム、第1のデバイス、および第2のデバイスを認証するように構成されている、ことと、第3のデータオブジェクトを含む第3の通信を第3のデバイスから受信することであって、第3のデータオブジェクトは、第3のデバイスが頭部搭載型ディスプレイシステム、第1のデバイス、および第2のデバイスを正常に認証したことを示す、こととを行うための実行可能命令によってプログラムされている。
【0141】
第2の側面では、第3のデバイスは、クラウドを経由して、頭部搭載型ディスプレイシステム、第1のデバイス、および第2のデバイスと通信する、側面1に記載の頭部搭載型ディスプレイシステム。
【0142】
第3の側面では、プロセッサは、頭部搭載型ディスプレイシステムの識別子を第3のデバイスに伝送するための実行可能命令によってさらにプログラムされている、側面1-2のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0143】
第4の側面では、第3のデバイスは、少なくとも部分的に頭部搭載型ディスプレイシステムの識別子に基づいて、頭部搭載型ディスプレイシステム、第1のデバイス、および第2のデバイスを認証する、側面3に記載の頭部搭載型ディスプレイシステム。
【0144】
第5の側面では、第3のデータオブジェクトは、暗号化鍵を含む、側面3-4のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0145】
第6の側面では、第1の通信は、第1のデバイスによって生成される、側面1-5のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0146】
第7の側面では、第2の通信は、第2のデバイスによって生成される、側面1-6のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0147】
第8の側面では、頭部搭載型ディスプレイシステム、第1のデバイス、および第2のデバイスを認証するために、第3のデバイスは、第1の共有データに基づいて、第1のデータオブジェクトを生成し、第3のデバイスによって生成された第1のデータオブジェクトと頭部搭載型ディスプレイシステムからの第1のデータオブジェクトとの一貫性を確かめ、第2の共有データに基づいて、第2のデータオブジェクトを生成し、第3のデバイスによって生成された第2のデータオブジェクトと頭部搭載型ディスプレイシステムからの第2のデータオブジェクトとの一貫性を確かめるように構成されている、側面1-7のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0148】
第9の側面では、第1の通信は、少なくとも部分的に第1のデータに基づいて、第1のデバイスによって生成され、第1のデータは、少なくとも部分的に第1の共有データに基づいて、第3のデバイスによって生成される、側面1-8のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0149】
第10の側面では、第2の通信は、少なくとも部分的に第2のデータに基づいて、第2のデバイスによって生成され、第2のデータは、少なくとも部分的に第2の共有データに基づいて、第3のデバイスによって生成される、側面9に記載の頭部搭載型ディスプレイシステム。
【0150】
第11の側面では、頭部搭載型ディスプレイシステム、第1のデバイス、および第2のデバイスを認証するために、第3のデバイスは、第1のデータに基づいて、第1のデータオブジェクトを生成し、第3のデバイスによって生成された第1のデータオブジェクトと頭部搭載型ディスプレイシステムからの第1のデータオブジェクトとの一貫性を確かめ、第2のデータに基づいて、第2のデータオブジェクトを生成し、第3のデバイスによって生成された第2のデータオブジェクトと頭部搭載型ディスプレイシステムからの第2のデータオブジェクトとの一貫性を確かめるように構成されている、側面10に記載の頭部搭載型ディスプレイシステム。
【0151】
第12の側面では、第1の共有データは、第1のデバイスの識別子を含み、第2の共有データは、第2のデバイスの識別子を含む、側面1-11のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0152】
第13の側面では、第1のデバイスの識別子は、第1のデバイスのアドレスを含み、第2のデバイスの識別子は、第2のデバイスのアドレスを含む、側面12に記載の頭部搭載型ディスプレイシステム。
【0153】
第14の側面では、第1のデバイスのアドレスおよび第2のデバイスのアドレスのうちの少なくとも1つは、第1のデバイスのインターネットプロトコル(IP)アドレス、第1のデバイスのメディアアクセス制御(MAC)アドレス、またはそれらの組み合わせを含む、側面13に記載の頭部搭載型ディスプレイシステム。
【0154】
第15の側面では、第1のデバイスの識別子は、第1のデバイスを一意に識別し、第2のデバイスの識別子は、第2のデバイスを一意に識別する、側面12-14のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0155】
第16の側面では、第1の共有データおよび第2の共有データのうちの少なくとも1つは、発話された語句を含む、側面1-15のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0156】
第17の側面では、発話された語句は、英数字語句を含む、側面16に記載の頭部搭載型ディスプレイシステム。
【0157】
第18の側面では、第1の共有データおよび第2の共有データのうちの少なくとも1つは、発話された語句の1つ以上のスペクトルの質を含む、側面1-17のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0158】
第19の側面では、第1の共有データおよび第2の共有データのうちの少なくとも1つは、ユーザのバイオメトリックデータを含む、側面1-18のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0159】
第20の側面では、第1の通信および第2の通信のうちの少なくとも1つは、光学通信を含む、側面1-19のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0160】
第21の側面では、光学通信は、1次元パターン、2次元光学パターン、またはそれらの組み合わせを含む、側面20に記載の頭部搭載型ディスプレイシステム。
【0161】
第22の側面では、第1の通信および第2の通信のうちの少なくとも1つは、オーディオ通信を含む、側面1-21のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0162】
第23の側面では、オーディオ通信は、ヒトの耳に聞こえない、側面22に記載の頭部搭載型ディスプレイシステム。
【0163】
第24の側面では、オーディオ通信は、超音波である、側面22に記載の頭部搭載型ディスプレイシステム。
【0164】
第25の側面では、第1の通信、第2の通信、および第3の通信のうちの少なくとも1つは、無線通信チャネルを介して受信される、側面1-24のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0165】
第26の側面では、無線通信チャネルは、Wi-Fi通信チャネル、近距離通信(NFC)チャネル、またはそれらの組み合わせを含む、側面25に記載の頭部搭載型ディスプレイシステム。
【0166】
第27の側面では、第1のデバイスまたは第2のデバイスは、別の頭部搭載型ディスプレイシステム、頭部搭載型ディスプレイシステム、トーテム、携帯電話、タブレットコンピュータ、モバイルデバイス、または任意のそれらの組み合わせのうちの少なくとも1つを含む、側面1-26のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0167】
第28の側面では、第1のデバイスおよび第2のデバイスは、アクセスポイントを通して第3のデバイスに接続される、側面1-27のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0168】
第29の側面では、第1のデバイス、第2のデバイス、および頭部搭載型ディスプレイシステムは、アクセスポイントを通して第3のデバイスに接続される、側面1-28のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0169】
第30の側面では、プロセッサは、頭部搭載型ディスプレイシステムのユーザに、第3のデバイスが頭部搭載型ディスプレイを正常に認証したことを通知するための実行可能命令によってさらにプログラムされている、側面1-29のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0170】
第31の側面では、頭部搭載型ディスプレイシステムのユーザに通知するために、プロセッサは、ディスプレイを使用して、第3のデバイスが頭部搭載型ディスプレイを正常に認証したことを頭部搭載型ディスプレイシステムのユーザに通知するようにプログラムされている、側面30に記載の頭部搭載型ディスプレイシステム。
【0171】
第32の側面では、頭部搭載型ディスプレイシステムのユーザに通知するために、プロセッサは、第3のデバイスが頭部搭載型ディスプレイを正常に認証したことを頭部搭載型ディスプレイシステムのユーザに通知するためにユーザに示されるユーザインターフェースを修正することをディスプレイに行わせるようにプログラムされている、側面30-31のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0172】
第33の側面では、頭部搭載型ディスプレイのユーザに通知するために、プロセッサは、頭部搭載型ディスプレイシステムのスピーカを使用して、第3のデバイスが頭部搭載型ディスプレイを正常に認証したことを頭部搭載型ディスプレイのユーザに通知するようにプログラムされている、側面30-32のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0173】
第34の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、コンパニオンデバイスの画像を捕捉するように構成された画像捕捉デバイスと、コンパニオンデバイスの画像および実行可能命令を記憶するように構成された非一過性コンピュータ読み取り可能な記憶媒体と、画像捕捉デバイスおよび非一過性コンピュータ読み取り可能な記憶媒体と通信するプロセッサとを備えて、プロセッサは、画像捕捉デバイスによって捕捉されたコンパニオンデバイスによって表示される第1の光学パターンの第1の画像を受信することであって、第1の光学パターンは、第1の共有データに基づいて、コンパニオンデバイスによって生成される、ことと、第1のデータを受信された第1の画像内の第1の光学パターンから抽出することと、第1の光学パターンから抽出された第1のデータに基づいて、コンパニオンデバイスを認証することとを行うための実行可能命令によってプログラムされている。
【0174】
第35の側面では、プロセッサは、第1の共有データを生成し、第1の通信チャネルを介して、第1の共有データをコンパニオンデバイスに伝送するようにさらにプログラムされている、側面34に記載のウェアラブルディスプレイシステム。
【0175】
第36の側面では、コンパニオンデバイスを認証するために、プロセッサは、第1のデータと第1の共有データとの一貫性を確かめるようにプログラムされている、側面34-35のいずれか1項に記載のウェアラブルディスプレイシステム。
【0176】
第37の側面では、プロセッサは、画像捕捉デバイスによって捕捉されたコンパニオンデバイスによって表示される第2の光学パターンの第2の画像を受信することであって、第2の光学パターンは、第2の共有データに基づいて、コンパニオンデバイスによって生成され、第2の共有データは、コンパニオンデバイスによって生成される、ことと、第2のデータを受信された第2の画像内の第2の光学パターンから抽出することと、第1の通信チャネルを介して、第2のデータをコンパニオンデバイスに伝送することとを行うようにさらにプログラムされている、側面34-36のいずれか1項に記載のウェアラブルディスプレイシステム。
【0177】
第38の側面では、コンパニオンデバイスは、第2のデータをウェアラブルディスプレイシステムから受信し、受信された第2のデータに基づいて、ウェアラブルディスプレイシステムを認証するようにプログラムされている、側面37に記載のウェアラブルディスプレイシステム。
【0178】
第39の側面では、ウェアラブルディスプレイシステムを認証するために、コンパニオンデバイスは、受信された第2のデータと第2の共有データとの一貫性を確かめるようにプログラムされている、側面38に記載のウェアラブルディスプレイシステム。
【0179】
第40の側面では、第1の共有データは、コンパニオンデバイスによって生成される、側面34-39のいずれか1項に記載のウェアラブルディスプレイシステム。
【0180】
第41の側面では、プロセッサは、コンパニオンデバイスの公開鍵を受信することと、第1の通信チャネルを介して、コンパニオンデバイスの暗号化された公開鍵を受信することであって、コンパニオンデバイスの暗号化された公開鍵は、第1の共有データを使用して、コンパニオンデバイスによって暗号化される、ことと、第1の共有データを使用して、コンパニオンデバイスの暗号化された公開鍵を解読し、解読された公開鍵を取得することとを行うようにさらにプログラムされている、側面34-40のいずれか1項に記載のウェアラブルディスプレイシステム。
【0181】
第42の側面では、コンパニオンデバイスを認証するために、プロセッサは、解読された公開鍵とコンパニオンデバイスの公開鍵との一貫性を確かめるようにプログラムされている、側面41に記載のウェアラブルディスプレイシステム。
【0182】
第43の側面では、第1の通信チャネルは、無線通信チャネルである、側面34-42のいずれか1項に記載のウェアラブルディスプレイシステム。
【0183】
第44の側面では、無線通信チャネルは、Wi-Fi通信チャネルまたは近距離通信(NFC)チャネルを含む、側面43に記載のウェアラブルディスプレイシステム。
【0184】
第45の側面では、コンパニオンデバイスは、別のウェアラブルディスプレイシステム、頭部搭載型ディスプレイシステム、トーテム、携帯電話、タブレットコンピュータ、モバイルデバイス、または任意のそれらの組み合わせのうちの少なくとも1つを含む、側面34-44のいずれか1項に記載のウェアラブルディスプレイシステム。
【0185】
第46の側面では、プロセッサ、ウェアラブルディスプレイシステムのユーザに、コンパニオンデバイスが認証されたことを通知するための実行可能命令によってさらにプログラムされている、側面34-45のいずれか1項に記載のウェアラブルディスプレイシステム。
【0186】
第47の側面では、ウェアラブルディスプレイシステムのユーザに通知するために、プロセッサは、ディスプレイを使用して、コンパニオンデバイスが認証されたことをウェアラブルディスプレイシステムのユーザに通知するようにプログラムされている、側面46に記載のウェアラブルディスプレイシステム。
【0187】
第48の側面では、ウェアラブルディスプレイシステムのユーザに通知するために、プロセッサは、コンパニオンデバイスが認証されたことをウェアラブルディスプレイシステムのユーザに通知するためにユーザに示されるユーザインターフェースを修正することをディスプレイに行わせるようにプログラムされている、側面46-47のいずれか1項に記載のウェアラブルディスプレイシステム。
【0188】
第49の側面では、ウェアラブルディスプレイシステムのユーザに通知するために、プロセッサは、ウェアラブルディスプレイシステムのスピーカを使用して、コンパニオンデバイスが認証されたことをウェアラブルディスプレイシステムのユーザに通知するようにプログラムされている、側面46-48のいずれか1項に記載のウェアラブルディスプレイシステム。
【0189】
第50の側面では、デバイス認証のための方法が、開示される。方法は、ハードウェアプロセッサの制御のもとで、通信チャネルを介して、データオブジェクトを受信することと、コンパニオンデバイスによって表示される光学パターンの画像を受信することであって、光学パターンは、共有データを使用して、コンパニオンデバイスによって生成される、ことと、第1のデータを受信された画像内の光学パターンから抽出することと、第1のデータを使用して、データオブジェクトの変換を生成することと、認証のために、通信チャネルを介して、データオブジェクトの変換をコンパニオンデバイスに伝送することとを含む。
【0190】
第51の側面では、データオブジェクトは、チャレンジテキストを含む、側面50に記載の方法。
【0191】
第52の側面では、データオブジェクトの変換は、第1のデータを使用して生成されたデータオブジェクトのハッシュを含む、側面50-51のいずれか1項に記載の方法。
【0192】
第53の側面では、データオブジェクトの変換は、第1のデータを使用して生成された暗号化されたデータオブジェクトを含む、側面50-52のいずれか1項に記載の方法。
【0193】
第54の側面では、第1のデータは、共有データを含む、側面50-53のいずれか1項に記載の方法。
【0194】
第55の側面では、コンパニオンデバイスは、認証のために、共有データを使用して、データオブジェクトの変換を生成することと、データオブジェクトの変換を受信することと、データオブジェクトの受信された変換とデータオブジェクトの生成された変換との一貫性を確かめることとを行うように構成されている、側面50-54のいずれか1項に記載の方法。
【0195】
第56の側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、ディスプレイと、実行可能命令を記憶している非一過性コンピュータ読み取り可能な記憶媒体と、非一過性コンピュータ読み取り可能な記憶媒体と通信しているプロセッサとを備え、プロセッサは、第1の通信をデバイスから受信することであって、第1の通信は、第1の共有情報に基づいて、デバイスによって生成される、ことと、第1の情報を第1の通信から抽出することと、第1の通信から抽出された第1の情報に基づいて、デバイスを認証することとを行うための実行可能命令によってプログラムされている。
【0196】
第57の側面では、第1の通信は、光学通信を含む、側面56に記載の頭部搭載型ディスプレイシステム。
【0197】
第58の側面では、光学通信は、1次元パターン、2次元光学パターン、またはそれらの組み合わせを含む、側面57に記載の頭部搭載型ディスプレイシステム。
【0198】
第59の側面では、第1の通信は、オーディオ通信を含む、側面56-58のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0199】
第60の側面では、オーディオ通信は、ヒトの耳に聞こえない、側面59に記載の頭部搭載型ディスプレイシステム。
【0200】
第61の側面では、オーディオ通信は、超音波である、側面59に記載の頭部搭載型ディスプレイシステム。
【0201】
第62の側面では、第1の共有情報は、発話された語句を含む、側面56-61のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0202】
第63の側面では、発話された語句を捕捉するように構成されたマイクロホンをさらに備え、プロセッサは、発話された語句を受信するようにさらにプログラムされている、側面62に記載の頭部搭載型ディスプレイシステム。
【0203】
第64の側面では、デバイスのマイクロホンは、発話された語句を受信するように構成されている、側面63に記載の頭部搭載型ディスプレイシステム。
【0204】
第65の側面では、発話された語句は、英数字語句を含む、側面62-64のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0205】
第66の側面では、第1の共有情報は、発話された語句の1つ以上のスペクトルの質を含む、側面56-65のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0206】
第67の側面では、第1の共有情報は、ユーザのバイオメトリック情報を含む、側面56-66のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0207】
第68の側面では、プロセッサは、ユーザのバイオメトリック情報を抽出するようにさらにプログラムされている、側面67に記載の頭部搭載型ディスプレイシステム。
【0208】
第69の側面では、プロセッサは、第1の共有情報を生成することと、第1の通信チャネルを介して、第1の共有情報をデバイスに伝送することとを行うようにさらにプログラムされている、側面56-68のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0209】
第70の側面では、デバイスを認証するために、プロセッサは、第1の情報と第1の共有情報との一貫性を確かめるようにプログラムされている、側面56-69のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0210】
第71の側面では、プロセッサは、第2の通信をデバイスから受信することであって、第2の通信は、第2の共有情報に基づいて、デバイスによって生成され、第2の共有情報は、デバイスによって生成される、ことと、第2の情報を受信された第2の通信から抽出することと、第1の通信チャネルを介して、第2の共有情報をデバイスに伝送することとを行うようにさらにプログラムされている、側面56-70のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0211】
第72の側面では、デバイスは、第2の情報を頭部搭載型ディスプレイシステムから受信することと、受信された第2の情報に基づいて、頭部搭載型ディスプレイシステムを認証することとを行うようにプログラムされている、側面71に記載の頭部搭載型ディスプレイシステム。
【0212】
第73の側面では、頭部搭載型ディスプレイシステムを認証するために、デバイスは、受信された第2の情報と生成された第2の共有情報との一貫性を確かめるようにプログラムされている、側面72に記載の頭部搭載型ディスプレイシステム。
【0213】
第74の側面では、第1の共有情報は、デバイスによって生成される、側面56-73のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0214】
第75の側面では、プロセッサは、デバイスの公開鍵を受信することと、第1の通信チャネルを介して、デバイスの暗号化された公開鍵を受信することであって、デバイスの暗号化された公開鍵は、第1の共有情報を使用して、デバイスによって暗号化される、ことと、第1の共有情報を使用して、デバイスの暗号化された公開鍵を解読し、解読された公開鍵を取得することとを行うようにさらにプログラムされている、側面56-74のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0215】
第76の側面では、デバイスを認証するために、プロセッサは、解読された公開鍵とデバイスの公開鍵との一貫性を確かめるようにプログラムされている、側面75に記載の頭部搭載型ディスプレイシステム。
【0216】
第77の側面では、第1の通信チャネルは、無線通信チャネルである、側面56-76のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0217】
第78の側面では、無線通信チャネルは、Wi-Fi通信チャネル、近距離通信(NFC)チャネル、またはそれらの組み合わせを含む、側面77に記載の頭部搭載型ディスプレイシステム。
【0218】
第79の側面では、デバイスは、別の頭部搭載型ディスプレイシステム、頭部搭載型ディスプレイシステム、トーテム、携帯電話、タブレットコンピュータ、モバイルデバイス、または任意のそれらの組み合わせのうちの少なくとも1つを含む、側面56-78のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0219】
第80の側面では、プロセッサは、頭部搭載型ディスプレイシステムのユーザに、デバイスが認証されたことを通知するようにさらにプログラムされている、側面56-79のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0220】
第81の側面では、頭部搭載型ディスプレイシステムのユーザに通知するために、プロセッサは、ディスプレイを使用して、デバイスが認証されたことを頭部搭載型ディスプレイシステムのユーザに通知するようにプログラムされている、側面80に記載の頭部搭載型ディスプレイシステム。
【0221】
第82の側面では、頭部搭載型ディスプレイシステムのユーザに通知するために、プロセッサは、デバイスが認証されたことを頭部搭載型ディスプレイシステムのユーザに通知するためにユーザに示されるユーザインターフェースを修正することをディスプレイに行わせるようにプログラムされている、側面80-81のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0222】
第83の側面では、頭部搭載型ディスプレイシステムのユーザに通知するために、プロセッサは、頭部搭載型ディスプレイシステムのスピーカを使用して、コンパニオンデバイスが認証されたことを頭部搭載型ディスプレイシステムのユーザに通知するようにプログラムされている、側面80-82のいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0223】
(結論)
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムの各々は、具体的かつ特定のコンピュータ命令を実行するように構成される1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行されるコードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、特定のコンピュータ命令でプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ、動的リンクライブラリ内にインストールされ得、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0224】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるので、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、特にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0225】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、光学ディスク、揮発性もしくは不揮発性記憶装置等の組み合わせ等を含む物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ読み取り可能な媒体上に記憶され得る。方法およびモジュール(またはデータ)は、無線ベースおよび有線/ケーブルベースの媒体を含む種々のコンピュータ読み取り可能な伝送媒体上で生成されたデータ信号としても(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一もしくは多重化アナログ信号の一部として、または複数の別々のデジタルパケットもしくはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得るか、またはコンピュータ読み取り可能な伝送媒体を介して通信され得る。
【0226】
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能(例えば、論理もしくは算術)またはステップを実装するための1つ以上の実行可能命令を含むコードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられ、再配列され、追加され、削除され、修正され、または別様に本明細書に提供される例証的例から変更されることができる。いくつかの実施形態では、追加のまたは異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスは、任意の特定の順序に限定されず、それに関連するブロック、ステップ、または状態は、適切な他の順序で、例えば、連続して、並行して、またはある他の様式で実施されることもできる。タスクまたはイベントが、開示される例示的実施形態に追加され、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品において一緒に統合されるか、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【0227】
プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
【0228】
本開示のシステムおよび方法の各々は、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しないか、またはそのために要求されない。本明細書に説明される種々の特徴およびプロセスは、互いに独立して使用され得るか、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【0229】
別個の実装の文脈において本明細書に説明されるある特徴は、単一の実装における組み合わせにおいて実装されることもできる。逆に、単一の実装の文脈において説明される種々の特徴も、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて動作するものとして上で説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
【0230】
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/もしくはステップが、1つ以上の実施形態に対していかようにも要求されること、または1つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備えている」、「~を含む」、「~を有する」等は、同義語であり、非限定的方式で包括的に使用され、追加の要素、特徴、行為、動作等を除外しない。用語「または」も、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」もしくは「少なくとも1つ」を意味するように解釈されるべきである。
【0231】
本明細書で使用されるように、項目のリスト「~のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、ならびにA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図されない。
【0232】
同様に、動作は、特定の順序で図面に描写され得るが、それは、望ましい結果を達成するために、そのような動作が示される特定の順序、もしくは連続的順序で実施され、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の追加の動作が、図示される動作のいずれかの前、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上で説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品において一緒に統合され、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙される行為は、異なる順序で実施され、依然として、望ましい結果を達成することができる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14