特表 2024-530443 頭部取付式ウェアラブルコンピューティングデバイスのためのフィットの画像ベース検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-21

(54)【発明の名称】頭部取付式ウェアラブルコンピューティングデバイスのためのフィットの画像ベース検出

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240814BHJP

【ＦＩ】

G06F3/01 510

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024505082

(86)(22)【出願日】2022-07-20

(85)【翻訳文提出日】2024-01-26

(86)【国際出願番号】 US2022073931

(87)【国際公開番号】W WO2023019054

(87)【国際公開日】2023-02-16

(31)【優先権主張番号】17/444,963

(32)【優先日】2021-08-12

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】シモンズ，リース・アンウィル・サミュエル

(72)【発明者】

【氏名】アリーム，イドリス・サイド

(72)【発明者】

【氏名】クルカルニー，スシャント・ウメシュ

(72)【発明者】

【氏名】バルガバ，マヤンク

(72)【発明者】

【氏名】ガウィッシュ，アーメッド

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA27

5E555AA64

5E555AA79

5E555BA04

5E555BA38

5E555BB04

5E555BB38

5E555CA29

5E555CA42

5E555EA22

5E555FA01

(57)【要約】

ディスプレイデバイスを含む頭部取付式ウェアラブルコンピューティングデバイスのためのディスプレイフィット測定値および／または眼科測定値を検出するシステムおよび方法が提供される。コンピューティングデバイスのユーザによって着用されたフィッティングフレームの画像が、コンピューティングデバイス上で動作するアプリケーションを介してユーザによってキャプチャされる。フィッティングフレームを含む画像において１つまたは複数のキーポイントおよび／または特徴および／またはランドマークが検出される。検出されたキーポイントおよび／または特徴および／またはランドマーク、ならびにフィッティングフレームに関連した構成情報に基づいてフィッティングフレームの三次元ポーズが決定される。次いで、頭部取付式ウェアラブルコンピューティングデバイスのディスプレイデバイスが、画像にキャプチャされたフィッティングフレームの三次元ポーズに基づいて構成され得る。

【特許請求の範囲】

【請求項1】

コンピューティングデバイス上で実行されるアプリケーションによって、コンピューティングデバイスによってキャプチャされた画像からユーザによって着用されたフィッティングフレーム上の少なくとも１つの特徴を検出することと、
前記画像において検出された前記フィッティングフレームに関連した構成情報にアクセスすることと、
前記フィッティングフレームに関連した前記少なくとも１つの特徴および前記構成情報の前記検出に基づいて前記画像においてキャプチャされた前記フィッティングフレームの三次元ポーズを決定することと、
前記画像においてキャプチャされた前記フィッティングフレームの前記三次元ポーズに基づいて頭部取付式ウェアラブルコンピューティングデバイスのディスプレイデバイスの構成を決定することと、
を含む方法。

【請求項2】

前記少なくとも１つの特徴を検出することは、
前記フィッティングフレームのブリッジ部分、
前記フィッティングフレームの縁部分とアーム部分との間のヒンジ箇所、
前記フィッティングフレームのレンズの周縁部分、または
前記フィッティングフレームの前記アーム部分のサドル部分、
のうちの少なくとも１つを検出することを含む、請求項１に記載の方法。

【請求項3】

前記フィッティングフレームの前記三次元ポーズを決定することは、
前記画像においてキャプチャされた前記フィッティングフレームの三次元モデルにアクセスすることと、
前記画像において検出された前記少なくとも１つの特徴の既知の位置および既知の向きを前記フィッティングフレームの前記三次元モデルにおける前記少なくとも１つの特徴の対応する位置および対応する向きと比較することを含む、比較を実行することと、
を含む、請求項１または請求項２に記載の方法。

【請求項4】

少なくとも１つの特徴を検出することは、前記コンピューティングデバイスによってキャプチャされた前記画像における前記フィッティングフレーム上の複数の特徴を検出することを含み、
前記比較を実行することは、前記複数の特徴の各々のために、前記画像において検出された前記特徴の既知の位置および既知の向きを前記フィッティングフレームの前記三次元モデルにおける前記特徴の対応する位置および対応する向きと比較することを含む、
請求項３に記載の方法。

【請求項5】

前記フィッティングフレームの前記三次元ポーズを決定することは、前記画像において検出された各特徴の二次元位置と、前記フィッティングフレームの前記三次元モデルにおけるそれぞれの前記特徴の対応する三次元位置との対応付けを実行することを含む、請求項４に記載の方法。

【請求項6】

前記キャプチャされた画像における複数の顔ランドマークを検出することと、
検出された前記複数の顔ランドマークに基づいて前記頭部取付式ウェアラブルコンピューティングデバイスのための眼科フィット測定値を決定することと、
をさらに含む、先行する請求項のいずれか１項に記載の方法。

【請求項7】

前記複数の顔ランドマークを検出することは、
前記ユーザによって着用された前記フィッティングフレームの前記画像における瞳孔高さを検出することと、
前記ユーザによって着用された前記フィッティングフレームの前記画像における瞳孔間距離または単眼瞳孔距離のうちの少なくとも一方を検出することと、
前記フィッティングフレームの前記決定された三次元ポーズおよび前記検出された複数の顔ランドマークに基づいて前記ユーザによって着用された前記フィッティングフレームの前傾角を決定することと、
を含む、請求項６に記載の方法。

【請求項8】

前記画像においてキャプチャされた前記フィッティングフレームの前記三次元ポーズに基づいて前記頭部取付式ウェアラブルコンピューティングデバイスの前記ディスプレイデバイスの前記構成を決定することは、前記眼科フィット測定値に対応するように前記頭部取付式ウェアラブルコンピューティングデバイスの前記ディスプレイデバイスの構成を適応させることを含む、請求項６または請求項７に記載の方法。

【請求項9】

前記頭部取付式ウェアラブルコンピューティングデバイスの前記ディスプレイデバイスの前記構成を決定することは、
前記眼科フィット測定値および前記フィッティングフレームの前記三次元ポーズに基づいてユーザ視野を決定することと、
前記ディスプレイデバイスによって出力されたコンテンツが決定された前記視野内に表示されるように前記ディスプレイデバイスの出力カプラを構成することと、
を含む、請求項８に記載の方法。

【請求項10】

前記フィッティングフレームに関連した前記構成情報にアクセスすることは、前記フィッティングフレームの三次元モデルにアクセスすることを含む、請求項１に記載の方法。

【請求項11】

前記フィッティングフレームの前記三次元モデルは、前記フィッティングフレームに関連した既知の線形測定値、既知の角度測定値、または既知の輪郭のうちの少なくとも１つを含む、請求項１０に記載の方法。

【請求項12】

前記フィッティングフレームの前記三次元ポーズを決定することは、
前記フィッティングフレームの対応する少なくとも１つの特徴三次元モデルを検出することと、
前記画像において検出された前記少なくとも１つの特徴と前記フィッティングフレームの前記三次元モデルにおいて検出された前記対応する少なくとも１つの特徴との比較に基づいて前記フィッティングフレームの前記三次元ポーズを検出することと、
を含む、請求項１０または請求項１１に記載の方法。

【請求項13】

少なくとも１つのプロセッサによって実行されると前記少なくとも１つのプロセッサに、
ユーザによって着用されたフィッティングフレームの画像をキャプチャさせ、
キャプチャされた前記画像から前記フィッティングフレーム上の少なくとも１つの特徴を検出させ、
前記フィッティングフレームに関連した構成情報にアクセスさせ、
前記フィッティングフレームに関連した前記少なくとも１つの特徴および前記構成情報の検出に基づいて前記画像においてキャプチャされた前記フィッティングフレームの三次元ポーズを決定させ、
前記画像においてキャプチャされた前記フィッティングフレームの前記三次元ポーズに基づいて頭部取付式ウェアラブルコンピューティングデバイスのディスプレイデバイスの構成を決定させる、
ように構成された実行可能命令を記憶する非一時的コンピュータ可読媒体。

【請求項14】

前記命令は、前記少なくとも１つのプロセッサに前記キャプチャされた画像における前記フィッティングフレーム上の前記少なくとも１つの特徴を検出させ、
前記フィッティングフレームのブリッジ部分を含む第１の特徴を検出すること、
前記フィッティングフレームの縁部分とアーム部分との間のヒンジ部分を含む第２の特徴を検出すること、
前記フィッティングフレームのレンズの周縁部分を含む第３の特徴を検出すること、または
前記フィッティングフレームの前記アーム部分のサドル部分を含む第４の特徴を検出すること、
のうちの少なくとも１つを含む、請求項１３に記載の非一時的コンピュータ可読媒体。

【請求項15】

前記命令は、前記少なくとも１つのプロセッサに前記フィッティングフレームの前記三次元ポーズを決定させ、
前記画像においてキャプチャされた前記フィッティングフレームの三次元モデルにアクセスすること、ならびに
前記画像において検出された前記少なくとも１つの特徴の既知の位置および既知の向きと、前記フィッティングフレームの前記三次元モデルにおける前記少なくとも１つの特徴の対応する位置および対応する向きとの比較を実行すること、
を含む、請求項１３または請求項１４に記載の非一時的コンピュータ可読媒体。

【請求項16】

前記命令は、前記少なくとも１つのプロセッサに複数の特徴を検出させかつ前記比較を実行させ、前記複数の特徴の各々のために、
前記画像において検出された前記特徴の既知の位置および既知の向きを、前記フィッティングフレームの前記三次元モデルにおける前記特徴の対応する位置および対応する向きと比較すること
を含む、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記命令は、前記少なくとも１つのプロセッサに前記三次元ポーズを決定させ、
前記画像において検出された各特徴の二次元位置と、前記フィッティングフレームの前記三次元モデルにおけるそれぞれの前記特徴の対応する三次元位置との対応付けを実行すること
を含む、請求項１６に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記命令はまた、前記少なくとも１つのプロセッサに、
前記キャプチャされた画像における複数の顔ランドマークを検出させ、
前記検出された複数の顔ランドマークに基づいて前記頭部取付式ウェアラブルコンピューティングデバイスのための眼科フィット測定値を決定させる、
請求項１３～請求項１７のいずれか１項に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記命令は、前記少なくとも１つのプロセッサに前記複数の顔ランドマークを検出させ、
前記ユーザによって着用された前記フィッティングフレームの前記画像における瞳孔高さを検出すること、
前記ユーザによって着用された前記フィッティングフレームの前記画像における瞳孔間距離または単眼瞳孔距離のうちの少なくとも一方を検出すること、ならびに
前記フィッティングフレームの前記決定された三次元ポーズおよび前記検出された複数の顔ランドマークに基づいて前記ユーザによって着用された前記フィッティングフレームの前傾角を決定すること、
を含む、請求項１８に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記命令は、前記少なくとも１つのプロセッサに、前記眼科フィット測定値に対応するように前記頭部取付式ウェアラブルコンピューティングデバイスの前記ディスプレイデバイスの前記構成を適応させ、
前記眼科フィット測定値および前記フィッティングフレームの前記三次元ポーズに基づいてユーザ視野を決定すること、および
前記ディスプレイデバイスによって出力されたコンテンツが前記決定された視野内に表示されるように前記ディスプレイデバイスの出力カプラを構成すること、
を含む、請求項１８または請求項１９に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、その開示が参照によりその全体が本明細書に組み込まれる、２０２１年８月１２日に出願された米国出願第１７／４４４，９６３号の継続出願であり、その利益を主張する。

【0002】

技術分野
この説明は、概して、ウェアラブルデバイスのウェアラブルフィットおよび／またはディスプレイフィットおよび／または眼科フィットの予測、特に、ディスプレイ機能を含む頭部装着型コンピューティングデバイスのディスプレイフィットおよび眼科フィットの予測に関する。

【背景技術】

【0003】

背景
ウェアラブルデバイスは、例えば、スマート眼鏡、ヘッドセット、イヤバッド等を含む頭部装着型デバイス、スマートウォッチ、スマートブレスレット、スマートリング等の手首および／または手装着型デバイス、スマートペンダント、フィットネストラッカ、カメラ、ボディセンサ、およびその他のこのようなデバイスを含んでよい。幾つかの例において、ユーザは、フィットおよび／または機能のためにウェアラブルデバイスを選択および／またはカスタマイズしたい場合がある。例えば、ユーザは、フレームの選択、処方レンズの組込み、およびその他のこのような特徴を含むようにスマート眼鏡を選択および／またはカスタマイズすることを望む場合がある。これらのタイプのウェアラブルデバイスの調達のための既存のシステムは、特に小売店へのアクセスなしに、正確なフィッティングおよびカスタマイズを提供しない。

【発明の概要】

【0004】

概要
１つの一般的な態様において、ディスプレイデバイスを含む頭部取付式ウェアラブルコンピューティングデバイスのためのディスプレイフィット測定値を検出する方法は、コンピューティングデバイス上で実行されるアプリケーションによって、コンピューティングデバイスによってキャプチャされた画像からユーザによって着用されたフィッティングフレーム上の少なくとも１つのキーポイントを検出することと、画像において検出されたフィッティングフレームに関連した構成情報にアクセスすることと、フィッティングフレームに関連した少なくとも１つのキーポイントおよび構成情報の検出に基づいて画像においてキャプチャされたフィッティングフレームの三次元ポーズを決定することと、画像においてキャプチャされたフィッティングフレームの三次元ポーズに基づいて頭部取付式ウェアラブルコンピューティングデバイスのディスプレイデバイスの構成を決定することと、を含む。

【0005】

幾つかの実装において、少なくとも１つのキーポイントを検出することは、フィッティングフレームのブリッジ部分、フィッティングフレームの縁部分とアーム部分との間のヒンジ箇所、フィッティングフレームのレンズの周縁部分、またはフィッティングフレームのアーム部分のサドル部分、のうちの少なくとも１つを検出することを含む。

【0006】

幾つかの実装において、フィッティングフレームの三次元ポーズを決定することは、画像においてキャプチャされたフィッティングフレームの三次元モデルにアクセスすることと、画像において検出された少なくとも１つのキーポイントの既知の位置および既知の向きをフィッティングフレームの三次元モデルにおける少なくとも１つのキーポイントの対応する位置および対応する向きと比較することを含む、比較を実行することと、を含む。少なくとも１つのキーポイントを検出することは、コンピューティングデバイスによってキャプチャされた画像におけるフィッティングフレーム上の複数のキーポイントを検出することを含んでよく、比較を実行することは、複数のキーポイントの各々のために、画像において検出されたキーポイントの既知の位置および既知の向きをフィッティングフレームの三次元モデルにおけるキーポイントの対応する位置および対応する向きと比較することを含んでよい。フィッティングフレームの三次元ポーズを決定することは、画像において検出された各キーポイントの二次元位置と、フィッティングフレームの三次元モデルにおけるそれぞれのキーポイントの対応する三次元位置との対応付けを実行することを含んでよい。

【0007】

幾つかの実装において、方法は、キャプチャされた画像における複数の顔ランドマークを検出することと、検出された複数の顔ランドマークに基づいて頭部取付式ウェアラブルコンピューティングデバイスのための眼科フィット測定値を決定することと、をさらに含んでよい。複数の顔ランドマークを検出することは、ユーザによって着用されたフィッティングフレームの画像における瞳孔高さを検出することと、ユーザによって着用されたフィッティングフレームの画像における瞳孔間距離または単眼瞳孔距離のうちの少なくとも一方を検出することと、フィッティングフレームの決定された三次元ポーズおよび検出された複数の顔ランドマークに基づいてユーザによって着用されたフィッティングフレームの前傾角を決定することと、を含んでよい。画像においてキャプチャされたフィッティングフレームの三次元ポーズに基づいて頭部取付式ウェアラブルコンピューティングデバイスのディスプレイデバイスの構成を決定することは、眼科フィット測定値に対応するように頭部取付式ウェアラブルコンピューティングデバイスのディスプレイデバイスの構成を適応させることを含んでよい。頭部取付式ウェアラブルコンピューティングデバイスのディスプレイデバイスの構成を決定することは、眼科フィット測定値およびフィッティングフレームの三次元ポーズに基づいてユーザ視野を決定することと、ディスプレイデバイスによって出力されたコンテンツが決定された視野内に表示されるようにディスプレイデバイスの出力カプラを構成することと、を含んでよい。

【0008】

別の一般的な態様において、非一時的コンピュータ可読媒体は、少なくとも１つのプロセッサによって実行されると少なくとも１つのプロセッサに、ユーザによって着用されたフィッティングフレームの画像をキャプチャさせ、キャプチャされた画像からフィッティングフレーム上の少なくとも１つのキーポイントを検出させ、フィッティングフレームに関連した構成情報にアクセスさせ、フィッティングフレームに関連した少なくとも１つのキーポイントおよび構成情報の検出に基づいて画像においてキャプチャされたフィッティングフレームの三次元ポーズを決定させ、画像においてキャプチャされたフィッティングフレームの三次元ポーズに基づいて頭部取付式ウェアラブルコンピューティングデバイスのディスプレイデバイスの構成を決定させる、ように構成された実行可能命令を記憶してよい。

【0009】

幾つかの実装において、命令は、少なくとも１つのプロセッサに、キャプチャされた画像におけるフィッティングフレーム上の少なくとも１つのキーポイントを検出させ、フィッティングフレームのブリッジ部分を含む第１のキーポイントを検出すること、フィッティングフレームの縁部分とアーム部分との間のヒンジ部分を含む第２のキーポイントを検出すること、フィッティングフレームのレンズの周縁部分を含む第３のキーポイントを検出すること、またはフィッティングフレームのアーム部分のサドル部分を含む第４のキーポイントを検出すること、のうちの少なくとも１つを含む。幾つかの実装において、命令は、少なくとも１つのプロセッサにフィッティングフレームの三次元ポーズを決定させ、画像においてキャプチャされたフィッティングフレームの三次元モデルにアクセスすること、ならびに画像において検出された少なくとも１つのキーポイントの既知の位置および既知の向きと、フィッティングフレームの三次元モデルにおける少なくとも１つのキーポイントの対応する位置および対応する向きとの比較を実行すること、を含む。

【0010】

幾つかの実装において、命令は、少なくとも１つのプロセッサに複数のキーポイントを検出させかつ比較を実行させ、複数のキーポイントの各々のために、画像において検出されたキーポイントの既知の位置および既知の向きを、フィッティングフレームの三次元モデルにおけるキーポイントの対応する位置および対応する向きと比較することを含む。幾つかの実装において、命令は、少なくとも１つのプロセッサに三次元ポーズを決定させ、画像において検出された各キーポイントの二次元位置と、フィッティングフレームの三次元モデルにおけるそれぞれのキーポイントの対応する三次元位置との対応付けを実行することを含む。

【0011】

幾つかの実装において、命令はまた、少なくとも１つのプロセッサに、キャプチャされた画像における複数の顔ランドマークを検出させ、検出された複数の顔ランドマークに基づいて頭部取付式ウェアラブルコンピューティングデバイスのための眼科フィット測定値を決定させる。命令は、少なくとも１つのプロセッサに複数の顔ランドマークを検出させ得、ユーザによって着用されたフィッティングフレームの画像における瞳孔高さを検出すること、ユーザによって着用されたフィッティングフレームの画像における瞳孔間距離または単眼瞳孔距離のうちの少なくとも一方を検出すること、ならびにフィッティングフレームの決定された三次元ポーズおよび検出された複数の顔ランドマークに基づいてユーザによって着用されたフィッティングフレームの前傾角を決定すること、を含む。幾つかの実装において、命令は、少なくとも１つのプロセッサに、眼科フィット測定値に対応するように頭部取付式ウェアラブルコンピューティングデバイスのディスプレイデバイスの構成を適応させ、眼科フィット測定値およびフィッティングフレームの三次元ポーズに基づいてユーザ視野を決定すること、およびディスプレイデバイスによって出力されたコンテンツが決定された視野内に表示されるようにディスプレイデバイスの出力カプラを構成すること、を含む。

【0012】

１つまたは複数の実装の詳細は、添付の図面および以下の説明に示されている。その他の特徴は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0013】

【図1A】本明細書に説明された実装による例示的なシステムを示す図である。

【図1B】本明細書に説明された実装による、図１Ａに示された例示的なウェアラブルコンピューティングデバイスの正面図である。

【図1C】本明細書に説明された実装による、図１Ａに示された例示的なウェアラブルコンピューティングデバイスの後面図である。

【図2A】例示的な眼科測定値を示す図である。

【図2B】例示的な眼科測定値を示す図である。

【図2C】例示的な眼科測定値を示す図である。

【図2D】例示的な眼科測定値を示す図である。

【図3】本明細書に説明された実装によるシステムのブロック図である。

【図4A】本明細書に説明された実装による、ディスプレイフィット測定値および眼科フィット測定値を決定するための画像キャプチャモードを示す図である。

【図4B】本明細書に説明された実装による、ディスプレイフィット測定値および眼科フィット測定値を決定するための画像キャプチャモードを示す図である。

【図5A】本明細書に説明された実装による、例示的なフィッティングフレームの斜視図である。

【図5B】本明細書に説明された実装による、例示的なフィッティングフレームの斜視図である。

【図5C】本明細書に説明された実装による、例示的なフィッティングフレームの斜視図である。

【図6A】本明細書に説明された実装による、ユーザによって着用された例示的なフィッティングフレームの例示的な正面画像、および正面画像において検出された例示的な特徴および／またはキーポイントおよび／またはランドマークを示す図である。

【図6B】本明細書に説明された実装による、ユーザによって着用された例示的なフィッティングフレームの例示的な正面画像、および正面画像において検出された例示的な特徴および／またはキーポイントおよび／またはランドマークを示す図である。

【図6C】本明細書に説明された実装による、ユーザによって着用された例示的なフィッティングフレームの例示的な正面画像、および正面画像において検出された例示的な特徴および／またはキーポイントおよび／またはランドマークを示す図である。

【図6D】本明細書に説明された実装による、ユーザによって着用された例示的なフィッティングフレームの例示的な横顔画像、および横顔画像において検出された例示的な特徴および／またはキーポイントおよび／またはランドマークを示す図である。

【図7】本明細書に説明された実装による、例示的なフィッティングフレームの正面図である。

【図8】本明細書に説明された実装による、例示的な方法のフローチャートである。

【図9】本明細書において論じられたコンピューティングシステムの例示的なコンピューティングデバイスを示す図である。

【発明を実施するための形態】

【0014】

詳細な説明
本開示は、ウェアラブルコンピューティングデバイスに関連したウェアラブルフィットおよび／またはディスプレイフィットおよび／または眼科フィットパラメータの決定を含む、ウェアラブルコンピューティングデバイスの選択およびフィッティングのためのシステムおよび方法に関する。本明細書に説明された実装によるシステムおよび方法は、画像データ内で検出された測定値に基づいてウェアラブルコンピューティングデバイスのためのウェアラブルフィットおよび／またはディスプレイフィットおよび／または眼科フィットの決定を提供する。幾つかの実装において、本明細書に説明された実装によるシステムおよび方法は、画像データ内で検出されたウェアラブルコンピューティングデバイスのサンプルフレームに関連した既知のパラメータに基づいてウェアラブルフィットおよび／またはディスプレイフィットおよび／または眼科フィットの検出を提供する。幾つかの例において、本明細書に説明されたシステムおよび方法は、特定のユーザの特定の物理的特質、ニーズおよび好みのためにカスタマイズされたディスプレイおよび／または補正／処方レンズを含むスマート眼鏡の形態のウェアラブルコンピューティングデバイスのための、画像データからのウェアラブルフィットおよび／またはディスプレイフィットおよび／または眼科フィットの検出を提供する。本明細書に説明された実装によるシステムおよび方法は、小売店へのアクセスおよび／または販売代理店との対面もしくは仮想予約なしに、自主的、または監視されない、または監督されない形式でのユーザによる測定データの検出のための画像データのキャプチャを容易にし得る。

【0015】

以下、本明細書に説明された実装によるシステムおよび方法は、ディスプレイデバイスによって表示されるコンテンツが、ウェアラブルコンピューティングデバイスを着用するユーザによって見ることができる／ユーザに見えるように、例えば、ディスプレイデバイスを含むスマート眼鏡などの、頭部取付式ディスプレイデバイスの形態のウェアラブルコンピューティングデバイスのフィッティングに関して説明される。ユーザが、補正レンズを含む頭部取付式ウェアラブルコンピューティングデバイスから利益を受ける状況において、本明細書に説明されるシステムおよび方法は、眼科フィット測定値の決定を提供してよく、頭部取付式ウェアラブルコンピューティングデバイスのためのディスプレイデバイスの構成における補正／処方レンズの特徴を考慮しながら、頭部取付式ウェアラブルコンピューティングデバイスへの補正／処方レンズの組込みを可能にする。即ち、本明細書に説明された実装によるシステムおよび方法は、ディスプレイデバイスによって表示されるコンテンツが、頭部取付式ウェアラブルコンピューティングデバイスを着用するユーザに見えるように、ディスプレイデバイスおよび補正／処方レンズのフィッティングを提供するための画像ベースキャプチャシステムおよび方法を使用してよい。

【0016】

図１は、システムにおけるユーザオペレーティングモバイルコンピューティングデバイスを示しており、このシステムにおいて、モバイルコンピューティングデバイスは、ネットワーク１２００を介して１つまたは複数の外部リソース１１００へアクセスすることができる。図１Ａは、モバイルコンピューティングデバイス１００、１８０、１９０、２００の様々な例を含む、周囲環境１０００におけるユーザの三人称視点を提供する。図１Ａに示された例示的なモバイルコンピューティングデバイスは、第１の頭部装着型ウェアラブルコンピューティングデバイス１００、第２の頭部装着型ウェアラブルコンピューティングデバイス１８０、手首装着型コンピューティングデバイス１９０、および手持ち式コンピューティングデバイス２００を含む。幾つかの例において、第１の頭部装着型コンピューティングデバイス１００は、スマート眼鏡またはヘッドセットの形式の、頭部取付式ディスプレイデバイスなどにおいて、例えば、ディスプレイ、周囲環境の画像をキャプチャすることができるカメラ、オーディオ入力／出力機能、ユーザ入力機能等を含む様々な構成要素を含むことができる。幾つかの例において、第２の頭部装着型コンピューティングデバイス１８０は、ヘッドホンまたはイヤバッドなどの耳装着型コンピューティングデバイスであることができ、オーディオ入力／出力機能、周囲環境の画像をキャプチャすることができカメラ、ユーザ入力機能等を含むことができる。幾つかの例において、手首装着型コンピューティングデバイス１９０は、スマートウォッチまたはリストバンドなどにおける、ディスプレイ、周囲環境の画像をキャプチャすることができるカメラ、オーディオ入力／出力機能、ユーザ入力機能等を含むことができる。幾つかの例において、手持ち式コンピューティングデバイス２００は、スマートフォンなどにおいて、ディスプレイ、周囲環境の画像をキャプチャすることができるカメラ、オーディオ入力／出力機能、ユーザ入力機能等を含むことができる。図１Ａは、モバイルコンピューティングデバイスの幾つかの例のみを示す。ここに記載される原理は、図１Ａに明確に示されていないその他のタイプのモバイルコンピューティングデバイスに適用されてもよい。幾つかの例において、図１Ａに示された例示的なコンピューティングデバイスを含むモバイルコンピューティングデバイスは、情報を交換するため、入力および／または出力を受信および送信するなどのために、互いにおよび／または外部リソース１１００と通信することができる。

【0017】

図１Ｂは、図１Ａに示された例示的な頭部取付式ウェアラブルコンピューティングデバイス１００の正面図、図１Ｃは後面図である。幾つかの実装において、例示的な頭部取付式ウェアラブルコンピューティングデバイス１００は、図１Ｂおよび図１Ｃに示された例におけるような、スマート眼鏡または拡張現実眼鏡、または拡張現実および／もしくは仮想現実ヘッドセットまたはゴーグル等の形態を取ってよい。以下、本明細書に説明された実装によるシステムおよび方法は、単に議論および例示を容易にするために、スマート眼鏡の形態のウェアラブルコンピューティングデバイス１００に関して説明される。本明細書に説明される原理は、その他のタイプのウェアラブルコンピューティングデバイスおよび／または協働するモバイル／ウェアラブルコンピューティングデバイスの組合せに適用することができる。

【0018】

図１Ｂに示されているように、例示的な頭部取付式ウェアラブルコンピューティングデバイス１００は、フレーム１０２を含む。図１Ｂおよび図１Ｃに示された例において、フレーム１０２は、ガラス部分１０７またはレンズ１０７を包囲する縁部分１０３を含む。アーム部分１０５は、それぞれのヒンジ部分１１０によってフレーム１０２のそれぞれの縁部分１０３に結合、例えば、枢動可能または回転可能に結合されている。幾つかの例において、レンズ１０７は、補正／処方レンズであってよい。幾つかの例において、レンズ１０７は、補正／処方パラメータを必ずしも組み込んでいないガラス部分であってよい。幾つかの例において、ブリッジ部分１０９は、フレーム１０２の縁部分１０３を接続していてよい。ディスプレイデバイス１０４は、フレーム１０２の部分に結合されていてよい。図１Ｂおよび図１Ｃに示された例において、ディスプレイデバイス１０４は、フレーム１０２のアーム部分１０５において結合されている。アーム部分１０５において結合されたディスプレイデバイス１０４と共に、アイボックス１０４が、出力カプラ１４４におけるコンテンツの出力のために、レンズ１０７に向かって延びており、出力カプラ１４４において、ディスプレイデバイス１０４によって出力されたコンテンツがユーザに見えてよい。幾つかの例において、出力カプラ１４４は、実質的にレンズ１０７と一致していてよい。頭部取付式ウェアラブルコンピューティングデバイス１００は、オーディオ出力デバイス１０６（例えば、１つまたは複数のスピーカなど）、照明デバイス１０８、センシングシステム１１１、制御システム１１２、少なくとも１つのプロセッサ１１４、および外向き画像センサ１１６、またはカメラ１１６も含むことができる。幾つかの実装において、ディスプレイデバイス１０４は、シースルーニアアイディスプレイを含んでよい。例えば、ディスプレイデバイス１０４は、所定の角度（例えば、３０～４５度）で着座させられたビームスプリッタとして機能するテレプロンプタガラスの一部へディスプレイソースから光を投射するように構成されていてよい。ビームスプリッタは、ディスプレイソースからの光を部分的に反射させる一方で残りの光が透過させられ得るような反射および透過値を可能にしてよい。このような光学的設計は、ディスプレイデバイス１０４によって生成されたコンテンツ（例えば、デジタル画像、ユーザインターフェース要素、バーチャルコンテンツ等）の隣に、例えば、レンズ１０７を通して実世界における物理的なアイテムを両方ともユーザが見ることを可能にし得る。幾つかの実装において、ディスプレイデバイス１０４上にコンテンツを描くために導波路光学が使用されてよい。

【0019】

幾つかの実装において、ウェアラブルコンピューティングデバイス１００は、視線方向および移動を検出および追跡するために、例えば、１つまたは複数のセンサ１２５を含む視線追跡デバイス１２０を含んでよい。センサ１２５によってキャプチャされたデータは、ユーザ入力として視線方向および移動を検出および追跡するために処理されてよい。幾つかの実装において、センシングシステム１１１は様々なセンシングデバイスを含んでよく、制御システム１１２は、例えば、制御システム１１２の構成要素に動作可能に結合された１つまたは複数のプロセッサ１１４を含む、様々な制御システムデバイスを含んでよい。幾つかの実装において、制御システム１１２は、ウェアラブルコンピューティングデバイス１００とその他の外部デバイスとの間の情報の通信および交換を提供する通信モジュールを含んでよい。

【0020】

図１Ａ～図１Ｃに示された例示的なスマート眼鏡などのウェアラブルコンピューティングデバイス１００を特定のユーザのためにサイジングおよびフィッティングするときに、多くの異なるサイジングおよびフィッティング測定値および／またはパラメータが考慮されてよい。これは、例えば、ウェアラブルフィットパラメータまたはウェアラブルフィット測定値を含んでよい。ウェアラブルフィットパラメータ／測定値は、特定のフレーム１０２が特定のユーザにおいてどのようにフィットするかおよび／または見えるかおよび／または感じるかを考慮してよい。ウェアラブルフィットパラメータ／測定値は、例えば、フレーム１０２がこめかみに関して快適であるように十分に幅広いが同時にユーザによって装着されたときにフレーム１０２が比較的静止したままであることができない（即ち、大きすぎるまたは広すぎる）ほど広くもないかどうかなど、多くの要因を考慮してよい。ウェアラブルフィットパラメータ／測定値は、ブリッジ部分１０９がユーザの幅の鼻梁上に快適に静止することができるように縁部分１０３およびブリッジ部分１０９がサイズ決めされているかどうか、ユーザの耳に快適に静止するようにアーム部分１０５がサイズ決めされているかどうか、およびその他のこのような快適性関連考慮など、その他の要因を考慮してよい。ウェアラブルフィットパラメータ／測定値は、例えば、頭部姿勢など、ユーザがどのように自然にフレーム１０２を装着するか、ユーザがどのように自然に頭部を保持するか、ユーザがどのようにフレームを顔に対して位置決めするかなどを含む装着時考慮を考慮してよい。ウェアラブルフィットパラメータ／測定値は、フレーム１０２のサイズおよび／または形状および／または輪郭がユーザにとって美観的に好ましいかどうか、およびユーザの顔の特徴に合うかどうかを考慮してよい。幾つかの例において、ウェアラブルフィットパラメータ／測定値は、ディスプレイ領域がユーザの自然な視野と調和させられ得るように、特定のフレーム構成に関連したフィットがディスプレイデバイスの組込みを提供することができるかどうかを考慮してよい。幾つかの例において、ウェアラブルフィットパラメータは、特定のフレーム構成に関連したアイトラッキングカメラ配列がユーザの視線および動きを有効に追跡することができるかどうかを考慮してよい。

【0021】

ディスプレイフィットパラメータまたはディスプレイフィット測定値が、ウェアラブルコンピューティングデバイス１００を特定のユーザのためにサイジングおよびフィッティングするときに考慮されてよい。ディスプレイフィットパラメータ／測定値は、ディスプレイデバイス１０４によって表示されるコンテンツがユーザに見えるように、特定のユーザのためのフレーム１０２のセットのためにディスプレイデバイス１０４を構成するために使用されてよい。例えば、ディスプレイフィットパラメータ／測定値は、ディスプレイデバイス１０４によって表示されるコンテンツが少なくともユーザの視野の設定された部分内にキャプチャされるようにディスプレイデバイス１０４の配置の指示を提供してよい。例えば、ディスプレイフィットパラメータ／測定値は、ユーザの視野の周辺部（例えば、少なくとも見える角）において設定された輝度レベルおよび設定された瞳孔サイズにおいてユーザに見えるコンテンツの表示の量、または部分、またはパーセンテージに対応する、ゲイザビリティ（gazability）の少なくとも設定されたレベルを提供するようにディスプレイデバイス１０４を構成するために使用されてよい。ディスプレイフィットパラメータ／測定値は、フレーム１０２の特定のセットのためのユーザにコンテンツの表示の可能な限り最善の配置を提供するようにディスプレイデバイス１０４を構成するために使用されてよい。

【0022】

幾つかの例において、眼科フィットパラメータまたは眼科フィット測定値は、処方または補正レンズ１０７を含むウェアラブルコンピューティングデバイス１００をサイジングおよびフィッティングするときに考慮されてよい。幾つかの例示的な眼科フィット測定値は、図２Ａ～図２Ｄに示されている。眼科フィット測定値は、例えば、例えば左側瞳孔高さおよび右側瞳孔高さを含む瞳孔高さＰＨ（瞳孔の中心からレンズ１０７の底部までの距離）を含んでよい。眼科フィット測定値は、瞳孔間距離ＩＰＤ（瞳孔の間の距離）を含んでよい。ＩＰＤは、単眼瞳孔距離、例えば、左側瞳孔距離ＬＰＤ（鼻の鼻梁の中央部分から左側瞳孔までの距離）および右側瞳孔距離ＲＰＤ（鼻の鼻梁の中央部分から右側瞳孔までの距離）によって特徴付けられてよい。眼科フィット測定値は、前傾角ＰＡ（垂直に対してレンズ１０７の傾斜によって規定される角度）を含んでよい。眼科フィット測定値は、例えば、左側頂点距離および右側頂点距離を含む、頂点距離Ｖ（角膜からレンズ１０７までの距離）を含んでよい。眼科フィット測定値は、上記で説明されているようなディスプレイデバイス１０４を含む頭部取付式ウェアラブルコンピューティングデバイス１００のサイジングおよび／またはフィッティングを提供するその他のこのようなパラメータまたは測定値を含んでよい。図２Ｃは、比較的より低い視度のレンズ１０７に関連した頂点距離Ｖを示す。図２Ｄは、比較的より高い視度のレンズ１０７に関連した頂点距離Ｖを示す。眼科フィット測定値は、ユーザのために、ディスプレイデバイス１０４を含むウェアラブルコンピューティングデバイス１００をフィッティングするときに考慮されてよい。例えば、眼科フィット測定値は（ディスプレイフィット測定値と共に）、コンテンツの表示がユーザの視野内およびユーザの補正された視野内にあり、したがって、ユーザに見える、レンズ１０７とユーザの目との間に延びる三次元体積によって画定されたアイボックス内へのディスプレイデバイス１０４によるコンテンツの表示の配置を提供してよい。

【0023】

本明細書に説明された実装によるシステムおよび方法において、画像データは、図１Ａに関して上記で説明されたコンピューティングデバイス２００またはユーザによって操作されるその他のコンピューティングデバイスなど、ユーザによって操作されるコンピューティングデバイスにおいて実行されるアプリケーションを介してキャプチャされてよい。ウェアラブルフィット測定値および／またはディスプレイフィット測定値および／または眼科フィット測定値は、特定のユーザのためのディスプレイおよび／または補正レンズを含む上記で説明されたウェアラブルコンピューティングデバイス１００などの、頭部取付式ウェアラブルコンピューティングデバイスをサイズおよびフィットするためにこの形式において取得される画像データから検出されてよい。画像データは、小売店へのアクセスの必要なく、フィッティング／販売専門家との予約の必要なく、など、監視されないまたは監督されない形式でユーザによって操作されるコンピューティングデバイス２００において実行されるアプリケーションを介してキャプチャされてよい。幾つかの実装において、ウェアラブルフィットおよび／またはディスプレイフィットおよび／または眼科フィット測定値の検出は、画像データに含まれるユーザによって装着されたサンプルフレームの物理的特徴または特質の検出に基づいてよい。ユーザの頭部の三次元モデルは、キャプチャされた画像データ内で検出された測定値（例えば、ユーザの物理的特質の測定値）に基づいて、生成、または作成、または規定されてよい。幾つかの実装において、画像データにおける物理的特徴および／または特質の検出は、深度センサによって収集されたデータに依存することなく、コンピューティングデバイス２００の画像センサまたはカメラを使用してこの検出を提供してよい。幾つかの実装において、コンピューティングデバイス２００に含まれた深度センサは、サンプルフレームの検出された物理的特徴および／または特質および／またはユーザの顔／頭蓋特徴に関連した三次元測定値の収集を提供してよい。

【0024】

図３は、本明細書に説明されている実装による、ウェアラブルコンピューティングデバイスのためのディスプレイフィット測定値および眼科フィット測定値を決定するための例示的なシステムのブロック図である。システムは、１つまたは複数のコンピューティングデバイス３００を含んでよい。コンピューティングデバイス３００は、例えば、サーバコンピュータシステム、プロセッサ、データベース、メモリストレージ等の外部リソース３０２へアクセスするためにネットワーク３０６を介して選択的に通信することができる。コンピューティングデバイス３００は、制御システム３７０の制御下で作動することができる。コンピューティングデバイス３００は、直接（有線および／または無線通信を介して）、またはネットワーク３０６を介して、１つまたは複数の外部コンピューティングデバイス３０４（別のウェアラブルコンピューティングデバイス、別のモバイルコンピューティングデバイス等）と通信することができる。幾つかの実装において、コンピューティングデバイス３００は、外部通信を容易にするために通信モジュール３８０を含む。幾つかの実装において、コンピューティングデバイス３００は、例えば、１つまたは複数の画像センサ３２２、１つまたは複数の位置／向きセンサ３２４（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計等を含む）、オーディオ入力を検出することができる１つまたは複数のオーディオセンサ３２６、およびその他のこのようなセンサを含む、様々なセンシングシステム構成要素を含むセンシングシステム３２０を含む。コンピューティングデバイス３００は、より多いまたはより少ないセンシングデバイスおよび／またはセンシングデバイスの組合せを含むことができる。

【0025】

幾つかの実装において、コンピューティングデバイス３００は、１つまたは複数の画像センサまたはカメラ３６０を含んでよい。カメラ３６０は、例えば、コンピューティングデバイス３００の外側の環境の静止画および／または動画をキャプチャすることができる、外向きカメラ、ワールドフェイシングカメラ等を含むことができる。幾つかの実装において、１つまたは複数のカメラ３６０は、深度センサを含んでよい。静止画および／または動画は、出力システム３４０のディスプレイデバイスによって表示されてよいおよび／または通信モジュール３８０およびネットワーク３０６を介して外部へ送信されてよい、および／またはコンピューティングデバイス３００のメモリ３３０に記憶されてよい。コンピューティングデバイス３００は、１つまたは複数のプロセッサ３５０を含んでよい。プロセッサ３５０は、様々な機能を行うように構成された様々なモジュールまたはエンジンを含んでよい。幾つかの例において、プロセッサ３５０は、物体認識モジュール、特徴認識モジュール、パターン認識モジュール、構成識別モジュールおよびその他のこのようなプロセッサを含む。プロセッサ３５０は、ソフトウェア、ファームウェアまたはそれらの組合せの１つまたは複数の機械実行可能命令またはピースを実行するように構成された基板に形成されてよい。プロセッサ３５０は、デジタルロジックを行うことができる半導体材料を含む半導体ベースであることができる。メモリ３３０は、プロセッサ３５０によって読み取るおよび／または実行することができるフォーマットにおいて情報を記憶するあらゆるタイプのストレージデバイスを含んでよい。メモリ３３０は、プロセッサ３５０によって実行されると、あるオペレーションを行う、アプリケーションおよびモジュールを記憶してよい。幾つかの例において、アプリケーションおよびモジュールは、外部ストレージデバイスに記憶され、メモリ３３０内へロードされてよい。

【0026】

図４Ａおよび図４Ｂは、ユーザによる使用のためにカスタマイズされるウェアラブルコンピューティングデバイスのためのディスプレイフィット測定値および／または眼科フィット測定値をキャプチャするためにユーザによって操作される、図３に関して上記で説明されたコンピューティングデバイス３００などの例示的なコンピューティングデバイスを示す。図４Ａにおいて、例示的なコンピューティングデバイス３００Ａは、スマートフォンなどの手持ち式コンピューティングデバイスの形態である。図４Ｂにおいて、例示的なコンピューティングデバイス３００は、ラップトップコンピューティングデバイス３００Ｂの形態である。図４Ａおよび図４Ｂは、本明細書に説明されたシステムおよび方法を実施するためにサイジングシミュレータによって処理するための画像データをキャプチャするために使用されてよいコンピューティングデバイス３００の２つの例を提供する。本明細書に説明される原理は、その他のタイプのコンピューティングデバイス、特に、画像キャプチャ機能、ディスプレイ機能、ならびに特定のユーザのためのウェアラブルコンピューティングデバイスをカスタマイズするためのディスプレイフィット測定値および／または眼科測定値を収集および処理するための外部通信および処理を利用するためにその上でアプリケーションを実行することができるコンピューティングデバイスによって実施されてよい。

【0027】

図４Ａに示された例において、ユーザがコンピューティングデバイス３００Ａを保持しており、これにより、ユーザの頭部および顔がコンピューティングデバイス３００Ａのカメラ３６０Ａの視野にあり、カメラ３６０Ａがユーザの頭部および顔の画像をキャプチャすることができる。キャプチャされた画像はコンピューティングデバイス３００Ａのディスプレイデバイス３４２Ａ上でユーザに表示されてよく、これにより、ユーザは、その頭部および顔がカメラ３６０Ａの視野内にキャプチャされていることを確認することができる。同様に、図４Ｂに示されているように、ユーザの頭部および顔がコンピューティングデバイス３００Ｂのカメラ３６０Ｂの視野内にキャプチャされ、カメラ３６０Ｂがユーザの頭部および顔の画像をキャプチャすることができるように、コンピューティングデバイス３００Ｂがユーザに対して位置決めされる。キャプチャされた画像はコンピューティングデバイス３００Ｂのディスプレイデバイス３４２Ｂ上でユーザに表示されてよく、これにより、ユーザは、その頭部および顔がカメラ３６０Ｂの視野内にキャプチャされていることを確認することができる。図４Ａおよび図４Ｂに示された例示的な配列において、カメラ３６０によってキャプチャされた画像データは、ウェアラブルフィットおよび／またはディスプレイフィットおよび／または眼科フィット測定値を検出するために、および例えばユーザのための図１Ｂおよび図１Ｃに示された頭部取付式ウェアラブルコンピューティングデバイス１００などのウェアラブルコンピューティングデバイスのカスタマイズのために例えばフレームおよび／またはレンズサイジングおよび輪郭付け、ディスプレイデバイス構成等を決定するために、（例えば、図３に示されているような外部プロセッサの認識エンジンおよびシミュレーションエンジンによって）処理されてよい。

【0028】

図４Ａおよび図４Ｂに示された例において、ユーザは、例示的なフィッティングフレーム５００を装着している。フィッティングフレーム５００は、コンピューティングデバイス３００のカメラ３６０によってキャプチャされるユーザの頭部および顔の画像に含まれている。

【0029】

上記で説明されているように、キャプチャされた画像データからのウェアラブルフィットおよび／またはディスプレイフィットおよび／または眼科フィット測定値の検出は、画像データのキャプチャの間にユーザによって着用されたフィッティングフレームに関連した１つまたは複数の物理的特徴および／または特質の検出によって容易にされ得る。幾つかの例において、ユーザは、サンプルフィッティングフレームのコレクションまたはキットから多数の異なるフィッティングフレームを試着またはサンプリングしてよい。サンプルフィッティングフレームを含むフィッティングキットは、フィッティングセッションの前にユーザに提供されてよい。これにより、ユーザは、少なくとも幾つかのウェアラブルフィットパラメータを評価し得る。例えば、サンプルフィッティングフレームを含むフィッティングキットから多数の異なるフィッティングフレームを試着またはサンプリングすることによって、ユーザは、例えば、物理的サイジング、快適性、美観等の要因を評価してよい。ユーザは、フィッティングセッション中の使用のためにサンプルフィッティングフレームを含むフィッティングキットからフィッティングフレームを選択してよい。フィッティングキットに含まれるサンプルフィッティングフレームは、ユーザに比較的正確なフィットおよび感触を提供するために、フィッティングセッション中にキャプチャされたデータに基づいて、頭部取付式ウェアラブルコンピューティングデバイス１００に組み込まれる実際のフレームのサイズ、形状、重量等を真似てよい。フィッティングセッション中にコンピューティングデバイス２００上で動作するアプリケーションを介してキャプチャされた画像データは、ディスプレイフィットおよび／または眼科フィットを決定するために使用されてよい。この形式で収集された測定データは、画像データから検出された測定値に基づいてユーザおよび選択されたフィッティングフレームのために、ディスプレイデバイス１０４、特に、ディスプレイデバイス１０４によって生成された画像表示領域を調整するために使用されてよい。この形式で収集された測定データは、頭部取付式ウェアラブルコンピューティングデバイス１００に補正または処方レンズを組み込むために使用されてよい。この形式で収集された測定データは、ユーザおよび選択されたフレームのためにディスプレイデバイス１０４を構成しかつ頭部取付式ウェアラブルコンピューティングデバイス１００に補正／処方レンズを組み込むために使用されてよい。

【0030】

図５Ａ～図５Ｃは、本明細書に説明された実装に従って、頭部取付式ウェアラブルコンピューティングデバイスをフィッティングするための、例示的なフィッティングフレーム５００、例えば、第１の例示的なフィッティングフレーム５００Ａ、第２の例示的なフィッティングフレーム５００Ｂ、および第３の例示的なフィッティングフレーム５００Ｃを示す。例示的なフィッティングフレーム５００は、ユーザによって着用されるために頭部取付式ウェアラブルコンピューティングデバイスの実際のフレームを物理的または幾何学的に表していてよいが、ただし単にサイジング／フィッティング目的のためであり、したがって非機能的である。図５Ａ～図５Ｃに示された例示的なフィッティングフレーム５００は、フィッティングセッションの前に検討のためにユーザに提供されるフィッティングキットに含まれ得るサンプルフィッティングフレーム５００の例である。本明細書に説明される原理は、その他の形状および／またはサイズおよび／または構成を有するフィッティングフレームに適用可能である。図５Ａに示された第１の例示的なフィッティングフレーム５００Ａは、物理的特徴の第１のセットによって規定された第１のサイズおよび／または形状および／または輪郭を有する。第１の例示的なフィッティングフレーム５００Ａは、Ｄ字形縁部分５０３Ａ、５０３Ｂを有する中間サイズフレームであると考えられてよい。図５Ｂに示された第２の例示的なフィッティングフレーム５００Ｂは、物理的特徴の第２のセットによって規定された第２のサイズおよび／または形状および／または輪郭を有する。第２の例示的なフィッティングフレーム５００Ｂは、丸み付けられた縁部分５０３Ａ、５０３Ｂを有する中間サイズフレームであると考えられてよい。図５Ｃに示された第３の例示的なフィッティングフレーム５００Ｃは、物理的特徴の第３のセットによって規定された第３のサイズおよび／または形状および／または輪郭を有する。第３の例示的なフィッティングフレーム５００Ｃは、矩形縁部分５０３Ａ、５０３Ｂを有する大きなサイズのフレームであると考えられてよい。図５Ａ～図５Ｃに示された例示的なフィッティングフレーム５００（５００Ａ、５００Ｂ、５００Ｃ）は、議論および例示の目的で表されている。本明細書に説明される原理は、その他の物理的特徴によって規定されたその他のサイズおよび／または形状および／または輪郭を有する、その他のフィッティングフレームに適用されてよい。

【0031】

図５Ａ～図５Ｃに示された例示的なフィッティングフレーム５００（５００Ａ、５００Ｂ、５００Ｃ）の各々は、第１のガラス部分または第１のレンズ５０７Ａを包囲する第１の縁部分５０３Ａ、および第２のガラス部分または第２のレンズ５０７Ｂを包囲する第２の縁部分５０３Ｂを含む。例示的なフィッティングフレーム５００（５００Ａ、５００Ｂ、５００Ｃ）がユーザによって着用されたとき、第１の縁部分５０３Ａ／第１のレンズ５０７Ａはユーザの第１の目に対応するように位置決めされるように構成されてよく、第２の縁部分５０３Ｂ／第１のレンズ５０７Ｂはユーザの第２の目に対応するように位置決めされるように構成されてよい。ブリッジ部分５０９は、例示的なフィッティングフレーム５００（５００Ａ、５００Ｂ、５００Ｃ）の縁部分５０３Ａ、５０３Ｂを接続するために縁部分５０３Ａ、５０３Ｂの内側端部の間に延びていてよい。ブリッジ部分５０９は、第１の目に対応するように第１の縁部分５０３Ａ／第１のレンズ５０７Ａを位置決めしかつ第２の目に対応するように第２の縁部分５０３Ｂ／第２のレンズ５０７Ｂを位置決めするために、ユーザの鼻の上に載置されるように構成されてよい。第１のアーム部分５０５Ａは、第１のヒンジ部分５１０Ａによって第１の縁部分５０３Ａの外側端部に結合、例えば枢動可能または回転可能に結合されてよい。第２のアーム部分５０５Ｂは、第２のヒンジ部分５１０Ｂによって第２の縁部分５０３Ｂの外側端部に結合、例えば枢動可能または回転可能に結合されてよい。第１および第２のアーム部分５０５Ａ、５０５Ｂは各々、例示的なフィッティングフレーム５００（５００Ａ、５００Ｂ、５００Ｃ）がユーザによって着用されたときにユーザのそれぞれの第１および第２の耳の上に載置されるように構成された耳サドル部分５１５Ａ、５１５Ｂを含んでよい。

【0032】

上記で説明されているように、本明細書に説明されている実装によるフィッティングフレームは、ユーザによる着用時のフィッティングフレームを含む画像データにおいて検出、または識別、または認識され得る物理的特徴または特質を含んでよい。図６Ａは、例示的なフィッティングフレーム５００を装着したユーザの例示的な二次元画像平面６００または画像６００を示す。例示的な画像６００は、コンピューティングデバイス３００によって実行されるアプリケーションを介して、ユーザによって操作されるコンピューティングデバイス３００のカメラ３６０によってキャプチャされてよい。図６Ａに示された例において、画像６００は、コンピューティングデバイス３００のディスプレイデバイス３４２上に表示される。これにより、ユーザは、キャプチャされた画像データが、フィッティングフレーム５００、ユーザの顔および／または頭蓋および／または光学的特徴等のキャプチャを含むことを視覚的に確認し得る。コンピューティングデバイス３００がスマートフォンなどの手持ち式モバイルコンピューティングデバイスである例において、セルフポートレートモードまたはセルフィモードが、コンピューティングデバイス３００のカメラ３６０によって画像データのキャプチャのために起動されてよい。

【0033】

画像６００は、カメラ３６０によってキャプチャされたピクセルの二次元配列を含んでよい。幾つかの例において、画像６００内の検出された特徴は、画像６００内の検出された特徴の位置、例えば、二次元座標位置に対応してよい。図６Ｂは、画像データがキャプチャされる間にユーザによって着用されたフィッティングフレーム５００に関連した検出可能なキーポイントまたは検出可能な特徴の幾つかの例を示す。画像データにおいて検出されるキーポイントまたは特徴は、ユーザの顔におけるフィッティングフレーム５００の三次元ポーズが決定されることを可能にしてよく、この三次元ポーズ自体は、ユーザによる着用時のフィッティングフレーム５００に関連したディスプレイフィット情報および／または眼科フィット情報を決定するために使用されてよい。画像データにおけるユーザによって着用されたフィッティングフレーム５００に関連したこれらのタイプのキーポイントの検出は、頭部取付式ウェアラブルコンピューティングデバイス１００がユーザのために構成されることを可能にするディスプレイフィットおよび／または眼科フィット情報の決定において重要である。

【0034】

図６Ｂに示された例示的な配列は、フィッティングフレーム５００の第１の縁部分５０３Ａと第１のアーム部分５０５Ａとの間のヒンジ結合箇所に対応する画像６００における位置、例えば、縁部分５０３Ａと第１のアーム部分５０５Ａとを枢動可能に結合する第１のヒンジ部分５１０Ａに対応する位置における、例示的なキーポイント６１０Ａを含む。図６Ｂに示された例示的な配列は、フィッティングフレーム５００の第２の縁部分５０３Ｂと第２のアーム部分５０５Ｂとの間のヒンジ結合箇所に対応する画像６００における位置における例示的なキーポイント６１０Ｂを含む。図６Ｂに示された例示的な配列は、フィッティングフレーム５００の第１のレンズ５０７Ａの底部周縁部分に対応する位置における例示的なキーポイント６２０Ａ、およびフィッティングフレーム５００の第２のレンズ５０７Ｂの底部周縁部分に対応する位置における例示的なキーポイント６２０Ｂを含む。例示的なキーポイント６２０Ａ、６２０Ｂは、単に、レンズ５０７の特定の周縁部分に対応する例示的なキーポイントである。キーポイントは、さらにおよび／または代わりに、例えば、レンズ５０７の上側周縁部分、左側周縁部分および／または右側周縁部分などの、レンズ５０７のその他の周縁部分において規定され得る。幾つかの例において、レンズ５０７の周縁部分に沿って規定されたキーポイントは、レンズ５０７の指定されたセクションに対応してよい。幾つかの例において、レンズ５０７の周縁部分に沿って規定されたキーポイントは、レンズ５０７の周縁に沿った特定の箇所に対応してよい。図６Ｂに示された例示的な配列は、フィッティングフレーム５００のブリッジ部分５０９に対応する画像６００における位置における例示的なキーポイント６３０を含む。

【0035】

図６Ａおよび図６Ｂに示された例示的な画像６００は、実質的に正面画像であり、例示的なキーポイント６１０、６２０、６３０または特徴６１０、６２０、６３０は単に、転じてユーザのためのフィッティングフレーム５００に関連したディスプレイフィットおよび／または眼科フィットを検出するために画像６００において検出され得るユーザによって着用されたフィッティングフレーム５００に関連した検出可能なキーポイントまたは特徴の幾つかの例である。フィッティングフレーム５００に関連したその他のキーポイントまたは特徴が、ディスプレイフィットおよび／または眼科フィットの決定を容易にするために画像６００において検出されてよい。その他の検出可能なキーポイントまたは検出可能な特徴の例は、例えば、レンズ５０７の上側部分、レンズ５０７の内周部分（即ち、フィッティングフレーム５００のブリッジ部分５０９に隣接するレンズ５０７の部分）、レンズ５０７の外周部分（即ち、フィッティングフレーム５００のヒンジ部分５１０に隣接するレンズ５０７の部分）等を含んでよい。フィッティングフレーム５００を横切った検出可能なキーポイントまたは特徴の分配、およびキーポイントまたは特徴の分離は、検出精度および三次元モデルとの相関関係を改善し得る。加えて、フィッティングフレーム５００に関連したその他のキーポイントまたは特徴は、ユーザの横顔画像、またはユーザに関して所定の角度でキャプチャされる画像において検出されてよく、これは、フィッティングフレーム５００のアーム部分５０５の部分、ユーザの耳に関する耳サドル箇所５１５の位置、ユーザの顔に関する縁部分５０３の位置等を含んでよい。ユーザのためのフィッティングフレーム５００のディスプレイフィットおよび／または眼科フィットを決定するために、フィッティングフレーム５００に関連したより多くのまたはより少ないキーポイントおよび／またはキーポイントの組合せが画像６００において検出されてよい。上記のように、画像データにおけるユーザによって着用されたフィッティングフレーム５００に関連した特定のキーポイントの検出は、頭部取付式ウェアラブルコンピューティングデバイス１００がユーザのために構成されることを可能にするディスプレイフィットおよび／または眼科フィット情報の決定において重要である。

【0036】

図６Ｃは、複数の顔ランドマークを示しており（図６Ｂに関して上記で説明された例示的な検出可能なキーポイント６１０、６２０、６３０または特徴６１０、６２０、６３０と一緒に）、これらの顔ランドマークは、コンピューティングデバイス３００のカメラ３６０によってキャプチャされた二次元画像６００において検出されてよい。幾つかの例において、瞳孔、特にユーザの各目の瞳孔中心６４０が、画像６００において検出されてよい。幾つかの例において、その他の顔ランドマーク６５０が画像６００において検出されてよい。図６Ｃに示された例において、幾つかの例示的な顔ランドマーク６５０は、単に議論および例示の目的で、鼻の鼻梁、こめかみおよび頬において鼻の鼻梁を包囲する四分円を含む。その他の顔ランドマークは、ユーザの頭部／顔におけるフィッティングフレーム５００の位置決めに関連した特徴の識別を容易にするために検出されてよい。顔ランドマーク６５０は、例えば、ユーザの頭部／顔に対するフィッティングフレーム５００の位置決めのためのインデクシング等を提供してよい。

【0037】

幾つかの実装において、図６Ｄに示されているように、側面または横顔画像６６０がキャプチャされてよい。図６Ｄに示された例示的な画像６６０は、単に議論および例示のための、実質的に完全な横顔画像６６０である。横顔画像６６０から検出される情報は、図６Ａ～図６Ｃに示された正面画像６００から９０度未満で撮影される側面画像から検出されてよい。図６Ｄに示されているように、フィッティングフレームに関連した追加的なキーポイントまたは特徴、および追加的な顔／頭蓋ランドマークは、側面または横顔画像６６０において検出されてよい。図６Ｄに示された例において、キーポイント６７０は、フィッティングフレーム５００のアーム部分５０５Ａの耳サドル部分５１５Ａに対応する画像６６０における位置において検出されてよい。顔／頭蓋ランドマーク６５０は、例えば、ユーザの耳の部分において、例えば、耳の前側のしわ部分、耳の上部等において検出されてよい。その他のキーポイントおよび／または顔／頭蓋特徴が側面／横顔画像６６０から検出されてもよい。同様に、例えば、ユーザの顔に対するフィッティングフレーム５００の傾斜または角度（例えば、前傾角ＰＡ）が側面または横顔画像６６０から検出されてよい。即ち、フィッティングフレーム５００の縁部分５０３とアーム部分５０５との間の角度は知られていてもよいが、フィッティングフレーム５００の傾斜または角度は多くの要因に基づいて変化する。これらの要因は、例えば、ユーザがどのようにフィッティングフレーム５００を着用するか（より目に近い／目からより遠い、鼻の上でより高い／より低いなど）、ユーザの鼻に対する耳の位置決め、およびその他のこのような要因を含んでよい。

【0038】

幾つかの実装において、フィッティングフレーム５００に関連した検出されるキーポイント（図６Ｂ～図６Ｄに示された、検出される例示的なキーポイント６１０、６２０、６３０、６７０または特徴６１０、６２０、６３０、６７０など）は、単独でおよび／またはユーザの検出される顔／頭蓋特徴（図６Ｃおよび図６Ｄに示された検出される瞳孔中心６４０および顔ランドマーク６５０など）と一緒に、ユーザの顔におけるフィッティングフレーム５００のポーズ、例えば、三次元ポーズを決定するために使用されてよい。ユーザの顔におけるフィッティングフレーム５００のこの三次元ポーズは、例えば、スマート眼鏡の形式の、頭部取付式ウェアラブルコンピューティングデバイス１００のためのディスプレイフィットおよび／または眼科フィットを決定するために使用されてよい。幾つかの例において、構成される頭部取付式ウェアラブルコンピューティングデバイス１００のフレーム１０２の構成は、画像６００におけるユーザによって着用されるフィッティングフレーム５００の構成に対応する。幾つかの例において、構成される頭部取付式ウェアラブルコンピューティングデバイス１００のフレーム１０２の構成は、必ずしもフィッティングフレーム５００の構成に対応しない。

【0039】

幾つかの例において、例えば、ユーザの顔におけるフィッティングフレーム５００の二次元正面画像６００および対応する検出された三次元ポーズから抽出されたデータは、ユーザのためのフィッティングフレーム５００のゲイザビリティを評価するために合成されてよい。即ち、このデータは、頭部取付式ウェアラブルコンピューティングデバイス１００に含まれるディスプレイデバイス１０４の構成が、ディスプレイデバイス１０４によって出力されるコンテンツが頭部取付式ウェアラブルコンピューティングデバイス１００を装着したユーザの視野内になるようにディスプレイデバイス１０４が構成されることを可能にし得ることを決定するために合成されてよい。例えば、ディスプレイデバイス１０４は、ディスプレイデバイス１０４によって出力されかつ出力カプラ１４４において表示されるコンテンツがユーザの視野内にキャプチャされかつユーザに見えるように構成されてよい。

【0040】

上記のように、瞳孔（例えば、瞳孔中心６４０）およびユーザの顔（例えば、検出される顔ランドマーク６５０）に関連する三次元ポーズ情報は、フィッティングフレーム５００の三次元ポーズ情報と一緒に、レンズ関連測定値（例えば、瞳孔高さ、頂点距離、前傾角等）の決定を可能にし得る。上記のように、フィッティングフレーム５００の三次元位置および向き、またはポーズは、ユーザによって操作されるコンピューティングデバイス３００のカメラ３６０によってキャプチャされた画像データにおける１つまたは複数のキーポイント６１０、６２０、６３０または特徴６１０、６２０、６３０の検出および／または識別に基づいて決定されてよい。幾つかの例において、図６Ｄに関して上記で説明されているように、側面または横顔画像６６０から追加的な情報が取得されてよい。フィッティングフレーム５００には僅かな屈曲があり得るが、幾つかの例において、フィッティングフレーム５００は、３つの移動度を有する実質的に剛体であると考えられてよい。したがって、フィッティングフレーム５００上の少なくとも１つの既知の箇所の比較的正確な検出は、フィッティングフレーム５００の三次元位置を決定するために使用されてよい。キーポイント６１０、６２０、６３０または特徴６１０、６２０、６３０のうちの１つまたは複数は、画像６００において確実に検出可能であってよく、検出された１つまたは複数のキーポイント６１０、６２０、６３０または特徴６１０、６２０、６３０の位置は、フィッティングフレーム５００に関連した三次元空間において既知である。

【0041】

上記のように、本明細書に説明された実装によるシステムおよび方法は、ユーザによって操作されるコンピューティングデバイス上で動作するアプリケーションを介してキャプチャされた画像データに基づいて頭部取付式ウェアラブルコンピューティングデバイスのフィッティングを容易にし得る。画像データは、ユーザによってキャプチャされてよく、ウェアラブルコンピューティングデバイスは、小売店へのアクセスおよび／または販売代理店との対面もしくは仮想予約を必要とすることなく、自主的、または監視されない、または監督されない形式でユーザのためにフィットおよび構成されてよい。画像データのキャプチャおよび処理は、以下により詳細に説明される。

【0042】

上記で説明されているような頭部取付式ウェアラブルコンピューティングデバイス１００を選択、フィットおよび構成したいユーザは、フィッティングプロセスの前に検討するために、１つまたは複数のフィッティングフレームまたはフィッティングフレームのサンプルセットへのアクセスを有してよい、またはそれらが提供されてよい。幾つかの例において、ユーザは、各々に関連したサイズ、快適性、外観、顔特徴との適合性、全体的な装着性等の要因を評価するために、フィッティングフレームのサンプルセットに含まれる各フィッティングフレームを試着してよい。ユーザは、これらのおよび／またはその他の要因に基づいてフィッティングフレームのサンプルセットからフィッティングフレーム５００を選択し、その後フィッティングおよび構成プロセスにおいて使用してよい。

【0043】

幾つかの例において、試着および／または評価されるフィッティングフレームのサンプルセットは、試着のために利用可能な複数のフィッティングフレームからユーザによって選択されてよい。幾つかの例において、システム（例えば、ユーザによって操作されるコンピューティングデバイス３００において実行されるアプリケーションのモジュール内からの）は、ユーザの物理的特徴の分析ならびに検出された物理的特徴と適合し得るフレームの形状および／またはサイズおよび／または構成に基づいて、ユーザにフィッティングフレームのサンプルセットを提案し得る。幾つかの例において、フィッティングフレームのサンプルセットは、頭部取付式ウェアラブルコンピューティングデバイス１００のフィッティングおよび構成のためのプロセスを開始する前にユーザに提供されてよい。

【0044】

フィッティングフレーム５００の１つまたは複数の対を物理的に試着することができることは、いずれのフィッティングフレーム５００が物理的に最も快適であるか、顔および／または頭蓋特徴（目、鼻梁、耳サドル箇所、頬接触箇所等）と適切に／快適に整合するかどうかなどの決定を行うために、フィットを物理的に評価するための機会をユーザに提供する。頭部取付式ウェアラブルコンピューティングデバイス１００のフィッティングおよび構成の前に物理的フィッティングフレーム５００を利用する、ユーザによるウェアラブルフィットのこの評価は、特定のユーザにより適した頭部取付式ウェアラブルコンピューティングデバイス１００を提供し得る。ユーザによる物理的なウェアラブルフィットに基づく、この形式におけるフィッティングフレーム５００の選択は、ユーザのための頭部取付式ウェアラブルコンピューティングデバイス１００のより正確なフィッティングおよび構成を提供し得る。

【0045】

幾つかの状況において、頭部取付式ウェアラブルコンピューティングデバイス１００のフィッティングおよび構成のために１つのフィッティングフレーム５００がユーザに利用可能である場合がある。この状況において、フィッティングおよび構成プロセスは、頭部取付式ウェアラブルコンピューティングデバイス１００への組込みのための特定のフレーム１０２のウェアラブルフィットの決定のために行われる追加的な手段を用いて、以下に説明されるように行われてよい。

【0046】

幾つかの例において、ユーザは、コンピューティングデバイス３００（例えば、図４Ａおよび／または図４Ｂにおけるような）を操作し、アプリケーションを起動し、選択されたフィッティングフレーム５００（例えば、上記で説明されているようなフィッティングフレームのサンプルセットから選択されるような）を使用して頭部取付式ウェアラブルコンピューティングデバイス１００のフィッティングおよび構成を開始してよい。幾つかの例において、ユーザによって操作されるコンピューティングデバイス３００上で実行されるアプリケーションは、ユーザが、選択されたフィッティングフレーム５００を着用しながら画像キャプチャを開始することを促してよい。この後、このプロセスは、単に議論および例示を容易にするために、図６Ａ～図６Ｃに関して上記で説明されているように、正面画像６００のキャプチャに基づいて説明される。しかしながら、幾つかの実装において、図６Ｄに示されているような横顔画像６６０および／または半横顔画像において検出されたデータが、ユーザのための頭部取付式ディスプレイデバイス１００のフィッティングおよび構成において使用されてよい。

【0047】

幾つかの例において、アプリケーションは、ユーザが、画像データのキャプチャの間にユーザによって着用される特定のフィッティングフレーム５００の選択を確認することを促してよい。したがって、幾つかの状況において、画像キャプチャの間に着用される選択されたフィッティングフレーム５００に関する構成情報が知られ得る。これは、例えば、選択されたフィッティングフレーム５００に関する線形および／または角度測定値および／または輪郭、選択されたフィッティングフレーム５００の二次元モデルおよび／または三次元モデル、およびその他のこのような情報を含んでよい。選択されたフィッティングフレーム５００に関するこの既知の情報は、コンピューティングデバイス３００において実行されるアプリケーションにアクセス可能であってよい。例えば、この既知の構成情報は、コンピューティングデバイス３００において実行されるアプリケーションにアクセス可能なデータベースに記憶されてよい。選択されたフィッティングフレームに関する既知の構成情報は、ユーザのための頭部取付式ウェアラブルコンピューティングデバイス１００のフィッティングおよび構成の精度および効率をさらに高め得る。

【0048】

図７に示されかつ上記で説明されているように、フィッティングフレーム５００に関する様々なキーポイントまたは特徴は、ユーザによって操作されるコンピューティングデバイス３００のカメラ３６０によってキャプチャされた正面画像６００内で検出することができる。図７に示された例示的な配列において、第１のキーポイント６１０Ａは、フィッティングフレーム５００の第１の縁部分５０３Ａと第１のアーム部分５０５Ａとの間のヒンジ結合箇所に対応する、フィッティングフレーム５００上の第１の既知の位置７１０Ａに配置されている。同様に、第２のキーポイント６１０Ｂは、フィッティングフレーム５００の第２の縁部分５０３Ｂと第２のアーム部分５０５Ｂとの間のヒンジ結合箇所に対応する、フィッティングフレーム５００上の第２の既知の位置７１０Ｂに配置されている。第３のキーポイント６２０Ａは、第１のレンズ５０７Ａの底部周縁部分に対応する、フィッティングフレーム５００上の第３の既知の位置７２０Ａに配置されており、第４のキーポイント６２０は、第２のレンズ５０７Ｂの底部周縁部分に対応する位置において、フィッティングフレーム５００上の第４の既知の位置７２０Ｂに配置されている。第５のキーポイント６３０は、フィッティングフレーム５００のブリッジ部分５０９の中央部分に対応する位置において、フィッティングフレーム５００上の第５の既知の位置７３０に配置されている。キーポイント６１０、６２０、６３０の検出およびフィッティングフレーム５００上の対応する既知の位置７１０、７２０、７３０の識別は、ユーザの顔におけるフィッティングフレーム５００の三次元ポーズを検出および／または改良するために使用されてよいフィッティングフレーム５００上の固定された基準点を提供してよい。検出されたキーポイント６１０、６２０、６３０の各々に関連した検出された特徴または特質は、例えば、カメラ３６０に関する深さを決定するために、既知の特徴または特質（既知の位置、ジオメトリ、輪郭、距離等）と比較することができる。これは、ユーザの顔におけるフィッティングフレーム５００の三次元ポーズの決定を容易にし得る。

【0049】

例えば、フィッティングフレーム５００上の検出されたキーポイント６１０、６２０、６３０および対応する既知の位置７１０、７２０、７３０は、フィッティングフレーム５００の三次元モデルにおける箇所／位置の対応するセットに一致させられてよい。上記のように、フィッティングフレーム５００の三次元モデルは、予め記憶され、コンピューティングデバイス３００上で実行されるアプリケーションを介してアクセス可能であってよい。したがって、フィッティングフレーム５００の三次元モデルと、画像６００において検出された対応する箇所との間の対応の既知のセットは、フィッティングフレーム５００の三次元ポーズを決定するために使用されてよい。

【0050】

幾つかの実装において、図６Ａ～図６Ｄに示された例示的なランドマーク６５０などの検出された顔／頭蓋ランドマークは、フィッティングフレーム５００のキーポイントまたは特徴の検出および識別を容易にし得る。例えば、上記で説明された例示的なキーポイント６２０Ａを規定する第１のレンズ５０７の底部周縁部分の検出および識別は、コンパクト化もしくは改良されてよい、ならびに／または精度は、ユーザの頬を規定するランドマーク６５０のキーポイント６２０Ａの下の検出、ユーザの鼻の鼻梁を規定するキーポイント６２０Ａの右のランドマーク６５０等に基づいて、増大されてよい。レンズ５０７のその他の周縁部分（即ち、レンズ５０７の上部および／または左側および／または右側の周縁部分）に規定されたその他のキーポイントは、類似の形式でその他のランドマーク６５０の検出に基づいてコンパクト化および／または改良されてよい。

【0051】

幾つかの実装において、画像６００におけるユーザによって着用されたフィッティングフレーム５００に関連したキーポイントまたは特徴の検出は、合成データ、実際のデータ、および合成データと実際のデータとの組合せが追加されたデータベースに対する比較に依存し得る。合成データは、例えば、様々な条件において頭部に装着される眼鏡の例外的に多数の異なるレンダリングされた組合せを生成するために組み合わされてよい、ポーズ、ライティング条件等の異なる組合せにおいて、例えば、眼鏡の三次元レンダリングおよび頭部の三次元レンダリングを含んでよい。実際のデータは、例えば、眼鏡を着用する実際の人々をキャプチャする画像データを含んでよい。合成データおよび実際のデータは、異なるポーズ、条件等において、頭部における眼鏡の追加的な組合せを生成するために組み合わされてよい。このデータ（合成データ、実際のデータおよび組み合わされたデータ）は、ニューラルネットワークを訓練するために蓄積されてよく、ニューラルネットワークは、次いで、三次元モデルにおける箇所に対するフィッティングフレーム上のキーポイントのマッチングにおいて改良する結果を連続的に出力することができる。

【0052】

幾つかの状況において、十分に開発された／密に追加されたニューラルネットワークは、フィッティングフレーム５００の比較的多数のポーズおよび位置および角度を表す訓練データを含む、特定のフィッティングフレーム５００のために利用可能であってよい。この状況において、画像、例えば、図６Ａ～図６Ｃに関して上記で説明された正面画像６００は、そのフィッティングフレーム５００のために確立されたニューラルネットワーク内に供給されてよく、フィッティングフレーム５００を着用したユーザの画像６００と、ニューラルネットワークに追加されるデータとの対応は、ニューラルネットワークによる画像６００の処理の前に画像６００におけるキーポイントの検出を必ずしも要求することなく、検出することができる。

【0053】

幾つかの実装において、フィッティングおよび構成プロセスに類似のプロセスは、頭部取付式ウェアラブルコンピューティングデバイス１００がユーザへ配送された後に頭部取付式ウェアラブルコンピューティングデバイス１００の較正または再較正に適用されてよい。例えば、ユーザのために構成された頭部取付式ウェアラブルコンピューティングデバイス１００のための新たな製品セットアッププロセスは、頭部取付式ウェアラブルコンピューティングデバイス１００が配送された後のディスプレイ特性の微調整を含んでよい。例えば、ユーザによって操作されるコンピューティングデバイス３００において実行されるアプリケーションは、ユーザが、頭部取付式ウェアラブルコンピューティングデバイス１００を着用するユーザを含む画像データをキャプチャすることを促してよい。頭部取付式ウェアラブルコンピューティングデバイス１００上のキーポイントの検出は、ユーザの顔の上の、およびユーザの目／アイボックスに対する、頭部取付式ウェアラブルコンピューティングデバイス１００の三次元ポーズを決定するために検出されてよい。ディスプレイデバイス１０４の動作を制御する制御ソフトウェアは、例えば、どこにコンテンツが表示されるかを最適化するためにコンテンツの出力を調整してよい。これは、ゲイザビリティを最適化し、ユーザビューイング体験を改善してよい。

【0054】

上記で説明された測定値またはパラメータは、選択されたフィッティングフレーム５００を着用するユーザのためのディスプレイフィット特性を決定するために収集されてよい。上記で説明された測定値またはパラメータは、ユーザの瞳孔がアイボックス１４０内で可能な限り中心に整列させられるように頭部取付式ウェアラブルコンピューティングデバイスのディスプレイデバイス（図１Ｂおよび図１Ｃに示された頭部取付式ウェアラブルコンピューティングデバイス１００のディスプレイデバイス１０４など）のフィッティングを可能にしてよく、これにより、ユーザ視線は出力カプラ１４４を通過し、そこで表示されたコンテンツはレンズ１０７上でユーザに見える。上記で説明された測定値またはパラメータは、コンテンツの表示がユーザの視野の比較的大きな部分内でユーザに見えるように、頭部取付式ウェアラブルコンピューティングデバイス１００のディスプレイデバイス１０４の構成を可能にし得る。

【0055】

本明細書に説明された実装によるシステムおよび方法は、選択されたフィッティングフレーム５００を着用するユーザのための眼科フィット特性を決定するための測定値の収集を提供してよい。幾つかの実装において、システムおよび方法は、ディスプレイフィット特性および眼科フィット特性の両方を決定するために測定値の収集を提供してよい。図２Ａ～図２Ｄに関して上記で説明されているように、眼科測定値は、ユーザによって操作されるコンピューティングデバイス３００のカメラ３６０によってキャプチャされた画像データ内で検出されてよい。例えば、瞳孔高さ、瞳孔間距離、単眼瞳孔距離、前傾角、頂点距離、およびその他のこのようなパラメータまたは測定値を含むこれらの測定値は、画像データ内で検出されてよく、頭部取付式ウェアラブルコンピューティングデバイス１００への補正または処方レンズの組込みのために処理されてよい。幾つかの例において、これらの眼科測定値は、ユーザの補正／処方レンズニーズと一緒に、特定のユーザのための適切なディスプレイフィットの両方を提供するために、上記で説明されたディスプレイフィット測定値と協調して使用される。

【0056】

図８は、ユーザのためのディスプレイを含む頭部取付式ウェアラブルコンピューティングデバイスを構成するためにコンピューティングシステムを操作する例示的な方法８００のフローチャートである。コンピューティングデバイス（例えば、上記で説明されたコンピューティングデバイス３００など）を操作するユーザは、コンピューティングデバイスにアプリケーションを実行させてよい。アプリケーションは、コンピューティングデバイスによってキャプチャされた画像データからディスプレイフィット測定値および／または眼科フィット測定値の検出を提供してよい（ブロック８１０）。カメラ（例えば、上記で説明されたコンピューティングデバイス３００のカメラ３６０など）は、フィッティングフレームを着用したユーザの画像データをキャプチャするために操作される（ブロック８２０）。フィッティングフレームは、ユーザに利用可能な１つまたは複数のサンプルフィッティングフレーム（例えば、図５Ａ～図７に関して上記で説明されたフィッティングフレーム５００など）から選択されてよい。システムは、フィッティングフレーム上の１つまたは複数のキーポイントまたは特徴（例えば、上記で説明されたキーポイント６１０、６２０、６３０および／または６７０、顔／頭蓋ランドマーク６４０、６５０等）を検出してよい（ブロック８３０）。

【0057】

幾つかの例において、キーポイントおよび／または特徴および／またはランドマークの検出のための画像キャプチャデータの分析は、コンピューティングデバイス、例えば、上記で説明されたコンピューティングデバイスのプロセッサ３５０の物体認識モジュールおよび／またはパターン認識モジュールによって行われてよい。幾つかの例において、キーポイントおよび／または特徴および／またはランドマークの検出は、例えば、上記で説明されているようなコンピューティングデバイス３００と通信する外部リソース３０２に含まれたサーバの物体認識モジュールおよび／またはパターン認識モジュールなどの、外部デバイスによって行われてよい。

【0058】

フィッティングフレームの三次元ポーズを含むディスプレイフィット測定値は、フィッティングフレームの構成に対する検出されたキーポイントおよび／または特徴および／またはランドマークの位置に基づいて決定されてよい（ブロック８４０）。眼科フィット測定値は、必要である場合（ブロック８５０）、補正／処方レンズが頭部取付式ウェアラブルコンピューティングデバイスに組み込まれることを必要とするユーザのために、画像データから、およびディスプレイフィット測定値から検出されてよい（ブロック８６０、８７０および８８０）。幾つかの例において、ディスプレイフィット測定値および／または眼科フィット測定値を決定するための分析は、コンピューティングデバイス（例えば、上記で説明されているコンピューティングデバイス３００のプロセッサ３５０の構成識別モジュールなど）によって行われてよい。幾つかの例において、ディスプレイフィット測定値および／または眼科フィット測定値を決定するための分析は、外部コンピューティングデバイス（上記で説明されているコンピューティングデバイス３００と通信する外部リソース３０２に含まれたサーバの構成識別モジュールなど）によって行われてよい。眼科フィット測定値およびディスプレイフィット測定値は、ユーザの光学的ニーズのために調整されたビューイング体験を提供するために、ユーザのための頭部取付式ウェアラブルコンピューティングデバイスに組み込まれてよい。

【0059】

図９は、ここで説明されている技術と共に使用されてよい、コンピューティングデバイス９００およびモバイルコンピューティングデバイス９５０の例を示す。コンピューティングデバイス９００は、ラップトップ、デスクトップ、タブレット、ワークステーション、パーソナルデジタルアシスタント、スマートデバイス、アプライアンス、電子センサベースデバイス、テレビ、サーバ、ブレードサーバ、メインフレーム、およびその他の適切なコンピューティングデバイスなどの、様々な形態のデジタルコンピュータを表すことが意図されている。コンピューティングデバイス９５０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、およびその他の類似のコンピューティングデバイスなどの、様々な形態のモバイルデバイスを表すことが意図されている。ここに示されている構成要素、それらの接続および関係、およびそれらの機能は、例示的であることのみが意図されており、本文献に説明および／または請求された発明の実装を制限することは意図されていない。

【0060】

コンピューティングデバイス９００は、プロセッサ９０２、メモリ９０４、ストレージデバイス９０６、メモリ９０４および高速拡張ポート９１０に接続される高速インターフェース９０８、ならびに低速バス９１４およびストレージデバイス９０６に接続される低速インターフェース９１２を含む。プロセッサ９０２は、半導体ベースプロセッサであることができる。メモリ９０４は、半導体ベースメモリであることができる。構成要素９０２、９０４、９０６、９０８、９１０および９１２の各々は、様々なバスを使用して相互接続されており、共通のマザーボード上にまたは必要に応じてその他の形式でマウントされていてよい。プロセッサ９０２は、高速インターフェース９０８に結合されたディスプレイ９１６などの外部入力／出力デバイス上のＧＵＩのためのグラフィカル情報を表示するためにメモリ９０４またはストレージデバイス９０６に記憶された命令を含む、コンピューティングデバイス９００内で実行するための命令を処理することができる。その他の実装において、多数のプロセッサおよび／または多数のバスが、必要に応じて、多数のメモリおよび複数のタイプのメモリと共に使用されてよい。また、多数のコンピューティングデバイス９００が、（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要なオペレーションの部分を提供する各デバイスと接続されてよい。

【0061】

メモリ９０４は、コンピューティングデバイス９００内に情報を記憶する。１つの実装において、メモリ９０４は、１つまたは複数の揮発性メモリユニットである。別の実装において、メモリ９０４は、１つまたは複数の不揮発性メモリユニットである。メモリ９０４は、磁気または光ディスクなどの、別の形態のコンピュータ可読媒体であってもよい。一般的に、コンピュータ可読媒体は、非一時的コンピュータ可読媒体であってよい。

【0062】

ストレージデバイス９０６は、コンピューティングデバイス９００のためのマスストレージを提供することができる。１つの実装において、ストレージデバイス９０６は、ストレージエリアネットワークにおけるデバイスまたはその他の構成を含む、フロッピディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくはその他の類似のソリッドステートメモリデバイス、またはデバイスのアレイなどの、コンピュータ可読媒体であってよいまたはこれらを含んでよい。コンピュータプログラム製品は、情報キャリアにおいて有形的に具体化され得る。コンピュータプログラム製品は、実行されると、上記で説明されたものなどの、１つまたは複数の方法および／またはコンピュータが実行する方法を実行する命令も含んでよい。情報キャリアは、メモリ９０４、ストレージデバイス９０６、またはプロセッサ９０２上のメモリなどの、コンピュータ可読媒体または機械可読媒体である。

【0063】

高速コントローラ９０８はコンピューティングデバイス９００のための帯域幅集中オペレーションを管理するのに対し、低速コントローラ９１２はより低い帯域幅集中オペレーションを管理する。このような機能の割り当ては、例示的でしかない。１つの実装において、高速コントローラ９０８は、メモリ９０４、ディスプレイ９１６（例えば、グラフィックスプロセッサまたはアクセラレータを介して）、および様々な拡張カード（図示せず）を受容し得る高速拡張ポート９１０に結合されている。実装において、低速コントローラ９１２は、ストレージデバイス９０６および低速拡張ポート９１４に結合されている。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、Ｅｔｈｅｒｎｅｔ、ワイヤレスＥｔｈｅｒｎｅｔ）を含んでよい低速拡張ポートは、例えば、ネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータなどのネットワーキングデバイスなどの、１つまたは複数の入力／出力デバイスに結合されてよい。

【0064】

コンピューティングデバイス９００は、図示されているように、多くの異なる形式で実装されてよい。例えば、コンピューティングデバイス９００は、標準的なサーバ９２０として、またはこのようなサーバのグループにおいて複数回実装されてよい。コンピューティングデバイス９００は、ラックサーバシステム９２４の一部として実装されてもよい。加えて、コンピューティングデバイス９００は、ラップトップコンピュータ９２２などのコンピュータにおいて実装されてよい。代替的に、コンピューティングデバイス９００からの構成要素は、デバイス９５０などのモバイルデバイス（図示せず）における他の構成要素と組み合わされてよい。このようなデバイスの各々は、コンピューティングデバイス９００、９５０のうちの１つまたは複数を含んでよく、全体的なシステムは、互いに通信する多数のコンピューティングデバイス９００、９５０から構成されてよい。

【0065】

コンピューティングデバイス９５０は、他の構成要素の中でも特に、プロセッサ９５２、メモリ９６４、ディスプレイ９５４などの入力／出力デバイス、通信インターフェース９６６、およびトランシーバ９６８を含む。デバイス９５０は、追加的なストレージを提供するために、マイクロドライブまたはその他のデバイスなどのストレージデバイスが設けられてもよい。構成要素９５０、９５２、９６４、９５４、９６６および９６８の各々は様々なバスを使用して相互接続されており、構成要素のうちの複数は、共通のマザーボード上でまたは必要に応じてその他の形式でマウントされていてよい。

【0066】

プロセッサ９５２は、メモリ９６４に記憶された命令を含む、コンピューティングデバイス９５０内の命令を実行することができる。プロセッサは、別々のかつ多数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装されてよい。プロセッサは、例えば、ユーザインターフェースの制御、デバイス９５０によって動作させられるアプリケーション、およびデバイス９５０による無線通信など、デバイス９５０のその他の構成要素の調整を提供してよい。

【0067】

プロセッサ９５２は、制御インターフェース９５８およびディスプレイ９５４に結合されたディスプレイインターフェース９５６を介してユーザと通信してよい。ディスプレイ９５４は、例えば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、またはその他の適切なディスプレイ技術であってよい。ディスプレイインターフェース９５６は、ユーザにグラフィカルおよびその他の情報を提供するためにディスプレイ９５４を駆動するための適切な回路を含んでよい。制御インターフェース９５８は、ユーザからコマンドを受信し、プロセッサ９５２への提出のためにそれらを変換してよい。加えて、外部インターフェース９６２は、その他のデバイスとのデバイス９５０のニアエリア通信を可能にするために、プロセッサ９５２と通信するように設けられてよい。外部インターフェース９６２は、例えば、幾つかの実装において有線通信、またはその他の実装において無線通信を提供してよく、多数のインターフェースが使用されてもよい。

【0068】

メモリ９６４は、コンピューティングデバイス９５０内に情報を記憶する。メモリ９６４は、１つまたは複数のコンピュータ可読媒体、１つまたは複数の揮発性メモリユニット、１つまたは複数の不揮発性メモリユニットのうちの１つまたは複数として実装することができる。拡張メモリ９８４は、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェースを含んでよい拡張インターフェース９８２を介してデバイス９５０に提供および接続されてもよい。このような拡張メモリ９８４は、デバイス９５０のための余分なストレージ空間を提供してよいか、またはデバイス９５０のためのアプリケーションまたはその他の情報を記憶してもよい。特に、拡張メモリ９８４は、上記で説明されたプロセスを実行または補足するための命令を含んでよく、セキュア情報も含んでよい。したがって、例えば、拡張メモリ９８４は、デバイス９５０のためのセキュリティモジュールとして提供されてよく、デバイス９５０のセキュアな使用を可能にする命令でプログラムされてよい。加えて、セキュアなアプリケーションは、ＳＩＭＭカードを介して、ハッキングできない形式でＳＩＭＭカード上に識別情報を配置するなど、追加的な情報と共に提供されてよい。

【0069】

メモリは、例えば、以下で説明されるように、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含んでよい。１つの実装において、コンピュータプログラム製品は、情報キャリアにおいて有形的に具体化されている。コンピュータプログラム製品は、実行されると、上記で説明されているものなどの１つまたは複数の方法を実行する命令を含む。情報キャリアは、例えば、トランシーバ９６８または外部インターフェース９６２上で受信されてよい、メモリ９６４、拡張メモリ９８４、またはプロセッサ９５２上のメモリなどの、コンピュータ可読または機械可読媒体である。

【0070】

デバイス９５０は、必要な場合にデジタル信号処理回路を含んでよい通信インターフェース９６６を介して無線で通信してよい。通信インターフェース９６６は、中でも特に、ＧＳＭボイスコール、ＳＭＳ、ＥＭＳ、もしくはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなどの、様々なモードまたはプロトコル下での通信を提供してよい。このような通信は、例えば、無線周波数トランシーバ９６８を介して行われてよい。加えて、Ｂｌｕｅｔｏｏｔｈ、低パワーＢｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、またはその他のこのようなトランシーバ（図示せず）などを使用して、短距離通信が行われてよい。加えて、ＧＰＳ（グローバルポジショニングシステム）レシーバモジュール９８０は、デバイス９５０上で動作するアプリケーションによって必要に応じて使用されてよい、追加的なナビゲーション関連およびロケーション関連無線データをデバイス９５０へ提供してよい。

【0071】

デバイス９５０は、ユーザから音声情報を受信しかつこれを使用可能なデジタル情報に変換してよい音声コーデック９６０を使用して聞こえるように通信してもよい。音声コーデック９６０は、同様に、例えば、デバイス９５０のハンドセットにおいて、スピーカなどを通じて、ユーザのための可聴音声を生成してよい。このような音声は、ボイス電話コールからの音声を含んでよく、記録された音声（例えば、ボイスメッセージ、音楽ファイルなど）を含んでよく、デバイス９５０上で動作するアプリケーションによって生成された音声も含んでよい。

【0072】

コンピューティングデバイス９５０は、図示されているように、多数の異なる形式で実装されてよい。例えば、コンピューティングデバイス９５０は、携帯電話９８３として実装されてよい。コンピューティングデバイス９５０は、スマートフォン９８１、パーソナルデジタルアシスタント、またはその他の類似のモバイルデバイスの一部として実装されてもよい。

【0073】

本明細書に説明されたシステムおよび技術の様々な実装は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せにおいて実現することができる。これらの様々な実装は、ストレージシステム、少なくとも１つの入力デバイスおよび少なくとも１つの出力デバイスからデータおよび命令を受信しかつこれらへデータおよび命令を送信するために結合された、専用または汎用であってよい、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行可能および／または解釈可能である１つまたは複数のコンピュータプログラムにおける実装を含むことができる。

【0074】

これらのコンピュータプログラム（モジュール、プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる）は、プログラマブルプロセッサのための機械命令を含み、高水準手続き型および／もしくはオブジェクト指向プログラミング言語において、ならびに／またはアセンブリ／マシン言語において実装され得る。本明細書において使用されているように、「機械可読媒体」、「コンピュータ可読媒体」という用語は、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサへ機械命および／またはデータを提供するために使用されるあらゆるコンピュータプログラム製品、装置および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用されるあらゆる信号を指す。

【0075】

ユーザとの相互作用を提供するために、本明細書で説明されているシステムおよび技術は、ユーザに情報を表示するためのディスプレイデバイス（例えば、ＣＲＴ（陰極線管）もしくはＬＣＤ（液晶ディスプレイ）モニタ、またはＬＥＤ（発光ダイオード））、およびそれによってユーザがコンピュータへ入力を提供することができるキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）を有するコンピュータにおいて実装され得る。ユーザとの相互作用を提供するためにその他の種類のデバイスも使用することができる。例えば、ユーザに提供されるフィードバックは、あらゆる形式の感覚フィードバック（例えば、視覚的フィードバック、聴覚フィードバック、または触覚フィードバック）であることができ、ユーザからの入力は、音響、音声、または触覚入力を含むあらゆる形態で受信され得る。

【0076】

本明細書に説明されたシステムおよび技術は、バックエンドコンポーネント（例えば、データサーバとしての）を含む、またはミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含む、またはフロントエンドコンポーネント（例えば、それを通じてユーザが本明細書に説明されたシステムおよび技術の実装と相互作用することができるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ）、またはこのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントのあらゆる組合せを含むコンピューティングシステムにおいて実装され得る。システムのコンポーネントは、あらゆる形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットを含む。

【0077】

コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般的に、互いに遠隔であり、典型的には、通信ネットワークを介して相互作用する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で動作しかつ互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

【0078】

幾つかの実施形態において、図９に示されたコンピューティングデバイスは、ＡＲ／ＶＲヘッドセット（ＡＲ眼鏡／眼鏡／ＶＲヘッドセット／ＡＲヘッドセット／ＨＭＤデバイス９９０）とインターフェースするセンサを含むことができる。例えば、図９に示されたコンピューティングデバイス９５０またはその他のコンピューティングデバイスに含まれた１つまたは複数のセンサは、ＡＲ／ＶＲヘッドセット９９０に入力を提供することができるかまたは一般的に、ＡＲ／ＶＲ空間へ入力を提供することができる。センサは、これらに限定されないが、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、バイオメトリックセンサ、温度センサ、湿度センサ、および周囲光センサを含むことができる。コンピューティングデバイス９５０は、次いでＡＲ／ＶＲ空間への入力として使用することができるＡＲ／ＶＲ空間におけるコンピューティングデバイスの絶対位置および／または検出された回転を決定するためにセンサを使用することができる。例えば、コンピューティングデバイス９５０は、コントローラ、レーザポインタ、キーボード、ウェポン等の仮想オブジェクトとしてＡＲ／ＶＲ空間に組み込まれてよい。ＡＲ／ＶＲ空間に組み込まれたときのユーザによるコンピューティングデバイス／仮想オブジェクトのポジショニングは、ユーザが、ＡＲ／ＶＲ空間においてある形式で仮想オブジェクトを見るためにコンピューティングデバイスを位置決めすることを可能にすることができる。

【0079】

幾つかの実施形態において、コンピューティングデバイス９５０に含まれたまたはコンピューティングデバイス９５０に接続された１つまたは複数の入力デバイスは、ＡＲ／ＶＲ空間への入力として使用することができる。入力デバイスは、これらに限定されないが、タッチスクリーン、キーボード、１つまたは複数のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイクロフォン、入力機能を備えるイヤホンもしくはイヤバッド、ゲーミングコントローラ、またはその他の接続可能な入力デバイスを含むことができる。コンピューティングデバイスがＡＲ／ＶＲ空間に組み込まれているときにコンピューティングデバイス９５０に含まれた入力デバイスと相互作用するユーザは、ＡＲ／ＶＲ空間において特定のアクションを生じさせることができる。

【0080】

幾つかの実施形態において、コンピューティングデバイス９５０に含まれた１つまたは複数の出力デバイスは、ＡＲ／ＶＲ空間においてＡＲ／ＶＲヘッドセット９９０のユーザに出力および／またはフィードバックを提供することができる。出力およびフィードバックは、視覚的、触覚的、または聴覚的であることができる。出力および／またはフィードバックは、これらに限定されないが、ＡＲ／ＶＲ空間または仮想環境をレンダリングすること、振動、１つまたは複数のライトまたはストロボのオンおよびオフまたは点滅および／またはフラッシング、アラームを鳴らすこと、チャイムを鳴らすこと、歌を再生すること、オーディオファイルの再生を含むことができる。出力デバイスは、これらに限定されないが、振動モータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ）、ストロボ、およびスピーカを含むことができる。

【0081】

幾つかの実施形態において、コンピューティングデバイス９５０は、ＡＲ／ＶＲシステムを生成するためにＡＲ／ＶＲヘッドセット９９０内に配置され得る。ＡＲ／ＶＲヘッドセット９９０は、ＡＲ／ＶＲヘッドセット９９０内の適切な位置におけるスマートフォン９８１などのコンピューティングデバイス９５０の配置を可能にする１つまたは複数の位置決め要素を含むことができる。このような実施形態において、スマートフォン９８１のディスプレイは、ＡＲ／ＶＲ空間または仮想環境を表す立体画像をレンダリングすることができる。

【0082】

幾つかの実施形態において、コンピューティングデバイス９５０は、コンピュータ生成３Ｄ環境における別のオブジェクトとして現れてよい。コンピューティングデバイス９５０とのユーザによる相互作用（例えば、回転、振動、タッチスクリーンに触れる、タッチスクリーンに沿って指をスワイプする）は、ＡＲ／ＶＲ空間におけるオブジェクトとの相互作用として解釈され得る。ただ１つの例として、コンピューティングデバイスはレーザポインタであることができる。このような例において、コンピューティングデバイス９５０は、コンピュータ生成３Ｄ環境において仮想レーザポインタとして現れる。ユーザがコンピューティングデバイス９５０を操作すると、ＡＲ／ＶＲ空間におけるユーザはレーザポインタの動きを見る。ユーザは、コンピューティングデバイス９５０またはＡＲ／ＶＲヘッドセット９９０におけるＡＲ／ＶＲ環境におけるコンピューティングデバイス９５０との相互作用からフィードバックを受信する。

【0083】

幾つかの実施形態において、コンピューティングデバイス９５０は、タッチスクリーンを含んでよい。例えば、ユーザは、タッチスクリーン上で起こることをＡＲ／ＶＲ空間において起こることによって真似ることができる特定の形式においてタッチスクリーンと相互作用することができる。例えば、ユーザは、タッチスクリーン上に表示されたコンテンツをズームするためにピンチング式モーションを使用してよい。タッチスクリーン上でのこのピンチング式モーションは、ＡＲ／ＶＲ空間において提供された情報をズームさせることができる。別の例において、コンピューティングデバイスは、コンピュータ生成３Ｄ環境において仮想書籍としてレンダリングされてよい。ＡＲ／ＶＲ空間において、書籍のページは、ＡＲ／ＶＲ空間において表示され得、タッチスクリーンに沿ったユーザの指のスワイピングが、仮想書籍のページを変える／めくることとして解釈され得る。各ページが変えられる／めくられると、ページコンテンツ変化を見ることに加え、ユーザには、書籍におけるページの変更の音などの音声フィードバックが提供されてよい。

【0084】

幾つかの実施形態において、コンピューティングデバイスに加えて１つまたは複数の入力デバイス（例えば、マウス、キーボード）は、コンピュータ生成３Ｄ環境においてレンダリングされ得る。レンダリングされた入力デバイス（例えば、レンダリングされたマウス、レンダリングされたキーボード）は、ＡＲ／ＶＲ空間におけるオブジェクトを制御するためにＡＲ／ＶＲ空間においてレンダリングされたものとして使用され得る。

【0085】

多数の実施形態が説明されてきた。しかしながら、発明の主旨および範囲から逸脱することなく様々な修正が行われ得ることが理解されるであろう。

【0086】

加えて、図に描かれたロジックフローは、望ましい結果を達成するために、示された特定の順番、または順序を必要としない。加えて、その他のステップが提供されてよいか、またはステップは、説明されたフローから排除されてよく、その他のコンポーネントが、説明されたシステムに加えられるか、または説明されたシステムから除去されてよい。したがって、その他の実施形態は、添付の特許請求の範囲に含まれる。

【0087】

上記の説明に対してさらに、ユーザには、ユーザが、本明細書に説明されたシステム、プログラム、デバイス、ネットワーク、または特徴が、ユーザ情報（例えば、ユーザの社会的ネットワーク、社会的行為、もしくは活動、職業、ユーザの好み、またはユーザの現在位置）の収集を可能にし得るかどうかおよびいつ可能にし得るか、ならびに、ユーザがサーバからコンテンツまたは通信を送られるかどうかに関する選択を行うことを可能にする制御が提供される。加えて、あるデータは、ユーザ情報が除去されるように、記憶または使用される前に１つまたは複数の方法で処理されてよい。例えば、ユーザのアイデンティティは、ユーザ情報がユーザのために決定され得ないように、またはユーザの地理的位置が、位置情報が取得されるところで一般化され（都市、郵便番号、または州レベルに）、これにより、ユーザの特定の位置を決定することができないように処理されてよい。したがって、ユーザは、どの情報がユーザについて収集されるか、その情報がどのように使用されるか、およびどの情報がユーザに提供されるかについてコントロールを有してよい。

【0088】

コンピュータシステム（例えば、コンピューティングデバイス）は、ネットワーク上での通信のために適合された無線周波数（ＲＦ）、マイクロ波周波数（ＭＷＦ）、および／または赤外周波数（ＩＲＦ）無線通信技術およびプロトコルを含むあらゆる公知の無線通信技術およびプロトコルを使用して、ネットワークサーバと確立された通信リンクを介してネットワーク上でネットワークサーバと無線で通信するように構成されてよい。

【0089】

開示の態様によれば、本明細書に説明された様々な技術の実装は、デジタル電子回路において、またはコンピュータハードウェア、ファームウェア、ソフトウェアにおいて、またはそれらの組合せにおいて実装されてよい。実装は、データ処理装置（例えば、プログラマブルプロセッサ、コンピュータ、または複数のコンピュータ）による処理のために、またはその動作を制御するために、コンピュータプログラム製品（例えば、情報キャリアにおいて有形的に具体化されたコンピュータプログラム、機械可読ストレージデバイス、コンピュータ可読媒体、有形コンピュータ可読媒体）として実装されてよい。幾つかの実装において、有形コンピュータ可読ストレージ媒体は、実行されるとプロセッサにプロセスを実行させる命令を記憶するように構成されてよい。上記で説明されているコンピュータプログラムなどのコンピュータプログラムは、コンパイラ型言語またはインタープリタ型言語を含むあらゆる形態のプログラミング言語において書かれてよく、スタンドアロンプログラムとしてまたはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境における使用に適したその他のユニットとしてを含む、あらゆる形態で展開されてよい。コンピュータプログラムは、１つのサイトにおいて１つのコンピュータ上もしくは複数のコンピュータ上で処理されるようにまたは複数のサイトを横断して分散させられかつ通信ネットワークによって相互接続されるように展開されてよい。

【0090】

本明細書に開示された特定の構造的および機能的詳細は、単に、例示的な実施形態を説明するための代表的なものである。しかしながら、例示的な実施形態は、多くの代替的な形態で具体化されてよく、本明細書に示された実施形態のみに限定されるものと解釈されるべきではない。

【0091】

本明細書において使用されている用語は、特定の実施形態のみを説明するためのものであり、実施形態の限定であることは意図されていない。本明細書において使用されているように、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明らかにそうでないことを示さない限り、複数形も含むことが意図されている。「ｃｏｍｐｒｉｓｅｓ」、「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｅｓ」および／または「ｉｎｃｌｕｄｉｎｇ」という用語は、本明細書において使用されているとき、述べられた特徴、ステップ、オペレーション、要素、および／またはコンポーネントの存在を明示しているが、１つまたは複数のその他の特徴、ステップ、オペレーション、要素、コンポーネント、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されるであろう。

【0092】

要素が別の要素にまたは別の要素に「結合されている」、「接続されている」、または別の要素に「応答する」、または別の要素の「上にある」ものとして言及されているとき、要素は、他方の要素に直接に結合されている、接続されている、または応答する、または他方の要素上にあることができ、または介在する要素が存在してもよいことが理解されるであろう。対照的に、要素が別の要素に「直接結合されている」、「直接接続されている」、「直接応答する」、または別の要素「上に直接ある」ものとして言及されているとき、介在する要素は存在しない。本明細書において使用されているように、「および／または」という用語は、関連する列挙されたアイテムのうちの１つまたは複数のあらゆるおよび全ての組合せを含む。

【0093】

「の下に（ｂｅｎｅａｔｈ）」、「の下方に(ｂｅｌｏｗ)」、「より低い(ｌｏｗｅｒ)」、「の上方に(ａｂｏｖｅ)」、「の上側(ｕｐｐｅｒ)」等の空間的に相対的な用語は、図面に示されているように別の要素または特徴に対する関係において１つの要素または特徴を説明するために、説明を容易にするために本明細書において使用されている場合がある。空間的に相対的な用語は、図面に描かれた向きに加えて、使用または操作時のデバイスの異なる向きを包含することが意図されていることが理解されるであろう。例えば、図面におけるデバイスが反転させられると、他の要素または特徴の「の下方に」または「の下に」として説明された要素は、今度は、他方の要素または特徴の「の上方に」に向けられる。したがって、「の下方に」という用語は、上方および下方の向きの両方を含むことができる。デバイスは、その他の向きであってもよく（７０度回転させられているか、またはその他の向きにある）、本明細書において使用される空間的に相対的な記述子は、それに応じて解釈されてよい。

【0094】

概念の例示的な実施形態は、例示的な実施形態の理想化された実施形態（および中間構造）の概略的な例示である断面図に関して本明細書において説明されている。このように、例えば、製造技術および／または公差の結果として例示の形状からの変化が予想される。したがって、説明されている概念の例示的な実施形態は、本明細書に例示されている領域の特定の形状に限定されるものと解釈されるべきではなく、例えば製造から生じる形状の逸脱を含む。したがって、図に例示された領域は、本質的に概略的であり、それらの形状は、デバイスの領域の実際の形状を例示することは意図されておらず、例示的な実施形態の範囲を限定することは意図されていない。

【0095】

「第１の」、「第２の」などの用語が、様々な要素を説明するために本明細書において使用される場合があるが、これらの要素は、これらの用語によって限定されるべきでないことが理解されるであろう。これらの用語は、１つの要素を別の要素から区別するために使用されているだけである。したがって、「第１の」要素は、この実施形態の教示から逸脱することなく、「第２の」要素と呼ぶことができる。

【0096】

別段の定めがない限り、本明細書において使用されている用語（技術用語および科学用語を含む）は、これらの概念が属する分野の当業者によって一般的に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されたものなどの用語は、関連技術および／または本明細書の文脈におけるそれらの意味と一貫する意味を有するものとして解釈されるべきであり、本明細書において明示的にそのように定められていない限り、理想化されたまたは過剰に形式的な意味で解釈されないことがさらに理解されるであろう。

【0097】

説明されている実装のある特徴は、本明細書に説明されているように例示されているが、多くの修正、代用、変更、および均等物が今や当業者に想起されるであろう。したがって、添付の特許請求の範囲は、実装の範囲内に該当するものとしてこのような修正および変更をカバーすることが意図されていると理解されるべきである。それらは限定ではなく例としてのみ提供されており、形態および詳細における様々な変更がなされてよいことが理解されるべきである。本明細書に説明されている装置および／または方法のあらゆる部分は、相互排他的な組合せを除いて、あらゆる組合せにおいて組み合わされてよい。本明細書に説明された実装は、説明されている異なる実装の機能、構成要素および／もしくは特徴の様々な組合せならびに／またはサブコンビネーションを含むことができる。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-01-31

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピューティングデバイス上で実行されるアプリケーションによって、コンピューティングデバイスによってキャプチャされた画像からユーザによって着用されたフィッティングフレーム上の少なくとも１つの特徴を検出することと、
前記画像において検出された前記フィッティングフレームに関連した構成情報にアクセスすることと、
前記フィッティングフレームに関連した前記少なくとも１つの特徴および前記構成情報の前記検出に基づいて前記画像においてキャプチャされた前記フィッティングフレームの三次元ポーズを決定することと、
前記画像においてキャプチャされた前記フィッティングフレームの前記三次元ポーズに基づいてウェアラブルコンピューティングデバイスのディスプレイデバイスの構成を決定することと、
を含む方法。

【請求項2】

前記少なくとも１つの特徴を検出することは、
前記フィッティングフレームのブリッジ部分、
前記フィッティングフレームの縁部分とアーム部分との間のヒンジ箇所、
前記フィッティングフレームのレンズの周縁部分、または
前記フィッティングフレームの前記アーム部分のサドル部分、
のうちの少なくとも１つを検出することを含む、請求項１に記載の方法。

【請求項3】

前記フィッティングフレームの前記三次元ポーズを決定することは、
前記画像においてキャプチャされた前記フィッティングフレームの三次元モデルにアクセスすることと、
前記画像において検出された前記少なくとも１つの特徴の既知の位置および既知の向きを前記フィッティングフレームの前記三次元モデルにおける前記少なくとも１つの特徴の対応する位置および対応する向きと比較することを含む、比較を実行することと、
を含む、請求項１または請求項２に記載の方法。

【請求項4】

少なくとも１つの特徴を検出することは、前記コンピューティングデバイスによってキャプチャされた前記画像における前記フィッティングフレーム上の複数の特徴を検出することを含み、
前記比較を実行することは、前記複数の特徴の各々のために、前記画像において検出された前記特徴の既知の位置および既知の向きを前記フィッティングフレームの前記三次元モデルにおける前記特徴の対応する位置および対応する向きと比較することを含む、
請求項３に記載の方法。

【請求項5】

前記フィッティングフレームの前記三次元ポーズを決定することは、前記画像において検出された各特徴の二次元位置と、前記フィッティングフレームの前記三次元モデルにおけるそれぞれの前記特徴の対応する三次元位置との対応付けを実行することを含む、請求項４に記載の方法。

【請求項6】

前記キャプチャされた画像における複数の顔ランドマークを検出することと、
検出された前記複数の顔ランドマークに基づいて前記ウェアラブルコンピューティングデバイスのための眼科フィット測定値を決定することと、
をさらに含む、請求項１に記載の方法。

【請求項7】

前記複数の顔ランドマークを検出することは、
前記ユーザによって着用された前記フィッティングフレームの前記画像における瞳孔高さを検出することと、
前記ユーザによって着用された前記フィッティングフレームの前記画像における瞳孔間距離または単眼瞳孔距離のうちの少なくとも一方を検出することと、
前記フィッティングフレームの前記決定された三次元ポーズおよび前記検出された複数の顔ランドマークに基づいて前記ユーザによって着用された前記フィッティングフレームの前傾角を決定することと、
を含む、請求項６に記載の方法。

【請求項8】

前記画像においてキャプチャされた前記フィッティングフレームの前記三次元ポーズに基づいて前記ウェアラブルコンピューティングデバイスの前記ディスプレイデバイスの前記構成を決定することは、前記眼科フィット測定値に対応するように前記ウェアラブルコンピューティングデバイスの前記ディスプレイデバイスの構成を適応させることを含む、請求項６または請求項７に記載の方法。

【請求項9】

前記ウェアラブルコンピューティングデバイスの前記ディスプレイデバイスの前記構成を決定することは、
前記眼科フィット測定値および前記フィッティングフレームの前記三次元ポーズに基づいてユーザ視野を決定することと、
前記ディスプレイデバイスによって出力されたコンテンツが決定された前記ユーザ視野内に表示されるように前記ディスプレイデバイスの出力カプラを構成することと、
を含む、請求項８に記載の方法。

【請求項10】

前記フィッティングフレームに関連した前記構成情報にアクセスすることは、前記フィッティングフレームの三次元モデルにアクセスすることを含む、請求項１に記載の方法。

【請求項11】

前記フィッティングフレームの前記三次元モデルは、前記フィッティングフレームに関連した既知の線形測定値、既知の角度測定値、または既知の輪郭のうちの少なくとも１つを含む、請求項１０に記載の方法。

【請求項12】

前記フィッティングフレームの前記三次元ポーズを決定することは、
前記フィッティングフレームの前記三次元モデルにおける対応する少なくとも１つの特徴を検出することと、
前記画像において検出された前記少なくとも１つの特徴と前記フィッティングフレームの前記三次元モデルにおいて検出された前記対応する少なくとも１つの特徴との比較に基づいて前記フィッティングフレームの前記三次元ポーズを検出することと、
を含む、請求項１０または請求項１１に記載の方法。

【請求項13】

少なくとも１つのプロセッサによって実行されると前記少なくとも１つのプロセッサに、
ユーザによって着用されたフィッティングフレームの画像をキャプチャさせ、
キャプチャされた前記画像から前記フィッティングフレーム上の少なくとも１つの特徴を検出させ、
前記フィッティングフレームに関連した構成情報にアクセスさせ、
前記フィッティングフレームに関連した前記少なくとも１つの特徴および前記構成情報の検出に基づいて前記画像においてキャプチャされた前記フィッティングフレームの三次元ポーズを決定させ、
前記画像においてキャプチャされた前記フィッティングフレームの前記三次元ポーズに基づいてウェアラブルコンピューティングデバイスのディスプレイデバイスの構成を決定させる、
ように構成された実行可能な命令を含む、プログラム。

【請求項14】

前記命令は、前記少なくとも１つのプロセッサに前記キャプチャされた画像における前記フィッティングフレーム上の前記少なくとも１つの特徴を検出させ、前記少なくとも１つの特徴を検出することは、
前記フィッティングフレームのブリッジ部分を含む第１の特徴を検出すること、
前記フィッティングフレームの縁部分とアーム部分との間のヒンジ部分を含む第２の特徴を検出すること、
前記フィッティングフレームのレンズの周縁部分を含む第３の特徴を検出すること、または
前記フィッティングフレームの前記アーム部分のサドル部分を含む第４の特徴を検出すること、
のうちの少なくとも１つを含む、請求項１３に記載のプログラム。

【請求項15】

前記命令は、前記少なくとも１つのプロセッサに前記フィッティングフレームの前記三次元ポーズを決定させ、前記フィッティングフレームの前記三次元ポーズを決定することは、
前記画像においてキャプチャされた前記フィッティングフレームの三次元モデルにアクセスすること、および
前記画像において検出された前記少なくとも１つの特徴の既知の位置および既知の向きと、前記フィッティングフレームの前記三次元モデルにおける前記少なくとも１つの特徴の対応する位置および対応する向きとの比較を実行すること、
を含む、請求項１３または請求項１４に記載のプログラム。

【請求項16】

前記命令は、前記少なくとも１つのプロセッサに複数の特徴を検出させかつ前記比較を実行させ、前記比較を実行することは、前記複数の特徴の各々のために、
前記画像において検出された前記特徴の既知の位置および既知の向きを、前記フィッティングフレームの前記三次元モデルにおける前記特徴の対応する位置および対応する向きと比較すること
を含む、請求項１５に記載のプログラム。

【請求項17】

前記命令は、前記少なくとも１つのプロセッサに前記三次元ポーズを決定させ、前記三次元ポーズを決定することは、
前記画像において検出された各特徴の二次元位置と、前記フィッティングフレームの前記三次元モデルにおけるそれぞれの前記特徴の対応する三次元位置との対応付けを実行すること
を含む、請求項１６に記載のプログラム。

【請求項18】

前記命令はまた、前記少なくとも１つのプロセッサに、
前記キャプチャされた画像における複数の顔ランドマークを検出させ、
前記検出された複数の顔ランドマークに基づいて前記ウェアラブルコンピューティングデバイスのための眼科フィット測定値を決定させる、
請求項１３に記載のプログラム。

【請求項19】

前記命令は、前記少なくとも１つのプロセッサに前記複数の顔ランドマークを検出させ、前記複数の顔ランドマークを検出することは、
前記ユーザによって着用された前記フィッティングフレームの前記画像における瞳孔高さを検出すること、
前記ユーザによって着用された前記フィッティングフレームの前記画像における瞳孔間距離または単眼瞳孔距離のうちの少なくとも一方を検出すること、ならびに
前記フィッティングフレームの前記決定された三次元ポーズおよび前記検出された複数の顔ランドマークに基づいて前記ユーザによって着用された前記フィッティングフレームの前傾角を決定すること、
を含む、請求項１８に記載のプログラム。

【請求項20】

前記命令は、前記少なくとも１つのプロセッサに、前記眼科フィット測定値に対応するように前記ウェアラブルコンピューティングデバイスの前記ディスプレイデバイスの前記構成を適応させ、前記構成を適応することは、
前記眼科フィット測定値および前記フィッティングフレームの前記三次元ポーズに基づいてユーザ視野を決定すること、および
前記ディスプレイデバイスによって出力されたコンテンツが前記決定された視野内に表示されるように前記ディスプレイデバイスの出力カプラを構成すること、
を含む、請求項１８または請求項１９に記載のプログラム。

【国際調査報告】