特表 2024-531840 対象のデジタル測定のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-30

(54)【発明の名称】対象のデジタル測定のためのシステム及び方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20240823BHJP

   G06T 7/60 20170101ALI20240823BHJP

   G06T 7/00 20170101ALI20240823BHJP

   G06T 7/70 20170101ALI20240823BHJP

   A61B 5/107 20060101ALN20240823BHJP

【ＦＩ】

G01C3/06 120S

G06T7/60 180B

G06T7/00 U

G06T7/70 Z

G06T7/00 660A

A61B5/107

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023577197

(86)(22)【出願日】2022-06-10

(85)【翻訳文提出日】2024-02-09

(86)【国際出願番号】 US2022033089

(87)【国際公開番号】W WO2022261489

(87)【国際公開日】2022-12-15

(31)【優先権主張番号】63/209,219

(32)【優先日】2021-06-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/350,369

(32)【優先日】2022-06-08

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】515187537

【氏名又は名称】アイズマッチ エルティーディー．

【氏名又は名称原語表記】ＥＹＥＳＭＡＴＣＨ ＬＴＤ．

(74)【代理人】

【識別番号】100121728

【弁理士】

【氏名又は名称】井関 勝守

(74)【代理人】

【識別番号】100165803

【弁理士】

【氏名又は名称】金子 修平

(74)【代理人】

【識別番号】100179648

【弁理士】

【氏名又は名称】田中 咲江

(74)【代理人】

【識別番号】100222885

【弁理士】

【氏名又は名称】早川 康

(74)【代理人】

【識別番号】100140338

【弁理士】

【氏名又は名称】竹内 直樹

(74)【代理人】

【識別番号】100227695

【弁理士】

【氏名又は名称】有川 智章

(74)【代理人】

【識別番号】100170896

【弁理士】

【氏名又は名称】寺薗 健一

(74)【代理人】

【識別番号】100219313

【弁理士】

【氏名又は名称】米口 麻子

(74)【代理人】

【識別番号】100161610

【弁理士】

【氏名又は名称】藤野 香子

(72)【発明者】

【氏名】サバン，オファー

【テーマコード（参考）】

2F112

4C038

5L096

【Ｆターム（参考）】

2F112AD10

2F112CA12

2F112FA03

2F112FA39

2F112FA41

2F112FA45

4C038VA04

4C038VB02

4C038VB04

4C038VB14

4C038VC05

5L096AA02

5L096AA06

5L096AA09

5L096AA11

5L096BA08

5L096CA02

5L096DA01

5L096DA04

5L096EA13

5L096EA14

5L096FA02

5L096FA04

5L096FA32

5L096FA54

5L096FA62

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096GA51

5L096JA01

5L096JA11

5L096JA16

(57)【要約】

カメラまでの第一の距離でユーザの第一のビデオストリームを取得し、第一のビデオストリーム内に現れる要素を使用して、第一のビデオストリーム内のピクセル距離を実世界における実際の物理的距離に変換するための変換係数を生成し、変換係数を使用して、第一のビデオストリーム内の第一のデジタル測定値を取得し、第一の距離より大きい第二の距離で第二のビデオストリームを取得し、第一のデジタル測定値と、第二のビデオストリーム内に現れるアイテムまでの角度測定値とを使用して、第二の距離の測定値を特定することにより、デジタル測定を行う方法。
【選択図】図１０

【特許請求の範囲】

【請求項1】

デジタル測定を行う方法であって、
カメラまでの第一の距離でユーザの第一のビデオストリームを取得するステップと、
前記第一のビデオストリーム内に現れる要素を使用して、前記第一のビデオストリーム内のピクセル距離を実世界における実際の物理的距離に変換するための変換係数を生成するステップと、
前記変換係数を使用して、前記第一のビデオストリーム内の第一のデジタル測定値を取得するステップと、
前記第一の距離より大きい第二の距離で第二のビデオストリームを取得するステップと、
前記第一のデジタル測定値と、前記第二のビデオストリーム内に現れるアイテムまでの角度測定値とを使用して、前記第二の距離の測定値を特定するステップと
を含む方法。

【請求項2】

前記要素は、前記ユーザの虹彩を含み、及び前記変換係数は、前記虹彩のピクセル測定値と、人の虹彩の物理的な平均直径との比を使用して特定される、請求項１に記載の方法。

【請求項3】

前記虹彩の前記測定値は、右の前記虹彩及び左の前記虹彩に関する複数の虹彩直径を測定し、且つ前記複数の虹彩直径の平均を取ることによって取得される、請求項２に記載の方法。

【請求項4】

前記第一のデジタル測定値は、前記ユーザの瞳孔間距離を含む、請求項１に記載の方法。

【請求項5】

メモリから仮想の物品を取り出すステップと、
前記物品の大きさを、前記特定された第二の距離を使用してスケーリングするステップと、
前記物品を前記第二の距離における前記ユーザの画像上に重ねるステップと
をさらに含む、請求項１に記載の方法。

【請求項6】

前記第二のビデオストリーム内に現れる前記アイテムは、前記ユーザの足を含む、請求項１に記載の方法。

【請求項7】

前記角度測定値は、前記足、頭又は前記足及び頭の両方に属するピクセルの垂直位置を含む、請求項６に記載の方法。

【請求項8】

前記第二の距離より大きい第三の距離で前記ユーザの第三のビデオを取得するステップと、第二の角度測定値を使用して前記第三の距離を特定するステップとをさらに含む、請求項７に記載の方法。

【請求項9】

メモリから仮想の物品を取り出すステップと、
前記物品の大きさを、前記特定された第三の距離を使用してスケーリングするステップと、
前記物品を前記第三の距離における前記ユーザの画像上に重ねるステップと
をさらに含む、請求項８に記載の方法。

【請求項10】

前記特定された第三の距離と、前記第一のデジタル測定値とを使用して、前記ユーザ上のターゲットの第二のデジタル測定値を特定するステップをさらに含む、請求項７に記載の方法。

【請求項11】

前記ターゲットは、前記ユーザの身体部分を含む、請求項１０に記載の方法。

【請求項12】

前記第一のデジタル測定値を取得する前に、
前記ユーザのアバターを形成するステップ、
前記アバターを、前記ユーザの身体の向きに対応する向きでスクリーン上に投影するステップ、
前記ユーザの身体の向きの変化をモニタし、且つ対応する変化を前記アバターの前記向きに付与するステップ、
前記アバターが許容可能な向きにあると特定されるとき、前記第一のデジタル測定値を取得するステップ
をさらに含む、請求項１に記載の方法。

【請求項13】

グラフィカルターゲットを前記スクリーン上に投影するステップと、前記アバターが前記グラフィカルターゲットと整列されるとき、前記アバターが許容可能な向きにあると特定するステップとをさらに含む、請求項１２に記載の方法。

【請求項14】

前記アバターは、３次元であり、及び前記向きは、並進、回転、仰角及び距離を含む、請求項１２に記載の方法。

【請求項15】

前記第一のデジタル測定値の測定点を示すグラフィカルオーバレイをデジタルスクリーン上に投影するステップと、前記ユーザが前記デジタルスクリーンの上で前記グラフィカルオーバレイを移動させて、前記第一のデジタル測定値を変更することを可能にするユーザインタフェースをさらに投影するステップとをさらに含む、請求項１に記載の方法。

【請求項16】

前記ユーザインタフェースが、前記グラフィカルオーバレイを移動させるために操作されたときには常に、前記変換係数を使用して前記第一のデジタル測定値を再計算するステップをさらに含む、請求項１５に記載の方法。

【請求項17】

ミラーの投影を模倣する画像をビデオスクリーン上に生成するために、前記第一のビデオストリームを変換して、ミラーリングされたビデオストリームを生成するステップをさらに含む、請求項１に記載の方法。

【請求項18】

デジタル測定を行う方法であって、
ユーザの画像を含むビデオストリームを取得するステップ、
前記ビデオストリーム内に現れる要素を使用して、前記ビデオストリーム内のピクセル距離を実世界における実際の物理的距離に変換するための変換係数を生成するステップ、
前記ビデオストリーム内に現れる前記ユーザの前記画像を使用して、前記ユーザのアバターを生成するステップ、
前記アバターを、前記ユーザの向きに対応する向きでモニタスクリーン上に投影するステップ、
前記ビデオストリーム内の前記ユーザの前記向きを継続的にモニタし、且つ前記モニタスクリーン上の前記アバターの前記向きを、前記ユーザの前記向きの変化に対応するように調整するステップ、
前記アバターの前記向きが必要な向きに到達するとき、前記ビデオスクリーン上の事前に指定されたアイテムの測定を行うステップ
を含む方法。

【請求項19】

前記要素は、前記ユーザの虹彩を含む、請求項１８に記載の方法。

【請求項20】

グラフィカルターゲットを前記モニタスクリーン上に投影するステップと、前記アバターが前記グラフィカルターゲットと整列されるとき、前記アバターが前記必要な向きに到達したと特定するステップとをさらに含む、請求項１８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２１年６月１０日に出願された米国仮特許出願第６３／２０９，２１９号明細書及び２０２２年６月８日に出願された米国仮特許出願第６３／３５０，３６９号明細書の優先権の利益及びそれらに対する優先権を主張するものであり、これらの両方の開示全体が参照により本明細書に援用される。

【0002】

本開示は、デジタルミラーに関し、より詳細には、ミラーに映るユーザの仮想測定又は宝石、アクセサリ等の仮想物品の改善されたサイズ決定から利益を受ける任意の他の仮想試着のために特に構成されるデジタルミラーに関する。

【背景技術】

【0003】

従来のミラー（すなわち反射表面）は、個人が実際の自らの外観を細かくチェックするための一般的で最も信頼できるツールである。幾つかの代替的手段は、従来のミラーの代わりにカメラとスクリーンとを組み合わせることを中心に提案されている。しかしながら、これらの技術は、納得できるものではなく、ユーザが自らを従来のミラーで見ているかのような個人の信頼できる画像として依然として受け入れられていない。これは、主に、カメラによって生成される画像が、ミラーによって生成される画像と大きく異なるためである。

【0004】

本出願人らは、他のセンサを用いるか又は用いない１つ又は複数のカメラによって作成された静止画又は２Ｄ若しくは３Ｄビデオをミラー又はビデオ会議の体験に変換し、転換するための新規な技術を以前に開示している。本出願人らの実施形態の例は、例えば、米国特許第７，９４８，４８１号明細書及び同第８，９８２，１０９号明細書に記載されている。その中で開示された実施形態は、ミラーの任意の一般的な使用のために実装され得る。本出願人は、その後、ミラーを特定のニーズ、例えば衣料品店に適応させることに関する開示をさらに行った。本出願人らの実施形態の例は、例えば、米国特許第８，９７６，１６０号明細書及び同第８，９８２，１１０号明細書に記載されている。本出願人の製品であるＭｅｍｏｒｙ Ｍｉｒｒｏｒ（登録商標）は、Ｍｅｍｏｍｉ Ｌａｂｓから市販されているものであり、多くの賞を受賞し、世界中のメディアで広く取り上げられており、これらは、簡単なＧｏｏｇｌｅ検索で見つけることができる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

以前の開示において、本出願人らは、例えば、体重測定等の測定を行うための方法及びシステムも提供した。このような測定は、ファッション業界に関する応用、例えば衣料品の仮想ショッピング及び現実又は仮想試着（ＶＴＯ）で有利であり得る。加えて、本出願人は、ＶＴＯ及び他の用途のためにデジタルミラーの画像に仮想アイテムが追加される拡張現実の応用を以前に開示している。このような応用の中には、眼鏡を仮想ショッピングするためにフレームを試着できることがある。しかしながら、実際に眼鏡を注文するには、その眼鏡を適正に製作するために必要な様々な測定値が分かっている必要がある。このような測定値の例は、ＰＤ（瞳孔間距離 － ２つの瞳孔の中心間の水平方向距離）、ＯＣ高さ（光学中心高さ － 瞳孔の中心からレンズ又はフレームのリムの最下点までの垂直方向距離）及びＳＨ（小玉高さ － フレームに入れられたレンズの底部から累進レンズの累進加入度の開始までのミリメートル単位の垂直方向の測定値）を含む。ルーラを眼の上に保持して、ミラーの正面に立つことなどによる自己測定を可能にするための試みがなされてきた。しかしながら、改良された測定の自動化方法は、特にデジタルミラーを使用してフレームを購入する際、このような測定の効率及び正確度を向上させ得る。

【課題を解決するための手段】

【0006】

本開示の以下の概要は、本発明の幾つかの態様及び特徴の基本的な理解を得るために含まれる。この概要は、本発明の広範な概観ではなく、そのため、本発明にとって重要若しくは重大な要素を特に特定すること又は本発明の範囲を定義することを意図されない。その唯一の目的は、下記のより詳細な説明の序章として、本発明の幾つかの概念を簡略化した形態で提示することである。

【0007】

開示される実施形態は、眼鏡士がアイウェアをフィットさせるために必要な仮想顔面測定値を自動的に取得するためのモジュールを含む。実施形態は、ユーザが様々な眼鏡フレームを試着できるようにする拡張現実モジュールを含み得る。実施形態は、ユーザの特徴、例えばＰＤ及びＯＣを測定して、選択されたフレームにレンズを適正にフィットさせることができるようにするモジュールも含む。このモジュールは、グラフィックスによるフィードバックをユーザに直ちに提供して、ユーザが測定のために自らの頭を正しく位置付けることができるようにし、そのため、測定の正確度が向上する。

【0008】

任意選択により、変換モジュールが含まれ、これは、カメラから受け取られたビデオストリームを変換して、変換されたストリームを生成し、それにより、モニタスクリーンに投影されると、画像は、鏡像のように見えるようになる。スクリーンの上方に取り付けられたカメラを有する機器で経験され得るように（例えば、ラップトップを用いたビデオ会議）、生成される画像は、ユーザがカメラより遠くを見ているように見えるため、主観的ではない。これは、実際に当てはまり、なぜなら、ユーザは、スクリーンを直接見ているが、カメラは、スクリーンの上方に位置付けられているためである。したがって、変換モジュールは、各フレーム（すなわち各画像）を、それがあたかもスクリーンの背後に位置付けられたカメラで撮影されたかのように見えるように変換し、すなわち、画像は、ユーザがスクリーンの背後に位置付けられたカメラを直接見ているかのように見えるが、画像は、スクリーンの上方又は脇に位置付けられたカメラによって撮影され、その間、ユーザは、カメラを見ているのではなく、スクリーンを見ている。

【0009】

開示される態様によれば、眼鏡士がアイウェアをフィットさせるために必要な仮想顔面測定値を生成するためのシステムが提供される。このシステムは、カメラと、モニタスクリーンと、プロセッサとを含み、プロセッサは、グラフィカルターゲットをモニタスクリーン上に投影するステップと、カメラからビデオフレーム受け取り、ユーザの頭がビデオフレーム内に現れることを識別するステップと、ユーザの頭の測定点を使用して、ユーザの頭とマッチする仮想３Ｄ回転楕円体を生成するステップと、仮想回転楕円体のグラフィカル表現をモニタスクリーン上に投影するステップと、他のビデオフレームを受け取って、グラフィカル表現を測定点における変化と相関させて調整するステップを、グラフィカル表現がグラフィカルターゲットと整合するまで繰り返すステップと、グラフィカル表現がグラフィカルターゲットと整合したことが特定されると、瞳孔中心間の距離を測定するステップとを実行するように事前にプログラムされる。プロセッサは、眼鏡フレームをモニタスクリーンに仮想的に投影して、ユーザがその眼鏡をかけることを模倣するステップと、各瞳孔の中心とフレームの最下部との間の垂直方向距離を測定するステップとを実行することもできる。

【0010】

開示される態様によれば、ユーザの画像を含むビデオストリームを取得するステップ、ビデオストリーム内に現れる要素を使用して、ビデオストリーム内のピクセル距離を実世界における実際の物理的距離に変換するための変換係数を生成するステップ、ビデオストリーム内に現れるユーザの画像を使用して、ユーザのアバターを生成するステップ、アバターを、ユーザの向きに対応する向きでモニタスクリーン上に投影するステップ、ビデオストリーム内のユーザの向きを継続的にモニタし、且つモニタスクリーン上のアバターの向きを、ユーザの向きの変化に対応するように調整するステップ、アバターの向きが必要な向きに到達するとき、ビデオスクリーン上の事前に指定されたアイテムの測定を行うステップを含む方法が開示される。要素は、ユーザの虹彩であり得る。この方法はまた、グラフィカルターゲットをモニタスクリーン上に投影するステップと、アバターがグラフィカルターゲットと整列されるとき、アバターが必要な向きに到達したと特定するステップとをさらに含む。

【0011】

本発明の態様は、デジタル測定を行う方法を含み、これは、カメラまでの第一の距離でユーザの第一のビデオストリームを取得するステップ、第一のビデオストリーム内に現れる要素を使用して、第一のビデオストリーム内のピクセル距離を実世界における実際の物理的距離に変換するための変換係数を生成するステップ、変換係数を使用して、第一のビデオストリーム内の第一のデジタル測定値を取得するステップ、第一の距離より大きい第二の距離で第二のビデオストリームを取得するステップ、第一のデジタル測定値と、第二のビデオストリーム内に現れるアイテムまでの角度測定値とを使用して、第二の距離の測定値を特定するステップを含む。要素は、ユーザの虹彩を含み得、及び変換係数は、虹彩の測定値を使用して特定され得る。虹彩の測定値は、虹彩に仮想円をフィットさせ、虹彩の測定値として仮想円の直径を使用することによって取得され得る。第一のデジタル測定値は、ユーザの瞳孔間距離を含み得る。

【0012】

方法は、メモリから仮想物品を取り出すステップと、物品の大きさを、特定された第二の距離を使用してスケーリングするステップと、物品を第二の距離におけるユーザの画像上に重ねるステップとをさらに含み得る。第二のビデオストリーム内に現れるアイテムは、ユーザの足を含み得、及び角度測定値は、足に属するピクセルの垂直位置を含み得る。方法は、第二の距離より大きい第三の距離でユーザの第三のビデオを取得するステップと、第二の角度測定値を使用して第三の距離を特定するステップとをさらに含み得る。方法は、メモリから仮想物品を取り出すステップと、物品の大きさを、特定された第三の距離を使用してスケーリングするステップと、物品を第三の距離におけるユーザの画像上に重ねるステップとをさらに含み得る。

【0013】

方法は、特定された第三の距離と、第一のデジタル測定値とを使用して、ユーザ上のターゲットの第二のデジタル測定値を特定するステップをさらに含み得る。ターゲットは、ユーザの身体部分を含み得る。方法は、第一のデジタル測定値を取得する前に、ユーザのアバターを形成するステップ、アバターを、ユーザの身体の向きに対応する向きでスクリーン上に投影するステップ、ユーザの身体の向きの変化をモニタし、且つ対応する変化をアバターの向きに付与するステップ、アバターが許容可能な向きにあると特定されるとき、第一のデジタル測定値を取得するステップをさらに含み得る。

【0014】

方法は、グラフィカルターゲットをスクリーン上に投影するステップと、アバターがグラフィカルターゲットと整列されるとき、アバターが許容可能な向きにあると特定するステップとをさらに含み得る。アバターは、３次元であり得、及び向きは、並進、回転、仰角及び距離を含む。方法は、第一のデジタル測定値の測定点を示すグラフィカルオーバレイをデジタルスクリーン上に投影するステップと、ユーザがデジタルスクリーンの上でグラフィカルオーバレイを移動させて、第一のデジタル測定値を変更することを可能にするユーザインタフェースをさらに投影するステップとをさらに含み得る。方法は、ユーザインタフェースが、グラフィカルオーバレイを移動させるために操作されたときには常に、変換係数を使用して第一のデジタル測定値を再計算するステップをさらに含み得る。方法は、ミラーの投影を模倣する画像をビデオスクリーン上に生成するために、第一のビデオストリームを変換して、ミラーリングされたビデオストリームを生成するステップをさらに含み得る。

【0015】

別の態様は、身体測定のためのシステムを含み、これは、デジタルスクリーンと、ユーザのビデオストリームを生成するように位置付けられたビデオグラバーと、ビデオストリームのフレーム内のピクセル長さを、ビデオストリームのフレーム内に現れるオブジェクトの実際の長さと相関させる長さ毎ピクセル係数を生成する較正モジュールと、デジタルスクリーン上に投影されたビデオストリームのフレームに重ねられたグラフィカルターゲットを投影する整合モジュールであって、ビデオストリームのフレーム内に現れるユーザのアバターを生成することと、アバターを、デジタルスクリーン上に投影されたビデオストリームのフレーム上に重ねることとをさらに行う整合モジュールと、キャブレーションモジュールから受け取られた長さ毎ピクセル係数を利用して、アバターが整合モジュールからのグラフィカルターゲットと整合されたという表示を利用してユーザの身体測定値を計算する計算モジュールとを含む。

【0016】

ある態様では、デジタル画像の較正係数は、ユーザの顔面を含むデジタル画像を取得すると、左虹彩の少なくとも部分的円周及び右眼の部分的円周を識別し、左虹彩の部分的円周を使用して、ピクセル数で表される複数の直径測定値の第一のセットを取得し、複数の直径測定値の第一のセットから第一の平均直径を取得し、右虹彩の部分絵的円周を使用して、ピクセル数で表される複数の直径測定値の第二のセットを取得し、複数の直径測定値の第二のセットから第二の平均直径を取得し、第一の平均直径と第二の平均直径との差を計算し、差を許容閾値と比較することによって測定値の有効性を確認し、第一の平均直径及び第二の平均直径から全体の直径を計算し、ピクセル数で表される全径と、ミリメートルで表される人の平均虹彩大きさとの差を取ることによって較正係数を計算することによって取得される。

【0017】

ある態様では、較正長さは、第一の較正係数を使用して、デジタル画像内の２つのランドマークターゲットを識別し、２つのランドマーク間のピクセル数での距離を測定し、第一の較正係数を使用してピクセル数での距離をミリメートルでの距離に変換し、ミリメートルでの距離及び較正長さを設定することによって得られる。実施形態では、較正長さは、瞳孔間距離、眼鏡フレームの幅、両耳間の距離、鼻先端と顎先端との間の距離の１つ又は複数であり得る。ある実施形態では、較正長さは、第二のデジタル画像（通常、ユーザは、第一のデジタル画像内よりカメラからさらに遠ざかっている）上の第二の較正係数を生成するために使用され、２つのランドマーク間のピクセル数での更新長さは、第二のデジタル画像内で測定され、第二の構成係数は、較正長さと、ピクセル数で表される更新長さとの比を取ることによって取得される。

【0018】

本発明の他の態様及び特徴は、以下の図面を参照して行われる詳細な説明から明らかになるであろう。詳細な説明及び図面は、添付の特許請求の範囲によって定義される本発明の各種の実施形態の各種の非限定的な例を提供することを理解されたい。

【0019】

本明細書に組み込まれ、その一部をなす添付の図面は、本発明の実施形態を例示し、説明と共に本発明の原理を説明し、図解する役割を果たす。図面は、例示的な実施形態の主な特徴を概略的に示すものである。図面は、実際の実施形態の全ての特徴も、図示されている要素の相対的寸法も示そうとするものではなく、正確な縮尺によって描かれていない。

【図面の簡単な説明】

【0020】

【図1A-1C】ある実施形態による、アバターをグラフィカルターゲットと整合させるプロセスを示す図である。

【図2】ある実施形態による顔面測定のプロセスを示すフローチャートである。

【図3】ある実施形態による、較正データと共に静止画像又はアクティブインタフェースとして保存され得るＰＤ測定画像を示す。

【図4】ある実施形態による、較正データと共に静止画像又はアクティブインタフェースとして保存され得るＯＣ及びＳＨ（小玉高さ）測定画像を示す。

【図5】本発明のある実施形態による仮想フレーム試着用ユーザインタフェースの例を示す。

【図6】ある実施形態による、ＰＤ測定を実行するシステムのブロック図である。

【図7】ある実施形態による、累進、多焦点又はＰＡＬ測定のためのシステムブロック図を示す。

【図8A-8D】ある実施形態による各種のチャネルの図を示す。

【図9】ある実施形態による、身体測定を行うシステムのブロック図である。

【図10】ある実施形態による、測定機能を有するデジタルミラーを示すブロック図である。

【図11】較正が複数のステップで行われる実施形態を示す。

【図12】ある実施形態によるデジタル測定のシステムプロセスを示すブロック図である。

【発明を実施するための形態】

【0021】

ここで、仮想測定のために構成された本発明のデジタルミラーの実施形態を、図面を参照して説明する。様々な実施形態又はそれらの組合せは、異なる用途又は異なる結果若しくは利益を達成するために使用され得る。求められる結果に応じて、本明細書で開示される各種の特徴は、部分的にのみ又は最大限に利益と要求事項及び制約とのバランスを取りながら、単独で又は他の特徴と組み合わせて利用され得る。したがって、特定の利益が異なる図面に関して強調されるが、開示される実施形態に限定されない。すなわち、本明細書で開示される特徴は、それらが記載される実施形態に限定されず、他の特徴と「ミックスアンドマッチ」され得る。

【0022】

以下の説明から明らかになるように、本開示の各種の実施形態は、ビデオストリーム内に現れるアイテムをデジタル式に測定する能力を含む。様々な較正及び整合方法を使用して正確度の向上が実現される。よりよい理解のために、説明は、眼鏡のフィッティングに必要な測定に関する説明から始まり、本開示が進むにつれて他の応用及びより包括的な実装に移る。

【0023】

ユーザのデジタル画像を使用して瞳孔間距離を測定することが先行技術で提案されている。例えば、米国特許第６，５３５，２２３号明細書を参照されたい。しかしながら、今日まで、これらの提案されている方法及びシステムは、市場で受け入れられるのに十分に正確ではない。本発明者は、不正確さの少なくとも一部が、画像の平面に対するユーザの頭の視線の不確実さから生じることを認識した。すなわち、先行技術の方法は、ユーザの顔面からスクリーンまでの距離の推測に依存するため、顔面の平面と画像の平面とが完全に平行になる場合、ＰＤ測定は、十分に正確になるであろう。しかしながら、これらの２つの平面が完全に平行でない場合、測定は、あまり正確でなくなる。そのため、本発明者は、正確なＰＤ測定を高い信頼度で提供するためにこの問題の解決に取り組んだ。

【0024】

重要なことに、本発明者は、測定の正確度の問題が、垂直に対して顔面の水平精度でより深刻であるが、何れも必要であり、ＯＣ及びＳＨに関して良好な測定値を得るために垂直アラインメントがより重要であることを認識した。したがって、本開示の態様では、異なる正確度閾値が垂直又は水平視線エラーに割り当てられて、画像が測定にとって十分に良好であるか否かが特定される。

【0025】

本発明の実施形態は、近接デジタルミラーとして使用するために、すなわちユーザが自らの顔面を観察する状況に特に適合されたハードウェア及びソフトウェアデザインを用いて、任意選択により仮想アイテムを、デジタルミラーに投影される画像に追加する仮想現実モジュールを追加して実装され得る。開示される実施形態は、様々な顔面測定のための様々な用途で使用され得る。ある例示的用途では、デジタルミラーは、眼鏡を購入するために使用され、眼鏡を注文するために必要な各種の画面測定を可能にする。正確な測定を行ううえでの困難の一部は、モニタスクリーンをユーザの顔面の比較的近い位置に設置しなければならず、したがってカメラも非常に近くなり、それにより歪曲が生じることから発生する。すなわち、ユーザがスクリーンを直接見ている間、カメラは、スクリーンの上方から画像を取得し、それにより、ユーザは、カメラを直接見ていないように見える。加えて、ユーザの頭の向きによって生じる測定の歪曲もあり、ユーザの視線により、ユーザの顔面は、デジタルミラーの平面に平行でなくなる場合がある。

【0026】

適切な顔面又は身体測定のために、ユーザの画像が画像フレーム内の中央に位置付けられることが有利である。ユーザの画像をフレーム内に位置付ける方法は、本出願人の以前の開示で開示されている。米国特許出願公開第２０１３／０１６９８２７号明細書も参照されたい。例えば、スクリーン上に円が描かれ得、ユーザは、自らの画像をその円内に移動させるように求められ得る。しかしながら、このような選択肢は、画像をフレーム内の所望の位置に設置することを考慮しているが、視線及び頭の向きの問題、すなわちユーザがスクリーンに対して適正な向きにあることを確実にする問題に対処してない。

【0027】

図１Ａ～１Ｃは、ユーザが自らの頭をカメラに対して正しい向きに適正に位置付けて、正確度の高い顔面測定を行うように導く実施形態を示す。図１Ａは、最初の位置を示し、戯画１００は、ユーザの顔面のイメージを示す。グラフィカルターゲット１０５は、測定のためにユーザの頭があるべき位置を示す。図１Ａのページの限界から、ターゲットは、２つの二次元グラフィックスとして示されているが、これは、スクリーン上に３次元グラフィックスとしても投影され得る。図１Ａでは、グラフィカルターゲットは、破線の楕円１０５と破線の十字１０５’との組合せとして示されている。図１Ａは、同じ位置及び向き並びにユーザの顔で描かれたアバター１１０も示す。図１Ａのアバターは、一点鎖線の楕円１１０及び一点鎖線の十字１１０’である。アバターは、ユーザの頭の形状、位置及び向きを模倣する回転楕円体として構成され、図１Ａでは２次元グラフィックスとして示されているが、３次元回転楕円体としてもスクリーンに投影され得る。回転楕円体の大きさ及び形状は、事前に画定された測定点に従って構成される。測定点の例は、例えば、両耳間の水平距離、顎底部から頭頂部までの垂直距離、ノイズの先端の位置等を含み得る。

【0028】

アバター１１０は、スクリーン上でユーザの動きに対応して移動される。すなわち、ユーザは、ユーザの動きによってスクリーン上でアバター１１０の外観を制御する。重要なことに、アバターの動きは、空間的且つ回転的に（水平、垂直、ロール）制御されるが、幾つかの実施形態では、角度に対する測定感度に応じて、それは、回転の影響のサブセット又は抑制であり得る。すなわち、アバターは、３次元回転楕円体であるため、アバターの空間位置は、スクリーン上のそのｘ－ｙ位置の点で制御される。加えて、スクリーン上の回転楕円体表現の回転向きは、ユーザの視線に応じて制御される。ユーザが自らの頭を動かすことによってアバターを制御する際、アバターをグラフィカルターゲット１０５と整合させることが目標となる。そのため、図１Ｂでは、ユーザは、自らの頭を、アバターの位置がターゲットと整合するように移動させているが、回転的にターゲットと整合しておらず、これは、２つの十字を参照すると分かる。図１Ｂでは、頭は、ターゲットに対して傾いている。したがって、ユーザは、自らの頭をさらに動かして（傾けて）、アバターを、図１Ｃに示されるようにターゲットと整合するように制御しなければならない。アバターが適正な位置、回転及び視線でグラフィカルターゲットと整合されると、ユーザに対して表示が行われ得る。画像（フレーム）は、その位置で撮影されて、測定を行うためにも使用され得る。

【0029】

図１Ａ～１Ｃには示されていないが、顔からカメラまでのＺ距離も調整され得る。例えば、アバター回転楕円体１１０の大きさは、ユーザがスクリーンに近付くか又はそこから離れると拡大又は縮小され得る。目的は、ユーザが顔面を正しい距離に置き、アバター回転楕円体の大きさがグラフィカルターゲットの大きさと一致するようにすることである。このような位置決めは、較正プロセスにとっても有益であり得、これについては、図２に関して以下で説明する。

【0030】

図２は、ある実施形態によるデジタル測定プロセスを示すフローチャートである。図２のプロセスは、カメラから受け取られ、モニタスクリーン上に表示されるビデオストリームを使用して実行されるようにプロセッサに事前にプログラムされ得る。図２に示されるステップは、必ずしも、これらが図示され、本明細書に記載される順序で実行される必要はない。例えば、較正ステップ２００は、整合ステップ２０５後に実行され得る。較正ステップ２００は、デジタル画像内でピクセル数として測定された距離を実世界における物理的距離に変換する、例えばピクセル数をミリメートルに変換するための変換係数を取得するために行われる。このような較正を行うために様々な方法が利用可能であり、測定ステップ２１０に必要な正確度レベルに対応することを条件として、何れの方法も利用され得る。

【0031】

一例では、画像内の既知のオブジェクトが較正２００を生成するために使用される。例えば、ユーザは、カメラから所定の距離にクレジットカードを保持するように求められ得る。クレジットカードの大きさが分かっているため、画像は、画像内のクレジットカードの大きさに従って較正され得る。他の例によれば、ユーザの顔に対してコインが保持され、コインの大きさが分かっているため、それを較正係数として使用することができる。本願で開示される幾つかの実施形態では、ユーザの虹彩が使用される。虹彩の大きさは、人によって大きく変わらないため、画像内のその大きさは、較正のための良好な推定として使用され得る。別の実施形態では、特に眼が完全に開かれておらず、虹彩が部分的に隠れている場合、グラフィックスによる円が虹彩の周囲に設置されて、虹彩の大きさが推定され、円の直径が較正係数として使用される。前述のように、較正プロセスが整合プロセス後に行われる場合、アバター回転楕円体の大きさをグラフィカルターゲットとマッチさせることにより、較正の正確さも高まり、これは、顔面からカメラまでの距離がこの場合に分かっているためである。

【0032】

整合ステップ２０５は、図１Ａ～１Ｃに関して説明したように進み、ユーザの視線及び頭の向きが正確な測定のために適正に位置付けられるようにされる。較正及び整合が行われると、測定ステップ２１０を行うことができる。前述のように、これは、整合した画像を保存し、保存された画像上で測定することによって実行され得る。較正ステップ２００内で得られた較正を使用して、保存された画像上で得られたピクセル測定値を物理的測定値に変換することができる。測定値は、例えば、ＰＤ及びＯＣ測定値を含み得る。

【0033】

ある実施形態によれば、ユーザが頭を動かしてアバターをグラフィカルターゲットと一致させる間、プロセッサは、ビデオ又はサンプル画像のみを記録して、最善の対称状態、及び／若しくは最良の視線、及び／若しくは開眼状態、及び若しくは虹彩の露出又はそれらの何れかの組合せを探し、較正及び測定のためにさらに解析する最善の画像を選択し得る。特に、フレームを機器上においてローカルで又はインターネット接続を介してクラウドで解析することができる。解析から、瞳孔及び両眼間の鼻梁の中心を識別することができる最善のフレーム／位置が返され得る。鼻の位置は、ｙ軸と、両方の瞳孔を結ぶ線との交点又は鼻上の他の何れかの位置として定義され得る。

【0034】

このように、先行技術は、適正な較正の方法のみに関するが、本発明は、較正プロセスを改善することに加えて、カメラに対するユーザの頭の向きを考慮するための整合プロセスを追加した。その結果、図２に示されるプロセスは、較正ステップと整合ステップとの両方を含み、測定の正確度が改善される。加えて、開示される実施形態は、測定ステップを測定値のグラフィカル表現と共に残し、それにより人間によるさらなる修正及び／又は機械学習若しくはニューラルネットワークを使用した正確度の向上も可能となる。測定ステップを残す例を図３及び４に関して以下に説明する。

【0035】

図３は、静止画又はアクティブインタフェースとして較正データと共に保存され得るＰＤ測定画像を示す。画像では、ユーザの顔面３００は、得られたＰＤ測定値及び鼻の中心の位置を示すグラフィカルオーバレイ３０５と共に示される。画像がアクティブインタフェースとして記憶される場合、測定の改善が必要な場合、ユーザ（又は眼鏡士）は、インタフェース矢印３１０を使用してグラフィカルオーバレイ３０５を調整し得る。グラフィカルオーバレイは、左右の眼について別々に移動され得る。較正データが画像と共に記憶されるため、グラフィカルオーバレイを移動させることにより、物理的測定値に変換することができ、これは、インタフェース矢印の隣の数値の例によって示される。ここで、数値の例は、ミリメートルで示されている。

【0036】

図４は、ある実施形態による、静止画像又はアクティブインタフェースとして較正データと共に保存され得るＯＣ及びＳＨ測定画像を示す。図４では、ユーザの顔面４００は、選択された眼鏡を装用した状態で示されている。眼鏡は、画像内でユーザによって物理的に装用され得るか、又は拡張現実を使用してユーザの画像上に仮想的に設置され得る。グラフィカルオーバレイ４０５は、得られた小玉高さ及びＯＣ高さの測定値を示す。これらの測定値は、レンズ形状のセンタリングのため及び２焦点レンズ製作時に重要である。画像がアクティブインタフェースとして保存される場合、測定の改善が必要であれば、ユーザ（又は眼鏡士）は、インタフェース矢印４１０を使用してグラフィカルオーバレイ４０５を調整し得る。グラフィカルオーバレイは、左右の眼について別々に移動され得る。較正データは、画像と共に保存されるため、グラフィカルオーバレイの移動は、物理的測定値に変換され得、これは、インタフェース矢印の隣の数値の例によって示されている。ここで、数値の例は、ミリメートルで示される。

【0037】

図４に示される測定値を得るために、システムは、フレームがユーザによって実際に装用されるか又は画像内で仮想的に設置されるかを問わず、フレームに属するピクセルを識別する必要がある。１つの実施形態では、フレームの最下点は、瞳孔推定器の下の線における眼鏡と内側フレームとの交点を見つけるように訓練されたニューラルネットワークによって見つけることができる。１つの実施形態では、フレーム上の点は、水平エンファシスを有するか又は有さないエッジフィルタによって推定される。

【0038】

同様に、システムは、眼の輪郭を識別する必要がある。１つの実施形態では、最下点は、眼の位置を画定するニューラルネットワークランドマークから見つけることができ、眼の輪郭を画定できる。ＯＣ点の推定は、瞳孔から下がり、眼の輪郭と交差する線の交点である。ＯＣは、眼の輪郭からＰＡＬ（累進レンズ）又は２焦点若しくは多焦点測定に有益なフレームの内側部分までの測定値である。ＳＨ測定は、瞳孔中心からフレームの内側部分までの垂直推定値であり、累進レンズの計算に使用される。

【0039】

さらに、特定の眼鏡フレームが、例えば、フレームのＳＫＵ番号を読むか又は入力することによって分かる場合、フレームの物理的測定値は、システムに事前に記憶され得る。したがって、フレームの実際の測定値は、正確なピクセル較正を容易にするために使用され得る。一例では、各レンズフレームの物理的な幅は、事前に分かっており、したがって、幅は、画像内でピクセル長さとして測定される。ピクセル長さ及び実際の物理的な幅は、したがって、較正係数を生成するために使用される。

【0040】

前述のように、方句向けステップのために、方法は、ユーザの頭のアバターを３次元シェル又は３次元回転楕円体の形態で構成する。しかしながら、モニタスクリーンは、２次元表面を形成し、ユーザの頭の画像は、２次元平面内に形成される。そのため、３次元オブジェクトを２次元平面にフィットさせる方法が使用され、これは、例えば、ＰＮＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）式又はＳＶＤ（特異値分解）式を解くことによる。Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔは、世界のｎ個の３Ｄ点群及び画像内の対応する２Ｄ投影が与えられた場合に較正済みカメラの姿勢を推定する問題である。カメラの姿勢は、回転（ロール、ピッチ、ヨー）で構成される６自由度（ＤＯＦ）及び世界に関するカメラの３Ｄ並進からなる。そのため、ユーザの顔面上の所定の点群を使用することにより、ＰｎＰ又はＳＶＤの何れかを実行して、プロセスは、ユーザの顔及びカメラに対するその向きに対応する、対応する３次元回転楕円体を構成できる。回転楕円体は、向きがユーザの頭の対応する状態で２次元スクリーン上に投影できる。付記すると、本明細書中の議論は、回転楕円体に関するものであるが、他の何れの形状もアバターとして使用され得る。

【0041】

開示された実施形態では、拡張現実を使用して、すなわちフレームの画像をユーザの投影画像にデジタル式に重ねることにより、異なるフレームを仮想的に試着する能力がユーザに提供される。ユーザによって装用されるフレームが異なり得るため、ユーザが自らの顔面で仮想の眼鏡のフィットを調整できるようにするためのユーザインタフェースが提供される。図５は、仮想フレームの様々な調整を可能にするユーザインタフェース５１０の例を示す。調整は、Ｘ－Ｙ（左－右）並進、水平回転、前後チルト、ロール、Ｚ（仰角）位置、テンプルの開き等を含み得る。ユーザが調整に満足すると、表示が提供され得、調整に関するパラメータは、将来のために、例えば異なるフレームの試着のために保存され得る。

【0042】

フレームの仮想試着に加えて、システムは、レンズの仮想試着も可能にする。ユーザは、異なるレンズを試着し得、仮想シミュレーションは、ユーザに対して、異なる眼鏡厚さ、レンズの処方、眼鏡の色、ＵＶコーティング効果等を示すことができ、そのため、ユーザは、選択肢を評価することができる。ユーザのライブビデオ上でのこのリアルタイム構成に加えて、システムは、この３Ｄアセットコンフィギュレータを、カメラを用いずに又は実際の試着を行わずに示すこともできる。３Ｄ構成は、ユーザの画像又は静止背景上のモデルに対して実行され得る。

【0043】

１つの実施形態では、異なるレンズ選択肢の効果を、実際の物理的フレームと共にユーザ画像に仮想的に投影することができる。フレームの内側部分の輪郭を示すための画像のセグメント化は、コンピュータビジョン技術を使用するか又は使用しないニューラルネットワークを用いて行われ得る。したがって、フレームの内側領域を仮想レンズ特徴、例えば眼鏡厚さ、ＵＶコーティング、ティントカラー及びティント不透明度のシェード効果で拡張することができる。これは、ユーザが異なるタイプのレンズ及びレンズの処理と併せてフレームを見るのに役立つ。

【0044】

フレームの仮想試着を行うとき、フレームの大きさを、倍率を使用してユーザの画像にスケーリングすることが重要である。前述のように、フレームの大きさは、分かっており、システムに事前に記憶されている。しかしながら、スクリーン上でフレームをレンダリングする際、開示される実施形態は、ユーザの頭の上の正しい大きさ及びスクリーンからのその距離に合うようにフレームのスケーリングを行う。１つの実施形態では、ＰＤ測定値は、スクリーン上に投影された顧客の顔面上の仮想眼鏡の大きさを較正するために使用される。各種の実装例では、拡張現実によってシミュレートされた要素は、標準的な頭の大きさにスケーリングされる。その結果、子供が仮想眼鏡を試着する場合及び／又はユーザがカメラからより遠くにおり、頭が、プログラムされた標準より小さく見える場合、仮想化されたアイテム（例えば、眼鏡）は、正しくフィットしない。したがって、本願で開示される正確なＰＤ測定値を使用すれば、それにより顧客の頭の実際の大きさ及び／又はカメラからのその距離を計算し、その距離に従って眼鏡の大きさをフィットさせることができ、そのため、眼鏡がスクリーン上に正しいサイズで現れる。

【0045】

眼鏡の大きさを補正するための１つの実施形態では、仮想眼鏡は、３つの異なる要素、すなわち前面フレーム及び２つの別々のテンプルに分割される。したがって、倍率が前面フレーム及びテンプルに別々に適用され、それにより歪曲が排除される。そうするために、システムは、フレームの長さ及び／又は幅がスケーリングされた場合、テンプルの新しい位置を補正するか、又はフレームを並進させて、テンプルが常にフレームに正しくつながっているように見えるようにする必要もある。システムが顧客の顔面上で前面フレームの正しい大きさを固定すると、拡張現実のためにテンプルのアニメーションが追加され得る。

【0046】

図６は、ある実施形態による、ＰＤ測定を実行するシステムのブロック図である。図６に示されるモジュールの何れも、汎用コンピュータ、ＤＳＰ、ＣＰＵ、ＧＰＵ、カメラＤＳＰ／ＡＳＩＣ、モニタスクリーンＤＳＰ／ＡＳＩＣ、スタンドアロンのコンピュータデバイスＦＰＧＡカード、ＤＳＰデバイス、ＡＳＩＣ、クラウド並列計算で他に実装され得る。特定の機能性が特定のモジュールに関して記載されているが、各モジュールの機能性は、計算方法の性能を最適化するために他のモジュールでも実行され得る。

【0047】

カメラ捕捉モジュール６００は、以下の機能性の１つ又は複数を有し得る。カメラ捕捉モジュール６００は、ライブビデオ又は静止画像（フレーム）を捕捉し得る。それは、ＩＲ（赤外線）、２Ｄ及び／又は３Ｄ機能を含み得、それは、１つ又はｎ個のカメラを含み、且つ異なる角度を捕捉し得る。カメラモジュールは、幾何変換、カメラの垂直並進、カメラの１：ｎストリーム切り換え等を実行する能力を有し得る。カメラ捕捉モジュール６００は、画像の品質を改善するためのフィルタ、例えば皮膚の外観を平滑にするが、眼を鮮鋭のままにする平滑ハイパスフィルタも適用し、コンピュータによる方法最適化のために必要に応じてクロッピング又は幾つかの実施形態では画像リサイズを適用し、顔面をスクリーン内のより高い位置に移動させ、ユーザがカメラの直下でカメラ及び自らを見ることができるようにするために画像並進を適用し得る（並進させないと、顧客の頭は、カメラを見るときに中心に配置され、これは、全体的な正確度に影響を与え得るある程度の投影歪曲がユーザに生じ得るため、あまりよくない）。幾つかの実施形態では、モジュールは、カメラ内の又はカメラに対する顔面の位置における歪曲を排除するために他の変換を適用し、これは、例えば、半径方向のバレル歪曲の補正、魚眼補正、投影チルト回転、メッシュ多項式又は歪曲補正に基づく顔面ポインタ及び歪曲補正に基づくニューラルネットワーク訓練である。カメラ捕捉モジュール６００は、画像をトリガイベントモジュール６０１にストリーミングし、画像グラバーとして機能する。

【0048】

トリガイベントモジュール６０１は、その入力をカメラモジュールから直接取得することができるプロセスを実行する。モジュール６０１への入力画像は、大きさ及びバンド幅並びに必要な機能を実行するレートで最適化され得る。イベントモジュール６０１の主な機能性は、回転、並進、水平対称、眼の状態又は何れかの組合せの点で現在のビューを推定し、さらに解析するために正確な画像が得られ、回転及び並進の点で画像が最適化されることを確実にすることである。このモジュール６０１からの出力は、絶対値又は公称位置からのオフセットである。

【0049】

以下は、トリガイベントモジュール６０１内にあり得る追加の可能性の例である。モジュール６０１は、ユーザがカメラの正面に立っていることを、例えば頭検出分類器又は単純な背景除去及び事前に画定されたゾーンの変化、パターン認識等に基づいて識別し得る。モジュール６０１は、ユーザまでの距離を、例えばステレオカメラ、３Ｄ ＩＲカメラ間の相関によって又はある幾何学的仮定を行って距離を特定する新規な１つのカメラ測定値を使用して測定することもできる。例えば、この仮定は、ユーザがほぼミラーの正面に平坦な床の上に立っており、ミラー内の距離、ユーザの身長又はユーザの理論的視点がユーザの靴の位置の測定値及びスクリーンからのユーザの特定のオフセットから推定され得ることを含み得る。

【0050】

１つの実施形態によれば、前方及び後方カメラを有するモバイル機器が使用される。ユーザは、従来のミラーの正面において、前方カメラがユーザに向けられ、後方カメラがミラーに向けられるように立ち、それによりユーザの顔を２つのカメラから同時に、交互に又はほぼ同時に見ることができる。１つの実施形態では、前方カメラ及び後方カメラは、同じ水平軸及び又は垂直軸上になく、それにより、結果として得られる効果は、ステレオカメラのようなものであるが、１つのモバイル機器が用いられる。

【0051】

顔認識は、ユーザインタフェースの識別を容易にするためにも実装され得る。プラットフォームは、各ユーザの情報を保存し得、ユーザがシステムによって認識されると、システムは、それ自体のデータをアップロードし、その人のアカウントに関するより多くのデータを保存し、アイテムを提案すること等を行い得る。顔認識を用いることで、ユーザは、自らを識別する必要がなく、それにより時間が節約され、使用しやすさが向上する。

【0052】

視覚的フィードバックモジュール６０２は、モジュール６０１からの出力を絶対的状態又は最適なビューからのオフセットとして取得し、それを視覚的フィードバック（例えば、３Ｄ回転楕円体又は２Ｄ平面内の３Ｄ投影からトリミングされた２Ｄの形態）に変換し、それにより、ユーザは、頭の位置を変更して、アバターをグラフィカルターゲットと一致させることができ、例えばその人の視線、頭の回転、頭の並進及び開眼状態を変化させて、最適な画像を撮影するための可能な限り最善の状態にすることができる。

【0053】

ピクセル係数モジュール６０３は、測定を行うために使用されるｍｍ／ピクセル値を計算し、すなわち、これは、較正ステップ２００を実行する。１つの実施形態では、ｍｍ／ピクセル係数は、画像自体内の既知の基準、例えば磁気カード、眼鏡、虹彩、光ポインタ又は他の基準を使用して計算される。クレジットカードは、８５．６ｍｍの幅の基準を有し、その検出は、かなり簡単であり得る。カードが顔面の横で保持されると、これは、ｍｍ／ピクセル係数の計算に使用され得る。１つの実施形態では、人口の大部分における虹彩の大きさは、非常に近似しており、平均を係数の計算に使用できることが知られている。この実施形態における課題は、虹彩を高い正確度で捕捉することであり、したがって、ＰＤの測定ではエラーが３～４倍に増大するため、個々のピクセルエラーが重要であり、したがって虹彩の測定のための複数の技術を使用する必要がある。１つの実施形態では、正確なエッジ検出ニューラルネットワークランドマーク及び又はセグメンテーションが、任意選択により、円内の結果の平均化、側面から側面まで見える場合の水平のみの虹彩の測定、虹彩の可視部分上へのグラフィックスの円のオーバレイ及び円の直径の使用等の１つ又は複数と一緒に使用される。加えて、両眼からのデータを使用するために、あるサニティチェックロジックを適用すべきである。

【0054】

虹彩の直径を測定するためのある実施形態が図６の挿入図に示されている。図のように、眼は、虹彩の全周を露出するのに十分に開かれていない場合がある。各眼が異なる程度に開いていることもあり得る。そのため、各眼について、複数のランドマークＬＭが虹彩の見えている円周上で識別される。ランドマークの数は、見えている円周の量に依存することになる。したがって、各眼について、複数の対向するランドマークペアが直径の測定に使用され、これは、一点鎖線によって例示されている。両眼の虹彩の中心を通る線を引き、両眼の虹彩の直径をその線上で測定することもできる。各眼について、測定された複数の直径を平均して、左平均直径及び右平均直径が得られる。したがって、左平均直径及び右平均直径が閾値と比較され、差が閾値を超えていれば、測定全体が信頼できないものとして破棄される。その後、プロセス全体が繰り返され得る。差が閾値より小さければ、左平均直径及び右平均直径の平均を計算して、その結果としての直径を生成することができる。

【0055】

結果としての直径は、ピクセル数で表され、これは、測定がデジタル画像上で行われるためである。人の虹彩の直径は、約１２ｍｍであることが知られているため、ミリメートルでの平均虹彩直径と、ピクセルでの平均測定直径との比を取ることにより、ｍｍ／ピクセルの倍率を、その画像内の他の測定に使用するために取得することができる。例えば、ＰＤ測定のために、第一の測定は、一方の虹彩の左縁らもう一方の虹彩の左縁までのピクセル数として得ることができ、第二の測定値は、一方の虹彩の右縁からもう一方の虹彩の右縁までのピクセル数として得ることができ、２つの測定の平均が取られる。したがって、結果に倍率が乗じられて、ミリメートルでのＰＤが取得される。

【0056】

初期ＰＤ計算モジュール６０４は、ピクセル係数モジュール６０３によって計算されたｍｍ／ピクセル係数を使用し、第一の瞳孔推定と共に全体のＰＤ、左ＰＤ、右ＰＤを計算し、瞳孔のポインタ及び／又は図３に示されるような鼻梁、虹彩等の画像内の他の要素の位置のマーカが表示された画像を返すために使用される。

【0057】

調整ツール６０５は、図３に示されるように、虹彩の中心が十分に良好でない場合又は鼻の位置が、眼鏡があるべき位置に関して正確でない場合、眼鏡士又はユーザが、重ねられたランドマークの位置を微調整し、精度を高めることができるようにする調整インタフェースを生成し、作動させる。１つの実施形態では、瞳孔のみが位置決めされる。調整は、クリックベース若しくはスライダ又は他の何れかのインタフェースであり得る。調整が行われると新しいＰＤ計算が行われ、これは、複数回行われる可能性があり、それにより調整ツール内で変更があるたびに新しい結果が示される。

【0058】

最終的な結果６０６は、調整が終了すると生成され、それにより、測定は、最終的なものであり、さらに使用され得るか又はユーザにエクスポートされ得る。１つの実施形態では、ユーザは、応答性ＱＲスキャニングにより、ＳＭＳ、電子メール又は他の何れかの安全なシェアリングフォーマットによって結果を取得することができる。

【0059】

図７は、ある実施形態による、累進、多焦点又はＰＡＬ測定のためのシステムブロック図を示す。図７に示される幾つかのモジュールは、図６に示されたものと同じであり得、図６に示されるモジュールと共に動作し得るか、又は図６のモジュールの追加若しくは拡張であり得る。図７のモジュールは、図６のものと同じハードウェア内にあり得るか、又は異なるハードウェア内にあり、図６のモジュール及びインターネット又はセルラネットワーク等のネットワークを使用して通信し得る。

【0060】

カメラ捕捉モジュール７００は、図６のモジュール６００と同じ又は同様であり得る。しかしながら、図７の動作のために、ユーザの画像は、物理的又は仮想的の何れかのフレーム又は眼鏡を含み、それにより眼鏡の実際の位置に対する瞳孔の位置を取得することができる。例えば、図４を参照されたい。

【0061】

１つの実施形態では、ユーザが仮想フレーム／眼鏡を試着するとき、そのフレーム／眼鏡の仮想モデルは、眼鏡のないときに行われたＰＤ測定値に従ってスケーリングされ、そのため、ユーザは、フレーム及び自らの顔面の正確な釣合いが分かる。１つの実施形態では、仮想眼鏡は、調整機能を有するため、ユーザは、それを、図５に例示されるように自らが鼻の上及び耳の上に眼鏡をかけることを望む位置と同じ位置に置くことができる。スケールは、１つ又は複数の眼鏡要素と両眼間の距離ＰＤとの釣合いに基づいて計算され得る。幾つかの例では、両眼間の距離に対するピクセル数での仮想レンズの大きさが計算される。幾つかの例では、仮想レンズの大きさは、フレームのＲＧＢ又はαチャネルのグラビンググラフィック層から層を直接抽出することによって測定される。ある例が図８Ａ～８Ｄに示されており、図８Ａは、眼鏡をかけない状態のユーザの画像であり、図８Ｂは、眼鏡をかけた状態のユーザの画像であり、図８Ｃは、フレームのみのアルファチャネルであり、図８Ｄは、フレームのＲＧＢチャネルである。これらの４つの別のチャネルを使用することは、人工知能処理にとっても有利である。暗いレンズが使用される場合、これらのチャネルの分離は、虹彩の適正な位置を測定することにも役立つ。これに関して、アルファチャネルは、透明度を表す特別なチャネルである。画像がアルファチャネルを有する場合、それにより画像の透明度レベルを調整し、ビットを半透明又は完全なシースルーにすることが可能となる。

【0062】

１つの実施形態では、顔面の３Ｄメッシュも捕捉され、３Ｄドメインでのより正確な測定が行われるため、レンズに対する眼の奥行及び眼鏡の角度を取得することができる。仮想モデルが設定されるか又は物理的な眼鏡が正しい位置に置かれると、結果をモジュール７０１に転送することができる。

【0063】

トリガイベントモジュール７０１は、モジュール６０１と同じ又は同様であり、ユーザがフレームを物理的又は仮想的に試着するためにその入力をカメラモジュール７００から直接取得することができるプロセスを実行する。モデル７０１への入力画像は、大きさ及びバンド幅並びに必要な機能性を実行するレートの点で最適化され得る。トリガイベントモジュール７０１の主な機能性は、回転、並進、水平対称、眼の状態又は何れの組合せの点で現在のビューを推定し、さらに解析するために正しい画像が得られ、画像が回転及び並進の観点から最適化されることを確実にすることである。このモジュール７０１からの出力は、絶対値又は公称位置からのオフセットである。

【0064】

視覚的フィードバックモジュール７０２は、モジュール７０１からの出力を絶対的状態又は最適なビューからのオフセットとして取得し、それを、モニタスクリーン上に示される視覚的フィードバックに変換するため、ユーザは、自らの頭の位置を変え、例えば自らの視線、頭の回転、並進及び開眼状態を変えて、最適な画像を捕捉するために可能な最善の状態となるようにすることができる。これは、図２に関して説明した整合プロセス２０５に対応する。

【0065】

ピクセル係数モジュール７０３は、モジュール６０３と同じ又は同様であり得るが、１つの実施形態では、ＰＤからのｍｍ／ｐｉｘを、両眼の中心間のある割合調整又は眼鏡を用いないＰＤ及び眼鏡を用いたＳＨ／ＯＣの両方の画像で取得することができるピクセル数での他の何れかの測定値と共に使用することができる。

【0066】

ＳＨ／ＯＣ測定に関して、１つの実施形態では、眼鏡の角度対ユーザの姿勢を考慮する必要があり、これは、特に眼鏡が鼻の上の低い位置にかけられる場合である。物理的な眼鏡の有効角度は、画像内のレンズの投影歪曲の計算結果によって計算され得る。測定が仮想眼鏡上で行われる場合、この角度は、ユーザが正しい向きでの眼鏡のフィッティングを終えた後に３Ｄ空間内で同様に計算され得る。

【0067】

初期ＰＤ計算モジュール７０４は、ｍｍ／ピクセル係数を利用して、最初の瞳孔の推定と共にＳＨ、ＯＣを計算し、図４に例示されるように、瞳孔のポインタの位置及び又は鼻梁、虹彩等の画像内の他の要素の位置のマーカを示した画像を返すことができる。ユーザは、微調整が必要な場合、マーカのこの表示を使用して画像上のマーカの位置を補正することができる。

【0068】

任意選択の調整ツール７０５は、調整インタフェースを提示し、これにより、眼鏡士又はユーザは、図４に示されるように、虹彩の中心が十分に良好でないか、又は鼻の位置が、眼鏡がかけられるべき位置に関して正確でないか、又は眼鏡の内側が正しい位置にないとき、眼及び眼鏡上のランドマークの位置を調整し、正確度を向上させることができる。１つの実施形態では、瞳孔のみが位置決めされる。調整は、クリックベース若しくはスライド又は他のインタフェースであり得る。調整が行われると、新しい計算が行われる。これは、複数回繰り返すことができ、それにより調整ツール内の変化のたびに新しい測定結果が生成され、それがユーザ及び／又は眼鏡士に対して示される。

【0069】

最終結果７０６は、調整が行われた後に提供され、測定値は、最終的なものであり、さらに使用され得るか又はユーザ若しくはフレームメーカにエクスポートされ得る。ユーザがこれを店内で使用している１つの実施形態では、ユーザは、応答性ＱＲスキャニング又はＳＭＳ、電子メール若しくは他の何れかの安全なシェアリングフォーマットによって結果を取得することができる。

【0070】

図１０は、ある実施形態による、測定機能を有するデジタルミラーを示すブロック図である。本明細書では、各種の要素について説明するが、デジタルミラーの技術に関する要素は、前述の本出願人の以前の特許内の開示の何れに従っても実装され得、その開示が参照により本明細書に援用される。この例では、ミラーシステム１０００のビデオカメラ１０１０は、捕捉したビデオストリーム１０１５を変換モジュール１０２０に送信する。変換モジュール１０２０は、ビデオストリーム１０１５に対して操作を行い、リアルタイムのミラーリングされたストリーム１０２５を生成する。変換モジュール１０２０は、本出願人の特許に記載されている実施形態の何れによっても実装され得、その中に記載されている方法及びプロセスの何れかに従ってカメラ１０１０からのビデオストリームを変換して、ミラーの画像を模倣する画像をスクリーン１００５上に生成する。

【0071】

リアルタイムのミラーリングされたビデオストリーム１０２５は、スクリーン１００５に送信され、ＡＲ（拡張現実）モジュール１０３０及び画像解析モジュール１０３５にも送信される。画像解析モジュール１０３５は、リアルタイムのミラーリングされたビデオストリーム１０２５を継続的に解析し、較正機能、整合機能及び測定機能を実行する。ＡＲレンダ１０３０は、ＡＲレンダリング、例えばグラフィカルターゲット、アバター及びフレーム、レンズ、宝石等の仮想アイテムを生成する。図１０に示されるシステムは、モジュールを内蔵し得、本願で開示されるプロセス、特に図６～８Ｄに関して説明したものを実行するために利用され得る。加えて、システムと通信する任意選択のモジュール機器１０５０を組み込むことにより、別の測定を行うことができ、これについては、以下にさらに説明される。

【0072】

上述の説明から分かるように、開示された態様は、ユーザのミラーリングされた画像を投影して、ユーザの身体の測定値をデジタル式に取得するためのシステムを含み、これは、ユーザのビデオストリームを提供するビデオグラバーと、ビデオストリームを受け取って、変換マッピングを適用し、それによりそこからミラーの反射を模倣する変換されたビデオを生成する変換モジュールと、変換されたビデオを受け取って表示する表示スクリーンと、ビデオストリームを受け取って、そこから較正係数を生成する較正モジュールと、表示スクリーン上に投影されて、ユーザが所望の身体の向き（チルト及び表示スクリーンの平面に対する角度）に到達することを支援する対話式インタフェースと、ユーザが所望の身体の向きに到達したという表示を受け取り、変換されたビデオからの静止画像と較正係数を使用してユーザの身体の測定値を生成する測定モジュールとを含む。

【0073】

図９を参照すると、これは、ある実施形態による、眼鏡士による測定に特に適した身体測定システムを示すブロック図である。前述の実施形態と同様に、カメラ捕捉モジュールは、ビデオストリームを生成し、これは、眼鏡をかけていないか、物理的眼鏡をかけているか又は仮想現実モジュールによって追加された仮想眼鏡をかけているユーザのものであり得る。ビデオストリームは、トリガモジュール９０１への入力であり、これは、ユーザの頭がビデオストリーム内に現れることを識別し、その後、頭の向き（視線、チルト、回転、並進、ロール深さ等）を推定するようにプログラムされる。トリガモジュールは、仮想フィードバックモジュール９０２を頭の向きの表示と共に提供し、フィードバックモジュール９０２は、モニタスクリーン上にユーザの頭の向きの視覚的表示を重ねる。前述のように、これは、単純な回転楕円体、例えばＰＮＰ又はＳＶＤ式を解くこと等によって平坦なスクリーンに投影される３次元回転楕円体であり得るアバターの形態であり得る。仮想フィードバックモジュール９０２は、グラフィカルターゲットを投影して、ユーザに対して所望の向きも示し得る。したがって、ユーザが自らの頭を動かすと、向きの変化がトリガモジュール９０１によって検出され、視覚的フィードバックモジュール９０２に送信されて、視覚的表示に対して対応する変更がなされる。すなわち、グラフィカルターゲットは、静的であるが、アバターは、動的であり、ビデオストリーム内のユーザの動きに合わせて移動する。視覚的表示がグラフィカルターゲットとマッチ、例えば整合すると、トリガイベント９０１は、ビデオから静止画像（フレーム）を取得して、それを係数モジュール９０３に送信する。

【0074】

係数モジュール９０３は、画像内のピクセル距離を実世界での実際の距離に変換するために使用される係数を生成する。係数は、カメラモジュール９００からの画像内に現れる各種のオブジェクトの距離を計算することにも役立つ。指摘したように、係数を生成するために様々な方法を使用することができ、これは、例えば、虹彩の測定、又は既知の大きさの眼鏡の測定、又は実際の大きさが分かっている、画像内に現れる他の何れかのアイテムの測定によるものである。１つの実施形態では、虹彩の大きさが係数の生成に使用される。したがって、係数は、眼鏡測定モジュール９０４に送信される。このモジュールでは、画像内でユーザがかけている実際の眼鏡のフレームの物理的な大きさ（例えば、幅及び高さ）は、係数及びピクセル測定値を使用して特定される。例えば、図１０に示されるように、長方形又は他の多角形（点線を参照されたい）をフレームの周囲に描くことができ、長方形の幅及び高さをフレームの大きさとして設定することができる。

【0075】

本願で開示される実施形態では、システムは、画像内に現れるフレームに属するピクセルを識別する必要がある。第一レベルの実装として、システムは、訓練されたオブジェクト検出及び又は何れかの民生用輪郭追跡アルゴリズムを使用してレンズの輪郭を検出し得る。輪郭追跡は、デジタル画像にその境界を抽出するために適用される技術である。例は、Ｓｑｕａｒｅ Ｔｒａｃｉｎｇアルゴリズム、Ｍｏｏｒｅ－Ｎｅｉｇｈｂｏｒ Ｔｒａｃｉｎｇ、ラジアルスイープ、Ｃａｎｎｙフィルタ及びＴｈｅｏ Ｐａｖｌｉｄｉｓ’Ａｌｇｏｒｉｔｈｍを含む。輪郭追跡は、眼鏡がフルフレームを有する場合に十分であり得る。しかしながら、多くの眼鏡は、フレームの上部分のみにあり、底部は、透明な糸で保持され、また、ある眼鏡は、フレームを有さず、テンプル及び鼻当ては、レンズ自体に直接取り付けられる。このような状況では、輪郭追跡アルゴリズムは、失敗し得るか、又は信頼できる結果を提供しない場合がある。

【0076】

したがって、１つの実施形態では、第二のプロセスは、ニューラルネットワーク及び／又は深層学習を使用して、何れのピクセルがレンズに属するかを一般的訓練又はターゲット歪曲検出に基づいて特定する。レンズを通して見えるターゲットは、レンズの背後にあるため、すなわちレンズを通る光の光学的効果によって歪曲する。モジュール９０５によって示され、図１０に描かれているように、レンズによって歪曲されたピクセルを識別する学習を支援するために、ユーザは、眼鏡をカメラと、指定されたターゲットとの間に設置するように求められ得る。ターゲットは、紙の上に印刷されるか又はスクリーン上に投影され得、ユーザは、モバイル機器を使用して眼鏡の背後のターゲットの写真を撮影し得る。図のように、単純なターゲットは、マス目の大きさが分かっているチェス盤であり得る。眼鏡がカメラとターゲットとの間に設置されると、レンズを通して現れるブロック画像は、歪曲し、それによりレンズの形状を特定することができない。

【0077】

本願で得られる各種の測定値は、他の測定を確認又は改善するためにも使用され得る。例えば、フレーム又はレンズの測定値が得られると、それを、虹彩の測定値を使用して、眼鏡を装用しているユーザの画像と比べてチェックすることができる。本願で開示されるＰＤ測定値は、虹彩測定値及び／又はレンズ測定値を確認又は改善するためにも使用され得る。９０５に示されるように、レンズ又は眼鏡の大きさの測定値は、カメラからの眼鏡の距離及び眼鏡の向きを計算するためにも使用され得、その際、フレームがカメラの正面に正しく位置付けられること（すなわちレンズの光学パワーを測定する際に重要である、カメラセンサにほぼ平行に保持されること）が確認される。１つの実施形態では、システムは、眼鏡の測定大きさを基準として使用して、それをターゲットの近くに保持することにより、ターゲットの大きさを較正することができる。

【0078】

カメラからの眼鏡の距離が分かることは、ユーザの現在の眼鏡の処方（ユーザが処方を知らない場合）を測定するのに役立つ。具体的には、モジュール９０６は、ユーザが眼鏡をカメラに対する必要な距離及び向きに保持していることを確認する。モジュール９０７では、システムは、レンズの内側の領域対レンズの外側の領域を、上述のように何れのピクセルが歪曲しているかをチェックすることによって識別する。眼鏡がカメラと既知のターゲットとの間に位置付けられているとき、９０８では、レンズの異なる領域で見られる歪曲の量がレンズの光学パワーの特定のために使用され得る。特に、レンズが単焦点である場合、レンズにつき１つの測定値で十分であり得るが、２焦点、累進又は多焦点の場合、レンズ内の異なる倍率及びその位置を理解するためにレンズの領域内で複数の測定値が必要であり得る。９０９では、歪曲の量が処方の計算に使用される。図のように、このプロセスは、エラーを減らし、測定の正確度を増大させるために複数回繰り返され得る。

【0079】

別の実施形態によれば、システムは、眼検査を実行するために使用され得る。前述のように、例えば、虹彩の大きさによる又はＰＤ測定値から得られた較正係数は、カメラからのユーザの距離を測定するために使用され得る。カメラがスクリーンに取り付けられている場合、計算されたユーザの距離は、スクリーンまでの距離でもある。そのため、スクリーンは、ユーザにスクリーンから例えば１０フィート離れて立つように求め、眼検査を実行することにより、眼検査を実行するために使用され得る。ユーザまでの距離は、その後、例えば正しい姿勢での顔面の大きさ／幅を係数に基づいて測定することによって検証され得る。加えて、ランドマークは、ユーザがスクリーンの近くにいるときに測定され得、同じランドマークは、ユーザがさらに離れたときに測定され得、割合の変化及び係数に基づいて距離を推定することができる。これは、眼検査にとって、ユーザがモニタスクリーンに投影される眼検査までの正しい距離に立っていることを確認するために非常に有益である。

【0080】

正確度を高めるために、較正測定を幾つかのステップで実行することができる。このようなアプローチは、多くの用途、特に仮想アイテムがユーザの実際の画像上に重ねられ、その仮想アイテムの大きさをスクリーン上のユーザの外観と釣り合うように適正にスケーリングすることが望ましい拡張現実を利用する用途にとって有利である。そのため、例えば、仮想試着（ＶＴＯ）の用途の場合、ユーザには、仮想アイテムがユーザに対してその釣合いの取れた大きさで見えるべきであり、例えば、ユーザに重ねられた仮想コートの大きさは、ユーザが立っているカメラからの距離におけるそのコートの実際の大きさと正しい釣合いで示されるべきである。

【0081】

図１１は、較正が複数のステップで行われる実施形態を示す。図１１は、マルチステップ較正に使用できる各種のハードウェア要素を示すが、このプロセスは、様々なハードウェア要素を使用して実行され得、図１１の図は、単に幾つかの利用可能な実装を示すために使用される。図１１の例では、カメラ１４は、ビデオスクリーン１２の上方に位置付けられる。カメラ１４及びスクリーン１２は、コントローラ１８と通信し、それにより制御される。ユーザは、モバイル機器１６、例えばカメラ付き携帯電話も有し得、これは、コントローラ１８と有線又は無線技術で通信し得る。

【0082】

初期較正プロセスでは、ユーザがスクリーン１２の近く、例えばスクリーン１２から１～３フィートの位置に立ち、ライブビデオストリームがカメラ１４からコントローラ１８に供給される。コントローラは、本明細書に記載の方法の何れかを使用して画像内の虹彩の大きさを測定し、ピクセル距離を実際の距離に変換するための初期較正係数を生成する。このような較正は、測定及びスケーリング対象の全てのアイテムがスクリーンに近接して投影されている場合に有効である。しかしながら、ユーザがスクリーンから遠くに立っている場合、虹彩の大きさの測定は、正確でなくなり、そのため、倍率が精密でない場合がある。したがって、近接位置（例えば、１～３フィート）にあるときの虹彩から得た倍率を使用して、コントローラ１８は、近接位置において、ユーザ上の２つの識別可能なスポット間の距離、例えば両耳間の距離、ＰＤ、顎底部から頭頂部までの距離等を測定する。ここで、ユーザが歩いてカメラからさらに遠ざかると、コントローラは、虹彩を識別する必要がないが、代わりに較正として２つの識別可能なスポット間の距離を使用し得、なぜなら、較正距離は、遠くからより簡単に識別され得るためである。

【0083】

追加的な任意選択のステップで較正をさらに行うことができる。第一の例では、ユーザは、ビデオフレームの底部でユーザの足が最初に見える地点まで後方に歩くように求められ得る。カメラの視野が分かっており、及びユーザ上の２地点間の距離の較正が分かっているため、ここで、ユーザの足に対するカメラの角度を使用して、カメラ１４からユーザが立っている位置までの距離を計算することができる。ここで、ユーザが後方に歩き続けると、フレーム内の足に対する角度又はフレーム上の足の垂直高さは、カメラからユーザが立っている位置までの距離を正確に計算するために使用され得る。その結果、ＶＴＯが行われるたびに、ユーザに重ねられた仮想アイテムは、カメラからユーザが立っている位置までの距離の測定値に従って適正にスケーリングされ得る。

【0084】

さらに、ユーザまでの距離は、ユーザの足に対する角度から特定され得、較正係数は、ユーザ上の２地点から得られているため、ここで、画像内に現れる各種のアイテム又は身体部分を測定することができる。例えば、ユーザの既知の距離及び２地点間の距離（例えば、ＰＤ）の較正係数を使用することで、システムは、ここで、ユーザのウエストサイズを特定することができる。さらに、本願で開示されるように、システムは、カメラに対するユーザの向きを（例えば、アバター及び静止ターゲットを使用して）特定することができるため、それ以降の測定は、測定の精度を高めるために、本明細書に記載の方向付けプロセスを使用して実行され得る。

【0085】

図１１に示される他の特徴は、変換、ミラー表示、較正、測定及び仮想現実に関するサービスを提供するためのインターネット又はクラウドコンピューティング１８１の使用である。例えば、１つの実施形態によれば、カメラ１４によって生成されたビデオに対して、ミラー画像を模倣する変換が行われ、その後、それがスクリーン１２上に表示される。この変換は、コントローラ１８又はクラウドコンピューティング１８１によって実行され得る。このような場合、カメラ１４からの供給物は、サーバ１８１に供給され得、それは、変換を適用して、モニタスクリーン１１上に表示されるようにコントローラ１８に送り返す。

【0086】

他の実施形態によれば、カメラ１４からの画像又はカメラ１４からの変換画像は、クラウドに記憶し、スマートフォン１８３、タブレット１８７及びフラットパネルＴＶ等の他のモニタスクリーン１８９等の機器にストリーミングすることができる。これは、ユーザが衣装を試着している間にリアルタイムで行うことができ、それにより、ユーザは、離れた位置にいる他の人物と体験を共有し、そこから入力を得ることができる。ユーザが店から出た後、ユーザは、スマートフォン、タブレット、ＰＣ等を使用することにより、撮影した画像の全てにアクセスすることもできる。図１１のモニタ１８９に示されるように、ユーザインタフェースを容易にするために、様々な試着のサムネイル画像を現在の画像と共に表示して、ユーザがビュー内から選択できるようにし得ることに留意されたい。

【0087】

特定の用途では、より近い距離を使用して眼検査を実行し、視野の品質を確認するか又は眼鏡の処方を承認することが望ましい。この技術は、現在１０フィート以上の距離で行われている同等又は同様のテストを、より短い距離を使用して実行することになる。この技術は、複数の回転角度における、グレイの背景でのガボールフィルタ等、グレイドメイン内の空間的ブラーの組合せを実装し、その間にユーザが近付きすぎて試験を「無効にする」ことがないように距離を常に測定する。この技術は、テストスクリーンの異なる位置へのアイテムの投影を組み合わせることもできるため、ユーザは、テストがスクリーン上の何れの箇所で行われるかを示す必要がある。各種のサイン周波数でのサイン及び角度の検出は、視野の品質及びあらゆる収差の表示である。ユーザの顔面の距離及び姿勢／視線の有効性を常に確認することにより、システムは、確実にユーザがテストを正しく行っているようにする。加えて、画像認識を使用して、システムは、テストの要求事項、例えばユーザが単に目を閉じるだけでなく、片眼ずつ手のひらで覆うこと等が適正に実行されることを確実にする。

【0088】

ある人物の視界（ＦＯＶ）も眼検査の重要な部分である。頭の距離測定を較正係数と共に使用し、ユーザの頭の姿勢を識別して、システムは、ユーザに見えるはずであるか又は見えるはずのないアイテムをスクリーン上に表示して、それにより顧客のＦＯＶを水平及び垂直に測定することができる。姿勢測定により、ユーザが正しい向き／方向に対して姿勢を取っている／凝視しているときにのみ、投影されたアイテムを検出することが確実となる。

【0089】

開示された実施形態を用いて、ユーザは、自らの眼鏡をかけて眼検査を実行することもでき、テストは、本人の視野の品質を確認し、本人の処方に何れかの変更が必要であるか否かの表示となる。このようなシナリオでは、正確度は、リアルタイムの視覚的姿勢及び距離検出並びにユーザへのフィードバックによって確保される。システムは、常にこれらのパラメータをモニタし、ユーザに対して、適正な測定を行うために自らの顔面をどのように位置付けるかを知らせ得る。加えて、視野に基づくＡＩは、顧客がテスト中に自らの眼鏡を使用するか否かを検出し、正しい方の眼を覆い、全体的に指示に従っていることを検出するために使用される。幾つかの実施形態では、距離は、ＰＤに対して眼鏡自体で測定され得る。例えば、眼鏡の１つ又は複数の大きさが短距離で検出されると、眼鏡検出は、他の距離にある眼鏡を検出して、距離及び又は姿勢を推定するために使用され得る。

【0090】

図７の実施形態では、ユーザが自らの眼鏡をかけて写真撮影されるとき、任意選択のモジュール７０５は、調整を行うために使用され得る。しかしながら、フレーム及びユーザの頭の他の特徴を識別するニューラルネットワークを使用する実施形態では、モジュール７０５は、不要であり、なぜなら、システムは、必要な調整を行うか又は計算時にそれを考慮に入れることができるためである。

【0091】

ＰＤ測定は、ユーザが眼鏡をかけていないほうがより正確でもある。しかしながら、ユーザが眼鏡をかけていなければ、ニューラルネットワーク又は他の処理を使用して、画像から物理的な眼鏡を取り除くことができる。図１２は、仮想眼鏡又は物理的眼鏡の何れかが使用されるユーザビデオストリームを扱う実施形態のブロック図である。１２００では、ビデオストリームは、仮想眼鏡をかけたユーザのものであり、１２００ａでは、ユーザは、実際の眼鏡をかけてビデオ撮影されており、そのため、システムは、ビデオストリーム内の眼鏡の表示を除去する。仮想眼鏡について、任意選択のモジュール１２０４により、ユーザは、自らの顔面で眼鏡を調整することができる。仮想眼鏡の場合、ユーザは、１２０５で異なるフレームを試着し、異なるフレームを使用して測定値を取得し得る。

【0092】

そのため、開示される実施形態は、身体測定のためのシステムを含み、これは、デジタルスクリーンと、ユーザのビデオストリームを生成するように位置付けられたビデオグラバーと、ビデオストリームのフレーム内のピクセル長さをビデオストリームのフレーム内に現れるオブジェクトの実際の長さと相関させる長さ毎ピクセル係数を生成する較正モジュールと、デジタルスクリーンに投影されたビデオストリームのフレーム上に重ねられるグラフィカルターゲットを投影する整合モジュールであって、ビデオストリームのフレーム内に現れるユーザのアバターを生成することと、アバターを、デジタルスクリーンに投影されたビデオストリームのフレーム上に重ねることとをさらに行う整合モジュールと、較正モジュールから受け取られた長さ毎ピクセル係数と、アバターが整合モジュールからのグラフィカルターゲットと整合したという表示とを利用して、ユーザの身体測定値を計算する測定モジュールとを含む。較正モジュールは、ビデオストリームのフレーム内に現れるユーザの虹彩の測定値を使用して長さ毎ピクセル係数を生成し得る。較正モジュールは、仮想円を虹彩の上にフィットさせ、仮想円の直径を虹彩の測定値として使用することによって虹彩の測定値を取得し得る。整合モジュールは、ビデオストリームのフレーム内に現れるユーザの頭に対応する３次元回転楕円体の形態のアバターを構成し得、ビデオストリームの次のフレーム内に現れるユーザの頭の向きを識別するステップと、アバターをデジタルスクリーン上のユーザの頭の向きに対応する投影向きに投影するステップとを繰り返し実行し得る。整合モジュールは、ビデオストリーのフレーム内に現れるユーザの頭の動きを継続的に追跡し、対応する動きをデジタルスクリーンに投影されたアバターに付与し得る。整合モジュールは、アバターがグラフィカルターゲットと整合したときに必ず静止画像を記憶し得る。

【0093】

前述のシステムは、仮想眼鏡フレームを、ビデオストリームのフレーム内に現れるユーザの顔面の上にデジタル式に重ねる仮想現実モジュールをさらに含み得る。測定モジュールは、ビデオストリームのフレーム内に現れるユーザの眼の瞳孔間距離、及び／又はビデオストリームのフレーム内に現れるユーザの眼の光学中心高さ、及び／又はビデオストリームのフレーム内に現れるユーザの眼の小玉高さを計算し得る。

【0094】

上述のシステムは、仮想眼鏡フレームを、ビデオストリームのフレーム内に現れるユーザの眼面上にデジタル式に重ねる仮想現実モジュールをさらに含み得、測定モジュールは、仮想眼鏡フレームを使用して小玉高さを計算する。仮想現実モジュールは、長さ毎ピクセル係数を使用して眼鏡フレームをスケーリングし得る。

【0095】

上述のシステムは、デジタルスクリーンにグラフィカルオーバレイを投影する調整モジュールをさらに含み得、グラフィカルオーバレイは、測定モジュールの測定点に対応し、調整モジュールは、デジタルスクリーン上でグラフィカルオーバレイを移動させることを可能にするユーザインタフェースをさらに投影する。計算モジュールは、ユーザインタフェースが、グラフィカルオーバレイを移動させるために操作されたときには常に身体測定値を再計算し得る。

【0096】

上述のシステムは、ビデオストリームのフレーム内に現れる眼鏡フレームに属する全てのピクセルを識別するセグメンテーションモジュールをさらに含み得る。較正モジュールは、眼鏡フレームの記憶されたデータを使用して係数を生成し得る。測定モジュールは、４つの画像、すなわち眼鏡をかけていないユーザの画像、眼鏡をかけているユーザの画像、眼鏡のアルファチャネルのみ及び眼鏡のＲＧＢ画像のみを生成し得る。較正モジュールは、カメラからのユーザの距離をさらに推定し得る。ユーザの距離は、ユーザの虹彩の測定値を使用して計算され得る。

【0097】

そのため、本開示の態様は、第一のデジタル画像のための較正係数を生成することを含み、計算係数は、ピクセル長さと物理的長さとの間の変換を提供し、較正係数を使用して、第一のデジタル画像内に現れる２つのランドマーク間の物理的距離として表現される較正長さを取得する。さらに、較正長さは、第二のデジタル画像内の２つのランドマークを識別し、第二のデジタル画像内の２つのランドマーク間のピクセル長さを測定することにより、第二のデジタル画像のための第二の較正係数を生成するために使用され、較正長さとピクセル長さとの比を取ることにより、第二の較正係数が生成される。さらに、カメラから第二のデジタル画像内のランドマークまでの距離は、第一及び第二の較正係数の比を使用して取得される。実際に、ルックアップテーブルを記憶することができ、第一及び第二の較正係数間の比がカメラからの距離と相関される。

【0098】

上述のシステム／回路／モジュールは、幾つかのコンポーネント／ブロック間の相互作用に関して説明されている。このようなシステム／回路及びコンポーネント／ブロックは、これらのコンポーネント若しくは明示されたサブコンポーネント、明示されたコンポーネント若しくはサブコンポーネントの幾つか及び／又は追加的なコンポーネントをそれらの各種の順列及び組合せに従って含み得ることが理解され得る。サブコンポーネントは、コンポーネント内に含まれる（階級的）のではなく、他のコンポーネントに通信可能に連結されるコンポーネントとしても実装され得る。加えて、１つ又は複数のコンポーネントは、組み合わせて集合的な機能性を提供する１つのコンポーネントに組み合わされるか又は幾つの別々のサブコンポーネントに分割され得、統合された機能を提供するために、このようなサブコンポーネントに通信可能に連結される、管理層等の何れかの１つ又は複数の中間層も提供され得ることに留意されたい。本明細書に記載の何れのコンポーネントも、本明細書に明確に記載されていないが、当業者に知られている１つ又は複数の他のコンポーネントとも相互作用し得る。

【図1A-1C】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A-8D】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】