特表 2024-517839 ユーザ頭部モデルのスケール化を実施するための基準物体３Ｄモデルの生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-23

(54)【発明の名称】ユーザ頭部モデルのスケール化を実施するための基準物体３Ｄモデルの生成

(51)【国際特許分類】

   G02C 13/00 20060101AFI20240416BHJP

【ＦＩ】

G02C13/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023568074

(86)(22)【出願日】2022-05-03

(85)【翻訳文提出日】2023-12-15

(86)【国際出願番号】 US2022027524

(87)【国際公開番号】W WO2022235709

(87)【国際公開日】2022-11-10

(31)【優先権主張番号】63/183,396

(32)【優先日】2021-05-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】523413666

【氏名又は名称】ディット・テクノロジーズ・インコーポレーテッド

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(72)【発明者】

【氏名】セリバノフ，オレグ

(72)【発明者】

【氏名】ハワース，トレバー・ノエル

(72)【発明者】

【氏名】クルカルニ，アムルタ・ラジェンドラ

【テーマコード（参考）】

2H006

【Ｆターム（参考）】

2H006DA05

(57)【要約】

本明細書における方法及びシステムは、ユーザの頭部及び基準物体を示す画像セットを得、画像セットに少なくとも部分的に基づき、ユーザの頭部のユーザ頭部モデルを生成し、画像セットに少なくとも部分的に基づき、基準物体の基準物体モデルを生成するように構成されるプロセッサを含み得る。プロセッサは、画像セット内のユーザの頭部に対する基準物体の相対的な場所に少なくとも部分的に基づき、基準物体モデルの向き及びサイズを決定し、基準物体モデル、基準物体モデルの向き、基準物体のサイズ、及び基準物体の既知の寸法を使用し、スケール化情報を決定するように更に構成し得る。次に、プロセッサは、スケール化ユーザ頭部モデルを得るため、スケール化情報をユーザ頭部モデルに適用するように構成し得る。システムは、プロセッサに連結され、プロセッサに命令を与えるように構成されたメモリも含み得る。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

命令を含むメモリと、
プロセッサと
を備えるシステムであって、前記プロセッサは、前記命令にアクセスした際、
ユーザの頭部及び基準物体を示す画像セットを得、
前記画像セットに少なくとも部分的に基づき、ユーザ頭部モデルを生成し、
前記画像セットに少なくとも部分的に基づき、基準物体モデルを生成し、
前記画像セット内の前記ユーザの頭部に対する前記基準物体の場所に少なくとも部分的に基づき、前記基準物体モデルの向き及びサイズを決定し、
スケール化情報を決定するため、前記基準物体モデル、前記基準物体モデルの向き、前記基準物体のサイズ、及び前記基準物体の既知の寸法を使用し、
スケール化ユーザ頭部モデルを得るため、前記スケール化情報を前記ユーザ頭部モデルに適用する
ように構成される、システム。

【請求項2】

前記画像セットは、第１の画像セットを含み、
前記プロセッサは、前記基準物体ではなく、前記ユーザの頭部を示す第２の画像セットを受信するように更に構成され、
前記ユーザ頭部モデルは、前記第２の画像セットに少なくとも部分的に基づき更に生成される、請求項１に記載のシステム。

【請求項3】

前記基準物体は、標準サイズ又は既知の寸法に関連する、請求項１に記載のシステム。

【請求項4】

前記画像セット内の前記ユーザの頭部に対する前記基準物体の場所は、所定の場所である、請求項１に記載のシステム。

【請求項5】

前記基準物体モデルの向きを決定するため、前記プロセッサは、
前記画像セット内の前記ユーザの頭部に対する前記基準物体の場所に対応する、前記ユーザの頭部の一部分の顔特徴モデルを生成し、
前記ユーザの頭部の一部分の前記顔特徴モデルを使用して、前記基準物体モデルの向きを決定する
ように更に構成される、請求項１に記載のシステム。

【請求項6】

前記プロセッサは、前記画像セットの少なくとも１つの画像における前記基準物体の場所を決定するように更に構成される、請求項１に記載のシステム。

【請求項7】

前記プロセッサは、前記画像セットの少なくとも１つの画像における顔の重要点を決定するように更に構成される、請求項１に記載のシステム。

【請求項8】

前記ユーザ頭部モデル及び前記基準物体モデルは、同じ座標系内にある、請求項１に記載のシステム。

【請求項9】

前記プロセッサは、
前記スケール化ユーザ頭部モデル上に、めがねフレーム・モデルを置き、
前記ユーザの頭部に関連する顔測定値セットを決定するため、前記めがねフレーム・モデルに関連する保存した測定情報、及び前記スケール化ユーザ頭部モデル上の前記めがねフレーム・モデルの配置を使用する
ように更に構成される、請求項１に記載のシステム。

【請求項10】

前記プロセッサは、少なくとも１つの顔測定値に対応するそれぞれの信頼レベル又は精度区分を決定するように更に構成される、請求項９に記載のシステム。

【請求項11】

前記プロセッサは、
前記顔測定値セットと、前記めがねフレーム・セットの保存した寸法とを比較し、
前記比較に少なくとも部分的に基づき、ユーザ・インターフェースに１つ又は複数の推奨めがねフレームを出力する
ように更に構成される、請求項９に記載のシステム。

【請求項12】

前記プロセッサは、
推奨めがねフレーム・セットを得るため、前記顔測定値セットを機械学習ベースのモデルに入力し、
前記推奨めがねフレーム・セットをユーザ・インターフェースに出力する
ように更に構成される、請求項９に記載のシステム。

【請求項13】

ユーザの頭部の捕捉画像をスケール化する方法であって、前記方法は、
ユーザの頭部及び基準物体を示す画像セットを得ることと、
前記画像セットに少なくとも部分的に基づき、ユーザ頭部モデルを生成することと、
前記画像セットに少なくとも部分的に基づき、基準物体モデルを生成することと、
前記画像セット内の前記ユーザの頭部に対する前記基準物体の場所に少なくとも部分的に基づき、前記基準物体モデルの向き及びサイズを決定することと、
スケール化情報を決定するため、前記基準物体モデル、前記基準物体モデルの向き、前記基準物体のサイズ、及び前記基準物体の既知の寸法を使用することと、
スケール化ユーザ頭部モデルを得るため、前記スケール化情報を前記ユーザ頭部モデルに適用することと
を含む、方法。

【請求項14】

前記画像セットは、第１の画像セットを含み、
前記方法は、前記基準物体ではなく、前記ユーザの頭部を示す第２の画像セットを受信することと、
前記第２の画像セットに少なくとも部分的に基づき、前記ユーザ頭部モデルを生成することと
を更に含む、請求項１３に記載の方法。

【請求項15】

前記基準物体は、標準サイズ又は既知の寸法に関連する、請求項１３に記載の方法。

【請求項16】

前記画像セット内の前記ユーザの頭部に対する前記基準物体の場所に対応する、前記ユーザの頭部の一部分の顔特徴モデルを生成することと、
前記ユーザの頭部の一部分の前記顔特徴モデルを使用して、前記基準物体モデルの向きを決定することと
を更に含む、請求項１３に記載の方法。

【請求項17】

前記ユーザ頭部モデル及び前記基準物体モデルは、同じ座標系内にある、請求項１３に記載の方法。

【請求項18】

前記スケール化ユーザ頭部モデル上に、めがねフレーム・モデルを置くことと、
前記ユーザの頭部に関連する顔測定値セットを決定するため、前記めがねフレーム・モデルに関連する保存した測定情報、及び前記スケール化ユーザ頭部モデル上の前記めがねフレーム・モデルの配置を使用することと
を更に含む、請求項１３に記載の方法。

【請求項19】

推奨めがねフレーム・セットを得るため、顔測定値セットを機械学習ベースのモデルに入力することを更に含む、請求項１３に記載の方法。

【請求項20】

命令を含むメモリと、
プロセッサと
を備えるシステムであって、前記プロセッサは、前記命令にアクセスした際、
ユーザの頭部及び基準物体を示す画像セットを得、
前記画像セットに少なくとも部分的に基づき、ユーザ頭部モデルを生成し、
前記画像セットに少なくとも部分的に基づき、基準物体モデルを生成し、
前記画像セット内の前記ユーザの頭部に対する前記基準物体の場所に少なくとも部分的に基づき、前記基準物体モデルの向き及びサイズを決定し、
スケール化情報を決定するため、前記基準物体モデル、前記基準物体モデルの向き、前記基準物体のサイズ、及び前記基準物体の既知の寸法を使用し、
スケール化ユーザ頭部モデルを得るため、前記スケール化情報を前記ユーザ頭部モデルに適用する
ように構成され、前記基準物体モデルの向きを決定するため、前記プロセッサは、前記画像セット内の前記ユーザの頭部に対する前記基準物体の場所に対応する、前記ユーザの頭部の一部分の顔特徴モデルを生成し、前記ユーザの頭部の一部分の前記顔特徴モデルを使用して前記基準物体モデルの向きを決定するように更に構成される、システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年５月３日出願の米国仮特許出願第６３／１８３，３９６号に対する優先権を主張し、当該出願の開示は、その全体が本願の参照によって本明細書内に組み込まれる。

【背景技術】

【0002】

ユーザの体、より詳細にはユーザの頭部のスケール化は、評価及び選択のために製品をユーザの仮想表現にフィットさせる仮想試着環境で日常的に実施されている。そのようなモデルは、患者の眼鏡の適切なフィット性を決定するために使用し得る。めがねを購入しようとする人は、従来、検眼士又はアイウェア店舗に自ら赴き、いくつかのめがねフレームを試着し、めがねフレームのフィット性及び仕上がりを判断する必要がある。典型的には、このことは、幾列ものめがねフレームを眺め、多くのめがねフレームを試着するという数時間を必要とし、この試着時間の大部分では、特定のめがねフレームがフィットするか否かは事前に分からない。めがねフレームは、大部分の人々にフィットするように設計されているが、全ての頭部が同じサイズではないため、全てのめがねが１人にフィットするわけではない。更に、めがねフレームは、着用者の視力を矯正する機能的な目的を有するだけでなく、美観的な目的も有し、このため、選択工程の間に考慮すべき他の要因を追加する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

フィット性及び仕上がりを考慮する際、ユーザの仮想頭部及び製品の正確なスケール化が可能であることは、効率的で正確な体験への基礎となる。必要とされるのは、めがねフレームを人々により効率的にフィットさせる方法である。したがって、視力矯正レンズのユーザ及び製造業者は、患者への処方レンズのフィット性を改善する、新規で改善されたデバイス、システム及び方法を探し続けている。

【課題を解決するための手段】

【0004】

本明細書で開示する実施形態は、ユーザ頭部モデルのスケール化を実施するための基準物体モデルの生成に関する。一例では、システムは、ユーザの頭部及び基準物体の画像セットを得るように構成されたプロセッサを含み得る。プロセッサは、画像セットに少なくとも部分的に基づき、ユーザ頭部モデルを生成し、画像セットに少なくとも部分的に基づき、基準物体モデルを生成し得る。いくつかの例では、プロセッサは、画像セット内のユーザの頭部に対する基準物体の相対的な場所に少なくとも部分的に基づき、基準物体モデルの向き及びサイズを決定し、基準物体モデル、基準物体モデルの向き、基準物体のサイズ、及び基準物体の既知の寸法を使用し、スケール化情報を決定するように構成し得る。更に、プロセッサは、ユーザ頭部モデルのスケール化バージョンを得るため、決定されたスケール化情報をユーザ頭部モデルに適用するように構成し得る。システムは、プロセッサに連結され、プロセッサに命令を与えるように構成されたメモリも含み得る。

【0005】

いくつかの例では、画像セットは、第１の画像セットを含み、プロセッサは、基準物体ではなく、ユーザの頭部を示す第２の画像セットを受信するように更に構成され、ユーザ頭部モデルは、第２の画像セットに少なくとも部分的に基づき更に生成される。いくつかの例では、基準物体は、標準サイズ又は既知の寸法に関連する。基準物体モデルの向きの決定は、画像セット内のユーザの頭部に対する基準物体の場所に対応する、ユーザの頭部の一部分の顔特徴モデルを生成することと、ユーザの頭部の一部分の顔特徴モデルを使用して基準物体モデルの向きを決定することとを含み得る。

【0006】

いくつかの例では、プロセッサは、画像セットの少なくとも１つの画像内の基準物体の場所を決定するように更に構成し得る。プロセッサは、画像セットの少なくとも１つの画像内の顔の重要点を決定するように更に構成し得る。いくつかの例では、ユーザ頭部モデル及び基準物体モデルは、同じ座標系内にある。

【0007】

いくつかの例では、プロセッサは、スケール化ユーザ頭部モデル上にめがねフレーム・モデルを置き、めがねフレーム・モデルに関連する保存した測定情報、及びスケール化ユーザ頭部モデル上のめがねフレーム・モデルの配置を使用し、ユーザの頭部に関連する顔測定値セットを決定するように更に構成し得る。いくつかの例では、プロセッサは、少なくとも１つの顔測定値に対応するそれぞれの信頼レベル又は精度区分を決定するように更に構成し得る。

【0008】

いくつかの例では、プロセッサは、顔測定値セットと、めがねフレーム・セットの保存した寸法とを比較し、比較に少なくとも部分的に基づき、１つ又は複数の推奨めがねフレームをユーザ・インターフェースに出力するように更に構成し得る。いくつかの例では、プロセッサは、顔測定値セットを機械学習ベースのモデルに入力し、推奨めがねフレーム・セットを得、推奨めがねフレーム・セットをユーザ・インターフェースに出力するように更に構成し得る。

【0009】

開示する実施形態のいずれかからの特徴は、限定せずに、互いに組み合わせて使用し得る。更に、本開示の他の特徴及び利点は、以下の詳細な説明及び添付の図面を考慮することにより、当業者にとって明らかになるであろう。

【0010】

図面は、本開示のいくつかの実施形態を示し、同じ参照番号は、様々な図面又は図示の実施形態における同じ又は同様の要素又は特徴を指す。

【図面の簡単な説明】

【0011】

【図1A】一実施形態による、ユーザの頭部にフィットするめがねフレームを選択する方法の流れ図である。

【図1B】一実施形態による、ユーザの頭部にフィットするめがねフレームを選択するシステムの一例を示す図である。

【図2A】一実施形態による、めがねフレームに関連する測定値の一例を示す図である。

【図2B】一実施形態による、めがねフレームに関連する他の測定値の一例を示す図である。

【図3】一実施形態による、ユーザの頭部上の基準点の例示的セットの図である。

【図4】一実施形態による、ユーザの頭部の画像及び／又はビデオ・フレームを適切にスケール化し、めがねに適切にフィットさせるために必要な基準物体の一例の図である。

【図5】一実施形態による、ユーザの頭部に関連する顔測定値セットを決定する方法の流れ図である。

【図6A】一実施形態による、ユーザの頭部の画像／ビデオ・フレーム・セットから得られる基準点の一例の図である。

【図6B】一実施形態による、ユーザの頭部の横顔画像／ビデオ・フレーム・セットから得られる基準点の一例の図である。

【図6C】一実施形態による、基準点セットを含む最初の３Ｄモデルを示す図である。

【発明を実施するための形態】

【0012】

本明細書で開示する実施形態は、ユーザ頭部モデルのスケール化を実施するための基準物体モデルの生成に関する。本発明の例示的システム及び方法は、眼鏡フレームの仮想試着に関連して、ユーザの頭部をスケール化する状況で説明し、本明細書で開示する教示及び方法は、任意の数の身体部位又は特徴部のスケール化に関連して適切に使用し得、任意の数の製品の試着に関連して使用し得る。眼鏡の試着に関連して使用される場合、矯正レンズの多数のユーザは、いくつかの要因のために、めがね等のユーザの処方レンズの調節が必要とされる。本開示の実施形態は、ユーザに不便をかけないシステムを使用して、ユーザの頭部又は他の身体部位の測定値及び正確なモデルを得るために使用されるシステム及び方法に関する。

【0013】

本明細書で使用するこれらの実装形態、又は本発明が取り得る任意の他の形態を、技法と呼び得る。概して、開示される工程ステップの順序は、本発明の範囲内で変更し得る。別段に記載されていない限り、あるタスクを実施するように構成されるものとして説明されるプロセッサ又はメモリ等の構成要素は、所与の時間で当該タスクを実施するために一時的に構成される一般的な構成要素として実装しても、当該タスクの実施のために製造される特定の構成要素として実装してもよい。本明細書で使用する用語「プロセッサ」は、コンピュータ・プログラム命令等のデータを処理するように構成される１つ又は複数のデバイス、回路及び／又は処理コアを指す。

【0014】

本発明の１つ又は複数の実施形態の詳細な説明を、本発明の原理を示す添付の図面と共に以下に提供する。本発明をそのような実施形態に関連して説明するが、本発明は、あらゆる実施形態に限定されない。本発明の範囲は、特許請求の範囲のみによって限定され、本発明は、多数の代替、修正及び等価物を包含する。多数の具体的な詳細は、本発明の完全な理解をもたらすように、以下の説明に示す。これらの詳細は、例のために提供され、本発明は、これらの具体的な詳細の一部又は全てを伴わずに特許請求の範囲に従って実行し得る。明快にする目的で、本発明に関連する技術分野内で公知である技術的材料は、本発明を不必要に曖昧にしないように詳細に説明していない。

【0015】

画像内でユーザの顔上に標準サイズのカードを持つユーザを示す画像に基づき、ユーザ頭部モデルに適用されるスケールを決定する典型的な方法は、所望の通りほど正確ではないことがある。捕捉画像は、２次元情報のみを保持し得るため、標準サイズのカードのサイズ及び向きを含む画像内の物体の真のサイズ及び向きは、確かめることができない。この理由は、標準サイズのカード（クレジット・カード等）が、カードの傾き又は向きに応じて異なるサイズを有するように見えるためである。したがって、２次元画像内でカードの見かけのサイズと、ユーザ頭部の見かけのサイズを比較することは、ユーザ頭部モデルのスケールを正確に決定するのに十分に正確ではないことがある。

【0016】

瞳孔間距離（「ＰＤ」と呼ばれることがある）等の処方めがねの注文に使用される測定値の一部、及び小玉の高さは、正確なスケール決定を必要とし、画像内の２Ｄの標準サイズのカードの分析によっては、正確なスケール決定をもたらさないことがある。高度処方めがねを注文するためのＰＤの理想的な精度は、±１ｍｍであり、このレベルの精度は、ユーザが持つ標準サイズのカードに傾きがもたらされると、また、カードの位置に対してユーザの頭部に傾きがあれば、容易に劣化し得る。更に、レンズの底部から瞳孔の中心までの測定値を含む小玉の高さ等の測定値は、３次元（３Ｄ）でユーザの頭部上にめがねを正確に配置することを必要とする。小玉の高さの決定は、単純な２Ｄ画像ベースの手法によっては達成できない。したがって、ユーザ頭部に沿って測定値を決定するより正確な技法が必要とされる。基準物体の向きを解釈し、次に、ユーザ頭部モデルのスケール化を実施するための、基準物体の３Ｄモデルを生成する例を本明細書で説明する。

【0017】

図１Ａは、ユーザの頭部にフィットするめがねフレームを選択する方法を示すフロー・チャートである。いくつかの例では、方法は、プロセッサを含むシステムによって実施される。プロセッサは、方法を実施するように構成し得る。ステップ１１０において、ユーザの頭部及び基準物体（例えば、標準サイズのカード）を示す画像セットを得る。言い換えれば、ユーザの頭部の画像上で、画像は、標準サイズのカードも示し、次に、システムは、カードのいくつかの特徴部の場所（カードの下側の角）を検出する。基準物体は、ユーザの頭部に対して指示された及び／又は所定の場所で保持し得る。いくつかの例では、ユーザに基準物体を置くように指示し得る所定の場所は、ユーザの額の上又はユーザの鼻の下とし得る。いくつかの例では、１１０において、ユーザの頭部のビデオ又は複数のビデオ・フレームを受信し得る。いくつかの実施形態では、ビデオは、（例えば、カメラに面する正面画像に対して少なくとも一方向に）頭の向きを変えているユーザを含み得る。ステップ１１２において、ユーザ頭部モデルは、少なくとも部分的に、ステップ１１０で得られた画像セットを使用して生成される。いくつかの実施形態では、ステップ１１２において、ユーザ頭部モデルは、ビデオ又は複数のビデオ・フレームから生成し得る。ステップ１１４において、基準物体モデルも生成し得る。基準物体モデルは、画像セット上に示される基準物体に少なくとも部分的に基づき生成される。ステップ１１６において、システムは、画像セット内のユーザの頭部に対する基準物体の相対的な場所に少なくとも部分的に基づき、基準物体の向き及びサイズを決定する。

【0018】

標準サイズのカードの既知の物理的寸法（例えば、長さ及び幅）、及びユーザの頭部の特徴部（複数可）の検出点を使用して、スケール係数を計算し得る。いくつかの例では、ステップ１１８において、システムは、基準物体モデル、基準物体モデルの向き、基準物体のサイズ、基準物体の既知の寸法を使用し、スケール化情報を決定し得る。例えば、基準物体がクレジット・カードである場合、スケール比は、クレジット・カード３Ｄモデルの決定された幅を、クレジット・カードの既知の物理的なカード幅により割ることによって決定し得る。次に、スケール比をユーザの３Ｄ頭部モデルに適用し、ユーザの頭部の実際の寸法に対するユーザ頭部３Ｄモデルをスケール化し得る。

【0019】

様々な例では、全ての向きは、画像を捕捉するカメラに対して決定される。様々な例では、カメラに対するユーザ３Ｄ頭部モデルの向きは、既知である。したがって、カメラに対する基準３Ｄ物体モデルの向きを決定した後、ユーザ３Ｄ頭部モデルに対する基準３Ｄ物体モデルの向きも決定し得る。カメラへの向き及び３Ｄ頭部への向きの両方は、以下で更に詳細に説明する最適化工程の一部として使用される。ステップ１２０において、システムは、スケール化情報をユーザ頭部モデルに適用し、スケール化ユーザ頭部モデルを得ることができる。

【0020】

言い換えれば、システムへの入力は、ユーザの頭部及び基準物体を伴う少なくとも１つの画像セットを含み得る。任意に、ユーザの頭部を伴うが、基準物体を伴わない画像セットを含めることもできる。いくつかの例では、次に、基準物体の３Ｄモデル生成システムは、少なくとも、以下を実施する：（１）利用可能な入力画像を使用してユーザ頭部３Ｄモデルを生成する、（２）基準物体を伴う画像の少なくとも１つにおける基準物体の２Ｄ場所を検出する。例えば、基準物体が標準サイズのクレジット・カードであった場合、クレジット・カードの場所を検出するため、クレジット・カードの４つの角を所与の画像内で検出し得る、（３）基準物体及びユーザの頭部の相対的な場所は、既知である。というのは、基準物体をユーザの頭部に対して特定／所定の領域に置くようにユーザに指示してあるためである。例えば、ユーザの額の上又は鼻の下（及び唇の上）に基準物体を置くようにユーザに指示される。ユーザの頭部に対する基準物体の既知の場所が、３Ｄ空間内に２つの物体の正確な再構成をもたらすように、ユーザの頭部に対する基準物体の相対的な場所を制限することが有利であり得る。この例示的な工程は、常に、物体の一方がより大きい又はカメラにより近い等の自由度があることを考慮する。

【0021】

様々な実施形態では、ユーザ頭部３Ｄ（例えば、メッシュ）モデルは、３Ｄ空間内に（標準サイズ及び／又は既知の寸法の）基準物体３Ｄ（例えば、メッシュ）モデルと共に正確な向きで生成し得る。例えば、基準物体は、コンパクト・ディスク（ＣＤ）又は標準サイズのカード（例えば、クレジット・カード若しくは図書館カード）とし得る。ユーザ頭部３Ｄモデルを、正確な向きを伴う基準物体３Ｄモデルと共に生成するため、様々な実施形態では、ユーザの顔の向きを変える画像セットを、ユーザが基準物体をユーザの顔上に持つ画像セットと共に得ることができる。全てのこれらの画像内の情報を組み合わせることによって、正確なユーザ頭部３Ｄモデル、各画像内のユーザの頭部の向き、及び更に正確な向きを伴う基準物体３Ｄモデルを生成し得る。いくつかの例では、頭の向きを変える画像及び基準物体の画像は、同時に収集する必要はない。しかし、いくつかの例では、異なる時間で捕捉された画像にわたる照明の変化、又は同様の要因は、決定される３Ｄモデル及び向きの精度に影響を与えることがある。

【0022】

１つの例示的実施形態によれば、基準３Ｄ物体モデルは、再構成最適化（又は訓練されたニューラル・ネットワーク／他の手法）における特定の形態の損失関数を使用して再構成され、損失関数とは、ユーザの額（又は基準物体を置くようにユーザに指示されたユーザの頭部に対する別の所定の場所）から外れるくらい遠い基準物体ほどペナルティが科されるものである。例えば、基準物体であるクレジット・カードをユーザの額に置くようにユーザに指示したと仮定する。１つの例示的工程では、顔の特徴モデル（例えば、３Ｄ球体）をユーザ３Ｄ頭部モデル上の額領域にフィットさせ、次に、最適化工程を使用し、クレジット・カードが適切な配置で球体の表面に接触するようなクレジット・カード３Ｄモデルの正確な向きを発見し得る。この例示的モデル化シーケンスによれば、以下は、基準物体がユーザの額上に置かれることが既知である場合、顔特徴モデル（この特定の例では、３Ｄ球体）をユーザ３Ｄ頭部モデルの額領域にフィットさせるための特定の例示的工程である。３Ｄ球体の中心及び半径は、球体の表面が、額に近い頭部モデルの表面と最適に一致するように決定される。より技術的な条件では、３Ｄ球体は、ユーザの額から標本化した３Ｄ点セットにフィットされ、当該球体の表面と標本化３Ｄ点との間の距離を最小化する。カードは、額に接して置くべきであることが既知であるが、このことにより、カードが球体に接して置かれているかどうかを決定する計算を、実際のユーザ頭部３Ｄ頭部モデルよりも容易にする。最適化工程は、カードの角が、画像内で検出されたカードの角と良好に整列され、カードが、（額の代理として働く）球体に可能な限り近くに接して置かれるようなカードのスケール／向きを発見するために使用し得る。いくつかの実施形態では、基準物体のサイズ（又は幅）は、スケール比の決定に直接使用される。しかし、基準物体の向きが既知でない場合（例えば、基準物体がカメラに対して傾いており、傾きが既知ではない場合、基準物体は実際の大きさと同じではないように見える）、基準物体のサイズを正確に決定することが困難である。したがって、様々な実施形態では、基準物体のサイズ及び向きの両方が同時に決定され、基準物体のサイズが、基準物体の傾きを正確に考慮することを確実にする。

【0023】

図１Ｂは、ユーザの頭部にフィットするめがねフレームを選択するシステムの一例を示す図である。ユーザ１３０は、プロセッサを有するシステムと通信するカメラ１３２又はウェブカムの前におり、プロセッサは、ユーザ頭部のビデオ・フレーム及び／又は画像を捕捉するアプリケーションを稼働させる。いくつかの実施形態では、捕捉されたビデオ・フレーム及び／又は画像は、ネットワーク１３６（例えば、ＷＩＦＩ、セルラー、Ｂｌｕｅｔｏｏｔｈ、ワイヤレス送信システム又はローカル・エリア・ネットワーク）を通じて伝達される。インターフェース１３８は、ビデオ・フレーム及び／又は画像を受信する。いくつかの実施形態では、ビデオ・フレーム及び／若しくは画像を捕捉する、若しくはめがねをユーザにフィットさせるアプリケーション、又はこのアプリケーションの部分は、１つ又は複数のプロセッサ上で実行され、クライアント、又はサーバ、又はクライアントとサーバとの組合せ上に位置し得る。いくつかの例では、カメラ１３２及び計算デバイス１３４は、個別要素であっても、スマートフォン、タブレット、ラップトップ、デスクトップ・コンピュータ等の一体型デバイスであっても、カメラを含む任意の他の計算デバイスであってもよい。更に、図１Ｂでは、捕捉画像及びデータは、ネットワーク１３６上で処理デバイスに伝達するものとして示されるが、計算及びモデル生成は、いくつかの例では、計算デバイス１３４によってローカルに実施し得ることは理解されよう。

【0024】

図１Ｂに戻ると、３Ｄモデル生成器１４０は、受信した様々な角度のユーザの頭部のビデオ／画像からユーザの頭部測定値及び３次元（３Ｄ）モデルを決定し得る。３Ｄモデルは、以下：ユーザの頭部の画像／ビデオ・フレーム、ユーザの頭部の基準点、ユーザの頭部測定値、及び回転／平行移動行列セットの１つ又は複数を含み得る。いくつかの例では、３Ｄモデルは、ユーザの頭部に関連する基準点のみを含む。いくつかの例では、最初の３Ｄモデルは、受信したビデオ・フレーム／画像のサブセットから最初に得られる。この場合、最初の３Ｄモデルは、受信したビデオ・フレーム／画像からの追加情報を組み込む反復アルゴリズムを使用して、調節３Ｄモデルに調節し得る。

【0025】

いくつかの例では、画像は、クライアント・コンピュータで捕捉され、インターネット上でサーバに送信され、画像を処理し、ユーザ頭部３Ｄモデルを生成する。いくつかの実施形態では、クライアント・コンピュータは、ユーザ頭部３Ｄモデルを生成し、３Ｄモデルをネットワーク（インターネット等）上で送信し、ユーザにフィットするめがねを選択し得る。様々なタスクが様々なプロセッサ又は様々な場所で実行される他の実施形態も、本発明の例示的システム及び方法の範囲内に含まれる。いくつかの例では、図１Ａのステップ１１０において、スケール化基準は、ビデオ及び／又は画像を得る際にユーザの頭部と共に捕捉される。例えば、スケール化基準をユーザの手に持つようにユーザに指示し、ユーザの画像は、スケール化基準と共に捕捉され、ユーザの頭部測定値を適切にスケール化し、めがねフレームをユーザにフィットさせる。いくつかの例では、スケール化基準は、ビデオ・フレーム／画像内の何かの標準単位の測定値（例えば、瞳孔間距離）であり、ユーザによって入力される。いくつかの実施形態では、カメラは、スケール化基準を伴って又は伴わずに、捕捉されたユーザのビデオ／画像を使用して較正される。比較エンジン１４２は、３Ｄモデルからのユーザの頭部測定値を、めがねフレーム情報データベース１４４と比較する。いくつかの例では、１つ又は複数のめがねフレームは、システムによって計算されるフィット性スコアに基づき選択し得る。

【0026】

いくつかの実施形態では、めがねフレーム情報は、フィット性スコアを含む。いくつかの例では、ユーザに適合するように決定された１つ又は複数のめがねフレームは、リスト又は順序付きリスト内に表示され、リスト又は順序付きリストは、フィット性スコア、並びに／又はユーザ及び／若しくはリスト内のめがねフレームに関連する１つ若しくは複数の他の属性に関連する。いくつかの実施形態では、選択されるめがねの少なくとも１つは、ユーザに関連する画像上にレンダリングされる。いくつかの実施形態では、選択されるめがねの少なくとも１つは、ユーザの３Ｄインタラクティブ・モデル上にレンダリングされる。これにより、ユーザは、選択されためがねをかけたユーザがどのように見えるかを見ることが可能になる。いくつかの実施形態では、このことにより、ユーザは、物理的な店舗の訪問を必要とせずに、めがねの購入をより容易に判断することが可能になる。

【0027】

図２Ａは、眼鏡フレームに関連する測定値の一例を示す図である。めがねフレーム２００は、めがねフレームに関連する距離を得るために測定し得る。いくつかの例では、関連する距離は、ブリッジの長さ２１０、レンズの直径２１２及びテンプルの距離２１４である。いくつかの実施形態では、（例では図示しない）フレームの全幅も測定される。ブリッジの長さ２１０は、めがねフレームの２つのレンズの間の距離である。レンズの直径２１２は、レンズの一方の直径である。テンプルの距離２１４は、レンズの角から、ユーザの耳を越えて行くテンプル先端上の屈曲部までのめがねフレームのアームの長さである。他の実施形態では、他の距離をめがねフレームから測定し得る。様々な例では、距離を表現する他の方法、例えば、３Ｄ座標系における距離のそれぞれの終了点の位置、共通開始点からの長さ及びオフセット、又はめがねの各線を表す点の配列を保存し得る。

【0028】

図２Ｂは、眼鏡フレームに関連する他の測定値の一例を示す図である。めがねフレームに関連する他の測定値は、レンズの高さ２５０、レンズの垂直オフセット２５２、ブリッジの頂点位置２５４、ブリッジの高さ、鼻パッドの長さ及び位置２５６、鼻パッドの垂直オフセット２５８、並びにヨロイのオフセット及びヨロイの長さ２６０を含む。

【0029】

めがねフレームの測定値は、データベース内に保存されるめがねフレーム情報の一部分を含む。いくつかの例では、めがねフレームは、測定され、測定値は、データベース内に保存される。いくつかの例では、各めがねフレームの３Ｄモデルは、データベース内に保存される。いくつかの例では、めがねフレームは、３Ｄイメージャで走査され、データベース内に保存される。いくつかの例では、以下：めがねフレーム測定値、識別子、名前、写真、製造業者、モデル番号、説明、カテゴリ、種類、めがねフレームの材質、ブランド、部品番号及び価格の１つ又は複数を含む、他のめがねフレーム情報をデータベース内に保存し得る。

【0030】

図３は、ユーザ頭部上の例示的基準点セット３００の図である。基準点は、ユーザ頭部測定値を決定するために使用される。例えば、ユーザの眉の終了点３１０、ユーザの目の終了点３１２、ユーザの鼻梁３１４、ユーザの鼻翼３１８、耳輪（耳の丸い上縁部）が頭部に合流する最上点３２０、対耳輪（耳輪の内側の平らなふくらみ）の中間３２２、及びユーザの珠間切痕の底部３２４は、ビデオ・フレーム及び／又は画像から得られる基準点である。いくつかの実施形態では、基準点は、ユーザの頭部測定値を計算する際に使用され、ユーザ頭部３Ｄモデルの一部分である。他の基準点及び他の測定値は、ユーザの頭部のビデオ・フレーム及び／又は画像から得ることができる。例えば、他の関連基準点は、ユーザの目の間の中間点、左右の頬骨、耳たぶの最高点、又はユーザの頭部上の他の基準点を含む。いくつかの実施形態では、リスト化された基準点サブセットが使用される。いくつかの実施形態では、ユーザの頭部の他の基準点が使用される。

【0031】

図４は、一実施形態による、ユーザの頭部の画像及び／又はビデオ・フレームを適切にスケール化し、めがねに適切にフィットさせるのに必要なスケール化基準の一例である。例えば、クレジット・カードサイズの物体４１８は、スケール化のためにユーザの頭部４２０に掲げられる。３Ｄモデルを生成する工程の間、ユーザは、クレジット・カードサイズの物体をユーザの顔に掲げるように指示される。次に、ユーザに向けられたカメラ又はウェブカムは、クレジット・カードがユーザの顔の隣にある、ユーザの短いビデオ又は画像を捕捉し得る。いくつかの実施形態では、クレジット・カードサイズの物体は、様々な場所、例えばユーザの鼻梁上で、又はこの付近で持たれる。いくつかの実施形態では、スケール化基準は、例えば、スマートフォン等の物体によって表示される既定の物理的なサイズのパターンである。いくつかの実施形態では、スケール化基準は、ビデオ・フレーム／画像内の何かの標準単位の測定値（例えば、瞳孔間距離）であり、ユーザによっても提供し得る。いくつかの実施形態では、標準及び既知の測定値を有する他のスケール化基準物体が使用される。例えば、硬貨（例えば、２５セント貨）をユーザの目の隣に掲げることができる。基準物体を額以外のユーザ頭部の一部分に対する場所内（例えば、鼻の下）に置くようにユーザに指示する場合、同様の手法を使用して適切な顔特徴モデルをユーザの頭部の部分の代理として生成し得る。

【0032】

ここで、この基準３Ｄ物体モデル再構成は、ユーザ３Ｄ頭部モデル再構成と同じ座標系内にあることに留意されたい。基準３Ｄ物体モデル再構成がユーザ３Ｄ頭部モデル再構成と同じ座標系内にあることは、両方の３Ｄモデルを同時に考慮し、物体自体に対してだけではなく、各物体が他の物体に対する空間内にある場所に対しても再構成し得ることを意味する。頭部の形状及び基準物体の形状を独立して単に再構成するのではなく、ユーザの頭部及び基準物体の形状は、各３Ｄモデルの相対的なサイズ、向き（回転）及び場所（平行移動）と共に再構成され、入力画像に最適に一致させる。別の言い方をすれば、互いに対する物体の物理的な現実世界の形状及び配置は、一緒に再現される。基準物体の３Ｄモデルは、ユーザが実際に基準物体を持つ様式で生成される。基準物体モデル及びユーザ頭部モデルは同じ座標系内にあるので、スケールをこれらの一方のために決定すると、もう一方のためのスケールも決定し得る。

【0033】

いくつかの例では、基準物体３Ｄモデルを３Ｄ空間内に生成し、ユーザの両眼又は単眼の瞳孔間距離（ＰＤ）を計算するため、ユーザが基準物体を持っている２Ｄ画像（例えば、こうした２Ｄ画像の１つ）からいくつかの重要点が決定される。例えば、ユーザが持っている基準物体がクレジット・カードである場合、重要点は、カードの角及びユーザの光彩中心である。いくつかの実施形態では、ニューラル・ネットワークは、カスタマイズでき、顔及びカードの目印検出の状況で標準モデルを最良に実施するように修正することもできる。本明細書で使用するニューラル・ネットワークの使用は、決して限定するものではないが、畳み込みニューラル・ネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）、回帰型ニューラル・ネットワーク（ＲＮＮ）、敵対的生成ネットワーク（ＧＡＮ）、動径基底関数ネットワーク（ＲＢＦＮ）、多層パーセプトロン（ＭＬＰ）、自己組織化マップ（ＳＯＭ）、又はディープ・ビリーフ・ネットワーク（ＤＢＮ）等を含め、深層学習で使用される任意の数のアルゴリズムを含み得る。いくつかの実施形態では、２Ｄ画像（複数可）からの基準物体の重要点及びユーザの頭部の重要点は、機械学習モデル（例えば、ニューラル・ネットワーク）に画像（複数可）を入力することによって決定され、この機械学習モデルは、基準物体の重要点及びユーザの頭部目印の場所が人間のマークアップによって標示された多数の画像上で訓練してある。重要点は、カメラに対する基準物体の向きの決定を助けるために使用される。具体的には、基準物体上の３Ｄ点は、２Ｄ画像内で検出された重要点のそれぞれに対応することが既知である。基準物体は、基準物体上の各３Ｄ点が、画像内で検出された対応する２Ｄ重要点に整列（投射）されるように、カメラに対して向け得る。重要点単独での整列は、基準物体のサイズ又は向きを決定するのに十分ではないことに留意されたい（ほとんどの場合、検出された重要点と整列するようにカードを向けるのに、２つ以上の方法がある）。いくつかの実施形態において、基準物体がユーザの額に触れるようにユーザに指示でき、この情報を使用して基準物体の向き／サイズを決定し得るのは、このためである。

【0034】

基準３Ｄ物体モデルと共に決定されたスケール比を使用して、ユーザ３Ｄ頭部モデルを実際の寸法にスケール化した後、いくつかの実施形態では、顔測定値は、１つ又は複数のめがねフレームの３Ｄモデルをスケール化ユーザ３Ｄ頭部モデル上に置くフィット手法を活用することによって計算し得る。

【0035】

図５は、一実施形態による、ユーザの頭部に関連する顔測定値セットを決定する方法５００の流れ図である。ステップ５１０において、正確な実際の寸法を伴うデジタルめがねフレームのデータベースを維持でき、めがねフレームの１つ又は複数をユーザの頭部のスケール化３Ｄモデル上にフィットさせ得る。めがねフレーム・モデルは、スケール化ユーザ頭部モデル上に置き得る。ステップ５１２において、スケール化ユーザ頭部３Ｄモデル上にめがねフレーム３Ｄモデルを置いた後、例えば、スケール化ユーザ頭部３Ｄモデルの小玉の高さ、テンプルの長さ、両眼／単眼のＰＤ、顔の幅、及び鼻梁の幅等の顔測定値は、スケール化ユーザ頭部３Ｄモデル上へのめがねフレーム３Ｄモデルの（フィットした）配置に基づき計算し得る。いくつかの実施形態では、両眼／単眼のＰＤを測定するため、ユーザ３Ｄ頭部モデルの瞳孔の場所が使用される。いくつかの実施形態では、ユーザ３Ｄ頭部モデルの瞳孔の場所は、光彩中心重要点の検出、及びその後の投射を使用して決定される。小玉の高さは、レンズの底部から光彩中心までの垂直な測定値である。テンプルの幅は、レンズの前面から、テンプルが耳との接合点上に置かれる点までの測定値である。鼻梁の幅は、めがねが置かれるユーザの鼻梁の幅である。これらの測定値の全ては、めがねフレーム３Ｄモデルをスケール化ユーザ頭部３Ｄモデル上に置いた／フィットさせた後、正確に計算し得る。というのは、スケール化ユーザ頭部３Ｄモデルは、既に正確にスケール化されているためである。これらの測定値は、図６Ａ～図６Ｃを参照して以下でより詳細に説明する。

【0036】

ステップ５１４において、スケール化ユーザ頭部３Ｄモデル上にめがねフレーム３Ｄモデルをフィットさせることから得られた顔測定値の少なくとも一部は、対応する信頼レベル又は別の精度区分を割り当てられる。例えば、システムは、信頼レベル（又は他の精度区分）を両眼又は単眼のＰＤ測定値に割り当て得る。いくつかの実施形態では、信頼レベルの推定（又は他の精度区分）は、少なくともスケール化ユーザ頭部３Ｄモデルを使用して得られた顔測定値に、信頼レベル又は正確／不正確ラベルを割り当てる機械学習手法である。この機械学習手法は、この割当てを行うために様々な特徴を使用する。信頼レベルの割当てのために機械学習手法によって使用される特徴の例は、正面画像上でのユーザの頭部の姿勢、基準物体の重要点検出についての信頼、及び基準３Ｄ物体モデル再構成への信頼レベルを含む。

【0037】

いくつかの実施形態では、スケール化ユーザ頭部３Ｄモデルから得られた顔測定値は、製品をユーザに推奨するために使用し得る。例えば、ステップ５１６において、得られた顔測定値（例えば、小玉の高さ、テンプルの長さ、両眼／単眼のＰＤ、顔の幅、及び鼻梁の幅）をデータベース内のめがねフレームの実際の寸法に対して比較し得る。いくつかの実施形態では、ステップ５１８において、製品の推奨（例えば、めがねフレームの推奨）を、機械学習を使用して生成し得る。例えば、オプションとして、ユーザから得られた顔測定値は、機械学習ベースのめがねフレーム推奨モデルに入力され、機械学習ベースのめがねフレーム推奨モデルは、最良に一致するめがねフレームを出力し得る。ステップ５２０において、ユーザから得られた顔測定値に寸法が最良にフィットする／対応するめがねフレームを、ユーザが試着及び／又は購入するための推奨製品としてユーザ・インターフェースに出力し得る。

【0038】

図６Ａ及び図６Ｂは、ユーザの頭部の画像／ビデオ・フレームのセットから得られる基準点の一例を示す。次に、基準点を使用して最初の３Ｄモデルを生成し得る。図６Ａは、画像／ビデオ・フレーム６００を示し、ユーザは、前向きであり、基準点６０２は、ユーザの右目の内側の角にあり、座標（ｘ０，ｙ０）が割り当てられる。目の基準点は、座標（ｘ１，ｙ１）を有する左目内側基準点６０４、及び座標（ｘ２，ｙ２）を有する左目外側基準点６０６も含み得る。２つの右目内側基準点６０２及び左目内側基準点６０４から、ブリッジの距離６０８を決定し得る。いくつかの実施形態では、レンズの距離は、左目内側基準点６０４及び左目外側基準点６０６を使用して決定し得る。図６Ｂは、別の向き、即ち右の横顔６２０を示し、右目外側基準点６２２は、座標（ｙ４，ｚ４）を有し、耳輪が頭部基準点６２４に合流する最上点は、座標（ｙ３，ｚ３）を有する。横顔の写真から、ｚ座標を最初の３Ｄモデルに追加し得る。ユーザの頭部の２次元ビデオ・フレームから、ユーザ頭部３Ｄモデルを決定し得る。

【0039】

基準点は、様々な向きの画像／ビデオ・フレームから得ることができる。いくつかの実施形態では、複数の向きのそれぞれに対する最良の画像／ビデオ・フレームが選択され、基準点及びユーザ頭部測定値の決定に使用され、基準点及びユーザ頭部測定値は、少なくとも部分的に、図６Ａ及び図６Ｂに示される最初の３Ｄモデルの生成に使用し得る。例えば、前向きからの最良の画像／ビデオ・フレームは、両目の終了点の間に最大距離を有する前向きの画像／ビデオ・フレームである。例えば、右目と右耳との間に最大距離を有する画像／ビデオ・フレームは、最良の右の横顔として決定される。最良の画像／ビデオ・フレームを選択する他の実施形態は、特定の向きに最良にフィットする特定のモデルのための機械学習又は様々なヒューリスティックを含む。

【0040】

図６Ｃは、基準点セットを含む最初の３Ｄモデルの一実施形態を示す図である。いくつかの実施形態では、２Ｄ画像／ビデオ・フレームからの基準点は、図６Ｃの３Ｄモデルを作製するために組み合わせ得る。対応する基準点は、ユーザの頭部上の基準点のそれぞれの位置を表す（ｘ，ｙ，ｚ）座標セットを作製するように組み合わせられる。例えば、前向きビデオ・フレーム６００からの右目６１２の外側の角の（ｘ，ｙ）座標は、右向き画像／ビデオ・フレーム６２０内の右目外側基準点６２２のｚ座標と組み合わせ、座標（ｘ４，ｙ４，ｚ４）を有する基準点６４４を得ることができる。（ｘ，ｙ，ｚ）座標セットは、最初の３Ｄモデルの一部分を含む。図６Ｃの破線に示すように、最初の３Ｄモデル内の点を使用し、ユーザの顔の描写画像を生成し得る。

【0041】

いくつかの実施形態では、最初の３Ｄモデルは、複数のユーザのセットからの３Ｄ空間内の基準点の平均を含む。１人のユーザの顔だけではなく、複数のユーザのセットを使用すると、一般的な顔が最初の３Ｄモデルとして使用される。１人のユーザの頭部の基準点から最初の３Ｄモデルを生成するのではなく、一般的３Ｄモデルが開始点として使用され、次に調節される。いくつかの実施形態では、一般的３Ｄモデルは、１人のユーザの基準点を含まず、システムの以前の複数のユーザ及び／又は所定の一般的モデルからのものである。いくつかの実施形態では、ユーザの頭部からの基準点は、他の複数のユーザにより平均化され、最初の３Ｄモデルを少なくとも部分的に生成する。更に、上記のように、最初の３Ｄモデルを使用して、基準物体３Ｄモデルを同時に生成でき、これにより、基準物体の位置及び向きを決定し、適切なスケールを３Ｄモデルに適用し、改善されたより正確な３Ｄモデルを生成し、めがね又は他の製品を仮想試着し得る。

【0042】

本明細書で使用する用語「約」又は「ほぼ」は、「約」又は「ほぼ」によって修正される当該用語の±１０％又は±５％の許容可能な変動を指す。更に、用語「～より少ない」、「～以下」、「～より多い」、又は「～以上」は、終了点として、当該用語「～より少ない」、「～以下」、「～より多い」、又は「～以上」によって修正される値を含む。

【0043】

様々な態様及び実施形態を本明細書で開示してきたが、他の態様及び実施形態が企図される。本明細書で開示される様々な態様及び実施形態は、例示のためであり、限定を意図するものではない。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【国際調査報告】