IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジャンド インコーポレイテッドの特許一覧

特表2023-530346瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用
<>
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図1A
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図1B
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図2
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図3
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図4
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図5
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図6
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図7
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図8
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図9
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図10
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図11
  • 特表-瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-14
(54)【発明の名称】瞳孔間距離を測定するためのシステムおよび方法ならびにそれらの使用
(51)【国際特許分類】
   A61B 3/11 20060101AFI20230707BHJP
【FI】
A61B3/11
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022577452
(86)(22)【出願日】2021-06-11
(85)【翻訳文提出日】2023-01-25
(86)【国際出願番号】 US2021037075
(87)【国際公開番号】W WO2021257406
(87)【国際公開日】2021-12-23
(31)【優先権主張番号】63/040,184
(32)【優先日】2020-06-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】511208689
【氏名又は名称】ワービー・パーカー・インコーポレイテッド
(74)【代理人】
【識別番号】100092783
【弁理士】
【氏名又は名称】小林 浩
(74)【代理人】
【識別番号】100120134
【弁理士】
【氏名又は名称】大森 規雄
(74)【代理人】
【識別番号】100141025
【弁理士】
【氏名又は名称】阿久津 勝久
(72)【発明者】
【氏名】ゴールドバーグ,デヴィッド エイチ.
(72)【発明者】
【氏名】コーエン,ベンジャミン
(72)【発明者】
【氏名】ダッフィー,テイラー,アレクサンドラ
【テーマコード(参考)】
4C316
【Fターム(参考)】
4C316AA01
4C316AA06
4C316AA27
4C316AB16
4C316FB21
4C316FB26
4C316FC04
(57)【要約】
瞳孔間距離システムを動作させる方法が開示される。方法は、瞳孔間距離システムの少なくとも1つのカメラで、被検体の顔の2D画像および対応する3D深度マップを撮影するステップを含む。2D画像および対応する3D深度マップを使用して、瞳孔位置特定情報の決定が行われる。瞳孔位置は、瞳孔位置特定情報に基づいてさらに精緻化される。瞳孔中心座標が決定され、それぞれの瞳孔の中心間で被検体の瞳孔間距離が計算される。処理およびそれらの使用も開示される。
【特許請求の範囲】
【請求項1】
瞳孔間距離(「PD」)システムを動作させる方法であって、
前記瞳孔間距離システムの少なくとも1つのカメラで、被検体の顔の第1の2D画像および対応する3D深度マップを撮影するステップと、
前記第1の2D画像および対応する3D深度マップを使用して、瞳孔位置特定情報を決定するステップと、
前記瞳孔位置特定情報に基づいて1つまたは複数の瞳孔位置を精緻化するステップと、
1つまたは複数の瞳孔中心座標を決定するステップと、
それぞれの瞳孔の中心間の前記被検体の前記PDを計算するステップと、を含む方法。
【請求項2】
前記被検体上の1つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して前記瞳孔位置特定情報を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する、請求項1に記載の方法。
【請求項3】
前記1つまたは複数の瞳孔位置が、1つまたは複数のカーネルと1つまたは複数の2D中心-周辺フィルタとを用いる畳み込みを使用して精緻化される、請求項1に記載の方法。
【請求項4】
前記1つまたは複数のカーネルが、およそ12mmの瞳孔推定サイズを使用する、請求項3に記載の方法。
【請求項5】
前記PDを計算するステップが、前記2D画像内の前記精緻化された1つまたは複数の瞳孔位置に対応する深度マップ値を使用する、請求項1に記載の方法。
【請求項6】
前記PDを計算するステップが、それぞれの瞳孔の中心に対応する3D顔メッシュ上の点を使用することによって決定される、請求項1に記載の方法。
【請求項7】
前記第1の2D画像が前記少なくとも1つのカメラから撮影される距離を使用して、前記計算されたPDに対する補正を行うステップをさらに含む、請求項1に記載の方法。
【請求項8】
コンピュータ実行可能命令が具現化されている非一時的なコンピュータ可読媒体であって、プロセッサによって実行されたとき、前記コンピュータ実行可能命令が前記プロセッサに、
少なくとも1つのカメラから、被検体の顔の第1の2D画像および対応する3D深度マップを取得することと、
前記第1の2D画像および対応する3D深度マップを使用して、瞳孔位置特定情報を決定することと、
前記瞳孔位置特定情報に基づいて1つまたは複数の瞳孔位置を精緻化することと、
1つまたは複数の瞳孔中心座標を決定することと、
それぞれの瞳孔の中心間の前記被検体の前記PDを計算することと、
を行わせる、非一時的なコンピュータ可読媒体。
【請求項9】
前記被検体の1つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して前記瞳孔位置特定情報を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項10】
前記1つまたは複数の瞳孔位置が、1つまたは複数のカーネルと1つまたは複数の2D中心-周辺フィルタとを用いる畳み込みを使用して精緻化される、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項11】
前記1つまたは複数のカーネルが、およそ12mmの瞳孔推定サイズを使用する、請求項9に記載の非一時的なコンピュータ可読媒体。
【請求項12】
前記PDを計算することが、前記2D画像内の前記精緻化された1つまたは複数の瞳孔位置に対応する深度マップ値を使用する、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項13】
前記PDを計算することが、それぞれの瞳孔の中心に対応する3D顔メッシュ上の点を使用することによって決定される、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項14】
前記コンピュータ実行可能命令が前記プロセッサにさらに、前記第1の2D画像が前記少なくとも1つのカメラから撮影される距離を使用して、前記計算されたPDに対する補正を行わせる、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項15】
瞳孔間距離(「PD」)システムであって、
モバイルデバイスを備え、前記モバイルデバイスが、
少なくとも1つのカメラと、
前記少なくとも1つのカメラから得られる画像および情報に関連する情報を記憶するメモリと、
プロセッサであって、
前記少なくとも1つのカメラから、被検体の顔の2D画像および対応する3D深度マップを取得することと、
前記2D画像および対応する3D深度マップを使用して、瞳孔位置特定情報を決定することと、
前記瞳孔位置特定情報に基づいて1つまたは複数の瞳孔位置を精緻化することと、
1つまたは複数の瞳孔中心座標を決定することと、
前記被検体のそれぞれの瞳孔の中心間の前記PDを計算することと、
を行うように構成されたプロセッサと、
を備えている、瞳孔間距離(「PD」)システム。
【請求項16】
前記被検体の1つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して前記瞳孔位置特定を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する、請求項15に記載のPDシステム。
【請求項17】
前記1つまたは複数の瞳孔位置が、1つまたは複数のカーネルと1つまたは複数の2D中心-周辺フィルタとを用いる畳み込みを使用して精緻化される、請求項15に記載のPDシステム。
【請求項18】
前記1つまたは複数のカーネルが、およそ12mmの瞳孔推定サイズを使用する、請求項17に記載のPDシステム。
【請求項19】
前記PDを計算することが、前記2D画像内の前記精緻化された1つまたは複数の瞳孔位置に対応する深度マップ値を使用する、請求項15に記載のPDシステム。
【請求項20】
前記PDを計算することが、それぞれの瞳孔の中心に対応する3D顔メッシュ上の点を使用することによって決定される、請求項15に記載のPDシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
このPCT国際出願は、2020年6月17日に出願された米国特許出願第63/040,184号の利益およびそれに対する優先権を主張し、同特許出願は参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は、概して検眼の技術分野に関する。より具体的には、本開示は、瞳孔間距離を測定するためのシステムおよび方法、ならびにそれらの使用を対象とする。
【背景技術】
【0003】
以下は、本発明を理解する上で有用であり得る情報を含む。それは、ここで具体的にまたは暗黙的に参照される情報のいずれかが、記載もしくは特許請求される本発明にとって従来技術である、または必須のものであることを認めるものではない。本明細書において言及されるすべての特許、特許出願、文献、および製品は、参照によりそれらの全体が組み込まれる。
【0004】
瞳孔間距離(「PD:pupillary distance」)は、人間などの被検体の瞳孔と瞳孔の間の距離である。この距離の精度は、眼鏡、サングラス、または仮想現実ヘッドセットの快適性およびフィット性における決定要因の1つである。誤測定されたPDは、頭痛、ぼやけた視覚、眼精疲労、吐き気、めまい、ふらつき感、方向感覚の喪失、およびその他の問題を被検体に引き起こす、プリズム効果を伴うレンズにつながることがある。従来、PD測定は、眼鏡やサングラスの処方では行われないが、特注の処方箋眼鏡やサングラスの注文に応えるために必要とされる。成人の平均PDは、約63mmである。しかし、PD測定値は、女性では51mm~74.5mmの間、男性では53mm~77mmの間で広くばらつき得る。あらゆる距離において快適な視力を保証するには正確なレンズと瞳孔間の位置合わせが必要とされるため、PDは、プログレッシブレンズを用いる眼鏡やサングラスを合わせる際に非常に重要である。
【0005】
現在、PDの測定には様々な方法がある。例えば、シングルPDとデュアルPDの2つの主要なPD測定方法がある。シングルPD(または両眼PD)は、両目の間の瞳孔から瞳孔までの測定値である。デュアルPD(または単眼PD)は、鼻梁からそれぞれの眼までの測定値である。
【0006】
PD測定値を得るための従来の方法は、定規の使用を含むことがある。この種の測定では、被検体は鏡からおよそ8インチの所に立つことを求められ、一方の眼の瞳孔から被検体の額を横切ってもう一方の瞳孔まで定規が位置合わせされて、PD測定値を得る。この種の測定は、顔の輪郭および定規の位置合わせがばらつき得るため、不正確である。
【0007】
被検体は、可能性としては商業的な環境で、別の者の支援によって自身のPD測定値を得ることもある。この例では、PDは、角膜反射瞳孔計を使用して測定され得る。代替として、電子商取引の顧客が、標準的な大きさの参照物(例えばクレジットカード等)を手に持っている自身の顔の写真を提出し、その写真が遠隔で処理されてPDを得ることができる。
【0008】
上記で説明された従来例はそれぞれ、煩瑣な、および/またはリソースを多く要する、PD測定値を得る方法である。また、角膜反射瞳孔計を使用するなどの特定の従来例は、被検体が測定を行う者から6フィート未満の離間距離にあることを必要とすることがあり、それにより、それらの者がCOVID-19などのパンデミックの際に社会的距離を置く規則に違反することになる。さらに、角膜反射瞳孔計は、人的エラーを生じやすく、また誤較正されることがあるため、常に信頼できるPDの測定であるとは限らない。PDは特注の処方箋眼鏡やサングラスの注文に応えるために必要とされるため、PD測定値を得るための円滑で、利便で、接触の必要がない方法を開発することは、消費者体験を向上させる。さらに、PD測定値を得るためのより容易でより正確な方法を開発することは、電子商取引を促進し、快適で高精度なアイウェアを得る際の消費者の選択肢を拡げる。最後に、小売り業者は、PD測定に関する画像および/もしくは統計的情報を使用して製造プロセスを改善する、ならびに/または、PD測定値と相関付けられたユーザの満足度および購入履歴に基づいてアイウェアの推薦を提供し得る。
【0009】
したがって、精度、効率、信頼性、利便性および使用を増大させ、一方で人的介入および/または人的エラーを低減するもしくは無くす、PDを測定するための改良されたシステムまたは方法を開発する必要が存在する。
【発明の概要】
【0010】
本明細書に記載され、特許請求される本発明は、これらに限定されないが、この概要に述べられる、記載される、または参照されるものを含む、多くの特質および態様を有する。すべてを包含することは意図されておらず、本明細書に記載および特許請求される本発明は、制約ではなく例示の目的で含められているこの概要に特定される特徴または実施形態に制限されず、またそれらによって制限されることもない。
【0011】
本開示の様々な実施形態では、2次元(「2D」)画像内で瞳孔を位置特定するための一連の画像処理アルゴリズムを取得し、使用するシステムおよび方法が提供される。瞳孔は次いで、深度感知画像によって提供される3次元(「3D」)データを使用して、世界座標内で位置特定される。世界座標を使用して、瞳孔間の物理的距離が算出され得る。本明細書に記載されるシステムおよび方法は、有利に、PD測定値を得るための正確でより利便な方法を提供する。さらに、得られたPD測定値は、眼鏡(またはスペクタクル)、サングラス、仮想現実ヘッドセット、ゴーグル、安全眼鏡、スマートグラス(これらに限定されないが、拡張現実眼鏡を含む)、およびその他のアイウェアに使用され得る。最後に、PDを含む、被検体の顔測定値はユーザアカウントに関連付けられてよく、それにより、ユーザの顔測定値ならびに顔測定値に関連付けられた過去の顧客満足度データおよび購入履歴に基づいて、製品の推薦が提供されてよい。
【0012】
本開示の様々な実施形態では、本明細書に記載されるシステムおよび方法は、仮想試着および試用システムまたはアプリケーションで使用するための顔測定値を得ることができる。いくつかの実施形態では、仮想試着および試用システムは、本明細書に記載される本開示から得られたPD測定値を含む顔測定値を使用して、眼鏡やサングラスを仮想的に試用する、および/または購入するためのインターフェースをユーザに提供することができる。本明細書に記載されるシステムおよび方法は、仮想試着および試用システムに組み込まれたときに、ユーザが、物理的店舗を訪れる必要なしに、オンラインで、可能性のある眼鏡やサングラスを仮想的に試用し、PD測定値を得、特注の処方箋眼鏡またはサングラスを選択し、購入することを可能にするので、ユーザの電子商取引体験を向上させることができる。本明細書に記載されるシステムおよび方法はまた、より良好な製品推薦につながり得る追加的な顔測定値を得て記憶することにより、仮想試着および試用システムを改良する。本開示のシステムおよび方法は、有利に、2019年8月26日に出願された米国特許出願第16/550,614号(名称「Virtual Fitting Systems and Methods for Spectacles」)に記載されている仮想試用システムおよび方法とインターフェースを取り得る。本開示の様々な実施形態では、瞳孔間距離システムを動作させる方法が記載される。いくつかの実施形態では、方法は、瞳孔間距離システムの少なくとも1つのカメラで、被検体の顔の第1の2D画像および対応する3D深度マップを撮影するステップと、第1の2D画像および対応する3D深度マップを使用して、瞳孔位置特定情報を決定するステップと、瞳孔位置特定情報に基づいて1つまたは複数の瞳孔位置を精緻化するステップと、1つまたは複数の瞳孔中心座標を決定するステップと、それぞれの瞳孔の中心間の被検体のPDを計算するステップと、を含む。
【0013】
本開示のいくつかの実施形態では、被検体上の1つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して瞳孔位置特定情報を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する。
【0014】
本開示のいくつかの実施形態では、1つまたは複数の瞳孔位置が、1つまたは複数のカーネルと1つまたは複数の2D中心-周辺フィルタとを用いる畳み込みを使用して精緻化される。いくつかの実施形態では、1つまたは複数のカーネルは、およそ12mmの瞳孔推定サイズを使用する。
【0015】
本開示のいくつかの実施形態では、PDを計算するステップが、2D画像内の精緻化された1つまたは複数の瞳孔位置に対応する深度マップ値を使用する。
【0016】
本開示のいくつかの実施形態では、PDは、それぞれの瞳孔の中心に対応する3D顔メッシュ上の点を使用することによって決定される。
【0017】
本開示のいくつかの実施形態では、方法は、第1の2D画像が少なくとも1つのカメラから撮影される距離を使用して、計算されたPDに対する補正を行うステップをさらに含む。
【0018】
本開示の様々な実施形態では、コンピュータ実行可能命令が具現化されている非一時的なコンピュータ可読媒体が提供される。コンピュータ実行可能命令は、プロセッサによって実行されたとき、プロセッサに、少なくとも1つのカメラから、被検体の顔の第1の2D画像および対応する3D深度マップを取得することと、第1の2D画像および対応する3D深度マップを使用して、瞳孔位置特定情報を決定することと、瞳孔位置特定情報に基づいて1つまたは複数の瞳孔位置を精緻化することと、1つまたは複数の瞳孔中心座標を決定することと、それぞれの瞳孔の中心間の被検体のPDを計算することと、を行わせる。
【0019】
本開示のいくつかの実施形態では、被検体の1つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して瞳孔位置特定情報を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する。
【0020】
本開示のいくつかの実施形態では、1つまたは複数の瞳孔位置が、1つまたは複数のカーネルと1つまたは複数の2D中心-周辺フィルタとを用いる畳み込みを使用して精緻化される。いくつかの実施形態では、1つまたは複数のカーネルは、およそ12mmの瞳孔推定サイズを使用する。
【0021】
本開示のいくつかの実施形態では、PDを計算することが、2D画像内の精緻化された1つまたは複数の瞳孔位置に対応する深度マップ値を使用する。
【0022】
本開示のいくつかの実施形態では、PDを計算することが、それぞれの瞳孔の中心に対応する3D顔メッシュ上の点を使用することによって決定される。
【0023】
本開示のいくつかの実施形態では、コンピュータ実行可能命令がプロセッサにさらに、第1の2D画像が少なくとも1つのカメラから撮影される距離を使用して、計算されたPDに対する補正を行わせる。
【0024】
本開示の様々な実施形態では、瞳孔間距離システムが提供され、これは1つまたは複数のモバイルデバイスを備えている。いくつかの実施形態では、1つまたは複数のモバイルデバイスは、少なくとも1つのカメラと、少なくとも1つのカメラから得られる画像および情報に関連する情報を記憶するメモリと、プロセッサとを備えているモバイルデバイスを含む。プロセッサは、少なくとも1つのカメラから、被検体の顔の2D画像および対応する3D深度マップを取得することと、2D画像および対応する3D深度マップを使用して、瞳孔位置特定情報を決定することと、瞳孔位置特定情報に基づいて1つまたは複数の瞳孔位置を精緻化することと、1つまたは複数の瞳孔中心座標を決定することと、被検体のそれぞれの瞳孔の中心間のPDを計算することと、を行うように構成されている。
【0025】
本開示のいくつかの実施形態では、被検体の1つまたは複数の初期瞳孔位置を得るために、複数の顔メッシュランドマークを使用して瞳孔位置特定を決定して、眼孔の中心に近い複数の顔メッシュ頂点を生成する。
【0026】
本開示のいくつかの実施形態では、1つまたは複数の瞳孔位置が、1つまたは複数のカーネルと1つまたは複数の2D中心-周辺フィルタとを用いる畳み込みを使用して精緻化される。いくつかの実施形態では、1つまたは複数のカーネルは、およそ12mmの瞳孔推定サイズを使用する。
【0027】
本開示のいくつかの実施形態では、PDを計算することが、2D画像内の精緻化された1つまたは複数の瞳孔位置に対応する深度マップ値を使用する。
【0028】
本開示のいくつかの実施形態では、PDを計算することが、それぞれの瞳孔の中心に対応する3D顔メッシュ上の点を使用することによって決定される。
【0029】
本開示のいくつかの実施形態では、第1の2D画像が少なくとも1つのカメラから撮影される距離を使用して、計算されたPDに対する補正を行う。
【0030】
本明細書に組み込まれ、本明細書の一部をなす添付図面は、本開示の態様を図示すると共に、説明と併せて、態様の原理を説明し、当業者がそれらの態様を作製して使用することを可能にする役目をさらに果たす。図面は、例示のみを目的とし、例示的で非制限的な実施形態を示し、必ずしも実際の縮尺で描かれていない。
【図面の簡単な説明】
【0031】
図1A】本開示のいくつかの実施形態に従うシステムの一例を示す図である。
図1B】本開示のいくつかの実施形態に従うモバイルデバイスのアーキテクチャの一例を示す図である。
図2】本開示のいくつかの実施形態に従う、深度マップを使用した例示的なPD測定処理を説明する流れ図である。
図3】本開示のいくつかの実施形態に従う、顔メッシュ905(複数の頂点920に接続された複数の線910によって表される)が重畳されたユーザの瞳孔領域の例示的な画像であり、顔メッシュは、主要頂点950および主要頂点の重心951を示している。
図4】本開示のいくつかの実施形態に従う、2D画像で畳み込みを使用して初期瞳孔位置を精緻化することの例示的な図解表現である。図4Aは、中心-周辺構造を持つフィルタカーネル(またはカーネル)を示し、図4Bは、カーネルに対して最大の応答を有する場所を示す十字記号を伴う円990を有する画像パッチを示し、図4Cは、カーネルによる畳み込みへの画像応答を示す。
図5】本開示のいくつかの実施形態に従う、瞳孔領域画像に対するランダムサンプルコンセンサス(「RANSAC」)反復法の例示的な図解である。図5において、実線の円2000は、虹彩境界の初期推定を示し、実線の十字記号2001は、虹彩中心の初期推定を示し、閉じたドット3010は、内側値(inlier)境界点を示し、開いたドット3020は、外れ値(outlier)境界点を示し、点線の円3000は、虹彩境界の最終的な推定を示し、点線の十字記号3001は、虹彩中心の最終的な推定を示す。
図6】本開示のいくつかの実施形態に従う、遠用PDを測定または推定するための処理の例示的な図解である。
図7】本開示のいくつかの実施形態に従う、PD計算インターフェース800の例の図である。「方法A」は、下記でさらに説明される深度マップ法を指す。「方法B」は、これも下記でさらに説明される顔メッシュ法を指す。
図8】本開示のいくつかの実施形態に従う、PDを測定するためのそれぞれ例示的インターフェース801、802、803、および804の図である。
図9】本開示のいくつかの実施形態に従う、PDを測定するためのそれぞれ例示的インターフェース801、802、803、および804の図である。
図10】本開示のいくつかの実施形態に従う、PDを測定するためのそれぞれ例示的インターフェース801、802、803、および804の図である。
図11】本開示のいくつかの実施形態に従う、PDを測定するためのそれぞれ例示的インターフェース801、802、803、および804の図である。
図12】本開示のいくつかの実施形態に従うPD計算インターフェース805の別の例の図である。
【発明を実施するための形態】
【0032】
例示的実施形態のこの説明は、添付図面との関連で読まれることが意図され、添付図面は書面の説明全体の一部とみなされるべきである。単数形の使用は、特に断らない限り、複数形を含む。「または」の使用は、特に断らない限り、「および/または」を意味する。さらに、語「~を含んでいる」ならびに「~を含む」や「含まれる」などの他の形態は、制限的なものではない。加えて、「要素」や「構成要素」などの語は、特に断らない限り、1つの単位からなる要素および構成要素と、2つ以上の下位単位からなる要素および構成要素の両方を包含する。また、本明細書において使用される項目の見出しは、系統立てのみを目的とするものであり、記載される主題を制限するものと解釈されるべきではない。
【0033】
以下の説明は、代表的な例の組の実現を可能にする教示として提供される。有益な結果を依然として得ながら、多くの変更が本明細書に記載される実施形態になされ得る。以下で解説される望ましい利益の一部は、他の特徴を利用せずに、本明細書に解説される特徴の一部を選択することによって得ることができる。したがって、多くの変更および改変ならびに本明細書に記載される特徴のサブセットが可能であり、状況によっては望ましいことすらある。よって、以下の説明は、例示的なものとして提供され、制限的なものではない。
【0034】
本明細書において使用される場合、「a」、「an」および「the」などの単数形の冠詞は、文脈が明らかにかつ曖昧性なく別の旨を指示しない限り、その冠詞の対象の複数形を排除することは意図されない。
【0035】
被検体のPDを決定するためのシステムおよび方法が本開示において提供される。被検体は、哺乳動物または人間であり、この哺乳動物または人間は、雄(男性)、雌(女性)、ノンバイナリの哺乳動物または人間(もしくはその他の性自認)の成人または子供である。本明細書全体を通じて解説されるように、本システムおよび方法は、有利に、被検体に対して正確で効率的な実時間の顔測定を提供する。本システムおよび方法は、有利に、ユーザに顔測定値を提供し、顔測定値は、それぞれのユーザに関連付けられたアカウントに記憶されて、顔測定値に基づく、および/または過去の顔測定値に関連付けられた消費者満足度データおよび/または購入履歴に基づく、製品の推薦をユーザが受け取ることを可能にしてよい。そのようなユーザは人間であり、その場合、人間は、男性、女性、ノンバイナリの人間(もしくはその他の性自認)の成人または子供である。最後に、本システムおよび方法は、有利に、消費者の満足度データを使用して、機械学習および深層学習などの人工知能を使用して測定値計算を改良し得る。
【0036】
システム概要
様々な実施形態では、PD測定システムは、情報交換のためにクライアントデバイスと対話してよい。図1Aは、システム100の一例を示し、システム100内では、複数のクライアントデバイス110-1、110-2、および110-3(総称的に「クライアントデバイス110」)が、通信ネットワーク142を介して、1つまたは複数のコンピュータシステムネットワーク50-1、50-2(「コンピュータネットワーク50」)と、管理サーバ130とに接続されている。通信ネットワーク142は、ワイドエリアネットワーク(「WAN」)、ローカルエリアネットワーク(「LAN」)、パーソナルエリアネットワーク(「PAN」)等であってよい。1つの実施形態では、通信ネットワーク142はインターネットであり、クライアントデバイス110はオンラインである。「オンライン」とは、通信ネットワーク142に結合された他のデバイスまたはネットワークから遠隔の場所から、ソースデータおよび情報に接続するまたはアクセスすることを意味することがある。
【0037】
管理サーバ130は、1つまたは複数のデータ記憶ユニット150-1、150-2(総称的に「データベース管理システム150」または「DBMS150」と称する)に結合された処理装置24を含む。処理装置24は、いくつかの実施形態では、フロントエンドのグラフィカルユーザインターフェース(「GUI」)(例えば、PD測定GUI28およびクライアントユーザGUI30)、ならびにバックエンドまたは管理用のグラフィカルユーザインターフェースまたはポータル32を、1つまたは複数のリモートコンピュータ54に、または1つまたは複数のローカルコンピュータ34に提供するように構成される。いくつかの実施形態では、下記でさらに詳細に説明される、GUI28を介して管理サーバ130にアクセスするPD測定インターフェースが提供される。GUIは、例えば、リモートコンピュータ54または1つまたは複数のローカルコンピュータ34にとってローカルなブラウザプログラムを使用して表示されるウェブペーの形態を取ることができる。システム100は、1つまたは複数のコンピュータ、サーバ、または他のコンピューティングデバイス上で実装されてよいことが理解される。いくつかの実施形態では、GUIは、ソフトウェアアプリケーションを介してクライアントデバイス110上で表示されてよい。例えば、システム100は、DBMS150に記憶されているデータへの許可されるアクセスに基づいてプログラムされたまたはパーティションされた追加的なサーバを含んでよい。本明細書において使用される場合、「ポータル」は、YAHOO!(登録商標)やGOOGLE(登録商標)などの汎用的なインターネットポータルに限定されず、下記で説明されるように、特定の限定された利用者を対象とし、複数の異なる種類の関係するまたは無関係の情報、リンク、およびツールへのアクセスを関係者に提供するGUIも含む。「ウェブページ」および「ウェブサイト」は、本明細書において同義で使用されることがある。
【0038】
リモートコンピュータ54は、コンピュータシステムネットワーク50-1、50-2の一部であってよく、インターネットサービスプロバイダ(「ISP」)52-1、52-2(「ISP52」)を通じて通信ネットワーク142へのアクセスを得てよい。クライアントデバイス110は、当業者によって理解されるように、ワイヤレスセルラー通信ネットワーク、WANホットスポットを通じて、またはコンピュータとの有線もしくは無線接続を通じて、通信ネットワーク142へのアクセスを得てよい。クライアントユーザおよび管理担当者は、下記で説明されるように、リモートコンピュータ54および/またはクライアントデバイス110を使用してシステム100へのアクセスを得てよい。コンピュータシステムネットワーク50-1、50-2は、1つまたは複数のデータ記憶ユニット56-1、56-2を含んでよい。
【0039】
1つの実施形態では、クライアントデバイス110は、ワイヤレス信号を送信および受信することが可能な任意のモバイルデバイスを含む。モバイル機器の例には、いくつかの可能なデバイスを挙げると、これらに限定されないが、携帯電話またはセルラー電話、スマートフォン、携帯情報端末(「PDA」)、ラップトップコンピュータ、タブレットコンピュータ、音楽プレーヤ、電子書籍リーダが含まれる。
【0040】
図1Bは、クライアントデバイス110のアーキテクチャの一例のブロック図である。図1Bに示されるように、クライアントデバイス110は、プロセッサ102などの1つまたは複数のプロセッサを含む。プロセッサ102は、命令を実行するための、任意の中央演算処理装置(「CPU」)、マイクロプロセッサ、マイクロコントローラ、または演算デバイスもしくは回路であってよい。プロセッサは、通信インフラストラクチャ104(例えば、通信バス、クロスオーバーバー、またはネットワーク)に接続されている。様々なソフトウェア実施形態が、この例示的クライアントデバイス110に即して説明される。この説明を読んだ後、他のシステムまたはアーキテクチャを含むクライアントデバイス110を使用してどのようにこの方法を実施するかが当業者に明らかになるであろう。当業者は、コンピュータ34、54は、クライアントデバイス110と同様のおよび/または同一のアーキテクチャを有してよいことを理解するであろう。別の言い方をすると、コンピュータ34、54は、図1Bに示されるクライアントデバイス110の機能構成要素の一部、すべて、またはそれに追加的な機能構成要素を含むことができる。
【0041】
クライアントデバイス110は、通信インフラストラクチャ104から(または図示されないフレームバッファから)受信されたグラフィック、映像、テキスト、およびその他のデータを、ユーザ(例えば、加入者、商用ユーザ、バックエンドユーザ、またはその他のユーザ)に対して表示するディスプレイ168を含む。そのようなディスプレイ168の例には、いくつかの可能なディスプレイを挙げると、これらに限定されないが、LCD画面、OLEDディスプレイ、静電容量タッチ画面、およびプラズマディスプレイが含まれる。クライアントデバイス110は、ランダムアクセス(「RAM」)メモリなどの主メモリ108も含み、また二次メモリ110も含んでよい。二次メモリ121は、ハードディスクドライブ(「HDD」)112および/または、磁気テープドライブ、光ディスクドライブ、ソリッドステートドライブ(「SSD」)等を表す取り外し可能記憶ドライブ(「RSD」)114などの、より恒久的なメモリを含んでよい。いくつかの実施形態では、取り外し可能記憶ドライブ114は、当業者によって理解される方式で、取り外し可能記憶ユニット(「RSU」)116の読出しおよび/または書込みを行う。取り外し可能記憶ユニット116は、磁気テープ、光ディスク等を表し、それらは取り外し可能記憶ドライブ114によって読出しおよび書込みが行われてよい。当業者に理解されるように、取り外し可能記憶ユニット116は、コンピュータソフトウェアおよび/またはデータが記憶された有形の非一時的な機械可読記憶媒体を含んでよい。
【0042】
いくつかの実施形態では、二次メモリ110は、コンピュータプログラムまたは他の命令がクライアントデバイス110にロードされることを可能にする他のデバイスを含んでよい。そのようなデバイスには、例えば、取り外し可能記憶ユニット(「RSU」)118および対応するインターフェース(「RSI」)120が含まれ得る。そのようなユニット118およびインターフェース120の例は、取り外し可能メモリチップ(消去可能プログラム可能読出し専用メモリ(「EPROM」)など)、プログラム可能読出し専用メモリ(「PROM」)、セキュアデジタル(「SD」)カードおよび関連するソケット、ならびに、ソフトウェアおよびデータが取り外し可能記憶ユニット118からクライアントデバイス110に転送されることを可能にする他の取り外し可能記憶ユニット118およびインターフェース120を含み得る。
【0043】
クライアントデバイス110はまた、スピーカ122、発振器123、カメラ124、発光ダイオード(「LED」)125、マイクロフォン126、入力装置128、加速度計(図示せず)、および全地球測位システム(「GPS」)モジュール129も含んでよい。カメラ124の機能の例には、これらに限定されないが、光学画像安定化(「OIS」)、大きいセンサ、明るいレンズ、4K映像、光学ズームプラスRAW画像およびHDR、複数のレンズおよび複数ショットの夜間モードを伴う「ボケモード」が含まれる。カメラ124は、異なる機能を有する1つまたは複数のレンズを備えてよい。例として、カメラ124は、超広角センサ、望遠センサ、飛行時間センサ、マクロセンサ、メガピクセル(「MP」)センサ、および/または深度センサを含んでよい。本明細書に記載されるカメラ124は、単一のカメラに限定されない。カメラ124は、複数の異なる種類のカメラ、センサ等を含むカメラシステムを含んでよい。例として、Apple(登録商標)は、TrueDepth(登録商標)カメラシステムを発売しており、これは、互いと協働して深度マップおよび関連する画像を得る、7MP前面「自撮り」カメラ、赤外線エミッタ、赤外線カメラ、近接センサ、周辺光センサ、投光イルミネータ、およびドットプロジェクタを含む。言い換えると、クライアントデバイス110のカメラ124は、クライアントデバイス110が使用する画像情報を得るためのシステムとして働く、複数のセンサ、カメラ、エミッタ、または他の関連する構成要素を有してよい。
【0044】
入力装置128の例には、これらに限定されないが、キーボード、ボタン、トラックボール、またはユーザがそれを通じてデータを入力し得る任意の他のインターフェースもしくはデバイスが含まれる。いくつかの実施形態では、入力装置128とディスプレイ168が同じデバイスに一体化される。例えば、ディスプレイ168および入力装置128は、ユーザが指、ペン、および/またはスタイラスを使用してクライアントデバイス110にデータを入力するためのタッチ画面であってよい。
【0045】
クライアントデバイス110は、1つまたは複数の通信インターフェース169も含み、これは、クライアントデバイス110と、外部デバイス、例えば別のクライアントデバイス110、コンピュータ34、54、およびシステム100にローカルもしくはリモートに接続され得る他のデバイス、との間でソフトウェアおよびデータが転送されることを可能にする。1つまたは複数の通信インターフェース169の例には、これらに限定されないが、モデム、ネットワークインターフェース(イーサネットカードやワイヤレスカードなど)、通信ポート、Personal Computer Memory Card International Association(「PCMCIA」)スロットおよびカード、1つまたは複数のPersonal Component Interconnect(「PCI」)Expressスロットおよびカード、またはそれらの任意の組み合わせが含まれ得る。1つまたは複数の通信インターフェース169は、近距離通信(「NFC」)、Bluetoothなどの短距離通信のために構成されたワイヤレスインターフェース、または別のワイヤレス通信プロトコルを介した通信のための他のインターフェースも含んでよい。上記で簡単に触れたように、当業者は、コンピュータ34、54およびシステム100の一部分が、クライアントデバイス110の一部またはすべての構成要素を含んでよいことを理解するであろう。
【0046】
1つまたは複数の通信インターフェース169を介して転送されるソフトウェアおよびデータは信号の形態であり、この信号は、電子信号、電磁気信号、光信号、または通信インターフェース169によって受信されることが可能な他の信号であってよい。これらの信号は、通信路またはチャネルを介して通信インターフェース169に提供される。チャネルは、電線もしくはケーブル、光ファイバー、電話線、セルラーリンク、無線周波(「RF」)リンク、または他の通信チャネルを使用して実装されてよい。
【0047】
本願において、用語「非一時的なコンピュータプログラム媒体」および「非一時的なコンピュータ可読媒体」は、取り外し可能記憶ユニット116、118、またはハードディスクドライブ112に設置されたハードディスクなどの媒体を言う。これらのコンピュータプログラム製品は、クライアントデバイス110にソフトウェアを提供する。コンピュータプログラム(「コンピュータ制御論理」とも称される)は、主メモリ108および/または二次メモリ110に記憶されてよい。コンピュータプログラムは、1つまたは複数の通信インターフェース169を介して受信されてもよい。そのようなコンピュータプログラムは、プロセッサ102によって実行されたとき、クライアントデバイス110が本明細書に論じられる方法およびシステムの機能を行うことを可能にする。
【0048】
様々な実施形態では、図1Aおよび図1Bに示されるように、クライアントデバイス110は、コンピュータデバイスを含んでよく、それは例えば、ハッシングコンピュータ、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ノートブックコンピュータ、手持ち型コンピュータ、携帯情報端末、携帯型ナビゲーションデバイス、携帯電話、スマートフォン、着用可能コンピューティングデバイス(例えば、スマートウォッチ、着用可能活動モニタ、着用可能スマートジュエリー、ならびに眼鏡および光学ヘッドマウントディスプレイ(「OHMD」)を含む他の光学デバイス)、埋め込まれたコンピューティングデバイス(例えばスマート繊維または電子布地と通信する)、または、データおよびソフトウェア命令を記憶し、ソフトウェア命令を実行して動作を行い、および/または表示装置に情報を表示するように構成された任意の他の好適なコンピューティングデバイス等である。クライアントデバイス110は、1人または複数のユーザ(図示せず)に関連し得る。例えば、ユーザがクライアントデバイス110を操作して、それに様々な実施形態に従って1つまたは複数の動作を行わせる。
【0049】
クライアントデバイス110は、データおよび/またはソフトウェア命令を記憶する1つまたは複数の有形で非一時的なメモリと、ソフトウェア命令を実行するように構成された1つまたは複数のプロセッサとを含む。クライアントデバイス110は、ユーザに対して情報を表示する1つまたは複数の表示装置と、ユーザがクライアントデバイスに情報を入力することを可能にする1つまたは複数の入力装置(例えば、キーパッド、キーボード、タッチ画面、音声作動制御技術、または任意の他の好適な種類の既知の入力装置)とを含んでよい。クライアントデバイス110のプロセッサは、任意の中央演算処理装置(「CPU」)、マイクロプロセッサ、マイクロコントローラ、または命令を実行するための演算デバイスもしくは回路であってよい。プロセッサは、通信インフラストラクチャ(例えば、通信バス、クロスオーバーバー、またはネットワーク)に接続されている。様々なソフトウェア実施形態が、この例示的クライアントデバイス110に即して説明される。この説明を読んだ後、他のシステムまたはアーキテクチャを含むクライアントデバイス110を使用してどのようにこの方法を実施するかが当業者に明らかになるであろう。当業者は、コンピュータは、クライアントデバイス110と同様のおよび/または同一のアーキテクチャを有してよいことを理解するであろう。別の言い方をすると、コンピュータは、図1Aおよび図1Bに示されるクライアントデバイス110の機能構成要素の一部、すべて、またはそれに追加的な機能構成要素を含むことができる。
【0050】
クライアントデバイス110はまた、1つまたは複数の通信インターフェース169を含み、これは、クライアントデバイス110と、外部デバイス、例えば別のクライアントデバイス110、およびクライアントデバイス110にローカルもしくはリモートに接続され得る他のデバイス、との間でソフトウェアおよびデータが転送されることを可能にする。1つまたは複数の通信インターフェースの例には、これらに限定されないが、モデム、ネットワークインターフェース(例えば、イーサネットカードもしくはワイヤレスカードなどの通信インターフェース169)、通信ポート、PCMCIAスロットおよびカード、1つまたは複数のPCI Expressスロットおよびカード、またはそれらの任意の組み合わせが含まれ得る。1つまたは複数の通信インターフェース169は、NFC、Bluetoothなどの短距離通信のために構成されたワイヤレスインターフェース、または別のワイヤレス通信プロトコルを介した通信のための他のインターフェースも含んでよい。
【0051】
1つまたは複数の通信インターフェース169を介して転送されるソフトウェアおよびデータは、信号の形態であり、この信号は、電子信号、電磁気信号、光信号、または通信インターフェース169によって受信されることが可能な他の信号であってよい。これらの信号は、通信路またはチャネルを介して通信インターフェース169に提供される。チャネルは、電線もしくはケーブル、光ファイバー、電話線、セルラーリンク、無線周波(「RF」)リンク、または他の通信チャネルを使用して実装されてよい。
【0052】
システム100および方法が部分的にまたは完全にソフトウェアを使用して実装される実施形態では、そのソフトウェアは、コンピュータプログラム製品に記憶されて、取り外し可能記憶ドライブ、ハードドライブ、および/または通信インターフェースを使用してクライアントデバイス110にロードされてよい。ソフトウェアは、プロセッサによって実行されたとき、プロセッサに、本明細書に記載される方法の機能を行わせる。別の実施形態では、方法は、例えば特定用途向け集積回路(「ASIC」)などのハードウェア構成要素を使用して、主としてハードウェアで実装される。本明細書に記載される機能を行うためのハードウェアの状態機械の実装は、当業者によって理解されるであろう。さらに別の実施形態では、方法は、ハードウェアとソフトウェア両方の組み合わせを使用して実施される。
【0053】
本明細書に記載される主題の実施形態は、システム100内で実施され得、システム100は、例えばデータサーバとしてのバックエンド構成要素を含むか、またはミドルウェア構成要素、例えばアプリケーションサーバ、を含むか、または、ユーザがそれを通じて本明細書に記載される主題の実装と対話することができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するフロントエンド構成要素(例えばクライアントデバイス110)を含むか、または1つまたは複数のそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組み合わせを含む。システムの構成要素は、任意の形態または媒体のデジタルデータ通信(例えば通信ネットワーク142)によって相互接続することができる。通信ネットワーク142は、1つまたは複数の通信ネットワークまたはデジタルデータ通信の媒体を含んでよい。通信ネットワーク142の例には、ローカルエリアネットワーク(「LAN」)、ワイヤレスLAN、RFネットワーク、NFCネットワーク、(例えば「WiFi」ネットワーク)、複数のワイヤレスLANを接続しているワイヤレス都市エリアネットワーク(「MAN」)、NFC通信リンク、およびワイドエリアネットワーク(「WAN」)、例えばインターネット、およびそれらの組み合わせが含まれる。本開示の様々な実施形態に従い、通信ネットワーク142は、インターネット、および1つまたは複数の通信プロトコルを介して相互接続された1つまたは複数の任意の公共アクセス可能なネットワークを含んでよく、通信プロトコルには、これらに限定されないが、ハイパーテキスト転送プロトコル(「HTTP」)およびハイパーテキスト転送プロトコルセキュアード(「HTTPS」)およびセキュアードソケット層/トランスポート層セキュリティ(「SSL/TLS」)、および伝送制御プロトコル/インターネットプロトコル(「TCP/IP」)を含む。様々な実施形態に従う通信プロトコルは、無線周波数識別(「RFID」)通信および/またはNFCを使用してデータ転送を容易にするプロトコルも含む。さらに、通信ネットワーク142は、GSMまたはLTEネットワークまたはPCSネットワークなどの1つまたは複数のモバイルデバイスネットワークも含んで、クライアントデバイスが、本明細書に記載されるものを含む適用可能な通信プロトコルを介してデータを送受信できるようにしてよい。図示の容易のために、通信ネットワーク142は、管理サーバ130の拡張として示している。
【0054】
クライアントデバイス110とサーバ130は一般に互いから遠隔にあり、通例は通信ネットワーク142を通じて対話する。クライアントデバイス110と管理サーバ130の関係は、コンピュータプログラムがそれぞれのシステム構成要素上で実行され、互いに対してクライアント-サーバ関係を有することから生じる。システム100は、管理サーバ130によって提供される多くのサービスへのアクセスを得るために使用される実施形態では、ウェブ/アプリケーションサーバ(図示せず)を含んでよい。
【0055】
1つの態様では、クライアントデバイス110は、クライアントデバイス上で動作し、1つまたは複数のプロセッサによって実行される、1つまたは複数のソフトウェアアプリケーションをメモリに記憶する。場合によっては、各クライアントデバイスが、1つまたは複数のプロセッサによって実行されたときに、様々な実施形態に従って、管理サーバ130との通信を確立し(例えば、通信インターフェース169を介し、通信ネットワーク142を通じて)、データベース管理システム150を介して管理サーバ130から情報またはデータを取得する動作を行う、ソフトウェアアプリケーションを記憶する。
【0056】
様々な実施形態では、クライアントデバイス110は、記憶されているソフトウェアアプリケーションを実行して、ネットワーク接続を介して管理サーバ130と対話してよい。実行されたソフトウェアアプリケーションにより、クライアントデバイス110が、情報(例えば、顔測定値(例えばPD)、ユーザプロフィール情報等)を通信してよい。下記で説明されるように、実行されるソフトウェアアプリケーションは、クライアントデバイス110に関連するユーザがカメラ124を使用してPD測定値を得ることを可能にするように構成されてよい。クライアントデバイス110上の記憶されているソフトウェアアプリケーションは、当業者であれば理解するように、通信ネットワーク142と対話することが可能な通信に基づいて、インターネットまたは他の適切なネットワーク上のウェブページにアクセスするように構成される。例えば、ユーザは、インターネットウェブページを介して、管理サーバ130上のユーザアカウントにアクセスしてよい。この例では、管理サーバ130は、インターネットウェブページをクライアントデバイス110上でユーザのために描画するように構成される。代替として、管理サーバ130は、通信ネットワーク142を介して、クライアントデバイス110上の記憶されているソフトウェアアプリケーションに情報を提供してよい。この例では、クライアントデバイス110は、記憶されているソフトウェアアプリケーションのグラフィカルユーザインターフェースディスプレイを使用して、管理サーバ130によって提供された情報を表示する。上記の例では、当業者であれば理解するように、また下記で説明されるように、それぞれのユーザアカウントが、開発者、クライアントユーザ、または管理者/監視機関に関連付けられてよい。
【0057】
様々な実施形態に従い、システム100は、データ、例えば、顔測定情報(例えばPD等)、ユーザアカウント認証情報、および管理サーバ130によって維持されている他のデータ、を管理および記憶するためのデータベース管理システム/ストレージ150を含む。データベース管理システムおよび/またはストレージは、本明細書において、便宜上単にDBMS150と称する。DBMS150は、様々なモジュールおよびエンジン(図示せず)と通信的に結合されてよい。
【0058】
ハードドライブ、テープドライブ、フラッシュメモリ、ランダムアクセスメモリ、読出し専用メモリ、EEPROMストレージ、SAP HANAのようなメモリ内データベース等、ならびにその組み合わせなど、コンピューティングシステムによってアクセス可能な様々な形態のデータストレージまたはリポジトリが、システム100内で使用可能であることが理解されるべきである。記憶されるデータは、データストア内で、フラットテキストファイルストレージ、リレーショナルデータベース、非リレーショナルデータベース、XML、コンマで区切られた値、Microsoft Excelファイル、または当業者に知られている任意の他の形式、ならびに特定の用途に適するそれらの任意の組み合わせなどの、1つまたは複数の形式でフォーマットされてよい。データストアは、ファイルシステムアクセス、ネットワークアクセス、SQLプロトコル(例えばODBC)、HTTP、FTP、NES、CIFS等、ならびにそれらの任意の組み合わせによるなど、記憶されているデータへの様々な形態のアクセスを提供し得る。
【0059】
様々な実施形態に従い、クライアントデバイス110は、管理サーバ130を介してDBMS150にアクセスするように構成される。様々な実施形態では、DBMS150は、データベーススキーマを維持するように構成される。例えば、データベーススキーマは、顔測定値またはユーザアカウント情報に関連付けられたDBMS150内の列に識別子を維持するように構成されてよい。この態様では、識別子は、上記で説明されたカテゴリに関係する特定の情報を指す。DBMS150内のデータベーススキーマは、システム内で任意の好適な形で構成または編成されてよい。上記で説明した例はカテゴリ識別子を特定しているが、任意数の好適な識別子を使用して、本明細書に記載されるシステムに関連するレコードを維持してよい。加えて、データベーススキーマは、システム100内でレコードデータを維持するために、上記で説明されていない追加的なカテゴリおよび識別子を含んでよい。データベースは、システム100のユーザに関連する統計およびマーケティング情報を提供することもできる。
【0060】
上記のデータベーススキーマは、有利に、システムがより効率的に動作できるような形で識別子を編成する。いくつかの実施形態では、データベーススキーマ内の識別子のカテゴリは、関連する管理サーバ130の管理モデルを使用して識別子をグループ化することによって効率を向上させる。
【0061】
様々な実施形態では、管理サーバ130は、データおよびソフトウェア命令を記憶、維持、および生成するように構成されたコンピューティング構成要素を含む。例えば、管理サーバ130は、1つまたは複数のプロセッサ24、1つまたは複数のサーバ(図示せず)、ならびに実行するソフトウェアもしくはコードを記憶するための有形の非一時的なメモリデバイス(例えばローカルデータストア(DBMS150に加えて))、および/または追加的なデータストアを含むかまたはそれらへのアクセスを有してよい。サーバは、記憶されているソフトウェア命令を実行して様々な実施形態に従う1つまたは複数の処理を行うように構成された、1つまたは複数のコンピューティングデバイスを含んでよい。いくつかの実施形態では、DBMS150は、コンピューティング環境100の少なくとも1つの他の構成要素に情報を提供する動作を行うためのソフトウェア命令を実行するサーバを含み、例えば、通信ネットワーク142などのネットワークを通じて、別のデータストアに、または第3者の受信者(例えば、バンキングシステム、第3者ベンダ、情報収集機関等)にデータを提供する。
【0062】
管理サーバ130は、管理サーバ130の構成要素の様々な機能を行うように構成された、1つまたは複数のウェブサイト、デジタルポータル、または任意の他の好適なサービスを提供するように構成されてよい。いくつかの実施形態では、管理サーバ130は、アプリケーションプログラミングインターフェース(「API」)を維持し、それを通じて、サーバ130によって提供される機能やサービスが、クライアントデバイス110によって実行される1つまたは複数のアプリケーションプログラムを通じてアクセスされてよい。様々な実施形態では、管理サーバ130は、グラフィカルユーザインターフェース168に表示するために、クライアントデバイス110上のソフトウェアアプリケーションに情報を提供してよい。
【0063】
いくつかの実施形態では、管理サーバ130は、クライアントデバイス110に情報を提供する(例えば、実行されたアプリケーションプログラムに関連付けられたAPIを通じて)。クライアントデバイス110は、その情報の一部を、対応するそれぞれのグラフィカルユーザインターフェース168またはウェブページを通じて対応するユーザに提示する。
【0064】
様々な実施形態では、管理サーバ130は、管理サーバ130によってクライアントデバイス110に提供されるサービスに関連する情報を提供または受信するように構成される。例えば、クライアントデバイス110は、通信ネットワーク142を介して情報を受信し、その情報の一部を、ローカルにアクセス可能な記憶装置ならびに/またはネットワークアクセス可能な記憶装置およびデータストア(例えば、クラウドベースのストレージ)に記憶してよい。例えば、クライアントデバイス110は、記憶されている命令(例えば、アプリケーションプログラム、ウェブブラウザ、および/またはモバイルアプリケーション)を実行して、記憶されているデータの一部を処理し、記憶されているデータの一部を、それぞれのユーザへの提示のために描画してよい。管理サーバ130は、分散ネットワーク内の対応するノードとして、またはクラウドコンピューティング環境内の対応するネットワーク化されたサーバとして組み込まれてよい、追加的なサーバ(図示せず)を含んでよい。さらに、サーバは、追加的なサーバによる並列実行のために処理の分散を容易にし得る、1つまたは複数の追加的なサーバ(図示せず)と、通信ネットワーク142を介して通信してよい。
【0065】
PD処理管理
本開示の様々な実施形態では、クライアントデバイス110上でユーザのPDを測定または推定するための処理が提供される。ここで図2を参照すると、本開示のいくつかの実施形態に従う、深度マップを使用する例示的なPD測定処理200を説明する流れ図。最初に、ステップ202で、少なくとも1つのカメラ(カメラ124など)を介して、画像がクライアントデバイス110上でユーザによって撮影される。いくつかの実施形態では、PDシステムを使用する前に、PDシステムを使用するための命令(図示されるような、例えば図9の命令900)がユーザに提供される。いくつかの実施形態では、ユーザの頭部が正確な測定のために適切に位置付けられているかどうか(すなわち、頭部が正確な画像撮影のための位置にあるかどうか)に関するフィードバックがユーザに提供される。そのようなフィードバックは、例えばテキスト、口頭、および/または記号の形式で伝達され、ユーザに頭部および/またはクライアントデバイス110を、より遠くに、より近くに、上、下、右、左、斜めになどの様々な方向に動かすように、時計回りに回転させるもしくは反時計回りに回転させるように、および/または、クライアントデバイス110の画面上の点もしくは領域を見る、もしくは画面外を見るように指示する。フィードバックは、ユーザが頭部および/または眼で追うことのできる1つまたは複数のインジケータを、クライアントデバイス110の画面上に含むことができる。ユーザはフィードバックを追いながら、ユーザは、最終的に正確な測定のために頭部を位置付ける。例として、図10および図11は、「ドットに焦点を合わせて下さい。ドットが動いたら追って下さい。」とユーザに指示するテキスト命令を伴う例示的なインジケータ1000を示す。インジケータがクライアントデバイス110の画面上で開始位置から終了位置へと移動するのに伴い、ユーザは、インジケータに合わせて自身の頭部および/または眼を動かす。画像撮影の前に、頭部および/または眼および/または少なくとも1つのカメラ(カメラ124など)を有するクライアントデバイス110をさらに移動させるために、例えば図10に示される「もっと離して下さい」などの追加的なフィードバックがユーザに伝えられ得る。ユーザの頭部が正確な測定のために適切に位置付けられると、少なくとも1つのカメラ(カメラ124など)を介して、画像がクライアントデバイス110上でユーザによって撮影される。上記のフィードバックは、ステップ202との関連で発生してよい。様々な実施形態に従い、撮影される画像は2D画像および対応する深度マップである。いくつかの実施形態では、深度マップは、TrueDepth(登録商標)カメラを使用して取得される。例として、TrueDepth(登録商標)カメラが、赤外線のドット(例えば30,000個のドット)のアレイを既知のパターンで被検体上に発し、赤外線センサが、それらのドットがどのようにシーンと相互作用するかを記録し、その情報から3D構造が生成される。TrueDepth(登録商標)カメラは、起動のための近接センサと、出力光レベルを設定するための周辺光センサとを含んでいる。3D情報を使用して、撮影された物体の物理的大きさを決定してよい。TrueDepth(登録商標)カメラがこの実施形態との関連で開示されるが、当業者は、様々な他の深度感知カメラが本明細書に記載されるシステムおよび方法における処理を行うために使用されてよいことを理解するであろう(例えば、The Point Cloud Depth Camera(商標)、Intel RealSense(登録商標)、Kinect(登録商標)深度カメラ、Depth+Multi-Spectral Camera(商標)等)。
【0066】
様々な実施形態では、2D画像および対応する3D深度マップは、クライアントデバイス110上の記憶ユニットから取得されてよい。いくつかの実施形態では、2D画像および対応する3D深度マップ情報は、本明細書に記載される処理を行うためにクライアントデバイス110によって受信されてよい。2D画像および対応する3D深度マップは、異なるデバイスによって取得されても、および/または本明細書に記載されるステップと非同時式に生成されてもよいことが認識されるはずである。
【0067】
様々な実施形態では、ステップ203で、複数の顔メッシュランドマークを使用して、粗い瞳孔位置特定が得られる。様々な実施形態に従い、ステップ202で特定された3D情報を使用して眼孔の中心に近い(例えば瞳孔から0~5mm)顔メッシュ頂点の座標を生成し、瞳孔のおよその位置を得る。例として、頂点1095、1094、1107、および1108は、右の瞳孔に近く、頂点1076、1075、1062、および1063は、左の瞳孔に近い。当業者であれば、上記の例で特定される頂点は、決定される実際の頂点とは異なり、個人に対して生成される座標に基づいて変動することを理解するであろう。図3は、本開示のいくつかの実施形態に従い、顔メッシュ905(複数の頂点920に接続された複数の線910によって表される)が重畳されたユーザの瞳孔領域の例示的画像であり、顔メッシュは、主要頂点950および主要頂点の重心951を示している。いくつかの実施形態では、瞳孔ごとに、各瞳孔に対応する頂点の3D重心を算出して、対応する重心の2D画像座標を決定する。様々な実施形態では、この算出は、SceneKit(登録商標)のprojectPoint(_:)法、またはあるシーンの3D世界座標系からレンダラの2D画素座標系に1つまたは複数の点を投影する他の方法によって行われる。当業者であれば、3D重心の対応する2D画像座標を決定するための算出は任意の好適なアプリケーションまたはシステムによって行われてよいことを認識するであろう。
【0068】
ステップ204で、様々な実施形態に従って、ステップ203で得られた初期瞳孔位置が、2D中心-周辺フィルタを用いる畳み込みを使用して精緻化される。この文脈では、畳み込みは、カーネルとして既知であるテストパターンの外見に最もよく一致する画像中の領域を見つけるための方法と考えることができる。いくつかの実施形態では、白い環によって囲まれた暗色の円を有するカーネルを使用して、そのカーネルに似ている画像内の領域を見つける。様々な実施形態では、畳み込み法は、位置特定すべきパターンが未知の大きさを持つ場合、様々な大きさのカーネルを用いて複数回実行されてよい。いくつかの実施形態では、瞳孔サイズの推定値(例えば、直径およそ12mm;およそ=+/-2mm)を使用して、関連する顔メッシュを使用してカメラからのおよその眼の距離を決定してよい。瞳孔サイズの推定値および以下の式を使用して、虹彩が画像中でどれほどの大きさに見えるかの予測を行うことができる:
虹彩の画素直径Dは、以下によって与えられ、
【0069】
【数1】
ここで、fは2Dカメラの焦点距離であり、zはカメラと瞳孔との間の距離であり、dは虹彩の直径であり、これはおよそ12mmと仮定される。
【0070】
様々な実施形態では、カーネルは次のようにして構築される。カーネルは、
【0071】
【数2】
の大きさを持つ直径Dの中央円形領域と、
【0072】
【数3】
の大きさを持つ直径1.5Dの周辺円形領域とを有する。この例では、各大きさは、均一な画像に対してカーネルがゼロの応答を発生するように選定される。畳み込みは、初期推定値の周囲の3D×3Dの領域内で適用され、最も強い応答を与えるこの領域内の位置が、精緻化された推定とみなされる。
【0073】
図4(a)~4(c)は、本開示のいくつかの実施形態に従う、ステップ204の2D画像での畳み込みを使用して初期瞳孔位置を精緻化する例示的な図解表現であり、図4Aは、中心-周辺構造を持つフィルタカーネル(またはカーネル)を示し、図4Bは、カーネルに対して最大の応答を有する場所を示す十字記号を伴う円990を有する画像パッチを示し、図4Cは、カーネルによる畳み込みへの画像応答を示す。
【0074】
ステップ205で、最終的な瞳孔位置精緻化ステップにおいて、虹彩の正確な境界が推定され、その境界のロバストフィットが円を用いて行われる。様々な実施形態に従い、その前の204における位置特定ステップで得られた結果を中心とする、1.5D画素幅の領域が検討される。領域ごとに、水平方向勾配カーネルが、行の左半分および右半分に適用される。行の左半分には、[+1,0,-1]のカーネルが適用され、これは、明から暗への推移に対して強い応答を引き出す。行の右半分には、[-1,0,+1]のカーネルが適用され、これは、暗から明への推移に対して強い応答を引き出す。各半々の行に対して、最も強い応答を持つ列が、候補境界点として検討される。虹彩の全体は見えないこと、および多くの場合は虹彩の上部が下部よりも多く隠されることを加味するために、領域の中心から上方に30°未満および領域の中心から下方に45°に対応する行だけが検討される。
【0075】
図5は、本開示のいくつかの実施形態に従う、瞳孔領域画像に対するRANSAC反復法の例示的な図解である。図5において、実線の円2000は、虹彩境界の初期推定を示し、実線の十字記号2001は、虹彩中心の初期推定を示し、塗りつぶしたドット3010は、内側値の境界点を示し、白抜きのドット3020は、外れ値の境界点を示し、点線の円3000は、虹彩境界の最終的な推定を示し、点線の十字記号3001は、虹彩中心の最終的な推定を示す。様々な実施形態に従い、またステップ205を続けると、候補境界点が特定されると、それらの点に最もよく一致する円が決定される必要がある。しばしば角膜反射や他の凹凸に起因する偽の境界点があるため、偽陽性を拒否しながら、真のエッジ点のみを使用する方法を見つける必要がある。様々な実施形態では、これは、RANSAC技術を使用して達成される。いくつかの実施形態に従うと、RANSACは、ランダムに選択された点の部分集合にモデルをフィットさせ、最も低い誤差を与えるものを選定することによって機能する。最終的な円モデルによってうまくフィットされない点は外れ値とみなされ、点の残りが「内側値」とみなされる。
【0076】
ステップ206(206aと206bを総称的に)で、瞳孔中心の座標を3D座標系と関連付けて、瞳孔中心間の物理的距離を算出する。様々な実施形態では、瞳孔中心間の物理的距離は、ステップ206aで深度マップ法に従って算出されてよい。この実施形態では、ソフトウェアによって提供された画像フレームに対してカメラ較正が使用されて、z座標を得る。様々な実施形態では、このソフトウェアは、Apple iOS(商標)またはクライアントデバイス110の同様のオペレーティングソフトウェアであってよい。この実施形態では、2D画像内の瞳孔の精緻化後の位置に対応する値が、深度マップ内で決定されてよい。
【0077】
代替として、ステップ206bで様々な実施形態に従って、ある手順を使用して、瞳孔中心に対応する3D顔メッシュ上の点を決定してよい。この実施形態では、ある画像座標に対する光線が発射され、この光線が顔メッシュと交差する点の3D世界座標が返される。
【0078】
ステップ206(206aおよび206bを総称的に)を参照すると、様々な実施形態に従い、Apple iOS(商標)によって提供される変換を使用して、それらの3D瞳孔点を、顔を中心とする座標系で表すことができ、この座標系では、x=0が顔の正中線に対応し、x軸が頭部の横軸に対応する。そして、両眼PDは、瞳孔位置間のx距離であり、単眼PDは、各瞳孔位置とゼロとの間のx距離である。
【0079】
図6は、本開示のいくつかの実施形態に従う、遠用PDを測定または推定するための処理の例示的な図解である。ステップ207で、画像がカメラ124から撮影される距離に基づいて、PDに対する補正が行われる。例えば、カメラ124を備えたクライアントデバイス110(モバイルデバイスなど)が腕の長さに持たれ、これは約400mmに対応する。その個人がクライアントデバイス110の画面/ディスプレイ168を注視している場合、その者のPDは、正確なPD決定のために最も適する値である遠用距離で注視しているときのPDよりも低くなる。しばしば、固定値を加算することによって近用PDが遠用PDに変換される。しかし、この例では、被検体からの注視点距離が既知であり、より原理に基づいた補正を行うことができる。いくつかの実施形態では、眼球横半径は例えば12mmと仮定することができる。すると、眼球中心座標は、カメラ座標と瞳孔中心座標とによって画定される光線をもう12mm伸ばすことによって算出することができる。いくつかの実施形態では、眼球横半径は、10mm~14mmの範囲、またはその範囲内の任意の中間値である。いくつかの実施形態では、眼球横半径は、10mm、11mm、12mm、13mm、または14mmである。いくつかの実施形態では、眼球横半径は、およそ12mmである(「およそ」は+/-2mmである)。この処理が図6に示されている。
【0080】
様々な実施形態では、潜在的な外れ値を破棄するために、複数の測定値を集約することが望ましいことがあり得る。中央の両眼PD測定値を取ることが、これを行う最も単純な方法である。単眼測定の場合、左眼(左目)(「OS(Oculus sinister)」)値および右眼(右目)(「OD(Oculus dexter)」)値の中央値を取ると、それらが中央両眼値に加算されるのを防ぐ可能性が高い。OSおよびODのPD値に割り当てられた両眼PDの割合を求め、中央値の割合を算出し、次いでそれに中央両眼PD値を乗算することがより適切である。様々な実施形態に従うと、PD測定値は、瞳孔計測定値の0.5mm以内である。いくつかの実施形態では、PD定値は、瞳孔計測定値の1.0mm以内である。
【0081】
図7は、本開示のいくつかの実施形態に従う、PD計算インターフェース800の例である。「方法A」は、本明細書に記載される深度マップ法を指す。「方法B」は、これも本明細書に記載される顔メッシュ法を指す。
【0082】
図8~11は、本開示のいくつかの実施形態に従う、PDを測定するためのそれぞれ例示的インターフェース801、802、803、および804であり、図12は、本開示のいくつかの実施形態に従うPD計算インターフェース805の別の例を示す。そのようなインターフェースは、クライアントデバイス110の画面/ディスプレイ168に見られることができ、またPD情報を必要とする眼鏡などの製品を検討する、選択する、および/または購入するようにユーザを誘導するための、1つまたは複数のハイパーリンク、ウェブリンク、画像リンクおよび/またはサービスボタン(例えば、「注文に追加する」ボタン1010または他の購入に関係するボタン)を含むこともある。
【0083】
本開示の様々な実施形態では、システム100は、クライアントデバイス110の特定のユーザの顔測定データ(例えばPD等)を記憶するように構成されてよい。様々な実施形態では、それぞれのユーザの顔測定データは、ユーザアカウントに関連付けられてよい。いくつかの実施形態では、クライアントデバイス110は、ユーザアカウントに関連付けられたDBMS150に記憶するために、顔測定データを管理サーバ130に送信してよい。様々な実施形態では、顔測定データは、顔測定処理を改良するために、消費者の満足度スコアまたは評価と集約されてよい。いくつかの実施形態では、消費者の満足度スコアに関連付けられた顔測定データ、購入履歴、または特定の製品の大きさ、厚み、および/もしくは寸法などの他の識別特性に基づいて、製品の推薦がクライアントデバイス110のユーザに提供される。
【0084】
本開示は、それらの方法を実施するための方法および装置の形態で具現化され得る。本開示は、セキュアデジタル(「SD」)カード、USBフラッシュドライブ、ディスケット、CD-ROM、DVD-ROM、Blu-ray(登録商標)ディスク、ハードドライブ、または任意の他の非一時的な機械可読記憶媒体などの有形の媒体に具現化されたプログラムコードの形態で具現化されることも可能であり、プログラムコードが、コンピュータなどの機械にロードされて実行されると、機械は、本開示を実施するための装置になる。本開示はまた、記憶媒体に記憶されるか、機械にロードされるおよび/または機械によって実行されるか、または電気配線またはケーブルを介して、光ファイバーを通じて、または電磁気放射を介するなど、何らかの伝送媒体を通じて送信されるかに拘らず、プログラムコードの形態で具現化されることも可能であり、プログラムコードが、コンピュータなどの機械にロードされて実行されると、機械は、本開示を実施するための装置になる。汎用プロセッサ上で実装される場合、プログラムコードセグメントがプロセッサと組み合わさって、特定の論理回路と同様に動作する固有のデバイスを提供する。
【0085】
上記の実施形態は実装の可能な例に過ぎず、本開示の原理の明確な理解を述べたに過ぎないことが強調されてよい。本開示の主旨および原理から著しく逸脱することなく、多くの変形および変更が本開示の上記の実施形態になされてよい。すべてのそのような変更および変形は、本開示の範囲内に含まれ、以下の特許請求の範囲によって保護されることが意図される。
【0086】
本明細書は多くの具体的詳細を含んでいるが、それらは、開示または特許請求される内容の範囲に対する制限と解釈されるべきではなく、特定の開示の特定の実施形態に固有であり得る特徴の説明と解釈されるべきである。別々の実施形態の文脈で本明細書に記載される特定の特徴は、単一の実施形態に組み合わせて実施されてもよい。逆に、単一の実施形態の文脈で説明されている様々な特徴が、別々に複数の実施形態として、または任意の好適なサブコンビネーションで実施されてもよい。さらに、特徴は上記で特定の組み合わせで説明され、最初はそのようなものとして特許請求されることもあるが、特許請求される組み合わせからの1つまたは複数の特徴が、場合によっては、その組み合わせから外されてよく、特許請求される組み合わせがサブコンビネーションまたはサブコンビネーションの変形を対象としてもよい。
【0087】
様々な実施形態が説明されたが、説明された実施形態は、例示的なものに過ぎないこと、および、主題の範囲には、その検討から当業者に当然に想到される最大限の範囲の等価物、多くの変形および変更が与えられるべきであることが理解されるべきである。
【符号の説明】
【0088】
100 システム
110、110-1、110-2、110-3 クライアントデバイス
142 通信ネットワーク
50、50-1、50-2 コンピュータシステムネットワーク
130 管理サーバ
150-1、150-2 データ記憶ユニット
150 データベース管理システム、DBMS
24 処理装置、プロセッサ
28 PD測定GUI
30 クライアントユーザGUI
32 グラフィカルユーザインターフェース、ポータル
54 リモートコンピュータ
34 ローカルコンピュータ
102 プロセッサ
104 通信インフラストラクチャ
168 ディスプレイ、グラフィカルユーザインターフェース
108 主メモリ
110 二次メモリ
114 取り外し可能記憶ドライブ
116 取り外し可能記憶ユニット
118 取り外し可能記憶ユニット
120 インターフェース
122 スピーカ
123 発振器
124 カメラ
125 発光ダイオード
126 マイクロフォン
128 入力装置
129 全地球測位システムモジュール
169 通信インターフェース
1000 インジケータ
1095、1094、1107、1108、1076、1075、1062、1063 頂点
905 顔メッシュ
920 頂点
910 線
950 主要頂点
951 重心
990 円
2000 円
2001 十字記号
3010 ドット
3020 ドット
3000 円
3001 十字記号
800 PD計算インターフェース
801、802、803、804 インターフェース
805 PD計算インターフェース
1010 ボタン
図1A
図1B
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
【国際調査報告】