知財求人 - 知財ポータルサイト「IP Force」
▶ カール ツァイス ヴィジョン インターナショナル ゲーエムベーハーの特許一覧
特表2020-522076眼鏡フレームを仮想的に調整するための方法、装置、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2020-522076(P2020-522076A)
(43)【公表日】2020年7月27日
(54)【発明の名称】眼鏡フレームを仮想的に調整するための方法、装置、及びコンピュータプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20200626BHJP
G02C 5/00 20060101ALI20200626BHJP
G06T 7/564 20170101ALI20200626BHJP
【ＦＩ】
G06T19/00 C
G02C5/00
G06T7/564
【審査請求】有
【予備審査請求】有
【全頁数】59
(21)【出願番号】特願2019-566300(P2019-566300)
(86)(22)【出願日】2018年6月1日
(85)【翻訳文提出日】2020年1月8日
(86)【国際出願番号】EP2018064519
(87)【国際公開番号】WO2018220203
(87)【国際公開日】20181206
(31)【優先権主張番号】17173929.5
(32)【優先日】2017年6月1日
(33)【優先権主張国】EP
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＭＡＴＬＡＢ
(71)【出願人】
【識別番号】507062222
【氏名又は名称】カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100205833
【弁理士】
【氏名又は名称】宮谷 昂佑
(72)【発明者】
【氏名】オリバー シュワルツ
(72)【発明者】
【氏名】イヴォ イーケ
【テーマコード（参考）】
2H006
5B050
5L096
【Ｆターム（参考）】
2H006AA00
5B050AA03
5B050BA06
5B050BA09
5B050BA12
5B050CA01
5B050DA04
5B050DA07
5B050EA05
5B050EA07
5B050EA19
5B050EA26
5B050FA02
5B050FA05
5L096AA09
5L096BA08
5L096CA04
5L096DA02
5L096FA66
5L096FA69
(57)【要約】
粗調整と微調整を用いた眼鏡の仮想試着プロセスのための方法、コンピュータプログラム、及び装置が開示される。この目的のために、頭部及び眼鏡フレームの３Ｄモデルと、頭部のモデルに基づく頭部メタデータ及びフレームのモデルに基づくフレームメタデータが提供される。頭部メタデータは設置情報、特に、頭部上の眼鏡フレームの大まかな位置決めのために使用できる設置点及び／又は、頭部の耳への設置のためのフレームのアームの領域を説明する設置領域を含む。この種のメタデータの援用により、その後の精密調整を用いて、頭部への眼鏡フレームの迅速で比較的簡単な計算による位置決めとより正確な調整を実現できる。
【特許請求の範囲】
【請求項1】
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
その後の、前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、
主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする方法。
頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
その後の、前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、
主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする方法。
【請求項2】
前記大まかな位置決めは、前記ｚ方向への前記眼鏡フレームの位置を特定することを特徴とする、請求項１に記載の方法。
【請求項3】
前記フレームメタデータを提供するための方法は、前記眼鏡フレームの前記３Ｄモデル内の顕著点を識別するステップ及び／又は前記眼鏡フレームの前記３Ｄモデル内の顕著点を分類するステップを含むことを特徴とする、請求項１又は２に記載の方法。
【請求項4】
前記方法は、前記識別された顕著点に基づく座標変換を、
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つに適用することをさらに含むことを特徴とする、請求項３に記載の方法。
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つに適用することをさらに含むことを特徴とする、請求項３に記載の方法。
【請求項5】
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
精密仮想位置決めの前の、頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、前記フレームメタデータを提供する方法は、前記眼鏡フレームの前記３Ｄモデル内の顕著点を識別するステップ及び／又は前記眼鏡フレームの前記３Ｄモデル内の顕著点を分類するステップを含み、
顕著点を分類するステップは、関係のある、及び関係のない点に分類するステップを含むことを特徴とする方法。
精密仮想位置決めの前の、頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、前記フレームメタデータを提供する方法は、前記眼鏡フレームの前記３Ｄモデル内の顕著点を識別するステップ及び／又は前記眼鏡フレームの前記３Ｄモデル内の顕著点を分類するステップを含み、
顕著点を分類するステップは、関係のある、及び関係のない点に分類するステップを含むことを特徴とする方法。
【請求項6】
前記方法は、前記識別された顕著点に基づく座標変換の、
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項５に記載の方法。
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項５に記載の方法。
【請求項7】
前記頭部の主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする、請求項５又は６に記載の方法。
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする、請求項５又は６に記載の方法。
【請求項8】
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算される
ことを特徴とする、請求項５〜７の何れか１項に記載の方法。
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算される
ことを特徴とする、請求項５〜７の何れか１項に記載の方法。
【請求項9】
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
頭部の３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく眼鏡フレームの精密仮想位置決めと、
前記精密位置決めの前の、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく前記頭部上での前記眼鏡フレームの大まかな仮想位置決めと、
を含み、
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは、前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算され、
前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への前記分割は、前記３Ｄモデルの頂点又はボクセルを細分する空間内のそれぞれの断面によって行われ、前記それぞれの断面は、それぞれの基準点ｐ及び、空間内の前記それぞれの断面に垂直なそれぞれの法線ベクトルｎにより画定され、前記眼鏡フレームの前記３Ｄモデルの前記分割は、
−前記眼鏡フレームの前記３Ｄモデルのある頂点又はボクセルと前記それぞれの法線ベクトルｎとのスカラ乗積と、
−前記それぞれの基準点ｐと前記法線ベクトルｎとのスカラ乗積
との比較に基づいて行われることを特徴とする方法。
頭部の３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく眼鏡フレームの精密仮想位置決めと、
前記精密位置決めの前の、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく前記頭部上での前記眼鏡フレームの大まかな仮想位置決めと、
を含み、
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは、前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算され、
前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への前記分割は、前記３Ｄモデルの頂点又はボクセルを細分する空間内のそれぞれの断面によって行われ、前記それぞれの断面は、それぞれの基準点ｐ及び、空間内の前記それぞれの断面に垂直なそれぞれの法線ベクトルｎにより画定され、前記眼鏡フレームの前記３Ｄモデルの前記分割は、
−前記眼鏡フレームの前記３Ｄモデルのある頂点又はボクセルと前記それぞれの法線ベクトルｎとのスカラ乗積と、
−前記それぞれの基準点ｐと前記法線ベクトルｎとのスカラ乗積
との比較に基づいて行われることを特徴とする方法。
【請求項10】
空間内の前記それぞれの断面の１つの少なくとも１つの基準点ｐは蝶番軸点である、請求項９に記載の方法。
【請求項11】
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
頭部上での前記眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
その後の、前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
前記頭部メタデータは前記頭部の耳のための静止領域を含み、この領域は前記つる部に基づいて計算され、
前記頭部の前記耳に関する前記計算された静止領域の少なくとも１つの静止領域は、前記つる部の少なくとも１つの眼鏡つるについてある方法により特定され、前記方法は、
−前記眼鏡つるの始点ａと終点ｂを前記眼鏡つるから特定するステップと、
−潜在的な耳静止領域を、前記潜在的な耳静止領域を画定する平面のｚ成分により特定するステップであって、次式：
α＜（ｖｚ−ａｚ）／ｌｚ＜β
（式中、αとβは所定の値であり、αは０．３〜０．６の間にあり、βは０．６〜０．９の間にあり、ａｚは前記点ａのｚ成分であり、ｌｚは前記ｚ方向への前記眼鏡つるの長さであり、ｖｚは前記３Ｄモデルの頂点又はボクセルのｚ成分である）が適用されるステップと、
−前記潜在的な耳静止領域から前記静止領域を、漸増的に変位する窓を用いる計算によって特定するステップであって、前記窓内にある前記潜在的な静止領域の頂点又はボクセルの集合は前記窓の各位置について確認され、方向ベクトルｄのスカラ乗積ｓ＝＜ｖ，ｄ＞が前記頂点又はボクセルの集合の各々について形成され、ｖは前記頂点又はボクセルの集合からの前記それぞれの頂点又はボクセルの座標を特定し、ｄは前記それぞれの眼鏡つる部に関する正規化された固定ベクトルであり、それぞれの１つの頂点又はボクセル
は前記それぞれの窓について、前記頂点又はボクセルのスカラ乗積ｓに基づいて特定されるステップと、
−前記少なくとも１つの静止領域を、静止点の集合として、又は静止曲線として提供するステップであって、前記静止点の集合又は静止曲線は前記頂点又はボクセル
を含むステップと、
を含むことを特徴とする方法。
頭部上での前記眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
その後の、前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
前記頭部メタデータは前記頭部の耳のための静止領域を含み、この領域は前記つる部に基づいて計算され、
前記頭部の前記耳に関する前記計算された静止領域の少なくとも１つの静止領域は、前記つる部の少なくとも１つの眼鏡つるについてある方法により特定され、前記方法は、
−前記眼鏡つるの始点ａと終点ｂを前記眼鏡つるから特定するステップと、
−潜在的な耳静止領域を、前記潜在的な耳静止領域を画定する平面のｚ成分により特定するステップであって、次式：
α＜（ｖｚ−ａｚ）／ｌｚ＜β
（式中、αとβは所定の値であり、αは０．３〜０．６の間にあり、βは０．６〜０．９の間にあり、ａｚは前記点ａのｚ成分であり、ｌｚは前記ｚ方向への前記眼鏡つるの長さであり、ｖｚは前記３Ｄモデルの頂点又はボクセルのｚ成分である）が適用されるステップと、
−前記潜在的な耳静止領域から前記静止領域を、漸増的に変位する窓を用いる計算によって特定するステップであって、前記窓内にある前記潜在的な静止領域の頂点又はボクセルの集合は前記窓の各位置について確認され、方向ベクトルｄのスカラ乗積ｓ＝＜ｖ，ｄ＞が前記頂点又はボクセルの集合の各々について形成され、ｖは前記頂点又はボクセルの集合からの前記それぞれの頂点又はボクセルの座標を特定し、ｄは前記それぞれの眼鏡つる部に関する正規化された固定ベクトルであり、それぞれの１つの頂点又はボクセル
【数1】
は前記それぞれの窓について、前記頂点又はボクセルのスカラ乗積ｓに基づいて特定されるステップと、
−前記少なくとも１つの静止領域を、静止点の集合として、又は静止曲線として提供するステップであって、前記静止点の集合又は静止曲線は前記頂点又はボクセル
【数2】
を含むステップと、
を含むことを特徴とする方法。
【請求項12】
前記頭部の主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする、請求項９〜１１の何れか１項に記載の方法。
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする、請求項９〜１１の何れか１項に記載の方法。
【請求項13】
前記フレームメタデータを提供するための方法は、前記眼鏡フレームの前記３Ｄモデル内の顕著点を識別するステップ及び／又は前記眼鏡フレームの前記３Ｄモデル内の顕著点を分類するステップを含むことを特徴とする、請求項９〜１２の何れか１項に記載の方法。
【請求項14】
前記方法は、前記識別された顕著点に基づく座標変換の、
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項１３に記載の方法。
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項１３に記載の方法。
【請求項15】
前記フレームメタデータは、前記眼鏡フレーム上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第一の静止情報項目を含み、及び／又は前記頭部メタデータは、前記頭部の上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第二の静止情報項目を含むことを特徴とする、請求項１〜１４の何れか１項に記載の方法。
【請求項16】
前記第一の静止情報項目は前記眼鏡フレームのノーズブリッジに関連する静止点を含み、前記第二の情報項目は前記頭部の前記３Ｄモデルの鼻梁に関連する設置点を含むことと、前記大まかな仮想位置決めは、前記フレームメタデータの前記静止点が前記頭部メタデータの前記設置点に対応させられる位置決めを含むことを特徴とする、請求項１５に記載の方法。
【請求項17】
前記頭部の鼻梁を特徴付ける情報項目を計算するステップと、前記鼻梁を特徴付ける前記情報項目に基づいて前記設置点を特定するステップであって、前記鼻梁を特徴付ける前記情報項目は３Ｄ曲線であるステップと、を特徴とする、請求項１６に記載の方法。
【請求項18】
前記頭部の主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記３Ｄ曲線はパラメータ表現を有し、前記パラメータ表現は、前記ｙ方向の座標の関数として定義されることを特徴とする、請求項１７に記載の方法。
【請求項19】
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく仮想位置決めを含み、前記フレームメタデータは、前記眼鏡フレーム上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第一の静止情報項目を含み、前記頭部メタデータは、前記頭部の上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第二の静止情報項目を含み、前記第二の静止情報項目は、前記頭部の前記３Ｄモデルの鼻梁に関連する設置点を含み、
前記鼻梁の前記鼻梁領域は３Ｄ曲線として提供されることを特徴とする方法。
頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく仮想位置決めを含み、前記フレームメタデータは、前記眼鏡フレーム上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第一の静止情報項目を含み、前記頭部メタデータは、前記頭部の上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第二の静止情報項目を含み、前記第二の静止情報項目は、前記頭部の前記３Ｄモデルの鼻梁に関連する設置点を含み、
前記鼻梁の前記鼻梁領域は３Ｄ曲線として提供されることを特徴とする方法。
【請求項20】
前記第一の静止情報項目は、前記眼鏡フレームのノーズブリッジに関連する静止点を含む、請求項１９に記載の方法。
【請求項21】
前記仮想位置決めは、精密仮想位置決めと、前記精密仮想位置決めの前の大まかな仮想位置決めを含み、
前記精密仮想位置決めは、前記頭部の前記３Ｄモデル及び前記眼鏡フレームの前記３Ｄモデルに基づき、
前記大まかな仮想位置決めは、前記フレームメタデータの前記静止点が前記頭部メタデータの前記設置点に対応させられる位置決めを含む、
請求項２０に記載の方法。
前記精密仮想位置決めは、前記頭部の前記３Ｄモデル及び前記眼鏡フレームの前記３Ｄモデルに基づき、
前記大まかな仮想位置決めは、前記フレームメタデータの前記静止点が前記頭部メタデータの前記設置点に対応させられる位置決めを含む、
請求項２０に記載の方法。
【請求項22】
前記設置点は前記３Ｄ曲線に基づいて特定され、前記頭部の主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記３Ｄ曲線はパラメータ表現を有し、前記パラメータ表現は、前記ｙ方向の座標の関数として定義される、請求項２１に記載の方法。
【請求項23】
前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする、請求項２２に記載の方法。
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする、請求項２２に記載の方法。
【請求項24】
前記フレームメタデータを提供する前記方法は、前記眼鏡フレームの前記３Ｄモデル内の顕著点を識別するステップ及び／又は前記眼鏡フレームの前記３Ｄモデル内の顕著点を分類するステップを含むことを特徴とする、請求項１９〜２３の何れか１項に記載の方法。
【請求項25】
前記方法は、前記識別された顕著点に基づく座標変換の、
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項２４に記載の方法。
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項２４に記載の方法。
【請求項26】
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは、前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算されることを特徴とする、請求項１９〜２５の何れか１項に記載の方法。
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは、前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算されることを特徴とする、請求項１９〜２５の何れか１項に記載の方法。
【請求項27】
前記方法は、
−前記フレームメタデータ及び／又は前記頭部メタデータの少なくとも一部分を自動的に特定する、及び
−前記フレームメタデータ及び／又は前記頭部メタデータの少なくとも一部分を手作業で特定する
の群からの少なくとも１つのプロセスを含むことを特徴とする、請求項１〜２６の何れか１項に記載の方法。
−前記フレームメタデータ及び／又は前記頭部メタデータの少なくとも一部分を自動的に特定する、及び
−前記フレームメタデータ及び／又は前記頭部メタデータの少なくとも一部分を手作業で特定する
の群からの少なくとも１つのプロセスを含むことを特徴とする、請求項１〜２６の何れか１項に記載の方法。
【請求項28】
前記自動特定は機械学習を含むことを特徴とする、請求項２７に記載の方法。
【請求項29】
前記フレームメタデータは、前記眼鏡フレームの柔軟性に関する曲げ情報項目を含むことと、前記仮想位置決めは前記柔軟性に関する前記情報項目に基づく前記眼鏡フレームの曲げを含むことを特徴とする、請求項１〜２８の何れか１項に記載の方法。
【請求項30】
前記方法は、前記表示に後に前記鼻の上の前記眼鏡フレームの前記位置を変化させるステップを含み、前記鼻の上の前記眼鏡フレームの変更後の位置は前記頭部メタデータの新しい設置点として記憶されることを特徴とする、請求項１〜１９の何れか１項に記載の方法。
【請求項31】
前記方法は、画像記録に基づいて前記頭部の前記３Ｄモデルを特定するステップと、前記画像が記録されたときの周囲照明を特定するステップをさらに含むことと、その上に前記フレームが位置決めされた前記頭部の前記表示は、前記捕捉された周囲照明に基づく仮想照明との画像合成を含むことを特徴とする、請求項１〜３０の何れか１項に記載の方法。
【請求項32】
プロセッサにより実行されたときに、請求項１〜３１の何れか１項による前記方法を実行するプログラムコードを含むコンピュータプログラム。
【請求項33】
眼鏡の仮想フィッティングのための装置において、
プロセッサと、
ディスプレイと、
を含み、
前記プロセッサ上で実行される第３２項に記載のコンピュータプログラムを特徴とする装置。
プロセッサと、
ディスプレイと、
を含み、
前記プロセッサ上で実行される第３２項に記載のコンピュータプログラムを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、眼鏡フレームの仮想フィッティングのための方法、装置、及びコンピュータプログラムに関する。ここで、ＤＩＮ ＥＮ ＩＳＯ ７９９８：２００６−０１及びＤＩＮ ＥＮ ＩＳＯ ８６２４：２０１５−１２により、眼鏡フレームとは、それを用いて眼鏡レンズを頭部に装着できるフレーム又はホルダを意味すると理解すべきである。特に、この用語は本明細書で使用されるかぎり、縁なし眼鏡フレームも含む。口語として、前記眼鏡フレームはまた、フレームとも呼ばれる。本願の範囲において、眼鏡フレームの仮想着用とは、コンピューティングデバイス上で眼鏡フレームのモデルを頭部のモデルへとフィッティングすることを言い、コンピューティングデバイスは通常、ディスプレイ、例えばコンピュータモニタ上の、ある人物の頭部への眼鏡フレームのフィッティングのグラフィック表現に関連付けられる。
【背景技術】
【0002】
眼鏡レンズの仮想装用は、例えば米国特許出願公開第２００３／０１２３０２６ Ａ１号明細書又は米国特許出願公開第２００２／１０５５３０Ａ１号明細書から知られている。これらの文献の中で、眼鏡フレームの仮想装用は主として、使用者が異なる眼鏡フレームの中から選択するのを、眼鏡フレームと共に表示されるその使用者の頭部のグラフィック表現によって助けるのに役立つ。
【0003】
米国特許出願公開第２０１６／０３２７８１１Ａ１号明細書に対応する国際出願公開第２０１５／１０１７３Ａ２号パンフレットは、眼鏡フレームの使用者への仮想フィッティングを開示している。ここで、使用者の頭部のモデル、特に使用者の鼻のモデルと２つの耳のモデルが使用される。ここで、眼鏡フレームのモデルを頭部のモデルに重ねたものを使って、眼鏡フレームが使用者の頭部にフィットするように重複領域を最小化することによって眼鏡フレームの必要な変形を特定する。変形は、機械によって、又は手によって、対応する実際の眼鏡フレームにも適用できる。それに加えて、この文献では、鼻に関するフレームの位置は自動的に最適化できる。この最適化には、比較的高い計算のための経費が必要となり、最適化の初期値によっては、実際には理想的なフィッティングが必ずしも確実に得られるとはかぎらない。
【0004】
米国特許第９，２８６，７１５Ｂ２号明細書は、眼鏡の仮想試着のための方法を開示している。ここで、複数の点が眼鏡フレームと頭部の両方に画定される。眼鏡フレームは、眼鏡フレーム上の選択された点を頭部上の選択された点に対応させることによって頭部に位置決めされる。位置は、選択する点を変えることによって変更される。これによって、視覚的な印象を得る目的で仮想試着を実現するという米国特許第９，２８６，７１５Ｂ２号明細書の目的にとっては十分な精度での位置決めが容易となる。この場合、検眼士がその後フレームの実際のフィッティングを実行するためのもとになる正確なフィッティングは達成されない。
【0005】
Ｖｏｌｕｍｅｎｔａｌは、２０１７年３月５日現在、“ｈｔｔｐｓ：／／ｗｗｗ．ｖｏｌｕｍｅｎｔａｌ．ｃｏｍ／ｆａｃｅ−ｓｃａｎｎｉｎｇ”で“Ｖａｃｋｅｒ”ソフトウェアのためのデモンストレーションビデオを提供しており、その中では眼鏡を装用した頭部が示され、その眼鏡のパラメータ、例えば鼻梁の上の眼鏡の座り又はその他のパラメータ、例えばフロント角、「装用時」前傾角（ＤＩＮ ＥＮ ＩＳＯ参照）がスライダによって変更される。眼鏡フレームの色又は眼鏡フレームのヒンジの色も選択できる。
【0006】
Ａｌａｉｎ Ａｆｆｌｅｌｏｕ／上述のウェブポータルで利用可能な仮想眼鏡フィッティングのワークフローを示すビデオは、例えば、２０１７年３月５日現在では“ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ａｗＮｓ２ｃＥｏＺ７Ｙ”又は“ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ＺｓＢＶ４ＦｋｃＵ８Ｕ”で参照できる。ここで、内蔵カメラを備えるコンピュータが記録システムとして使用され、フレームを選択できる。この手順では、眼鏡が使用者のライブビデオの上に、いわば、装着され、それがカメラによって記録される。
【0007】
上述の先行技術では、眼鏡の仮想装用及び、例えば国際出願公開第２０１５／１０１７３８Ａ２号パンフレットの場合には、さらに使用者に対する眼鏡のある程度のフィッティングを行って、その後、このフィッティングを実際の眼鏡フレームに移し、その結果、眼鏡フレーム付きの眼鏡を使用者に直接提供して、その後のフィッティングはできるだけ不要とすることができることが可能となる。しかしながら、前述のように、国際出願公開第２０１５／１０１７３８Ａ２号パンフレットの方法は、比較的高い計算のための経費を必要とし、これは、最適化が３Ｄモデルを重ねることに基づいて行われるからである。さらに、この文献の最適化方法では、最適が実際に見つかったか否か、又は最適化方法が例えば最適化すべき数量の極小値において「止まったままである」か否かについて、不確実さが残る。
【0008】
仏国特許第３０１ ６０５１Ａ１号明細書は、請求項１、請求項５、及び請求項１９の前文による方法を開示している。
【0009】
米国特許出願公開第２０１３ ０８８４９０Ａ１号明細書は、請求項１、請求項５、請求項９及び請求項１１の前文による方法を開示している。
【0010】
西国特許第２６０ ４８０６Ａ２号明細書は、眼鏡フレームのグラスに関するパラメータを特定するため、及びそのような特定されたレンズを注文する方法を開示している。そこに記載された方法は、使用者の頭部の形態学的データを取得するステップと、レンズの最適位置を特定するステップと、可能性のある眼鏡フレームを眼鏡フレームデータベースの眼鏡フレームから特定し、可能性のない眼鏡フレームを除外するステップと、可能性のある眼鏡フレームの各々について可能性のあるレンズのペアを計算し、使用可能なレンズのない眼鏡フレームを除外するステップと、使用者が少なくとも１つの実現可能な眼鏡フレームを実現可能なグラスのデータベースから選択するステップと、選択を確認するステップと、発注するステップと、を含む。
【0011】
国際出願公開第０１／８８６５４Ａ２号パンフレットは、顧客の顔を見やすくするイメージングシステムと、顧客の身体的特徴を説明する第一の３Ｄ情報項目を生成する３Ｄ画像プロセッサと、顧客の顔のデジタル３Ｄ表現と眼鏡フレームのデジタル３Ｄ表現を受け取って、眼鏡フレームを顧客の顔に仮想的に載せ、フレーム／顔のフィット状態を説明する第二の３Ｄ情報項目を生成する仮想試着ユニットと、第一の３Ｄ情報項目と第二の３Ｄ情報項目を受け取り、顧客固有の顔及びフレーム製作のため、及びレンズの研削のための少なくとも１つのパラメータをそこから生成するように構成されたレンズフィッタと、を含む眼鏡フィッティングシステムを開示している。これに関して、国際出願公開第０１／８８６５４Ａ２号パンフレットは、「３Ｄ顔抽出手段」による顔特徴の自動割当て及びマニュアル測定による頭部メタデータのマニュアル特定を開示している。
【0012】
国際出願公開第２０１６ １６４８５９Ａ１号パンフレットは、使用者の解剖学的構造に適合され、使用者の屈折力のために最適化された眼鏡フレームとレンズのジオメトリを生成するシステムと方法を開示している。方法は、フレーム部とレンズ部を含む使用者特定の眼鏡製品の構成可能なパラメータモデルを受け取るステップであって、構成可能なパラメータモデルの幾何学パラメータは、使用者の解剖学的構造の幾何学特徴に基づくようなステップと、使用者のメディアデータを受け取るステップであって、メディアデータは視覚的キューに対する使用者の反応を含むようなステップと、使用者の眼の位置を、受け取ったメディアデータから検出するステップと、使用者の光学情報項目を使用者の眼の特定された位置に基づいて特定するステップと、受け取った構成可能パラメータモデルを特定された光学情報項目に基づいて変更することによって更新された構成可能なパラメータモデルを生成するステップと、を含む。これに関して、国際出願公開第２０１６ １６４８５９Ａ１号パンフレットは、顔を検出するための機械学習の使用と、頭部の記録における照明のための情報項目の計算及び適切に適応された仮想照明を用いた眼鏡フレームの仮想表現を開示している。
【0013】
仏国特許第３０１ ６０５１Ａ１号明細書に記載されている方法を用いれば、眼鏡フレームを仮想的に着用することが可能であり、眼鏡レンズは、大まかな位置決め及び精密位置決めによって使用者の頭部に位置決めされる。
【発明の概要】
【発明が解決しようとする課題】
【0014】
仏国特許第３０１ ６０５１Ａ１号明細書から発展して、本は眼の第一の目的は、精密仮想位置決めをより早く、より容易に、より信頼できるものとする方法を提供することである。この目的のために、本発明の第一の態様によれば、請求項１に記載の方法が提供される。
【0015】
同様に、仏国特許第３０１ ６０５１Ａ１号明細書から発展して、本願の第二の目的は、方法を実行するための計算需要を減らすことである。この目的のために、本発明の第二の態様によれば、請求項５に記載の方法が提供される。
【0016】
米国特許出願公開第２０１３ ０８８４９０Ａ１号明細書は、眼鏡フレームの３Ｄモデルを眼鏡フレーム構成要素に分割することを開示している。米国特許出願公開第２０１３ ０８８４９０Ａ１号明細書から発展して、本願の第三の目的は、計算の観点から、この分割をより容易に実行できるようにすることである。この目的のために、本発明の第三の態様によれば、方法は請求項９に請求されている方法が提供される。
【0017】
米国特許出願公開第２０１３ ０８８４９０Ａ１号明細書から発展して、本願の第四の目的は、計算の観点から、頭部の耳のための静止領域の特定をより容易に実行できるようにすることである。この目的のために、本発明の第四の態様によれば、請求項１１に記載の方法が提供される。
【0018】
同様に仏国特許第３０１ ６０５１Ａ１号明細書から発展して、本願の第五の目的は、頭部の鼻梁を特徴付ける情報項目を改良して、眼鏡フィッティング方法の精度を高め、それと同時に、方法のメモリ必要量を縮小することである。この目的のために、本発明の第五の態様によれば、請求項１９に記載の方法が提供される。
【課題を解決するための手段】
【0019】
従属請求項は、さらに別の例示的な実施形態を定義する。
【0020】
同様に、本発明のすべての態様について、請求項２８によるコンピュータプログラム及び請求項２９による装置が提供される。
【0021】
本発明の態様を以下に簡単に説明する。使用されている用語は、この簡単な説明の後で定義する。
【0022】
本発明の第一の態様において、眼鏡の仮想フィッティングのためのコンピュータ実装方法が提供され、頭部への眼鏡フレームの、頭部の３Ｄモデル（３０、３１）のための頭部メタデータと眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
その後の、頭部の３Ｄモデル（３０、３１）及び眼鏡フレームの３Ｄモデル（４０）に基づく眼鏡フレームの精密仮想位置決めと、
を含む。
【0023】
ここでは、例えば、大まかな仮想位置決めが眼鏡フレームの精密仮想位置決めのための初期位置と向きを特定することが可能であり、精密仮想位置決めは、初期位置及び向きから発展して実行できる。
【0024】
方法は、主固視方向における頭部の眼の瞳孔中心間を結ぶ線に対応する水平方向が、頭部が直立状態に保たれたときにｘ方向と定義される場合、頭部が直立状態に保たれたときの垂直方向がｙ方向と定義される場合、ｘ方向及びｙ方向に垂直な方向がｚ方向と定義される場合、仮想位置決め中に、眼鏡フレームの、ｚ方向に垂直な第一の距離の第一の変位があり、
眼鏡フレームの、ｚ方向に沿った第二の距離の第二の変位があり、
第二の距離は第一の距離の１０％を超えない
ことを特徴とする。
【0025】
仏国特許第３０１ ６０５１Ａ１号明細書の方法と比較して、このような方法は、それによって、精密位置決めをある平面（ｘｙ平面、すなわちｚ方向に垂直）内での位置決めに実質的に限定し、その結果、精密位置決め中の自由度を制限することから、精密仮想位置決めがより迅速に、より容易に、より信頼できるものとなるという点で有利である。
【0026】
本発明の第二の態様において、眼鏡の仮想フィッティングのためのコンピュータ実装方法が提供され、これは、精密仮想位置決めの前の、頭部上の眼鏡フレームの、頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
頭部の３Ｄモデル（３０、３１）及び眼鏡フレームの３Ｄモデル（４０）に基づく眼鏡フレームの精密仮想位置決めと、を含み、フレームメタデータを提供する方法は、眼鏡フレームの３Ｄモデル内の顕著点を特定するステップ及び／又は眼鏡フレームの３Ｄモデル内の顕著点を分類するステップを含む。
【0027】
この方法は、顕著点を分類するステップは、関係のある点と関係のない点に分類するステップを含むことを特徴とする。
【0028】
仏国特許第３０１ ６０５１Ａ１号明細書の方法と比較して、このような方法は、方法を実行するための計算需要が、方法が実行される際に特定された点の一部のみ、具体的には関係のある点のみが考慮されるため、減少するという点で有利である。
【0029】
本発明の第三の態様において、眼鏡の仮想フィッティングのためのコンピュータ実装方法が提供され、これは、眼鏡フレームの、頭部の３Ｄモデル（３０、３１）及び眼鏡フレームの３Ｄモデル（４０）に基づく精密仮想位置決めと、
精密仮想位置決めの前の、頭部上の眼鏡フレームの、頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、を含み、
フレームメタデータの提供は、眼鏡フレームの３Ｄモデルの眼鏡フレーム構成要素への分割を含み、構成要素は好ましくは、
−つる部と、
−眼鏡フレームの、つる部以外の残りの部分
の群のうちの少なくとも１つの構成要素を含み、
及び／又は
頭部メタデータは、頭部の耳のための静止領域を含み、この領域はつる部に基づいて計算される。
【0030】
方法は、眼鏡フレームの３Ｄモデルの眼鏡フレーム構成要素への分割は、３Ｄモデルの頂点又はボクセルを細分する、空間内のそれぞれの断面によって実行されることを特徴とし、それぞれの断面はそれぞれの参照点ｐと、空間内でそれぞれの断面に垂直なそれぞれの法線ベクトルｎによって定義され、眼鏡フレームの３Ｄモデルの分割は、−眼鏡フレームの３Ｄモデルの頂点又はボクセルとそれぞれの法線ベクトルｎのスカラ乗積と、
−それぞれの参照点ｐと法線ベクトルｎのスカラ乗積
との比較に基づいて実行される。
【0031】
米国特許出願公開第２０１３ ０８８４９０Ａ１号明細書から知られている眼鏡フレームの３Ｄモデルを眼鏡フレーム構成要素に分割する方法と比較して、本発明の第三の態様による方法は、分割が計算面で容易に実行可能な方法で提供されるという点で有利である。
【0032】
本発明の第四の態様によれば、眼鏡の仮想フィッティングのコンピュータ実装方法が提供され、これは、眼鏡フレームの、頭部の３Ｄモデル（３０、３１）及び眼鏡フレームの３Ｄモデル（４０）に基づく精密仮想位置決めと、
精密仮想位置決めの前の、頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく眼鏡の大まかな仮想位置決めと、
を含み、
フレームメタデータの提供は、眼鏡フレームの３Ｄモデルの眼鏡フレーム構成要素への分割を含み、構成要素は好ましくは、
−つる部と、
−眼鏡フレームの、つる部以外の残りの部分
の群の少なくとも１つの構成要素を含み、
頭部メタデータは、頭部の耳に関する静止領域を含み、この領域はつる部に基づいて計算される。
【0033】
方法は、頭部の耳に関する計算された静止領域の少なくとも１つの静止領域がつる部の少なくとも１つの眼鏡つるについて、ある方法により特定され、この方法は、−眼鏡つるの始点ａと終点ｂを眼鏡つるから特定するステップと、
−潜在的な耳静止領域を、潜在的な耳静止領域を画定する平面のｚ成分により特定するステップであって、次式：
α＜（ｖｚ−ａｚ）／ｌｚ＜β
（式中、αとβは所定の値であり、αは０．３〜０．６の間にあり、βは０．６〜０．９の間にあり、ａｚは点ａのｚ成分であり、ｌｚはｚ方向への眼鏡つるの長さであり、ｖｚは３Ｄモデルの頂点又はボクセルのｚ成分である）が適用されるステップと、
−潜在的な耳静止領域から静止領域を、漸増的に変位する窓を用いる計算によって特定するステップであって、窓内にある潜在的な静止領域の頂点又はボクセルの集合は窓の各位置について確認され、方向ベクトルｄのスカラ乗積ｓ＝＜ｖ，ｄ＞が頂点又はボクセルの集合の各々について形成され、ｖは頂点又はボクセルの集合からそれぞれの頂点又はボクセルの座標を特定し、ｄはそれぞれの眼鏡のつる部に関する正規化された固定ベクトルであり、それぞれの１つの頂点又はボクセル
【数1】
はそれぞれの窓について、頂点又はボクセルのスカラ乗積ｓに基づいて特定されるステップと、
−少なくとも１つの静止領域を、静止点の集合として、又は静止曲線として提供するステップであって、静止点の集合又は静止曲線は頂点又はボクセル
【数2】
を含むステップと、
を含むことを特徴とする。
【0034】
米国特許出願公開第２０１３ ０８８４９０Ａ１号明細書から知られる方法と比較して、本発明の第四の態様による方法は、頭部の耳に関する静止領域の特定が計算の面で容易に実行可能な方法で提供されるという点で有利である。
【0035】
本発明の第五の態様によれば、眼鏡の仮想フィッティングのためのコンピュータ実装方法が提供され、これは、頭部への眼鏡フレームの、頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく仮想位置決めを含み、
フレームメタデータは、眼鏡フレーム上の、眼鏡フレームが頭部に静止する１つ又は複数の位置を画定する第一の静止情報項目を含み、頭部メタデータは、頭部上の、眼鏡フレームが頭部の上で静止する１つ又は複数の位置を画定する第二の静止情報項目を含み、
第二の静止情報項目は、頭部の３Ｄモデルの鼻梁に関連付けられる設置点を含む。
【0036】
方法は、鼻梁の鼻梁領域が３Ｄ曲線として提供されることを特徴とする。
【0037】
仏国特許第３０１ ６０５１ Ａ１号明細書と比較して、これは、３次元メッシュ、すなわち完全３次元モデルによる衝突点計算が不要であり、その代わりに曲線を用いるだけで点を特定することによって大まかな位置決めが特定できるため、この方法を実行するための計算需要が減少するという点で有利である。それと同時に、３Ｄ曲線はメッシュより少ないデータを使用して鼻の輪郭を説明するのに適し、その一方でより高い精度を有するため、眼鏡フィッティング方法の精度が向上する。
【0038】
大まかな位置決めとは、初期位置が情報項目に基づいて特定されることを意味すると理解されたい。精密位置決めとは、大まかな位置決めから発展して、位置のより正確な特定がさらなるデータに基づいて実行されることを意味すると理解されたい。例えば、位置決めは、大まかな位置決めの範囲内でｚ方向に沿って実行でき、位置決めはその後、精密位置決めの範囲内でｚ方向に実質的に垂直に行うことができる。
【0039】
ここで、大まかな位置決めは鼻梁に関する情報項目に基づいて実行できる。ここで、フレームの座標系内の、基準点とも呼ばれるある３Ｄ点を、鼻梁上のある点と正確に合致させることができる。
【0040】
幾つかの例示的な実施形態において、精密位置決めは、眼鏡フレームを２０ｍｍ未満だけ、幾つかの例示的な実施形態では１０ｍｍ未満だけ初期位置及び向き、すなわち大まかな位置決めにより特定された眼鏡フレームの位置に関して移動させることができる。
【0041】
ここで、「大まかな位置決め」及び「精密位置決め」という用語は相互に関して理解すべきであり、すなわち、精密位置決めは大まかな位置決め中に当初特定された位置をより精密にする。
【0042】
これは、大まかな位置決めが後の精密位置決めのための開始点又は初期位置及び向きを特定し、精密位置決めが、大まかな位置決めの範囲で当初特定された位置をより精密にすることにより行われる。
【0043】
その結果、大まかな位置決めは第一の位置決めを表し、精密位置決めはその後の位置決めを表す。
【0044】
それゆえ、大まかな位置決めは、眼鏡フレームが当初、精密位置決めの後に達成される頭部の寸法に関する最終位置に近い、例えばこれに２０ｍｍ、１０ｍｍ、又はそれ未満の範囲内で近い位置に位置決めされることを意味する。すると、精密位置決めはこの位置を変更して最終位置を形成する。ここで、大まかな位置決めはメタデータに基づいており、モデルそのものが精密位置決めに使用される。
【0045】
頭部メタデータとフレームメタデータを使用することにより、大まかな位置決めは素早く、比較的わずかな計算のための経費で実行できる。さらに、大まかな位置決めでは、後の精密位置決めのための開始点又は初期位置及び向きが得られ、これは、前記精密位置決めがすでにほぼ正確な眼鏡フレームの位置から始まるため、精密位置決めを加速させることができる。これにより、精密位置決め中に所望の最適に対応しない位置を見つけてしまうリスクが低減する。頭部及びフレーム自体の３Ｄモデルが精密位置決めに使用されることにより、すると、それによって精密位置決め中に高い精度を実現でき、その前に行われる大まかな位置決めにより精密位置決め全体に必要な計算のための経費が削減される。
【0046】
ここで、３Ｄモデルとは、実際の物体の３次元表現を意味すると理解すべきであり、これは記憶媒体、例えばコンピュータのメモリ又はデータ媒体に記録されるデータとして利用可能である。例えば、このような３次元表現は、頂点とも呼ばれる３Ｄ点の集合と、点間の接続であって、辺とも呼ばれる接続からなる３Ｄメッシュとすることができる。最も単純なケースでは、３つの接続は三角形メッシュを形成する。３Ｄメッシュのような表現は、物体の表面を説明するだけであり、内容部は説明しない。メッシュは必ずしも閉じていなくてもよい。それゆえ、例えば頭部がメッシュの形態で説明される場合、これはマスクのように見える。このような３Ｄモデルに関する詳細は、Ｒａｕ Ｊ−Ｙ、Ｙｅｈ Ｐ−Ｃ，“Ａ Ｓｅｍｉ−Ａｕｔｏｍａｔｉｃ Ｉｍａｇｅ−Ｂａｓｅｄ Ｃｌｏｓｅ Ｒａｎｇｅ ３Ｄ Ｍｏｄｅｌｉｎｇ Ｐｉｐｅｌｉｎｅ Ｕｓｉｎｇ ａ Ｍｕｌｔｉ−Ｃａｍｅｒａ Ｃｏｎｆｉｇｕｒａｔｉｏｎ．”Ｓｅｎｓｏｒｓ（Ｂａｓｅｌ，Ｓｗｉｔｚｅｒｌａｎｄ）．２０１２：１２（８）：１１２７１−１１２９３．ｄｏｉ：１０．３３９０／ｓ１２０８１１２７１；特に１１２８９ページ、「図１６」の図面）に記載されている。
【0047】
体積型の表現を代表するボクセルグリッドは、３Ｄモデルを表現するまた別の選択肢である。ここで、空間は小さいキューブ、すなわちキューボイドに分割され、これがボクセルと呼ばれる。最も単純なケースでは、表現すべき物体の有無が各ボクセルについて二値（１又は０）の形態で記憶される。ボクセルの辺の長さが１ｍｍで、体積が、頭部の典型的な体積を表す３００ｍｍ×３００×３００ｍｍである場合、結果として合計２７００万個のこのようなボクセルが得られる。このようなボクセルグリッドについては、例えばＭ．Ｎｉｅｓｓｎｅｒ，Ｍ．Ｚｏｌｌｈｏｅｆｅｒ，Ｓ．Ｉｚａｄｉ，ａｎｄ Ｍ．Ｓｔａｍｍｉｎｇｅｒ，“Ｒｅａｌ−ｔｉｍｅ ３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｔ ｓｃａｌｅ ｕｓｉｎｇ ｖｏｘｅｌ ｈａｓｈｉｎｇ”．ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈ．３２．６，Ａｒｔｉｃｌｅ １６９（Ｎｏｖｅｍｂｅｒ ２０１３），ＤＯＩ：ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１４５／２５０８３６３．２５０８３７４で説明されている。
【0048】
３Ｄモデルの表現のその他の考えられる形態には、例えば点間の接続に関する情報項目（辺、例えば上述の三角形のメッシュ）を持たない点群、各点における法線ベクトルを有する点群、球、円柱、平面等の基本的な幾何学物体のスプライン局面帯部分的表面の形態の表現が含まれる。本明細書に記載の方法は、選択された３Ｄモデルの表現に無関係とすることができる。
【0049】
スプライン曲面とは、１つ又は複数のスプラインにより説明される表面を意味すると理解されたく、これはｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗ／ｉｎｄｅｘ．ｐｈｐ？ｔｉｔｌｅ＝Ｂ−ｓｐｌｉｎｅ＆ｏｌｄｉｄ＝８４０７８７０４７に記載されている。
【0050】
基本的な幾何学物体とは、その表面によって説明される３次元の図形を意味すると理解されたく、これはｈｔｔｐｓ：／／ｄｅ．ｗｉｋｉｐ＠ｅｄｉａ．ｏｒｇ／ｗ／ｉｎｄｅｘ．ｐｈｐ？ｔｉｔｌｅ＝Ｋ％Ｃ３％Ｂ６ｒｐｅｒ（Ｇｅｏｍｅｔｒｉｅ）＆ｏｌｄｉｄ＝１７７６７２５９５に記載されている。
【0051】
Ｎ個の点の点群は、合計Ｎ個の点を示し、Ｎ個の点の各々は３つの座標で説明される。
【0052】
法線ベクトルとは、このような物体又はこのような物体の組合せの直線、曲線、平面又は（湾曲）表面に直交する（垂直な）ベクトルである。
【0053】
特に、頭部の３Ｄモデルと眼鏡フレームの３Ｄモデルは、テクスチャ付き３Ｄモデルとすることができる。テクスチャ付き３Ｄモデルとは、実際の物体の表面の点の色情報項目をさらに含む３Ｄモデルを意味すると理解されたい。テクスチャ付き３Ｄモデルの使用により、頭部と眼鏡フレームのトゥルーカラー表現が容易となる。
【0054】
ここで、色情報項目は、属性、例えばＲＧＢ（赤緑青）色値として頂点に直接含めることができ、又はテクスチャ座標のペアが各頂点に属性として付けられる。すると、これらの座標は、追加のテクスチャ画像の中の画像座標（ピクセル位置）であると理解すべきである。すると、例えば三角形メッシュの三角形のテクスチャは、テクスチャ画像のピクセルから補間により生成される。
【0055】
ボクセルグリッドとして記憶される場合、色情報項目はボクセル自体に記憶させることができる。すると、テクスチャの分解能はボクセル表現の中のボクセルの大きさに対応する。高分解能のテクスチャの場合、ボクセルグリッドは、表面を説明するメッシュに変換しなければならず、これは表面再構成と呼ばれる（例えば、Ｃｉｇｎｏｎｉ，Ｐａｏｌｏ，ｅｔａｌ．“Ｍｅｓｈｌａｂ：ａｎ ｏｐｅｎ−ｓｏｕｒｃｅ ｍｅｓｈ ｐｒｏｃｅｓｓｉｎｇ ｔｏｏｌ．”Ｅｕｒｏｇｒａｐｈｉｃｓ Ｉｔａｌｉａｎ Ｃｈａｐｔｅｒ Ｃｏｎｆｅｒｅｎｃｅ．ｖｏｌ２００８．２００８参照）。
【0056】
メタデータは、モデルそのものではなく、モデルの特徴に関する情報項目を含むデータと理解すべきである。特に、メタデータは、モデルための追加の情報項目を供給してもよく、及び／又はそれぞれのモデルに基づく顕著点又は曲線を含んでいてもよい。メタデータはまた、２０１７年３月５日現在、ドイツ語の“Ｍｅｔａｄａｔｅｎ”に関するＷｉｋｉｐｅｄｉａの記事において一般的な用語で説明されている。特にことわりがないかぎり、Ｗｉｋｉｐｅｄｉａへの言及はドイツ語のＷｉｋｉｐｅｄｉａ（ｄｅ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ）を指す。
【0057】
事前に作られているかもしれないこのようなメタデータを使用した結果として、典型的に実質的により包括的な完全な３Ｄモデルを使用する場合と比較して、前述のような、頭部への眼鏡フレームの迅速な位置決めと、その位置の変更も簡単な方法で行うことができる。
【0058】
位置決めは、プロセスがコンピュータ等の計算機で行われ、実際の眼鏡フレームが実際の頭部にかけられるのではないため、「仮想」である。
【0059】
好ましくは、特に本発明の第五の態様において、ただし、本発明のこの態様のみに限定されないが、この場合のフレームメタデータは、眼鏡フレーム上の、眼鏡フレームが頭部で静止する１つ又は複数の場所を定義する第一の静止情報項目を含み、及び／又はこの場合の頭部メタデータは、頭部上の、頭部で眼鏡フレームが静止する１つ又は複数の場所を定義する第二の静止情報項目を含む。ここで、点、点の集合、曲線、又はエリアを場所と呼ぶことができる。眼鏡フレームの仮想フィッティングは、このような第一及び／又は第二の静止情報項目によって加速させることができ、それは、必ずしもフィッティング中のすべての計算及びステップについて眼鏡フレームの全体的３Ｄモデルを考慮する必要がないからである。
【0060】
点、点の集合、及び曲線に関する後述及び前述の方法はしたがって、場所がエリアとして定義される場合に当てはめることができる。構成部品、例えば接触エリアの領域内のつるは、空間曲線に関する超球面により近似させることができる。すると、同じ方法を静止曲線においても使用できるが、この方法ではさらに、空間曲線からの一定の距離を数学的手法によって要求され、又は強制される可能性がある。
【0061】
好ましくは、特に本発明の第四及び第五の態様において、ただし本発明のこれらの態様のみに限定されないが、第一の静止情報項目は、眼鏡フレームのノーズブリッジの領域における、特に眼鏡フレームのノーズブリッジの中心におけるある点を意味する静止点、眼鏡フレームのつる領域を意味する静止領域を含む。
【0062】
ノーズブリッジ及びつるという用語はここでは、２０１５年１２月に発行されたＤＩＮ ＥＮ ＩＳＯ ８６２４：２０１５−１２及び２００６年１月に発行されたＤＩＮ ＥＮ ＩＳＯ ７９９８：２００６−０１の用語に準じて使用されている。
【0063】
静止点とは、頭部の、眼鏡フレームと頭部との接触点を定義する点を意味すると理解されたい。
【0064】
静止領域とは、眼鏡フレームと頭部との接触エリアを画定する領域を意味すると理解されたい。例えば、耳については、耳静止領域、すなわち頭部の耳に関する静止領域を使用できる。
【0065】
潜在的な静止領域、例えば潜在的な耳静止領域とは、原則的に、静止領域として適当である領域、例えば異なる頭の形状のための静止領域として提供される眼鏡フレームの領域を意味すると理解されたい。
【0066】
静止点と静止領域は、メタデータとして記憶できる。
【0067】
頭部上の眼鏡フレームの大まかな位置決めは、このような静止点によって実行できる。大まかな位置決めは同様に、静止領域によっても支援でき、これは特に、後述のようにつるの曲げ及び／又は位置変化の結果として眼鏡フレームの形状変化が必要となる場合でも当てはまる。ここで、ノーズブリッジとつるは、眼鏡フレームの、眼鏡フレームが典型的に頭部上で静止する部分であり、したがって、メタデータのこの選択により、実際の条件に対応する位置決めを行うことが可能となる。
【0068】
ここで、フレームメタデータは複数の異なる眼鏡フレームのための眼鏡フレームの３Ｄモデルと共に事前に特定でき、記憶媒体に保存でき、後で方法を実行するために呼び出すことができる。それによって、データを素早く利用可能とすることができる。
【0069】
例えば、頭部の３Ｄモデルは立体画像記録により製作できる。このような立体画像記録において、物体、この場合頭部は、複数の方向から記録され、記録位置は既知である。これは、相互に関して剛体的に配置された複数のカメラによって実行できる。すると、記録された画像の中の相互に対応する特徴を識別することにより、既知の記録位置を考慮してモデルを製作できる。このような３Ｄモデルの特定に関するさらに詳細な事柄は、例えばＨ．Ｈｉｒｓｃｈｍｕｅｌｌｅｒ，“Ｓｔｅｒｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｂｙ Ｓｅｍｉｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ ａｎｄ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ”ｉｎ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３０，ｎｏ．２．ｐｐ．３２８−３４１，Ｆｅｂ．２００８．ｄｏｉ：１０．１１０９／ＴＰＡＭＩ．２００７．１１６６）に記載されている。
【0070】
例えば、眼鏡フレームの３Ｄモデルは製造者が提供できる。
【0071】
フレームメタデータを特定するための選択肢はいくつかあり、各種の選択肢を相互に組み合わせてもよい。例えば、フレームメタデータの異なるメタデータは異なる選択肢を使って特定できる。これらの点についてこれから説明する。
【0072】
フレームメタデータは、幾つかの実施形態においては手で特定される。このような手作業による特定によって、フレームメタデータを高い計算のための経費を生じさせずに特定することが可能となり、使用者がフレームメタデータを完全に制御できるようにする。このために、ユーザインタフェースを提供でき、前記ユーザインタフェースの場合に、眼鏡フレームはモデルに基づいてディスプレイ上にグラフィクスで表示される。すると、眼鏡フレーム上の点及び／又は輪郭を、例えばマウス及びそれに対応して表示されるマウスポインタを使ってクリックするか、又はタッチセンサ式スクリーン上で直接マーキングすることによって手作業で選択できる。ここで、特に、上記の静止点は１つの点でクリックでき、静止領域は輪郭線又は輪郭多項式として選択できる。さらに、眼鏡フレームの蝶番の回転軸は、メタデータとして手でマーキングできる。
【0073】
他の実施形態において、静止領域は、例えば各つる下側の輪郭線として、例えば画像認識アルゴリズムにより自動的に特定される。この場合、使用者による入力は不要である。
【0074】
最後に、他の例示的な実施形態において、フレームメタデータの全自動特定が提供される。これは好ましくは、機械学習方法を使って行われ、これは２０１７年３月８日現在、ドイツ語のＷｉｋｉｐｅｄｉａの記事、“Ｍａｓｃｈｉｎｅｌｌｅｓ Ｌｅｒｎｅｎ”に記載されている。ここで、前述のように多数の眼鏡フレームのために手で、又は部分的に手で製作されたメタデータは、この機械学習のための訓練データとして使用できる。
【0075】
好ましい例示的な実施形態において、特に本発明の第二の態様の場合、ただし本発明のこの態様のみに限定されないが、フレームメタデータを特定するステップは、フレームの３Ｄモデル内の顕著点を特定する、特に自動的に特定するステップを含む。ここで、顕著点は特定の事前に定義された特性を有する点であり、これはいわゆる３Ｄ特徴記述子において定義されてもよい。３Ｄ特徴記述子は、３Ｄモデルの顕著点の特性を説明するＲｎ内のベクトルを意味し、それによってこの点はその特性ベクトルに基づく同様の３Ｄモデルの中で検索できる。顕著点の周辺における点の集合を使用することもできる。例えば、１０ｍｍ等の所定の半径の球を広げることができ、その点は中心であり、点の特性はこの球内にあり、すなわち点群のこの小集合の中の点を調査できる。例えば、主成分分析の意味における固有値解析を行うことができる。ここで、外部固有値ｋ１及びｋ２はすると、メタデータの要素として、例えば特性ベクトルの形態で含めることができる。ここで、特性ベクトルとは、メタデータの数値の表現を意味すると理解されたい。それに加えて、又はその代わりに、点の周辺における表面の主曲率を特定することも可能である。主曲率とは、ｈｔｔｐｓ：／／ｄｅ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗ／ｉｎｄｅｘ．ｐｈｐ？ｔｉｔｌｅ＝Ｈａｕｐｔｋｒ％Ｃ３％ＢＣｍｍｕｎｇ＆ｏｌｄｉｄ＝１７２４５２５００の記事の中に記載されている情報項目を意味すると理解されたい。主曲率も同様に特性ベクトルの中に含めることができる。代替的に、すべての点のヒストグラムを形成でき、及び／又は球の法線ベクトルを特定できる。このために、球は領域（体積）に細分でき、この領域内に位置する点（又は法線ベクトル）の周波数を各領域について確認できる。代替的に、相対周波数を特定できる。例えばヒストグラムの形態のこの周波数に関する情報項目も同様に、特性ベクトルに採用できる。
【0076】
いわゆるＦＰＦＨ（ｆａｓｔ ｐｏｉｎｔ ｆｅａｔｕｒｅ ｈｉｓｔｏｇｒａｍ）記述子によるこのような方法の例は、２０１８年５月２５日に検索されたｈｔｔｐ：／／ｐｏｉｎｔｃｌｏｕｄｓ．ｏｒｇ／ｄｏｃｕｍｅｎｔａｔｉｏｎ／ｔｕｔｏｒｉａｌｓ／ｆｐｆｈ＿ｅｓｔｉｍａｔｉｏｎ．ｐｈｐに記載されている。
【0077】
特に、このような特性ベクトルは機械学習を援用して特定できる：例えば、人間の中の専門の技能を持つ人は、３Ｄモデル内の顕著点を、例えばその上でクリックすることによって特定できる。例えば、このような領域は、眼鏡フレーの３Ｄモデルのフレームの蝶番の領域内の点とすることができ、これはすべての眼鏡フレームの中で一意的に特定でき；ソフトウェアは、クリックされた点の周囲の球内の点の集合を抽出し、使用者により特定される点の集合と点の種類は、数値ラベルとも呼ばれ、それぞれ機械学習方法、例えばニューラルネットワークの中に訓練データとして入力される。十分に訓練されたネットワークはその後、ある点群内のそれぞれの点に関するそれぞれのラベルを特定することができ、その結果、顕著点を識別することができ、及び／又は点を分類することができる。例えば、顕著ではない点は、無関係と分類できる。
【0078】
このような顕著点は比較的少量のデータを表し、確立されたアルゴリズムを使って顕著点を特定できる。３Ｄ特徴記述による顕著点のこのような特定に関するより詳細な事柄は、例えばＳａｍｕｅｌｅ Ｓａｌｔｉ，Ｆｅｄｅｒｉｃｏ Ｔｏｍｂａｒｉ，Ｒｉｃｃａｒｄｏ Ｓｐｅｚｉａｌｅｔｔｉ，ａｎｄ Ｌｕｉｇｉ Ｄｉ Ｓｔｅｆａｎｏ，２０１５．Ｌｅａｒｎｉｎｇ ａ Ｄｅｓｃｒｉｐｔｏｒ−Ｓｐｅｃｉｆｉｃ ３Ｄ Ｋｅｙｐｏｉｎｔ Ｄｅｔｅｃｔｏｒ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１５ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ）（ＩＣＣＶ‘１５）．ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，Ｗａｓｈｉｎｇｔｏｎ，ＤＣ，ＵＳＡ，２３１８−２３２６，ＤＯＩ＝ｈｔｔｐ：／／ｄｘ．ｄｏｉ．ｏｒｇ／１０．１１０９／ＩＣＣＶ．２０１５．２６７に記載されている。このような所定の特性は例えば、点の近隣におけるモデルの曲率を含んでいてもよい。３Ｄ特徴記述子の例はいわゆる“ＦＰＦＨ（ｆａｓｔ ｐｏｉｎｔ ｆｅａｔｕｒｅ ｈｉｓｔｏｇｒａｍｓ）”であり、これはＲ．Ｂ．Ｒｕｓｏ“Ｓｅｍａｎｔｉｃ ３Ｄ Ｏｂｊｅｃｔ Ｍａｐｓ ｆｏｒ Ｅｖｅｒｙｄａｙ Ｍａｎｉｐｕｌａｔｉｏｎ ｉｎ Ｈｕｍａｎ Ｌｉｖｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ”， Ｄｉｓｓｅｒｔａｔｉｏｎ，ＴＵ Ｍｕｎｉｃｈ ２００９，ｐａｇｅｓ ５７ｆｆに記載されている。
【0079】
顕著曲線もまた、それにしたがって定義されてよい。顕著曲線は、３Ｄ曲線として定義できる。３Ｄ曲線は、３次元空間内の曲線の表現である。３Ｄ曲線は、３Ｄ点のリストにより保存でき、或いは、３Ｄ曲線はまた、ルジャンドル多項式ベースのような直交ベースの幾つかの例示的な実施形態において、多項式曲線により表現されてもよい。他の例示的実施形態では、曲線は、Ｂスプラインベースの関数を援用して表されるスプライン曲線として表現でき、これはｈｔｔｐｓ：／／ｄｅ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗ／ｉｎｄｅｘ．ｐｈｐ？ｔｉｔｌｅ＝Ｌｅｇｅｎｄｒｅ−Ｐｏｌｙｎｏｍ＆ｏｌｄｉｄ＝１７２４２７３１１及びｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗ／ｉｎｄｅｘ．ｐｈｐ？ｔｉｔｌｅ＝Ｂ−ｓｐｌｉｎｅ＆ｏｌｄｉｄ＝８４０７８７０４７に記載されている。
【0080】
例えば、つる静止領域は、このような多項式曲線を援用して説明でき、ここでは、曲線内の点は耳における静止点と対応させることができる。このような例示的実施形態において、曲線はフレームのメタデータの一部であり、例えばつる下側に沿って延び、潜在的な静止領域の全体を説明する。
【0081】
本発明の第二の態様によれば、このようにして特定される顕著点はすると、関係のある点と関係のない点に分類される。特に、関係のある点とは、メタデータを表すために使用される点を意味すると理解されたい。関係のある点は、冗長性のない、又は冗長性ができるだけ少ない必要なメタデータを表すことができる。
【0082】
関係のない点とは、例えば関係のない点により表されるメタ情報項目が他の点によっても同様に表されるため、すなわち情報項目の冗長性が存在するため、メタデータを表さないか、又は関係が薄い点と理解されたい。
【0083】
マニュアル方式では、使用者は関係のある点を特定でき、その一方で、関係のある点の数は自動方式におけるターゲットとして事前に特定でき、非学習系の機械による方法はまた、各顕著点について、この点の「突極性」の程度を特定できる。例えば、主曲線が表面の特性として使用される場合、２つの主曲率の積を程度として使用できる。学習系の機械による方法は、手作業の選択を開始でき、この場合、関係のある点は訓練段階により事前に特定できる。
【0084】
それゆえ、以下のステップは関係のある点に限定でき、そのため、処理すべきデータの量が減少する。これは特に教師あり学習を用いて実行でき、これは２０１７年３月８日現在、ドイツ語のＷｉｋｉｐｅｄｉａの記事、“Ｕｂｅｒｗａｃｈｔｅｓ Ｌｅｒｎｅｎ”に記載されている。ここで、顕著点の特定中に識別された点は、例えばフレームの表現と共にディスプレイ上に表示され、それはすると、それぞれの点を手作業で点クラスに割り当てることができる。これらの点クラスはその後、それぞれの点に関する３Ｄ特徴記述子に関連付けることができる。
【0085】
すると、この関連付けを各フレームのデータレコードとして、例えば．ＸＭＬファイルとして記憶できる。点クラスは、それぞれの点により明示される眼鏡フレームの要素又はそれぞれの点が眼鏡フレーム上のどこに位置するかを特定する。点クラスの例には、例えば左側の眼鏡蝶番の外側で上部に位置する点に関する「左側蝶番の外側、上」及び、下に位置する、それに対応する点に関する「左側蝶番の外側、下」、右側の蝶番に関してこれらに対応するクラス、前側のノーズブリッジの中央に関する「ブリッジ中央、前」、裏側のノーズブリッジ上の点に関する「ブリッジ中央、裏」等が含まれる。ここで、前側とは、眼鏡フレームの、前記眼鏡フレームが着用されるときに眼鏡フレームを着用する人物の頭部から遠い側であり、裏側とは、眼鏡レンズの、人物の頭部と対向する側である。
【0086】
支援付き学習の場合、顕著点についてこのようにして学習された点クラスをモデルに変換するため、及びこのモデルを適用して、学習段階の後に３Ｄ特徴記述子を使って見つけられた点のためのそれぞれの点クラスを自動的に確認するための、様々な利用可能なアルゴリズムがある。この点については、２０１７年３月８日現在、“Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｏｖｅｒｖｉｅｗ”ｂｙ Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｄｏｃｓ．ｏｐｅｎｃｖ．ｏｒｇ／３．１．０／ｄｃ／ｄｄ６／ｍｌ＿ｉｎｔｒｏ．ｈｔｍｌも参照のこと。アルゴリズムの例には、例えば訓練及び分類に使用可能なソフトウェアライブラリ“Ｏｐｅｎ ＣＶ”におけるクラス“ｃｖ：：ｍｌ：：ＲＴｒｅｅｓ”により実装されるようなランダムフォレストアルゴリズム（Ｂｒｅｉｍａｎ，Ｌｅｏ，“Ｒａｎｄｏｍ ｆｏｒｅｓｔｓ，”Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ４５．１（２００１）：５−３２参照）が含まれる：“ｈｔｔｐ：／／ｄｏｃｓ．ｏｐｅｎｃｖ．ｏｒｇ／３．１．０／ｄ０／ｄ６５／ｃｌａｓｓｃｖ＿１＿１ｍｌ＿１＿１ＲＴｒｅｅｓ．ｈｔｍｌ”も参照のこと。これはランダムフォレスト方式の一例である。他のランダムフォレスト方式は、ＴｒｅｅＢａｇｇｅｒクラスによってＭａｔｌａｂに導入できる。
【0087】
さらなる使用可能なアルゴリズムは、同様に上述のＯｐｅｎ ＣＶソフトウェアライブラリの中で提供される、いわゆる「サポートベクトルマシン（ＳＶＭ）」の使用にある。
【0088】
すると、顕著点はこのようなアルゴリズムによって自動的に識別でき、これによって眼鏡フレームの３Ｄモデルの処理は簡単になるが、それは訓練段階の後は顕著点の識別に使用者による入力がもはや必要なくなるからである。
【0089】
好ましくは、顕著点の識別及び分類の後に座標変換が行われる。このような座標変換によって、異なるフレームのためのフレームのフレームメタデータ及び／又は３Ｄモデルを共通の座標系に変換できることになる。これによって、その後の処理が簡単になり、それは、個々の眼鏡フレームに同じ座標系を設定できるからである。
【0090】
幾つかの例示的な実施形態において、このような座標変換は、関係ありと分類された顕著点の集合に対する主成分分析により行われる。主成分分析（ＰＣＡ）は例えば、Ｗｉｋｉｐｅｄｉａの記事、ｈｔｔｐｓ：／／ｄｅ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈａｕｐｔｋｏｍｐｏｎｅｎｔｅｎａｎａｌｙｓｅ及びｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｐｒｉｎｃｉｐａｌ＿ｃｏｍｐｏｎｅｎｔ＿ａｎａｌｙｓｉｓに記載されている。空間内のｎ個の点の集合Ｘの場合、例えば、ｎ行と３列（それぞれのｎ個の点のｘ、ｙ、及びｚ座標）のマトリクスＸを形成することができる。すると、３×３のマトリクスＸｔ＊Ｘを調べることができ、主成分をこのマトリクスの最大固有ベクトルとして特定できる。
【0091】
主軸変換とは、主成分が及ぶ座標系への座標変換を意味すると理解されたい。
【0092】
座標変換の他の選択肢は、顕著点に基づく座標原点と座標軸の方向の固定割当てによるルールベース座標変換にある。ルールベース座標変換とは、標的とする座標系、すなわち変換先となる座標系の基底ベクトルを定義するための顕著点の線形結合を意味すると理解されたい。例えば、前述の「ブリッジ中央、前」のクラスの顕著点は座標原点の役割を果たすことができ、特定された点間の差分ベクトル又はこのような差分ベクトルの線形結合は座標軸の役割を果たすことができる。それゆえ、前述の「右側蝶番の外側、上」のクラスの点と「左側蝶番の外側、上」のクラスの点との差を座標軸として使用できる。ここで、顕著点は一意的に特定され、及び／又は固定シーケンスで利用可能であると有利であるかもしれない。例えばこれは、例えば使用者による選択によって設定される、手作業で設定される点の場合に当てはまるかもしれない。
【0093】
ノーズブリッジの中央を原点とするそのような座標系において、眼鏡フレームの対称面はすると、この原点を通って延びる。以下の説明のために、眼鏡フレームの眼鏡つるは実質的にｚ方向に向けられ、眼鏡フレームの蝶番間を結ぶ接続線はｘ軸に平行であり、ｙ方向はそれに垂直であることを前提とする。別の表現をすれば、主固視方向において、頭部の両眼間、特に頭部の眼の瞳孔中心間を結ぶ接続線に対応する水平方向が、頭が直立状態に保たれるときにｘ軸と定義され、垂直方向はｙ方向と定義され、ｘ及びｙ方向に垂直な方向はｚ方向と定義される。
【0094】
主固視方向における頭部の眼の瞳孔中心の位置がわからない例示的な実施形態において、頭部の眼の接続線は別の方法でも、例えば３Ｄモデルの眼の位置に基づいても定義できる。
【0095】
直立状態に保たれる頭部とは、頭部が、両眼の接続線が頭部の前額面に平行な平面内にあり、垂直方向は前額面と矢状面との間の交線に平行であるように保持されることを意味すると理解されたい。頭部の３Ｄモデルは、頭部の３Ｄモデルが直立状態にあるように設置できる。
【0096】
前額面と矢状面は、ｈｔｔｐ：／／ｄｅ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗ／ｉｎｄｅｘ．ｐｈｐ？ｔｉｔｌｅ＝Ｆｒｏｎｔａｌｅｂｅｎ＆ｏｌｄｉｄ＝１７７２４６５６０及びｈｔｔｐｓ：／／ｄｅ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗ／ｉｎｄｅｘ．ｐｈｐ？ｔｉｔｌｅ＝Ｔｒａｎｓｖｅｒｓａｌｅｂｅｎｅ＆ｏｌｄｉｄ＝１７７２４６５１９において定義されている。
【0097】
幾つかの例において、座標系は、例えば頭部を傾けても座標系と頭部との間の位置及び向きの点の関係が変わらない、すなわち、例えばｘ方向が依然として頭部の両眼間の接続線に従って延びるように頭部に不変に関連付けられてよい。別の表現をすれば、頭部は座標系内に静止した状態で設置できる。
【0098】
ここで、頭部が直立状態に保たれるとの言及は、ｘ方向、ｙ方向、及びｚ方向の座標系を定義する役割を果たす。ここで、ｚ軸は原則として、主固視方向に平行に延びる。
【0099】
すると、上述の対象面はｙｚ平面である。しかしながら、この座標系は例にすぎず、デカルト座標に代わる球座標の使用等、軸のその他の配置も可能である。
【0100】
１つの例示的な実施形態において、その後、眼鏡フレームの所定の構成要素が位置特定される。特に、眼鏡フレームのノーズブリッジと蝶番の位置を特定できる。これは、分類された顕著点に基づいて実行でき、これは、前述のように、手作業で選択されても、又は前述のように自動的に特定されてもよい。例えば、眼鏡の蝶番の位置は、蝶番の外側又は内側で特定された顕著点に基づいて、特に前述のような「左側蝶番の外側、上」及び「左側蝶番の外側、下」等のクラスの点により特定できる。１つの例示的な実施形態において、蝶番軸点はこのような顕著点の平均値として計算される。特に、左側蝶番軸位置は、左側蝶番軸点＝１／４＊（左側蝶番の外側、上＋左側蝶番の外側、下＋左側蝶番の内側、上＋左側蝶番の内側、下）
に従って計算でき、式中、左側蝶番軸点は、眼鏡フレームの左側の蝶番軸点、すなわち、左側蝶番の外側、上、左側蝶番の外側、下、左側蝶番の内側、上、及び左側蝶番の内側、下は、対応する点クラスの顕著点、すなわち左側眼鏡蝶番の外側の左上、左下に位置する、及び各々内側及び外側に位置する（眼鏡フレームの内側に、すなわちノーズブリッジに向かう、及び眼鏡フレームの外側、すなわちノーズブリッジとは反対にある）点の位置を意味する。対応する式は、右側蝶番軸点にも、左側の点を右側の点に置き換えることによって使用できる。このようにして、外から見える点に基づいて眼鏡フレームの内部の蝶番軸上にある蝶番軸点を特定できる。
【0101】
ノーズブリッジは、前述のように、「ブリッジ中央、前」及び「ブリッジ中央、裏」の間クラスの点の交点として同様に定義できる。
【0102】
幾つかの例示的な実施形態において、特に本発明の第四の態様によれば、ただし本発明のこの態様のみに限定されないが、フレームの３Ｄモデルは、フレームメタデータを特定する目的のために構成要素に分割され、構成要素は特に、眼鏡つるのための構成要素と、眼鏡つる以外に眼鏡フレームを説明する構成要素を含んでいてもよい。３Ｄモデルの分割とは、情報項目を小集合に分割すること、例えば３Ｄ点群を３Ｄ点群の小集合に細分することを意味すると理解されたい。
【0103】
このような分割により、フレームメタデータを特定することを目的として各種の構成要素を個別に分析し、それによって処理すべきデータ量を減らすことができる。特に、分割はここでは、顕著点に基づいて、及び／又は前述のように、ノーズブリッジ及び／又は蝶番の位置特定に基づいて行うことができる。
【0104】
このために、断面を空間内に画定でき、前記断面は３Ｄモデルの点（頂点）又はボクセルを分割する。
【0105】
ここで、断面は、それぞれの基準点ｐとその平面に垂直な法線ベクトルｎにより定義できる。ここで、基準点ｐは法線ベクトルｎと共に、座標系の原点に関する平面の位置と向きを一意的に示すある平面のための支点を表す。基準点は、ベクトルとして利用できる。同様に、座標は、座標系の原点からその点の座標までのベクトルとして表現できる。すると、その位置が座標ｖ（その点のデカルト座標表現に対応する）により定義される３Ｄモデルの頂点又はボクセルについて、以下が適用される：＜ｖ，ｎ＞≦＜ｐ，ｎ＞又は＜ｖ，ｎ＞＞＜ｐ，ｎ＞。ここで、＜，＞はユークリッドスカラ乗積を指す。スカラ乗積とは、ユークリッドスカラ乗積を意味するが、異なる定義によるスカラ乗積も使用できる。ここで、法線ベクトルｎは１の長さに正規化され、すなわち＜ｎ，ｎ＞＝１である。
【0106】
２つの関係のうちの何れが当てはまるかに応じて、点ｖは断面の一方の側か他方の側に位置する。これによって、本発明の第三の態様による構成要素への単純な分割が容易となるが、それに限定されることはない。
【0107】
眼鏡フレームの分割を目的として、前述のように特定されてよいそれぞれの蝶番軸点は、この手順の中の断面の基準点として使用できる。座標系のｚ軸、すなわち眼鏡つるが延びる方向はすると、前述の座標変換における断面のための法線ベクトルの役割を果たすことができる。＜ｖ，ｎ＞≦＜ｐ，ｎ＞が満たされる頂点又はボクセルはすると、それぞれの眼鏡つるを定義する。
【0108】
すると、さらなるメタデータをこのようにして眼鏡フレームの３Ｄモデルから分割された構成要素に基づいて計算できる。それゆえ、静止情報項目の前述の静止領域は、眼鏡フレームの３Ｄモデルから分割された眼鏡つるに基づいて計算できる。分割された構成要素を使用することは、メタデータを特定するときに使用しなければならないデータが、完全な３Ｄモデルが使用される場合より少なくなることを意味し、その結果、計算を加速できる。
【0109】
静止領域を特定するために、眼鏡フレームの３Ｄモデルから分割された眼鏡つるの各々について、本発明の第四の実施形態により、以下の方法を使用できる。
【0110】
まず、それぞれの眼鏡つるの始点ａと終点ｂは、眼鏡フレームの３Ｄモデルのそれぞれの分割された眼鏡つるから特定される。この場合の眼鏡つるのフレームの始点と終点とは、耳静止領域として提供される領域の始点と終点を意味する。前述の座標系において、分割された眼鏡つるのうち、そのｚ成分の最小値を有する点を始点ａとすることができ、ｚ成分の最大値を有する点を終点ｂとすることができる。この特定は、手作業で、例えば使用者が３Ｄモデルから選択することによって、又はルールベース方式で、例えば静止点からの一定の距離が両方向に必要とされることによって、若しくはつるの終点に関する必要な相対距離として行うことができる。
【0111】
次に、潜在的な耳静止領域が特定される。この潜在的な耳静止領域を制限する平面のｚ成分は、ｚ方向への眼鏡つるの長さに関する所定の比αとβとして使用でき、そのため、以下：α＜（ｖｚ−ａｚ）／ｌｚ＜β
（ここで、αとβは所定の値であり、これらは例えば、製造者によりそれぞれの眼鏡フレームについて事前に特定されるか、又は多くの眼鏡フレームからの演繹的な値として特定されてもよい。αは０．３〜０．６とすることができ、例えばα＝０．４７であり、βは０．６〜０．９とすることができ、例えばβ＝０．７６である）が適用される。
【0112】
ａｚは点ａのｚ成分であり、ｌｚは眼鏡フレームのｚ方向への長さであり、ｂｚ−ａｚに対応する。ｖｚは３Ｄモデルの頂点又はボクセルのｚ成分である。頂点又はボクセルに関して、そのｚ成分ｖｚに前述の関係が当てはまり、潜在的な耳静止領域に属し、すなわち、これらの頂点又はボクセルには以下が適用される：ｖｚ＞α×ｌｚ＋ａｚ、
ｖｚ＜β×ｌｚ＋ａｚ
【0113】
すると、静止領域は漸増的にスライドする窓を用いる計算によって静止点群又は静止曲線として確認できる。静止点群は、静止領域又はその小集合を形成する点の集合を意味する。
【0114】
静止曲線は、３Ｄ曲線としての静止点の表現である。窓とは、点が考慮される特定の３次元領域を意味する。このために、一定の幅（例えば０．５ｍｍ〜３ｍｍの幅、例えばｚ方向に１ｍｍ）及び一定の増分（例えば、同様に０．５ｍｍ〜３ｍｍ、例えば約１ｍｍ）の窓が、潜在的な耳静止領域にわたりｚ方向にスライドされる。まず、潜在的な静止領域の、窓の中に位置する頂点又はボクセルの集合が窓の各位置について確認される。その後、これらの頂点又はボクセルの各々について方向ベクトルｄを用いたスカラ乗積ｓが形成され、ｓ＝＜ｖ，ｄ＞となり、式中ｖは再び、頂点又はボクセルの座標を特定する。
【0115】
原則として、これらのスカラ乗積ｓの最大値【数3】
は、座標
【数4】
の割り当てられた頂点又はボクセルに一意的に割り当てられる。１つの窓の中に複数の最大スカラ乗積が存在する場合、所定の頂点又はボクセル、例えば最初に計算された最大値を有する頂点又はボクセルがこの窓に関する頂点又はボクセル
【数5】
とみなされる。このようにしてすべての窓について、例えば増加するｚ値による順序で発見された座標
【数6】
の集合は、本発明の第五の態様による、ただしこれに限定されない静止領域を静止曲線として特徴付ける点の配置が得られる。例示的な実施形態において、この曲線をフィルタにより、例えばガウシアンフィルタにより平滑化でき、又は曲線を点に当てはめることができ、例えばスプライン近似をＢスプラインによって実行でき、これは２０１７年３月９日現在、ドイツ語のＷｉｋｉｐｅｄｉａの記事“Ｓｐｌｉｎｅ”に記載されている。
【0116】
正規化ベクトルは、方向ベクトルｄとして仮定され、すなわち＜ｄ，ｄ＞＝１である。後者は、それぞれ左及び右側の眼鏡つるについて一定となるように選択できる。一定の方向ベクトルの一例は、上で定義した座標系においてベクトル（０，−１，０）であろう。この場合、静止点は常に眼鏡つるの最下点であろう。つるの位置と向きは、内側に向く静止曲線、すなわち、例えば、右側のつるに関してδ＝３０°の場合、ｄ＝（ｃｏｓ（δ），ｓｉｎ（δ），０）及び
左側のつるに関してδ＝３０°の場合、ｄ＝（−ｃｏｓ（δ），ｓｉｎ（δ），０）
の場合により正確となる。
【0117】
幾つかの例示的な実施形態において、頭部メタデータは耳静止点を含み、これは例えばモデルの耳の表現上のある点を手で選択することによって選ばれる。方向ベクトルｄを特定するために、この場合、頭部の３Ｄモデル内のこの耳静止点の周辺で窓を選択でき、例えばこの耳静止点から所定の距離を超えないだけ、例えば０．２５ｍｍ〜１ｍｍを超えないだけ、例えば０．５ｍｍを超えないだけ離間された、ｚ値を有する頂点又はボクセルのすべてである。すると、窓のこれらの頂点のすべての平均値が特定され、耳静止点の正規化差分ベクトルから平均値を引いたものが方向ベクトルｄとして定義される。
【0118】
このようにして、静止領域としての静止曲線を比較的簡単な方法で自動的に特定でき、これはすると、頭部上での眼鏡フレームの位置決めのための方法のさらなるステップで使用でき、これについては後でより詳しく説明する。
【0119】
フィッティングを加速させるために、フレームメタデータはさらに、眼鏡つる上の予想耳静止点を含んでいてもよく、これは手作業で選択されてよい。これらの予想耳静止点はすると、眼鏡の仮想位置決めのための開始点としての役割を果たすことができ、すなわち、眼鏡はまず、これらの点において耳の上に載せられる。これは、仮想位置決めを加速させるかもしれない。
【0120】
さらに、ノーズパッドを含む眼鏡フレームの場合のメタデータは、このようなノーズパッドの位置を示す点を含んでいてもよい。これらの点もまた、手作業で選択されても、機械学習により特定されてもよい。
【0121】
例えば、使用者がクリックした点は、ノーズパッドの中心にあたると仮定できる。所定の半径の、例えば半径６ｍｍの球を前記所定の周囲に描くことができる。すると、この球の中にある点は、すでに説明したように、主成分解析によって解析できる。
【0122】
このような点群を解析するために、特に、球の中心を点群の座標から差し引いてから、原点の周囲に中心を置く点の集合を得るために解析することができる。これは、その後の解析を簡単にするかもしれない。
【0123】
フレームメタデータはさらに、フレームの、特に眼鏡つるの柔軟性に関する曲げ情報項目を含んでいてもよい。このような情報項目を使用すると、眼鏡は、仮想位置決め中に曲げることによって頭部に仮想的に試着させることができ、これらの調整をその後、それに対応する実際の眼鏡フレームに当てはめることができる。このような情報項目の例には、例えば、蝶番軸の周囲の回転が可能か否か、及び可能であればどの程度可能かに関する情報項目が含まれる（例えば、ばね蝶番を備えるプラスチック製フレームの場合）。眼鏡蝶番はストッパを有する−例えば、最大開き１８０°。幾つかの蝶番では、このストッパはばねによって実現でき、そのため、１８０度を超える開きが可能となる。ばねを持たない硬いストッパの場合、つるは曲げ開くと変形する。それゆえ、例えば蝶番の種類、すなわち固定されているか、ばね式であるか、は情報項目の中に符号化される。それに加えて、つるの柔軟性が符号化され、ここで、ばね式蝶番の場合はつるの剛体モデルが使用される。またさらなる例は、眼鏡つるの傾斜、すなわち眼鏡つるのｘ軸の周囲での眼鏡フレームの残りの部分に関する回転の調節の可能性に関する情報項目に関する。多くのメタルフレームにおいて、これはつるを蝶番において上下に曲げることによって可能である。
【0124】
この情報項目はまた、傾斜の調節が不可能であることも特定してよい。例えば、この情報項目は、イエス／ノー情報項目（傾斜の調節が可能か否か）、又は傾斜を変更できる角度範囲として利用可能であってよい。
【0125】
さらに、眼鏡つる自体の曲げ開きも、例えば曲げ関数によって定義できる。例えば、ｚ軸にわたる多変量多項式及びｘ及びｘｙ方向へのオフセットはこのような曲げ関数を説明できる。さらに、つるを曲げ開くことにより生じる眼鏡フレームの、フレームのエッジの変形を、例えば多変量多項式又は多変量スプライン関数（例えば、Ｂスプラインベースのテンソル積：Ｄｅ Ｂｏｏｒ，Ｃａｒｌ，ｅｔ ａｌ．“Ａ ｐｒａｃｔｉｃａｌ ｇｕｉｄｅ ｔｏ ｓｐｌｉｎｅｓ”．ｖｏｌ．２７．Ｎｅｗ Ｙｏｒｋ：Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，１９７８．Ｃｈａｐｔｅｒ ＸＶＩＩ参照）によってモデル化することも可能である。
【0126】
このような曲げは特に、薄い眼鏡つる又は非常に弾力性のある眼鏡つるの場合に可能である。
【0127】
上述の情報項目は、眼鏡つるを異なる方向、例えば前述の座標系によるｘ及びｙ方向へと曲げて、フィッティングするために提供できる。
【0128】
次に、各種の実施形態による頭部メタデータの変形型及び、そのため選択肢を特定するための方法を説明する。
【0129】
好ましくは、本発明の第一の態様において、ただし本発明のこの態様のみに限定されないが、ヘッドメタデータは眼の位置を含み、これはその後、眼鏡フレームの水平整列のために使用できる。例えば、これらのメタデータは固視方向における眼、例えば瞳孔、特に瞳孔中心の位置（ＤＩＮ ＥＮ ＩＳＯ １３６６６：２０１３−１０，５．３３参照）を点座標として特定する。さらに、頭部メタデータは、前述のように、耳設置点を含んでいてもよく、これは耳の上の眼鏡フレームの静止点を明示する。頭部の上の眼鏡フレームの静止点を特定するその他の設置点、例えば頭部の鼻の上での設置点もまた使用可能である。これらのメタデータの結果として、耳の上の眼鏡つるの簡単な位置決めが可能となる。
【0130】
さらに、頭部メタデータは、鼻梁の上の設置点及び／又はその説明を例えば３Ｄ曲線の形態で含んでいてもよく、これは鼻梁の領域を説明し、これは鼻梁領域とも呼ばれる。これらのメタデータは、頭部上での眼鏡フレームの大まかな位置決めに役立つかもしれない。ここで、設置点は頭部の３Ｄモデルの鼻梁における、又はその付近の点であり、この点は、特に大まかな位置決めにより、フレームメタデータの前述の静止点に対応させることができる。
【0131】
上でフレームメタデータについてすでに述べたように、このような頭部メタデータは手作業で、例えば３Ｄモデルに基づく頭部の表現における、それに対応する点又は曲線を選択することによって特定されてよい。しかしながら、これらはまた、完全に又は部分的に、前述のように機械学習によって特定されてよい。
【0132】
他の実施形態において、頭部の３Ｄモデルに加えて、頭部の２次元画像データが頭部メタデータの自動特定のために使用される。このような２Ｄ画像は、３Ｄモデルが複数の校正された位置から頭部をカメラで記録することによって製作されている場合、何れの場合にも利用可能である。校正された位置とは、画像記録の位置が既知であることを意味し、したがって、３Ｄモデルはすると、記録された画像と位置に基づいて特定できる。代替的に、２Ｄ画像はまた、画像合成（レンダリングとも呼ばれる）によってテクスチャ付き３Ｄモデルからも生成されてよい。例えば、これに関する情報は、２０１７年３月１０日現在、ドイツ語のＷｉｋｉｐｅｄｉａの記事“Ｂｉｌｄｓｙｎｔｈｅｓｅ”において見ることができる。
【0133】
すると、人の顔面特徴、例えば瞼、眉毛、鼻梁、眼、及びその他をこのような２Ｄ画像の中で、画像認識方法（物体検出器とも呼ばれる）によって識別できる。例えば、このための適当な方法は、２０１７年３月１０現在、ソフトウェアライブラリ、“ｄｌｉｂ”，“ｈｔｔｐ：／／ｂｌｏｇ．ｄｌｉｂ．ｎｅｔ／２０１４／０８／ｒｅａｌ−ｔｉｍｅ−ｆａｃｅ−ｐｏｓｅ−ｅｓｔｉｍａｔｉｏｎ．ｈｔｍｌ”において提供され、又はＶ．Ｋａｚｅｍｉ ｅｔ ａｌ．，“Ｏｎｅ Ｍｉｌｌｉｓｅｃｏｎｄ Ｆａｃｅ Ａｌｉｇｎｍｅｎｔ ｗｉｔｈ ａｎ Ｅｎｓｅｍｂｌｅ ｏｆ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ”、Ｘ．Ｚｈｕ ｅｔ ａｌ．，“Ｆａｃｅ ｄｅｔｅｃｔｉｏｎ，ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｌａｎｄｍａｒｋ ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ ｔｈｅ ｗｉｌｄ”，ＣＶＰＲ ２０１２に記載されており、また、最初の著者のホームページ、ｈｔｔｐ：／／ｗｗｗ．ｉｃｓ．ｕｃｉ．ｅｄｕ／〜ｘｚｈｕ／ｆａｃｅ／“”にも掲載されている。
【0134】
このように識別された２次元画像内のこれらの点又は領域はその後、頭部の３Ｄモデル（例えば、３Ｄメッシュ）に投影され、それゆえ、３Ｄ点の形態で頭部メタデータとして利用可能となる。好ましい実施形態において、投影の目的のために逆投影マトリクスが使用される。ここで、投影マトリクスは、使用されたカメラのカメラ座標系及びカメラマトリクスにおけるモデルの、例えば３Ｄメッシュの座標系からの剛体変換からなる。上記のように、画像記録のための構成された位置でのカメラ装置が３Ｄモデル及び２Ｄ画像の記録のために使用される場合、これらのマトリクスが記録された画像から３Ｄモデルを特定する範囲内で与えられ、又は特定される（Ｒｉｃｈａｒｄ Ｈａｒｔｌｅｙ ａｎｄ Ａｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎ，２０００．Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，Ｎｅｗ Ｙｏｒｋ，ＮＹ，ＵＳＡ参照）。
【0135】
このようにして、投影は素早く行うことができ、これは必要なマトリクスがすでに３Ｄモデルの特定からわかっているからである。代替的実施形態において、２Ｄ画像の顔面特徴はまた、手でマークでき、その目的のために２Ｄ画像をディスプレイで表示できる。混合形態もまた使用でき、この場合、顔面特徴は前述のように自動的に特定され、その後、手で補正されてもよい。
【0136】
前述の鼻梁領域は３Ｄ曲線として提供できる。このために、前にすでに述べたように、眼鏡つるの静止領域を特定するための方法に対応する方法を利用できる。特にスライド窓を用いる前述の方法が利用でき、この場合、頭部の方向に後方に向けられる頭部の方向（これは例えば、３Ｄモデルのｚ軸等の座標軸であってよい）は、前述の式の方向ベクトルｄとして使用できる。この方向もまた、頭部を特定する際に特定できる。この場合の方向ベクトルｄは、頭部の回転方向又は視線方向に対応し、これは欧州特許出願第１７１５３５５９．４号明細書に記載されており、前記方向は欧州特許出願第１７１５３５５６．０号明細書において開示されている偏心測定器によって特定でき、ここで、窓の変位方向は頭部の３Ｄモデルのｙ軸、すなわち縦軸であり、頭部の全体的モデルが使用されるか、又は瞳孔位置の平均値のｙ座標及び鼻の先端のｙ座標によるセクションが使用され、これはスカラ乗積ｓ＝＜ｖ，ｄ＞（前述）が最大となる、ｖ＿ｍａｘとして特定される。
【0137】
静止領域の場合と同様に、ここでもガウシアンフィルタ等によるフィルタリング及び／又はスプライン近似を実行することができる。
【0138】
ここで、ｙ軸上の間隔は鼻梁の曲線のパラメータ表現として使用される。それゆえ、ある関数が得られ、前記関数は各ｙ値のための鼻梁上の関連する３Ｄ点を提供する。
【0139】
すると、特に本発明の第五の態様によれば、ただし本発明の前記態様に限定されることなく、この鼻梁領域に関するこの３Ｄ曲線に基づいて前述の設置点を特定できる。このために、３Ｄモデルの眼位置の接続線が含まれ、及び視線方向が含まれる平面に鼻梁曲線とも呼ばれる３Ｄ曲線が交差し、これは１つの実施形態において、静止点を特定するための開始点ｓの役割を果たす。すると、この点ｓの周囲で、例えば所定の領域（所定の距離、例えば±３ｍｍ、±２ｍｍ等）内で、鼻梁曲線のうち、視線方向において最小値を有する点、すなわち最も遠い後方にある点（３Ｄモデルの後頭の方向）が特定される。ｙ方向への一定のオフセットを依然としてこの点のｙ値に加えることにより、ｙ値と設置点を、曲線の前述のパラメータ表現により確認できる。これによって設置点を確認でき、後者は、フレームメタデータの静止点と共に、眼鏡フレームの初期位置決めのために使用でき、前記初期位置決めは最終位置に比較的近く、おそらくその後の最適化を加速させる。
【0140】
その後、頭部メタデータを頭部の３Ｄモデルと共に記憶でき、その結果、異なるフレームにも使用できる。これによって、様々なフレームのための頭部メタデータの再計算が省かれる。
【0141】
メタデータに基づく仮想位置決めは好ましくは、メタデータに基づく大まかな位置決めによりその後のさらなるフィッティングのための開始点を提供することを含むことができる。ここで、特に、鼻梁上の前述の設置点を眼鏡フレームの静止位置に対応させることができる。ここで、フレームのｚ軸（すなわち、眼鏡つるの方向）を、視線位置を示す、頭部の３Ｄモデルのそれに対応する軸と正確に一致させることができる。
【0142】
大まかな位置決めのこの部分の後に、フレームをｘ軸の周囲で回転させることができ、すなわち、フレームの「装用時」前傾角を、１つの実施形態において、眼鏡つるの静止領域が耳静止点上に載るように変化させることができる。まず、これは各つるについて別々に実行される。このために、１つの実施形態において、静止領域と円筒面との交点が計算され、この場合、円筒面、円筒軸はフレームの回転軸（前述の座標系のｘ軸）に対応する。ここで、回転軸は静止点を通って延びる。円筒の半径は、回転軸からのそれぞれの耳静止点までの距離である。円筒上の交点により、フレームを前方に傾ける、又は後方に傾ける角度が直接得られる。ここで、シリンダの交点は反復的線円筒交差（ｉｔｅｒａｔｉｖｅ ｌｉｎｅ ｃｙｌｉｎｄｅｒ ｉｎｔｅｒｓｅｃｔｉｏｎｓ）により計算できる。ここで、静止領域（例えば、上で確認された静止曲線）は当初、より粗い、すなわちより低い分解能のセグメント表現の中で計算を加速させるために使用されてよい。例えば、より単純なケースでは、前述の始点ａと終点ｂとの間の接続線を、より粗いセグメント表現として使用できる。
【0143】
反復的線円筒交差によるこの特定は、以下のように行うことができる：Ｓはこの接続線と円筒との交点を示すものとする。すると、Ｓのｚ座標ｚＳが反復改良中に使用されて、関連する実際の曲線点が確認される。後者は円筒面上になくなるが、それでも角度を特定するための近似値として使用できる。それに加えて、ここで、さらなる反復ステップを実行することが可能となる。このために、ｚｓの周囲の間隔εの曲線上の点ｋ（ｚＳ−ε）及びｋ（ｚＳ＋ε）が使用され、これらは次の反復においてａ及びｂに代わる新しい視点と終点となる。
【0144】
この位置決めに続いてフレームが曲げられ、その目的のために、フレームの柔軟性を説明するフレームメタデータの前述の曲げ情報項目が使用される。
【0145】
このために、上で説明した円筒公差を用いる上述の方法が再び適用可能である。前述のように、曲げ情報項目が多変量曲げ関数として利用できる場合、つるの静止領域から耳静止点までの距離が費用関数として使用される最適化を行うことができる。ここで、一般に、費用関数とは、最適化すべき１つ又は複数のパラメータに応じて変化し、最適化の目的のために最大値又は最小値となるようにされる関数である。ここで、曲げ強度にかかわる曲げ関数のパラメータが、最適化すべきパラメータとして選択される。ｘ方向への曲げ広げのための単純な曲げ多項式関数の場合、数学的逆関数も同様に多項式により近似させることができる。このために、曲げ関数Ｄｚ（ｘ）は、ｘ方向への曲げのための位置ｚにおける多項式として付加的にモデル化され、その逆関数Ｄｚ−１（ｄ）も同様に多項式により、例えば個々の離散点［ｘ１，ｘ２，．．．ｘｎ］における関数をサンプリングし、［Ｄｚ（ｘ１），Ｄｚ（ｘ２），．．．，Ｄｚ（ｘｎ）］において値［Ｄｚ−１（Ｄｚ（ｘ１）），Ｄｚ−１（Ｄｚ（ｚ２）），．．．，Ｄｚ−１’（Ｄｚ（ｘｎ））］での新しい多項近似を実行することによって近似させられる。この場合、耳設置点のｘ値までの静止曲線の曲げ広げは、ｚ＝静止位置及びｘ＝耳設置と静止位置との差に関する逆関数を適用することによって直接確認できる。
【0146】
フレームを曲げることによって、ｚ方向への回転（すなわち、ｘ軸の周囲でつるを曲げること）によって傾斜をつるに合わせることもできる。ここでもまた、前述の円筒公差方式をさらにまた使用でき、この場合、耳設置点が円筒を構成するために使用可能で、後者には静止曲線が交差する。
【0147】
本発明の第一の態様による実施形態において、ただし、本発明のこの態様のみに限定されないが、フレームの精密位置決めは少なくとも実質的にｘｙ平面に限定される。ここで、ｘｙ平面とは、ｘ方向及びｙ方向に平行に延びる平面を意味すると理解されたく、前記平面はそれゆえ、２つのベクトル、すなわちｘ方向に延びる１つのベクトルとｙ方向に延びる１つのベクトルにより画定され、前記平面はその結果、ｚ方向に垂直である。すると、ｚ方向へのベクトルは、ｘｙ平面の法線ベクトルである。ｘｙ平面内の変位はまた、ｘｙ方向への変位ともいうことができる。特に、ｘｙ平面は大まかな位置決めの後の眼鏡フレームの固定点を含んでいてもよい。
【0148】
ここで、精密位置決めを少なくとも実質的にｘｙ平面に限定することは、ｚ方向への位置の変化がｘｙ平面内の位置の変化の少なくとも１０％以下、又は少なくとも５％以下であることを意味し、前記ｚ方向への位置の変化はまた０であってもよい。
【0149】
ここで、フレームは眼鏡フレームの３Ｄモデルと頭部の３Ｄモデルとの間に衝突が存在しなくなるまでｘ−ｙ−方向に変位させられる。
【0150】
眼鏡フレームの位置の変化は、眼鏡フレームを変位させることによってもたらすことができる。
【0151】
眼鏡フレームを変位させるとは、眼鏡フレームの並進移動を意味すると理解されたく、これは、変位ベクトルにより特徴付けられてもよい。変位ベクトルは、大まかな位置決めにより得られた眼鏡フレームの初期位置及び向きと精密位置決めステップの終了時の眼鏡フレームの位置との間の変位を説明してよい。
【0152】
変位ベクトルの長さは、変位の距離と呼ぶことができる。ここで、幾つかの実施形態において、眼鏡フレームはｘｙ平面内で第一の距離だけ変位させることができ、その後、ｚ方向に沿って第二の距離だけ変位させることができる。前述のように、変位は少なくとも実質的にｘｙ平面に限定できる。例えば、これは、幾つかの例示的な実施形態において、第二の距離は第一の距離の１０％以下である。幾つかの例示的な実施形態において、第二の距離は第一の距離の５％以下である。幾つかの例示的な実施形態において、第二の距離は第一の距離の０％である。
【0153】
頭部の３Ｄモデルの表面は、この精密位置決めのためにわずかに（例えば、０．３ｍｍ〜１ｍｍ）低くして、眼鏡フレームの静止エリアにおける皮膚の変形を考慮に入れることができる。これによって、より現実的なフィッティングを容易にすることができる。この場合、無衝突とは、フレームの３Ｄモデルと頭部の３Ｄモデルが共通の空間領域を持たないことを意味する。精密位置決めの後、前述の曲げプロセスを再び行って、フィッティングをさらに改善することができる。
【0154】
好ましい実施形態において、それぞれの頭部のための眼鏡フレームの原理上の適当さは、このステップの後に、眼鏡フレームの下側の縁部がそれぞれのモデルの頭部の頬領域に当たるか否かをチェックすることにより確認できる。
【0155】
メタルフレームに存在することの多いノーズパッドを備えるフレームの場合、仮想位置決めはさらに、ノーズパッドの位置決めを含んでいてもよい。１つの例示的実施形態において、このフィッティングは、回転中心の周囲でのノーズパッドの回転としてモデル化される。このために、ノーズパッドは眼鏡フレームの残りの部分から分離でき、これは前述のように実行されてよい。このフィッティングは、前述の曲げの後に行うことができる。精密位置決めは、ノーズパッドを変化させるたびに改めて行うことができる。
【0156】
ノーズパッドの主軸は回転軸として選択でき、例えば、これらは前述の主成分分析を用いて特定されてよい。回転は、最大の固有値のために、主成分分析から得られた２つの主軸の周囲の２つの角度に限定できる。ノーズパッドが鼻と接触するエリアの逆を、できるだけ広い静止を実現するために、ノーズパッドの位置の最適化のための費用関数として使用できる。これによって、ノーズパッドの位置の仮想フィッティングも可能となり、これはその後、実際のフレームに移行されてよい。その結果、実際のフレーム上のノーズパッドの実際の頭部でのフィッティングが不要となるか、又は依然として必要であるが、わずかのみとなる。
【0157】
幾つかの実施形態において、特定の事前調節可能な「装用時」前傾角（例えば、９°）は、この傾斜の変更中に事前に特定できる。この一定の「装用時」前傾角はすると、眼鏡がその後移動しても、傾斜を変化させることによって保持され、これについては後でより詳しく説明する。
【0158】
頭部をそこに位置決めされた眼鏡フレームと共に表示することは、従来の画像合成方法により行うことができ、画像合成に関する前述のドイツ語のＷｉｋｉｐｅｄｉａの記事を参照されたい。このために、特にカメラの画像をテクスチャとして使用でき、前記カメラの画像は、それによって自然の画像印象が得られるため、３Ｄモデルを製作するのにも役立てられている。照明は、画像合成のために設定又は事前に特定でき、すると、画像合成は例えばいわゆるレイトレーシングによって行うことができ、２０１７年３月１０日現在、“Ｒａｙ Ｔｒａｃｉｎｇ”に関するＷｉｋｉｐｅｄｉａの記事を参照のこと。
【0159】
このために、頭部の画像を記録したときの周囲照明に対応する仮想光源を使用できる。好ましくは、この周囲照明は、画像が記録されるときに特定される。この周囲照明を特定するために、頭部の３Ｄモデルを製作するための画像を記録するのに使用されるカメラシステムでは、特にパノラマカメラ（すなわち、広角のパノラマカメラ）を使用でき、前記パノラマカメラは光源を識別するために周囲を記録する。他の実施形態において、３Ｄモデルを製作するために画像を記録するこのようなシステムは、既知の位置に照明器を有していてもよく、これはすると、画像合成のための照明の位置として使用される。この画像合成中に、観察者にできるだけ自然な画像印象を提供するために、フレーム内の眼鏡レンズもまた考慮されてよい。この場合、特にミラーリング層が使用されるときに生じる反射を考慮に入れることができる。好ましい実施形態において、異なる種類の反射防止コーティングについてのモデルが利用可能であり、また、使用者に異なる層に関する印象を提供するために、異なる種類のグラスのためのモデルも利用できる。画像合成の範囲内で、反射防止層の効果は、特に側視における反射の形態で現れる。
【0160】
さらに、方法は、使用者の入力に基づく眼鏡フレームの位置の変化を含んでいてもよい。それゆえ、使用者は眼鏡の座りを自分の希望に合わせて調整でき、又は検眼士が依然として調整を行うことができる。このために、使用者のために適当なユーザインタフェースを提供でき、例えば、マウスの動きにより、又はタッチセンサ式スクリーン（タッチパッド）に触れることによってナビゲーションを実行できる。
【0161】
方法は、眼鏡のフィッティングの他の方法、例えば、例えば欧州特許出願第１７１５３５６０．２号明細書に記載されているようなセンタリング方法と組み合わせることができる。ここで、特に、その中に記載されている方法による仮想センタリングを前述のようなフレームのフィッティングの後に行うことができ、これはセンタリングの精度を高める。
【0162】
この相互作用中に、使用者が選択した鼻の上の眼鏡フレームの設置点がメタデータ内の設置点とずれている場合、メタデータ内の設置点を使用者により選択された設置点に合わせて変更できる。このように変更された、使用者が好む設置点はすると、別のフレームの仮想フィッティング中に使用できる。
【0163】
相互作用中、使用者はモデルを回転させて、それを横から見ることができる。このプロセスにおいて、回転は、使用者の後頭等、例えばテクスチャが利用できない領域が観察できないように限定できる。このために、例えば、仮想観察位置は、後頭の方向が移動する場合に頭部の３Ｄモデルに近付くことができ、及び／又は使用者の入力（マウスポインタ、タッチパッド、及びその他）に関する使用者の感度が後頭の方向の回転中に劣化する可能性がある。さらに、使用者はまた、フレームをｘ−ｙ−軸の周囲で回転させて、顔の非対称性を考慮するかもしれない。
【0164】
上述の方法は、眼鏡の仮想フィッティングのための装置によって実行でき、前記装置はプロセッサとディスプレイを含み、方法を実行するためのプログラムコードを有する、それに対応するコンピュータプログラムはプロセッサ上で実行される。コンピュータプログラムは装置のメモリに記憶されても、又はそれ以外にクラウドを介して提供されてもよい。ここで、コンピューティングデバイスはまた、各種の別々の構成要素を有する分散システムによって実装されてもよい。例えば、記録された画像データから頭部のメタデータを計算する、又はそのモデルを計算することは、比較的パワフルなコンピュータ、例えばグラフィクスプロセッサ等のコプロセッサも含んでいてよい外部サーバで実行することができる。メタデータを使用することにより、フレーム上の眼鏡の位置決め及びその後の表現は、より計算集約性が低く、そのため、これはよりパワフルでないユニット、例えばタブレットやスマートフォン等のモバイル端末上で、対応するアプリケーションプログラムで、又はインターネットを介したブラウザによっても実行可能である。
【0165】
本発明を、添付の図面を参照しながら好ましい実施形態に基づいて以下により詳しく説明する。図中、
【図面の簡単な説明】
【0166】
【図2】１つの例示的な実施形態による方法のフローチャートを示す。
【図4】眼鏡フレームの３Ｄモデルを説明するための図を示す。
【図5】１つの例示的な実施形態によるフレームメタデータを特定する方法のフローチャートを示す。
【図8】静止曲線を特定するための方法のフローチャートを示す。
【図9】眼鏡のフィッティングのための方法のフローチャートを示す。
【図11】眼鏡フレームの回転を説明するための図を示す。
【発明を実施するための形態】
【0167】
図１Ａは、１つの例示的実施形態による眼鏡の仮想フィッティングの装置の例示的な実施形態を示す。図１Ａの装置は、コンピューティングデバイス１１と、プロセッサ１２と、メモリ１３と、を含む。メモリ１３は、データを記憶する役割を果たし、図１Ａの例示的な実施形態においては、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、及び１つ又は複数の大量記憶媒体（ハードディスク、ソリッドステートディスク、光ドライブ等）を含む。プログラムはメモリ１３の中に保存され、前記プログラムは、プロセッサ１２上で実行されると、前述のように眼鏡の仮想フィッティングを実行する。
【0168】
図１Ａの装置はディスプレイ１６をさらに含み、これは、コンピュータプログラムがプロセッサ１２上で実行されると、人物の頭部を眼鏡フレームと共に表示する。使用者の入力は、１つ又は複数の入力装置１７、例えばキーボード及びマウスにより実行できる。追加的又は代替的に、ディスプレイ１６は、入力を行うためのタッチセンサ式スクリーン（タッチスクリーン）とすることができる。
【0169】
図１Ａの装置はネットワーク１８へのインタフェース１４をさらに含み、それによってデータを受信できる。特に、これによって、テクスチャ付きの眼鏡フレームの３Ｄモデルを受け取ることが可能となる。幾つかの例示的実施形態において、データはまた、インタフェース１４を介して別のコンピューティングデバイスに送信され、前記別のコンピューティングデバイス上で、前述のメタデータの計算等の計算が実行される。
【0170】
眼鏡のフィッティングが行われるべき人物の頭部の３Ｄモデルを製作するために、図１Ａの装置は任意選択によりカメラ装置１５を含み、それによってその人物の複数の画像を異なる方向から記録でき、前述のように、そこから３Ｄモデルを特定することが可能である。
【0171】
図１Ｂは、図１Ａのカメラ装置１５のある実施形態を示す。図１Ｂの例示的実施形態において、カメラの半円形装置１１０は支柱１９に取り固定される。すると、人物はその人物の頭部１１１が図１Ｂに示されるように半円形装置１１０の中に位置付けられ、異なる方向から記録できるように自分を位置付けることができる。このことから、すでに上で説明したように、頭部１１１の３Ｄモデルを製作でき、その中でモデルのテクスチャもまた画像記録から生じる。さらに、図１Ｂのカメラ装置は、画像記録中に照明を確認できるようにする目的のパノラマカメラ１１２を含み、これはすると、前述のように画像合成に使用できる。
【0172】
図２は、１つの例示的な実施形態による方法を示す。使用者の頭部の３Ｄモデルは、図２のステップ２０で、例えば前述のようなカメラ記録に基づいて、特に図１Ａのカメラ装置１５の記録を使って提供される。フィッティングされるべき眼鏡フレームのフレーム３Ｄモデルは、ステップ２１で、例えば製造者により提供される。
【0173】
ステップ２２で、すでに前述したように、頭部メタデータが頭部３Ｄモデルに基づいて提供され、ステップ２３で、同様にすでに前述したように、フレームメタデータがフレーム３Ｄモデルに基づいて提供される。ステップ２０〜２３はまた、異なる順序で実行することもできる。それゆえ、ステップ２２とステップ２１は入れ替えることができる。ステップ２２及び２３のメタデータの提供は、新たにメタデータを計算することによって、又は以前に計算されたメタデータをメモリから読み出すことによって行うことができる。
【0174】
ここで、メタデータは前述のように計算し、提供できる。
【0175】
次に、ステップ２４で眼鏡フレームが仮想的に位置決めされ、すなわち、それが頭部メタデータとフレームメタデータを使って頭部に装着される。このために、すでに述べた方法が利用される。それゆえ、仮想位置決めは、頭部メタデータ及びフレームメタデータに基づく大まかな位置決めと、頭部の、及び眼鏡フレームの３Ｄモデルに基づく精密位置決めを含む。
【0176】
次に、ステップ２５で、頭部が眼鏡と共にディスプレイ上に、ここでは図１Ａの装置の場合のディスプレイ１６上に表示される。すると、これによって使用者は頭部に着用した眼鏡フレームの見え方を評価できる。
【0177】
すると、ステップ２６で、前述のように眼鏡フレームの位置を頭部上で移動させることができ、例えば、それを鼻の上で移動させることができる。これは、使用者によって又は検眼士によって行うことができる。
【0178】
任意選択により、次に、頭部への眼鏡のフィッティングを説明するフィッティングデータを、実際の眼鏡を調整するために利用できる。例えば、実際の眼鏡フレームのつるは、モデルの仮想フィッティング中のように曲げることができる。
【0179】
図２の方法は、複数の眼鏡フレームについて繰り返すことにより、使用者に異なる眼鏡フレームの見え方の印象を提供できる。すると、使用者はその表示に基づいて眼鏡フレームを選択できる。
【0181】
図３Ａ及び３Ｃは、頭部の３Ｄモデルを説明するための図を示す。３１ａは、使用可能な座標系の例を示し、座標系は前述のように、頭部に不変に関連付けられ、すなわち、例えばそれは頭部が回転しても頭部に関するその位置と向きが変化しない。ここで、図３Ａは、辺により接続される複数の頂点を有する三角メッシュの形態の３Ｄモデル３０を示す。図３Ｂは、三角メッシュとテクスチャの組合せ３１を示す。図３Ｃは、モデルに基づいてスクリーン上で実行されるかもしれない表現３２を示し、その中ではテクスチャのみが見え、図３Ａ及び３Ｂにおいて説明のために明瞭に示されている個々の頂点は見えない。図４は、モデルに基づく眼鏡フレームの表現を座標系４１と共に示している。図４の眼鏡フレーム４０は、右側の眼鏡つる４２Ａ、左側の眼鏡つる４２Ｂ、右側蝶番４３Ａ、左側蝶番４３Ｂ、右側フレームリム４４Ａ、左側フレームリム４４Ｂ、及びノーズブリッジ４５を有する。
【0182】
図５は、フレームメタデータを特定する方法、すなわち図２のステップ２３を実行するための例のフローチャートを示す。ステップ５０で、フレームの３Ｄモデル内の顕著点が３Ｄ特徴記述子によって特定される。ステップ５１で、これらの顕著点は分類され、フィルタにかけられる。３Ｄ特徴記述子による特定の代替案として、図６Ａ及び６Ｂに示されているように、点は手でマーキングすることもできる。このために、図４に関してすでに説明した眼鏡フレーム４０がディスプレイ上に表示され、関係のある点がマーキングされる。このために、図６Ａ及び６Ｂは例として、耳静止点６１、蝶番点６２、ノーズパッドの位置６３、及び静止点としての役割を果たしてもよいノーズブリッジの中心点６４を示す。留意すべき点として、静止点はじかに眼鏡の上にある必要はなく、例えばノーズパッドの場合、実際のフレームから離間されていてもよい。
【0183】
図５のステップ５２で、主成分解析（ＰＣＡ）による、ステップ５１で分類された顕著点の主軸の座標系への座標変換があり、ステップ５３で、ノーズブリッジと蝶番が分類された顕著点を援用して位置特定される。このための技術も同様にすでに前述した。
【0184】
すると、ステップ５４で、すでに前述したように、大まかな位置決めのために鼻梁上で静止するための点が静止点として特定される。ステップ５５で、眼鏡フレームの３Ｄモデルは構成要素（左側眼鏡つる、右側眼鏡つる、及び残りのフレーム）に分割され、ステップ５６で、すでに前述したように、つる下側の、静止曲線の形態の静止領域が特定される。
【0185】
その上に静止曲線が特定されるつる下側が、図７Ａにおいて眼鏡フレーム７０に関して、及び図７Ｂにおいて対応する拡大図で眼鏡つる７１及び７２について示される。静止領域を使用することによるこのような多くの点の援用により、計算を実行する必要がなく、静止曲線をその代わりに使用できる。
【0186】
図８は、静止曲線を特定する方法、すなわち図５のステップ５６のより詳細な実行のフローチャートを示す。ステップ８０で、それぞれのつる部（左側眼鏡つる又は右側眼鏡つる）の始点と終点が説明される。ここで、図８の方法は、左側眼鏡つると右側眼鏡つるについて別々に実行される。ステップ８１で、潜在的な耳静止領域が特定され、ステップ８２で、静止曲線は前述の「スライド窓」方式によって特定される。ここで、ステップ８０〜８２は、上ですでに、より詳しく説明したように実行される。
【0188】
図９のステップ９０において大まかな位置決めがあり、その中では眼鏡フレームのメタデータの静止点と頭部のメタデータの設置点が対応させられる。すると、ステップ９１で、フレームが曲げ広げられ、ここで、すでに前述した円筒交差方法が利用される。傾斜を変更できるフレームの場合、すなわち、つるをｘ軸（図４の座標系４１が使用される）の周囲で回転させることによって傾斜を変更できる。ステップ９２は、フレームのメタデータがそのような回転が不可能であることを示す眼鏡フレームの場合は飛ばすことができる。
【0189】
その後、ステップ９３でｚ方向に垂直なｘｙ平面内のフレームの精密位置決めが行われ、ここでは精密位置決めについてすでに前述した手法が用いられる。次に、ステップ９４でフレームと頭部の画像合成が行われ、これはステップ９０〜９３の位置決めに対応し、その中では、前述のように、光源が考慮されてよい。次に、ステップ９５で使用者は表示されたモデル、すなわちフレーム及び頭部の表示と１つ又は複数の入力装置（例えば、図１Ａの入力装置１７）を使って相互作用する。この結果として、例えばステップ９６に示されるようにナビゲーションを行うことができ、すなわち、表示されたモデルを回転、拡大、又は縮小できる。次に、ステップ９４が再びこれらの入力に基づいて実行され、すなわち、画像がナビゲーションにしたがって再表示される。また、フレームを回転させるため、特に前述のように、顔の非対称性を補償するために、入力があってもよく、これはジェスチャとも呼ばれる。この場合、位置決めはステップ９２から再計算される。最後に、眼鏡を鼻梁に沿って上下に動かすことができる。これは、初期の大まかな位置決めへの調整に対応し、したがって、この場合、方法がステップ９０から再び実行され、その中では、鼻梁上の新たに設定された位置がステップ９０における大まかな位置決めとして使用される。
【0190】
図１０Ａ及び１０Ｂは、図９の方法ステップを説明するための頭部１００と眼鏡フレーム１０２と一緒の表現を示す。図１０Ａは、眼鏡フレーム１０２を矢印１０３に従って頭部１００の鼻梁１０１に沿って上下にどのように移動できるかを説明する。これは、ステップ９６による鼻梁上の移動の一例である。図１０Ｂは、図９のステップ９１で実行されるような、矢印１０４に従った眼鏡フレーム１０２のつるの曲げ開きを説明する。
【0191】
図１１は、すでに前述したように、円筒交差によるｘ軸の周囲でのフレームの回転を説明するための図を示す。図１１は、頭部１１０の３Ｄモデルと眼鏡フレーム１１１の３Ｄモデルをそれぞれ３Ｄメッシュで示している。大まかな位置決め中、フレームは当初、静止点１１６に基づいて位置決めされた。軸１１５は、静止点１１６を通ってｘ方向に延びる。円１１２、１１３により示される円筒は、頭部１１０の３Ｄモデルの耳静止点までの半径を有する。円筒と、眼鏡フレーム１１１の３Ｄモデルにより表現される眼鏡フレームの静止領域との交点により、円筒と共に、眼鏡フレームの眼鏡つるの方向が得られ、その結果、眼鏡フレームを軸１１５の周囲で回転させるべき角度が得られる。この場合、回転は眼鏡つるが線１１９Ａ、１１９Ｂの方向に延びる位置から行われ、それによって眼鏡つるが線１１１０Ａ、１１１０Ｂの方向に延びる。
【0192】
説明した方法と装置を用いて、その結果、眼鏡フレームの頭部への正確な仮想フィッティングを行うことが可能となり、これはその後、任意選択により、図２のステップ２７にしたがって実際の眼鏡フレームのフィッティングにも使用できる。
【0193】
少なくとも幾つかの潜在的な例示的な実施形態を以下に明示する：第１項．
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
頭部の３Ｄモデル（３０、３１）及び眼鏡フレームの３Ｄモデル（４０）に基づく眼鏡フレームの精密仮想位置決めを含み、
精密仮想位置決めの前の、頭部上での眼鏡フレームの、頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めにより特徴付けられる。
第２項．
第１項による方法において、フレームメタデータは、眼鏡フレーム上の、眼鏡フレームが頭部上で静止する１つ又は複数の場所を画定する第一の静止情報項目を含み、及び／又は頭部メタデータは、頭部上の、眼鏡フレームが頭部上で静止する１つ又は複数の場所を画定する第二の静止情報項目を含むことを特徴とする。
第３項．
第２項による方法において、第一の静止情報項目は眼鏡フレームのノーズブリッジに関連する静止点を含み、第二の情報項目は頭部の３Ｄモデルの鼻梁に関連する設置点を含むことと、大まかな仮想位置決めは、フレームメタデータの静止点を頭部メタデータの設置点と対応させる位置決めを含むことを特徴とする。
第４項．
第３項による方法において、頭部の鼻梁を特徴付ける情報項目を計算し、鼻梁を特徴付ける情報項目に基づいて設置点を特定することを特徴とする。
第５項．
第１〜４項の何れか１項による方法において、水平方向が、頭部が直立状態に保たれるときに頭部の眼の接続線に対応してｘ方向と定義され、垂直方向がｙ方向と定義され、ｘ及びｙ方向に垂直な方向がｚ方向と定義される場合、精密仮想位置決め中に、ｚ方向への眼鏡フレームの変位がｘ−ｙ−方向への眼鏡フレームの変位の１０％以下であることを特徴とする。
第６項．
第１〜５項の何れか１項による方法において、方法は、
−フレームメタデータ及び／又は頭部メタデータの少なくとも一部分を自動的に特定する、
−フレームメタデータ及び／又は頭部メタデータの少なくとも一部分を手作業で特定する
の群からの少なくとも１つのプロセスを含むことを特徴とする。
第７項．
第６項による方法において、自動特定は機械学習を含むことを特徴とする。
第８項．
第１〜７項の何れか１項による方法において、フレームメタデータを提供する方法は、眼鏡フレームの３Ｄモデル内の顕著点を識別すること、及び／又は眼鏡フレームの３Ｄモデル内の顕著点を分類することを含むことを特徴とする。
第９項．
第８項による方法において、方法は、識別された顕著点に基づく座標変換の
−眼鏡フレームの３Ｄモデル、
−識別された顕著点、
−フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする。
第１０項．
第１〜９項の何れか１項による方法において、フレームメタデータの提供は、眼鏡フレームの３Ｄモデルの眼鏡フレームの構成要素への分割を含み、構成要素は好ましくは、
−つる部、
−つる部以外の眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
頭部メタデータは頭部の耳に関する静止領域を含み、この領域は分割されたつる部に基づいて計算される
ことを特徴とする。
第１１項．
第１〜１０項の何れか１項による方法において、フレームメタデータは眼鏡フレームの柔軟性に関する曲げ情報項目を含むことと、仮想位置決めは、柔軟性に関する情報項目に基づいて眼鏡フレームを曲げることを含むことを特徴とする。
第１２項．
第１〜１１項の何れか１項による方法において、方法は、表示の後に鼻の上で眼鏡フレームの位置を変化させるステップを含み、鼻の上での眼鏡フレームの変更後の位置が頭部メタデータの新しい設置点として記憶されることを特徴とする。
第１３項．
第１〜１２項の何れか１項による方法において、方法は、画像記録に基づいて頭部の３Ｄモデルを特定するステップと、画像が記録されたときの周囲照明を特定するステップをさらに含むことと、その上にフレームが位置決めされた頭部の表示は、捕捉された周囲照明に基づく仮想照明との画像合成を含むことを特徴とする。
第１４項．
プロセッサにより実行されたときに、第１〜１３項の何れか１項による方法を実行するプログラムコードを含むコンピュータプログラム。
第１５項．
眼鏡の仮想フィッティングのための装置において、
プロセッサと、
ディスプレイと、
を含み、
プロセッサ上で実行される第１４項によるコンピュータプログラムを特徴とする。
【手続補正書】
【提出日】2019年8月1日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
その後の、前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、
主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする方法。
頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
その後の、前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、
主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする方法。
【請求項2】
前記大まかな位置決めは、前記ｚ方向への前記眼鏡フレームの位置を特定することを特徴とする、請求項１に記載の方法。
【請求項3】
前記フレームメタデータを提供するための方法は、前記眼鏡フレームの前記３Ｄモデル内の顕著点を識別するステップ及び／又は前記眼鏡フレームの前記３Ｄモデル内の顕著点を分類するステップを含むことを特徴とする、請求項１又は２に記載の方法。
【請求項4】
前記方法は、前記識別された顕著点に基づく座標変換を、
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つに適用することをさらに含むことを特徴とする、請求項３に記載の方法。
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つに適用することをさらに含むことを特徴とする、請求項３に記載の方法。
【請求項5】
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
精密仮想位置決めの前の、頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、前記フレームメタデータを提供する方法は、前記眼鏡フレームの前記３Ｄモデル内の顕著点を識別するステップ及び／又は前記眼鏡フレームの前記３Ｄモデル内の顕著点を分類するステップを含み、
前記顕著点は、いわゆる３Ｄ特徴記述子において定義される特定の所定の特性を有する点であり、
顕著点を分類するステップは、関係のある、及び関係のない点に分類するステップを含み、
関係のある点は、メタデータを表すために使用される点であり、
関係のない点は、メタデータを表さないか、又はメタデータを表す場合は冗長である点であり、
前記頭部の主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする方法。
精密仮想位置決めの前の、頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、前記フレームメタデータを提供する方法は、前記眼鏡フレームの前記３Ｄモデル内の顕著点を識別するステップ及び／又は前記眼鏡フレームの前記３Ｄモデル内の顕著点を分類するステップを含み、
前記顕著点は、いわゆる３Ｄ特徴記述子において定義される特定の所定の特性を有する点であり、
顕著点を分類するステップは、関係のある、及び関係のない点に分類するステップを含み、
関係のある点は、メタデータを表すために使用される点であり、
関係のない点は、メタデータを表さないか、又はメタデータを表す場合は冗長である点であり、
前記頭部の主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする方法。
【請求項6】
前記方法は、前記識別された顕著点に基づく座標変換の、
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項５に記載の方法。
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項５に記載の方法。
【請求項7】
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算される
ことを特徴とする、請求項５又は６に記載の方法。
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算される
ことを特徴とする、請求項５又は６に記載の方法。
【請求項8】
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
頭部の３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく眼鏡フレームの精密仮想位置決めと、
前記精密位置決めの前の、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく前記頭部上での前記眼鏡フレームの大まかな仮想位置決めと、
を含み、
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは、前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算され、
前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への前記分割は、前記３Ｄモデルの頂点又はボクセルを細分する空間内のそれぞれの断面によって行われ、前記それぞれの断面は、それぞれの基準点ｐ及び、空間内の前記それぞれの断面に垂直なそれぞれの法線ベクトルｎにより画定され、前記眼鏡フレームの前記３Ｄモデルの前記分割は、
−前記眼鏡フレームの前記３Ｄモデルのある頂点又はボクセルと前記それぞれの法線ベクトルｎとのスカラ乗積と、
−前記それぞれの基準点ｐと前記法線ベクトルｎとのスカラ乗積
との比較に基づいて行われることを特徴とする方法。
頭部の３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく眼鏡フレームの精密仮想位置決めと、
前記精密位置決めの前の、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び前記眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく前記頭部上での前記眼鏡フレームの大まかな仮想位置決めと、
を含み、
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは、前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算され、
前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への前記分割は、前記３Ｄモデルの頂点又はボクセルを細分する空間内のそれぞれの断面によって行われ、前記それぞれの断面は、それぞれの基準点ｐ及び、空間内の前記それぞれの断面に垂直なそれぞれの法線ベクトルｎにより画定され、前記眼鏡フレームの前記３Ｄモデルの前記分割は、
−前記眼鏡フレームの前記３Ｄモデルのある頂点又はボクセルと前記それぞれの法線ベクトルｎとのスカラ乗積と、
−前記それぞれの基準点ｐと前記法線ベクトルｎとのスカラ乗積
との比較に基づいて行われることを特徴とする方法。
【請求項9】
ｖは前記眼鏡フレームの前記３Ｄモデルの前記頂点又はボクセルを示し、＜ｖ，ｎ＞は、前記眼鏡フレームの前記３Ｄモデルの前記頂点又はボクセルｖとそれぞれの法線ベクトルｎのスカラ乗積を示し、＜ｐ，ｎ＞は前記それぞれの基準点ｐと前記法線ベクトルｎのスカラ乗積を示し、
前記頂点又はボクセルｖは、＜ｖ，ｎ＞≦＜ｐ，ｎ＞が満たされたとき、前記断面の第一の側に位置し、
前記頂点又はボクセルｖは、＜ｖ，ｎ＞＞＜ｐ，ｎ＞が満たされたとき、前記断面の第二の側に位置する
請求項８に記載のコンピュータ実装方法。
前記頂点又はボクセルｖは、＜ｖ，ｎ＞≦＜ｐ，ｎ＞が満たされたとき、前記断面の第一の側に位置し、
前記頂点又はボクセルｖは、＜ｖ，ｎ＞＞＜ｐ，ｎ＞が満たされたとき、前記断面の第二の側に位置する
請求項８に記載のコンピュータ実装方法。
【請求項10】
空間内の前記それぞれの断面の１つの少なくとも１つの基準点ｐは蝶番軸点である、請求項８又は９に記載の方法。
【請求項11】
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
頭部上での前記眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
その後の、前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
前記頭部メタデータは前記頭部の耳のための静止領域を含み、この領域は前記つる部に基づいて計算され、
前記頭部の前記耳に関する前記計算された静止領域の少なくとも１つの静止領域は、前記つる部の少なくとも１つの眼鏡つるについてある方法により特定され、前記方法は、
−前記眼鏡つるの提供される耳静止領域の始点ａと終点ｂを前記眼鏡つるから特定するステップと、
−潜在的な耳静止領域を、前記潜在的な耳静止領域を画定する平面のｚ成分により特定するステップであって、次式：
α＜（ｖｚ−ａｚ）／ｌｚ＜β
（式中、αとβは所定の値であり、αは０．３〜０．６の間にあり、βは０．６〜０．９の間にあり、ａｚは前記点ａのｚ成分であり、ｌｚは前記ｚ方向への前記眼鏡つるの長さであり、ｖｚは前記３Ｄモデルの頂点又はボクセルのｚ成分である）が適用されるステップと、
−前記潜在的な耳静止領域から前記静止領域を、漸増的に変位する窓を用いる計算によって特定するステップであって、前記窓内にある前記潜在的な静止領域の頂点又はボクセルの集合は前記窓の各位置について確認され、方向ベクトルｄのスカラ乗積ｓ＝＜ｖ，ｄ＞が前記頂点又はボクセルの集合の各々について形成され、ｖは前記頂点又はボクセルの集合からの前記それぞれの頂点又はボクセルの座標を特定し、ｄは前記それぞれの眼鏡つる部に関する正規化された固定ベクトルであり、スカラ乗積ｓが最大の前記頂点又は前記ボクセル
が前記それぞれの窓について選択されるステップと、
−前記少なくとも１つの静止領域を、静止点の集合として、又は静止曲線として提供するステップであって、前記静止点の集合又は静止曲線は選択された前記頂点又はボクセル
を含むステップと、
を含むことを特徴とする方法。
頭部上での前記眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく大まかな仮想位置決めと、
その後の、前記頭部の前記３Ｄモデル（３０、３１）及び前記眼鏡フレームの前記３Ｄモデル（４０）に基づく前記眼鏡フレームの精密仮想位置決めと、
を含み、
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
前記頭部メタデータは前記頭部の耳のための静止領域を含み、この領域は前記つる部に基づいて計算され、
前記頭部の前記耳に関する前記計算された静止領域の少なくとも１つの静止領域は、前記つる部の少なくとも１つの眼鏡つるについてある方法により特定され、前記方法は、
−前記眼鏡つるの提供される耳静止領域の始点ａと終点ｂを前記眼鏡つるから特定するステップと、
−潜在的な耳静止領域を、前記潜在的な耳静止領域を画定する平面のｚ成分により特定するステップであって、次式：
α＜（ｖｚ−ａｚ）／ｌｚ＜β
（式中、αとβは所定の値であり、αは０．３〜０．６の間にあり、βは０．６〜０．９の間にあり、ａｚは前記点ａのｚ成分であり、ｌｚは前記ｚ方向への前記眼鏡つるの長さであり、ｖｚは前記３Ｄモデルの頂点又はボクセルのｚ成分である）が適用されるステップと、
−前記潜在的な耳静止領域から前記静止領域を、漸増的に変位する窓を用いる計算によって特定するステップであって、前記窓内にある前記潜在的な静止領域の頂点又はボクセルの集合は前記窓の各位置について確認され、方向ベクトルｄのスカラ乗積ｓ＝＜ｖ，ｄ＞が前記頂点又はボクセルの集合の各々について形成され、ｖは前記頂点又はボクセルの集合からの前記それぞれの頂点又はボクセルの座標を特定し、ｄは前記それぞれの眼鏡つる部に関する正規化された固定ベクトルであり、スカラ乗積ｓが最大の前記頂点又は前記ボクセル
【数1】
が前記それぞれの窓について選択されるステップと、
−前記少なくとも１つの静止領域を、静止点の集合として、又は静止曲線として提供するステップであって、前記静止点の集合又は静止曲線は選択された前記頂点又はボクセル
【数2】
を含むステップと、
を含むことを特徴とする方法。
【請求項12】
前記頭部の主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする、請求項８〜１１の何れか１項に記載の方法。
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする、請求項８〜１１の何れか１項に記載の方法。
【請求項13】
前記フレームメタデータを提供する前記方法は、前記眼鏡フレームの前記３Ｄモデル内の顕著点を識別するステップ及び／又は前記眼鏡フレームの前記３Ｄモデル内の顕著点を分類するステップを含み、
前記顕著点は、いわゆる３Ｄ特徴記述子において定義される特定の所定の特性を有する点であり、
関係のある点は、メタデータを表すために使用される点であり、
関係のない点は、メタデータを表さないか、又はメタデータを表す場合は冗長である点である
ことを特徴とする、請求項８〜１２の何れか１項に記載の方法。
前記顕著点は、いわゆる３Ｄ特徴記述子において定義される特定の所定の特性を有する点であり、
関係のある点は、メタデータを表すために使用される点であり、
関係のない点は、メタデータを表さないか、又はメタデータを表す場合は冗長である点である
ことを特徴とする、請求項８〜１２の何れか１項に記載の方法。
【請求項14】
前記方法は、前記識別された顕著点に基づく座標変換の、
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項１３に記載の方法。
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項１３に記載の方法。
【請求項15】
前記フレームメタデータは、前記眼鏡フレーム上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第一の静止情報項目を含み、及び／又は前記頭部メタデータは、前記頭部の上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第二の静止情報項目を含むことを特徴とする、請求項１〜１４の何れか１項に記載の方法。
【請求項16】
前記第一の静止情報項目は前記眼鏡フレームのノーズブリッジに関連する静止点を含み、前記第二の情報項目は前記頭部の前記３Ｄモデルの鼻梁に関連する設置点を含むことと、前記大まかな仮想位置決めは、前記フレームメタデータの前記静止点が前記頭部メタデータの前記設置点に対応させられる位置決めを含むことを特徴とする、請求項１５に記載の方法。
【請求項17】
前記頭部の鼻梁を特徴付ける情報項目を計算するステップと、前記鼻梁を特徴付ける前記情報項目に基づいて前記設置点を特定するステップであって、前記鼻梁を特徴付ける前記情報項目は３Ｄ曲線であるステップと、を特徴とする、請求項１６に記載の方法。
【請求項18】
前記頭部の主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記３Ｄ曲線はパラメータ表現を有し、前記パラメータ表現は、前記ｙ方向の座標の関数として定義されることを特徴とする、請求項１７に記載の方法。
【請求項19】
眼鏡の仮想フィッティングのためのコンピュータ実装方法において、
頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく仮想位置決めを含み、前記フレームメタデータは、前記眼鏡フレーム上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第一の静止情報項目を含み、前記頭部メタデータは、前記頭部の上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第二の静止情報項目を含み、前記第二の静止情報項目は、前記頭部の前記３Ｄモデルの鼻梁に関連する設置点を含み、
前記鼻梁の前記鼻梁領域は３Ｄ曲線として提供され、前記設置点は前記３Ｄ曲線に基づいて特定されることを特徴とする方法。
頭部上での眼鏡フレームの、前記頭部の３Ｄモデル（３０、３１）のための頭部メタデータ及び眼鏡フレームの３Ｄモデルのためのフレームメタデータに基づく仮想位置決めを含み、前記フレームメタデータは、前記眼鏡フレーム上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第一の静止情報項目を含み、前記頭部メタデータは、前記頭部の上の、前記眼鏡フレームが前記頭部上で静止する１つ又は複数の場所を画定する第二の静止情報項目を含み、前記第二の静止情報項目は、前記頭部の前記３Ｄモデルの鼻梁に関連する設置点を含み、
前記鼻梁の前記鼻梁領域は３Ｄ曲線として提供され、前記設置点は前記３Ｄ曲線に基づいて特定されることを特徴とする方法。
【請求項20】
前記第一の静止情報項目は、前記眼鏡フレームのノーズブリッジに関連する静止点を含む、請求項１９に記載の方法。
【請求項21】
前記仮想位置決めは、精密仮想位置決めと、前記精密仮想位置決めの前の大まかな仮想位置決めを含み、
前記精密仮想位置決めは、前記頭部の前記３Ｄモデル及び前記眼鏡フレームの前記３Ｄモデルに基づき、
前記大まかな仮想位置決めは、前記フレームメタデータの前記静止点が前記頭部メタデータの前記設置点に対応させられる位置決めを含む、
請求項２０に記載の方法。
前記精密仮想位置決めは、前記頭部の前記３Ｄモデル及び前記眼鏡フレームの前記３Ｄモデルに基づき、
前記大まかな仮想位置決めは、前記フレームメタデータの前記静止点が前記頭部メタデータの前記設置点に対応させられる位置決めを含む、
請求項２０に記載の方法。
【請求項22】
前記設置点は前記３Ｄ曲線に基づいて特定され、前記頭部の主固視方向における前記頭部の眼の瞳孔中心間の接続線に対応する水平方向が、前記頭部が直立状態に保たれるときにｘ方向と定義され、前記頭部が直立状態に保たれるときの垂直方向がｙ方向と定義され、前記ｘ方向及び前記ｙ方向に垂直な方向がｚ方向と定義される場合、前記３Ｄ曲線はパラメータ表現を有し、前記パラメータ表現は、前記ｙ方向の座標の関数として定義される、請求項２１に記載の方法。
【請求項23】
前記精密仮想位置決め中に、
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする、請求項２２に記載の方法。
前記眼鏡フレームの、前記ｚ方向に垂直な第一の距離の第一の変位があり、
前記眼鏡フレームの、前記ｚ方向に沿った第二の距離の第二の変位があり、
前記第二の距離は前記第一の距離の１０％以下である
ことを特徴とする、請求項２２に記載の方法。
【請求項24】
前記フレームメタデータを提供する前記方法は、前記眼鏡フレームの前記３Ｄモデル内の顕著点を識別するステップ及び／又は前記眼鏡フレームの前記３Ｄモデル内の顕著点を分類するステップを含み、
前記顕著点は、いわゆる３Ｄ特徴記述子において定義される特定の所定の特性を有する点であり、
関係のある点は、メタデータを表すために使用される点であり、
関係のない点は、メタデータを表さないか、又はメタデータを表す場合は冗長である点である
ことを特徴とする、請求項１９〜２３の何れか１項に記載の方法。
前記顕著点は、いわゆる３Ｄ特徴記述子において定義される特定の所定の特性を有する点であり、
関係のある点は、メタデータを表すために使用される点であり、
関係のない点は、メタデータを表さないか、又はメタデータを表す場合は冗長である点である
ことを特徴とする、請求項１９〜２３の何れか１項に記載の方法。
【請求項25】
前記方法は、前記識別された顕著点に基づく座標変換の、
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項２４に記載の方法。
−前記眼鏡フレームの前記３Ｄモデル、
−前記識別された顕著点、
−前記フレームメタデータ
の群の少なくとも１つへの適用をさらに含むことを特徴とする、請求項２４に記載の方法。
【請求項26】
前記フレームメタデータの前記提供は、前記眼鏡フレームの前記３Ｄモデルの前記眼鏡フレームの構成要素への分割を含み、前記構成要素は好ましくは、
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは、前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算されることを特徴とする、請求項１９〜２５の何れか１項に記載の方法。
−つる部、
−つる部以外の前記眼鏡フレームの残りの部分
の群の少なくとも１つの構成要素を含み、
及び／又は
前記頭部メタデータは、前記頭部の耳に関する静止領域を含み、この領域は前記つる部に基づいて計算されることを特徴とする、請求項１９〜２５の何れか１項に記載の方法。
【請求項27】
前記方法は、
−前記フレームメタデータ及び／又は前記頭部メタデータの少なくとも一部分を自動的に特定する、及び
−前記フレームメタデータ及び／又は前記頭部メタデータの少なくとも一部分を手作業で特定する
の群からの少なくとも１つのプロセスを含むことを特徴とする、請求項１〜２６の何れか１項に記載の方法。
−前記フレームメタデータ及び／又は前記頭部メタデータの少なくとも一部分を自動的に特定する、及び
−前記フレームメタデータ及び／又は前記頭部メタデータの少なくとも一部分を手作業で特定する
の群からの少なくとも１つのプロセスを含むことを特徴とする、請求項１〜２６の何れか１項に記載の方法。
【請求項28】
前記自動特定は機械学習を含むことを特徴とする、請求項２７に記載の方法。
【請求項29】
前記フレームメタデータは、前記眼鏡フレームの柔軟性に関する曲げ情報項目を含むことと、前記仮想位置決めは前記柔軟性に関する前記情報項目に基づく前記眼鏡フレームの曲げを含むことを特徴とする、請求項１〜２８の何れか１項に記載の方法。
【請求項30】
前記方法は、前記表示に後に前記鼻の上の前記眼鏡フレームの前記位置を変化させるステップを含み、前記鼻の上の前記眼鏡フレームの変更後の位置は前記頭部メタデータの新しい設置点として記憶されることを特徴とする、請求項１〜１９の何れか１項に記載の方法。
【請求項31】
前記方法は、画像記録に基づいて前記頭部の前記３Ｄモデルを特定するステップと、前記画像が記録されたときの周囲照明を特定するステップをさらに含むことと、その上に前記フレームが位置決めされた前記頭部の前記表示は、前記捕捉された周囲照明に基づく仮想照明との画像合成を含むことを特徴とする、請求項１〜３０の何れか１項に記載の方法。
【請求項32】
プロセッサにより実行されたときに、請求項１〜３１の何れか１項による前記方法を実行するプログラムコードを含むコンピュータプログラム。
【請求項33】
眼鏡の仮想フィッティングのための装置において、
プロセッサと、
ディスプレイと、
を含み、
前記プロセッサ上で実行される第３２項に記載のコンピュータプログラムを特徴とする装置。
プロセッサと、
ディスプレイと、
を含み、
前記プロセッサ上で実行される第３２項に記載のコンピュータプログラムを特徴とする装置。
【国際調査報告】