IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カール ツァイス ヴィジョン インターナショナル ゲーエムベーハーの特許一覧

特許7097917眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-30
(45)【発行日】2022-07-08
(54)【発明の名称】眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム
(51)【国際特許分類】
   G02C 13/00 20060101AFI20220701BHJP
   G02C 5/00 20060101ALI20220701BHJP
   G06T 19/20 20110101ALI20220701BHJP
【FI】
G02C13/00
G02C5/00
G06T19/20
【請求項の数】 26
(21)【出願番号】P 2019572165
(86)(22)【出願日】2018-07-05
(65)【公表番号】
(43)【公表日】2020-08-27
(86)【国際出願番号】 EP2018068222
(87)【国際公開番号】W WO2019008087
(87)【国際公開日】2019-01-10
【審査請求日】2020-02-27
【審判番号】
【審判請求日】2021-05-14
(31)【優先権主張番号】17180008.9
(32)【優先日】2017-07-06
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】507062222
【氏名又は名称】カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100185225
【弁理士】
【氏名又は名称】齋藤 恭一
(74)【代理人】
【識別番号】100205833
【弁理士】
【氏名又は名称】宮谷 昂佑
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100147692
【弁理士】
【氏名又は名称】下地 健一
(72)【発明者】
【氏名】オリバー シュワルツ
(72)【発明者】
【氏名】トビアス ブロイニンガー
【合議体】
【審判長】里村 利光
【審判官】小濱 健太
【審判官】関根 洋之
(56)【参考文献】
【文献】特表2016-537716(JP,A)
【文献】米国特許出願公開第2016/0327811(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02C 13/00
(57)【特許請求の範囲】
【請求項1】
眼鏡フレームの幾何学形状を決定する複数のパラメータを含むパラメトリックフレームモデルを人の頭の3Dモデルへ仮想適合化する工程を含む一対の眼鏡を適合化するコンピュータ実施方法であって、前記仮想適合化は:
パラメトリックフレームモデルに固有であって、前記眼鏡フレームの製造業者により予め定められ、且つどのように前記眼鏡フレームが眼、瞳、眉毛、又は鼻を含む顔特徴に対して位置決めされるべきかに関する適合化ガイドラインを満足するように前記パラメトリックフレームモデルを前記頭の前記3Dモデルへ適合化する第1の適合化手順であって、前記適合化ガイドラインは前記眼鏡フレームの特徴と前記人の前記頭の特徴との間の距離の目的値及び/又は目的範囲を含み、前記眼鏡フレームの特徴及び前記人の前記頭の特徴の少なくとも何れかは補助的特徴yHを含み、前記補助的特徴yHは(yUK-(yUN-0.5×yG))/0.5×yGに等しく、前記yUKは前記人の顎の下縁であり、前記yUNは前記人の鼻の下縁であり、前記yGは前記人の顔の幅である、第1の適合化手順と、
前記パラメトリックフレームモデルを解剖学的適合化のために前記頭の前記3Dモデルへ適合化する第2の適合化手順であって、前記第1の適合化手順により決定された前記距離が前記目標値及び/又は前記目的範囲に留まるように適合化される、第2の適合化手順を含むことを特徴とする、方法。
【請求項2】
前記目的値及び/又は前記目的範囲は異なる眼鏡フレームに関して異なることを特徴とする請求項1の方法。
【請求項3】
前記適合化ガイドライン及び/又は前記パラメトリックフレームモデルの所定フォーマットへの変換により特徴付けられる請求項1又は2のいずれかの方法。
【請求項4】
1組のパラメータは前記第1の適合化手順において判断され、前記第1組とは異なる第2組のパラメータが前記第2の適合化手順において判断されることを特徴とする請求項1乃至3のいずれか一項に記載の方法。
【請求項5】
前記第1組のパラメータは、前記眼鏡フレームのスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含むことを特徴とする請求項4に記載の方法。
【請求項6】
眼鏡フレームの幾何学形状を決定する複数のパラメータを含むパラメトリックフレームモデルを人の頭の3Dモデルへ仮想適合化する工程を含む一対の眼鏡を適合化するコンピュータ実施方法であって、前記仮想適合化は:
パラメトリックフレームモデルに固有であって、前記眼鏡フレームの製造業者により予め定められ、且つどのように前記眼鏡フレームが眼、瞳、眉毛、又は鼻を含む顔特徴に対して位置決めされるべきかに関する適合化ガイドラインを満足するように前記パラメトリックフレームモデルを前記頭の前記3Dモデルへ適合化する第1の適合化手順であって、第1組のパラメータが前記第1の適合化手順において判断され、前記第1組のパラメータは前記眼鏡フレームのスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含み、前記適合化ガイドラインは前記眼鏡フレームの特徴と前記人の前記頭の特徴との間の距離の目的値及び/又は目的範囲を含み、前記眼鏡フレームの特徴及び前記人の前記頭の特徴の少なくとも何れかは補助的特徴yHを含み、前記補助的特徴yHは(yUK-(yUN-0.5×yG))/0.5×yGに等しく、前記yUKは前記人の顎の下縁であり、前記yUNは前記人の鼻の下縁であり、前記yGは前記人の顔の幅である、第1の適合化手順と、
前記パラメトリックフレームモデルを解剖学的適合化のために前記頭の前記3Dモデルへ適合化する第2の適合化手順であって、前記第1組とは異なる第2組のパラメータが前記第2の適合化手順において判断される第2の適合化手順と、を含むことを特徴とする、方法。
【請求項7】
前記目的値及び/又は目的範囲は異なる眼鏡フレームに関して異なることを特徴とする請求項6に記載の方法。
【請求項8】
前記パラメトリックフレームモデルに固有の前記適合化ガイドラインを読み込む工程をさらに含む請求項1乃至7のいずれか一項に記載の方法。
【請求項9】
前記適合化ガイドラインは前記眼鏡フレームの特徴から導出される特徴の仕様及び/又は前記頭の特徴を含む、ことを特徴とする請求項1乃至8のいずれか一項に記載の方法。
【請求項10】
前記第1の適合化手順は構文ツリーの使用を含むことを特徴とする請求項1乃至9のいずれか一項に記載の方法。
【請求項11】
前記第1の適合化手順は前記適合化ガイドラインの目的値の偏差に基づく及び/又は目的範囲が超過された場合のペナルティ項に基づく目的関数における最適化処理を含む、ことを特徴とする請求項1乃至10のいずれか一項に記載の方法。
【請求項12】
前記第1の適合化手順は最適化ループの通しの繰り返しを含むことを特徴とする請求項1乃至11のいずれか一項に記載の方法。
【請求項13】
前記第1の適合化手順は眼鏡レンズの重量が考慮されることを含むことを特徴とする請求項1乃至12のいずれか一項に記載の方法。
【請求項14】
前記パラメトリックフレームモデル及び/又は前記適合化ガイドラインは暗号化形式で存在することを特徴とする請求項1乃至13のいずれか一項に記載の方法。
【請求項15】
前記仮想適合化の品質尺度の計算をさらに含む請求項1乃至14のいずれか一項に記載の方法。
【請求項16】
プログラムコードがプロセッサ上で実行されると請求項1乃至15のいずれか一項に記載の方法が行われるようにする前記プログラムコードを含むコンピュータプログラム。
【請求項17】
コンピュータによりコンピュータプログラムが実行されると前記コンピュータに請求項1乃至15のいずれか一項に記載の方法を行わせる指示を含む前記コンピュータプログラム。
【請求項18】
コンピュータにより実行されると前記コンピュータに請求項1乃至15のいずれか一項に記載の方法を行わせる指示を含むコンピュータ可読記憶媒体。
【請求項19】
請求項16と請求項17のいずれかに記載のコンピュータプログラムが格納されるコンピュータ可読データ媒体。
【請求項20】
請求項16と請求項17のいずれかに記載のコンピュータプログラムを伝送するデータ媒体信号。
【請求項21】
一対の眼鏡を仮想適合化するための装置であって、プロセッサと、請求項16又は17に記載のコンピュータプログラムが前記プロセッサ上で実行される目的のために格納されるメモリとを含む装置。
【請求項22】
請求項1乃至15のいずれか一項に記載の方法を行う手段を含むデータ処理のための装置。
【請求項23】
請求項1乃至15のいずれか一項に記載の方法を行うように構成されたプロセッサを含むデータ処理のための装置。
【請求項24】
眼鏡フレームの幾何学形状を決定する複数のパラメータを含むパラメトリックフレームモデルを人の頭の3Dモデルへ仮想適合化する手段を含むデータ処理のための装置であって、前記仮想適合化する手段は:
パラメトリックフレームモデルに固有であって、前記眼鏡フレームの製造業者により予め定められ、且つどのように前記眼鏡フレームが眼、瞳、眉毛、又は鼻を含む顔特徴に対して位置決めされるべきかに関する適合化ガイドラインを満足するように前記パラメトリックフレームモデルを前記頭の前記3Dモデルへ適合化する第1の適合化手順を行う手段であって、前記適合化ガイドラインは前記眼鏡フレームの特徴と前記人の前記頭の特徴との間の距離の目的値及び/又は目的範囲を含み、前記眼鏡フレームの特徴及び前記人の前記頭の特徴の少なくとも何れかは補助的特徴yHを含み、前記補助的特徴yHは(yUK-(yUN-0.5×yG))/0.5×yGに等しく、前記yUKは前記人の顎の下縁であり、前記yUNは前記人の鼻の下縁であり、前記yGは前記人の顔の幅である、手段と、
前記パラメトリックフレームモデルを解剖学的適合化のために前記頭の前記3Dモデルへ適合化する第2の適合化手順であって、前記第1の適合化手順により決定された前記距離が前記目標値及び/又は前記目的範囲に留まるように適合化される、第2の適合化手順を実行する手段を含むことを特徴とする、装置。
【請求項25】
眼鏡フレームの幾何学形状を決定する複数のパラメータを含むパラメトリックフレームモデルを人の頭の3Dモデルへ仮想適合化する手段を含むデータ処理のための装置であって、
前記仮想適合化する手段は:
パラメトリックフレームモデルに固有であって、前記眼鏡フレームの製造業者により予め定められ、且つどのように前記眼鏡フレームが眼、瞳、眉毛、又は鼻を含む顔特徴に対して位置決めされるべきかに関する適合化ガイドラインを満足するように前記パラメトリックフレームモデルを前記頭の前記3Dモデルへ適合化する第1の適合化手順であって、第1組のパラメータが前記第1の適合化手順において判断され、前記第1組のパラメータは前記眼鏡フレームのスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含み、前記適合化ガイドラインは前記眼鏡フレームの特徴と前記人の前記頭の特徴との間の距離の目的値及び/又は目的範囲を含み、前記眼鏡フレームの特徴及び前記人の前記頭の特徴の少なくとも何れかは補助的特徴yHを含み、前記補助的特徴yHは(yUK-(yUN-0.5×yG))/0.5×yGに等しく、前記yUKは前記人の顎の下縁であり、前記yUNは前記人の鼻の下縁であり、前記yGは前記人の顔の幅である、第1の適合化手順を行う手段と、
前記パラメトリックフレームモデルを解剖学的適合化のために前記頭の前記3Dモデルへ適合化する第2の適合化手順であって、前記第1組とは異なる第2組のパラメータが前記第2の適合化手順において判断される第2の適合化手順を行う手段と、を含むことを特徴とする、装置。
【請求項26】
請求項1乃至15のいずれか一項に記載の方法を行う工程と、眼鏡フレームの前記適合化されたモデルに基づき前記眼鏡フレームを製造する工程とを含む眼鏡フレームを製造する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラムに関する。
【背景技術】
【0002】
ここで、DIN ESO 77998:2006-01及びDIN ESO 8624:2015-12に準じて、眼鏡フレームは、これにより眼鏡レンズが頭上に装着され得るフレーム又はホルダーを意味するように理解されるべきである。特に、本明細書で使用される用語はまた、リム無し眼鏡フレームを含む。口語的には、眼鏡フレームはフレームとも呼ばれる。本出願の範囲内で、眼鏡フレームの仮想装着は、通常はディスプレイ(例えばコンピュータモニタ)上での眼鏡フレームの人の頭への適合化のグラフィック表現に関連するコンピュータデバイス上で眼鏡フレームのモデルを頭のモデルへ適合化することを表す。
【0003】
頭上の眼鏡フレームの仮想装着は例えば米国特許出願公開第2003/0123026A1号明細書又は米国特許出願公開第2002/015530A1号明細書から知られている。これらの文献では、眼鏡フレームの仮想装着は主に、ユーザの頭が眼鏡フレームと共に表示されるグラフィック表現のおかげでユーザが様々な眼鏡フレームの中から選ぶのを支援する役目を果たす。
【0004】
米国特許第9,286,715B2号明細書もまた一対の眼鏡の仮想試装着のための方法を開示する。ここでは、複数の点が眼鏡フレーム上と頭上との両方で定義される。眼鏡フレームは、眼鏡フレーム上で選択された点が頭上で選択された点と対応付けられるおかげで頭上に配置される。位置は選択される点を変更することにより変更される。これは、視覚印象を提供する目的のための仮想試装着を得る米国特許第9,286,715B2号明細書の目的に十分な精度での位置決めを容易にする。同様に、米国特許出願公開第2005/162419A号明細書は特徴点の助けを借りた眼鏡フレームの仮想装着について説明する。この文献では、フレームは、当初スケーリングされ、次に様々な方向に配置される。最後に、眼鏡フレームの耳当てが2つの空間軸を中心として回転される。
【0005】
Volumentalは、2017年3月5日時点で「Vacker」ソフトウェアのデモ映像をhttps://www.volumental.com/face-scanning/において利用可能にしており、ここでは、装着された一対の眼鏡を有する頭が提示され、一対の眼鏡のパラメータがスライダ(例えば鼻梁上の一対の眼鏡の台座)により修正可能である又はそうでなければそり角などの他のパラメータが修正可能である。眼鏡フレームの色又は眼鏡フレームの蝶番の色もまた選択され得る。次に、選択されたパラメータが出力される。この映像では、眼鏡フレームのパラメトリックモデルの様々なパラメータも適応化される。
【0006】
一対の眼鏡を仮想的に適合化するための別のシステムが米国特許出願公開第2015/0055085A1号明細書から知られている。ここでは、一対の眼鏡が、適応化される人の頭上の眼鏡のサイズ及び適合化のおかげで自動的に適合化される。さらに、眼鏡の形式、スタイル及び色が選択され得る。
【0007】
一対の適合化された眼鏡(すなわち人の頭へ自動的に適合化された一対の眼鏡)を構築する方法及び装置は独国特許出願公開第102016824A1号明細書からのものである。この方法では、頭画像データが2又は3次元で記録され、一対の見本眼鏡が選択され、この一対の見本眼鏡は一対の見本眼鏡の構築パラメータに基づき表される。構築パラメータは頭画像データに基づき判断される。
【0008】
米国特許出願公開第2015/0277155A1号明細書は眼鏡フレームのフレームの個人化を開示し、この範囲内では、距離が人の顔上で測定され、眼鏡フレームはこの測定された距離に基づく3D印刷により生成される。
【0009】
米国特許出願公開第2013/0088490A1号明細書は、一対の眼鏡を適合化する反復方法を開示する。ここでは、眼鏡フレームはいくつかの小さな段階を経て置かれ、適合化は衝突検出に基づき実施される。衝突検出では、眼鏡フレームが人の頭と重なるかどうかに関してのチェックが行われる。
【0010】
米国特許出願公開第2015/0293382A1号明細書は装着された例示的フレームを有する人を記録することによる一対の眼鏡の仮想試装着のためのパラメータの判断を開示する。この例示的フレームにより判断されるパラメータは仮想フレームの仮想試装着に応じて修正される。人は記録中に眼鏡フレームを既に装着しているので、眼鏡フレームの無い頭のいかなる3次元モデルもこの場合使用されない。
【0011】
記事“Virtual Try-On of Eyeglasses using 3D-Model of the Head”,Institute for Infocomm Research,December 2011,DOI:10.1145/2087756.2087838において、Niswar、Kahn及びFarbizは一対の眼鏡を仮想的に試装着する方法について説明している。これは4つの基準点(2点は耳上に存在し、2点は鼻上に存在する)に基づく。ここでは、頭の3Dモデルが、2~3個の特徴点に基づき頭の汎用モデルを変形することにより適応化される。
【0012】
米国特許出願公開第2016/0327811A1号明細書は請求項1に記載の前文による方法について説明している。この方法はフレームの仮想モデルから進む。フレームは変形により頭へ適合化される。眼鏡フレームを適合化する目的のために、以下の適合化判断基準がここでは実施され得る:例えば、鼻パッドと人の鼻との間の接触領域の最大化、眼鏡耳当ての接触領域の最大化、眼に対する眼鏡フレームのフレームリムの心取り、眼鏡フレームのアラインメント又は、フレームリムと人の頬骨と人の眉毛との接触領域の最小化。
【0013】
目標値を設定することが、これらの判断基準に対する可能な拡張として規定される。一例として、このような目標値は、眼鏡フレームの2つの眼鏡耳当て間の距離、フレームの「装用時」前傾角、フレームのパッド間の距離、眼鏡リムからの眼の距離、眉毛及び頬骨からの眼鏡リムの距離、眼鏡フレームの「装用時」前傾角、又は眼鏡フレームのそり角に関連し得る。これらのパラメータ及び目標値は費用関数に含まれ、最適化は従来の最適化処理(例えばLevenberg-Marquardtアルゴリズム)により行われる。次に、フレームはさらに変形され得る。
【0014】
この処理における問題は「グローバル最適条件は、Levenberg-Marquardtアルゴリズムなどの最適化方法が通常は費用関数の局所最小値だけを発見し得るのでこのような最適化処理を使用することにより必ずしも達成される必要がない」ということである。眼鏡フレーム又は頭のために採用された3Dモデルにおける表面のうねりの場合、最適化は最適条件からかけ離れたこのような表面うねり内で「行き詰まり」得、したがって最適適合化は実現されない。
【0015】
さらに、このような最適化方法による最適化は多くのパラメータが使用されれば高いコンピュータ費用を必要とする。これは、比較的多くのパラメータが最適化されなければならないパラメトリックフレームモデルの使用をより困難にする。
【0016】
一般的に、この文献に記載された方法だけでなく他の前述の文献に記載された方法における問題は、製造業者が眼鏡フレームを適合化するためのいくつかの適合化ガイドラインをしばしば規定することである。前記ガイドラインは眼鏡の適合化のための美的判断基準(例えば眼又は眉毛などの顔特徴に対するフレームリムの位置決め)を主に定義する。それぞれの眼鏡フレームへ割り当てられる適合化ガイドラインを考慮することは上述の手法においては容易に可能ではない。他方で、これらのフレーム関連適合化ガイドラインは、頭上の眼鏡フレームの求められている適合化がそれぞれの眼鏡フレーム毎に得られるということを保証する。
【0017】
米国特許出願公開第2016/0327811A1号明細書のように、国際公開第2016/164859A1号パンフレットは「眼鏡類」(特に眼鏡フレーム)を人の頭の3Dモデルへ適合化するコンピュータ実施方法について記載している。ここでは、眼鏡フレームのパラメトリックモデルのパラメータは、頭への解剖学的適合化の目的のためにすべての眼鏡フレームへ適用する一般的判断基準に従って修正される。
【発明の概要】
【発明が解決しようとする課題】
【0018】
したがって、米国特許出願公開第2016/0327811A1号明細書又は米国特許出願公開第2016/0327811A1号明細書から進んで、本発明の目的は、人の頭への眼鏡フレームの仮想適合化のための方法及び装置であって、眼鏡フレームを頭へ特に美的態様の観点で適合化するこのようなフレーム固有適合化ガイドラインが容易に考慮され得る方法及び装置を提供することである。さらに、対応コンピュータプログラム及び対応装置が提供されるように意図されている。
【課題を解決するための手段】
【0019】
第1の態様によると、この目的は請求項1又は5に記載の方法及び請求項29又は30に記載の装置により達成される。
【0020】
第1の別の目的はこのような方法及び装置の自動化を容易にすることにある。第2の態様によると、この第1の別の目的は請求項15に記載の方法及び請求項31に記載の装置により達成される。
【0021】
第2の別の目的はこのような方法及び装置の柔軟性及び/又は精度を増加することにある。第3の態様によると、この第2の別の目的は請求項16に記載の方法及び請求項32に記載の装置により達成される。
【0022】
第3の別の目的は、様々な製造業者からの眼鏡フレームのためのこのような方法及び装置の使用を容易にすることにある。第4の態様によると、この第3の別の目的は請求項17に記載の方法及び請求項33に記載の装置により達成される。
【0023】
第4の別の目的はこのような方法及び装置の効率的実施を増加することにある。第5の態様によると、この第4の別の目的は請求項18に記載の方法及び請求項34に記載の装置により達成される。
【0024】
第5の別の目的はこのような方法及び装置の精度を増加することにある。第6の態様によると、この第5の別の目的は請求項19に記載の方法及び請求項35に記載の装置により達成される。
【0025】
第6の別の目的はこのような方法及び装置の安全性を増加することにある。第7の態様によると、この第6の別の目的は請求項20に記載の方法及び請求項36に記載の装置により達成される。
【0026】
従属請求項は別の例示的実施形態並びに別の装置及びコンピュータプログラム及びコンピュータ可読記憶媒体を定義する。
【0027】
本発明によると、眼鏡の仮想適合化のためのコンピュータ実施方法は様々な態様に従って提供され、前記方法は人の頭の3Dモデルへの眼鏡フレームのパラメトリックフレームモデルの仮想適合化を含む。本方法は、仮想適合化が以下の方法工程を含むということを特徴とする:パラメトリックフレームモデルに固有な適合化ガイドラインを満足するようにパラメトリックフレームモデルを頭の3Dモデルへ適合化する第1の手順、及び解剖学的適合化のためにパラメトリックフレームモデルを頭の3Dモデルへ適合化する第2の手順。
【0028】
適合化を第1の適合化手順と第2の適合化手順とに分割するおかげで、上に説明したように第1の適合化手順の範囲内の一般的やり方でフレーム製造業者により予め定められ得る特定適合化ガイドラインを考慮することが容易に可能である。次に、頭の形式への残りの解剖学的適合化は第2の適合化手順において企てられ得る。
【0029】
以下では、前述の方法と以下に説明される方法において使用される用語についてさらに説明する:
【0030】
適合化は、この処理がパーソナルコンピュータ(PC)などのコンピュータデバイス上で行われるので「仮想的」であり、実際の眼鏡フレームは実際の頭の上に置かれない。
【0031】
モデル(特に3Dモデル)は、記憶媒体(例えばコンピュータのメモリ又はデータ媒体)内でデータ記録として利用可能である現実物体の3次元表現を意味するものと理解されるべきである。一例として、このような3次元表現は一組の3D点(頂点とも呼ばれる)とこれらの点間の接続(縁とも呼ばれる)とからなる3Dメッシュあり得る。最も単純な場合、この接続は三角形メッシュを形成する。3Dメッシュとしてのこのような表現は物体の容積ではなく表面だけを記述する。メッシュは必ずしも閉じられる必要はない。したがって、頭が例えばメッシュの形式で記述されれば、頭はマスクのように見える。このような3Dモデルに関する詳細は、Rau J-Y,Yeh P-C,“A Semi-Automatic Image-Based Close Range 3D Modeling Pipeline Using a Multi-Camera Configuration.”Sensors(Basle,Switzerland).2012;12(8):11271-11293.doi:10.3390/s120811271;特に11289頁,図16)に見出される。
【0032】
ボクセルグリッド(容積型表現を表す)は3Dモデルを表すための別の選択肢である。ここでは、空間は小さい立方体又は直方体(ボクセルとも呼ばれる)に分割される。最も簡単な場合、表される物体の有無がボクセル毎に2進値(1又は0)の形式で格納される。1mmのボクセルの縁長さ及び300mm×300mm×300mmの容積(頭の典型的な容積を表す)の場合、合計2700万のこのようなボクセルが結果的に得られる。このようなボクセルグリッドは例えばM.Niessner,M.Zollhoefer,S.Izadi,及びM.Stamminger,“Real-time 3D reconstruction at scale using voxel hashing”.ACM Trans.Graph.32,6,Article 169(November 2013),DOI:https://doi.org/10.1145/2508363.2508374に記載されている。
【0033】
特に、頭の3Dモデル及び/又は眼鏡フレームの3Dモデルはテクスチャを有する3Dモデルであり得る。テクスチャを有する3Dモデルは、現実物体の表面点の色情報を追加的に含む3Dモデルを意味するものと理解される。テクスチャを有する3Dモデルの使用は頭及び眼鏡フレームの真の色表現を容易にする。
【0034】
ここでは、色情報が属性として(例えばRGB(赤緑青)色値として)頂点に直接含まれ得る、又は一対のテクスチャ座標が属性として各頂点へ添付される。このとき、これらの座標は追加テクスチャ画像内の画像座標(画素位置)であると理解されるべきである。このとき、三角形メッシュの前述の三角形のテクスチャは例えばテクスチャ画像の画素からの補間により生成される。
【0035】
ここでは、属性は通常、物体へ割り当てられる特徴、特性など(本ケースでは特定頂点)を表す(2017年7月5日時点のGerman Wikipedia article“Attribut(Objekt)”も参照)。
【0036】
パラメトリックモデルは1つ又は複数の可変パラメータを有する3Dモデルである。このとき、3Dモデルにより記述される物体(この場合眼鏡フレーム)の幾何学形状は、パラメータ又はパラメータ群を変更することにより変化する(例えばサイズ又は形式に関し)。このようなパラメータの例は、例えば眼鏡フレームの鼻梁幅又は耳当て長さ又はそうでなければ眼鏡フレームのフレームリムの形式を含む。これらのパラメータのタイプ及び数は、パラメトリックフレームモデルにより表される眼鏡フレームに依存する。特に、眼鏡フレームの製造業者はパラメータの値範囲を設定し得、このとき、パラメータの値範囲は製造されることができる眼鏡フレームをそれに応じて記述する。自由フレームパラメータはパラメトリックフレームモデルのパラメータ(本方法の範囲内で未だ設定されていないパラメータ、すなわち依然として適合化され判断される必要があるパラメータ)を意味するものと理解される。
【0037】
適合化ガイドラインは、どのように眼鏡フレームが眼、瞳、眉毛又は鼻などの頭上の領域又は点に対し位置決めされるべきかに関係する仕様である。パラメトリックフレームモデルに固有なこれらの適合化ガイドラインは、特に眼鏡フレームの製造業者により望まれる美的印象を保証するために使用される。フレーム固有適合化ガイドラインは、それぞれの製造業者により例えば適切なファイルとしてパラメトリックフレームモデルと共に電子的形式で提供され得る。ここで、「フレーム固有」は、適合化ガイドラインが眼鏡フレームモデル毎に別個に利用可能であるということを意味し、前記適合化ガイドラインはこの眼鏡フレームモデルの特定処方箋を提供する。
【0038】
対照的に、解剖学的適合化は、頭上の眼鏡フレームの正しい快適な適合化を保証するように意図された適合化に関係する。この点に関し、それぞれの眼鏡フレームに固有ではないが複数の異なる眼鏡フレームへ一般的に適用される判断基準が使用される。これらの判断基準は、上述の方法を行うために使用される装置の製造業者により予め定められ得る。これらの判断基準はまた、本方法を行う人(例えば眼鏡技師又はそうでなければ医師)により予め設定可能及び/又は調整可能であり得る。このような判断基準はまた、この場合は1つのフレームに特に関係するのではなく様々なタイプのフレームへ適用可能な判断基準により、フレーム製造業者により又はそうでなければ複数のフレーム製造業者が一緒になって予め定められ得る。このような判断基準の例は、耳上の眼鏡フレームの正しい適合化又は一対の眼鏡の鼻パッドの正しい適合化に関係する。解剖学的適合化はまた、頭の領域までの最小距離を保証すること(例えば眼鏡フレームのフレームリムと頬骨及び/又は頭の眉毛部との間の最小距離を保証すること及び/又はまつ毛までの最小距離を保証すること)を含み得る。解剖学的適合化の別の例は、眼鏡レンズと眼との間の意図された距離(すなわち頂点間距離(vertex distance:独語略称HSA))又はこの距離の意図された範囲の設定にある。頂点間距離は眼の角膜の前面と眼に面する眼鏡レンズの表面との間の距離である。一例として、解剖学的適合化は、意図された12mmの頂点間距離又は12mm~17mmの範囲の頂点間距離が遵守されることを保証し得る。この理由は、眼鏡レンズはまつ毛との接触を回避するとともにレンズ上の凝結(発汗)を回避するためには眼に対し余りに近くに置かれるべきでないということである。さらに、何人かの眼鏡技師は、球面円柱状屈折を測定するために使用されるフォロプタにおいて初期設定される頂点間距離からの頂点間距離の偏差を回避することを好む。比較的大きな頂点間距離は屈折力を正のジオプタ値の方向に修正するので、遠視の場合(すなわち所謂正レンズが必要とされる場合)には較的大きな頂点間距離が恐らく好ましいかもしれない。したがって、屈折測定の結果に基づく意図された頂点間距離が有利なやり方で使用され得る。
【0039】
適合化ガイドラインはこの場合テキスト形式で(例えば処理を簡単にするxml又はJSONファイルとして)利用可能なことが好ましい。
【0040】
適合化ガイドラインは、例えば非対称暗号法により暗号化され、(2017年6月8日時点の独語ウィキペディア記事“Asymmetrisches Kryptosystem”又は2017年6月8日時点の“Public-Key-Verschluesselungsverfahren”を参照)、したがって、署名することにより無断修正に対し保護され得、権限の無い人間は読み出しアクセスをすることが暗号化により防止され得る。ここでは、フレーム製造業者は、システム製造業者の公開鍵によりフレーム固有適合化ガイドラインを暗号化し、それ自身の鍵の助けを借りてそれに追加的に署名し得、その結果、フレーム製造業者は適合化ガイドラインの源及び完全性をシステム製造業者に対し可視にし得る。他方で、第1の製造業者のフレーム固有ガイドラインは第2のフレーム製造業者にとって可視ではない。
【0041】
本出願の範囲内で、「人」は、その頭が眼鏡フレームへ最終的に適合化されるべき人を表す。「ユーザ」は、眼鏡を適合化するための装置及び方法を操作し行う人を表す。これはその人自身でもよいが誰か他の人(例えば眼鏡技師)でもよい。
【0042】
好適には、本方法はさらに、パラメトリックフレームモデル及び/又は適合化ガイドラインの所定フォーマットへの変換を含む。特にパラメトリックフレームリムモデルは眼鏡フレーム製造業者により様々なフォーマットで(例えばそれぞれに採用されるCAD(コンピュータ支援設計:computer aided design)プログラムの専用フォーマットで)提供され得る。変換の結果として、その後の処理特に第1及び第2の適合化手順は、様々なフォーマットで元々利用可能だった様々な製造業者からのフレームモデル又は適合化ガイドラインに関して一様に行われ得る。
【0043】
一つの好ましい例示的実施形態では、パラメトリックフレームモデルは複数のパラメータを含む。このとき、第1組のパラメータは第1の適合化手順において判断され、残りの第2組のパラメータは第2の適合化手順において判断される。この結果、より少ない残りの自由パラメータが解剖学的適合化の第2の適合化手順において判断される必要があり、特に、従来の最適化アルゴリズムが使用される場合の最適条件の検出を単純化する。
【0044】
このようなパラメータは、特に、眼鏡フレームの幅、眼鏡フレームの鼻梁幅、眼鏡フレームの眼鏡フレームの前傾角(DIN EN ISO 8624:2015-12、頁12、A.14を参照)、眼鏡フレームの眼鏡耳当ての耳当て長さ、眼鏡フレームの鼻パッドの位置(任意選択的に左及び右鼻パッド毎に別個に)、鼻パッドの垂直方向及び/又は水平方向作業角度(任意選択的に左及び右鼻パッド毎に別個に)、(オフセットの無いモデルの場合の用語「鼻パッド」により、鼻パッドは鼻支持体(すなわち鼻との接触領域)を表す)、フレームの基底曲線(base curve)の半径及び/又はそり角を含み得る。眼鏡レンズに関する基底曲線はDIN EN ISO 13666:2013-10に定義されている;この点に関し、DIN EN ISO 13666:2013-10,頁58、11.4を参照されたい。これは、眼鏡フレームの標準規格では明示的に述べられていない;しかし、この点に関し、図DIN EN ISO 8624:2015-12,頁7,図4;頁9,A.13を参照されたい。基底曲線は、上方からの平面図におけるフレームの曲がりの半径を規定する。これらのパラメータは、上に定義された標準規格において部分的に定義される。眼鏡フレームはこれらのパラメータにより十分に定義可能である。
【0045】
第1の適合化手順では、特に全体スケーリング、フレームリムの傾斜及び/又は形式に従ってフレームの幅を設定することは、適合化ガイドラインを満たす目的のためにこれらが製造業者により可変に保たれれば、可能である。特に、これらのパラメータはまた、頭上に装着された眼鏡フレームの美的効果にとって重要であるので、眼鏡製造業者により望まれる美的印象が得られる。このとき、前述のパラメータの他のもの(例えば鼻梁幅及び耳当て長さ)が第2の適合化手順において設定され得る。
【0046】
特定適合化ガイドラインは、特に眼鏡フレームの特徴と頭上の特徴との間の距離の目標値又は目標範囲(目標値、最小値、最大値)を規定し得る。ここでは、フレームの特徴は、例えばフレームリム又はその一部(上側フレームリム、下側フレームリム)などのフレームの物理的特徴又はそうでなければ仮想特徴(例えばDIN ESO 13666において定義されたボックス系に対応するボックスのボックス中心)を含み得る。ここで、ボックスはフレームリムを囲むレンズ面内の矩形を表す。このボックスの中心又は他の特徴も同様に、前述の意味内の眼鏡フレームの特徴である。
【0047】
したがって、頭の特徴はまた、例えば鼻の位置、配向及び寸法、眉毛の位置、配向及び寸法、顎の位置、眼の瞳孔中心位置及び寸法又はそうでなければ眼の位置寸法などの物理的特徴であり得る。しかし、補助的特徴もまた、例えば計算により複数のこれらの特徴を結び付けることによりこれらの物理的特徴から導出され得る。
【0048】
このとき、第1の適合化手順は、このような特徴を使用することにより自動的やり方で容易に行われ得る。
【0049】
第1の適合化手順は、例えば2017年5月18日時点の独語ウィキペディア記事“Syntaxbaum”に記載のような構文ツリーの助けを借りて企てられ得る。これは効率的適合化を可能にする。構文ツリーは、どのように単語(前述のウィキペディア記事において説明されるようなコンピュータサイエンスの意味の範囲内)が形式文法により生成されるかの導出(すなわち手順)のツリー状表現を抽象的且つ一般的やり方で意味するものと理解される。第1の適合化手順の特定ケースでは、これらの規則は、補助的特徴、特徴又は補助的特徴の目標値又は目標範囲(及びそのための計算処方箋)、特定適合化ガイドラインがどの程度満足されるかを規定する適合化品質(例えば目標値又は目標領域からの偏差の加重二乗和としての)、又は第1の適合化手順において適応化されるべきフレームパラメータの算定式を提供する。
【0050】
ここで、第1の適合化手順の範囲内で、目標値又は目標範囲からの偏差は適合化手順においてペナルティ項として使用され得る。ペナルティ項は従来の最適化方法の使用に準じて可能な限り小さく保たれるべきである。したがって、ペナルティ項は、目標値又は目標範囲からの偏差を特徴付けるとともに最適化方法により可能な限り小さく保たれるべきである項を表し、このとき、この項は目標値又は目標範囲からの小さな偏差に対応する。
【0051】
そうでなければ、目標範囲内の目標値からの偏差が二乗偏差として考慮され得る。
【0052】
ペナルティ項及び最適化方法のこのような使用は、2017年5月18日時点の独語ウィキペディア記事“Optimierung”及びその章“Methoden der lokalen nichtlinearen Optimierung mit Nebenbedingungen”に記載されている。
【0053】
パラメトリックフレームモデル及び/又はパラメトリックフレームモデルに固有の適合化ガイドラインはまた、製造業者固有データを第三者へアクセス可能にしないように暗号化形式で利用可能かもしれない。この目的を達成するために、従来の暗号化技術(例えば公開又は秘密鍵による)が使用され得る。この点に関する情報はまた、例えば2017年5月18日時点の独語ウィキペディア記事“Verschluesselungsverfahren”に見出され得る。
【0054】
特に、第1の適合化手順は、特徴及び構文ツリーに基づく最適化ループとして実施され得る。このような最適化ループは、眼鏡フレームの仮想装着、目標値の構文ツリー上の項評価及び任意選択的に目的関数(前述の二乗偏差により計算される)及び任意選択的にペナルティ項を含み得る。このような最適化ループを使用することにより、適合化ガイドラインのほぼ任意の記述の一般的適合化手順を実施することが可能である。換言すれば、複数の異なる適合化ガイドラインがこのような手法によりカバーされ得る。
【0055】
特に、眼鏡レンズの重量がここでは仮想装着の範囲内で考慮され得る。一例として、眼鏡レンズの重量は、一対の眼鏡又は鼻パッドが皮膚中に沈み込むこと又は一対の眼鏡が鼻梁へ滑り込むことに影響を及ぼし得る;J.Eber,“Anatomische Brillenanpassung”,Verlag Optische Fachveroeffentlichung GmbH,頁24 ffを参照。眼鏡レンズの重量を考慮することにより、このような沈み込み又は滑り込みの場合でさえ適合化ガイドラインを満たすためにこのような効果を考慮することが可能である。
【0056】
例えば、第2の適合化手順は、例えば米国特許出願公開第2013/0088490A1号明細書又は米国特許出願公開第2015/0293382A1号明細書との関連で最初に説明された従来技術に記載されるようなそれ自体公知のやり方で行われ得る。特に、最初に論述された米国特許出願公開第2016/0327811A1号明細書に説明したようにこの場合の衝突領域を計算することが可能である。欧州特許出願第17173929.5号明細書に記載の方法も使用され得る。
【0057】
さらに、本方法は、仮想適合化の品質尺度(すなわち第1及び/又は第2の適合化手順の結果)の計算を含み得る。ここで、品質尺度は、どれだけ良く特定適合化ガイドライン及び/又は解剖学的適合化の要件が満足されたかを規定する。一例として、品質尺度は、人の頭の領域からの適合化済み眼鏡フレームの距離値に基づき(適切な場合には重み付けにより)計算され得る。品質尺度は人及び/又はユーザに眼鏡フレームの適合化の品質に関するフィードバックを提供し得る。一例として、品質尺度と閾値との比較は、適合化が眼鏡フレームの快適な適合化を保証するのに十分には良好ではなかったという認識を可能にする。
【0058】
上述の方法は、一対の眼鏡の仮想適合化のための装置であって1つ又は複数のプロセッサとディスプレイとを含む装置により行われ得、ここでは、本方法を行うためのプログラムコードを有する対応コンピュータプログラムがプロセッサ又はプロセッサ群上で走る。コンピュータプログラムは装置のメモリ上に格納されてもよいし、そうでなければクラウドを介し提供されてもよい。ここで、本装置はまた様々な空間的に分離された構成要素を有する分散形システムにより実施され得るということに注意すべきである。一例として、この目的を達成するための適合化手順及び計算の一部は、ユーザとの相互作用がローカルコンピュータ上で行われる間に比較的強力なコンピュータ(例えば外部サーバ)上で行われ得る。
【0059】
コンピュータによりプログラムが実行されるとコンピュータに上述の方法のうちの1つを行わせる指示を含むコンピュータプログラムも提供される。
【0060】
コンピュータにより実行されるとコンピュータに上述の方法のうちの1つを行わせる指示を含む特に触知可能なコンピュータ可読記憶媒体も提供される。記憶媒体の例は、CD又はDVDなどの光記憶媒体、ハードディスクドライブなどの磁気記憶媒体、又はフラッシュメモリ又は読み取り専用メモリ(ROM)などの固体記憶装置を含む。
【0061】
上述のコンピュータプログラムを格納する特に触知可能なコンピュータ可読データ媒体も提供される。
【0062】
さらに、上述のコンピュータプログラムを伝送するデータ媒体信号が(例えばインターネットなどのネットワークを介し)提供される。
【0063】
上述の方法を行う手段を含むデータ処理及び/又は一対の眼鏡を適合化するための装置も提供される。
【0064】
さらに、眼鏡フレームを製造するための方法が提供される。本方法は、上述の方法を行う工程、第1の測定点を使用することによる頭の3Dモデルへの眼鏡フレームの仮想適合化工程、及び適合化された眼鏡フレームを製造する工程を含む。
【0065】
したがって、第1の測定点を含む3Dモデルであって上述の方法を有する3Dモデルが眼鏡フレームの仮想適合化のために当初使用される。眼鏡フレームの仮想適合化自体は、最初に説明された従来技術において説明したように実施され得る。次に、このようにして仮想的に適合化された眼鏡フレームは、最初に引用された従来技術において説明したのと同様に物理的眼鏡フレームとして提供され得る。製造は3D印刷などの加法的方法により実施され得る、例えば;この点の概要に関して、2018年6月25日時点の独語ウィキペディア記事“Generatives Fertigungsverfahren”を参照されたい。
【0066】
本発明は添付図面を参照して好ましい例示的実施形態に基づき以下にさらに詳細に説明される。
【図面の簡単な説明】
【0067】
図1】例示的一実施形態による一対の眼鏡の仮想適合化のための装置を示す。
図2図1のカメラデバイスの実施形態の例を示す。
図3】例示的一実施形態による一対の眼鏡を適合化する方法の概要を提供する流れ図を示す。
図4図3の方法において使用可能である例示的一実施形態による方法の流れ図を示す。
図5図3の方法の範囲内で使用可能である例示的一実施形態による方法の流れ図を示す。
図6】適合化ガイドラインにおいて参照され得る頭の特徴を解明するための図を示す。
図7図4の方法工程40又は図5の工程54の詳細な実施形態を示す。
図8】補助的特徴を説明するための線図を示す。
図9】適合化を解明するための頭の概略図を示す。
図10】適合化ガイドラインに基づき適合化を解明するための頭の別の概略図を示す。
図11図3の方法の範囲内で使用可能である例示的一実施形態による方法の流れ図を示す。
図12図11の方法の詳細な実施形態の流れ図を示す。
図13A-D】頭モデルを解明するための図解を示す。
図14】頭モデルを解明するための図解を示す。
図15図12の方法における一対の眼鏡を適合化する部分的工程を解明するための線図を示す。
図16】鼻梁幅を解明するためのフレームモデルの図を示す。
【発明を実施するための形態】
【0068】
図1は、例示的一実施形態による一対の眼鏡の仮想適合化のための装置の例示的実施形態を示す。図1の装置は、プロセッサ12及びメモリ13を含むコンピュータデバイス11を含む。メモリ13は、データを格納する役目を果たし、図1の例示的実施形態では、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)及び1つ又は複数の大量記憶媒体(ハードディスク、固体ディスク、光ドライブなど)を含む。プロセッサ12上で実行されると、上に既に詳述された又は以下にさらに詳細に説明される一対の眼鏡を仮想適合化する方法を行うために使用されるプログラムがメモリ13内に格納される。
【0069】
図1の装置はさらに、コンピュータプログラムがプロセッサ12上で実行されると眼鏡フレームと共に人の頭を表示するディスプレイ16を含む。ユーザ入力は1つ又は複数の入力機器17(例えばキーボード、マウス)により実施され得る。追加的に又はその代わりに、ディスプレイ16は、入力を実施することができるために接触感知画面(タッチスクリーン)であり得る。
【0070】
図1の装置はさらに、これによりデータが受信され得るネットワーク18へのインターフェース14を含む。特に、ここでは眼鏡フレームのパラメトリックフレームモデルと関連適合化ガイドラインとを眼鏡の製造業者から受信することが可能である。いくつかの例示的実施形態では、データがまた、例えばこの一対の眼鏡の適合化に必要とされる計算の一部分を行うためにインターフェース14を介し別のコンピュータデバイスへ送信される。一対の眼鏡が適合化されるべき人の頭の3Dモデルを生成するために、図1の装置は任意選択的に、これにより人の複数の画像が様々な方向から記録され得るとともに3Dモデルが判断され得るカメラデバイス15を含む。画像記録に基づく3Dモデルのこのような判断に関する情報は、例えばH.Hirschmueller,“Stereo Processing by Semiglobal Matching and Mutual Information”in IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.30,no.2,pp.328-341,Feb.2008.doi:10.1109/TPAMI.2007.1166に見出される。
【0071】
図2図1のカメラデバイス15の実施形態を示す。図2の例示的実施形態では、カメラの半円状配置110が柱19へ固定される。次に、人は、図2に示すように人の頭111が半円状配置110で位置決めされそして様々な方向から記録され得るようなやり方で自らを位置決めし得る。次に、頭111の3Dモデルが頭111から生成され得る。テクスチャ(すなわちモデルの色(上に説明したような)に関する情報)もまた画像記録から生じる。さらに、このような装置は欧州特許出願第17153556.0号明細書に記載のように心取り測定のために使用され得る。
【0072】
図3は例示的一実施形態による一対の眼鏡の仮想適合化の方法全体の流れ図を示す。本出願は特にこの方法の部分的工程に関する。
【0073】
本方法は工程30で始まる。工程31では、頭モデルメタデータを含む頭の3Dモデルがメモリからロードされる。この3Dモデルは、図1図2を参照して上に説明したように画像記録の助けを借りて生成されてもよいし、例えばある人に対する一対の眼鏡の以前の調整から既に利用可能な3Dモデルであってもよい。
【0074】
頭モデルメタデータは、モデル自体ではなく3Dモデルの特徴に関する情報項目を含むデータである。特に、メタデータは、頭の3Dモデルに関する追加情報を提供し得る、及び/又は頭の3Dモデル上のいくつかの点、曲線又は領域を含み得る。このようなメタデータの使用に関するさらなる詳細もまた欧州特許出願第17173929.5号明細書に見出される。
【0075】
パラメトリックフレームモデルにより記述される眼鏡フレームの基本モデルが工程32において選択される。パラメトリックフレームモデルは自由パラメータ(すなわち判断されるべきパラメータ)を有する。このような自由パラメータの例は、特にパラメトリックフレームモデル(特に眼鏡フレームの鼻梁幅又は耳当て長さ又はそうでなければ眼鏡フレームのフレームリムの形式)の記述の文脈においてさらに上の方で既に規定された。
【0076】
工程312において、パラメータの少なくともいくつかが次に、上に記載されたそして以下にさらに詳細に説明されるフレームモデルに関連付けられた適合化ガイドラインに基づき計算される。他のパラメータが、同様に既に説明されたように解剖学的適合化に基づき判断される。
【0077】
次に、工程33~310では、より深い解剖学的適合化による眼鏡の仮想装着がある。この目的を達成するために、工程33では、欧州特許出願第17173929.5号明細書において既に述べられたような配置点及び鼻梁静止点に基づく近似的位置決めがある。眼鏡耳当ては、頭の耳の方へ開かれて折り曲げられ、配置される。ここでは、工程34及び35において、一対の眼鏡のx軸を中心とする回転があり得る。ここで、x軸は頭内の眼同士を結ぶ方向に対応し、z方向は耳当ての方向にほぼ対応し、y方向はそれに対し垂直である。一対の眼鏡の接触領域はxy面内の微細位置決めにより工程36において最適化される。さらに、工程312において未だ設定されていないパラメータがここでさらに適応化され得る。この場合の工程34~36は欧州特許出願第17173929.5号明細書に記載された対応工程に対応する。この適合化の範囲内で、パラメトリック眼鏡モデルは、特にパラメータが工程312において判断された後に変形及び配置され得る。
【0078】
次に、フレーム及び頭が工程37において描画される、すなわち図1のディスプレイ16上に適切な表現が存在する。この描画も欧州特許出願第17173929.5号明細書において既に説明された。ここで、画像合成とも呼ばれる描画は、生データ(この場合はそれぞれのモデルからの)に基づく画像の(例えばコンピュータモニタ上の表示のための)生成であると理解される。
【0079】
次に、工程38では、工程39に示すように様々な結果を有し得るユーザとモデルとの相互作用がある。したがって、例えば異なる方向から頭を観測するために単純にナビゲーションがあり得る。この場合、新しい描画が工程37においてある。
【0080】
工程39における相互作用はまた、x軸を中心とするフレームの回転の手動適応化を可能にする。この場合、本方法は、例えばフレームの新しい位置に従って耳当てを判断するために工程35へ戻る。
【0081】
さらに、モデルとのユーザの相互作用もまた、眼鏡フレームの位置を装置のユーザにより頭モデルの鼻梁へ適応化し得る。これは実質的に、工程33において設定された眼鏡フレームの位置を変更する。したがって、本方法はこの場合工程33へ戻る。
【0082】
例えば観測角度を変更する、回転を適応化する、鼻梁上に配置された一対の眼鏡の位置を適応化するための前述のタイプの相互作用(特にナビゲーション)が同様に欧州特許出願第17173929.5号明細書において既に詳細に説明されている。
【0083】
さらに、パラメトリックフレームモデルのフレームパラメータのうちの1つもまた、相互作用の範囲内でユーザにより設定され得る。一例として、ユーザはこの場合、工程312において自動計算により実施されたパラメータの判断を修正し得る。この場合、これは工程310における自由フレームパラメータの数を低減し、本方法は工程36において続けられる。ユーザが、相互作用に続く適合化に最終的に満足すれば、本方法は工程311において終了される。この処理において、最終検査が依然としてあり得る。ユーザ(例えば眼鏡技師)は最終チェック中に発注データをチェックする。この処理では、発注のデータ及び対応図的表現が概観モニタ上で前記ユーザへ提示される。この表現は、本方法の範囲内で判断された眼鏡フレーム及び/又は頭のパラメータ(鼻梁幅及び鼻翼角度など)と、また、恐らく例えば適合化ガイドラインにより処方される理想形からの偏差に関する注釈も含む発注されたフレームのパラメータとを示す。このようなパラメータの判断はさらに以下に説明される。次に、確定されたパラメータは、対応パラメータを有する物理的眼鏡フレームを発注するためにそれぞれの製造業者の発注システムへ送信され得る。
【0084】
次に、図3の方法の個々の態様が図4~15を参照して以下にさらに詳細に説明される。
【0085】
図4は例示的一実施形態による方法の流れ図を示す。図4は、それぞれのパラメトリックフレームモデルに関連付けられた適合化ガイドラインに基づく適合化とその後に続く頭の生体構造への適合化とへの眼鏡適合化の下位部分を示す。
【0086】
図4の方法では、パラメトリックフレームモデルは工程40において適合化ガイドラインに基づき人の頭の3Dモデルへ適合化される。ここで、前記適合化ガイドラインはそれぞれの眼鏡フレームの眼鏡フレーム製造業者により眼鏡フレーム専用に予め定められている。これらの適合化ガイドラインは以下に同様により詳細に説明される美的処方箋に関係し得る。この工程の実施形態例が後でさらに詳細に説明される。一例として、工程40は図3の工程312の範囲内で行われ得る。
【0087】
パラメトリックフレームモデルの第1組のパラメータが工程40における適応化により設定され得る。
【0088】
次に、人の頭の生体構造への一般的適合化が工程41において企てられる、すなわち工程41における適合化は特定適合化ガイドラインとは無関係に実施される。この適合化は、最初に引用された従来技術において説明されたように実施され得、工程312において又は任意選択的に工程34及び35における適応化においても同様に実施され得る。このとき、解剖学的眼鏡適合化がまた、頭モデルのメタデータに基づき又はそうでなければJohannes Eber,“Anatomische Brillenanpassung”,Verlag Optische Fachveroeffentlichung GmbH,1987,頁23ffにおいて説明されるように直接発生し得る。
【0089】
図5は、図4の方法の実施形態の詳細流れ図を示す。
【0090】
本方法の入力データは図5の工程50~53において提供される。工程51では、フレーム製造業者が眼鏡フレームのパラメトリックフレームモデルを生成する。工程51のパラメトリックフレームモデルは、この場合、データが専用CAD(コンピュータ支援設計)フォーマットで眼鏡製造業者により供給されれば本発明による方法において使用される一様な標準化されたフォーマットへ転送され得る。
【0091】
さらに、従来の圧縮方法の助けを借りたデータ削減(例えば3Dモデルにおける三角形又はボクセルの数の低減)又はデータ圧縮があり得る。
【0092】
工程50では、フレーム製造業者は、説明したようにフレームを適合化する際に美的態様を考慮し得るこのパラメトリックフレームモデルの特定適合化ガイドラインを生成する。
【0093】
人の頭の3Dモデルが工程52及び53において生成及び分析される。ここで、このモデルは当初、3D測定システムにより(特に図2に示すカメラデバイスにより)工程52において生成される。3D頭スキャナなどの他のタイプの測定システムも使用され得る。このような頭スキャナの例は2017年6月8日時点でいずれの場合もhttp://cyberware.com/products/scanners/ps.html又はhttp://www.3d-shape.com/produkte/face_d.phpに見出される。工程53では、点又は領域が、最初に説明された従来技術においても使用されるようなこの頭モデル上の特徴(例えば点、特徴)として識別される。
【0094】
次に、フレームが、図4における工程40に対応する特定適合化ガイドラインに従って工程54において適合化される。加えて、眼鏡フレームの意図された位置及び配向が、工程54における適応化のための開始値として設定され得る。パラメトリックフレームモデルの所定標準パラメータと共に欧州特許出願第17173929.5号明細書におけるもののようなメタデータによる位置が適応化のための開始値として役立ち得る意図された位置及び意図された配向として役立ち得る。その代替案として、意図された位置はいくつかのケースでは特定適合化ガイドラインから計算され得る。一例として、特定適合化ガイドラインはxz面内の瞳孔中心に対するフレームリムの好ましい位置を定義し、意図された頂点間距離(例えば12mm)はy軸の方向の位置を定義する。「装用時」前傾角もまた、空間内のフレームの配向(すなわちx軸まわりの角度)の一部として例えば9度の意図された値に設定され得る。これは同様に特定適合化ガイドラインの一部であり得る。
【0095】
次に、フレームは工程55において頭の解剖学的条件へ適合化される。ここで、工程54において未だ適合化されなかったパラメータ(すなわち依然として自由なパラメータ)がさらに適応化される。
【0096】
工程56では仮想装着及び描画があり、工程57では手動適応化がある。ここで、仮想装着及び手動適応化は、図3において参照符号33~310を参照して既に説明されたように実施される。
【0097】
工程58では、図3の工程311に対応するフレーム製造業者の発注システムへの転送がある。
【0098】
次に、フレーム固有適合化ガイドラインの使用及び対応適応化が図6~10を参照してさらに詳細に説明される。
【0099】
図6は、このような特定適合化ガイドラインの顔内の特徴及び点として好適である顔の様々な特徴を示す。換言すれば、顔のこのような点に対する眼鏡フレームの特徴の目標位置又は目標範囲がこのような例示的実施形態では適合化ガイドライン内に提供される。顔のこのような特徴はまた、Johannes Eber,“Anatomische Brillenanpassung”,Verlag Optische Fachveroeffentlichung GmbH,1987,頁17ffにおいて説明されている。
【0100】
この例は以下のものを含む:
1.眼の位置、特に瞳孔中心(図6の線L2と線LBとの交点)。線L2はさらに瞳軸を表す。
2.眼のボックス寸法(すなわち眼の周囲に置かれた矩形の寸法)すなわち各矩形の位置、矩形の幅及び高さ。
3.図6の線LA、L3に一致する鼻の位置。
4.図6の線LDに対応する顔の幅及びこめかみの位置。
5.図6の線L1と線L5(顎の線)との間の顔の高さ。
6.顎領域(すなわち線L5に接触する顎の部分)の曲率半径。
7.眉毛の位置:ここで図6の線L1は眉毛の中心軸を表し、線LCは眉毛のそれぞれの外側限界を表す。
8.図6の線L4に一致する口の位置。
【0101】
前述の特徴は、パラメトリック頭モデルによる又はそうでなければ画像解析方法(画像認識)による以下に述べるような手順により、及び/又は図2のカメラデバイスにより記録された画像における機械学習により識別され得、したがって前記特徴の位置は頭の3Dモデル上で判断され得る。このような特徴の自動認識の選択肢がまた、V.Kazemi,J.Sullivan,“One millisecond face alignment with an ensemble of regression trees”Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2014に記載されている。
【0102】
以下の説明では、左眼、右眼、顔の左半分又は顔の右半分などの参照は一対の眼鏡が適合化された人の観点から理解されるべきである。
【0103】
図7は、データが提供されることと併せて適合化ガイドラインに基づき眼鏡フレームを適合化する詳細な方法(すなわち図4の工程40又は図5の工程54の詳細な例)を示す。
【0104】
パラメトリックフレームモデルの適合化ガイドラインが、図7の工程70において提供され、提示された方法においてこれらを使用することができるために工程73においてコンピュータデバイスへ読み込まれる。ここで、適合化ガイドラインは例えばxmlファイル又はJSONファイルなどのテキストファイルとして格納される。
【0105】
パラメトリックフレームモデルが工程71において提供され、工程70における適合化ガイドラインがそれへ割り当てられる。例えばフレームモデルのいくつかの領域又は点を表すメタデータが、パラメトリックフレームモデルへ割り当てられ得る。フレームモデルのこのようなメタデータもまた欧州特許出願第17173929.5号明細書に記載されている。このパラメトリックフレームモデルは工程74において読み出される。工程77では、工程74において読み出されることから生じるパラメトリックフレームモデルのパラメータ及びそれらの値範囲がその後の最適化のために提供される。最後に、眼鏡フレームが適合化されるべき人の頭の3Dモデルには工程72において関連メタデータが与えられ、前記モデルは工程75において読み出される。
【0106】
適合化ガイドラインは工程76において解析される。解析は、さらなる処理にとってより好ましいフォーマットへの入力データの分解及び変換を意味するものと理解される。解析器はこのような解析を行う対応デバイス(通常コンピュータプログラムにより実現される)である。この点に関するより詳細は2017年5月19日時点の独語ウィキペディア記事「解析器」に見出される。
【0107】
ここで、適合化ガイドラインは、特にその後の最適化処理に好適なフォーマットに翻訳される。ここで、説明したように、適合化ガイドラインは、特に眼鏡フレームの特徴と頭上の特徴との間の距離(例えば上側フレームリムと眉毛との間の距離、フレームの上側フレームリムと眼の上縁との間の距離、眼の下縁までの下側フレームリムの距離、又はフレームリムに対する瞳の相対位置)の目標量及び/又は許容可能範囲を含み得る。さらに、計算され導出された特徴(すなわち頭及び/又はフレームの複数の特徴から導出された点又は領域)までの距離を使用することも可能である。このような導出された特徴は補助的特徴とも呼ばれる。このような導出された特徴の使用は適応化のより大きな柔軟性及び/又はより高い精度を可能にする。
【0108】
このような補助的特徴の一例が図8に示される。図8は眼鏡フレーム81を備えた頭80を示す。顔の幅の1/2の半径と鼻の下縁における中心の幅とを有する仮想円が80により表される。図8では、yUNは鼻の下縁を表し、yUKは顎の下縁を表し、yUODは眼の下縁を表す。顔の幅(すなわち図6の線D同士間の距離)がyGにより表される。工程76における解析中に検出された適合化ガイドライン70内の項の助けを借りて定義される導出された補助的特徴yHの例は次のとおりである:
yH=(yUK-(yUN-0.5×xG))/0.5×xG
【0109】
この値yHは、顔の幅の1/2に対する比として実際の顎下縁からの理想的顔の計算された顎下縁の偏差を表し、前記値は鼻の下の顔の垂直方向長さの尺度である。このような補助的特徴は眼鏡フレームの下側フレームリムの比率を設定するために使用され得る。この結果、垂直方向の顔の長さもまた眼鏡フレームにより引き起こされる美的印象に影響を与え得るということと、したがって特定適合化ガイドラインはパラメータyHに対する眼鏡フレームのサイズ及び/又は形式の関係性を予め定め得るということとを考慮することが可能である。
【0110】
適合化ガイドラインの別の例はフレーム外接ボックス内の瞳の位置である。これは図10Dに示される。図10Dは、この場合は右眼のフレーム外接ボックス102を有する眼鏡フレーム81を示す。
【0111】
瞳の適合化点高さ(下側フレームリムの上の瞳の高さ)はyにより表され、瞳の水平位置はxにより表される。ボックス102の幅はΔaであり、ボックスの高さはΔbである。一例として、このとき、適合化ガイドラインは「水平方向において瞳がボックス中心と鼻黄金比との間に在るべきである、すなわちΔa×3.82<x<Δa×0.5」ということを規定し得る。ここで、黄金比は、x=Δa×3.82の場合のようにΔa-xに対するxの比がΔaに対するΔa-xの比に等しいことを意味する。この黄金比よりフレームリムの内側により近い眼位置はそれほど美的でないということが一般的に分かる。
【0112】
同様のガイドラインは垂直方向の眼位置のセットでもよい:具体的には、瞳はボックス102のボックス中心と中心の上方の黄金比の値との間の垂直方向に精密に位置が定められる(すなわちΔb×0.5<y<Δb×0.618)。
【0113】
適合化ガイドラインはまた、算定式として直接提供され得、ここでは、このとき算定式の変数が上述の特徴である。換言すれば、特定適合化ガイドライン内のフレームパラメータは、項として直接規定され得る、又は最適化ループにより反復的に判断され得る。後者の場合、項の助けを借りて定義される適合化品質が最適化され、項は目標を設定するがこれらの目標は通常は叶えられない。したがって、例えば形式「目標量=項」の表現は、最適化の意味の範囲内(例えば最小二乗法の意味の範囲内)で適合化品質に寄与するだけであろうが、この適合化品質を直接には満足しないだろう。
【0114】
工程76における解析は、特に、述べられた補助的特徴に関し、この目的を達成するための目標量及び計算処方箋に関し、そして任意選択的に、既に上に説明したように例えば目標量からの偏差の加重二乗和の形式で利用可能であり且つ追加ペナルティ項を任意選択的に有し得るスカラ量としての品質値に関し、実施される。
【0115】
次に、工程76の項の構文ツリーのリストが工程79において生成される。
【0116】
したがって、瞳孔中心の位置、眼の位置及び寸法(例えば眼を表現する矩形)、鼻の位置、配向及び寸法、眉毛の位置、配向及び位置、及び/又は顎の位置などの頭モデルの値の位置、配向及び寸法が工程78において判断される。
【0117】
補助的特徴の構文ツリーの項が工程710において評価される、すなわち、補助的特徴が提示及び判断され、例えば上に説明した値yHのこれらの補助的特徴の値が工程711において判断される。次に、工程712の最適化工程がある。ここで、パラメトリックフレームモデルのフレームパラメータは変更され、項は目標量が工程713において到達されるまで評価される。これから、適合化ガイドラインに基づき適応化された1組のフレームパラメータのパラメータセットが714において出現する。特に、これらは美的効果を有するパラメータ:例えば可変フレームリムの場合は、眼鏡フレームのスケーリング、眼鏡フレームの「装用時」前傾角及び/又はフレームリムの形式である。例えば鼻パッドの角度又は眼鏡耳当ての長さ又は鼻梁幅などの別のパラメータが、製造業者により予め定められた標準値に当初維持される。次に、これらは解剖学的適合化(例えば図4の工程41)中に適応化される。
【0118】
最適化ループはまた、例えば欧州特許出願第17173929.5号明細書に記載のように仮想装着を含み得る。パラメトリックフレームモデルのパラメータの適応化を含む先の工程が一対の眼鏡の最適適応化への最適化の収斂を保証する。
【0119】
仮想装着中に結果として出現すると、第1に例えば回転行列及び変換ベクトルのような提示可能な幾何学的運動のパラメータ(6つの自由度:2017年5月22日時点の独語ウィキペディア記事“Bewegung(Mathematik)”を参照)、そして第2にフレームの撓みのパラメータのようなパラメータがある。一般に、後者のパラメータは、曲げ中に耳静止点において横断された角度の単一パラメータである。これは欧州特許出願第17173929.5号明細書に記載のような仮想装着に対応する。上述の仮想装着の結果、フレームの回転及び並進並びに耳当ての変形のパラメータが存在する。
【0120】
装着後、すべてのフレーム固有特徴が頭の座標系において利用可能である。この目的を達成するために、幾何学的運動が特徴へ適用される。一例として、個別フレーム(すなわち適合化されたパラメータを有するパラメトリックフレームモデルに対応するフレーム)の右及び左側鼻パッドの位置及び配向が計算される。理想的ケースでは、この位置及び配向はフレーム固有パラメータを適応化する工程において以前に計算された位置に対応するべきである。この工程では、鼻翼の対応特徴は、以下にさらに具体的に説明されるように、フレーム上の特徴に対応付けされた。しかし、鼻領域における個人化への制約のために、場合によっては仮想装着の処理はフレームの位置を判断する際に適合化手順と同じ結果を生じないかもしれない。一例として、これは、フレームの対称的な鼻台(nose rest)と併せて実際の鼻の非対称性に起因し得る。しかし、一般に、位置間には非常にわずかな差だけがあるはずである。わずかな差(例えば1mm未満の鼻パッド中心間の距離)の場合、これは無視され得る。比較的大きな差の場合、仮想装着に続く新しい位置が、フレーム固有適合化ガイドラインに基づき判断されるべきパラメータの新しい適合化手順をトリガし得る。フレームモデルのあり得る非互換性に関するオペレータへの通知の形式でのフィードバックもまた可能である。
【0121】
図10A~10Cは、頭80における様々な瞳孔間距離PD図10A)、PD図10B)及びPD図10C)のボックス102内の眼のこの位置決めを解明する。ここで、PDは比較的小さい瞳孔間距離であり、PDは中間の瞳孔間距離であり、PDは比較的大きな瞳孔間距離である。美的適応化のために、フレーム形式100の外側リムが、例えば黄金比の状態を維持するために図10Aの場合には厚くされるとともに、主末端部を備える。主末端部は眼鏡フレームの中心部分の外側部分であり、内側部分は鼻梁と呼ばれる。したがって、この場合の修正されたパラメータはフレーム形式である。図10Cの場合、主領域又は主鼻梁は所望美的印象を得るために恐らくより大きな鼻梁幅と併せて選択される。
【0122】
図9は、所望美的効果を得るための適合化ガイドラインに基づきパラメータを適応化する例を示す。ここで、図9A~9Cは眼鏡フレーム81のスケーリングの効果を示す。図9Aでは、非常に小さなフレームが人の上に仮想的に置かれるが、これは美的及びファッション態様によると小さ過ぎる。フレームは図9Cでは大き過ぎる。図9Bでは、フレームは中間サイズを有する。一対の眼鏡の美的適合サイズを保証するために、適合化ガイドラインは、この場合はフレームリムと顔及び/又は眉毛の縁との間の距離を処方し得る。
【0123】
図9D~9Fは鼻梁幅の影響を示す。ここで説明される例示的実施形態では、鼻梁幅は、以下にさらに詳細に説明される鼻上のメガネフレームの解剖学的に正しい適合化を保証するために、解剖学的適合化中に設定される。しかし、鼻梁幅はまた、解剖学的適合化中に追加的に考慮され得る美的印象を変更し得る。小さな鼻梁幅b図9Dでは選択される。ここで、フレームは鼻梁との衝突に起因して非常に高く位置する。鼻梁幅は図9Eにおいて鼻梁幅bへ若干拡張された。結果として、眼鏡フレームは若干下側に且つより調和の取れたやり方で着座される。図9Fの場合、鼻梁幅はさらに値bまで下げられた。ここで、瞳は例えば黄金比に基づくフレームリムに対する所定範囲内に位置を定められるという注意が解剖学的適合化の範囲内で払われ得る。
【0124】
その結果、適合化ガイドラインと、頭の生体構造への適合化が続く適合化ガイドラインに基づく適合化への分割との助けを借りて保証され得るものは、眼鏡製造業者の処方箋(特に、美的性質のものである)が満足され得るということである。
【0125】
前述の方法では、そしてまた一対の眼鏡を適合化する他の方法では、例えば欧州特許出願第17173929.5号明細書に記載された方法では又は従来技術として最初に説明された方法のうちのいくつかでは、頭の3Dモデル上のいくつかの点の位置が必要とされる、及び/又は静止点又は耳静止領域など眼鏡を適合化するためのいくつかの領域を特徴付けるメタデータが必要とされる。1つの選択肢は、このような点又は領域を手動で又はパターン認識方法により判断することにある。次に、別の選択肢が図11~15を参照して説明される。
【0126】
図11は、例示的一実施形態による測定点を人の頭の3Dモデル上へ設定する方法を示す。ここで、測定点は上述の方法に使用され得る点(例えば耳、眼、眉毛などの顔特徴を表現する点)を意味するものと理解されるべきである。
【0127】
工程110では、測定点と共にパラメトリック頭モデルが提供される。ここで、パラメトリック頭モデルは頭を記述するパラメトリックモデルである。パラメトリックモデルのパラメータを変更することで、頭モデルにより記述された頭形式を変更する。本明細書で使用される用語「パラメトリック頭モデル」はまた、頭の一部分だけ(例えば眼鏡の適合化に必要な部分(特に、眼、鼻及び耳の領域)だけ)を記述するモデルを含む。パラメトリック頭モデルの例は図13A、13Cを参照して以下に説明される。測定点は、例えば手動選択によりこのパラメトリック頭モデル上に設定される。このような測定点の例は図13A、13Cを参照して同様に以下に説明される。
【0128】
次に、工程111では、パラメトリック頭モデルが人の頭の3Dモデルへ適合化される。この目的を達成するために、パラメトリック頭モデルと人の頭の3Dモデルとの間に可能な限り小さい偏差があるようなやり方(例えば、最小二乗法により又は上に引用されたJ.Boothらによる記事内の方法により)でパラメトリック頭モデルのパラメータを適応化する任意の従来の最適化方法が使用され得る。次に、工程112では、測定点は適応化に基づき人の頭の3Dモデルへ転送される。換言すれば、適合化済みパラメトリック頭モデル上の測定点の位置は、頭の3Dモデル上の対応測定点を設定するために使用される。これは、例えば法線ベクトル(すなわちパラメトリック頭モデル上の測定点の場合には使用されている頭の3Dモデルと垂直なベクトル)の交点のおかげで、パラメトリック頭モデルから頭の3Dモデルへの投影により実現され得る。精密モデルでは、頭の3Dモデル上の位置としてパラメトリック頭モデル上の測定点の位置を直接使用することも可能である。
【0129】
このようにして、パラメトリック頭モデル上に一度だけ設定される必要がある測定点により、任意の頭のほぼ任意の3Dモデルの測定点を判断することが可能である。
【0130】
図12は、一対の眼鏡の仮想適合化の方法に埋め込まれた人の頭の3Dモデル上の測定点を設定するためのパラメトリック頭モデルを使用するより詳細な方法を示す。図12の一対の眼鏡の仮想適合化の方法の代わりに、図1~10を参照して上に説明された方法がまた、図11の方法の可能な応用として役立ち得る。
【0131】
図12において、自由パラメータを含むパラメトリックフレームモデルが工程120において提供される。図12の例示的実施形態の場合の自由パラメータは解剖学的適合化に役立つ。他の例示的実施形態では、上に説明したように、フレーム固有適合化ガイドラインによる追加の適応化があり得る。
【0132】
工程121では、パラメトリック頭モデルが提供される。パラメトリック頭モデルは、例えばA.Brunton,A.Salazar,T.Bolkart,S.Wuhrer,“Review of Statistical Shape Spaces for 3D Data with Comparative Analysis for Human Faces”,Computer Vision and Image Understanding,128:1-17,2014に説明されるような主成分分析(PCA:principal component analysis)に基づき判断される顔モデル又は頭モデル、又はそうでなければJ.Booth,A.Roussos,S.Zafeiriou,A.Ponniah and D.Dunaway“A 3D Morphable Model learnt from 10,000 faces”,2016 IEEE Conference on Computer Vision and Patent Recognition(CVPR),Las Vegas,NV 2016 pages 5543-5552 doi:10.1109/CVPR.2016.598に説明されるような頭モデルであり得る。工程122では、人の頭の3Dモデル(例えば図2のカメラデバイスにより生成されたかもしれない)が提供される。
【0133】
工程123では、測定点がパラメトリック頭モデル上で判断される。顔の少なくとも一部分のこのような3Dモデルの例が図14に座標軸と共に呈示される。
【0134】
工程123では、測定点がパラメトリック頭モデル上で判断される。この目的を達成するために、パラメトリック頭モデルの所謂標準頭が提供される。標準頭は、パラメトリック頭モデルのパラメータが所定標準値を採る頭である。主成分分析に基づく頭モデルの場合、これは、例えば主成分分析の第1の成分に対応する平均的頭であり得る。
【0135】
工程123では、測定点がパラメトリック頭モデル上で設定される。これは手動で点を設定することにより発生し得る。このような規定の例が図13Aに示される。ここでは、複数の点(例えば口の角、鼻の先端、額しわに沿った点、視点、鼻梁、及び鼻翼上の点)がパラメトリック頭モデルの標準頭130上に設定された。別の例が図13Cに示される。ここでは、三角形132(すなわち3点)が頭モデル130の鼻翼上に印される。
【0136】
工程124では、パラメトリック頭モデルは、適合化処理を使用することにより人の頭の3Dモデルへ適合化される。適合化処理は、パラメトリック頭モデルが(例えば最小二乗判断基準に従って)人の頭の3Dモデルに可能な限り精密に適合化されるようなやり方でパラメトリック頭モデルのパラメータが判断される処理である。工程123、124は任意の順番で行われ得る。工程123は本方法が行われる前に一回だけ行われる必要があるので、判断された測定点は、本方法が様々な人間の頭の様々な3Dモデル及び様々なパラメトリックフレームモデルに関して行われるたびに、使用され得る。
【0137】
次に、工程125では、測定点は適合化済みパラメトリック頭モデルへ転送される。換言すれば、測定点の位置は適合化済み頭モデル上で判断される。この目的を達成するために、これを元に測定点が工程123において判断された標準頭モデルから適合化済みパラメトリック頭モデルへ到達するために使用されるほぼ同じ変換が、例えばJ.Boothらによる前述の記事に記載のように測定点へ適用される。任意選択的に、工程126では、測定点は頭の3Dモデルへ転送される。工程126が使用されるかどうかは採用されたモデルの精度に(すなわち、どれだけ精確に適合化済みパラメトリック頭モデルが人の頭の3Dモデルに対応するかに)依存する。一例として、工程126は平均二乗偏差が閾値未満であれば省略され得る。適合化済みパラメトリック頭モデルから人の頭の3Dモデルへの測定点の転送は、法線ベクトルが適合化済み頭モデル上のそれぞれの測定点を通して判断され、次にこの法線ベクトルと人の頭の3Dモデルとの交点が人の頭の3Dモデル上の対応測定点として使用される投影により、実施され得る。この例が図13B、13Dに示される。図13Bでは、図13Aの点が人の頭の3Dモデル131上へ投影され、図13Dでは図13Cの三角形132が三角形132’として3Dモデル131上へ投影される。
【0138】
この投影は、パラメトリックモデルが大きな平滑度(特に図14に示すような頭の典型的3Dモデルより大きな平滑度)をしばしば有するので、多くの顔モデルの場合確実に働く。ここで、表面の平滑度は法線ベクトルの局所偏差の尺度として定義され得る。代替的に、近似多項式面からの頭の3Dモデルのポイントクラウドの局所偏差もまた尺度として定義され得る(例えばいずれの場合も5mmの径を有する局所領域において)。多項式面は、無限に多くの回数微分可能であり、その結果、微分幾何学では「平滑」であると呼ばれる。例示的実施形態において適用され得る「移動最小二乗法」(MLS)による局所平滑化は2017年6月8日時点でhttp://pointclouds.org/documentation/tutorials/resampling.phpに記載されている。
【0139】
さらに、手動工程が、頭の3Dモデル上に別の測定点をマーキングするために使用され得る(図12では不図示)。特に、これらは3Dモデルにより容易に検出されない点(例えば髪の毛により覆われた人の部分)であり得る。特に、これは耳の場合かもしれない。したがって、これらの点は人の頭の3Dモデルでは精確に識別可能でなく、前記点は手動で追加され得る。このような測定点の例は耳の基部上の眼鏡耳当ての静止点である。
【0140】
次に、工程127では、特徴が測定点(工程126が無しで済まされれば適合化済み頭モデルにおける測定点、又は工程126が行われる場合は転送済み測定点)に基づき計算される。測定特徴とも呼ばれるこれらの特徴は、測定点のグループに基づいており、例えば頭の領域を定義する。
【0141】
特徴は、直接計算により(例えば、空間内の3つの非共線点が面を一意的に定義し、その法線ベクトルが正規化差ベクトルのクロス積により計算され得る;4つの非共線点が球を定義し、5つの非共線点が円柱を定義する)、又は面又は球又は円柱などの幾何学的基本要素(点、線又は領域)のいくつかの測定点への近似により、確定され得る。次に、特徴は、適応化済み幾何学的基本要素のパラメータにより(例えば面の場合は面の考察下の法線ベクトル及び点により、又は球の場合は球の中心及び半径により、等々により)判断される。工程127において計算されるこのような特徴の例は以下のように規定される:
【0142】
左又は右鼻翼
鼻の左又は右鼻翼に関し、鼻支持体の領域又は鼻パッドの領域内のモデルの小領域(例えば6mmの径を有する)に対する近似により定義される面(例えば図13D内の三角形132’に対応する)が特徴として使用され得る。水平及び垂直方向鼻翼角度はこの面の位置及び配向から生じる。ここで、この面は鼻支持体の領域の中心点内の座標軸により交差され、生じる角度は何れの場合も測定される。一例として、三角形132に対応する3点が図13Cの各鼻翼上に印されれば、当該面は3点から計算され得る。4点以上の場合、当該面は、適応化処理により(例えば一組の点上での主成分分解により又は最小二乗法の助けを借りた適応化により)計算され得る。上述のように、単一面は面内の点(x,y,z)とこの点を通る法線ベクトル(nx,ny,nz)とにより表現可能であり、x、y、zはデカルト座標である。したがって、両方の鼻翼は纏めて、例えば(x[N,OD],y[N,OD],z[N,OD],nx[N,OD],ny[N,OD],nz[N,OD],x[N,OS],y[N,OS],z[P,OS],nx[N,OS],ny[N,OS],nz[N,OS])のように12タプルとして(すなわち12の値(2点と2つの法線ベクトル)により)表され得る。ここで、指標Nは鼻を表し、指標ODは右側の眼(右眼)を表し、指標OSは左側の眼(左眼)を表す。
【0143】
額の曲率
ここで、空間内の円曲線の断面が図13A、13Cに示すような額上の測定点へ適合化され得る。この適合化のパラメータは円が存在する面の中心、半径、法線ベクトルである。この適応化は2つの工程で行われ得る。当初、面は鼻翼について上に説明されたように適応化され、次に、円がこの面内で適応化される。円のこの適応化は、例えば最小二乗法又は任意の他の従来の適合化方法により発生し得る。
【0144】
眉毛及び/又は頬骨
ここで、スプライン曲面S(2017年5月23日時点の独語ウィキペディア記事「スプライン」を参照)又は2017年6月8日時点の二変数多項式(例えばhttps://en.wikipedia.org/wiki/Polynomial#Definition→「二変数多項式」参照)が眉毛周囲の領域内で及び/又は頬骨のまわりの領域内で眉毛の領域内及び頬骨の領域内の測定点に対し適合化される。スプライン表現S(c1,..,cn):(x,z)→yでは、スプライン関数Sの係数(c1,...,cn)は、対応領域(眉毛又は頬骨)内の一組の測定点{(x1,y1,z1),...,(xm,ym,zm)}に関し、二乗平均平方根誤差Fが最小となるような、すなわち誤差FがF(c1,...,cn)=Σi=1...m(yi-S(c1,..,cn)(xi,zi))形式を有するようなやり方で判断される。
【0145】
この表現では、フレームを装着する処理は何れの場合も図14の座標系内の固定y値を有するxy面に対する平行運動によりその後実施されるという仮定がなされる。後部フレームリムと頭の3Dモデルとの間の最小距離が適合化処理により実現されれば、この距離値はスプライン曲面からのオフセットとして予め提供され得る。次に、接触はy値における対応関係を介し検出され得る(y値はオフセットとして予め格納されるので)。この目的を達成するために、次に、後部フレームリムの各頂点は眼鏡フレームの適合化後の適応化中に検査され得、座標(x,y,z)により与えられるそれぞれの頂点は差Δy=y-S(c1,...cn):(x,z)に関し検査される。頂点がモデルに接触している又はその中に埋められているということが検出されれば、眼鏡フレームの位置が適応化され得る又は眼鏡フレームのフレームリムが修正され得る。
【0146】
眼鏡耳当ての静止点として働く耳の基部上の点
この目的を達成するために、頭モデル上の単一点が使用され得る;すなわちこの場合いかなる測定点も組み合わせられる必要がない。他の実施形態では、耳静止曲線は欧州特許出願第17173929.5号明細書に記載のように判断され得る。耳のモデリングの無いモデル(例えば純粋な顔モデル)が使用されれば(上記参照)、又は人の頭の3Dモデルを生成する際に耳が覆われていたならば、耳の基部におけるこの点は、異なるやり方で(例えば頭の3Dモデルの生成のために使用された画像からの機械学習により)生成され得る。この機械学習では、この目的を達成するために、トレーニングされた特徴検出器が画像内の耳の基部における点を検出する目的を達成するために使用され得る。2D画像内で検出されたこれらの点は、別の工程において頭の3Dモデル上へ投影される。このような投影に関する情報は、射影幾何学及びカメラ校正に関する以下の背景文献に見出される:例えば、Hartley and Zisserman,“Multiple View Geometry in Computer Vision”,2000、空間内の直線としての画像ピクセルの表現の頁7から;三角形メッシュと直線との最前交点の計算としての空間内の3Dモデル上への投影“ray casting”とも呼ばれる;また例えばソフトウェアライブラリ“vtk”、関数“vtkModifiedBSPTree::Intersect WithLine”を参照されたい。代替的に、このような点はまた、上に説明したように手動で判断され得る。
【0147】
いくつかの例示的実施形態では、眼位置又は瞳位置などのいくつかの点もまた、別個の方法により(例えば図2のカメラにより記録される画像を使用する瞳検出及び角膜検出により)判断され得る。このような判断は欧州特許出願第17153558.3号明細書及び欧州特許出願第17153559.4号明細書に記載されている。
【0148】
工程127においてこのように計算された特徴に基づき、次にパラメトリックフレームモデルのフレームパラメータが工程128において計算される。この計算の例が以下に提供される。しかし、特徴はまた、欧州特許出願第17173929.5号明細書に記載のように特定適合化ガイドラインに基づき上述のフレーム適合化のために又は仮想装着のために使用され得る。
【0149】
一般的に、適合化の目的のために、特徴は、相対位置及び配向に関する及び/又は角度又は曲率などの別の特性に関する組み合わせで評価される。工程128におけるフレームパラメータの計算のいくつかの例が以下に説明される。これらもまた、図4の工程41の解剖学的適合化のための例として役立ち得る。
【0150】
鼻梁幅
鼻梁幅はDIN EN ISO 8624:2015-12,付録Aに定義されている。鼻梁幅は、より大きな鼻梁幅の場合には鼻パッド同士が互いにさらに離れて位置し、より狭い鼻梁幅の場合には鼻パッド同士が互いにより接近して位置するので鼻パッド同士の相対位置から生じる。鼻パッドの無い眼鏡フレームの場合、一般化された鼻パッドが、鼻との接触領域として設けられる鼻台の特定領域として定義される。鼻梁幅は、これらの一般化された鼻パッドの中心点同士の間隔として生じる。したがって、鼻梁幅は、両鼻翼上の三角形(図13Dの三角形132’に対応する)の中心点間の間隔に対応し得る。ここでは、幾何学的重心(すなわち角度二等分線の交点)が三角形の中心点と見做され得る。
【0151】
説明目的のために、図16は、鼻パッド160(この意味の範囲内の)及び鼻梁幅161を有するパラメトリックフレームモデルの斜視図を示す。
【0152】
鼻パッドの相対位置及び角度
この適応化は図15において説明される。ここでは、鼻翼は断面として提示される。これは曲線150により表され、鼻パッド151が適応化される。
【0153】
2つの鼻パッドのそれぞれはそれぞれの鼻パッドと接触する面(接平面)により適応化され得る。他の面に関して上に説明したように、鼻パッドのこの面は考察中の点(x,y,z)と法線ベクトル(nx,ny,nz)とにより近似され得る。特に、考察中の点は鼻パッドの中心であり得る。従来の意味での鼻パッドの場合、すなわち金属フレームの場合、この中心点は、例えば鼻パッドの重心を外側(すなわちパッドと鼻との接触面)へ投影することにより定義され、このパッド中心はまた、所定点としてパラメータ化可能フレームモデルの一部分であり得る、すなわちこの点はモデルと共に提供される。別個パッドの無いプラスチックフレームの場合、鼻の接触領域(図16内の160)と想定されるフレームの部分は、鼻台又はここでの一般化されたやり方では鼻パッドと呼ばれる。その結果、2つの鼻パッドは同様に12タプルとして次のように表され得、この表現は本例示的実施形態におけるフレームの局所座標系において実現される:
(x[P,OD],y[P,OD],z[P,OD],nx[P,OD],ny[P,OD],nz[P,OD],x[P,OS],y[P,OS],z[P,OS],nx[P,OS],ny[P,OS],nz[P,OS])、ここで、指標Pは鼻パッドを表す。
【0154】
上に説明したように、このとき、鼻パッドの位置及び配向もまた鼻梁幅を意味する。
【0155】
鼻パッドのこの表現では、座標系の座標原点及び配向は、12タプルが考察中の点と考察中の共通回転マッピング点とへの共通翻訳マッピング及び法線ベクトルにより任意の所望座標系へ転送可能であるので、自由に選択され得る。前提条件は、前述の12タプルのすべてのパラメータが実際にパラメトリックフレームモデル内で自由に選択可能であるということである。実際、パラメータはパラメトリックフレームモデルにおける制約に従い、パラメトリックフレームモデルの個々のパラメータの最大及び最小値が存在する(一例として、フレームは、任意に大きなサイズを有し得ない、又は任意に大きな又は任意に小さな鼻梁幅では製造され得ない)。いずれにせよ、両方の鼻パッド及び上に述べたような鼻翼は12タプルとして表され得る。
【0156】
上述のデカルト座標における代わりに、法線ベクトルは、空間内の2つの角度θ及びφ(実質的に、極座標における表現)により何れの場合も次のように表され得、ここでは1が法線ベクトルの長さ(半径)として選択される:
(nx,ny,nz)=(sin(φ)×sin(θ),cos(φ)×sin(θ),cos(θ))
【0157】
したがって、このとき、合計10個の自由度が、パッド(従ってまた鼻鼻梁)に関して併せて生じ;次の10タプルとしての表現が得られる:
(x[P,OD],y[P,OD],z[P,OD],θOD,φOD,x[P,OS],y[P,OS],z[P,OS],θOS,φOS)=z[P,OS]
【0158】
鼻梁幅と鼻パッドの位置との間の関係は図15から明らかである:鼻梁が広げられれば、それに応じて左及び右パッドの面の考察中の点同士間の距離の拡大があり、逆も同様である。
【0159】
パラメータの数の低下は、鼻梁が対称であり鼻パッドは互いに対して対称であるという仮定がなされれば発生する。対称面としての図14のyz面により、以下のことが適用される:
i.x[P,OS]=-x[P,OD]
ii.y[P,OD]=y[P,OS]及びz[P,OD]=z[P,OS]
iii.θ[P,OD]=θ[P,OS]及びφ[P,OD]=-φ[P,OS]
【0160】
次に、(w,y,z,θ,φ)が自由パラメータとして生じ、ここで、θ=θ[P,OD]=θ[P,Os]及びφ=φ[P,OD]=-φ[P,OS]である。ここで、wは鼻梁幅である。ここでは[P,OD]=w/2及びx[P,OS]=-w/2が適用される。その結果、パラメトリックフレームモデルを適応化するために使用され得る5つの自由パラメータは、対称的な場合には存在する。フレームに依存して、上に説明したように、より少ない自由度が存在し得る又は自由度は特定適合化ガイドラインにより制約され得る。
【0161】
パラメトリックフレームモデルを頭の3Dモデルへ適合化するために、鼻パッドの面は鼻翼の面に対応するようなやり方で選択され得る;すなわち、一般的に、鼻パッドの12タプルは鼻翼の12タプルに対応する。
【0162】
一例として、制約として、鼻梁又は鼻パッドの位置はフレームの局所座標系において固定され得る(すなわち、値y及びzが固定される)、又はθとφとの間に固定され例えば線形な関係はθとφが互いに独立に選択され得ないように選択され得る。
【0163】
縮小された組のフレームパラメータの場合、例えば前述の対称的な場合、平均化が使用され得る。一例として、鼻翼の対応角度θ[P,OD]とθ[P,OS]とが異なれば、平均値が使用され得る。角度間の差が閾値より大きければ、不利な摩耗特性を生じる対称的なフレーム形式の影響に対する警告がこの場合は出力され得る。解剖学的適合化品質を表す品質尺度が、摩耗特性がどれだけ不利かを評価するために使用され得る。このような品質尺度は頭の領域からの眼鏡フレームの前述の距離に基づき計算され得、ここでは、様々な距離が、様々な重み付けを有する品質尺度に含まれ得る。パラメトリックフレームのタイプに依存して、自由パラメータの数は、例えば鼻支持体の領域内の2つのパラメータ(具体的には鼻梁幅と鼻梁角度のパラメータ)までさらに低減され得る。一例として、鼻梁角度は、鼻梁角度に関するJohannes Eber,“Anatomische Brillenanpassung”,Verlag Optische Fachveroeffentlichung GmbH,1987,頁26,図24に説明されている。
【0164】
フレームの前傾角
さらに、フレームの前傾角(「装用時」前傾角とも呼ばれる)は計算されてもよいし、特徴により適応化されてもよい。上に説明したようなフレーム固有適合化ガイドラインが使用される例示的実施形態では、前傾角はこの適合化中に既に設定され得る(図4の工程40)。次にこの前傾角は図12の工程128においてさらに適応化され得る。この目的を達成するために、フレームリム(例えばフレームリムの下側境界の後縁、フレームの正面図における左又は右下角)と前述の頬面(スプライン曲面により表され得る)との間の距離が計算される。次に、前傾角は所定最小距離例えば2mmが保証されるようなやり方で修正される。
【0165】
耳当て長さ
耳当て長さは、鼻上のフレームの適合化が例えば前述の鼻パッドにより設定されると工程128において計算される。フレームの耳当て長さを設定する目的のために(これはパラメトリックフレームモデルの自由パラメータであると仮定する)、耳当ての前側静止点が耳の基部における前述の点と合致される。
【0166】
次に、工程129では、工程128において計算されたフレームパラメータがパラメトリックフレームモデルへ適用される。工程1210では、図5の工程56を参照して説明したように仮想装着及び描画がある。任意選択的に、別の最適化(例えば、初めに述べた米国特許出願公開第2016/0327811A1号明細書に説明されるような最適化、又は図5の工程57において説明されたような手動適応化)が工程1211において発生し得る。次に、工程1212では発注システムへの転送がある。別のフレームパラメータ(例えば眼鏡フレームの中心部分の色、眼鏡フレームの眼鏡耳当ての色、眼鏡フレームの蝶番の材料及び色、眼鏡フレームの眼鏡耳当て上の彫刻、設計要素、眼鏡フレームの眼鏡耳当て又は中心部分への塗布)を選択することも可能である。次に、発注された眼鏡フレームは、最初に説明したように例えば付加製造方法を使用することにより、判断されたパラメータに従って製造される。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10A
図10B
図10C
図10D
図11
図12
図13A
図13B
図13C
図13D
図14
図15
図16