(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-04
(45)【発行日】2022-08-15
(54)【発明の名称】まつ毛の評価方法および装置
(51)【国際特許分類】
A41G 5/02 20060101AFI20220805BHJP
G06V 30/10 20220101ALI20220805BHJP
【FI】
A41G5/02
G06K9/00
(21)【出願番号】P 2019547237
(86)(22)【出願日】2017-11-16
(86)【国際出願番号】 US2017061894
(87)【国際公開番号】W WO2018093967
(87)【国際公開日】2018-05-24
【審査請求日】2020-11-12
(32)【優先日】2016-11-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】519169535
【氏名又は名称】ウィンク・ロボティクス
(74)【代理人】
【識別番号】100118902
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100120112
【氏名又は名称】中西 基晴
(74)【代理人】
【識別番号】100117640
【氏名又は名称】小野 達己
(72)【発明者】
【氏名】ハーディング,ネイサン
(72)【発明者】
【氏名】アマンドソン,カート
(72)【発明者】
【氏名】ニシハラ,エイチ・キース
(72)【発明者】
【氏名】ミュラー,ミヒャエル
【審査官】渡邉 洋
(56)【参考文献】
【文献】国際公開第02/051285(WO,A1)
【文献】特表2004-501707(JP,A)
【文献】特開2014-121515(JP,A)
【文献】特開2014-036278(JP,A)
【文献】特開2003-187251(JP,A)
【文献】特開2006-079619(JP,A)
【文献】特開2012-072538(JP,A)
【文献】特表2015-519954(JP,A)
【文献】特表2016-510841(JP,A)
【文献】米国特許出願公開第2012/0315076(US,A1)
【文献】米国特許出願公開第2006/0055705(US,A1)
【文献】米国特許第7600519(US,B2)
(58)【調査した分野】(Int.Cl.,DB名)
A41G 5/00- 5/02
A45D44/00
G06K 9/00- 9/62
(57)【特許請求の範囲】
【請求項1】
複数の天然まつ毛を観察するように構成された少なくとも1つのカメラと、
前記複数の天然まつ毛を探るように構成されたロボット機構と、前記少なくとも1つのカメラからデータを受け取る
とともに前記ロボット機構と通信するように構成されたコントローラとを使用して、対象者の複数の天然まつ毛のうちの1本の天然まつ毛がエクステンションに適しているかどうかを判断する方法において、
前記少なくとも1つのカメラを用いて前記天然まつ毛の幾何学的パラメータを測定するステップと、
許容値に対して前記幾何学的パラメータを比較するステップと、
前記コントローラを使用して、前記天然まつ毛が人工まつ毛エクステンションの取り付けに適しているかどうかを
前記比較に基づいて判断するステップとを含む、方法。
【請求項2】
前記比較に基づいて、前記天然まつ毛が多重の天然まつ毛からなるかどうかを判断するステップと、
前記天然まつ毛が多重の天然まつ毛からなるときに、前記天然まつ毛はエクステンションには適していないと判断するステップとをさらに含む、請求項1に記載の方法。
【請求項3】
前記少なくとも1つのカメラは、第1のカメラと第2のカメラとを含み、
前記第1のカメラで前記天然まつ毛を撮像して第1の画像を生成するステップと、
前記第2のカメラで前記天然まつ毛を撮像して第2の画像を生成するステップとをさらに含み、
前記幾何学的パラメータを測定するステップは、前記第1の画像と前記第2の画像との間の見かけの視差に基づいて前記天然まつ毛の深さを測定することと、前記幾何学的パラメータを比較することは、前記深さを許容深度値とを比較することとを含む、請求項1に記載の方法。
【請求項4】
前記幾何学的パラメータを測定するステップは、分散型幾何学的パラメータを生成するために前記天然まつ毛に沿った複数の点で前記幾何学的パラメータを測定することを含み、前記幾何学的パラメータを比較するステップは、許容値に対して前記分散型幾何学的パラメータを比較することを含む、請求項1に記載の方法。
【請求項5】
ロボット機構のロボットエンドエフェクタを用いて前記複数の天然まつ毛を探るステップと、
前記ロボットエンドエフェクタを用いて前記複数の天然まつ毛の第1のサブセットを移動させるステップと、
前記第1のサブセットを移動させた後に、前記幾何学的パラメータの前記測定を繰り返すステップとをさらに含む、請求項1に記載の方法。
【請求項6】
前記ロボットエンドエフェクタは第1のプローブを含み、前記ロボット機構は第2のプローブをさらに含み、前記ロボット機構は前記第1のプローブおよび前記第2のプローブを互いに対して移動させるように制御可能に構成され、
前記第1のプローブと前記第2のプローブとの間の移動を、まつ毛の直径と同じ尺度になるように調整するステップと、
前記第1のプローブおよび前記第2のプローブを前記複数の天然まつ毛を通して差し込むステップと、
前記第1のプローブおよび前記第2のプローブ間の前記移動を増大させるステップであって、前記複数の天然まつ毛の第2のサブセットが、前記複数の天然まつ毛の残りの部分よりも低い密度になるように、前記第1のプローブと前記第2のプローブとの間に残る、ステップとを含む、請求項5に記載の方法。
【請求項7】
前記移動を調整するステップと、前記第1のプローブおよび前記第2のプローブを差し込むステップと、前記移動を増大させるステップとを、少なくとも1つのまつ毛がエクステンションに適していると判断されるまで繰り返すことをさらに含む、請求項6に記載の方法。
【請求項8】
前記ロボットエンドエフェクタは第1のプローブを含み、前記ロボット機構は第2のプローブをさらに含む、請求項5に記載の方法において、
前記第1のプローブ前記複数の天然まつ毛を通して移動させるステップと、
前記第1のプローブを前記複数の天然まつ毛に沿って平行移動させるステップと、
前記第2プローブを前記複数の天然まつ毛を通して移動させるステップと、
前記複数の天然まつ毛の第2のサブセットが前記第1のプローブと前記第2のプローブとの間に残るように、前記第2のプローブを前記第1のプローブの反対方向に平行移動させるステップとを含む、方法。
【請求項9】
ロボット機構のロボットエンドエフェクタを用いて前記複数の天然まつ毛をブラッシングするステップと、
前記複数の天然まつ毛をブラッシングした後に、前記幾何学的パラメータの前記測定を繰り返すステップとをさらに含む、請求項1に記載の方法。
【請求項10】
前記幾何学的パラメータを測定するステップの前に、
a)前記
少なくとも1つのカメラを用いて前記複数の天然まつ毛を撮像するステップと、
b)前記複数の天然まつ毛の空間位置を計算するステップと、
c)前記ロボット機構を用いて前記天然まつ毛を分離させようと試みるステップと
をさらに含む、
請求項1に記載の方法。
【請求項11】
前記
少なくとも1つのカメラは
、2つのカメラを含む、請求項10に記載の方法。
【請求項12】
対象者の複数の天然まつ毛のうちの1本の天然まつ毛がエクステンションに適しているかどうかを判断するように構成された装置において、
前記複数の天然まつ毛を観察するように構成されたコンピュータビジョンシステムと、
前記複数の天然まつ毛を探るように構成されたロボット機構と、
前記ロボット機構と通信するように構成されたコントローラとを備え、
a)前記コンピュータビジョンシステムを用いて前記複数のまつ毛を撮像し、
b)前記複数の天然まつ毛の空間位置を計算し、
c)前記ロボット機構を用いて前記天然まつ毛を分離することを試み、
d)前記試みの結果を前記コンピュータビジョンシステムで撮像し、
e)前記試みが成功した場合に、前記天然まつ毛がエクステンションに適していると判断し、
f)前記試みが失敗した場合には、少なくともステップc及びステップdを繰り返すように構成された、装置。
【請求項13】
前記装置は、
前記コンピュータビジョンシステムを用いて前記天然まつ毛のパラメータを測定し、
許容値に対して前記パラメータを比較し、
前記比較に基づいて、前記天然まつ毛が複数の天然まつ毛で構成されているどうかを判断し、
前記天然まつ毛が複数の天然まつ毛で構成されている場合に、前記天然まつ毛がエクステンションに適していないと判断するように構成された、請求項
12に記載の装置。
【請求項14】
前記コンピュータビジョンシステムは、少なくとも2つのカメラを含む、請求項
12に記載の装置。
【請求項15】
前記装置は、
前記コンピュータビジョンシステムを用いて前記天然まつ毛の幾何学的パラメータを測定し、
許容値に対して前記幾何学的パラメータを比較し、
前記比較に基づいて前記天然まつ毛の分離を確認するように構成された、請求項
12に記載の装置。
【請求項16】
前記コンピュータビジョンシステムは、分散型パラメータを生成するために前記天然まつ毛に沿った複数の点で前記天然まつ毛のパラメータを測定するように構成され、前記装置は、
許容値に対して前記分散型パラメータを比較し、
前記比較に基づいて分離が発生しているか否かを判断するようにさらに構成された、請求項
12に記載の装置。
【請求項17】
前記ロボット機構は、第1のプローブと第2のプローブとを含み、前記ロボット機構は、
前記第1のプローブを前記複数の天然まつ毛を通して移動させ、
前記第1プローブを前記複数の天然まつ毛に沿って平行移動させ、
前記第2のプローブを前記複数の天然まつ毛を通して移動させ、
前記複数の天然まつ毛のサブセットが前記第1のプローブと前記第2のプローブとの間に残るように、前記第2のプローブを第1のプローブと反対方向に平行移動させるように構成された、請求項
12に記載の装置。
【請求項18】
前記幾何学的パラメータを測定するステップは、画像を生成するために、前記少なくとも1つのカメラで前記天然まつ毛を撮像する
ことを含み、
許容値に対して前記幾何学的パラメータを比較するステップは、前記画像をニューラルネットワークに送
ることを含む、請求項1に記載の方法。
【請求項19】
前記ニューラルネットワークは、人間の天然まつ毛の複数の画像を使用して訓練される、請求項
18に記載の方法。
【請求項20】
前記複数の画像は、単一まつ毛、交差まつ毛、および積層まつ毛の画像を含む、請求項
19に記載の方法。
【請求項21】
前記少なくとも1つのカメラを用いて前記天然まつ毛の幾何学的パラメータを測定し、
許容値に対して前記幾何学的パラメータを比較し、
前記比較に基づいて、前記天然まつ毛がエクステンションに適しているかどうかを判断することをさらに含む、請求項
18に記載の方法。
【請求項22】
前記ニューラルネットワークは、ディープジェネレータネットワークによって作成された複数の画像を使用して訓練された、請求項
18に記載の方法。
【請求項23】
前記コンピュータビジョンシステムはカメラであり、前記装置は許容値に対して比較するために前記結果が送られるニューラルネットワークをさらに備えた、請求項15に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願との相互参照
[0001] 本出願は、2016年11月16日に提出された「Machine for Beauty Salon」と題された米国仮特許出願第62/423,000号の利益を主張する。この出願の全内容は、参照により本明細書に組み込まれる。
【0002】
発明の分野
[0002] 本発明は、まつ毛エクステンションを適用する方法に関する。
【背景技術】
【0003】
[0003] まつ毛エクステンションは世界中で人気が高まっている。まつ毛エクステンションは天然まつ毛繊維に一対一で固定されていることから、「人工まつ毛」または「人工まつ毛構造」と呼ばれるものと通常は区別されている。「人工まつ毛」は、まぶたに固定された裏打ち材(まつ毛繊維の近位端の細いストリップ)に結合された(通常は片目用の)まつ毛繊維の完全なセットである。したがって、このプロセスはより単純であり、家庭用に提供されている。しかしながら、まつ毛エクステンションは、通常はシアノアクリレート接着剤を用いて、美容技術者によって各天然まつ毛繊維に1本ずつ苦労して接着される。エクステンションは、米国特許第8,127,774号に開示されるように分岐を有することができ、米国特許第8,113,218号に開示されるような、近くのまつ毛と連結されるためのいくつかの方法がある。
【0004】
[0004] まつ毛エクステンションを初めて適用するときは、装着するのにかなりの時間がかかり、最長で2時間かかる。装着の際には、各まつ毛エクステンションをピンセットで正しい向きに摘み上げ、接着剤に浸してから、接着が生じるまで対象者の天然まつ毛繊維のうちの1本に対して配置させる。この大量の人件費に美容サロンのお金がかかるため、そして必要とされる時間の長さと費用がいくらかの顧客を思いとどまらせるため、いくつかの省力化装置が提案されている。そのような装置の1つは、米国特許出願公開第2014/0261514号に開示された、手持ちのまつ毛用のディスペンサである。工場から出てくるエクステンションのトレイに関しては、米国特許第8,701,685号に見られるように、省力化の提案もなされている。これらのトレイは、人間にとって困難なのはプロセスにおける接着工程だけではないという事実に対抗することを意図している。まつ毛のエクステンションをピンセットで拾うだけでも困難である。また、各エクステンションに、エクステンションを天然まつ毛繊維に固定するために用いられる予め取り付けられた熱収縮チューブを備えることによって、接着剤の取り扱いおよびエクステンションを接着剤に浸す工程をなくすことが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
[0005] したがって、まつ毛エクステンションを取り付けるための時間とコストの両方を減らすことのできる、まつ毛エクステンションをより効果的に取り付ける方法が必要とされている。ここに記載された発明は、分岐、連結、またはその他に関わらず全てのまつ毛エクステンションに適用され、接着剤、熱収縮チューブ、またはその他に関わらず、天然まつ毛への全ての接着方法に適用される。
【課題を解決するための手段】
【0006】
[0006] 本発明は、ロボット機構によるまつ毛エクステンションの取り付けを補助する機械および方法である。特に、本発明は、エクステンションのためにまつ毛を分離して画像化する方法に関する。まつ毛はぎっしり詰まっており、しばしばくっついたり閉鎖したりするため、まつ毛の自動エクステンションにはまつ毛の分離と検査との反復プロセスが必要になる場合がある。ロボット機構は、まつ毛繊維(そのうちのいくつかは天然のものであり、そのうちのいくつかは人工のものである)を識別し見つけることができるセンサシステムを含む制御システムによって制御される。
【0007】
[0007] 本発明のさらなる目的、特徴、および利点は、図面と関連して以下の好ましい実施形態の詳細な説明からより容易に明らかになり、図において同じ参照番号は共通の部分を指してる。
【図面の簡単な説明】
【0008】
【
図1】[0008] 本発明の実施形態の基本的な外部の特徴を示す図である。
【
図2】[0009] 対象者が別の姿勢をとる実施形態を示す図である。
【
図3】[0010] 筐体の内部コンポーネントを示している。
【
図4】[0011] ロボットヘッド機構の詳細図である。
【
図5】[0012] メーカーによって提供されるようなまつ毛エクステンションの典型的なトレイを示す図である。
【
図6】[0013] 別の角度から見た、傾斜軸を動かした状態のロボットヘッド機構の詳細図である。
【
図7】[0014] 代替的なコンピュータビジョンシステムを有するロボットヘッド機構の詳細図である。
【
図8】[0015] 筐体の裏側から見下ろした図である。
【
図10】[0017] まつ毛分離機構を有するロボットヘッド機構を示す図である。
【
図11】[0018] 分離プロセス中に対象者の顔を見下ろした図を示す図である。
【
図12】[0019] まつ毛分離機構プローブが移動した後の
図11と同じ図を示す図である。
【
図13】[0020] 手動まつ毛分離ツールを示す図である。
【
図14】[0021] スカラロボットを用いる代替的な実施形態を示す図である。
【
図15】[0022] 6軸ロボットを用いた代替的な実施形態を示す図である。
【
図16A】[0023] 湾曲ピンセットを用いた代替的なロボットヘッド機構構成を示す図である。
【
図16B】[0024] 代替的なロボットヘッド機構の動作の概略上面図である。
【
図16C】[0025] 代替的なロボットヘッド機構の動作の概略上面図である。
【
図16D】[0026] 代替的なロボットヘッド機構の動作の概略上面図である。
【
図16E】[0027] 代替的なロボットヘッド機構の動作の概略上面図である。
【
図18】[0030] 追加の2つの自由度を含む、
図17Aおよび
図17Bのものと同様の代替的なロボットヘッド機構を示す図である。
【
図19A】[0031] ロボットヘッド機構の第1の図である。
【
図20】[0036] 理想化されたまつ毛およびより現実的なまつ毛の概略図である。
【
図21】[0037]
図21Aは2つのまつ毛を示す図である。[0038]
図21Bは
図21Aの2つのまつ毛を誤って一緒に接着した様子を示す図である。[0039]
図21Cは
図21Bの接着によって生じる不規則な成長パターンを示す図である。
【
図22】[0040] 様々な種類の塊による人間の天然まつ毛を高倍率で概略的に示す図である。
【
図23】[0041] 単体のまつ毛の評価のための様々な幾何学的許容基準を示す図である。
【
図24A】[0042] ステレオカメラシステムがどのようにまつ毛の塊を識別するのに役立つことかを示す図である。
【
図24B】[0043]
図24Aのステレオカメラシステムがどのようにまつ毛の塊を識別するのに役立つかを示す図である。
【
図24C】[0044]
図24Aのステレオカメラシステムがどのようにまつ毛の房を識別するのに役立つかを示す図である。
【
図25A】[0045] まつ毛の位置についての良い先験的な知識を必要としないピンセットに関する分離方法の第1の部分を示す図である。
【
図26】[0049] 対象者のまつ毛内で動作し、作業領域から離れた基準マーカを有するピンセットを描いた図である。
【
図27】[0050] まつ毛を繰り返し離間させ、それらを許容基準と照らし合わせて確認するためのプロセス図である。
【
図28】[0051] 様々な幾何学的基準およびパラメータに基づいてまつ毛を評価するためのプロセス図である。
【
図29】[0052] 幾何学的およびニューラルネットワークプロセスの両方を用いてまつ毛を評価するためのプロセス図である。
【
図30A】[0053] 2つの別々のプローブを使用し、後者のステップまでまつ毛位置の良い知識を必要としない分離方法の第1の部分を示す図である。
【
図31】[0057] ステレオコンピュータビジョンを用いて、人間の天然まつ毛の一般的な位置を確認する方法を示す図である。
【
図32】[0058] 筐体用のカート型マウントを示す図である。
【発明を実施するための形態】
【0009】
[0059] 以下の説明は、多数の特定の構成、パラメータなどを説明している。しかしながら、そのような説明は本発明の範囲に対する限定として意図するものではなく、代わりに例示的な実施形態の説明として提供される。
【0010】
[0060] 以下の説明において、用語「まつ毛」が用いられる場合、それは人の1つ以上の天然まつ毛繊維を指すことを意味している。「まつ毛エクステンション」または「エクステンション」という用語が用いられる場合、それは人工のまつ毛エクステンションを指すことを意味する。「まつ毛の扇形」という用語が用いられる場合、それは目に関連する全ての天然まつ毛を意味する。
【0011】
ロボットまつ毛エクステンション
[0061]
図1は、本発明の実施形態の基本的な外部の特徴を説明するロボットまつ毛エクステンションシステムの外観図である。この実施形態は、対象者301および使用者を保護するための筐体201を有している(「対象者」という用語はまつ毛エクステンションを受ける人を指すのに用いられ、「使用者」という用語は、通常、必ずしもそうではないが美容技術者である、装置を操作する人を指す)。対象者301は、歯科医院の椅子、より適切には、対象者の髪を洗うためにしばしば行われるようにリクライニングすることができるタイプの美容室用の椅子、と非常によく似た椅子302にもたれる。筐体201は、その内部のロボット機構が対象者301のまつ毛にアクセスできるように、対象者301の顔に対して筐体201を位置決めするために用いられるアーム103によって床、天井、または椅子に取り付けられている。アーム103は、多くの形態をとることができ(そして、筐体301を対象者301の上に転がし、床から筐体201までの距離を容易に設定することのできる方法を有する単なるカートでさえあってもよい)、ここでのアームは、通常歯科医院でX線装置のようなさまざまな器具を置くのに使用されるアームとして描かれることを意味している。アーム103は、歯科医の器具台を様々な位置に容易に移動させても常に水平に保つために歯科医院で用いられるもののようなパンタグラフ機構(図示せず)を含んでいてもよい。アーム103はまた、垂直方向のピボットを中心に回転する単純なスイングアームであってもよい。
図1のシステムはまた、筐体201が対象者301に近接しているときにロボット機構が対象者301のまつ毛にアクセスすることを可能にする、筐体201の下面の開口部からなる窓269を示している。当然ながら、筐体201は対象者301および使用者をロボット機構から保護することができるが、窓269から突き出ることがあるロボット機構の部分に対して保護することはできない。さらに安全性を確保する方法はいくつかある。第一に、ロボット工学の専門家は、外科用ロボット工学で行われているような厳格なプロセス制御と冗長なセンシングおよび処理を通して本質的に安全なロボットを作ることが可能であることに気付くであろう。しかしながら、ロボット機構が、窓269を通って対象301のまつ毛を除いたいかなる部分にも到達できないように、人に配置された保護層を提供することも可能である。ロボット機構を人間の目に損傷を与えられないほど弱く設計することさえ可能である(これは、適用されているまつ毛エクステンションが非常に軽く、非常に弱いロボットによって操られることができることにより可能である)。以下の説明では、ロボットは本質的に安全であり、過度の危険を伴わずに人間である対象者および使用者の近くで動作することができると一般に想定されるが、ここに示す実施形態は選択した安全システムに係らず通常は適切なものである。
【0012】
[0062]
図2に示す代替的な実施形態では、対象者301は、代替的な椅子122の上で、リクライニングするよりもむしろ、前かがみになる。
図2では、代替的な椅子122は大きなパッド入りピラミッド形として描かれているが、椅子122は前向きマッサージ椅子または膝立ちコンピュータ椅子と同じくらい簡単にすることができる。この実施形態では、代替的な筐体151は、その上面に代替的な開口部169を有して床または支持面に置かれることができる。もちろん、これはロボット機構に異なる向きをもたらすことになるが、ロボット工学の分野ではロボットの向きをどのように調整できるかはよく理解されている。この代替実施形態にとって有利な点は、対象者301がシステムからいつでも自分自身を外すことができることであり、上述の実施形態では、対象者301が出られるようになる前に筐体201が取り外されるようになっている。さらに、この実施形態はまた、別の筐体151を地面または支持面に直接または短い脚により配置して、他の支持構造の必要性を低減させる。しかしながら、多くの人がこの姿勢が前の実施形態のリクライニング姿勢よりも快適でないと感じることは不利である。それでも、2つの実施形態は一般に同様のロボット機構および機器を用いることができる。
【0013】
[0063]
図3では、筐体201の前面216および屋根217(
図1参照)は、筐体201の内部を見ることができるように省略されている。また、筐体201の右側218は、視認性を高めるために切り取られている。筐体201の内部にロボット機構219があることが分かる。機構219は、「直交ロボット」または「xyzステージ」と一般に呼ばれる種類のものである。この機構をさまざまな方向に直線的に動かすのは、リニアアクチュエータ(および後述のヘッド上の回転軸)の組み合わせによる。
図3では、x軸の方向は矢印220で示され、y軸の方向は矢印221で示され、そしてz軸の方向は矢印222で示されている。
図3では、ロボット機構219は、x軸カート226をx軸に沿って前後に移動させるx軸ベルト225に接続されて、x軸モータ224によって駆動される2つのx軸アクチュエータ223を有している。ロボット機構219を実装するために用いられる配線および他の詳細は、明確さのために省略されている。
【0014】
[0064] ロボット機構219はまた、x軸カート226に取り付けられたy軸アクチュエータ227を有している。Y軸アクチュエータ227は、Y軸カート230をy軸に沿って前後に移動させるY軸ベルト229に接続されて、Y軸モータ228によって駆動されている。ロボット機構219はまた、y軸カート230に取り付けられたz軸アクチュエータ231を有している。Z軸アクチュエータ231は、z軸スライド233をz軸に沿って上下に移動させる不図示のベルトによってz軸スライド233に接続されたz軸モータ232によって駆動される。ロボットヘッド機構234は、z軸スライド233に接続されている。
【0015】
[0065] 明確にするためにロボット機構219の他の部分を省略して、ロボットヘッド機構234を
図4に示す。
図4では、向きの用語は、傾斜(またはピッチ)軸181、ロール軸182、およびねじれ(またはヨー)軸180としてラベル付けされている。ロボットヘッド機構234の第1の構成要素は、z軸スライド233に取り付けられており、この実施形態では、ねじれ軸アクチュエータ235である。アクチュエータ235は、内部機構およびモータを使用して、ロボットヘッド機構234の残りの部分をz軸の周りに回転させる。ねじれ軸アクチュエータ235の下には、ねじれ軸アクチュエータ235の底部を傾斜軸アクチュエータ237に接続する傾斜アクチュエータブラケット236がある。アクチュエータ237は、内部機構およびモータを用いて、z軸に垂直であるがねじれ軸アクチュエータ235と共に回転する軸を中心にロボットヘッド機構234の残りの部分を回転させる。この実施形態では、駆動される5つの軸があり、x(アクチュエータ223)、y(アクチュエータ227)、z(アクチュエータ231)、ねじれ(アクチュエータ235)、および傾斜(アクチュエータ237)に作動する。当業者は、エンドエフェクタの真の任意の位置を得るために、ロボットが少なくとも6つの自由度を持たなければならないことに気付くであろう。しかしながら、この実施形態では、エクステンションがロボット機構219に概ね一貫した向きで受け取られることを確実にすることによって追加の軸の複雑さが回避されている。これは、
図5の列272に示すように、人工まつ毛エクステンションが概ね規則的な列になるために可能である。いずれにしても、ロール軸アクチュエータが傾斜軸アクチュエータ237のそばに追加されて、必要に応じてこの軸を設けることができることは容易に分かる。
【0016】
[0066]
図6は、別の角度から見た、傾斜軸を動かした状態のロボットヘッド機構234の詳細図である。把持アクチュエータ238は、傾斜軸アクチュエータ237の出力部に直接的に取り付けられており、ピンセット239を把持および把持解除するための単純な機構を有する。ピンセット239は固定側258と移動側259とを有している。「静止」とは、把持アクチュエータ238が作動されるときにピンセット239の側部258がロボットヘッド機構234の他の部分に対して動かないが、移動側259は動くことを意味する。把持アクチュエータ238は、単純な空気圧アクチュエータ、ソレノイド型アクチュエータ、電気モータ、または一般的に用いられる任意の数の把持機構であってもよい。当然ながら、これらのタイプのアクチュエータのいずれもコンピュータシステムまたはコントローラによって選択的に作動させてもよい。カメラ240およびLEDライトアレイ241も傾斜軸アクチュエータブラケット236に取り付けられている(したがって、この実施形態では傾斜軸と共に移動しない)。これらは、天然のまつ毛と合成まつ毛エクステンションの両方を照らすように配置されるべく、ロボット機構制御システムのコントローラによって使用される。制御システムは、天然まつ毛および合成まつ毛エクステンションの位置および向きを判断しようとするためにコンピュータビジョン(マシンビジョンとも呼ばれる)技術を用いたコントローラの形態とすることができる。例えば、ロボット機構制御システムは、カメラ240からの画像を処理し位置を推定するという基本機能を実行するために、ROS(登録商標)オペレーティングシステムを実行し、OpenCV(登録商標)ライブラリからのコンピュータビジョンルーチンを使用してプログラムされたマイクロプロセッサであってもよい。カメラ240は、コンピュータまたはコントローラと通信するデジタルカメラである。当業者は、天然まつ毛繊維および合成まつ毛エクステンションを三次元空間に配置する能力を向上させるために、2つのカメラを使用することができ、双眼またはステレオコンピュータビジョンと呼ばれる技術がカメラ240の代わりに使用されることができることに気付くであろう。そのような構成は、2つのステレオカメラ277が1つのライト278の両側に1つずつ示された
図7に示されている。いくつかの実施形態においてステレオカメラ277を提供することの重要な点は、それが可能であるという条件で、両方のカメラからの画像で対象が適切に認識されるコンピュータビジョンシステムが6つ全ての(X、Y、Z、A、B、C)空間寸法における対象の位置および向きを計算できるということである。いくつかの実施形態では、一対の立体画像を1つのカメラで生成するために、単一のカメラをミラーおよび/またはプリズムと共に用いてもよい。代替的に、構造化されたライトレンジファインダまたは走査式AMまたはFMレーザレンジファインダを使用して、天然まつ毛繊維および合成まつ毛エクステンションを三次元空間に配置してもよい。実際に、このタスクを実行することができる今日利用可能な多くの解決法がある。同様に、LED以外の多くの光源によって照明を提供することができ、または構造化光距離計のような装置を使用して繊維の位置および配向を決定するタスクを実現することによって照明を不要にすることができる。
【0017】
[0067]
図8に係る機械の裏側を見ると(明確にするためにほとんどの内部要素が取り除かれている)、筐体201の内側へのアクセスを提供するために開くことができるアクセスドア242があることが分かる。筐体201の内側には、使用者が機械によって用いられる消耗品を残すことができる標的領域がある。本実施形態では、機械の床207上に3つの長方形の領域が示されている。これらは、エクステンションA装填領域243、エクステンションB装填領域244、およびエクステンションC装填領域245である。領域243~245は、ピンセット239がアクセスできるようにするために、様々な長さおよび/または形状のまつ毛エクステンションのトレイを配置できる場所である。まつ毛エクステンションは、通常、
図5に示すまつ毛エクステンショントレイ273のようなトレイ上にあり、様々な列のエクステンションが粘着性裏当て材に取り付けられている。本実施形態では、使用者は、1つのサイズのエクステンションをエクステンションA装填領域243に、別のサイズを含むトレイをエクステンションB装填領域244に、さらに別のサイズを含むトレイをエクステンションC装填領域245に配置することができる。制御システムは、使用者が目のどの領域にAの大きさを用いるか、どの領域にBの大きさを用いるか、どの領域にAおよびBの混合を用いるか等を指定できるユーザーインターフェース(筐体201の外側に取り付けられたタッチスクリーンなど。図示せず)を有することができる。ロボット機構219は、エクステンションを配置するために視覚システムまたは他のシステムを使用しているので、使用者がトレイを配置するのにそれほど時間がかからないように、装填領域内のトレイの正確な配置は柔軟であってもよい。いくつかの実施形態では、トレイは、トレイの種類を自動的に識別するために用いることができるバーコードまたはRFIDタグなどの識別タグを含むことができる。
【0018】
[0068]
図8に係る機械の裏側からも見られるのは、筐体201のフロア207上に指定された2つの円形領域である。これらの領域は、考えられる液体装填領域、すなわち液体A装填領域246および液体B装填領域247を説明することを意図している。この実施形態では、液体A装填領域246が領域内に配置された接着剤カップ248と共に示されている。接着剤カップ248は、天然まつ毛繊維に人工エクステンションを接着するために用いられるであろう数滴の接着剤(通常はシアノアクリレートであるが、銀イオンのような抗菌化合物で強化されたシアノアクリレートのような特別な接着剤であってもよい)を使用者が入れる浅いカップである。液体B装填領域247は他の様々な液体に用いることができる。例えば、接着剤用のプライマーは、ピンセット239が対象者301のまつ毛にプライマーを分配するために掴むことができる綿棒状の道具を含む容器内の液体B装填領域247に配置されることができる。しかしながら、実際には、開始する前に、使用者にプライマーを対象者301のまつ毛に塗布させることがより容易であり得る。いくつかの実施形態では、接着剤は、必要に応じて接着剤を分配するための自動アプリケータによって塗布されることができる。いくつかの実施形態では、接着剤は、水のような化学物質であってもよい促進剤、またはUV光のようなエネルギの使用によって早められた早さで硬化されてもよい。促進剤の種類は、用いられる接着剤の種類によって異なる。
【0019】
[0069]
図8はまた、ロボット機構219のコントローラ276も示す。ロボット機構用のコントローラは当技術分野ではよく理解されているので、コントローラ276はロボット機構219および筐体201の他の図から省略されている。しかし、コントローラ276は、一般性を失うことなく、ロボット機構219の制御に用いられる電子機器および計算機器を表すことを理解されたい。これは、モータ224,228,232ならびにねじれおよび傾斜軸アクチュエータ235,237を制御するために用いられるパワーエレクトロニクス、ならびにロボットの他の任意のモータおよびアクチュエータを含んでいる。さらに、コントローラ276は、カメラ240(またはステレオコンピュータビジョンシステムが用いられる場合にはステレオカメラ277)およびロボット機構219によって用いられる任意のセンサと通信するように構成されている。コントローラ276は、限定されないが、以下のうちの1つまたは複数の、マイクロコントローラ、マイクロコンピュータ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理装置(GPU)、または特定用途向け集積回路(ASIC)から構成されることができるコンピューティングシステムをさらに含んでいる。コントローラ276は、ロボット機構219の動きをコンピュータビジョンシステムから受信したデータと調整し、次にまつ毛の分離およびエクステンションの配置中に説明した動きを実行するために用いられるソフトウェアを含んでいる。いくつかの実施形態において、コントローラ276は、カメラ240またはステレオカメラ277と共に、コンピュータビジョンシステムを備えている。他の実施形態では、カメラ240またはステレオカメラ277は、コンピュータビジョンシステムを構成するのに十分な処理を含んでいる。一般に、用語「コンピュータビジョンシステム」は、ここでは、環境を2Dまたは3Dで画像化するように構成された任意のセンサまたはセンサ群を意味するために広く使用されている。ロボットおよび/またはエンドエフェクタの動きを視覚的に調整するためのコンピュータビジョンシステムの使用は、しばしば視覚サーボと呼ばれる。このような視覚サーボシステムでは、ロボットはコンピュータビジョンシステムからの情報を用いてその内部位置モデルを修正し、この内部位置モデルは、他の方法では関節位置センサを介して通常は作成される。この利点は、コンピュータビジョンシステムが出力位置の絶対測定値である場合、関節位置センサが各関節に誤差を追加し、ロボットの各追加関節に累積誤差が累積することである。いくつかの実施形態では、1つのコンピューティングシステムは、コンピュータビジョンおよびロボットシステムに用いることができ、または通信する専用コンピューティングシステムをそれぞれに用いることができる。
【0020】
[0070] 一般に、装置は、使用者が特定の対象者の要求に応じてロボット機構219およびコントローラ276を構成することを可能にするために提供されたユーザーインターフェースを含むことができる。このインターフェースは、対象者の天然まつ毛のどの領域でどのタイプのエクステンションを用いるかの決定を可能にすることができる。いくつかの実施形態では、データ、使用統計、診断、および支払い情報を伝達するために、ロボット機構219およびコントローラ276にクラウドコンピューティングプラットフォームへの通信を提供されることができる。
【0021】
エクステンションの取り付け
[0071] この段落は、本発明を使用してまつ毛エクステンションを取り付けるプロセスの主要部分を要約する。最初に、使用者は、対象者301が望む外観について話し合い、用いるまつ毛エクステンションのタイプを選択する。この実施形態では、次に、使用者は最大3つの異なる長さのエクステンションのトレイを装填領域243~245に入れる。次に、使用者は、(前述したように)ユーザーインターフェースを使用して、目の周囲のどの領域にどのサイズのエクステンションを用いるかを示すことができる。本発明が対象者のまつ毛にプライマーを塗布するのに使用されない場合、使用者はこの時点で手動によりそれを行うことができる。次に、使用者は、数滴の接着剤を接着剤カップ248に入れ、接着剤カップ248を液体A装填領域246上に置き、アクセスドア242を閉じ得る。次に、使用者は、(美容技術者がまつ毛エクステンションを取り付けるときに現在行われているように)対象者の下まつ毛をテープで固定し、筐体201を位置決めすることができる。このとき、使用者はユーザーインターフェースを使用してプロセスを開始することができる。次に、ロボット機構219は、(アクチュエータ223,227,231,235,237を使用してそれ自体を適切な位置に移動させることによって)LEDライト241およびカメラ240を使用して天然まつ毛を検査し、それらが適切に配置されているかどうかを判断する。制御システムは、カメラ240による出力と前述のコンピュータビジョン技術とを使用してこれを行う。まつ毛が正しく配置されていない場合、ロボット機構219はプロセスを停止し、使用者に問題を修正するように促す。次に、ロボット機構219は、開いているピンセット239を使用して対象者のまつ毛を1つずつ分離して、それらが互いにくっついていないことを確実にすることにより、対象者のまつ毛を「羽づくろい(preening)」することによってプロセスを開始することができる(しかしながら、これは通常は必要とされないこともある。いずれの場合も、まつ毛の分離は以下の記載で説明する)。いくつかの場合では、この分離は分解と呼ばれる。次に、ロボット機構219は、装填領域243~245のうちの1つに進み、カメラ240を使用してトレイ上の一列のエクステンションから次のエクステンションを見つけ、把持アクチュエータ238を使用してまつ毛エクステンションの周りでピンセット239を掴む。アクチュエータ223,227,231,235,237を使用して、ピックアップされるエクステンションに対してそれ自体を適切に位置決めすることによって、これは適切な向きで行われる。ロボット機構219は、次に、液体A装填領域246に進む。次に、ロボット機構219は、傾斜軸アクチュエータ237を使用して、(これから近位端と呼ばれる)接合される端部が多かれ少なかれ垂直方向になる位置にエクステンションを傾斜させる。次にシステムはカメラ240からの出力を使用して接着剤カップ248の位置を見つけ、エクステンションの近位端をカップ内に浸して接着剤を塗布する。ロボット機構219は次に、エクステンションを対象者の天然まつ毛の近くに移動させる。システムは次にカメラ240からの出力を使用して、接着される第1の天然まつ毛の位置を決定する。この時点で、ロボット機構219は、必要に応じて、以下に説明する技術を用いて他のものから第1のまつ毛を分離することができる。それが行われると、ロボット機構219はアクチュエータ223,227,231,235,237を使用してエクステンションを天然まつ毛に適切に向け、次にエクステンションを天然まつ毛に接触させて置き、一時的に接着剤を接着させてからピンセット239を解放する。ロボット機構219は、次に適切なエクステンション装填領域の領域に戻り、次のエクステンションを用いてプロセスを繰り返すことができる。このサイクルが繰り返されると、システムは、伸長されるべき次のまつ毛が、異なる長さのエクステンションが規定された領域にあり、したがって異なるエクステンション装填領域243~245からのエクステンションを掴むことを決定することができる。
【0022】
[0072] いくつかの実施形態では、ロボット機構219がエクステンションを対象者の天然まつ毛の近くに移動させる前に、適切な量の接着剤が接着剤カップ248から塗布されることを確認することが望ましい。これはカメラ240からの出力で行うことができ、システムは接着剤を塗布した後のエクステンションおよび接着剤の幅に基づいて塗布された接着剤の量を決定する。多過ぎる接着剤が存在する場合は、専用の機構を用いるか、または指定された接着剤捨て場に対して接着剤をブラッシングすことによって除去することができる。これは、目の下のテープやその他のガーゼに余分な接着剤を拭き取るといった、手動エクステンションで用いられる方法と似ている。
【0023】
[0073] いくつかの実施形態では、1つのエクステンションを複数のまつ毛に取り付けることが望ましい場合がある。天然まつ毛は異なる早さで成長し、2つを接着すると時間の経過とともにエクステンションの方向が変わる可能性があるため、そうすることにより概ね避けられる。しかしながら、いくつかの場合は、特定の審美的理由から望ましいことがある。したがって、指示があれば、1つのエクステンションで2つ以上のまつ毛を意図的に接着することができる。
【0024】
[0074] いくつかの実施形態では、接着剤は使用されないが、代わりに熱収縮性プラスチックチューブ(熱収縮)またはバンドが用いられることができる。そのような実施形態では、プロセスは説明されたように進行するが、ロボット機構は、接着剤を塗布する代わりに、エクステンションおよび熱収縮バンドをまつ毛上に通す前にエクステンションと熱収縮バンドとを引っ掛ける。次に、ロボット機構に取り付けられた熱風源によって熱収縮が作用する。
【0025】
マニキュア液の適用
[0075]
図9は、筐体201の左側を示し、この実施形態ではドアを含まない追加のアクセス窓249があることが分かる。アクセス窓249は、それを通して対象者の手を提示して彼または彼女の爪を塗装させることができる窓である。アクセス窓249は、筐体フロア207から突き出して示されているサブ筐体250へのアクセスを与える。サブ筐体250は、それ自身の床251を有する。サブ筐体250は、ロボット機構219がピンセット239内にマニキュアアプリケータなどのツールを保持していた場合にマニキュアがロボット機構219の作業領域の下方に配置されており(
図9では筐体201内には見えない)、マニキュアアプリケータは床251に横たわっている手に触れることができるが、ロボット機構219の残りの部分は手に触れることができない。柔軟なマニキュアアプリケータが当たって人が怪我をする可能性は低いので、ロボット機構219の機能不全の場合に対象者の安全を確実にする。システムは、サブ筐体250とメイン筐体201との間の開口部253に取り付けられたライトカーテン装置252を用いて、対象者が自分の手をロボット機構219の作業領域内に動かしていないことを確認する。ライトカーテン252は、ピンセット239によって保持されたマニキュアアプリケータがライトカーテン252を破ることなく対象者の指の爪にアクセスすることができるように開口部253の全長にわたって延びていないので、装置を停止させる。しかしながら、ライトカーテン252を壊して装置を停止させることなく、対象者が自分の手でメイン筐体201にアクセスすることは極めて困難であることが分かる。実際には、使用者は、アプリケータキャップを緩めた状態で、液体A装填領域246および液体B装填領域247で標準的なアプリケータ型蓋を有する標準ボトルにマニキュアを入れることができ、ピンセット239で掴むことができる(ピンセット239は、これを容易にするための特別な特徴を有して作られていてもよい)。次に、使用者は、自分の爪をロボット機構219のアクセス可能領域に入れた状態で、サブ筐体250の床251に自分の手を置くように対象者に指示することができる。次に、ロボット機構219は、マニキュアボトルからアプリケータを引き込み、人がそうであるようにマニキュアボトルの開口部の縁を越えて塗布することによってアプリケータ上の液体の量を調整し、開口部253に進み、対象者の爪にマニキュアに塗布する。当業者は、ロボット機構219がマニキュアの上にマニキュアトップコートを塗布することができ、(爪をタッチアップするために)マニキュアリムーバーを塗布することができる。マニキュアリムーバーをネイル全体に塗布した後にマニキュアを除去することができるように、織物パッドをロボット機構219に提供されることも可能である。しかしながら、マニキュアを除去することは、それを適用することよりも人間にとってはるかに容易であり、したがって、ロボット機構219にとってこのタスクを実行することは意味がないことがある。
【0026】
まつ毛の分離
[0076] 非常に高品質またはより長持ちするまつ毛エクステンションジョブを生成するように設計されている実施形態の場合、まつ毛エクステンションを適用するプロセスの重要な部分は、人工まつ毛エクステンションが適用される前に1つの天然まつ毛を他のものから分離することである。この理由は、まつ毛の束にエクステンションを付けると(短期的には有用であるが)、天然まつ毛は、異なる速度で成長するため、成長すると問題が生じるということが業界で一般に認められている考えである。したがって、いくつかの実施形態では、接着前に単一のまつ毛を分離することが有利である。
【0027】
[0077] これを達成することができる多くの方法がある。
図10は、まつ毛分離機構254を含むロボットヘッド機構234の増強バージョンを示す。まつ毛分離機構254は、ピンセット239の固定側258に取り付けられている。「静止」とは、把持アクチュエータ238が作動されるときにピンセット239の側部258がロボットヘッド機構234の他の部分に対して動かないが、側部の259は動くことを意味する。ピンセット239の側部258,259間の距離は、まつ毛エクステンションを拾うために必要とされるよりもはるかに大きいことがここで示されていることに留意することもまた重要である。これは、他の物、例えば一般的なマニキュアボトルのアプリケータ蓋を拾い上げることができる機構を説明するために示されている。いくつかの実施形態では、ピンセット239はずっと小さく、側部258,259間により小さな間隙を有している。まつ毛分離機構254は、対象者301の天然まつ毛に接触することを意図するプローブ255を有し、プローブ255が対象者301のまつ毛に接着しないことを確実にするために用いられる接着剤と適合しない材料で作られる。この実施形態では、まつ毛分離機構プローブ255は、ばね257を有する4本棒リンク機構として示されているばね機構256に取り付けられている。ばね機構256の目的は、プローブ255が表面と接触していないときはいつでも、プローブ255がピンセット239の固定側258のわずかに下方(z軸222に沿った方向で筐体フロア207に向かう方向を意味する)に延びるようにすることである。
【0028】
[0078]
図11は、筐体201の中に突出している対象者301の上まぶたの天然まつ毛260と共に、筐体の床207および窓269を見下ろした図を示す。プローブ255は断面図で示されている。実際には、ばね機構256は、プローブ255が遭遇するいかなる物体に対しても大きな力を発生させることができないため、プローブ255は対象者301の頬にかなり近づけることができ、接触することさえできる。これは、典型的には、ロボット機構219が、接着剤が塗布されたばかりで接着される準備ができているピンセット239内のまつ毛エクステンション261と共に到着するときに行われる。事実、プローブ255は、1本または2本の天然まつ毛繊維の上に直接着地することができる。カメラ240は、プローブ255が上まぶたの天然まつ毛260を介していつ下降したかを判断することができる。または、プローブ255は、対象者301の頬に接触して、まつ毛分離機構254に小さなたわみを生じさせることができる(これは機構254上のセンサを用いてまたはカメラ240を用いて検出することができる)。いくつかの実施形態では、プローブ255は、対象者301とプローブ255との間の導電率を測定する回路を含むことができ、これによって導電率が大幅に増加したときに接触が行われたと判断する。次に、z軸アクチュエータ231が停止され、アクチュエータ223,227,235(恐らくいくつかの実施形態では他のもの)がプローブ255を矢印262で示す方向に動かし、このプロセスでまつ毛を動かすために協調して用いられる。プローブ255の長さは、そうしている間、まつ毛エクステンション261がプローブ255の先端よりも高い位置にあるので(z軸222で測定されるので)、まつ毛エクステンション261がいずれかのまつ毛繊維に誤って接触する(そしてこれにより間違ったまつ毛に接着する)危険性がない。
図12に示されるように、ターゲット天然まつ毛繊維263が、接着がなされ得る位置に分離されるまで、動きが進行する。次に、ピンセット239は、接着される位置に移動され、まつ毛エクステンション261の近位端をターゲット天然まつ毛繊維263に接触させることができ、この間に、まつ毛分離機構254はさらにたわんで、ピンセット239をプローブ255なしで上まぶたの天然まつ毛260に対してかなり動いて近付くことを可能にする。
【0029】
[0079] この分離手順は、何らかの理由でターゲット天然まつ毛繊維263が隣接する天然まつ毛繊維に固着している場合、必ずしもターゲット天然まつ毛繊維263を分離するとは限らない。そうであれば、当技術分野ではしばしば「羽づくろい」と呼ばれる手順を使用して、天然まつ毛繊維263を他のものから分離することができる。羽づくろい中に、プローブ255は、上記のように上まぶたの天然まつ毛260に入れられることができる。しかしながら、このとき、プローブ255は好ましくはターゲット天然まつ毛繊維263の真上またはそれに隣接して着地し、プローブ255は好ましくはターゲット天然まつ毛繊維263の近位端のできるだけ近くに着地する。プローブ255が上まぶたの天然まつ毛260内に移動したとき、または対象者301の頬に触れてまつ毛分離機構254が少し撓んだとき、それは機構254上のセンサまたはカメラ240を使用して検出することができ、その後、アクチュエータ223,227,235(いくつかの実施形態ではおそらく他のアクチュエータ)を協調して使用して、プローブ255を矢印264で示す半径方向に移動させる。同様に、プローブ255の長さは、そうする間、まつ毛エクステンション261は(z軸222で測って)プローブ255の先端よりも高い位置にあるので、まつ毛エクステンション261が誤ってどの天然まつ毛繊維にも接触する(およびこれにより誤ったまつ毛繊維に接着される)危険性がない。プローブ255が上まぶたの天然まつ毛260を出るまで移動が続く。このプロセスは複数の開始位置で繰り返され、その目的は、プローブ255をターゲット天然まつ毛繊維263とそれが固着されている天然まつ毛繊維との間に移動させ、これにより動きが半径方向に進むにつれてそれらを引き離すことである。ターゲットの天然まつ毛繊維263が隣接するまつ毛によく接着されている場合、羽づくろい動作の効果は、不快感を引き起こす可能性があり望ましくないが、片方または両方の固着したまつ毛を対象者301のまぶたから「むしり取る」ことであってもよい。このため、まつ毛分離機構254の装着は、システムに動きを止めるように伝えることができるようにプローブ255上の力を検出するために計測機器を有していてもよい。この時点で、システムは再度試みることができ、もしターゲット天然まつ毛繊維263を他のものから分離されることができない場合、使用者は通知され、問題を手動で修正するかまたはターゲット天然まつ毛繊維263をスキップするように促すことができる。上述のように、コンピュータビジョンシステムは、プローブ255だけでなく潜在的にピンセット239の両方を同様に位置付けることができることに留意することもまた重要である。これは、コンピュータビジョンの位置がロボット機構219のエラーを修正するのを助けることができることを含むいくつかの利点を有している。さらに、プローブ255とターゲット天然まつ毛繊維263との間の相対位置は、いずれかの絶対位置よりも重要である。すなわち、装置は、ターゲット天然まつ毛繊維263の絶対位置を知る必要はないが、プローブ255およびまつ毛エクステンション261に対するターゲット天然まつ毛繊維263の相対位置を知ることが好ましい。実際に、これらの物に対する残りの人間のまつ毛と対象者301の頬との相対位置も関連しており、コンピュータビジョンシステムによって記録されることができる。
【0030】
[0080] 2つのセンサがまつ毛分離機構254に関して言及されている。1つは、プローブ255が上向きに押され、したがってばね257がいくらかたわんだことを判断するために用いられるセンサであり、もう1つはプローブ255に対する横向きの力を検出するために用いられるセンサである。たわみセンサは、いくつかの方法で実施されることができる。例えば、まつ毛分離機構254が、ここに示されるような4本バーリンケージとして実施される場合、動きを連続的に検出するために光学又は磁気エンコーダをリンケージの一方の関節に取り付けることができる。動きが始まったことを検出することだけが望まれる場合、所望の量の偏向に達したときに光センサのビームを遮断する旗をバーのうちの1つに添付することができる。同様に、磁気または誘導近接センサを使用して、機構が動かされたときにバーの接近を検出することができる。自動化装置設計の当業者は、これを達成することができる多くの方法があることに気付くであろう。いずれの場合でも、そのようなセンサはこれらの読みをコントローラ276に送り返すことができる。
【0031】
[0081] 同様に、プローブ255に対する横方向荷重を検出するためのセンサを作成することは、多くの方法で達成することができる。例えば、ひずみゲージをまつ毛分離機構254のマウントに固定して、プローブ255に対する横方向荷重に比例した出力を生成することができる。あるいは、まつ毛分離機構254のマウントは、まつ毛分離機構254が横方向荷重下で横方向に動くように十分に適合されることができ、前段落で述べた動きを測定する技術が範囲外の荷重を検出するのに使用されることができる。また、動きに用いられるアクチュエータモータのトルクを監視して、機構254が何らかの抵抗に遭遇したかどうかを検出することが可能である。自動機器設計の当業者は、これを達成することを可能にする多くの方法があることに気付くであろう。
【0032】
[0082] 上述したターゲット天然まつ毛繊維263の羽づくろいに関連するのは、バルク羽づくろい(bulk preening)である。バルク羽づくろいは、同じ方法で実行されることができる。しかし、ピンセット239の両側がプローブ255と同時に使用されて一度に多くのまつ毛を分離することが可能である(ピンセット239がバルク羽づくろい中にエクステンションを保持していないと仮定して)。ピンセット239は、所定の位置に移動させ、プローブ255を対象者301の頬に接触させ、次にピンセット239の端部が上まぶたの天然まつ毛260の繊維内および対象者301の頬の上になるまで対象者301の頬に向かって移動し続ける。次に、ピンセット239およびプローブ255を対象者のまぶたから半径方向外側に移動させるプロセスは、プローブ255のみが羽づくろいのために使用されたとき、以前のように進行する。いくつかの実施形態では、羽づくろいはブラシで達成することができる。この実施形態では、プローブ255は、ブラシで置き換えることができ、あるいはピンセット239でブラシを拾うことができる。
【0033】
[0083] 自動機器を設計する当業者は、まつ毛の分離を達成するためのメカニズムを実施するための多くの方法があることに気付くであろう。例えば、ロボット機構219から完全に独立したロボット機構を使用して、まつ毛の扇形部(fan)を通してプローブ255のようなプローブを移動させることができる。この機構は、筐体201に取り付けられ、矢印262で示される方向に設定経路でプローブを移動させる単純な揺動機構であってもよい。代替的に、ロボットヘッド機構234は、2つの小さいアームを含むものと交換されることができ、その1つは羽づくろい用であり、もう1つはエクステンションを拾い上げて配置するためである。このような代替的なロボットヘッド機構の例は、それぞれいくつかの自由度の2つの小さなアームを含んだ、ネブラスカ州リンカーンのVirtual Incision Corporationによって設計されたロボットである。
【0034】
[0084] 機械が用いられる前にまつ毛の一部を手動で分離することによって、いくつかの天然まつ毛が他のものから分離されることが可能であることも理解されるであろう。これを行うために、使用者は、韓国のIsiswig Co.、Ltd.によって製造されたSpeed Eye Link(登録商標)のような手動のまつ毛分離ツールを用いることができる。まつ毛分離ツール270が
図13に示されている。ここに開示されているロボットシステムと併せてこの装置を用いるために、使用者はツール270を対象者301の頬210に置く(
図1参照)。次に、使用者は、被検者301の上の天然まつ毛の一部の下に波形表面271について行う。その後、プローブを手動で天然まつ毛を分離し、各波形に天然まつ毛が1つだけ含まれるようにする。次に、使用者は、ロボットシステムが対象者301の天然まつ毛の一部にエクステンションを配置できるように、対象者301の顔の上に筐体201を配置する。その後、このプロセスを繰り返して、より多くの天然まつ毛の一部を伸ばすことができ、最終的には、ロボットシステムが天然まつ毛を分離する必要なしに、完全に高品質のまつ毛エクステンションジョブを生み出すことができる。関連する実施形態では、波形表面271の目的と同様に、くし型構造を使用して個々の天然まつ毛を分離することができる。
【0035】
その他のロボット
[0085] 示された実施形態は、ロボット機構219を例示するために直交ロボットを用いている。しかしながら、当業者であれば、スカラ型ロボット、デルタロボット、さらには6軸工業用ロボットによって同じことが達成され、実際、ロボット機構219を作成するために多くの異なる機構を用いることができ、これらの機構のいくつかは、任意の特定のロボット型よりもむしろ特化した自動機器に近くすることが可能であることを理解するであろう。ここに示されている直交ロボットによる設計は、本発明を簡単に開示するためだけに描かれている。
【0036】
[0086] 例えば、本発明の別の実施形態において、対象者301の頭上で動作するスカラロボット500を示す
図14を考察する。スカラロボット500は、アーム502を第1の動力関節軸504回りに制御可能に移動させることを可能にする第1の動力関節503を介してアーム502に結合されたベースリンク501を含んでいる。アーム502はさらに、リンク510を第2の動力関節軸512を中心に制御可能に動かすことを可能にする第2の動力継手511を介してリンク510に結合される。最後に、出力リンク515は、図示されていないがリンク510の内部にある動力関節を介してリンク510に接続されている。出力リンク515は、軸516回りにおよび軸516に沿って制御可能に動かされることができる。すなわち、出力リンク515は、軸516に沿って並進し、軸516回りに回転することができ、両方の動きは制御可能である。3つの回転軸504,512,516、ならびに軸516に沿った第4の並進軸のこの配置は、古典的なスカラ配置であり、この配置が、上で使用された直交ロボットと同様に、ロボットヘッド機構517を3次元、X、Y、およびZに位置決めする能力を提供することがロボット工学の当業者には明らかであろう。ロボットヘッド機構517をZ軸516回りに回転させる追加の能力を有する。実際、スカラロボットおよび直交ロボットは、性能やコストを少し考慮することにより他のものよりも使用を推進して、様々な同様の工業上の適用に用いられている。ロボットヘッド機構517は、ピンセット520の精密な位置決めを可能にするためのカメラおよび1つまたは複数の傾斜アクチュエータを含む、
図4のロボットヘッド機構234と同様であってもよい。ピンセット520の精密な位置決めにより、エクステンション521と対象者301のターゲットまつ毛522との正しい位置合わせを可能にする。
【0037】
[0087] もちろん、産業用途で広く使用されているさらに有能なロボットアームは、
図15に示すように、6軸アーム530である。ここで、ベースリンク531は、回転軸532~537を中心に回転する一連の6つの回転関節を介してロボットヘッド機構517に連結されている。多くのロボット製造業者は、概して
図15に示すような種類に沿った幾何学的形状を有する6軸ロボットアームを製造している。6軸ロボットアームは実に1960年代およびビクター・ジェインマン(Victor Scheinman)の(その設計には5つの回転軸と1つの並進軸が含まれていたが)スタンフォードアーム(Stanford Arm)に関する研究まで遡る。スカラロボット500と比較して、6軸アーム530にさらに2つの自由度を用いることにより、ロボットヘッド機構517の向きの微調整が可能になり、追加の傾斜アクチュエータの必要性がなくなる。この場合、ロボットヘッド機構517は、ピンセット520とピンセット520を開閉するためのアクチュエータとを単純に含むことができる。もちろん、前述の実施形態のようにカメラおよび照明も好ましくは提供され、前述のようにロボットヘッド機構517上に配置することができ、あるいは6軸アーム530の別のリンクまたは筐体201に取り付けられることができる。
【0038】
[0088] いくつかの実施形態では、2つのロボットを設けることが望ましく、1つはまつ毛を分離するための第1のピンセット組を方向付け、2つ目のロボットはエクステンションを配置するための第2のピンセット組を方向付ける。2つのロボットが両方とも6軸アームである場合には、その配置は、2つの腕のそれぞれが一組のピンセットを操りながらまつ毛のエクステンションを行う人間に概ね類似している。この実施形態は、非常に単純なロボットヘッド機構を有する
図15に示されるロボットの2つのコピーを有することと概ね同じである。いくつかの実施形態では、各ロボットのロボットヘッド機構は作動ピンセットを単に備えていてもよい。この実施形態は、単に2つのロボットアームを有することに関連するコストおよび複雑さのためにあまり好ましくないと思われるが、エクステンション作業を実行するために実行可能である。
【0039】
その他のロボットヘッド機構
[0089] 本発明の別の実施形態では、ロボットヘッド機構234はより複雑なロボットヘッド機構と置き換えられている。これは、前述の実施形態で可能であるよりも、エクステンション配置においてより高い精度を達成するのに有用であり得、したがってより速い速度を可能にする。
図16Aを考察すると、この図は斜視図、上面図、および側面図で湾曲ピンセット600を示している。湾曲ピンセット600は、左穴605および右穴606を含んでいる。次に、
図16Bは、左右のモータ601,602をそれぞれ有する湾曲ピンセット600を示し、左右のモータ601,602のそれぞれは、左右の穴605,606まで延びるプランジャを有している。モータ601,602は、ピンセットを作動させるのに十分な力(典型的には1桁のニュートン力)を有する任意の小型線形アクチュエータであってもよい。限定するわけではないが、これには、ボイスコイルモータ、リニアサーボモータ、圧電モータ、および回転運動を直線運動に変換する歯車装置を有する回転モータ、例えばボールねじアセンブリ、ラックアンドピニオンアセンブリ、さらにはカムまたはリンク機構が含まれる。言い換えれば、モータ601,602がそれらのプランジャを作動させることを可能にするアクチュエータの正確な種類は、モータ601,602がピンセット600を作動させることができる限り重要ではない。さらに、近位ピンセット端部607ならびに両方のモータ601,602の本体は、この図には示されていない構造によって接地されていると想定されることに留意することが重要である。
【0040】
[0090] いずれのモータも作動させないことによって、
図16Bでは、ピンセット600は、ニュートラルライン603から等間隔で、非作動の広がった状態で保持される。
図16Cに示すように、左のモータ601のみを作動させることによって、ピンセット600は、ニュートラルライン603の右に向けて、まつ毛エクステンションのような小さな物体を掴むのに適した小さな間隔まで閉じる。逆に、
図16Dに示すように、右のモータ602のみを作動させることによって、ピンセット600は、ニュートラルライン603の左側に向けて、まつ毛エクステンションのような小さな物体を掴むのに適した小さな間隔まで閉じる。
図16Eに示すように、両方のモータ601,602を作動させることによって、ピンセット600は、中立線603のまわりのみで、まつ毛エクステンションのような小さな物体を掴むのに適した小さな間隔まで閉じる。したがって、モータ601,602を選択的に作動させることによって、小さな物体をこれらの位置のいずれかで掴むことが可能であり、次に、一方のモータを他方を押しながら弛緩させることによってこれら2つの位置の間で並進することによって、小さな物体を解放する前に新しい位置に配置することが可能である。
【0041】
[0091]
図17Aおよび
図17Bは、左右一対のモータのこの配置を利用した単純なロボットヘッド機構を示す。明確さを保つために、ベアリングおよび支持面は
図17Aおよび
図17Bでは省略されている。ここでは、分離ピンセット600Aおよび配置ピンセット600Bである2つのピンセットを有し、それぞれ独自の左モータ(601A,601B)および右モータ(602A,602B)を有している。ピンセット600A,600Bは互いに入れ子になっている。
図17Aに示すように、分離ピンセット600Aが配置ピンセット600Bの外側にあることが明らかである。分離ピンセット600Aの左右のモータ601A,602Aは作動されておらず、分離ピンセット600Aは完全に開くことができる。分離ピンセット600Aは人のまつ毛612を分離し、配置ピンセット600Bはまつ毛エクステンション611を保持する。まつ毛エクステンション611を保持するために、左右のモータ601B,602Bの両方が部分的に作動した状態で配置ピンセット600Bが閉じられる。しかしながら、エクステンション611を中心のわずかに右側に保持するために、左のモータ601Bは右のモータ602Bよりも多く作動されている。配置ピンセット600Bを制御するモータのごくわずかな作動によって、エクステンション611のごくわずかな動きが可能であることは明らかである。直径50~100ミクロンのオーダーのまつ毛及びまつ毛エクステンションの操作には非常に小さな動きを用いることができるので、これは分離及びエクステンション配置システムの操作において有利である。もちろん、ロボット機構219は同じ方向に全体的動作を提供することができる(ここで説明される動作の方向はおおよそy方向矢印221に沿っている)が、この精密な動作は最終位置決めにおいて所望の追加の分解能を提供できる(ロボット機構219および配置ピンセット600Bの両方が矢印221に沿って正の方向および負の方向のいずれにも作動することができるので、重要な点は、符号の意味が異なっていても動作軸は同軸であるということであることを理解されよう。)
[0092] 追加の推進モータ610が、矢印613の方向に沿って分離ピンセット600Aと配置ピンセット600Bとの間に相対的な直線運動を生じさせるためにさらに設けられている。ここでも、ロボットヘッド機構全体がロボット機構219(または上述のスカラロボットまたは6軸ロボットなどの別のロボット機構)に取り付けられているので、矢印613に沿った動きは
図3のx方向矢印220といくらか冗長である。これは、ロボット機構の全体的動作と推進モータ610との組み合わせによって、分離ピンセット600Aと配置ピンセット600Bとの間に矢印613の方向に沿って差動推進運動を生じさせることが可能であることを意味する。この差動推力運動は、例えば、分離ピンセット600Aが矢印613の方向に沿って静止したままであることを可能にし、一方、配置ピンセット600Bは、人の天然まつ毛にエクステンション611を配置するために矢印613の方向に沿って動く。さらに、推進モータ610は全運動範囲を提供する必要がないので、より高い分解能を有することができ、非常に小さく正確な動きを可能にする。
【0042】
[0093] 用いられるロボット機構は、6軸アーム等、多くの自由度を有する場合、このロボットヘッド機構は分離および配置ステップに十分であり得る。しかしながら、直交ロボットまたはスカラロボットの場合、エクステンション611を方向付ける(すなわち、交差部ではなくむしろ共線となるようにエクステンション611を天然まつ毛と角度をなして整列させる)のに十分な自由度がない場合がある。前述の実施形態では、これはさらに2つの角度自由度を提供するねじれ軸アクチュエータ235および傾斜軸アクチュエータ237によって解決された。ここでは、配置ピンセット600Bにこれらの自由度を提供して、同様の戦略を用いることができる。すなわち、推力モータ610の場合と同様に、2組のピンセットの間にねじれアクチュエータおよび傾斜アクチュエータを挿入することが可能である。アクセスを可能にするために天然まつ毛に十分な分離を提供するが、接着剤がエクステンション611をターゲットの天然まつ毛に接着することを可能にするように十分に同一な線上にあり、いくつかだけ固い塊にすることを可能にするための様々な分離ピンセット600Aの配向があるので、分離ピンセット600Aにはより少ない自由度を提供するのに通常は十分である。
【0043】
[0094] これは、主に
図17Bの側面図からなる
図18に概略的に示されており、ロール軸617を中心とした配置ピンセット600Bのロールの方向を示すロール矢印615の追加、およびピッチの追加を伴い、矢印616の追加は、ピッチ軸618を中心とした配置ピンセット600Aのピッチの方向を示している。
図18に示すように、向きの用語は、ピッチ(または傾斜)軸181、ロール軸182、およびヨー(またはねじれ)軸180としてラベル付けされている。配置ピンセット600Bの裏側に示されているが、ピッチ軸618の回転中心は、ピンセット600Bの先端にさらに近づくことができる。もちろん、一般性を失うことなく、電気モータ、ブラシ付きモータ、ブラシレスモータ、ギヤモータ、およびステッピングモータなど、一組のピンセットのピッチおよびロールを制御するための当技術分野で知られている多くの方法がある。配置ピンセット600Aは一般的に軽量であるため(ピンセットでは50~100グラム程度が一般的である)、必要とされるトルクの量は非常に少なく、容易に利用可能な多くの選択肢がある。
【0044】
[0095] そのようなロボットヘッド機構が完全に実現された実施形態を
図19A~
図19Dに示す。
図19Bでは、向きの用語は、ピッチ(または傾斜)軸181、ロール軸182、およびヨー(またはねじれ)軸180として符号が付されている。最初に、カラークランプ654を含む取り付けスタブ(stub)651に注目する。カラークランプ654は、ロボットヘッド機構234が使用されない場合は、ロボット、例えばスカラロボット500、6軸ロボット530、またはロボット機構219に取り付けられるように構成されている。ロボットヘッド機構650は、9つのアクチュエータを含み、各アクチュエータは単一の軸の周りまたは単一の軸に沿って動作を制御する。次に各アクチュエータおよび軸について順に説明する。様々なベアリング、取り付け金具、およびワイヤは、これらのアクチュエータのためのそのような要素はロボット設計の当業者にはよく理解されているので、明瞭にするために説明されないことを理解されたい。アクチュエータは全てリニアベアリングを含むリニアモータで構成されており、いくつかのアクチュエータは設計の都合上2つのリニアモータで構成されているが、2つのリニアモータはあたかもそれらが1つの大きなモータであるかのように単に調和して機能する。限定されないが、リニアモータは、ブラシレスリニアモータ、ブラシ付きリニアモータ、ボイスコイルモータ、それらの出力がリニアになるようにする機構によって変換される回転モータ、または圧電モータさえも含むことを意図している。
【0045】
[0096] 取り付けスタブ651は、遠位軸ピボットシャフト690によって遠位軸取り付けブラケット685に接続され、遠位軸ピッチ軸652を中心とした動きは、遠位軸ピッチアクチュエータ653によって制御される。真っ直ぐな配置ピンセット672と真っ直ぐな分離ピンセット673との両方が、遠位軸ピッチ軸652を中心とする運動の下流に取り付けられている。これにより、遠位軸ピッチアクチュエータ653は、ピンセット672,673の両方にピッチ運動を生じさせる。
【0046】
[0097] 真っ直ぐな分離ピンセット673は、分離ピンセット取り付けピボット687によってそれらの末端で遠位軸取り付けブラケット685に直接取り付けられている。追加の動きのための多くのアクチュエータもまた、遠位軸取り付けブラケット685に直接取り付けられている。遠位軸取り付けブラケット685は、配置ピンセットスラストアクチュエータ656、右分離ピンセットアクチュエータ670、左分離ピンセットアクチュエータ669、および補助ブラシアクチュエータ680を取り付ける(後の3つの部品については後述する)。
【0047】
[0098] 配置ピンセットスラストアクチュエータ656は、配置ピンセットスラストキャリッジ688を押すことによって配置ピンセットスラスト軸655に沿ったスラスト運動を制御する。真っ直ぐな分離ピンセット673は、配置ピンセット推力軸655の周りの動きの上流に取り付けられているので、それらは配置ピンセットスラストアクチュエータ656によって推力を与えられない。しかしながら、真っ直ぐな配置ピンセット672が配置ピンセットスラスト軸655を中心とした運動の下流に取り付けられている。結果として、配置ピンセットスラストアクチュエータ656は、真っ直ぐな配置ピンセット672と真っ直ぐな分離ピンセット673との間に相対スラストを生成する。これは、上述したスラストモータ610の動作と同じである。
【0048】
[0099] 配置ピンセットスラストキャリッジ688は配置ピンセットロールアクチュエータ660が取り付けられており(
図19D参照)、これは、配置ピンセットスラスト軸655と一致する配置ピンセットロール軸659を中心に配置ピンセットロールキャリッジ689を旋回させる。同様に、このロール運動は真っ直ぐな配置ピンセット672にのみ適用され、これにより真っ直ぐな配置ピンセット672と分離ピンセット673との間に相対ロールを生成する。
【0049】
[00100] 配置ピンセットロールキャリッジ689は配置ピンセットピッチアクチュエータ663が取り付けられている。真っ直ぐな配置ピンセット672は、配置ピンセットピッチアクチュエータ663によってそれらのピッチが制御される。これを行うために、配置ピンセットピッチアクチュエータ663は、配置ピンセット取り付けピボット662を上下に動かす(この場合、上下を定義するために
図19Aの向きを用いる)。真っ直ぐな配置ピンセット672は、配置グリップ軸666を中心に旋回する。同様に、このピッチ運動は真っ直ぐな配置ピンセット672にのみ適用され、これにより、真っ直ぐな配置ピンセット672と真っ直ぐな分離ピンセット673との間に相対ピッチが生成される。
【0050】
[00101] 真っ直ぐな配置ピンセット672および真っ直ぐな分離ピンセット673の両方は、それらのそれぞれの閉鎖を制御する2組のモータを含んでいる。明確にするために、ピンセットの各セットの2つの突起のうちの1つのみが示されているが、ピンセットは、2つの同一の突起を有する典型的な真っ直ぐなピンセットであることを理解されたい。この動作は、
図17Aおよび
図17Bに関連して説明したものと同じであり、可変な点の周りでピンセットを閉じることを可能にし、掴む人がそのグリップ点の横方向制御を効果的に可能にする。真っ直ぐな配置ピンセット672の場合、この動きは、左配置ピンセットアクチュエータ664および右配置ピンセットアクチュエータ665を用いて配置グリップ軸666に沿って生じる。真っ直ぐな分離ピンセット673の場合、この運動は、左分離ピンセットアクチュエータ669および右分離ピンセットアクチュエータ670により分離グリップ軸671に沿って生じる。当然ながら、どちらのピンセットの組も真っ直ぐでない形状で構築することができ、上記のように湾曲したピンセットにすることもできる。
【0051】
[00102] 配置グリップ軸666と分離グリップ軸671とは描かれたように平行ではないことに留意することが重要である。これは、配置ピンセットロールキャリッジ689が配置ピンセットロール軸659に対してわずかにずれて示されているからである。真っ直ぐな配置ピンセット672は配置ピンセットロールキャリッジ689の下流に取り付けられ、真っ直ぐな分離ピンセット673は配置ピンセットロールキャリッジ689の下流に取り付けられていないので、このわずかな変位は配置グリップ軸666と分離グリップ軸671とのずれを生じさせる。
【0052】
[00103] 実際には、真っ直ぐな分離ピンセット673の位置は、カラークランプ654に取り付けられた任意のロボット、ならびに遠位軸ピッチアクチュエータ653、左分離ピンセットアクチュエータ669、および右分離ピンセットアクチュエータ670によって制御される。これは、真っ直ぐな分離ピンセット673が、ロボットの自由度に加えて、2つの自由度とピンセットを掴むこととを有することを意味する。逆に、真っ直ぐな配置ピンセット672の位置は、カラークランプ654に取り付けられた任意のロボット、ならびに遠位軸ピッチアクチュエータ653、さらに配置ピンセットスラストアクチュエータ656、配置ピンセットロールアクチュエータ660、配置ピンセットピッチアクチュエータ663、左配置ピンセットアクチュエータ664、および右配置ピンセットアクチュエータ665によって制御される。これは、真っ直ぐな配置ピンセット672が、ロボットの自由度に加えて、5つの自由度とピンセットを掴むこととを有することを意味する。したがって、スカラロボット500または6軸ロボット530のような十分に器用なロボットを用いると、ロボットヘッド機構650は、まつ毛エクステンションを配置しているときに、人の1つの天然まつ毛を分離するためにたくさんの自由度を有することがロボット工学の当業者には明らかであろう。
【0053】
[00104] 最後に、補助ブラシアクチュエータ680は、ラックアンドピニオンアセンブリ684を介して、補助ブラシアーム682の動きを制御する。このアセンブリは、補助ブラシアーム682に取り付けられたブラシまたはプローブ(図示せず)の選択的配置を可能にする。ピンセット672,673の先端を越えて到達するのに十分に長いブラシまたはプローブを選択することによって、ブラシまたはプローブは、展開時に人のまつ毛をきれいにしたり、ブラシをかけたり、押しやったりすることができるが、格納されたときにピンセット672,673の邪魔をしないように使用されることができる。
【0054】
まつ毛認識問題と許容基準との関係
[00105] さまざまなロボットシステムについて詳細に説明してきたので、今度はコンピュータビジョンを使用してまつ毛を識別すること、そして次のセクションでこれが分離とどのように相互作用するかに注意を向ける。
【0055】
[00106] 一般に、(1)まつ毛は比較的小さく、直径が100ミクロン(100×10-6メートル)程度であるため、(2)まつ毛は重なっていたり、くっついていたり、互いの前にあったりするため、(3)人間の対象者はわずかに動くことがあるため、(4)人間の対象者は過度の光または放射線にさらされることができないため、まつ毛を識別するためにコンピュータビジョンを用いることは困難である。非常に小さい物体を識別することを目的とした、当技術分野で知られている多くのコンピュータビジョン技術がある。例えば、プリント回路アセンブリの製造に用いられる表面実装0402抵抗は400×200ミクロンであり、プリント回路アセンブリの正しい組み立てて検証するために様々なタイプのコンピュータビジョンシステムが業界で広く使用されている。しかしながら、これらのシステムは、対象が静止しているときにのみ動作し(上記3に違反)、また多くの場合は人間の目の近くで用いるには明る過ぎる(上記4に違反)、レーザースキャナまたは構造化された光アレイを用いる。もちろん、この分野では新しい技術が絶えず開発されており、これらのシステムは最終的には人間のまつ毛にも使用できる可能性がある。しかしながら、好ましい実施形態では、(例えばマクロレンズを用いる)高倍率のカメラは、細部を数十ミクロンに容易に分解することができ、これは何ピクセルも幅である人間のまつ毛には十分小さい。このようなカメラは過度に明るい光を必要とせず、50ミリ秒未満の短いシャッター時間を持つことができ、モーションアーチファクトが問題になるのを防ぐ。しかしながら、まつ毛の多くが重なっている、隠れている、またはくっついている可能性があるという、上記の問題(2)は残っている。
【0056】
[00107]
図20は、上記の問題(2)を説明する、人のまつ毛の短い部分の単純化された概略図を示す。理想的なまつ毛セクション700は、均一に分布したまつ毛を有する理想的なバージョンである。これは典型的な人間のまつ毛セクションの代表ではない。一方、現実的なまつ毛セクション701は、典型的な人間のまつ毛セクションをより代表するものである。現実的なまつ毛セクション701は、平行二重まつ毛702(視野と平行)、積み重ね二重まつ毛703(視野内に積み重ねられた2つのまつ毛)704、および交差まつ毛704を含んでいる。この概略図から明らかなように、まつ毛が単一のものであるか塊になっているかを判断するのは簡単ではない。さらに、まつ毛は、一般に、共に接着されるべきではないので、まつ毛エクステンションにおいては重要な問題である。
【0057】
[00108] まつ毛が単一であるかまたは固まっているか(すなわち、2つ以上が積み重ねられているまたは交差しているまつ毛であるか)を識別する問題は、人のまつ毛が均一の速度で成長し得ないため、特に重要である。すなわち、2つの隣接する天然まつ毛が異なる速度で成長する可能性があることは、手動まつ毛エクステンションの分野において広く認められている。まつ毛が交差しているか、またはエクステンションに使用されている接着剤が隙間を埋めるように近接している場合などに生じ得るように、配置プロセス中に隣接するまつ毛が接着されている場合には、(天然の2つが異なる速度で成長し、人工の1つが最初の2つに接着された)3つのまつ毛のグループは、ゆっくり成長する天然まつ毛の方向に曲がり始め得る。この方向は実質的にランダムであるので、エクステンションは意図されていない方向に向いており、まつ毛エクステンション全体の美観を損なう。これは手動まつ毛エクステンションの施術者には知られているが、コンピュータビジョンシステムは二重になったまつ毛を認識しなければならないので、ロボット式のまつ毛エクステンションには特に問題がある。
【0058】
[00109] この問題の実例として、
図21A~
図21Cを検討されたい。
図21Aでは、ゆっくり成長するまつ毛711と急速に成長するまつ毛712がまぶたの縁710と共に示されている。ここで、全体図は
図20のまつ毛のうちの2つだけの拡大図である。
図21Bでは、エクステンション715は、成長の遅いまつ毛711と成長の早いまつ毛712の両方に不適切に適用されており、おそらく、それらはコンピュータビジョンシステムがそれらを区別するには近過ぎたからである。接着剤714は、各まつ毛とエクステンション715との間の液滴として概略的に示されており、これは適切なエクステンション角度713Aである。
図21Cでは、数日が経過し、急速に成長するまつ毛712がエクステンションを片側に押した。結果として、不適切なエクステンション角度713Bは、適切なエクステンション角度713Aよりもはるかに大きい。
【0059】
[00110] まつ毛が二重になったことを認識することは、その寸法を測定し、それらを通常の人のまつ毛、およびその患者の他のまつ毛の典型的な測定値と比較することによって達成することができる。これを行うために、1)天然まつ毛は一定の直径を有する傾向があるので、まつ毛の先細りの先端を無視する、2)同じ対象者の個々のまつ毛は非常に一貫している傾向がるので、先細りの先端(したがって短いまつ毛)を無視する、という天然まつ毛の2つの特徴を用いることができる。まつ毛の先細りの先端はまつ毛の成長サイクルの最初の日の間に生成され、まつ毛の最初の部分は皮膚表面の外側に見られる。この段階のまつ毛は先細で短い。この段階の後、(まつ毛の成長またはまつ毛を外側に押す毛包のいずれかによって)露出まつ毛が長くなるにつれて根元でますます露出するまつ毛のシャフトは、一般に一定の直径である。
図22は、ヒトのまぶた727上の一連のまつ毛を示す。単一のまつ毛720は、その先端近くまでほぼ一定の直径を有する。単一まつ毛720のような典型的なまつ毛の直径は約100ミクロンである。塊721を形成する第1および第2のまつ毛722,723は、幅200ミクロンの単一のまつ毛として見ることができるが、これは疑わしいと容易に認識される。まつ毛の直径を測定することは、コンピュータビジョンシステム内の単一のカメラを用いてその幅をピクセル単位で測定し、次に、ピクセル幅を既知のカメラのジオメトリに基づく直径に変換することによって行うことができる。もちろん、このジオメトリはカメラからまつ毛までの距離に依存するが、これはほぼ知られているか、または後述するように正確に測定することができ、塊721のような場合には容易に曖昧さをなくすことができる。さらに、単純にいくつかのまつ毛を観察してピクセル単位の「典型的な」直径を確立し、実質的により広い幅の任意の物体を塊であるとしてフラグを立てることで十分であり得る(すなわち、標準測定単位に変換する必要さえない)。
【0060】
[00111] それにもかかわらず、場合によっては、まつ毛は、並んでいるのではなく、カメラの視点から見て互いの上に積み重ねられていることもある。これは、前方のまつ毛725が後方のまつ毛726を覆い隠すように、積み重ねられた塊724として示されている。あるいは、実際には、まつ毛は、隣どうしに並んだのと積み重ねられたのとの間のある角度で積み重ねられてもよく、その結果、見かけの突出幅は通常の範囲内であり得る。いくつかの実施形態では、まつ毛の質感に基づいて2つのまつ毛が重なっていることを識別することが可能である(パイプ上の質感および光の影が重なっているとことで変化するのが見えるため、同じように2つのパイプ片が人間の尺度で重なっていることを識別することができる)。それにもかかわらず、まつ毛はほとんど質感を持たず、それらの形状を認識することが常に可能ではないかもしれない。
【0061】
[00112] この問題に対する解決策として、2つのカメラを使用し、画像間の明らかな視差に基づいて、問題の物体の深さを計算することが可能である。次に、許容基準は、任意の幾何学的パラメータである、深さおよび幅、または直径、長さ、形状、曲率、断面、および厚さ、またはまつ毛またはまつ毛対の断面に適用される他の任意の寸法基準に基づくことができる。いくつかのケースでは、まつ毛はその長さのごく一部で交差し、「X」を形成する。そのような場合、分離した交差を識別することができるように、各まつ毛の長さにわたって許容基準を適用することが有利であり得る。極限では、このアプローチは、各候補まつ毛の三次元モデルを作成し、それがまつ毛について許容可能な幾何学的範囲を満たすことを確認することになる。この実施形態では、許容基準は分散パラメータになり、すなわち、エクステンションに適したまつ毛の基準として使用されているパラメータは、一点での基準ではなく、まつ毛の長さに沿って分布するパラメータである。そのようなアプローチはまた、まだエクステンションには適していない可能性がある幼いまつ毛を識別して除外する助けとなる。
【0062】
[00113]
図23は、まぶた727上のまつ毛769のいくつかの基本的な基準を示す。ここで、まつ毛の長さは、まぶたからの法線に沿って通常の長さ760として、またはまつ毛の長さに沿って経路長761として、または経路長761の曲率としてさえ測定される。さらに、まつ毛の直径762は基準として用いられることができ、あるいは、分布断面765によって示されるように分布直径または断面積とすることもできる。実際、まつ毛769の完全な三次元モデルを許容基準の基準として比較されることができる。これらの基準を示す意図は、本発明の範囲を限定することではなく、用いることができるいくつかの幾何学的基準を説明するためである。
【0063】
[00114] まつ毛パラメータを推定するために2つのカメラを用いることの有用性のさらなる例として、いくつかのまつ毛状況を断面で示し、各まつ毛の断面を円として概略的に示す
図24A~
図24Cを考察する。ここで、
図24A~
図24Cは、積み重ねられた塊724、左に傾斜した塊732、および直角に傾斜した塊733を示す。左カメラ730Lおよび右カメラ730Rも示されている。
図24Bでは、右カメラ730Rは両方のまつ毛を見ることができず、
図24Cでは、左カメラ730Lは両方のまつ毛を見ることができない。しかしながら、全ての構成において、カメラ730L,730Rの少なくとも一方が両方のまつ毛を見ることができ、したがって、まつ毛の塊が一般に矢印735に沿った方向に深すぎて単一のまつ毛ではないことを確かめることは自明である。実際、非常に大きい角度737が単一角度738よりも大きな大きい角度736よりも大きいことを理解することは自明である。単一角度738は単一のまつ毛に対して予想されるものであるので、非常に大きい角度737,736は単一のまつ毛を表すには大きすぎることは明らかである。しかしながら、実際にこの結果を適用することにおける主な困難性は、ステレオ対応問題を解決する方法、すなわち多くのそのような対象物が視野内にある可能性があるときに2つのカメラに現れた対象物を合わせる方法である。すなわち、まつ毛が多数存在する
図24A~
図24Cに示されるものよりも一般的な状況において、カメラ730L,730Rの両方が同じまつ毛やまつ毛の塊を見ているかを推察できるように、一方のカメラで見られるまつ毛を他方のカメラで見られるまつ毛とどのように一致させることが可能であるだろうか。これは一般的には解決できないステレオコンピュータビジョンの問題の類である。典型的な戦略は左右のカメラのキーポイントを一致させることを含むが、これは一般的には、視野に明瞭な質感がほとんどない同一の対象物が多数含まれている場合は不可能である。ここで有利な特定の解決策は以下に示す。
【0064】
分離との関係
[00115] もちろん、一対のまつ毛が交差していることを単に知るだけでは十分ではない。エクステンションの基準を満たさない(すなわち、未成熟または重なっている)まつ毛を単に避けることは可能であるが、そうすることは空隙をもたらし、上述のように、まつ毛エクステンション作業全体の美観を損なうことになる。したがって、まつ毛を物理的に押しやって分離することが望ましい場合があり得る。最も単純な実施形態では、これはエンドエフェクタを用いてまつ毛に対してブラッシングアップすることを含んでいてもよい。実際、これは、エクステンションを保持している間でも、エクステンションを操るために用いられるロボットシステムによっても達成することができる。追加のロボットシステムが必要ないため、これには単純さという明らかな利点がある。例示的な実施形態では、まつ毛が潜在的に単一ではないことを最初に確認し、次にロボットシステムでまつ毛を探り、次にまつ毛が明らかに単一であるかどうかを確認するのにそれを再び許容基準と照らし合わせてチェックするために、このアプローチを上述の許容基準と交互に組み合わせることができる。
【0065】
[00116] しかしながら、この解決方法でも不十分であるかもしれない。ある場合には、2つのまつ毛が単純に互いにくっついて、ロボットシステムでそれらを探ることがそれらを分離させることができ、別の場合には、それらを単に妨害することによってそれらが分離されないように互いに対して押し付けられる、または、もし分離されるならば、ロボットシステムが取り除かれると、それらは単純に一緒に戻ってくる。したがって、いくつかの実施形態では、第2のロボットシステム、または同じロボットシステムからの第2の付属物が、まつ毛を分離された状態に保つために用いられる。例えば、上述のように、第1のピンセットを使用してまつ毛エクステンションの配置を行うことができ、第2のピンセットを分離のために用いる。分離ピンセットの場合、それは非常に小さな隙間になるように閉じられ、それからまつ毛の扇形を通って押され、そして開かれる(人間の天然まつ毛の位置を決定する方法は以下に記載される)。時間の何パーセントかで、これは第2のピンセットの突起の間に単一のまつ毛が残るという結果になる。
【0066】
[00117] この分離技術は、
図25A~
図25Dにさらに詳細に示す。ここで、まつ毛799およびまぶた部分800は、斜視図および上から見た2つの図で示す。
図25Aでは、ピンセット810がまぶた部分800に接近しており、ピンセット810はほぼ閉じているが、完全には閉じていない。
図25Bにおいて、ピンセット810は、各まつ毛の位置に関する一般的な知識のみを用いて、まつ毛799に挿入される。いくつかの事例では、ピンセットの2つの突起810は、まつ毛を首尾よくまたがらないことがあるが、この場合、それらは、分離したまつ毛811をまたいでいる。
図25Cでは、ピンセット810が開き始め、他のまつ毛を押しのけ、最後に
図25Dでは、ピンセットが完全に開き、分離したまつ毛811が完全に分離する。
【0067】
[00118] ロボット機構を使用して許容基準で分離を実行するこの実施形態は、二次的な利点を有している。同じ物体の一対の画像の見かけ上の違いを利用する最良のステレオコンピュータビジョンシステムを用いても、上述のように、ステレオ測定値を作成するために複数の物体を一致させることは困難であり得る。これは、昆虫スクリーン、ウィンドウ上のバー、または人間のまつ毛など、同一のオブジェクトが複数組ある場合に特に当てはまる。問題は、他の情報がないと、第1の画像内に存在するどの物体が第2の画像内に存在するのと同じ物体であるかを判断することが困難であり得ることである。他の情報、例えばウィンドウ上のバーの例におけるウィンドウの端などが利用可能な場合がたまにある。同じウィンドウの端が両方の画像に表示されている場合は、その参照から各バーを数えて対応するバーを一致させることができる。しかし、典型的な人間の目に100本以上のまつ毛があるため、この戦略は困難である。他の選択肢は、コンピュータビジョンシステムへの参照を提供するために人の上に配置された基準マーカを提供することであるが、これは絶対確実であるために十分な解像度を持たないかもしれなく、マーカはまつ毛のようにカメラから同じ深さにはならず、それらの利便性を限定する。これは、ロボット機構による分離が有効な場合である。分離ピンセットが一旦開くと(上の
図25Dのように)、突起の間のまつ毛の有効な線密度ははるかに低くなり、ほとんどの場合は数え易い数になる。さらには、ピンセットの突起が容易に識別することができ、基準マーカをそれらに簡単に追加することができ、分離したまつ毛の真ん中に既知のマーカ位置を可能にする。いくつかの実施形態では、ピンセットは、まつ毛領域から大きく離れた基準マーカを含むことができ、ピンセットの容易な識別を可能にし、次に、ピンセットの先端位置は、基準位置およびピンセットのジオメトリーに基づいて推測され得る。ピンセットの間に1つまたは複数のまつ毛を分離することで、効果的でロバストなステレオマッチングが可能になり、したがってまつ毛のジオメトリーの正確な推定が可能になる。また、まつ毛のジオメトリーを正確に推定することにより、上述の許容基準をより正確に適用することがさらに可能になる。
【0068】
[00119] まつ毛の領域の外側に基準マーカを有するピンセットの例として、
図26を検討する。ここでは、ピンセット950は対象者のまつ毛の上に十分に延びており、3つの基準メーカ952を含んでいる。基準マーカ952は、概ね点線954で示されるまつ毛領域の外側の領域にあるので、ピンセット950の向きを識別し、ピンセットの所定の幾何学的モデルに基づいてピンセットの先端956の位置を推測することは困難ではない。上記の湾曲したピンセットなどのいくつかの実施形態では、このモデルは三次元であり、ページ内への先端の位置もピンセットの向きから推定される。
【0069】
[00120] 本明細書で説明される連結撮像および分離技術の概要として、
図27を考察されたい。最初に、位置決めステップ740において、対象者はロボットおよびコンピュータビジョンシステム内に位置決めされる。次に、眼球位置特定ステップ741において、眼球領域が特定される。いくつかの実施形態では、これは閉じた人間の目の形を認識するコンピュータビジョンシステムによって自動的に達成されることができる。しかしながら、いくつかの実施形態では、対象者の眼がカメラの視野内にあるように、ロボットおよびコンピュータビジョンシステムの操作者が対象者の頭部および/またはロボットシステムを手動で位置合わせすることが好ましい。これは、コンピュータビジョンシステムが予想される種類の物体を確実に見ているようにするための追加の安全ステップとして用いることができる。
【0070】
[00121] 次に、撮像ステップ743において、コンピュータビジョンシステムはまつ毛の扇形を撮像する。いくつかの実施形態では、これは人間の目のためのまつ毛の全体の扇形であり得るが、他の実施形態では、それはまつ毛の全体の扇形のほんの一部であるより小さな領域であり得る。コンピュータビジョンシステムからのデータを使用して、コンピュータはロボットシステムに対するまつ毛の扇状の位置を計算する。次に、コンピュータは、領域選択ステップ745において、まつ毛の扇形の中から分離および延長配置のための領域を選択する。次に、コンピュータは、分離試行ステップ746において、まつ毛の分離を試行するようにロボットシステムに指示する。この操作は、開ループ(すなわち、コンピュータビジョンシステムを使用せずに)または閉ループ(この場合、分離が行われている間に分離試行ステップ746内で領域が複数回撮像される)で実行することができる。このステップの後、コンピュータビジョンシステムは、分離後画像化ステップ747で少なくともターゲット分離領域を撮像し、次にチェックステップ749でまつ毛の分離が成功したかどうかをチェックする。これは、まつ毛の長さに沿って分散されたパラメータを含む、上述のさまざまなパラメータおよび許容基準によって達成されることができる。
【0071】
[00122] まつ毛が首尾よく分離されたと判断された場合、コンピュータは、配置ステップ751において配置ルーチンを実行するようにロボットに指示する。まつ毛は分離後撮像ステップ747で注意深く撮像され、まつ毛の多くの幾何学的特性がチェックステップ749で確立されたので、コンピュータはまつ毛のジオメトリーに関する詳細な情報をロボットシステムに供給することができる。少なくとも好ましい実施形態では、この幾何学的特徴はまつ毛の三次元モデルを含んでいる。配置ステップ751が完了すると、コンピュータは、後退ステップ750においてロボットシステムに分離ロボットを後退させるように指示する。これは、ステップ749でまつ毛の分離が成功しなかった場合にも行われる。分離ロボットが成功した後、コンピュータは経路「A」に沿ってステップ746に戻ることができ、または経路「B」に沿って撮像ステップ743に戻ることができる。好ましい実施形態では、コンピュータは発見的に一定の間隔で他の経路よりも一方の経路を選択する。例えば、まつ毛の扇形に沿って一箇所で何度も分離を試み、経路「A」を繰り返し選択するが、分離が成功したか、または失敗した場合には経路「B」を選択することが望ましい。経路「B」を選択することによって、システムは(話すように)リセットし、まつ毛の扇形のより広い領域を撮像し直し、そして作業するための新しい領域を選択することができる。
【0072】
[00123] このプロセスの変形例では、特定の人の個々のまつ毛のジオメトリーは、各分離したまつ毛または塊の幾何学的形状をよりよくチェックするために評価されることができる。例えば、
図28のフローチャートを考慮頂きたい。破線ボックス922は、セッション中に一度だけ実行され得る典型的なジオメトリーを評価するプロセスを示し、一方、破線ボックス922の外側のフローチャートの部分は、各分離および配置サイクルで実行される。撮像ステップ920から開始して、まつ毛の扇形全体、またはまつ毛の扇形の大部分が撮像される。次に、自然発生の単一まつ毛が自然分離ステップ921で識別される。これは、通常、少なくともいくつかのまつ毛が分離されることになるので達成でき、そして高度に分離されたまつ毛の先端を探すことによってそれらが分離されていると判断することは簡単である。いくつかの実施形態において、特に分離したまつ毛を、確実性を持って自動的に識別することができない特定の対象者に対して、システムは、使用者識別ステップ927において分離したまつ毛を視覚的に識別するよう使用者(それは、システムを操作している人であって、対象者301ではない)に促すことができる。ひとたびよく知られた個別のまつ毛が確立されると、幾何学的パラメータおよび分布されたパラメータが幾何学的パラメータ推定ステップ923において確立される。最後のチェックとして、検証ステップ924においてこれらのパラメータが記憶され、既知の良好な範囲と比較され、これらの範囲からの逸脱はエラーステップ926において使用者にエラーとして示される。その後、使用者は視覚的な識別性を高めてパラメータを再設定することを選択することができる。一旦パラメータが確立されると、パラメータは格納ステップ925で格納される。この格納は個々のシステムに局所的であってもよく、または、パラメータを他のシステムとの将来のセッションで使用できるように、その対象者に関連づけられてリモートコンピュータまたはクラウドストレージシステムに格納することもできる。
【0073】
[00124]
図28をさらに参照すると、配置および分離ステップ931,945は、現在分離されているまつ毛にエクステンションを配置し、次に新しいまつ毛を分離する前述のステップを指す。次のまつ毛がステップ945で分離されると、分離された領域は画像分離領域ステップ928で撮像され、それはさらに画像から幾何学的パラメータを計算することを含んでいる。次に、ステップ929において、新たに計算された幾何学的パラメータは、そのセッションの開始時に生成されたかまたはローカルもしくはリモートメモリから呼び出されたかのいずれかである格納されたパラメータと比較される。次に、新たに計算されたパラメータが許容範囲内にある場合(すなわち、分離したまつ毛がエクステンションに適している場合)、配置ステップ931に進むことができ、そうでない場合、新しい分離を試みることができる。いくつかの実施形態では、より多くのまつ毛が首尾よく分離されるにつれて、格納されたパラメータは、適応ステップ930において追加のデータに基づいて適応され洗練され得る。
【0074】
[00125]
図29に示す別の実施形態では、ニューラルネットワーク、一種の機械学習が用いられる。ニューラルネットワークは、(他の多くの用途の中でも)様々な画像内の様々な種類の対象物を認識するようにトレーニングされることができる。最初に、これはボックス932のニューラルネットワークの初期化に示されており、これは事前に実行される。まず、トレーニングセットステップ933において、トレーニングセットを集めて手動でラベル付けされなければならない。まつ毛の様々な向きや色が画像化されて手動でラベル付けされる必要があるため、これはむしろ骨の折れることであり得る。しかしながら、問題は、システムの制御された環境における一貫した照明および質感によって幾分単純化される。用いられる画像のセットには、単一ではないまつ毛(交差したまつ毛や重なったまつ毛の画像など)と適切に分離されたまつ毛の両方を含み、両方のセットに適切なラベルを付けされていなければならない。次はトレーニングステップ934である。このステップの間、ニューラルネットワークはラベル付きデータについてトレーニングされ、そのデータの取っておいた部分に対してテストされる。次に、この結果物であるニューラルネットワークは、使用のために任意の数のシステムのソフトウェアにロードされることができる。
【0075】
[00126] 当業者は、これがニューラルネットワークを訓練するための唯一の方法ではないことに気付くであろう、そして実際に、教師なし学習のための方法(データの手動ラベリングを必要としない)が今は急速に発展している。例えば、分離した、交差した、そして積み重ねられたまつ毛の実画像を作成するよりもむしろ、ニューラルネットワークをよりよく訓練する合成画像を作成するためにディープジェネレータネットワークを用いることができる。また、当業者は、物体を認識するように教示することができる、深畳み込みニューラルネットワークなどのような多くのタイプのニューラルネットワークがあることに気付くであろう。ボックス932の代わりに、これらのプロセスおよびタイプのニューラルネットワークのいずれかまたはすべてを用いることができる。
【0076】
[00127] ニューラルネットワークが訓練された後、このニューラルネットワークは実際に用いることができる。先ずは分離ステップ945であり、これは前述の新しいまつ毛を分離するステップを指す。まつ毛が分離されると、画像から幾何学的パラメータを計算することをさらに含む画像分離領域ステップ936において、分離領域が撮像される。次に、幾何学的パラメータは、前の実施形態と同様に評価ステップ937において評価される。並行して、生のまたは調整された画像データがニューラルネットワーク評価ステップ939においてニューラルネットワークに入力される。幾何学的方法およびニューラルネットワーク方法の両方とも、分離したまつ毛が存在するかどうかを示すイエス/ノー信号を出力する。投票ステップ940は、技術間の一致を探し、両者がイエスと投票することを要求する。そのような方式は、分離したまつ毛が確実に分離していることを確認するのに役立つ。いくつかの実施形態では、単純なイエス/ノー信号を生成するのではなく、方法の一方または両方がスコアを生成し、投票ステップ940が2つのスコアを発見的に評価する。投票ステップ940でまつ毛が分離している(または所望の大きさの塊である)と返された場合、配置ステップ943で配置を試みることができる。投票ステップ940が、まつ毛が分離されていないことを返した場合、分離ステップ945で分離が再試行される。
【0077】
[00128] ここで、ニューラルネットワークは前述の幾何学的手法の追加的な確認として示されていることに留意することが重要である。現在、ニューラルネットワークの出力は、何らかの理由でニューラルネットワークが訓練されたものとはかなり異なる入力画像である場合、現在のところ非常に予測不可能であるため、これは理にかなっているかもしれない。しかし、それだけで用いるのに十分な自信を与えるようなニューラルネットワークが作成されることは可能である。その場合、
図29に示すようなシステムが用いられるが、評価ステップ937は実行されず、ステップ939の出力は配置を試みるべきかどうかを判断するためだけに用いられる。
【0078】
代替分離手法
[00129] さらに別の実施形態では、分離は、一対のピンセットではなくむしろ2つの独立したプローブによって実行されることができる。
図30A~
図30Dは、上から見た関連まつ毛799を有する人のまぶた部分800を示す。
図30Aでは、ロボットシステムの一部であり、断面が円として示されている第1のプローブ801が、2つのまつ毛の間に押し込まれている。一般に、これはまつ毛の扇形の中間領域のいずれにおいても行うことができ、第1のプローブ801を駆動するロボットシステムは、関連するまつ毛799の向きを知る必要はない。プローブ801は直径が小さく、個々のまつ毛は一般に方向798に押されるとその一方の側または他方の側に滑るので、ロボットシステムは関連するまつ毛799の向きを知る必要はない。
図30Bでは、第1のプローブ801は、第1の方向798に沿ってまぶた部分800の近くに接近し、停止し、次に概して第2の方向797に沿って動かされている。これにより、関連するまつ毛799の上部を上方に移動させることができ、分離したまつ毛803の上にクリアスペース802を作り出すことができる。
【0079】
[00130] 次に、分離まつ毛803がコンピュータビジョンシステムによって検査され、コンピュータビジョンシステムは、分離まつ毛803の位置を推定するために上述のような立体視を用いる。これは、分離したまつ毛803の位置が両方のステレオカメラにおいて明確になるので、コンピュータビジョンシステムがステレオ対応問題を解決することが今や簡単であるので可能である。すなわち、カメラ間で分離したまつ毛803を合わせることは簡単であろう。さらに、分離したまつ毛803の視野は一般に少なくとも片側では遮られていないので、コンピュータビジョンシステムはそのジオメトリーをよりよく推定することができる。これにより、第2プローブ804を分離したまつ毛803の先端直下に正確に位置決めすることができる。次に、第2のプローブ804を第1の方向798に沿って移動させることによって、第2のプローブ804を分離したまつ毛803とその下側の隣接するものとの間に確実に挿入することができる。次に、第2のプローブ804を第2の方向797とほぼ反対に動かすことによって、分離したまつ毛803の下のまつ毛を下に動かし、そして今や真に分離している分離したまつ毛803の両側を含むようにクリアスペース802が増える。この分離方法または上述したピンセット分離方法のいずれかを、
図27に示す手順と共に使用できることに留意するべきである。つまり、
図27は、使用されている分離方法の種類には依存しない。
【0080】
[00131] どちらのアイソレーション戦略も、分離しているまつ毛を密集させて配置された2つのプローブの基本的なジオメトリーが似ていることに留意すべきであり、ある意味では、ピンセットは単なる2つ繋げられたプローブである。方向798は、本質的に同じ手順を異なる方法で実行するように改良されることができることにも留意されたい。例えば、
図30Aにおいて、第1のプローブ801がページ外の軸(図示せず)上で測定された高さでまつ毛799の上にある場合、プローブ801は、まつ毛799に入ることなく方向798に進むことができる。まぶた800の近くの点に達し、その時点でそれはページの中に移動することによってまつ毛799の中に押し込まれることができる。そのような戦略は、単に方向798でまつ毛の中に移動するのとはわずかに異なる結果を生み出す可能性がある(例えば、そのような戦略は、それらの先端付近で交差する2つのまつ毛の場合に有用であり得る)。
【0081】
[00132] この時点から、手順は、
図27のフローチャートで上述したように進めることができる。分離したまつ毛803は今や真に分離しているので、それが単一の分離したまつ毛の基準およびパラメータを満たすことを確実にするために検査されることができる。それが二重になっていることが分かった場合、二重まつ毛を取り除くこと可能であるかどうかを確かめるために第2のプローブ804を用いて後者のステップだけを繰り返すことが可能である。この実施形態は、まつ毛を分離するために、単にまつ毛の扇形を通してピンセットを押すことが不可能であり得る非常に濃いまつ毛においてさえ分離まつ毛を生成するので有利であるが、まつ毛の位置が個別に先天的に知られることをそれでもなお必要としない。
【0082】
[00133] さらに別の変形例では、マスカラーブラシと呼ばれるものと非常によく似たブラシでまつ毛領域をブラッシングすることによって分離を達成することが可能である。さらに、ここで適用することができる周囲の繊維から繊維を分離することができる多くの他の方法がある。
【0083】
まつ毛の扇形の位置の判断
[00134] 上記実施形態の多くにおいて、たとえ全てのまつ毛の位置が知られていなくても、まつ毛の扇形のおおよその位置を知ることは有用である。すなわち、例えばピンセット810または第1および第2のプローブ801,804がまつ毛を通して挿入され、それらが対象者301に接触したときに測定した力に頼ることなく停止することができるように、集合天然まつ毛のおおよその幾何学的位置を知ることは有用である。これは、上記とは異なるステレオ対応問題の解決法によって達成することができる。この実施形態では、個々のまつ毛ではなく、隣接するまつ毛のグループによって形成される粗い構造に調整されたバンドパスフィルタを適用することによって、個々のまつ毛は無視される。一実施形態では、バンドパスフィルタ処理画像は、ガウスフィルタ処理画像のラプラシアンのバイナリ符号である。符号付きのガウシアンフィルタのラプラシアンは、画像をフィルタリングする方法としてコンピュータビジョンの技術分野においてよく理解されている。しかしながら、この実施形態では、バンドパスフィルタは、5から20のオーダーによるまつ毛の直径の特徴に敏感になるように調整され、それはまつ毛の塊を見つける傾向がある。左右両方のカメラからの画像がフィルタリングされると、画像と最もよく一致する測定視差を見つけるために領域の相関が実行される。実際には、この技術はまつ毛の扇形の位置および向きを正確に測定することが分かっている。
【0084】
[00135] この過程は簡単な模式的過程で説明することができる。直線的なまつ毛900を示す
図31を検討する。このプロセスは、完全に直線的ではないまつ毛にも同様に適用され、まつ毛は単に説明を明確にするために直線的なまつ毛900として示されていることを理解されたい。直線的なまつ毛900は、左右両方のカメラで撮像され、右生画像902Rおよび左生画像902Lを生成する。左右の生画像902R,902Lは、まつ毛900の直線部分のわずかに異なる部分を捉えることに留意されたい。次に、左右の生画像902R,902Lがガウスフィルタでフィルタリングされ、左右のぼけ画像904R,904Lが生成される。次に、ラプラシアン演算子が適用され、これは入力画像に見られるエッジを強調する傾向があり、その結果、左右のエッジ画像906R,906Lが得られる。その後、相関技術が適用され、左右の一致部分908R,908Lが見つけられる。左右の一致部分908R,908Lのそれぞれのピクセル変位を測定することによって、左右の画像変位910R,910Lが生成される。これらの測定値の差から、はっきりと見える立体視差911が生成され、左右のカメラの相対的な間隔および向き(こらは、通常は事前にわかる)が与えられたときのはっきりと見える立体視差911に基づいてカメラと直線的なまつ毛900との間の変位を導き出すことは三角法の簡単な問題である。いくつかの実施形態では、まつ毛の自然な扇形全体にわたるまつ毛の多数の塊が測定され、いくつかの立体視差測定値が生成される。いくつかの実施形態では、これらを単純に平均して、天然の人間のまつ毛に対して単一の変位を生成することができ、他のものでは、まつ毛の湾曲を表す高次モデルを生成することができる。
【0085】
分離に関するその他のバリエーション
[00136] 美観的な理由から、異なる成長速度に関連する問題にもかかわらず、1つのまつ毛エクステンションを2つ以上のまつ毛に取り付けることが時々望まれる。この場合、ロボットは、いくつかのエクステンションを特に塊に接着するように構成されることができる。しかしながら、装置はそのようなプロセスのために適切に二重またはグループ化されたまつ毛を識別すべきであるので、単一およびグループ化されたまつ毛を識別することに関する上述の説明は引き続き適用される。そして、さらに、いくつかのグループは、グループ化されたエクステンションには不適当であり(例えば、グループ内にまつ毛が多すぎる、または構成するまつ毛が許容できないほど交差している場合)、これらの状況を識別することが望ましい。もちろん、上で説明したのと同じ種類の基準およびパラメータが、個々のまつ毛とは異なるしきい値でこれらの状況にも適用することができる。
【0086】
[00137] いくつかの場合では、まつ毛の自然の扇形にある多くのまつ毛の位置を知ることが可能であり得る。これは、その人のまつ毛がまばらである場合、まつ毛の数に対してカメラの解像度が高い場合、またはステレオ対応問題を解決するための正確な方法を提供する基準となる参考が存在する場合に当てはまる。確かに、良好なコントラストがあり、近位で交差していても隠れていてもほとんどのまつ毛が一本で終わるので、まつ毛の遠位端を調べることが個々のまつ毛位置を識別するための最も正確な方法であることがわかっている。この技術は、存在するまつ毛の総数を数えるのにも使うことができる。それでも、この場合であっても、全てのまつ毛の位置を正確に知ることは困難な場合がある。しかしながら、単一のまつ毛が既知の場所にあると考えられる場合、上述のようにピンセットまたは二重プローブをこの単一のまつ毛のまわりに正確に配置し、次にそのまつ毛を分離するために用いることができる。そうすることで、分離プロセスを単純化し、分離プロセスを高速化することができる。分離したまつ毛の許容基準およびパラメータに対して正確に判断できるので、分離したまつ毛が誤って識別されたことが判明しても悲劇的なことにはならない。
【0087】
[00138] したがって、前述の例から、存在する全ての人間のまつ毛についてどれだけ知られているかにかかわらず、分離したまつ毛が実際にエクステンションに適した単一のものであるかどうかを判断できることが非常に重要であることが理解できる。自動まつ毛エクステンションの多くの実施形態にとって重要なのは、分離とまつ毛が単一であるか否かの判断との間のこの相互作用の連動である。
【0088】
[00139] 前の説明では奥行き測定用のステレオカメラペアを想定していたが、ライダースキャンやレーザースキャンなど、奥行きデータを生成できる他の技術もある。さらに、いくつかの実施形態では、カメラはロボットシステムに取り付けられて動かされることができ、その向きを変えることによってステレオカメラペアをシミュレートする。いくつかの実施形態では、カメラをまつ毛の上面図からまつ毛の側面図に移動させることができる。しかしどのような技術が用いられても、その測定を改善するためにまつ毛を分離することが有利である。
【0089】
別のオプション
[00140]
図32は、筐体201を取り付けるためのカートベースの手法を示す。
図32では、筐体103はアーム103に取り付けられる代わりに、キャスタ266上を転がるカート機構265に取り付けられている。カート機構265は、各脚に伸縮機構267を含む(キャスタ266および伸縮機構267は、明確にするために一方の脚にのみラベルが付けられているが、各脚には設けられていることに留意されたい)。伸縮機構267は、筐体201の重量を相殺するのに十分な上向きの力を提供するであろう一定の(またはほぼ一定の)負荷ばねを負荷されることができる。これのポイントは、使用者が筐体201の高さを適切に調整することを非常に容易にすることである。適切な高さに達すると、ロック306を使用して伸縮機構267を所定の位置にロックすることができる。キャスターホイールのロックが設けられていてもよい。当業者は、そのようなカートを実施するための多くの方法があることを認識するであろう。
【0090】
[00141] いくつかの実施形態は、回路基板上に部品を取り付けるために用いられる典型的な機械のように、リールによって機械に供給されることができるテープにエクステンションが取り付けられたテープ供給を利用してエクステンションを供給してもよい。他の実施形態では、プロセス中に様々な長さおよび湾曲のエクステンションとなるであろう連続繊維がデバイスヘッドに供給されてもよい。天然のまつ毛繊維に存在することになる端部に小さなチューブまたはピンチローラーを有するエンドエフェクタに繊維が供給されていてもよい。自動接着剤分配装置は、その後、一滴の接着剤を加えることができる。次に、システムは接着が行われるのを待ってから適切な長さの繊維を送り出し、次に自動切断装置を使用して適切な長さに繊維を切断する。
図10において、固定ピンセット側258は繊維供給機であり、移動側259は切断機構であることを想像することができる。当業者は、これが現代のワイヤ接着機の動作に非常に似ていることに気付くであろう。実際、繊維は、自然な外観およびスタイルを得るために、送り出されるときに様々な湾曲およびテーパーを付けることができる。これは、供給された繊維を所望の形状に形成するために圧力に加えて熱を使用してもしなくてもよいローラによるシステムによって達成することができる。
【0091】
[00142] ロボット機構219は高い加速度で動くことを意図しているので、それは筐体201の望ましくない動きを引き起こす可能性がある。このため、いくつかの動作軸(つまり、最も動くxおよびy)にカウンターウェイトを装着することが望ましい。これがどのように行われるかを説明するために、y軸について説明する。カート230からy軸アクチュエータ227の反対側に追加のカート(y軸カウンタウェイトカート)を追加することによって、y軸アクチュエータ227をカウンターウェイトで補強されていてもよい。このカートは、y軸ベルト229がプーリ間で形成するループの反対側に接続されることができる。このため、y軸カウンタウェイトカートは、y軸カート230が動くときはいつでも、反対方向に動く。y軸カート230に取り付けられた全てのものと同様の重量のy軸カウンタウェイトカートに重量が加えられた場合、y軸カート230上を移動する構成要素の質量を加速することによって引き起こされるシステムへの負荷は、キャンセルされる。同様の戦略をx軸にも採用することができる。
【0092】
[00143] いくつかの実施形態では、筐体201の内側は、カップ248内の接着剤を保存するために温度調節されている。これは、オペレータが、対象者が本当に快適になるには低すぎる大気温度にサロンを保つことを好むという、まつ毛エクステンションサロンの古典的な問題を避ける。いくつかの実施形態では、接着剤をより急速に硬化させることができるように、配置されているエクステンションに局所的な気候が制御される。例えば、接着剤の硬化を促進するために、エクステンションを置いた後に湿度を瞬間的に上げることができる。水のわずかな霧がほとんど瞬時に湿度を上げることができて、そして後で小さな送風機が湿気を下げるために乾燥した部屋で空気を吹き込むことができることがわかる。このようなシステムは、接着剤の作業性を維持しながらもその硬化を加速させることができ、より速い処置時間をもたらす。他の実施形態では、配置時に接着剤の硬化を促進するために水以外の促進剤が用いられる。
【0093】
[00144] いくつかの実施形態では、接着剤は、コントローラによって作動されるボトルまたはシリンジなどのディスペンサ内に提供される。この実施形態では、必要に応じて清浄な接着剤がディスペンサから供給される。例えば、ディスペンサは、液体装填領域246,247のうちの1つに配置されることができ、接着剤カップ248のようなカップに接着剤を定期的に分配することができる。
【0094】
[00145] いくつかの実施形態では、機械制御装置はインターネットに接続されているので、各手順について機械の操作者/所有者に金銭的な金額を請求することができる。システムは、インターネット接続を使用して、オペレータ/所有者が自分のアカウントに納入済みであることを確認し、そうであれば、まつ毛エクステンションセッションを実行し、各手順について彼等のアカウントに借方を記入することができる。あるいは、それは、所有者/オペレータが、機械を操作する権利のための月毎、四半期毎、または年毎の定額制に従って支払うことを確実にすることができる。
【0095】
[00146] 上記の議論のいくつかは、ピンセットまたはプローブの使用に焦点を当ててきたが、必要ならば他の「端部」を使用できることを認識すべきである。本発明の目的のために、ロボットの「端部」または「複数の端部」はロボットの最も遠位の点または複数の点である。
【0096】
[00147] いくつかの実施形態では、眉毛はむしろまつ毛に類似した特性を有するので、まつ毛ではなく眉毛を伸ばすために同じ装置を用いることができる。
[00148] 上記に基づいて、本発明がまつ毛エクステンションをより効果的に設置する方法を提供し、それが、それを行うための時間および費用の両方を削減することは容易に明らかであるはずである。好ましい実施形態を参照して説明したが、本発明の精神から逸脱することなく本発明に様々な変更または修正を加えることができることを容易に理解されたい。一般に、本発明は特許請求の範囲によってのみ限定されることを意図している。
(項目1)
複数の天然まつ毛を観察するように構成された少なくとも1つのカメラと、前記少なくとも1つのカメラからデータを受け取るように構成されたコントローラとを使用して、対象者の複数の天然まつ毛のうちの1本の天然まつ毛がエクステンションに適しているかどうかを判断する方法において、
前記少なくとも1つのカメラを用いて前記天然まつ毛の幾何学的パラメータを測定するステップと、
許容値に対して前記幾何学的パラメータを比較するステップと、
前記比較に基づいて、前記天然まつ毛がエクステンションに適しているかどうかを判断するステップとを含む、方法。
(項目2)
前記比較に基づいて、前記天然まつ毛が多重の天然まつ毛からなるかどうかを判断するステップと、
前記天然まつ毛が多重の天然まつ毛からなるときに、前記天然まつ毛はエクステンションには適していないと判断するステップとをさらに含む、項目1に記載の方法。
(項目3)
前記少なくとも1つのカメラは、第1のカメラと第2のカメラとを含み、
前記第1のカメラで前記天然まつ毛を撮像して第1の画像を生成するステップと、
前記第2のカメラで前記天然まつ毛を撮像して第2の画像を生成するステップとをさらに含み、
前記幾何学的パラメータを測定するステップは、前記第1の画像と前記第2の画像との間の見かけの視差に基づいて前記天然まつ毛の深さを測定することと、前記幾何学的パラメータを比較することは、前記深さを許容深度値とを比較することとを含む、項目1に記載の方法。
(項目4)
前記幾何学的パラメータを測定するステップは、分散型幾何学的パラメータを生成するために前記天然まつ毛に沿った複数の点で前記幾何学的パラメータを測定することを含み、前記幾何学的パラメータを比較するステップは、許容値に対して前記分散型幾何学的パラメータを比較することを含む、項目1に記載の方法。
(項目5)
ロボット機構のロボットエンドエフェクタを用いて前記複数の天然まつ毛を探るステップと、
前記ロボットエンドエフェクタを用いて前記複数の天然まつ毛の第1のサブセットを移動させるステップと、
前記第1のサブセットを移動させた後に、前記幾何学的パラメータの前記測定を繰り返すステップとをさらに含む、項目1に記載の方法。
(項目6)
前記ロボットエンドエフェクタは第1のプローブを含み、前記ロボット機構は第2のプローブをさらに含み、前記ロボット機構は前記第1のプローブおよび前記第2のプローブを互いに対して移動させるように制御可能に構成され、
前記第1のプローブと前記第2のプローブとの間の移動を、まつ毛の直径と同じ尺度になるように調整するステップと、
前記第1のプローブおよび前記第2のプローブを前記複数の天然まつ毛を通して差し込むステップと、
前記第1のプローブおよび前記第2のプローブ間の前記移動を増大させるステップであって、前記複数の天然まつ毛の第2のサブセットが、前記複数の天然まつ毛の残りの部分よりも低い密度になるように、前記第1のプローブと前記第2のプローブとの間に残る、ステップとを含む、項目5に記載の方法。
(項目7)
前記移動を調整するステップと、前記第1のプローブおよび前記第2のプローブを差し込むステップと、前記移動を増大させるステップとを、少なくとも1つのまつ毛がエクステンションに適していると判断されるまで繰り返すことをさらに含む、項目6に記載の方法。
(項目8)
前記ロボットエンドエフェクタは第1のプローブを含み、前記ロボット機構は第2のプローブをさらに含む、項目5に記載の方法において、
前記第1のプローブ前記複数の天然まつ毛を通して移動させるステップと、
前記第1のプローブを前記複数の天然まつ毛に沿って平行移動させるステップと、
前記第2プローブを前記複数の天然まつ毛を通して移動させるステップと、
前記複数の天然まつ毛の第2のサブセットが前記第1のプローブと前記第2のプローブとの間に残るように、前記第2のプローブを前記第1のプローブの反対方向に平行移動させるステップとを含む、方法。
(項目9)
ロボット機構のロボットエンドエフェクタを用いて前記複数の天然まつ毛をブラッシングするステップと、
前記複数の天然まつ毛をブラッシングした後に、前記幾何学的パラメータの前記測定を繰り返すステップとをさらに含む、項目1に記載の方法。
(項目10)
対象者の複数の天然まつ毛の1つの天然まつ毛がエクステンションに適しているかどうかを判断する方法であって、前記複数の天然まつ毛を観察するように構成されたコンピュータビジョンシステムと、前記複数の天然まつ毛を探るように構成されたロボット機構と、前記ロボット機構と通信するように構成されたコントローラとを使用する、方法において、
a)前記コンピュータビジョンシステムを用いて前記複数の天然まつ毛を撮像するステップと、
b)前記複数の天然まつ毛の空間位置を計算するステップと、
c)前記ロボット機構を用いて前記天然まつ毛を分離させようと試みるステップと、
d)前記試みの結果を前記コンピュータビジョンシステムで撮像するステップと、
e)前記試みが成功した場合に、前記天然まつ毛がエクステンションに適していると判断するステップと、
f)前記試行が失敗した場合に、少なくともステップcおよびdを繰り返すステップとを含む、方法。
(項目11)
前記コンピュータビジョンシステムは、少なくとも2つのカメラを含む、項目10に記載の方法。
(項目12)
前記コンピュータビジョンシステムを用いて前記天然まつ毛の前記幾何学的パラメータを測定し、
前記許容値に対して前記幾何学的パラメータを比較し、
前記比較に基づいて、前記天然まつ毛が単一であるかどうかを判断することにより、
前記試みが成功したかどうかを判断するステップをさらに含む、項目10に記載の方法。
(項目13)
分散型パラメータを生成するために前記天然まつ毛に沿った複数の位置で前記天然まつ毛のパラメータを測定し、
許容値に対して前記分散型パラメータを比較し、
前記比較に基づいて、前記天然まつ毛が単一であるかどうかを判断することにより、
前記試みが成功したかどうかを判断するステップをさらに含む、項目10に記載の方法。
(項目14)
前記ロボット機構は、第1のプローブと第2のプローブとを含む、項目10に記載の方法において、
前記第1のプローブを前記複数の天然まつ毛を通して移動させるステップと、
前記第1のプローブを前記複数の天然まつ毛に沿って平行移動させるステップと、
前記第2プローブを前記複数の天然まつ毛を通して移動させるステップと、
前記複数の天然まつ毛のサブセットが前記第1プローブと前記第2プローブとの間に残るように、前記第2プローブを前記第1プローブの反対方向に平行移動させるステップとをさらに含む、方法。
(項目15)
対象者の複数の天然まつ毛のうちの1本の天然まつ毛がエクステンションに適しているかどうかを判断するように構成された装置において、
前記複数の天然まつ毛を観察するように構成されたコンピュータビジョンシステムと、
前記複数の天然まつ毛を探るように構成されたロボット機構と、
前記ロボット機構と通信するように構成されたコントローラとを備え、
a)前記コンピュータビジョンシステムを用いて前記複数のまつ毛を撮像し、
b)前記複数の天然まつ毛の空間位置を計算し、
c)前記ロボット機構を用いて前記天然まつ毛を分離することを試み、
d)前記試みの結果を前記コンピュータビジョンシステムで撮像し、
e)前記試みが成功した場合に、前記天然まつ毛がエクステンションに適していると判断し、
f)前記試みが失敗した場合には、少なくともステップc及びステップdを繰り返すように構成された、装置。
(項目16)
前記装置は、
前記コンピュータビジョンシステムを用いて前記天然まつ毛のパラメータを測定し、
許容値に対して前記パラメータを比較し、
前記比較に基づいて、前記天然まつ毛が複数の天然まつ毛で構成されているどうかを判断し、
前記天然まつ毛が複数の天然まつ毛で構成されている場合に、前記天然まつ毛がエクステンションに適していないと判断するように構成された、項目15に記載の装置。
(項目17)
前記コンピュータビジョンシステムは、少なくとも2つのカメラを含む、項目15に記載の装置。
(項目18)
前記装置は、
前記コンピュータビジョンシステムを用いて前記天然まつ毛の幾何学的パラメータを測定し、
許容値に対して前記幾何学的パラメータを比較し、
前記比較に基づいて前記天然まつ毛の分離を確認するように構成された、項目15に記載の装置。
(項目19)
前記コンピュータビジョンシステムは、分散型パラメータを生成するために前記天然まつ毛に沿った複数の点で前記天然まつ毛のパラメータを測定するように構成され、前記装置は、
許容値に対して前記分散型パラメータを比較し、
前記比較に基づいて分離が発生しているか否かを判断するようにさらに構成された、項目15に記載の装置。
(項目20)
前記ロボット機構は、第1のプローブと第2のプローブとを含み、前記ロボット機構は、
前記第1のプローブを前記複数の天然まつ毛を通して移動させ、
前記第1プローブを前記複数の天然まつ毛に沿って平行移動させ、
前記第2のプローブを前記複数の天然まつ毛を通して移動させ、
前記複数の天然まつ毛のサブセットが前記第1のプローブと前記第2のプローブとの間に残るように、前記第2のプローブを第1のプローブと反対方向に平行移動させるように構成された、項目15に記載の装置。
(項目21)
複数の天然まつ毛を観察するように構成されたコンピュータビジョンシステムと、前記複数の天然まつ毛を探るように構成されたロボット機構と、前記ロボット機構と通信するように構成されたコントローラとを使用して対象者の複数の天然まつ毛へのまつ毛エクステンションの適用を案内する方法において、前記コンピュータビジョンシステムは第1のカメラと第2のカメラとを含み、前記ロボット機構はエンドエフェクタを含み、前記方法は、
前記第1のカメラからの第1の画像と前記第2のカメラの第2の画像との間の見かけの向きの差を比較することによって前記複数の天然まつ毛の程度を判断するステップと、
前記エンドエフェクタを用いて前記複数の天然まつ毛の領域を探るステップと、
前記第1のカメラおよび前記第2のカメラで前記領域を撮像するステップと、
前記第1のカメラからの第3の画像と前記第2のカメラからの第4の画像との間の見かけの向きの差を比較することによって、前記領域内の天然まつ毛の寸法を測定するステップと、
エクステンションのための確立された基準を満たす場合に、エクステンションのために適切であるとして前記天然まつ毛を識別するステップと、
前記領域内にまつ毛が前記確立された基準を満たさない場合に、探るステップを繰り返すステップとを含む方法。
(項目22)
エクステンションするのに適切であるとして天然まつ毛を識別することは、
前記コンピュータビジョンシステムを用いて前記天然まつ毛の幾何学的パラメータを測定し、
許容値に対して前記幾何学的パラメータを比較し、
前記比較に基づいて、前記天然まつ毛が単一であるかどうかを判断することを含む、項目21に記載の方法。
(項目23)
エクステンションするのに適切であるとして天然まつ毛を識別することは、
分散型パラメータを生成するために、前記天然まつ毛に沿った複数の点で前記天然まつ毛のパラメータを測定し、
許容値に対して前記分散型パラメータを比較し、
前記比較に基づいて、前記天然まつ毛が単一であるかどうかを判断することを含む、項目23に記載の方法。
(項目24)
前記エンドエフェクタは第1のプローブを含み、前記ロボット機構は第2のプローブをさらに含む、項目21に記載の方法において、
前記第1のプローブを前記複数の天然まつ毛を通して移動させ、
前記第1のプローブを前記複数の天然まつ毛に沿って平行移動させ、
前記第2のプローブを前記複数の天然まつ毛を通して移動させ、
前記複数の天然まつ毛のサブセットが前記第1のプローブと前記第2のプローブとの間に残るように、前記第2のプローブを前記第1のプローブの反対方向に平行移動させる、方法。
(項目25)
複数の天然まつ毛を観察するように構成された少なくとも1つのカメラと、前記少なくとも1つのカメラからデータを受け取るように構成されたコントローラとを使用して、対象者の複数の天然まつ毛のうちの1本の天然まつ毛がエクステンションに適しているかどうかを判断する方法において、
画像を生成するために、前記少なくとも1つのカメラで前記天然まつ毛を撮像するステップと、
前記画像をニューラルネットワークに送り、
前記ニューラルネットワークを用いて前記天然まつ毛がエクステンションに適しているかどうかを判断するステップとを含む、方法。
(項目26)
前記ニューラルネットワークは、人間の天然まつ毛の複数の画像を使用して訓練される、項目25に記載の方法。
(項目27)
前記複数の画像は、単一まつ毛、交差まつ毛、および積層まつ毛の画像を含む、項目26に記載の方法。
(項目28)
前記少なくとも1つのカメラを用いて前記天然まつ毛の幾何学的パラメータを測定し、
許容値に対して前記幾何学的パラメータを比較し、
前記比較に基づいて、前記天然まつ毛がエクステンションに適しているかどうかを判断することをさらに含む、項目25に記載の方法。
(項目29)
前記ニューラルネットワークは、ディープジェネレータネットワークによって作成された複数の画像を使用して訓練された、項目25に記載の方法。