特許 7577431 塗布制御装置、塗布装置、塗布制御方法および記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-25

(45)【発行日】2024-11-05

(54)【発明の名称】塗布制御装置、塗布装置、塗布制御方法および記録媒体

(51)【国際特許分類】

   A45D 44/00 20060101AFI20241028BHJP

   B05C 5/00 20060101ALI20241028BHJP

   B05C 11/00 20060101ALI20241028BHJP

   B05C 11/10 20060101ALI20241028BHJP

   B41J 2/01 20060101ALI20241028BHJP

【ＦＩ】

A45D44/00 Z

B05C5/00 101

B05C11/00

B05C11/10

B41J2/01 109

B41J2/01 303

B41J2/01 401

B41J2/01 451

【請求項の数】 11

(21)【出願番号】P 2018557762

(86)(22)【出願日】2017-12-18

(86)【国際出願番号】 JP2017045303

(87)【国際公開番号】W WO2018117022

(87)【国際公開日】2018-06-28

【審査請求日】2020-12-11

【審判番号】

【審判請求日】2022-12-01

(31)【優先権主張番号】P 2016246656

(32)【優先日】2016-12-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001959

【氏名又は名称】株式会社 資生堂

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(74)【代理人】

【識別番号】100125139

【弁理士】

【氏名又は名称】岡部 洋

(72)【発明者】

【氏名】勝山 智祐

【合議体】

【審判長】柿崎 拓

【審判官】窪田 治彦

【審判官】伊藤 秀行

(56)【参考文献】

【文献】特開２０１５－１５９９７５（ＪＰ，Ａ）

【文献】特開２００８－２０６７５２（ＪＰ，Ａ）

【文献】特開２００８－２３４３６２（ＪＰ，Ａ）

【文献】特開２０１６－１６６８５３（ＪＰ，Ａ）

【文献】特開２０１６－１２７３３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

A45D44/00

(57)【特許請求の範囲】

【請求項1】

第１の撮像部によって撮像された肌の所定の範囲の第１の画像を記憶する記憶部と、
肌に化粧品を塗布可能な塗布ヘッドに連結され、且つ前記第１の撮像部とは異なる第２の撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得する取得部と、
前記第１の画像における前記第２の画像の位置を認識する認識部と、
前記第１の画像の輝度分布に基づき前記第１の画像に含まれる塗布対象の位置を特定し、前記第２の画像の位置に基づき前記塗布ヘッドの位置を特定し、特定された前記塗布対象の位置および特定された前記塗布ヘッドの位置に基づき前記塗布ヘッドにより前記化粧品を塗布可能な領域に前記塗布対象が含まれているか否かを判断する、処理部と、
を備える塗布制御装置。

【請求項2】

前記認識部は、前記第１の画像から前記第２の画像との相関が最も高い領域を抽出することによって、前記位置を認識する請求項１に記載の塗布制御装置。

【請求項3】

前記認識部は、前記第１の画像および前記第２の画像の特定の波長成分を用いて前記相関を算出する請求項２に記載の塗布制御装置。

【請求項4】

前記特定の波長成分は、５４０ｎｍ以下の波長を有する請求項３に記載の塗布制御装置。

【請求項5】

前記第１の画像および前記第２の画像は、偏光フィルタを用いて撮像される請求項１乃至４のいずれか１項に記載の塗布制御装置。

【請求項6】

前記第２の画像を複数のセグメントに分割し、前記セグメントごとに必要な塗布量を算出する算出部をさらに備え、
前記塗布ヘッドは、前記塗布量に従って化粧品を塗布する請求項１乃至５のいずれか１項に記載の塗布制御装置。

【請求項7】

肌に対して一定の距離を保つように前記塗布ヘッドを保持する保持部をさらに備える請求項１乃至６のいずれか１項に記載の塗布制御装置。

【請求項8】

前記塗布ヘッドは、液滴状の化粧品を吐出するインクジェットヘッドである請求項１乃至７のいずれか１項に記載の塗布制御装置。

【請求項9】

前記塗布ヘッドと、
前記第２の撮像部と、
請求項１乃至８のいずれか１項に記載の塗布制御装置と
を備える塗布装置。

【請求項10】

第１の撮像部によって撮像された肌の所定の範囲の第１の画像を記憶するステップと、
肌に化粧品を塗布可能な塗布ヘッドに連結され、且つ前記第１の撮像部とは異なる第２の撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得するステップと、
前記第１の画像における前記第２の画像の位置を認識するステップと、
前記第１の画像の輝度分布に基づき前記第１の画像に含まれる塗布対象の位置を特定するステップと、
前記第２の画像の位置に基づき前記塗布ヘッドの位置を特定するステップと、
特定された前記塗布対象の位置および特定された前記塗布ヘッドの位置に基づき、前記塗布ヘッドにより前記化粧品を塗布可能な領域に前記塗布対象が含まれているか否かを判断するステップと、
を備える塗布制御方法。

【請求項11】

第１の撮像部によって撮像された肌の所定の範囲の第１の画像を記憶するステップと、
肌に化粧品を塗布可能な塗布ヘッドに連結され、且つ前記第１の撮像部とは異なる第２の撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得するステップと、
前記第１の画像における前記第２の画像の位置を認識するステップと、
前記第１の画像の輝度分布に基づき前記第１の画像に含まれる塗布対象の位置を特定するステップと、
前記第２の画像の位置に基づき前記塗布ヘッドの位置を特定するステップと、
特定された前記塗布対象の位置および特定された前記塗布ヘッドの位置に基づき、前記塗布ヘッドにより前記化粧品を塗布可能な領域に前記塗布対象が含まれているか否かを判断するステップと、
をコンピュータに実行させるプログラムを記録した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、塗布制御装置、塗布装置、塗布制御方法および記録媒体に関する。

【背景技術】

【0002】

肌に化粧品を塗布する際に、指、スポンジ等を用いて手技で行うのではなく、インクジェット等の印刷デバイスを用いて自動的に塗布を行う技術が知られている。特許文献１には、化粧インクを吐出するヘッドと、ヘッドを移動可能な移動装置とを備えた化粧装置が開示されている。特許文献１の化粧装置は、被化粧面（肌）の凹凸、明るさ分布等のデータを測定し、当該データに基づいて被化粧面におけるシミ、しわ等の位置を判断する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－２７１６５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１には、塗布対象となるシミ、しわ等に対しヘッドを位置決めする方法が具体的に開示されていない。特許文献１の移動装置は、肌に沿ってヘッドを移動させることができるが、位置決めを行うためには肌のどこにヘッドが位置しているかを知る必要がある。

【0005】

本発明はこのような問題に鑑みてなされたもので、肌における塗布ヘッドの位置を認識することが可能な塗布制御装置、塗布装置、塗布制御方法および記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係る塗布制御装置は、肌の所定の範囲の第１の画像を記憶する記憶部と、肌に化粧品を塗布可能な塗布ヘッドに連結された撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得する取得部と、前記第１の画像における前記第２の画像の位置を認識する認識部と、を備える。

【0007】

本発明の一実施形態に係る塗布制御方法は、肌の所定の範囲の第１の画像を記憶するステップと、肌に化粧品を塗布可能な塗布ヘッドに連結された撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得するステップと、前記第１の画像における前記第２の画像の位置を認識するステップと、を備える。

【0008】

本発明の一実施形態に係る記録媒体は、肌の所定の範囲の第１の画像を記憶するステップと、肌に化粧品を塗布可能な塗布ヘッドに連結された撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得するステップと、前記第１の画像における前記第２の画像の位置を認識するステップと、をコンピュータに実行させるプログラムを記録する。

【発明の効果】

【0009】

本発明によれば、肌における塗布ヘッドの位置を認識することが可能な塗布制御装置、塗布装置、塗布制御方法および記録媒体が提供される。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る塗布システムの構成を示す模式図である。

【図2】第１実施形態に係る塗布装置および塗布制御装置のブロック図である。

【図3】第１実施形態に係る塗布制御装置の機能ブロック図である。

【図4】第１実施形態に係る塗布制御方法を示すフローチャートである。

【図5】第１実施形態に係る相関処理を説明するための図である。

【図6】第１実施形態に係る塗布処理の詳細を示すフローチャートである。

【図7】第２実施形態に係る塗布装置の模式図および断面図である。

【図8】第３実施形態に係る塗布システムの構成を示す模式図である。

【図9】第３実施形態に係る塗布装置および塗布制御装置のブロック図である。

【発明を実施するための形態】

【0011】

［第１実施形態］
図１は、本実施形態に係る塗布システム１０の構成を示す模式図である。塗布システム１０は、塗布装置１００、撮像部２００、塗布制御装置３００を備えている。塗布装置１００は、肌に化粧品（化粧料）を塗布するための装置であり、ユーザに把持される。塗布装置１００は角柱状の筐体を有し、筐体の一端面に塗布ヘッド１０１が設けられている。塗布装置１００の形状はユーザが把持し易い形状であれば限定されず、円柱状、半球状をなしていても良い。また、塗布装置１００はハンドル等の把持部材を備えていても良い。

【0012】

塗布ヘッド１０１は、例えばインクジェットヘッドから構成され、化粧料を吐出する複数のノズルを備えている。複数のノズルは２次元に配列されており、肌の所定の領域に対して化粧料を塗布可能である。塗布装置１００には化粧料タンク１０２が装着され、化粧料タンク１０２から化粧料が塗布ヘッド１０１に供給される。化粧料タンク１０２は、塗布装置１００内に設けられていても良い。化粧料としては、肌のシミ、ソバカス、毛穴等を隠蔽するための液状コンシーラーを用いることができる。

【0013】

塗布装置１００の筐体側面（上面）には、塗布ヘッド１０１と同一の向きに撮像部２００が設けられている。撮像部２００は、レンズ、撮像素子等を備え、塗布ヘッド１０１により塗布が行われる狭い範囲の肌の画像（第２の画像）を撮像することができる。撮像部２００は塗布ヘッド１０１に連結されており、塗布ヘッド１０１に対する撮像部２００の相対的な位置は固定されている。撮像部２００は塗布ヘッド１０１と一体的に形成されていても良い。

【0014】

塗布装置１００および撮像部２００は、塗布制御装置３００により制御される。塗布制御装置３００は、ＵＳＢ（Universal Serial Bus）ケーブル等の有線接続またはＢｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ等の無線接続を介して、塗布装置１００および撮像部２００に接続されている。塗布制御装置３００は、塗布装置１００に内蔵されていても良い。塗布制御装置３００は、塗布対象となるシミ、ソバカス、毛穴等を含む肌の広い範囲の画像（第１の画像）を予め記憶している。塗布制御装置３００は、撮像部２００から取得した第２の画像を第１の画像と比較することにより、肌における塗布ヘッド１０１の位置を把握することができる。塗布制御装置３００はディスプレイ３０１を備え、ディスプレイ３０１には、肌の画像、塗布ヘッド１０１の状態等の各種情報が表示される。

【0015】

ユーザは塗布装置１００を把持し、塗布ヘッド１０１を肌に近接させると、塗布制御装置３００は肌における塗布ヘッド１０１の位置を認識し、塗布ヘッド１０１の現在位置をディスプレイ３０１に表示する。ユーザはディスプレイ３０１を確認しながら塗布ヘッド１０１を肌に沿って移動させ、塗布ヘッド１０１は塗布対象がある位置に到着すると、自動的に化粧料の塗布を行う。

【0016】

図２は、本実施形態に係る塗布装置１００および塗布制御装置３００のブロック図である。塗布装置１００は、塗布ヘッド１０１、化粧料タンク１０２、移動機構１０３、操作部１０４、距離センサ１０５、モーションセンサ１０６を備えている。塗布制御装置３００は、ディスプレイ３０１、画像処理回路３０２、ギャップ制御回路３０３、ヘッド制御回路３０４、ＣＰＵ３０５、ＲＡＭ３０６、ＲＯＭ３０７、記憶装置３０８、スピーカ３０９を備えている。

【0017】

塗布ヘッド１０１は、例えばピエゾ方式のインクジェットヘッドであり、ノズル、圧力室、圧電素子、駆動回路等から構成される。圧力室には化粧料が充填され、駆動回路から圧電素子に電圧が印加されると、圧電素子の変形によって圧力室の体積が変化する。これにより、ノズルから化粧料が液滴状に吐出される。なお、塗布ヘッド１０１は、加熱体によって化粧料を加熱し、発生した気泡の圧力により化粧料を吐出するサーマル方式のインクジェットヘッドであっても良い。塗布ヘッド１０１は、ヘッド制御回路３０４からの制御信号に基づいて動作する。

【0018】

化粧料タンク１０２は、化粧料を収容し、塗布ヘッド１０１に化粧料を供給する。化粧料タンク１０２は、交換が容易なカートリッジタイプとすることができる。化粧料は、塗布ヘッド１０１から吐出可能な所定の粘性を有する液体であり、コンシーラー、ファンデーション、チーク、おしろい、アイシャドー等を含み得る。化粧料タンク１０２は、種類または色調が異なる複数の化粧料を収容するように複数設けられていても良い。例えば、４色の化粧料を塗布できるように４つの化粧料タンク１０２を設け、各色に対応する４つのノズル群を塗布ヘッド１０１に設けることができる。

【0019】

移動機構１０３は、アクチュエータ、ガイド部材等から構成され、塗布装置１００の長手方向、すなわち塗布ヘッド１０１を肌に対向させたときに肌に対して垂直な方向に塗布ヘッド１０１を進退駆動させることができる。移動機構１０３は、ギャップ制御回路３０３からの制御信号に従って、塗布ヘッド１０１の位置制御を行う。

【0020】

操作部１０４は、電源スイッチ、メニューボタン、塗布を実行するための塗布ボタン等の操作部材を備え、ユーザが塗布装置１００に対して指示を与えるために用いられる。塗布制御装置３００は、操作部１０４から入力されるユーザの指示に応じて、塗布装置１００の動作を制御する。塗布ボタンは、ユーザが塗布装置１００を把持したままで容易に操作可能な位置に配置されることが好ましく、例えば、ユーザが塗布装置１００を把持したときに、指に触れるような位置に配置される。これにより、ユーザは直接視認できない部位（頬等）に塗布装置１００を移動したときでも、手探りで塗布ボタンを操作することができる。

【0021】

距離センサ１０５は、例えば赤外線センサ、超音波センサ等であり、赤外線、超音波等の検出波を物体に向けて照射し、その反射波を受信する。距離センサ１０５は検出波を照射してから、反射波を受信するまでの時間に基づき、物体までの距離を検出することができる。また、距離センサ１０５は塗布ヘッド１０１の周囲に複数設けられており、肌に対する塗布ヘッド１０１の傾きを検出することも可能である。塗布制御装置３００は、距離センサ１０５からの検出信号に基づいて、肌と塗布ヘッド１０１間の距離を一定に保つとともに、例えば肌に対して塗布ヘッド１０１が傾いている場合には化粧料を吐出させないように塗布ヘッド１０１を制御することができる。

【0022】

モーションセンサ１０６は、加速度センサ、ジャイロセンサ、地磁気センサを含み、塗布ヘッド１０１の移動、回転等の動きを検出する。加速度センサは、例えば静電容量検出素子から構成され、塗布ヘッド１０１に引加された加速度を検出することができる。ジャイロセンサは、例えば圧電振動素子から構成され、塗布ヘッド１０１の向きを検出する機能を備える。地磁気センサは地磁気を検出することにより、塗布ヘッド１０１の方位を把握することができる。塗布制御装置３００は、モーションセンサ１０６からの検出信号に基づいて、例えば塗布ヘッド１０１の動きが速い場合には化粧料を吐出させないように塗布ヘッド１０１を制御することができる。

【0023】

撮像部２００は、光学系、撮像素子、Ａ／Ｄ（Analog/Digital）変換器を備える。光学系は、光学フィルタ、固定レンズ、フォーカスレンズを含み、被写体（肌）からの光を撮像素子の撮像面に結像させ、被写体像を形成する。光学系には偏光フィルタを取り付けることが可能であり、鏡面反射を低減することができる。撮像素子は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサであり、２次元配列された複数の画素、色フィルタ、マイクロレンズを備える。複数の画素は撮像用の画素、焦点検出用の画素を含み得る。また、撮像素子は、電荷蓄積時間を制御する電子シャッタ機能を有している。複数の画素のそれぞれは、光学系からの入射光に基づく画素信号を出力する。Ａ／Ｄ変換器は、比較回路、ラッチ回路等から構成され、撮像素子からのアナログの画素信号をデジタルのＲＡＷデータに変換する。撮像部２００は、静止画像の他、所定のフレームレートの動画像を出力することが可能である。

【0024】

ディスプレイ３０１は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイから構成される。ディスプレイ３０１は、ＣＰＵ３０５からのデータに基づき、撮像部２００からの画像、記憶装置３０８に記憶した画像、塗布ヘッド１０１の状態情報、メニュー画面等の各種表示を行う。ディスプレイ３０１は、タッチパネルであっても良く、操作部１０４としても機能し得る。

【0025】

画像処理回路３０２は、数値演算回路を含み、撮像部２００からのＲＡＷデータに対してデモザイク処理を行い、画素ごとにＲ（赤）、Ｇ（緑）、Ｂ（青）の各色値を有する画像データ（ＲＧＢ画像）を生成する。画像処理回路３０２は、画像データに対して、ホワイトバランス調整、ガンマ補正、輪郭強調、階調変換、ノイズリダクション、圧縮などのデジタル画像処理を行う機能も有している。

【0026】

ギャップ制御回路３０３は、移動機構１０３に制御信号を出力することにより、肌と塗布ヘッド１０１の間隔（ギャップ）を制御する。ギャップ制御回路３０３は、距離センサ１０５からの検出信号に基づき、肌に対して一定の距離を保つように塗布ヘッド１０１の位置を制御することができる。ヘッド制御回路３０４は、ＣＰＵ３０５からの指示に基づき、化粧料を吐出させるノズルの情報、塗布量等を示す制御信号を塗布ヘッド１０１に出力する。

【0027】

ＣＰＵ（Central Processing Unit）３０５は、ＣＰＵコア、キャッシュメモリなどを備え、塗布制御装置３００の各部を統括的に制御する。ＲＡＭ（Random Access Memory）３０６は、例えばＤＲＡＭ（Dynamic RAM）であり、ＣＰＵ３０５のワーク領域、プログラムのロード領域などに使用される。ＲＡＭ３０６は、ＣＰＵ３０５の処理に必要なデータ、画像処理回路３０２で生成された画像データ、記憶装置３０８から読み出した画像データ等を一時的に記憶する。ＲＯＭ（Read Only Memory）３０７は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）であり、各種設定ファイル、ＯＳ（Operating System）等の基本プログラム、塗布装置１００の動作を制御するための制御プログラムを格納する。

【0028】

記憶装置（記憶部）３０８は、例えばフラッシュメモリ、ハードディスクであり、撮像部２００からのＬＡＷデータ、画像処理回路３０２で生成した画像データ等を格納する。記憶装置３０８は、外部の撮像装置により取得した画像データを格納することも可能である。記憶装置３０８は、可搬型の記憶媒体であっても良く、メモリカードスロット、ＵＳＢコネクタ等を介して、塗布制御装置３００と着脱可能に構成され得る。

【0029】

スピーカ３０９は、圧電式の振動ユニット、駆動回路等を備え、ＣＰＵ３０５からのデータに基づく音波信号を出力する。スピーカ３０９は、音声メッセージ、効果音等を再生可能であり、例えば塗布装置１００の動作状態をユーザに報知するために使用される。

【0030】

図３は、本実施形態に係る塗布制御装置３００の機能ブロック図である。塗布制御装置３００は、記憶部３０８、取得部３１０、認識部３１１、算出部３１２の機能を有している。塗布制御装置３００の機能は、ＣＰＵ３０５がＲＯＭ３０７に格納された所定の制御プログラムをＲＡＭ３０６に読み出し、実行することにより実現される。

【0031】

記憶部３０８には、肌の所定の範囲の第１の画像が記憶される。第１の画像は、塗布対象となるシミ、ソバカス、毛穴等を含む肌の広い範囲を撮像した画像である。第１の画像は、専用の撮像機器或いは一般的なデジタルカメラを用いて撮像することができ、記憶部３０８に事前に格納される。第１の画像は撮像部２００を用いて撮像することも可能である。

【0032】

取得部３１０は、撮像部２００から第２の画像を取得する。第２の画像は、第１の画像の範囲よりも小さい範囲の肌の画像である。取得部３１０は、所定時間毎に第２の画像を取得し、第２の画像を認識部３１１に受け渡す。撮像部２００は塗布ヘッド１０１に連結されており、塗布ヘッド１０１の位置は、撮像部２００の位置から求めることが可能である。

【0033】

認識部３１１は、取得部３１０からの第２の画像を記憶部３０８に記憶された第１の画像と比較し、第１の画像における第２の画像の位置を認識する。認識部３１１は、画像データの相関演算を行うことが可能であり、第２の画像との相関が最も高い領域を第１の画像から抽出することができる。

【0034】

算出部３１２は、第１の画像または第２の画像を複数のセグメントに分割し、セグメントごとに必要な化粧料の塗布量を算出する。塗布量の算出方法は任意であり、例えば塗布後の肌の輝度分布が均一になるように塗布量を算出することができる。塗布ヘッド１０１は、算出部３１２からの塗布量に従って肌に化粧品を塗布することが可能である。

【0035】

図４は、本実施形態に係る塗布制御方法のフローチャートである。ここでは頬のシミに化粧品を塗布する例を説明する。まず、ＣＰＵ３０５は、複数のシミを含む画像（第１の画像）を記憶装置３０８から読み出し、ＲＡＭ３０６に記憶する（ステップＳ４０１）。第１の画像は、頬の広い範囲（例えば縦３ｃｍ×横４ｃｍ）を撮像した画像である。第１の画像は偏光フィルタを用いて撮像しても良い。さらに、ＣＰＵ３０５は、第１の画像をディスプレイ３０１に表示する。ＣＰＵ３０５は、第１の画像から複数のシミの位置を特定し、シミの位置をユーザに示すアイコン等をディスプレイ３０１に表示しても良い。シミの位置は、例えば画像の特徴量（輝度分布等）に基づいて特定することができる。

【0036】

次に、ユーザは塗布装置１００を把持し、塗布ヘッド１０１を肌に近接させる。ユーザは、既に塗布ヘッド１０１を肌に近接させている場合、塗布ヘッド１０１を肌に沿って移動させる（ステップＳ４０２）。ユーザはディスプレイ３０１を見ながら、シミがある方向に塗布ヘッド１０１を動かすことができる。撮像部２００は、所定のフレームレートで肌の動画像を撮像する。

【0037】

ＣＰＵ３０５は、撮像部２００から第２の画像を取得する（ステップＳ４０３）。第２の画像は、動画像の１フレームであって、頬の狭い範囲（例えば縦１ｃｍ×横１ｃｍ）を撮像した画像である。第１の画像と同様に、第２の画像も偏光フィルタを用いて撮像しても良い。ＣＰＵ３０５は、画像処理回路３０２において第２の画像についての画像データを生成し、該画像データをＲＡＭ３０６に記憶する。なお、第２の画像は、１枚の静止画像であっても良く、第２の画像のデータ形式は特に限定されない。

【0038】

次に、ＣＰＵ３０５は、第１の画像と第２の画像との相関を算出する（ステップＳ４０４）。具体的には、ＣＰＵ３０５は、以下の式（１）で表される評価関数Ｆ（τ、υ）の値を算出する。

【数1】

なお、相関を算出する方法としては、以下に述べる画素毎に相関を調べる方法ほか、特徴点を抽出して特徴量の相関を調べるものであってもよい。

【0039】

図５に示すように、ｆ（ｘ、ｙ）は第２の画像５０２の座標（ｘ、ｙ）における画素値、ｇ（ｘ、ｙ）は第１の画像５０１の座標（ｘ、ｙ）における画素値を表す。第１の画像５０１、第２の画像５０２において、ハッチングされた部分はシミを表している。

【0040】

第１の画像５０１および第２の画像５０２の原点Ｏは、それぞれ左下隅の画素に設定される。第２の画像５０２のサイズは、縦Ｍ画素×横Ｎ画素であり、第１の画像５０１のサイズは、第２の画像５０２のサイズよりも大きく、縦Ｍ１画素×横Ｎ１画素である（Ｍ＜Ｍ１およびＮ＜Ｎ１）。パラメータτ、υは、第１の画像におけるウィンドウ領域５０１ａのシフト量を表す。ウィンドウ領域５０１ａは、第２の画像５０２と同一のサイズである。パラメータτ、υの値を変化させることにより、ウィンドウ領域５０１ａを第１の画像５０１内で走査させることができる。評価関数Ｆ（τ、υ）は、第２の画像５０２とウィンドウ領域５０１ａとの間で対応する画素値の積和演算に相当する。評価関数Ｆ（τ、υ）は式（１）に限定されず、対応する画素値について差分の絶対値の和、画素値の差分の２乗和、相関係数等であっても良い。

【0041】

なお、画素値としては、画像データの輝度値、ＲＧＢ画像の各色値（Ｒ値、Ｇ値、Ｂ値）、各色値を適宜重み付け加算した値、その他ＲＧＢ以外の表色系で表された値等を用いることができる。画像の相関は、特定の波長成分を用いて算出すると良く、例えば５４０ｎｍ以下の波長成分（Ｂ信号）を用いることが好ましい。

【0042】

ステップＳ４０４において、ＣＰＵ３０５は、パラメータτおよびυをそれぞれ０≦τ≦Ｎ１－Ｎ、０≦υ≦Ｍ１－Ｍの範囲で変化させながら、評価関数Ｆ（τ、υ）の値を計算する。すなわち、ＣＰＵ３０５は、ウィンドウ領域５０１ａの位置を縦または横方向に１画素ずつずらしながら第１の画像５０１の全領域を走査し、第２の画像５０２とウィンドウ領域５０１ａとの相関を算出する。

【0043】

続いて、ＣＰＵ３０５は、第１の画像における第２の画像の位置を認識する（ステップＳ４０５）。ＣＰＵ３０５は、評価関数Ｆ（τ、υ）の値が大きいほど相関が高いと判断し、評価関数Ｆ（τ、υ）が最大値をとったときのウィンドウ領域５０１ａの位置（τ、υ）を第２の画像５０２の位置として認識する。ＣＰＵ３０５は、第２の画像５０２の位置に基づいて塗布ヘッド１０１の位置を算出し、ディスプレイ３０１に塗布ヘッド１０１の位置情報を表示する。例えば、ＣＰＵ３０５は、塗布ヘッド１０１が現在塗布可能な領域を示す枠を第１の画像に重ねて表示する。

【0044】

次に、ＣＰＵ３０５は、塗布ヘッド１０１の位置に塗布対象（シミ）があるか否かを判断する（ステップＳ４０６）。例えば、ＣＰＵ３０５は、ステップＳ４０１において特定されたシミの位置を参照し、塗布ヘッド１０１が現在塗布可能な領域にシミが含まれているか否かを判断する。ＣＰＵ３０５は、塗布ヘッド１０１の位置にシミがないと判断した場合（ステップＳ４０６でＮＯ）、ステップＳ４０２に戻り、塗布ヘッド１０１がユーザにより別の位置に移動されるまで待機する。ＣＰＵ３０５は、塗布ヘッド１０１の位置にシミがあると判断した場合（ステップＳ４０６でＹＥＳ）、図６の塗布処理を実行する（ステップＳ４０７）。ＣＰＵ３０５は、ディスプレイ３０１、スピーカ３０９を用いて塗布処理を実行する旨をユーザに知らせても良い。

【0045】

塗布処理を実行した後、ＣＰＵ３０５は、すべての塗布対象に対して塗布が完了したか否かを判断する（ステップＳ４０８）。すなわち、ＣＰＵ３０５は、第１の画像に含まれるすべてのシミに対して塗布処理が実行されたか否かを判断する。ＣＰＵ３０５は、塗布が完了していないと判断した場合（ステップＳ４０８でＮＯ）、ステップＳ４０２に戻り、塗布ヘッド１０１がユーザにより別の位置に移動されるまで待機する。ＣＰＵ３０５は、塗布が完了したと判断した場合（ステップＳ４０８でＹＥＳ）、ディスプレイ３０１に塗布が完了した旨の表示を行い、処理を終了する。

【0046】

図６は、本実施形態に係る塗布処理（ステップＳ４０７）の詳細を示すフローチャートである。まず、ＣＰＵ３０５は、撮像部２００から取得した第２の画像に基づいて、化粧料の塗布量を算出する（ステップＳ６０１）。例えば、ＣＰＵ３０５は、第２の画像を分割して得られた複数のセグメントのそれぞれに対して必要な塗布量を算出する。セグメントは複数画素からなる正方形の画素ブロックとすることができ、ＣＰＵ３０５は、セグメントごとに独立して塗布量を算出する。ＣＰＵ３０５は、対象セグメントとその周囲のセグメントを含む複数のセグメントに基づいて、対象セグメントに対する塗布量を算出しても良い。なお、化粧料の塗布量は、図４のステップＳ４０１において第１の画像に基づいて算出されても良い。ＣＰＵ３０５は、第２の画像と同様に、第１の画像を分割して得られた複数のセグメントのそれぞれに対して必要な塗布量を算出することができる。

【0047】

続いて、ＣＰＵ３０５は、塗布ヘッド１０１と肌との距離を調節する（ステップＳ６０２）。すなわち、ＣＰＵ３０５は、ギャップ制御回路３０３を介して、距離センサ１０５による検出値に基づく制御信号を移動機構１０３に出力する。移動機構１０３は塗布ヘッド１０１を進退させることにより、肌とのギャップは一定に保たれる。ギャップの大きさが移動機構１０３による調節可能な範囲を超えている場合には、ＣＰＵ３０５はディスプレイ３０１、スピーカ３０９等を用いて、肌に対して塗布ヘッド１０１をより近接または少し遠ざけるようにユーザに促すことができる。なお、ギャップ調節処理（ステップＳ６０２）は、上述の塗布量算出処理（ステップＳ６０１）と並行して実行されても良い。

【0048】

次に、ＣＰＵ３０５は、塗布ヘッド１０１に化粧料を吐出させる（ステップＳ６０３）。すなわち、ＣＰＵ３０５は、ヘッド制御回路３０４を介して、吐出を行うノズルの識別情報、塗布量等の制御信号を塗布ヘッド１０１に出力する。塗布ヘッド１０１は、ヘッド制御回路３０４からの制御信号に応じてノズルから化粧料を吐出する。なお、ＣＰＵ３０５は、ユーザから実行指示があったときに限り、化粧料の吐出を許可するようにしても良い。例えば、ＣＰＵ３０５は、ユーザにより塗布ボタンが操作されたときに化粧料の吐出処理（ステップＳ６０３）を行い、塗布ボタンが所定時間操作されない場合には化粧料の吐出処理を行わずに図４のフローチャートに戻っても良い。

【0049】

また、ＣＰＵ３０５は、距離センサ１０５、モーションセンサ１０６からの検出信号に基づいて、塗布ヘッド１０１の動き、姿勢等の状態情報を取得しても良い。ＣＰＵ３０５は、塗布ヘッド１０１の状態情報に基づいて吐出のタイミングを制御することができる。例えば、ＣＰＵ３０５は、塗布ヘッド１０１の手振れ量または肌に対する傾きが所定の範囲を超えている場合、ディスプレイ３０１、スピーカ３０９を用いてユーザに警告し、塗布ヘッド１０１が肌に対して適切な姿勢になるまで吐出のタイミングを遅らせる。

【0050】

本実施形態によれば、塗布ヘッド１０１に連結された撮像部２００から取得した第２の画像を、塗布対象が含まれる肌全体を撮像した第１の画像と比較することにより、肌全体における塗布ヘッド１０１の位置を正確に認識することができる。これにより、肌における塗布ヘッド１０１と塗布対象の位置関係が明確になり、ユーザは迷うことなく塗布対象にまで塗布ヘッド１０１を導くことが可能となる。

【0051】

また、第１の画像と第２の画像は、サイズを異ならせて同じ部位の肌を撮像した画像であるが、サイズのみならず、撮像のタイミング、肌のふくらみ、肌の色合い、鏡面反射の映り具合等が異なっている。このために、単なる画像の照合では、第１の画像における第２の画像の位置を検出することが困難な場合があるが、本実施形態によれば、第１の画像と第２の画像との相関を用いることにより、第１の画像における第２の画像の位置を正確に検出することができる。

【0052】

［第２実施形態］
続いて、本発明の第２実施形態に係る塗布装置７００を説明する。本実施形態に係る塗布装置７００は、第１実施形態に係る塗布装置１００と同様に構成されているため、第１実施形態と異なる点を中心に説明する。

【0053】

図７（ａ）は、塗布装置７００の外観を示す模式図であり、図７（ｂ）は、図７（ａ）のＡ－Ａ’線における断面図である。塗布装置７００は、塗布ヘッド１０１および撮像部２００が設けられた端面（以下ヘッド面）にガイド部材（保持部）７１０を備えている。ガイド部材７１０は内部が空洞の角柱状をなし、透明または半透明な合成樹脂等で形成されている。ガイド部材７１０は、ヘッド面の縁に沿って配置され、塗布装置７００の筐体７１１に固定されている。ガイド部材７１０の先端部分は、肌を押さえやすいように内側に曲げられている。ユーザは、塗布装置７００を把持し、ガイド部材７１０の先端部分を肌に軽く押し当てる。ガイド部材７１０により、塗布ヘッド１０１は肌に対してｚ軸方向に一定の距離Ｄを保つように保持される。

【0054】

本実施形態によれば、塗布装置７００のヘッド面にはガイド部材７１０が設けられているため、移動機構１０３によりギャップの調節を行う必要がない。また、ガイド部材７１０を押し当てることにより肌のふくらみを抑え、肌の平面度を高めることができる。これにより、塗布ヘッド１０１による塗布精度を向上させることが可能となる。

【0055】

［第３実施形態］
続いて、本発明の第３実施形態に係る塗布システム８０を説明する。図９は、本実施形態に係る塗布システム８０の構成を示す模式図である。塗布システム８０は、塗布装置８００、撮像部２００、塗布制御装置９００を備えている。塗布装置８００は、塗布ヘッド８０１、ロボットアーム８１０を備え、塗布ヘッド８０１に撮像部２００が連結されている。塗布ヘッド８０１は、ロボットアーム８１０の先端に取り付けられている。

【0056】

ロボットアーム８１０は多関節のアーム型ロボットであり、アームの姿勢を変えることにより、塗布ヘッド８０１の位置および向きを自在に変更することが可能である。例えば、ロボットアーム８１０は、塗布制御装置９００からの駆動コマンドに基づき、塗布ヘッド８０１を肌に沿った任意の方向に移動させることができる。ロボットアーム８１０には塗布制御装置９００が接続されており、塗布制御装置９００は、駆動コマンドを用いてロボットアーム８１０の動作を制御することが可能である。塗布制御装置９００はディスプレイ３０１を備え、ディスプレイ３０１には、肌の画像、塗布ヘッド８０１の状態等の各種情報が表示される。

【0057】

図９は、本実施形態に係る塗布装置８００および塗布制御装置９００のブロック図である。塗布装置８００は、塗布ヘッド８０１、ロボットアーム８１０、化粧料タンク１０２、操作部１０４、距離センサ１０５を備えている。塗布制御装置９００は、ロボットコントローラ９１０、ディスプレイ３０１、画像処理回路３０２、ヘッド制御回路３０４、ＣＰＵ３０５、ＲＡＭ３０６、ＲＯＭ３０７、記憶装置３０８、スピーカ３０９を備えている。

【0058】

塗布ヘッド８０１は第１実施形態に係る塗布ヘッド１０１と同様に構成されているが、塗布ヘッド８０１において、複数のノズルは１次元（例えばライン状）に配列されている。ロボットアーム８１０は、複数のノズルが配列された方向に対して垂直な方向に塗布ヘッド８０１を掃引することにより、化粧料の塗布を行うことができる。塗布装置８００は、それぞれが異なる色合いの化粧料を収容する複数の化粧料タンク１０２を備え、各色に対応する複数のノズル列が塗布ヘッド８０１に設けられても良い。ロボットコントローラ９１０は、ＣＰＵ３０５からの指示に基づき生成した駆動コマンドをロボットアーム８１０に出力する。

【0059】

化粧料タンク１０２、操作部１０４、距離センサ１０５、ディスプレイ３０１、画像処理回路３０２、ヘッド制御回路３０４、ＣＰＵ３０５、ＲＡＭ３０６、ＲＯＭ３０７、記憶装置３０８、スピーカ３０９は第１実施形態と同様のものであるため説明を省略する。なお、操作部１０４は、ロボットアーム８１０を支持するベース、ディスプレイ３０１等に設けられると良い。また、記憶装置３０８には、第１の画像と関連付けられた肌の形状が３次元座標等の形式で事前に記憶されていても良い。ロボットコントローラ９１０は、肌の形状に基づいて、肌に対して一定の距離に塗布ヘッド８０１を保持するようにロボットアーム８１０を制御することができる。

【0060】

塗布制御装置９００は図４のフローチャートと同様の処理を行うが、本実施形態では、ステップＳ４０２において、ロボットアーム８１０が塗布ヘッド８０１を移動する点が異なっている。すなわち、ＣＰＵ３０５は、ステップＳ４０５で認識した第１の画像における第２の画像の位置に基づいて、塗布ヘッド１０１を移動させるべき方向、距離を決定し、ロボットコントローラ９１０を介して、ロボットアーム８１０を駆動させる。

【0061】

本実施形態によれば、ＣＰＵ３０５は肌における塗布ヘッド８０１の位置を認識し、ロボットアーム８１０を用いて塗布ヘッド８０１を塗布対象の位置に移動させることができる。塗布ヘッド８０１の移動中にユーザが動いてしまった場合であっても、ＣＰＵ３０５は、塗布ヘッド８０１の位置をリアルタイムに認識することができるため、塗布ヘッド８０１の移動方向および移動量を即座に修正することが可能となる。

【0062】

［その他の実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で変更実施可能である。例えば、第１の画像と第２の画像との相関を算出する際には（ステップＳ４０４）、各画像からシミ、ホクロ、毛穴等の特徴点を抽出し、特徴点のみについて相関を算出するようにしても良い。これにより、評価関数Ｆ（τ、υ）の計算量を大幅に削減することが可能となる。

【0063】

また、上述の実施形態の制御処理は、ニードルを用いた薬剤の注入、肌のホクロ等へのレーザ照射のような肌の特定の場所に作用する美容デバイスに対しても適用可能である。

【符号の説明】

【0064】

１００ 塗布装置
１０１ 塗布ヘッド
２００ 撮像部
３００ 塗布制御装置
３０８ 記憶装置（記憶部）
３１０ 取得部
３１１ 認識部
３１２ 算出部
５０１ 第１の画像
５０２ 第２の画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】