ホーム > 特許ランキング > カシオ計算機株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-03
(45)【発行日】2022-10-12
(54)【発明の名称】爪輪郭検出装置、印刷装置、爪輪郭検出方法及びプログラム
(51)【国際特許分類】
A45D 29/18 20060101AFI20221004BHJP
A45D 29/00 20060101ALI20221004BHJP
G06T 7/00 20170101ALI20221004BHJP
【ＦＩ】
A45D29/18
A45D29/00
G06T7/00 350B
G06T7/00 660Z
【請求項の数】
10
(21)【出願番号】P 2020170515
(22)【出願日】2020-10-08
(65)【公開番号】P2022062482
(43)【公開日】2022-04-20
【審査請求日】2021-06-23
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】特許業務法人光陽国際特許事務所
(72)【発明者】
【氏名】手島 義裕
【審査官】東 勝之
(56)【参考文献】
【文献】特開２０１９－１１３９７２（ＪＰ，Ａ）
【文献】特開２０１８－０５５３６４（ＪＰ，Ａ）
【文献】特開２０１２－０５５４６７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ４５Ｄ ２９／００ － ２９／２２
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得手段と、記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成手段と、
前記学習モデル生成手段によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出手段と、
を備えることを特徴とする爪輪郭検出装置。
【請求項2】
前記画像から前記爪に該当する領域を前記検出領域として検出するサンプリング手段を備えることを特徴とする請求項１に記載の爪輪郭検出装置。
【請求項3】
前記サンプリング手段は、爪輪郭検出用の前記第１の学習モデルを用いて前記爪に該当する領域を検出することを特徴とする請求項２に記載の爪輪郭検出装置。
【請求項4】
前記サンプリング手段は、前記爪を含む画像中の予め定められた領域を前記爪に該当する領域として検出することを特徴とする請求項２に記載の爪輪郭検出装置。
【請求項5】
前記学習モデル生成手段は、前記検出領域の前記画素に関する値について平均値を取得し、当該平均値と爪輪郭検出用の前記第１の学習モデルにおける下地塗布領域の混合正規分布を構成する各正規分布の期待値の平均値との差分を算出して、これを前記第１の学習モデルを補正する補正値とすることを特徴とする請求項１から請求項４のいずれか一項に記載の爪輪郭検出装置。
【請求項6】
前記学習モデル生成手段によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを、前記第１の学習モデルとして前記記憶部に記憶させる記憶制御手段を備えることを特徴とする請求項１から請求項５のいずれか一項に記載の爪輪郭検出装置。
【請求項7】
前記検出手段は、前記第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分が予め定められた閾値を超えている場合、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出し、
前記第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分が予め定められた閾値を超えていない場合、前記第１の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出することを特徴とする請求項１から請求項６のいずれか一項に記載の爪輪郭検出装置。
【請求項8】
請求項１から請求項７のいずれか一項に記載の爪輪郭検出装置と、前記爪輪郭検出装置によって検出された前記爪輪郭の内側領域を印刷対象領域として印刷を行う印刷手段と、
を備えることを特徴とする印刷装置。
【請求項9】
下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得工程と、記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成工程と、
前記学習モデル生成工程において前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出工程と、
を含むことを特徴とする爪輪郭検出方法。
【請求項10】
コンピュータに、下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得機能と、
記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成機能と、
前記学習モデル生成機能によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、爪輪郭検出装置、印刷装置、爪輪郭検出方法及びプログラムに関するものである。
【背景技術】
【0002】
従来、指の爪等にネイルデザインの印刷を行う印刷装置（ネイルプリント装置）が知られている。
爪にネイルデザインを印刷する場合、例えば爪を含む指の画像から爪の輪郭を検出し、この爪輪郭の内側領域を印刷対象領域として印刷を行う。
爪にネイルデザインを印刷する場合、例えば爪を含む指の画像から爪の輪郭を検出し、この爪輪郭の内側領域を印刷対象領域として印刷を行う。
【0003】
このため、はみ出しや塗残しのない高品位なネイルプリントを施すためには、爪の領域を周りの指（皮膚）部分と区別して、正しく爪輪郭を検出することが重要となる。
この点、ターゲットを撮影した静止画像についてマルコフ確率場（ＭＲＦ；ＭａｒｋｏｖＲａｎｄｏｍ Ｆｉｅｌｄ）モデルを用いて領域分割を行い、その後のオブジェクト抽出等の画像処理を行うための前処理を行う技術が知られている（例えば、特許文献１参照）。
このような技術を、爪とそれ以外（指等の皮膚部分）とを区別して爪の領域だけを検出する場合に適用することも考えられる。
この点、ターゲットを撮影した静止画像についてマルコフ確率場（ＭＲＦ；ＭａｒｋｏｖＲａｎｄｏｍ Ｆｉｅｌｄ）モデルを用いて領域分割を行い、その後のオブジェクト抽出等の画像処理を行うための前処理を行う技術が知られている（例えば、特許文献１参照）。
このような技術を、爪とそれ以外（指等の皮膚部分）とを区別して爪の領域だけを検出する場合に適用することも考えられる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００１－２９７３２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、爪に印刷を行う場合、インクの発色をよくする等のため、予め爪の領域に下地を塗布する場合がある。この場合、下地の色は常に同じとは限らない。
爪に塗布されている下地の色が予め学習されている色と異なる場合、特許文献１に記載の手法のようにＭＲＦモデル等の計算モデルを用いた領域分割がうまく機能せず、正しく爪輪郭を検出できないという問題がある。
例えば白色の部分を検出するように学習した学習モデルでは、薄いピンクや薄い水色などの白色以外の下地が爪に塗布されている場合に爪の輪郭を正しく検出することができない。
爪に塗布されている下地の色が予め学習されている色と異なる場合、特許文献１に記載の手法のようにＭＲＦモデル等の計算モデルを用いた領域分割がうまく機能せず、正しく爪輪郭を検出できないという問題がある。
例えば白色の部分を検出するように学習した学習モデルでは、薄いピンクや薄い水色などの白色以外の下地が爪に塗布されている場合に爪の輪郭を正しく検出することができない。
【0006】
この点、下地の色ごとに学習し、各色に対応する学習モデルを作成し直すことも考えられるが、複数の学習モデルを一から作り直すことは、手間も時間もかかり煩雑である。
また、学習し直さずに対応する手法として、撮影した画像の下地の色が学習モデルにおいて学習済みの色（例えば白色）となるように、撮影画像に対して色の補正（ホワイトバランス）を行うことも考えられる。
しかし、この場合には、下地が塗布されている領域だけでなく、皮膚等、爪以外の領域の色まで補正されてしまうため、検出精度が低下してしまう。
また、学習し直さずに対応する手法として、撮影した画像の下地の色が学習モデルにおいて学習済みの色（例えば白色）となるように、撮影画像に対して色の補正（ホワイトバランス）を行うことも考えられる。
しかし、この場合には、下地が塗布されている領域だけでなく、皮膚等、爪以外の領域の色まで補正されてしまうため、検出精度が低下してしまう。
【0007】
本発明は以上のような事情に鑑みてなされたものであり、下地として爪に塗られている色に関わりなく適切に爪輪郭を検出することのできる爪輪郭検出装置、印刷装置、爪輪郭検出方法及びプログラムを提供することを利点とするものである。
【課題を解決するための手段】
【0008】
前記課題を解決するために、本発明の爪輪郭検出装置は、
下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得手段と、
記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成手段と、
前記学習モデル生成手段によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出手段と、
を備えることを特徴とする。
下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得手段と、
記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成手段と、
前記学習モデル生成手段によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出手段と、
を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、下地として爪に塗られている色に関わりなく適切に爪輪郭を検出することが可能となるとの効果を奏する。
【図面の簡単な説明】
【0010】
【図1】本実施形態における印刷装置の概略構成を示す図である。
【図2】本実施形態における印刷装置及びこれと連携する端末装置の制御構成を示した要部ブロック図である。
【図3】本実施形態に係る印刷処理を示すフローチャートである。
【図4】爪に該当する領域として検出される検出領域の一例を示す図である。
【図5】爪に該当する領域として検出される検出領域の一変形例を示す図である。
【発明を実施するための形態】
【0011】
図１から図４を参照しつつ、本発明に係る爪輪郭検出装置、印刷装置、爪輪郭検出方法及びプログラムの一実施形態について説明する。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
また、以下の実施形態では、印刷装置が手の指の爪を印刷対象としてこれに印刷するネイルプリント装置を例に説明するが、本発明における印刷装置の印刷対象は手の指の爪に限るものではなく、例えば足の指の爪等を印刷対象としてもよい。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
また、以下の実施形態では、印刷装置が手の指の爪を印刷対象としてこれに印刷するネイルプリント装置を例に説明するが、本発明における印刷装置の印刷対象は手の指の爪に限るものではなく、例えば足の指の爪等を印刷対象としてもよい。
【0012】
図１は、本実施形態における印刷装置（ネイルプリント装置）の外観を示す斜視図である。また本実施形態では、印刷装置が端末装置と連携して爪に印刷を行う場合を例示する。図２は、印刷装置及びこれと連携する端末装置の要部制御構成を示すブロック図である。
なお、以下の実施形態において、上下、左右及び前後は、図１に示した向きをいうものとする。また、Ｘ方向、Ｙ方向は、図１に示した方向をいうものとする。
なお、以下の実施形態において、上下、左右及び前後は、図１に示した向きをいうものとする。また、Ｘ方向、Ｙ方向は、図１に示した方向をいうものとする。
【0013】
本実施形態において、印刷装置１は、図１に示すように、ほぼ箱形に形成された筐体１１を有している。
筐体１１の上面（天板）には操作部１２が設置されている。
操作部１２は、ユーザが各種入力を行う操作部である。
操作部１２は、例えば、印刷装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、印刷開始を指示する印刷開始釦等、各種の入力を行うための操作釦で構成されている。
操作部１２が操作されると操作に応じた操作信号が制御装置３０に出力され、制御装置３０が操作信号に従った制御を行い、印刷装置１の各部を動作させる。
なお、操作部１２に代えて、後述する端末装置７の操作部７１から入力された操作信号に従って印刷装置１の各部が動作するようにしてもよい。
筐体１１の上面（天板）には操作部１２が設置されている。
操作部１２は、ユーザが各種入力を行う操作部である。
操作部１２は、例えば、印刷装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、印刷開始を指示する印刷開始釦等、各種の入力を行うための操作釦で構成されている。
操作部１２が操作されると操作に応じた操作信号が制御装置３０に出力され、制御装置３０が操作信号に従った制御を行い、印刷装置１の各部を動作させる。
なお、操作部１２に代えて、後述する端末装置７の操作部７１から入力された操作信号に従って印刷装置１の各部が動作するようにしてもよい。
【0014】
また、印刷装置１は通信部１４（図２参照）を備えている。通信部１４は、端末装置７との間で情報の送受信が可能に構成されたものである。
印刷装置１と端末装置７との間での通信は、例えば無線ＬＡＮ等により行われる。なお、印刷装置１と端末装置７との間での通信はこれに限定されず、いかなる方式によるものでもよい。通信部１４は端末装置７の通信方式に対応するアンテナチップ等を備えている。
通信部１４は、後述する制御装置３０の通信制御部３１１（図２参照）に接続され、該通信制御部３１１によって制御される。
印刷装置１と端末装置７との間での通信は、例えば無線ＬＡＮ等により行われる。なお、印刷装置１と端末装置７との間での通信はこれに限定されず、いかなる方式によるものでもよい。通信部１４は端末装置７の通信方式に対応するアンテナチップ等を備えている。
通信部１４は、後述する制御装置３０の通信制御部３１１（図２参照）に接続され、該通信制御部３１１によって制御される。
【0015】
印刷装置１の筐体１１の前面側（図１においてＹ方向の手前側）であって装置の左右方向（図１及び図３におけるＸ方向）のほぼ中央部には、印刷装置１による印刷時に指Ｕを挿入する開口部である指挿入口１５が形成されている。
筐体１１の内部は、仕切り板１６によって上下に仕切られており、仕切り板１６の上側であって指挿入口１５に対応する位置には、印刷時に挿入された指Ｕを載置・保持する指保持部２が設けられている。
筐体１１の内部は、仕切り板１６によって上下に仕切られており、仕切り板１６の上側であって指挿入口１５に対応する位置には、印刷時に挿入された指Ｕを載置・保持する指保持部２が設けられている。
【0016】
指保持部２は、爪Ｔの表面が露出した状態で指Ｕを保持するようになっており、指保持部２の下側、すなわち、仕切り板１６の上には、保持された指Ｕの腹を受ける指支持部材２１が設けられている。また、指保持部２における指挿入方向の奥側（図１において印刷装置１の後方）には、爪先を載せる爪載置部２５（図４参照）が設けられている。
本実施形態では、指保持部２に指Ｕを保持させ、爪載置部２５に爪先を載せることで、当該指Ｕの爪Ｔが所定の位置に位置決めされる。
本実施形態では、指保持部２に指Ｕを保持させ、爪載置部２５に爪先を載せることで、当該指Ｕの爪Ｔが所定の位置に位置決めされる。
【0017】
また、筐体１１の内部には、指Ｕの爪Ｔ（爪Ｔの表面）に印刷を施す印刷部４０と、爪Ｔを含む指Ｕの画像を取得する撮影部５０等が設けられている。
【0018】
印刷部４０は、後述する爪輪郭検出装置としての制御装置３０によって検出された爪輪郭ＴＬの内側領域を印刷対象領域として印刷を行う印刷手段である。
印刷部４０は、印刷ヘッド４１と、印刷ヘッド４１をＸ方向（図１等におけるＸ方向、印刷装置１の左右方向）、Ｙ方向（図１等におけるＹ方向、印刷装置１の前後方向）に移動させるためのヘッド移動機構４９（図２参照）等を備えている。
印刷ヘッド４１は、印刷ヘッド４１をＸ方向に移動させるためのＸ方向移動ステージ、印刷ヘッド４１をＹ方向に移動させるためのＹ方向移動ステージ（いずれも図示せず）に支持されており、ヘッド移動機構４９は、印刷ヘッド４１をＸ方向及びＹ方向に適宜移動させるための駆動部としてのＸ方向移動モータ４６とＹ方向移動モータ４８等を備えて構成されている。
印刷部４０は、印刷ヘッド４１と、印刷ヘッド４１をＸ方向（図１等におけるＸ方向、印刷装置１の左右方向）、Ｙ方向（図１等におけるＹ方向、印刷装置１の前後方向）に移動させるためのヘッド移動機構４９（図２参照）等を備えている。
印刷ヘッド４１は、印刷ヘッド４１をＸ方向に移動させるためのＸ方向移動ステージ、印刷ヘッド４１をＹ方向に移動させるためのＹ方向移動ステージ（いずれも図示せず）に支持されており、ヘッド移動機構４９は、印刷ヘッド４１をＸ方向及びＹ方向に適宜移動させるための駆動部としてのＸ方向移動モータ４６とＹ方向移動モータ４８等を備えて構成されている。
【0019】
本実施形態の印刷ヘッド４１は、例えば爪表面に対向する面がインクを吐出させる複数のノズル口（図示せず）を備えたインク吐出面４１０となっており、インクを微滴化し、インク吐出面から印刷対象（爪Ｔ）の被印刷面である爪表面に対して直接にインクを吹き付けて印刷を行うインクジェット方式のインクジェットヘッドである。
印刷ヘッド４１は、例えばシアン（Ｃ；CYAN）、マゼンタ（Ｍ；MAGENTA）、イエロー（Ｙ；YELLOW）等の各色のインクを吐出可能となっている。なお、印刷ヘッド４１が吐出可能な色インクの種類はこれに限定されず、この他の色のインクを吐出可能となっていてもよい。例えばデザインの下地となり得る白色等のインクを吐出可能となっていてもよい。
印刷ヘッド４１は、例えばシアン（Ｃ；CYAN）、マゼンタ（Ｍ；MAGENTA）、イエロー（Ｙ；YELLOW）等の各色のインクを吐出可能となっている。なお、印刷ヘッド４１が吐出可能な色インクの種類はこれに限定されず、この他の色のインクを吐出可能となっていてもよい。例えばデザインの下地となり得る白色等のインクを吐出可能となっていてもよい。
【0020】
印刷部４０における印刷ヘッド４１、印刷ヘッド４１を駆動させる駆動部としてのＸ方向移動モータ４６及びＹ方向移動モータ４８は、後述する制御装置３０の印刷制御部３１５（図２参照）に接続され、該印刷制御部３１５によって制御される。
【0021】
図２に示すように、撮影部５０は、撮影装置５１と、照明装置５２とを備えている。
撮影装置５１は、例えば２００万画素程度以上の画素を有する固体撮影素子とレンズ等を備えて構成された小型カメラである。また、照明装置５２は、例えば白色ＬＥＤ等の照明灯である。
撮影部５０は、指保持部２に保持された指Ｕの爪Ｔを照明装置５２によって照明する。そして、撮影装置５１によってその指Ｕを撮影して、指Ｕの爪Ｔの画像である爪画像（爪画像を含む指の画像、図４参照）を得る。
撮影部５０は、後述する制御装置３０の撮影制御部３１２（図２参照）に接続され、該撮影制御部３１２によって制御されるようになっている。
なお、撮影部５０によって撮影された画像の画像データは、後述する記憶部３２に記憶されてもよい。また、撮影部５０によって取得された爪画像は、通信部１４を介して端末装置７に送られてもよい。
撮影装置５１は、例えば２００万画素程度以上の画素を有する固体撮影素子とレンズ等を備えて構成された小型カメラである。また、照明装置５２は、例えば白色ＬＥＤ等の照明灯である。
撮影部５０は、指保持部２に保持された指Ｕの爪Ｔを照明装置５２によって照明する。そして、撮影装置５１によってその指Ｕを撮影して、指Ｕの爪Ｔの画像である爪画像（爪画像を含む指の画像、図４参照）を得る。
撮影部５０は、後述する制御装置３０の撮影制御部３１２（図２参照）に接続され、該撮影制御部３１２によって制御されるようになっている。
なお、撮影部５０によって撮影された画像の画像データは、後述する記憶部３２に記憶されてもよい。また、撮影部５０によって取得された爪画像は、通信部１４を介して端末装置７に送られてもよい。
【0022】
撮影部５０は、指保持部２に保持された指Ｕ及びその爪Ｔを撮影可能な位置に設けられていればよく、具体的な配置は特に限定されない。本実施形態では、撮影装置５１及び照明装置５２は、筐体１１の天面内側であって指保持部２に保持された指Ｕの爪Ｔ（爪Ｔの表面）と対向可能な位置に固定配置されている。
なお、撮影部５０は、印刷ヘッド４１を移動させるヘッド移動機構４９によってＸＹ方向に移動可能に構成されていてもよい。
なお、撮影部５０は、印刷ヘッド４１を移動させるヘッド移動機構４９によってＸＹ方向に移動可能に構成されていてもよい。
【0023】
印刷装置１に搭載される制御装置３０は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサにより構成される制御部３１（図２参照）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等（いずれも図示せず）で構成される記憶部３２（図２参照）とを備えるコンピュータである。
本実施形態では、制御装置３０は、後述するように、サンプリング手段、画素情報取得手段、学習モデル生成手段、及び検出手段として機能する制御部３１を有し、爪画像から爪輪郭ＴＬを検出する爪輪郭検出装置として機能する。
本実施形態では、制御装置３０は、後述するように、サンプリング手段、画素情報取得手段、学習モデル生成手段、及び検出手段として機能する制御部３１を有し、爪画像から爪輪郭ＴＬを検出する爪輪郭検出装置として機能する。
【0024】
記憶部３２には、印刷装置１を動作させるための各種プログラムや各種データ等が格納されている。
具体的には、記憶部３２には、爪輪郭の検出処理を行うための爪輪郭検出プログラムや、印刷処理を行うための印刷プログラム等の各種プログラムが格納されたプログラム記憶領域３２１、爪Ｔの輪郭情報（以下「爪輪郭」という。）を検出するための学習モデルを格納する学習モデル記憶領域３２２、爪Ｔに関する各種情報が格納させる爪情報記憶領域３２３等が設けられている。
プログラム記憶領域３２１に記憶されているプログラムが制御部３１によって実行されることによって、印刷装置１の各部が統括制御されるようになっている。
具体的には、記憶部３２には、爪輪郭の検出処理を行うための爪輪郭検出プログラムや、印刷処理を行うための印刷プログラム等の各種プログラムが格納されたプログラム記憶領域３２１、爪Ｔの輪郭情報（以下「爪輪郭」という。）を検出するための学習モデルを格納する学習モデル記憶領域３２２、爪Ｔに関する各種情報が格納させる爪情報記憶領域３２３等が設けられている。
プログラム記憶領域３２１に記憶されているプログラムが制御部３１によって実行されることによって、印刷装置１の各部が統括制御されるようになっている。
【0025】
学習モデル記憶領域３２２には、爪輪郭検出用の学習モデルが記憶されている。
学習モデル記憶領域３２２に格納されている学習モデル（既存の学習モデル、第１の学習モデル）は、例えば印刷装置１の出荷時等に既に生成され記憶されるもの（初期状態の学習モデル）でる。
第１の学習モデル（初期状態の学習モデル）は、事前に色の分布の学習を行うことで生成される。具体的には、下地が塗布された爪Ｔの画像を複数枚用意し、これらの画像から、下地が塗布された爪Ｔの領域（前景）とそれ以外の領域（指Ｕ等の皮膚部分、背景）の画素に関する値（後述するように本実施形態では画素値）をサンプリングする。そして、サンプリングした画素から、下地が塗布された爪Ｔの領域（前景）、それ以外の領域（皮膚等、背景）のそれぞれについて色の分布をモデル化する。
学習モデル記憶領域３２２に格納されている学習モデル（既存の学習モデル、第１の学習モデル）は、例えば印刷装置１の出荷時等に既に生成され記憶されるもの（初期状態の学習モデル）でる。
第１の学習モデル（初期状態の学習モデル）は、事前に色の分布の学習を行うことで生成される。具体的には、下地が塗布された爪Ｔの画像を複数枚用意し、これらの画像から、下地が塗布された爪Ｔの領域（前景）とそれ以外の領域（指Ｕ等の皮膚部分、背景）の画素に関する値（後述するように本実施形態では画素値）をサンプリングする。そして、サンプリングした画素から、下地が塗布された爪Ｔの領域（前景）、それ以外の領域（皮膚等、背景）のそれぞれについて色の分布をモデル化する。
【0026】
本実施形態において第１の学習モデル（初期状態の学習モデル）は、下地として白色が塗布されている場合について学習した学習済みモデルである。
本実施形態では、爪輪郭検出用の学習モデルとして混合正規分布（混合ガウス分布）モデル（GMM；Gaussian Mixture Model）を採用する場合を例として説明する。なお、学習モデルは混合正規分布モデルに限定されず、領域の区分（クラスタリング）に適した各種のモデルを適宜採用することができる。
本実施形態では、後述するように新しい学習モデルが生成された場合でも、この初期状態の学習モデルが上書きされずに保存され、検出領域Ａｒ（図４参照）をサンプリングする際には、この第１の学習モデル（初期状態の学習モデル）がデフォルトとして適用される。
本実施形態では、爪輪郭検出用の学習モデルとして混合正規分布（混合ガウス分布）モデル（GMM；Gaussian Mixture Model）を採用する場合を例として説明する。なお、学習モデルは混合正規分布モデルに限定されず、領域の区分（クラスタリング）に適した各種のモデルを適宜採用することができる。
本実施形態では、後述するように新しい学習モデルが生成された場合でも、この初期状態の学習モデルが上書きされずに保存され、検出領域Ａｒ（図４参照）をサンプリングする際には、この第１の学習モデル（初期状態の学習モデル）がデフォルトとして適用される。
【0027】
制御部３１は、機能的に見た場合、通信制御部３１１、撮影制御部３１２、爪情報検出部３１３、印刷データ生成部３１４、印刷制御部３１５等を備えている。これら通信制御部３１１、撮影制御部３１２、爪情報検出部３１３、印刷データ生成部３１４、印刷制御部３１５等としての機能は、制御部３１のＣＰＵと記憶部３２のプログラム記憶領域３２１に記憶されたプログラムとの協働によって実現される。
【0028】
通信制御部３１１は、通信部１４の動作を制御するものである。本実施形態では、端末装置７との間での通信を制御し、端末装置７からネイルデザインのデータ等が送信された場合にこれを受信する。
また、撮影部５０によって爪画像が取得されたときは、爪画像データを端末装置７に送信してもよい。
また、撮影部５０によって爪画像が取得されたときは、爪画像データを端末装置７に送信してもよい。
【0029】
撮影制御部３１２は、撮影部５０の撮影装置５１及び照明装置５２を制御して撮影装置５１により、指保持部２に保持された指Ｕの爪Ｔの画像を含む指の画像（以下「爪画像」という。図４参照）を撮影させるものである。
撮影部５０により取得された爪画像の画像データは、記憶部３２に記憶されてもよいし、通信部１４を介して端末装置７に送信されてもよい。
撮影部５０により取得された爪画像の画像データは、記憶部３２に記憶されてもよいし、通信部１４を介して端末装置７に送信されてもよい。
【0030】
爪情報検出部３１３は、撮影装置５１によって撮影された指保持部２に保持された指Ｕの爪Ｔの画像に基づいて、指Ｕの爪Ｔについての爪情報を検出するものである。
ここで、爪情報とは、例えば、爪Ｔの輪郭（爪Ｔの水平位置のＸＹ座標等で表される爪輪郭ＴＬ（図４等参照））、爪Ｔの長手方向の長さ、爪Ｔの幅方向の長さ、爪Ｔの表面の、ＸＹ平面に対する傾斜角度（爪Ｔの傾斜角度、爪曲率）等である。なお、撮影装置５１によって撮影された画像等から爪Ｔの高さ（爪Ｔの垂直方向の位置）を取得できる場合には、爪Ｔの高さも爪情報に含まれる。
ここで、爪情報とは、例えば、爪Ｔの輪郭（爪Ｔの水平位置のＸＹ座標等で表される爪輪郭ＴＬ（図４等参照））、爪Ｔの長手方向の長さ、爪Ｔの幅方向の長さ、爪Ｔの表面の、ＸＹ平面に対する傾斜角度（爪Ｔの傾斜角度、爪曲率）等である。なお、撮影装置５１によって撮影された画像等から爪Ｔの高さ（爪Ｔの垂直方向の位置）を取得できる場合には、爪Ｔの高さも爪情報に含まれる。
【0031】
特に、本実施形態において爪情報検出部３１３は、爪輪郭ＴＬを検出する検出手段として機能する他、サンプリング手段、画素情報取得手段、及び学習モデル生成手段として機能する。
検出手段としての爪情報検出部３１３は、爪輪郭検出用の学習モデルを適用して爪Ｔの画像から下地が塗布された領域の輪郭を爪輪郭ＴＬ（図４参照）として検出する。なお、下地は、ユーザ等が手塗りで爪Ｔに施すことが想定されるが、下地を塗布する手法はこれに限定されない。
後述するように、爪情報検出部３１３が学習モデル生成手段として第２の学習モデルを生成したときは、検出手段としての爪情報検出部３１３は、当該第２の学習モデルを適用して爪輪郭ＴＬの検出を行う。
検出手段としての爪情報検出部３１３は、爪輪郭検出用の学習モデルを適用して爪Ｔの画像から下地が塗布された領域の輪郭を爪輪郭ＴＬ（図４参照）として検出する。なお、下地は、ユーザ等が手塗りで爪Ｔに施すことが想定されるが、下地を塗布する手法はこれに限定されない。
後述するように、爪情報検出部３１３が学習モデル生成手段として第２の学習モデルを生成したときは、検出手段としての爪情報検出部３１３は、当該第２の学習モデルを適用して爪輪郭ＴＬの検出を行う。
【0032】
サンプリング手段としての爪情報検出部３１３は、下地が塗布された爪Ｔを含む画像から爪Ｔに該当する領域を検出領域Ａｒとして検出（サンプリング）する。
ここで「爪Ｔに該当する領域」とは、爪画像中、爪Ｔである可能性が高いと判断される領域である。爪Ｔの領域を認識する場合に、爪Ｔと指Ｕ（皮膚等）との境界部分を厳密に検出することは難しい。特に本実施形態では、検出領域Ａｒをサンプリングする際には、下地が白色である場合について学習した第１の学習モデル（記憶部３２の学習モデル記憶領域３２２に記憶されている初期状態の学習モデル）を用いる。このため、爪Ｔに塗布されている下地の色が白色以外（例えば薄いピンク等）である場合には、下地が塗布されている領域を隅々まで正しく検出することが難しい。
そこで本実施形態では、爪情報検出部３１３が第１の学習モデルを適用することにより爪Ｔらしい領域として検出した領域（図４に示す「仮の爪輪郭ＴＬｅ」の内側領域）の中央部分の所定領域を「爪Ｔに該当する領域」とする。これにより、サンプリング手段としての爪情報検出部３１３が厳密に爪Ｔの境界部分まで検出できず、図４に示すように、仮の爪輪郭ＴＬｅが実際の爪輪郭ＴＬとずれている場合でも、爪Ｔである可能性が高いといえる領域を検出領域Ａｒとすることができる。
ここで「爪Ｔに該当する領域」とは、爪画像中、爪Ｔである可能性が高いと判断される領域である。爪Ｔの領域を認識する場合に、爪Ｔと指Ｕ（皮膚等）との境界部分を厳密に検出することは難しい。特に本実施形態では、検出領域Ａｒをサンプリングする際には、下地が白色である場合について学習した第１の学習モデル（記憶部３２の学習モデル記憶領域３２２に記憶されている初期状態の学習モデル）を用いる。このため、爪Ｔに塗布されている下地の色が白色以外（例えば薄いピンク等）である場合には、下地が塗布されている領域を隅々まで正しく検出することが難しい。
そこで本実施形態では、爪情報検出部３１３が第１の学習モデルを適用することにより爪Ｔらしい領域として検出した領域（図４に示す「仮の爪輪郭ＴＬｅ」の内側領域）の中央部分の所定領域を「爪Ｔに該当する領域」とする。これにより、サンプリング手段としての爪情報検出部３１３が厳密に爪Ｔの境界部分まで検出できず、図４に示すように、仮の爪輪郭ＴＬｅが実際の爪輪郭ＴＬとずれている場合でも、爪Ｔである可能性が高いといえる領域を検出領域Ａｒとすることができる。
【0033】
画素情報取得手段としての爪情報検出部３１３は、サンプリング手段として検出した検出領域Ａｒの画素に関する値を取得する。
ここで「画素に関する値」とは、例えばＲＧＢ、ＹＵＶ等で表される画素値や、輝度値等である。なお、検出領域Ａｒの画素に関する値は、下地が塗布された領域の検出に用いられるものであり、色情報を有する方が正確な検出を行うことができる。このため、輝度値よりもＲＧＢ等の画素値であることが好ましい。なお、「画素に関する値」として、画素値と併せて輝度値を考慮してもよい。本実施形態では、以下「画素に関する値」が画素値である場合を例に説明する。
ここで「画素に関する値」とは、例えばＲＧＢ、ＹＵＶ等で表される画素値や、輝度値等である。なお、検出領域Ａｒの画素に関する値は、下地が塗布された領域の検出に用いられるものであり、色情報を有する方が正確な検出を行うことができる。このため、輝度値よりもＲＧＢ等の画素値であることが好ましい。なお、「画素に関する値」として、画素値と併せて輝度値を考慮してもよい。本実施形態では、以下「画素に関する値」が画素値である場合を例に説明する。
【0034】
学習モデル生成手段としての爪情報検出部３１３は、爪輪郭検出用として記憶部３２の学習モデル記憶領域３２２に記憶されている第１の学習モデルにおける下地塗布領域の画素に関する値（画素値）と検出領域Ａｒの画素に関する値（画素値）との差分に基づいて第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する。生成された第２の学習モデルは、学習モデル記憶領域３２２に記憶される。
【0035】
なお本実施形態では、新たに第２の学習モデルが生成されても、学習モデル記憶領域３２２に既に記憶されている学習モデル（既存の学習モデル、第１の学習モデル）を上書きせずに残すようになっている。例えば印刷装置１の出荷時に当初から格納されている爪輪郭検出用の学習モデル（初期状態の学習モデル）は、白色の部分を指Ｕ等の皮膚の色と区別して下地の塗布された領域として検出するように学習されている。このような初期状態の学習モデルをデフォルトとして保存しておくことで、新たな爪画像が取得された際に、白色から検出を始めて、爪Ｔに下地として実際に塗布されている色との差分を見ていくことができる。
なお、第１の学習モデル（既存の学習モデル）は、第２の学習モデルが生成されるとこれによって上書き、更新されるようにしてもよい。この場合には、制御部３１は学習モデル生成手段によって第２の学習モデルが生成されたときに、この第２の学習モデルを、第１の学習モデルとして記憶部３２（学習モデル記憶領域３２２）に記憶させる記憶制御手段として機能する。また、白色で学習された初期状態の学習モデルのみデフォルトとして残し、その後に生成された第２の学習モデルについては、新しい学習モデルが生成される度に適宜破棄、更新されるようにしてもよい。
なお、第１の学習モデル（既存の学習モデル）は、第２の学習モデルが生成されるとこれによって上書き、更新されるようにしてもよい。この場合には、制御部３１は学習モデル生成手段によって第２の学習モデルが生成されたときに、この第２の学習モデルを、第１の学習モデルとして記憶部３２（学習モデル記憶領域３２２）に記憶させる記憶制御手段として機能する。また、白色で学習された初期状態の学習モデルのみデフォルトとして残し、その後に生成された第２の学習モデルについては、新しい学習モデルが生成される度に適宜破棄、更新されるようにしてもよい。
【0036】
本実施形態において学習モデル生成手段としての爪情報検出部３１３は、検出領域Ａｒの画素に関する値（画素値）について平均値を取得し、当該平均値と爪輪郭検出用の第１の学習モデルにおける下地塗布領域の混合正規分布を構成する各正規分布の期待値の平均値との差分を算出して、これを第１の学習モデルを補正する補正値とする。
なお、第１の学習モデルにおける下地塗布領域の混合正規分布を構成する各正規分布の期待値やその平均値は、検出領域Ａｒの画素値の平均値を算出するときに算出してもよいが、予め算出しておき、当該第１の学習モデルと対応付けて記憶部３２に記憶させておいてもよい。
また、第１の学習モデルにおける下地塗布領域の混合正規分布の平均値を算出するにあたっては、混合正規分布を構成する各正規分布のレベル（寄与率）に応じて重み付けをした上で平均値を算出してもよい。
なお、爪情報検出部３１３が第２の学習モデルを生成し、爪輪郭ＴＬを検出する具体的な処理については後に詳述する。
なお、第１の学習モデルにおける下地塗布領域の混合正規分布を構成する各正規分布の期待値やその平均値は、検出領域Ａｒの画素値の平均値を算出するときに算出してもよいが、予め算出しておき、当該第１の学習モデルと対応付けて記憶部３２に記憶させておいてもよい。
また、第１の学習モデルにおける下地塗布領域の混合正規分布の平均値を算出するにあたっては、混合正規分布を構成する各正規分布のレベル（寄与率）に応じて重み付けをした上で平均値を算出してもよい。
なお、爪情報検出部３１３が第２の学習モデルを生成し、爪輪郭ＴＬを検出する具体的な処理については後に詳述する。
【0037】
印刷データ生成部３１４は、爪情報検出部３１３による検出結果から印刷部４０による印刷対象領域を設定し、印刷用データを生成するものである。
前述のように本実施形態では、撮影部５０の撮影装置５１において印刷対象である爪Ｔが撮影され、当該爪画像について爪情報検出部３１３によって爪輪郭ＴＬ等の爪情報が検出される。印刷データ生成部３１４は、この検出結果に基づいて爪輪郭ＴＬの内側の領域に印刷部４０により印刷を行う領域（印刷対象領域）を設定し、印刷用データを生成する。
具体的には、印刷データ生成部３１４は、爪輪郭ＴＬに合わせて印刷対象であるユーザによって選択されたネイルデザインの画像データを切り抜き、適宜拡大縮小等を行い、印刷用データを生成する。
なお、爪情報検出部３１３において爪Ｔの曲率等が検出された場合には、印刷データ生成部３１４は、この爪Ｔの曲率等に基づいて、印刷用データに曲面補正を行ってもよい。曲面補正を行った場合には、より爪Ｔの形状に合った印刷用データを生成することができる。
なお、爪Ｔに印刷するデザインとして選択されたものが、爪領域全体に印刷されるものではなく、例えば爪先部分のみに印刷するフレンチネイル等である場合には、印刷データ生成部３１４は、爪情報検出部３１３によって検出された爪輪郭ＴＬにデザインを合わせ込んで、ユーザの爪Ｔの形状にあった形状・範囲の部分デザインの印刷用データを生成する。
前述のように本実施形態では、撮影部５０の撮影装置５１において印刷対象である爪Ｔが撮影され、当該爪画像について爪情報検出部３１３によって爪輪郭ＴＬ等の爪情報が検出される。印刷データ生成部３１４は、この検出結果に基づいて爪輪郭ＴＬの内側の領域に印刷部４０により印刷を行う領域（印刷対象領域）を設定し、印刷用データを生成する。
具体的には、印刷データ生成部３１４は、爪輪郭ＴＬに合わせて印刷対象であるユーザによって選択されたネイルデザインの画像データを切り抜き、適宜拡大縮小等を行い、印刷用データを生成する。
なお、爪情報検出部３１３において爪Ｔの曲率等が検出された場合には、印刷データ生成部３１４は、この爪Ｔの曲率等に基づいて、印刷用データに曲面補正を行ってもよい。曲面補正を行った場合には、より爪Ｔの形状に合った印刷用データを生成することができる。
なお、爪Ｔに印刷するデザインとして選択されたものが、爪領域全体に印刷されるものではなく、例えば爪先部分のみに印刷するフレンチネイル等である場合には、印刷データ生成部３１４は、爪情報検出部３１３によって検出された爪輪郭ＴＬにデザインを合わせ込んで、ユーザの爪Ｔの形状にあった形状・範囲の部分デザインの印刷用データを生成する。
【0038】
印刷制御部３１５は、印刷ヘッド４１を制御する制御手段である。具体的には、印刷制御部３１５は、印刷データ生成部３１４において生成された印刷用データに基づいて印刷部４０に制御信号を出力し、爪Ｔに対してこの印刷用データにしたがった印刷を施すように印刷部４０のＸ方向移動モータ４６、Ｙ方向移動モータ４８、印刷ヘッド４１等を制御する。
【0039】
前述のように、本実施形態では印刷装置１が端末装置７と連携して動作するようになっている。
端末装置７は、例えばスマートフォン等の携帯端末装置である。なお、端末装置７はスマートフォンに限定されない。例えばタブレット型のパーソナルコンピュータ（以下において「ＰＣ」とする。）やノート型のＰＣ、据置型のＰＣ、ゲーム用の端末装置等であってもよい。
図２に示すように、端末装置７は、操作部７１、表示部７２、通信部７３及び制御装置８０等を備えている。
端末装置７は、例えばスマートフォン等の携帯端末装置である。なお、端末装置７はスマートフォンに限定されない。例えばタブレット型のパーソナルコンピュータ（以下において「ＰＣ」とする。）やノート型のＰＣ、据置型のＰＣ、ゲーム用の端末装置等であってもよい。
図２に示すように、端末装置７は、操作部７１、表示部７２、通信部７３及び制御装置８０等を備えている。
【0040】
操作部７１は、ユーザの操作に応じて各種の入力・設定等を行うことができるようになっており、例えば表示部７２の表面に一体的に設けられたタッチパネルである。操作部７１が操作されると、当該操作に対応する入力信号が制御部８１に送信される。
表示部７２に構成されるタッチパネルには、後述する表示制御部８１２の制御にしたがって各種の操作画面が表示され、ユーザはタッチパネルへのタッチ操作によって各種の入力・設定等の操作を行うことができる。
なお、各種の入力・設定等の操作を行う操作部７１はタッチパネルである場合に限定されず、例えば各種の操作ボタンやキーボード等が操作部７１として設けられていてもよい。
表示部７２に構成されるタッチパネルには、後述する表示制御部８１２の制御にしたがって各種の操作画面が表示され、ユーザはタッチパネルへのタッチ操作によって各種の入力・設定等の操作を行うことができる。
なお、各種の入力・設定等の操作を行う操作部７１はタッチパネルである場合に限定されず、例えば各種の操作ボタンやキーボード等が操作部７１として設けられていてもよい。
【0041】
本実施形態では、ユーザが操作部７１を操作することで、端末装置７から印刷装置１に対して印刷開始等の各種指示が出力されるようになっており、端末装置７は印刷装置１の操作部としても機能する。
また、ユーザが操作部７１を操作することで、爪Ｔに印刷するネイルデザイン（デザイン）を選択すること等ができるようになっている。
また、ユーザが操作部７１を操作することで、爪Ｔに印刷するネイルデザイン（デザイン）を選択すること等ができるようになっている。
【0042】
表示部７２は、例えば液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ、その他のフラットディスプレイ等で構成されている。
なお、前述のように、表示部７２の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合には、タッチパネルが操作部７１として機能する。
本実施形態では、ユーザが操作部７１から入力・選択したネイルデザインや、各種の案内画面、警告表示画面等が表示部７２に表示可能となっている。
なお、前述のように、表示部７２の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合には、タッチパネルが操作部７１として機能する。
本実施形態では、ユーザが操作部７１から入力・選択したネイルデザインや、各種の案内画面、警告表示画面等が表示部７２に表示可能となっている。
【0043】
通信部７３は、印刷装置１の通信部１４との間で通信可能に構成されたものである。
印刷装置１と端末装置７との間での通信は、前述のように、無線接続方式、有線接続方式のどちらでもよく、具体的な方式は限定されない。通信部７３は印刷装置１との間で通信を行うことのできるものであればよく、印刷装置１の通信部１４の通信規格と合致するものが適用される。
通信部１４は、後述する制御装置８０の通信制御部８１１（図２参照）に接続され、該通信制御部８１１によって制御される。
印刷装置１と端末装置７との間での通信は、前述のように、無線接続方式、有線接続方式のどちらでもよく、具体的な方式は限定されない。通信部７３は印刷装置１との間で通信を行うことのできるものであればよく、印刷装置１の通信部１４の通信規格と合致するものが適用される。
通信部１４は、後述する制御装置８０の通信制御部８１１（図２参照）に接続され、該通信制御部８１１によって制御される。
【0044】
図２に示すように、本実施形態の端末装置７の制御装置８０は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサにより構成される制御部８１と、図示しないＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等で構成される記憶部８２とを備えるコンピュータである。
【0045】
記憶部８２には、端末装置７の各部を動作させるための各種プログラムや各種データ等が格納されている。
具体的には、本実施形態のＲＯＭ等には、端末装置７の各部を統括制御するための動作プログラム８２１ａの他、印刷装置１を用いたネイルプリントを行うためのネイルプリントアプリケーションプログラム８２１ｂ（以下「ネイルプリントＡＰ」とする。）等の各種プログラムが格納されており、制御部８１がこれらのプログラムを例えばＲＡＭの作業領域に展開して、プログラムが制御部８１において実行されることによって、端末装置７の各部が統括制御されるようになっている。
具体的には、本実施形態のＲＯＭ等には、端末装置７の各部を統括制御するための動作プログラム８２１ａの他、印刷装置１を用いたネイルプリントを行うためのネイルプリントアプリケーションプログラム８２１ｂ（以下「ネイルプリントＡＰ」とする。）等の各種プログラムが格納されており、制御部８１がこれらのプログラムを例えばＲＡＭの作業領域に展開して、プログラムが制御部８１において実行されることによって、端末装置７の各部が統括制御されるようになっている。
【0046】
また、本実施形態の記憶部８２には、ネイルデザイン（単にデザインともいう。）のデータを格納するデザイン記憶領域８２２等が設けられている。
なお、デザイン記憶領域８２２に格納されるネイルデザイン（デザイン）は、予め用意された既存のデザインであってもよいし、ユーザが自ら作成したデザインであってもよい。また、端末装置７が各種ネットワークに接続可能である場合には、ネットワーク接続可能な図示しないサーバ装置等に記憶されているネイルデザインを取り込むことが可能となっていてもよい。
なお、デザイン記憶領域８２２に格納されるネイルデザイン（デザイン）は、予め用意された既存のデザインであってもよいし、ユーザが自ら作成したデザインであってもよい。また、端末装置７が各種ネットワークに接続可能である場合には、ネットワーク接続可能な図示しないサーバ装置等に記憶されているネイルデザインを取り込むことが可能となっていてもよい。
【0047】
端末装置７の制御部８１は、機能的に見た場合、通信制御部８１１、表示制御部８１２等を備えている。これら通信制御部８１１、表示制御部８１２等としての機能は、制御部８１のＣＰＵと記憶部８２のＲＯＭに記憶されたプログラムとの協働によって実現される。なお、端末装置７の制御部８１が備える機能はこれに限定されず、その他各種の機能部を備えていてもよい。
通信制御部８１１は、通信部７３の動作を制御するものである。本実施形態では、印刷装置１との間での通信を制御し、印刷装置１に対してネイルデザインのデータ等を送信する。
また、表示制御部８１２は、表示部７２を制御して表示部７２に各種の表示画面を表示させる。
通信制御部８１１は、通信部７３の動作を制御するものである。本実施形態では、印刷装置１との間での通信を制御し、印刷装置１に対してネイルデザインのデータ等を送信する。
また、表示制御部８１２は、表示部７２を制御して表示部７２に各種の表示画面を表示させる。
【0048】
次に、図３を参照しつつ、本実施形態における爪輪郭検出装置である制御装置３０及びこれを含む印刷装置１による爪輪郭検出方法について説明する。
本実施形態の印刷装置１を用いてネイルプリントを行う場合には、ユーザは、印刷装置１の操作部１２等を操作して電源を入れ起動させる。
また、端末装置７についても電源を入れて端末装置７の操作部７１からネイルプリント処理の実行を選択する。これによりネイルプリントＡＰ８２１ｂが起動する。
ネイルプリントＡＰ８２１ｂが起動すると、端末装置７の表示制御部８１２は表示部７２に、下地を塗布された爪Ｔを含む指Ｕを印刷装置１の指保持部２に載置するよう指示する指示画面を表示させる。
本実施形態の印刷装置１を用いてネイルプリントを行う場合には、ユーザは、印刷装置１の操作部１２等を操作して電源を入れ起動させる。
また、端末装置７についても電源を入れて端末装置７の操作部７１からネイルプリント処理の実行を選択する。これによりネイルプリントＡＰ８２１ｂが起動する。
ネイルプリントＡＰ８２１ｂが起動すると、端末装置７の表示制御部８１２は表示部７２に、下地を塗布された爪Ｔを含む指Ｕを印刷装置１の指保持部２に載置するよう指示する指示画面を表示させる。
【0049】
指保持部２に指Ｕが載置されると、図３に示すように、指Ｕが撮影部５０によって撮影され、例えば図４に示すような爪画像（爪Ｔを含む指Ｕの画像）が取得される（ステップＳ１）。そして、サンプリング手段としての爪情報検出部３１３が撮影部５０によって取得された爪画像から爪Ｔに該当する領域を検出領域Ａｒとして検出（サンプリング）する（ステップＳ２）。
具体的には、爪情報検出部３１３は、記憶部３２から第１の学習モデルを読み出して爪画像に適用し、爪Ｔに該当する領域の検出を行う。前述のように、このとき、爪情報検出部３１３は白色の部分を下地の領域として認識する第１の学習モデル（初期状態の学習モデル）を用いて検出を行う。このため、爪Ｔに塗布されている下地が白色以外の色である場合、爪情報検出部３１３によって検出される仮の爪輪郭ＴＬｅは、実際の爪輪郭ＴＬほど正確ではなく、図４に示すように、ずれている場合がある。
具体的には、爪情報検出部３１３は、記憶部３２から第１の学習モデルを読み出して爪画像に適用し、爪Ｔに該当する領域の検出を行う。前述のように、このとき、爪情報検出部３１３は白色の部分を下地の領域として認識する第１の学習モデル（初期状態の学習モデル）を用いて検出を行う。このため、爪Ｔに塗布されている下地が白色以外の色である場合、爪情報検出部３１３によって検出される仮の爪輪郭ＴＬｅは、実際の爪輪郭ＴＬほど正確ではなく、図４に示すように、ずれている場合がある。
【0050】
すなわち、実際に爪Ｔに塗布されている下地の色が白色ではなく、薄いピンクや薄い緑色等であった場合には、白色の部分を下地の領域として認識するように学習された第１の学習モデルでは爪Ｔと指Ｕ（皮膚）との境界部分まで正確に区別することが難しい。このため、図４に示すように、仮の爪輪郭ＴＬｅは、実際の爪輪郭ＴＬよりも内側に入り込んでいたり、実際の爪輪郭ＴＬよりも外側の、実際には指Ｕである部分にまではみ出していたりする場合も想定される。
【0051】
サンプリング手段としての爪情報検出部３１３が検出する検出領域Ａｒは、現状爪Ｔに塗布されている下地の色に合わせて学習モデルを補正するためのサンプルであり、爪Ｔ以外の指Ｕ（皮膚）等の部分が含まれると、正しい補正値を得ることができない。このため検出領域Ａｒは、検出精度が比較的高い領域に設定されることが好ましい。
そこで本実施形態では、図４に示すように、サンプリング手段としての爪情報検出部３１３が検出した仮の爪輪郭ＴＬｅの内側領域のうち、境界部分付近を含まない中央部分の所定領域を「爪Ｔに該当する領域」であるとして、検出領域Ａｒとして検出（サンプリング）する。
そこで本実施形態では、図４に示すように、サンプリング手段としての爪情報検出部３１３が検出した仮の爪輪郭ＴＬｅの内側領域のうち、境界部分付近を含まない中央部分の所定領域を「爪Ｔに該当する領域」であるとして、検出領域Ａｒとして検出（サンプリング）する。
【0052】
検出領域Ａｒが検出されると、爪情報検出部３１３は、画素情報取得手段として検出領域Ａｒの画素値を取得する（ステップＳ３）。そして、爪情報検出部３１３は学習モデル生成手段として、検出領域Ａｒの画素値の平均値を下記の式（１）により算出する（ステップＳ４）。
【0053】
【数1】
式（１）において、「F」はステップＳ２で検出した検出領域Ａｒを示し、「N」は検出領域Ａｒの画素数を示し、「x」は画素値を示している。
式（１）により、検出領域Ａｒの画素値の平均値「mx」が算出される。
画素値がＲＧＢで表されるものである場合、爪情報検出部３１３は、このような画素値の平均値の算出を、ＲＧＢそれぞれについて算出する。
【0054】
また爪情報検出部３１３は、爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素値の期待値の平均値を取得する（ステップＳ５）。
第１の学習モデルにおける下地塗布領域の画素値の期待値の平均値は、下記の式（２）により算出される。
下記式（２）では、期待値の平均値を算出するにあたり、混合正規分布を構成している正規分布の寄与率を考慮する場合を例示している。各正規分布の寄与率を考慮することは必須ではないが、寄与率を考慮した場合には、混合正規分布の傾向をより適切に反映した平均値を得ることができる。
なお、前述のように、この平均値の算出は予め行って第１の学習モデルに対応付けて記憶させておいてもよい。
第１の学習モデルにおける下地塗布領域の画素値の期待値の平均値は、下記の式（２）により算出される。
下記式（２）では、期待値の平均値を算出するにあたり、混合正規分布を構成している正規分布の寄与率を考慮する場合を例示している。各正規分布の寄与率を考慮することは必須ではないが、寄与率を考慮した場合には、混合正規分布の傾向をより適切に反映した平均値を得ることができる。
なお、前述のように、この平均値の算出は予め行って第１の学習モデルに対応付けて記憶させておいてもよい。
【0055】
【数2】
式（２）において、「M」は下地塗布領域の混合正規分布を構成する正規分布の数を示し、「w」は各正規分布の寄与率を示し、「ex」は各正規分布の期待値を示している。
式（２）により、各正規分布の寄与率が考慮された期待値の平均値「mtx」が算出される。
【0056】
さらに、学習モデル生成手段としての爪情報検出部３１３は、検出領域Ａｒの画素値の平均値「mx」と、第１の学習モデルにおける下地塗布領域の画素値の期待値の平均値「mtx」との差分を、下記式（３）により算出する（ステップＳ６）。
【0057】
【数3】
式（３）により、検出領域Ａｒの画素値の平均値「mx」と、第１の学習モデルにおける下地塗布領域の画素値の期待値の平均値「mtx」との差分「dx」が算出される。
【0058】
なお、検出領域Ａｒの画素値の平均値「mx」と、第１の学習モデルにおける下地塗布領域の画素値の期待値の平均値「mtx」との差分「dx」がわずかである場合には、爪Ｔに塗布されている下地の色が、第１の学習モデル（初期状態の学習モデル）において学習されている色（白色等）に近い場合であり、当該第１の学習モデルをそのまま爪輪郭ＴＬの検出に用いても検出精度に支障がない。
このため本実施形態では、差分「dx」について所定の閾値を設定し、爪情報検出部３１３は、差分「dx」が閾値を超えているか否かを判断する（ステップＳ７）。この場合の閾値をどの程度とするかは適宜設定される事項である。
そして、差分「dx」が閾値を超えている場合（ステップＳ７；ＹＥＳ）には、この平均値「mx」と「mtx」との差分「dx」を補正値として、第１の学習モデルにおける下地塗布領域の画素値の期待値を下記の式（４）により補正する（ステップＳ８）。
このため本実施形態では、差分「dx」について所定の閾値を設定し、爪情報検出部３１３は、差分「dx」が閾値を超えているか否かを判断する（ステップＳ７）。この場合の閾値をどの程度とするかは適宜設定される事項である。
そして、差分「dx」が閾値を超えている場合（ステップＳ７；ＹＥＳ）には、この平均値「mx」と「mtx」との差分「dx」を補正値として、第１の学習モデルにおける下地塗布領域の画素値の期待値を下記の式（４）により補正する（ステップＳ８）。
【0059】
【数4】
式（４）により、第１の学習モデルにおける下地塗布領域の画素値の期待値「exi」が期待値「ecxi」に補正された新たな学習モデル（第２の学習モデル）が生成される。
そして、爪情報検出部３１３は、検出手段として補正後の学習モデル（第２の学習モデル）を適用して爪画像から下地が塗布された領域の輪郭を爪輪郭ＴＬとして検出する（ステップＳ９）。
【0060】
他方、差分「dx」が閾値を超えていない場合（ステップＳ７；ＮＯ）には、爪情報検出部３１３は、第１の学習モデルを補正せずに適用して、爪画像から下地が塗布された領域の輪郭を爪輪郭ＴＬとして検出する（ステップＳ１０）。
【0061】
このような処理を行うことで、白色の下地が塗布された領域を抽出するように学習されている第１の学習モデルを有する場合に、実際に爪Ｔに塗布された下地の色が白色以外であった場合にも、新たな学習モデルを一から生成することなく、その期待値を補正するだけで比較的簡易に対応することができる。
【0062】
以上のように、本実施形態によれば、爪輪郭検出装置である制御装置３０が、下地が塗布された爪Ｔを含む画像から爪Ｔに該当する領域を検出し、検出された検出領域Ａｒの画素に関する値として画素値を取得して、爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素値と検出領域Ａｒの画素値との差分に基づいて第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する。そして、第２の学習モデルが生成されたときは、この第２の学習モデルを適用して画像から爪輪郭ＴＬの検出を行う。また、第２の学習モデルが生成されなかった場合には、爪輪郭検出用の第１の学習モデルを適用して画像から爪輪郭ＴＬを検出する。
これにより、第１の学習データが学習した色（例えば白色）と異なる色（例えばピンク色）の下地が爪Ｔに塗布されている場合にも、一から学習モデルを作り直したり、画像に色補正を行うことで対応したりする等の必要がなく、時間や手間をかけずに、高い検出精度で爪輪郭ＴＬを検出することが可能となる。
すなわち、既存の学習済みの学習モデル（第１の学習モデル）は、単なる白色部分の認識にとどまらず、例えば爪Ｔの端部では少し色が暗めに出る等、爪Ｔの認識に関して蓄積された各種の情報を含んでいる。この点、一から学習モデルを作り直すと、そうした広い範囲での学習結果を獲得するまでにかなりの時間と手間を要する。
本実施形態のように、第１の学習モデルが学習した色（例えば白色）と異なる色（例えばピンク色）の下地が爪Ｔに塗布されている場合に、第１の学習モデルを補正して対応することで、こうした学習結果を新しい学習モデルに引き継ぐことができ、全体の精度は低下させずに、爪輪郭ＴＬの検出精度・認識精度を向上させることができる。
これにより、第１の学習データが学習した色（例えば白色）と異なる色（例えばピンク色）の下地が爪Ｔに塗布されている場合にも、一から学習モデルを作り直したり、画像に色補正を行うことで対応したりする等の必要がなく、時間や手間をかけずに、高い検出精度で爪輪郭ＴＬを検出することが可能となる。
すなわち、既存の学習済みの学習モデル（第１の学習モデル）は、単なる白色部分の認識にとどまらず、例えば爪Ｔの端部では少し色が暗めに出る等、爪Ｔの認識に関して蓄積された各種の情報を含んでいる。この点、一から学習モデルを作り直すと、そうした広い範囲での学習結果を獲得するまでにかなりの時間と手間を要する。
本実施形態のように、第１の学習モデルが学習した色（例えば白色）と異なる色（例えばピンク色）の下地が爪Ｔに塗布されている場合に、第１の学習モデルを補正して対応することで、こうした学習結果を新しい学習モデルに引き継ぐことができ、全体の精度は低下させずに、爪輪郭ＴＬの検出精度・認識精度を向上させることができる。
【0063】
また本実施形態では、サンプリング手段としての制御部３１（爪情報検出部３１３）は、爪輪郭検出用の第１の学習モデルを用いて爪Ｔに該当する領域を検出領域Ａｒとして検出する。
第１の学習データが学習した色（例えば白色）と異なる色の下地が爪Ｔに塗布されている場合であっても、その色が爪Ｔよりも指Ｕ(皮膚)の色に近いような場合でない限りは、爪Ｔのおよその位置を特定することができる。そのため、仮の爪輪郭ＴＬｅを検出して、爪輪郭ＴＬｅの内側領域の中央部分等を検出領域Ａｒとすることにより、容易に爪Ｔ以外の領域を含まない適切な領域をサンプリングすることができる。
第１の学習データが学習した色（例えば白色）と異なる色の下地が爪Ｔに塗布されている場合であっても、その色が爪Ｔよりも指Ｕ(皮膚)の色に近いような場合でない限りは、爪Ｔのおよその位置を特定することができる。そのため、仮の爪輪郭ＴＬｅを検出して、爪輪郭ＴＬｅの内側領域の中央部分等を検出領域Ａｒとすることにより、容易に爪Ｔ以外の領域を含まない適切な領域をサンプリングすることができる。
【0064】
また本実施形態において、学習モデル生成手段としての制御部３１（爪情報検出部３１３）は、検出領域Ａｒの画素値について平均値を取得し、当該平均値と爪輪郭検出用の第１の学習モデルにおける下地塗布領域の混合正規分布を構成する各正規分布の期待値の平均値との差分を算出して、これを第１の学習モデルを補正する補正値とする。
このように、本実施形態では、学習データの補正は、各正規分布の期待値のみを補正し、分散は補正しない。
期待値のみでなく分散をも補正する場合には、爪Ｔの領域全体を見て補正することが望ましいが、第１の学習モデルが学習した色（例えば白色）と異なる色の下地が爪Ｔに塗布されている場合に、爪Ｔの領域全体を正確に切り出すことは難しい。
この点、本実施形態の手法では、分散を考慮せずに期待値のみをずらす補正を行う。このため、確実に爪Ｔであると思われる領域を検出領域Ａｒとして切り出す（サンプリングする）だけで学習モデルを補正することが可能となり、効率よく、高精度の学習モデル（補正後の第２の学習モデル）を生成することができる。
このように、本実施形態では、学習データの補正は、各正規分布の期待値のみを補正し、分散は補正しない。
期待値のみでなく分散をも補正する場合には、爪Ｔの領域全体を見て補正することが望ましいが、第１の学習モデルが学習した色（例えば白色）と異なる色の下地が爪Ｔに塗布されている場合に、爪Ｔの領域全体を正確に切り出すことは難しい。
この点、本実施形態の手法では、分散を考慮せずに期待値のみをずらす補正を行う。このため、確実に爪Ｔであると思われる領域を検出領域Ａｒとして切り出す（サンプリングする）だけで学習モデルを補正することが可能となり、効率よく、高精度の学習モデル（補正後の第２の学習モデル）を生成することができる。
【0065】
また、学習モデル生成手段として制御部３１が第２の学習モデルを生成したときは、制御部３１は記憶制御手段として、この第２の学習モデルを、第１の学習モデルとして記憶部３２に記憶させてもよい。
このように、第２の学習モデルが生成されたときには第１の学習モデルを第２の学習モデルで置き換える場合には、記憶部３２に記憶される学習モデルの数が増加しないため、少ないメモリ容量で対応することができる。
このように、第２の学習モデルが生成されたときには第１の学習モデルを第２の学習モデルで置き換える場合には、記憶部３２に記憶される学習モデルの数が増加しないため、少ないメモリ容量で対応することができる。
【0066】
また、本実施形態では、検出手段としての制御部３１は、第１の学習モデルにおける下地塗布領域の画素に関する値と検出領域Ａｒの画素に関する値との差分が予め定められた閾値を超えている場合、第２の学習モデルを適用して画像から下地が塗布された領域の輪郭を爪輪郭として検出し、第１の学習モデルにおける下地塗布領域の画素に関する値と検出領域Ａｒの画素に関する値との差分が予め定められた閾値を超えていない場合、第１の学習モデルを適用して画像から下地が塗布された領域の輪郭を爪輪郭ＴＬとして検出する。
第１の学習モデルにおける下地塗布領域の画素に関する値と検出領域Ａｒの画素に関する値との差分がわずかである場合には、爪Ｔに塗布されている下地の色が、第１の学習モデル（初期状態の学習モデル）において学習されている色（白色等）に近い場合であり、当該第１の学習モデルをそのまま爪輪郭ＴＬの検出に用いても検出精度に支障がない。この場合には第１の学習モデルを補正せずにそのまま適用することで、処理を簡略化し、迅速に爪輪郭検出処理を行うことができる。
第１の学習モデルにおける下地塗布領域の画素に関する値と検出領域Ａｒの画素に関する値との差分がわずかである場合には、爪Ｔに塗布されている下地の色が、第１の学習モデル（初期状態の学習モデル）において学習されている色（白色等）に近い場合であり、当該第１の学習モデルをそのまま爪輪郭ＴＬの検出に用いても検出精度に支障がない。この場合には第１の学習モデルを補正せずにそのまま適用することで、処理を簡略化し、迅速に爪輪郭検出処理を行うことができる。
【0067】
また、本実施形態のような爪輪郭検出装置を印刷装置１に適用した場合には、印刷手段としての印刷部４０が、爪輪郭検出装置である制御装置３０によって検出された爪輪郭ＴＬの内側領域を印刷対象領域として印刷を行う。
これにより、新たに一から学習モデルを構築する場合のように、時間や手間をかけることなく、高い精度で検出された爪輪郭ＴＬの内側領域に印刷を行うことができる。
このため、爪Ｔにどのような色の下地が塗布されている場合でも、塗残しやはみ出しのない、高品位のネイルプリントを爪Ｔに施すことができる。
これにより、新たに一から学習モデルを構築する場合のように、時間や手間をかけることなく、高い精度で検出された爪輪郭ＴＬの内側領域に印刷を行うことができる。
このため、爪Ｔにどのような色の下地が塗布されている場合でも、塗残しやはみ出しのない、高品位のネイルプリントを爪Ｔに施すことができる。
【0068】
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
【0069】
例えば、本実施形態では、サンプリング手段としての爪情報検出部３１３が検出領域Ａｒをサンプリング（検出）する際には、下地が白色である場合について学習した第１の学習モデルがデフォルトとして適用される例を示したが、検出領域Ａｒをサンプリング（検出）する際に適用される学習モデルはこれに限定されない。
例えば、ピンク系の下地が塗布された、ブルー系の下地が塗布された等が事前に分かっている場合であれば、これらに対応して新しく生成された学習モデルを検出領域Ａｒのサンプリングに用いてもよい。なお、どのような色味の下地を爪Ｔに塗布したかの情報は、ユーザが操作部１２等から入力してもよい。
例えば、ピンク系の下地が塗布された、ブルー系の下地が塗布された等が事前に分かっている場合であれば、これらに対応して新しく生成された学習モデルを検出領域Ａｒのサンプリングに用いてもよい。なお、どのような色味の下地を爪Ｔに塗布したかの情報は、ユーザが操作部１２等から入力してもよい。
【0070】
また本実施形態では、サンプリング手段としての爪情報検出部３１３が、第１の学習モデルを用いて仮の爪輪郭ＴＬｅを検出し、この爪輪郭ＴＬｅの内側領域から爪Ｔに該当する領域を検出領域Ａｒとして検出（サンプリング）する場合を例示したが、検出領域Ａｒの検出（サンプリング）の仕方はこれに限定されない。サンプリング手段としての爪情報検出部３１３は、爪Ｔを含む画像中の所定の領域を爪Ｔに該当する領域として検出してもよい。
例えば、爪Ｔが配置されているおよその位置が分かる場合には、爪画像中、爪Ｔが配置されている可能性が高い領域の中に検出領域Ａｒを設定してもよい。
具体的には指保持部２に指Ｕを保持させ、爪先が爪載置部２５に載るように爪Ｔが配置される場合に、図５に示すように、指Ｕの第一関節から上辺りの爪Ｔを含む指Ｕが収まるように爪画像を撮影する。そしてこの爪画像に、爪Ｔの幅方向の中心を通る縦方向の中心線Ｄｃ及び爪画像を上下に分ける横方向の中心線Ｈｃを設定し、中心線Ｈｃよりも上（すなわち指先方向）であって中心線Ｄｃを通る所定の領域を検出領域Ａｒとして検出（サンプリング）する。
この場合には、第１の学習モデル（初期状態の学習モデル）等を用いた処理を行うことなく、画像のみから検出領域Ａｒを切り出すことができる。
このため、例えば爪Ｔに塗布されている下地が第１の学習モデル（初期状態の学習モデル）では対応できないような色である場合（例えば第１の学習モデルが白色で学習している場合に青色の下地が塗布されているような場合）にも当該下地が塗布された爪Ｔが位置する領域を適切に検出領域Ａｒとして検出（サンプリング）して、本実施形態の爪輪郭検出処理を行うことができる。
例えば、爪Ｔが配置されているおよその位置が分かる場合には、爪画像中、爪Ｔが配置されている可能性が高い領域の中に検出領域Ａｒを設定してもよい。
具体的には指保持部２に指Ｕを保持させ、爪先が爪載置部２５に載るように爪Ｔが配置される場合に、図５に示すように、指Ｕの第一関節から上辺りの爪Ｔを含む指Ｕが収まるように爪画像を撮影する。そしてこの爪画像に、爪Ｔの幅方向の中心を通る縦方向の中心線Ｄｃ及び爪画像を上下に分ける横方向の中心線Ｈｃを設定し、中心線Ｈｃよりも上（すなわち指先方向）であって中心線Ｄｃを通る所定の領域を検出領域Ａｒとして検出（サンプリング）する。
この場合には、第１の学習モデル（初期状態の学習モデル）等を用いた処理を行うことなく、画像のみから検出領域Ａｒを切り出すことができる。
このため、例えば爪Ｔに塗布されている下地が第１の学習モデル（初期状態の学習モデル）では対応できないような色である場合（例えば第１の学習モデルが白色で学習している場合に青色の下地が塗布されているような場合）にも当該下地が塗布された爪Ｔが位置する領域を適切に検出領域Ａｒとして検出（サンプリング）して、本実施形態の爪輪郭検出処理を行うことができる。
【0071】
また本実施形態では、ユーザ等が下地を手塗で爪Ｔに施す場合を例示したが、下地は手塗で施される場合に限定されない。
例えば、ネイルデザインを印刷する印刷装置１とは別の下地印刷用の印刷装置によって自動的に下地が塗布されてもよい。
また、印刷装置１が、印刷ヘッド４１として、ネイルデザインを印刷するためのカラー印刷用ヘッドと、下地を印刷するための下地印刷用のヘッドとを備えていてもよい。
印刷装置１が下地印刷用のヘッドを備えている場合、下地印刷用の液剤の種類や色の情報を印刷装置１の側で把握できる場合には、当該情報に基づいて下地の色に近いデータで学習した学習モデルを用いて仮の爪輪郭ＴＬｅを検出し、この爪輪郭ＴＬｅの内側領域から爪Ｔに該当する領域を検出領域Ａｒとして検出（サンプリング）してもよい。
例えば、ネイルデザインを印刷する印刷装置１とは別の下地印刷用の印刷装置によって自動的に下地が塗布されてもよい。
また、印刷装置１が、印刷ヘッド４１として、ネイルデザインを印刷するためのカラー印刷用ヘッドと、下地を印刷するための下地印刷用のヘッドとを備えていてもよい。
印刷装置１が下地印刷用のヘッドを備えている場合、下地印刷用の液剤の種類や色の情報を印刷装置１の側で把握できる場合には、当該情報に基づいて下地の色に近いデータで学習した学習モデルを用いて仮の爪輪郭ＴＬｅを検出し、この爪輪郭ＴＬｅの内側領域から爪Ｔに該当する領域を検出領域Ａｒとして検出（サンプリング）してもよい。
【0072】
また、本実施形態では、爪輪郭検出用の学習モデルとして混合正規分布モデルを用い、混合正規分布の期待値を爪Ｔに塗布されている下地の色に応じて移動させることで学習モデルを補正する場合について説明したが、爪輪郭検出用の学習モデルは混合正規分布モデルに限定されない。
例えば爪輪郭検出用の学習モデルとしてヒストグラムを用いてもよい。この場合には、ヒストグラムの最頻値を基準に爪Ｔに塗布されている下地の色に応じて移動させる等の補正手法を用いることができる。
例えば爪輪郭検出用の学習モデルとしてヒストグラムを用いてもよい。この場合には、ヒストグラムの最頻値を基準に爪Ｔに塗布されている下地の色に応じて移動させる等の補正手法を用いることができる。
【0073】
また、本実施形態では、印刷装置１の制御装置３０が爪輪郭検出装置として機能し、爪画像から爪輪郭ＴＬ等の爪情報の取得や学習モデルの補正を行う爪情報検出部３１３を備え、全ての処理が印刷装置１において完結する場合を例示したが、爪輪郭検出装置は、印刷装置１の制御装置３０に限定されない。
例えば、端末装置７の制御装置８０が爪輪郭検出装置として機能し、爪画像から爪輪郭ＴＬ等の爪情報の取得や学習モデルの補正を行う爪情報検出部を有してもよい。この場合には、爪輪郭の検出を行うための爪輪郭検出プログラムが端末装置７の制御装置８０の記憶部８２（記憶部８２のプログラム記憶領域８２１）に格納される。
さらに、端末装置７の制御装置８０が印刷データ生成部等の機能部を有してもよい。
この場合には、印刷装置１の撮影部５０で取得された爪画像が端末装置７に送られ、端末装置７の制御装置８０において、学習モデルの補正や爪情報の検出、印刷用データの生成等が行われる。
印刷用データが端末装置７側で生成される場合には、生成された印刷用データが印刷装置１に送信されて、印刷装置１の印刷部４０がこれに基づいて印刷を行う。
このように、印刷や撮影以外の制御動作を端末装置７側で行うことで、印刷装置１を簡易な構成とすることができる。
例えば、端末装置７の制御装置８０が爪輪郭検出装置として機能し、爪画像から爪輪郭ＴＬ等の爪情報の取得や学習モデルの補正を行う爪情報検出部を有してもよい。この場合には、爪輪郭の検出を行うための爪輪郭検出プログラムが端末装置７の制御装置８０の記憶部８２（記憶部８２のプログラム記憶領域８２１）に格納される。
さらに、端末装置７の制御装置８０が印刷データ生成部等の機能部を有してもよい。
この場合には、印刷装置１の撮影部５０で取得された爪画像が端末装置７に送られ、端末装置７の制御装置８０において、学習モデルの補正や爪情報の検出、印刷用データの生成等が行われる。
印刷用データが端末装置７側で生成される場合には、生成された印刷用データが印刷装置１に送信されて、印刷装置１の印刷部４０がこれに基づいて印刷を行う。
このように、印刷や撮影以外の制御動作を端末装置７側で行うことで、印刷装置１を簡易な構成とすることができる。
【0074】
以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得手段と、
記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成手段と、
前記学習モデル生成手段によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出手段と、
を備えることを特徴とする爪輪郭検出装置。
＜請求項２＞
前記画像から前記爪に該当する領域を前記検出領域として検出するサンプリング手段を備えることを特徴とする請求項１に記載の爪輪郭検出装置。
＜請求項３＞
前記サンプリング手段は、爪輪郭検出用の前記第１の学習モデルを用いて前記爪に該当する領域を検出することを特徴とする請求項２に記載の爪輪郭検出装置。
＜請求項４＞
前記サンプリング手段は、前記爪を含む画像中の予め定められた領域を前記爪に該当する領域として検出することを特徴とする請求項２に記載の爪輪郭検出装置。
＜請求項５＞
前記学習モデル生成手段は、前記検出領域の前記画素に関する値について平均値を取得し、当該平均値と爪輪郭検出用の前記第１の学習モデルにおける下地塗布領域の混合正規分布を構成する各正規分布の期待値の平均値との差分を算出して、これを前記第１の学習モデルを補正する補正値とすることを特徴とする請求項１から請求項４のいずれか一項に記載の爪輪郭検出装置。
＜請求項６＞
前記学習モデル生成手段によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを、前記第１の学習モデルとして前記記憶部に記憶させる記憶制御手段を備えることを特徴とする請求項１から請求項５のいずれか一項に記載の爪輪郭検出装置。
＜請求項７＞
前記検出手段は、
前記第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分が予め定められた閾値を超えている場合、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出し、
前記第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分が予め定められた閾値を超えていない場合、前記第１の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出することを特徴とする請求項１から請求項６のいずれか一項に記載の爪輪郭検出装置。
＜請求項８＞
請求項１から請求項７のいずれか一項に記載の爪輪郭検出装置と、
前記爪輪郭検出装置によって検出された前記爪輪郭の内側領域を印刷対象領域として印刷を行う印刷手段と、
を備えることを特徴とする印刷装置。
＜請求項９＞
下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得工程と、
記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成工程と、
前記学習モデル生成工程において前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出工程と、
を含むことを特徴とする爪輪郭検出方法。
＜請求項１０＞
コンピュータに、
下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得機能と、
記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成機能と、
前記学習モデル生成機能によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出機能と、
を実現させることを特徴とするプログラム。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得手段と、
記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成手段と、
前記学習モデル生成手段によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出手段と、
を備えることを特徴とする爪輪郭検出装置。
＜請求項２＞
前記画像から前記爪に該当する領域を前記検出領域として検出するサンプリング手段を備えることを特徴とする請求項１に記載の爪輪郭検出装置。
＜請求項３＞
前記サンプリング手段は、爪輪郭検出用の前記第１の学習モデルを用いて前記爪に該当する領域を検出することを特徴とする請求項２に記載の爪輪郭検出装置。
＜請求項４＞
前記サンプリング手段は、前記爪を含む画像中の予め定められた領域を前記爪に該当する領域として検出することを特徴とする請求項２に記載の爪輪郭検出装置。
＜請求項５＞
前記学習モデル生成手段は、前記検出領域の前記画素に関する値について平均値を取得し、当該平均値と爪輪郭検出用の前記第１の学習モデルにおける下地塗布領域の混合正規分布を構成する各正規分布の期待値の平均値との差分を算出して、これを前記第１の学習モデルを補正する補正値とすることを特徴とする請求項１から請求項４のいずれか一項に記載の爪輪郭検出装置。
＜請求項６＞
前記学習モデル生成手段によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを、前記第１の学習モデルとして前記記憶部に記憶させる記憶制御手段を備えることを特徴とする請求項１から請求項５のいずれか一項に記載の爪輪郭検出装置。
＜請求項７＞
前記検出手段は、
前記第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分が予め定められた閾値を超えている場合、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出し、
前記第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分が予め定められた閾値を超えていない場合、前記第１の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出することを特徴とする請求項１から請求項６のいずれか一項に記載の爪輪郭検出装置。
＜請求項８＞
請求項１から請求項７のいずれか一項に記載の爪輪郭検出装置と、
前記爪輪郭検出装置によって検出された前記爪輪郭の内側領域を印刷対象領域として印刷を行う印刷手段と、
を備えることを特徴とする印刷装置。
＜請求項９＞
下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得工程と、
記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成工程と、
前記学習モデル生成工程において前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出工程と、
を含むことを特徴とする爪輪郭検出方法。
＜請求項１０＞
コンピュータに、
下地が塗布された爪を含む画像から検出された検出領域の画素に関する値を取得する画素情報取得機能と、
記憶部に記憶された爪輪郭検出用の第１の学習モデルにおける下地塗布領域の画素に関する値と前記検出領域の画素に関する値との差分に基づいて前記第１の学習モデルを補正して爪輪郭検出用の第２の学習モデルを生成する学習モデル生成機能と、
前記学習モデル生成機能によって前記第２の学習モデルが生成されたときは、前記第２の学習モデルを適用して前記画像から下地が塗布された領域の輪郭を爪輪郭として検出する検出機能と、
を実現させることを特徴とするプログラム。
【符号の説明】
【0075】
１ 印刷装置
７ 端末装置
３１ 制御部
３２ 記憶部
４０ 印刷部
３１３ 爪情報検出部
３１４ 印刷データ生成部
３１５ 印刷制御部
３２２ 学習モデル記憶領域
３２３ 爪情報記憶領域
Ａｒ 検出領域
ＴＬ 爪輪郭
ＴＬｅ 仮の爪輪郭
Ｔ 爪
Ｕ 指
７ 端末装置
３１ 制御部
３２ 記憶部
４０ 印刷部
３１３ 爪情報検出部
３１４ 印刷データ生成部
３１５ 印刷制御部
３２２ 学習モデル記憶領域
３２３ 爪情報記憶領域
Ａｒ 検出領域
ＴＬ 爪輪郭
ＴＬｅ 仮の爪輪郭
Ｔ 爪
Ｕ 指
【図1】
【図2】
【図3】
【図4】
【図5】