特開 2024-43994 機械学習モデルの学習方法、学習済モデル、学習装置、印刷装置、プログラム及び印刷装置の製造方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043994

(43)【公開日】2024-04-02

(54)【発明の名称】機械学習モデルの学習方法、学習済モデル、学習装置、印刷装置、プログラム及び印刷装置の製造方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240326BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022149280

(22)【出願日】2022-09-20

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】▲くわ▼田 正博

(72)【発明者】

【氏名】島田 敬輔

(72)【発明者】

【氏名】清水 博

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA02

5L096FA06

5L096FA66

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

【課題】より精度よく爪の輪郭を特定することが可能な機械学習モデルの学習方法、学習済モデル、学習装置、印刷装置、プログラム及び印刷装置の製造方法を提供する。
【解決手段】機械学習モデルの学習方法は、爪を含む指画像と指画像における爪の第１輪郭位置を示す教師データとを取得する第１取得ステップ、指画像を機械学習モデルに入力して、機械学習モデルから出力される爪領域に係る情報を取得する第２取得ステップ、第１輪郭位置と、取得した爪領域の第２輪郭位置とのずれに応じた損失を求めて機械学習モデルにフィードバックする比較調整ステップと、を含む。損失を求める損失関数は、第１輪郭位置の各点及び第２輪郭位置の各点の間のずれ量に応じた大きさを損失に含むように定められる。
【選択図】図５

【特許請求の範囲】

【請求項1】

爪を含む指画像と当該指画像における前記爪の第１輪郭位置を示す教師データとを取得する第１取得ステップ、
前記指画像を機械学習モデルに入力して、当該機械学習モデルから出力される爪領域に係る情報を取得する第２取得ステップ、
前記第１輪郭位置と、取得した前記爪領域の第２輪郭位置とのずれに応じた損失を求めて前記機械学習モデルにフィードバックする比較調整ステップと、
を含み、
前記損失を求める損失関数は、前記第１輪郭位置の各点及び前記第２輪郭位置の各点の間のずれ量に応じた大きさを損失に含むように定められる
機械学習モデルの学習方法。

【請求項2】

前記ずれ量は、前記第１輪郭位置の各点から前記第２輪郭位置への最短距離に基づいて求められる請求項１記載の機械学習モデルの学習方法。

【請求項3】

前記損失は、前記ずれ量に応じた大きさに対して前記爪の範囲に応じた非一様な重み付けを行って求められる請求項１記載の機械学習モデルの学習方法。

【請求項4】

前記重み付けの大きさは、爪先側が前記爪の側部及び根元よりも大きい請求項３記載の機械学習モデルの学習方法。

【請求項5】

前記機械学習モデルには、セマンティックセグメンテーションが利用されている請求項１記載の機械学習モデルの学習方法。

【請求項6】

請求項１～５のいずれか一項に記載の機械学習モデルの学習方法により学習された学習済モデル。

【請求項7】

爪を含む指画像と当該指画像における前記爪の第１輪郭位置を示す教師データとを取得し、
前記指画像を機械学習モデルに入力して、当該機械学習モデルから出力される爪領域に係る情報を取得し、
前記第１輪郭位置と、取得した前記爪領域の第２輪郭位置とのずれに応じた損失を求めて前記機械学習モデルにフィードバックする
処理部を備え、
前記損失を求める損失関数は、前記第１輪郭位置の各点及び前記第２輪郭位置の各点の間のずれ量に応じた大きさを損失に含むように定められる
学習装置。

【請求項8】

請求項７記載の学習装置を有する制御部と、
印刷に係る動作を行う印刷動作部と、
前記印刷動作部による印刷対象の爪を含む指を検出する検出部と、
を備え、
前記制御部は、前記検出部により検出された前記指に対し、前記学習装置により学習された前記機械学習モデルにより、前記印刷対象の爪を含む指画像から推定された爪領域に基づいて前記印刷動作部による印刷範囲を定める
印刷装置。

【請求項9】

コンピュータを、
爪を含む指画像と当該指画像における前記爪の第１輪郭位置を示す教師データとを取得する第１取得手段、
前記指画像を機械学習モデルに入力して、当該機械学習モデルから出力される爪領域に係る情報を取得する第２取得手段、
前記第１輪郭位置と、取得した前記爪領域の第２輪郭位置とのずれに応じた損失を求めて前記機械学習モデルにフィードバックする比較調整手段、
として機能させ、
前記損失を求める損失関数は、前記第１輪郭位置の各点及び前記第２輪郭位置の各点の間のずれ量に応じた大きさを損失に含むように定められる
プログラム。

【請求項10】

制御部と、印刷に係る動作を行う印刷動作部と、前記印刷動作部による印刷対象の爪を含む指を検出する検出部と、を備える印刷装置の製造方法であって、
爪を含む指画像と当該指画像における前記爪の第１輪郭位置を示す教師データとを取得する第１取得ステップ、
前記指画像を機械学習モデルに入力して、当該機械学習モデルから出力される爪領域に係る情報を取得する第２取得ステップ、
前記第１輪郭位置と、取得した前記爪領域の第２輪郭位置とのずれに応じた損失を求めて前記機械学習モデルにフィードバックする比較調整ステップと、
を含み、
前記損失を求める損失関数は、前記第１輪郭位置の各点及び前記第２輪郭位置の各点の間のずれ量に応じた大きさを損失に含むように定められる、
機械学習モデルの学習方法
により前記機械学習モデルを学習させ、当該機械学習モデルを、前記制御部が利用可能に記憶させる
印刷装置の製造方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、機械学習モデルの学習方法、学習済モデル、学習装置、印刷装置、プログラム及び印刷装置の製造方法に関する。

【背景技術】

【0002】

爪や爪に対して貼付されるネイルシール、ネイルチップなどに対して模様などを印刷する技術がある。爪に対して精度よく位置及び範囲を合わせて印刷するためには、爪の形状を正確に認識する必要がある。爪の形状は、当該爪を含む撮影画像に対して爪を認識する画像認識処理を行うことで得られる。画像認識処理では、近年、機械学習モデルが用いられている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１０８０１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の領域分割に係る機械学習モデルを用いた画像認識処理では、爪の輪郭の微小なずれが適切に解消しづらいという課題がある。

【0005】

この発明の目的は、より精度よく爪の輪郭を特定することが可能な機械学習モデルの学習方法、学習済モデル、学習装置、印刷装置、プログラム及び印刷装置の製造方法を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明は、
爪を含む指画像と当該指画像における前記爪の第１輪郭位置を示す教師データとを取得する第１取得ステップ、
前記指画像を機械学習モデルに入力して、当該機械学習モデルから出力される爪領域に係る情報を取得する第２取得ステップ、
前記第１輪郭位置と、取得した前記爪領域の第２輪郭位置とのずれに応じた損失を求めて前記機械学習モデルにフィードバックする比較調整ステップと、
を含み、
前記損失を求める損失関数は、前記第１輪郭位置の各点及び前記第２輪郭位置の各点の間のずれ量に応じた大きさを損失に含むように定められる
機械学習モデルの学習方法である。

【発明の効果】

【0007】

本発明に従うと、より精度よく爪の輪郭を特定することが可能な学習済モデルを得ることができるという効果がある。

【図面の簡単な説明】

【0008】

【図1】情報処理装置の機能構成を示すブロック図である。

【図2】爪輪郭の検出ずれについて説明する図である。

【図3】各輪郭位置についてのずれ幅の算出について説明する図である。

【図4】学習制御処理の制御手順を示すフローチャートである。

【図5】損失値算出処理の制御手順を示すフローチャートである。

【図6】重み付け範囲の設定例について説明する図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態の情報処理装置１の機能構成を示すブロック図である。

【0010】

本実施形態の学習装置である情報処理装置１は、一般的なＰＣ（Personal Computer；コンピュータ）であってもよい。情報処理装置１は、ＣＰＵ１１（Central Processing Unit）（処理部）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、通信部１４と、表示部１５と、操作受付部１６などを備える。

【0011】

ＣＰＵ１１は、演算処理を行い、情報処理装置１の動作を統括制御するプロセッサである。ＣＰＵ１１は、単一のプロセッサを有していてもよいし、複数のプロセッサが並列又は用途などに応じて独立に処理を行ってもよい。

【0012】

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。ＲＡＭ１２は、例えば、ＤＲＡＭであるが、これに限られるものではない。

【0013】

記憶部１３は、プログラム１３１及び各種設定データなどを記憶する不揮発性メモリである。不揮発性メモリには、ＨＤＤ（Hard Disk Drive）が含まれ得る。記憶部１３は、周辺機器として情報処理装置に外付けされるものであってもよい。あるいは、記憶部１３は、ネットワーク上に位置するネットワークストレージやクラウドサーバなどであってもよい。また、記憶部１３には、爪輪郭の画像認識に係る機械学習モデル１３２及びその学習用データ１３３を記憶している。

【0014】

通信部１４は、通信規格に従って外部機器との間でデータの送受信を行う。通信規格には、例えば、ＬＡＮ（Local Area Network）に係るＴＣＰ／ＩＰなど各種規格が含まれる。

【0015】

表示部１５は、表示画面を有し、ＣＰＵ１１の制御に基づいて当該表示画面への表示を行う。表示画面は、例えば、液晶表示画面であるが、これに限られるものではない。また、表示部１５は、動作状態などを報知するためのＬＥＤランプなどを有していてもよい。

【0016】

操作受付部１６は、入力操作を受け付けて受け付けた内容に応じた入力信号をＣＰＵ１１へ出力する。操作受付部１６は、例えば、キーボードやポインティングデバイスなどからの入力操作を受け付ける。
なお、表示部１５及び操作受付部１６は、情報処理装置１とは別個の構成であって周辺機器として取り付けられて動作するものであってもよい。

【0017】

次に、爪検出動作について説明する。
ここでいう爪には、手足の爪のいずれもが含まれ得る。爪を含む指の撮影画像（指画像）における爪の検出は、画像認識処理により行われる。画像認識処理には、機械学習モデル１３２が用いられる。

【0018】

画像認識に係る機械学習モデルとしては、ディープラーニング、特にディープニューラルネットワーク（ＤＮＮ）が広く用いられている。領域の識別については、各画素が複数の識別対象（クラス）にそれぞれ属する確率を求めて各画素のクラスを推定するセマンティックセグメンテーションが好適に利用される。しかしながら、アルゴリズムはこれに限られるものではない。

【0019】

機械学習モデル１３２は、予め学習用データ１３３により学習される必要がある。機械学習モデル１３２の学習には、教師有学習が用いられる。この学習では、入力データに対して得られた結果（上記確率の分布）と、教師データ（各画素の所属クラスである確率が１００％）とが比較される。そして、その差分（ずれ量）が損失関数により損失として定量評価され、機械学習モデル１３２のパラメータにフィードバックされる。フィードバックには、例えば、勾配降下法が用いられる。あるいは、誤差逆伝播法などがフィードバックに利用されてもよい。学習用データ１３３は、入力データとされる検出対象を含む画像データと、当該画像データに対応付けられて予め設定された検出対象の範囲の正解を示す教師データとの組み合わせを多数含む。

【0020】

このセマンティックセグメンテーションによる機械学習モデルの学習では、損失関数として、クロスエントロピー（多クラス交差クロスエントロピー誤差関数）や平均二乗誤差などが一般的に用いられている。これらの損失関数では、領域内の各画素単位で不一致度合（誤差）が判断される。したがって、この損失関数では、各画素が教師データで示された爪Ｎの輪郭位置（爪輪郭）からどの程度ずれているかが明示的には反映されない。

【0021】

本実施形態の機械学習モデル１３２の学習方法では、推定された輪郭上の各点（画素）の、教師データで示される輪郭との最短距離を誤差の算出に含める。これにより、本実施形態では、特に境界付近のずれの改善を図る。

【0022】

図２は、爪輪郭の検出ずれについて説明する図である。
指画像では、指Ｆの先端付近に爪Ｎが位置している。これに対して、爪の検出範囲Ｎｉの一例が点線で示されている。

【0023】

この検出範囲Ｎｉには、爪Ｎに対して３か所の大きなずれ領域Ｎｄ１～Ｎｄ３が含まれる。ずれ領域Ｎｄ１、Ｎｄ２は、爪Ｎの範囲より狭く検出した誤認識の領域であり、ずれ領域Ｎｄ３は、爪Ｎの範囲より広く検出した誤認識の領域である。このような誤認識は、例えば、深爪、爪下や周囲の色の変化（指の押し付け過ぎ、寒さによる血行不良など）、爪脇のささくれ、光の反射具合などの種々の要因に応じて生じ得る。

【0024】

これらのずれ領域Ｎｄ１～Ｎｄ３の各領域におけるずれ幅（ここでは、最大幅ｄｆ１～ｄｆ３を表示）は、それぞれ異なる。各領域内でも、ずれ幅は各輪郭位置（画素）に対して非一様である。

【0025】

図３は、各輪郭位置についてのずれ幅の算出について説明する図である。
検出範囲Ｎｉの輪郭線（第２輪郭位置）上の画素（境界点Ｎｉｐ）の座標に対して、教師データである爪Ｎの輪郭線（第１輪郭位置）上の各画素の位置Ｎｐ（座標）のうち最も近い（最短距離の）画素が特定される。この位置Ｎｐと境界点Ｎｉｐの距離がずれ幅ｄｆとされる。ここでいう距離は、画素数を単位としたユークリッド距離であってもよい。境界点Ｎｉｐに対して最も近い位置Ｎｐの特定は、単純に爪Ｎの輪郭線上の全点（全画素）について境界点Ｎｉｐからの距離を算出して比較することでなされてもよい。あるいは、爪Ｎの輪郭線が周状であることに鑑みて、距離が極小となる２点に速やかに漸近させる種々のアルゴリズムのいずれかなどが用いられてもよい。

【0026】

なお、検出範囲Ｎｉは、ノイズなどによりその境界が細かく凹凸している場合がある。人の指では、このような細かい凹凸は通常生じない（生じても多くの場合、そのまま放置されない）。したがって、前後数画素～１０画素程度の範囲でローパスフィルタなどにより境界を曲線近似又は直線近似をして、爪Ｎの内部と外部との境界を調整してもよい。

【0027】

情報処理装置１では、このように特定された各境界点Ｎｉｐについてのずれ幅に応じたペナルティを設定して、当該ペナルティを誤差に乗じる。ペナルティが考慮された誤差に基づいて補正損失が算出される。情報処理装置１では、上記従来の平均二乗誤差などに応じた損失に補正損失が加算されて用いられる。ペナルティは、ここでは、単にずれ幅（ユークリッド距離）に比例した値である。あるいは、ずれ幅の二乗値や対数値（１以外のべき乗値）などに比例した値がペナルティとされてもよい。

【0028】

図４は、本実施形態の機械学習モデルの学習方法（プログラム）である学習制御処理のＣＰＵ１１による制御手順を示すフローチャートである。この学習制御処理は、例えば、学習用データセットの指定とともにユーザの操作受付部１６への入力操作に基づいて開始される。

【0029】

ＣＰＵ１１は、指定された学習用データセットを取得する（ステップＳ１０１）。なお、学習用データセット内から一部を学習後の機械学習モデル１３２の検証用に残すこととしてもよい。この場合には、ＣＰＵ１１は、取得した学習用データセットから適宜な割合又は数の学習用データを検証用として定める。

【0030】

ＣＰＵ１１は、学習用データセットに含まれる学習用データから学習用データ（爪を含む指画像及び教師データである爪の範囲又は爪輪郭（第１輪郭位置）の情報）を１つ選択する（ステップＳ１０２；第１取得ステップ、第１取得手段）。ＣＰＵ１１は、選択された学習用データにおける学習用指画像を機械学習モデル１３２へ入力する（ステップＳ１０３）。ＣＰＵ１１は、機械学習モデル１３２から出力される結果、ここでは、爪領域を含む各クラスである確率分布のデータ（爪領域に係る情報）を取得する（ステップＳ１０４）。ステップＳ１０３、Ｓ１０４の処理が本実施形態の第２取得ステップ、第２取得手段を構成する。

【0031】

ＣＰＵ１１は、損失値算出処理を呼び出して実行する（ステップＳ１０５）。ＣＰＵ１１は、得られた損失がこれまでで最小のものであるか否かを判別する（ステップＳ１０６）。損失が最小のものであると判別された場合には、この時点のパラメータに基づく機械学習モデルを１３２を学習済モデルとして記憶する（ステップＳ１０７）。既に記憶済の学習済モデルがある場合には、ＣＰＵ１１は、当該学習済モデルを新しいもので上書き更新してよい。それから、ＣＰＵ１１の処理は、ステップＳ１０８へ移行する。損失が最小ではないと判別された場合には（ステップＳ１０６で“ＮＯ”）、ＣＰＵ１１の処理は、ステップＳ１０８へ移行する。

【0032】

ステップＳ１０８の処理へ移行すると、ＣＰＵ１１は、損失の勾配を計算し、当該勾配に基づいてパラメータを更新（フィードバック）する（ステップＳ１０８）。
ステップＳ１０５、Ｓ１０８の処理が本実施形態の比較調整ステップ、比較調整手段を構成する。

【0033】

ＣＰＵ１１は、機械学習モデル１３２の学習結果の収束条件を満たしているか否かを判別する（ステップＳ１０９）。収束条件としては、例えば、直近で学習済モデルが更新されてから基準回数連続して更新されていない場合、損失の大きさの変化が基準回数続けて閾値以下である場合、などが挙げられる。

【0034】

収束条件を満たしていると判別された場合には（ステップＳ１０９で“ＹＥＳ”）、ＣＰＵ１１は、学習制御処理を終了する。収束条件を満たしていないと判別された場合には（ステップＳ１０９で“ＮＯ”）、ＣＰＵ１１は、上限個数以上の学習用指画像を入力したか否かを判別する（ステップＳ１１０）。上限個数以上の学習用指画像が入力されていないと判別された場合には（ステップＳ１１０で“ＮＯ”）、ＣＰＵ１１の処理は、ステップＳ１０２に戻る。上限個数以上の学習用指画像が入力されたと判別された場合には（ステップＳ１１０で“ＹＥＳ”）、ＣＰＵ１１は、学習制御処理を終了する。

【0035】

図５は、学習制御処理で呼び出される損失値算出処理のＣＰＵ１１による制御手順を示すフローチャートである。

【0036】

ＣＰＵ１１は、教師データと出力結果（爪である確率分布）とを用いて各画素の誤差を算出し、当該画素の分布を表す誤差マップを生成する。また、ＣＰＵ１１は、誤差マップに基づいて従来損失値を算出する（ステップＳ１５１）。従来損失値は、例えば、上記のように平均二乗誤差などである。

【0037】

ＣＰＵ１１は、出力結果（クラスである確率分布）又は推定済の爪領域と、教師データとからそれぞれ爪の輪郭を抽出する（ステップＳ１５２）。教師データにおいて予め爪の輪郭が特定されている場合には、抽出されるのは出力結果における爪の輪郭のみであってよい。

【0038】

ＣＰＵ１１は、出力結果の爪輪郭上の各点（画素）のずれ幅、すなわち当該画素から教師データの爪輪郭への最短距離を各々算出する（ステップＳ１５３）。ＣＰＵ１１は、誤差マップで示された各画素の誤差に対して、当該画素に対して算出されたずれ幅に応じたペナルティ（ここでは単純にずれ幅そのもの）を乗算して、補正マップを生成する（ステップＳ１５４）。ＣＰＵ１１は、補正マップに基づいて補正損失値を算出する（ステップＳ１５５）。

【0039】

ＣＰＵ１１は、算出されている従来損失値と補正損失値とを加算することで、ずれに応じた損失を求める（ステップＳ１５６）。なお、加算は、適宜な重み付けにより行われてもよい。ＣＰＵ１１は、損失値算出処理を終了して、処理を学習制御処理へ戻す。

【0040】

なお、上記のずれ幅の算出では、爪輪郭の相違が著しく大きい場合には、本来対応しない位置への距離が得られる場合がある。特に、教師データで示された爪輪郭よりも大きく内側に爪輪郭が抽出された場合には、教師データにおける環状の爪輪郭の反対側の点の方が近くなる場合があり得る。このような最短距離は、誤差の大きさとしては不正確である。

【0041】

情報処理装置１は、抽出された爪輪郭上の点（画素）が教師データにおける爪輪郭の内側に位置する場合に、例えば、最短距離で両者をつなぐ線が抽出された爪輪郭の内部を通らないように限定してもよい。あるいは、情報処理装置１は、例えば、指画像における爪輪郭上の全ての点について最短距離でつながる先の位置が特定された後に、特定された位置の並び順の不連続を判定してもよい。不連続がある場合には、情報処理装置１は、問題がある範囲について、算出対象範囲を絞ってずれ幅を再算出してもよい。

【0042】

上記のようにして得られた学習済モデルが爪の領域（輪郭）推定に用いられ得る。学習済モデルは、外部機器などに出力、コピー（記憶）されて利用されてもよい。外部機器には、学習済モデルにより推定された爪領域内に印刷を行う印刷装置が含まれ得る。なお、得られた学習済モデルが無条件で利用され得るとは限らない。上記のように検証用として別個に定められた学習用データを用いて、学習済モデルから得られる爪輪郭と教師データに示される爪輪郭とを比較処理してもよい。比較処理の結果、ずれの大きさが統計的に必要な範囲内にある学習済モデルが利用可能として外部機器などに出力、コピー可能とされればよい。

【0043】

また、情報処理装置１において上記機械学習を行う構成自体を、印刷装置（その制御部）が備えていてもよい。すなわち印刷装置は、ＣＰＵと、ＲＡＭと、記憶部と、印刷に係る動作（ここではインクを吐出するインクジェット方式での印刷）を行う印刷動作部と、印刷対象の爪を含む指を検出する検出部、特に撮影部と、を備える。ＣＰＵ、ＲＡＭ及び記憶部が本実施形態の制御部に含まれ得る。印刷装置のＣＰＵは、上記ＣＰＵ１１と同一の処理で、記憶部に記憶された機械学習モデルを学習させる。そして、ＣＰＵは、撮影部により撮影された印刷対象の爪を含む指の撮影画像（指画像）から、学習済の機械学習モデルを用いて爪を特定し、特定された爪の範囲にインクを吐出させて画像を形成するように画像形成範囲を定める。なお、検出部は、指の輪郭を検出するのみであって、指画像は外部で撮影されたものであってもよい。ただし、撮影時と指輪郭の検出時で指の向きがそろっている方が好ましい。したがって、印刷装置は、自機の撮影部により指を撮影することで、容易かつ精度よく爪領域の推定と印刷範囲の設定とを一括して行うことができる。

【0044】

［変形例］
上記では、ずれ幅に応じたペナルティを爪輪郭上の点全体に対して一律に定めたが、一部の点のみに対してずれ幅に応じたペナルティを定めてもよい。また、ペナルティには、範囲によって非一様な重みが付されてもよい。
図６は、重み付け範囲の設定例について説明する図である。
ここでは、指Ｆにおける爪Ｎの輪郭のうち、爪先側の一部の範囲Ｒｇが設定される。当該範囲Ｒｇに対応する爪輪郭の抽出範囲に対しては、他の部分、すなわち側部及び根元よりもペナルティの重みを大きくすることができる。

【0045】

このような範囲Ｒｇは、教師データの爪輪郭（爪領域）の設定時に併せて手作業で定められて、学習用データに含められてもよい。あるいは、爪の中心位置から範囲Ｒｇに対する角度範囲が予め設定されていてもよい。この場合、例えば、教師データの爪Ｎ（爪輪郭）に対して中心（重心）位置と、中心軸とが求められ、当該中心位置に対する各点の方向（角度）が中心軸方向に対して求められる。この処理は、ＣＰＵ１１又は外部機器のＣＰＵなどにより自動で行われてもよい。

【0046】

以上のように、本実施形態の情報処理装置１による機械学習モデル１３２の学習方法は、爪Ｎを含む指画像と当該指画像における爪Ｎの輪郭位置（爪輪郭）を示す教師データとを取得する第１取得ステップ、指画像を機械学習モデル１３２に入力して、当該機械学習モデル１３２から出力される爪の検出範囲Ｎｉに係る情報を取得する第２取得ステップ、抽出された爪の検出範囲Ｎｉの輪郭位置と、取得した教師データで規定された爪Ｎの輪郭位置とのずれに応じた損失を求めて機械学習モデル１３２にフィードバックする比較調整ステップと、を含む。損失を求める損失関数は、両輪郭位置の各点の間のずれ量に応じた大きさを損失に含むように定められる。すなわち、この機械学習方法では、単に各画素間の差分を損失とするだけではなく、どの程度爪Ｎの輪郭位置からずれているかという大きさ（ずれ量）を損失に加える。これにより、誤認定部分が出力された確率値の上で微妙な差であるのか、明確な誤認定であるかにかかわらず、大きな認定位置のずれを大きな損失として評価することができる。したがって、この機械学習方法では、ずれの最適化の精度を向上させることができる。よって、この機械学習方法により、より爪輪郭の判定制度の高い学習済モデルを得ることができる。

【0047】

また、ずれ量は、機械学習モデル１３２により抽出された輪郭位置の各点から教師データの爪Ｎの輪郭位置への最短距離に基づいて求められる。このような機械学習方法では、完全な一対一で両輪郭を対応付けるわけではないが、容易に一方の輪郭（抽出された輪郭位置）の教師データの輪郭からの適切なずれ幅を求めて評価することができる。

【0048】

また、損失は、ずれ量に応じた大きさに対して爪の範囲に応じた非一様な重み付けを行って求められてもよい。用途などによって爪のどの範囲の輪郭が重要であるかが異なり得る。したがって、この機械学習方法では、重要な範囲に対してよりずれ量に対応するペナルティを大きく定めて、当該重要な部分の精度を向上させるように学習させることができる。

【0049】

また、重みは、爪先側が爪Ｎの側部及び根元よりも大きくてもよい。爪に対する印刷（ネイルプリント）などでは、特にデザイン上爪の先端付近での位置合わせが重要になりやすい一方で、根元などは必ずしも厳密に位置合わせがされない場合も多い。したがって、この機械学習方法では、輪郭精度の必要性などに応じて範囲ごとに重みを付けて損失を算出することで、より必要な精度で爪の範囲の情報を得ることができる。

【0050】

また、機械学習モデル１３２には、セマンティックセグメンテーションが利用されていてもよい。これにより、機械学習モデル１３２は、画像の領域の認識技術として安定して学習しやすく、したがって、精度よい判定が可能な学習済モデルを得られやすい。

【0051】

また、本実施形態の学習済モデルは、上記機械学習モデルの学習方法により学習されたものである。上記の学習方法で得られた学習済モデルを利用して指画像から爪の範囲（輪郭）の推定を行うことで、より精度のよい推定結果を得ることが可能になる。

【0052】

また、本実施形態の学習装置としての情報処理装置１は、ＣＰＵ１１を備える。ＣＰＵ１１は、爪を含む指画像と当該指画像における爪Ｎの輪郭位置を示す教師データとを取得する。ＣＰＵ１１は、指画像を機械学習モデル１３２に入力して、当該機械学習モデル１３２から出力される爪の検出範囲Ｎｉに係る情報を取得する。ＣＰＵ１１は、機械学習モデル１３２の出力により得られた爪の検出範囲Ｎｉの輪郭位置と、教師データとして取得した爪Ｎの輪郭位置とのずれに応じた損失を求めて機械学習モデル１３２にフィードバックする。このとき、損失を求める損失関数は、爪の検出範囲Ｎｉの輪郭位置の各点及び爪Ｎの輪郭位置の各点の間のずれ量に応じた大きさを損失に含むように定められる。
このように、機械学習モデル１３２の学習時に、爪の輪郭の位置ずれ量をペナルティ量として損失に反映させることで、情報処理装置１は、輪郭の推定精度を向上させることができる。

【0053】

また、本実施形態の印刷装置は、上記学習装置のとしての処理部の機能を実行するＣＰＵと、印刷に係る動作を行う印刷動作部と、印刷動作部による印刷対象の爪を含む指を検出する検出部と、を備える。制御部は、検出部により検出された指に対し、学習装置により学習された機械学習モデルにより、印刷対象の爪を含む指画像から推定された爪領域に基づいて印刷動作部による印刷範囲を定める。
このような印刷装置によれば、爪領域をより精度よく特定して、当該爪領域に対して確実に印刷（ネイルプリント）を行うことができる。

【0054】

また、上記の機械学習方法に係るプログラム１３１を情報処理装置１などのコンピュータにインストールして実行させることで、容易に爪認識の精度を向上させることができる。

【0055】

また、上記機械学習モデルの学習方法で学習済モデルを学習させて、当該学習済モデルを制御部が利用可能に記憶させる印刷装置の製造方法によれば、従来より精度よく爪領域を判定して当該爪領域に印刷を行う印刷装置を得ることができる。

【0056】

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、ずれ量は、検出範囲Ｎｉの輪郭と教師データの爪Ｎの輪郭との間の最短距離により定められたが、これに限られない。例えば、爪Ｎの中心位置からの方位角が等しい２点間の距離がずれ量とされてもよい。また、上記実施の形態では、教師データの爪Ｎの輪郭線上の各点から検出範囲Ｎｉの輪郭への最短距離を求めたが、反対であってもよい。すなわち、検出範囲Ｎｉの輪郭線上の点から教師データの爪Ｎの輪郭線上の点への距離が求められてもよい。

【0057】

また、上記実施の形態では、輪郭上の点のみずれ幅に応じたペナルティが設定されたが、これに限られない。ずれ領域内の全点について、教師データの爪Ｎに係る輪郭からの距離が算出設定されてもよい。

【0058】

また、上記変形例では、爪先部分の重みが相対的に大きく定められたが、これに限られない。他の部分の重みが大きくされてもよい。また、重みは、より細かい範囲に区分されて多段階で設定されてもよい。

【0059】

また、損失関数は、損失を適切に評価可能であれば、平均二乗誤差やクロスエントロピーなどではなくてもよい。

【0060】

また、機械学習のアルゴリズムはセマンティックセグメンテーションではなくてもよい。領域分割を行う他のアルゴリズム、例えばインスタンスセグメンテーションなどにより、指の外側の領域を認識しなくてもよい。基本的に、一本の指の１枚の爪Ｎを識別する限りにおいて、両者では、爪の検出には差異が生じない。また、エンコーダ／デコーダに用いられるモデルには、従来周知のものを含めて任意のいずれかが選択されてもよい。

【0061】

また、上記実施の形態では、単一の情報処理装置１で機械学習の制御が行われたが、これに限られない。学習に必要な一部の処理などが外部機器で行われるように動作が制御されてもよい。また、本開示の内容は、爪の画像認識に係る機械学習以外にも適用可能である。すなわち、認識、学習対象が爪でない場合にも上記技術を利用することができる。

【0062】

また、以上の説明では、本発明の機械学習制御に係るプログラム１３１を記憶するコンピュータ読み取り可能な媒体としてＨＤＤ、フラッシュメモリなどの不揮発性メモリなどからなる記憶部１３を例に挙げて説明したが、これらに限定されない。その他のコンピュータ読み取り可能な媒体として、ＭＲＡＭなどの他の不揮発性メモリや、ＣＤ－ＲＯＭ、ＤＶＤディスクなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。

【符号の説明】

【0063】

１ 情報処理装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 機械学習モデル
１３３ 学習用データ
１４ 通信部
１５ 表示部
１６ 操作受付部
Ｆ 指
Ｎ 爪
Ｎｉ 検出範囲
Ｒｇ 範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】