特許 7175061 プログラム、情報処理装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-11-10

(45)【発行日】2022-11-18

(54)【発明の名称】プログラム、情報処理装置、及び方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20221111BHJP

【ＦＩ】

G06T5/00 735

【請求項の数】 10

(21)【出願番号】P 2022104244

(22)【出願日】2022-06-29

【審査請求日】2022-06-29

【早期審査対象出願】

(73)【特許権者】

【識別番号】517234011

【氏名又は名称】株式会社Ｎｏｖｅｒａ

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】諸冨 大樹

(72)【発明者】

【氏名】遠藤 国忠

(72)【発明者】

【氏名】堀江 優

【審査官】山口 大志

(56)【参考文献】

【文献】特開２０２０－１６６３９７（ＪＰ，Ａ）

【文献】特開２００６－３３８１０３（ＪＰ，Ａ）

【文献】特開２０１６－０６２２２５（ＪＰ，Ａ）

【文献】特表２０２２－５１２０４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

プロセッサを備えるコンピュータに処理を行わせるプログラムであって、前記プロセッサに、
記憶部に蓄積されている情報に基づき、撮影された画像における、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を前記記憶部から取得するステップと、
取得した前記画像に基づいて、前記パラメータを一定の範囲で変更した画像を複数生成するステップと、
生成された複数の画像を、撮影画像の入力を受け付けて前記撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして出力するステップと、
を実行させるプログラム。

【請求項2】

前記取得するステップにおいて、前記被写体を撮影する画面において前記被写体を撮影した場合の画像の明るさに関する情報を解析することにより、撮影する者に対して前記一定の条件を満たすことを表示することにより前記撮影する者により撮影された、前記所定のパラメータが一定の条件を満たす画像を、前記記憶部から取得する、
請求項１に記載のプログラム。

【請求項3】

前記取得するステップにおいて、前記所定のパラメータが一定の条件を満たす画像として、明るさに関するパラメータが所定の範囲内である画像を、前記記憶部から取得する、
請求項２に記載のプログラム。

【請求項4】

前記取得するステップにおいて、前記所定のパラメータが一定の条件を満たす画像として、前記画像の画素値の平均が、明るすぎることを判定するための第１閾値以下となること、前記画像の画素値の平均が、暗すぎることを判定するための第２閾値以上となること、前記画像の画素値の標準偏差が、コントラスト又は輝度が弱すぎることを判定するための第３閾値以下となること、及び、前記画像の画素値の標準偏差が、コントラスト又は輝度が強すぎることを判定するための第４閾値以上となることの何れか１以上を満たす画像を、前記記憶部から取得する、
請求項２に記載のプログラム。

【請求項5】

前記取得するステップにおいて、前記所定のパラメータが一定の条件を満たす画像として、前記画像の画素値の平均が、明るすぎることを判定するための第１閾値以下となること、前記画像の画素値の平均が、暗すぎることを判定するための第２閾値以上となること、前記画像の画素値の標準偏差が、コントラスト又は輝度が弱すぎることを判定するための第３閾値以下となること、及び、前記画像の画素値の標準偏差が、コントラスト又は輝度が強すぎることを判定するための第４閾値以上となることの何れも満たす画像を、前記記憶部から取得する、
請求項２に記載のプログラム。

【請求項6】

前記被写体の状態は、肌に関する状態である、
請求項２に記載のプログラム。

【請求項7】

前記学習データを用いて、被写体を含む撮影画像の入力を受け付けて前記撮影画像に含まれる被写体の状態を分類した結果を出力するモデルを学習するステップ、
を実行させ、
前記出力するステップにおいて、学習した前記モデルを出力する、
請求項１～請求項６の何れかに記載のプログラム。

【請求項8】

前記被写体を含む画像の入力を受け付けるステップと、
前記入力を受け付けた前記画像と、学習した前記モデルとを用いて、前記入力を受け付けた前記画像に含まれる前記被写体の状態を分類した結果を求めるステップと、
を実行させ、
前記出力するステップにおいて、前記分類した結果を出力する、
請求項７に記載のプログラム。

【請求項9】

プロセッサを備える情報処理装置であって、前記プロセッサが、
記憶部に蓄積されている情報に基づき、撮影された画像における、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を前記記憶部から取得するステップと、
取得した前記画像に基づいて、前記パラメータを一定の範囲で変更した画像を複数生成するステップと、
生成された複数の画像を、撮影画像の入力を受け付けて前記撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして出力するステップと、
を実行する情報処理装置。

【請求項10】

プロセッサを備えるコンピュータが、
記憶部に蓄積されている情報に基づき、撮影された画像における、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を前記記憶部から取得するステップと、
取得した前記画像に基づいて、前記パラメータを一定の範囲で変更した画像を複数生成するステップと、
生成された複数の画像を、撮影画像の入力を受け付けて前記撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして出力するステップと、
を実行する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、情報処理装置、及び方法に関する。

【背景技術】

【0002】

入力画像について、あるタスクを実行するＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルにおいて、学習データが多い方が学習精度の向上を期待できる場合がある。しかし、学習データとなる画像を大量に生成するには非常にコストがかかる。

【0003】

種々の撮影具合の大量の顔画像を生成することを目的として、入力された１つの画像に対し、明度、コントラストなどの見え方種別を変更した画像を生成する技術がある（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１１６５８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

顔の表情、肌などを判断したいときに、画像内の顔は小さいため、オブジェクト化して光源を変更することが難しい。このようなオブジェクト化して光源を変更できない顔のような画像について、所定のタスクを実施するＣＮＮモデルは、画像内の微小な変化についてはロバストであるため、学習データとして様々な条件の画像データが特に必要となる。

【0006】

しかし、上記技術では、オブジェクト化して光源を変更することができない分類対象を含む画像について、明度やコントラストを変更した画像を学習データとして生成しても、精度の向上に寄与しない学習データが増えるだけとなってしまう。このため、学習精度に寄与する学習データを低コストに生成できない、という問題があった。

【0007】

本開示の目的は、微小な変化を学習するための様々な条件の学習データを、低コストに増やすことができる技術を提供することにある。

【課題を解決するための手段】

【0008】

本開示の一態様のプログラムは、プロセッサを備えるコンピュータに処理を行わせるプログラムであって、前記プロセッサに、記憶部に蓄積されている情報に基づき、撮影された画像における、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を前記記憶部から取得するステップと、取得した前記画像に基づいて、前記パラメータを一定の範囲で変更した画像を複数生成するステップと、生成された複数の画像を、撮影画像の入力を受け付けて前記撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして出力するステップと、を実行させる。

【発明の効果】

【0009】

本開示の技術は、微小な変化を学習するための様々な条件の学習データを、低コストに増やすことができる。

【図面の簡単な説明】

【0010】

【図1】本開示の情報処理システム１の構成を示すブロック図である。

【図2】本開示の情報処理装置１０の構成を示すブロック図である。

【図3】本開示の情報処理装置１０の機能構成を示すブロック図である。

【図4】第１データＤＢ１２１のデータ構造の一例を示す図である。

【図5】第２データＤＢ１２２のデータ構造の一例を示す図である。

【図6】画像を撮影するための画面の一例を示すイメージ図である。

【図7】画像を撮影するための画面の一例を示すイメージ図である。

【図8】光源を変更した画像の例を示すイメージ図である。

【図9】本開示のユーザ端末２０の構成を示すブロック図である。

【図10】本開示のユーザ端末２０の機能構成を示すブロック図である。

【図11】本開示の学習データ生成処理を示すフローチャートである。

【図12】本開示の学習処理を示すフローチャートである。

【図13】本開示の分類処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0012】

＜本開示の概要＞
ＣＮＮモデルにおいて検出される対象は、入力される画像によっては適切な推論が行えない。例えば、顔の表情、肌の状態などについて推論する場合、ＣＮＮモデルではオブジェクト化して光源を変更することが難しい。このため、対象の微小な変化を推論するＣＮＮモデルを学習するためには、光源を変更した学習データが多数必要となる。

【0013】

本開示の技術は、記憶部に蓄積されている情報に基づき、撮影された画像における、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を当該記憶部から取得する。本開示の技術は、取得した当該画像に基づいて、当該パラメータを一定の範囲で変更した画像を複数生成する。本開示の技術は、生成された複数の画像を、撮影画像の入力を受け付けて当該撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして出力する。これにより、本開示の技術は、微小な変化を学習するための様々な条件の学習データを、低コストに増やすことができる。

【0014】

＜１．情報処理システム１の構成＞
図１は、第１実施形態の情報処理システム１の構成を示すブロック図である。図１に示すように、情報処理システム１は、情報処理装置１０、ユーザ端末２０、及びネットワーク３０を含む。情報処理装置１０と、ユーザ端末２０とは、有線又は無線の通信規格を用いて、ネットワーク３０を介して相互に通信可能に接続されている。

【0015】

＜２．情報処理装置１０の構成＞
情報処理装置１０は、例えば、ラップトップパソコン又はラックマウント型若しくはタワー型等のコンピュータ、スマートフォン等である。情報処理装置１０は、複数の情報処理装置１０により、１つのシステムとして構成される、冗長化構成される等されてもよい。情報処理装置１０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力、情報処理装置１０に求められる仕様等に鑑みて適宜決定することができる。

【0016】

図２及び図３を用いて、本開示に係る情報処理装置１０について説明する。本開示に係る情報処理装置１０は、ユーザに商品を提示する提示処理等を実行するための装置である。

【0017】

図２は、情報処理装置１０の構成を示すブロック図である。図２に示すように、情報処理装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信ＩＦ１４と、入出力ＩＦ１５と、カメラ１６とを含んで構成される。

【0018】

プロセッサ１１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

【0019】

メモリ１２は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものである。メモリ１２は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

【0020】

ストレージ１３は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等の１つ、又は組み合わせにより実現される。

【0021】

通信ＩＦ１４は、情報処理装置１０が外部の装置と通信するため、信号を入出力するためのインターフェースである。通信ＩＦ１４は、インターネット、広域イーサネット等のネットワークに有線又は無線により接続する。

【0022】

入出力ＩＦ１５は、図示しない入力装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）から、入力信号を受け付けるインターフェースである。また、入出力ＩＦ１５は、図示しない出力装置（ディスプレイ、スピーカ等）に対し、出力信号を送信するインターフェースである。

【0023】

カメラ１６は、撮影した画像を画像データとして取得するカメラ装置である。

【0024】

図３は、情報処理装置１０の機能構成を示すブロック図である。図２に示すように、情報処理装置１０は、通信部１１０と、記憶部１２０と、制御部１３０とを含む。

【0025】

通信部１１０は、情報処理装置１０が外部の装置と通信するための処理を行う。

【0026】

記憶部１２０は、情報処理装置１０が使用するデータ及びプログラムを記憶する。記憶部１２０は、第１データＤＢ１２１、第２データＤＢ１２２等を記憶する。

【0027】

第１データＤＢ１２１は、画像データを保持するデータベースである。
図４は、第１データＤＢ１２１の例である。図４に示すように、第１データＤＢ１２１のレコードのそれぞれは、項目「ＩＤ」、項目「ユーザＩＤ」、項目「画像データ」、項目「パラメータ」、項目「日時」などを含む。なお、ここに示す項目はすべてではなく、他の項目があっても構わない。

【0028】

項目「ＩＤ」は、各レコードを識別するための情報を記憶する。

【0029】

項目「ユーザＩＤ」は、画像データに映ったユーザを識別するための情報を記憶する。

【0030】

項目「画像データ」は、画像データを記憶する。画像データは、例えば、ＰＮＧファイル、ＪＰＥＧファイルなどの画像データである。

【0031】

項目「パラメータ」は、画像に関する所定のパラメータを記憶する。パラメータは、例えば、画素の平均値、画素の偏差などである。

【0032】

項目「日時」は、画像データが撮影された日時、又は画像データが第１データＤＢ１２１に格納された日時を記憶する。

【0033】

第２データＤＢ１２２は、被写体を含む撮影画像の入力を受け付けて当該撮影画像に含まれる被写体の状態を分類した結果を出力するモデルと、当該モデルのパラメータを格納する。当該モデルについては後述する。

【0034】

図５は、第２データＤＢ１２２の例である。図５に示すように、第２データＤＢ１２２のレコードのそれぞれは、項目「ＩＤ」、項目「モデル名」、項目「パラメータ」などを含む。なお、ここに示す項目はすべてではなく、他の項目があっても構わない。

【0035】

項目「ＩＤ」は、各レコードを識別するための情報を記憶する。

【0036】

項目「モデル名」は、モデルの名称を記憶する。

【0037】

項目「パラメータ」は、当該モデルと当該モデルのパラメータを記憶する。

【0038】

制御部１３０は、情報処理装置１０のプロセッサ１１がプログラムに従って処理を行うことにより、受信制御部１３１、送信制御部１３２、表示部１３３、取得部１３４、解析部１３５、生成部１３６、及び学習部１３７に示す機能を発揮する。

【0039】

受信制御部１３１は、情報処理装置１０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

【0040】

送信制御部１３２は、情報処理装置１０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

【0041】

表示部１３３は、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を、撮影する者が撮影するための画面を表示する。

【0042】

具体的には、表示部１３３は、まず、撮影する者に、被写体を撮影するための画面を表示する。被写体は、オブジェクト化して光源を変更することができないものである。被写体は、例えば、人の顔などである。撮影する者は、被写体となる人自身、被写体となる人以外の撮影する者などである。

【0043】

次に、表示部１３３は、被写体が所望の画像となるように補助する。具体的には、表示部１３３は、被写体を撮影するための画面を表示している間、被写体を撮影した場合の第１画像を、カメラ１６から取得する。表示部１３３は、第１画像を解析する。表示部１３３は、例えば、任意の画像解析モデルを用いて、第１画像の明るさに関する情報、被写体の位置に関する情報、被写体の向きに関する情報などを解析する。被写体が一定の条件を満たすかどうか判定する。一定の条件は、解析する情報によって異なる。

【0044】

明るさに関する情報の場合、一定の条件は、明るさに関するパラメータが所定の範囲内であることである。明るさに関するパラメータが、ＣＮＮモデルなどにおいて再現性が低いものとなる場合の要因として、画素値の平均が所定値よりも高いことにより画像が明るすぎること、画素値の平均が所定値よりも低いことにより画像が暗すぎることがある。

【0045】

また、要因は、画素値の標準偏差が所定値よりも高いことにより、コントラスト・輝度が強すぎること、画素値の標準偏差が所定値よりも低いことにより、コントラスト・輝度が弱すぎることがある。

【0046】

このため、所定の範囲内は、以下の条件１～条件４の少なくとも何れかを満たすものである。
（条件１）第１画像の画素値の平均が、明るすぎることを判定するための第１閾値以下となること。
（条件２）第１画像の画素値の平均が、暗すぎることを判定するための第２閾値以上となること。
（条件３）第１画像の画素値の標準偏差が、コントラスト又は輝度が弱すぎることを判定するための第３閾値以下となること。
（条件４）及び、前記画像の画素値の標準偏差が、コントラスト又は輝度が強すぎることを判定するための第４閾値以上となること。

【0047】

第１閾値～第４閾値は、目的となるタスクを実行するモデルの学習精度に影響しない範囲であれば、任意に決定することができる。条件１～条件４の全てを満たす状態で被写体が撮影されることにより、本開示の技術における、モデルを学習するための画像データを生成する基本となる画像データを得ることができる。

【0048】

被写体の位置に関する情報の場合、一定の条件は、被写体の位置が所定の位置にあること、又は被写体が所定の範囲に入っていることである。具体的には、表示部１３３は、顔の位置について、例えば顔の任意の部分（例えば目、鼻など）についての座標点を取得するモデルを用いて、顔の位置を求める。この場合、表示部１３３は、一定の条件として、求めた任意の部分の位置と、予め定めた任意の部分に対応する位置との距離が所定の閾値以下であることなどとする。

【0049】

被写体の向きに関する情報の場合、被写体の向きが所定の向き（例えば正面）であることである。具体的には、表示部１３３は、顔の向きについて、例えば顔の任意の部分（例えば、目、鼻など）について、複数の画素についての明るさを求める。表示部１３３は、明るさの変化などにより、顔の向きを求める。この場合、表示部１３３は、一定の条件として、求めた任意の部分の向きと、予め定めた向きとの角度差等が所定の閾値以下であることなどとする。

【0050】

表示部１３３は、第１画像の明るさに関する情報、被写体の位置に関する情報、被写体の向きに関する情報のそれぞれについての判定結果を表示する。これにより、表示部１３３は、被写体が所望の画像となるように補助する。

【0051】

なお、表示部１３３は、第１画像の明るさに関する情報、被写体の位置に関する情報、及び被写体の向きに関する情報の判定結果が全てＯＫである場合、撮影する者の操作によらずに被写体を撮影する構成としてもよい。この場合、表示部１３３は、判定結果が全てＯＫである場合に、カメラ１６に撮影指示を送信する。

【0052】

図６及び図７は、画像を撮影するための画面の一例を示すイメージ図である。図６及び図７に示すように、表示部１３３は、被写体を撮影するための画面４０を、撮影する者に対して表示する。

【0053】

画面４０は、被写体を撮影するための画面である。

【0054】

表示部４１は、第１画像の被写体の位置に関する情報が一定の条件に適合するかを表示する。表示部１３３は、顔の位置が枠４４内にあるかどうかを判定し、判定結果を○×などで表示する。

【0055】

表示部４２は、第１画像の被写体の向きに関する情報が一定の条件に適合するかを表示する。表示部１３３は、顔の向きが例えば正面であるかどうかを判定し、判定結果を○×などで表示する。

【0056】

表示部４３は、第１画像の明るさに関する情報が、一定の条件に適合するかを表示する。表示部１３３は、例えば、現在の第１画像の明るさに関する情報が、上記条件１～条件４の全てを満たすか否かを判定する。表示部１３３は、何れかの条件を満たさない場合、図６の表示部４３に示すように、判定結果として×を表示する。一方、表示部１３３は、全ての条件を満たす場合に、図７に示すように判定結果を○として表示する。

【0057】

枠４４は、所望の画像を得る為に、被写体を画像内の位置を示すための枠である。

【0058】

テキストボックス４５は、撮影する者に対する補助的なメッセージを表示するテキストボックスである。例えば、図６及び図７に示すように、被写体の位置、向きなどが所望の画像になるように、「枠内に顔を収めて正面を向いて下さい」などのメッセージを表示する。テキストボックス４５は、明るさについて、「もっと明るい場所で撮影して下さい」などの明るさに関する情報に応じてメッセージを表示する構成としてもよい。

【0059】

取得部１３４は、撮影された画像をカメラ１６から取得する。

【0060】

具体的には、取得部１３４は、被写体の位置、被写体の向き、及び被写体への光の当たり方に関する所定のパラメータが一定の条件を満たすように、表示部１３３の補助により撮影された画像を、取得する。取得部１３４は、取得した画像を、第１データＤＢ１２１に格納する。このように、本開示の技術は、表示部１３３と取得部１３４により、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を蓄積することができる。なお、表示部１３３の機能及び撮影する機能は、他の端末に備えられていてもよい。この場合、取得部１３４は、通信などにより他の端末から当該画像を取得する。

【0061】

解析部１３５は、被写体への光の当たり方を解析する。

【0062】

具体的には、解析部１３５は、まず、撮影された画像を、第１データＤＢ１２１に格納されたから取得する。

【0063】

次に、解析部１３５は、取得した画像を解析することにより、被写体への光の当たり方を求める。具体的には、解析部１３５は、取得した画像の画素値を求め、画素値の平均値及び偏差値を求める。そして、解析部１３５は、求めた平均値及び偏差値をパラメータとして、第１データＤＢ１２１に格納する。なお、取得した画像を任意の画像解析技術を用いて、被写体への光源の位置、光の強さ、当該画像の画素値の平均、当該画像の画素値の標準偏差などのパラメータとして解析してもよい。

【0064】

生成部１３６は、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像に基づいて、パラメータを一定の範囲で変更した画像を複数生成する。

【0065】

具体的には、生成部１３６は、まず、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす第２画像を、第１データＤＢ１２１に格納されたから取得する。

【0066】

次に、生成部１３６は、取得した第２画像に基づいて、パラメータを一定の範囲で変更した第３画像を複数生成する。具体的には、生成部１３６は、取得した第２画像の被写体への光源の位置と、光の強さと異なる光源の位置と光の強さとの組を複数生成する。生成部１３６は、生成した組の各々についての光源の位置と光の強さとを第２画像に適用することにより、複数の第３画像を生成する。

【0067】

図８は、光源を変更した画像の例を示すイメージ図である。図８において、画像６０は第２画像、画像６１～画像６３は第３画像である。

【0068】

図８に示すように、生成部１３６は、第２画像について解析した光源を変化させて、第３画像を複数生成する。第２画像は、上記の一定の条件を満たす。このため、生成される第３画像は、当該被写体について第２画像の光源などを変更することによる微細な変化を表現することができる。これにより、生成した第３画像は、対象となるモデルの精度に寄与する学習データとなる。なお、生成部１３６は、簡単には、第２画像の画素値を変更することにより、第２画像の画素値の平均及び偏差値を変化させることで、光源を変更させた第３画像を生成することができる。

【0069】

そして、生成部１３６は、生成した複数の画像を、撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして、記憶部１２０に格納する。

【0070】

学習部１３７は、学習データを用いて、被写体を含む撮影画像の入力を受け付けて当該撮影画像に含まれる被写体の状態を分類した結果を出力するモデルを学習する。

【0071】

具体的には、学習部１３７は、記憶部１２０から、学習データを取得する。次に、学習部１３７は、学習データを用いて、被写体を含む第４画像を入力すると、当該第４画像に含まれる被写体の状態を分類した結果を出力するモデルを学習する。当該モデルは、例えば、ＣＮＮモデルなどの画像に対して所定のタスクを実行するモデルである。当該学習データは、例えば、特許第６９４７４６０号に記載されているような、画像データを入力すると、被写体である肌の状態を分類した結果を出力するモデルの学習に用いることができる。肌に関する状態は、例えば、肌性の分類、肌に関する特定の状態の程度の分類、肌上の物体の個数の分類などである。

【0072】

学習部１３７は、任意の学習方法を用いて、当該モデルを学習する。学習部１３７は、例えば、逆誤差伝搬法などの学習方法を用いる。そして、学習部１３７は、学習した学習済みモデルとパラメータとを、第２データＤＢ１２２に格納する。

【0073】

また、学習部１３７は、受信制御部１３１がユーザ端末２０から第２画像を受信すると、受信した第２画像に基づいて再学習することができる。具体的には、受信制御部１３１は、第２画像を受信すると、第２画像を第１データＤＢ１２１に格納する。次に、解析部１３５は、受信した第２画像の被写体への光の当たり方を解析し、解析したパラメータを、第１データＤＢ１２１に格納する。生成部１３６は、受信した第２画像に基づいて、パラメータを一定の範囲で変更した第３画像を複数生成する。そして、学習部１３７は、新たに学習データとして第３画像が一定量溜まったタイミング、所定時間を経過したタイミングなどで、学習データを用いて、学習済みモデルを再学習する。

【0074】

＜３．ユーザ端末２０の構成＞
次に、図９及び図１０を用いて、本開示に係るユーザ端末２０について説明する。本開示に係るユーザ端末２０は、ユーザに学習済みモデルを用いて分類結果を表示する分類処理等を実行するための装置である。

【0075】

ユーザ端末２０は、ユーザが操作する端末装置である。ユーザ端末２０は、例えば、ラップトップパソコン、スマートフォン等である。

【0076】

図９は、ユーザ端末２０の構成を示すブロック図である。図８に示すように、ユーザ端末２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信ＩＦ２４と、入出力ＩＦ２５と、カメラ２６とを含んで構成される。

【0077】

プロセッサ２１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

【0078】

メモリ２２は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものである。メモリ２２は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

【0079】

ストレージ２３は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等の１つ、又は組み合わせにより実現される。

【0080】

通信ＩＦ２４は、ユーザ端末２０が外部の装置と通信するため、信号を入出力するためのインターフェースである。通信ＩＦ２４は、インターネット、広域イーサネット等のネットワークに有線又は無線により接続する。

【0081】

入出力ＩＦ２５は、図示しない入力装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）から、入力信号を受け付けるインターフェースである。また、入出力ＩＦ２５は、図示しない出力装置（ディスプレイ、スピーカ等）に対し、出力信号を送信するインターフェースである。

【0082】

カメラ２６は、撮影した画像を画像データとして取得するカメラ装置である。

【0083】

図１０は、ユーザ端末２０の機能構成を示すブロック図である。図９に示すように、ユーザ端末２０は、通信部２１０と、記憶部２２０と、制御部２３０とを含む。

【0084】

通信部２１０は、ユーザ端末２０が外部の装置と通信するための処理を行う。

【0085】

記憶部２２０は、ユーザ端末２０が使用するデータ及びプログラムを記憶する。

【0086】

制御部２３０は、ユーザ端末２０のプロセッサ２１がプログラムに従って処理を行うことにより、受信制御部２３１、送信制御部２３２、表示部２３３、取得部２３４、及び抽出部２３５に示す機能を発揮する。

【0087】

受信制御部２３１は、ユーザ端末２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

【0088】

送信制御部２３２は、ユーザ端末２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

【0089】

表示部２３３は、被写体を撮影するための画面を表示する。ここで、表示部２３３は、情報処理装置１０の表示部１３３と同様の機能を有していてもよい。表示部２３３が、表示部１３３と同様の機能を有している場合、一定の条件を満たす画像をユーザが撮影することが可能となるため、より精度良く学習済みモデルにより被写体の状態を分類することができる。本開示では、表示部２３３は、表示部１３３と同様の機能を有するものとする。

【0090】

また、表示部２３３は、後述の抽出部２３５が分類した結果を、ユーザに対して表示する。

【0091】

取得部２３４は、ユーザにより撮影された撮影画像をカメラ２６から取得する。

【0092】

具体的には、取得部２３４は、ユーザの撮影ボタン（図示しない）を押下するなどの行為により、カメラ２６により撮影された被写体を含む撮影画像を、カメラ２６から取得する。取得部２３４は、カメラ２６から撮影画像を取得すると、学習済みモデルを取得する。取得部２３４は、学習済みモデルを、予め情報処理装置１０から受信することにより、記憶部２２０に格納しておく。また、取得部２３４は、情報処理装置１０に要求を送信することにより、当該要求に対する応答として、最新の学習済みモデルを情報処理装置１０から取得しても良い。

【0093】

また、取得部２３４は、撮影画像を、情報処理装置１０に送信する。

【0094】

抽出部２３５は、撮影画像と、学習した学習済みモデルとを用いて、当該撮影画像に含まれる被写体の状態を分類した結果を求める。

【0095】

具体的には、抽出部２３５は、撮影画像を学習済みモデルに入力することにより、当該撮影画像に含まれる被写体の状態を分類する。そして、抽出部２３５は、分類した結果を、表示部２３３にユーザに対して表示させる。

【0096】

＜４．動作＞
以下では、情報処理装置１０における処理について図面を参照しながら説明する。

【0097】

＜４．１．学習データ生成処理＞
図１１は、情報処理装置１０による学習データ生成処理を行う流れの一例を示すフローチャートである。情報処理装置１０は、当該処理を、任意のタイミングにおいて実行する。

【0098】

ステップＳ１０１において、表示部１３３は、撮影する者に、被写体を撮影するための画面を表示する。

【0099】

ステップＳ１０２において、表示部１３３は、被写体を撮影するための画面を表示している間、被写体を撮影した場合の第１画像を、カメラ１６から取得し、第１画像を解析する。

【0100】

ステップＳ１０３において、表示部１３３は、第１画像の明るさに関する情報、被写体の位置に関する情報、被写体の向きに関する情報のそれぞれについての判定結果を表示することにより、被写体が所望の画像となるように補助する。

【0101】

ステップＳ１０４において、取得部１３４は、撮影された画像をカメラ１６から取得する。

【0102】

ステップＳ１０５において、解析部１３５は、被写体への光の当たり方を解析する。

【0103】

ステップＳ１０６において、生成部１３６は、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像に基づいて、パラメータを一定の範囲で変更した画像を複数生成する。

【0104】

ステップＳ１０７において、生成部１３６は、生成した複数の画像を、撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして、記憶部１２０に格納し、処理を終了する。

【0105】

＜４．２．学習処理＞
図１２は、情報処理装置１０による学習処理を行う流れの一例を示すフローチャートである。情報処理装置１０は、当該処理を、任意のタイミング（例えば、学習処理開始信号の受信など）において実行する。

【0106】

ステップＳ２０１において、学習部１３７は、記憶部１２０から、学習データを取得する。

【0107】

ステップＳ２０２において、学習部１３７は、学習データを用いて、被写体を含む第４画像を入力すると、当該第４画像に含まれる被写体の状態を分類した結果を出力するモデルを学習する。

【0108】

ステップＳ２０３において、学習部１３７は、当該モデルを学習した後で、当該モデルの学習が終了条件を満たしたか否かを判定する。終了条件は、例えば、当該モデルのパラメータが収束した、所定数繰り返したなどである。

【0109】

終了条件を満たさない場合（ステップＳ２０３のＮ）学習部１３７は、ステップＳ２０２に戻り、ステップＳ１０２によるモデルの学習を、終了条件を満たすまで繰り返す。

【0110】

一方、終了条件を満たす場合（ステップＳ２０３のＹ）、ステップＳ２０４において、学習部１３７は、学習した学習済みモデルとパラメータとを、第２データＤＢ１２２に格納し、処理を終了する。

【0111】

＜４．３．分類処理＞
図１３は、ユーザ端末２０による分類処理を行う流れの一例を示すフローチャートである。ユーザ端末２０は、当該処理を、ユーザの操作により撮影アプリの起動等の所定の信号を受信したこと等により実行する。なお、図１１と同様の処理は、同一の符号を付して、説明を省略する。

【0112】

ステップＳ３０６において、取得部２３４は、学習済みモデルを取得する。

【0113】

ステップＳ３０７において、抽出部２３５は、撮影画像と、学習した学習済みモデルとを用いて、当該撮影画像に含まれる被写体の状態を分類した結果を求める。

【0114】

ステップＳ３０８において、表示部２３３は、後述の抽出部２３５が分類した結果を、ユーザに対して表示する。

【0115】

ステップＳ３０９において、送信制御部２３２は、撮影画像を、情報処理装置１０に送信し、処理を終了する。

【0116】

＜５．小括＞
以上説明したように、本開示の技術は、記憶部に蓄積されている情報に基づき、撮影された画像における、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を記憶部から取得する。本開示の技術は、取得した当該画像に基づいて、当該パラメータを一定の範囲で変更した画像を複数生成する。本開示の技術は、生成された複数の画像を、撮影画像の入力を受け付けて当該撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして出力する。これにより、本開示の技術は、微小な変化を学習するための様々な条件の学習データを、低コストに増やすことができる。

【0117】

また、本開示の技術は、被写体を撮影する画面において当該被写体を撮影した場合の画像の明るさに関する情報を解析する。本開示の技術は、解析結果に基づいて撮影する者に対して当該一定の条件を満たすことを表示する。本開示の技術、当該表示することにより撮影する者により撮影された、所定のパラメータが一定の条件を満たす画像を、記憶部から取得する。これにより、撮影する者に負担をかけずに、微小な変化を学習するための様々な条件の学習データの元となる画像を取得することができる。本開示の技術は、特に一般的なユーザに、負担をかけずに、画像を集めることができる。これにより、本開示の技術は、微小な変化を学習するための様々な条件の学習データを、低コストに増やすことができる。

【0118】

また、本開示の技術は、学習データを用いて、被写体を含む撮影画像の入力を受け付けて当該撮影画像に含まれる被写体の状態を分類した結果を出力するモデルを学習し、学習した当該モデルを出力する。これにより、被写体の微小な変化を捉えることにより、被写体の状態を精度よく分類することができるモデルを学習することができる。本開示の技術は、様々な被写体の状態を分類するモデルに応用することができる。

【0119】

また、本開示の技術は、被写体を含む画像の入力を受け付け、入力を受け付けた当該画像と、学習したモデルとを用いて、入力を受け付けた画像に含まれる被写体の状態を分類した結果を求める。本開示の技術は、分類した結果を出力する。これにより、本開示の技術は、写体の微小な変化を捉えることにより、被写体の状態を精度よく分類することができる。

【0120】

＜６．変形例＞
以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換及び変更を行なって実施することができる。これらの実施形態及び変形例ならびに省略、置換及び変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。

【0121】

また、情報処理装置１０及びユーザ端末２０の各機能を、他の装置に構成しても、１つの装置に構成してもよい。例えば、記憶部１２０の各ＤＢは、外部のデータベースとして構築してもよい。また、情報処理装置１０の各機能を、他の装置に構成してもよい。例えば、記憶部１２０の各ＤＢは、外部のデータベースとして構築してもよい。また、１つの機能ブロックとして複数の機能構成を記載した場合があるが、これらをの一部の機能を他の機能ブロックとして実装しても、他の機能ブロックに含めることとしてもよい。例えば、表示部１３３の解析する機能を、解析部１３５に含めても良い。

【0122】

＜付記＞
以上の各実施形態で説明した事項を、以下に付記する。

【0123】

（付記１）プロセッサ（１１）を備えるコンピュータ（例えば、情報処理装置１０）に処理を行わせるプログラムであって、前記プロセッサに、記憶部（１２０）に蓄積されている情報に基づき、撮影された画像における、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を前記記憶部から取得するステップ（Ｓ１０４）と、取得した前記画像に基づいて、前記パラメータを一定の範囲で変更した画像を複数生成するステップ（Ｓ１０６）と、生成された複数の画像を、撮影画像の入力を受け付けて前記撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして出力するステップ（Ｓ１０７）と、を実行させるプログラム。

【0124】

（付記２）前記取得するステップにおいて、前記被写体を撮影する画面において前記被写体を撮影した場合の画像の明るさに関する情報を解析することにより、撮影する者に対して前記一定の条件を満たすことを表示することにより前記撮影する者により撮影された、前記所定のパラメータが一定の条件を満たす画像を、前記記憶部から取得する、（付記１）に記載のプログラム。

【0125】

（付記３）前記取得するステップにおいて、前記所定のパラメータが一定の条件を満たす画像として、明るさに関するパラメータが所定の範囲内である画像を、前記記憶部から取得する、（付記２）に記載のプログラム。

【0126】

（付記４）前記取得するステップにおいて、前記所定のパラメータが一定の条件を満たす画像として、前記画像の画素値の平均が、明るすぎることを判定するための第１閾値以下となること、前記画像の画素値の平均が、暗すぎることを判定するための第２閾値以上となること、前記画像の画素値の標準偏差が、コントラスト又は輝度が弱すぎることを判定するための第３閾値以下となること、及び、前記画像の画素値の標準偏差が、コントラスト又は輝度が強すぎることを判定するための第４閾値以上となることの何れか１以上を満たす画像を、前記記憶部から取得する、（付記２）に記載のプログラム。

【0127】

（付記５）前記取得するステップにおいて、前記所定のパラメータが一定の条件を満たす画像として、前記画像の画素値の平均が、明るすぎることを判定するための第１閾値以下となること、前記画像の画素値の平均が、暗すぎることを判定するための第２閾値以上となること、前記画像の画素値の標準偏差が、コントラスト又は輝度が弱すぎることを判定するための第３閾値以下となること、及び、前記画像の画素値の標準偏差が、コントラスト又は輝度が強すぎることを判定するための第４閾値以上となることの何れも満たす画像を、前記記憶部から取得する、（付記２）に記載のプログラム。

【0128】

（付記６）前記被写体の状態は、肌に関する状態である、（付記２）に記載のプログラム。

【0129】

（付記７）前記学習データを用いて、被写体を含む撮影画像の入力を受け付けて前記撮影画像に含まれる被写体の状態を分類した結果を出力するモデルを学習するステップ（Ｓ２０２）、を実行させ、前記出力するステップにおいて、学習した前記モデルを出力する、（付記１）～（付記６）の何れかに記載のプログラム。

【0130】

（付記８）前記被写体を含む画像の入力を受け付けるステップ（Ｓ１０５）と、前記入力を受け付けた前記画像と、学習した前記モデルとを用いて、前記入力を受け付けた前記画像に含まれる前記被写体の状態を分類した結果を求めるステップ（Ｓ３０７）と、を実行させ、前記出力するステップにおいて、前記分類した結果を出力する、（付記７）に記載のプログラム。

【0131】

（付記９）プロセッサ（１１）を備える情報処理装置（１０）であって、前記プロセッサが、記憶部（１２０）に蓄積されている情報に基づき、撮影された画像における、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を前記記憶部から取得するステップ（Ｓ１０４）と、取得した前記画像に基づいて、前記パラメータを一定の範囲で変更した画像を複数生成するステップ（Ｓ１０６）と、生成された複数の画像を、撮影画像の入力を受け付けて前記撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして出力するステップ（Ｓ１０７）と、を実行する情報処理装置。

【0132】

（付記１０）プロセッサ（１１）を備えるコンピュータ（例えば、情報処理装置１０）が、記憶部（１２０）に蓄積されている情報に基づき、撮影された画像における、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を前記記憶部から取得するステップ（Ｓ１０４）と、取得した前記画像に基づいて、前記パラメータを一定の範囲で変更した画像を複数生成するステップ（Ｓ１０６）と、生成された複数の画像を、撮影画像の入力を受け付けて前記撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして出力するステップ（Ｓ１０７）と、を実行する方法。

【符号の説明】

【0133】

１ 情報処理システム
１０ 情報処理装置
１１ プロセッサ
１２ メモリ
１３ ストレージ
１４ 通信ＩＦ
１５ 入出力ＩＦ
１６ カメラ
２０ ユーザ端末
２１ プロセッサ
２２ メモリ
２３ ストレージ
２４ 通信ＩＦ
２５ 入出力ＩＦ
２６ カメラ
３０ ネットワーク
１１０ 通信部
１２０ 記憶部
１２１ 第１データＤＢ
１２２ 第２データＤＢ
１３０ 制御部
１３１ 受信制御部
１３２ 送信制御部
１３３ 表示部
１３４ 取得部
１３５ 解析部
１３６ 生成部
１３７ 学習部
２１０ 通信部
２２０ 記憶部
２３０ 制御部
２３１ 受信制御部
２３２ 送信制御部
２３３ 表示部
２３４ 取得部
２３５ 抽出部

【要約】

【課題】微小な変化を学習するための様々な条件の学習データを、低コストに増やすことができるようにする。
【解決手段】プロセッサを備えるコンピュータに処理を行わせるプログラムであって、前記プロセッサに、記憶部に蓄積されている情報に基づき、撮影された画像における、被写体への光の当たり方に関する所定のパラメータが一定の条件を満たす画像を前記記憶部から取得するステップと、取得した前記画像に基づいて、前記パラメータを一定の範囲で変更した画像を複数生成するステップと、生成された複数の画像を、撮影画像の入力を受け付けて前記撮影画像に含まれる被写体の状態を分類するための学習済みモデルを生成するための学習データとして出力するステップと、を実行させる。
【選択図】図１１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】